KO
시작하기

용어집

네트워킹

로드 밸런서

들어오는 요청을 여러 백엔드 서버에 나누는 인프라로, 스크래핑할 때 바깥에서 만나는 리버스 프록시의 한 형태입니다.

로드 밸런서는 들어오는 트래픽을 백엔드 서버 풀에 분산해 어떤 기계도 과부하되지 않고 그중 하나가 실패해도 서비스가 살아남게 합니다. 리버스 프록시 계열 안의 특정한 일입니다. 사이트 자체 인프라 앞에 서서 요청을 받고, 각 요청을 건강하고 가장 덜 바쁜 백엔드에 넘깁니다. 뒤에서 개별 서버가 재부팅되는 동안 사이트가 살아 있다면, 대개 로드 밸런서 덕분입니다.

여러분은 바깥에서 이를 만나며, 그래서 서버 쪽 잡학에 그치지 않고 알아 둘 가치가 있습니다. 큰 사이트에 연결하면 거의 항상 원본 기계 대신 로드 밸런서와 대화하는 것이고, 밸런서는 흔히 리버스 프록시와 같은 엣지 기능을 지닙니다. TLS 종료, 상태 점검, 그리고 흔히 요청을 진행시킬지 정하는 속도 제한과 봇 규칙입니다. 거부는 애플리케이션 서버가 관여하기 전에 여기서 시작될 수 있습니다.

스크레이퍼를 헷갈리게 하는 동작도 설명합니다. 똑같은 요청 사이의 겉보기 비일관성입니다. 연속된 요청이 상태나 캐시 내용이 약간 다른 서로 다른 백엔드로 라우팅될 수 있으므로, 같은 URL이 잠깐 사이에 조금씩 다른 응답을 돌려줄 수 있고, 항상 한 기계와 대화한다고 가정하는 세션은 놀랄 수 있습니다. 이는 의도적인 차이와 별개이며, 풀이 비쳐 보이는 것일 뿐입니다.

이 용어는 리버스 프록시, CDN과 많이 겹치며, 정직한 구분은 강조점의 차이입니다. 리버스 프록시는 일반 범주이고, 로드 밸런싱은 그것이 캐시와 필터링과 함께 하는 기능 중 하나이며, CDN은 그 방식을 지리적 규모로 운영하는 것입니다. 전용 로드 밸런서는 분산만 할 수 있고, 대부분의 리버스 프록시와 모든 CDN은 더 큰 일의 일부로 부하를 분산합니다. 스크레이퍼에게 실무적인 결론은 같습니다. 응답하는 것은 사이트 앞의 인프라이며, 사이트 대신 그것이 흔히 여러분의 운명을 정합니다.

자주 묻는 질문

로드 밸런서는 리버스 프록시와 같은가요?

로드 밸런싱은 리버스 프록시가 하는 일 중 하나이므로, 모든 로드 밸런서는 리버스 프록시와 비슷하지만 모든 리버스 프록시가 로드 밸런서에 그치는 것은 아닙니다. 리버스 프록시는 캐시하고, TLS를 종료하고, 트래픽을 필터링하기도 하며, 전용 로드 밸런서는 요청을 백엔드에 분산하기만 할 수 있습니다. 같은 소프트웨어가 흔히 두 역할을 다 할 만큼 겹칩니다.

로드 밸런서 뒤의 사이트는 왜 일관되지 않은 결과를 주나요?

연속된 요청이 캐시나 상태가 약간 다른 서로 다른 백엔드 서버에 도착할 수 있어서, 똑같은 요청이 조금씩 다른 응답을 돌려주기 때문입니다. 여러분을 겨냥한 의도적인 차이와 거리가 멀고, 서버 풀이 비쳐 보이는 것입니다. 항상 한 기계와 대화한다고 가정하는 코드는 이를 버그나 차단으로 잘못 읽을 수 있습니다.

로드 밸런서가 제 스크레이퍼를 차단할 수 있나요?

흔히 차단하는 것이 바로 그것입니다. 원본 앞에 서 있는 로드 밸런서는 흔히 속도 제한과 봇 규칙을 포함해 리버스 프록시와 같은 엣지 기능을 집행하므로, 거부가 어떤 애플리케이션 서버가 요청을 보기 전에 거기서 일어날 수 있습니다. 밸런서에서 거부된 요청이 사이트 자체 로그에는 전혀 나타나지 않을 수 있는 이유이기도 합니다.

전체 용어집(으)로 돌아가기.

HProxy.

저희 말만 믿지 마세요. 직접 측정해 보세요.

브라우저에서 실제 주소를 대상으로 실행됩니다. 가입도 없고 목록도 저장하지 않습니다.

HProxy