KO
시작하기

용어집

성능

동시 연결

동시에 실행하는 요청 수로, 스크래핑 처리량을 좌우하는 주요 변수이자 흔한 숨은 제한입니다.

동시성은 한 번에 진행 중인 요청의 수입니다. 개별 요청의 속도보다 훨씬 더 스크레이퍼가 해내는 양을 정합니다. 페이지 백 개를 병렬로 가져오는 작업은 개별 요청이 전혀 빠르지 않아도 하나씩 차례로 가져오는 작업의 일부 시간 만에 끝납니다.

프록시는 두 가지 방식으로 동시성과 맞물립니다. 풀이 있으면 각 병렬 요청이 다른 출구를 쓸 수 있으므로, 주소 하나에 요청을 쌓지 않고 높은 동시성을 돌릴 수 있습니다. 하지만 프록시 서비스 자체가 동시 연결에 상한을 둘 수 있고, 스레드를 제한하는 요금제는 네트워크가 아무리 빨라도 처리량을 조용히 제한합니다.

그래서 어떤 프록시에서든 확인할 숫자는 기가바이트당 가격에 더해 동시 연결 제한 여부입니다. 무제한 동시성이 있어야 풀의 진짜 장점인 병렬성이 실제로 드러납니다.

하지만 많다고 자동으로 더 좋은 것은 아니며, 사람들이 지나치는 곳이 여기입니다. 동시성은 다른 무언가가 병목이 될 때까지만 처리량을 올립니다. 내 대역폭, 파싱을 함께 한다면 CPU, 대상의 허용치, 또는 실제 브라우저를 돌린다면 메모리이며, 각 브라우저는 일반 HTTP 요청보다 훨씬 많이 씁니다. 그 지점을 넘으면 올려도 결과 대신 시간 초과와 재시도가 나오고, 재시도는 이미 값을 치른 트래픽 비용을 듭니다.

속도 제한과도 사람들을 당황하게 하는 방식으로 맞물립니다. 서로 다른 출구 오십 개를 거치는 병렬 요청 오십 개는 주소별 카운터 입장에서 별개의 방문자 오십 명입니다. 주소 하나를 거치는 병렬 요청 오십 개는 거의 모든 기준선을 즉시 넘을 폭발입니다. 동시성과 풀 크기는 함께 움직여야 하며, 그렇지 않으면 더한 병렬성이 더 빨리 차단되게 할 뿐입니다.

숫자를 찾는 정직한 방법은 실험이며, 아래에서부터 시작합니다. 보수적으로 시작해 단계적으로 올리고, 처리량 그래프 대신 오류율을 지켜보세요. 알맞은 설정은 실패가 시작되기 바로 아래이며, 사실 기기보다 대상의 특성이므로 대상마다 다릅니다.

HProxy의 처리 방식

저희 레지덴셜 요금제는 동시 연결이나 스레드에 상한을 두지 않습니다. 스레드 제한은 말만 바꾼 처리량 제한이며, 싸 보이는 요금제를 실제로 느리게 만드는 바로 그 제약이기 때문입니다.

자주 묻는 질문

스크레이핑에 알맞은 동시성 수준은 얼마인가요?

보편적인 숫자는 없습니다. 한계가 여러분보다 대상에 속하기 때문입니다. 낮게 시작해 단계적으로 올리고 오류율을 지켜보세요. 알맞은 설정은 실패가 시작되기 바로 아래입니다. 너그러운 사이트는 병렬 요청 수백 개를, 엄격한 사이트는 몇 개를 받을 수 있으며, 같은 코드라도 각각 다른 설정이 필요합니다.

동시성을 높이면 스크레이핑이 빨라지나요?

어느 지점까지는 그렇고, 그다음에는 반대가 됩니다. 내 대역폭, CPU, 메모리 상한이나 대상의 허용치를 넘으면, 추가 병렬성은 결과 대신 시간 초과와 재시도를 만듭니다. 재시도는 이미 회선을 지나간 트래픽 값을 치르므로, 기가바이트당 과금에서 동시성을 지나치게 올리면 시간과 돈이 함께 듭니다.

프록시 제공업체가 동시 연결을 제한하나요?

많은 곳이 제한하며, 광고되기보다 요금제 세부 사항에 묻혀 있는 경우가 많습니다. 스레드나 연결 상한은 다른 말로 한 처리량 상한이며, 싸 보이는 기가바이트당 요금을 실제로는 느리게 만들 수 있습니다. 같은 요금의 두 요금제가 실제로 돌릴 수 있는 것은 엄청나게 다를 수 있으니, 가격을 비교하기 전에 확인할 가치가 있습니다.

동시성은 프록시 풀 크기와 어떤 관계인가요?

함께 움직여야 합니다. 여러 출구에 퍼진 병렬 요청은 많은 별개의 방문자처럼 보이며, 그것이 핵심입니다. 같은 병렬성을 주소 하나로 밀어 넣으면 주소별 제한을 바로 넘는 폭발이 됩니다. 뒤에 서로 다른 주소가 충분하지 않은 채 동시성을 올리면 순차 실행보다 더 빨리 차단될 뿐입니다.

전체 용어집(으)로 돌아가기.

HProxy.

저희 말만 믿지 마세요. 직접 측정해 보세요.

브라우저에서 실제 주소를 대상으로 실행됩니다. 가입도 없고 목록도 저장하지 않습니다.

HProxy