KO
시작하기

용어집

성능

대역폭

프록시가 옮길 수 있는 데이터의 양이자, 레지덴셜 및 모바일 프록시의 일반적인 과금 단위.

대역폭은 연결이 옮길 수 있는 데이터의 양이며, 레지덴셜 프록시에서는 청구서이기도 합니다. 이런 풀은 공급이 실제 기반 연결로 계량되므로 기가바이트당 과금되며, 실제로 사는 자원은 주소보다 트래픽입니다. 이 사실 하나가 스크레이퍼를 짜는 방식을 바꿉니다.

바뀌는 점은 페이지 무게가 청구 항목이 된다는 것입니다. 현대의 상품 페이지는 흔히 1에서 3메가바이트이고, 그 압도적 다수는 이미지, 폰트, 동영상, 추적 스크립트, 스타일시트입니다. 실제로 원하는 데이터를 담은 HTML은 그중 100킬로바이트도 안 되는 경우가 많습니다. 브라우저처럼 페이지를 가져오면, 바로 버릴 사진을 내려받는 데 레지덴셜 요금을 내는 셈입니다.

그래서 대역폭 관리는 쓸 수 있는 비용 통제 중 지렛대가 가장 크며, 누구와도 협상할 필요가 없습니다. 압축을 요청하고 따르세요. 참조된 모든 자원을 자동으로 가져오지 말고 문서만 가져오세요. 실제 브라우저를 구동한다면 네트워크 계층에서 이미지, 미디어, 폰트 요청을 차단하세요. 헤드리스 브라우저는 기본적으로 실제 브라우저처럼 모든 것을 가져오기 때문입니다. 사이트에 JSON 엔드포인트가 있다면 렌더링된 페이지보다 그것을 쓰세요. 보통 크기가 훨씬 작고 파싱도 쉽습니다.

재시도는 조용한 승수이므로 따로 언급할 만합니다. 응답 대부분을 이미 전송한 실패 요청도 그 트래픽 비용은 들었으므로, 불안정한 대상에 공격적인 재시도 정책을 쓰면 더 모으는 것 없이 청구서가 두 배가 될 수 있습니다. 빨리 실패하는 것이 반복해서 실패하는 것보다 저렴합니다.

대역폭과 지연 시간을 구분할 가치도 있습니다. 둘은 독립적인데 사람들이 흔히 섞습니다. 대역폭은 초당 얼마나 통과하는지이고, 지연 시간은 왕복 한 번이 얼마나 걸리는지입니다. 연결은 하나는 넉넉하고 다른 하나는 부족할 수 있습니다. 대량 수집은 대역폭과 동시성이 좌우하고, 상호 작용하는 모든 것은 먼저 지연 시간으로 느껴지며, 엉뚱한 쪽을 더 사면 아무것도 고쳐지지 않습니다.

마지막으로, 모든 계열이 이렇게 과금되지는 않습니다. 데이터센터와 ISP 프록시는 보통 넉넉하거나 계량하지 않는 트래픽과 함께 주소당 판매됩니다. 공급이 누군가의 계량되는 가정 회선 대신 랙의 기계이기 때문입니다. 작업이 정말로 대역폭을 많이 쓰고 대상이 네트워크 유형을 걸러 내지 않는다면, 데이터센터 프록시로 옮기는 것이 어떤 요청 조정보다 큰 절약인 경우가 많습니다.

HProxy의 처리 방식

레지덴셜은 기가바이트당 과금되므로, 저희가 줄 수 있는 가장 저렴한 조언은 더 사는 것보다 덜 쓰는 것인 경우가 많습니다. 파싱할 것만 가져오고, 레지덴셜 신뢰가 필요 없는 정말로 대역폭을 많이 쓰는 작업은 대신 데이터센터 주소로 옮기세요.

자주 묻는 질문

프록시 대역폭 비용은 어떻게 줄이나요?

파싱하지 않는 것은 내려받지 마세요. 압축을 켜고, 필요하지 않다면 이미지, 폰트, 동영상, 스타일시트를 가져오지 말고, 헤드리스 브라우저를 구동한다면 그런 요청 유형을 명시적으로 차단하세요. 기본적으로 모든 것을 가져오기 때문입니다. JSON 엔드포인트가 있다면 렌더링된 페이지보다 그것을 쓰세요. 그리고 재시도를 빠듯하게 유지하세요. 재시도한 요청은 이미 옮긴 트래픽 값을 치르기 때문입니다.

대역폭 사용량이 왜 페이지 크기보다 많은가요?

대개 HTML을 재면서 페이지 전체 값을 치르고 있기 때문입니다. 브라우저가 가져오는 모든 이미지, 폰트, 스크립트, 스타일시트가 포함되고, 리디렉션, 실패한 시도, 포기하기 전에 일부 응답을 전송한 재시도도 포함됩니다. TLS 핸드셰이크와 헤더가 그 위에 조금 더합니다. 남겨 둔 문서의 크기 대신 실제로 회선을 지나간 것을 재세요.

무제한 대역폭은 진짜인가요?

존재하며, 제약이 없는 대신 대개 다른 제약이 붙어 옵니다. 계량하지 않는 트래픽은 주소당, 포트당, 또는 동시성 상한과 함께 팔리는 경향이 있으며, 비용이 계량되는 소비자 트래픽 대신 기계인 데이터센터와 ISP 공급에 맞습니다. 실제 제한이 무엇인지 읽어 보세요. 어딘가에는 항상 하나가 있습니다.

스크레이핑에는 대역폭과 지연 시간 중 무엇이 중요한가요?

대량 수집은 대역폭과 동시성이 좌우합니다. 정해진 시간 동안 옮기는 총량입니다. 상호 작용하거나 순차적인 모든 것은 지연 시간이 좌우하며, 각 왕복이 끝나야 다음이 시작됩니다. 작업이 독립된 가져오기의 긴 대기열이라면 동시성을 늘리면 도움이 되고 지연 시간을 낮춰도 거의 티가 나지 않습니다. 각 단계가 이전 단계에 의존한다면 그 반대입니다.

전체 용어집(으)로 돌아가기.

HProxy.

저희 말만 믿지 마세요. 직접 측정해 보세요.

브라우저에서 실제 주소를 대상으로 실행됩니다. 가입도 없고 목록도 저장하지 않습니다.

HProxy