KO
시작하기

용어집

성능

지연 시간

프록시를 통해 요청을 보내고 응답을 받기까지의 지연으로, 주로 출구까지의 물리적 거리에 좌우됩니다.

지연 시간은 기다림입니다. 요청이 떠나서 답이 도착하기까지의 왕복으로, 밀리초 단위로 잽니다. 일부는 협상할 수 있고 일부는 물리 법칙이며, 어느 쪽인지 알면 쓸데없는 조정을 많이 아낄 수 있습니다.

물리 법칙 부분은 누구도 그 아래로 갈 수 없는 바닥을 정합니다. 광섬유 속 빛은 초당 약 20만 킬로미터, 진공 속 속도의 약 3분의 2로 이동하며, 편도로 1,000킬로미터당 약 5밀리초, 왕복으로 1,000킬로미터당 10밀리초가 됩니다. 런던에서 뉴욕까지는 약 5,600킬로미터이므로 이론상 최소 왕복은 약 56밀리초입니다. 실제 측정은 70에서 80에 가깝습니다. 케이블은 대권 항로를 따르지 않고 라우터마다 조금씩 더하기 때문입니다. 어떤 제공업체, 요금제, 프로토콜도 그 바닥을 넘지 못합니다.

그래서 프록시의 위치는 타기팅만큼이나 성능 결정이며, 기하학이 생각보다 중요합니다. 트래픽은 이제 목적지로 곧장 가는 대신 출구로 갔다가 목적지로 갑니다. 여러분이 유럽에 있고, 출구가 뉴욕이고, 대상이 유럽이라면, 직접이라면 거의 거리가 없었을 요청에 대양 횡단 두 번을 산 셈입니다. 최악의 지연 시간 설정은 대개 느린 프록시보다 불필요한 삼각형입니다.

주소 유형도 기여합니다. 데이터센터 프록시는 백본 경로까지 경로가 짧은 연결 좋은 인프라에 있습니다. 레지덴셜 주소는 소비자 광대역 뒤에 있고, 모바일 주소는 신호와 셀 혼잡에 따라 누구도 통제할 수 없게 지연 시간이 바뀌는 무선 링크 뒤에 있습니다. 데이터센터가 가장 빠르고 모바일이 가장 들쭉날쭉하다는 이 순서는 제공업체 사이의 품질 차이보다 구조에서 나옵니다.

이것이 중요한지는 전적으로 작업 형태에 달려 있으며, 헛수고 대부분이 여기서 생깁니다. 대량 수집은 많은 병렬 연결의 처리량이 좌우하므로, 동시에 돌리기만 하면 각각 300밀리초 걸리는 요청 백 개가 각각 100밀리초 걸리는 백 개와 거의 같은 실제 시간에 끝납니다. 지연 시간이 지배적인 것은 단계가 순차적이고 각 단계가 끝나야 다음이 시작될 때뿐이며, 로그인, 결제, 서버 쪽 커서를 따르는 페이지별 크롤링이 그렇습니다.

그래서 실무 규칙은 기하학을 먼저, 동시성을 두 번째로 고치고, 지연 시간에 민감하지 않은 작업에서는 지연 시간 최적화를 멈추는 것입니다. 출구를 여러분 근처보다 대상 근처에 두세요. 반복되는 구간은 출구와 목적지 사이이기 때문입니다.

HProxy의 처리 방식

저희는 자체 측정 지점에서 그 나라의 풀을 공정하게 잴 수 있을 때만 국가 페이지에 대표 지연 시간 수치를 표시합니다. 먼 나라에는 대신 구성과 가동률을 보고합니다. 대양 너머에서 잰 숫자는 풀보다 저희가 서 있던 위치에 대해 더 많이 말해 주기 때문입니다.

자주 묻는 질문

제 프록시는 왜 이렇게 느린가요?

프록시를 탓하기 전에 기하학을 확인하세요. 여러분이 한 지역에 있고, 출구는 다른 지역에 있고, 대상이 다시 여러분 근처라면, 모든 요청이 직접 연결이라면 없었을 긴 횡단 두 번의 값을 치릅니다. 그다음 주소 유형을 고려하세요. 레지덴셜과 모바일은 구조적으로 데이터센터보다 느립니다. 그리고 그 지연이 정말 지연 시간인지, 실제로는 대역폭인지 보세요. 대역폭은 해결책이 다른 별개의 문제입니다.

프록시는 저와 가까워야 하나요, 대상과 가까워야 하나요?

거의 모든 경우 대상과 가까워야 합니다. 출구로의 연결은 요청마다 한 번 일어나지만, 출구와 목적지 사이의 대화에서 TLS 협상과 리디렉션을 포함한 실제 작업이 일어납니다. 출구를 목적지 근처에 두면 반복되는 구간이 짧아집니다.

웹 스크레이핑에서 지연 시간이 중요한가요?

요청을 동시에 돌리기만 하면 사람들이 생각하는 것보다 훨씬 덜 중요합니다. 대량 수집은 처리량에 묶이므로, 요청당 지연 시간은 대부분 병렬성 속으로 사라집니다. 단계가 순차적이고 각 단계가 이전 단계에 의존할 때 중요합니다. 로그인, 결제 진행, 페이지별 커서 따라가기처럼 매 밀리초가 단계마다 한 번씩 청구되는 경우입니다.

프록시의 좋은 지연 시간은 얼마인가요?

절대적인 숫자는 없고, 관련된 거리에 대한 상대적인 숫자만 있습니다. 그 경로의 물리적 바닥과 비교하세요. 1,000킬로미터당 왕복 약 10밀리초입니다. 가까운 출구가 수백 밀리초를 돌려준다면 지리 너머에 무언가 잘못된 것입니다. 대륙 횡단 출구가 80을 돌려준다면 그 경로가 허용하는 최선에 가깝습니다.

전체 용어집(으)로 돌아가기.

HProxy.

저희 말만 믿지 마세요. 직접 측정해 보세요.

브라우저에서 실제 주소를 대상으로 실행됩니다. 가입도 없고 목록도 저장하지 않습니다.

HProxy