KO
시작하기

용어집

스크래핑 및 자동화

재시도 로직

스크래퍼가 실패한 요청을 처리하는 방식으로, 잘못하면 대역폭을 낭비하고 차단을 키우며, 잘하면 일시적 실패 대부분을 조용히 구해 냅니다.

재시도 로직은 요청이 실패했을 때 스크레이퍼가 하는 일이며, 불안정한 네트워크를 견디는 파이프라인과 일시적인 딸꾹질을 청구서와 차단으로 바꾸는 파이프라인의 차이입니다. 규모가 커지면 실패는 피할 수 없고, 끊긴 연결, 느린 원본, 순간적인 속도 제한처럼 대부분은 일시적이므로 재시도가 맞습니다. 잘못 재시도하는 것은 스크레이핑에서 가장 흔한 자해 중 하나입니다.

핵심 규율은 백오프입니다. 바로 두들기는 대신 시도 사이마다 더 오래 기다리는 것입니다. 매번 지연을 두 배로 늘리고 약간의 무작위성을 더해 많은 작업자가 일제히 재시도하지 않게 하는 지수 백오프는 부하를 분산하고 힘들어하는 대상에 회복할 여유를 줍니다. 즉시 재시도하면 그 반대로, 이미 실패하던 것에 요청을 더 쌓으며, 부드러운 속도 제한이 단단한 차단이 되는 방식이 바로 이것입니다. 실패는 속도를 늦추라고 말하고 있었는데, 즉시 재시도는 속도를 올리는 것으로 답합니다.

실패를 읽는 것이 영리한 재시도와 멍청한 재시도를 가르며, 실패마다 다른 대응이 필요합니다. Retry-After 헤더가 있는 429는 정확한 지시입니다. 짐작 없이 그만큼 기다리세요. 503은 백오프한 재시도를 할 만합니다. 연결 시간 초과는 다른 출구만 있으면 될 수도 있습니다. 하지만 403, CAPTCHA, 품질 떨어진 콘텐츠는 일시적인 오류로 볼 수 없고 여러분에 대한 결정이며, 같은 주소, 같은 지문으로 그대로 재시도하면 차단을 확인하는 데 돈을 쓸 뿐입니다. 그런 경우에는 다시 시도하는 대신 새 주소나 다른 접근처럼 무언가를 바꿔야 합니다.

기가바이트당 과금에서 잊기 쉬운 비용 측면이 있습니다. 응답 대부분을 전송한 뒤 실패한 요청도 그 트래픽 비용은 들었으므로, 불안정한 대상에 공격적인 재시도 정책을 쓰면 더 모으는 것 없이 대역폭 청구서가 곱해질 수 있습니다. 시도 횟수 상한, 시도 사이의 백오프, 일시적이지 않은 실패에는 재시도를 멈추는 규칙은 예의를 넘어, 요청을 구하는 재시도 정책과 비용을 조용히 두 배로 만드는 정책의 차이입니다.

자주 묻는 질문

지수 백오프란 무엇인가요?

시도 사이의 대기가 매번 늘어나는, 보통 두 배가 되는 재시도 전략이며, 많은 작업자가 일제히 재시도하지 않도록 약간의 무작위성을 더하는 경우가 많습니다. 부하를 분산하고 힘들어하는 대상에 회복할 여유를 주며, 그래서 즉시 재시도가 실패하는 곳에서 성공합니다. 일시적인 요청 실패를 다루는 표준적이고 합리적인 기본값입니다.

실패한 요청을 모두 재시도해야 하나요?

아니요, 흔한 실수가 이것입니다. 일시적인 실패, 즉 시간 초과, 503, Retry-After 지연 뒤의 429는 두 번째 시도에 성공하는 경우가 많으니 재시도하세요. 403, CAPTCHA, 품질 떨어진 콘텐츠는 그대로 재시도하지 마세요. 이것들은 결함과 거리가 먼 여러분에 대한 결정이므로, 같은 주소와 지문으로 재시도하면 차단을 확인하는 데 돈을 낼 뿐입니다. 무언가를 바꾸거나 멈추세요.

잘못된 재시도 로직이 프록시 비용을 늘릴 수 있나요?

기가바이트당 과금에서는 크게 늘립니다. 응답 대부분을 전송한 뒤 실패한 요청은 이미 그 대역폭 비용이 들었으므로, 불안정한 대상에 공격적으로 재시도하면 아무것도 모으지 못한 채 청구서가 곱해집니다. 시도 횟수에 상한을 두고, 시도 사이에 백오프하고, 일시적이지 않은 실패에는 재시도를 멈추세요. 재시도가 비용 승수에서 진짜 구조책으로 바뀝니다.

전체 용어집(으)로 돌아가기.

HProxy.

정의만으로는 한계가 있습니다. 실행 대 실제 대상.

레지덴셜 GB당 $0.23부터, 쓴 만큼만 결제하고 잔액은 만료되지 않습니다.

HProxy