속도 제한은 한 출처가 얼마나 빨리 요청할 수 있는지에 대한 상한입니다. 넘으면 서버가 창이 초기화될 때까지 응답을 멈추며, 가장 흔하게는 429 Too Many Requests 응답을 보냅니다. 어느 한 클라이언트가 다른 모두에게 필요한 용량을 다 쓰지 못하게 하려고 존재하며, 여러분에 대해 아무 의견도 없는 서버가 적용합니다.
결정적인 특성은 의도를 보지 않는다는 것이며, 새겨 둘 가치가 있는 부분입니다. 카운터는 여러분이 적대적인지 그냥 바쁜지 모릅니다. 출처별 요청을 세고 숫자에 따라 행동하므로, 완전히 정당한 대량 작업도 악용과 똑같이 쉽게 걸립니다. 착하게 행동한다고 산수에서 면제되지는 않습니다.
카운터는 거의 항상 식별 가능한 무언가를 키로 삼습니다. IP 주소, API 키, 계정, 세션입니다. 어떤 키를 쓰는지가 선택지를 정하며, 가정하기보다 알아낼 가치가 있습니다. 사이트가 주소별로 제한하면 요청을 풀에 분산하는 것이 효과가 있습니다. API 키별로 제한하면 주소를 늘려도 아무것도 바뀌지 않고, 다른 키나 더 느린 속도가 필요합니다.
그래서 로테이팅 프록시가 존재하며, 그것이 하는 일을 정직하게 설명하면 이렇습니다. 제한을 올리는 것과 거리가 멀고, 카운터 하나에 트래픽을 몰지 않게 해 줍니다. 같은 총량을 프록시 풀에 나누면 각 주소는 근처에도 가지 않는 기준선 아래에 여유 있게 머뭅니다. 피한 것은 없고, 산수를 재배치했을 뿐입니다.
받는 응답은 많은 것을 알려 주며, 제대로 읽으면 며칠을 아낍니다. 429에는 보통 정확히 얼마나 기다릴지 알려 주는 Retry-After 헤더가 있으며, 사이트가 자기 규칙을 분명하게 알려 주는 것입니다. 이를 따르는 것이 예의 바른 행동이자 효과적인 행동입니다. 무시하고 바로 재시도하면 일시적인 제한이 더 긴 차단으로 확대되기 때문입니다.
하지만 모든 제한이 스스로를 알리지는 않으며, 조용한 종류가 위험합니다. 선택지가 있는 봇 방지 시스템은 흔히 거부 대신 품질을 떨어뜨립니다. 더 느린 응답, 잘린 결과, 오래된 캐시 데이터, 조용히 빠진 기록입니다. 요청은 계속 200을 돌려주는데 데이터셋은 틀립니다. 대량 웹 스크레이핑을 하는 사람은 상태 코드를 믿는 대신 정상으로 알려진 기준과 결과를 비교해야 합니다.
가장 과소평가된 해결책은 그냥 변동을 두고 더 천천히 가는 것입니다. 고정된 지연은 그 자체로 탐지 가능한 패턴이며, 속도에 진짜 변동을 주면 제한 아래에 머물면서 덜 기계적으로 보입니다. 시간이 들지만, 제한받고, 확인을 요구받고, 결국 차단당하는 비용보다 대개 저렴합니다.
자주 묻는 질문
429 오류는 무슨 뜻인가요?
Too Many Requests: 서버가 세는 기준의 허용량을 넘었고, 창이 초기화되면 다시 응답할 것입니다. 정확히 얼마나 기다릴지 알려 주는 Retry-After 헤더를 확인하세요. 차단보다 일시적인 거부이며, 그렇게 받아들여 속도를 늦추는 것으로 보통 충분합니다.
프록시를 늘리면 항상 속도 제한이 해결되나요?
제한이 IP 주소별로 셀 때만 그렇습니다. API 키, 계정, 세션 쿠키를 키로 삼는다면 카운터가 주소를 본 적이 없으므로 주소를 늘려도 아무것도 바뀌지 않습니다. 용량을 사서 해결하기 전에 제한의 키가 무엇인지 확인하세요. 그렇지 않으면 엉뚱한 차원을 늘리게 됩니다.
사이트의 속도 제한은 어떻게 알아내나요?
가끔은 API 문서나, 제한, 남은 허용량, 초기화 시각을 알려 주는 응답 헤더에 공개되어 있습니다. 그렇지 않다면 신중하게 실험으로 찾으세요. 그럴듯한 기준선보다 훨씬 아래에서 시작해 서서히 올리고, 첫 429나 콘텐츠가 나빠지는 첫 신호를 지켜보세요. 제한을 알아내려고 일부러 사이트를 두드리는 것은 무례하고, 더 긴 차단을 얻는 좋은 방법입니다.
IP를 로테이션하는 것과 속도를 늦추는 것 중 무엇이 나은가요?
둘 다이며, 서로 다른 절반을 해결합니다. 로테이션은 양이 카운터 하나에 몰리는 것을 막고, 진짜 변동을 두고 속도를 늦추는 것은 트래픽 자체의 패턴을 다루는데, 이는 로테이션이 전혀 손대지 못하는 부분입니다. 기계처럼 규칙적인 박자를 유지할 만큼 빠르게 로테이션하면 여전히 기계처럼 보입니다. 주소를 많이 걸친 기계일 뿐입니다.
속도 제한이 조용할 수도 있나요?
네, 가장 경계할 가치가 있는 실패입니다. 일부 사이트는 거부 대신 품질을 떨어뜨립니다. 더 느린 응답, 더 적은 결과, 오래된 캐시 값, 조용히 빠진 기록을 모두 완전히 정상적인 200과 함께 돌려줍니다. 로그의 어떤 것도 이를 알리지 않습니다. 믿을 만한 유일한 방어는 모은 데이터를 깨끗하다고 아는 요청과 주기적으로 비교하는 것입니다.
전체 용어집(으)로 돌아가기.

