봇 방지 시스템은 IP 차단 목록을 대체한 것입니다. 차단 목록은 신호 하나로 질문 하나에 답하고, 주소를 바꾸면 아주 쉽게 무력화됩니다. 현대 시스템은 질문 열두 개를 묻고, 답에 가중치를 두고, 판정 하나를 내놓으며, 그래서 차단 목록을 이기는 전술이 여기서는 거의 아무 효과가 없습니다.
입력은 모든 계층에서 한꺼번에 오며, 그 겹침이 설계입니다. 네트워크 계층에서는 누가 주소를 소유하고 평판이 어떤지, 프록시 탐지가 다루는 것과 같은 영역입니다. 전송 계층에서는 TLS 지문입니다. Chrome 사용자 에이전트를 입은 Python 핸드셰이크는 알아채는 데 비용이 들지 않는 모순이기 때문입니다. 애플리케이션 계층에서는 브라우저 지문입니다. 캔버스, WebGL, 폰트, 시간대, 그리고 그중 무엇이든 IP가 주장하는 위치와 어긋나는지입니다. 그다음은 행동입니다. 속도, 포인터 움직임, 스크롤, 자원을 불러왔는지, 탐색 경로가 사람이 갈 수 있었던 것인지입니다.
판정이 곧바로 차단인 경우는 드물며, 사람들이 가장 헷갈려하는 부분입니다. 선택지가 있는 시스템은 흔히 자기에게는 비용이 들지 않고 여러분에게는 드는 가장 값싼 대응을 고릅니다. CAPTCHA를 보여 주고, 콘텐츠를 조용히 떨어뜨리고, 오래된 가격을 돌려주고, 결과를 빼고, 스크레이퍼가 시간 초과될 때까지 응답을 늦춥니다. 잘 열리지만 미묘하게 틀린 데이터를 담은 페이지가 403보다 훨씬 효과적인 방어입니다. 몇 주 동안 알아채지 못할 수 있기 때문입니다.
방어도 움직입니다. 규칙이 다시 조정되고, 새 신호가 추가되고, 기준선이 트래픽에 따라 바뀌며, 지난달에 통하던 기법이 예고 없이 멈출 수 있습니다. 이것이 전략을 정하는 구조적 사실입니다. 퍼즐을 한 번 푸는 것으로 끝나지 않고, 알리지 않고 바뀌는 무언가에 맞서 위치를 지키는 것입니다.
그래서 어려운 대상에 대한 정직한 조언은 더 좋은 프록시와 거리가 멉니다. 변장보다 감사라고 생각하세요. 요청의 모든 계층이 같은 이야기를 해야 하고, 시스템은 그렇지 않은 하나를 찾고 있습니다. 클라이언트가 무엇이라고 주장하든 핸드셰이크에서 실제로 그것이어야 하고, 그럴듯한 기계를 보고하고, 말하는 위치와 일관된 주소에 있고, 주장하는 사람이 감당할 수 있는 속도로 페이지를 지나가야 합니다. 보이지 않는 것은 목표였던 적이 없습니다. 눈에 띄게 어긋나는 것이 하나도 없는 것이 목표입니다.
그리고 직접 싸우는 것이 합리적이지 않게 되는 지점이 있습니다. 접근을 유지하려면 실제 제품을 만들 수 있는 누군가가 계속 일해야 한다면, 바로 이것을 전문으로 하는 스크레이퍼 API가 대개 엔지니어링 시간보다 저렴하고, 한 달 동안 조용히 틀린 데이터를 모으는 것보다는 상당히 저렴합니다.
HProxy의 처리 방식
저희는 계층 하나를 팔며 분명히 말씀드립니다. 좋은 주소는 바닥을 올려 주지만, 스택 위쪽에서 스스로 모순되는 클라이언트는 구하지 못합니다. 그래서 저희는 IP가 모든 대상을 해결한다고 내세우는 대신 프록시와 함께 스크레이퍼 API도 운영합니다.
자주 묻는 질문
레지덴셜 프록시만으로 봇 방지 시스템을 통과할 수 있나요?
가벼운 보호라면 흔히 됩니다. 네트워크 평판이 가장 무거운 입력 중 하나이고, 신뢰받는 주소는 확인을 요구할 가장 값싼 이유를 없애기 때문입니다. 본격적인 보호라면 안 됩니다. 시스템은 TLS 지문, 브라우저 지문, 행동도 읽으며, 그중 무엇이든 주소와 모순되면 그것만으로 충분합니다. 주소는 필요하지만 충분하지는 않습니다.
스크레이퍼가 몇 주 동안 잘 되다가 왜 갑자기 멈췄나요?
대개 여러분보다 방어가 바뀌었기 때문입니다. 기준선은 다시 조정되고, 새 신호는 추가되고, 규칙은 계속 업데이트되므로, 선 바로 위에 있던 설정이 여러분 쪽의 아무 변화 없이 선 아래로 떨어질 수 있습니다. 정말 멈췄는지, 아니면 품질이 떨어진 콘텐츠를 돌려주기 시작했을 뿐인지도 확인할 가치가 있습니다. 후자가 훨씬 놓치기 쉬운 실패입니다.
차단 대신 품질이 떨어진 콘텐츠를 받고 있는지 어떻게 알 수 있나요?
믿을 수 있는 요청과 비교하세요. 평범한 연결의 평범한 브라우저로 같은 URL을 가져와 가격, 결과 수, 재고, 목록의 항목 수 같은 의미 있는 필드를 비교하세요. 조용한 품질 저하는 HTTP 수준에서는 성공처럼 보이므로, 상태 코드나 오류 로그는 아무것도 알려 주지 않고, 비교만이 알려 줍니다.
더 천천히 가는 것이 나은가요?
대개 그렇고, 쓸 수 있는 가장 과소평가된 조정입니다. 양과 규칙성은 강한 신호이고, 둘 다 전적으로 여러분이 통제할 수 있습니다. 그 자체로 패턴이 되는 고정 지연 대신 속도에 진짜 변동을 더하면, 시간은 들지만 어떤 프록시 구매로도 없앨 수 없는 신호가 사라집니다.
봇 방지 시스템은 검색 엔진 크롤러도 차단하나요?
대체로 차단하지 않습니다. 대부분의 사이트가 색인되길 원하기 때문입니다. 알려진 크롤러는 보통 식별되어 허용되며, 그래서 캐시된 검색 결과에서는 활짝 열려 보이는 사이트가 여러분에게는 바로 확인을 요구할 수 있습니다. 허가는 비슷한 사용자 에이전트를 내세우는 모든 것에 주어지는 대신 확인된 특정 크롤러에만 주어지며, 크롤러를 자칭하는 것은 역방향 DNS로 아주 쉽게 확인됩니다.
전체 용어집(으)로 돌아가기.

