허니팟은 자동화를 노리고 심어 둔 미끼입니다. 사이트는 사람이 인지할 수 없어 절대 건드리지 않을 무언가를 페이지에 두고, 그것을 건드리는 무엇이든 프로그램의 증거로 다룹니다. 반박할 모호함이 없으며, 그래서 아주 깔끔한 신호입니다. 사람은 보이지 않는 칸을 채우지 않습니다.
알고 나면 형태는 평범합니다. 화면 밖으로 밀거나 크기를 0으로 만들어 마크업에는 있고 화면에는 없는 링크. CSS로 숨긴 양식 입력란으로, 때로는 양식을 채우는 스크립트가 탐낼 만한 이름이 붙어 있습니다. 보이는 탐색 어디에도 나오지 않는 URL. 그리고 고전적인 것, robots.txt에서 금지로 나열된 경로입니다. 잘 행동하는 크롤러는 절대 요청하지 않으므로, 요청하는 무엇이든 식별됩니다.
마지막 것은 잠시 멈춰 볼 가치가 있습니다. 사람들이 robots.txt의 용도라고 생각하는 것을 뒤집기 때문입니다. 건드리지 말아야 할 곳의 목록 대신 흥미로운 곳의 목록으로 다루면, 정확히 어떤 요청이 여러분을 표시할지 알려 주는 지도가 됩니다. 사이트가 무엇을 숨기는지 찾으려고 읽는 것은 일부러 함정에 걸어 들어가는 확실한 방법입니다.
이 방어의 우아함은 철저함을 단서로 바꾼다는 데 있습니다. 자동화가 기계적으로 완전할수록 사람이라면 절대 마주치지 않을 무언가를 건드릴 것이 확실해지므로, 크롤러를 데이터 수집에 능하게 만드는 바로 그 특성이 식별을 쉽게 만듭니다. 한 번 건드리면 결과는 보통 주소에 떨어지며, 그래서 부주의한 실행 한 번이 그 뒤의 모든 것에 대해 IP를 망칠 수 있습니다.
피하는 것은 철저함 대신 선택적으로 행동하는 문제입니다. 정말로 보이고 탐색할 수 있는 것을 따라가고, robots.txt를 색인으로 읽는 대신 지시로 존중하고, 렌더링된 페이지가 보여 주지 않는 칸은 제출하지 말고, DOM에는 있는데 화면에는 보이지 않는 요소를 의심하세요. 독자가 할 법한 일을 흉내 내는 웹 크롤러는 더 예의 바르고, 잡기도 더 어렵습니다.
자주 묻는 질문
허니팟을 건드리기 전에 어떻게 탐지하나요?
마크업을 파싱하는 데 그치지 말고 페이지를 렌더링한 뒤, 사람이 보거나 닿을 수 없는 것은 무시하세요. display none, visibility hidden, 너비나 높이 0, 불투명도 0, 또는 화면 밖 멀리 배치된 요소입니다. 렌더링 없이 날것의 HTML을 파싱한다면, 보이는 페이지에는 없는 함정이 담긴 문서로 작업하는 것이며, 이 기법이 이용하는 틈이 바로 그것입니다.
robots.txt가 허니팟의 위치를 알려 주나요?
흔히 나열하고 있으며, 그렇게 쓰는 것이 사람들이 잡히는 방식입니다. 보이는 링크가 가리키지 않는 금지된 경로는 미끼의 유력한 후보입니다. 규칙을 따르는 크롤러는 절대 요청하지 않으므로 파일을 무시하는 자동화만 거기 나타나기 때문입니다. 이 파일을 흥미로운 URL로 가는 지름길 대신 가지 말아야 할 곳에 대한 지시로 다루세요.
하나를 건드린 뒤에는 어떻게 되나요?
사이트에 따라 다르며, 즉각 차단되지 않는 경우가 많습니다. 일부는 주소를 표시해 두었다가 나중에 대응하고, 일부는 품질이 떨어지거나 지어낸 콘텐츠를 제공하기 시작해 모으는 데이터가 조용히 틀리게 되며, 일부는 그냥 봇 방지 시스템의 점수를 올려 이후의 모든 요청을 더 의심합니다. 눈에 띄는 일이 없다는 것이 아무 일도 없었다는 증거는 못 됩니다.
IP를 로테이션하면 허니팟 플래그가 풀리나요?
그 특정 주소에서 플래그를 옮기며, 표시가 IP에만 기록되었다면 도움이 됩니다. 사이트가 클라이언트의 지문도 떴다면 도움이 되지 않습니다. 같은 지문이 새 주소로 도착하는 것은 그대로 있는 것보다 강한 신호이기 때문입니다. 그리고 함정을 건드린 행동에는 아무 효과가 없으므로, 다음 주소도 그것을 건드릴 것입니다.
전체 용어집(으)로 돌아가기.

