robots.txt는 사이트가 루트에 게시하는 일반 텍스트 파일로, 자동 방문자가 어떻게 행동하길 바라는지, 어떤 경로를 건너뛸지, 때로는 얼마나 천천히 크롤링할지를 알립니다. 잘 행동하는 크롤러가 따르는 오래된 관례이며, 검색 엔진은 엄격하게 지킵니다.
이것이 무엇과 거리가 먼지 분명히 해 두는 것이 중요합니다. 접근 제어가 못 됩니다. robots.txt는 강제하는 대신 요청하며, 금지된 경로로의 요청을 막는 기술적인 장치는 없습니다. 하지만 이를 무시하는 것은 나쁜 관행이자 실무적 위험입니다. 크롤러에게 피해 달라고 한 경로로 트래픽이 오는 것을 본 사이트는 방문자가 나쁘게 행동하는 봇이라는 쉬운 신호를 얻기 때문입니다.
합리적으로 읽으면 robots.txt는 환영받는 자동화의 경계를 표시합니다. 그 안에 머물면 크롤러가 플래그가 붙은 악용 대신 용인되는 트래픽 범주에 남습니다.
기계적으로는 단순하며, 수십 년 동안 바뀌지 않고 살아남은 이유 중 하나입니다. 그룹은 규칙이 적용되는 크롤러를 밝히는 User-agent 줄로 시작하고, 경로 접두사를 나열하는 Disallow와 Allow 줄이 이어집니다. User-agent 줄의 별표는 더 구체적으로 지정되지 않은 모두를 뜻합니다. 많은 사이트가 Sitemap 줄도 게시하며, 정말로 쓸모 있습니다. 사이트가 실제로 찾아지길 원하는 URL의 구조화된 목록을 가리킵니다.
이 파일이 만드는 함정은 목적의 정반대이며, 스스로 영리하다고 생각하는 사람을 잡습니다. 피할 곳의 목록 대신 흥미로운 곳의 목록으로 읽으면, 금지된 경로는 거기 가치 있는 무언가가 숨겨져 있다는 힌트처럼 보입니다. 훨씬 자주 그 반대입니다. 정당한 크롤러라면 절대 요청하지 않을 경로이므로, 그것을 요청하는 무엇이든 아주 쉽게 식별됩니다. 파일을 지도로 다루는 것은 일부러 허니팟에 걸어 들어가는 방법입니다.
이것이 보안이 못 되고 애초에 보안으로 의도되지도 않았다는 점도 분명히 해 둘 가치가 있습니다. 금지된 경로도 여전히 공개적으로 닿을 수 있으므로, 누구나 요청할 수 있고 아무것도 막지 않습니다. 민감한 무언가의 위치를 robots.txt에 게시하는 것은 아무도 보지 말아 달라고 정중히 부탁하면서 모두에게 광고하는 것이며, 둘 중 최악입니다.
저희가 취하는, 그리고 최소 기준으로 제안하는 실무 입장은 이렇습니다. 읽고, 금지 규칙을 따르고, 지정된 크롤링 지연을 따르고, 제공하는 사이트맵을 쓰세요. 준수에는 거의 비용이 들지 않고, 사이트가 용인하는 트래픽 범주에 머물게 해 주며, 주소를 나쁘게 행동하는 것으로 가장 확실히 표시하는 신호를 피하게 해 줍니다.
자주 묻는 질문
robots.txt를 무시하는 것은 불법인가요?
법보다 관례이며, 법적 입장은 관할마다 다르고 사이트 이용 약관과 얽힐 수 있어서 용어집보다 변호사에게 물을 질문입니다. 실무적인 답은 별개이고 더 분명합니다. 이를 무시하는 것은 주소에 플래그가 붙는 가장 확실한 방법 중 하나입니다. 금지된 경로는 정확히 정당한 무엇도 요청하지 않는 곳이기 때문입니다.
robots.txt가 실제로 무언가를 차단하나요?
아니요. 게시된 요청일 뿐, 접근 제어가 못 됩니다. 금지된 모든 경로는 여전히 공개적으로 닿을 수 있고, 그리로의 요청을 막는 기술적인 장치는 없습니다. 거기에 민감한 것을 나열하는 것이 역효과인 이유도 그것입니다. 예의에 보호를 맡기면서 모두에게 위치를 광고하기 때문입니다.
robots.txt로 좋은 데이터가 어디 있는지 알 수 있나요?
함정이 어디 있는지는 알 수 있으며, 그것이 쓸모 있는 역발상입니다. 아무것도 링크하지 않는 금지된 경로는 유력한 허니팟 후보입니다. 파일을 무시하는 자동화만 거기 나타나기 때문입니다. 정말로 쓸모 있는 줄은 Sitemap으로, 사이트가 적극적으로 발견되길 원하는 URL의 구조화된 목록을 가리킵니다.
robots.txt 파일은 어떻게 읽나요?
크롤러별로 묶여 있습니다. User-agent 줄이 이어지는 규칙이 누구에게 적용되는지 밝히며, 별표는 구체적으로 지정되지 않은 누구든을 뜻하고, 그 아래 Disallow와 Allow 줄이 경로 접두사를 나열합니다. 여러분에게 적용되는 그룹, 보통 별표 그룹을 찾아 그 규칙을 따르세요. Sitemap 줄은 어디에나 나올 수 있고 모두에게 적용됩니다.
전체 용어집(으)로 돌아가기.

