크롤러는 발견하고, 스크레이퍼는 추출합니다. 크롤러는 시드 URL에서 시작해 찾은 링크를 페이지에서 페이지로 따라가며 사이트나 웹의 한 조각을 그려 냅니다. 스크레이핑은 크롤러가 가져온 페이지로 하는 일입니다. 둘은 보통 함께 돌아가서 단어가 흐려지지만, 크롤러는 특히 다음에 어디로 갈지 정하는 부분입니다.
규모 있는 크롤링은 스크레이핑과 같은 벽에 부딪힙니다. 주소 하나에서 빠르게 발견되는 많은 요청은 제한받거나 차단됩니다. 수천 개 링크를 따라가는 크롤러는 그 요청을 풀에 분산해야 하며, 그렇지 않으면 첫 번째 붐비는 도메인에서 스스로 목을 조릅니다.
잘 행동하는 크롤러는 사이트가 크롤러를 위해 게시한 규칙도 존중하며, 이는 예의만큼이나 실무 문제입니다. 이를 무시하는 것이 주소에 플래그가 붙는 행동 중 하나이기 때문입니다.
크롤링의 어려운 문제는 페이지를 가져오는 것보다 무엇을 가져올지 정하고 언제 멈출지 아는 것입니다. 보이는 모든 링크를 따라가는 순진한 크롤러는 다른 URL로 같은 콘텐츠를 다시 방문하고, 미래의 날짜마다 새 페이지를 만드는 달력 같은 무한 공간으로 헤매 들어가고, 목록 하나를 거의 같은 URL 수천 개로 늘리는 필터와 정렬 파라미터를 따라가고, 외부 링크로 사이트를 완전히 벗어납니다.
그래서 중요한 장치는 장부 관리입니다. 이미 본 것의 정규화된 기록이 있어야 파라미터 순서만 바뀐 URL을 같은 페이지로 알아봅니다. 어떤 도메인과 경로가 범위 안인지에 대한 명시적인 범위 규칙. 깊이 제한. 그리고 예의입니다. 한 호스트에 대한 요청 사이의 지연, 그리고 동시에 보내는 수의 상한입니다. 도메인 하나를 두들기는 크롤러는 의도와 상관없이 공격과 구별할 수 없기 때문입니다.
허니팟은 크롤러가 걸려드는 특유의 함정이며, 크롤러를 좋게 만드는 바로 그 철저함을 이용합니다. CSS로 숨긴 링크나 robots.txt에서 금지한 경로는 사람이 절대 요청하지 않는 것이므로, 그것을 요청하는 무엇이든 스스로 정체를 밝힌 셈입니다. 찾은 모든 링크를 따라가는 것이 감시받는 행동이며, 그래서 날것의 마크업을 파싱해 그 안의 모든 것을 따라가는 것보다 페이지를 렌더링하고 정말로 닿을 수 있는 것만 따라가는 편이 낫습니다.
스크레이퍼와의 구분은 최적화할 대상을 바꾸므로 분명히 해 둘 가치가 있습니다. 크롤러의 일은 커버리지입니다. 중복이나 반복 없이 모든 것을 찾는 것입니다. 스크레이퍼의 일은 추출입니다. 레이아웃이 바뀌어도 페이지에서 필드를 믿을 만하게 꺼내는 것입니다. 대부분의 프로젝트에는 둘 다 필요하고, 완전히 다른 방식으로 실패합니다.
자주 묻는 질문
크롤러와 스크레이퍼의 차이는 무엇인가요?
크롤러는 발견하고 스크레이퍼는 추출합니다. 크롤러는 링크를 따라가고 이미 본 것을 관리하며 다음에 가져올 URL을 정하고, 스크레이퍼는 가져온 것에서 원하는 필드를 꺼냅니다. 대부분의 프로젝트는 둘 다 돌리며, 실패 방식이 다릅니다. 크롤러는 반복하거나 커버리지를 놓쳐서 실패하고, 스크레이퍼는 레이아웃이 바뀔 때 실패합니다.
크롤러가 반복에 갇히지 않게 하려면 어떻게 하나요?
URL을 기록하기 전에 정규화해, 쿼리 파라미터 순서나 끝 슬래시가 새 페이지로 읽히지 않게 하고, 모든 후보를 이미 본 것과 대조하세요. 깊이 제한과 어떤 도메인과 경로가 범위 안인지에 대한 명시적인 범위 규칙을 더하세요. 유한한 콘텐츠에서 무한한 유효 URL을 만드는 달력과 패싯 필터 같은 무한 공간을 조심하세요.
크롤러는 얼마나 빨라야 하나요?
할 수 있는 것보다 느리게요. 같은 호스트에 대한 요청 사이에 지연을 두고 도메인당 동시성에 상한을 두세요. 사이트 하나를 포화시키는 크롤러는 의도와 상관없이 공격과 구별할 수 없기 때문입니다. robots.txt에 크롤링 지연이 있다면 따르세요. 하나를 다 쓰는 대신 여러 호스트에 부하를 분산하는 편이 전체적으로 더 빠르고 차단될 가능성도 훨씬 낮습니다.
예의 바르게 했는데 크롤러가 왜 차단되었나요?
속도의 예의는 허니팟을 건드리는 것으로부터 보호해 주지 않습니다. CSS로 숨기거나 robots.txt에서 금지한 것을 포함해 마크업의 모든 링크를 따라가는 것이 정확히 자동화를 식별하는 행동이며, 요청 속도는 애초에 문제가 아니었습니다. HTML에 담긴 모든 것 대신 렌더링된 페이지에서 정말로 닿을 수 있는 것을 따라가세요.
전체 용어집(으)로 돌아가기.

