KO
시작하기

용어집

스크래핑 및 자동화

페이지 이동

사이트가 긴 목록을 여러 페이지나 로드로 나누는 방식으로, 스크래핑에서 데이터를 조용히 놓치거나 크롤러를 가두기 가장 쉬운 부분입니다.

페이지네이션은 사이트가 긴 목록을 한꺼번에 대신 조금씩 제공하는 방식이며, 스크레이핑이 조용히 잘못되는 곳입니다. 첫 페이지를 가져오는 것은 쉽습니다. 모든 페이지를 정확히 한 번씩, 다 가져왔다는 것을 알면서 가져오는 것이 실제 일이며, 보기보다 함정이 가득합니다. 불완전한 데이터셋 대부분은 차단된 수집보다 페이지네이션을 조금 잘못 다룬 결과입니다.

메커니즘은 다양하고, 올바른 접근도 그에 따라 다릅니다. 고전적인 번호 페이지나 다음 링크는 친절한 경우입니다. 링크가 사라질 때까지 따라가세요. 오프셋 기반 페이징, 즉 2페이지, 3페이지는 단순하지만 아래에서 목록이 바뀌면 깨지며, 요청 사이에 항목이 옮겨 가면서 조용히 건너뛰거나 중복됩니다. 응답마다 다음을 위한 토큰을 주는 커서 기반 페이징은 견고한 현대 형태이며, 데이터 엔드포인트를 직접 호출하는 것이 가장 큰 보상을 줍니다. 그리고 무한 스크롤에는 페이지가 아예 없습니다. 스크롤할 때 콘텐츠가 불러와지며, 대개 렌더링해야 하는 페이지 대신 찾아서 호출할 수 있는 배경 요청이 있다는 뜻입니다.

그 마지막 점이 가장 지렛대가 큰 수이며, 렌더링과 API 항목과 이어집니다. 무한 스크롤과 동적으로 불러오는 목록은 헤드리스 브라우저로 영원히 스크롤해야 할 것처럼 보이지만, 스크롤은 거의 항상 아래에서 페이지 단위 데이터 요청을 보내고 있으며, 그 요청을 페이지나 커서 파라미터와 함께 직접 호출하면 브라우저를 구동하는 것보다 빠르고 저렴하게 깔끔한 조각으로 목록 전체를 얻습니다. 네트워크 탭에서 페이지네이션을 찾는 순간이 어려운 스크레이핑이 쉬운 것이 되는 순간인 경우가 많습니다.

너무 흔하므로 짚어 둘 실패 방식이 둘 있습니다. 첫째는 너무 일찍 멈추는 것으로, 빈 페이지나 빠진 다음 링크를 일관되지 않게 다뤄 데이터의 4분의 3에서 조용히 끝나는 것이며, 그래서 사이트가 주장하는 총수와 모은 수를 검증하는 것이 중요합니다. 둘째는 크롤러 항목이 설명하는 크롤러 함정입니다. 패싯 필터와 달력은 유한한 콘텐츠에서 끝없는 유효 페이지를 만들므로, 범위 제한 없이 페이지를 넘기면 크롤러가 무한 공간으로 걸어 들어갑니다. 페이지네이션은 너무 적은 쪽과 너무 많은 쪽 모두에서 커버리지가 결정되는 곳입니다.

자주 묻는 질문

첫 페이지에 그치지 않고 목록의 모든 페이지를 어떻게 스크레이핑하나요?

방식에 맞추세요. 고전적인 페이징은 다음 링크가 사라질 때까지 따라가고, 번호 페이지는 요청 사이에 항목이 옮겨 가는지 지켜보며 오프셋을 신중하게 늘리고, 커서 기반 페이징은 응답마다 주는 토큰을 따라가며, 이것이 가장 믿을 만합니다. 무한 스크롤은 스크롤할 때 나가는 배경 요청을 찾아 페이지나 커서 파라미터와 함께 직접 호출하세요.

무한 스크롤 페이지는 어떻게 스크레이핑하나요?

대개 스크롤하지 않고 합니다. 무한 스크롤은 바닥에 닿을 때 배경에서 페이지 단위 데이터 요청을 보내므로, 네트워크 탭을 열어 그 요청을 찾고, 페이지나 커서 파라미터와 함께 직접 호출해 목록 전체를 깔끔한 조각으로 가져오세요. 헤드리스 브라우저로 끝없이 스크롤하는 것보다 빠르고 저렴하며 덜 취약합니다.

스크레이퍼가 왜 페이지 사이에서 데이터를 빠뜨리나요?

대개 페이지네이션을 조금 잘못 다뤘기 때문입니다. 일관되지 않은 빈 페이지나 빠진 다음 링크에서 일찍 멈추거나, 요청 사이에 바뀌는 목록에 오프셋을 써서 항목이 건너뛰어지거나 중복되는 경우입니다. 모은 총수를 사이트가 보고하는 수와 검증하고, 조용한 빈틈이 훨씬 적은 커서 기반 페이징이나 직접 데이터 엔드포인트를 선호하세요.

전체 용어집(으)로 돌아가기.

HProxy.

정의만으로는 한계가 있습니다. 실행 대 실제 대상.

레지덴셜 GB당 $0.23부터, 쓴 만큼만 결제하고 잔액은 만료되지 않습니다.

HProxy