KO
시작하기

용어집

스크래핑 및 자동화

API 스크래핑

페이지가 쓰는 JSON 엔드포인트를 직접 호출해 데이터를 수집하는 것으로, 그런 엔드포인트가 있다면 보통 가장 빠르고 저렴하며 안정적인 방법입니다.

API 스크레이핑은 페이지 자체가 쓰는 출처로 가는 것을 뜻합니다. 대부분의 현대 사이트는 데이터를 HTML에 넣는 대신 껍데기를 보내고 배경에서 JSON 엔드포인트로 실제 콘텐츠를 가져옵니다. 그 엔드포인트는 사이트 자체 프런트엔드를 위해 존재하며, 대다수 경우 직접 호출해 파싱해야 할 렌더링된 페이지 대신 구조화된 데이터를 받을 수 있습니다. 하나가 있다면 거의 항상 그것이 맞는 답입니다.

장점은 이 용어집의 다른 모든 것에 걸쳐 쌓입니다. 렌더링을 건너뛰므로 헤드리스 브라우저와 그 비용이 없습니다. JSON은 이미 구조화되어 있으므로 파싱을 건너뛰고, 레이아웃 변경에 맞서 관리할 셀렉터도 없습니다. 이미지, 폰트, 스크립트를 가져오지 않으므로 바이트의 일부만 전송하며, 기가바이트당 과금에서는 직접적인 절약입니다. 그리고 엔드포인트가 프런트엔드가 표시하지 않기로 한 필드까지 돌려주는 경우가 많아서, 데이터가 보통 페이지가 보여 주는 것보다 깔끔하고 완전합니다.

찾는 것은 운보다 반복할 수 있는 기술입니다. 브라우저 네트워크 탭을 열고 JSON을 돌려주는 요청으로 거른 뒤, 원하는 데이터가 나타날 때, 즉 불러올 때, 스크롤할 때, 필터를 누를 때 어떤 요청이 나가는지 지켜보세요. 페이지네이션과 파라미터가 그 요청에 보이므로, 사이트가 묻는 것을 읽어 2페이지, 특정 카테고리, 날짜 범위를 묻는 법을 배웁니다. 네트워크 탭에서의 그 30분이 프로젝트 전체에서 가장 가치 있는 작업인 경우가 많습니다.

정직한 주의점이 이것을 마법으로 만들지 않습니다. 이런 엔드포인트는 내부용이라 문서화되어 있지 않고 예고 없이 바뀔 수 있으므로, 다른 스크레이핑처럼 모니터링이 필요합니다. 페이지가 만드는 토큰이나 서명된 파라미터 같은 자체 인증을 지니는 경우가 많고, 이를 재현해야 할 때가 있으며 가끔은 그것이 어려운 부분입니다. 다른 표면처럼 속도 제한과 방어가 있으므로, 프록시와 속도 조절은 여전히 적용됩니다. 그리고 사이트가 별도 엔드포인트 없이 정말로 서버 쪽에서 데이터를 HTML에 렌더링한다면, API 스크레이핑은 적용되지 않고 파싱이 길입니다. 하지만 엔드포인트가 있다면, HTML부터 손대는 것은 쉬운 일의 어려운 버전을 하는 것입니다.

자주 묻는 질문

사이트의 숨은 API는 어떻게 찾나요?

브라우저 네트워크 탭을 열고, JSON을 돌려주는 요청으로 거른 뒤, 원하는 데이터가 나타날 때, 즉 불러올 때, 스크롤할 때, 필터를 누를 때 어떤 요청이 나가는지 지켜보세요. 그 요청이 엔드포인트, 파라미터, 페이지네이션을 드러내므로 직접 호출할 수 있습니다. 반복할 수 있는 기술이며, 드는 30분이 프로젝트의 나머지 전체를 아끼는 경우가 많습니다.

API를 스크레이핑하는 것이 HTML을 스크레이핑하는 것보다 나은가요?

엔드포인트가 있다면 거의 항상 그렇습니다. 렌더링과 파싱을 건너뛰고, 훨씬 적은 바이트를 전송하며, 흔히 페이지가 보여 주는 것보다 깔끔하고 완전하고, 레이아웃 변경에 깨지지 않아 더 안정적인 구조화된 데이터를 얻습니다. 예외는 별도 엔드포인트 없이 데이터를 HTML에 렌더링하는 사이트이며, 거기서는 파싱이 유일한 길입니다.

API 스크레이핑에도 프록시가 필요한가요?

네. 사이트의 내부 엔드포인트는 다른 표면처럼 속도 제한과 방어가 있고 똑같이 주소를 키로 삼으므로, HTML에 쓸 풀, 로테이션, 속도 조절이 그대로 적용됩니다. 바뀌는 것은 각 요청의 비용과 신뢰성이며, 대상이 요청을 세고 거르는지는 바뀌지 않습니다.

전체 용어집(으)로 돌아가기.

HProxy.

정의만으로는 한계가 있습니다. 실행 대 실제 대상.

레지덴셜 GB당 $0.23부터, 쓴 만큼만 결제하고 잔액은 만료되지 않습니다.

HProxy