상품은 HTTP 호출 하나입니다. 대상 URL과 함께 어느 나라로 보일지, JavaScript를 렌더링할지 같은 옵션을 보내면, 응답은 HTML이나 파싱된 데이터로 된 페이지입니다. 이 용어집이 여러 페이지에 걸쳐 설명하는 모든 것, 즉 출구 고르기, 로테이션, 지문을 주소에 맞추기, 실패 재시도, 확인 요구 견디기가 엔드포인트 안에서, 그것을 계속 작동하게 하는 것이 일의 전부인 사람들에 의해 일어납니다.
수집의 난이도가 크게 고르지 않기 때문에 존재합니다. 대부분의 사이트는 아무것도 필요 없습니다. 적당한 프록시를 거친 일반 요청이 성공하고, 앞으로도 그럴 것입니다. 소수는 계속 다시 조정되는 방어 뒤에 있으며, 거기서 접근을 유지하는 것은 한 번 찾는 설정이 될 수 없고 지켜 내야 하는 위치이고, 그 유지 보수는 누군가의 지속적인 근무 시간입니다. API는 그 인력 문제를 계량 서비스로 바꿉니다. 운영자가 모든 고객을 위해 한꺼번에 위치를 지키고, 여러분은 결과를 소비합니다.
과금 모델이 실제로 사는 것이 무엇인지 알려 줍니다. 프록시 요금제는 트래픽을 계량하고, 스크레이퍼 API는 보통 성공한 요청당 과금하며, 실패는 무료이고 더 어려운 설정, 즉 JavaScript 렌더링과 프리미엄 출구는 배수로 가격이 매겨집니다. 성공당 가격은 재시도 위험을 운영자에게 지우며, 정확히 여러분이 떨쳐 내려던 위험입니다. 비교도 정직해집니다. 옮긴 기가바이트당 비용 대신 결과 천 개당 비용이 주어진 대상에 어느 방식이 더 저렴한지 정하는 숫자입니다.
거래는 통제와 경제성입니다. 쉬운 대상에서는 API의 프리미엄이 아무것도 사 주지 않습니다. 날것의 프록시가 이미 일부 가격으로 거기서 성공하기 때문이며, 아주 큰 양에서는 요청당 가격이 불리하게 쌓입니다. 엔드포인트 안에서는 그 선택도 물려받습니다. 속도, 세션 동작, 파싱이며, 여러분 자신의 클라이언트라면 정밀하게 조정할 수 있었을 것들입니다. 그래서 합리적인 분할은 난이도를 따릅니다. 넓고 쉬운 다수에는 날것의 프록시, 운영자의 유지 보수가 상품인 어려운 꼬리에는 API, 그리고 방어가 바뀌면 대상을 두 길 사이에서 옮길 의지입니다.
연동 전에 확인할 기능 구분 하나: 일부 상품은 렌더링된 원본 페이지를 돌려주고 추출은 여러분에게 맡기며, 다른 상품은 특정 사이트 유형에 대해 구조화된 필드를 돌려줍니다. 두 번째 종류는 조용히 다르게 고장 납니다. 레이아웃 변경이 여러분의 가져오기 실패 대신 운영자의 파싱 버그가 되기 때문입니다. 어떤 실패를 직접 떠안고 싶은지 알아 두세요.
HProxy의 처리 방식
저희는 프록시 계열과 함께 스크레이퍼 API를 운영합니다. 두 길이 정말로 서로 다른 대상에 맞기 때문이며, 여러분의 대상에 어느 쪽이 맞는지 말씀드리겠습니다. 쉬운 사이트는 일반 프록시가 더 저렴하고, 거기에 저희 요청당 요금을 내는 것은 필요 없는 도움을 사는 것입니다.
자주 묻는 질문
언제 프록시 대신 스크레이퍼 API를 써야 하나요?
충성심 대신 난이도로 나누세요. 괜찮은 출구를 거친 일반 요청이 성공하는 대상은 날것의 프록시가 더 저렴하고, 대량에서도 그대로입니다. 방어가 지속적인 적응을 요구하는 대상은 성공당 가격과 다른 누군가의 유지 보수가 프리미엄을 버는 곳입니다. 많은 파이프라인이 두 길을 동시에 돌리고, 사이트가 강해지거나 느슨해지면 대상을 그 사이에서 옮깁니다.
스크레이퍼 API는 왜 기가바이트당 대신 요청당 과금하나요?
결과물이 전송 대신 결과이기 때문입니다. 성공한 결과에만 과금하면 재시도와 실패 위험이 운영자에게 옮겨 가며, 그것이 여러분이 떨쳐 내려고 돈을 내는 것의 상당 부분이고, 렌더링이나 프리미엄 라우팅에 대한 배수로 난이도에 정직하게 가격을 매깁니다. 올바른 비교 숫자도 줍니다. 결과 천 개당 비용을 프록시의 총비용과 비교하는 것입니다.
스크레이퍼 API는 엔드포인트 뒤에서 실제로 무엇을 하나요?
이 용어집이 설명하는 전체 스택을 계속 운영합니다. 출구 선택과 로테이션, 세션과 쿠키 처리, 헤더와 지문 일관성, 요청 시 JavaScript 렌더링, 확인 요구 처리, 다른 신원으로의 재시도, 그리고 대상이 품질 떨어진 콘텐츠를 제공하기 시작하는 조용한 실패에 대한 모니터링입니다. 가치는 어떤 단일 기법보다 누군가의 일이 그것들을 최신으로 유지하는 것이라는 사실에 있습니다.
스크레이퍼 API의 단점은 무엇인가요?
비용과 통제입니다. 방어가 없는 대상에서는 프리미엄이 아무것도 사 주지 않고, 큰 규모에서는 요청당 가격이 프록시 기반 파이프라인의 몇 배를 넘을 수 있습니다. 속도, 세션, 파싱에 대한 운영자의 선택도 물려받으며, 직접 만든 클라이언트라면 조정할 수 있었을 것들입니다. 구조화된 출력 상품은 레이아웃 고장을 여러분의 코드에서 그들의 파서로 옮기며, 더 이상 직접 고칠 수 없는 실패가 됩니다.
전체 용어집(으)로 돌아가기.

