KO
시작하기

용어집

스크래핑 및 자동화

웹 스크래핑

웹사이트에서 데이터를 자동으로 수집하는 일로, 사람들이 프록시를 대규모로 쓰는 가장 흔한 이유입니다.

웹 스크레이핑은 웹사이트의 정보를 손 대신 프로그램으로 모으는 것입니다. 사람이 가격을 스프레드시트에 옮기는 대신 스크립트가 페이지를 가져와 값을 파싱하며, 수작업으로는 감당할 수 없는 양과 빈도로 합니다. 가격 모니터링, 시장 조사, SEO 순위 추적, 리드 조사, 항공권 비교, 학습 데이터셋 구축이 모두 이것에 기대고 있습니다.

프록시가 들어오는 이유는 대립보다 산수입니다. 속도 제한은 거의 항상 주소별로 세므로, IP 하나가 페이지 만 개를 요청하면 기준선을 넘고, 여러 주소에 나눈 만 번의 요청은 근처에도 가지 않습니다. 무언가를 속인 것이 아닙니다. 트래픽을 한곳에 몰지 않았을 뿐이며, 실제 방문자 집단도 이렇게 보입니다.

어떤 프록시 유형이 필요한지는 대상이 무엇을 걸러 내는지에서 나오며, 평판보다 실험으로 확인할 가치가 있습니다. 주소별 요청만 세는 사이트는 값싼 데이터센터 프록시로도 충분할 수 있습니다. 네트워크 유형으로 분류하는 사이트는 속도와 상관없이 모든 데이터센터 주소를 거부합니다. 가정한 난이도에 맞춰 사기 전에 필요한 실제 URL을 테스트하세요.

더 어려운 대상은 주소로는 전혀 넘을 수 없으며, 사람들이 비싸게 배우는 부분입니다. 네트워크 평판 너머에는 TLS 지문, 브라우저 지문, 행동 점수, 허니팟이 있고, 모두 프록시가 건드리지 않는 계층에서 작동합니다. 같은 IP로 브라우저에서는 되고 스크립트에서는 실패하는 스크레이퍼는 대개 주소보다 핸드셰이크에서 정체를 드러내고 있습니다.

HTML을 모으는 것과 렌더링된 페이지를 모으는 것 사이에는 큰 실무 차이가 있으며, 비용 대부분을 정합니다. 문서를 가져오는 것은 빠르고 저렴합니다. 실제 브라우저를 구동하면 JavaScript가 렌더링되고 훨씬 사람처럼 보이지만, 모든 이미지, 폰트, 스크립트도 가져오며, 기가바이트당 레지덴셜 과금에서는 버릴 자원에 쓰는 돈입니다. 많은 사이트가 같은 데이터를 훨씬 작은 크기로 돌려주는 JSON 엔드포인트를 노출하며, 그것을 찾는 것이 보통 프로젝트에서 가장 가치 있는 한 시간입니다.

행동 원칙에 대한 저희 입장은 분명하며 저희 스스로에게도 적용합니다. 공개된 비개인 데이터를 모으세요. 사이트가 자동 접근에 대해 게시한 것을 존중하세요. 다른 사람들이 쓰는 서비스를 떨어뜨리지 않도록 요청 속도를 조절하세요. 차단을 확전하라는 신호로 받아들이지 마세요. 예의를 넘어서, 무엇이 합법인지는 관할, 사이트 약관, 데이터의 성격, 특히 개인 정보가 관련된 경우에 따라 달라지며, 이는 용어집보다 변호사에게 물을 질문입니다.

솔직한 마무리는 스크레이핑이 한 번 만드는 일로 끝나지 않고 유지 보수라는 것입니다. 레이아웃이 바뀌고, 방어가 업데이트되고, 엔드포인트가 옮겨 가며, 스크레이퍼는 끝내는 것보다 계속 작동하게 하는 것입니다. 처음부터 이를 예산에 넣는 것이 파이프라인과 연속된 놀라움의 차이입니다.

자주 묻는 질문

웹 스크레이핑에 레지덴셜 프록시가 필요한가요?

대상이 네트워크 유형을 걸러 낼 때만이며, 이는 결코 보편적이지 않습니다. 많은 사이트가 그냥 주소별 요청을 세고, 더 빠르고 훨씬 저렴한 데이터센터 프록시로도 충분합니다. 실제 대상 URL을 먼저 더 저렴한 선택지로 테스트하세요. 확인하지도 않는 사이트에 레지덴셜 요금을 내는 것은 아무도 요구하지 않은 신뢰에 돈을 쓰는 것입니다.

사이트를 스크레이핑하려면 프록시가 몇 개 필요한가요?

숫자를 고르는 대신 제한에서 거꾸로 계산하세요. 대상이 주소당 몇 초에 요청 한 번 정도를 허용하고, 정해진 시간 안에 정해진 양이 필요하다면, 산수가 풀 크기를 알려 줍니다. 그런 다음 여유를 더하세요. 주소는 빠져나가고 일부는 이미 플래그가 붙어 있을 것이기 때문입니다. 크게 짐작하는 것보다 몇 개로 천천히 시작해 오류가 시작되는 지점을 재는 편이 낫습니다.

좋은 프록시를 써도 스크레이퍼가 차단되는 이유는 무엇인가요?

주소는 여러 계층 중 하나이기 때문입니다. TLS 지문은 무엇이든 복호화되기 전에 HTTP 클라이언트를 식별하고, 브라우저 지문은 주장하는 것과 보고하는 것 사이의 모순을 잡으며, 너무 규칙적인 속도는 그 자체로 보입니다. 같은 IP로 실제 브라우저에서는 되고 스크립트에서는 실패하는 요청은 네트워크 위에서 잡히고 있는 것입니다.

웹 스크레이핑은 합법인가요?

관할, 사이트의 이용 약관, 그리고 데이터가 무엇인지에 크게 달려 있으며, 개인 정보에는 훨씬 엄격한 의무가 따릅니다. 그래서 저희보다 변호사에게 물을 질문입니다. 법률 자문 대신 최소 기준으로 제안하는 저희 자체 운영 규칙은 이렇습니다. 공개된 비개인 데이터, 자동 접근에 대해 게시된 규칙 존중, 다른 누구의 서비스도 떨어뜨리지 않는 요청 속도.

헤드리스 브라우저와 일반 HTTP 요청 중 무엇을 써야 하나요?

할 수 있는 곳에서는 요청을, 해야 하는 곳에서는 브라우저를 쓰세요. 일반 요청은 훨씬 빠르고 저렴하며, 기가바이트당 과금에서 버릴 이미지와 폰트에 돈을 내지 않게 해 줍니다. 헤드리스 브라우저는 데이터가 정말로 JavaScript가 실행된 뒤에만 존재할 때 쓸 만합니다. 쓰기 전에 페이지가 직접 호출할 수 있는 JSON 엔드포인트로 채워지는지 확인하세요. 흔하고 보통 훨씬 작습니다.

전체 용어집(으)로 돌아가기.

HProxy.

정의만으로는 한계가 있습니다. 실행 대 실제 대상.

레지덴셜 GB당 $0.23부터, 쓴 만큼만 결제하고 잔액은 만료되지 않습니다.

HProxy