웹 스크래핑용 프록시. 차단되지 않도록 만들었습니다.
스크래핑이 실패하는 가장 큰 이유는 하나입니다. 한 주소에서 너무 많은 요청이 나가기 때문입니다. 로테이션 레지덴셜 IP가 부하를 분산하므로 크롤링이 방문자 한 명 대신 여러 명처럼 보이고, 차단당하지 않고 끝납니다.
적합한 상품
적합한 상품 3개, 가장 좋은 것부터
- 레지덴셜 프록시
- 스크래핑의 일꾼: GB당 과금되는 실제 가정용 IP 로테이션 풀로, 어느 주소도 사이트가 세는 한도를 넘지 않게 합니다.
- 스크래퍼 API
- 손 댈 필요 없는 선택지: URL을 넣으면 깔끔한 데이터가 나오고, 프록시 로테이션, 재시도, 차단 해제가 처리되어 봇 차단과의 군비 경쟁을 완전히 건너뜁니다.
- 데이터센터 프록시
- 네트워크로 거르지 않는 사이트, 내 서비스의 부하 테스트, 신경 쓰지 않는 출처의 스크래핑을 위한 저렴하고 빠른 선택.
대상에 맞춰 프록시를 고르세요
맞는 프록시는 무엇을 스크래핑하느냐에 따라 다릅니다. 데이터센터 대역을 거르는 사이트에는 레지덴셜이 필요하고, 요청 제한만 있는 사이트는 더 저렴한 데이터센터 IP로도 될 수 있으며, 강력한 봇 차단 체계 뒤에 있는 사이트는 직접 맞서기보다 스크래퍼 API에 맡기는 편이 나은 경우가 많습니다.
정직한 원칙은 대상을 견디는 가장 저렴한 옵션부터 시작해 그것이 통하지 않을 때만 올리는 것이며, 필요도 없는 출처에 레지덴셜 비용을 내지 않는 것입니다. 결정하기 전에 무료 프록시 목록으로 먼저 시험해 보세요.
웹 스크래핑용 프록시 설정 방법
- 1
대상에 맞게 풀 고르기
네트워크로 거르지 않는 사이트에는 데이터센터, 거르는 사이트에는 레지덴셜, 강력한 봇 차단 뒤의 대상에는 스크래퍼 API. 먼저 작은 샘플로 저렴한 옵션을 시험해 보세요.
- 2
작업자마다 줄 하나 생성하기
대시보드나 API에서 국가와 필요한 줄 수를 고르세요. 10개로 하면 작업자 열 명이 줄 열 개를 받으며, 로테이션 줄의 모든 요청은 각기 다른 주소에서 나갑니다.
- 3
- 4
크롤링 전에 요청 하나 확인하기
줄을 통해 프록시 검사기나 IP 조회에 요청 하나를 보내세요. 출구가 고른 국가에 있어야 하고, 내 주소가 아니어야 합니다.
- 5
사이트가 필요로 할 때만 주소 유지하기
로그인이나 여러 페이지에 걸친 흐름에는 stickyMinutes를 추가해 세션 내내 주소 하나를 쓰세요. Premium에서는 최대 1,440분입니다. 나머지는 모두 로테이션되므로 각 주소가 사이트가 세는 한도 아래에 머뭅니다.
웹 스크래핑: 흔한 문제와 해결 방법
- HTTP 429, 요청이 너무 많음
- 한 주소가 너무 많이 보내고 있습니다. 작업을 더 많은 줄에 분산하거나, 작업자마다 속도를 늦추거나, 요청마다 로테이션하세요.
- 모든 페이지에 캡차가 뜸
- 네트워크나 클라이언트가 스크래퍼임을 드러냅니다. 데이터센터에서 레지덴셜로 옮기거나, 실제 브라우저가 보내는 헤더를 보내거나, 그 대상은 스크래퍼 API에 맡기세요.
- 페이지에 다른 나라의 가격이나 언어가 표시됨
- 출구 국가가 틀렸거나 쿠키가 이전 방문을 기억하고 있습니다. 줄에 국가를 지정하고 각 세션을 이전 쿠키 없이 시작하세요.
- 요청이 시간 초과됨
- 레지덴셜 출구는 실제 가정용 연결이라 느린 것도 있습니다. 시간 제한을 두고 새 줄로 요청을 재시도하며, 한 줄에 병렬 요청을 많이 몰지 마세요.
- 크롤링이 한 시간쯤 돌다가 실패함
- 사이트가 패턴을 학습했습니다. 요청의 순서와 타이밍을 바꾸고 크롤링을 더 많은 주소에 분산하세요.
설정 가이드와 도구
FAQ
질문 웹 스크래핑개와 답변
웹 스크래핑에는 어떤 프록시가 가장 좋나요?
방어가 있는 사이트에는 로테이션 레지덴셜, 방어가 없는 사이트에는 데이터센터, 프록시를 아예 관리하고 싶지 않다면 스크래퍼 API. 대상이 결정합니다. 저렴하게 시작하고, 출처가 저렴한 옵션을 막을 때만 올리세요.
스크래핑할 때 왜 계속 차단되나요?
거의 언제나 한 IP에서 너무 많은 요청이 나가기 때문입니다. 사이트는 주소별로 세므로, 프록시 하나로 많은 양을 가져가면 요청 제한이나 캡차에 걸립니다. 크롤링을 로테이션 풀에 분산하는 것이 구조적인 해결책입니다.
웹 스크래핑에 프록시가 몇 개 필요한가요?
레지덴셜에서는 주소 대신 트래픽을 구매합니다. 플랜 하나로 작업자에게 필요한 만큼 줄을 생성할 수 있고, 로테이션 줄의 각 요청은 다른 주소에서 나갈 수 있습니다. 데이터센터는 주소 단위로 판매하므로 동시에 실행하는 수만큼 구매하세요.
레지덴셜 프록시는 요청마다 로테이션하나요?
네, stickyMinutes로 줄에 주소를 유지하도록 요청하지 않는 한 그렇습니다. 그 설정은 로그인과 여러 페이지 흐름을 위한 것이며, 일반 페이지 가져오기는 로테이션해야 합니다.
프록시로 스크래핑하는 비용은 얼마인가요?
레지덴셜은 트래픽 기가바이트당 과금되므로 비용은 가져오는 양에 비례하며, 잔액은 만료되지 않습니다. 필요한 것만 가져오고 파싱하지 않을 이미지는 건너뛰면 비용이 낮게 유지됩니다. 현재 GB당 요율은 요금 페이지를 보세요.
프록시로 스크래핑하는 것은 합법인가요?
프록시는 요청이 어디서 오는지를 바꿀 뿐이며, 수집해도 되는 범위는 그대로입니다. 무엇을, 얼마나 자주 스크래핑하는지, 개인정보를 어떻게 다루는지는 사이트 약관과 활동 지역의 법률에 따라 이용자의 책임으로 남습니다.

