연동 · 자동화 및 스크래핑
Scrapy에서 HProxy를 쓰세요.
- 3단계
- 작동하는 코드
- HTTP 및 SOCKS5
- 프록시 URL에 로그인
Setup
Scrapy에서 HProxy 설정하기
- 1
각 요청의 meta 딕셔너리로 프록시를 설정하거나, 다운로더 미들웨어에서 전역으로 설정하세요.
- 2
대시보드의 호스트와 포트로 된 프록시 URL에 로그인을 넣으세요.
- 3
풀이 부하를 감당한 뒤에 CONCURRENT_REQUESTS를 올리고, 그 전에는 올리지 마세요.
알아 둘 것
프로젝트 전체에는 요청마다 설정하는 대신 사용자 정의 HttpProxyMiddleware에서 프록시를 설정하세요.
여기 보이는 호스트, 포트, 로그인은 형식입니다. 정확한 값은 대시보드에 있으며, 바로 복사할 수 있습니다.
Scrapy, HProxy와 함께
# in your spider
def start_requests(self):
yield scrapy.Request(
"https://ipinfo.io/json",
meta={"proxy": "http://user-country-us:[email protected]:8080"},
)Scrapy 질문
자주 묻는 질문
Scrapy 프로젝트에서 프록시는 어디에 두어야 하나요?
간단한 작업에는 요청마다 설정해도 되고, 프로젝트 전체에는 HttpProxyMiddleware 기반의 사용자 정의 미들웨어가 맞는 자리입니다. 중앙에서 설정하면 모든 스파이더가 물려받고, 만드는 요청마다 바꾸는 대신 파일 하나에서 엔드포인트를 바꿉니다.
Scrapy에서 프록시를 어떻게 로테이션하나요?
게이트웨이 프록시라면 그럴 필요가 없습니다. 풀이 바뀌지 않는 엔드포인트 하나 뒤에서 요청마다 다른 출구를 할당합니다. 개별 주소 목록을 직접 관리한다면 요청마다 하나씩 할당하는 미들웨어가 일반적인 방법이지만, 같은 결과에 움직이는 부품이 더 많습니다.
Scrapy 동시성은 프록시 제한과 어떻게 맞물리나요?
직접 영향을 주므로 신중하게 설정할 가치가 있습니다. Scrapy의 동시 요청 설정이 한 번에 보내는 트래픽 양을 정하는데, 너무 적은 주소로 높은 동시성을 밀어붙이면 순차 실행보다 더 빨리 주소별 속도 제한에 걸립니다. 동시성과 풀 크기는 함께 움직여야 합니다.
Scrapy에서도 robots.txt를 지켜야 하나요?
Scrapy는 기본적으로 이를 따르며, 그 기본값은 유지할 가치가 있습니다. 금지된 경로는 정당한 요청이라면 절대 요청하지 않는 곳이므로, 이 파일을 무시하는 것은 나쁜 관행이라는 점과 별개로 주소에 플래그가 붙는 가장 확실한 방법 중 하나입니다.
준비되시면 언제든지 시작하세요.
10초면 대시보드가 열립니다. 영업 전화도, 구독도, 최소 금액도 없습니다.

