프록시를 쓰는 이유
Python Requests에 프록시를 쓰는 이유
Requests는 Python에서 가장 널리 쓰이는 HTTP 라이브러리로, 스크립트, 스크레이퍼, API 클라이언트의 기본 선택입니다.
한 주소에서 사이트를 반복해서 두드리는 스크립트는 속도 제한이 잡아내도록 만들어진 패턴입니다. Requests를 로테이팅 레지덴셜 풀로 보내면 트래픽이 분산되어 각 주소가 눈에 띄지 않습니다.
Setup
Python Requests에서 HProxy 설정하기
- 1
HProxy 대시보드에서 프록시 호스트, 포트, 로그인을 복사하세요.
- 2
http와 https 모두 같은 프록시 URL을 가리키는 proxies 딕셔너리를 만드세요.
- 3
모든 요청에 넘기거나, 세션에 한 번 설정하세요.
알아 둘 것
사용자 이름에 타기팅이 들어갑니다. user-country-de는 독일에서 나가게 하고, -city-frankfurt를 더하면 더 좁혀집니다.
여기 보이는 호스트, 포트, 로그인은 형식입니다. 정확한 값은 대시보드에 있으며, 바로 복사할 수 있습니다.
Python Requests, HProxy와 함께
import requests
proxies = {
"http": "http://user-country-us:[email protected]:8080",
"https": "http://user-country-us:[email protected]:8080",
}
r = requests.get("https://ipinfo.io/json", proxies=proxies)
print(r.json())Python Requests 질문
자주 묻는 질문
requests가 여전히 실제 IP를 보여 주는 이유는 무엇인가요?
대개 proxies 딕셔너리가 스킴 하나만 다뤘기 때문입니다. HTTPS URL로 가는 요청은 https 항목을 쓰고, http만 있는 딕셔너리는 그 요청을 조용히 직접 보내므로 http와 https 키를 둘 다 설정하세요. 짐작하는 대신 세션을 통해 IP 에코 엔드포인트를 열어 확인하세요.
모든 요청에 프록시 하나를 어떻게 쓰나요?
호출마다 인자를 넘기는 대신 Session 객체에 한 번 설정하고 그 세션을 계속 쓰세요. 코드가 줄고, 요청 사이에 연결이 유지되며, 인자를 빠뜨린 호출 하나가 조용히 직접 연결로 나가는 종류의 버그가 사라집니다.
스크레이퍼가 브라우저에서는 되는데 requests에서는 실패하는 이유는 무엇인가요?
대개 TLS 지문입니다. Python HTTP 클라이언트가 보내는 핸드셰이크는 헤더를 아무리 꼼꼼히 복사해도 브라우저와 다르며, 탐지 시스템은 요청이 복호화되기 전에 이를 읽습니다. 사용자 에이전트를 복사해도 그 아래의 핸드셰이크는 바뀌지 않습니다.
준비되시면 언제든지 시작하세요.
10초면 대시보드가 열립니다. 영업 전화도, 구독도, 최소 금액도 없습니다.

