KO
시작하기

연동 · 자동화 및 스크래핑

Selenium에서 HProxy를 쓰세요.

Selenium으로 인증된 HProxy 프록시를 통해 실제 브라우저를 구동하세요.
시작하기전체 가이드 읽기
  • 3단계
  • 작동하는 코드
  • HTTP 및 SOCKS5
  • 프록시 URL에 로그인

프록시를 쓰는 이유

Selenium에 프록시를 쓰는 이유

Selenium은 실제 브라우저를 자동화하며, JavaScript를 렌더링하고 사람처럼 행동하는 것에만 열리는 사이트에서 선택하는 도구입니다.

헤드풀 브라우저도 모든 세션이 같은 IP에서 나오기 전까지만 그럴듯합니다. 세션마다 레지덴셜 출구를 쓰면 사이트가 확인을 요구하기 전에 Selenium을 몇 번의 실행 이상으로 확장할 수 있습니다.

Setup

Selenium에서 HProxy 설정하기

  1. 1

    Selenium Wire를 설치하세요(pip install selenium-wire). 기본 Selenium에 없는 인증 프록시 지원을 더합니다.

  2. 2

    seleniumwire_options 프록시 설정에 호스트, 포트, 로그인을 넣으세요.

  3. 3

    평소처럼 드라이버를 실행하세요. 이제 브라우저의 모든 요청이 프록시로 나갑니다.

알아 둘 것

기본 Selenium은 프록시 사용자 이름과 비밀번호를 넘길 수 없습니다. Selenium Wire가 표준 우회 방법입니다.

여기 보이는 호스트, 포트, 로그인은 형식입니다. 정확한 값은 대시보드에 있으며, 바로 복사할 수 있습니다.

Selenium, HProxy와 함께

from seleniumwire import webdriver

opts = {"proxy": {
  "http":  "http://user-country-us:[email protected]:8080",
  "https": "http://user-country-us:[email protected]:8080",
}}
driver = webdriver.Chrome(seleniumwire_options=opts)
driver.get("https://ipinfo.io/json")

Selenium 질문

자주 묻는 질문

Selenium이 프록시 사용자 이름과 비밀번호를 무시하는 이유는 무엇인가요?

기본 Selenium은 프록시 인증 정보를 전혀 보낼 수 없기 때문입니다. 브라우저에 넘기는 proxy-server 플래그는 호스트와 포트만 받고 인증 칸이 없어서, 인증이 필요한 프록시는 그냥 실패합니다. Selenium Wire가 표준 우회 방법이며, 그래서 위 예제는 기본 Selenium 대신 이것을 씁니다.

Selenium Wire 대신 IP 화이트리스트를 쓸 수 있나요?

네, 고정된 서버라면 더 간단한 답입니다. 제공업체에 기기의 주소를 화이트리스트로 등록하면 프록시가 인증 정보 없이 연결을 받으므로, 기본 Selenium도 호스트와 포트만으로 작동합니다. 그 기기의 주소가 바뀌는 순간 작동을 멈춥니다.

Selenium은 WebRTC로 실제 IP를 유출하나요?

그럴 수 있습니다. 실제 브라우저를 구동하고, WebRTC는 프록시 경로 밖에서 주소를 알아내기 때문입니다. 프록시가 실패한 것은 아니며, 애초에 그 트래픽을 볼 위치에 있지 않았습니다. 출구 주소가 중요한 신원이라면 브라우저 옵션에서 WebRTC를 끄거나 제한하세요.

Selenium 세션 사이에 IP를 어떻게 로테이션하나요?

실행 중인 드라이버의 프록시를 바꾸려 하는 대신 새 인증 정보로 새 드라이버를 시작하세요. 로테이팅 프록시라면 자동으로 다른 출구를 받고, 고정 세션이라면 새 세션 식별자를 요청하세요. 드라이버 하나를 재사용하면 같은 브라우저 프로필도 유지되어 어차피 로테이션의 의미가 없어집니다.

준비되시면 언제든지 시작하세요.

10초면 대시보드가 열립니다. 영업 전화도, 구독도, 최소 금액도 없습니다.