KO
시작하기

연동 · 자동화 및 스크래핑

Puppeteer에서 HProxy를 쓰세요.

Puppeteer와 page.authenticate로 HProxy 프록시를 거쳐 헤드리스 Chrome을 실행하세요.
  • 3단계
  • 작동하는 코드
  • HTTP 및 SOCKS5
  • 프록시 URL에 로그인

프록시를 쓰는 이유

Puppeteer에 프록시를 쓰는 이유

Puppeteer는 Node에서 헤드리스(또는 헤드풀) Chrome을 구동하며, JavaScript 세계에서 렌더링이 많은 스크레이핑과 자동화 테스트의 대표 도구입니다.

데이터센터 IP에서 실행하는 헤드리스 Chrome은 사이트가 한눈에 알아보는 지문입니다. 레지덴셜 출구를 쓰면 그 단서의 네트워크 쪽 절반이 사라져, 브라우저의 행동만으로 판단받게 됩니다.

Setup

Puppeteer에서 HProxy 설정하기

  1. 1

    호스트와 포트를 가리키는 --proxy-server로 Chrome을 실행하세요.

  2. 2

    프록시에 로그인이 필요하므로, 페이지 이동 전에 사용자 이름과 비밀번호로 page.authenticate()를 호출하세요.

  3. 3

    평소처럼 이동하세요. 이제 페이지 로드 전체가 프록시를 거칩니다.

알아 둘 것

사용자 이름과 비밀번호는 --proxy-server 플래그 대신 page.authenticate()로 넘깁니다.

여기 보이는 호스트, 포트, 로그인은 형식입니다. 정확한 값은 대시보드에 있으며, 바로 복사할 수 있습니다.

Puppeteer, HProxy와 함께

import puppeteer from "puppeteer";

const browser = await puppeteer.launch({
  args: ["--proxy-server=example.hproxy.com:8080"],
});
const page = await browser.newPage();
await page.authenticate({ username: "user-country-us", password: "pass" });
await page.goto("https://ipinfo.io/json");

Puppeteer 질문

자주 묻는 질문

proxy-server 플래그가 사용자 이름과 비밀번호를 받지 않는 이유는 무엇인가요?

그 Chrome 플래그는 호스트와 포트만 받기 때문입니다. 인증 정보는 대신 페이지 이동 전에 호출하는 page.authenticate로 넘깁니다. Puppeteer 프록시 설정이 프록시가 잘못된 것처럼 보이는 인증 오류를 내는 가장 흔한 이유가 이것입니다.

페이지마다 인증해야 하나요?

네. 인증은 브라우저마다 하는 대신 페이지마다 설정되므로, 새로 여는 페이지마다 이동하기 전에 호출해야 합니다. 두 번째 페이지에서 빠뜨리면 간헐적으로 보이지만 완전히 결정적인 실패가 납니다.

Puppeteer 페이지마다 다른 IP를 어떻게 주나요?

페이지를 더 여는 대신 신원마다 별도 브라우저 인스턴스를 실행하세요. 프록시 플래그는 실행할 때 정해지고 한 브라우저 안의 페이지는 이를 공유하기 때문입니다. 로테이팅 프록시라면 새로 실행할 때마다 자동으로 새 출구를 받습니다.

Puppeteer가 이미지를 다운로드하지 않게 하려면 어떻게 하나요?

요청 가로채기를 켜고 리소스 유형이 image, font, media, stylesheet인 요청을 중단하세요. 헤드리스 브라우저는 기본적으로 실제 브라우저처럼 이 모두를 가져오므로, 기가바이트당 과금에서 가장 효과가 큰 변경입니다.

준비되시면 언제든지 시작하세요.

10초면 대시보드가 열립니다. 영업 전화도, 구독도, 최소 금액도 없습니다.