헤드리스 브라우저는 사람이 볼 그래픽 창 없이 돌아가는 완전한 브라우저, Chrome이나 Firefox입니다. 실제 브라우저와 똑같이 페이지를 렌더링하고, JavaScript를 실행하고, 같은 DOM을 만들지만, 사람 대신 코드로 구동되며, 그래서 일반 HTTP 요청으로는 읽을 수 없는 사이트를 스크레이핑하는 도구가 됩니다.
문제는 헤드리스 모드가 흔적을 남긴다는 것입니다. 예전에는 헤드리스 플래그 자체가 탐지되었고, 지금도 헤드리스 인스턴스에는 진짜 사용자 세션의 플러그인, 정확한 렌더링 특성, 상호 작용 패턴이 없는 경향이 있으며, 지문은 그 모두를 잡아낼 수 있습니다.
그래서 헤드리스 브라우저는 렌더링에는 필요하지만 눈에 띄지 않기에는 충분하지 않습니다. 네트워크 단서를 고치는 레지덴셜 프록시, 나머지를 고치는 지문과 행동 관리와 짝을 이룹니다.
비용 측면은 보통 과소평가되며, 기가바이트당 과금에서 조용히 예산을 망치는 것이 이것입니다. 브라우저는 브라우저처럼 페이지를 가져옵니다. 모든 이미지, 폰트, 스타일시트, 추적 스크립트, 동영상 미리 불러오기입니다. 쓸모 있는 데이터가 HTML 50킬로바이트인 상품 페이지가 총 2에서 3메가바이트를 가져올 수 있습니다. 레지덴셜 대역폭으로 큰 작업 전체에 곱하면, 청구서의 원인은 프록시보다 브라우저입니다.
다른 모든 면에서도 더 무겁습니다. 헤드리스 브라우저 인스턴스는 수백 메가바이트의 메모리와 실제 CPU를 쓰는 반면 HTTP 요청은 거의 아무것도 쓰지 않으므로, 같은 기계에서 유지할 수 있는 동시성이 한 자릿수 떨어집니다. 그 제약이 요청당 속도 차이보다 중요한 경우가 많습니다.
그래서 먼저 물어볼 질문은 하나를 잘 돌리는 방법보다 정말 필요한지입니다. JavaScript로 렌더링된 것처럼 보이는 아주 많은 페이지가 페이지 자체가 호출하는 JSON 엔드포인트로 채워지며, 그 엔드포인트를 직접 호출하면 렌더링 없이 훨씬 작은 크기로 같은 데이터가 나옵니다. 네트워크 탭에서 그것을 찾는 것이 스크레이핑 프로젝트에서 가장 가치 있는 한 시간인 경우가 많습니다.
정말로 렌더링이 필요하다면, 파싱하지 않을 것은 차단하세요. 주요 자동화 프레임워크는 모두 리소스 유형별로 요청을 가로챌 수 있고, 이미지, 폰트, 미디어, 스타일시트를 거부하면 실제로 필요한 DOM은 그대로 두면서 대역폭이 크게 줄어듭니다.
자주 묻는 질문
스크레이핑하려면 헤드리스 브라우저가 필요한가요?
데이터가 정말로 JavaScript가 실행된 뒤에만 존재할 때만이며, 보이는 것보다 드뭅니다. 페이지가 직접 호출할 수 있는 JSON 엔드포인트로 채워지는지 확인하세요. 렌더링 없이 같은 데이터를 훨씬 작고 빠르게 돌려줍니다. 더 간단한 길이 없다고 확인한 뒤에 브라우저를 쓰세요.
헤드리스 브라우저를 쓸 때 대역폭을 어떻게 줄이나요?
요청을 가로채고 파싱하지 않을 리소스 유형을 차단하세요. 이미지, 미디어, 폰트, 그리고 보통 스타일시트입니다. 주요 프레임워크는 모두 이를 지원합니다. DOM은 그대로 두면서 페이지 무게를 보통 한 자릿수 줄이며, 기가바이트당 레지덴셜 과금에서는 엄청나게 중요합니다.
웹사이트가 헤드리스 브라우저를 탐지할 수 있나요?
네, 보이지 않는 실제 브라우저로 여기는 것이 흔한 실수입니다. 예전의 헤드리스 플래그 외에도, 인스턴스는 노출하는 속성, 있는 플러그인과 폰트, 렌더링 동작, 그리고 무엇보다 사람의 상호 작용이 전혀 없다는 점에서 다른 경향이 있습니다. 마우스 움직임도, 스크롤도, 읽는 동안의 멈춤도 없습니다. 어떤 단일 속성보다 행동이 더 확실히 정체를 드러냅니다.
헤드리스 브라우저는 HTTP 요청보다 느린가요?
시간과 자원 모두에서 극적으로 느립니다. 문서를 가져오는 대신 페이지 전체를 내려받아 렌더링하고, 인스턴스마다 수백 메가바이트의 메모리와 실제 CPU를 씁니다. 실무적인 결과는 한 기계에서 유지할 수 있는 동시성이 대략 한 자릿수 떨어진다는 것입니다.
전체 용어집(으)로 돌아가기.

