KO
시작하기

용어집

스크래핑 및 자동화

JavaScript 렌더링

페이지가 로드된 뒤 브라우저에서 콘텐츠를 만드는 과정으로, HTML을 가져왔을 때 데이터를 얻을지 빈 껍데기를 얻을지를 결정합니다.

요청은 성공하고, HTML이 도착하는데, 데이터는 그 안에 없습니다. 같은 페이지를 브라우저로 보면 모든 것이 있습니다. 오작동한 것은 없습니다. 사이트가 클라이언트 쪽에서 렌더링하는 것이며, 가져온 문서는 거의 빈 무대이고, 콘텐츠는 불러온 뒤 데이터를 가져와 페이지에 써넣는 JavaScript가 만듭니다. HTTP 클라이언트는 브라우저가 받은 것을 정확히 받았고, 브라우저는 그다음 클라이언트가 하지 않는 일을 했습니다.

사이트가 어떤 아키텍처를 쓰는지가 모든 스크레이핑의 첫 진단 질문이며, 몇 초 만에 답할 수 있습니다. 브라우저의 소스 보기는 전달된 그대로의 문서를 보여 주고, 개발자 도구의 요소 검사기는 스크립트가 돈 뒤의 트리를 보여 줍니다. 가격이 두 번째에는 있고 첫 번째에는 없다면, 클라이언트 쪽 렌더링을 보고 있는 것입니다. 그다음 네트워크 탭이 더 쓸모 있는 사실을 보여 줍니다. 스크립트가 데이터를 어디서 가져왔는지이며, 거의 항상 클라이언트가 직접 할 수 있는 깔끔한 JSON 요청입니다.

그 관찰이 도구 상자 전체의 순서를 정합니다. 렌더링된 페이지에 대한 최선의 대응은 대개 렌더링하지 않는 것입니다. 기반 데이터 엔드포인트를 호출해 전송량의 일부로 구조화된 필드를 받으세요. 그 못지않게 좋은 것으로, 서버 렌더링 프레임워크는 전체 상태를 전달된 HTML 안의 JSON 덩어리로 넣으며, 현 세대 React와 Next.js 사이트는 이를 스크립트 태그에 담고, 그 덩어리를 파싱하면 아무것도 실행하지 않고 페이지가 아는 모든 것이 나옵니다. 둘 다 없을 때만 무거운 선택지가 제자리를 찾습니다. 페이지를 정말로 실행하는 헤드리스 브라우저이며, 그에 따른 비용과 탐지 가능성이 따라옵니다.

중간의 경우는 이제 흔한 경우이므로 따로 짚을 만합니다. 하이드레이션, 즉 서버가 실제 HTML을 전달하고 스크립트가 그 위에 상호 작용을 붙이는 방식 덕분에, 많은 현대 페이지는 원본 문서로 스크레이핑할 수 있으며 빈 껍데기 시대는 일부 끝났습니다. 함정은 뒤집힙니다. 가져올 때 있던 콘텐츠도 불러온 뒤 바뀔 수 있습니다. 더 새로운 요청으로 가격이 업데이트되고, 지역 변형이 바뀌어 들어오므로, 가져온 HTML이 완전해 보여도 사용자가 보는 것과 맞추려면 렌더링이 필요할 때가 있습니다.

프록시 계획에서 렌더링은 모든 것을 곱합니다. 렌더링된 페이지 하나를 불러오면 스크립트, 데이터 호출, 자원 등 수십 개 요청이 각각 출구를 거쳐 나가므로, 기가바이트당 과금이 렌더링을 가장 크게 느끼고, 실제 브라우저 동작을 포함한 추가 표면이 정확히 탐지 시스템이 다음으로 보는 곳입니다. 결정이 충분히 중대하므로 프로젝트 대신 대상마다 내리세요. 필요한 페이지는 렌더링하고, 나머지에서는 데이터 계층을 가져오세요.

자주 묻는 질문

페이지를 스크레이핑하려면 JavaScript 렌더링이 필요한지 어떻게 알 수 있나요?

전달된 문서와 살아 있는 트리를 비교하세요. 소스 보기와 요소 검사기입니다. 스크립트가 돈 뒤에만 있는 데이터는 클라이언트 쪽 렌더링을 뜻합니다. 그다음 네트워크 탭을 열어 데이터가 어디서 왔는지 찾으세요. 직접 호출할 수 있는 JSON 엔드포인트가 대개 나타나고, 그 발견이 렌더링 질문을 흔히 무의미하게 만듭니다.

헤드리스 브라우저 없이 JavaScript 사이트를 스크레이핑할 수 있나요?

아주 자주 가능합니다. 페이지 자체의 데이터 엔드포인트를 직접 호출할 수 있고, 서버 렌더링 프레임워크는 전체 상태를 HTML 안에 JSON으로 넣어 파싱 한 번으로 읽을 수 있습니다. 헤드리스 브라우저는 데이터가 정말로 실행 뒤에만 존재하는 페이지에 맞는 최후의 수단이며, 현대적으로 보이는 무엇에든 먼저 쓰는 기본값이 못 됩니다.

하이드레이션이란 무엇이고 스크레이핑에 왜 중요한가요?

하이드레이션은 서버가 완전한 HTML을 전달하고 클라이언트 스크립트가 그 위에 상호 작용을 붙이는 방식입니다. 그런 페이지는 가져온 문서로 스크레이핑할 수 있어 빈 껍데기 가정을 뒤집기 때문에 중요하며, 주의점이 하나 있습니다. 스크립트가 불러온 뒤에도 전달된 콘텐츠를 바꿀 수 있으므로, 실시간으로 업데이트되는 데이터는 파싱한 것과 사용자가 지금 보는 것이 어긋날 수 있습니다.

JavaScript 렌더링은 대역폭을 더 쓰나요?

상당히 더 씁니다. 페이지를 실행하면 스크립트, 데이터, 자원 요청의 전체 연쇄가 출구를 거쳐 일어나며, 문서만 가져오는 것보다 쉽게 한 자릿수 많고, 기가바이트당 레지덴셜 가격은 이를 그대로 돈으로 바꿉니다. 필요 없는 리소스 유형을 차단하면 상당 부분을 되찾고, 렌더링을 건너뛰고 데이터 계층을 쓰면 거의 전부를 되찾습니다.

전체 용어집(으)로 돌아가기.

HProxy.

정의만으로는 한계가 있습니다. 실행 대 실제 대상.

레지덴셜 GB당 $0.23부터, 쓴 만큼만 결제하고 잔액은 만료되지 않습니다.

HProxy