KO
시작하기

용어집

탐지 및 평판

Cloudflare

웹의 상당 부분 앞단에 있는 CDN이자 보안 계층으로, 스크래퍼가 만나는 가장 흔한 안티봇 테스트 일부를 포함합니다.

Cloudflare는 CDN이자 보안 프록시로 아주 많은 웹사이트 앞에 있으며, 그래서 그 봇 방어는 자동화가 마주치는 가장 흔한 장애물 중 하나입니다. 요청이 자동화처럼 보이면, Cloudflare는 실제 사이트에 닿기 전에 확인을 끼워 넣을 수 있습니다. JavaScript 검사, 관리형 확인, 때로는 CAPTCHA입니다.

Cloudflare는 사이트의 리버스 프록시이므로, 상대하는 것은 원본 서버와 별개로 그 방어입니다. 그 방어는 모든 본격적인 봇 방지 시스템과 같은 신호를 저울질합니다. IP 평판, TLS 지문, 브라우저 동작입니다. 데이터센터 주소는 깨끗한 레지덴셜 주소보다 훨씬 쉽게 확인을 받습니다.

실무적인 결론은 같습니다. 신뢰받는 주소, 진짜 브라우저 지문, 서두르지 않는 행동이 함께하면 그중 하나만으로는 안 되는 곳을 통과하며, 가장 어려운 설정에는 전용 스크레이퍼 엔드포인트가 흔히 실용적인 길입니다.

이해할 가치가 있는 구조적 요점은 보호가 고정된 장애물 하나가 못 되고 사이트마다 설정할 수 있다는 것입니다. 사이트 운영자는 자기 보안 수준, 규칙, 기준선을 직접 고르며, 그래서 같은 것을 앞에 둔 한 사이트는 완전히 열려 있고 다른 사이트는 바로 확인을 요구합니다. 그 뒤의 어떤 것도 스크레이핑할 수 없다거나 할 수 있다고 결론 내리는 것은 모두 플랫폼 자체 대신 누군가 고른 설정에서 일반화하는 것입니다.

받는 응답이 둘 중 하나로 갈리지 않는다는 뜻이기도 합니다. 설정에 따라 요청은 정상적으로 제공되거나, 알아채지 못하게 해결되는 조용한 JavaScript 검사를 받거나, 상호 작용형 확인을 보거나, 속도 제한을 받거나, 완전히 거부될 수 있습니다. 실제로 그중 무엇을 받았는지 읽으면, 200 외의 모든 응답을 같은 벽으로 다룰 때보다 무엇을 바꿔야 할지 훨씬 많이 알 수 있습니다.

주소를 추적하는 사람에게 정말로 쓸모 있는 결과 하나: 리버스 프록시로 작동하므로, 보이는 주소는 사이트의 원본 서버 대신 Cloudflare의 것입니다. 사이트의 IP를 조회하면 호스트 대신 CDN이 나오는 경우가 많으며, 이는 무언가의 증거가 되기보다 예상된 동작입니다.

가장 어려운 설정에 대한 저희의 솔직한 입장입니다. 실제로 받는 질문이기 때문입니다. 깨끗한 레지덴셜 주소는 바닥을 올려 주지만 그것만으로 결과를 정하지는 못합니다. 네트워크 계층 위의 검사가 상관없이 계속되기 때문입니다. 대상이 충분히 공격적으로 설정되어 있다면, 현실적인 선택지는 전용 스크레이핑 엔드포인트, 있다면 공식 API, 또는 사이트가 자동 접근을 원하지 않는다는 것을 받아들이는 것입니다. 그에 대한 답으로 더 비싼 프록시를 파는 것은 사실이 아닐 것입니다.

자주 묻는 질문

Cloudflare는 왜 제 브라우저는 통과시키고 스크레이퍼는 차단하나요?

브라우저와 스크립트는 주소를 빼고 모든 것이 다르기 때문입니다. HTTP 라이브러리의 TLS 지문은 브라우저와 다르고, 헤더 순서도 다르고, 클라이언트 힌트가 없고, 사람의 상호 작용이 전혀 없습니다. 이것들은 요청이 사이트에 닿기 전에 읽히며, 그래서 같은 IP가 한쪽에서는 성공하고 다른 쪽에서는 실패합니다.

레지덴셜 프록시로 Cloudflare를 통과할 수 있나요?

확인을 요구할 가장 강한 이유 중 하나를 없애며, 가볍게 설정된 사이트에서는 그것만으로 충분한 경우가 많습니다. 공격적으로 설정된 사이트에서는 충분하지 않습니다. 지문과 행동 검사는 주소가 얼마나 신뢰받든 상관없이 돌아가기 때문입니다. 결과를 정하는 대신 바닥을 올려 줍니다.

Cloudflare 뒤의 사이트들은 왜 그렇게 다르게 동작하나요?

운영자마다 자기 보안 수준, 규칙, 기준선을 설정하기 때문입니다. 고정된 장벽 하나 대신 설정이 있는 플랫폼이므로, 같은 상품을 쓰면서도 한 사이트는 완전히 열려 있고 다른 사이트는 바로 적대적일 수 있습니다. 플랫폼에서 일반화하지 말고 특정 사이트를 테스트하세요.

저를 차단하는 것은 Cloudflare인가요, 웹사이트인가요?

대개 엣지가 사이트 운영자가 고른 규칙에 따라 행동하는 것입니다. 리버스 프록시이므로 결정은 보통 사이트 자체 애플리케이션이 무엇을 보기도 전에 내려지며, 그래서 차단이 즉각적일 수 있고 원본 서버에는 요청 기록이 전혀 없을 수 있습니다. 사이트 주소를 조회하면 호스트 대신 CDN이 나오는 이유도 이것입니다.

전체 용어집(으)로 돌아가기.

HProxy.

저희 말만 믿지 마세요. 직접 측정해 보세요.

브라우저에서 실제 주소를 대상으로 실행됩니다. 가입도 없고 목록도 저장하지 않습니다.

HProxy