KO
시작하기

용어집

스크래핑 및 자동화

사용자 에이전트

클라이언트가 브라우저와 운영체제를 알리기 위해 보내는 문자열로, 사이트가 내 IP와 대조하는 가장 단순한 신호 중 하나입니다.

사용자 에이전트는 모든 요청과 함께 보내는 텍스트 한 줄로, 클라이언트가 스스로 무엇인지 밝힙니다. 브라우저의 것은 렌더링 엔진, 플랫폼, 그리고 수십 년 동안 사이트들이 이를 탐지해 온 탓에만 존재하는 여러 호환성 토큰을 담은 길고 어수선한 문자열입니다. 스크립트 라이브러리의 것은 보통 짧고 정직하며, python-requests나 curl 뒤에 버전 번호가 붙는 식입니다.

사이트가 이를 읽는 이유는 대부분 아주 평범합니다. 모바일 레이아웃을 고르고, 오래된 브라우저에 경고하고, 클라이언트가 지원하는 형식을 제공하기 위해서입니다. 프록시 탐지 신호가 된 것은 우연이었습니다. 자동화 클라이언트는 기본적으로 여기서 정체를 밝히고, 아주 많은 경우 이를 바꿀 생각을 하지 않기 때문입니다. 라이브러리 기본값을 그대로 두고 웹 스크레이핑을 하는 사람은 요청 첫 줄에서 자신을 밝히고 있는 것입니다.

요청 전체에서 가장 쉽게 위조할 수 있는 것이기도 하며, 바로 그래서 그 자체로는 아무것도 증명하지 못합니다. 어떤 클라이언트든 어떤 문자열이든 보낼 수 있고, 모든 사이트가 이를 압니다. 진지한 누구도 그럴듯한 사용자 에이전트를 실제 브라우저의 증거로 여기지 않으므로, 이를 설정하는 것은 기법이라기보다 기본 참가비입니다.

방어자에게 주는 가치는 일관성 검사이며, 실제로 중요한 부분이 이것입니다. Windows의 Chrome이라고 주장하면 다른 많은 것을 약속하는 셈입니다. 일치하는 TLS 지문, 일치하는 클라이언트 힌트, 그럴듯한 화면 크기, 실제 Chrome이 보내는 헤더 순서, 그리고 브라우저 지문이 그 아래 기계에 대해 읽는 모든 것입니다. 그중 어느 것이든 모순되면 문자열은 도움이 되지 않으며, 오히려 사이트에 여러분이 어긋나는 구체적인 지점을 잡을 거리를 줍니다.

헤더 순서는 흔히 간과되므로 따로 언급할 만합니다. 실제 브라우저는 일관되고 특징적인 순서로 헤더를 내보내고, HTTP 라이브러리는 코드가 추가한 순서대로 내보냅니다. 완벽한 사용자 에이전트 문자열이 어떤 브라우저도 만들지 않는 순서로 도착하면, 탐지에 아무 비용도 들지 않는 모순입니다.

그래서 실무 조언은 흔한 조언보다 좁습니다. 현실적이고 최신인 사용자 에이전트는 설정하세요. 라이브러리 기본 문자열은 공짜로 정체를 내주는 것이기 때문입니다. 요청마다 무작위로 바꾸지는 마세요. 흔한 본능이지만 적극적으로 나쁜 본능입니다. 실제 방문자는 페이지를 불러올 때마다 브라우저를 바꾸지 않으며, 클라이언트 신원이 계속 바뀌는 세션은 절대 바뀌지 않는 세션보다 더 눈에 띕니다. 세션마다 그럴듯한 신원 하나를 골라 유지하세요.

자주 묻는 질문

사용자 에이전트를 로테이션해야 하나요?

요청마다는 안 되며, 많은 조언이 여기서 틀립니다. 실제 방문자는 페이지를 불러올 때마다 브라우저를 바꾸지 않으므로, 사용자 에이전트가 계속 바뀌는 세션은 그대로인 세션보다 더 의심스럽습니다. 세션이나 신원마다 그럴듯하고 최신인 문자열을 골라 그 세션 동안 유지하세요.

사용자 에이전트를 바꾸면 탐지되지 않나요?

아니요. 뻔한 단서 하나, 즉 라이브러리 기본 문자열을 없앨 뿐 그 이상은 아닙니다. 탐지 시스템은 그 주장이 TLS 지문, 헤더 순서, 클라이언트 힌트, 행동과 일관되는지 확인하며, Python 핸드셰이크 위의 브라우저 사용자 에이전트는 변장이 되지 못하는 모순입니다. 필요하지만 충분과는 거리가 멉니다.

웹 스크레이핑에 가장 좋은 사용자 에이전트는 무엇인가요?

보여 주는 다른 모든 것과 맞는, 최신이고 흔한 것입니다. 마법의 문자열은 없으며, 오래되거나 특이한 것을 베끼는 것은 쓸모없는 것보다 나쁩니다. 드물다는 것 자체가 식별 정보이기 때문입니다. 널리 쓰이는 최신 브라우저 버전을 고른 다음, 요청의 나머지가 그 브라우저에서 나왔을 법한지 확인하세요.

사용자 에이전트를 바꿔도 사이트가 진짜를 볼 수 있나요?

보낸 것만 받으므로 볼 수 없습니다. 할 수 있는 것은 보낸 것이 연결의 다른 모든 것과 어긋난다는 것을 알아채는 것입니다. TLS 핸드셰이크가 그 브라우저 대신 라이브러리의 것이거나, 헤더 순서가 틀리거나, 클라이언트 힌트가 없거나, 보고한 화면 크기가 말이 안 되는 경우입니다. 보낸 문자열이 거짓임을 아는 데 진짜 문자열은 필요 없습니다.

전체 용어집(으)로 돌아가기.

HProxy.

정의만으로는 한계가 있습니다. 실행 대 실제 대상.

레지덴셜 GB당 $0.23부터, 쓴 만큼만 결제하고 잔액은 만료되지 않습니다.

HProxy