WebSocket은 평범한 웹 요청으로 위장한 채 시작합니다. 클라이언트가 Upgrade 헤더가 담긴 평범한 HTTP 요청처럼 보이는 것을 보내고, 서버가 101 Switching Protocols로 답하면, 그 순간부터 연결은 요청과 응답이기를 멈춥니다. 같은 TCP 연결 위의 지속적인 양방향 채널이 되어, 연결이 살아 있는 동안 어느 쪽이든 원할 때 메시지를 보냅니다.
위장이 설계 목표였습니다. 표준 웹 포트, 즉 ws는 80, TLS로 감싼 wss는 443에서 HTTP로 시작함으로써, 프로토콜이 웹 트래픽용으로 지어진 인프라를 통과합니다. 무언가 바뀌었는지 서버에 반복해서 묻는 것과 비교해 얻는 것은 즉시성과 절약입니다. 폴링의 북소리 대신 상시 연결 하나이며, 그래서 웹의 실시간 표면을 실어 나릅니다. 가격 시세, 호가창, 채팅, 알림, 스포츠 점수, 공동 편집기, 실시간 대시보드입니다.
그 목록이 스크레이퍼가 계속 이것을 만나는 이유를 설명합니다. 그런 페이지에서 가져오는 문서는 비계이고, 원하던 숫자는 페이지가 불러온 뒤 여는 소켓으로 나중에 메시지로 도착합니다. HTML을 가져오면 데이터 없는 껍데기를 얻고, 페이지를 렌더링해도 그 뒤에 귀를 기울여야만 도움이 됩니다. 직접적인 길은 페이지가 쓰는 길과 같습니다. 소켓 엔드포인트를 직접 열고, 사이트 자체 클라이언트가 보내는 구독 메시지를 보내고, 피드를 읽으세요. 대개 페이지가 보여 줄 수 있었던 것보다 깔끔한 JSON입니다.
프록시로 보내는 것은 작동하며, 알아 둘 비대칭이 있습니다. 암호화된 wss는 HTTPS가 쓰는 것과 같은 눈먼 중계인 평범한 CONNECT 터널 안에서 HTTP 프록시를 거치므로, 대개 그냥 작동합니다. 일반 ws는 프록시에 Upgrade를 명시적으로 처리하라고 요구하며, 일부 HTTP 프록시는 이를 잘 처리하지 못합니다. 실제로는 진짜 서비스 거의 모두가 어차피 wss입니다. TCP를 해석하지 않고 중계하는 SOCKS5 프록시는 둘 다 잘 실어 나릅니다. 소켓에만 있는 실패 방식은 지속 시간입니다. 몇 시간 동안 열어 둔 연결은 출구의 안정성을 아키텍처의 일부로 만들고, 로테이팅 풀의 출구는 지속되도록 만들어지지 않았습니다. 오래 사는 피드에는 정적 주소나 작업에 맞는 길이의 고정 세션이 필요합니다.
대량에서 중요한 특성이 하나 더 있습니다. 소켓은 요청과 달리 상태를 가집니다. 구독, 인증, 서버가 생각하는 여러분의 정체가 모두 그 연결 하나에 살므로, 스트림 도중 출구가 죽으면 재시도로 끝나지 않고 재연결과 재구독이 필요하며, 잘 만든 소비자는 이를 오류보다 예상된 사건으로 다룹니다.
자주 묻는 질문
WebSocket은 프록시를 거쳐 작동하나요?
대체로 작동합니다. 암호화된 형태인 wss는 다른 HTTPS 트래픽과 같은 CONNECT 터널 안에서 HTTP 프록시를 거치고, SOCKS5는 이를 평범한 TCP로 중계합니다. HTTP 프록시를 거치는 암호화되지 않은 ws가 취약한 조합입니다. 프록시가 Upgrade 핸드셰이크를 중계해야 하고, 그 지원이 고르지 않기 때문입니다. 실제 배포는 압도적으로 wss이므로, 대부분의 설정은 그냥 작동합니다.
실시간 페이지를 스크레이핑하면 왜 데이터가 빠져 있나요?
페이지는 껍데기이고 콘텐츠는 불러온 뒤 소켓으로 도착하기 때문입니다. 문서를 가져오면 비계만 잡힙니다. 효율적인 해결책은 브라우저 네트워크 탭에서 소켓 엔드포인트를 찾아 직접 연결하고, 페이지가 보내는 것과 같은 구독 메시지를 보내 피드를 소비하는 것이며, 보통 렌더링된 페이지를 파싱하는 것보다 깔끔하게 구조화된 데이터를 돌려줍니다.
WebSocket 피드에는 어떤 프록시 유형을 써야 하나요?
한 시간 뒤에도 출구가 존재할 유형입니다. 열어 둔 연결은 출구 안정성을 설계의 일부로 만들므로, 로테이팅 풀은 맞지 않는 모양입니다. 정적 주소, ISP 프록시, 또는 연결의 예상 수명에 맞춘 고정 세션이 더 잘 맞습니다. 지속성 외에는 평소의 네트워크 신뢰 고려 사항이 그대로 적용됩니다. 사이트는 요청의 출처를 보듯 소켓의 출처를 봅니다.
WebSocket 연결도 속도 제한을 받나요?
요청과는 다르게 받습니다. 사이트는 주소별, 계정별 동시 연결에 상한을 두고, 연결 안의 메시지 속도를 제한하고, 너무 넓게 구독하는 소비자를 끊습니다. 상태가 연결에 살므로 단속은 흔히 오류 코드 대신 연결 끊김처럼 보이며, 그래서 탄력적인 소비자는 재연결과 재구독을 당연한 일로 예상합니다.
전체 용어집(으)로 돌아가기.

