KO
시작하기

용어집

스크래핑 및 자동화

데이터 파싱

가져온 응답을 구조화된 데이터로 바꾸는 일로, 네트워크 이후에 일어나는 스크래핑의 나머지 절반이며 전혀 다른 이유로 깨집니다.

가져오기는 프록시, 차단, 재시도가 있는 스크레이핑의 시끄러운 절반이고, 파싱은 가치가 실제로 나타나는 조용한 절반입니다. 응답은 바이트, 즉 마크업, JSON, 가끔은 더 나쁜 것으로 도착하며, 파싱은 그 도착과 깨끗한 행 사이의 모든 것입니다. 디코딩, 트리 만들기, 선택, 정규화, 검증입니다. 파이프라인은 보통 가져오기 속도로 평가받고 파싱 품질로 죽습니다.

HTML에서 파싱은 태그가 닫히지 않고 중첩이 희망 사항인 실제 웹을 견디는 파서로 문서 트리를 만드는 것을 뜻합니다. 제대로 된 파서는 그런 마크업을 브라우저처럼 고칩니다. 정규 표현식으로 즉석 추출하는 것은 첫 번째 속성이 예상치 못한 순서로 나타날 때까지만 작동하며, 그래서 마크업에 정규식을 쓰는 것이 커뮤니티의 대표적인 교훈담입니다. 트리가 생기면 가리키는 언어가 넘겨받고, 선택이 딛고 설 단단한 무언가가 생기면 파싱의 일은 끝납니다.

가장 좋은 파싱 수는 흔히 HTML을 아예 피하는 것입니다. 현대 페이지는 데이터를 이미 구조화된 형태로 담고 있습니다. 페이지 자체 스크립트에 공급되는 JSON 응답, 문서에 삽입된 상태 덩어리, 그리고 사이트가 검색 엔진을 위해 게시하는 기계 판독 주석으로, 상품 이름, 가격, 재고가 공개 어휘로 라벨이 붙어 스크립트 태그에 들어 있습니다. 이를 읽으면 셀렉터 고고학 없이 타입이 정해진 필드를 얻으며, 다른 장치가 이에 의존하므로 레이아웃보다 훨씬 덜 자주 바뀝니다.

인코딩이 모든 것 아래의 함정입니다. 바이트는 문자 인코딩을 통해 텍스트가 되며, 틀린 것을 가정하면 기술적으로는 성공한 파싱에서 통화 기호와 악센트 글자가 깨지는 모지바케가 나옵니다. 선언된 문자셋이 가끔 거짓말을 합니다. 압축된 응답은 무엇보다 먼저 압축을 풀어야 합니다. 그리고 숫자는 로캘을 입고 도착해서, 1.299,00과 1,299.00은 어느 기호가 소수점인지 의견이 다릅니다. 정규화, 즉 가격을 숫자와 통화로, 날짜를 시간대가 있는 형태로, 공백을 접는 것도 파싱이며, 건너뛰면 그 일이 데이터를 쓰는 모든 곳으로 옮겨 갈 뿐입니다.

오래가는 파이프라인을 가르는 규율은 가져오기 대신 출력을 검증하는 것입니다. 분명히 물건을 파는 페이지에서 가격을 하나도 찾지 못한 파싱은 신호입니다. 레이아웃이 옮겨 갔거나 사이트가 진짜 페이지와 다른 것을 주었다는 것이며, 빈 필드를 성공으로 기록하는 파이프라인은 창고를 자신만만한 빈칸으로 채웁니다. 파싱 실패는 시끄러우면 값싸고 조용하면 치명적이니, 시끄럽게 만드세요.

자주 묻는 질문

왜 정규 표현식으로 HTML을 파싱하면 안 되나요?

마크업의 구조, 즉 중첩, 어떤 순서로든 나오는 선택적 속성, 브라우저가 고치는 닫히지 않은 태그가 정확히 정규 표현식이 따라갈 수 없는 것이기 때문입니다. 한 페이지에서 살아남은 패턴이 형제 페이지에서 산산조각 납니다. 실제 HTML 파서는 엉망을 트리로 고치고, 셀렉터가 그것을 믿을 만하게 가리키며, 정규식은 잘하는 일, 즉 추출한 개별 문자열 정리에 계속 쓸모 있습니다.

웹 페이지에서 파싱하기 가장 쉬운 데이터는 무엇인가요?

페이지가 이미 데이터로 게시한 데이터입니다. 많은 사이트가 검색 엔진을 위한 기계 판독 주석, 즉 이름, 가격, 재고를 라벨 붙은 JSON으로 스크립트 태그에 넣고, 더 많은 사이트가 페이지 자체 스크립트가 쓰는 JSON으로 상태를 보냅니다. 둘 다 셀렉터 작업 없이 타입이 정해진 필드를 주며, 다른 시스템이 의존하므로 레이아웃보다 안정적입니다.

스크레이핑한 텍스트에 왜 깨진 문자가 보이나요?

인코딩 불일치입니다. 바이트가 틀린 문자셋으로 디코딩되었으며, 보통 틀리거나 없는 선언을 믿은 탓입니다. 결과는 성공한 파싱에서 악센트와 통화 기호가 깨지는 모지바케입니다. 진짜 인코딩을 감지해 따르고, 디코딩 전에 압축을 풀고, 실패가 바로 드러나는 영어 외 텍스트가 있는 페이지로 테스트하세요.

제 파서가 여전히 작동하는지 어떻게 알 수 있나요?

상태 코드 대신 출력을 검증하세요. 예상한 필드가 실제로 나오는지, 가격이 숫자인지, 날짜가 그럴듯한지, 눈에 보이게 항목이 있는 페이지에서 개수가 0보다 큰지 요구하고, 그렇지 않으면 경보를 울리세요. 레이아웃 변경과 조용히 품질이 떨어진 응답은 둘 다 필드가 비거나 틀린 성공한 가져오기로 나타나므로, 믿을 만한 유일한 인계철선은 데이터 자체를 단언하는 것입니다.

전체 용어집(으)로 돌아가기.

HProxy.

정의만으로는 한계가 있습니다. 실행 대 실제 대상.

레지덴셜 GB당 $0.23부터, 쓴 만큼만 결제하고 잔액은 만료되지 않습니다.

HProxy