동일한 잘못된 HTML 부분에 대해 두 파서의 결과가 다른 이유는 무엇입니까?

웹페이지 본문을 추출하기 위해 뷰티플수프를 사용할 때 가장 숨겨진 결함은 오류가 아닌 "오류는 없으나 내용이 손실되는" 경우가 많습니다. 닫는 태그가 없는 동일한 HTML 조각의 경우 파서가 변경되면 트리 구조가 달라질 수 있습니다. 이 글은 웹 콘텐츠를 안정적으로 추출하고, 차이점이 어디서 오는지 설명하고, 재현 가능한 검사 방법을 제공해야 하는 개발자를 위해 작성되었습니다.

이 기사에서는 합성 샘플을 사용하여 처리 방법을 보여줍니다. 코드는 격리된 환경에서 샘플 검사를 거쳤으나, 이것이 모든 실제 파일이나 제품 성능을 보장하는 것은 아닙니다. 중요한 서류를 처리하기 전, 원본을 보관하시고, 본문에 기재된 경계 및 허용 항목에 따라 검토하시기 바랍니다.

동일한 잘못된 HTML 부분에 대해 결과가 다른 이유는 무엇입니까? 한 문장 결론

결론은: 파서 트리는 기본 파서에 의해 구축되며 각 파서에는 불법 태그가 발생할 때 서로 다른 내결함성 전략이 있으므로 파서와 버전을 수정하고 합성 샘플을 사용하여 기준선을 설정해야 합니다.

세 파서의 내결함성 논리

Beautiful Soup은 단지 캡슐화 계층일 뿐이며 실제 구문 분석 트리 구성은 기본 구문 분석기에 의해 완료됩니다. 공식 문서는 다음을 명확하게 상기시킵니다. 문서가 유효하지 않으면 다른 파서가 다른 트리를 생성합니다.

html.parser: 사양에 따라 내결함성이 있지만 포괄적인 완성 기능을 제공하지 않습니다.

Python 표준 라이브러리와 함께 제공되는 html.parser는 종속성 제로와 중간 속도를 추구하며 내결함성 규칙은 HTML 사양을 따릅니다.

• 닫히지 않은 <p> 태그가 발견되면 이전 단락이 자동으로 닫히고 중첩되지 않습니다.
• <div>와 같이 닫히지 않은 컨테이너 태그는 자동으로 완성되지 않으며 후속 콘텐츠가 실수로 상위에 할당될 수 있습니다.
• 형식이 올바른 문서의 경우 안전하고 가벼운 선택입니다. 혼란스러운 구조를 가진 불완전한 웹 페이지의 경우 출력이 사양에 부합하더라도 시각적 기대를 충족시키지 못할 수 있습니다.

lxml: 더 빠르고 복구 논리가 브라우저와 다릅니다.

lxml는 더 빠르고 표준 라이브러리와 브라우저 사이에 내결함성을 갖춘 C 언어 libxml2를 기반으로 합니다.

• 특정 블록 수준 요소를 자동으로 닫는 등 명백한 구조적 오류를 수정하려고 시도합니다.
• 수정 로직은 최신 브라우저 렌더링 표준이 아닌 XML/HTML 하이브리드 사양을 따릅니다.
• 새로운 HTML5 기능이나 매우 혼란스러운 이전 페이지를 처리할 때 생성된 트리가 Chrome 개발자 도구에 표시되는 것과 일치하지 않을 수 있습니다.

html5lib: 속도를 희생하면서 브라우저를 엄격하게 시뮬레이션합니다.

html5lib는 브라우저 구문 분석 동작을 엄격하게 시뮬레이션하는 순수 Python 파서입니다.

• 입력이 아무리 깨져도 HTML5 호환 DOM 트리를 생성합니다.
• <head>, <body>를 자동으로 완료하고 복잡한 중첩 수정을 처리합니다.
• 가격이 매우 느리고 Python 종속성이 추가로 도입됩니다.
• 이러한 "느림"은 작업이 브라우저에서 문서의 실제 시각적 구조를 복원하는 것(예: 번역을 위한 컨텍스트 유지)일 때 필요한 정확성 비용인 경우가 많습니다.

합성예: 태그가 닫히지 않은 모호한 장면

차이점을 자세히 설명하기 위해 일반적인 깨진 HTML을 구성해 보겠습니다. 이 코드는 파서 동작을 보여주기 위해서만 사용되며 실제 프로덕션 데이터는 아닙니다.

<div class="content">
<p>第一段文字
<p>第二段文字
<span>高亮内容</div>

이 마크업에는 두 가지 문제가 있습니다. 두 <p> 태그가 모두 닫히지 않고 <span>가 암시적 단락 경계를 넘습니다. 합리적인 기대는 두 개의 별도 단락과 인라인 강조 표시 또는 두 번째 단락에만 속하는 강조 표시입니다.

• html.parser에서 두 개의 <p>는 동일한 것으로 인식되지만 <span>는 </div>의 끝까지 확장되어 두 번째 단락을 래핑할 수 있습니다.
• html5lib에서 파서는 <span>의 중첩 수정에 대한 브라우저 알고리즘을 따르며, 두 번째 단락 내로 제한하거나 더 복잡한 재구성을 수행할 수 있습니다.
• .find('p').get_text()를 사용하여 텍스트를 추출하는 경우 두 파서가 반환하는 문자열은 동일할 수 있지만 .find('span')의 상위 및 형제 관계는 완전히 다릅니다.

경계 사례

• 입력이 빈 문자열, 태그가 없는 일반 텍스트 또는 XML 선언이 포함된 HTML 조각인 경우 html5lib는 자동으로 전체 문서 뼈대(<html><head><body>)를 추가하고 html.parser는 그대로 유지됩니다.
• 다운스트림 코드가 루트 노드가 대상 컨테이너라고 가정하는 경우 html5lib의 출력에는 추가 중첩 레이어가 있어 선택기가 실패하게 됩니다.

잠금 파서 및 버전 확인 코드

다음 Python 예제에서는 메모리의 파서 출력을 비교하고 어설션을 통해 예상되는 동작을 확인하는 방법을 보여줍니다. 이 코드는 교육용 데모이며 beautifulsoup4, lxml 및 html5lib의 특정 버전을 잠그는 환경에서 실행해야 합니다. 왜냐하면 파서 업그레이드로 내결함성 세부 사항이 변경될 수 있기 때문입니다. 예제는 네트워크나 외부 파일에 의존하지 않으며 모든 입력은 합성 데이터입니다.

from bs4 import BeautifulSoup

# 合成示例：未闭合标签的损坏HTML
BROKEN_HTML = '<div class="c"><p>A<p>B<span>X</div>'

def parse_and_extract(html: str, parser: str) -> str:
    soup = BeautifulSoup(html, parser)
    # 提取div直接子级p标签的文本数量，反映结构差异
    div = soup.find('div', class_='c')
    if not div:
        return "NO_DIV"
    p_tags = div.find_all('p', recursive=False)
    return f"P_COUNT:{len(p_tags)}"

# 预期：html5lib应识别出2个平级p标签
result_html5lib = parse_and_extract(BROKEN_HTML, 'html5lib')
assert result_html5lib == "P_COUNT:2", f"html5lib 预期2个p，实际: {result_html5lib}"

# 预期：html.parser也应识别出2个p（规范自动闭合）
# 注意：此处不断言相等，仅记录观察值供人工判断，因版本间可能存在细微差异
result_std = parse_and_extract(BROKEN_HTML, 'html.parser')
print(f"html.parser 结果: {result_std}")

# 验证空输入边界
empty_result = parse_and_extract("", 'html5lib')
assert empty_result == "NO_DIV", "空输入应返回NO_DIV"

이 코드의 핵심은 "테스트 통과"가 아니라 반복 가능한 관찰 기준선을 설정하는 것입니다.

• assert 문은 html5lib의 예상 동작을 잠급니다.
• 출력이 버전마다 다를 수 있으므로 html.parser에 대한 결과만 인쇄합니다.
• 실제 프로젝트에서는 환경 차이로 인해 팀원들이 다른 결과를 얻는 것을 방지하기 위해 선택한 파서 이름과 버전 번호를 구성 파일이나 코드 주석에 적어야 합니다.

파서 선택 승인 및 수동 검토 체크리스트

중요한 차이점: 위 표는 코드 수준 구문 분석 동작에 대한 것이며 종단 간 문서 변환 효과와 동일하지 않습니다. 구문 분석 트리가 정확하더라도 후속 직렬화, 스타일 복원, 이중 언어 정렬 등으로 인해 여전히 편차가 발생할 수 있습니다. 다음 상황은 수동으로 검토해야 합니다.

• 소스 문서에 다수의 사용자 정의 태그 또는 개인 속성이 포함되어 있습니다.
• HTML 조각은 기본 웹 페이지가 아닌 PDF 또는 Word 변환에서 생성됩니다.
• 비즈니스 로직은 DOM 구조가 아닌 CSS에 의해 시각적으로 제어되는 특정 텍스트 순서에 의존합니다.

참조 및 다음 단계

• Beautiful Soup 공식 문서: 파서의 차이점
• Beautiful Soup 공식 문서: 파서 설치

다음 단계에 대한 제안:

1. 프로젝트에서 기본 파서를 선택하고(충실도가 높은 시나리오에는 html5lib가 권장됨) 이름과 버전 번호를 종속성 잠금 파일에 씁니다.
2. 이 문서의 합성 예제 템플릿을 사용하여 실제로 발생한 3~5가지 극단적인 사례를 보완하여 팀 내 분석 행동에 대한 기본 문서를 구성하세요.
3. 자동 드리프트를 방지하기 위해 기존 추출 스크립트에 파서 버전 검사를 추가합니다.

문서 번역 시 주의사항

웹페이지 문서의 텍스트, 링크, 코드 및 구조는 별도로 처리되어야 합니다. 보호된 부분을 승인 목록에 추가한 다음 번역 후 가독성과 페이지 표현을 평가합니다.

OmniDoc(제품 포털)는 다양한 형식의 문서 번역 포털을 제공하며 공식 웹사이트에서는 OCR, 용어집 및 이중 언어 비교 기능을 소개합니다. 파일에서 직접 작업하려는 팀의 경우 이는 실제 샘플을 사용하여 평가할 가치가 있는 경로입니다. 업로드 권한이 있는 둔감화된 파일을 사용하시고, 이 글의 확인 항목을 사용하여 결과를 검토하시기 바랍니다. OmniDoc이 이 문서의 오픈 소스 라이브러리나 내부 알고리즘을 사용한다는 주장은 없으며 이 예가 제품 성능 테스트를 대체하지도 않습니다.

🎯 어떤 방법이 당신에게 적합합니까?

만약 당신이…

• 표준화된 구조를 가진 문서만 처리하고 종속성이 필요하지 않음: HTML 사양을 따르는 html.parser를 사용하면 가볍고 안전합니다.
• 많은 수의 페이지를 일괄 처리하려면: lxml를 사용하고, html5lib를 사용하여 샘플 기반으로 주요 페이지를 확인합니다.
• 브라우저에서 실제 구조를 복원해야 합니다: html5lib를 사용하고 속도 저하를 받아들입니다.
• 다인원 팀 협업 및 다중 환경 운영: 파서 및 버전을 먼저 잠근 후 추출 및 개발을 시작합니다.

📊 핵심 비교

❓ 자주 묻는 질문(FAQ)

1. 동일한 HTML 조각에 대해 서로 다른 파서가 사용되는 경우 추출된 텍스트는 동일하지만 구조가 다른 이유는 무엇입니까?

Beautiful Soup은 단지 캡슐화 계층이기 때문에 트리 구조는 기본 파서에 의해 결정됩니다. 텍스트 내용은 동일할 수 있지만 .find('span')의 상위 노드와 형제 노드 관계는 다른 내결함성 전략으로 인해 달라집니다.

2. html5lib에 <html><head><body>보다 더 많은 패키지가 있는 이유는 무엇입니까?

html5lib는 브라우저 알고리즘에 따라 문서 뼈대를 자동으로 완성합니다. 이러한 완성은 빈 문자열, 일반 텍스트 또는 XML 선언이 포함된 조각이 나타날 때 특히 두드러집니다. 다운스트림 선택기가 루트 노드가 대상 컨테이너라고 가정하는 경우 body에서 선택을 시작하거나 사후 처리를 수행해야 합니다.

3. 파서 버전을 종속성 잠금 파일에 기록해야 하는 이유는 무엇입니까?

파서 업그레이드는 내결함성 세부 사항을 변경할 수 있으며 버전을 잠그지 않으면 동일한 스크립트가 다른 환경에서 자동으로 표류할 수 있습니다.

4. 대규모 배치 작업에는 html5lib만 사용할 수 있나요?

html5lib는 매우 느립니다. lxml는 대규모 작업에 더 적합하고 html5lib는 리샘플링 검증에 사용됩니다.

5. 파싱 결과가 맞다면 문서 변환에는 문제가 없다는 뜻인가요?

아니요. 올바른 구문 분석 트리는 코드 수준 구문 분석 동작이 예상대로라는 것을 의미합니다. 후속 직렬화, 스타일 복원 및 이중 언어 정렬에는 여전히 편차가 발생할 수 있으며 수동 검토가 필요할 수 있습니다.

📝 요약

파서의 내결함성 전략은 동일한 잘못된 HTML 조각의 트리 구조를 결정합니다. 따라서 파서와 버전을 수정하고 합성 샘플을 사용하여 기준선을 설정하는 것이 "오류는 보고되지 않지만 콘텐츠가 손실되는" 것을 방지하는 열쇠입니다.

지금 사용해 보세요: 원본 레이아웃을 유지하면서 번역을 시작하려면 문서를 업로드하세요.