Tại sao kết quả của hai trình phân tích cú pháp lại khác nhau đối với cùng một đoạn HTML lỗi?

Khi bạn dùng Beautiful Soup để trích xuất nội dung trang web, lỗi tiềm ẩn nhất thường không phải là lỗi mà là "không có lỗi mà mất nội dung". Đối với cùng một đoạn HTML thiếu thẻ đóng, nếu trình phân tích cú pháp bị thay đổi, cấu trúc cây có thể khác. Bài viết này được viết dành cho các nhà phát triển cần trích xuất nội dung web một cách ổn định, giải thích sự khác biệt đến từ đâu và đưa ra các phương pháp kiểm tra có thể lặp lại.

Bài viết này sử dụng các mẫu tổng hợp để trình bày phương pháp xử lý. Mã đã được kiểm tra mẫu trong một môi trường biệt lập, nhưng điều này không đảm bảo cho tất cả các tệp thực hoặc hiệu suất của sản phẩm. Trước khi xử lý các văn bản quan trọng, vui lòng giữ lại bản chính và xem xét theo ranh giới và các mục chấp nhận trong văn bản.

Tại sao kết quả lại khác nhau đối với cùng một đoạn HTML lỗi? Một câu kết luận

Kết luận là: cây phân tích cú pháp được xây dựng bởi trình phân tích cú pháp cơ bản và mỗi trình phân tích cú pháp có các chiến lược chịu lỗi khác nhau khi gặp phải các thẻ bất hợp pháp, vì vậy hãy nhớ sửa trình phân tích cú pháp và phiên bản, đồng thời sử dụng các mẫu tổng hợp để thiết lập đường cơ sở.

Logic chịu lỗi của ba trình phân tích cú pháp

Beautiful Soup chỉ là một lớp đóng gói và việc xây dựng cây phân tích cú pháp thực tế được hoàn thành bởi trình phân tích cú pháp cơ bản. Tài liệu chính thức nhắc nhở rõ ràng: Nếu tài liệu không hợp lệ, các trình phân tích cú pháp khác nhau sẽ tạo ra các cây khác nhau.

html.parser: có khả năng chịu lỗi theo thông số kỹ thuật, nhưng không cung cấp sự hoàn thiện toàn diện

html.parser đi kèm với thư viện chuẩn Python theo đuổi mục tiêu không phụ thuộc và tốc độ trung bình, đồng thời các quy tắc về khả năng chịu lỗi tuân theo đặc tả HTML.

• Khi gặp thẻ <p> không được đóng, đoạn trước sẽ tự động đóng và không được lồng vào nhau.
• Các thẻ chứa không được tiết lộ như <div> sẽ không được tự động hoàn thành và nội dung tiếp theo có thể bị gán nhầm cho cấp độ gốc.
• Đối với các tài liệu có định dạng tốt, đây là sự lựa chọn an toàn và nhẹ nhàng; đối với các trang web chưa hoàn thiện có cấu trúc hỗn loạn, mặc dù kết quả đầu ra tuân thủ các thông số kỹ thuật nhưng nó có thể không đáp ứng được mong đợi về mặt hình ảnh.

lxml: nhanh hơn, logic sửa chữa khác với trình duyệt

lxml dựa trên ngôn ngữ C libxml2, nhanh hơn và có khả năng chịu lỗi giữa thư viện chuẩn và trình duyệt.

• Nó cố gắng sửa các lỗi cấu trúc rõ ràng, chẳng hạn như tự động đóng các phần tử cấp khối nhất định.
• Logic sửa lỗi tuân theo đặc tả kết hợp XML/HTML thay vì các tiêu chuẩn kết xuất trình duyệt hiện đại.
• Khi xử lý các tính năng HTML5 mới hoặc các trang cũ cực kỳ khó hiểu, cây được tạo có thể không nhất quán với những gì thấy trong Công cụ dành cho nhà phát triển Chrome.

html5lib: Mô phỏng nghiêm ngặt các trình duyệt nhưng phải trả giá bằng tốc độ

html5lib là một trình phân tích cú pháp Python thuần túy mô phỏng chặt chẽ hành vi phân tích cú pháp của trình duyệt.

• Tạo cây DOM tuân thủ HTML5 bất kể đầu vào bị hỏng như thế nào.
• Sẽ tự động hoàn thành <head>, <body> và xử lý các chỉnh sửa lồng nhau phức tạp.
• Giá cực kỳ chậm và giới thiệu thêm các phần phụ thuộc Python.
• Sự"chậm"này thường là cái giá phải trả về độ chính xác cần thiết khi thực hiện nhiệm vụ khôi phục cấu trúc trực quan thực sự của tài liệu trong trình duyệt (ví dụ: bảo toàn ngữ cảnh cho bản dịch).

Ví dụ tổng hợp: cảnh mơ hồ của các thẻ không được tiết lộ

Để chứng minh sự khác biệt một cách chi tiết, hãy xây dựng một HTML bị hỏng điển hình. Lưu ý rằng mã này chỉ được sử dụng để thể hiện hành vi của trình phân tích cú pháp và không phải là dữ liệu sản xuất thực.

<div class="content">
<p>第一段文字
<p>第二段文字
<span>高亮内容</div>

Có hai vấn đề với đánh dấu này: cả hai thẻ <p> đều không được đóng và <span> vượt qua ranh giới đoạn văn ẩn. Kỳ vọng hợp lý sẽ là hai đoạn văn riêng biệt cộng với phần đánh dấu nội tuyến hoặc phần đánh dấu chỉ thuộc về đoạn thứ hai.

• Trong html.parser, hai <p> sẽ được công nhận là bằng nhau, nhưng <span> có thể kéo dài đến hết </div>, bao bọc đoạn thứ hai.
• Trong html5lib, trình phân tích cú pháp tuân theo thuật toán trình duyệt cho các bản sửa lỗi lồng nhau của <span>, có thể giới hạn nó trong đoạn thứ hai hoặc thực hiện việc sắp xếp lại phức tạp hơn.
• Nếu bạn sử dụng .find('p').get_text() để trích xuất văn bản, chuỗi được cả hai trình phân tích cú pháp trả về có thể giống nhau, nhưng mối quan hệ cha mẹ và anh chị em của .find('span') sẽ hoàn toàn khác nhau.

Trường hợp ranh giới

• Khi đầu vào là một chuỗi trống, văn bản thuần túy không có thẻ hoặc đoạn HTML chứa khai báo XML, html5lib sẽ tự động thêm bộ khung tài liệu hoàn chỉnh (<html><head><body>), trong khi html.parser sẽ giữ nguyên.
• Nếu mã xuôi dòng giả định rằng nút gốc là vùng chứa mục tiêu thì đầu ra của html5lib sẽ có thêm một lớp lồng nhau, khiến bộ chọn không thành công.

Khóa mã xác minh phiên bản và trình phân tích cú pháp

Ví dụ Python sau đây cho thấy cách so sánh đầu ra của trình phân tích cú pháp trong bộ nhớ và xác nhận hành vi dự kiến thông qua các xác nhận. Mã này mang tính minh họa giảng dạy và cần được chạy trong môi trường khóa các phiên bản cụ thể của beautifulsoup4, lxml và html5lib vì việc nâng cấp trình phân tích cú pháp có thể thay đổi chi tiết về khả năng chịu lỗi. Các ví dụ không dựa vào mạng hoặc tệp bên ngoài và tất cả đầu vào đều là dữ liệu tổng hợp.

from bs4 import BeautifulSoup

# 合成示例：未闭合标签的损坏HTML
BROKEN_HTML = '<div class="c"><p>A<p>B<span>X</div>'

def parse_and_extract(html: str, parser: str) -> str:
    soup = BeautifulSoup(html, parser)
    # 提取div直接子级p标签的文本数量，反映结构差异
    div = soup.find('div', class_='c')
    if not div:
        return "NO_DIV"
    p_tags = div.find_all('p', recursive=False)
    return f"P_COUNT:{len(p_tags)}"

# 预期：html5lib应识别出2个平级p标签
result_html5lib = parse_and_extract(BROKEN_HTML, 'html5lib')
assert result_html5lib == "P_COUNT:2", f"html5lib 预期2个p，实际: {result_html5lib}"

# 预期：html.parser也应识别出2个p（规范自动闭合）
# 注意：此处不断言相等，仅记录观察值供人工判断，因版本间可能存在细微差异
result_std = parse_and_extract(BROKEN_HTML, 'html.parser')
print(f"html.parser 结果: {result_std}")

# 验证空输入边界
empty_result = parse_and_extract("", 'html5lib')
assert empty_result == "NO_DIV", "空输入应返回NO_DIV"

Cốt lõi của mã này không phải là "vượt qua thử nghiệm", mà là thiết lập đường cơ sở quan sát có thể lặp lại.

• Câu lệnh assert khóa hành vi dự kiến của html5lib.
• Chỉ in kết quả cho html.parser, vì kết quả đầu ra của nó có thể dao động tùy theo phiên bản.
• Trong các dự án thực tế, tên trình phân tích cú pháp và số phiên bản đã chọn phải được ghi vào tệp cấu hình hoặc nhận xét mã để ngăn các thành viên trong nhóm nhận được kết quả khác nhau do sự khác biệt về môi trường.

Danh sách kiểm tra chấp nhận lựa chọn trình phân tích cú pháp và xem xét thủ công

Sự khác biệt quan trọng: Bảng trên dành cho hành vi phân tích cú pháp cấp mã và không bằng hiệu ứng chuyển đổi tài liệu từ đầu đến cuối. Ngay cả khi cây phân tích cú pháp chính xác, việc tuần tự hóa, khôi phục kiểu, căn chỉnh song ngữ, v.v. tiếp theo vẫn có thể gây ra sai lệch. Các tình huống sau đây phải được xem xét thủ công:

• Tài liệu nguồn chứa một số lượng lớn các thẻ tùy chỉnh hoặc thuộc tính riêng tư.
• Đoạn mã HTML đến từ chuyển đổi PDF hoặc Word, không phải từ trang web gốc.
• Logic nghiệp vụ dựa trên thứ tự văn bản cụ thể được điều khiển trực quan bằng CSS thay vì cấu trúc DOM.

Tài liệu tham khảo và các bước tiếp theo

• Tài liệu chính thức của Beautiful Soup: Sự khác biệt giữa các trình phân tích cú pháp
• Tài liệu chính thức của Beautiful Soup: Cài đặt trình phân tích cú pháp

Gợi ý cho các bước tiếp theo:

1. Chọn trình phân tích cú pháp chính trong dự án (html5lib được khuyến nghị cho các tình huống có độ chính xác cao) và ghi tên và số phiên bản vào tệp khóa phụ thuộc.
2. Sử dụng mẫu ví dụ tổng hợp trong bài viết này để bổ sung cho 3–5 trường hợp khó khăn mà bạn thực sự gặp phải nhằm tạo thành tài liệu cơ bản về hành vi phân tích trong nhóm.
3. Thêm việc kiểm tra phiên bản trình phân tích cú pháp vào các tập lệnh trích xuất hiện có để ngăn chặn sự trôi dạt im lặng.

Những lưu ý khi dịch tài liệu

Văn bản, liên kết, mã và cấu trúc của tài liệu trang web phải được xử lý riêng. Thêm các phần được bảo vệ vào danh sách chấp nhận, sau đó đánh giá khả năng đọc và trình bày trang sau khi dịch.

OmniDoc (cổng thông tin sản phẩm) cung cấp cổng dịch thuật tài liệu đa định dạng và trang web chính thức giới thiệu các chức năng so sánh OCR, bảng thuật ngữ và song ngữ. Đối với các nhóm muốn làm việc trực tiếp từ các tệp, đây là con đường đáng để đánh giá bằng các mẫu thực tế. Vui lòng sử dụng các tệp đã được giải mẫn cảm mà bạn có quyền tải lên và sử dụng các mục kiểm tra trong bài viết này để xem lại kết quả. Ở đây không có tuyên bố nào rằng OmniDoc sử dụng các thư viện nguồn mở hoặc thuật toán nội bộ trong bài viết này và ví dụ này cũng không thay thế việc kiểm tra hiệu suất sản phẩm.

🎯 Phương pháp nào phù hợp với bạn?

nếu bạn……

• Chỉ xử lý các tài liệu có cấu trúc được tiêu chuẩn hóa và không muốn có sự phụ thuộc: Sử dụng html.parser, tuân theo các thông số kỹ thuật HTML, rất nhẹ và an toàn.
• Để xử lý số lượng lớn trang theo đợt: Sử dụng lxml và sử dụng html5lib để xác minh các trang chính trên cơ sở mẫu.
• Cần khôi phục cấu trúc thực trong trình duyệt: sử dụng html5lib, chấp nhận hình phạt tốc độ của nó.
• Hợp tác nhóm nhiều người và hoạt động đa môi trường: Khóa trình phân tích cú pháp và phiên bản trước, sau đó bắt đầu trích xuất và phát triển.

📊 So sánh cốt lõi

❓ Câu hỏi thường gặp (FAQ)

1. Nếu sử dụng các trình phân tích cú pháp khác nhau cho cùng một đoạn HTML, tại sao văn bản được trích xuất có thể giống nhau nhưng có cấu trúc khác nhau?

Bởi vì Beautiful Soup chỉ là một lớp đóng gói nên cấu trúc cây được xác định bởi trình phân tích cú pháp cơ bản. Nội dung văn bản có thể giống nhau, nhưng mối quan hệ nút cha và nút anh em của .find('span') sẽ khác nhau do các chiến lược chịu lỗi khác nhau.

2. Tại sao html5lib có nhiều gói hơn <html><head><body>?

html5lib sẽ tự động hoàn thành bộ khung tài liệu theo thuật toán của trình duyệt. Việc hoàn thành này đặc biệt đáng chú ý khi gặp các chuỗi trống, văn bản thuần túy hoặc các đoạn chứa khai báo XML. Nếu bộ chọn xuôi dòng giả định rằng nút gốc là vùng chứa mục tiêu thì nó cần bắt đầu chọn từ body hoặc thực hiện xử lý hậu kỳ.

3. Tại sao phiên bản trình phân tích cú pháp phải được ghi vào tệp khóa phụ thuộc?

Các bản nâng cấp trình phân tích cú pháp có thể thay đổi chi tiết về khả năng chịu lỗi và việc không khóa các phiên bản có thể khiến cùng một tập lệnh trôi dạt trong các môi trường khác nhau.

4. Chỉ có thể sử dụng html5lib cho các tác vụ hàng loạt lớn?

html5lib cực kỳ chậm. lxml phù hợp hơn cho các nhiệm vụ quy mô lớn và html5lib được sử dụng để xác minh lấy mẫu lại.

5. Nếu kết quả phân tích cú pháp là chính xác, điều đó có nghĩa là không có vấn đề gì với việc chuyển đổi tài liệu?

KHÔNG. Cây phân tích cú pháp chính xác chỉ có nghĩa là hành vi phân tích cú pháp cấp mã như mong đợi. Việc xê-ri hóa, khôi phục kiểu và căn chỉnh song ngữ sau đó vẫn có thể gây ra sai lệch và cần phải xem xét thủ công.

📝 Tóm tắt

Chiến lược chịu lỗi của trình phân tích cú pháp xác định cấu trúc cây của cùng một đoạn HTML xấu. Vì vậy, việc sửa trình phân tích cú pháp và phiên bản cũng như sử dụng các mẫu tổng hợp để thiết lập đường cơ sở là chìa khóa để tránh "không báo lỗi mà mất nội dung".

Thử ngay: Tải tài liệu lên để bắt đầu dịch, giữ nguyên bố cục ban đầu