HTML 转纯文本，怎么避免两段文字粘在一起

本文使用合成样本演示处理方法。代码已通过隔离环境中的示例检查；这不代表对所有真实文件或产品效果的保证。处理重要文件前，请保留原件，并按文中的边界与验收项复核。 当你用 Beautiful Soup 提取网页内容时，最常遇到的故障不是提取失败，而是提取出的文字“粘”在了一起。比如 <p>Hello</p><p>World</p> 被解析成 HelloWorld ，或者列表项之间丢失了换行符。这通常是因为直接调用 get_text() 时没有指定分隔策略，解析器默认将所有 NavigableString 对象无缝拼接。解决这个问题的核心在于正确组合使用 separator 和 strip 参数，而不是在提取后试图用正则表达式去“猜”哪里应该有换行。 默认行为的陷阱与参数语义 get_text() 方法接受两个关键参数： separator 和 strip 。如果不传参，它会将标签树中所有文本节点直接连接。对于块级元素（如 div , p , li ），这种默认行为是灾难性的，因为 HTML 源码中的换行和缩进在解析后往往变成了空白字符串或被忽略，导致语义边界消失。 separator 参数定义了文本节点之间的插入物。将其设为 '\n' 是最常见的做法，但这并不完美。如果 HTML 结构嵌套较深，简单的全局换行可能导致大量空行。 strip 参数则控制是否去除每个文本片段首尾的空白。当 strip=True 时，Beautiful Soup 会先对每个独立的 NavigableString 执行 .strip() ，然后再用 separator 拼接。这意味着 <p> Hello </p> 会变成干净的 Hello ，避免了 \n Hello \n 这种带有脏数据的输出。两者必须配合使用：只用 separator 不用 strip，会保留无意义的缩进空格；只用 strip 不用 separator，虽然单行干净了，但行间依然可能粘连。 合成 DOM 边界测试用例 为了验证提取逻辑，我们需要构造一个包含典型边界问题的合成 HTML 样本，而不是依赖不稳定的真实网页。以下是一个专门设计的测试用例，涵盖了块级元素粘连、内联元素间隔、以及多余空白三种情况。 输入样本（合成示例）： <div> <p>第一段文字</p> <p>第二段文字<span>内联补充</span></p> <ul> <li> 列表项A </li> <li>列表项B</li> </ul> </div> 预期正确输出： 第一段文字 第二段文字 内联补充 列表项A 列表项B 注意，由于 separator='\n' 作用于所有文本节点，分隔作用于被提取的文本节点，不按块级标签自动生成双换行。段落与列表项之间必须有明确的换行，列表项前后的多余空格应被清除。“第二段文字”与“内联补充”因处于不同标签且均为文本节点，会被分隔符隔开。 错误/边界输入处理： 如果输入变为 <p>End</p><script>alert(1)</script><p>Start</p> ，且未过滤 script 标签，脚本节点是否纳入文本依赖解析器与节点类型，不能把所有模式视为同一种行为。此时即便设置了 separator，输出也会包含 alert(1) 。正确的处理方式是在调用 get_text 前，先通过 soup.find_all('script') 移除无关标签，或者在遍历生成器时跳过特定标签类型。这提醒我们， get_text 的参数只解决格式问题，不解决内容清洗问题。 Python 实现与断言校验 下面的代码展示了如何在内存中构建上述样本并进行确定性校验。此示例依赖 beautifulsoup4 库（推荐 4.9.0+ 版本）。若需测试外部文件，请先将 HTML 保存为 UTF-8 编码文件，并使用 open('file.html', encoding='utf-8') 读取，避免编码错误导致的解析异常。代码不包含网络请求，完全自包含。 from bs4 import BeautifulSoup # 合成示例：模拟常见的HTML文本边界问题 html_content = """ <div> <p>第一段文字</p> <p>第二段文字<span>内联补充</span></p> <ul> <li> 列表项A </li> <li>列表项B</li> </ul> </div> """ soup = BeautifulSoup(html_content, 'html.parser') # 关键配置：separator定义边界，strip清理碎片空白 text_result = soup.get_text(separator='\n', strip=True) # 过滤空行以获得干净的语义行 lines = [line for line in text_result.split('\n') if line] # 验收断言：确保边界清晰且无脏数据 assert lines[0] == '第一段文字', f"段落粘连或内容错误: {lines[0]}" assert lines[1] == '第二段文字', "块级元素间未正确分隔" assert lines[2] == '内联补充', "内联元素文本节点被错误合并" assert lines[3] == '列表项A', f"列表项前置空格未清除: '{lines[3]}'" assert lines[4] == '列表项B', "列表项间边界丢失" print("提取结果预览:") for i, line in enumerate(lines): print(f"{i}: [{line}]") 这段代码的预期输出是五行干净的文本。如果你的环境输出了更多空行，说明 DOM 中存在未被 strip 处理的纯空白 NavigableString 节点，这是 html.parser 的正常行为，可以在 split 后通过列表推导式过滤。请勿将此代码直接用于生产环境的复杂页面，它仅用于演示参数组合的力学原理。 验收标准与人工审查界限 自动化提取永远无法达到 100% 的视觉还原。下表列出了在实际文档处理中应如何区分“代码可修复”与“需人工介入”的情况。这些判断基于对 DOM 结构的观察，而非主观感觉。 明确不适用范围：当 HTML 包含大量 CSS 伪元素生成的文本、Canvas 渲染内容或 Shadow DOM 时，Beautiful Soup 无法获取有效信息。此时不应继续调试参数，而应更换采集方案或接受信息缺失。 参考资料与下一步 Beautiful Soup Official Documentation: get_text() 下一步行动：在你的项目中创建一个包含 5-10 个典型边界案例的合成测试集，运行上述断言脚本。如果通过率低于预期，检查是否需要预处理 DOM（如移除 script/style、展开特定标签）后再提取。对于无法通过参数解决的结构性问题，记录具体 HTML 片段，作为评估专业文档处理工具的基准样本。 具体异常的处理决定 观察 应做什么 不应推断 内联节点分隔 核对句子是否被割裂 分隔符作用于文本节点 表格扁平化 保留行列结构另行处理 不能只靠 get_text 动态绘制内容 明确采集缺口 静态解析不等于浏览器渲染 将这份检查清单用于文档翻译 网页文档的正文、链接、代码与结构要分别处理。把受保护的部分列入验收清单，再评估翻译后的可读性与页面展示。 OmniDoc（产品入口） 提供多格式文档翻译入口，官网介绍了 OCR、术语表与双语对照功能。对希望直接从文件开始处理的团队，这是一条值得用实际样本评估的路径。请使用有权上传的脱敏文件，并用本篇的检查项复核结果；这里不声称 OmniDoc 使用了本文的开源库或内部算法，也不以示例代替产品性能测试。 - 1 -