Převést HTML na prostý text, jak zabránit slepení dvou odstavců textu

Při převodu HTML na prostý text se dva odstavce textu slepí dohromady, většinou proto, že get_text() se volá přímo bez určení strategie oddělení. Krásná polévka ve výchozím nastavení spojí všechny textové uzly hladce a hranice mezi prvky na úrovni bloku zmizí. Tento problém je běžný při použití Beautiful Soup k extrahování webového obsahu.

Namísto použití regulárních výrazů k hádání, kde se má po extrakci přerušit, můžete během extrakce správně kombinovat parametry separator a strip. Tento článek používá syntetické ukázky k demonstraci této metody, poskytuje spustitelný kód aserce a vysvětluje, které situace vyžadují ruční kontrolu.

Po přečtení tohoto článku můžete určit, zda jsou vaše výsledky extrakce zaseknuté, použít skripty asercí k ověření výstupu a objasnit, které problémy lze vyřešit pomocí parametrů a které je třeba změnit.

Co mám dělat, když převádím HTML na prostý text? Závěr jednou větou

Nejprve použijte kombinaci separator='\n' a strip=True k volání get_text() a poté zpracujte irelevantní značky a strukturální problémy podle situace na stránce.

Pasti a sémantika parametrů výchozího chování

Proč se to lepí?

Metoda get_text() přijímá dva klíčové parametry: separator a strip. Pokud nejsou předány žádné parametry, přímo propojí všechny textové uzly ve stromu značek.

Toto výchozí chování je velmi problematické pro prvky na úrovni bloku, jako jsou div, p a li. Zalomení řádků a odsazení ve zdrojovém kódu HTML se po analýze často změní na prázdné řetězce nebo se ignorují a sémantické hranice zmizí.

Co dělají oddělovač a proužek?

• oddělovač: Definuje vložení mezi uzly textu. Nastavení na '\n' je běžná praxe, ale není dokonalá. Pokud je HTML hluboce vnořeno, může globální zalamování vést k velkému počtu prázdných řádků.
• strip: Určuje, zda se má odstranit prázdné místo na začátku a na konci každého fragmentu textu. Když strip=True, Beautiful Soup nejprve provede .strip() na každém nezávislém NavigableString a poté je spojí pomocí oddělovače.

Například <p> Hello </p> získá čisté Hello místo \n Hello \n se špinavým výstupem dat.

Oba musí být použity společně:

• Použití pouze oddělovače bez proužku zachová nesmyslné odsazené mezery.
• S pouze proužkem a bez separátoru bude jedna čára čistá, ale mezi čarami může být stále adheze.

Další popisy parametrů naleznete v Oficiální dokumentace krásné polévky: get_text().

Syntetické testovací případy hranic DOM

Pro ověření logiky extrakce by se měly namísto spoléhání na nestabilní skutečné webové stránky sestavit syntetické vzorky HTML obsahující typické hraniční problémy. Následující testovací případy pokrývají tři situace: adhezi prvků na úrovni bloku, mezery mezi prvky a nadbytečné prázdné místo.

Vstupní vzorek (syntetický příklad):

<div>
    <p>第一段文字</p>
    <p>第二段文字<span>内联补充</span></p>
    <ul>
        <li> 列表项A </li>
        <li>列表项B</li>
    </ul>
</div>

Očekávaný správný výstup:

第一段文字

第二段文字
内联补充

列表项A
列表项B

Je třeba poznamenat, že separator='\n' působí na extrahované textové uzly a nebude automaticky generovat dvojité zalomení řádků na základě značek na úrovni bloku. Mezi odstavci a položkami seznamu musí být jasné zalomení řádků a mezery navíc před a za položkami seznamu by měly být odstraněny. "Druhý text" a "Vložený doplněk" jsou umístěny v různých štítcích a jsou textovými uzly, takže budou odděleny oddělovači.

Chyby a zadání hranice

Pokud se vstup změní na <p>End</p><script>alert(1)</script><p>Start</p> a značka skriptu není filtrována, výstup bude obsahovat alert(1). To platí, i když je nastaven oddělovač. Zda jsou uzly skriptu zahrnuty v textu, závisí na analyzátoru a typu uzlu.

Správný způsob, jak to zvládnout, je použít soup.find_all('script') k odstranění irelevantních značek před voláním get_text nebo k přeskočení určitých typů značek při procházení. Parametry get_text řeší pouze problém s formátem, nikoli problém s čištěním obsahu.

Implementace Pythonu a kontrola asercí

Níže uvedený kód sestaví výše uvedený vzorek v paměti a provede deterministické ověření. Příklad závisí na beautifulsoup4 a doporučuje se verze 4.9.0 a vyšší.

Chcete-li otestovat externí soubory, uložte nejprve kód HTML jako kódování UTF-8 a poté jej načtěte pomocí open('file.html', encoding='utf-8'), abyste předešli chybám kódování způsobujícím výjimky při analýze. Kód neobsahuje žádné síťové požadavky a je zcela samostatný.

from bs4 import BeautifulSoup

# 合成示例：模拟常见的HTML文本边界问题
html_content = """
<div>
    <p>第一段文字</p>
    <p>第二段文字<span>内联补充</span></p>
    <ul>
        <li> 列表项A </li>
        <li>列表项B</li>
    </ul>
</div>
"""

soup = BeautifulSoup(html_content, 'html.parser')

# 关键配置：separator定义边界，strip清理碎片空白
text_result = soup.get_text(separator='\n', strip=True)

# 过滤空行以获得干净的语义行
lines = [line for line in text_result.split('\n') if line]

# 验收断言：确保边界清晰且无脏数据
assert lines[0] == '第一段文字', f"段落粘连或内容错误: {lines[0]}"
assert lines[1] == '第二段文字', "块级元素间未正确分隔"
assert lines[2] == '内联补充', "内联元素文本节点被错误合并"
assert lines[3] == '列表项A', f"列表项前置空格未清除: '{lines[3]}'"
assert lines[4] == '列表项B', "列表项间边界丢失"

print("提取结果预览:")
for i, line in enumerate(lines):
    print(f"{i}: [{line}]")

Očekávaným výstupem tohoto kódu je pět řádků čistého textu. Pokud vaše prostředí vydává více prázdných řádků, znamená to, že v modelu DOM jsou čistě prázdné uzly NavigableString, které nebyly odstraněny. Toto je normální chování html.parser a lze jej po rozdělení filtrovat s porozuměním seznamu.

Tento kód se používá pouze k demonstraci principu kombinace parametrů a neměl by být používán přímo na složitých stránkách v produkčním prostředí.

📊 Srovnání jádra

Kritéria přijetí a hranice manuální kontroly

Automatická extrakce nemůže dosáhnout 100% vizuální obnovy. Následující tabulka uvádí, jak rozlišovat mezi situacemi „opravitelný kód"a „vyžaduje zásah člověka". Úsudek je založen na struktuře DOM, nikoli na subjektivním pocitu.

Explicitní rozsah nepoužitelnosti: Beautiful Soup nemůže získat platné informace, když HTML obsahuje velké množství textu generovaného pseudoelementy CSS, obsahem vykresleným na plátně nebo Shadow DOM. V tuto chvíli by se nemělo pokračovat v ladění parametrů, ale mělo by se změnit schéma akvizice nebo by měly být akceptovány chybějící informace.

🎯 Která metoda je pro vás vhodná?

pokud jste……

Potřebujete extrahovat prostý text odstavců a položek seznamu

Nastavteseparator='\n' i strip=True a ověřte výstup pomocí skriptu aserce.

Na stránce je mnoho značek skriptů nebo stylů

Před voláním get_text tyto značky odstraňte a neočekávejte, že parametry vyřeší problémy s obsahem.

Potřeba zachovat řádkovou a sloupcovou strukturu tabulky

Nespoléhejte se pouze na get_text, zpracujte strukturu tabulky samostatně.

Stránka závisí na vykreslování prohlížeče nebo Shadow DOM

Změňte plán sběru nebo zřetelně zaznamenejte sběrné mezery během přejímky.

❓ Často kladené otázky (FAQ)

1. Stačí nastavit oddělovač?

nestačí. Nastavení pouze oddělovače zachová nesmyslné odsazení a vyžaduje přidání strip=True.

2. Proč jsou ve výstupu prázdné řádky?

V DOM mohou být prázdné uzly NavigableString, které nebyly odstraněny. Toto je normální chování html.parser a lze jej po rozdělení filtrovat s porozuměním seznamu.

3. Proč se ve výsledcích objevuje značka skriptu?

Parametry get_text řeší pouze problém s formátem. Mělo by být odstraněno pomocí soup.find_all('script') před voláním nebo přeskočeno během procházení.

4. Jak ověřit, zda je výsledek extrakce správný?

Vytvořte syntetickou testovací sadu 5–10 typických okrajových případů a spusťte skripty asercí. Pokud je rychlost průchodu nižší, než se očekávalo, zkontrolujte, zda není nutné před extrahováním DOM předzpracovat.

📝 Shrnutí

Jádro problému adheze spočívá v kombinaci parametrů během extrakce, nikoli v opravě struny po extrakci. Nejprve si projděte syntetické vzorky a tvrzení a poté se vypořádejte s irelevantními tagy a strukturálními problémy na skutečné stránce.

Vyzkoušejte to hned: Nahrajte dokument a začněte překládat při zachování původního rozvržení