Byť schopný analyzovať HTML neznamená byť schopný bezpečne zobraziť HTML

Tento článok objasňuje, že BeautifulSoup je umiestnený iba ako analyzátor a nie ako čistič zabezpečenia, a ukazuje, ako odstrániť udalosti skriptov a nebezpečné adresy URL prostredníctvom stratégie whitelistu. Poskytuje spustiteľný výukový kód na čistenie pamäte, hraničné testovacie prípady a kritériá spúšťania manuálnej kontroly a vysvetľuje správny spôsob integrácie OmniDoc do pracovného toku prekladu dokumentov na vyhodnotenie možností spracovania zmiešaného obsahu.

BeautifulSoup úspešne analyzuje, ale to neznamená, že kód HTML je bezpečný. Pre vývojárov a dokumentačné tímy, ktoré potrebujú spracovať externé HTML, tento článok vysvetľuje, prečo by sa na analyzátory a čističe mali pozerať oddelene, a poskytuje súbor nápadov na čistenie, testovacích prípadov a kritérií manuálnej kontroly.

Príklady v tomto článku sú syntetické vzorky a používajú sa len na demonštráciu metód spracovania. Kód bol vzorovo skontrolovaný v izolovanom prostredí, ale to neznamená, že je zaručené, že bude fungovať so všetkými skutočnými súbormi alebo produktmi. Pred spracovaním dôležitých dokumentov si uschovajte originály a potom ich jeden po druhom skontrolujte podľa hraníc a akceptačných položiek v dokumente.

Záver jednou vetou: Po analýze je potrebné čistenie vykonať samostatne

Nebezpečné vlastnosti, ako napríklad <img src=x onerror=alert(1)>, zostanú na výstupe nedotknuté, keď ich BeautifulSoup analyzuje. Čistenie musí byť ďalšou vrstvou obchodnej logiky, ktorá sa prekrýva po analýze.

vaša situáciaOdporúčané postupydôvod
Jednoducho extrahujte alebo upravte údaje z HTMLPoužitie BeautifulSoup na analýzu a prechodBS4 je navrhnutý na extrahovanie a úpravu stromových štruktúr
Na vloženie externého HTML do interných systémov alebo na preklad výstupovPo analýze pridajte čistiacu vrstvu whitelistuBS4 neurčuje, či sú značky a atribúty bezpečné
Stretnutie s vlastnosťami ako onclick, javascript: alebo data:Odstráňte atribúty alebo ponechajte parameter href prázdnyTieto vlastnosti môžu niesť spustiteľný obsah
Pripravené na výrobuPoužite vyhradenú knižnicu dezinfekcie (napríklad bleach) a externalizujte biely zoznamVzorový kód nezahŕňa podrobnosti, ako sú atribúty s viacerými hodnotami, normalizácia veľkosti písmen, kódovanie entít atď.
Výsledky čistenia sú abnormálne alebo je text náhle zmenšený.Prejsť na manuálnu kontroluAutomatizované pravidlá nedokážu pokryť všetky situácie v reálnom svete

Nesúlad medzi analytickými schopnosťami a bezpečnostnými zodpovednosťami

BeautifulSoup Oficiálna dokumentácia ju definuje ako „knižnicu na extrahovanie údajov zo súborov HTML a XML"so zameraním na navigáciu, vyhľadávanie a úpravu stromových štruktúr. Je teda neutrálny, pokiaľ ide o sémantickú bezpečnosť obsahu. Keď zadáte<a href="javascript:void(0)">Click</a>, BS4 správne vytvorí objekt Tag s atribútom href, ale neurčí, či je protokol povolený.

Pri spracovaní dokumentov má táto neutralita klady aj zápory. Výhodou je, že si poradí s rôznymi nepravidelnými historickými fixami. Riziko spočíva v tom, že ak vývojári predpokladajú, že „spracované BS4"sa rovná „dezinfikované", nevalidované HTML by sa mohlo dostať priamo do rozhrania ukážky alebo dodania prekladu.

Skutočné čistenie zabezpečenia vyžaduje explicitnú stratégiu whitelistu: uchovávajte iba známe bezpečné názvy značiek a názvy atribútov a overte formát hodnôt atribútov a zvyšok odstráňte. Toto nie je vstavaná funkcia BS4, ale skôr logika, ktorú musia používatelia prekryť sami.

Hraničný vstup v príklade syntézy

Na ilustráciu potreby čistenia sa nižšie používa súbor syntetických vzoriek na pokrytie typických vektorov útoku a legitímneho obsahu. Tieto vstupy slúžia len na demonštráciu okrajových podmienok a nie sú skutočnými dopravnými štatistikami, ani nepredstavujú prahové hodnoty priemyselného štandardu. Ak chcete otestovať skutočné dokumenty, najskôr zrušte citlivosť svojich obchodných údajov, aby ste odstránili osobné informácie a citlivé odkazy.

Zadajte správne

<p>See <a href="https://example.com/doc">reference</a>.</p>

Očakávaný výstup by mal ponechať odseky a odkazy nedotknuté, pretože p a a sú na bielej listine a href používa protokol HTTPS.

Hraničný vstup 1: obsluha udalosti

<div onclick="steal()">Safe text</div>

Aj keď je text neškodný, onclick je atribút obsluhy udalosti a musí sa úplne odstrániť, pričom zostane iba <div>Safe text</div>. Ak div nie je v zozname povolených značiek, celý tag by sa mal nahradiť obsahom obyčajného textu.

Hraničný vstup 2: dáta: protokol

<a href="data:text/html,<script>alert(1)</script>">Link</a>

data: URI môžu prenášať spustiteľný obsah. Aj keď je samotná značka legálna, href by mala byť prázdna alebo vymazaná. Čistič nemôže len skontrolovať, či je predpona protokolu http, ale tiež overiť, či dekódovaný obsah predstavuje vnorený kontext vykonávania.

Tieto prípady ilustrujú, že posúdenie bezpečnosti nastáva vo fáze kontroly na úrovni atribútov po analýze. BS4 je zodpovedný za premenu reťazcov na priechodné objekty a čistiaca logika je zodpovedná za rozhodovanie o tom, ktoré objekty možno ponechať.

Implementácia čistenia pamäte založená na bielej listine

Nasledujúci príklad Pythonu ukazuje, ako to urobiť v pamäti. Tento kód slúži len na ukážku výučby. Nezaoberá sa detailmi, ako sú atribúty s viacerými hodnotami, normalizácia malých a veľkých písmen, kódovanie entít atď. Je prísne zakázané používať ho priamo v produkčnom prostredí. Závisí od beautifulsoup4, ktorý si musíte nainštalovať sami a odporúča sa uzamknúť verziu. Kód nevytvára sieťové požiadavky, nečíta ani nezapisuje do systému súborov. Tvrdenia vyjadrujú iba očakávané správanie a skutočné výsledky závisia od vášho prostredia a verzií závislostí.

# 教学示例:演示BS4配合白名单清洗原理,非生产级实现
from bs4 import BeautifulSoup, Comment
import re

ALLOWED_TAGS = {'p', 'a', 'b', 'i', 'ul', 'li'}
ALLOWED_ATTRS = {'href'}
SAFE_URL_PATTERN = re.compile(r'^https?://', re.IGNORECASE)

def sanitize_html(raw: str) -> str:
    soup = BeautifulSoup(raw, 'html.parser')
    # 移除注释
    for comment in soup.find_all(string=lambda t: isinstance(t, Comment)):
        comment.extract()
    # 遍历所有标签
    for tag in soup.find_all(True):
        if tag.name not in ALLOWED_TAGS:
            tag.unwrap()  # 保留子节点,移除标签本身
            continue
        # 清理属性
        attrs_to_remove = [k for k in tag.attrs if k not in ALLOWED_ATTRS]
        for attr in attrs_to_remove:
            del tag[attr]
        # 校验剩余安全属性值
        if 'href' in tag.attrs:
            href = tag['href']
            if not isinstance(href, str) or not SAFE_URL_PATTERN.match(href.strip()):
                del tag['href']
    return str(soup)

# 合成测试用例(仅用于理解原理)
safe = '<p>Hello <a href="https://ok.com">link</a></p>'
unsafe_event = '<p onclick="x()">text</p>'
unsafe_uri = '<a href="javascript:alert(1)">bad</a>'

assert sanitize_html(safe) == '<p>Hello <a href="https://ok.com">link</a></p>'
assert 'onclick' not in sanitize_html(unsafe_event)
assert 'href' not in sanitize_html(unsafe_uri)

Produkčné prostredia môžu zvážiť použitie vyhradenej knižnice dezinfekcie (napríklad bleach) a ponechanie konfigurácie whitelistu mimo kódu. Kľúčom je: čistiaca logika by mala výslovne uvádzať „čo je povolené"namiesto toho, aby sa pokúšala vymenovať „čo je zakázané".

Akceptačné štandardy a spúšťače manuálneho preskúmania

Asercie v kóde môžu len overiť, či boli prednastavené pravidlá vykonané, a nemôžu pokryť všetky reálne výnimky. Nižšie uvedená tabuľka uvádza bežné situácie pri samotnom spracovaní dokumentov, ako aj hranicu medzi automatizovaným spracovaním a manuálnym zásahom.

Pozorujte tento javAutomatické rozhodovanie o spracovaníČi je manuálna kontrola potrebnáPoznámka
Názvy značiek nie sú na whiteliste, ale obsahujú dôležitý textrozbaliť zachováva textNieZabezpečte, aby sa nestratila sémantika
href je relatívna cesta alebo mailto:Odstráňte atribút hrefÁnoMôže to byť platný obchodný odkaz a vyžaduje manuálne potvrdenie
Hodnota vlastnosti obsahuje JS kódovaný HTML entitouOdmietnuť podľa zhody reťazcaÁnoMusí byť potvrdené, či išlo o zabitie z nedbanlivosti
Vnorené vrstvy, ktoré sú príliš hlboké, spôsobujú časové limity rozlíšeniaSkrátiť alebo preskočiť klipÁnoZabraňuje DoS, ale môže prísť o obsah
Dĺžka textu sa po vyčistení výrazne skrátila o >30 %Označ ako podozrivéhoÁnoMôže príliš odstrániť štruktúrované informácie

"Demo kódu prešiel" neznamená "komplexnú dôveryhodnosť." Pre položky označené "Áno" v tabuľke by mal byť proces automatizácie pozastavený a odovzdaný na manuálnu kontrolu. V scenároch doručovania prekladov môže nadmerné čistenie spôsobiť prerušenia citácií slovníka alebo neplatné formátovacie konvencie.

📊 Porovnanie jadra

MetódaČo sa dá robiť?Nemôže nič nahradiť
Krásna polievkaPremeňte HTML na priechodnú a upraviteľnú stromovú štruktúruBezpečnostné hodnotenia, atribúty a protokoly zostanú zachované v pôvodnej podobe
Biela čistiaca vrstvaExplicitne deklarujte povolené označenia a atribúty, pričom ostatné odstrániteManuálne overenie, stav hraníc stále potrebuje potvrdenie
Špecializované čistiace komory (napríkladbleach)Vykonáva čistenie na úrovni výroby a podporuje externú konfiguráciuTriedenie a prijatie vlastného podnikateľského zoznamu

🎯 Ktorá metóda ti vyhovuje?

Ak potrebujete len extrahovať dáta

Jednoducho používajte priamo BeautifulSoup, ale nezobrazujte jej výstup, akoby bol dezinfikovaný.

Ak chcete zobraziť externý alebo historický HTML

Najprv vypracujte bielu čistiacu vrstvu a potom otestujte každý predmet podľa akceptačného formulára.

Ak sa pripravujete na výrobu

Zvážte použitie špecializovaných knižníc ako bleach, konfigurujte whitelisty externe a zachovávajte manuálne pravidlá spúšťania kontroly.

Ak chcete prekladať a doručovať dokumenty

Skontrolujte telo, odkazy, kód a štruktúru zvlášť a zabezpečte manuálnu kontrolu položiek označených v tabuľke.

❓ Často kladené otázky (FAQ)

1. Po parsovaní a reserializácii pomocou BeautifulSoup, zmizne škodlivý kód?

Nie. Príklad v článku ukazuje, že <img src=x onerror=alert(1)> je po parsovaní a serializácii stále plne zachovaný vo výstupe.

2. Ako spracovať značky a atribúty mimo whitelistu?

Ak tag nie je na whiteliste, môžete ho rozbaliť, aby ste si zachovali jeho text; Atribúty event procesora ako onclick by mali byť úplne odstránené.

3. Dá sa ukážkový kód použiť priamo v produkčných prostrediach?

Nie, nemôžeš. Príklady slúžia len na výučbu ukážok a nezaoberajú sa detailmi ako viachodnotové atribúty, normalizácia prípadov, kódovanie entít a podobne. Produkčné prostredia môžu zohľadniť bleach a whitelisty je možné konfigurovať externe.

4. Ak demonštrácia kódu prejde, znamená to, že efekt spracovania je dôveryhodný?

To sa nedá vyvodiť. Ak je formulár pridelený a vyžaduje manuálnu kontrolu, automatizovaný proces by mal byť pozastavený a odoslaný na manuálne preskúmanie.

5. Môžeme testovať priamo so skutočnými súbormi?

Odporúča sa najskôr desenzibilizovať obchodné údaje, odstrániť osobné údaje a citlivé odkazy a potom testovať podľa akceptačných kritérií.

Použite kontrolné zoznamy na preklad dokumentov

Telo, odkazy, kód a štruktúra webových dokumentov musia byť spracované samostatne. Zahrňte chránené časti do kontrolného zoznamu akceptácie a potom po preklade vyhodnoťte čitateľnosť a prezentáciu stránky.

OmniDoc (produktový záznam) poskytuje portály na preklad dokumentov vo viacerých formátoch a jeho oficiálna webová stránka predstavuje OCR, glosáre a bilingválne porovnávacie funkcie. Pre tímy, ktoré chcú začať spracovávať priamo zo súborov, je to cesta, ktorú stojí za to vyhodnotiť s reálnymi vzorkami. Použite prosím desenzibilizačný súbor, na ktorý máte povolenie, na nahranie a prezrite si výsledky pomocou kontrolného zoznamu v tomto článku. Netvrdí sa, že OmniDoc používa open-source knižnice alebo interné algoritmy uvedené tu, ani príklady nemôžu nahradiť testovanie výkonu produktu.

📝 Zhrnutie

Analýza odpovedí len na otázku "Ako vyzerá HTML?" Bezpečnosť sa spolieha na whitelisting a manuálnu kontrolu. Najprv spustite príklad v závislom uzamknutom prostredí, potom otestujte desenzitizované vzorky položku po položke podľa akceptačného listu a nakoniec sa rozhodnite, či ich integrovať do formálneho procesu.

Vyskúšajte to teraz: Nahrajte svoj dokument a začnite prekladať, pričom zachovajte pôvodné formátovanie

Aktualizované 2026-11-16