Essere in grado di analizzare l'HTML non significa essere in grado di visualizzare l'HTML in modo sicuro

BeautifulSoup analizza correttamente, ma ciò non significa che l'HTML sia sicuro. Per gli sviluppatori e i team di documentazione che necessitano di elaborare HTML esterno, questo articolo spiega perché parser e purificatori dovrebbero essere esaminati separatamente e fornisce una serie di idee per la pulizia della whitelist, casi di test e criteri di revisione manuale.

Gli esempi in questo articolo sono campioni sintetici e vengono utilizzati solo per dimostrare i metodi di elaborazione. Il codice è stato controllato a campione in un ambiente isolato, ma ciò non significa che sia garantito il funzionamento con tutti i file o prodotti reali. Prima di elaborare documenti importanti, conservare gli originali e poi rivederli uno per uno secondo i limiti e gli elementi di accettazione nel documento.

Conclusione in una frase: dopo l'analisi, la pulizia deve essere eseguita separatamente

Gli attributi pericolosi come <img src=x onerror=alert(1)> rimangono intatti nell'output dopo che BeautifulSoup li ha analizzati. La pulizia deve essere un ulteriore livello di logica aziendale sovrapposto dopo l'analisi.

Disallineamento tra capacità analitiche e responsabilità in materia di sicurezza

BeautifulSoup Documentazione ufficiale la definisce come una "libreria per l'estrazione di dati da file HTML e XML" con particolare attenzione alla navigazione, alla ricerca e alla modifica delle strutture ad albero. È quindi neutrale riguardo alla sicurezza semantica del contenuto. Quando viene inserito <a href="javascript:void(0)">Click</a>, BS4 creerà correttamente un oggetto Tag con l'attributo href, ma non determinerà se il protocollo è consentito.

Nell'elaborazione dei documenti, questa neutralità presenta vantaggi e svantaggi. Il vantaggio è che può gestire una varietà di indicatori storici irregolari. Il rischio è che se gli sviluppatori presumono che "BS4 elaborato" sia uguale a "sanificato", l'HTML non convalidato potrebbe arrivare direttamente nell'interfaccia di anteprima o nel prodotto finale della traduzione.

La vera pulizia della sicurezza richiede un'esplicita strategia di whitelist: conservare solo i nomi di tag e attributi sicuri noti, verificare il formato dei valori degli attributi ed eliminare il resto. Questa non è una caratteristica incorporata di BS4, ma piuttosto una logica che gli utenti stessi devono sovrapporre.

Ingresso limite nell'esempio di sintesi

Per illustrare la necessità della pulizia, di seguito viene utilizzata una serie di campioni sintetici per coprire i vettori di attacco tipici e i contenuti legittimi. Questi input servono solo per condizioni al contorno dimostrative e non sono statistiche sul traffico reale né rappresentano soglie standard del settore. Per testare documenti reali, desensibilizza innanzitutto i dati aziendali per rimuovere informazioni personali e collegamenti sensibili.

Inserisci correttamente

<p>See <a href="https://example.com/doc">reference</a>.</p>

L'output previsto dovrebbe lasciare intatti paragrafi e collegamenti, poiché p e a sono inseriti nella whitelist e href utilizza il protocollo HTTPS.

Ingresso limite 1: gestore eventi

<div onclick="steal()">Safe text</div>

Anche se il testo è innocuo, onclick è un attributo del gestore eventi e deve essere rimosso completamente, lasciando solo <div>Safe text</div>. Se div non è nella whitelist dei tag, l'intero tag deve essere sostituito con contenuto di testo semplice.

Ingresso limite 2: dati: protocollo

<a href="data:text/html,<script>alert(1)</script>">Link</a>

Gli URI data: possono trasportare contenuto eseguibile. Anche se il tag stesso è legale, href dovrebbe essere oscurato o cancellato. Il pulitore non può solo verificare che il prefisso del protocollo sia http, ma anche verificare che il contenuto decodificato costituisca un contesto di esecuzione nidificato.

Questi casi illustrano che il giudizio sulla sicurezza avviene nella fase di revisione a livello di attributo dopo l'analisi. BS4 è responsabile di trasformare le stringhe in oggetti attraversabili e la logica di pulizia è responsabile di decidere quali oggetti possono essere conservati.

Implementazione della pulizia della memoria basata su whitelist

Il seguente esempio Python mostra come eseguire questa operazione in memoria. Questo codice è solo a scopo dimostrativo didattico. Non gestisce dettagli come attributi multivalore, normalizzazione dei casi, codifica delle entità, ecc. È severamente vietato l'uso diretto nell'ambiente di produzione. Dipende da beautifulsoup4, che deve essere installato da soli e si consiglia di bloccare la versione. Il codice non effettua richieste di rete, né legge o scrive nel file system. Le asserzioni esprimono solo il comportamento previsto e i risultati effettivi dipendono dall'ambiente e dalle versioni delle dipendenze.

# 教学示例：演示BS4配合白名单清洗原理，非生产级实现
from bs4 import BeautifulSoup, Comment
import re

ALLOWED_TAGS = {'p', 'a', 'b', 'i', 'ul', 'li'}
ALLOWED_ATTRS = {'href'}
SAFE_URL_PATTERN = re.compile(r'^https?://', re.IGNORECASE)

def sanitize_html(raw: str) -> str:
    soup = BeautifulSoup(raw, 'html.parser')
    # 移除注释
    for comment in soup.find_all(string=lambda t: isinstance(t, Comment)):
        comment.extract()
    # 遍历所有标签
    for tag in soup.find_all(True):
        if tag.name not in ALLOWED_TAGS:
            tag.unwrap()  # 保留子节点，移除标签本身
            continue
        # 清理属性
        attrs_to_remove = [k for k in tag.attrs if k not in ALLOWED_ATTRS]
        for attr in attrs_to_remove:
            del tag[attr]
        # 校验剩余安全属性值
        if 'href' in tag.attrs:
            href = tag['href']
            if not isinstance(href, str) or not SAFE_URL_PATTERN.match(href.strip()):
                del tag['href']
    return str(soup)

# 合成测试用例（仅用于理解原理）
safe = '<p>Hello <a href="https://ok.com">link</a></p>'
unsafe_event = '<p onclick="x()">text</p>'
unsafe_uri = '<a href="javascript:alert(1)">bad</a>'

assert sanitize_html(safe) == '<p>Hello <a href="https://ok.com">link</a></p>'
assert 'onclick' not in sanitize_html(unsafe_event)
assert 'href' not in sanitize_html(unsafe_uri)

Gli ambienti di produzione possono prendere in considerazione l'utilizzo di una libreria di sanificazione dedicata (come bleach) e mantenere la configurazione della whitelist al di fuori del codice. La chiave è: la logica di pulizia dovrebbe dichiarare esplicitamente "ciò che è consentito" invece di cercare di enumerare "ciò che è proibito".

Criteri di accettazione e punti di attivazione della revisione manuale

Le asserzioni nel codice possono solo verificare se le regole preimpostate vengono eseguite e non possono coprire tutte le eccezioni della vita reale. La tabella seguente elenca le situazioni comuni nell'elaborazione effettiva dei documenti, nonché i confini tra l'elaborazione automatica e l'intervento manuale.

"La dimostrazione del codice è stata approvata" non significa che "l'effetto end-to-end è credibile". Per gli elementi contrassegnati con "Sì" nella tabella, il processo automatizzato deve essere sospeso e sottoposto a revisione manuale. Negli scenari di consegna della traduzione, una pulizia eccessiva può portare a riferimenti al glossario non funzionanti o convenzioni di formattazione non valide.

📊 Confronto fondamentale

🎯Quale metodo è adatto a te?

Se hai solo bisogno di estrarre i dati

Utilizza semplicemente BeautifulSoup direttamente, ma non visualizzare il suo output come contenuto ripulito.

Se stai visualizzando HTML esterno o legacy

Stabilire innanzitutto un livello di pulizia della lista bianca, quindi testarlo articolo per articolo in base al modulo di accettazione.

Se sei pronto per andare online per la produzione

Prendi in considerazione l'utilizzo di una libreria dedicata come bleach per esternalizzare la configurazione della whitelist e mantenere le regole di attivazione della revisione manuale.

Se desideri tradurre e consegnare documenti

Controlla testo, collegamenti, codice e struttura separatamente e pianifica revisioni manuali per gli elementi contrassegnati nella tabella.

❓ Domande frequenti (FAQ)

1. Il codice dannoso scomparirà dopo l'analisi e la riserializzazione con BeautifulSoup?

Non. L'esempio in questo articolo mostra che <img src=x onerror=alert(1)> rimane intatto nell'output dopo l'analisi e la serializzazione.

2. Come gestire tag e attributi esterni alla whitelist?

Quando un'etichetta non è nella whitelist, il suo testo può essere scartato per preservarlo; Gli attributi del gestore eventi come onclick dovrebbero essere rimossi completamente.

3. Il codice di esempio può essere utilizzato direttamente in un ambiente di produzione?

Non posso. L'esempio è solo a scopo dimostrativo e non gestisce dettagli come attributi multivalore, normalizzazione delle maiuscole e minuscole e codifica delle entità. L'ambiente di produzione può considerare bleach e configurare la whitelist esternamente.

4. Se la dimostrazione del codice viene superata, significa che l'effetto dell'elaborazione è credibile?

Ciò non può essere dedotto. Se il modulo è contrassegnato come richiedente una revisione manuale, il processo automatizzato deve essere sospeso e sottoposto a revisione manuale.

5. È possibile testarlo direttamente con file reali?

Si consiglia di desensibilizzare prima i dati aziendali, rimuovere le informazioni personali e i collegamenti sensibili, quindi testare in base agli elementi di accettazione.

Utilizza le liste di controllo per la traduzione dei documenti

Il testo, i collegamenti, il codice e la struttura dei documenti web devono essere trattati separatamente. Aggiungi le parti protette all'elenco di accettazione, quindi valuta la leggibilità e la presentazione della pagina dopo la traduzione.

OmniDoc (portale del prodotto) fornisce un portale di traduzione di documenti multiformato e il sito Web ufficiale introduce funzioni OCR, glossario e confronto bilingue. Per i team che desiderano lavorare direttamente dai file, questo è un percorso che vale la pena valutare con campioni reali. Utilizza file non sensibilizzati che sei autorizzato a caricare e utilizza gli elementi di controllo in questo articolo per esaminare i risultati. Non si afferma qui che OmniDoc utilizzi le librerie open source o gli algoritmi interni menzionati in questo articolo e gli esempi non sostituiscono i test sulle prestazioni del prodotto.

📝 Riepilogo

L'analisi risponde solo "che aspetto ha l'HTML" e la sicurezza si basa sulla whitelist e sulla revisione manuale. Per prima cosa esegui l'esempio in un ambiente di dipendenza bloccato, quindi utilizza campioni desensibilizzati per testare ciascun elemento in base al modulo di accettazione e quindi decidi se partecipare al processo formale.

Provalo subito: carica il documento per iniziare la traduzione, mantenendo il layout originale