Το να μπορείς να αναλύεις HTML δεν σημαίνει ότι μπορείς να εμφανίζεις HTML με ασφάλεια

Αυτό το άρθρο διευκρινίζει ότι το BeautifulSoup τοποθετείται μόνο ως αναλυτής και όχι ως εργαλείο καθαρισμού ασφαλείας και δείχνει πώς μπορείτε να αφαιρέσετε συμβάντα σεναρίου και επικίνδυνες διευθύνσεις URL μέσω μιας στρατηγικής στη λίστα επιτρεπόμενων. Παρέχει κώδικα εκμάθησης καθαρισμού μνήμης με δυνατότητα εκτέλεσης, περιπτώσεις δοκιμής ορίων και κριτήρια ενεργοποίησης μη αυτόματης αναθεώρησης και εξηγεί τον σωστό τρόπο ενσωμάτωσης του OmniDoc στη ροή εργασιών μετάφρασης εγγράφων για την αξιολόγηση των δυνατοτήτων επεξεργασίας μικτού περιεχομένου.

Το BeautifulSoup αναλύει με επιτυχία, αλλά αυτό δεν σημαίνει ότι το HTML είναι ασφαλές. Για προγραμματιστές και ομάδες τεκμηρίωσης που χρειάζεται να επεξεργαστούν εξωτερικό HTML, αυτό το άρθρο εξηγεί γιατί οι αναλυτές και οι καθαριστές πρέπει να εξετάζονται χωριστά και παρέχει ένα σύνολο ιδεών καθαρισμού της λίστας επιτρεπόμενων, υποθέσεων δοκιμής και κριτηρίων μη αυτόματης αναθεώρησης.

Τα παραδείγματα σε αυτό το άρθρο είναι συνθετικά δείγματα και χρησιμοποιούνται μόνο για την επίδειξη μεθόδων επεξεργασίας. Ο κωδικός έχει ελεγχθεί δειγματοληπτικά σε απομονωμένο περιβάλλον, αλλά αυτό δεν σημαίνει ότι είναι εγγυημένο ότι λειτουργεί με όλα τα πραγματικά αρχεία ή προϊόντα. Πριν επεξεργαστείτε σημαντικά έγγραφα, διατηρήστε τα πρωτότυπα και, στη συνέχεια, ελέγξτε τα ένα προς ένα σύμφωνα με τα όρια και τα στοιχεία αποδοχής στο έγγραφο.

Συμπέρασμα με μία πρόταση: Μετά την ανάλυση, ο καθαρισμός πρέπει να γίνει χωριστά

Επικίνδυνα χαρακτηριστικά όπως το <img src=x onerror=alert(1)> παραμένουν άθικτα στην έξοδο αφού τα αναλύσει το BeautifulSoup. Ο καθαρισμός πρέπει να είναι ένα πρόσθετο επίπεδο επιχειρηματικής λογικής που υπερτίθεται μετά την ανάλυση.

την κατάστασή σαςΣυνιστώμενες πρακτικέςλόγος
Απλώς εξάγετε ή τροποποιήστε δεδομένα από HTMLΧρήση του BeautifulSoup για ανάλυση και διέλευσηΤο BS4 έχει σχεδιαστεί για να εξάγει και να τροποποιεί δομές δέντρων
Για ενσωμάτωση εξωτερικού HTML σε εσωτερικά συστήματα ή μετάφραση παραδοτέωνΠροσθέστε ένα στρώμα καθαρισμού στη λίστα επιτρεπόμενων μετά την ανάλυσηΤο BS4 δεν καθορίζει εάν οι ετικέτες και τα χαρακτηριστικά είναι ασφαλή
Αντιμετώπιση ιδιοτήτων όπως onclick, javascript: ή data:Καταργήστε τα χαρακτηριστικά ή αφήστε το href κενόΑυτές οι ιδιότητες ενδέχεται να φέρουν εκτελέσιμο περιεχόμενο
Έτοιμο για παραγωγήΧρησιμοποιήστε μια αποκλειστική βιβλιοθήκη απολύμανσης (όπως το bleach) και εξωτερικεύστε τη λίστα επιτρεπόμενωνΤο δείγμα κώδικα δεν καλύπτει λεπτομέρειες όπως χαρακτηριστικά πολλαπλών τιμών, κανονικοποίηση περίπτωσης, κωδικοποίηση οντοτήτων κ.λπ.
Τα αποτελέσματα καθαρισμού είναι μη φυσιολογικά ή το κείμενο μειώνεται ξαφνικά.Μεταβείτε σε μη αυτόματο έλεγχοΟι αυτοματοποιημένοι κανόνες δεν μπορούν να καλύπτουν όλες τις πραγματικές καταστάσεις

Κακή ευθυγράμμιση μεταξύ αναλυτικών δυνατοτήτων και ευθυνών ασφαλείας

Το BeautifulSoup Επίσημη τεκμηρίωση το ορίζει ως μια "βιβλιοθήκη για την εξαγωγή δεδομένων από αρχεία HTML και XML" με έμφαση στην πλοήγηση, την αναζήτηση και την τροποποίηση δομών δέντρων. Είναι επομένως ουδέτερο ως προς τη σημασιολογική ασφάλεια του περιεχομένου. Όταν εισαχθεί το <a href="javascript:void(0)">Click</a>, το BS4 θα δημιουργήσει σωστά ένα αντικείμενο Tag με το χαρακτηριστικό href, αλλά δεν θα καθορίσει εάν το πρωτόκολλο επιτρέπεται.

Στην επεξεργασία εγγράφων, αυτή η ουδετερότητα έχει πλεονεκτήματα και μειονεκτήματα. Το πλεονέκτημα είναι ότι μπορεί να χειριστεί μια ποικιλία από ακανόνιστους ιστορικούς δείκτες. Ο κίνδυνος είναι ότι εάν οι προγραμματιστές υποθέσουν ότι το "BS4 επεξεργασμένο" ισούται με "απολυμένο", το μη επικυρωμένο HTML θα μπορούσε να το μεταφέρει απευθείας στη διεπαφή προεπισκόπησης ή στο παραδοτέο μετάφρασης.

Ο πραγματικός καθαρισμός ασφαλείας απαιτεί μια ρητή στρατηγική λίστας λευκών: διατηρείτε μόνο γνωστά ονόματα ασφαλών ετικετών και ονόματα χαρακτηριστικών και επαληθεύστε τη μορφή των τιμών των χαρακτηριστικών και αφαιρέστε τα υπόλοιπα. Αυτό δεν είναι ένα ενσωματωμένο χαρακτηριστικό του BS4, αλλά μάλλον μια λογική που οι χρήστες πρέπει να επικαλύπτουν τον εαυτό τους.

Εισαγωγή ορίων στο παράδειγμα σύνθεσης

Για να καταδειχθεί η αναγκαιότητα του καθαρισμού, ένα σύνολο συνθετικών δειγμάτων χρησιμοποιείται παρακάτω για την κάλυψη τυπικών φορέων επίθεσης και νόμιμου περιεχομένου. Αυτές οι είσοδοι προορίζονται μόνο για οριακές συνθήκες επίδειξης και δεν είναι πραγματικές στατιστικές επισκεψιμότητας ούτε αντιπροσωπεύουν τυπικά κατώφλια του κλάδου. Για να δοκιμάσετε πραγματικά έγγραφα, πρώτα απευαισθητοποιήστε τα δεδομένα της επιχείρησής σας για να αφαιρέσετε προσωπικές πληροφορίες και ευαίσθητους συνδέσμους.

Εισαγάγετε σωστά

<p>See <a href="https://example.com/doc">reference</a>.</p>

Η αναμενόμενη έξοδος θα πρέπει να αφήνει ανέπαφες τις παραγράφους και τους συνδέσμους, καθώς τα p και a βρίσκονται στη λίστα επιτρεπόμενων και το href χρησιμοποιεί το πρωτόκολλο HTTPS.

Είσοδος ορίου 1: Χειριστής συμβάντων

<div onclick="steal()">Safe text</div>

Ακόμα κι αν το κείμενο είναι αβλαβές, το onclick είναι χαρακτηριστικό χειριστή συμβάντων και πρέπει να αφαιρεθεί εντελώς, αφήνοντας μόνο το <div>Safe text</div>. Εάν το div δεν βρίσκεται στη λευκή λίστα ετικετών, ολόκληρη η ετικέτα θα πρέπει να αντικατασταθεί με απλό κείμενο.

Οριακή είσοδος 2: δεδομένα: πρωτόκολλο

<a href="data:text/html,<script>alert(1)</script>">Link</a>

Το data: URI μπορεί να μεταφέρει εκτελέσιμο περιεχόμενο. Ακόμα κι αν η ίδια η ετικέτα είναι έγκυρη, η href θα πρέπει να μείνει κενή ή να διαγραφεί. Ο καθαριστής δεν μπορεί μόνο να ελέγξει εάν το πρόθεμα πρωτοκόλλου είναι http, αλλά και να επαληθεύσει εάν το αποκωδικοποιημένο περιεχόμενο αποτελεί ένθετο πλαίσιο εκτέλεσης.

Αυτές οι υποθέσεις δείχνουν ότι οι κρίσεις ασφαλείας συμβαίνουν κατά τη φάση αξιολόγησης σε επίπεδο χαρακτηριστικού μετά την επίλυση. Το BS4 είναι υπεύθυνο για τη μετατροπή συμβολοσειρών σε αντικείμενα που μπορούν να διαπεραστούν, ενώ η λογική καθαρισμού αποφασίζει ποια αντικείμενα μπορούν να διατηρηθούν.

Υλοποίηση καθαρισμού μνήμης βασισμένη σε whitelist

Το ακόλουθο παράδειγμα Python δείχνει πώς να ολοκληρώσετε αυτή τη διαδικασία στη μνήμη. Αυτός ο κώδικας προορίζεται μόνο για επίδειξη διδασκαλίας και δεν αφορά χαρακτηριστικά πολλαπλών τιμών, κανονικοποίηση πεζών-κεφαλαίων, κωδικοποίηση οντοτήτων ή άλλες λεπτομέρειες. Απαγορεύεται αυστηρά η άμεση χρήση σε περιβάλλοντα παραγωγής. Εξαρτάται από το beautifulsoup4, επομένως πρέπει να το εγκαταστήσετε μόνοι σας και συνιστάται να κλειδώσετε την έκδοση. Ο κώδικας δεν εκκινεί αιτήματα δικτύου, ούτε διαβάζει ή γράφει στο σύστημα αρχείων. Αυτοί οι ισχυρισμοί εκφράζουν μόνο την αναμενόμενη συμπεριφορά. Τα πραγματικά αποτελέσματα εξαρτώνται από το περιβάλλον και τις εξαρτήσεις σας.

# 教学示例:演示BS4配合白名单清洗原理,非生产级实现
from bs4 import BeautifulSoup, Comment
import re

ALLOWED_TAGS = {'p', 'a', 'b', 'i', 'ul', 'li'}
ALLOWED_ATTRS = {'href'}
SAFE_URL_PATTERN = re.compile(r'^https?://', re.IGNORECASE)

def sanitize_html(raw: str) -> str:
    soup = BeautifulSoup(raw, 'html.parser')
    # 移除注释
    for comment in soup.find_all(string=lambda t: isinstance(t, Comment)):
        comment.extract()
    # 遍历所有标签
    for tag in soup.find_all(True):
        if tag.name not in ALLOWED_TAGS:
            tag.unwrap()  # 保留子节点,移除标签本身
            continue
        # 清理属性
        attrs_to_remove = [k for k in tag.attrs if k not in ALLOWED_ATTRS]
        for attr in attrs_to_remove:
            del tag[attr]
        # 校验剩余安全属性值
        if 'href' in tag.attrs:
            href = tag['href']
            if not isinstance(href, str) or not SAFE_URL_PATTERN.match(href.strip()):
                del tag['href']
    return str(soup)

# 合成测试用例(仅用于理解原理)
safe = '<p>Hello <a href="https://ok.com">link</a></p>'
unsafe_event = '<p onclick="x()">text</p>'
unsafe_uri = '<a href="javascript:alert(1)">bad</a>'

assert sanitize_html(safe) == '<p>Hello <a href="https://ok.com">link</a></p>'
assert 'onclick' not in sanitize_html(unsafe_event)
assert 'href' not in sanitize_html(unsafe_uri)

Σε περιβάλλοντα παραγωγής, μπορείτε να εξετάσετε το ενδεχόμενο να χρησιμοποιήσετε αποκλειστικές βιβλιοθήκες εκκαθάρισης (όπως το bleach) και να τοποθετήσετε διαμορφώσεις λίστας επιτρεπόμενων εκτός κώδικα. Το κλειδί είναι: η λογική καθαρισμού θα πρέπει να δηλώνει ρητά «τι επιτρέπεται», αντί να προσπαθεί να απαριθμήσει «τι απαγορεύεται».

Κριτήρια αποδοχής και σημεία ενεργοποίησης για μη αυτόματο έλεγχο

Οι ισχυρισμοί στον κώδικα μπορούν να επαληθεύσουν μόνο εάν εκτελούνται προκαθορισμένοι κανόνες και δεν μπορούν να καλύψουν όλες τις ανωμαλίες του πραγματικού κόσμου. Ο παρακάτω πίνακας παραθέτει κοινές καταστάσεις στην πραγματική επεξεργασία εγγράφων, καθώς και τα όρια μεταξύ αυτοματοποιημένης επεξεργασίας και ανθρώπινης παρέμβασης.

Παρατηρήστε το φαινόμενοΑυτόματη επεξεργασία αποφάσεωνΕάν απαιτείται μη αυτόματος έλεγχοςΣημείωση
Τα ονόματα των ετικετών δεν βρίσκονται στη λίστα επιτρεπόμενων αλλά περιέχουν σημαντικό κείμενοΗ αναδίπλωση διατηρεί το κείμενοΌχιΒεβαιωθείτε ότι η σημασιολογία δεν χάνεται
Το href είναι μια σχετική διαδρομή ή mailto:Αφαίρεση ιδιότητας hrefΝαιΜπορεί να είναι έγκυρος επιχειρηματικός σύνδεσμος και απαιτεί χειροκίνητη επιβεβαίωση
Οι τιμές ιδιοτήτων περιέχουν το JS κωδικοποιημένο σε οντότητες HTMLΑπόρριψη με αντιστοίχιση συμβολοσειράςΝαιΕίναι απαραίτητο να επιβεβαιωθεί εάν επρόκειτο για ανθρωποκτονία από αμέλεια
Η εμφωλευμένη ιεραρχία είναι πολύ βαθιά προκαλεί χρονικό όριο επίλυσηςΑποκοπή ή παράλειψη του κλιπΝαιΑποτρέπει το DoS, αλλά μπορεί να χάσει περιεχόμενο
Το μήκος του κειμένου μειώθηκε απότομα κατά >30% μετά τον καθαρισμόΕπισήμανση ως ύποπτουΝαιΜπορεί να αφαιρέσει υπερβολικά δομημένες πληροφορίες

Το «code demo πέρασε» δεν σημαίνει «αξιοπιστία από άκρο σε άκρο». Για τα στοιχεία που σημειώνονται ως «Ναι» στον πίνακα, η διαδικασία αυτοματοποίησης θα πρέπει να διακοπεί προσωρινά και να παραδοθεί σε χειροκίνητη αναθεώρηση. Σε σενάρια παράδοσης μετάφρασης, η υπερβολική καθαριότητα μπορεί να προκαλέσει διακοπές στην παραπομπή του γλωσσαρίου ή μη έγκυρες συμβάσεις μορφοποίησης.

📊 Σύγκριση πυρήνων

ΜέθοδοςΤί μπορεί να γίνει?Δεν μπορεί να αντικαταστήσει τίποτα
BeautifulSoup parsingΜετατρέψτε την HTML σε μια διαπερατή και τροποποιήσιμη δομή δέντρουΗ κρίση ασφαλείας, τα χαρακτηριστικά και τα πρωτόκολλα θα διατηρηθούν ως έχουν
Στρώμα καθαρισμού λίστας επιτρεπόμενωνΔηλώστε ρητά επιτρεπτές ετικέτες και χαρακτηριστικά, αφαιρώντας τα υπόλοιπαΑπαιτείται χειροκίνητη επαλήθευση και η κατάσταση στα σύνορα πρέπει ακόμα να επιβεβαιωθεί
Ειδικοί θάλαμοι καθαρισμού (όπως bleach)Αναλαμβάνει καθαρισμό ποιότητας παραγωγής και υποστηρίζει εξωτερική διαμόρφωσηΤαξινόμηση και αποδοχή της δικής σας λίστας επιτρεπόμενων επιχειρήσεων

🎯 Ποια μέθοδος σας ταιριάζει;

Αν χρειάζεσαι μόνο να εξάγεις δεδομένα

Απλώς χρησιμοποίησε απευθείας το BeautifulSoup, αλλά μην εμφανίζεις την έξοδό σου σαν να έχει απολυμανθεί.

Εάν θέλετε να εμφανίσετε εξωτερικό ή ιστορικό HTML παλαιού τύπου

Πρώτα, καθιερώστε ένα επίπεδο καθαρισμού στη λίστα επιτρεπόμενων και στη συνέχεια δοκιμάστε κάθε αντικείμενο σύμφωνα με τη φόρμα αποδοχής.

Εάν ετοιμάζεστε να μπείτε στην παραγωγή

Εξετάστε το ενδεχόμενο να χρησιμοποιήσετε εξειδικευμένες βιβλιοθήκες όπως η bleach, να διαμορφώσετε εξωτερικά τις λίστες επιτρεπόμενων και να διατηρήσετε τους κανόνες ενεργοποίησης μη αυτόματης αναθεώρησης.

Εάν θέλετε να κάνετε μετάφραση και παράδοση εγγράφων

Ελέγξτε ξεχωριστά το σώμα, τους συνδέσμους, τον κώδικα και τη δομή, και οργανώστε χειροκίνητη ανασκόπηση για τα στοιχεία που σημειώνονται στον πίνακα.

❓ Συχνές Ερωτήσεις (FAQ)

1. Μετά την ανάλυση και επανασειριοποίηση με το BeautifulSoup, εξαφανίζεται ο κακόβουλος κώδικας;

Όχι. Το παράδειγμα στην εργασία δείχνει ότι το <img src=x onerror=alert(1)> εξακολουθεί να διατηρείται πλήρως στην έξοδο μετά την ανάλυση και τη σειριοποίηση.

2. Πώς να χειριστείτε ετικέτες και χαρακτηριστικά εκτός της λίστας επιτρεπόμενων;

Αν μια ετικέτα δεν βρίσκεται στη λευκή λίστα, μπορείτε να την αποδιπλώσετε για να διατηρήσετε το κείμενό της· Τα χαρακτηριστικά χειριστών συμβάντων όπως το onclick θα πρέπει να αφαιρεθούν εντελώς.

3. Μπορεί ο δείγμα κώδικα να χρησιμοποιηθεί απευθείας σε περιβάλλοντα παραγωγής;

Όχι. Τα παραδείγματα χρησιμοποιούνται μόνο για τη διδασκαλία επιδείξεων και δεν καλύπτουν λεπτομέρειες όπως χαρακτηριστικά πολλαπλών τιμών, κανονικοποίηση περιπτώσεων, κωδικοποίηση οντοτήτων κ.ά. Για περιβάλλοντα παραγωγής, εξετάστε το bleach και διαμορφώστε τη λευκή λίστα εξωτερικά.

4. Αν η επίδειξη κώδικα περάσει, σημαίνει αυτό ότι το εφέ επεξεργασίας είναι αξιόπιστο;

Δεν μπορείς να το συμπεράνεις έτσι. Εάν η φόρμα απονεμηθεί και απαιτεί μη αυτόματο έλεγχο, η αυτοματοποιημένη διαδικασία θα πρέπει να ανασταλεί και θα επιτρέπεται ο μη αυτόματος έλεγχος.

5. Μπορεί να δοκιμαστεί απευθείας με πραγματικά αρχεία;

Συνιστάται πρώτα να ελέγξετε τα επιχειρηματικά δεδομένα, να αφαιρέσετε τα προσωπικά δεδομένα και τους ευαίσθητους συνδέσμους και στη συνέχεια να κάνετε δοκιμές σύμφωνα με τα αποδεκτά.

Χρησιμοποιήστε τη λίστα ελέγχου για μετάφραση εγγράφων

Το κύριο κείμενο, οι σύνδεσμοι, ο κώδικας και η δομή των ιστοσελίδων θα πρέπει να αντιμετωπίζονται ξεχωριστά. Συμπεριλάβετε προστατευμένες ενότητες στη λίστα ελέγχου αποδοχής και, στη συνέχεια, αξιολογήστε την αναγνωσιμότητα και την εμφάνιση της σελίδας μετά τη μετάφραση.

Το OmniDoc (Πύλη Προϊόντων) παρέχει πύλες μετάφρασης εγγράφων πολλαπλών μορφών, και η επίσημη ιστοσελίδα του εισάγει λειτουργίες OCR, γλωσσάρια και δίγλωσσες συγκρίσεις. Για τις ομάδες που θέλουν να ξεκινήσουν την επεξεργασία απευθείας από τα αρχεία, αυτή είναι μια διαδρομή που αξίζει να αξιολογηθεί με πραγματικά δείγματα. Παρακαλούμε χρησιμοποιήστε το αρχείο απευαισθητοποίησης για το οποίο έχετε άδεια να ανεβάσετε και εξετάστε τα αποτελέσματα με τη λίστα ελέγχου σε αυτό το άρθρο. Δεν υποστηρίζεται ότι το OmniDoc χρησιμοποιεί τις βιβλιοθήκες ανοιχτού κώδικα ή τους εσωτερικούς αλγορίθμους που αναφέρονται εδώ, ούτε τα παραδείγματα μπορούν να αντικαταστήσουν τις δοκιμές απόδοσης προϊόντων.

📝 Περίληψη

Η ανάλυση απαντά μόνο "Πώς μοιάζει η HTML;". Η ασφάλεια εξαρτάται από τη λίστα επιτρεπόμενων και τη μη αυτόματη επαλήθευση. Αρχικά, εκτελέστε παραδείγματα σε ένα περιβάλλον κλειδωμένης εξάρτησης, στη συνέχεια δοκιμάστε κάθε στοιχείο με απευαισθητοποιημένα δείγματα σύμφωνα με το φύλλο αποδοχής και, τέλος, αποφασίστε εάν θα ενσωματωθείτε στην επίσημη διαδικασία.

Δοκιμάστε το τώρα: Ανεβάστε το έγγραφό σας για να ξεκινήσετε τη μετάφραση, διατηρώντας την αρχική μορφοποίηση

Ενημερώθηκε 2026-11-16