Μετατροπή HTML σε απλό κείμενο, πώς να αποτρέψετε τη συγκόλληση δύο παραγράφων κειμένου

Αυτό το άρθρο στοχεύει στο πρόβλημα της προσκόλλησης κειμένου κατά τη μετατροπή HTML σε απλό κείμενο και εξηγεί λεπτομερώς τη συνδυασμένη χρήση των παραμέτρων διαχωρισμού και λωρίδας του get_text στο Beautiful Soup. Παρέχει συνθετικές περιπτώσεις δοκιμών DOM και πλήρεις κώδικες διεκδίκησης Python, συμπεριλαμβανομένων ορίων σε επίπεδο μπλοκ/ενσωμάτωσης, επεξεργασίας κενού χώρου, σαφείς μεθόδους προετοιμασίας εισόδου και κριτήρια αποδοχής και παρέχει συμπληρωματικές εισόδους στο OmniDoc σε σύνθετα σενάρια εγγράφων.

Κατά τη μετατροπή HTML σε απλό κείμενο, δύο παράγραφοι κειμένου κολλάνε μεταξύ τους, κυρίως επειδή το get_text() καλείται απευθείας χωρίς να προσδιορίζεται μια στρατηγική διαχωρισμού. Το Beautiful Soup συρράπτει όλους τους κόμβους κειμένου απρόσκοπτα από προεπιλογή και τα όρια μεταξύ των στοιχείων σε επίπεδο μπλοκ εξαφανίζονται. Αυτό το πρόβλημα είναι κοινό όταν χρησιμοποιείτε το Beautiful Soup για εξαγωγή περιεχομένου ιστού.

Αντί να χρησιμοποιείτε κανονικές εκφράσεις για να μαντέψετε πού να σπάσει μετά την εξαγωγή, μπορείτε να συνδυάσετε σωστά τις παραμέτρους separator και strip κατά την εξαγωγή. Αυτό το άρθρο χρησιμοποιεί συνθετικά δείγματα για την επίδειξη αυτής της μεθόδου, παρέχει εκτελούμενο κώδικα βεβαίωσης και εξηγεί ποιες καταστάσεις απαιτούν μη αυτόματο έλεγχο.

Αφού διαβάσετε αυτό το άρθρο, μπορείτε να προσδιορίσετε εάν τα αποτελέσματα εξαγωγής έχουν κολλήσει, να χρησιμοποιήσετε σενάρια διεκδίκησης για να επαληθεύσετε την έξοδο και να διευκρινίσετε ποια προβλήματα μπορούν να επιλυθούν με παραμέτρους και ποια πρέπει να αλλάξουν.

Τι πρέπει να κάνω εάν μετατρέψω την HTML σε απλό κείμενο; Μια φράση συμπέρασμα

Χρησιμοποιήστε πρώτα τον συνδυασμό separator='\n' και strip=True για να καλέσετε το get_text() και, στη συνέχεια, χειριστείτε άσχετες ετικέτες και δομικά ζητήματα ανάλογα με την κατάσταση της σελίδας.

την κατάστασή σαςΣυνιστώμενες πρακτικέςλόγος
Το κείμενο μεταξύ παραγράφων ή στοιχείων λίστας κολλάει μεταξύ τουςΡυθμίστε και τα δύο separator='\n' και strip=Trueο διαχωριστής είναι υπεύθυνος για το διαχωρισμό, η ταινία αφαιρεί τα μπροστινά και τα υστερούντα κενά
Έχει ρυθμιστεί μόνο διαχωριστικόΣυν strip=TrueΔιαφορετικά, οι ανούσιοι εσοχές θα διατηρηθούν
Έχει ρυθμιστεί μόνο η λωρίδαΠροσθέστε επίσης διαχωριστικόΟι σειρές μπορεί ακόμα να κολλάνε μεταξύ τους
Η σελίδα περιέχει άσχετες ετικέτες όπως σενάριοΑφαιρέστε αυτές τις ετικέτες πριν καλέσετεΟι παράμετροι του get_text επιλύουν μόνο τη μορφή, όχι τον καθαρισμό περιεχομένου.
Περιέχει πίνακα, καμβά ή σκιά DOMΑλλάξτε το σχέδιο συλλογής ή αποδεχτείτε τις πληροφορίες που λείπουνΑυτό το είδος περιεχομένου δεν μπορεί να λυθεί με την προσαρμογή των παραμέτρων

Παγίδες και σημασιολογία παραμέτρων της προεπιλεγμένης συμπεριφοράς

Γιατί κολλάει;

Η μέθοδος get_text() δέχεται δύο βασικές παραμέτρους: separator και strip. Εάν δεν μεταβιβαστούν παράμετροι, θα συνδέσει απευθείας όλους τους κόμβους κειμένου στο δέντρο ετικετών.

Αυτή η προεπιλεγμένη συμπεριφορά είναι πολύ προβληματική για στοιχεία σε επίπεδο μπλοκ όπως τα div, p και li. Οι αλλαγές γραμμής και οι εσοχές στον πηγαίο κώδικα HTML συχνά μετατρέπονται σε κενές συμβολοσειρές ή αγνοούνται μετά την ανάλυση και τα σημασιολογικά όρια εξαφανίζονται.

Τι κάνουν ο διαχωριστής και η ταινία;

  • διαχωριστής: Καθορίζει την εισαγωγή μεταξύ κόμβων κειμένου. Η ρύθμιση σε '\n' είναι κοινή πρακτική, αλλά όχι τέλεια. Εάν η HTML είναι βαθιά ένθετη, η καθολική αναδίπλωση μπορεί να οδηγήσει σε μεγάλο αριθμό κενών γραμμών.
  • λωρίδα: Ελέγχει εάν θα αφαιρεθεί το κενό διάστημα πριν και μετά από κάθε τμήμα κειμένου. Όταν το strip=True, το Beautiful Soup θα εκτελέσει πρώτα το .strip() σε κάθε ανεξάρτητο NavigableString και, στη συνέχεια, θα χρησιμοποιήσει διαχωριστικό για να τα συνδέσει.

Για παράδειγμα, το <p> Hello </p> θα λάβει καθαρό Hello αντί για \n Hello \n με βρώμικα δεδομένα εξόδου.

Και τα δύο πρέπει να χρησιμοποιούνται μαζί:

  • Η χρήση μόνο διαχωριστικού χωρίς λωρίδα θα διατηρήσει τα κενά χωρίς νόημα.
  • Με μόνο λωρίδα και χωρίς διαχωριστικό, μια μόνο γραμμή θα γίνει καθαρή, αλλά μπορεί να υπάρχει ακόμα πρόσφυση μεταξύ των γραμμών.

Για περισσότερες περιγραφές παραμέτρων, ανατρέξτε στο Επίσημη τεκμηρίωση Beautiful Soup: get_text().

Δοκιμές συνθετικών ορίων DOM

Για την επικύρωση της λογικής εξαγωγής, θα πρέπει να κατασκευαστούν δείγματα συνθετικής HTML που περιέχουν τυπικά προβλήματα ορίων αντί να βασίζονται σε ασταθείς πραγματικές ιστοσελίδες. Οι ακόλουθες περιπτώσεις δοκιμών καλύπτουν την πρόσφυση στοιχείων σε επίπεδο μπλοκ, την απόσταση μεταξύ των στοιχείων και τον υπερβολικό λευκό χώρο.

Δείγμα εισαγωγής (συνθετικό παράδειγμα):

<div>
    <p>第一段文字</p>
    <p>第二段文字<span>内联补充</span></p>
    <ul>
        <li> 列表项A </li>
        <li>列表项B</li>
    </ul>
</div>

Αναμενόμενη σωστή έξοδος:

第一段文字

第二段文字
内联补充

列表项A
列表项B

Θα πρέπει να σημειωθεί ότι το separator='\n' δρα στους κόμβους κειμένου που έχουν εξαχθεί και δεν θα δημιουργήσει αυτόματα διπλές αλλαγές γραμμής με βάση ετικέτες σε επίπεδο μπλοκ. Πρέπει να υπάρχουν σαφείς διακοπές γραμμής μεταξύ των παραγράφων και των στοιχείων της λίστας και τα επιπλέον κενά πριν και μετά τα στοιχεία λίστας πρέπει να αφαιρεθούν. Το "δεύτερο κείμενο" και το "Εσωτερικό συμπλήρωμα" βρίσκονται σε διαφορετικές ετικέτες και είναι κόμβοι κειμένου, επομένως θα χωρίζονται με οριοθέτες.

Σφάλματα και εισαγωγή ορίων

Εάν η είσοδος γίνει <p>End</p><script>alert(1)</script><p>Start</p> και η ετικέτα δέσμης ενεργειών δεν φιλτραριστεί, η έξοδος θα περιέχει alert(1). Αυτό ισχύει ακόμα κι αν έχει οριστεί διαχωριστικό. Το εάν οι κόμβοι σεναρίου περιλαμβάνονται στο κείμενο εξαρτάται από τον αναλυτή και τον τύπο του κόμβου.

Ο σωστός τρόπος για να το χειριστείτε αυτό είναι να χρησιμοποιήσετε το soup.find_all('script') για να αφαιρέσετε άσχετες ετικέτες πριν καλέσετε το get_text ή να παραλείψετε συγκεκριμένους τύπους ετικετών κατά τη διέλευση. Οι παράμετροι του get_text λύνουν μόνο το πρόβλημα της μορφής, όχι το πρόβλημα καθαρισμού περιεχομένου.

Εφαρμογή Python και έλεγχος ισχυρισμών

Ο παρακάτω κώδικας δημιουργεί το παραπάνω δείγμα στη μνήμη και εκτελεί ντετερμινιστική επαλήθευση. Το παράδειγμα εξαρτάται από το beautifulsoup4 και συνιστάται η έκδοση 4.9.0 και άνω.

Για να δοκιμάσετε εξωτερικά αρχεία, αποθηκεύστε πρώτα το HTML ως κωδικοποίηση UTF-8 και, στη συνέχεια, χρησιμοποιήστε το open('file.html', encoding='utf-8') για να το διαβάσετε για να αποφύγετε σφάλματα κωδικοποίησης που προκαλούν εξαιρέσεις ανάλυσης. Ο κώδικας δεν περιέχει αιτήματα δικτύου και είναι εντελώς αυτόνομος.

from bs4 import BeautifulSoup

# 合成示例:模拟常见的HTML文本边界问题
html_content = """
<div>
    <p>第一段文字</p>
    <p>第二段文字<span>内联补充</span></p>
    <ul>
        <li> 列表项A </li>
        <li>列表项B</li>
    </ul>
</div>
"""

soup = BeautifulSoup(html_content, 'html.parser')

# 关键配置:separator定义边界,strip清理碎片空白
text_result = soup.get_text(separator='\n', strip=True)

# 过滤空行以获得干净的语义行
lines = [line for line in text_result.split('\n') if line]

# 验收断言:确保边界清晰且无脏数据
assert lines[0] == '第一段文字', f"段落粘连或内容错误: {lines[0]}"
assert lines[1] == '第二段文字', "块级元素间未正确分隔"
assert lines[2] == '内联补充', "内联元素文本节点被错误合并"
assert lines[3] == '列表项A', f"列表项前置空格未清除: '{lines[3]}'"
assert lines[4] == '列表项B', "列表项间边界丢失"

print("提取结果预览:")
for i, line in enumerate(lines):
    print(f"{i}: [{line}]")

Η αναμενόμενη έξοδος αυτού του κώδικα είναι πέντε γραμμές καθαρού κειμένου. Εάν το περιβάλλον σας βγάζει περισσότερες κενές γραμμές, αυτό σημαίνει ότι υπάρχουν καθαροί κενοί κόμβοι NavigableString στο DOM που δεν έχουν αφαιρεθεί. Αυτή είναι η φυσιολογική συμπεριφορά του html.parser και μπορεί να φιλτραριστεί με κατανοήσεις λίστας μετά τη διαίρεση.

Αυτός ο κώδικας χρησιμοποιείται μόνο για την επίδειξη της αρχής του συνδυασμού παραμέτρων και δεν πρέπει να χρησιμοποιείται απευθείας σε σύνθετες σελίδες στο περιβάλλον παραγωγής.

📊 Βασική σύγκριση

σχέδιοΑποτέλεσμαπεριορισμούς
Χρησιμοποιήστε μόνο το separator='\n'Υπάρχουν διαλείμματα γραμμής μεταξύ των μπλοκΔιατηρήστε εσοχές, ένας μεγάλος αριθμός κενών γραμμών μπορεί να εμφανιστεί όταν η φωλιά είναι βαθιά
Χρησιμοποιήστε μόνο το strip=TrueΚαθαρή αρχή και τέλος κάθε παραγράφουΟι σειρές μπορεί ακόμα να κολλάνε μεταξύ τους
Χρησιμοποιήστε και τα δύο ταυτόχροναΛαμβάνοντας υπόψη τόσο τον διαχωρισμό όσο και την αφαίρεση του κενού χώρουΠρέπει να αφαιρεθούν άσχετες ετικέτες πριν από την εξαγωγή
Χρησιμοποιήστε κανονικές εκφράσεις για να μαντέψετε τη νέα γραμμή μετά την εξαγωγήΦαινομενικά ευέλικτοΔεν συνιστάται, πρέπει να δίνεται προτεραιότητα στον σωστό συνδυασμό παραμέτρων κατά την εξαγωγή

Κριτήρια αποδοχής και όρια χειροκίνητου ελέγχου

Η αυτοματοποιημένη εξαγωγή δεν μπορεί να επιτύχει 100% οπτική αποκατάσταση. Ο παρακάτω πίνακας παραθέτει τον τρόπο διάκρισης μεταξύ καταστάσεων "επισκευάσιμου κώδικα" και καταστάσεων "απαιτεί ανθρώπινη παρέμβαση". Η κρίση βασίζεται στη δομή του DOM και όχι στην υποκειμενική αίσθηση.

παρατηρώτι να κάνουμεδεν πρέπει να συναχθεί
Ενσωματωμένος διαχωρισμός κόμβωνΕλέγξτε αν η πρόταση είναι χωρισμένηΟ διαχωριστής δρα σε κόμβους κειμένου
Ισοπέδωση τραπεζιούΔιατηρήστε τη δομή της γραμμής και της στήλης για ξεχωριστή επεξεργασίαΔεν μπορείτε να βασιστείτε μόνο στο get_text
Σχεδιάστε δυναμικά περιεχόμενοΠροσδιορίστε τα κενά συλλογήςΗ στατική ανάλυση δεν είναι ίση με την απόδοση του προγράμματος περιήγησης

Ρητό πεδίο μη εφαρμογής: Το Beautiful Soup δεν μπορεί να λάβει έγκυρες πληροφορίες όταν το HTML περιέχει μεγάλο όγκο κειμένου που δημιουργείται από ψευδοστοιχεία CSS, περιεχόμενο που έχει αποδοθεί από καμβά ή Shadow DOM. Αυτή τη στιγμή, οι παράμετροι δεν θα πρέπει να συνεχίσουν να εντοπίζονται, αλλά θα πρέπει να αλλάξει το σχήμα απόκτησης ή θα πρέπει να γίνουν αποδεκτές οι πληροφορίες που λείπουν.

🎯 Ποια μέθοδος είναι κατάλληλη για εσάς;

αν……

Πρέπει να εξαγάγετε το απλό κείμενο των παραγράφων και των στοιχείων λίστας

Ρυθμίστε και τα δύο separator='\n' και strip=True και επαληθεύστε την έξοδο με ένα σενάριο διεκδίκησης.

Υπάρχουν πολλές ετικέτες σεναρίου ή στυλ στη σελίδα

Καταργήστε αυτές τις ετικέτες πριν καλέσετε το get_text και μην περιμένετε οι παράμετροι να επιλύσουν ζητήματα περιεχομένου.

Πρέπει να διατηρηθεί η δομή σειρών και στηλών του πίνακα

Μην βασίζεστε μόνο στο get_text, χειριστείτε τη δομή του πίνακα ξεχωριστά.

Η σελίδα βασίζεται στην απόδοση του προγράμματος περιήγησης ή στο Shadow DOM

Αλλάξτε το σχέδιο συλλογής ή καταγράψτε με σαφήνεια τα κενά συλλογής κατά την αποδοχή.

❓ Συχνές ερωτήσεις (FAQ)

1. Αρκεί να ρυθμίσετε απλώς το διαχωριστικό;

δεν είναι αρκετό. Η ρύθμιση μόνο του διαχωριστικού θα διατηρήσει τα κενά εσοχής χωρίς νόημα και απαιτεί την προσθήκη strip=True.

2. Γιατί υπάρχουν κενές γραμμές στην έξοδο;

Μπορεί να υπάρχουν απλοί κενοί κόμβοι NavigableString στο DOM που δεν έχουν αφαιρεθεί. Αυτή είναι η φυσιολογική συμπεριφορά του html.parser και μπορεί να φιλτραριστεί με κατανοήσεις λίστας μετά τη διαίρεση.

3. Γιατί εμφανίζεται η ετικέτα σεναρίου στα αποτελέσματα;

Οι παράμετροι του get_text λύνουν μόνο το πρόβλημα μορφής. Πρέπει να αφαιρεθεί με soup.find_all('script') πριν από την κλήση ή να παραλειφθεί κατά τη διέλευση.

4. Πώς να επαληθεύσετε εάν το αποτέλεσμα εξαγωγής είναι σωστό;

Κατασκευάστε ένα συνθετικό δοκιμαστικό σύνολο 5–10 τυπικών περιπτώσεων ακμών και εκτελέστε σενάρια διεκδίκησης. Εάν το ποσοστό επιτυχίας είναι χαμηλότερο από το αναμενόμενο, ελέγξτε εάν πρέπει να προεπεξεργαστείτε το DOM πριν το εξαγάγετε.

📝 Περίληψη

Ο πυρήνας του προβλήματος πρόσφυσης βρίσκεται στον συνδυασμό παραμέτρων κατά την εξαγωγή και όχι στην επισκευή της χορδής μετά την εξαγωγή. Πρώτα εκτελέστε τα συνθετικά δείγματα και τους ισχυρισμούς και, στη συνέχεια, αντιμετωπίστε άσχετες ετικέτες και δομικά ζητήματα στην πραγματική σελίδα.

Δοκιμάστε το τώρα: Ανεβάστε το έγγραφο για να ξεκινήσει η μετάφραση, διατηρώντας την αρχική διάταξη

Ενημερώθηκε 2026-11-17