Η ίδια γραμμή κειμένου χωρίζεται σε περισσότερα από δέκα διαστήματα από το PyMuPDF; Αυτό καθορίζει εάν θα πρέπει να συγχωνευθεί
Το PyMuPDF χωρίζει την ίδια γραμμή λέξεων σε περισσότερες από δώδεκα εκτάσεις. Τις περισσότερες φορές, η γραμματοσειρά, το μέγεθος γραμματοσειράς ή το στυλ έχουν αλλάξει, όχι απαραίτητα τμηματοποίηση. Αυτό το άρθρο εξηγεί πώς μπορείτε να διακρίνετε τις αλλαγές στυλ και τα όρια παραγράφων και δίνει παραδείγματα λογικής συγχώνευσης και μια φόρμα αποδοχής για να αποφύγετε τον κόψιμο μιας πρότασης κατά τη μετάφραση.
Όταν χρησιμοποιείτε το extractDICT() του PyMuPDF για να εξαγάγετε κείμενο PDF, μπορεί να διαπιστώσετε ότι μια συνεκτική πρόταση κόβεται σε επτά, οκτώ ή περισσότερα span στο αποτέλεσμα που επιστρέφεται. Αυτό συνήθως δεν είναι ένα σφάλμα ανάλυσης, αλλά μια πραγματική αντανάκλαση της υποκείμενης δομής του PDF: η εναλλαγή γραμματοσειράς, οι αλλαγές χρώματος ή οι τοπικές ρυθμίσεις στυλ μπορούν να διακόψουν τη ροή του κειμένου κατά την απόδοση.
Εάν αυτός ο "τεμαχισμός στυλ" εκλαμβάνεται εσφαλμένα ως "τμηματοποίηση παραγράφου", ο επακόλουθος καθαρισμός, μετάφραση ή ανάκτηση θα προκαλέσει εύκολα σφάλματα τμηματοποίησης προτάσεων. Αυτό το άρθρο εξηγεί πώς να διακρίνετε τις αλλαγές στυλ από τα όρια παραγράφων, δίνει ένα συγχωνευμένο παράδειγμα λογικής συγχώνευσης και παρέχει μια φόρμα αποδοχής που θα σας βοηθήσει να αποφύγετε να κόψετε μια πρόταση.
Μια γραμμή κειμένου στο PDF χωρίζεται σε πολλά διαστήματα. Πρέπει να συγχωνευθούν; Μια φράση συμπέρασμα
Όταν υπάρχουν πολλαπλά span στο ίδιο line και οι συντεταγμένες y είναι ίδιες, είναι κυρίως εναλλαγή γραμματοσειράς, μεγέθους γραμματοσειράς ή χρώματος, τα οποία μπορούν να συνδυαστούν με ασφάλεια. το όριο της παραγράφου πρέπει να βασίζεται στη δομή των block και line, όχι στον αριθμό των span.
| την κατάστασή σας | Συνιστώμενες πρακτικές | λόγος |
|---|---|---|
| Πολλαπλά ανοίγματα εντός της ίδιας γραμμής έχουν τις ίδιες συντεταγμένες y | Ασφαλές splicing span.text | Κυρίως εναλλαγή γραμματοσειρών ή χρωμάτων |
| Υπάρχει ένα προφανές οριζόντιο κενό μεταξύ των ανοιγμάτων | Ελέγξτε το διάστημα bbox και εισαγάγετε κενά ή καρτέλες εάν χρειάζεται | Μπορεί να είναι χαρακτήρας καρτέλας ή υπόλειμμα αλλαγής στήλης, χρειάζονται κανόνες |
| Η διαφορά στις συντεταγμένες y των διαστημάτων εντός της ίδιας γραμμής υπερβαίνει το 10% του μεγέθους της γραμματοσειράς | Διατηρήστε την αρχική δομή ανοίγματος χωρίς συγχώνευση | Μπορεί να είναι ενσωματωμένοι τύποι ή συνδρομητές |
| Το εύρος μιας λέξης και το bbox δεν είναι ταξινομημένα | Επισήμανση ως χαμηλής ποιότητας, μετατροπή σε χειροκίνητη ή OCR | Έλλειψη αξιόπιστης βάσης για ταξινόμηση και ομαδοποίηση |
| Σημασιολογικά συνεχές κείμενο σε μπλοκ | Απαιτείται κρίση με βάση τα συμφραζόμενα και δεν πραγματοποιείται αυτόματη συγχώνευση. | Μπορεί να είναι ένα κομμάτι σελιδοποίησης |
Αρχικά διευκρινίστε την ιεραρχική σχέση μεταξύ Block, Line και Span
Δομή λεξικού του PyMuPDF
Η έξοδος του λεξικού του PyMuPDF ακολουθεί αυστηρά τη δομή ροής περιεχομένου του PDF και η ιεραρχία από έξω προς τα μέσα είναι η εξής:
block: Μια ανεξάρτητη περιοχή στοιχειοθεσίας στη σελίδα, όπως μια παράγραφος κειμένου, ένα κελί πίνακα ή ένα υπόμνημα.line: Οπτική μονή γραμμή κειμένου μέσα στοblock.span: Τοlineείναι μια εσωτερική ακολουθία διαδοχικών χαρακτήρων με την ίδια γραμματοσειρά, μέγεθος, χρώμα και στυλ.
Για περισσότερες περιγραφές πεδίων σε κάθε επίπεδο, ανατρέξτε στο Επίσημη τεκμηρίωση για το PyMuPDF TextPage.
Γιατί η εναλλαγή στυλ δημιουργεί ένα νέο εύρος;
Εφόσον υπάρχει έντονη γραφή, πλάγια γραφή, αλλαγή χρώματος ή εναλλακτική γραμματοσειρά στη μέση μιας γραμμής κειμένου (για παράδειγμα, οι κινεζικοί χαρακτήρες αναμιγνύονται με τα αγγλικά και τους αριθμούς), θα δημιουργηθεί ένα νέο span. Αυτά τα span ανήκουν στο ίδιο line και μοιράζονται την ίδια γραμμή βάσης και κάθετη θέση.
Τι να κοιτάξετε στα όρια παραγράφων
Το αληθινό τέλος μιας παραγράφου σημειώνεται με το τέλος της λίστας line και την αρχή ενός νέου block, όχι με τον αριθμό των span. Η σύγχυση των δύο μπορεί να προκαλέσει πρακτικά προβλήματα: για παράδειγμα, η "Σημαντική συμβουλή" αναγνωρίζεται λανθασμένα ως δύο ξεχωριστές προτάσεις, με αποτέλεσμα η μεταφραστική μνήμη να μην μπορεί να ταιριάξει με τον πλήρη όρο.
Παράδειγμα σύνθεσης: σωστές θήκες εξόδου και ακμών
Σωστή έξοδος
Για να δείξουμε το πρόβλημα, κατασκευάζουμε ένα συνθετικό σενάριο. Ας υποθέσουμε ότι υπάρχει μια γραμμή κειμένου στο εισαγόμενο PDF: "Παρακαλώ σημειώστε: Το σύστημα θα επανεκκινηθεί σε 5 λεπτά." Μεταξύ αυτών, το "Please note:" χρησιμοποιεί έντονη γραμματοσειρά, "the system will restart in 5 minutes" επιστρέφει στη γραμματοσειρά Song.
Η σωστή έξοδος extractDICT() πρέπει να περιέχει τέσσερα span κάτω από ένα αντικείμενο line. Τα bbox κάθε span επικαλύπτονται σε μεγάλο βαθμό στην κατακόρυφη κατεύθυνση και οι συντεταγμένες y του origin είναι βασικά συνεπείς. Αυτά τα τέσσερα θραύσματα ενώνονται μεταξύ τους για να σχηματίσουν μια πλήρη σημασιολογική ενότητα.
Είσοδος χαμηλής ποιότητας
Μια τυπική κατάσταση σφάλματος είναι ότι το σαρωμένο PDF δεν έχει εγγραφεί OCR ή η γεννήτρια PDF γράφει κάθε κινεζικό χαρακτήρα ως ξεχωριστό αντικείμενο κειμένου. Σε αυτήν την περίπτωση, το extractDICT() μπορεί να επιστρέψει δεκάδες span μιας λέξης και μπορεί να υπάρχουν μικρά κενά ή ακανόνιστες επικαλύψεις μεταξύ των bbox του.
Αυτή η κατάσταση δεν μπορεί να διορθωθεί απλώς με τη συνένωση συμβολοσειρών, επειδή δεν υπάρχει αξιόπιστη βάση για ταξινόμηση και ομαδοποίηση. Είναι ασφαλέστερο να επισημάνετε τη σελίδα ως "δομημένα δεδομένα χαμηλής ποιότητας" και να την στείλετε σε χειροκίνητη διόρθωση ή σε μια αποκλειστική διαδικασία OCR αντί να επιβάλετε μια συγχώνευση.
Λογική συγχώνευσης έκτασης με βάση γεωμετρικά χαρακτηριστικά
Δείγμα κώδικα
Το ακόλουθο παράδειγμα Python δείχνει πώς να προσομοιώσετε τη δομή εξόδου του extractDICT() στη μνήμη και να εφαρμόσετε μια ασφαλή συνάρτηση συγχώνευσης ομότιμων εύρους. Σημείωση: Αυτό το παράδειγμα δημιουργεί συνθετικά δεδομένα καθαρά από μνήμη και δεν διαβάζει πραγματικά αρχεία PDF. Χρησιμοποιείται μόνο για την επαλήθευση της λογικής του αλγορίθμου συγχώνευσης.
Για πραγματική χρήση, επιβεβαιώστε ότι η έκδοση PyMuPDF υποστηρίζει τη μέθοδο extractDICT (συνιστάται 1.23.x και άνω) και εκτελέστε την στο δικό σας κλειδωμένο περιβάλλον εξάρτησης.
# 合成示例:演示同行span合并逻辑,非真实PDF解析结果
# 依赖: PyMuPDF (pymupdf) >= 1.23.0,仅用于类型参考,本例纯内存构造
def merge_spans_in_line(line_dict, y_tolerance=2.0):
"""合并同一line内y坐标相近的span,保留原始顺序"""
if not line_dict.get("spans"):
return ""
spans = sorted(line_dict["spans"], key=lambda s: s["bbox"][0]) # 按x排序
merged_text = []
current_y = spans[0]["origin"][1]
buffer = [spans[0]["text"]]
for span in spans[1:]:
y = span["origin"][1]
if abs(y - current_y) <= y_tolerance:
buffer.append(span["text"])
else:
merged_text.append("".join(buffer))
buffer = [span["text"]]
current_y = y
merged_text.append("".join(buffer))
return "\n".join(merged_text)
# 构造合成line数据,模拟四种字体混排(正常情况)
synthetic_line = {
"spans": [
{"text": "请注意:", "bbox": (100, 200, 160, 220), "origin": (100, 215)},
{"text": "系统将在", "bbox": (160, 200, 220, 220), "origin": (160, 215)},
{"text": "5", "bbox": (220, 200, 230, 220), "origin": (220, 215)},
{"text": "分钟后重启。", "bbox": (230, 200, 310, 220), "origin": (230, 215)}
]
}
result = merge_spans_in_line(synthetic_line)
assert result == "请注意:系统将在5分钟后重启。", f"合并失败: {result}"
# 边界测试:y坐标差异超过容差,应视为不同行片段(即使在同一line dict中也应分隔)
bad_line = {
"spans": [
{"text": "上行", "bbox": (100, 200, 140, 220), "origin": (100, 215)},
{"text": "下行", "bbox": (100, 230, 140, 250), "origin": (100, 245)}
]
}
bad_result = merge_spans_in_line(bad_line, y_tolerance=2.0)
# y差值30 > 2.0,应被分隔为两行
assert bad_result == "上行\n下行", f"异常行未正确分隔: {repr(bad_result)}"
Προφυλάξεις πριν από τη χρήση
- Η τιμή 2,0 για το
y_toleranceείναι μόνο μια ρύθμιση συνθετικού παραδείγματος και δεν αποτελεί βιομηχανικό πρότυπο. - Σε πραγματικά έργα, αυτή η τιμή μπορεί να υπολογιστεί δυναμικά με βάση το μέσο μέγεθος γραμματοσειράς του εγγράφου. εάν το ίδιο το
lineέχει διαιρεθεί σωστά, συνήθως δεν υπάρχει ανάγκη για επιπρόσθετη επαλήθευση συντεταγμένων y. - Τα παραδείγματα σε αυτό το άρθρο αντιπροσωπεύουν μόνο επιδείξεις σε επίπεδο κώδικα και δεν αποτελούν εγγύηση για όλα τα πραγματικά αρχεία ή τα εφέ προϊόντος.
📊 Βασική σύγκριση
Ο παρακάτω πίνακας συγκρίνει διάφορες μεθόδους επεξεργασίας και εάν είναι κατάλληλες για αυτόματη συγχώνευση με βάση την παρατηρούμενη κατάσταση, με βάση τους παραπάνω κανόνες αποδοχής.
| Παρατηρηθείσα κατάσταση | Μέθοδοι χειρισμού | Εάν οι αυτόματες συγχωνεύσεις είναι κατάλληλες |
|---|---|---|
| Μέσα στην ίδια ευθεία, οι συντεταγμένες y του ανοίγματος είναι συνεπείς | Ασφαλής συναρμογή | Ναι |
| Υπάρχει ένα ευδιάκριτο οριζόντιο κενό μεταξύ των ανοιγμάτων | Αφού ελέγξετε την απόσταση, εισαγάγετε ένα κενό διάστημα ή στηλοθέτη | Να είστε προσεκτικοί και χρειάζεστε κανόνες |
| Οι ενσωματωμένοι τύποι και οι δείκτες προκαλούν σημαντικές διαφορές στις συντεταγμένες y | Διατηρεί την αρχική δομή ανοίγματος | Όχι |
| Εύρος μίας λέξης και bbox χωρίς σειρά | Επισήμανση χαμηλής ποιότητας, μετάβαση σε χειροκίνητη ή OCR | Όχι |
| Σημασιολογικό συνεχές κείμενο σε μπλοκ | Κρίνετε με βάση τα συμφραζόμενα | Όχι, απαιτείται βοήθεια NLP |
Κριτήρια αποδοχής και όρια μη αυτόματης αναθεώρησης
| Παρατηρήστε το φαινόμενο | Πιθανές αιτίες | Απόφαση χειρισμού του θέματος | Αν ισχύει η αυτόματη συγχώνευση |
|---|---|---|---|
| Πολλαπλά ανοίγματα και συντεταγμένες y εντός της ίδιας γραμμής είναι συνεπείς | Εναλλαγή γραμματοσειράς/χρώματος | Ασφαλές splicing span.text | Ναι |
| Υπάρχει ένα αξιοσημείωτο οριζόντιο κενό μεταξύ των ανοιγμάτων (> πλάτους χώρου) | Εναπομείνασες σημάνσεις σε πίνακα και στήλες | Ελέγξτε την απόσταση bbox και εισαγάγετε κενά διαστήματα ή στηλοθέτες | Να είστε προσεκτικοί και χρειάζεστε κανόνες |
| Διαφορά στις συντεταγμένες span y εντός της ίδιας γραμμής: > Μέγεθος γραμματοσειράς: 10% | Τύποι εντός της γραμμής και δείκτες | Διατήρηση της αρχικής δομής ανοίγματος χωρίς συγχώνευση | Όχι |
| Εύρος μίας λέξης και bbox χωρίς σειρά | Σαρωμένο ή κατεστραμμένο PDF | Επισημάνθηκε ως χαμηλής ποιότητας, μετάβαση σε χειροκίνητη ή OCR | Όχι |
| Σημασιολογία κειμένου μεταξύ μπλοκ | Σελιδοποίηση και κατάτμηση | Η συγχώνευση μεταξύ μπλοκ απαιτεί κρίση με βάση τα συμφραζόμενα | Όχι, απαιτείται βοήθεια NLP |
Αυτός ο πίνακας καλύπτει μόνο τη δομική επικύρωση σε επίπεδο επίδειξης κώδικα. Τα διατερματικά εφέ απαιτούν ενσωμάτωση με γλωσσικά μοντέλα ή χειροκίνητους δειγματοληπτικούς ελέγχους. Η αυτόματη συγχώνευση δεν πρέπει να εφαρμόζεται σε έγγραφα ευαίσθητα στη μορφή, όπως νομικές συμβάσεις ή ιατρικά αρχεία, εκτός εάν επικυρωθεί από ειδικούς του τομέα.
Πριν από τη χρήση, προετοιμάστε μόνοι σας το PDF δοκιμής απευαισθητοποίησης, εκτελέστε το page.get_text("dict", sort=True) για εξαγωγή JSON και, στη συνέχεια, επαληθεύστε κάθε στοιχείο ένα προς ένα.
Χρησιμοποιείται για ελέγχους πριν από τη μετάφραση σε έγγραφα
Πρώτα, ελέγξτε διεξοδικά τη σειρά της σελίδας, τη θέση της πηγής και την ακεραιότητα του κειμένου και, στη συνέχεια, παραδώστε το ίδιο ανώνυμο δείγμα στη διαδικασία μετάφρασης. Μετά τη μετάφραση, εξακολουθεί να είναι απαραίτητο να ελέγξετε εάν ο τίτλος, το κύριο κείμενο και οι λεζάντες αντιστοιχούν σωστά. Δεν αρκεί να κρίνουμε μόνο από το αν το κείμενο είναι άπταιστα.
Το OmniDoc (Καταχώρηση προϊόντος) παρέχει πύλες μετάφρασης εγγράφων πολλαπλών μορφών και ο επίσημος ιστότοπός του εισάγει OCR, γλωσσάρια και δίγλωσσες λειτουργίες αναφοράς. Για τις ομάδες που θέλουν να ξεκινήσουν απευθείας από τα αρχεία, αυτή είναι μια διαδρομή που αξίζει να αξιολογηθεί με πραγματικά δείγματα. Χρησιμοποιήστε το ανώνυμο αρχείο που έχετε εξουσιοδοτήσει για να ανεβάσετε και επαληθεύστε τα αποτελέσματα με τη λίστα ελέγχου σε αυτό το άρθρο. Αυτό δεν ισχυρίζεται ότι το OmniDoc χρησιμοποιεί τη βιβλιοθήκη ανοιχτού κώδικα ή εσωτερικούς αλγόριθμους από αυτό το άρθρο, ούτε αντικαθιστά τη δοκιμή απόδοσης προϊόντος με παραδείγματα.
🎯 Ποια μέθοδος σας ταιριάζει;
Εάν θέλετε απλώς να οργανώσετε κείμενο στην ίδια γραμμή
- Ομαδοποίηση κατά
line. όταν οι συντεταγμένες y ταιριάζουν, συνδέστε με ασφάλεια τοspan.text.
Εάν συναντήσετε ενσωματωμένους τύπους ή δείκτες
- Διατηρήστε την αρχική δομή
spanκαι μην συγχωνεύσετε.
Εάν εργάζεστε με σαρώσεις ή PDF με πολλά μεμονωμένα ανοίγματα,
- Αρχικά επισημάνθηκε ως χαμηλής ποιότητας και στη συνέχεια μετακινήθηκε σε χειροκίνητη βαθμονόμηση ή αποκλειστικές διαδικασίες OCR.
Εάν θέλετε να μεταφράσετε σε μπλοκ ή σελίδες
- Με βάση την κρίση των συμφραζομένων, δεν συνιστάται η απευθείας αυτόματη συγχώνευση.
❓ Συχνές Ερωτήσεις (FAQ)
1. Εάν μια γραμμή κειμένου χωρίζεται σε πολλά διαστήματα, πρέπει να τμηματοποιηθεί;
Όχι απαραίτητα. Τις περισσότερες φορές προκαλείται από αλλαγές στη γραμματοσειρά, το μέγεθος της γραμματοσειράς ή το χρώμα. Μέσα στο ίδιο line, το span μοιράζεται την ίδια γραμμή βάσης και κάθετη θέση.
2. Τι πρέπει να προσέξετε στο τέλος μιας παραγράφου;
Δείτε αν τελειώνει η λίστα line και αν αρχίζει νέο block, αντί για τον αριθμό των span.
3. Μπορείτε να διορθώσετε το πρόβλημα του εύρους ενός χαρακτήρα με τη συνένωση συμβολοσειρών;
Δεν συνιστάται. Τέτοιες καταστάσεις στερούνται αξιόπιστων κριτηρίων αλληλουχίας και ομαδοποίησης. Μια ασφαλέστερη προσέγγιση είναι να τις επισημάνετε ως χαμηλής ποιότητας και να τις μετακινήσετε σε χειροκίνητες διαδικασίες ή διαδικασίες OCR.
4. Πόσο πρέπει να οριστεί το y_tolerance κατά τη συγχώνευση;
Το 2.0 στο παράδειγμα έχει οριστεί μόνο για σκοπούς σύνθεσης και δεν αποτελεί βιομηχανικό πρότυπο. Σε πραγματικά έργα, μπορείτε να υπολογίσετε δυναμικά με βάση το μέσο μέγεθος γραμματοσειράς ή να εμπιστευτείτε άμεσα την ομαδοποίηση line.
5. Μπορούν οι αυτόματες συγχωνεύσεις να χρησιμοποιηθούν σε νομικές συμβάσεις;
Δεν είναι κατάλληλο εκτός εάν επαληθευτεί από ειδικούς του τομέα.
📝 Περίληψη
Για να προσδιορίσετε εάν το span μπορεί να συγχωνευθεί, το κλειδί είναι να εξετάσετε πρώτα τη δομή των line και block και μετά να εξετάσετε τις γεωμετρικές τους θέσεις. Όταν αντιμετωπίζετε τύπους, σαρώσεις ή σημασιολογία διασταυρούμενων μπλοκ, είναι καλύτερο να διατηρήσετε την αρχική μορφή ή να μεταβείτε σε χειροκίνητη σημασιολογία αντί να τις συρράψετε βίαια.


