Aceeași linie de text este împărțită în mai mult de zece intervale de PyMuPDF? Aceasta determină dacă ar trebui fuzionată
PyMuPDF împarte aceeași linie de cuvinte în mai mult de o duzină de intervale. De cele mai multe ori, fontul, dimensiunea fontului sau stilul s-au schimbat, nu neapărat segmentarea. Acest articol explică cum să distingem modificările de stil și limitele de paragraf și oferă exemple de logică de îmbinare și un formular de acceptare pentru a evita tăierea unei propoziții în timpul traducerii.
Când utilizați extractDICT() de la PyMuPDF pentru a extrage text PDF, este posibil să descoperiți că o propoziție coerentă este tăiată în șapte, opt sau mai multe span în rezultatul returnat. Aceasta nu este, de obicei, o eroare de analiză, ci o reflectare fidelă a structurii de bază a PDF-ului: schimbarea fonturilor, schimbările de culoare sau ajustările locale ale stilului pot întrerupe fluxul textului la randare.
Dacă acest „slicing"este confundat cu „segmentarea paragrafului", curățarea, traducerea sau preluarea ulterioară va cauza cu ușurință erori de segmentare a propoziției. Acest articol explică cum să distingeți modificările de stil de limitele paragrafului, oferă un exemplu îmbinat de logica de îmbinare și oferă un formular de acceptare pentru a vă ajuta să evitați tăierea unei propoziții.
O linie de text din PDF este împărțită în mai multe intervale. Ar trebui comasate? O singură propoziție concluzie
Când există mai multespan în același line și coordonatele y sunt aceleași, este vorba în principal de font, dimensiunea fontului sau schimbarea culorii, care poate fi îmbinată în siguranță; limita paragrafului ar trebui să se bazeze pe structura block și line, nu pe numărul span.
| situatia ta | Practici recomandate | motiv |
|---|---|---|
| Întinderi multiple în cadrul aceleiași linii au aceleași coordonate y | Îmbinare sigură span.text | În mare parte, schimbarea fontului sau a culorilor |
| Există un decalaj orizontal evident între travee | Verificați spațierea bbox și introduceți spații sau file dacă este necesar | Poate fi un caracter de tabulație sau un reziduu de rupere de coloană, necesită reguli |
| Diferența în coordonatele y ale intervalelor din aceeași linie depășește 10% din dimensiunea fontului | Păstrați structura inițială a intervalului fără a fuziona | Pot fi formule sau indice inline |
| Un singur cuvânt span și bbox sunt neordonate | Marcați ca de calitate scăzută, convertiți în manual sau OCR | Lipsa unei baze de încredere pentru sortare și grupare |
| Text continuu din punct de vedere semantic pe blocuri | Este necesară o judecată contextuală și nu se realizează îmbinarea automată. | Poate fi un fragment de paginare |
Mai întâi clarificați relația ierarhică dintre Bloc, Linie și Span
Structura dicționarului PyMuPDF
Ieșirea dicționarului PyMuPDF urmează strict structura fluxului de conținut a PDF-ului, iar ierarhia din exterior spre interior este următoarea:
block: o zonă de compunere independentă pe pagină, cum ar fi un paragraf de text, o celulă de tabel sau o legendă.line: o singură linie vizuală de text în interiorulblock.span:lineeste o secvență internă de caractere consecutive cu același font, dimensiune, culoare și stil.
Pentru mai multe descrieri ale câmpurilor de la fiecare strat, vă rugăm să consultați Documentație oficială pentru PyMuPDF TextPage.
De ce schimbarea stilului generează un nou interval?
Atâta timp cât există caractere aldine, cursive, schimbare de culoare sau font de rezervă în mijlocul unui rând de text (de exemplu, caracterele chinezești sunt amestecate cu engleză și numere), va fi generat un nou span. Aceste span aparțin aceluiași line și au aceeași linie de bază și aceeași poziție verticală.
Ce să te uiți la limitele paragrafelor
Sfârșitul adevărat al unui paragraf este marcat de sfârșitul listei line și de începutul unui nou block, nu de numărul span. Confuzia celor două poate cauza probleme practice: de exemplu, „Sfat important"este recunoscut din greșeală ca două propoziții separate, ceea ce face ca memoria de traducere să nu se potrivească cu termenul complet.
Exemplu de sinteză: ieșire corectă și cazuri de margine
Ieșire corectă
Pentru a ilustra problema, construim un scenariu sintetic. Să presupunem că există o linie de text în PDF-ul de intrare: „Vă rugăm să rețineți: sistemul va reporni în 5 minute". Printre acestea, „Vă rugăm să rețineți:"folosește fontul aldin, „sistemul va reporni în 5 minute"revine la fontul Song.
O ieșire corectăextractDICT() ar trebui să conțină patru span sub un obiect line. bbox fiecărui span este foarte suprapusă vertical, iar coordonatele y ale origin sunt practic consistente. Abia după ce aceste patru segmente sunt unite formezi unitatea semantică completă.
Input de calitate slabă
O eroare tipică este că PDF-ul scanat nu este OCR, sau generatorul PDF scrie fiecare caracter chinezesc ca un obiect text separat. În acest moment, extractDICT() poate returna zeci de span care conțin doar un singur cuvânt, iar între bbox pot exista mici goluri sau suprapuneri neregulate.
Această situație nu poate fi rezolvată simplu prin concatenare a șirurilor, deoarece lipsește o bază fiabilă de sortare și grupare. O abordare mai sigură este să etichetezi pagina ca "date structurate de calitate scăzută" și să o treci la corectură manuală sau procese OCR dedicate, în loc să fuzionezi forțat.
Logica de fuziune span bazată pe caracteristici geometrice
Cod exemplu
Următorul exemplu în Python demonstrează cum să simulezi structura de ieșire a extractDICT() în memorie și să implementezi o funcție sigură de fuziune peer span. Notă: Acest exemplu construiește date sintetice exclusiv în memorie și nu citește fișiere PDF reale; este folosit doar pentru a verifica logica algoritmului de fuziune.
Când îl folosești în practică, te rugăm să te asiguri că versiunea PyMuPDF suportă metoda extractDICT (recomandată 1.23.x sau versiuni) și să o rulezi în propriul tău mediu de dependență blocată.
# 合成示例:演示同行span合并逻辑,非真实PDF解析结果
# 依赖: PyMuPDF (pymupdf) >= 1.23.0,仅用于类型参考,本例纯内存构造
def merge_spans_in_line(line_dict, y_tolerance=2.0):
"""合并同一line内y坐标相近的span,保留原始顺序"""
if not line_dict.get("spans"):
return ""
spans = sorted(line_dict["spans"], key=lambda s: s["bbox"][0]) # 按x排序
merged_text = []
current_y = spans[0]["origin"][1]
buffer = [spans[0]["text"]]
for span in spans[1:]:
y = span["origin"][1]
if abs(y - current_y) <= y_tolerance:
buffer.append(span["text"])
else:
merged_text.append("".join(buffer))
buffer = [span["text"]]
current_y = y
merged_text.append("".join(buffer))
return "\n".join(merged_text)
# 构造合成line数据,模拟四种字体混排(正常情况)
synthetic_line = {
"spans": [
{"text": "请注意:", "bbox": (100, 200, 160, 220), "origin": (100, 215)},
{"text": "系统将在", "bbox": (160, 200, 220, 220), "origin": (160, 215)},
{"text": "5", "bbox": (220, 200, 230, 220), "origin": (220, 215)},
{"text": "分钟后重启。", "bbox": (230, 200, 310, 220), "origin": (230, 215)}
]
}
result = merge_spans_in_line(synthetic_line)
assert result == "请注意:系统将在5分钟后重启。", f"合并失败: {result}"
# 边界测试:y坐标差异超过容差,应视为不同行片段(即使在同一line dict中也应分隔)
bad_line = {
"spans": [
{"text": "上行", "bbox": (100, 200, 140, 220), "origin": (100, 215)},
{"text": "下行", "bbox": (100, 230, 140, 250), "origin": (100, 245)}
]
}
bad_result = merge_spans_in_line(bad_line, y_tolerance=2.0)
# y差值30 > 2.0,应被分隔为两行
assert bad_result == "上行\n下行", f"异常行未正确分隔: {repr(bad_result)}"
Precauții înainte de utilizare
- Valoarea 2.0 pentru
y_toleranceeste setată doar pentru exemplele de sinteză și nu este un standard în industrie. - În proiectele reale, această valoare poate fi calculată dinamic pe baza dimensiunii medii a documentului; Dacă
lineeste împărțit corect, de obicei nu este necesară verificarea suplimentară a coordonatelor y. - Exemplele din acest articol reprezintă doar demonstrații la nivel de cod și nu garantează performanța efectivă a niciunui fișier sau produs.
📊 Comparație de bază
Tabelul de mai jos compară mai multe metode de manipulare și dacă fuziunea automată este potrivită, pe baza regulilor de acceptare menționate mai sus.
| Situația observată | Metode de manipulare | Dacă fuziunile automate sunt potrivite |
|---|---|---|
| În cadrul aceleiași linii, coordonatele y ale deschiderii sunt consistente | Îmbinarea cu siguranță | Da |
| Există un spațiu orizontal distinct între deschideri | După verificarea spațierii, introdu un spațiu sau un tab-stop | Fii precaut și ai nevoie de reguli |
| Formulele și indicele inline cauzează diferențe semnificative în coordonatele y | Păstrează structura originală a deschiderii | Nu |
| Interval de un singur cuvânt și bbox neordonat | Marchează calitatea scăzută, treci pe manual sau OCR | Nu |
| Text semantic continuu pe blocuri | Judecătorul pe baza contextului | Nu, este necesară asistența pentru NLP |
Criterii de acceptare și limite de revizuire manuală
| Observă fenomenul | Motive posibile | Decizia de a gestiona problema | Dacă fuziunea automată este aplicabilă |
|---|---|---|---|
| Mai multe deschideri și coordonate y în cadrul aceleiași linii sunt consistente | Comutarea fontului/culorii | Îmbinare sigură span.text | Da |
| Există un spațiu orizontal vizibil între deschideri (> lățimile spațiului) | Marcaje tabulare și de coloane rămase | Verifică distanțarea cutiilor și inserează spații sau tab-stop-uri | Fii precaut și ai nevoie de reguli |
| Diferența în coordonatele span y din aceeași linie: > Dimensiunea fontului: 10% | Formule din linie și indici | Păstrează structura originală a deschiderii fără a fuziona | Nu |
| Interval de un singur cuvânt și bbox neordonat | PDF scanat sau deteriorat | Marcat ca fiind de calitate scăzută, trec la manual sau OCR | Nu |
| Semantica textului între blocuri | Paginare și segmentare | Fuziunea între blocuri necesită judecată contextuală | Nu, este necesară asistența pentru NLP |
Acest tabel acoperă doar validarea structurală la nivel de demonstrație a codului; efectele end-to-end necesită integrare cu modele de limbaj sau verificări manuale punctuale. Fuziunea automată nu ar trebui aplicată documentelor sensibile la format, cum ar fi contractele legale sau dosarele medicale, decât dacă este validată de experți în domeniu.
Înainte de utilizare, te rugăm să pregătești tu însuți PDF-ul testului de desensibilizare, să rulezi page.get_text("dict", sort=True) pentru a exporta JSON, apoi să verifici fiecare element pe rând.
Folosit pentru verificări pre-traducere în documente
Mai întâi, verifică ordinea paginii, locația sursei și integritatea textului cu atenție, apoi predă același eșantion anonimizat procesului de traducere. După traducere, este totuși necesar să verificăm dacă titlul, textul principal și subtitrările corespund corect; nu este suficient să judecăm doar după fluiditatea textului.
OmniDoc (Intrare de produs) oferă portaluri de traducere a documentelor în mai multe formate, iar site-ul său oficial introduce OCR, glosare și funcții de referință bilingvă. Pentru echipele care vor să înceapă direct din fișiere, aceasta este o cale care merită evaluată cu mostre reale. Vă rugăm să folosiți fișierul anonimizat pe care l-ați autorizat pentru a încărca și să verificați rezultatele cu lista de verificare din acest articol. Aceasta nu susține că OmniDoc folosește biblioteca open-source sau algoritmii interni din acest articol, nici nu înlocuiește testarea performanței produsului cu exemple.
🎯 Care metodă ți se potrivește?
Dacă vrei doar să organizezi textul pe aceeași linie
- Grupați după
line; când coordonatele y se potrivesc, concatenați în siguranțăspan.text.
Dacă întâlnești formule sau indici în linie
- Păstrează structura originală
spanși nu fuzionează.
Dacă lucrezi cu scanări sau PDF-uri cu multe spaturi simple,
- Inițial marcate ca fiind de calitate scăzută, apoi trecute la calibrare manuală sau procese OCR dedicate.
Dacă vrei să traduci peste blocuri sau pagini
- Pe baza judecății contextuale, nu este recomandat să fuzionezi direct automat.
❓ Întrebări frecvente (FAQ)
1. Dacă o linie de text este împărțită în mai multe intervale, trebuie să fie segmentată?
Nu neapărat; cel mai adesea este cauzată de schimbări ale fontului, dimensiunii fontului sau culorii. În cadrul aceluiași line, span are aceeași poziție de bază și verticală.
2. La ce ar trebui să fii atent la finalul unui paragraf?
Vezi dacă lista line se termină și dacă începe un nou block, nu numărul de span.
3. Poți rezolva problema cu span-ul cu un singur caracter prin concatenarea șirurilor?
Nu este recomandat. Astfel de situații nu au criterii fiabile de secvențiere și grupare; o abordare mai sigură este să le marchezi ca fiind de calitate scăzută și să le treci la procese manuale sau OCR.
4. Cât ar trebui să fie setat y_tolerance în timpul fuziunii?
Versiunea 2.0 din exemplu este setată doar în scopuri de sinteză și nu este un standard industrial. În proiectele reale, poți calcula dinamic pe baza dimensiunii medii a fontului sau poți avea încredere directă în gruparea line.
5. Pot fi folosite fuziunile automate în contractele legale?
Nu este potrivit decât dacă este verificat de experți în domeniu.
📝 Rezumat
Pentru a determina dacă span poate fuziona, cheia este să analizăm mai întâi structura line și block, apoi să analizăm pozițiile lor geometrice. Când întâlnești formule, scanări sau semantică cross-block, este mai bine să păstrezi forma originală sau să treci la semantica manuală decât să le îmbini forțat.
Experiența acum: Încarcă documentul pentru a începe traducerea, păstrând formatul original


