Aceeași linie de text este împărțită în mai mult de zece intervale de PyMuPDF? Aceasta determină dacă ar trebui fuzionată

PyMuPDF împarte aceeași linie de cuvinte în mai mult de o duzină de intervale. De cele mai multe ori, fontul, dimensiunea fontului sau stilul s-au schimbat, nu neapărat segmentarea. Acest articol explică cum să distingem modificările de stil și limitele de paragraf și oferă exemple de logică de îmbinare și un formular de acceptare pentru a evita tăierea unei propoziții în timpul traducerii.

Când utilizați extractDICT() de la PyMuPDF pentru a extrage text PDF, este posibil să descoperiți că o propoziție coerentă este tăiată în șapte, opt sau mai multe span în rezultatul returnat. Aceasta nu este, de obicei, o eroare de analiză, ci o reflectare fidelă a structurii de bază a PDF-ului: schimbarea fonturilor, schimbările de culoare sau ajustările locale ale stilului pot întrerupe fluxul textului la randare.

Dacă acest „slicing"este confundat cu „segmentarea paragrafului", curățarea, traducerea sau preluarea ulterioară va cauza cu ușurință erori de segmentare a propoziției. Acest articol explică cum să distingeți modificările de stil de limitele paragrafului, oferă un exemplu îmbinat de logica de îmbinare și oferă un formular de acceptare pentru a vă ajuta să evitați tăierea unei propoziții.

O linie de text din PDF este împărțită în mai multe intervale. Ar trebui comasate? O singură propoziție concluzie

Când există mai multespan în același line și coordonatele y sunt aceleași, este vorba în principal de font, dimensiunea fontului sau schimbarea culorii, care poate fi îmbinată în siguranță; limita paragrafului ar trebui să se bazeze pe structura block și line, nu pe numărul span.

situatia taPractici recomandatemotiv
Întinderi multiple în cadrul aceleiași linii au aceleași coordonate yÎmbinare sigură span.textÎn mare parte, schimbarea fontului sau a culorilor
Există un decalaj orizontal evident între traveeVerificați spațierea bbox și introduceți spații sau file dacă este necesarPoate fi un caracter de tabulație sau un reziduu de rupere de coloană, necesită reguli
Diferența în coordonatele y ale intervalelor din aceeași linie depășește 10% din dimensiunea fontuluiPăstrați structura inițială a intervalului fără a fuzionaPot fi formule sau indice inline
Un singur cuvânt span și bbox sunt neordonateMarcați ca de calitate scăzută, convertiți în manual sau OCRLipsa unei baze de încredere pentru sortare și grupare
Text continuu din punct de vedere semantic pe blocuriEste necesară o judecată contextuală și nu se realizează îmbinarea automată.Poate fi un fragment de paginare

Mai întâi clarificați relația ierarhică dintre Bloc, Linie și Span

Structura dicționarului PyMuPDF

Ieșirea dicționarului PyMuPDF urmează strict structura fluxului de conținut a PDF-ului, iar ierarhia din exterior spre interior este următoarea:

  • block: o zonă de compunere independentă pe pagină, cum ar fi un paragraf de text, o celulă de tabel sau o legendă.
  • line: o singură linie vizuală de text în interiorul block.
  • span: line este o secvență internă de caractere consecutive cu același font, dimensiune, culoare și stil.

Pentru mai multe descrieri ale câmpurilor de la fiecare strat, vă rugăm să consultați Documentație oficială pentru PyMuPDF TextPage.

De ce schimbarea stilului generează un nou interval?

Atâta timp cât există caractere aldine, cursive, schimbare de culoare sau font de rezervă în mijlocul unui rând de text (de exemplu, caracterele chinezești sunt amestecate cu engleză și numere), va fi generat un nou span. Aceste span aparțin aceluiași line și au aceeași linie de bază și aceeași poziție verticală.

Ce să te uiți la limitele paragrafelor

Sfârșitul adevărat al unui paragraf este marcat de sfârșitul listei line și de începutul unui nou block, nu de numărul span. Confuzia celor două poate cauza probleme practice: de exemplu, „Sfat important"este recunoscut din greșeală ca două propoziții separate, ceea ce face ca memoria de traducere să nu se potrivească cu termenul complet.

Exemplu de sinteză: ieșire corectă și cazuri de margine

Ieșire corectă

Pentru a ilustra problema, construim un scenariu sintetic. Să presupunem că există o linie de text în PDF-ul de intrare: „Vă rugăm să rețineți: sistemul va reporni în 5 minute". Printre acestea, „Vă rugăm să rețineți:"folosește fontul aldin, „sistemul va reporni în 5 minute"revine la fontul Song.

O ieșire corectăextractDICT() ar trebui să conțină patru span sub un obiect line. bbox fiecărui span este foarte suprapusă vertical, iar coordonatele y ale origin sunt practic consistente. Abia după ce aceste patru segmente sunt unite formezi unitatea semantică completă.

Input de calitate slabă

O eroare tipică este că PDF-ul scanat nu este OCR, sau generatorul PDF scrie fiecare caracter chinezesc ca un obiect text separat. În acest moment, extractDICT() poate returna zeci de span care conțin doar un singur cuvânt, iar între bbox pot exista mici goluri sau suprapuneri neregulate.

Această situație nu poate fi rezolvată simplu prin concatenare a șirurilor, deoarece lipsește o bază fiabilă de sortare și grupare. O abordare mai sigură este să etichetezi pagina ca "date structurate de calitate scăzută" și să o treci la corectură manuală sau procese OCR dedicate, în loc să fuzionezi forțat.

Logica de fuziune span bazată pe caracteristici geometrice

Cod exemplu

Următorul exemplu în Python demonstrează cum să simulezi structura de ieșire a extractDICT() în memorie și să implementezi o funcție sigură de fuziune peer span. Notă: Acest exemplu construiește date sintetice exclusiv în memorie și nu citește fișiere PDF reale; este folosit doar pentru a verifica logica algoritmului de fuziune.

Când îl folosești în practică, te rugăm să te asiguri că versiunea PyMuPDF suportă metoda extractDICT (recomandată 1.23.x sau versiuni) și să o rulezi în propriul tău mediu de dependență blocată.

# 合成示例:演示同行span合并逻辑,非真实PDF解析结果
# 依赖: PyMuPDF (pymupdf) >= 1.23.0,仅用于类型参考,本例纯内存构造

def merge_spans_in_line(line_dict, y_tolerance=2.0):
    """合并同一line内y坐标相近的span,保留原始顺序"""
    if not line_dict.get("spans"):
        return ""
    spans = sorted(line_dict["spans"], key=lambda s: s["bbox"][0])  # 按x排序
    merged_text = []
    current_y = spans[0]["origin"][1]
    buffer = [spans[0]["text"]]

    for span in spans[1:]:
        y = span["origin"][1]
        if abs(y - current_y) <= y_tolerance:
            buffer.append(span["text"])
        else:
            merged_text.append("".join(buffer))
            buffer = [span["text"]]
            current_y = y
    merged_text.append("".join(buffer))
    return "\n".join(merged_text)

# 构造合成line数据,模拟四种字体混排(正常情况)
synthetic_line = {
    "spans": [
        {"text": "请注意:", "bbox": (100, 200, 160, 220), "origin": (100, 215)},
        {"text": "系统将在", "bbox": (160, 200, 220, 220), "origin": (160, 215)},
        {"text": "5", "bbox": (220, 200, 230, 220), "origin": (220, 215)},
        {"text": "分钟后重启。", "bbox": (230, 200, 310, 220), "origin": (230, 215)}
    ]
}

result = merge_spans_in_line(synthetic_line)
assert result == "请注意:系统将在5分钟后重启。", f"合并失败: {result}"

# 边界测试:y坐标差异超过容差,应视为不同行片段(即使在同一line dict中也应分隔)
bad_line = {
    "spans": [
        {"text": "上行", "bbox": (100, 200, 140, 220), "origin": (100, 215)},
        {"text": "下行", "bbox": (100, 230, 140, 250), "origin": (100, 245)}
    ]
}
bad_result = merge_spans_in_line(bad_line, y_tolerance=2.0)
# y差值30 > 2.0,应被分隔为两行
assert bad_result == "上行\n下行", f"异常行未正确分隔: {repr(bad_result)}"

Precauții înainte de utilizare

  • Valoarea 2.0 pentru y_tolerance este setată doar pentru exemplele de sinteză și nu este un standard în industrie.
  • În proiectele reale, această valoare poate fi calculată dinamic pe baza dimensiunii medii a documentului; Dacă line este împărțit corect, de obicei nu este necesară verificarea suplimentară a coordonatelor y.
  • Exemplele din acest articol reprezintă doar demonstrații la nivel de cod și nu garantează performanța efectivă a niciunui fișier sau produs.

📊 Comparație de bază

Tabelul de mai jos compară mai multe metode de manipulare și dacă fuziunea automată este potrivită, pe baza regulilor de acceptare menționate mai sus.

Situația observatăMetode de manipulareDacă fuziunile automate sunt potrivite
În cadrul aceleiași linii, coordonatele y ale deschiderii sunt consistenteÎmbinarea cu siguranțăDa
Există un spațiu orizontal distinct între deschideriDupă verificarea spațierii, introdu un spațiu sau un tab-stopFii precaut și ai nevoie de reguli
Formulele și indicele inline cauzează diferențe semnificative în coordonatele yPăstrează structura originală a deschideriiNu
Interval de un singur cuvânt și bbox neordonatMarchează calitatea scăzută, treci pe manual sau OCRNu
Text semantic continuu pe blocuriJudecătorul pe baza contextuluiNu, este necesară asistența pentru NLP

Criterii de acceptare și limite de revizuire manuală

Observă fenomenulMotive posibileDecizia de a gestiona problemaDacă fuziunea automată este aplicabilă
Mai multe deschideri și coordonate y în cadrul aceleiași linii sunt consistenteComutarea fontului/culoriiÎmbinare sigură span.textDa
Există un spațiu orizontal vizibil între deschideri (> lățimile spațiului)Marcaje tabulare și de coloane rămaseVerifică distanțarea cutiilor și inserează spații sau tab-stop-uriFii precaut și ai nevoie de reguli
Diferența în coordonatele span y din aceeași linie: > Dimensiunea fontului: 10%Formule din linie și indiciPăstrează structura originală a deschiderii fără a fuzionaNu
Interval de un singur cuvânt și bbox neordonatPDF scanat sau deterioratMarcat ca fiind de calitate scăzută, trec la manual sau OCRNu
Semantica textului între blocuriPaginare și segmentareFuziunea între blocuri necesită judecată contextualăNu, este necesară asistența pentru NLP

Acest tabel acoperă doar validarea structurală la nivel de demonstrație a codului; efectele end-to-end necesită integrare cu modele de limbaj sau verificări manuale punctuale. Fuziunea automată nu ar trebui aplicată documentelor sensibile la format, cum ar fi contractele legale sau dosarele medicale, decât dacă este validată de experți în domeniu.

Înainte de utilizare, te rugăm să pregătești tu însuți PDF-ul testului de desensibilizare, să rulezi page.get_text("dict", sort=True) pentru a exporta JSON, apoi să verifici fiecare element pe rând.

Folosit pentru verificări pre-traducere în documente

Mai întâi, verifică ordinea paginii, locația sursei și integritatea textului cu atenție, apoi predă același eșantion anonimizat procesului de traducere. După traducere, este totuși necesar să verificăm dacă titlul, textul principal și subtitrările corespund corect; nu este suficient să judecăm doar după fluiditatea textului.

OmniDoc (Intrare de produs) oferă portaluri de traducere a documentelor în mai multe formate, iar site-ul său oficial introduce OCR, glosare și funcții de referință bilingvă. Pentru echipele care vor să înceapă direct din fișiere, aceasta este o cale care merită evaluată cu mostre reale. Vă rugăm să folosiți fișierul anonimizat pe care l-ați autorizat pentru a încărca și să verificați rezultatele cu lista de verificare din acest articol. Aceasta nu susține că OmniDoc folosește biblioteca open-source sau algoritmii interni din acest articol, nici nu înlocuiește testarea performanței produsului cu exemple.

🎯 Care metodă ți se potrivește?

Dacă vrei doar să organizezi textul pe aceeași linie

  • Grupați după line; când coordonatele y se potrivesc, concatenați în siguranță span.text.

Dacă întâlnești formule sau indici în linie

  • Păstrează structura originală span și nu fuzionează.

Dacă lucrezi cu scanări sau PDF-uri cu multe spaturi simple,

  • Inițial marcate ca fiind de calitate scăzută, apoi trecute la calibrare manuală sau procese OCR dedicate.

Dacă vrei să traduci peste blocuri sau pagini

  • Pe baza judecății contextuale, nu este recomandat să fuzionezi direct automat.

❓ Întrebări frecvente (FAQ)

1. Dacă o linie de text este împărțită în mai multe intervale, trebuie să fie segmentată?

Nu neapărat; cel mai adesea este cauzată de schimbări ale fontului, dimensiunii fontului sau culorii. În cadrul aceluiași line, span are aceeași poziție de bază și verticală.

2. La ce ar trebui să fii atent la finalul unui paragraf?

Vezi dacă lista line se termină și dacă începe un nou block, nu numărul de span.

3. Poți rezolva problema cu span-ul cu un singur caracter prin concatenarea șirurilor?

Nu este recomandat. Astfel de situații nu au criterii fiabile de secvențiere și grupare; o abordare mai sigură este să le marchezi ca fiind de calitate scăzută și să le treci la procese manuale sau OCR.

4. Cât ar trebui să fie setat y_tolerance în timpul fuziunii?

Versiunea 2.0 din exemplu este setată doar în scopuri de sinteză și nu este un standard industrial. În proiectele reale, poți calcula dinamic pe baza dimensiunii medii a fontului sau poți avea încredere directă în gruparea line.

5. Pot fi folosite fuziunile automate în contractele legale?

Nu este potrivit decât dacă este verificat de experți în domeniu.

📝 Rezumat

Pentru a determina dacă span poate fuziona, cheia este să analizăm mai întâi structura line și block, apoi să analizăm pozițiile lor geometrice. Când întâlnești formule, scanări sau semantică cross-block, este mai bine să păstrezi forma originală sau să treci la semantica manuală decât să le îmbini forțat.

Experiența acum: Încarcă documentul pentru a începe traducerea, păstrând formatul original

Actualizat 2026-11-16