PyMuPDF dijeli isti red teksta u više od deset raspona? Ovo određuje treba li se spojiti

PyMuPDF dijeli isti redak riječi u više od desetak raspona. Većinu vremena promijenio se font, veličina fonta ili stil, a ne nužno segmentacija. Ovaj članak objašnjava kako razlikovati promjene stila i granice odlomaka te daje primjere logike spajanja i obrasca prihvaćanja kako bi se izbjeglo sjeckanje rečenice tijekom prijevoda.

Kada koristite PyMuPDF-ov extractDICT() za izdvajanje PDF teksta, možete otkriti da je koherentna rečenica izrezana na sedam, osam ili više span u vraćenom rezultatu. To obično nije pogreška raščlambe, već pravi odraz temeljne strukture PDF-a: promjena fontova, promjena boja ili lokalne prilagodbe stila mogu prekinuti tijek teksta prilikom iscrtavanja.

Ako se ovo "rezanje stila" pogrešno zamijeni za "segmentaciju odlomka", naknadno čišćenje, prijevod ili dohvaćanje lako će uzrokovati pogreške segmentacije rečenice. Ovaj članak objašnjava kako razlikovati promjene stila od granica odlomaka, daje spojeni primjer logike spajanja i daje obrazac za prihvaćanje koji će vam pomoći da izbjegnete sjeckanje rečenice.

Redak teksta u PDF-u podijeljen je u mnogo raspona. Treba li ih spojiti? Zaključak jedne rečenice

Kada postoji više span u istom line i y koordinate su iste, to je uglavnom font, veličina fonta ili promjena boja, što se može sigurno spojiti; granica odlomka trebala bi se temeljiti na strukturi block i line, a ne na broju span.

vaša situacijaPreporučene prakserazlog
Višestruki rasponi unutar iste linije imaju iste y koordinateSigurno spajanje span.textUglavnom mijenjanje fonta ili boje
Očit je horizontalni razmak između rasponaProvjerite bbox razmake i umetnite razmake ili kartice ako je potrebnoMože biti znak kartice ili ostatak prijeloma stupca, potrebna su pravila
Razlika u y koordinatama raspona unutar istog retka prelazi 10% veličine fontaZadržati izvornu strukturu raspona bez spajanjaMogu biti ugrađene formule ili indeksi
Raspon jedne riječi i bbox nisu poredaniOznači kao niska kvaliteta, pretvori u ručni ili OCRNedostatak pouzdane osnove za sortiranje i grupiranje
Semantički kontinuirani tekst kroz blokovePotrebna je procjena konteksta i automatsko spajanje se ne provodi.To može biti fragment stranice

Prvo razjasnite hijerarhijski odnos između bloka, linije i raspona

Struktura rječnika PyMuPDF-a

Rječnički izlaz PyMuPDF-a strogo slijedi strukturu protoka sadržaja PDF-a, a hijerarhija izvana prema unutra je sljedeća:

  • block: Neovisno područje za slaganje teksta na stranici, kao što je odlomak teksta, ćelija tablice ili legenda.
  • line: Vizualni jedan red teksta unutar block.
  • span: line je interni niz uzastopnih znakova s istim fontom, veličinom, bojom i stilom.

Za više opisa polja na svakom sloju pogledajte Službena dokumentacija PyMuPDF TextPage.

Zašto promjena stila generira novi raspon?

Sve dok postoji podebljano, kurziv, promjena boje ili rezervni font u sredini retka teksta (na primjer, kineski znakovi su pomiješani s engleskim i brojevima), novi span će se generirati. Ovi span pripadaju istom line i dijele istu osnovnu crtu i vertikalni položaj.

Što gledati na granice odlomaka

Pravi kraj odlomka označen je krajem liste line i početkom novog block, a ne brojem span. Zamjena to dvoje može uzrokovati praktične probleme: na primjer, "Važan savjet" greškom se prepoznaje kao dvije odvojene rečenice, zbog čega prijevodna memorija ne može pronaći cijeli izraz.

Primjer sinteze: ispravan izlaz i rubni slučajevi

Ispravan izlaz

Kako bismo ilustrirali problem, konstruiramo sintetički scenarij. Pretpostavimo da postoji redak teksta u ulaznom PDF-u: "Napomena: sustav će se ponovno pokrenuti za 5 minuta." Među njima, "Napomena:" koristi podebljani font, "sustav će se ponovno pokrenuti za 5 minuta" vraća se na font pjesme.

Ispravan extractDICT() izlaz trebao bi sadržavati četiri span pod jednim line objektom. bbox svakog span se jako preklapaju u okomitom smjeru, a y-koordinate origin su u osnovi dosljedne. Ova četiri fragmenta spojena su zajedno kako bi tvorila potpunu semantičku jedinicu.

Unos niske kvalitete

Tipična situacija pogreške je da skenirani PDF nije OCRed ili PDF generator zapisuje svaki kineski znak kao zaseban tekstualni objekt. U ovom slučaju extractDICT() može vratiti desetke span-ova od jedne riječi, a između njihovih bbox-ova mogu postojati mali razmaci ili nepravilna preklapanja.

Ova se situacija ne može popraviti jednostavnim ulančavanjem nizova jer ne postoji pouzdana osnova za sortiranje i grupiranje. Sigurnije je označiti stranicu kao "strukturirane podatke niske kvalitete" i poslati je na ručnu lekturu ili namjenski OCR proces umjesto prisilnog spajanja.

Logika spajanja raspona temeljena na geometrijskim značajkama

Uzorak koda

Sljedeći Python primjer pokazuje kako emulirati izlaznu strukturu extractDICT() u memoriji i implementirati sigurnu funkciju spajanja peer span. Napomena: Ovaj primjer konstruira sintetičke podatke isključivo iz memorije i ne čita stvarne PDF datoteke. Koristi se samo za provjeru logike algoritma spajanja.

Za stvarnu upotrebu potvrdite da verzija PyMuPDF podržava metodu extractDICT (preporučuje se 1.23.x i novija) i pokrenite je u vlastitom zaključanom okruženju ovisnosti.

# 合成示例:演示同行span合并逻辑,非真实PDF解析结果
# 依赖: PyMuPDF (pymupdf) >= 1.23.0,仅用于类型参考,本例纯内存构造

def merge_spans_in_line(line_dict, y_tolerance=2.0):
    """合并同一line内y坐标相近的span,保留原始顺序"""
    if not line_dict.get("spans"):
        return ""
    spans = sorted(line_dict["spans"], key=lambda s: s["bbox"][0])  # 按x排序
    merged_text = []
    current_y = spans[0]["origin"][1]
    buffer = [spans[0]["text"]]

    for span in spans[1:]:
        y = span["origin"][1]
        if abs(y - current_y) <= y_tolerance:
            buffer.append(span["text"])
        else:
            merged_text.append("".join(buffer))
            buffer = [span["text"]]
            current_y = y
    merged_text.append("".join(buffer))
    return "\n".join(merged_text)

# 构造合成line数据,模拟四种字体混排(正常情况)
synthetic_line = {
    "spans": [
        {"text": "请注意:", "bbox": (100, 200, 160, 220), "origin": (100, 215)},
        {"text": "系统将在", "bbox": (160, 200, 220, 220), "origin": (160, 215)},
        {"text": "5", "bbox": (220, 200, 230, 220), "origin": (220, 215)},
        {"text": "分钟后重启。", "bbox": (230, 200, 310, 220), "origin": (230, 215)}
    ]
}

result = merge_spans_in_line(synthetic_line)
assert result == "请注意:系统将在5分钟后重启。", f"合并失败: {result}"

# 边界测试:y坐标差异超过容差,应视为不同行片段(即使在同一line dict中也应分隔)
bad_line = {
    "spans": [
        {"text": "上行", "bbox": (100, 200, 140, 220), "origin": (100, 215)},
        {"text": "下行", "bbox": (100, 230, 140, 250), "origin": (100, 245)}
    ]
}
bad_result = merge_spans_in_line(bad_line, y_tolerance=2.0)
# y差值30 > 2.0,应被分隔为两行
assert bad_result == "上行\n下行", f"异常行未正确分隔: {repr(bad_result)}"

Mjere opreza prije uporabe

  • Vrijednost 2,0 za y_tolerance samo je sintetička postavka primjera i nije industrijski standard.
  • U stvarnim projektima, ova se vrijednost može dinamički izračunati na temelju prosječne veličine fonta dokumenta; ako je sam line ispravno podijeljen, obično nema potrebe za dodatnom provjerom y-koordinate.
  • Primjeri u ovom članku predstavljaju samo demonstracije na razini koda i ne predstavljaju jamstvo svih stvarnih datoteka ili učinaka proizvoda.

📊 Osnovna usporedba

Sljedeća tablica uspoređuje nekoliko metoda obrade i jesu li one prikladne za automatsko spajanje na temelju promatrane situacije, na temelju gore navedenih pravila prihvaćanja.

Promatrano stanjeMetoda obradeJe li prikladan za automatsko spajanje?
Y koordinate raspona unutar iste linije su dosljedneSigurno spajanjeDa
Očit je horizontalni razmak između rasponaUmetnite razmake ili tabulatore nakon provjere razmakaBudite oprezni i potrebna su vam pravila
Umetnute formule, indeksi i indeksi dovode do velikih razlika u y koordinatamaZadržati izvornu strukturu rasponaNe
Raspon jedne riječi i bbox nisu poredaniOznačite nisku kvalitetu, pretvorite u ručni ili OCRNe
Semantički kontinuirani tekst kroz blokoveProsudba na temelju kontekstaNe, NLP pomoć je potrebna

Kriteriji prihvaćanja i granice ručnog pregleda

Promatrajte pojaveMogući razloziodluka o obradiTreba li primijeniti automatsko spajanje
Višestruki rasponi unutar iste linije imaju iste y koordinatePromjena fonta/bojeSigurno spajanje span.textDa
Postoji očit vodoravni razmak između raspona (>širina prostora)Tabulatorski znakovi i ostaci stupacaProvjerite bbox razmak, umetnite razmake ili karticeBudite oprezni i potrebna su vam pravila
Razlika u span y koordinatama unutar iste linije > veličina fonta 10%Inline formule, superskripti i indeksiZadržati izvornu strukturu raspona bez spajanjaNe
Raspon jedne riječi i bbox nisu poredaniSkeniran ili oštećen PDFOznači kao niska kvaliteta, pretvori u ručni ili OCRNe
Semantički kontinuitet teksta između blokovaPrijelom straniceSpajanje između blokova zahtijeva kontekstualnu prosudbuNe, NLP pomoć je potrebna

Ova tablica pokriva samo strukturnu provjeru na razini demonstracije koda, a učinak od kraja do kraja potrebno je kombinirati s jezičnim modelima ili ručnim uzorkovanjem. Automatsko spajanje ne bi se trebalo koristiti za dokumente osjetljive na format kao što su pravni ugovori, medicinski kartoni itd., osim ako to ne potvrdi stručnjak za domenu.

Prije upotrebe sami pripremite PDF testa desenzibilizacije, pokrenite page.get_text("dict", sort=True) za izvoz JSON-a, a zatim provjerite svaku stavku.

Koristi se za provjeru prije prijevoda dokumenta

Prvo provjerite redoslijed stranica, lokaciju izvora i cjelovitost teksta, a zatim pošaljite isti desenzibilizirani uzorak u proces prevođenja. Nakon prijevoda još uvijek treba provjeriti odgovaraju li naslov, tekst i ilustracije, a ne samo je li tekst gladak.

OmniDoc (portal proizvoda) nudi portal za prevođenje dokumenata u više formata, a službena web stranica uvodi OCR, glosar i funkcije dvojezične usporedbe. Za timove koji žele raditi izravno iz datoteka, ovo je put vrijedan evaluacije s uzorcima iz stvarnog života. Upotrijebite desenzibilizirane datoteke za čije učitavanje imate dopuštenje i upotrijebite kontrolne stavke u ovom članku da biste pregledali rezultate. Ovdje se ne tvrdi da OmniDoc koristi biblioteke otvorenog koda ili interne algoritme u ovom članku, niti primjer zamjenjuje testiranje performansi proizvoda.

🎯 Koja je metoda prikladna za vas?

Ako samo želite organizirati tekst u istom retku

  • Grupirajte po line i sigurno spojite span.text kada su y koordinate dosljedne.

Ako naiđete na umetnute formule ili superskripte

  • Zadržite izvornu span strukturu bez spajanja.

Ako imate posla sa skeniranim ili PDF-ovima s mnogo raspona pojedinačnih riječi

  • Prvo označite kao nisku kvalitetu, a zatim prebacite na ručno lektoriranje ili namjenski OCR proces.

Ako želite prevesti više blokova ili više stranica

  • Na temelju kontekstualne prosudbe, nije prikladno izravno spajanje automatski.

❓ Često postavljana pitanja (FAQ)

1. Redak teksta je podijeljen u mnogo raspona. Mora li to biti segmentacija?

Ne nužno, uglavnom je uzrokovana promjenama u fontu, veličini fonta ili boji. span unutar istog line dijele istu osnovnu liniju i okomiti položaj.

2. Što trebam pročitati na kraju odlomka?

Pogledajte završava li popis line i počinje li novi block, a ne broj span.

3. Može li se ulančavanje nizova koristiti za rješavanje problema raspona jedne riječi?

Ne preporučuje se. Takvi slučajevi nemaju pouzdanu osnovu za razvrstavanje i grupiranje, pa je razboritije označiti ih kao niske kvalitete i proslijediti ručnom ili OCR postupku.

4. Koliko treba postaviti y_tolerance prilikom spajanja?

2.0 u primjeru samo je sintetička postavka primjera i nije industrijski standard. Stvarne stavke mogu se izračunati dinamički na temelju prosječne veličine fonta ili izravno vjerovati grupiranju line.

5. Može li se automatsko spajanje koristiti u pravnim ugovorima?

Nije prikladno osim ako ga ne potvrde stručnjaci za domenu.

📝 Sažetak

Ključ za prosuđivanje može li se span spojiti je prvo pogledati strukturu line i block, a zatim pogledati geometrijski položaj. Kada naiđete na formule, skenirane dokumente ili semantiku križnih blokova, bolje ih je zadržati onakvima kakvi jesu ili ih ručno pretvoriti umjesto da ih nasilno spajate.

Isprobajte sada: prenesite dokument za početak prijevoda, zadržavajući izvorni izgled

Ažurirano 2026-11-16