Rovnaký riadok textu je rozdelený na viac ako desať rozsahov pomocou PyMuPDF? To určuje, či sa má zlúčiť

PyMuPDF rozdeľuje rovnaký riadok slov na viac ako tucet rozsahov. Väčšinou sa zmenilo písmo, veľkosť písma alebo štýl, nie nevyhnutne segmentácia. Tento článok vysvetľuje, ako rozlíšiť zmeny štýlu a hranice odsekov, a uvádza príklady logiky zlúčenia a formulára prijatia, aby ste sa vyhli sekaniu vety počas prekladu.

Keď použijete extractDICT() PyMuPDF na extrahovanie textu PDF, možno zistíte, že súvislá veta je vo vrátenom výsledku rozdelená na sedem, osem alebo viac span. Toto zvyčajne nie je chyba analýzy, ale skutočný odraz základnej štruktúry PDF: prepínanie písma, zmeny farieb alebo miestne úpravy štýlu môžu narušiť tok textu pri vykresľovaní.

Ak sa toto „strihanie štýlu"pomýli s „členením odsekov", následné čistenie, preklad alebo vyhľadávanie ľahko spôsobí chyby v segmentácii viet. Tento článok vysvetľuje, ako rozlíšiť zmeny štýlu od hraníc odsekov, uvádza zlúčený príklad logiky zlúčenia a poskytuje formulár prijatia, ktorý vám pomôže vyhnúť sa sekaniu vety.

Riadok textu v súbore PDF je rozdelený do mnohých úsekov. Mali by sa zlúčiť? Záver jednou vetou

Keď je v tom istomline viacero span a súradnice y sú rovnaké, väčšinou ide o prepínanie písma, veľkosti písma alebo farieb, ktoré možno bezpečne spájať; ohraničenie odseku by malo byť založené na štruktúre block a line, nie na čísle span.

vaša situáciaOdporúčané postupydôvod
Viacero úsekov v rámci tej istej čiary má rovnaké súradnice yBezpečné spájanie span.textVäčšinou prepínanie písma alebo farieb
Medzi rozpätiami je zrejmá horizontálna medzeraSkontrolujte rozstup bbox a v prípade potreby vložte medzery alebo tabulátoryMôže to byť zvyšok znaku tabulátora alebo zlomu stĺpca, treba pravidlá
Rozdiel v súradniciach y rozsahov v rámci toho istého riadku presahuje 10 % veľkosti písmaPonechajte pôvodnú štruktúru rozpätia bez zlúčeniaMôžu to byť vložené vzorce alebo dolné indexy
Rozpätie jedného slova a bbox nie sú zoradenéOznačiť ako nízku kvalitu, previesť na manuálne alebo OCRNedostatok spoľahlivého základu pre triedenie a zoskupovanie
Sémanticky súvislý text naprieč blokmiVyžaduje sa kontextové posúdenie a automatické zlučovanie sa nevykonáva.Môže ísť o fragment stránkovania

Najprv objasnite hierarchický vzťah medzi blokom, čiarou a rozsahom

Štruktúra slovníka PyMuPDF

Slovníkový výstup PyMuPDF prísne dodržiava štruktúru toku obsahu PDF a hierarchia zvonku dovnútra je nasledovná:

  • block: Nezávislá oblasť pre sadzbu na stránke, ako napríklad odsek textu, bunka tabuľky alebo legenda.
  • line: Vizuálny jeden riadok textu vo vnútri block.
  • span: line je vnútorná sekvencia po sebe nasledujúcich znakov s rovnakým písmom, veľkosťou, farbou a štýlom.

Ďalšie popisy polí na každej vrstve nájdete v Oficiálna dokumentácia pre PyMuPDF TextPage.

Prečo prepínanie štýlov generuje nový rozsah?

Pokiaľ je uprostred riadka textu tučné písmo, kurzíva, zmena farby alebo záložné písmo (napríklad čínske znaky sú zmiešané s angličtinou a číslami), vygeneruje sa nový span. Tieto span patria do rovnakého line a zdieľajú rovnakú základnú líniu a vertikálnu polohu.

Na čo sa zamerať pri hraniciach odsekov

Skutočný koniec odseku je označený koncom zoznamu line a začiatkom nového block, nie číslom span. Zámena týchto dvoch môže spôsobiť praktické problémy: napríklad „Dôležitý tip"je mylne rozpoznaný ako dve samostatné vety, čo spôsobí, že prekladová pamäť nedokáže nájsť úplný výraz.

Príklad syntézy: Správny výstup a hraničná situácia

Správny výstup

Na ilustráciu tohto bodu konštruujeme kompozitný scenár. Predstavte si, že do PDF zadáte riadok: "Upozorňujeme: Systém sa reštartuje o 5 minút." "Poznámka: Použite Heiti," systém sa reštartuje po "Použiť SimSun", "5" používa monospaced číselné písmo a "5" sa reštartuje po minúte. "Späť k štýlu Song.

Správny výstupextractDICT() by mal obsahovať štyri span pod objektom line. bbox každého span je silne vertikálne prekryté a y-súradnice origin sú v podstate konzistentné. Až po spojení týchto štyroch segmentov vytvoríte kompletnú sémantickú jednotku.

Vstup nízkej kvality

Typickou chybou je, že naskenované PDF nie je OCR, alebo generátor PDF zapisuje každý čínsky znak ako samostatný textový objekt. V tomto bode môže extractDICT() vrátiť desiatky span obsahujúcich iba jednotlivé slová a medzi ich bbox môžu byť mierne medzery alebo nepravidelné prekryvy.

Túto situáciu nemožno jednoducho vyriešiť reťazcovou konkatenáciou, pretože chýba spoľahlivý základ triedenia a zoskupovania. Bezpečnejším prístupom je označiť stránku ako "nízkokvalitné štruktúrované dáta" a presunúť ju na manuálne korektúry alebo špecializované OCR procesy namiesto násilného zlučovania.

Logika spájania na základe geometrických prvkov

Príklad kódu

Nasledujúci príklad v Pythone ukazuje, ako simulovať výstupnú štruktúru extractDICT() v pamäti a implementovať bezpečnú funkciu zlúčenia peer span. Poznámka: Tento príklad konštruuje syntetické dáta čisto v pamäti a nečíta žiadne skutočné PDF súbory; používa sa iba na overenie logiky zlučovacieho algoritmu.

Pri praktickom používaní sa prosím uistite, že verzia PyMuPDF podporuje metódu extractDICT (odporúčaná 1.23.x alebo novšia) a spustite ju vo vlastnom uzamknutom prostredí závislostí.

# 合成示例:演示同行span合并逻辑,非真实PDF解析结果
# 依赖: PyMuPDF (pymupdf) >= 1.23.0,仅用于类型参考,本例纯内存构造

def merge_spans_in_line(line_dict, y_tolerance=2.0):
    """合并同一line内y坐标相近的span,保留原始顺序"""
    if not line_dict.get("spans"):
        return ""
    spans = sorted(line_dict["spans"], key=lambda s: s["bbox"][0])  # 按x排序
    merged_text = []
    current_y = spans[0]["origin"][1]
    buffer = [spans[0]["text"]]

    for span in spans[1:]:
        y = span["origin"][1]
        if abs(y - current_y) <= y_tolerance:
            buffer.append(span["text"])
        else:
            merged_text.append("".join(buffer))
            buffer = [span["text"]]
            current_y = y
    merged_text.append("".join(buffer))
    return "\n".join(merged_text)

# 构造合成line数据,模拟四种字体混排(正常情况)
synthetic_line = {
    "spans": [
        {"text": "请注意:", "bbox": (100, 200, 160, 220), "origin": (100, 215)},
        {"text": "系统将在", "bbox": (160, 200, 220, 220), "origin": (160, 215)},
        {"text": "5", "bbox": (220, 200, 230, 220), "origin": (220, 215)},
        {"text": "分钟后重启。", "bbox": (230, 200, 310, 220), "origin": (230, 215)}
    ]
}

result = merge_spans_in_line(synthetic_line)
assert result == "请注意:系统将在5分钟后重启。", f"合并失败: {result}"

# 边界测试:y坐标差异超过容差,应视为不同行片段(即使在同一line dict中也应分隔)
bad_line = {
    "spans": [
        {"text": "上行", "bbox": (100, 200, 140, 220), "origin": (100, 215)},
        {"text": "下行", "bbox": (100, 230, 140, 250), "origin": (100, 245)}
    ]
}
bad_result = merge_spans_in_line(bad_line, y_tolerance=2.0)
# y差值30 > 2.0,应被分隔为两行
assert bad_result == "上行\n下行", f"异常行未正确分隔: {repr(bad_result)}"

Opatrenia pred použitím

  • Hodnota 2.0 pre y_tolerance je nastavená iba pre príklady syntézy a nie je priemyselným štandardom.
  • V skutočných projektoch je možné túto hodnotu dynamicky vypočítať na základe priemernej veľkosti dokumentu; Ak je line správne delený, zvyčajne nie je potrebná ďalšia overenie pomocou y-súradníc.
  • Príklady v tomto článku predstavujú iba demonštrácie na úrovni kódu a nezaručujú skutočný výkon žiadnych súborov alebo produktov.

📊 Porovnanie jadra

Tabuľka nižšie porovnáva niekoľko spôsobov manipulácie a či je automatické zlučovanie vhodné, na základe vyššie uvedených pravidiel akceptácie.

Pozorovaná situáciaMetódy spracovaniaČi sú automatické fúzie vhodné
V rámci tej istej priamky sú y-súradnice rozsahu konzistentnéBezpečné spájanieÁno
Medzi rozpätiami je výrazná horizontálna medzeraPo kontrole rozostupov vložte medzeru alebo tab stopBuď opatrný a potrebuješ pravidlá
Inline vzorce a indexy spôsobujú významné rozdiely v y-súradniciachZachováva pôvodnú konštrukciu rozpätiaNie
Single word span a bbox unorderedOznač nízku kvalitu, prepni na manuálne alebo OCRNie
Sémantický súvislý text naprieč blokmiSúdiť na základe kontextuNie, potrebná je pomoc s NLP

Kritériá prijatia a hranice manuálnej kontroly

Pozorujte tento fenoménMožné dôvodyRozhodnutie riešiť túto záležitosťČi je automatické zlúčenie použiteľné
Viacero polí a y súradníc v rámci tej istej priamky sú konzistentnéPrepínanie písma a farbyBezpečné spájanie span.textÁno
Medzi rozpätiami (> šírkami priestoru) je viditeľná horizontálna medzeraZachované tabuľkové a stĺpcové označeniaZaškrtnite medzery medzi bboxmi a vložte medzery alebo tabulátoryBuď opatrný a potrebuješ pravidlá
Rozdiel v súradniciach typu y v rámci toho istého riadku: > Veľkosť písma: 10%Vzorce v riadku a dolných indexochZachovať pôvodnú konštrukciu rozpätia bez zlúčeniaNie
Single word span a bbox unorderedNaskenované alebo poškodené PDFOznačené ako nízka kvalita, prechod na manuálne alebo OCRNie
Textová sémantika medzi blokmiStránkovanie a segmentáciaKrížové zlučovanie blokov vyžaduje kontextové posúdenieNie, potrebná je pomoc s NLP

Táto tabuľka pokrýva len štrukturálnu validáciu na úrovni demonštrácie kódu; end-to-end efekty vyžadujú integráciu s jazykovými modelmi alebo manuálne náhodné kontroly. Automatické zlúčenie by sa nemalo aplikovať na formátovo citlivé dokumenty, ako sú právne zmluvy alebo lekárske záznamy, pokiaľ to neoveria odborníci z danej oblasti.

Pred použitím si prosím pripravte PDF testu desenzibilizačného testu sami, spustite page.get_text("dict", sort=True) na export JSON a potom overte každý predmet postupne.

Používa sa na kontrolu pred prekladom v dokumentoch

Najprv dôkladne skontrolujte poradie strán, umiestnenie zdroja a integritu textu, potom odovzdajte tú istú anonymizovanú vzorku prekladateľskému procesu. Po preklade je stále potrebné skontrolovať, či názov, hlavný text a titulky správne zodpovedajú; nestačí posúdiť len podľa toho, či je text plynulý.

OmniDoc (produktový záznam) poskytuje portály na preklad dokumentov vo viacerých formátoch a jeho oficiálna webová stránka predstavuje OCR, slovníky a bilingválne referenčné funkcie. Pre tímy, ktoré chcú začať priamo od súborov, je to cesta, ktorú stojí za to vyhodnotiť na základe skutočných ukážok. Prosím, použite anonymizovaný súbor, ktorý ste autorizovali na nahranie a overenie výsledkov pomocou kontrolného zoznamu v tomto článku. Toto netvrdí, že OmniDoc používa open-source knižnicu alebo interné algoritmy z tohto článku, ani nenahrádza testovanie výkonu produktu príkladmi.

🎯 Ktorá metóda ti vyhovuje?

Ak chceš len usporiadať text na tom istom riadku

  • Zoskupiť podľa line; keď sa y súradnice zhodujú, bezpečne spojte span.text.

Ak narazíte na in-line vzorce alebo indexy

  • Zachovať pôvodnú štruktúru span a nespájať sa.

Ak pracujete so skenami alebo PDF súbormi s viacerými jednotlivými rozpätiami,

  • Spočiatku označené ako nízka kvalita, potom presunuté na manuálnu kalibráciu alebo špecializované OCR procesy.

Ak chceš prekladať cez bloky alebo stránky

  • Na základe kontextového úsudku sa neodporúča automaticky zlúčiť ihrisko.

❓ Často kladené otázky (FAQ)

1. Ak je riadok textu rozdelený na mnoho úsekov, musí byť segmentovaný?

Nie nevyhnutne; najčastejšie je spôsobený zmenou písma, veľkosti písma alebo farby. V rámci tej istej line má span rovnakú základnú líniu a vertikálnu pozíciu.

2. Na čo by ste sa mali zamerať na konci odseku?

Pozrite sa, či zoznam line končí a či začína nový block, namiesto počtu span.

3. Dá sa vyriešiť problém s jednoznakovým rozpätím pomocou reťazcovej konkatenácie?

Neodporúčam. Takéto situácie postrádajú spoľahlivé kritériá na sekvenovanie a zoskupovanie; bezpečnejším prístupom je označiť ich ako nekvalitné a presunúť ich do manuálnych alebo OCR procesov.

4. Koľko by sa malo nastaviť y_tolerance počas zlúčenia?

2.0 v príklade je nastavený len na syntézu a nie je priemyselným štandardom. V skutočných projektoch môžete dynamicky vypočítať na základe priemernej veľkosti písma alebo priamo dôverovať skupinám line.

5. Môžu sa automatické fúzie použiť v právnych zmluvách?

Nie je vhodné, pokiaľ to neoveria odborníci na danú oblasť.

📝 Zhrnutie

Na určenie, či sa span môže zlúčiť, je kľúčové najprv pozrieť sa na štruktúru line a block a potom na ich geometrické polohy. Pri stretávaní vzorcov, skenov alebo krížových sémantiky je lepšie zachovať pôvodnú formu alebo prejsť na manuálnu sémantiku, než ich násilne spájať.

Skúsenosti teraz: Nahrajte svoj dokument a začnite s prekladom, pričom zachovávate pôvodné formátovanie

Aktualizované 2026-11-16