Ugyanazt a szövegsort a PyMuPDF tíznél több szakaszra osztja? Ez határozza meg, hogy össze kell-e vonni

A PyMuPDF ugyanazt a szósort több mint tucatnyi szakaszra bontja. Legtöbbször a betűtípus, a betűméret vagy -stílus változott, nem feltétlenül a szegmentálás. Ez a cikk elmagyarázza, hogyan lehet megkülönböztetni a stílusváltozásokat és a bekezdéshatárokat, és példákat ad a logika és az elfogadási űrlap egyesítésére, hogy elkerülje a mondat feldarabolását a fordítás során.

Ha a PyMuPDF extractDICT()-ját használja a PDF-szöveg kibontására, előfordulhat, hogy egy koherens mondat hét, nyolc vagy több span-re vágódik a visszaadott eredményben. Ez általában nem elemzési hiba, hanem a PDF mögöttes szerkezetének valódi tükröződése: a betűtípusváltás, a színváltoztatás vagy a helyi stílusmódosítások megszakíthatják a szövegfolyamat rendereléskor.

Ha ezt a "stílusszeletelést" összetévesztik "bekezdésszegmentálással", az ezt követő tisztítás, fordítás vagy visszakeresés könnyen mondatszegmentálási hibákat okoz. Ez a cikk elmagyarázza, hogyan lehet megkülönböztetni a stílusmódosításokat a bekezdéshatároktól, példát ad az összevonási logikára, és egy elfogadási űrlapot ad, amely segít elkerülni a mondat feldarabolását.

A PDF-ben egy szövegsor több szakaszra van felosztva. Egyesíteni kell őket? Egy mondatos következtetés

Ha több span van ugyanabban a line-ben, és az y-koordináták megegyeznek, akkor ez többnyire a betűtípus, a betűméret vagy a színváltás, ami biztonságosan összeilleszthető; a bekezdés határának a block és line szerkezetén kell alapulnia, nem a span számán.

a helyzetedAjánlott gyakorlatokok
Ugyanazon a vonalon belül több fesztávnak ugyanaz az y koordinátájaBiztonságos splicing span.textLeginkább betűtípus vagy színváltás
A fesztávok között nyilvánvaló vízszintes rés vanJelölje be a bbox térközt, és ha szükséges, szúrjon be szóközt vagy tabulátortLehet tabulátor karakter vagy oszloptörés maradvány, szabályokra van szükség
Az ugyanazon a vonalon belüli fesztávok y koordinátáiban a különbség meghaladja a betűméret 10%-átTartsa meg az eredeti feszítőszerkezetet összevonás nélkülLehetnek soron belüli képletek vagy alsó indexek
Az egyetlen szó terjedelme és a bbox rendezetlenekJelölje meg gyenge minőségűként, konvertálja kézi vagy OCR-reMegbízható válogatási és csoportosítási alap hiánya
Szemantikailag folyamatos szöveg blokkon keresztülKontextus szerinti megítélés szükséges, és az automatikus összevonás nem történik meg.Lehet, hogy lapozási töredék

Először tisztázza a Block, Line és Span közötti hierarchikus kapcsolatot

A PyMuPDF szótárszerkezete

A PyMuPDF szótár kimenete szigorúan követi a PDF tartalomfolyam-struktúráját, és a hierarchia kívülről befelé a következő:

  • block: Független betűszedési terület az oldalon, például egy szöveg bekezdés, táblázatcella vagy jelmagyarázat.
  • line: vizuális egysoros szöveg a block belsejében.
  • span: A line egymást követő karakterek belső sorozata, azonos betűtípussal, mérettel, színnel és stílussal.

Az egyes rétegek mezőinek további leírását a PyMuPDF TextPage hivatalos dokumentációja tartalmazza.

Miért generál új tartományt a stílusváltás?

Mindaddig, amíg a szövegsor közepén félkövér, dőlt betű, színváltoztatás vagy betűtípus-visszaállítás van (például kínai karakterek keverednek angolul és számokkal), új span jön létre. Ezek a span-k ugyanahhoz a line-hez tartoznak, és ugyanazt az alapvonalat és függőleges pozíciót osztják meg.

Mit kell nézni a bekezdéshatároknál

A valódi bekezdésvégi jel a line lista vége és egy új block eleje, nem pedig a span száma. A kettő összekeverése gyakorlati problémákat okozhat: például a „Fontos tipp"tévedésből két különálló mondatként kerül felismerésre, így a fordítási memória nem tud megfelelni a teljes kifejezésnek.

Szintézis példa: helyes kimeneti és éles esetek

Helyes kimenet

A probléma illusztrálására egy szintetikus forgatókönyvet készítünk. Tegyük fel, hogy van egy sor szöveg a bemeneti PDF-ben: "Kérjük, vegye figyelembe: A rendszer 5 percen belül újraindul." Közülük a "Kérjük, vegye figyelembe:" félkövér betűtípust használ, a "rendszer 5 percen belül újraindul" visszatér a Song betűtípusra.

A helyesextractDICT() kimenetnek négy span-t kell tartalmaznia egy line objektum alatt. Az egyes span bbox-jei függőleges irányban nagymértékben átfednek, és a origin y-koordinátái alapvetően konzisztensek. Ezt a négy töredéket összeillesztve egy teljes szemantikai egységet alkotnak.

Gyenge minőségű bemenet

Tipikus hibahelyzet az, hogy a beolvasott PDF nem lett OCR-re írva, vagy a PDF generátor minden kínai karaktert külön szövegobjektumként ír. Ebben az esetben a extractDICT() több tucat egyszavas span-t ad vissza, és kis hézagok vagy szabálytalan átfedések lehetnek a bbox-jeik között.

Ezt a helyzetet nem lehet egyszerűen karakterlánc-összefűzéssel orvosolni, mert nincs megbízható alap a rendezésre és csoportosításra. Biztonságosabb, ha az oldalt "rossz minőségű strukturált adatként" jelöli meg, és kézi lektorálásra vagy egy dedikált OCR-folyamatba küldi, az összevonás kényszerítése helyett.

Egyesítési logika a geometriai jellemzők alapján

Mintakód

A következő Python-példa bemutatja, hogyan emulálható a extractDICT() kimeneti struktúrája a memóriában, és hogyan valósítható meg egy biztonságos peer span egyesítő funkció. Megjegyzés: Ez a példa szintetikus adatokat hoz létre tisztán a memóriából, és nem olvas be valódi PDF fájlokat. Csak az összevonási algoritmus logikájának ellenőrzésére szolgál.

A tényleges használathoz ellenőrizze, hogy a PyMuPDF verzió támogatja-e a extractDICT metódust (1.23.x és újabb ajánlott), és futtassa azt saját zárolt függőségi környezetben.

# 合成示例:演示同行span合并逻辑,非真实PDF解析结果
# 依赖: PyMuPDF (pymupdf) >= 1.23.0,仅用于类型参考,本例纯内存构造

def merge_spans_in_line(line_dict, y_tolerance=2.0):
    """合并同一line内y坐标相近的span,保留原始顺序"""
    if not line_dict.get("spans"):
        return ""
    spans = sorted(line_dict["spans"], key=lambda s: s["bbox"][0])  # 按x排序
    merged_text = []
    current_y = spans[0]["origin"][1]
    buffer = [spans[0]["text"]]

    for span in spans[1:]:
        y = span["origin"][1]
        if abs(y - current_y) <= y_tolerance:
            buffer.append(span["text"])
        else:
            merged_text.append("".join(buffer))
            buffer = [span["text"]]
            current_y = y
    merged_text.append("".join(buffer))
    return "\n".join(merged_text)

# 构造合成line数据,模拟四种字体混排(正常情况)
synthetic_line = {
    "spans": [
        {"text": "请注意:", "bbox": (100, 200, 160, 220), "origin": (100, 215)},
        {"text": "系统将在", "bbox": (160, 200, 220, 220), "origin": (160, 215)},
        {"text": "5", "bbox": (220, 200, 230, 220), "origin": (220, 215)},
        {"text": "分钟后重启。", "bbox": (230, 200, 310, 220), "origin": (230, 215)}
    ]
}

result = merge_spans_in_line(synthetic_line)
assert result == "请注意:系统将在5分钟后重启。", f"合并失败: {result}"

# 边界测试:y坐标差异超过容差,应视为不同行片段(即使在同一line dict中也应分隔)
bad_line = {
    "spans": [
        {"text": "上行", "bbox": (100, 200, 140, 220), "origin": (100, 215)},
        {"text": "下行", "bbox": (100, 230, 140, 250), "origin": (100, 245)}
    ]
}
bad_result = merge_spans_in_line(bad_line, y_tolerance=2.0)
# y差值30 > 2.0,应被分隔为两行
assert bad_result == "上行\n下行", f"异常行未正确分隔: {repr(bad_result)}"

Használat előtti óvintézkedések

  • A y_tolerance 2,0 értéke csak egy szintetikus példabeállítás, és nem ipari szabvány.
  • A tényleges projektekben ez az érték dinamikusan számolható a dokumentum átlagos betűmérete alapján; ha magát a line-t helyesen osztották fel, általában nincs szükség további y-koordináta-ellenőrzésre.
  • A cikkben szereplő példák csak kódszintű bemutatókat jelentenek, és nem jelentenek garanciát minden valódi fájlra vagy termékeffektusra.

📊 Alapvető összehasonlítás

Az alábbi táblázat több feldolgozási módot hasonlít össze, illetve azt, hogy a megfigyelt helyzet alapján a fenti elfogadási szabályok alapján alkalmasak-e az automatikus összevonásra.

Megfigyelt helyzetFeldolgozási módszerAutomatikus összevonásra alkalmas?
Az ugyanazon a vonalon belüli fesztávok y koordinátái konzisztensekBiztonságos toldásigen
A fesztávok között nyilvánvaló vízszintes rés vanA szóközök vagy tabulátorok beszúrása a szóközök ellenőrzése utánLegyen óvatos, és szabályokra van szüksége
A soron belüli képletek, felső- és alsóindexek nagy eltérésekhez vezetnek az y koordinátákbanTartsa meg az eredeti fesztávolságotnem
Az egyetlen szó terjedelme és a bbox rendezetlenekJelölje meg az alacsony minőséget, konvertálja kézi vagy OCR-renem
Szemantikailag folyamatos szöveg blokkon keresztülKontextuson alapuló ítéletNem, NLP segítségre van szükség

Elfogadási feltételek és kézi ellenőrzés határai

Figyeld meg a jelenségeketLehetséges okokfeldolgozási határozatAz automatikus egyesítés alkalmazása
Ugyanazon a vonalon belül több fesztávnak ugyanaz az y koordinátájaBetűtípus/szín váltásBiztonságos splicing span.textigen
Nyilvánvaló vízszintes rés van a fesztávok között (>térszélesség)Tabulátor karakterek és oszlopmaradékokJelölje be a bbox térközt, szúrjon be szóközt vagy tabulátortLegyen óvatos, és szabályokra van szüksége
Különbség az y koordináták között ugyanazon a sorban > betűméret 10%Soron belüli képletek, felső- és alsó indexekTartsa meg az eredeti feszítőszerkezetet összevonás nélkülnem
Az egyetlen szó terjedelme és a bbox rendezetlenekBeolvasott vagy sérült PDFJelölje meg gyenge minőségűként, konvertálja kézi vagy OCR-renem
Szöveg szemantikai folytonossága a blokkok közöttOldaltörésA blokkok közötti összevonáshoz kontextus szerinti megítélés szükségesNem, NLP segítségre van szükség

Ez a táblázat csak a strukturális ellenőrzést tartalmazza a kód bemutató szintjén, és a végpontok közötti hatást nyelvi modellekkel vagy kézi mintavételezéssel kell kombinálni. Az automatikus egyesítést nem szabad formátumérzékeny dokumentumokhoz, például jogi szerződésekhez, orvosi feljegyzésekhez stb. használni, kivéve, ha azt domainszakértő igazolta.

Használat előtt készítse elő saját maga a deszenzibilizációs teszt PDF-et, futtassa a page.get_text("dict", sort=True) fájlt a JSON exportálásához, majd ellenőrizze az egyes elemeket.

Dokumentumfordítás előtti ellenőrzésre szolgál

Először ellenőrizze az oldalak sorrendjét, a forrás helyét és a szöveg integritását, majd küldje be ugyanazt az érzéketlenített mintát a fordítási folyamatba. A fordítás után még mindig ellenőriznie kell, hogy a cím, a szöveg és az illusztrációk helyesek-e, nem csak azt, hogy a szöveg sima-e.

A OmniDoc (termékportál) több formátumú dokumentumfordító portált biztosít, a hivatalos webhely pedig OCR, szószedet és kétnyelvű összehasonlító funkciókat kínál. Azon csapatok számára, amelyek közvetlenül a fájlokból szeretnének dolgozni, ez egy olyan út, amelyet érdemes valós mintákkal értékelni. Kérjük, használjon olyan érzékenységmentesített fájlokat, amelyek feltöltésére jogosult, és az eredmények áttekintéséhez használja a cikkben található ellenőrző elemeket. Itt nem állítják, hogy az OmniDoc a nyílt forráskódú könyvtárakat vagy belső algoritmusokat használja ebben a cikkben, és a példa sem helyettesíti a termék teljesítményének tesztelését.

🎯 Melyik módszer illik hozzád?

Ha csak a szöveget szeretné ugyanabban a sorban rendezni

  • Csoportosítás line szerint, és biztonságosan összeilleszti a span.text-t, ha az y koordináták konzisztensek.

Ha soron belüli képletekkel vagy felső indexekkel találkozik

  • Tartsa meg az eredeti span szerkezetet összevonás nélkül.

Ha olyan beolvasásokkal vagy PDF-ekkel foglalkozik, amelyek sok egyetlen szót tartalmaznak

  • Először jelölje meg gyenge minőségűként, majd vigye át kézi lektorálásra vagy dedikált OCR-folyamatra.

Ha blokkokon vagy oldalakon átívelő fordítást szeretne végezni

  • A kontextuális megítélés alapján nem célszerű közvetlenül automatikusan egyesíteni.

❓ Gyakran Ismételt Kérdések (GYIK)

1. Egy szövegsor több szakaszra van felosztva. Szegmentálásnak kell lennie?

Nem feltétlenül, leginkább a betűtípus, a betűméret vagy a szín változása okozza. A span ugyanazon a line-n belül ugyanazt az alapvonalat és függőleges pozíciót osztja meg.

2. Mit kell olvasnom a bekezdés végén?

Nézze meg, hogy a line lista véget ér-e és egy új block kezdődik-e, ne a span számát.

3. Használható karakterlánc-összefűzés az egyszavas terjedelmű probléma megoldására?

Nem ajánlott. Az ilyen eseteknek nincs megbízható alapja a rendezéshez és csoportosításhoz, és körültekintőbb, ha rossz minőségűként jelölik meg, és továbbítják őket egy kézi vagy OCR-folyamathoz.

4. Mennyire kell beállítani a y_tolerance értéket egyesítéskor?

A példában szereplő 2.0 csak egy szintetikus példabeállítás, és nem ipari szabvány. A tényleges elemek dinamikusan kiszámíthatók az átlagos betűméret alapján, vagy közvetlenül megbízhat a line csoportosításában.

5. Alkalmazható-e az automatikus egyesülés jogi szerződésekben?

Nem megfelelő, hacsak nem ellenőrizték a domain szakértői.

📝 Összefoglaló

Annak eldöntéséhez, hogy a span összevonható-e, a kulcs az, hogy először a line és block szerkezetét, majd a geometriai pozíciót nézzük meg. Ha képletekkel, beolvasott dokumentumokkal vagy blokkokon átívelő szemantikával találkozik, jobb, ha megőrzi őket úgy, ahogy vannak, vagy kézzel konvertálja őket, ahelyett, hogy erőszakkal összekapcsolná őket.

Próbálja ki most: Töltse fel a dokumentumot a fordítás megkezdéséhez, megtartva az eredeti elrendezést

Frissítve: 2026-11-16