Ugyanazt a szövegsort a PyMuPDF tíznél több szakaszra osztja? Ez határozza meg, hogy össze kell-e vonni
A PyMuPDF ugyanazt a szósort több mint tucatnyi szakaszra bontja. Legtöbbször a betűtípus, a betűméret vagy -stílus változott, nem feltétlenül a szegmentálás. Ez a cikk elmagyarázza, hogyan lehet megkülönböztetni a stílusváltozásokat és a bekezdéshatárokat, és példákat ad a logika és az elfogadási űrlap egyesítésére, hogy elkerülje a mondat feldarabolását a fordítás során.
Ha a PyMuPDF extractDICT()-ját használja a PDF-szöveg kibontására, előfordulhat, hogy egy koherens mondat hét, nyolc vagy több span-re vágódik a visszaadott eredményben. Ez általában nem elemzési hiba, hanem a PDF mögöttes szerkezetének valódi tükröződése: a betűtípusváltás, a színváltoztatás vagy a helyi stílusmódosítások megszakíthatják a szövegfolyamat rendereléskor.
Ha ezt a "stílusszeletelést" összetévesztik "bekezdésszegmentálással", az ezt követő tisztítás, fordítás vagy visszakeresés könnyen mondatszegmentálási hibákat okoz. Ez a cikk elmagyarázza, hogyan lehet megkülönböztetni a stílusmódosításokat a bekezdéshatároktól, példát ad az összevonási logikára, és egy elfogadási űrlapot ad, amely segít elkerülni a mondat feldarabolását.
A PDF-ben egy szövegsor több szakaszra van felosztva. Egyesíteni kell őket? Egy mondatos következtetés
Ha több span van ugyanabban a line-ben, és az y-koordináták megegyeznek, akkor ez többnyire a betűtípus, a betűméret vagy a színváltás, ami biztonságosan összeilleszthető; a bekezdés határának a block és line szerkezetén kell alapulnia, nem a span számán.
| a helyzeted | Ajánlott gyakorlatok | ok |
|---|---|---|
| Ugyanazon a vonalon belül több fesztávnak ugyanaz az y koordinátája | Biztonságos splicing span.text | Leginkább betűtípus vagy színváltás |
| A fesztávok között nyilvánvaló vízszintes rés van | Jelölje be a bbox térközt, és ha szükséges, szúrjon be szóközt vagy tabulátort | Lehet tabulátor karakter vagy oszloptörés maradvány, szabályokra van szükség |
| Az ugyanazon a vonalon belüli fesztávok y koordinátáiban a különbség meghaladja a betűméret 10%-át | Tartsa meg az eredeti feszítőszerkezetet összevonás nélkül | Lehetnek soron belüli képletek vagy alsó indexek |
| Az egyetlen szó terjedelme és a bbox rendezetlenek | Jelölje meg gyenge minőségűként, konvertálja kézi vagy OCR-re | Megbízható válogatási és csoportosítási alap hiánya |
| Szemantikailag folyamatos szöveg blokkon keresztül | Kontextus szerinti megítélés szükséges, és az automatikus összevonás nem történik meg. | Lehet, hogy lapozási töredék |
Először tisztázza a Block, Line és Span közötti hierarchikus kapcsolatot
A PyMuPDF szótárszerkezete
A PyMuPDF szótár kimenete szigorúan követi a PDF tartalomfolyam-struktúráját, és a hierarchia kívülről befelé a következő:
block: Független betűszedési terület az oldalon, például egy szöveg bekezdés, táblázatcella vagy jelmagyarázat.line: vizuális egysoros szöveg ablockbelsejében.span: Alineegymást követő karakterek belső sorozata, azonos betűtípussal, mérettel, színnel és stílussal.
Az egyes rétegek mezőinek további leírását a PyMuPDF TextPage hivatalos dokumentációja tartalmazza.
Miért generál új tartományt a stílusváltás?
Mindaddig, amíg a szövegsor közepén félkövér, dőlt betű, színváltoztatás vagy betűtípus-visszaállítás van (például kínai karakterek keverednek angolul és számokkal), új span jön létre. Ezek a span-k ugyanahhoz a line-hez tartoznak, és ugyanazt az alapvonalat és függőleges pozíciót osztják meg.
Mit kell nézni a bekezdéshatároknál
A valódi bekezdésvégi jel a line lista vége és egy új block eleje, nem pedig a span száma. A kettő összekeverése gyakorlati problémákat okozhat: például a „Fontos tipp"tévedésből két különálló mondatként kerül felismerésre, így a fordítási memória nem tud megfelelni a teljes kifejezésnek.
Szintézis példa: helyes kimeneti és éles esetek
Helyes kimenet
A probléma illusztrálására egy szintetikus forgatókönyvet készítünk. Tegyük fel, hogy van egy sor szöveg a bemeneti PDF-ben: "Kérjük, vegye figyelembe: A rendszer 5 percen belül újraindul." Közülük a "Kérjük, vegye figyelembe:" félkövér betűtípust használ, a "rendszer 5 percen belül újraindul" visszatér a Song betűtípusra.
A helyesextractDICT() kimenetnek négy span-t kell tartalmaznia egy line objektum alatt. Az egyes span bbox-jei függőleges irányban nagymértékben átfednek, és a origin y-koordinátái alapvetően konzisztensek. Ezt a négy töredéket összeillesztve egy teljes szemantikai egységet alkotnak.
Gyenge minőségű bemenet
Tipikus hibahelyzet az, hogy a beolvasott PDF nem lett OCR-re írva, vagy a PDF generátor minden kínai karaktert külön szövegobjektumként ír. Ebben az esetben a extractDICT() több tucat egyszavas span-t ad vissza, és kis hézagok vagy szabálytalan átfedések lehetnek a bbox-jeik között.
Ezt a helyzetet nem lehet egyszerűen karakterlánc-összefűzéssel orvosolni, mert nincs megbízható alap a rendezésre és csoportosításra. Biztonságosabb, ha az oldalt "rossz minőségű strukturált adatként" jelöli meg, és kézi lektorálásra vagy egy dedikált OCR-folyamatba küldi, az összevonás kényszerítése helyett.
Egyesítési logika a geometriai jellemzők alapján
Mintakód
A következő Python-példa bemutatja, hogyan emulálható a extractDICT() kimeneti struktúrája a memóriában, és hogyan valósítható meg egy biztonságos peer span egyesítő funkció. Megjegyzés: Ez a példa szintetikus adatokat hoz létre tisztán a memóriából, és nem olvas be valódi PDF fájlokat. Csak az összevonási algoritmus logikájának ellenőrzésére szolgál.
A tényleges használathoz ellenőrizze, hogy a PyMuPDF verzió támogatja-e a extractDICT metódust (1.23.x és újabb ajánlott), és futtassa azt saját zárolt függőségi környezetben.
# 合成示例:演示同行span合并逻辑,非真实PDF解析结果
# 依赖: PyMuPDF (pymupdf) >= 1.23.0,仅用于类型参考,本例纯内存构造
def merge_spans_in_line(line_dict, y_tolerance=2.0):
"""合并同一line内y坐标相近的span,保留原始顺序"""
if not line_dict.get("spans"):
return ""
spans = sorted(line_dict["spans"], key=lambda s: s["bbox"][0]) # 按x排序
merged_text = []
current_y = spans[0]["origin"][1]
buffer = [spans[0]["text"]]
for span in spans[1:]:
y = span["origin"][1]
if abs(y - current_y) <= y_tolerance:
buffer.append(span["text"])
else:
merged_text.append("".join(buffer))
buffer = [span["text"]]
current_y = y
merged_text.append("".join(buffer))
return "\n".join(merged_text)
# 构造合成line数据,模拟四种字体混排(正常情况)
synthetic_line = {
"spans": [
{"text": "请注意:", "bbox": (100, 200, 160, 220), "origin": (100, 215)},
{"text": "系统将在", "bbox": (160, 200, 220, 220), "origin": (160, 215)},
{"text": "5", "bbox": (220, 200, 230, 220), "origin": (220, 215)},
{"text": "分钟后重启。", "bbox": (230, 200, 310, 220), "origin": (230, 215)}
]
}
result = merge_spans_in_line(synthetic_line)
assert result == "请注意:系统将在5分钟后重启。", f"合并失败: {result}"
# 边界测试:y坐标差异超过容差,应视为不同行片段(即使在同一line dict中也应分隔)
bad_line = {
"spans": [
{"text": "上行", "bbox": (100, 200, 140, 220), "origin": (100, 215)},
{"text": "下行", "bbox": (100, 230, 140, 250), "origin": (100, 245)}
]
}
bad_result = merge_spans_in_line(bad_line, y_tolerance=2.0)
# y差值30 > 2.0,应被分隔为两行
assert bad_result == "上行\n下行", f"异常行未正确分隔: {repr(bad_result)}"
Használat előtti óvintézkedések
- A
y_tolerance2,0 értéke csak egy szintetikus példabeállítás, és nem ipari szabvány. - A tényleges projektekben ez az érték dinamikusan számolható a dokumentum átlagos betűmérete alapján; ha magát a
line-t helyesen osztották fel, általában nincs szükség további y-koordináta-ellenőrzésre. - A cikkben szereplő példák csak kódszintű bemutatókat jelentenek, és nem jelentenek garanciát minden valódi fájlra vagy termékeffektusra.
📊 Alapvető összehasonlítás
Az alábbi táblázat több feldolgozási módot hasonlít össze, illetve azt, hogy a megfigyelt helyzet alapján a fenti elfogadási szabályok alapján alkalmasak-e az automatikus összevonásra.
| Megfigyelt helyzet | Feldolgozási módszer | Automatikus összevonásra alkalmas? |
|---|---|---|
| Az ugyanazon a vonalon belüli fesztávok y koordinátái konzisztensek | Biztonságos toldás | igen |
| A fesztávok között nyilvánvaló vízszintes rés van | A szóközök vagy tabulátorok beszúrása a szóközök ellenőrzése után | Legyen óvatos, és szabályokra van szüksége |
| A soron belüli képletek, felső- és alsóindexek nagy eltérésekhez vezetnek az y koordinátákban | Tartsa meg az eredeti fesztávolságot | nem |
| Az egyetlen szó terjedelme és a bbox rendezetlenek | Jelölje meg az alacsony minőséget, konvertálja kézi vagy OCR-re | nem |
| Szemantikailag folyamatos szöveg blokkon keresztül | Kontextuson alapuló ítélet | Nem, NLP segítségre van szükség |
Elfogadási feltételek és kézi ellenőrzés határai
| Figyeld meg a jelenségeket | Lehetséges okok | feldolgozási határozat | Az automatikus egyesítés alkalmazása |
|---|---|---|---|
| Ugyanazon a vonalon belül több fesztávnak ugyanaz az y koordinátája | Betűtípus/szín váltás | Biztonságos splicing span.text | igen |
| Nyilvánvaló vízszintes rés van a fesztávok között (>térszélesség) | Tabulátor karakterek és oszlopmaradékok | Jelölje be a bbox térközt, szúrjon be szóközt vagy tabulátort | Legyen óvatos, és szabályokra van szüksége |
| Különbség az y koordináták között ugyanazon a sorban > betűméret 10% | Soron belüli képletek, felső- és alsó indexek | Tartsa meg az eredeti feszítőszerkezetet összevonás nélkül | nem |
| Az egyetlen szó terjedelme és a bbox rendezetlenek | Beolvasott vagy sérült PDF | Jelölje meg gyenge minőségűként, konvertálja kézi vagy OCR-re | nem |
| Szöveg szemantikai folytonossága a blokkok között | Oldaltörés | A blokkok közötti összevonáshoz kontextus szerinti megítélés szükséges | Nem, NLP segítségre van szükség |
Ez a táblázat csak a strukturális ellenőrzést tartalmazza a kód bemutató szintjén, és a végpontok közötti hatást nyelvi modellekkel vagy kézi mintavételezéssel kell kombinálni. Az automatikus egyesítést nem szabad formátumérzékeny dokumentumokhoz, például jogi szerződésekhez, orvosi feljegyzésekhez stb. használni, kivéve, ha azt domainszakértő igazolta.
Használat előtt készítse elő saját maga a deszenzibilizációs teszt PDF-et, futtassa a page.get_text("dict", sort=True) fájlt a JSON exportálásához, majd ellenőrizze az egyes elemeket.
Dokumentumfordítás előtti ellenőrzésre szolgál
Először ellenőrizze az oldalak sorrendjét, a forrás helyét és a szöveg integritását, majd küldje be ugyanazt az érzéketlenített mintát a fordítási folyamatba. A fordítás után még mindig ellenőriznie kell, hogy a cím, a szöveg és az illusztrációk helyesek-e, nem csak azt, hogy a szöveg sima-e.
A OmniDoc (termékportál) több formátumú dokumentumfordító portált biztosít, a hivatalos webhely pedig OCR, szószedet és kétnyelvű összehasonlító funkciókat kínál. Azon csapatok számára, amelyek közvetlenül a fájlokból szeretnének dolgozni, ez egy olyan út, amelyet érdemes valós mintákkal értékelni. Kérjük, használjon olyan érzékenységmentesített fájlokat, amelyek feltöltésére jogosult, és az eredmények áttekintéséhez használja a cikkben található ellenőrző elemeket. Itt nem állítják, hogy az OmniDoc a nyílt forráskódú könyvtárakat vagy belső algoritmusokat használja ebben a cikkben, és a példa sem helyettesíti a termék teljesítményének tesztelését.
🎯 Melyik módszer illik hozzád?
Ha csak a szöveget szeretné ugyanabban a sorban rendezni
- Csoportosítás
lineszerint, és biztonságosan összeilleszti aspan.text-t, ha az y koordináták konzisztensek.
Ha soron belüli képletekkel vagy felső indexekkel találkozik
- Tartsa meg az eredeti
spanszerkezetet összevonás nélkül.
Ha olyan beolvasásokkal vagy PDF-ekkel foglalkozik, amelyek sok egyetlen szót tartalmaznak
- Először jelölje meg gyenge minőségűként, majd vigye át kézi lektorálásra vagy dedikált OCR-folyamatra.
Ha blokkokon vagy oldalakon átívelő fordítást szeretne végezni
- A kontextuális megítélés alapján nem célszerű közvetlenül automatikusan egyesíteni.
❓ Gyakran Ismételt Kérdések (GYIK)
1. Egy szövegsor több szakaszra van felosztva. Szegmentálásnak kell lennie?
Nem feltétlenül, leginkább a betűtípus, a betűméret vagy a szín változása okozza. A span ugyanazon a line-n belül ugyanazt az alapvonalat és függőleges pozíciót osztja meg.
2. Mit kell olvasnom a bekezdés végén?
Nézze meg, hogy a line lista véget ér-e és egy új block kezdődik-e, ne a span számát.
3. Használható karakterlánc-összefűzés az egyszavas terjedelmű probléma megoldására?
Nem ajánlott. Az ilyen eseteknek nincs megbízható alapja a rendezéshez és csoportosításhoz, és körültekintőbb, ha rossz minőségűként jelölik meg, és továbbítják őket egy kézi vagy OCR-folyamathoz.
4. Mennyire kell beállítani a y_tolerance értéket egyesítéskor?
A példában szereplő 2.0 csak egy szintetikus példabeállítás, és nem ipari szabvány. A tényleges elemek dinamikusan kiszámíthatók az átlagos betűméret alapján, vagy közvetlenül megbízhat a line csoportosításában.
5. Alkalmazható-e az automatikus egyesülés jogi szerződésekben?
Nem megfelelő, hacsak nem ellenőrizték a domain szakértői.
📝 Összefoglaló
Annak eldöntéséhez, hogy a span összevonható-e, a kulcs az, hogy először a line és block szerkezetét, majd a geometriai pozíciót nézzük meg. Ha képletekkel, beolvasott dokumentumokkal vagy blokkokon átívelő szemantikával találkozik, jobb, ha megőrzi őket úgy, ahogy vannak, vagy kézzel konvertálja őket, ahelyett, hogy erőszakkal összekapcsolná őket.


