A PDF megtekinthető, de nem másolható, lehet, hogy nem szkennelés: először ellenőrizze a szövegréteget és a karakterleképezést
Ha nincs szöveg, akkor nem ítélhető meg közvetlenül úgy, hogy "a szövegréteg normális", és nem is közvetlenül szkennelt másolatként. A szöveg, az alternatív karakterek és az oldalképek hivatkozásai az alábbiakban kerülnek rögzítésre, és az áttekintendő állapot kerül kiadásra; a képhivatkozások nem igazolják, hogy a kép az egész oldalt lefedte, vagy hogy a szöveg beazonosítható.
Ha látja a szöveget a PDF-ben, de nem tudja átmásolni, akkor lehet, hogy nem szkennelt másolat, vagy a karakterleképezéssel van probléma. Ez a cikk azoknak a fejlesztőknek és dokumentumfeldolgozóknak íródott, akiknek PDF-tartalmat kell kivonatolniuk, lefordítaniuk vagy strukturálniuk. Az olvasás után tudni fogja, hogyan lehet először megkülönböztetni a szövegszintű problémákat és a képtartalmat, és egységes jeleket használni a következő lépések meghatározásához.
Az itt található kód és példák olyan szintetikus mintákat használnak, amelyek átmentek a mintaellenőrzéseken elszigetelt környezetben, és nem jelentenek garanciát az összes valós fájlra vagy a termék teljesítményére. A fontos dokumentumok feldolgozása előtt kérjük, őrizze meg az eredeti példányokat és nézze át a szövegben szereplő határok és átvételi tételek szerint.
A PDF megtekinthető, de nem másolható. Ez egy szkennelt másolat? Egy mondatos következtetés
Közvetlenül nem ítélkezhet. Először ellenőrizze a szövegréteget és a karakterleképezést, majd nézze meg az oldalképet, és végül határozza meg, hogy szkennelésről vagy leképezési hibáról van-e szó.
| a helyzeted | Ajánlott gyakorlatok | ok |
|---|---|---|
| Láthatja a szöveget, kimásolhatja az elrontott karaktereket vagy üres helyeket | Ellenőrizze a ToUnicode leképezést és a betűtípus kódolást | A látvány normális, de a szövegréteg hibás, többnyire hiányzó vagy rossz leképezés miatt. |
| A másolt karakterek ésszerűnek tűnnek, de hibás a szemantikája | A kinyerési eredmények összehasonlítása a vizuális tartalommal | A heurisztikus leképezés rossz karaktereket adhat ki, és nem nulla ellenőrzésen megy keresztül |
| Szöveg nincs, képek viszont vannak az oldalon | Ellenőrizze, hogy a kép tartalmaz-e szöveget, majd határozza meg, hogy szükséges-e az OCR | A képi idézetek nem egyenlők az egész oldalas beolvasással, és nem igazolják a szöveg olvashatóságát sem |
| Sem a szöveg, sem a képek nincsenek kijelölve | Az oldalrajz tartalmának megtekintése | Nem lehet arra következtetni, hogy az oldal üres |
Miért hibás a másolt kód?
A felhasználók normál módon láthatják a szöveget a böngészőben vagy az olvasóban, de a másolt szöveg elrontott, üres vagy irreleváns szimbólumok. Ez általában nem sérült fájl, és nem is feltétlenül szkennelt másolat. A kiváltó ok az, hogy a PDF-ben található karakterjel (Glyph) a Unicode leképezési táblához (ToUnicode CMap) hiányzik vagy hibás.
A renderelő motorok karakterjel-indexekre támaszkodnak a vizuális tartalom rajzolásához, míg a vágólap és a szövegkivonatoló eszközök a leképezési táblázatokra támaszkodnak a szemantikus karakterek visszaállítására. Ha a kettő elromlik, megjelenik egy "vizuálisan normális, géppel olvashatatlan" rossz szövegréteg.
Dokumentumfordítás vagy strukturált kibontás előtt először meg kell győződnie arról, hogy a probléma a leképezésben van-e, vagy maga az oldal egy kép. Ellenkező esetben a következő OCR vagy NLP folyamatok rossz előfeltevésen alapulnak.
Megszakító mechanizmus a karakterjel-index és a Unicode-leképezés között
A PDF specifikáció lehetővé teszi, hogy a betűtípusok csak karakterjel-körvonal- és -szélesség-információkat ágyazzanak be, karakterkódolási leképezést azonban nem. A következő körülmények törést okozhatnak:
- A PDF-et előállító szoftver nem írja megfelelően a ToUnicode táblát
- Egyéni kódolást használnak, de nincsenek dekódolási szabályok
Ekkor a kivonó csak az eredeti karakterjel-azonosítót (CID) tudja megszerezni. Ezek az azonosítók jelentőségteljesek a megjelenítő számára, de nincs értékük a szövegfeldolgozás számára.
Egyes eszközök heurisztikát használnak a leképezés kitalálására, és az eredmény olyan karaktereket eredményezhet, amelyek ésszerűnek tűnnek, de valójában hibásak, például a kínai írásjeleket latin betűkre alakítják át, vagy számokat vezérlőkarakterekkel helyettesítenek. Ez a fajta "álszöveg" finomabb, mint a tiszta szóköz, mert átmegy a nem nulla ellenőrzésen, de néma adatszennyezést okoz a downstream hivatkozásokban.
Az ilyen problémák megítélésének kulcsa nem az, hogy megnézzük, kijelölhető-e a szöveg, hanem annak ellenőrzése, hogy a kivont karakterlánc szemantikailag konzisztens-e a vizuális tartalommal.
A PyMuPDF használata memóriaszintézis diagnosztikához
A következő kód létrehozza a bemenetet a memóriában, és ellenőrzi a diagnosztikai logikát:
from io import BytesIO
from PIL import Image
import pymupdf
def inspect(page):
text = page.get_text().strip()
images = page.get_images()
if "\ufffd" in text:
state = "review_replacement_characters"
elif text:
state = "text_present_needs_semantic_review"
elif images:
state = "image_without_extracted_text"
else:
state = "empty_text_needs_review"
return {"state": state, "characters": len(text), "image_refs": len(images)}
with pymupdf.open() as doc:
doc.new_page().insert_text((50, 50), "Text sample")
doc.new_page()
picture = BytesIO()
Image.new("RGB", (16, 16), "red").save(picture, format="PNG")
doc.new_page().insert_image(pymupdf.Rect(10, 10, 100, 100), stream=picture.getvalue())
assert inspect(doc[0])["state"] == "text_present_needs_semantic_review"
assert inspect(doc[1])["state"] == "empty_text_needs_review"
assert inspect(doc[2])["state"] == "image_without_extracted_text"
assert inspect(doc[2])["characters"] == 0
A fenti kódban a diagnose_text_layer függvény a get_text("text")-n keresztül szerzi be az eredeti szöveget, a unicodedata.category-t használja a vezérlőkarakterek és szóközök szűrésére, és kiszámítja a tényleges tartalom arányát. Ugyanakkor a get_text("blocks")-n keresztül érzékeli a képblokkok jelenlétét.
A két állítás két esetet igazol: egy normál dokumentumot, amelynek nyomtathatósági aránya meghaladja a 0,9-et, és egy beszkennelt dokumentumot, amelynek karakterszáma nulla. Ez lefedi az alapvető elágazási logikát.
Fontos megjegyezni, hogy ez a diagnózis kizárólag statisztikai jellemzőkön alapul. Titkosított betűtípusok vagy speciális kódolások esetén továbbra is kézi ellenőrzésre van szükség.
📊 Alapvető összehasonlítás
Az alábbi táblázat felsorolja a különböző jelzésekhez tartozó ellenőrzési irányokat és azokat a következtetéseket, amelyeket nem szabad levonni:
| Jel | Az ellenőrzés következő lépése | következtetéseket, amelyeket nem szabad levonni |
|---|---|---|
| Van nyomtatható szöveg | Ellenőrizze a szemantikát, a sorrendet és a forrásokat | Ha ki lehet bontani, az azt jelenti, hogy helyes. |
| Vannak alternatív karakterek | Visszatérjen a kódolás és betűtípus-leképezés | Minden karakter elveszett |
| Vannak képek, de nincs szöveg | Ellenőrizze, hogy a kép tartalmaz-e szöveget | Teljes oldalas vizsgálatnak kell lennie |
| Sem a szöveg, sem a kép nincs kijelentkezve | Oldalrajz tartalom megtekintése | Biztosan üres oldal lehet |
🎯 Melyik megközelítés illik hozzád?
Ha látod a szöveget, de nem tudod másolni
Elsődleges szempont a ToUnicode leképezések és betűkódolások ellenőrzése, amelyeket általában térképtörések okoznak.
Ha a másolt szöveg normálisnak tűnik, de a tartalom helytelen
Nyerje ki az eredményeket a vizuális tartalom bekezdésenkénti összehasonlításával; ne csak arra nézzen, hogy nem üres-e.
Ha az oldal csak képeket tartalmaz, szöveget nem.
Ellenőrizze, hogy a kép tartalmaz-e szöveget, mielőtt eldönti, szükséges-e OCR. Ne feltételezd, hogy az egész oldal egy szkennelés.
Ha dokumentumfordításra készülsz
Először végezze el a szöveg integritásának ellenőrzését, majd adja át a deszenzibilizált mintát a fordítási folyamatnak.
Használja ezt az ellenőrzőlistát a dokumentumfordításhoz
Először alaposan ellenőrizd az oldal sorrendjét, a forrás helyét és a szöveg integritását, majd add be ugyanazt a szorongó mintát a fordítási folyamatnak. Fordítás után is ellenőrizni kell, hogy a cím, a fő szöveg és a feliratok megfelelőek-e; a szöveget nem szabad kizárólag folyékonyság alapján megítélni.
A OmniDoc (Termékportál) több formátumú dokumentumfordító portálokat biztosít, a hivatalos weboldal pedig OCR-t, szószedeteket és kétnyelvű összehasonlító funkciókat kínál. Ha közvetlenül a fájlból szeretné elkezdeni a feldolgozást, ezt az elérési utat valódi mintákkal is értékelheti.
Kérjük, használja az anonimizált fájlokat, amelyekre engedélye van az adatok feltöltéséhez és megtekintéséhez az ebben a cikkben található ellenőrzőlistával együtt. Nem állítják, hogy az OmniDoc a benne említett nyílt forráskódú könyvtárakat vagy belső algoritmusokat használja, és nem helyettesíti a termékteljesítmény-tesztelést példákkal.
❓ Gyakran ismételt kérdések (GYIK)
1. Ha ki tudod nyerni a szöveget, az azt jelenti, hogy a szövegréteg helyes?
Nem. A kinyert tartalomnak ellenőriznie kell a szemantikát, a sorrendet és a forrást is, és ha a leképezés helytelen, akkor olyan karaktereket adhat ki, amelyek ésszerűnek tűnnek.
2. Ha képek vannak az oldalon, az azt jelenti, hogy azok szkennelt képek?
Nem feltétlenül. A képhivatkozás nem bizonyítja, hogy a kép lefedi az egész oldalt, és azt sem, hogy a szöveg felismerhető; ellenőrizni kell, hogy a kép tartalmaz-e szöveget.
3. Ha sem szöveget, sem képeket nem érzékelnek, az azt jelenti, hogy az oldal üres?
Ebből nem vonható le következtetéseket. Mielőtt döntést hoznál, érdemes átnézni az oldal rajztartalmát.
4. Használható ez a diagnosztikai szkript minden PDF-hez?
Nem. Csak statisztikai jellemzőkön alapul; a titkosított betűtípusok vagy speciális kódolások még kézi ellenőrzést igényelnek.
📝 Összefoglaló
A PDF-ek megtekinthetők, de nem másolhatók. Először ellenőrizze a szövegrétegeket és a karakterleképezéseket, majd nézze meg a kép tartalmát, végül pedig döntse el, hogy ez egy szkennelés-e. A feldolgozás előtt őrizze meg az eredeti dokumentumokat, és minden tételt vizsgál át az ellenőrző tételekkel.


