PDF se može vidjeti, ali ne i kopirati, možda nije skeniran: prvo provjerite tekstualni sloj i mapiranje znakova
Ako nema teksta, ne može se izravno ocijeniti da je "sloj teksta normalan", niti se može izravno ocijeniti kao skenirana kopija. Tekst, alternativni znakovi i reference na slike stranice bilježe se dolje, a prikazuje se status koji treba pregledati; reference na slike ne dokazuju da je slika prekrila cijelu stranicu ili da je tekst prepoznatljiv.
Ako vidite tekst u PDF-u, ali ga ne možete kopirati, to možda nije skenirana kopija ili možda postoji problem s mapiranjem znakova. Ovaj je članak napisan za programere i obrađivače dokumenata koji trebaju izdvojiti, prevesti ili strukturirati PDF sadržaj. Nakon čitanja, znat ćete kako najprije razlikovati probleme na razini teksta i slikovnog sadržaja te koristiti objedinjene signale da odredite što učiniti sljedeće.
Kod i primjeri ovdje koriste sintetičke uzorke koji su prošli provjere uzoraka u izoliranom okruženju i ne predstavljaju jamstvo svih stvarnih datoteka ili performansi proizvoda. Prije obrade važnih dokumenata, molimo vas da sačuvate izvornike i pregledate ih prema granicama i stavkama prihvaćanja u tekstu.
PDF se može pregledavati, ali ne i kopirati. Je li to skenirana kopija? Zaključak jedne rečenice
Ne mogu izravno suditi. Prvo provjerite tekstualni sloj i mapiranje znakova, zatim pogledajte sliku stranice i na kraju utvrdite radi li se o skeniranju ili grešci mapiranja.
| vaša situacija | Preporučene prakse | razlog |
|---|---|---|
| Može vidjeti tekst, kopirati iskrivljene znakove ili prazna mjesta | Provjerite ToUnicode preslikavanje i kodiranje fonta | Vizualni prikaz je normalan, ali tekstualni sloj je pokvaren, uglavnom zbog nedostatka ili pogrešnog mapiranja. |
| Kopirani znakovi izgledaju razumno, ali imaju netočnu semantiku | Provjerite rezultate ekstrakcije u odnosu na vizualni sadržaj | Heurističko mapiranje može ispisati pogrešne znakove i proći provjeru koja nije nula |
| Nema teksta, ali ima slika na stranici | Provjerite sadrži li slika tekst i zatim utvrdite je li potreban OCR | Citati slika nisu jednaki skeniranju cijele stranice, niti dokazuju da je tekst čitljiv |
| Ne odjavljuju se ni tekst ni slike | Pogledajte sadržaj crteža stranice | Ne može se zaključiti da je stranica prazna |
Zašto je kopirani kod iskrivljen?
Korisnici mogu normalno vidjeti tekst u pregledniku ili čitaču, ali je kopirani tekst iskrivljen, prazan ili nevažnih simbola. To obično nije oštećena datoteka, niti je nužno skenirana kopija. Osnovni uzrok je taj što glif (Glyph) u tablicu mapiranja Unicode (ToUnicode CMap) unutar PDF-a nedostaje ili je pogrešan.
Motori za renderiranje oslanjaju se na indekse glifa za crtanje vizualnog sadržaja, dok se međuspremnik i alati za izdvajanje teksta oslanjaju na tablice mapiranja za vraćanje semantičkih znakova. Kada se ta dva pokvare, pojavljuje se "vizualno normalan, strojno nečitljiv" sloj lošeg teksta.
Prije prevođenja dokumenta ili strukturiranog izdvajanja, prvo morate potvrditi leži li problem u mapiranju ili je sama stranica slika. Inače će se kasniji OCR ili NLP procesi temeljiti na pogrešnoj premisi.
Mehanizam prekida između indeksa glifa i Unicode mapiranja
PDF specifikacija dopušta fontovima da ugrade samo informacije o obrisu glifa i širini, ali ne i mapiranje kodiranja znakova. Sljedeći uvjeti mogu uzrokovati lom:
- Softver koji generira PDF ne piše ispravno ToUnicode tablicu
- Koristi se prilagođeno kodiranje, ali nisu navedena pravila dekodiranja
U ovom trenutku ekstraktor može dobiti samo izvorni ID glifa (CID). Ovi ID-ovi imaju smisla za iscrtivač, ali nemaju vrijednost za obradu teksta.
Neki alati koriste heuristiku za pogađanje preslikavanja, a rezultat mogu biti znakovi koji se čine razumnim, ali su zapravo pogrešni, poput pretvaranja kineske interpunkcije u latinična slova ili zamjene brojeva kontrolnim znakovima. Ova vrsta "dummy text" je suptilnija od čistog razmaka jer može proći provjeru koja nije nulta, ali će uzrokovati tiho onečišćenje podataka u nizvodnim vezama.
Ključ za prosuđivanje takvih problema nije vidjeti može li se tekst odabrati, već provjeriti je li izdvojeni niz semantički u skladu s vizualnim sadržajem.
Koristite PyMuPDF za dijagnostiku sinteze memorije
Sljedeći kod konstruira unos u memoriju i provjerava dijagnostičku logiku:
from io import BytesIO
from PIL import Image
import pymupdf
def inspect(page):
text = page.get_text().strip()
images = page.get_images()
if "\ufffd" in text:
state = "review_replacement_characters"
elif text:
state = "text_present_needs_semantic_review"
elif images:
state = "image_without_extracted_text"
else:
state = "empty_text_needs_review"
return {"state": state, "characters": len(text), "image_refs": len(images)}
with pymupdf.open() as doc:
doc.new_page().insert_text((50, 50), "Text sample")
doc.new_page()
picture = BytesIO()
Image.new("RGB", (16, 16), "red").save(picture, format="PNG")
doc.new_page().insert_image(pymupdf.Rect(10, 10, 100, 100), stream=picture.getvalue())
assert inspect(doc[0])["state"] == "text_present_needs_semantic_review"
assert inspect(doc[1])["state"] == "empty_text_needs_review"
assert inspect(doc[2])["state"] == "image_without_extracted_text"
assert inspect(doc[2])["characters"] == 0
U gornjem kodu, funkcija diagnose_text_layer dobiva izvorni tekst putem get_text("text"), koristi unicodedata.category za filtriranje kontrolnih znakova i razmaka te izračunava udio efektivnog sadržaja. Istodobno detektira prisutnost slikovnih blokova putem get_text("blocks").
Dvije tvrdnje potvrđuju dva slučaja: normalan dokument sa stopom ispisa većom od 0,9 i skenirani dokument s brojem znakova nula. Ovo pokriva osnovnu logiku grananja.
Važno je napomenuti da se ova dijagnoza temelji isključivo na statističkim karakteristikama. Za šifrirane fontove ili posebna kodiranja i dalje je potreban ručni pregled.
📊 Osnovna usporedba
Sljedeća tablica navodi upute za inspekciju koje odgovaraju različitim signalima i zaključke koji se ne bi trebali donositi:
| Signal | Sljedeći korak za provjeru | zaključke koje ne treba donositi |
|---|---|---|
| Postoji tekst za ispis | Provjerite semantiku, redoslijed i izvore | Ako se može izvući, znači da je ispravan. |
| Postoje alternativni likovi | Pregledajte kodiranje i mapiranje fontova | Svi likovi su izgubljeni |
| Ima slika ali nema teksta | Provjerite sadrži li slika tekst | Mora biti skenirana cijela stranica |
| Nisu otkriveni ni tekst ni slike | Pogledajte sadržaj crteža stranice | Mora biti prazna stranica |
🎯 Koja je metoda prikladna za vas?
Ako vidite tekst, ali ga ne možete kopirati
Dajte prioritet provjeri ToUnicode preslikavanja i kodiranja fonta, što je obično uzrokovano neispravnim preslikavanjem.
Ako kopirani tekst izgleda normalno, ali je sadržaj pogrešan
Koristite vizualni sadržaj za usporedbu rezultata ekstrakcije segment po segment, nemojte samo gledati je li neprazan.
Ako stranica ima samo slike, a nema teksta
Provjerite sadrži li slika tekst i odlučite je li potreban OCR. Nemojte samo pretpostaviti da je cijela stranica skenirana.
Ako ćete raditi prijevod dokumenata
Provjere cjelovitosti teksta dovršavaju se prije nego što se desenzibilizirani uzorci predaju procesu prevođenja.
Koristite ovaj kontrolni popis za prijevod dokumenata
Prvo provjerite redoslijed stranica, lokaciju izvora i cjelovitost teksta, a zatim pošaljite isti desenzibilizirani uzorak u proces prevođenja. Nakon prijevoda još treba provjeriti odgovaraju li naslov, tekst i ilustracije. Ne možete samo provjeriti je li tekst gladak.
OmniDoc (portal proizvoda) nudi portal za prevođenje dokumenata u više formata, a službena web stranica uvodi funkcije OCR-a, pojmovnika i dvojezične usporedbe. Ako želite započeti obradu izravno iz datoteke, možete evaluirati ovaj put sa stvarnim uzorkom.
Upotrijebite desenzibilizirane datoteke za čije učitavanje imate dopuštenje i upotrijebite kontrolne stavke u ovom članku da biste pregledali rezultate. Ne postoji tvrdnja da OmniDoc koristi biblioteke otvorenog koda ili interne algoritme spomenute u ovom članku, niti primjer zamjenjuje testiranje performansi proizvoda.
❓ Često postavljana pitanja (FAQ)
1. Ako se tekst može izdvojiti, znači li to da je tekstualni sloj ispravan?
ne može. Ekstrahirani sadržaj također treba provjeriti semantiku, redoslijed i porijeklo. Kada se pojave pogreške u mapiranju, mogu se pojaviti naizgled razumni znakovi.
2. Na stranici su slike. Znači li to da je skenirana kopija?
neizvjestan. Citiranje slike ne dokazuje da slika pokriva cijelu stranicu, niti dokazuje da se tekst može prepoznati. Morate provjeriti sadrži li slika tekst.
3. Ne mogu se otkriti ni tekst ni slike. Znači li to da je stranica prazna?
Iz ovoga se ne može izvući zaključak. Trebali biste provjeriti sadržaj crteža na stranici prije nego što donesete prosudbu.
4. Hoće li ova dijagnostička skripta raditi sa svim PDF-ovima?
ne može. Temelji se samo na statističkim karakteristikama, a ručni pregled i dalje je potreban za šifrirane fontove ili posebna kodiranja.
📝 Sažetak
Da li se PDF može pregledavati ili kopirati, prvo provjerite tekstualni sloj i mapiranje znakova, zatim pogledajte sadržaj slike i na kraju utvrdite radi li se o skeniranom dokumentu. Sačuvajte izvornike prije obrade i pregledajte ih jedan po jedan s predmetima za pregled.
Isprobajte sada: prenesite dokument za početak prijevoda, zadržavajući izvorni izgled


