PDF je možné prezerať, ale nie kopírovať, nemusí to byť skenovanie: najskôr skontrolujte textovú vrstvu a mapovanie znakov

Ak tam nie je žiadny text, nemožno ho priamo posúdiť ako „textová vrstva je normálna“, ani ho nemožno priamo posúdiť ako naskenovanú kópiu. Text, alternatívne znaky a odkazy na obrázky strán sú zaznamenané nižšie a stav, ktorý sa má skontrolovať, sa vypíše; odkazy na obrázky nedokazujú, že obrázok pokrýva celú stranu alebo že text je identifikovateľný.

Ak vidíte text v PDF, ale nemôžete ho skopírovať, možno to nie je naskenovaná kópia alebo môže byť problém s mapovaním znakov. Tento článok je napísaný pre vývojárov a spracovateľov dokumentov, ktorí potrebujú extrahovať, preložiť alebo štruktúrovať obsah PDF. Po prečítaní budete vedieť, ako najskôr rozlíšiť problémy na úrovni textu a obsah obrázkov, a pomocou jednotných signálov určiť, čo robiť ďalej.

Kód a príklady tu používajú syntetické vzorky, ktoré prešli kontrolami vzoriek v izolovanom prostredí a nepredstavujú záruku všetkých skutočných súborov alebo výkonu produktu. Pred spracovaním dôležitých dokumentov si uschovajte originály a skontrolujte ich podľa hraníc a akceptačných položiek v texte.

PDF je možné prezerať, ale nie kopírovať. Je to naskenovaná kópia? Záver jednou vetou

Nedá sa priamo posúdiť. Najprv skontrolujte textovú vrstvu a mapovanie znakov, potom sa pozrite na obrázok strany a nakoniec zistite, či ide o zlyhanie skenovania alebo mapovania.

vaša situáciaOdporúčané postupydôvod
Vidí text, kopíruje skomolené znaky alebo prázdne miestaSkontrolujte mapovanie ToUnicode a kódovanie písmaVizuál je normálny, ale textová vrstva je poškodená, väčšinou v dôsledku chýbajúceho alebo nesprávneho mapovania.
Skopírované znaky vyzerajú primerane, ale majú nesprávnu sémantikuPorovnajte výsledky extrakcie s vizuálnym obsahomHeuristické mapovanie môže vypísať nesprávne znaky a prejsť kontrolou bez nuly
Na stránke nie je žiadny text, ale obrázkySkontrolujte, či obrázok obsahuje text, a potom určite, či sa vyžaduje OCRCitácie obrázkov sa nerovnajú skenovaniu celej strany ani nedokazujú, že text je čitateľný
Text ani obrázky nie sú kontrolovanéZobraziť obsah výkresu stránkyNeexistuje žiadny spôsob, ako dospieť k záveru, že stránka je prázdna

Prečo je skopírovaný kód skomolený?

Používatelia môžu vidieť text normálne v prehliadači alebo čítačke, ale skopírovaný text je skomolený, prázdne alebo irelevantné symboly. Zvyčajne to nie je poškodený súbor a nemusí to byť nevyhnutne naskenovaná kópia. Hlavnou príčinou je, že glyf (Glyph) na mapovaciu tabuľku Unicode (ToUnicode CMap) vo vnútri PDF chýba alebo je nesprávny.

Vykresľovacie nástroje sa pri kreslení vizuálneho obsahu spoliehajú na indexy glyfov, zatiaľ čo nástroje schránky a extrakcie textu sa spoliehajú na mapovacie tabuľky na obnovenie sémantických znakov. Keď sa tieto dva zlomia, objaví sa „vizuálne normálna, strojovo nečitateľná"vrstva zlého textu.

Pred prekladom dokumentu alebo štruktúrovanou extrakciou musíte najprv potvrdiť, či problém spočíva v mapovaní alebo či je samotná stránka obrázkom. V opačnom prípade budú následné procesy OCR alebo NLP založené na nesprávnom predpoklade.

Mechanizmus prerušenia medzi indexom glyfov a mapovaním Unicode

Špecifikácia PDF umožňuje písmam vkladať iba informácie o obryse a šírke glyfu, ale nie mapovanie kódovania znakov. Nasledujúce podmienky môžu spôsobiť poškodenie:

  • Softvér, ktorý generuje PDF, nezapisuje tabuľku ToUnicode správne
  • Používa sa vlastné kódovanie, ale nie sú poskytnuté žiadne pravidlá dekódovania

V súčasnosti môže extraktor získať iba pôvodné ID glyfu (CID). Tieto ID sú pre vykresľovač zmysluplné, ale nemajú žiadnu hodnotu pre spracovanie textu.

Niektoré nástroje používajú heuristiku na uhádnutie mapovania a výsledkom môžu byť znaky, ktoré sa zdajú byť rozumné, ale v skutočnosti sú nesprávne, ako je napríklad prevod čínskej interpunkcie na písmená latinky alebo nahradenie čísel riadiacimi znakmi. Tento druh „fiktívneho textu"je jemnejší ako čisté biele znaky, pretože môže prejsť kontrolou bez nuly, ale spôsobí tiché znečistenie dát v nadväzujúcich prepojeniach.

Kľúčom k posúdeniu takýchto problémov nie je zistiť, či je možné text vybrať, ale overiť, či je extrahovaný reťazec sémanticky konzistentný s vizuálnym obsahom.

Na diagnostiku syntézy pamäte použite PyMuPDF

Nasledujúci kód vytvára vstup v pamäti a overuje diagnostickú logiku:

from io import BytesIO
from PIL import Image
import pymupdf
def inspect(page):
    text = page.get_text().strip()
    images = page.get_images()
    if "\ufffd" in text:
        state = "review_replacement_characters"
    elif text:
        state = "text_present_needs_semantic_review"
    elif images:
        state = "image_without_extracted_text"
    else:
        state = "empty_text_needs_review"
    return {"state": state, "characters": len(text), "image_refs": len(images)}
with pymupdf.open() as doc:
    doc.new_page().insert_text((50, 50), "Text sample")
    doc.new_page()
    picture = BytesIO()
    Image.new("RGB", (16, 16), "red").save(picture, format="PNG")
    doc.new_page().insert_image(pymupdf.Rect(10, 10, 100, 100), stream=picture.getvalue())
    assert inspect(doc[0])["state"] == "text_present_needs_semantic_review"
    assert inspect(doc[1])["state"] == "empty_text_needs_review"
    assert inspect(doc[2])["state"] == "image_without_extracted_text"
    assert inspect(doc[2])["characters"] == 0

Vo vyššie uvedenom kóde funkcia diagnose_text_layer získava pôvodný text prostredníctvom get_text("text"), používa unicodedata.category na filtrovanie riadiacich znakov a medzier a vypočítava podiel efektívneho obsahu. Zároveň zisťuje prítomnosť obrazových blokov cez get_text("blocks").

Tieto dve tvrdenia overujú dva prípady: normálny dokument s rýchlosťou tlače vyššou ako 0,9 a naskenovaný dokument s nulovým počtom znakov. Toto pokrýva základnú logiku vetvenia.

Je dôležité poznamenať, že táto diagnóza je založená výlučne na štatistických charakteristikách. V prípade šifrovaných písiem alebo špeciálnych kódovaní sa stále vyžaduje manuálna kontrola.

📊 Základné porovnanie

V nasledujúcej tabuľke sú uvedené kontrolné pokyny zodpovedajúce rôznym signálom a závery, ktoré by sa nemali robiť:

SignálĎalší krok na kontroluZávery, ktoré by sa nemali robiť
Dostupný tlačiteľný textSkontrolujte sémantiku, poradie a zdrojAk je extrakcia možná, znamená to, že je správna
Existujú aj alternatívne postavyVráťte sa k kódovaniu a mapovaniu fontovVšetky postavy boli stratené
Sú tam obrázky, ale žiadny textSkontrolujte, či obrázok obsahuje textMusí ísť o celostránkový sken
Ani text, ani obrázok nie sú vypožičanéZobraziť obsah výkresu stránkyMusí to byť prázdna stránka

🎯 Ktorý prístup ti vyhovuje?

Ak vidíte text, ale nemôžete ho skopírovať

Uprednostnite kontrolu mapovaní a kódovania fontov v ToUnicode, ktoré sú zvyčajne spôsobené zlomením mapy.

Ak skopírovaný text vyzerá normálne, ale obsah je nesprávny

Extrahujte výsledky porovnaním vizuálneho obsahu odsek po segmente; nepozerajte sa len na to, či nie je prázdny.

Ak stránka obsahuje iba obrázky a žiadny text

Skontrolujte, či obrázok obsahuje text, predtým než sa rozhodnete, či je potrebné OCR. Nepredpokladajte, že celá stránka je sken.

Ak sa pripravujete na preklad dokumentov

Najprv dokončite kontrolu integrity textu, potom odovzdajte desenzibilizovanú vzorku prekladateľskému procesu.

Použite tento kontrolný zoznam na preklad dokumentov

Najprv dôkladne skontrolujte poradie strán, umiestnenie zdroja a integritu textu, potom odovzdajte tú istú úzkostlivú ukážku prekladu. Po preklade je stále potrebné skontrolovať, či názov, hlavný text a popisky zodpovedajú správne; text by sa nemal posudzovať len podľa plynulosti.

OmniDoc (Produktový portál) poskytuje portály na preklad dokumentov vo viacerých formátoch a oficiálna webová stránka predstavuje OCR, glosáre a bilingválne porovnávacie funkcie. Ak chcete začať spracovávať priamo zo súboru, môžete túto cestu vyhodnotiť pomocou skutočných ukážok.

Použite anonymizované súbory, na ktoré máte povolenie, na nahranie a prezrite si výsledky pomocou kontrolného zoznamu v tomto článku. Netvrdí sa, že OmniDoc používa open-source knižnice alebo interné algoritmy uvedené tu, ani nenahrádza testovanie výkonu produktu príkladmi.

❓ Často kladené otázky (FAQ)

1. Ak dokážete extrahovať text, znamená to, že textová vrstva je správna?

Nie. Extrahovaný obsah musí tiež overiť sémantiku, poradie a zdroj, a ak je mapovanie nesprávne, môže vyprodukovať znaky, ktoré sa zdajú byť rozumné.

2. Ak sú na stránke obrázky, znamená to, že sú to skeny?

Nie nevyhnutne. Citácia obrázka nedokazuje, že obrázok pokrýva celú stránku, ani že je text rozpoznateľný; musíte skontrolovať, či obrázok obsahuje text.

3. Ak nie sú detegované ani texty, ani obrázky, znamená to, že stránka je prázdna?

Na základe toho nemožno vyvodiť žiadne závery. Pred rozhodnutím by ste si mali preštudovať obsah kresby na stránke.

4. Dá sa tento diagnostický skript použiť pre všetky PDF?

Nie. Je založená výlučne na štatistických vlastnostiach; šifrované písma alebo špeciálne kódovania stále vyžadujú manuálnu kontrolu.

📝 Zhrnutie

PDF súbory je možné prezerať, ale nie kopírovať. Najprv skontrolujte textové vrstvy a mapovanie znakov, potom sa pozrite na obsah obrázka a nakoniec zistite, či ide o sken. Pred spracovaním si ponechajte originálne dokumenty a skontrolujte každú položku s kontrolnými položkami.

Vyskúšajte to teraz: Nahrajte svoj dokument a začnite prekladať, pričom zachovajte pôvodné formátovanie

Ďalšie čítanie

Aktualizované 2026-11-17