PDF poate fi vizualizat, dar nu copiat, poate să nu fie o scanare: verificați mai întâi stratul de text și maparea caracterelor
Dacă nu există text, acesta nu poate fi judecat direct ca „stratul de text este normal”, nici nu poate fi judecat direct ca o copie scanată. Textul, caracterele alternative și referințele la imaginea paginii sunt înregistrate mai jos, iar starea care urmează să fie revizuită este afișată; referințele la imagini nu dovedesc că imaginea a acoperit întreaga pagină sau că textul este identificabil.
Dacă puteți vedea textul în PDF, dar nu îl puteți copia, este posibil să nu fie o copie scanată sau poate exista o problemă cu maparea caracterelor. Acest articol este scris pentru dezvoltatori și procesoare de documente care trebuie să extragă, să traducă sau să structureze conținut PDF. După citire, veți ști cum să distingeți mai întâi problemele la nivel de text și conținutul imaginii și să utilizați semnale unificate pentru a determina ce să faceți în continuare.
Codul și exemplele de aici folosesc mostre sintetice care au trecut verificările eșantioanelor într-un mediu izolat și nu reprezintă o garanție a tuturor fișierelor reale sau a performanței produsului. Înainte de a procesa documente importante, vă rugăm să păstrați originalele și să le revizuiți în funcție de limitele și elementele de acceptare din text.
PDF-ul poate fi vizualizat, dar nu copiat. Este o copie scanată? O singură propoziție concluzie
Nu pot judeca direct. Verificați mai întâi stratul de text și maparea caracterelor, apoi uitați-vă la imaginea paginii și, în final, determinați dacă este vorba despre o scanare sau o eroare de mapare.
| situatia ta | Practici recomandate | motiv |
|---|---|---|
| Poate vedea textul, poate copia caractere deformate sau spații goale | Verificați maparea ToUnicode și codificarea fonturilor | Imaginea este normală, dar stratul de text este rupt, mai ales din cauza cartografierii lipsă sau greșită. |
| Caracterele copiate par rezonabile, dar au o semantică incorectă | Verificați rezultatele extracției în raport cu conținutul vizual | Maparea euristică poate scoate caractere greșite și poate trece verificarea non-nulă |
| Nu există text, dar sunt imagini pe pagină | Verificați dacă imaginea conține text și apoi determinați dacă este necesar OCR | Citările de imagini nu echivalează cu scanări pe toată pagina și nici nu dovedesc că textul este lizibil |
| Nici textul, nici imaginile nu sunt verificate | Vizualizați conținutul desenului paginii | Nu există nicio modalitate de a concluziona că pagina este goală |
De ce este deranjat codul copiat?
Utilizatorii pot vedea textul în mod normal în browser sau cititor, dar textul copiat este deranjat, gol sau simboluri irelevante. Acesta nu este de obicei un fișier deteriorat și nici nu este neapărat o copie scanată. Cauza principală este că gliful (Glyph) la tabelul de mapare Unicode (ToUnicode CMap) din interiorul PDF-ului lipsește sau este greșit.
Motoarele de randare se bazează pe indexuri de glife pentru a desena conținut vizual, în timp ce clipboard-urile și instrumentele de extragere a textului se bazează pe tabelele de cartografiere pentru a restabili caracterele semantice. Când cele două sunt rupte, apare un strat de text rău „normal din punct de vedere vizual, care nu poate fi citit de mașină".
Înainte de a face traducerea documentului sau extragerea structurată, trebuie să confirmați mai întâi dacă problema constă în mapare sau dacă pagina în sine este o imagine. În caz contrar, procesele ulterioare OCR sau NLP se vor baza pe o premisă greșită.
Mecanism de rupere între indexul glifului și maparea Unicode
Specificația PDF permite fonturilor să încorporeze numai informații despre conturul și lățimea glifului, dar nu și maparea de codificare a caracterelor. Următoarele condiții pot provoca rupere:
- Software-ul care generează PDF nu scrie corect tabelul ToUnicode
- Se utilizează codificare personalizată, dar nu sunt furnizate reguli de decodare
În acest moment, extractorul poate obține doar ID-ul glifului original (CID). Aceste ID-uri sunt semnificative pentru redare, dar nu au nicio valoare pentru procesarea textului.
Unele instrumente folosesc euristica pentru a ghici maparea, iar rezultatul poate fi caractere care par rezonabile, dar sunt de fapt greșite, cum ar fi conversia punctuației chinezești în litere latine sau înlocuirea numerelor cu caractere de control. Acest tip de „text fals"este mai subtil decât spațiul alb pur, deoarece poate trece verificarea non-nulă, dar va provoca poluare silențioasă a datelor în legăturile din aval.
Cheia pentru a judeca astfel de probleme nu este de a vedea dacă textul poate fi selectat, ci de a verifica dacă șirul extras este în concordanță semantic cu conținutul vizual.
Utilizați PyMuPDF pentru diagnosticarea sintezei memoriei
Următorul cod construiește intrarea în memorie și verifică logica de diagnosticare:
from io import BytesIO
from PIL import Image
import pymupdf
def inspect(page):
text = page.get_text().strip()
images = page.get_images()
if "\ufffd" in text:
state = "review_replacement_characters"
elif text:
state = "text_present_needs_semantic_review"
elif images:
state = "image_without_extracted_text"
else:
state = "empty_text_needs_review"
return {"state": state, "characters": len(text), "image_refs": len(images)}
with pymupdf.open() as doc:
doc.new_page().insert_text((50, 50), "Text sample")
doc.new_page()
picture = BytesIO()
Image.new("RGB", (16, 16), "red").save(picture, format="PNG")
doc.new_page().insert_image(pymupdf.Rect(10, 10, 100, 100), stream=picture.getvalue())
assert inspect(doc[0])["state"] == "text_present_needs_semantic_review"
assert inspect(doc[1])["state"] == "empty_text_needs_review"
assert inspect(doc[2])["state"] == "image_without_extracted_text"
assert inspect(doc[2])["characters"] == 0
În codul de mai sus, funcția diagnose_text_layer obține textul original prin get_text("text"), folosește unicodedata.category pentru a filtra caracterele de control și caracterele de spațiu și calculează proporția de conținut efectiv. În același timp, detectează prezența blocurilor de imagine prin get_text("blocks").
Cele două afirmații verifică două cazuri: un document normal cu o rată de imprimare mai mare de 0,9 și un document scanat cu un număr de caractere de zero. Aceasta acoperă logica de ramificare de bază.
Este important de menționat că acest diagnostic se bazează exclusiv pe caracteristici statistice. Pentru fonturi criptate sau codificări speciale, este încă necesară examinarea manuală.
📊 Comparație de bază
Următorul tabel enumeră direcțiile de inspecție corespunzătoare diferitelor semnale și concluziile care nu ar trebui trase:
| Semnal | Următorul pas de verificat | concluzii care nu trebuie trase |
|---|---|---|
| Există text imprimabil | Verificați semantica, ordinea și sursele | Dacă poate fi extras, înseamnă că este corect. |
| Există personaje alternative | Examinați codificarea și maparea fonturilor | Toate personajele sunt pierdute |
| Sunt imagini, dar nu există text | Verificați dacă imaginea conține text | Trebuie să fie o scanare a întregii pagini |
| Nu au fost detectate nici text, nici imagini | Vizualizați conținutul desenului paginii | Trebuie să fie o pagină goală |
🎯 Ce metodă este potrivită pentru tine?
Dacă puteți vedea textul, dar nu îl puteți copia
Prioritizează verificarea mapării ToUnicode și a codificării fontului, care este de obicei cauzată de o mapare întreruptă.
Dacă textul copiat pare normal, dar conținutul este greșit
Utilizați conținut vizual pentru a compara rezultatele extracției segment cu segment, nu vă uitați doar dacă nu este gol.
Dacă pagina are doar imagini și fără text
Verificați dacă imaginea conține text și decideți dacă este necesar OCR. Nu presupuneți doar că întreaga pagină este o scanare.
Dacă aveți de gând să faceți traducerea documentelor
Verificările integrității textului sunt finalizate înainte ca mostrele desensibilizate să fie predate procesului de traducere.
Utilizați această listă de verificare pentru traducerea documentelor
Verificați mai întâi ordinea paginilor, locația sursei și integritatea textului, apoi trimiteți același eșantion desensibilizat procesului de traducere. După traducere, mai trebuie să verificați dacă titlul, textul și ilustrațiile corespund corect. Nu puteți verifica doar dacă textul este neted.
OmniDoc (portal de produse) oferă un portal de traducere a documentelor multi-format, iar site-ul oficial introduce OCR, glosar și funcții de comparare bilingvă. Dacă doriți să începeți procesarea direct din fișier, puteți evalua această cale cu un eșantion real.
Utilizați fișiere desensibilizate pe care aveți permisiunea să le încărcați și utilizați elementele de verificare din acest articol pentru a examina rezultatele. Nu există nicio pretenție că OmniDoc utilizează bibliotecile open source sau algoritmii interni menționați în acest articol și nici exemplul nu înlocuiește testarea performanței produsului.
❓ Întrebări frecvente (FAQ)
1. Dacă textul poate fi extras, înseamnă că stratul de text este corect?
nu poate. Conținutul extras trebuie, de asemenea, verificat pentru semantică, ordine și origine. Când apar erori de mapare, pot fi afișate caractere aparent rezonabile.
2. Sunt imagini pe pagină. Înseamnă că este o copie scanată?
nesigur. Citarea imaginii nu dovedește că imaginea acoperă întreaga pagină și nici nu dovedește că textul poate fi recunoscut. Trebuie să verificați dacă imaginea conține text.
3. Nici textul, nici imaginile nu pot fi detectate. Asta înseamnă că pagina este goală?
Nu se poate trage nicio concluzie din asta. Ar trebui să verificați conținutul desenului din pagină înainte de a face o judecată.
4. Va funcționa acest script de diagnosticare cu toate fișierele PDF?
nu poate. Se bazează doar pe caracteristici statistice, iar revizuirea manuală este încă necesară pentru fonturile criptate sau codificări speciale.
📝 Rezumat
Indiferent dacă PDF-ul poate fi vizualizat sau copiat, verificați mai întâi stratul de text și maparea caracterelor, apoi priviți conținutul imaginii și, în sfârșit, determinați dacă este un document scanat. Păstrați originalele înainte de procesare și revizuiți-le unul câte unul cu articolele de inspecție.
Încercați acum: încărcați documentul pentru a începe traducerea, păstrând aspectul original


