OmniDocPDF kann angezeigt, aber nicht kopiert werden, es handelt sich möglicherweise nicht um einen Scan: Überprüfen Sie zuerst die Textebene und die Zeichenzuordnung
Wenn kein Text vorhanden ist, kann dies nicht direkt als „die Textebene ist normal“ oder als gescannte Kopie beurteilt werden. Nachfolgend werden jeweils Text, Alternativzeichen und Seitenbildverweise erfasst und der zu prüfende Status ausgegeben; Bildverweise beweisen nicht, dass das Bild die gesamte Seite einnimmt oder dass der Text identifizierbar ist.
Wichtige Punkte dieses Artikels
– Die häufigste Ursache dafür, dass PDFs angezeigt, aber nicht kopiert werden können, ist, dass die Glyphen-zu-Unicode-Zuordnung fehlt oder falsch ist und es sich möglicherweise nicht um eine gescannte Kopie handelt.
- Wenn der Text nicht extrahiert wird, kann er nicht direkt als Scan beurteilt werden und die Bildreferenz beweist nicht, dass die gesamte Seite ein Bild ist.
- Überprüfen Sie die Codierung und Schriftartenzuordnung, wenn alternative Zeichen angezeigt werden. Der durch falsche Zuordnung generierte Pseudotext besteht möglicherweise die Nicht-Null-Prüfung.
- Die Diagnose in diesem Artikel basiert nur auf statistischen Merkmalen und eine manuelle Überprüfung ist dennoch erforderlich, wenn verschlüsselte Schriftarten oder spezielle Kodierungen auftreten.
- Überprüfen Sie vor der Übersetzung die Seitenreihenfolge und die Textintegrität und prüfen Sie nach der Übersetzung, ob Titel, Text und Legenden übereinstimmen.
Wenn Sie den Text im PDF sehen, ihn aber nicht kopieren können, handelt es sich möglicherweise nicht um eine gescannte Kopie oder es liegt ein Problem mit der Zeichenzuordnung vor. Dieser Artikel richtet sich an Entwickler und Dokumentverarbeiter, die PDF-Inhalte extrahieren, übersetzen oder strukturieren müssen. Nach dem Lesen wissen Sie, wie Sie zunächst Probleme auf Textebene und Bildinhalte unterscheiden und anhand einheitlicher Signale bestimmen können, was als Nächstes zu tun ist.
Der Code und die Beispiele hier verwenden synthetische Beispiele, die Beispielprüfungen in einer isolierten Umgebung bestanden haben, und stellen keine Garantie für alle echten Dateien oder die Produktleistung dar. Bevor Sie wichtige Dokumente bearbeiten, bewahren Sie bitte die Originale auf und überprüfen Sie sie anhand der Grenzen und Akzeptanzpunkte im Text.
Das PDF kann angezeigt, aber nicht kopiert werden. Handelt es sich um eine gescannte Kopie? Fazit in einem Satz
Kann ich nicht direkt beurteilen. Überprüfen Sie zuerst die Textebene und die Zeichenzuordnung, schauen Sie sich dann das Seitenbild an und stellen Sie schließlich fest, ob es sich um einen Scan oder einen Zuordnungsfehler handelt.
| Ihre Situation | Empfohlene Praktiken | Grund |
|---|---|---|
| Kann den Text sehen und verstümmelte Zeichen oder Leerzeichen kopieren | Überprüfen Sie die ToUnicode-Zuordnung und Schriftartenkodierung | Das Bild ist normal, aber die Textebene ist kaputt, hauptsächlich aufgrund fehlender oder falscher Zuordnung. |
| Die kopierten Zeichen sehen vernünftig aus, haben aber eine falsche Semantik | Überprüfen Sie die Extraktionsergebnisse anhand des visuellen Inhalts | Die heuristische Zuordnung gibt möglicherweise falsche Zeichen aus und besteht eine Nicht-Null-Prüfung |
| Es gibt keinen Text, aber Bilder auf der Seite | Überprüfen Sie, ob das Bild Text enthält, und ermitteln Sie dann, ob OCR erforderlich ist | Bildzitate entsprechen weder ganzseitigen Scans noch beweisen sie die Lesbarkeit des Textes |
| Weder Text noch Bilder werden ausgecheckt | Zeigen Sie den Inhalt der Seitenzeichnung an | Daraus lässt sich nicht schließen, dass die Seite leer ist |
Warum ist der kopierte Code verstümmelt?
Benutzer können den Text normal im Browser oder Reader sehen, aber der kopierte Text ist verstümmelt, leer oder enthält irrelevante Symbole. Dabei handelt es sich in der Regel nicht um eine beschädigte Datei und auch nicht unbedingt um eine gescannte Kopie. Die Hauptursache ist, dass die Glyphe (Glyph) zur Unicode-Zuordnungstabelle (ToUnicode CMap) in der PDF fehlt oder falsch ist.
Rendering-Engines stützen sich auf Glyphenindizes, um visuelle Inhalte zu zeichnen, während Zwischenablage- und Textextraktionstools auf Zuordnungstabellen zurückgreifen, um semantische Zeichen wiederherzustellen. Wenn die beiden unterbrochen werden, erscheint eine „visuell normale, maschinenunlesbare"Schicht fehlerhaften Textes.
Bevor Sie eine Dokumentübersetzung oder eine strukturierte Extraktion durchführen, müssen Sie zunächst bestätigen, ob das Problem in der Zuordnung liegt oder ob es sich bei der Seite selbst um ein Bild handelt. Andernfalls basieren nachfolgende OCR- oder NLP-Prozesse auf der falschen Prämisse.
Unterbrechungsmechanismus zwischen Glyphenindex und Unicode-Zuordnung
Die PDF-Spezifikation ermöglicht, dass Schriftarten nur Glyphenumriss- und Breiteninformationen einbetten, nicht jedoch die Zeichenkodierungszuordnung. Die folgenden Bedingungen können zum Bruch führen:
- Software, die PDF generiert, schreibt die ToUnicode-Tabelle nicht korrekt
– Es wird eine benutzerdefinierte Kodierung verwendet, es werden jedoch keine Dekodierungsregeln bereitgestellt
Derzeit kann der Extraktor nur die ursprüngliche Glyphen-ID (CID) abrufen. Diese IDs sind für den Renderer von Bedeutung, haben jedoch keinen Wert für die Textverarbeitung.
Einige Tools verwenden Heuristiken, um die Zuordnung zu erraten. Das Ergebnis sind möglicherweise Zeichen, die zwar sinnvoll erscheinen, aber in Wirklichkeit falsch sind, wie etwa die Umwandlung chinesischer Satzzeichen in lateinische Buchstaben oder das Ersetzen von Zahlen durch Steuerzeichen. Diese Art von „Dummy-Text"ist subtiler als reines Leerzeichen, da er die Nicht-Null-Prüfung bestehen kann, aber in Downstream-Links zu einer stillen Datenverschmutzung führt.
Der Schlüssel zur Beurteilung solcher Probleme besteht nicht darin, festzustellen, ob der Text ausgewählt werden kann, sondern darin, zu überprüfen, ob die extrahierte Zeichenfolge semantisch mit dem visuellen Inhalt übereinstimmt.
Verwenden Sie PyMuPDF für die Speichersynthesediagnose
Der folgende Code erstellt die Eingabe im Speicher und überprüft die Diagnoselogik:
from io import BytesIO
from PIL import Image
import pymupdf
def inspect(page):
text = page.get_text().strip()
images = page.get_images()
if "\ufffd" in text:
state = "review_replacement_characters"
elif text:
state = "text_present_needs_semantic_review"
elif images:
state = "image_without_extracted_text"
else:
state = "empty_text_needs_review"
return {"state": state, "characters": len(text), "image_refs": len(images)}
with pymupdf.open() as doc:
doc.new_page().insert_text((50, 50), "Text sample")
doc.new_page()
picture = BytesIO()
Image.new("RGB", (16, 16), "red").save(picture, format="PNG")
doc.new_page().insert_image(pymupdf.Rect(10, 10, 100, 100), stream=picture.getvalue())
assert inspect(doc[0])["state"] == "text_present_needs_semantic_review"
assert inspect(doc[1])["state"] == "empty_text_needs_review"
assert inspect(doc[2])["state"] == "image_without_extracted_text"
assert inspect(doc[2])["characters"] == 0Im obigen Code ruft die Funktion diagnose_text_layer den Originaltext über get_text("text") ab, verwendet unicodedata.category zum Filtern von Steuerzeichen und Leerzeichen und berechnet den Anteil des effektiven Inhalts. Gleichzeitig erkennt es über get_text("blocks") das Vorhandensein von Bildblöcken.
Die beiden Behauptungen verifizieren zwei Fälle: ein normales Dokument mit einer Druckbarkeitsrate von mehr als 0,9 und ein gescanntes Dokument mit einer Zeichenanzahl von Null. Dies deckt die Kernverzweigungslogik ab.
Es ist wichtig zu beachten, dass diese Diagnose ausschließlich auf statistischen Merkmalen basiert. Für verschlüsselte Schriftarten oder spezielle Kodierungen ist weiterhin eine manuelle Überprüfung erforderlich.
📊 Kernvergleich
Die folgende Tabelle listet die Inspektionsrichtungen auf, die verschiedenen Signalen entsprechen, sowie Schlussfolgerungen, die nicht gezogen werden sollten:
| Signal | Der nächste Schritt ist, nachzusehen | Schlussfolgerungen, die nicht gezogen werden sollten |
|---|---|---|
| Es gibt druckbaren Text | Überprüfe Semantik, Reihenfolge und Quellen | Wenn du es extrahieren kannst, bedeutet das, dass es korrekt ist |
| Es gibt alternative Charaktere | Überprüfende Codierung und Schriftzuordnung | Alle Charaktere sind verloren gegangen |
| Es gibt Bilder, aber keinen Text | Überprüfen Sie, ob das Bild Text enthält | Es muss ein ganzseitiger Scan sein |
| Weder Text noch Bilder wurden entdeckt | Seitenzeichnungen ansehen | Es muss eine leere Seite sein |
🎯 Welche Methode passt zu dir?
Wenn du den Text sehen kannst, ihn aber nicht kopieren kannst
Priorisieren Sie die Überprüfung von ToUnicode-Zuordnungen und Schriftkodierungen, die meist durch Map-Brüche verursacht werden.
Wenn der kopierte Text normal aussieht, aber Fehler enthält,
Verwenden Sie visuelle Inhalte, um Ergebnisse Absatz für Absatz zu vergleichen und zu extrahieren; schauen Sie nicht nur darauf, ob sie nicht null sind.
Wenn die Seite nur Bilder und keinen Text enthält
Prüfen Sie, ob das Bild Text enthält, und entscheiden Sie, ob OCR benötigt wird. Geh nicht davon aus, dass die ganze Seite ein Scan ist.
Wenn du dich darauf vorbereitest, Dokumentenübersetzung zu machen
Führen Sie zuerst die Textintegritätsprüfung durch und übergeben Sie dann das desensibilisierte Beispiel an den Übersetzungsprozess.
Verwenden Sie diese Checkliste für die Dokumentenübersetzung
Überprüfen Sie zunächst sorgfältig die Seitenreihenfolge, den Quellstandort und die Textintegrität und reichen Sie dann dieselbe Desensibilisierungsprobe dem Übersetzungsprozess ein. Nach der Übersetzung ist es weiterhin notwendig zu überprüfen, ob Titel, Haupttext und Bildunterschriften korrekt übereinstimmen; es reicht nicht aus, nur nach der Glattigkeit des Textes zu urteilen.
OmniDoc (Produkteinführung) bietet ein multiformatiges Dokumentenübersetzungsportal, wobei die offizielle Website OCR, Glossare und zweisprachige Referenzfunktionen einführt. Wenn du direkt von der Datei aus starten möchtest, kannst du diesen Pfad mit tatsächlichen Samples auswerten.
Bitte verwenden Sie die ängstliche Datei, die Sie hochladen dürfen, und überprüfen Sie die Ergebnisse der Checkliste in diesem Artikel. Dies behauptet nicht, dass OmniDoc die in diesem Artikel erwähnten Open-Source-Bibliotheken oder internen Algorithmen verwendet, noch ersetzt es Produktleistungstests durch Beispiele.
❓ Häufig gestellte Fragen (FAQ)
1. Wenn du Text extrahieren kannst, bedeutet das, dass die Textebene korrekt ist?
Nein. Der extrahierte Inhalt muss außerdem auf Semantik, Reihenfolge und Quelle überprüft werden, und wenn die Abbildung falsch ist, können scheinbar sinnvolle Zeichen ausgegeben werden.
2. Wenn Bilder auf der Seite sind, bedeutet das, dass es sich um einen Scan handelt?
Nicht unbedingt. Bildreferenzen beweisen nicht, dass das Bild die gesamte Seite bedeckt, noch dass der Text erkannt werden kann; man muss prüfen, ob das Bild Text enthält.
3. Wenn weder Text noch Bilder erkannt werden, bedeutet das, dass die Seite leer ist?
Daraus kann keine Schlussfolgerung gezogen werden. Sie sollten die Wiedergabe der Seite prüfen, bevor Sie ein Urteil fällen.
4. Kann dieses diagnostische Skript für alle PDFs verwendet werden?
Nein. Sie basiert ausschließlich auf statistischen Merkmalen; verschlüsselte Schriftarten oder spezielle Codierungen erfordern weiterhin eine manuelle Verifikation.
📝 Zusammenfassung
PDFs können gelesen, aber nicht kopiert werden; prüfen Sie zuerst die Textebenen und Zeichenabordnungen, dann sehen Sie sich den Bildinhalt an und entscheiden schließlich, ob es sich um eine gescannte Kopie handelt. Vor der Bearbeitung bewahren Sie die Originaldokumente auf und überprüfen Sie jeden Eintrag mit Inspektionsunterlagen.
