Το PDF μπορεί να προβληθεί αλλά όχι να αντιγραφεί, μπορεί να μην είναι σάρωση: ελέγξτε πρώτα το επίπεδο κειμένου και την αντιστοίχιση χαρακτήρων
Εάν δεν υπάρχει κείμενο, δεν μπορεί να κριθεί άμεσα ως "το επίπεδο κειμένου είναι κανονικό", ούτε μπορεί να κριθεί άμεσα ως σαρωμένο αντίγραφο. Το κείμενο, οι εναλλακτικοί χαρακτήρες και οι αναφορές εικόνας σελίδας καταγράφονται παρακάτω αντίστοιχα, και η κατάσταση που πρέπει να ελεγχθεί εξάγεται. Οι αναφορές εικόνας δεν αποδεικνύουν ότι η εικόνα έχει καλύψει ολόκληρη τη σελίδα ή ότι το κείμενο είναι αναγνωρίσιμο.
Εάν μπορείτε να δείτε το κείμενο στο PDF αλλά δεν μπορείτε να το αντιγράψετε, ενδέχεται να μην είναι σαρωμένο αντίγραφο ή μπορεί να υπάρχει πρόβλημα με την αντιστοίχιση χαρακτήρων. Αυτό το άρθρο είναι γραμμένο για προγραμματιστές και επεξεργαστές εγγράφων που χρειάζονται εξαγωγή, μετάφραση ή δομή περιεχομένου PDF. Μετά την ανάγνωση, θα ξέρετε πώς να διακρίνετε πρώτα προβλήματα σε επίπεδο κειμένου και περιεχόμενο εικόνας και να χρησιμοποιείτε ενοποιημένα σήματα για να καθορίσετε τι να κάνετε στη συνέχεια.
Ο κώδικας και τα παραδείγματα εδώ χρησιμοποιούν συνθετικά δείγματα που έχουν περάσει δειγματοληπτικούς ελέγχους σε απομονωμένο περιβάλλον και δεν αποτελούν εγγύηση για όλα τα πραγματικά αρχεία ή την απόδοση του προϊόντος. Πριν επεξεργαστείτε σημαντικά έγγραφα, διατηρήστε τα πρωτότυπα και ελέγξτε τα σύμφωνα με τα όρια και τα στοιχεία αποδοχής στο κείμενο.
Το PDF μπορεί να προβληθεί αλλά όχι να αντιγραφεί. Είναι σαρωμένο αντίγραφο; Μια φράση συμπέρασμα
Δεν μπορώ να κρίνω ευθέως. Ελέγξτε πρώτα το επίπεδο κειμένου και την αντιστοίχιση χαρακτήρων, μετά κοιτάξτε την εικόνα της σελίδας και, τέλος, προσδιορίστε εάν πρόκειται για αποτυχία σάρωσης ή αντιστοίχισης.
| την κατάστασή σας | Συνιστώμενες πρακτικές | λόγος |
|---|---|---|
| Μπορεί να δει το κείμενο, να αντιγράψει αλλοιωμένους χαρακτήρες ή κενά διαστήματα | Ελέγξτε την αντιστοίχιση ToUnicode και την κωδικοποίηση γραμματοσειρών | Η απεικόνιση είναι κανονική, αλλά το επίπεδο κειμένου έχει σπάσει, κυρίως λόγω έλλειψης ή λανθασμένης αντιστοίχισης. |
| Οι αντιγραμμένοι χαρακτήρες φαίνονται λογικοί αλλά έχουν εσφαλμένη σημασιολογία | Ελέγξτε τα αποτελέσματα εξαγωγής σε σχέση με το οπτικό περιεχόμενο | Η ευρετική αντιστοίχιση μπορεί να δώσει λάθος χαρακτήρες και να περάσει τον μη μηδενικό έλεγχο |
| Δεν υπάρχει κείμενο, αλλά υπάρχουν εικόνες στη σελίδα | Ελέγξτε εάν η εικόνα περιέχει κείμενο και, στη συνέχεια, καθορίστε εάν απαιτείται OCR | Οι παραπομπές εικόνων δεν ισοδυναμούν με σαρώσεις πλήρους σελίδας, ούτε αποδεικνύουν ότι το κείμενο είναι ευανάγνωστο |
| Ούτε το κείμενο ούτε οι εικόνες ελέγχονται | Προβολή περιεχομένου σχεδίασης σελίδας | Δεν υπάρχει τρόπος να συμπεράνουμε ότι η σελίδα είναι κενή |
Γιατί είναι αλλοιωμένος ο αντιγραμμένος κωδικός;
Οι χρήστες μπορούν να δουν το κείμενο κανονικά στο πρόγραμμα περιήγησης ή στο πρόγραμμα ανάγνωσης, αλλά το αντιγραμμένο κείμενο είναι μπερδεμένο, κενό ή άσχετα σύμβολα. Αυτό συνήθως δεν είναι κατεστραμμένο αρχείο, ούτε είναι απαραίτητα σαρωμένο αντίγραφο. Η βασική αιτία είναι ότι ο πίνακας αντιστοίχισης γλυφών (Glyph) σε Unicode (ToUnicode CMap) μέσα στο PDF λείπει ή είναι λάθος.
Οι μηχανές απόδοσης βασίζονται σε δείκτες γλυφών για τη σχεδίαση οπτικού περιεχομένου, ενώ τα εργαλεία εξαγωγής προχείρου και κειμένου βασίζονται σε πίνακες χαρτογράφησης για την επαναφορά σημασιολογικών χαρακτήρων. Όταν τα δύο είναι σπασμένα, εμφανίζεται ένα "οπτικά κανονικό, μη αναγνώσιμο από μηχανή" στρώμα κακού κειμένου.
Πριν κάνετε μετάφραση εγγράφων ή δομημένη εξαγωγή, πρέπει πρώτα να επιβεβαιώσετε εάν το πρόβλημα έγκειται στην αντιστοίχιση ή εάν η ίδια η σελίδα είναι εικόνα. Διαφορετικά, οι επόμενες διεργασίες OCR ή NLP θα βασίζονται σε λάθος υπόθεση.
Μηχανισμός διακοπής μεταξύ ευρετηρίου γλυφών και χαρτογράφησης Unicode
Η προδιαγραφή PDF επιτρέπει στις γραμματοσειρές να ενσωματώνουν μόνο πληροφορίες περίγραμμα και πλάτους γλυφών, αλλά όχι χαρτογράφηση κωδικοποίησης χαρακτήρων. Οι ακόλουθες συνθήκες μπορεί να προκαλέσουν θραύση:
- Το λογισμικό που δημιουργεί PDF δεν γράφει σωστά τον πίνακα ToUnicode
- Χρησιμοποιείται προσαρμοσμένη κωδικοποίηση, αλλά δεν παρέχονται κανόνες αποκωδικοποίησης
Αυτή τη στιγμή ο εξολκέας μπορεί να πάρει μόνο το πρωτότυπο αναγνωριστικό γλυφής (CID). Αυτά τα αναγνωριστικά είναι σημαντικά για την απόδοση, αλλά δεν έχουν καμία αξία για την επεξεργασία κειμένου.
Ορισμένα εργαλεία χρησιμοποιούν ευρετικά για να μαντέψουν την αντιστοίχιση και το αποτέλεσμα μπορεί να είναι χαρακτήρες που φαίνονται λογικοί αλλά στην πραγματικότητα είναι λανθασμένοι, όπως η μετατροπή των κινεζικών σημείων στίξης σε λατινικά γράμματα ή η αντικατάσταση αριθμών με χαρακτήρες ελέγχου. Αυτό το είδος "εικονικού κειμένου" είναι πιο λεπτό από το καθαρό κενό διάστημα, επειδή μπορεί να περάσει τον μη μηδενικό έλεγχο, αλλά θα προκαλέσει σιωπηλή μόλυνση δεδομένων σε συνδέσμους κατάντη.
Το κλειδί για την κρίση τέτοιων προβλημάτων δεν είναι να δούμε αν μπορεί να επιλεγεί το κείμενο, αλλά να επαληθεύσουμε εάν η εξαγόμενη συμβολοσειρά είναι σημασιολογικά συνεπής με το οπτικό περιεχόμενο.
Χρησιμοποιήστε το PyMuPDF για διαγνωστικά σύνθεσης μνήμης
Ο ακόλουθος κώδικας κατασκευάζει την είσοδο στη μνήμη και επαληθεύει τη διαγνωστική λογική:
from io import BytesIO
from PIL import Image
import pymupdf
def inspect(page):
text = page.get_text().strip()
images = page.get_images()
if "\ufffd" in text:
state = "review_replacement_characters"
elif text:
state = "text_present_needs_semantic_review"
elif images:
state = "image_without_extracted_text"
else:
state = "empty_text_needs_review"
return {"state": state, "characters": len(text), "image_refs": len(images)}
with pymupdf.open() as doc:
doc.new_page().insert_text((50, 50), "Text sample")
doc.new_page()
picture = BytesIO()
Image.new("RGB", (16, 16), "red").save(picture, format="PNG")
doc.new_page().insert_image(pymupdf.Rect(10, 10, 100, 100), stream=picture.getvalue())
assert inspect(doc[0])["state"] == "text_present_needs_semantic_review"
assert inspect(doc[1])["state"] == "empty_text_needs_review"
assert inspect(doc[2])["state"] == "image_without_extracted_text"
assert inspect(doc[2])["characters"] == 0
Στον παραπάνω κώδικα, η συνάρτηση diagnose_text_layer λαμβάνει το αρχικό κείμενο μέσω του get_text("text"), χρησιμοποιεί το unicodedata.category για να φιλτράρει χαρακτήρες ελέγχου και χαρακτήρες κενού διαστήματος και υπολογίζει την αναλογία του αποτελεσματικού περιεχομένου. Ταυτόχρονα, ανιχνεύει την παρουσία μπλοκ εικόνας μέσω του get_text("blocks").
Οι δύο ισχυρισμοί επαληθεύουν δύο περιπτώσεις: ένα κανονικό έγγραφο με ποσοστό εκτυπωσιμότητας υψηλότερο από 0,9 και ένα σαρωμένο έγγραφο με μηδενικό αριθμό χαρακτήρων. Αυτό καλύπτει τη λογική διακλάδωσης του πυρήνα.
Είναι σημαντικό να σημειωθεί ότι αυτή η διάγνωση βασίζεται αποκλειστικά σε στατιστικά χαρακτηριστικά. Για κρυπτογραφημένες γραμματοσειρές ή ειδικές κωδικοποιήσεις, απαιτείται χειροκίνητος έλεγχος.
📊 Βασική σύγκριση
Ο παρακάτω πίνακας παραθέτει τις οδηγίες επιθεώρησης που αντιστοιχούν σε διαφορετικά σήματα και τα συμπεράσματα που δεν πρέπει να εξαχθούν:
| Σύνθημα | Επόμενο βήμα για έλεγχο | συμπεράσματα που δεν πρέπει να εξαχθούν |
|---|---|---|
| Υπάρχει εκτυπώσιμο κείμενο | Ελέγξτε τη σημασιολογία, τη σειρά και τις πηγές | Εάν μπορεί να εξαχθεί, σημαίνει ότι είναι σωστό. |
| Υπάρχουν εναλλακτικοί χαρακτήρες | Ελέγξτε την κωδικοποίηση και τη χαρτογράφηση γραμματοσειρών | Όλοι οι χαρακτήρες έχουν χαθεί |
| Υπάρχουν εικόνες αλλά όχι κείμενο | Ελέγξτε αν η εικόνα περιέχει κείμενο | Πρέπει να είναι σάρωση ολόκληρης σελίδας |
| Ούτε το κείμενο ούτε η εικόνα είναι δανεισμένα | Προβολή περιεχομένου σχεδίασης σελίδας | Πρέπει να είναι κενή σελίδα |
🎯 Ποια προσέγγιση σου ταιριάζει;
Αν μπορείς να δεις το κείμενο αλλά δεν μπορείς να το αντιγράψεις
Δώστε προτεραιότητα στον έλεγχο των αντιστοιχίσεων και κωδικοποιήσεων γραμματοσειρών ToUnicode, που συνήθως προκαλούνται από διακοπές χάρτη.
Αν το αντιγραμμένο κείμενο φαίνεται κανονικό αλλά το περιεχόμενο είναι λανθασμένο
Εξάγετε αποτελέσματα συγκρίνοντας το οπτικό περιεχόμενο παράγραφο προς ενότητα· μην κοιτάτε μόνο αν δεν είναι κενό.
Αν η σελίδα περιέχει μόνο εικόνες και όχι κείμενο
Ελέγξτε αν η εικόνα περιέχει κείμενο πριν αποφασίσετε αν χρειάζεται OCR. Μην υποθέτετε ότι ολόκληρη η σελίδα είναι σάρωση.
Αν ετοιμάζεστε να κάνετε μετάφραση εγγράφων
Πρώτα, ολοκληρώστε τον έλεγχο ακεραιότητας του κειμένου και στη συνέχεια παραδώστε το αποευαισθητοποιημένο δείγμα στη διαδικασία μετάφρασης.
Χρησιμοποιήστε αυτή τη λίστα ελέγχου για μετάφραση εγγράφων
Πρώτα, ελέγξτε προσεκτικά τη σειρά σελίδων, τη θέση της πηγής και την ακεραιότητα του κειμένου, και μετά υποβάλετε το ίδιο αγχωτικό δείγμα στη διαδικασία μετάφρασης. Μετά τη μετάφραση, εξακολουθεί να είναι απαραίτητο να ελεγχθεί αν ο τίτλος, το κύριο κείμενο και οι λεζάντες αντιστοιχούν σωστά· το κείμενο δεν πρέπει να κρίνεται μόνο από την ευχέρεια.
Το OmniDoc (Πύλη Προϊόντων) παρέχει πύλες μετάφρασης εγγράφων πολλαπλών μορφών, και η επίσημη ιστοσελίδα εισάγει OCR, γλωσσάρια και δυνατότητες δίγλωσσης σύγκρισης. Αν θέλετε να ξεκινήσετε την επεξεργασία απευθείας από το αρχείο, μπορείτε να αξιολογήσετε αυτή τη διαδρομή με πραγματικά δείγματα.
Παρακαλούμε χρησιμοποιήστε τα ανωνυμοποιημένα αρχεία για τα οποία έχετε άδεια να ανεβάσετε και ελέγξτε τα αποτελέσματα με τη λίστα ελέγχου σε αυτό το άρθρο. Δεν ισχυρίζεται ότι το OmniDoc χρησιμοποιεί τις βιβλιοθήκες ανοιχτού κώδικα ή τους εσωτερικούς αλγορίθμους που αναφέρονται εδώ, ούτε αντικαθιστά τις δοκιμές απόδοσης προϊόντων με παραδείγματα.
❓ Συχνές Ερωτήσεις (FAQ)
1. Αν μπορείς να εξάγεις κείμενο, σημαίνει ότι το επίπεδο κειμένου είναι σωστό;
Όχι. Το εξαγόμενο περιεχόμενο πρέπει επίσης να επαληθεύει τη σημασιολογία, τη σειρά και την πηγή, και αν η αντιστοίχιση είναι λανθασμένη, μπορεί να εμφανίσει χαρακτήρες που φαίνονται λογικοί.
2. Αν υπάρχουν εικόνες στη σελίδα, σημαίνει ότι είναι σαρώσεις;
Όχι απαραίτητα. Η αναφορά εικόνας δεν αποδεικνύει ότι η εικόνα καλύπτει ολόκληρη τη σελίδα, ούτε ότι το κείμενο είναι αναγνωρίσιμο· πρέπει να ελέγξετε αν η εικόνα περιέχει κείμενο.
3. Αν δεν ανιχνεύεται ούτε κείμενο ούτε εικόνες, σημαίνει αυτό ότι η σελίδα είναι κενή;
Δεν μπορούν να εξαχθούν συμπεράσματα βάσει αυτού. Πρέπει να εξετάσετε το περιεχόμενο σχεδίασης της σελίδας πριν βγάλετε συμπέρασμα.
4. Μπορεί αυτό το διαγνωστικό σενάριο να χρησιμοποιηθεί για όλα τα PDF;
Όχι. Βασίζεται αποκλειστικά σε στατιστικά χαρακτηριστικά· οι κρυπτογραφημένες γραμματοσειρές ή οι ειδικές κωδικοποιήσεις εξακολουθούν να απαιτούν χειροκίνητο έλεγχο.
📝 Περίληψη
Τα PDF μπορούν να προβληθούν αλλά όχι να αντιγραφούν. Πρώτα, ελέγξτε τα επίπεδα κειμένου και τις αντιστοιχίσεις χαρακτήρων, μετά κοιτάξτε το περιεχόμενο της εικόνας και τέλος προσδιορίστε αν πρόκειται για σάρωση. Πριν από την επεξεργασία, διατηρήστε τα πρωτότυπα έγγραφα και εξετάστε κάθε αντικείμενο με τα στοιχεία επιθεώρησης.


