Κατά την ανάλυση αρχείων PDF σε παρτίδες, γιατί κάθε διαδικασία πρέπει να ανοίγει το αρχείο από μόνη της;
Οι εργασίες πολλαπλών διεργασιών θα πρέπει να περνούν σε σειριοποιήσιμες παραμέτρους και να επιτρέπουν σε κάθε μονάδα εργασίας να ανοίγει το έγγραφο ανεξάρτητα, αντί να μοιράζεται αντικείμενα Εγγράφου ή Σελίδας. Οι ακόλουθες δοκιμές τμηματοποίησαν την κάλυψη και άνοιξαν ανεξάρτητα τις λειτουργίες εργαζομένων. Για να παραμείνει φορητό και ελεγχόμενο, το παράδειγμα είναι σειριακό και δεν το περνά ως δοκιμή απόδοσης πολλαπλών διεργασιών.
Κατά την επεξεργασία αρχείων PDF σε παρτίδες, πολλοί άνθρωποι θα θέλουν πολλές διεργασίες να μοιράζονται το ίδιο αντικείμενο εγγράφου, πιστεύοντας ότι αυτό θα εξοικονομήσει προβλήματα. Στην πραγματικότητα, τα αντικείμενα Document και Page συνδέονται με τη διαδικασία που τα δημιούργησε και ενδέχεται να προκύψουν προβλήματα κατά τη χρήση τους σε όλες τις διεργασίες. Αυτό το άρθρο είναι κατάλληλο για προγραμματιστές που πρέπει να χρησιμοποιήσουν πολλές διαδικασίες για να χωρίσουν σελίδες PDF και να εξαγάγουν κείμενο σε παρτίδες. Μετά την ανάγνωση, θα μάθετε ποιες παράμετροι πρέπει να μεταβιβαστούν στη θυγατρική διεργασία, πώς θα πρέπει να ανοίξει το αρχείο η θυγατρική διαδικασία και σε ποιες περιπτώσεις είναι απαραίτητο να επιστρέψετε σε μία διαδικασία ή να εισαγάγετε το OCR.
Το παράδειγμα χρησιμοποιεί συνθετικά δείγματα και ο κώδικας κατασκευάζει την είσοδο στη μνήμη. Επαληθεύει την επεξεργασία της τμηματοποιημένης κάλυψης και των ανεξάρτητα ανοιγμένων αρχείων και δεν αποτελεί εγγύηση για όλα τα πραγματικά αρχεία ή την απόδοση του προϊόντος. Πριν επεξεργαστείτε σημαντικά έγγραφα, διατηρήστε τα πρωτότυπα και ελέγξτε τα σύμφωνα με τα όρια και τα στοιχεία αποδοχής παρακάτω.
Κατά την ανάλυση του PDF σε παρτίδες, πώς πρέπει κάθε διαδικασία να ανοίγει το αρχείο; Μια φράση συμπέρασμα
Οι εργασίες πολλαπλών διεργασιών θα πρέπει να περνούν σε σειριοποιήσιμες παραμέτρους και να έχουν κάθε μονάδα εργασίας να ανοίγει το έγγραφο ανεξάρτητα, αντί να μοιράζονται αντικείμενα Document ή Page.
| την κατάστασή σας | Συνιστώμενες πρακτικές | λόγος |
|---|---|---|
| Απαιτεί ομαδική επεξεργασία αρχείων PDF πολλαπλών διεργασιών | Περάστε παραμέτρους με δυνατότητα σειριοποίησης, όπως το όνομα αρχείου και το εύρος αριθμού σελίδας, και κάθε θυγατρική διαδικασία καλεί το pymupdf.open() από μόνη της | Το Document κρατά τον υποκείμενο δείκτη της δομής C και τη λαβή αρχείου και δεν μπορεί να μεταδοθεί με ασφάλεια στις διαδικασίες |
Θέλετε να μεταβιβάσετε απευθείας αντικείμενα Document ή Page | Δεν συνιστάται | Θα διακοπεί λόγω αποτυχίας τουρσί ή εξαίρεση λόγω μη έγκυρου δείκτη |
| Πολλές διεργασίες θέλουν να γράψουν στο ίδιο αρχείο εξόδου | Κάθε διεργασία γράφει ανεξάρτητα προσωρινά αρχεία, τα οποία συγχωνεύονται από την κύρια διεργασία | Όταν λείπει ο συγχρονισμός, το περιεχόμενο μπορεί να κλιμακωθεί ή να καταστραφεί |
| Απαιτείται συσχέτιση μεταξύ σελίδων, όπως συγχώνευση διασέλιδων πινάκων και ευρετηρίαση πλήρους κειμένου | Επιστρέψτε στην επεξεργασία μιας διαδικασίας ή σχεδιάστε μια εξειδικευμένη στρατηγική τεμαχισμένης συγκέντρωσης | Οι διαδικασίες είναι απομονωμένες η μία από την άλλη και δεν μπορούν να μοιραστούν το πλαίσιο |
Γιατί δεν μπορεί να μεταβιβαστεί το αντικείμενο Document στη θυγατρική διαδικασία;
Η βασική αιτία είναι ότι το Document κρατά εσωτερικά δείκτες και λαβές αρχείων σε υποκείμενες δομές C. Αυτοί οι πόροι είναι δεσμευμένοι στο χώρο μνήμης της διαδικασίας που τους δημιούργησε. Αφού περάσουν σε διεργασίες, οι δείκτες καθίστανται άκυροι και δεν είναι δυνατή η νόμιμη πρόσβαση στις λαβές από άλλη διεργασία.
Η σωστή προσέγγιση είναι να μεταβιβαστούν μόνο οι σειριοποιήσιμες παραμέτρους, όπως το όνομα αρχείου (συμβολοσειρά) και το εύρος σελίδων, και να αφήσουμε κάθε θυγατρική επεξεργασία να καλέσει το pymupdf.open() ανεξάρτητα στον δικό του χώρο μνήμης. Αυτό δεν είναι συμβιβασμός απόδοσης. Η θυγατρική διαδικασία είναι μια ανεξάρτητη οντότητα από μόνη της και απαιτεί ούτως ή άλλως το δικό της παράδειγμα εγγράφου για την ασφαλή εκτέλεση εργασιών ανάκτησης ή απόδοσης.
Παράδειγμα αυτοτελούς σύνθεσης
Δείτε τη λίστα εισαγωγής του κωδικού παρακάτω για εξαρτήσεις. Ο κώδικας κατασκευάζει την είσοδο στη μνήμη, καθιστώντας εύκολη την αναπαραγωγή σε ένα απομονωμένο περιβάλλον.
import pymupdf
def partition(total, chunk):
if type(chunk) is not int or chunk <= 0:
raise ValueError("positive chunk required")
return [(start, min(start + chunk, total)) for start in range(0, total, chunk)]
def worker(raw, start, end):
with pymupdf.open(stream=raw, filetype="pdf") as doc:
return [(i, doc[i].get_text()) for i in range(start, end)]
with pymupdf.open() as doc:
for index in range(5):
doc.new_page().insert_text((50, 50), f"Page {index}")
raw = doc.tobytes()
tasks = partition(5, 2)
assert tasks == [(0, 2), (2, 4), (4, 5)]
results = [item for start, end in tasks for item in worker(raw, start, end)]
assert [i for i, text in results] == list(range(5))
assert all(f"Page {i}" in text for i, text in results)
assert partition(0, 2) == []
Εξαρτήσεις και οδηγίες λειτουργίας
Στο παράδειγμα, το chunksize του pool.map χρησιμοποιεί την προεπιλεγμένη τιμή 1, η οποία είναι κατάλληλη για σενάρια με μεγάλη ευαισθησία μεμονωμένης εργασίας. Εάν υπάρχουν πολλές σελίδες και η επεξεργασία μιας σελίδας είναι γρήγορη, το chunksize μπορεί να αυξηθεί για να μειώσει τα έξοδα επικοινωνίας μεταξύ των διεργασιών. Ωστόσο, αυτό το παράδειγμα εστιάζει στην ασφάλεια και όχι στη ρύθμιση απόδοσης.
Παράδειγμα σύνθεσης: Σωστή εισαγωγή και όριο κινδύνου
Σωστή εισαγωγή: Περάστε την πλειάδα (segment_id, filename, start_page, end_page). όπου το filename είναι μια διαδρομή συμβολοσειράς και τα start_page και end_page είναι ακέραιοι. Μετά τη λήψη των παραμέτρων, η θυγατρική διεργασία ανοίγει το αρχείο από μόνη της, επεξεργάζεται το καθορισμένο εύρος αριθμών σελίδας και επιστρέφει τη λίστα αποτελεσμάτων.
Όριο κινδύνου:
- Αριθμός σελίδας εκτός ορίων: Εάν το εύρος του αριθμού σελίδας είναι
(18, 25), αλλά το έγγραφο έχει στην πραγματικότητα μόνο 20 σελίδες, θα ενεργοποιηθεί ένα ευρετήριο εκτός ορίων όταν η θυγατρική διαδικασία αποκτήσει πρόσβαση στη σελίδα 21. - Περνώντας απευθείας το
Document: θα σπάσει εάν το τουρσί αποτύχει. - Πολλαπλές διεργασίες που γράφουν το ίδιο αρχείο: χωρίς μηχανισμό συγχρονισμού, το περιεχόμενο εξόδου θα παρεμβληθεί ή θα καταστραφεί.
Η λύση είναι να επαληθεύσετε αμέσως εάν το εύρος του αριθμού σελίδας υπερβαίνει το doc.page_count κατά την είσοδο της θυγατρικής διαδικασίας και να αφήσετε όλες τις λειτουργίες εισόδου/εξόδου να χρησιμοποιούν ανεξάρτητες διαδρομές στόχου ή buffer μνήμης. Τα μη σειριοποιήσιμα αντικείμενα θα πρέπει να εξαιρούνται από τις παραμέτρους εργασιών στο στάδιο του σχεδιασμού αντί να βασίζονται σε εξαιρέσεις σύλληψης χρόνου εκτέλεσης.
📊 Βασική σύγκριση
| Διαστάσεις | Αντικείμενο Pass Document | Μεταβίβαση σειριοποιήσιμων παραμέτρων (συνιστάται) |
|---|---|---|
| Μπορεί να περάσει σε διαδικασίες; | Όχι, θα αποτύχει λόγω τουρσί | Ναι, οι συμβολοσειρές και οι ακέραιοι αριθμοί μπορούν να περάσουν απευθείας |
| Η ιδιοκτησία των υποκείμενων πόρων | δεσμεύεται στη διαδικασία που το δημιούργησε | Κάθε θυγατρική διαδικασία ανοίγει το αρχείο από μόνη της |
| Σφάλμα συμπεριφοράς | Το pickle.PicklingError ή η θυγατρική διαδικασία διακόπτεται σιωπηλά | Εάν ο αριθμός σελίδας είναι εκτός ορίων, μπορεί να επαληθευτεί στην είσοδο. |
Κριτήρια αποδοχής και όρια χειροκίνητου ελέγχου
| Παρατηρήστε φαινόμενα | Πιθανοί λόγοι | Διαχείριση αποφάσεων |
|---|---|---|
Το pickle.PicklingError ή η παιδική διεργασία καταρρέει αθόρυβα | Περάστηκαν μη σειριοποιήσιμα αντικείμενα όπως Document/Page | Περάστε μόνο βασικούς τύπους όπως συμβολοσειρές, ακέραιους, πλειάδες κ.λπ |
| Ορισμένοι αριθμοί σελίδων επιστρέφουν κενές συμβολοσειρές | Οι αριθμοί σελίδων υπερβαίνουν τον πραγματικό αριθμό σελίδων ή η σελίδα είναι καθαρή εικόνα χωρίς στρώματα κειμένου | Επαληθεύστε τα όρια του αριθμού σελίδων; Απαιτείται OCR για τη σήμανση απλής σελίδας εικόνας, που είναι αναμενόμενη συμπεριφορά |
| Το περιεχόμενο του αρχείου εξόδου είναι ακατάστατο | Πολλαπλές διεργασίες γράφουν στο ίδιο αρχείο | Κάθε διεργασία γράφει ένα ανεξάρτητο προσωρινό αρχείο και η κύρια διεργασία συγχωνεύεται |
| Η χρήση μνήμης αυξάνεται γραμμικά με τον αριθμό των διεργασιών | Κάθε διαδικασία φορτώνει ολόκληρο το έγγραφο | Αποδεχτείτε αυτό το κόστος; Αν το έγγραφο είναι πολύ μεγάλο, χρησιμοποιήστε ροή με σελιδοποίηση αντί για αυτό |
Αυτή η λειτουργία δεν είναι κατάλληλη για εργασίες που απαιτούν συσχέτιση σελίδας με βάση το πλαίσιο, όπως η συγχώνευση σελίδων πίνακα ή η κατασκευή ευρετηρίου πλήρους κειμένου, επειδή οι διαδικασίες είναι απομονωμένες μεταξύ τους. Όταν αντιμετωπίζονται τέτοιες απαιτήσεις, η διαδικασία θα πρέπει να επανέρχεται σε επεξεργασία μίας μόνο διαδικασίας ή να σχεδιάζεται μια ειδική στρατηγική συγκέντρωσης μπλοκ.
Επιπλέον, το παράδειγμα επαληθεύει μόνο την «ασφαλή παράλληλη εξαγωγή» και δεν σημαίνει ότι υπάρχουν διαθέσιμα αποτελέσματα από άκρο σε άκρο. Η ποιότητα του κειμένου, η ορθότητα κωδικοποίησης και η διατήρηση της μορφοποίησης εξακολουθούν να απαιτούν χειροκίνητο έλεγχο δειγματοληψίας. Για σαρωμένα PDF, είναι ιδιαίτερα σημαντικό να σημειωθεί ότι η εξαγωγή απλού κειμένου μπορεί να αποτύχει πλήρως, οπότε πρέπει να εισαχθεί OCR.
Αν ......
Αν χρειάζεται να εξαγάγετε κείμενο PDF μαζικά παράλληλα
Οι εργασίες χωρίζονται ανά διάστημα αριθμού σελίδων, περνώντας μόνο βασικούς τύπους όπως ονόματα αρχείων και αριθμούς σελίδων, με κάθε υποδιεργασία να ανοίγει τα αρχεία ανεξάρτητα.
Αν η δουλειά σου απαιτεί να διασπείρεις τα αποτελέσματα σε σελίδες,
Δώστε προτεραιότητα στην επαναφορά μεμονωμένων διεργασιών ή σχεδιάστε στρατηγικές συγκέντρωσης τμημάτων· αποφύγετε τον υποχρεωτικό παραλληλισμό.
Αν έχεις να κάνεις με σαρωμένο PDF
Πρώτα, επιβεβαιώστε αν υπάρχει επίπεδο κειμένου. Αν όχι, το βήμα OCR πρέπει να προστεθεί στη διαδικασία πριν από την επιθεώρηση.
❓ Συχνές Ερωτήσεις (FAQ)
1. Γιατί το αντικείμενο Document δεν μπορεί να περαστεί απευθείας στη θυγατρική διεργασία;
Το Document εσωτερικά κρατά δείκτες και χειριστήρια αρχείων που δείχνουν στη βασική δομή C. Αυτές οι δεσμεύσεις πόρων βρίσκονται στη διαδικασία που τη δημιούργησε, και η διαβίωσή τους μεταξύ διεργασιών καθίσταται άκυρη και η μεταφορά διακόπτεται αν αποτύχει το pickle.
2. Γιατί οι παιδικές διεργασίες ανοίγουν αρχεία μεμονωμένα;
Ως ανεξάρτητες οντότητες, οι υποδιεργασίες απαιτούν τις δικές τους περιπτώσεις τεκμηρίωσης για να εκτελέσουν με ασφάλεια την εξαγωγή ή την απόδοση. Αυτή είναι η σωστή προσέγγιση και δεν αποτελεί σφάλμα απόδοσης.
3. Τι πρέπει να κάνω αν ο αριθμός σελίδας είναι εκτός ορίων;
Κατά την είσοδο της θυγατρικής διεργασίας, επαληθεύστε αμέσως ότι ο αριθμός σελίδας υπερβαίνει το doc.page_count· μην συνεχίσετε την πρόσβαση αν ξεπεραστεί το όριο.
4. Μπορούν πολλές διεργασίες να γράψουν το ίδιο αρχείο εξόδου ταυτόχρονα;
Δεν συνιστάται. Χωρίς συγχρονισμό, το περιεχόμενο θα διαπλέκεται ή θα καταστρέφεται· κάθε διεργασία θα πρέπει να γράφει ανεξάρτητα προσωρινά αρχεία, τα οποία στη συνέχεια συγχωνεύει η κύρια διεργασία.
📝 Περίληψη
Κατά την πολυεπεξεργασία PDF, η διέλευση σειριοποιήσιμων παραμέτρων και το άνοιγμα του αρχείου ανεξάρτητα από κάθε υποδιαδικασία είναι μια πιο αξιόπιστη προσέγγιση. Οι εργασίες που σχετίζονται με συσχετίσεις μεταξύ σελίδων και σαρωμένα αρχεία πρέπει να αξιολογούνται ξεχωριστά, και η τελική χειροκίνητη επαλήθευση δειγματοληψίας εξακολουθεί να γίνεται με πραγματικά δείγματα.
Χρησιμοποιήστε τη λίστα ελέγχου για μετάφραση εγγράφων
Πρώτα, ελέγξτε προσεκτικά τη σειρά σελίδων, τη θέση της πηγής και την ακεραιότητα του κειμένου, και μετά υποβάλετε το ίδιο αγχωτικό δείγμα στη διαδικασία μετάφρασης. Μετά τη μετάφραση, θα πρέπει να ελέγξετε αν ο τίτλος, το κύριο κείμενο και οι λεζάντες αντιστοιχούν σωστά· δεν μπορείτε απλώς να ελέγξετε αν το κείμενο είναι ρέον.
Το OmniDoc (Πύλη Προϊόντων) παρέχει πύλες μετάφρασης εγγράφων πολλαπλών μορφών, και η επίσημη ιστοσελίδα εισάγει OCR, γλωσσάρια και δυνατότητες δίγλωσσης σύγκρισης. Για τις ομάδες που θέλουν να ξεκινήσουν την επεξεργασία απευθείας από τα αρχεία, αυτή είναι μια διαδρομή που αξίζει να αξιολογηθεί με πραγματικά δείγματα. Παρακαλούμε χρησιμοποιήστε το αρχείο απευαισθητοποίησης για το οποίο έχετε άδεια να ανεβάσετε και εξετάστε τα αποτελέσματα με τη λίστα ελέγχου σε αυτό το άρθρο. Δεν υποστηρίζεται ότι το OmniDoc χρησιμοποιεί τις βιβλιοθήκες ανοιχτού κώδικα ή τους εσωτερικούς αλγόριθμους που περιγράφονται εδώ, ούτε τα παραδείγματα αντικαθιστούν τις δοκιμές απόδοσης προϊόντων.
Βάση διεπαφής αναφοράς: Έγγραφο PyMuPDF


