Πριν από την επεξεργασία των DOCX και EPUB, ορίστε έναν προϋπολογισμό για αποσυμπίεση ZIP
Το DOCX είναι ουσιαστικά ένα σύνολο από καταχωρήσεις ZIP και το EPUB χρησιμοποιεί επίσης ένα κοντέινερ ZIP. Ακριβώς επειδή λαμβάνετε ένα συμπιεσμένο αρχείο που είναι πολύ μικρό δεν σημαίνει ότι θα είναι ακόμα μικρότερο αφού το αποσυμπιέσετε. Ο όγκος συμπίεσης, ο αριθμός των καταχωρήσεων, το μέγεθος του μεμονωμένου στοιχείου και το συνολικό ποσό επέκτασης θα πρέπει να περιορίζονται στο σημείο εισόδου, αντί να περιμένουν να εξαντληθεί η μνήμη πριν προσδιορίσετε ότι το αρχείο είναι μη φυσιολογικό.
Όταν ασχολούμαστε με DOCX και EPUB, πολλά προβλήματα προκύπτουν ήδη κατά το στάδιο της αποσυμπίεσης. Το DOCX είναι ουσιαστικά ένα σύνολο από καταχωρήσεις ZIP και το EPUB χρησιμοποιεί επίσης ένα κοντέινερ ZIP, επομένως το μικρό μέγεθος αρχείου δεν σημαίνει ότι θα είναι μικρότερο μετά την αποσυμπίεση. Αυτό το άρθρο προορίζεται για προγραμματιστές και προσωπικό χειρισμού και συντήρησης που χρειάζεται να λαμβάνουν έγγραφα ή ηλεκτρονικά βιβλία του Office και να εκτελούν επακόλουθη επεξεργασία. Παρουσιάζει πώς να ορίσετε έναν προϋπολογισμό για αποσυμπίεση ZIP στην είσοδο.
Αφού διαβάσετε αυτό, μπορείτε να προσδιορίσετε ποιοι περιορισμοί θα πρέπει να τεθούν στην είσοδο, πώς να επιστρέψετε τις πληροφορίες άρνησης με δυνατότητα ενέργειας στον χρήστη και πώς να διακρίνετε τα ζητήματα κοντέινερ από τα ζητήματα μετάφρασης όταν η μετάφραση αποτυγχάνει. Τα παραδείγματα σε αυτό το άρθρο επιδεικνύονται χρησιμοποιώντας συνθετικά δείγματα και ο κώδικας έχει περάσει τον έλεγχο δείγματος σε απομονωμένο περιβάλλον, αλλά αυτό δεν σημαίνει ότι ισχύει για όλα τα πραγματικά αρχεία. Πριν επεξεργαστείτε σημαντικά έγγραφα, διατηρήστε τα πρωτότυπα και ελέγξτε τα σύμφωνα με τα όρια και τα στοιχεία αποδοχής στο κείμενο.
Πώς να ορίσετε έναν προϋπολογισμό για αποσυμπίεση ZIP πριν από την επεξεργασία των DOCX και EPUB; Μια φράση συμπέρασμα
Ο όγκος συμπίεσης, ο αριθμός των καταχωρήσεων, το μέγεθος μεμονωμένου στοιχείου και το συνολικό ποσό επέκτασης θα πρέπει να περιορίζονται στο σημείο εισόδου. Μην περιμένετε μέχρι να εξαντληθεί η μνήμη πριν ανακαλύψετε ανωμαλίες αρχείων.
| την κατάστασή σας | Συνιστώμενες πρακτικές | λόγος |
|---|---|---|
| Λήψη συμπιεσμένου αρχείου DOCX ή EPUB | Περιορίστε τον όγκο συμπίεσης, τον αριθμό των καταχωρήσεων, το μέγεθος μεμονωμένων αντικειμένων και το συνολικό ποσό επέκτασης στην είσοδο | Το μικρό μέγεθος της συμπιεσμένης συσκευασίας δεν σημαίνει ότι θα είναι μικρότερη αφού την αποσυμπιέσετε. |
| Θέλω να κάνω pre-screening με βάση μόνο τον κατάλογο. | Ο πίνακας καταλόγου χρησιμοποιείται για την πρώιμη απόρριψη ενώ συγκεντρώνει τα byte που διαβάζονται κατά την αποσυμπίεση. | Οι πίνακες καταλόγων δεν υποκαθιστούν τους περιορισμούς χρόνου εκτέλεσης |
| Το εύλογα μεγάλο έγγραφο υπερβαίνει τον προϋπολογισμό | Παρέχετε ανεξάρτητη μεγάλη ουρά αρχείων ή είσοδο χειροκίνητης επεξεργασίας | Η εύλογη τεκμηρίωση μπορεί επίσης να υπερβαίνει τον προϋπολογισμό, αλλά δεν θα πρέπει να καταργεί όλους τους περιορισμούς |
| Η μετάφραση απέτυχε | Πρώτα διακρίνετε μεταξύ ζημιάς κοντέινερ και αποτυχίας μετάφρασης | Το πρόβλημα μπορεί να βρίσκεται στο στάδιο προετοιμασίας εισόδου |
Γιατί πρέπει πρώτα να δούμε το διευρυμένο μέγεθος;
Τόσο το DOCX όσο και το EPUB χρησιμοποιούν ZIP ως κοντέινερ. Ένα αρχείο πολλών εκατοντάδων KB μπορεί να καταλαμβάνει πολύ χώρο μετά την αποσυσκευασία. Εάν το σύστημα εξέταζε μόνο το μέγεθος του μεταφορτωμένου αρχείου, δεν θα μπορούσε να εντοπίσει αυτόν τον τύπο κινδύνου.
Επομένως, η επιθεώρηση στην είσοδο θα πρέπει να καλύπτει ταυτόχρονα τις ακόλουθες πτυχές:
- Τόμος Συμπίεσης: Περιορίστε το μέγεθος του ίδιου του μεταφορτωμένου αρχείου.
- Αριθμός καταχωρήσεων: Περιορίστε τον αριθμό των αρχείων μέσα στο κοντέινερ.
- Μέγεθος μεμονωμένου στοιχείου: Περιορίστε το διευρυμένο μέγεθος οποιουδήποτε στοιχείου.
- Συνολική επέκταση: Περιορίστε τον συνολικό αριθμό των byte μετά την επέκταση όλων των καταχωρήσεων.
Ελέγξτε πρώτα τον πίνακα περιεχομένων, αλλά μην τον εκλάβετε ως τελική εγγύηση
Το ZipInfo παρέχει δηλωμένο μέγεθος και συμπιεσμένο μέγεθος, κατάλληλο για προ-έλεγχο. Βοηθά το σύστημα να απορρίψει γρήγορα αρχεία που ξεπερνούν σαφώς τον προϋπολογισμό πριν από την αποσυμπίεση.
Ωστόσο, οι πληροφορίες στον πίνακα καταλόγου δηλώνονται από το ίδιο το αρχείο και δεν είναι απολύτως αξιόπιστες. Κατά την πραγματική αποσυμπίεση, θα πρέπει ακόμα να συγκεντρώσετε τα byte που έχετε διαβάσει και να ορίσετε τον χρόνο και τον προϋπολογισμό της μνήμης. Οι πίνακες καταλόγων μπορούν να απορρίψουν αρχεία νωρίς, αλλά δεν μπορούν να αντικαταστήσουν τους περιορισμούς χρόνου εκτέλεσης.
Ένα παράδειγμα προληπτικού ελέγχου χωρίς αποσυμπίεση
from io import BytesIO
from pathlib import PurePosixPath
from zipfile import ZipFile, ZIP_DEFLATED
def inspect(raw, max_entries=10, max_total=4096):
if len(raw) > 4096:
raise ValueError("compressed input budget")
with ZipFile(BytesIO(raw)) as z:
items = z.infolist()
if len(items) > max_entries:
raise ValueError("entry count budget")
total, seen = 0, set()
for item in items:
name = item.filename
path = PurePosixPath(name)
if (path.is_absolute() or ".." in path.parts or
"\\" in name or ":" in name or name in seen):
raise ValueError("unsafe or duplicate name")
seen.add(name)
total += item.file_size
if total > max_total:
raise ValueError("expanded budget")
return len(items), total
def sample(name, data):
out = BytesIO()
with ZipFile(out, "w", ZIP_DEFLATED) as z:
z.writestr(name, data)
return out.getvalue()
assert inspect(sample("word/document.xml", b"<doc/>")) == (1, 6)
for raw in [sample("../escape", b"x"), sample("large", b"x" * 5000)]:
try:
inspect(raw)
except ValueError:
pass
else:
raise AssertionError("unsafe archive accepted")
Οι προϋπολογισμοί σε αυτό το παράδειγμα είναι μικρές τιμές που επιλέγονται για να επιδεικνύουν διαδρομές απόρριψης και δεν μπορούν να αναπαραχθούν άμεσα σε περιβάλλον παραγωγής. Το παράδειγμα δεν καλεί extractall, ούτε γράφει καταχωρήσεις ZIP, επομένως δεν είναι ένας πλήρως ασφαλής αποσυμπιεστής.
Οι κρυπτογραφημένες καταχωρήσεις, οι συμβολικοί σύνδεσμοι, τα ένθετα αρχεία και η κατανάλωση πόρων του ίδιου του αναλυτή απαιτούν ξεχωριστές πολιτικές.
Αναφορές: Python zipfile.
Δώστε στον χρήστη πληροφορίες που μπορούν να ενεργήσουν κατά την απόρριψη
Οι χρήστες πρέπει να γνωρίζουν τι να κάνουν στη συνέχεια όταν ένα αρχείο απορρίπτεται. Επαρκείς πληροφορίες αντιμετώπισης προβλημάτων πρέπει να καταγράφονται εσωτερικά. Ο παρακάτω πίνακας δίνει τις αντίστοιχες μεθόδους επεξεργασίας για συνήθεις συνθήκες ενεργοποίησης:
| Συνθήκη ενεργοποίησης | Εξηγήστε στον χρήστη | Εσωτερικά αρχεία |
|---|---|---|
| Ο συνολικός όγκος ανάπτυξης υπερέβη τον προϋπολογισμό | Το αρχείο είναι πολύ μεγάλο όταν είναι επεκταμένο | Ονόματα ορίων και παρατηρήσεις |
| Διπλό όνομα καταχώρησης | Η δομή του δοχείου είναι ασαφής | Ευρετήριο καταχώρισης, όχι πλήρες κείμενο |
| Διασυνοριακή διαδρομή | Η δομή αρχείων δεν υποστηρίζεται | Αναγνωριστικό συσχέτισης περιστατικού ασφαλείας |
| Το κοντέινερ υπέστη ζημιά | Παρακαλώ επανεξάγετε το αρχείο | Τύποι εξαιρέσεων ανάλυσης |
Οι εξηγήσεις προς τους χρήστες πρέπει να είναι σύντομες και σαφείς, αποφεύγοντας την αποκάλυψη υπερβολικών εσωτερικών λεπτομερειών; Τα εσωτερικά αρχεία θα πρέπει να διατηρούν περιορισμένα ονόματα, παρατηρήσεις και τύπους εξαιρέσεων για μελλοντική αντιμετώπιση προβλημάτων.
Μην απενεργοποιείτε όλους τους περιορισμούς για συμβατότητα
Τα σχετικά μεγάλα έγγραφα μπορεί επίσης να υπερβαίνουν τον προϋπολογισμό. Σε αυτό το σημείο, μια συνετή προσέγγιση είναι να παρέχονται ανεξάρτητες μεγάλες ουρές αρχείων ή σημεία εισόδου χειροκίνητης επεξεργασίας αντί να χαλαρώνουν οι περιορισμοί σε όλες τις εργασίες.
Η αύξηση του επιχειρηματικού ορίου ενός ενοικιαστή δεν σημαίνει απεριόριστη αποσυμπίεση όλων των εργασιών. Οι περιορισμοί πρέπει να απομονώνονται από την εκτέλεση και δεν μπορούν να γράφονται μόνο δίπλα στο κουμπί μεταφόρτωσης.
Διακρίνετε σε ποιο επίπεδο οφείλεται η αποτυχία μετάφρασης
Κατά την προετοιμασία για υποβολή εγγράφων στο OmniDoc (Πύλη Προϊόντων), πρώτα διαχωρίστε τη διαφθορά του κοντέινερ από τις αποτυχίες μετάφρασης. Ένα DOCX που δεν μπορεί καν να διαβάσει XML μπορεί να παρουσιάσει προβλήματα κατά τη φάση προετοιμασίας εισόδου. Μια σαφής αναφορά προελέγχου ενημερώνει τους χρήστες αν πρέπει να επανεξάγουν, να συμπιέσουν εικόνες ή να επικοινωνήσουν με υπηρεσίες μετάφρασης για αντιμετώπιση προβλημάτων.
📊 Σύγκριση Πυρήνων
| Ελέγξτε τον χρόνο | Κύρια λειτουργία | Περιορισμοί |
|---|---|---|
Ελέγξτε τον πίνακα περιεχομένων πριν την εξαγωγή (ZipInfo) | Προ-έλεγχο βάσει δηλωμένου μεγέθους και μεγέθους συμπίεσης, και απόρριψη αρχείων που υπερβαίνουν σαφώς το όριο εκ των προτέρων | Οι πληροφορίες δήλωσης προέρχονται από το ίδιο το αρχείο και δεν μπορούν να αντικαταστήσουν τους περιορισμούς χρόνου εκτέλεσης |
| Τα αθροιστικά bytes που διαβάστηκαν κατά την εξαγωγή | Ευθυγράμμιση με τον προϋπολογισμό χρόνου και μνήμης για τον έλεγχο της πραγματικής ανάπτυξης | Η καταμέτρηση πρέπει να γίνεται συνεχώς κατά τη διάρκεια της ανάγνωσης |
🎯 Ποια προσέγγιση σου ταιριάζει;
Αν χρειάζεστε να λάβετε DOCX ή EPUB που ανεβάζει ο χρήστης
Στην είσοδο, ελέγξτε ταυτόχρονα τον συμπιεσμένο όγκο, τον αριθμό των καταχωρήσεων, το μέγεθος κάθε είδους και τη συνολική επέκταση πριν προχωρήσετε στην επόμενη επεξεργασία.
Αν βασίζεσαι κυρίως στον πίνακα περιεχομένων για τον έλεγχο,
Ο πίνακας καταλόγου χρησιμοποιείται ως μέσο πρώιμης απόρριψης, ενώ τα bytes που διαβάζονται κατά την πραγματική αποσυμπίεση συσσωρεύονται και ορίζονται οι προϋπολογισμοί χρόνου και μνήμης.
Αν συναντάτε συχνά σχετικά μεγάλα έγγραφα
Παρέχετε ξεχωριστές μεγάλες ουρές αρχείων ή σημεία εισόδου χειροκίνητης επεξεργασίας για τέτοια έγγραφα· μην απενεργοποιείτε όλους τους περιορισμούς για λόγους συμβατότητας.
Αν είστε έτοιμοι να υποβάλετε έγγραφα στο OmniDoc
Πρώτα, διακρίνετε μεταξύ διαφθοράς κοντέινερ και αποτυχίας μετάφρασης. Οποιαδήποτε προβλήματα εντοπιστούν κατά τη φάση προ-επιθεώρησης μπορούν να κοινοποιηθούν στους χρήστες το συντομότερο δυνατό.
❓ Συχνές Ερωτήσεις (FAQ)
1. Μπορεί το μέγεθος στον πίνακα καταλόγου να χρησιμοποιηθεί άμεσα για τον προσδιορισμό της ασφάλειας των αρχείων;
Δεν μπορείς να βασιστείς σε αυτό ολοκληρωτικά. Το μέγεθος δήλωσης που παρέχεται από το ZipInfo είναι κατάλληλο για προ-έλεγχο, αλλά κατά την πραγματική εξαγωγή, τα συσσωρευμένα bytes που διαβάζονται πρέπει να συσσωρευτούν, μαζί με ρυθμίσεις χρόνου και μνήμης.
2. Γιατί το συμπιεσμένο πακέτο είναι τόσο μικρό, αλλά όταν εξάγεται, μπορεί να είναι αρκετά μεγάλο;
Τόσο το DOCX όσο και το EPUB χρησιμοποιούν το ZIP ως δοχείο τους· ένα μικρό συμπιεσμένο μέγεθος πακέτου δεν σημαίνει ότι και το επεκταμένο πακέτο είναι επίσης μικρό. Επομένως, η συνολική επέκταση πρέπει να περιοριστεί.
3. Πώς πρέπει να διαχειρίζονται μεγάλα έγγραφα που υπερβαίνουν τον προϋπολογισμό;
Τα σχετικά μεγάλα έγγραφα μπορεί επίσης να υπερβαίνουν τον προϋπολογισμό, παρέχοντας ξεχωριστές μεγάλες ουρές αρχείων ή χειροκίνητα σημεία εισόδου αντί να κλείνουν όλα τα όρια.
4. Όταν η μετάφραση αποτυγχάνει, πώς μπορείτε να προσδιορίσετε πού βρίσκεται το πρόβλημα;
Πρώτα, διακρίνετε μεταξύ διαφθοράς κοντέινερ και αποτυχίας μετάφρασης. Ένα DOCX που δεν μπορεί καν να διαβάσει XML μπορεί να παρουσιάσει προβλήματα κατά τη φάση προετοιμασίας εισόδου. Μια σαφής αναφορά προελέγχου βοηθά τους χρήστες να αποφασίσουν αν θα επανεξάγουν, θα συμπιέσουν εικόνες ή θα επικοινωνήσουν με υπηρεσίες μετάφρασης για αντιμετώπιση προβλημάτων.
📝 Περίληψη
Το όριο εξαγωγής ZIP στην εγγραφή θα πρέπει να καλύπτει ταυτόχρονα τον συμπιεσμένο όγκο, τον αριθμό εγγραφών, το μέγεθος κάθε είδους και τη συνολική επέκταση, και να συνδυάζεται με σωρευτικούς ελέγχους χρόνου εκτέλεσης. Η παροχή σαφών υποδείξεων στους χρήστες για το επόμενο βήμα όταν αρνούνται διευκολύνει την επίλυση του ζητήματος.


