Πώς να διαβάσετε εκατοντάδες χιλιάδες σειρές στο Excel χωρίς να γεμίσετε τη μνήμη ταυτόχρονα
Αυτό το άρθρο παρέχει μια αμυντική λύση προγραμματισμού, συμπεριλαμβανομένης της επιδιόρθωσης διαστάσεων, της απελευθέρωσης ασφάλειας πόρων και της επαλήθευσης ακεραιότητας για την αντιμετώπιση των προβλημάτων υπερχείλισης μνήμης και περικοπής δεδομένων της ανάγνωσης μεγάλων αρχείων σε λειτουργία openpyxl μόνο για ανάγνωση. Διευκρινίζονται οι οριακές συνθήκες και τα πρότυπα μη αυτόματης αναθεώρησης και δίνονται τα συγκεκριμένα σημεία σύνδεσης για δίγλωσση σύγκριση και αποδοχή σε συνδυασμό με το OmniDoc.
Πώς να διαβάσετε έναν μεγάλο πίνακα χωρίς να εξαντλήσετε τη μνήμη; Αυτό το άρθρο προορίζεται για προγραμματιστές και ομάδες δεδομένων που πρέπει να χρησιμοποιήσουν την Python για να επεξεργαστούν εκατοντάδες χιλιάδες σειρές του Excel. Μετά την ανάγνωση, θα γνωρίζετε τους λόγους για την έκρηξη της μεγάλης μνήμης αρχείων και την περικοπή δεδομένων και πώς να χρησιμοποιήσετε τη λειτουργία μόνο για ανάγνωση, την επιδιόρθωση διαστάσεων και την απελευθέρωση πόρων του openpyxl για να αποτρέψετε αυτά τα προβλήματα.
Τα παραδείγματα σε αυτό το άρθρο χρησιμοποιούν συνθετικά δείγματα. Ο κώδικας έχει ελεγχθεί με παραδείγματα σε απομονωμένο περιβάλλον, αλλά αυτό δεν αποτελεί εγγύηση για όλα τα πραγματικά αρχεία ή την απόδοση του προϊόντος. Πριν επεξεργαστείτε σημαντικά έγγραφα, διατηρήστε τα πρωτότυπα και ελέγξτε τα σύμφωνα με τα όρια και τα στοιχεία αποδοχής στο κείμενο.
Πώς να διαβάσετε ένα μεγάλο τραπέζι χωρίς να σκάσει η μνήμη; Μια φράση συμπέρασμα
Χρησιμοποιήστε το read_only=True για ροή μεγάλων αρχείων ανάγνωσης και κλείστε ρητά το βιβλίο εργασίας μετά την ανάγνωση. εάν ο αριθμός των γραμμών που διαβάζονται είναι προφανώς πολύ μικρός, ελέγξτε πρώτα τις πληροφορίες διάστασης του αρχείου και, στη συνέχεια, συνδυάστε τις με μη αυτόματη σύγκριση για να επιβεβαιώσετε ότι τα δεδομένα είναι πλήρη.
| την κατάστασή σας | Συνιστώμενες πρακτικές | λόγος |
|---|---|---|
| Το άνοιγμα μεγάλων αρχείων στην προεπιλεγμένη λειτουργία εξαντλεί γρήγορα τη μνήμη | Χρησιμοποιήστε αντ 'αυτού την ανάγνωση ροής read_only=True | Η προεπιλεγμένη λειτουργία θα φορτώσει όλα τα αντικείμενα κελιών και τα στυλ, τα σχόλια και άλλα μεταδεδομένα τους στη μνήμη ταυτόχρονα |
| Διαβάζει μόνο τις πρώτες χιλιάδες γραμμές και τελειώνει χωρίς να αναφέρει κάποιο σφάλμα. | Χρησιμοποιήστε το reset_dimensions() για να επιδιορθώσετε και να διαβάσετε ξανά και ορίστε τον ελάχιστο αριθμό γραμμών και την κατώτατη γραμμή | Η λειτουργία μόνο για ανάγνωση εμπιστεύεται το dimensions που δηλώνεται στο αρχείο. Εάν είναι γραμμένο λάθος, ο επαναλήπτης θα τερματιστεί νωρίς. |
| Σενάριο ETL που κάνει βρόχο μέσω πολλών αρχείων | Καλέστε το wb.close() ρητά σε ένα μπλοκ finally | Το μη κλείσιμο θα προκαλέσει διαρροή της λαβής του αρχείου, ενεργοποιώντας τελικά το OSError: Too many open files |
| Δεδομένα που θα χρησιμοποιηθούν σε επίσημες διαδικασίες | Εξαγωγή αρχείων καταγραφής έναντι του συστήματος προέλευσης και εκτέλεση μη αυτόματης δειγματοληψίας ελέγχου | Η εκτέλεση του κώδικα δεν σημαίνει ότι τα δεδομένα είναι σωστά |
Η άμεση αιτία της έκρηξης της μνήμης ή της περικοπής δεδομένων κατά την ανάγνωση εκατοντάδων χιλιάδων σειρών στο Excel
Όταν χρησιμοποιείτε το load_workbook('huge.xlsx') για να ανοίξετε έναν πίνακα με μισό εκατομμύριο σειρές, το πρόγραμμα μπορεί να καταναλώσει 8 GB μνήμης σε λίγα δευτερόλεπτα ή μπορεί να τερματιστεί αφού διαβάσετε μόνο τις πρώτες 1.000 σειρές.
Ο λόγος για το πρώτο είναι ότι η προεπιλεγμένη λειτουργία φορτώνει όλα τα αντικείμενα κελιών και τα στυλ, τα σχόλια και άλλα μεταδεδομένα τους στη μνήμη ταυτόχρονα. Το τελευταίο οφείλεται στο ότι στη λειτουργία read_only=True, το openpyxl εμπιστεύεται πλήρως το χαρακτηριστικό dimensions που δηλώνεται μέσα στο αρχείο προκειμένου να επιδιώξει την απόδοση.
Εάν το σύστημα που δημιούργησε το αρχείο (όπως κάποια παλιά λειτουργική μονάδα εξαγωγής ERP ή μια μη τυπική βιβλιοθήκη Python) γράψει αυτά τα μεταδεδομένα λανθασμένα, ο επαναλήπτης θα τερματίσει πρόωρα χωρίς εξαίρεση. Δεν πρόκειται για σφάλμα κώδικα, αλλά για ένα χάσμα μεταξύ των προδιαγραφών μορφής και των δεδομένων του πραγματικού κόσμου που πρέπει να γεφυρωθεί μέσω αμυντικού προγραμματισμού.
Σωστή μέθοδος ανοίγματος και απελευθέρωση πόρων της λειτουργίας μόνο για ανάγνωση
Το read_only=True είναι η κύρια διαδρομή για το χειρισμό μεγάλων αρχείων, αλλά αλλάζει τη διαχείριση του κύκλου ζωής των αντικειμένων. Τα συνηθισμένα βιβλία εργασίας θα απελευθερώνουν αυτόματα πόρους κατά τη συλλογή σκουπιδιών, ενώ τα βιβλία εργασίας μόνο για ανάγνωση διατηρούν αναφορές στη ροή αρχείων ZIP και στον αναλυτή XML στο κάτω μέρος και πρέπει να καλούν ρητά το wb.close(). Για επίσημες οδηγίες σχετικά με τη λειτουργία μόνο για ανάγνωση, ανατρέξτε στο Επίσημη τεκμηρίωση openpyxl Optimized Modes.
Εάν ξεχάσετε αυτό το βήμα σε μια δέσμη ενεργειών ETL που περιστρέφεται σε πολλαπλά αρχεία, μπορεί να προκληθούν διαρροές χειρισμού αρχείων, προκαλώντας τελικά το OSError: Too many open files. Αυτό το είδος σφάλματος συχνά αποκαλύπτεται μετά από πολλές ώρες εκτέλεσης και είναι εξαιρετικά δύσκολο να αντιμετωπιστεί.
Επιπλέον, η λειτουργία μόνο για ανάγνωση επιστρέφει το ReadOnlyCell αντί για το τυπικό αντικείμενο Cell. Δεν υποστηρίζει πρόσβαση σε χαρακτηριστικά όπως στυλ και σχολιασμούς, ούτε επιτρέπει αντίστροφη αναζήτηση ή τροποποίηση τιμών μέσω συντεταγμένων. Εάν λάβετε τις πληροφορίες συγχωνευμένης περιοχής ή ορίσετε το χρώμα του κελιού κατά την επανάληψη, θα λάβετε AttributeError. Αυτό το όριο είναι σκόπιμη για τη διατήρηση ενός σχεδόν σταθερού αποτυπώματος μνήμης.
📊 Βασική σύγκριση
| Συγκριτικό στοιχείο | Προεπιλεγμένη λειτουργία | λειτουργία μόνο για ανάγνωση |
|---|---|---|
| Χρήση μνήμης | Φορτώστε όλα τα αντικείμενα κελιών και τα μεταδεδομένα ταυτόχρονα, τα μεγάλα αρχεία μπορεί εύκολα να εξαντλήσουν τη μνήμη | Η ανάγνωση ροής, η χρήση μνήμης είναι σχεδόν σταθερή |
| Το επιστρεφόμενο αντικείμενο κελιού | Τυπικό Cell | ReadOnlyCell |
| Στυλ, πρόσβαση σχολιασμού | υποστήριξη | Δεν υποστηρίζεται, η πρόσβαση θα οδηγήσει σε AttributeError |
| Τροποποιήστε την τιμή ή ορίστε το χρώμα | υποστήριξη | Δεν υποστηρίζεται |
dimensions που εξαρτάται από το αρχείο | δεν εξαρτάται από | Εξαρτήσεις, εάν γράφονται λανθασμένα, η επανάληψη μπορεί να τελειώσει νωρίς |
| Έκδοση πόρων | Απελευθερώνεται αυτόματα κατά τη συλλογή σκουπιδιών | Απαιτεί ρητή κλήση στο wb.close() |
Παράδειγμα σύνθεσης: επιδιόρθωση διαστάσεων και επαλήθευση ασφάλειας επανάληψης
Ο παρακάτω κώδικας δείχνει μια τυπική αμυντική διαδικασία ανάγνωσης. Σημειώστε ότι αυτό είναι ένα συνθετικό παράδειγμα που χρησιμοποιείται για την επίδειξη της λογικής δομής και όχι του αποτελέσματος επεξεργασίας των πραγματικών δεδομένων παραγωγής. Πρέπει να προετοιμάσετε ένα αρχείο με το όνομα input_large.xlsx για να εκτελέσετε αυτήν τη δέσμη ενεργειών και θα πρέπει να εκτελεστεί σε ένα απομονωμένο περιβάλλον που να κλειδώνει τις εξαρτημένες εκδόσεις. Το δείγμα δεν περιλαμβάνει λειτουργίες δικτύου, εντολές φλοιού ή ευαίσθητα διαπιστευτήρια.
from openpyxl import load_workbook
# 合成示例:演示read_only模式下的安全读取与维度校验
# 依赖:openpyxl (需在项目requirements中锁定具体版本)
# 注意:需读者自备 input_large.xlsx,本示例不包含真实数据
def safe_read_large_excel(filepath, expected_min_rows=1000):
"""
安全读取大Excel文件,包含维度修复与完整性校验。
:param filepath: Excel文件路径
:param expected_min_rows: 业务预期的最小行数阈值
:return: 实际读取的行数
"""
wb = load_workbook(filename=filepath, read_only=True)
try:
ws = wb.active
# 检查并修复可能错误的维度声明
# calculate_dimension() 可能返回 'A1:A1' 或其他不准确范围
dim = ws.calculate_dimension()
if dim == "A1:A1" or not dim:
# 重置维度以强制扫描实际数据区域
# 警告:若文件完全无维度信息,此操作可能遍历全表(104万行)
ws.reset_dimensions()
row_count = 0
header = None
for row in ws.iter_rows(values_only=True):
if row_count == 0:
header = row
assert header is not None and any(v is not None for v in header), \
"首行不应为空或全None"
row_count += 1
# 模拟业务处理,避免全量加载到内存
if row_count % 10000 == 0:
print(f"已处理 {row_count} 行")
# 校验读取完整性
assert row_count >= expected_min_rows, \
f"行数不足: 期望>={expected_min_rows}, 实际={row_count}。请检查源文件或维度设置。"
return row_count
finally:
# 必须显式关闭,防止句柄泄漏
wb.close()
# 使用示例(需替换为真实文件路径)
# total = safe_read_large_excel("input_large.xlsx", expected_min_rows=50000)
Το κλειδί σε αυτόν τον κώδικα δεν είναι η ίδια η ανάγνωση, αλλά τα τρία επίπεδα προστασίας:
- Επαναφορά διάστασης: Διορθώθηκε το
dimensionsστη δήλωση αρχείου για να αποφευχθεί το πρόωρο τέλος του επαναλήπτη. - Μέτρηση ροής: Μετρήστε τον αριθμό των γραμμών κατά την ανάγνωση για να διευκολύνετε τη σύγκριση με τις προσδοκίες.
- Αναγκαστικό κλείσιμο στο
finally: Ανεξάρτητα από το αν η ανάγνωση είναι επιτυχής ή εάν παρουσιαστεί σφάλμα στη μέση, οι πόροι του αρχείου απελευθερώνονται.
Το expected_min_rows δεν είναι ένα τυπικό όριο του κλάδου, αλλά ένα επιχειρηματικό αποτέλεσμα που βασίζεται στην προηγούμενη γνώση σας για τα δεδομένα προέλευσης. Εάν ο πραγματικός αριθμός σειρών είναι μικρότερος από αυτήν την τιμή, το αρχείο μπορεί να είναι κατεστραμμένο ή η επιδιόρθωση της διάστασης απέτυχε και θα πρέπει να ματαιώσετε αυτήν τη στιγμή αντί να αποδέχεστε σιωπηλά ελλιπή δεδομένα.
Κριτήρια αποδοχής και όρια χειροκίνητου ελέγχου
Ακριβώς επειδή ο κώδικας μπορεί να εκτελεστεί δεν σημαίνει ότι τα δεδομένα είναι σωστά. Ο παρακάτω πίνακας παραθέτει τυπικές εξαιρέσεις που μπορεί να συναντηθούν σε πραγματικά έργα και τον τρόπο αντιμετώπισής τους, διακρίνοντας το εύρος που μπορεί να καλύψει ο αυτοματισμός και τα σενάρια που απαιτούν χειροκίνητη παρέμβαση.
| Παρατηρήστε φαινόμενα | Πιθανοί λόγοι | Αυτοματοποιημένη επεξεργασία | Απαιτήσεις μη αυτόματης αναθεώρησης |
|---|---|---|---|
| Ο αριθμός των σειρών που διαβάζονται είναι πολύ μικρότερος από τον αναμενόμενο | διαστάσεις σφάλμα χαρακτηριστικού | Δοκιμάστε να ξαναδιαβάσετε μετά το reset_dimensions | Συγκρίνετε το αρχείο καταγραφής εξαγωγής του συστήματος πηγής για να επιβεβαιώσετε εάν λείπει πραγματικά. |
| Η χρονοβόρα αύξηση αυξάνεται δραματικά μετά το reset_dimensions | Το αρχείο δεν έχει πληροφορίες διαστάσεων, με αποτέλεσμα μια πλήρη σάρωση πίνακα | Ορίστε όριο max_row ή πολιτική τερματισμού άδειας σειράς | Αξιολογήστε την ποιότητα της δημιουργίας αρχείων και πραγματοποιήστε επιδιορθώσεις ανάντη |
| Ορισμένες τιμές κελιών είναι Καμία | Τα συγχωνευμένα κελιά ή ο τύπος δεν υπολογίζονται | εγγραφή τοποθεσίας, παράλειψη | Ελέγξτε εάν η περιοχή στο αρχικό αρχείο έχει συγχωνευθεί οπτικά |
| iter_rows στα μισά του StopIteration | Η ροή XML είναι κατεστραμμένη ή κατακερματισμένη σε ZIP | Πιάστε την εξαίρεση και καταγράψτε τη μετατόπιση | Ανοίξτε χειροκίνητα με Excel ή WPS και επαληθεύστε την αντίστοιχη περιοχή |
| Η μνήμη μεγαλώνει αργά | Δεν έχει κλείσει ή η προσωρινή μνήμη δεν έχει αποδεσμευτεί | Αναγκαστική παρακολούθηση post-gc.collect(). | Ελέγξτε εάν υπάρχει μια καθολική μεταβλητή που περιέχει μια αναφορά κελιού |
| Το όνομα του πεδίου κεφαλίδας περιέχει αόρατους χαρακτήρες | Πρόβλημα κωδικοποίησης συστήματος εξαγωγής | strip() clean | Επιβεβαιώστε τη σχέση χαρτογράφησης πεδίου με το επιχειρηματικό μέρος |
Ειδική σημείωση: Το reset_dimensions() δεν είναι πανάκεια. Εάν δεν εγγραφούν πληροφορίες διάστασης στο ίδιο το αρχείο, αυτή η μέθοδος μπορεί να επεκτείνει το εύρος στο ανώτερο όριο του φύλλου εργασίας (1048576 σειρές), με αποτέλεσμα τη μη έγκυρη διέλευση ή ακόμη και το χρονικό όριο. Αυτήν τη στιγμή, το max_row θα πρέπει να χρησιμοποιείται για να ορίσει με μη αυτόματο τρόπο ένα εύλογο άνω όριο ή θα πρέπει να τερματίζεται ενεργά όταν συναντώνται Ν κενές γραμμές στη σειρά. Αυτές οι κρίσεις δεν μπορούν να γίνουν μόνο με κώδικα και απαιτούν υποστήριξη από τη γνώση του τομέα.
🎯 Ποια μέθοδος είναι κατάλληλη για εσάς;
Εάν χρειάζεται να επεξεργαστείτε πίνακες με εκατοντάδες χιλιάδες σειρές ταυτόχρονα
Χρησιμοποιήστε την ανάγνωση ροής read_only=True για να αποφύγετε την έκρηξη της μνήμης στην προεπιλεγμένη λειτουργία.
Εάν το σενάριό σας κάνει βρόχο μέσω πολλών αρχείων
Καλέστε το wb.close() ρητά σε ένα μπλοκ finally για να αποτρέψετε διαρροές χειρισμού.
Εάν ο αριθμός των σειρών που διαβάζονται είναι σημαντικά μικρότερος από τα δεδομένα προέλευσης
Πρώτα ελέγξτε αν το dimensions είναι γραμμένο λάθος, δοκιμάστε το reset_dimensions() και μετά διαβάστε το ξανά και συγκρίνετε το με το αρχείο καταγραφής εξαγωγής του συστήματος προέλευσης.
Εάν θέλετε να διαβάσετε στυλ ή σχόλια
Αυτές οι ιδιότητες δεν υποστηρίζονται σε λειτουργία μόνο για ανάγνωση και θα πρέπει να χρησιμοποιούνται στην προεπιλεγμένη λειτουργία ή να αντιμετωπίζονται ξεχωριστά σε άλλη διεργασία.
Καταχώριση εκτέλεσης δείγματος μνήμης
Ο παρακάτω κώδικας εκτελείται μετά την παραπάνω συνάρτηση και χρησιμοποιεί μόνο συνθετικά δεδομένα και δεν διαβάζει το αρχείο πελάτη.
from io import BytesIO
from openpyxl import Workbook
source = Workbook()
source.active.append(["id", "value"])
source.active.append(["A", 1])
source.active.append(["B", 2])
out = BytesIO()
source.save(out)
out.seek(0)
assert safe_read_large_excel(out, expected_min_rows=3) == 3
Χρησιμοποιήστε αυτήν τη λίστα ελέγχου για μετάφραση εγγράφων
Αρχικά αποφασίστε ποιο περιεχόμενο είναι κείμενο και ποιο είναι η κωδικοποίηση τύπου και επιχείρησης και, στη συνέχεια, μεταφράστε τον πίνακα. Ο έλεγχος μετά τη μετάφραση όχι μόνο ελέγχει εάν τα Κινέζικα έχουν μετατραπεί στη γλώσσα-στόχο, αλλά επιβεβαιώνει επίσης εάν οι τύποι, τα αναγνωριστικά και οι σχέσεις αναφοράς έχουν αλλάξει.
Το OmniDoc (πύλη προϊόντων) παρέχει μια πύλη μετάφρασης εγγράφων πολλαπλών μορφών και ο επίσημος ιστότοπος εισάγει λειτουργίες OCR, γλωσσάρι και δίγλωσση σύγκριση. Για τις ομάδες που θέλουν να εργαστούν απευθείας από τα αρχεία, αυτή είναι μια διαδρομή που αξίζει να αξιολογηθεί με δείγματα της πραγματικής ζωής. Χρησιμοποιήστε απευαισθητοποιημένα αρχεία που έχετε άδεια να ανεβάσετε και χρησιμοποιήστε τα στοιχεία ελέγχου σε αυτό το άρθρο για να ελέγξετε τα αποτελέσματα. Αυτό το άρθρο δεν ισχυρίζεται ότι το OmniDoc χρησιμοποιεί βιβλιοθήκες ανοιχτού κώδικα ή εσωτερικούς αλγόριθμους στο άρθρο, ούτε χρησιμοποιεί παραδείγματα για να αντικαταστήσει τη δοκιμή απόδοσης προϊόντος.
❓ Συχνές ερωτήσεις (FAQ)
1. Γιατί τελειώνει στα μισά της ανάγνωσης και δεν αναφέρεται κανένα σφάλμα;
Επειδή η λειτουργία μόνο για ανάγνωση εμπιστεύεται το dimensions που δηλώνεται από το αρχείο. Εάν το σύστημα κατασκευής γράψει λανθασμένα αυτά τα μεταδεδομένα, ο επαναλήπτης θα τερματιστεί πρόωρα χωρίς εξαίρεση.
2. Μπορούν όλα τα μεγάλα αρχεία να λυθούν με το reset_dimensions();
δεν μπορεί. Εάν το ίδιο το αρχείο δεν έχει πληροφορίες διάστασης, αυτή η μέθοδος μπορεί να επεκτείνει το εύρος σε 1048576 σειρές, προκαλώντας ένα χρονικό όριο και πρέπει να συνδυαστεί με την πολιτική τερματισμού max_row ή συνεχούς κενής γραμμής.
3. Γιατί δεν μπορώ να διαβάσω στυλ ή να τροποποιήσω κελιά σε λειτουργία μόνο για ανάγνωση;
Η λειτουργία μόνο για ανάγνωση επιστρέφει ReadOnlyCell, δεν υποστηρίζει την πρόσβαση σε στυλ και σχολιασμούς και δεν επιτρέπει την τροποποίηση τιμών. Αυτό γίνεται για να διατηρείται ένα σχεδόν σταθερό αποτύπωμα μνήμης.
4. Τι πρέπει να ελέγξω μετά τη μετάφραση της φόρμας;
Εκτός από τη σωστή γλώσσα, ελέγξτε εάν οι τύποι, τα αναγνωριστικά και οι σχέσεις αναφοράς έχουν αλλάξει.
📝 Περίληψη
Το κλειδί για την ανάγνωση μεγάλων πινάκων βρίσκεται στη ροή ανάγνωσης, στην επαλήθευση των διαστάσεων και στην έγκαιρη αποδέσμευση πόρων. Ο κώδικας είναι μόνο το σημείο εκκίνησης και το αν τα δεδομένα είναι πλήρη εξαρτάται από τη σύγκριση και τη μη αυτόματη εξέταση.
Δοκιμάστε το τώρα: Ανεβάστε το έγγραφο για να ξεκινήσει η μετάφραση, διατηρώντας την αρχική διάταξη


