Ako čítať stovky tisíc riadkov v Exceli bez zaplnenia pamäte naraz

Tento článok poskytuje defenzívne programovacie riešenie vrátane opravy rozmerov, uvoľnenia bezpečnosti prostriedkov a overenia integrity na riešenie problémov s pretečením pamäte a skrátením údajov pri čítaní veľkých súborov v režime openpyxl iba na čítanie. Objasňujú sa okrajové podmienky a štandardy manuálnej kontroly a uvádzajú sa špecifické body pripojenia na dvojjazyčné porovnanie a akceptovanie v kombinácii s OmniDoc.

Ako čítať veľkú tabuľku bez spotrebovania pamäte? Tento článok je určený pre vývojárov a dátové tímy, ktorí potrebujú používať Python na spracovanie stoviek tisícov riadkov Excelu. Po prečítaní budete poznať dôvody explózie veľkej súborovej pamäte a skrátenia údajov a ako používať režim openpyxl iba na čítanie, opravu rozmerov a uvoľnenie prostriedkov, aby ste predišli týmto problémom.

Príklady v tomto článku používajú syntetické vzorky. Kód bol skontrolovaný pomocou príkladov v izolovanom prostredí, ale to nie je zárukou všetkých skutočných súborov alebo výkonu produktu. Pred spracovaním dôležitých dokumentov si uschovajte originály a skontrolujte ich podľa hraníc a akceptačných položiek v texte.

Ako čítať veľkú tabuľku bez prasknutia pamäte? Záver jednou vetou

Použite read_only=True na streamovanie čítania veľkých súborov a po prečítaní explicitne zatvorte zošit; ak je počet načítaných riadkov zjavne príliš malý, najskôr skontrolujte informácie o rozmeroch súboru a potom ich skombinujte s manuálnym porovnaním, aby ste potvrdili, že údaje sú úplné.

vaša situáciaOdporúčané postupydôvod
Otváranie veľkých súborov v predvolenom režime rýchlo vyčerpá pamäťNamiesto toho použite čítanie streamovania read_only=TruePredvolený režim načíta všetky objekty buniek a ich štýly, komentáre a ďalšie metadáta do pamäte naraz
Prečíta len prvých niekoľko tisíc riadkov a skončí bez hlásenia chyby.Na opravu a opätovné čítanie použite reset_dimensions() a nastavte minimálny počet riadkov a spodný riadokRežim len na čítanie dôveruje dimensions deklarovanému v súbore. Ak je napísaný nesprávne, iterátor sa predčasne ukončí.
ETL skript, ktorý prechádza viacerými súbormiZavolajte wb.close() explicitne v bloku finallyNezatvorenie spôsobí únik popisovača súboru, prípadne spustenie OSError: Too many open files
Údaje, ktoré sa majú použiť vo formálnych procesochExportujte protokoly do zdrojového systému a vykonajte manuálnu kontrolu vzorkovaniaSpustenie kódu neznamená, že údaje sú správne

Priama príčina explózie pamäte alebo skrátenia údajov pri čítaní stoviek tisíc riadkov v Exceli

Keď použijete load_workbook('huge.xlsx') na otvorenie tabuľky s pol miliónom riadkov, program môže za niekoľko sekúnd využiť 8 GB pamäte alebo sa môže ukončiť po prečítaní iba prvých 1 000 riadkov.

Dôvodom prvého je, že predvolený režim načíta všetky objekty buniek a ich štýly, komentáre a ďalšie metadáta do pamäte naraz. To je spôsobené tým, že v režime read_only=True openpyxl plne dôveruje atribútu dimensions deklarovanému v súbore, aby sa dosiahol výkon.

Ak systém, ktorý súbor vygeneroval (napríklad nejaký starý exportný modul ERP alebo neštandardná knižnica Pythonu), zapíše tieto metadáta nesprávne, iterátor sa predčasne ukončí bez vyvolania akejkoľvek výnimky. Nejde o chybu v kóde, ale o priepasť medzi špecifikáciami formátu a údajmi z reálneho sveta, ktoré je potrebné preklenúť defenzívnym programovaním.

Správny spôsob otvárania a uvoľnenie prostriedkov v režime iba na čítanie

read_only=True je hlavná cesta pre prácu s veľkými súbormi, ale mení správu životného cyklu objektov. Bežné zošity automaticky uvoľnia zdroje počas zberu odpadu, zatiaľ čo zošity len na čítanie uchovávajú odkazy na stream súboru ZIP a analyzátor XML v spodnej časti a musia explicitne volať wb.close(). Oficiálne pokyny pre režim len na čítanie nájdete v Openpyxl oficiálna dokumentácia optimalizovaných režimov.

Ak zabudnete na tento krok v skripte ETL, ktorý prechádza viacerými súbormi, môže to mať za následok úniky popisovača súborov, čo môže viesť k spusteniu OSError: Too many open files. Tento druh chyby je často odhalený po niekoľkých hodinách prevádzky a je mimoriadne ťažké ho odstrániť.

Okrem toho režim len na čítanie vracia ReadOnlyCell namiesto štandardného objektu Cell. Nepodporuje prístup k atribútom, ako sú štýly a anotácie, ani neumožňuje spätné vyhľadávanie alebo úpravu hodnôt prostredníctvom súradníc. Ak počas iterácie získate informácie o zlúčenej oblasti alebo nastavíte farbu bunky, dostanete AttributeError. Tento limit je zámerom zachovať takmer konštantnú pamäťovú stopu.

📊 Základné porovnanie

Porovnávacia položkaPredvolený režimrežim iba na čítanie
Využitie pamäteNačítajte všetky objekty buniek a metaúdaje naraz, veľké súbory môžu ľahko vyčerpať pamäťStreamovanie čítania, využitie pamäte je takmer konštantné
Vrátený objekt bunkyŠtandardné CellReadOnlyCell
Štýl, prístup k anotáciámpodporuNepodporované, prístup bude mať za následok AttributeError
Upravte hodnotu alebo nastavte farbupodporuNie je podporované
dimensions, ktorý závisí od súborunezávislá naZávislosti, ak sú napísané nesprávne, iterácia môže skončiť predčasne
Uvoľnenie zdrojaAutomaticky uvoľnené počas zberu odpaduVyžaduje explicitné volanie na wb.close()

Príklad syntézy: oprava dimenzie a overenie bezpečnosti iterácie

Nasledujúci kód zobrazuje typický obranný proces čítania. Všimnite si, že toto je syntetický príklad používaný na demonštráciu logickej štruktúry, nie výsledok spracovania skutočných výrobných údajov. Na spustenie tohto skriptu musíte pripraviť súbor s názvom input_large.xlsx a mal by sa spustiť v izolovanom prostredí, ktoré uzamkne závislé verzie. Vzorka nezahŕňa sieťové operácie, príkazy shellu ani citlivé poverenia.

from openpyxl import load_workbook

# 合成示例:演示read_only模式下的安全读取与维度校验
# 依赖:openpyxl (需在项目requirements中锁定具体版本)
# 注意:需读者自备 input_large.xlsx,本示例不包含真实数据

def safe_read_large_excel(filepath, expected_min_rows=1000):
    """
    安全读取大Excel文件,包含维度修复与完整性校验。
    :param filepath: Excel文件路径
    :param expected_min_rows: 业务预期的最小行数阈值
    :return: 实际读取的行数
    """
    wb = load_workbook(filename=filepath, read_only=True)
    try:
        ws = wb.active
        # 检查并修复可能错误的维度声明
        # calculate_dimension() 可能返回 'A1:A1' 或其他不准确范围
        dim = ws.calculate_dimension()
        if dim == "A1:A1" or not dim:
            # 重置维度以强制扫描实际数据区域
            # 警告:若文件完全无维度信息,此操作可能遍历全表(104万行)
            ws.reset_dimensions()

        row_count = 0
        header = None
        for row in ws.iter_rows(values_only=True):
            if row_count == 0:
                header = row
                assert header is not None and any(v is not None for v in header), \
                    "首行不应为空或全None"
            row_count += 1

            # 模拟业务处理,避免全量加载到内存
            if row_count % 10000 == 0:
                print(f"已处理 {row_count} 行")

        # 校验读取完整性
        assert row_count >= expected_min_rows, \
            f"行数不足: 期望>={expected_min_rows}, 实际={row_count}。请检查源文件或维度设置。"
        return row_count
    finally:
        # 必须显式关闭,防止句柄泄漏
        wb.close()

# 使用示例(需替换为真实文件路径)
# total = safe_read_large_excel("input_large.xlsx", expected_min_rows=50000)

Kľúčom k tomuto kódu nie je samotné čítanie, ale tri vrstvy ochrany:

  • Reset rozmerov: Opravené dimensions v deklarácii súboru, aby sa zabránilo predčasnému ukončeniu iterátora.
  • Počítanie streamov: Spočítajte počet riadkov počas čítania, aby ste uľahčili porovnanie s očakávaniami.
  • Vynútené zatvorenie v finally: Bez ohľadu na to, či je čítanie úspešné alebo sa uprostred vyskytne chyba, prostriedky súboru sa uvoľnia.

expected_min_rows nie je odvetvový štandardný prah, ale obchodný výsledok založený na vašich predchádzajúcich znalostiach zdrojových údajov. Ak je skutočný počet riadkov nižší ako táto hodnota, súbor môže byť poškodený alebo oprava dimenzie zlyhala a namiesto tichého prijímania neúplných údajov by ste mali v tejto chvíli prerušiť.

Kritériá prijatia a hranice manuálnej kontroly

To, že kód môže prejsť, neznamená, že údaje sú správne. Nasledujúca tabuľka uvádza typické výnimky, s ktorými sa možno stretnúť v skutočných projektoch a ako sa s nimi vysporiadať, pričom sa rozlišuje rozsah, ktorý môže automatizácia pokryť, a scenáre, ktoré si vyžadujú manuálny zásah.

Pozorovať javyMožné dôvodyAutomatizované spracovaniePožiadavky na manuálnu kontrolu
Počet prečítaných riadkov je oveľa menší, ako sa očakávalochyba atribútu rozmerovSkúste znova prečítať po reset_dimensionsPorovnajte protokol exportu zdrojového systému a potvrďte, či skutočne chýba.
Časová náročnosť sa po reset_dimensions dramaticky zvyšujeSúbor neobsahuje žiadne informácie o rozmeroch, čo vedie k úplnému skenovaniu tabuľkyNastavte max_row cap alebo politiku ukončenia prázdnych riadkovPosúďte kvalitu generátora súborov a podporte opravy
Niektoré hodnoty buniek sú ŽiadneZlúčené bunky alebo vzorec sa nepočítazaznamenať polohu, preskočiťSkontrolujte, či je oblasť v pôvodnom súbore vizuálne zlúčená
iter_rows na polceste StopIterationPrúd XML je poškodený alebo je fragment ZIP fragmentovanýZachyťte výnimku a zapíšte posunOtvorte manuálne pomocou programu Excel alebo WPS a skontrolujte príslušnú oblasť
Pamäť rastie pomalyNie je zatvorené alebo nie je uvoľnená vyrovnávacia pamäťVynútiť monitorovanie post-gc.collect().Skontrolujte, či existuje globálna premenná obsahujúca odkaz na bunku
Názov poľa hlavičky obsahuje neviditeľné znakyProblém s kódovaním exportného systémustrip() čistýPotvrďte vzťah mapovania poľa s obchodnou stranou

Špeciálna poznámka: reset_dimensions() nie je všeliek. Ak do samotného súboru nie sú zapísané žiadne informácie o rozmeroch, táto metóda môže rozšíriť rozsah na hornú hranicu pracovného hárka (1048576 riadkov), čo má za následok neplatný prechod alebo dokonca časový limit. V tomto čase by sa max_row malo použiť na manuálne nastavenie primeranej hornej hranice alebo by sa malo aktívne ukončiť, keď sa v rade nájde N prázdnych riadkov. Tieto úsudky nie je možné vykonať iba pomocou kódu a vyžadujú si podporu znalostí domény.

🎯 Ktorá metóda je pre vás vhodná?

Ak potrebujete spracovať tabuľky so stovkami tisíc riadkov naraz

Použite čítanie streamovania read_only=True, aby ste sa vyhli explózii pamäte v predvolenom režime.

Ak váš skript prechádza viacerými súbormi

Zavolajte wb.close() výslovne v bloku finally, aby ste zabránili úniku rukoväte.

Ak je počet prečítaných riadkov výrazne nižší ako počet zdrojových údajov

Najprv skontrolujte, či je dimensions zapísaný nesprávne, skúste reset_dimensions() a potom ho znova prečítajte a porovnajte s protokolom exportu zdrojového systému.

Ak si potrebujete prečítať štýly alebo komentáre

Tieto vlastnosti nie sú podporované v režime len na čítanie a mali by sa namiesto toho používať v predvolenom režime alebo by sa mali spracovať samostatne v inom procese.

Záznam spustenia vzorky pamäte

Nasledujúci kód beží po funkcii uvedenej vyššie a používa iba syntetické údaje a nečíta súbor zákazníka.

from io import BytesIO
from openpyxl import Workbook
source = Workbook()
source.active.append(["id", "value"])
source.active.append(["A", 1])
source.active.append(["B", 2])
out = BytesIO()
source.save(out)
out.seek(0)
assert safe_read_large_excel(out, expected_min_rows=3) == 3

Tento kontrolný zoznam použite na preklad dokumentov

Najprv sa rozhodnite, ktorý obsah je text a ktorý vzorec a obchodné kódovanie, a potom preložte tabuľku. Kontrola po preklade nielen skontroluje, či bola čínština prevedená do cieľového jazyka, ale tiež potvrdí, či sa zmenili vzorce, identifikátory a referenčné vzťahy.

OmniDoc (produktový portál) poskytuje portál na preklad dokumentov vo viacerých formátoch a oficiálna webová stránka predstavuje funkcie OCR, slovník a dvojjazyčné porovnávanie. Pre tímy, ktoré chcú pracovať priamo zo súborov, je to cesta, ktorú sa oplatí vyhodnotiť pomocou reálnych vzoriek. Použite znecitlivené súbory, ktoré máte oprávnenie nahrať, a pomocou kontrolných položiek v tomto článku skontrolujte výsledky. Tento článok netvrdí, že OmniDoc používa knižnice s otvoreným zdrojom alebo interné algoritmy v článku, ani nepoužíva príklady na nahradenie testovania výkonu produktu.

❓ Často kladené otázky (FAQ)

1. Prečo skončí v polovici čítania a nehlási sa žiadna chyba?

Pretože režim iba na čítanie dôveruje dimensions deklarovanému súborom. Ak zostavovací systém zapíše tieto metadáta nesprávne, iterátor sa predčasne ukončí bez vyvolania výnimky.

2. Dajú sa všetky veľké súbory vyriešiť pomocou reset_dimensions()?

nemôže. Ak samotný súbor nemá žiadne informácie o rozmeroch, táto metóda môže rozšíriť rozsah na 1048576 riadkov, čo spôsobí časový limit a je potrebné ju skombinovať s politikou ukončenia max_row alebo súvislého prázdneho riadka.

3. Prečo nemôžem čítať štýly alebo upravovať bunky v režime iba na čítanie?

Režim len na čítanie vracia ReadOnlyCell, nepodporuje prístup k štýlu a anotáciám a neumožňuje úpravu hodnôt. Je to preto, aby sa zachovala takmer konštantná pamäťová stopa.

4. Čo mám skontrolovať po preložení formulára?

Okrem správneho jazyka skontrolujte, či sa nezmenili vzorce, identifikátory a vzťahy medzi odkazmi.

📝 Zhrnutie

Kľúč k čítaniu veľkých tabuliek spočíva v streamovaní čítania, overovaní rozmerov a včasnom uvoľňovaní zdrojov. Kód je len východiskovým bodom a to, či sú údaje úplné, závisí od porovnania a manuálnej kontroly.

Skúste to teraz: Odovzdajte dokument a spustite preklad, pričom sa zachová pôvodné rozloženie

Aktualizované 2026-11-16