Jak číst stovky tisíc řádků v Excelu bez zaplnění paměti najednou

Jak číst velkou tabulku bez využití paměti? Tento článek je určen pro vývojáře a datové týmy, kteří potřebují používat Python ke zpracování stovek tisíc řádků Excelu. Po přečtení budete znát důvody exploze velké souborové paměti a zkrácení dat a jak používat openpyxl režim pouze pro čtení, opravu dimenzí a uvolnění prostředků, abyste těmto problémům předešli.

Příklady v tomto článku používají syntetické vzorky. Kód byl zkontrolován s příklady v izolovaném prostředí, ale to není zárukou všech skutečných souborů nebo výkonu produktu. Před zpracováním důležitých dokumentů si prosím uschovejte originály a zkontrolujte je podle hranic a přejímacích položek v textu.

Jak číst velkou tabulku bez prasknutí paměti? Závěr jednou větou

Použijte read_only=True k streamování čtení velkých souborů a po přečtení výslovně zavřete sešit; pokud je počet přečtených řádků zjevně příliš malý, nejprve zkontrolujte informace o rozměrech souboru a poté je zkombinujte s ručním porovnáním, abyste potvrdili, že jsou data kompletní.

Přímá příčina exploze paměti nebo zkrácení dat při čtení stovek tisíc řádků v Excelu

Když pomocí load_workbook('huge.xlsx') otevřete tabulku s půl milionem řádků, může program během několika sekund spotřebovat 8 GB paměti nebo se může ukončit po přečtení pouze prvních 1 000 řádků.

Důvodem prvního je, že výchozí režim načte všechny objekty buněk a jejich styly, komentáře a další metadata do paměti najednou. To druhé je způsobeno tím, že v režimu read_only=True openpyxl plně důvěřuje atributu dimensions deklarovanému uvnitř souboru, aby mohl sledovat výkon.

Pokud systém, který soubor vygeneroval (například nějaký starý exportní modul ERP nebo nestandardní knihovna Pythonu), zapíše tato metadata nesprávně, iterátor se předčasně ukončí bez vyvolání jakékoli výjimky. Nejedná se o chybu kódu, ale o propast mezi specifikacemi formátu a reálnými daty, kterou je třeba překlenout defenzivním programováním.

Správná metoda otevírání a uvolnění prostředků v režimu pouze pro čtení

read_only=True je hlavní cestou pro manipulaci s velkými soubory, ale mění správu životního cyklu objektů. Běžné sešity automaticky uvolní prostředky během shromažďování odpadků, zatímco sešity pouze pro čtení uchovávají odkazy na stream souboru ZIP a analyzátor XML v dolní části a musí explicitně volat wb.close(). Oficiální pokyny k režimu pouze pro čtení naleznete v Openpyxl oficiální dokumentace optimalizovaných režimů.

Zapomenutí tohoto kroku ve skriptu ETL, který prochází více soubory, může mít za následek úniky popisovače souborů, případně spuštění OSError: Too many open files. Tento druh chyby je často odhalen po několika hodinách provozu a je extrémně obtížné jej odstranit.

Navíc režim jen pro čtení vrací ReadOnlyCell namísto standardního objektu Cell. Nepodporuje přístup k atributům, jako jsou styly a anotace, ani neumožňuje zpětné vyhledávání nebo úpravu hodnot pomocí souřadnic. Pokud během iterace získáte informace o sloučené oblasti nebo nastavíte barvu buňky, získáte AttributeError. Tento limit je záměrem zachovat téměř konstantní paměťovou stopu.

📊 Srovnání jádra

Příklad syntézy: oprava dimenzí a ověření zabezpečení iterací

Následující kód ukazuje typický proces obranného čtení. Všimněte si, že toto je syntetický příklad používaný k demonstraci logické struktury, nikoli výsledku zpracování skutečných výrobních dat. Chcete-li spustit tento skript, musíte připravit soubor s názvem input_large.xlsx a měl by být spuštěn v izolovaném prostředí, které uzamkne závislé verze. Ukázka nezahrnuje síťové operace, příkazy prostředí ani citlivá pověření.

from openpyxl import load_workbook

# 合成示例：演示read_only模式下的安全读取与维度校验
# 依赖：openpyxl (需在项目requirements中锁定具体版本)
# 注意：需读者自备 input_large.xlsx，本示例不包含真实数据

def safe_read_large_excel(filepath, expected_min_rows=1000):
    """
    安全读取大Excel文件，包含维度修复与完整性校验。
    :param filepath: Excel文件路径
    :param expected_min_rows: 业务预期的最小行数阈值
    :return: 实际读取的行数
    """
    wb = load_workbook(filename=filepath, read_only=True)
    try:
        ws = wb.active
        # 检查并修复可能错误的维度声明
        # calculate_dimension() 可能返回 'A1:A1' 或其他不准确范围
        dim = ws.calculate_dimension()
        if dim == "A1:A1" or not dim:
            # 重置维度以强制扫描实际数据区域
            # 警告：若文件完全无维度信息，此操作可能遍历全表(104万行)
            ws.reset_dimensions()

        row_count = 0
        header = None
        for row in ws.iter_rows(values_only=True):
            if row_count == 0:
                header = row
                assert header is not None and any(v is not None for v in header), \
                    "首行不应为空或全None"
            row_count += 1

            # 模拟业务处理，避免全量加载到内存
            if row_count % 10000 == 0:
                print(f"已处理 {row_count} 行")

        # 校验读取完整性
        assert row_count >= expected_min_rows, \
            f"行数不足: 期望>={expected_min_rows}, 实际={row_count}。请检查源文件或维度设置。"
        return row_count
    finally:
        # 必须显式关闭，防止句柄泄漏
        wb.close()

# 使用示例（需替换为真实文件路径）
# total = safe_read_large_excel("input_large.xlsx", expected_min_rows=50000)

Klíčem k tomuto kódu není samotné čtení, ale tři vrstvy ochrany:

• Reset rozměrů: Opraveno dimensions v deklaraci souboru, aby se zabránilo předčasnému konci iterátoru.
• Počítání streamů: Počítejte počet řádků při čtení, abyste usnadnili srovnání s očekáváním.
• Vynucené zavření v finally: Bez ohledu na to, zda je čtení úspěšné, nebo se uprostřed vyskytne chyba, budou zdroje souborů uvolněny.

expected_min_rows není standardní práh v oboru, ale obchodní výsledek založený na vaší předchozí znalosti zdrojových dat. Pokud je skutečný počet řádků nižší než tato hodnota, může být soubor poškozen nebo oprava dimenze se nezdařila a v tuto chvíli byste měli místo tichého přijímání neúplných dat přerušit.

Kritéria přijetí a hranice manuální kontroly

To, že kód může projít, neznamená, že data jsou správná. Následující tabulka uvádí typické výjimky, se kterými se lze ve skutečných projektech setkat, a jak s nimi naložit, přičemž rozlišuje rozsah, který může automatizace pokrýt, a scénáře, které vyžadují ruční zásah.

Zvláštní poznámka: reset_dimensions() není všelék. Pokud do samotného souboru nejsou zapsány žádné informace o rozměrech, může tato metoda rozšířit rozsah na horní hranici listu (1048576 řádků), což má za následek neplatné procházení nebo dokonce časový limit. V tomto okamžiku by měl být max_row použit k ručnímu nastavení přiměřené horní hranice nebo by měl být aktivně ukončen, když se objeví N prázdných řádků v řadě. Tyto úsudky nelze provádět pouze pomocí kódu a vyžadují podporu znalostí domény.

🎯 Která metoda je pro vás vhodná?

Pokud potřebujete zpracovat tabulky se stovkami tisíc řádků najednou

Použijte read_only=True streaming čtení, abyste se vyhnuli explozi paměti ve výchozím režimu.

Pokud váš skript prochází více soubory

Zavolejte wb.close() explicitně v bloku finally, abyste zabránili úniku rukojeti.

Pokud je počet přečtených řádků výrazně menší než zdrojová data

Nejprve zkontrolujte, zda není dimensions zapsáno špatně, zkuste reset_dimensions() a poté jej znovu přečtěte a porovnejte s protokolem exportu zdrojového systému.

Pokud si potřebujete přečíst styly nebo komentáře

Tyto vlastnosti nejsou podporovány v režimu pouze pro čtení a měly by být místo toho používány ve výchozím režimu nebo by měly být zpracovávány samostatně v jiném procesu.

Záznam provedení vzorku paměti

Následující kód běží po výše uvedené funkci a používá pouze syntetická data a nečte soubor zákazníka.

from io import BytesIO
from openpyxl import Workbook
source = Workbook()
source.active.append(["id", "value"])
source.active.append(["A", 1])
source.active.append(["B", 2])
out = BytesIO()
source.save(out)
out.seek(0)
assert safe_read_large_excel(out, expected_min_rows=3) == 3

Tento kontrolní seznam použijte pro překlad dokumentů

Nejprve se rozhodněte, který obsah je text a který vzorec a obchodní kódování, a pak přeložte tabulku. Kontrola po překladu nejen zkontroluje, zda byla čínština převedena do cílového jazyka, ale také potvrdí, zda byly změněny vzorce, identifikátory a referenční vztahy.

OmniDoc (produktový portál) poskytuje portál pro překlad dokumentů ve více formátech a oficiální webové stránky zavádějí funkce OCR, glosář a dvojjazyčné porovnání. Pro týmy, které chtějí pracovat přímo ze souborů, je to cesta, kterou stojí za to vyhodnotit pomocí reálných vzorků. Použijte prosím znecitlivěné soubory, k jejichž nahrávání máte oprávnění, a ke kontrole výsledků použijte zaškrtávací položky v tomto článku. Tento článek netvrdí, že OmniDoc používá knihovny s otevřeným zdrojovým kódem nebo interní algoritmy v článku, ani nepoužívá příklady k nahrazení testování výkonu produktu.

❓ Často kladené otázky (FAQ)

1. Proč skončí v polovině čtení a není hlášena žádná chyba?

Protože režim pouze pro čtení důvěřuje dimensions deklarovanému souborem. Pokud systém sestavení zapíše tato metadata nesprávně, iterátor se předčasně ukončí bez vyvolání výjimky.

2. Lze všechny velké soubory vyřešit pomocí reset_dimensions()?

nemůže. Pokud samotný soubor nemá žádné informace o rozměrech, může tato metoda rozšířit rozsah na 1048576 řádků, což způsobí časový limit a je třeba ji zkombinovat s max_row nebo zásadou ukončení souvislého prázdného řádku.

3. Proč nemohu číst styly nebo upravovat buňky v režimu pouze pro čtení?

Režim pouze pro čtení vrací ReadOnlyCell, nepodporuje přístup ke stylu a anotaci a neumožňuje úpravu hodnot. Toto je udržovat téměř konstantní paměťovou stopu.

4. Co mám zkontrolovat po překladu formuláře?

Kromě správného jazyka zkontrolujte, zda se nezměnily vzorce, identifikátory a vztahy mezi odkazy.

📝 Shrnutí

Klíč ke čtení velkých tabulek spočívá ve streamování čtení, ověřování dimenzí a včasném uvolňování zdrojů. Kód je pouze výchozím bodem a zda jsou data úplná, závisí na porovnání a ruční kontrole.

Vyzkoušejte to hned: Nahrajte dokument a začněte překládat při zachování původního rozvržení