Prečo by mal každý proces pri analýze súborov PDF v dávkach otvárať súbor sám?
Viacprocesové úlohy by mali prejsť v serializovateľných parametroch a umožniť každej pracovnej jednotke, aby dokument otvorila nezávisle, namiesto zdieľania objektov Document alebo Page. Nasledujúce testuje segmentované pokrytie a nezávisle otvorené funkcie pracovníkov; aby zostal prenosný a kontrolovateľný, príklad je serializovaný a nevydáva sa za viacprocesový test výkonnosti.
Pri dávkovom spracovaní súborov PDF bude veľa ľudí chcieť, aby viacero procesov zdieľalo rovnaký objekt dokumentu, pričom si myslia, že to ušetrí problémy. V skutočnosti sú objekty Document a Page viazané na proces, ktorý ich vytvoril, a pri ich používaní v rámci procesov môžu nastať problémy. Tento článok je vhodný pre vývojárov, ktorí potrebujú použiť viacero procesov na rozdelenie stránok PDF a extrahovanie textu v dávkach. Po prečítaní budete vedieť, aké parametre by sa mali odovzdať podriadenému procesu, ako by mal podriadený proces súbor otvárať a v akých prípadoch je potrebné vrátiť sa k jedinému procesu alebo zaviesť OCR.
Príklad používa syntetické vzorky a kód vytvára vstup v pamäti. Overuje spracovanie segmentovaného pokrytia a nezávisle otvorených súborov a nepredstavuje záruku všetkých skutočných súborov alebo výkonu produktu. Pred spracovaním dôležitých dokumentov si uschovajte originály a skontrolujte ich podľa nižšie uvedených hraníc a akceptačných položiek.
Pri analýze PDF v dávkach, ako by mal každý proces otvoriť súbor? Záver jednou vetou
Úlohy s viacerými procesmi by mali prejsť v serializovateľných parametroch a každá pracovná jednotka by mala dokument otvárať nezávisle, namiesto zdieľania objektov Document alebo Page.
| vaša situácia | Odporúčané postupy | dôvod |
|---|---|---|
| Vyžaduje viacprocesové dávkové spracovanie súborov PDF | Odovzdajte serializovateľné parametre, ako je názov súboru a rozsah čísel stránok, a každý podriadený proces sám od seba volá pymupdf.open() | Document obsahuje základný ukazovateľ štruktúry C a popisovač súboru a nedá sa bezpečne odovzdať medzi procesmi |
Chcete priamo odovzdať objekty Document alebo Page | Neodporúča sa | Preruší sa z dôvodu zlyhania morenia alebo výnimky z dôvodu neplatného ukazovateľa |
| Viaceré procesy chcú zapisovať do rovnakého výstupného súboru | Každý proces zapisuje nezávislé dočasné súbory, ktoré sú zlúčené hlavným procesom | Ak synchronizácia chýba, obsah sa môže rozložiť alebo poškodiť |
| Vyžaduje sa priradenie medzi stránkami, ako je napríklad zlúčenie tabuľky medzi stránkami a fulltextové indexovanie | Vráťte sa k jednoprocesovému spracovaniu alebo navrhnite špecializovanú stratégiu chunked agregation | Procesy sú od seba izolované a nemôžu zdieľať kontext |
Prečo nemôže byť objekt Document odovzdaný podriadenému procesu?
Hlavnou príčinou je, že Document interne drží ukazovatele a popisovače súborov na základné štruktúry C. Tieto zdroje sú viazané v pamäťovom priestore procesu, ktorý ich vytvoril. Po prechode cez procesy sa ukazovatele stanú neplatnými a k rukovätiam nemôže legálne pristupovať iný proces.
Správny prístup je odovzdať iba serializovateľné parametre, ako je názov súboru (reťazec) a rozsah stránok, a nechať každý podriadený proces volať pymupdf.open() nezávisle vo svojom vlastnom pamäťovom priestore. Toto nie je výkonnostný kompromis. Podriadený proces je nezávislá entita sama osebe a aj tak vyžaduje vlastnú inštanciu dokumentu, aby mohol bezpečne vykonávať operácie načítania alebo vykresľovania.
Príklad samostatného zloženia
Závislosti nájdete v zozname importu kódu nižšie. Kód vytvára vstup v pamäti, čo uľahčuje jeho reprodukciu v izolovanom prostredí.
import pymupdf
def partition(total, chunk):
if type(chunk) is not int or chunk <= 0:
raise ValueError("positive chunk required")
return [(start, min(start + chunk, total)) for start in range(0, total, chunk)]
def worker(raw, start, end):
with pymupdf.open(stream=raw, filetype="pdf") as doc:
return [(i, doc[i].get_text()) for i in range(start, end)]
with pymupdf.open() as doc:
for index in range(5):
doc.new_page().insert_text((50, 50), f"Page {index}")
raw = doc.tobytes()
tasks = partition(5, 2)
assert tasks == [(0, 2), (2, 4), (4, 5)]
results = [item for start, end in tasks for item in worker(raw, start, end)]
assert [i for i, text in results] == list(range(5))
assert all(f"Page {i}" in text for i, text in results)
assert partition(0, 2) == []
Závislosti a prevádzkové pokyny
V príklade chunksize z pool.map používa predvolenú hodnotu 1, ktorá je vhodná pre scenáre s veľkou granularitou jednej úlohy. Ak existuje veľa stránok a spracovanie jednej stránky je rýchle, chunksize možno zvýšiť, aby sa znížila réžia medziprocesovej komunikácie. Tento príklad sa však zameriava na bezpečnosť, nie na ladenie výkonu.
Príklad syntézy: Správna hranica vstupu a nebezpečenstva
Správny vstup: Prejdite n-ticou (segment_id, filename, start_page, end_page). kde filename je cesta reťazca a start_page a end_page sú celé čísla. Po prijatí parametrov podriadený proces otvorí súbor sám, spracuje zadaný rozsah čísel strán a vráti zoznam výsledkov.
Hranica nebezpečenstva:
- Číslo strany je mimo rámca: Ak je rozsah čísel strán
(18, 25), ale dokument má v skutočnosti iba 20 strán, pri prístupe na stranu 21 sa spustí index mimo hraníc. - Priame odovzdanie
Document: preruší sa, ak uhorka zlyhá. - Viaceré procesy píšuce rovnaký súbor: bez synchronizačného mechanizmu bude výstupný obsah prekladaný alebo poškodený.
Riešením je okamžite overiť, či rozsah čísel stránok prekračuje doc.page_count na vstupe podriadeného procesu, a nechať všetky I/O operácie používať nezávislé cieľové cesty alebo vyrovnávacie pamäte. Neserializovateľné objekty by mali byť vylúčené z parametrov úlohy vo fáze návrhu, a nie spoliehať sa na výnimky zachytenia za behu.
📊 Porovnanie jadra
| Rozmery | Objekt Pass Document | Odovzdávanie serializovateľných parametrov (odporúčané) |
|---|---|---|
| Či sa môže prenášať medzi procesmi | Nie, zlyhá kvôli nakladanej náleve | Áno, reťazce a celé čísla sa dajú odovzdať priamo |
| Základné vlastníctvo zdrojov | Viazané na proces, ktorý ho vytvoril | Každý podproces otvára súbory samostatne |
| Prejavy chýb | pickle.PicklingError alebo podriadený proces ticho padá | Čísla strán za hranicami je možné skontrolovať pri vchode |
Kritériá prijatia a hranice manuálneho hodnotenia
| Pozorujte tento jav | Možné dôvody | Rozhodnutia o spracovaní |
|---|---|---|
pickle.PicklingError alebo podriadený proces ticho padá | Neserializovateľné objekty, ako napríklad Document/Page, boli odovzdané | Odovzdávajte iba základné typy ako reťazce, celé čísla, n-tice a podobne |
| Niektoré čísla strán vracajú prázdne reťazce | Čísla strán presahujú skutočný počet strán, alebo je stránka čistý obrázok bez textových vrstiev | Overte hranice čísel strán; OCR je potrebné pre označovanie obyčajných obrázkov na stránke, čo je očakávané správanie |
| Obsah výstupného súboru je neporiadny | Viaceré procesy zapisujú do toho istého súboru | Každý proces zapisuje nezávislý dočasný súbor a hlavný proces sa zlúči |
| Využitie pamäte rastie lineárne s počtom procesov | Každý proces načíta celý dokument | Prijmite tieto náklady; Ak je dokument príliš veľký, použite namiesto toho stránkované streamovanie |
Tento režim nie je vhodný pre úlohy vyžadujúce kontextové prepojenie rozloženia stránky, ako je zlúčenie stránok tabuliek alebo tvorba fulltextového indexu, pretože procesy sú od seba izolované. Pri takýchto požiadavkách by sa mal proces vrátiť k spracovaniu jedného procesu alebo navrhnúť špecializovanú stratégiu agregácie blokov.
Okrem toho príklad iba overuje "bezpečnú paralelnú extrakciu" a neznamená, že sú dostupné end-to-end efekty. Kvalita textu, správnosť kódovania a zachovanie formátovania stále vyžadujú manuálnu kontrolu vzorkovania. Pri skenovaných PDF je obzvlášť dôležité poznamenať, že extrakcia obyčajného textu môže úplne zlyhať, v takom prípade je potrebné zaviesť OCR.
Ak ......
Ak potrebujete hromadne extrahovať text z PDF paralelne
Úlohy sú rozdelené podľa intervalu počtu strán, pričom sa odovzdávajú len základné typy ako názvy súborov a čísla strán, pričom každý podproces otvára súbory nezávisle.
Ak vaša úloha vyžaduje rozloženie výsledkov po stránkach,
Uprednostnite vrátenie jednotlivých procesov alebo navrhnite stratégie agregácie častí; vyhnite sa nútenému paralelizmu.
Ak pracujete so skenovaným PDF
Najprv potvrďte, či existuje textová vrstva. Ak nie, je potrebné do procesu pred kontrolou pridať krok OCR.
❓ Často kladené otázky (FAQ)
1. Prečo nemožno objekt Document odovzdať priamo podriadenému procesu?
Document interne uchováva ukazovatele a úchyty súborov smerujúce na základnú C štruktúru. Tieto viazania zdrojov sú v procese, ktorý ich vytvoril, a ich odovzdanie medzi procesmi sa stáva neplatným a prenos je prerušený, ak pickle zlyhá.
2. Prečo podprocesy otvárajú súbory jednotlivo?
Ako nezávislé subjekty potrebujú podprocesy vlastné dokumentačné inštancie na bezpečné vykonávanie extrakcie alebo renderovania. Toto je správny prístup a nie chyba vo výkone.
3. Čo mám robiť, ak je číslo strany mimo rozsahu?
Pri vstupe do podprocesu okamžite overte, či číslo stránky presahuje doc.page_count; nepokračujte v prístupe, ak je hranica prekročená.
4. Môže viacero procesov súčasne zapisovať ten istý výstupný súbor?
Neodporúča sa. Bez synchronizácie bude obsah prekladaný alebo poškodený; každý proces by mal zapisovať nezávislé dočasné súbory, ktoré potom hlavný proces zlúči.
📝 Zhrnutie
Pri multiprocesovaní PDF je spoľahlivejším prístupom odovzdávať serializovateľné parametre a nechať každý podproces samostatne otvoriť súbor. Úlohy súvisiace s asociáciami medzi stránkami a skenovanými súbormi je potrebné vyhodnocovať samostatne a konečné manuálne overenie vzorky sa stále vykonáva na reálnych vzorkách.
Použite kontrolný zoznam na preklad dokumentov
Najprv dôkladne skontrolujte poradie strán, umiestnenie zdroja a integritu textu, potom odovzdajte tú istú úzkostlivú ukážku prekladu. Po preklade by ste mali stále skontrolovať, či názov, hlavný text a titulky správne zodpovedajú; nemôžete len kontrolovať, či je text plynulý.
OmniDoc (Produktový portál) poskytuje portály na preklad dokumentov vo viacerých formátoch a oficiálna webová stránka predstavuje OCR, glosáre a bilingválne porovnávacie funkcie. Pre tímy, ktoré chcú začať spracovávať priamo zo súborov, je to cesta, ktorú stojí za to vyhodnotiť s reálnymi vzorkami. Použite prosím desenzibilizačný súbor, na ktorý máte povolenie, na nahranie a prezrite si výsledky pomocou kontrolného zoznamu v tomto článku. Netvrdí sa, že OmniDoc používa open-source knižnice alebo interné algoritmy opísané tu, ani príklady nenahrádzajú testovanie výkonnosti produktu.
Základ referenčného rozhrania: Dokument PyMuPDF


