Pred spracovaním DOCX a EPUB si nastavte rozpočet na dekompresiu ZIP
DOCX je v podstate súbor položiek ZIP a EPUB tiež používa kontajner ZIP. To, že dostanete komprimovaný súbor, ktorý je veľmi malý, neznamená, že po rozbalení bude stále menší. Objem kompresie, počet záznamov, veľkosť jednotlivých položiek a celková veľkosť rozšírenia by mali byť obmedzené na vstupnom bode, a nie čakať na vyčerpanie pamäte pred určením, že súbor je abnormálny.
Pri práci s DOCX a EPUB už v štádiu dekompresie vzniká veľa problémov. DOCX je v podstate súbor položiek ZIP a EPUB tiež používa kontajner ZIP, takže malá veľkosť súboru neznamená, že bude po rozbalení menší. Tento článok je určený pre vývojárov a personál prevádzky a údržby, ktorí potrebujú prijímať dokumenty balíka Office alebo e-knihy a vykonávať následné spracovanie. Uvádza, ako nastaviť rozpočet na dekompresiu ZIP pri vstupe.
Po prečítaní tohto článku môžete určiť, ktoré obmedzenia by mali byť umiestnené na vstupe, ako vrátiť používateľovi informácie o zamietnutí a ako rozlíšiť problémy s kontajnermi od problémov s prekladom, keď preklad zlyhá. Príklady v tomto článku sú demonštrované pomocou syntetických vzoriek a kód prešiel kontrolou vzoriek v izolovanom prostredí, ale to neznamená, že je platný pre všetky skutočné súbory. Pred spracovaním dôležitých dokumentov si uschovajte originály a skontrolujte ich podľa hraníc a akceptačných položiek v texte.
Ako nastaviť rozpočet na dekompresiu ZIP pred spracovaním DOCX a EPUB? Záver jednou vetou
Objem kompresie, počet záznamov, veľkosť jednotlivých položiek a celkové množstvo rozšírenia by mali byť na vstupnom bode obmedzené. Nečakajte, kým sa pamäť vybije, kým zistíte abnormality súboru.
| vaša situácia | Odporúčané postupy | dôvod |
|---|---|---|
| Prijímať komprimovaný súbor DOCX alebo EPUB | Obmedzte objem kompresie, počet záznamov, veľkosť jednotlivých položiek a celkové množstvo expanzie na vstupe | Malý rozmer komprimovaného obalu neznamená, že po rozbalení bude menší. |
| Chcem urobiť predbežné premietanie len na základe katalógu. | Tabuľka adresárov sa používa na skoré odmietnutie pri akumulácii bajtov načítaných počas dekompresie. | Katalógové tabuľky nenahrádzajú obmedzenia za behu |
| Primerane veľký dokument presahuje rozpočet | Poskytnite nezávislý veľký rad súborov alebo vstup na manuálne spracovanie | Rozumná dokumentácia môže tiež prekročiť rozpočet, ale nemala by odstrániť všetky obmedzenia |
| Preklad zlyhal | Najprv rozlišujte medzi poškodením kontajnera a poruchou prekladu | Problém môže spočívať v štádiu prípravy vstupu |
Prečo sa musíme najprv pozrieť na zväčšenú veľkosť?
DOCX aj EPUB používajú ZIP ako kontajner. Súbor s veľkosťou niekoľko stoviek kB môže po rozbalení zabrať veľa miesta. Ak by systém sledoval iba veľkosť nahrávaného súboru, nedokázal by tento typ rizika odhaliť.
Preto by kontrola pri vchode mala súčasne pokrývať tieto aspekty:
- Hlasitosť kompresie: Obmedzte veľkosť samotného nahrávaného súboru.
- Počet záznamov: Obmedzte počet súborov v kontajneri.
- Veľkosť jednej položky: Obmedzte rozbalenú veľkosť ktorejkoľvek položky.
- Total Expansion: Obmedzte celkový počet bajtov po rozšírení všetkých položiek.
Najprv skontrolujte obsah, ale neberte to ako konečnú záruku
ZipInfo poskytuje deklarovanú veľkosť a komprimovanú veľkosť, vhodnú na predbežné skríning. Pomáha systému rýchlo odmietnuť súbory, ktoré jasne prekračujú rozpočet pred dekompresiou.
Informácie v tabuľke adresára sú však deklarované samotným súborom a nemožno im úplne dôverovať. Pri skutočnej dekomprimácii stále musíte zhromaždiť prečítané bajty a nastaviť rozpočet na čas a pamäť. Katalógové tabuľky môžu odmietnuť súbory skôr, ale nemôžu nahradiť obmedzenia za behu.
Príklad predbežného skríningu bez dekompresie
from io import BytesIO
from pathlib import PurePosixPath
from zipfile import ZipFile, ZIP_DEFLATED
def inspect(raw, max_entries=10, max_total=4096):
if len(raw) > 4096:
raise ValueError("compressed input budget")
with ZipFile(BytesIO(raw)) as z:
items = z.infolist()
if len(items) > max_entries:
raise ValueError("entry count budget")
total, seen = 0, set()
for item in items:
name = item.filename
path = PurePosixPath(name)
if (path.is_absolute() or ".." in path.parts or
"\\" in name or ":" in name or name in seen):
raise ValueError("unsafe or duplicate name")
seen.add(name)
total += item.file_size
if total > max_total:
raise ValueError("expanded budget")
return len(items), total
def sample(name, data):
out = BytesIO()
with ZipFile(out, "w", ZIP_DEFLATED) as z:
z.writestr(name, data)
return out.getvalue()
assert inspect(sample("word/document.xml", b"<doc/>")) == (1, 6)
for raw in [sample("../escape", b"x"), sample("large", b"x" * 5000)]:
try:
inspect(raw)
except ValueError:
pass
else:
raise AssertionError("unsafe archive accepted")
Rozpočty v tomto príklade sú malé hodnoty zvolené na demonštráciu ciest odmietnutia a nemožno ich priamo replikovať v produkčnom prostredí. Príklad nevolá extractall, ani nezapisuje položky ZIP, takže nejde o úplne bezpečný dekompresor.
Šifrované položky, symbolické odkazy, vnorené archívy a spotreba zdrojov samotného syntaktického analyzátora si vyžadujú samostatné politiky.
Zdroje: Python zipfile.
Pri odmietnutí poskytnite používateľovi použiteľné informácie
Používatelia musia vedieť, čo robiť ďalej, keď je súbor odmietnutý; je potrebné interne zaznamenať dostatočné množstvo informácií o riešení problémov. Nasledujúca tabuľka uvádza zodpovedajúce metódy spracovania pre bežné spúšťacie podmienky:
| Stav spúšte | Pokyny pre používateľov | interné záznamy |
|---|---|---|
| Celková expanzia presahuje rozpočet | Súbor je po rozbalení príliš veľký | Obmedzte mená a pozorovania |
| Duplicitný názov položky | Štruktúra kontajnera je nejasná | Index záznamu, celý text nie je zaznamenaný |
| cesta mimo hraníc | Štruktúra súboru nie je podporovaná | ID korelácie bezpečnostného incidentu |
| Nádoba je poškodená | Znova exportujte súbor | Analyzovať typ výnimky |
Pokyny pre používateľov by mali byť stručné a jasné, aby sa predišlo odhaleniu príliš veľkého množstva interných detailov; interné záznamy by mali uchovávať obmedzené mená, hodnoty pozorovaní a typy výnimiek, aby sa uľahčilo následné vyšetrovanie.
Nevypínajte všetky obmedzenia kvôli kompatibilite
Primerane veľké dokumenty môžu tiež prekročiť váš rozpočet. V súčasnosti je bezpečnejšie poskytnúť nezávislý veľký rad súborov alebo vstup na manuálne spracovanie namiesto uvoľnenia obmedzení na všetky úlohy.
Zvýšenie obchodnej kvóty určitého nájomcu neznamená umožnenie neobmedzenej dekompresie všetkých úloh. Obmedzenia musia byť spárované s izoláciou vykonávania, nie len napísané vedľa tlačidla nahrávania.
Ak preklad zlyhá, musíte identifikovať, na ktorej vrstve sa nachádza.
Pri príprave na odoslanie dokumentu do OmniDoc (produktový portál) najprv oddeľte poškodenie kontajnera od zlyhania prekladu. DOCX, ktorý nedokáže čítať ani XML, problém môže nastať v štádiu prípravy vstupu. Prehľadná správa pred výstupom dáva používateľom vedieť, či by mali obrázky opätovne exportovať, komprimovať alebo kontaktovať prekladateľskú službu, ktorá im pomôže vyriešiť problém.
📊 Základné porovnanie
| Skontrolujte načasovanie | Hlavná funkcia | obmedzenia |
|---|---|---|
Pred dekompresiou skontrolujte tabuľku adresárov (ZipInfo) | Pre-screen na základe deklarovanej veľkosti a veľkosti kompresie a odmietnuť súbory, ktoré zjavne prekračujú limit vopred | Informácie o deklarácii pochádzajú zo samotného súboru a nenahrádzajú obmedzenia runtime |
| Kumulatívne bajty načítané počas dekompresie | Spolupracujte s časovým a pamäťovým rozpočtom na kontrolu skutočného množstva rozšírenia | Počas čítania treba pokračovať v počítaní |
🎯 Ktorá metóda je pre vás vhodná?
Ak potrebujete prijímať DOCX alebo EPUB nahrané používateľmi
Pri vstupe skontrolujte súčasne objem kompresie, počet záznamov, veľkosť jednej položky a celkové množstvo expanzie pred zadaním ďalšieho spracovania.
Ak sa pri kontrole spoliehate hlavne na tabuľky adresárov
Použite tabuľku adresárov ako prostriedok na skoré odmietnutie, pričom akumulujte bajty načítané počas skutočnej dekompresie a nastavte rozpočet na čas a pamäť.
Ak sa často stretávate s primerane veľkými dokumentmi
Pre takéto dokumenty poskytnite samostatný rad veľkých súborov alebo vstup na manuálne spracovanie a z dôvodu kompatibility nevypínajte všetky obmedzenia.
Ak ste pripravení odoslať dokument OmniDoc
Najprv rozlišujte medzi poškodením kontajnera a poruchou prekladu. Problémy, ktoré sa dajú zistiť počas fázy predbežnej kontroly, môžu byť používateľom oznámené čo najskôr.
❓ Často kladené otázky (FAQ)
1. Dá sa veľkosť v adresárovej tabuľke použiť priamo na určenie, či je súbor bezpečný?
Nedá sa na to úplne spoľahnúť. Veľkosť deklarácie poskytovaná ZipInfo je vhodná na predbežný skríning, ale stále je potrebné akumulovať prečítané bajty a nastaviť rozpočet na čas a pamäť počas skutočnej dekompresie.
2. Prečo je komprimovaný balík veľmi malý, ale po dekomprimácii môže byť veľmi veľký?
DOCX aj EPUB používajú ZIP ako kontajner. Malá veľkosť komprimovaného balenia neznamená, že zväčšený objem bude tiež malý. Preto je potrebné obmedziť celkové množstvo expanzie.
3. Ako sa vysporiadať s veľkými dokumentmi, ktoré presahujú rozpočet?
Primerane veľké dokumenty môžu tiež prekročiť rozpočet a namiesto vypnutia všetkých limitov je možné poskytnúť samostatný rad veľkých súborov alebo manuálne spracovanie.
4. Keď zlyhá preklad, ako určiť, v ktorej vrstve problém leží?
Najprv rozlišujte medzi poškodením kontajnera a poruchou prekladu. V prípade DOCX, ktoré nedokáže čítať ani XML, môže nastať problém vo fáze prípravy vstupu. Prehľadná správa o predbežnej kontrole môže používateľom pomôcť rozhodnúť sa, či majú obrázky opätovne exportovať, skomprimovať alebo či sa majú obrátiť na prekladateľskú službu s cieľom vyriešiť problém.
📝 Zhrnutie
Dekompresný limit ZIP na položke by mal pokrývať komprimovaný objem, počet položiek, veľkosť jednotlivých položiek a celkové množstvo expanzie a spolupracovať s kumulatívnou kontrolou za behu. Ak používateľovi poskytnete jasnú výzvu na ďalší krok pri odmietnutí, môže to uľahčiť vyriešenie problému.
Skúste to teraz: Odovzdajte dokument a spustite preklad, pričom sa zachová pôvodné rozloženie


