A DOCX és az EPUB feldolgozása előtt állítson be költségvetést a ZIP kibontáshoz
A DOCX lényegében ZIP-bejegyzések halmaza, és az EPUB is ZIP-tárolót használ. Az, hogy nagyon kicsi tömörített fájlt kap, nem jelenti azt, hogy a kicsomagolás után is kisebb lesz. A tömörítési mennyiséget, a bejegyzések számát, az egyes elemek méretét és a teljes bővítési mennyiséget korlátozni kell a belépési ponton, ahelyett, hogy megvárnák, amíg a memória kifogy, mielőtt megállapítaná, hogy a fájl rendellenes.
A DOCX és az EPUB kezelése során sok probléma merül fel már a dekompressziós szakaszban. A DOCX lényegében ZIP-bejegyzések halmaza, és az EPUB is ZIP-tárolót használ, így a kis fájlméret nem jelenti azt, hogy a kicsomagolás után kisebb lesz. Ez a cikk azoknak a fejlesztőknek, valamint az üzemeltetési és karbantartói személyzetnek szól, akiknek Office-dokumentumokat vagy e-könyveket kell megkapniuk, és későbbi feldolgozást kell végezniük. Bemutatja, hogyan állíthat be költségvetést a ZIP dekompresszióhoz a bejáratnál.
Ennek elolvasása után meghatározhatja, hogy mely korlátozásokat kell elhelyezni a bejáratnál, hogyan lehet visszaadni a megtagadható információkat a felhasználónak, és hogyan lehet megkülönböztetni a tárolóproblémákat a fordítási problémáktól, ha a fordítás sikertelen. A cikkben szereplő példákat szintetikus minták segítségével mutatjuk be, és a kód átment a mintaellenőrzésen egy elszigetelt környezetben, de ez nem jelenti azt, hogy minden valódi fájlra érvényes. A fontos dokumentumok feldolgozása előtt kérjük, őrizze meg az eredeti példányokat és nézze át a szövegben szereplő határok és átvételi tételek szerint.
Hogyan állíthatok be költségvetést a ZIP-kibontáshoz a DOCX és az EPUB feldolgozása előtt? Egy mondatos következtetés
A tömörítési mennyiséget, a bejegyzések számát, az egyes cikkek méretét és a teljes bővítési mennyiséget korlátozni kell a belépési ponton. Ne várja meg, amíg a memória kimerül, mielőtt felfedezné a fájl rendellenességeit.
| a helyzeted | Ajánlott gyakorlatok | ok |
|---|---|---|
| DOCX vagy EPUB tömörített fájl fogadása | Korlátozza a tömörítési mennyiséget, a bejegyzések számát, az egyes tételek méretét és a teljes bővítési mennyiséget a bejáratnál | A tömörített csomag kis mérete nem jelenti azt, hogy a kibontás után kisebb lesz. |
| Csak a katalógus alapján szeretnék előszűrést végezni. | A címtártáblázatot korai elutasításra használják, miközben a kicsomagolás során olvasott bájtok felhalmozódnak. | A katalógustáblák nem helyettesítik a futásidejű megszorításokat |
| Az ésszerűen nagy dokumentum meghaladja a költségvetést | Biztosítson független nagy fájlsort vagy kézi feldolgozási bejáratot | Az ésszerű dokumentáció meghaladhatja a költségvetést is, de nem szabad megszüntetni minden korlátozást |
| A fordítás nem sikerült | Először tegyen különbséget a tároló sérülése és a fordítási hiba között | A probléma a bevitel előkészítésének szakaszában lehet |
Miért kell először a kiterjesztett méretet néznünk?
Mind a DOCX, mind az EPUB ZIP-et használ tárolóként. Egy több száz KB méretű fájl sok helyet foglalhat a kicsomagolás után. Ha a rendszer csak a feltöltött fájl méretét nézné, nem tudná észlelni az ilyen típusú kockázatokat.
Ezért a bejáratnál végzett ellenőrzésnek egyszerre kell kitérnie a következő szempontokra:
- Tömörítési mennyiség: Korlátozza a feltöltött fájl méretét.
- Bejegyzések száma: Korlátozza a tárolóban lévő fájlok számát.
- Egyetlen tétel mérete: Korlátozza bármely elem kibontott méretét.
- Total Expansion: Korlátozza a bájtok teljes számát az összes bejegyzés kibővítése után.
Először ellenőrizze a tartalomjegyzéket, de ne tekintse végső garanciának
A ZipInfo deklarált méretet és tömörített méretet biztosít, amely alkalmas előszűrésre. Segít a rendszernek gyorsan elutasítani a költségvetést egyértelműen meghaladó fájlokat a kibontás előtt.
A címtártáblázatban található információkat azonban maga a fájl deklarálja, és nem lehet teljesen megbízni bennük. A tényleges kitömörítés során továbbra is össze kell gyűjtenie az olvasott bájtokat, és be kell állítania az idő- és memóriaköltséget. A katalógustáblák korán elutasíthatják a fájlokat, de nem helyettesíthetik a futásidejű korlátozásokat.
Példa a dekompresszió nélküli előszűrésre
from io import BytesIO
from pathlib import PurePosixPath
from zipfile import ZipFile, ZIP_DEFLATED
def inspect(raw, max_entries=10, max_total=4096):
if len(raw) > 4096:
raise ValueError("compressed input budget")
with ZipFile(BytesIO(raw)) as z:
items = z.infolist()
if len(items) > max_entries:
raise ValueError("entry count budget")
total, seen = 0, set()
for item in items:
name = item.filename
path = PurePosixPath(name)
if (path.is_absolute() or ".." in path.parts or
"\\" in name or ":" in name or name in seen):
raise ValueError("unsafe or duplicate name")
seen.add(name)
total += item.file_size
if total > max_total:
raise ValueError("expanded budget")
return len(items), total
def sample(name, data):
out = BytesIO()
with ZipFile(out, "w", ZIP_DEFLATED) as z:
z.writestr(name, data)
return out.getvalue()
assert inspect(sample("word/document.xml", b"<doc/>")) == (1, 6)
for raw in [sample("../escape", b"x"), sample("large", b"x" * 5000)]:
try:
inspect(raw)
except ValueError:
pass
else:
raise AssertionError("unsafe archive accepted")
Ebben a példában a költségvetések kis értékek, amelyeket az elutasítási útvonalak bemutatására választottak, és nem replikálhatók közvetlenül éles környezetben. A példa nem hívja meg a extractall-t, és nem ír ZIP bejegyzéseket sem, tehát nem teljesen biztonságos kicsomagoló.
A titkosított bejegyzések, szimbolikus hivatkozások, beágyazott archiválás és magának a parszernek az erőforrás-felhasználása mind külön stratégiákat igényelnek.
Források: Python zipfile.
A felhasználók számára cselekvésre alkalmas információk biztosítása megtagadásakor
Fájl elutasításakor a felhasználónak tudnia kell, mi legyen a következő lépés; Belsőleg elegendő hibaelhárítási információt kell rögzíteni. Az alábbi táblázat általános kezelési módszereket mutat be a kiváltó állapotok kezelésére:
| Kiváltó feltétel | Magyarázd el a felhasználónak | Belső nyilvántartások |
|---|---|---|
| A teljes telepítési volumen meghaladta a költségvetést | A fájl túl nagy kibontva | Korlátozott nevek és megfigyelések |
| Bejegyzésnév duplikálása | A konténer szerkezete nem egyértelmű | Bejegyzési index, nem teljes szöveg |
| Határátlépő útvonal | A fájlstruktúra nem támogatott | Biztonsági incidens társulási azonosító |
| Konténer sérült | Kérjük, exportálja újra a fájlt | Elemzés kivételtípusok |
A felhasználók számára a magyarázatoknak rövidnek és világosnak kell lenniük, kerülve a túl sok belső részlet felfedését; A belső rekordoknak korlátozott neveket, megfigyeléseket és kivételtípusokat kell tartalmazniuk a jövőbeni hibakereséshez.
Ne tilts le minden korlátozást a kompatibilitás érdekében
A viszonylag nagy dokumentumok is meghaladhatják a költségvetést. Ebben a pontban óvatos megközelítés az, hogy önálló, nagy fájlsorokat vagy kézi feldolgozási belépési pontokat biztosítsunk, ahelyett, hogy minden feladatra vonatkozó korlátozásokat lazítanánk.
A bérlő üzleti kvótájának növelése nem jelenti azt, hogy minden feladatot korlátlan módon leegyszerűsítenének. A korlátozásokat el kell különíteni a végrehajtástól, és nem lehet csak a feltöltés gomb mellé írni.
Megkülönböztetni, hogy melyik réteg fordítási hiba található
A dokumentumok OmniDoc (Termékportál)-be történő benyújtásának előkészítésekor először válassza el a konténersérülést a fordítási hibáktól. Egy olyan DOCX, amely még XML-t sem tud olvasni, problémákkal küzdhet a bemenet előkészítési fázisában. Egy világos előzetes ellenőrzési jelentés jelzi a felhasználóknak, hogy újraexportálják-e, tömörítsék a képeket, vagy forduljanak a fordítási szolgáltatásokhoz hibaelhárítás céljából.
📊 Alap összehasonlítás
| Időzítés ellenőrzése | Fő funkció | Korlátozások |
|---|---|---|
Ellenőrizze a tartalomjegyzéket a kicsomagolás előtt (ZipInfo) | Előszűrés a megadott méret és tömörítési méret alapján, és előre elutasítja azokat a fájlokat, amelyek egyértelműen meghaladják a határértéket | A deklarációs információk magukból a fájlból származnak, és nem helyettesíthetik a futásidejű korlátozásokat |
| A kinyerés során leolvasott kumulatív bájtok | Igazítsa az idő- és memóriaköltségvetést a tényleges telepítés irányításához | A számlálásnak folyamatosnak kell lennie az olvasás során |
🎯 Melyik megközelítés illik hozzád?
Ha felhasználói feltöltött DOCX vagy EPUB-ot kell fogadnod
A bejáratnál egyszerre ellenőrizd a tömörített térfogatot, a bejegyzések számát, az egyes tételek méretét és a teljes bővítést, mielőtt folytatnád a további feldolgozást.
Ha főként a tartalomjegyzékre támaszkodsz az ellenőrzéshez,
A könyvtár táblát korai elutasítás eszközeként használják, miközben a tényleges dekompresszió során leolvasott bájtokat összegyűjtik, és beállítják az idő- és memóriaköltségvetést.
Ha gyakran találkozol viszonylag nagy dokumentumokkal
Biztosítson külön nagy fájlsorokat vagy kézi feldolgozási belépési pontokat ezekhez a dokumentumokhoz; ne tiltson ki minden korlátozást a kompatibilitás érdekében.
Ha készen állsz dokumentumok benyújtására az OmniDocnak
Először is különböztesd meg a konténer korrupciót és a fordítási hibát. Az előzetes ellenőrzési fázisban észlelt problémákat a lehető leghamarabb közölni lehet a felhasználókkal.
❓ Gyakran ismételt kérdések (GYIK)
1. Közvetlenül használható-e a könyvtártábla mérete a fájlok biztonságának meghatározására?
Nem lehet teljesen rá támaszkodni. A ZipInfo által biztosított deklarációs méret alkalmas előszűrésre, de a tényleges kinyerés során a felhalmozott bájtokat még össze kell gyűjteni, valamint az idő- és memória költségvetési beállításokat.
2. Miért olyan kicsi a tömörített csomag, de kihúzva elég nagy lehet?
Mind a DOCX, mind az EPUB ZIP-et használ tárolóként; egy kis tömörített csomagméret nem jelenti azt, hogy a kibővített csomag is kicsi. Ezért a teljes bővítést korlátozni kell.
3. Hogyan kezeljük a nagy, költségvetést túllépő dokumentumokat?
A viszonylag nagy dokumentumok meghaladhatják a költségvetést is, így külön, nagy fájlsorokat vagy kézi beviteli pontokat biztosítanak a korlátok lezárása helyett.
4. Ha a fordítás kudarcot vall, hogyan lehet megállapítani, hol van a probléma?
Először is különböztesd meg a konténer korrupciót és a fordítási hibát. Egy olyan DOCX, amely még XML-t sem tud olvasni, problémákkal küzdhet a bemenet előkészítési fázisában. Egy világos előellenőrzési jelentés segíti a felhasználókat abban, hogy újraexportálják, tömörítsék a képeket, vagy forduljanak a fordítószolgálathoz hibaelhárítás céljából.
📝 Összefoglaló
A ZIP kivonási korlátnak a bejegyzésnél egyidejűleg kell lefednie a tömörített térfogatot, a bejegyzések számát, az egyes elem méretét és a teljes bővítést, és össze kell vonni a kumulatív futásidejű ellenőrzésekkel. Ha a felhasználóknak világos útmutatást adunk a következő lépésre az elutasításkor, könnyebb lesz megoldani a problémát.


