Prije obrade DOCX i EPUB, postavite proračun za ZIP dekompresiju
DOCX je u biti skup ZIP unosa, a EPUB također koristi ZIP spremnik. Samo zato što ste primili komprimiranu datoteku koja je vrlo mala ne znači da će i dalje biti manja nakon što je raspakirate. Volumen kompresije, broj unosa, veličina pojedinačne stavke i ukupni iznos proširenja trebali bi biti ograničeni na ulaznoj točki, umjesto da se čeka da se memorija isprazni prije nego što se utvrdi da je datoteka nenormalna.
Kad se radi s DOCX i EPUB, mnogi problemi nastaju već tijekom faze dekompresije. DOCX je u biti skup ZIP unosa, a EPUB također koristi ZIP spremnik, tako da mala veličina datoteke ne znači da će biti manja nakon raspakiranja. Ovaj je članak namijenjen programerima i osoblju za rad i održavanje koje treba primiti Office dokumente ili e-knjige i izvršiti naknadnu obradu. Uvodi kako postaviti proračun za ZIP dekompresiju na ulazu.
Nakon što ovo pročitate, možete odrediti koja ograničenja treba postaviti na ulazu, kako korisniku vratiti korisne informacije o odbijanju i kako razlikovati probleme sa spremnikom od problema s prijevodom kada prijevod ne uspije. Primjeri u ovom članku demonstrirani su pomoću sintetičkih uzoraka, a kod je prošao provjeru uzorka u izoliranom okruženju, ali to ne znači da je valjan za sve stvarne datoteke. Prije obrade važnih dokumenata, molimo vas da sačuvate izvornike i pregledate ih prema granicama i stavkama prihvaćanja u tekstu.
Kako postaviti proračun za ZIP dekompresiju prije obrade DOCX i EPUB? Zaključak jedne rečenice
Volumen kompresije, broj unosa, veličina pojedinačne stavke i ukupna količina proširenja trebaju biti ograničeni na ulaznoj točki. Nemojte čekati da se memorija potroši prije nego otkrijete abnormalnosti datoteke.
| vaša situacija | Preporučene prakse | razlog |
|---|---|---|
| Primite DOCX ili EPUB komprimiranu datoteku | Ograničite volumen kompresije, broj unosa, veličinu pojedinačne stavke i ukupnu količinu ekspanzije na ulazu | Mala veličina komprimiranog paketa ne znači da će biti manji nakon raspakivanja. |
| Želim napraviti pretprovjeru samo na temelju kataloga. | Tablica imenika koristi se za rano odbacivanje dok se skupljaju bajtovi pročitani tijekom dekompresije. | Kataloške tablice nisu zamjena za ograničenja vremena izvođenja |
| Razumno velik dokument premašuje proračun | Omogućite neovisni veliki red čekanja datoteka ili ulaz za ručnu obradu | Razumna dokumentacija također može premašiti proračun, ali ne bi trebala ukloniti sva ograničenja |
| Prijevod nije uspio | Najprije napravite razliku između oštećenja spremnika i neuspjeha prijevoda | Problem može ležati u fazi pripreme unosa |
Zašto prvo moramo pogledati proširenu veličinu?
I DOCX i EPUB koriste ZIP kao spremnik. Datoteka od nekoliko stotina KB može zauzeti puno prostora nakon raspakiranja. Kad bi sustav gledao samo veličinu učitane datoteke, ne bi mogao otkriti ovu vrstu rizika.
Stoga inspekcija na ulazu treba istodobno obuhvatiti sljedeće aspekte:
- Glasnoća kompresije: Ograničite veličinu same učitane datoteke.
- Broj unosa: Ograničite broj datoteka unutar spremnika.
- Veličina jedne stavke: Ograničite proširenu veličinu bilo koje stavke.
- Ukupno proširenje: Ograničite ukupni broj bajtova nakon proširenja svih unosa.
Prvo provjerite sadržaj, ali nemojte to shvatiti kao konačno jamstvo
ZipInfo pruža deklariranu veličinu i komprimiranu veličinu, prikladnu za prethodni pregled. Pomaže sustavu da brzo odbaci datoteke koje jasno premašuju proračun prije dekompresije.
Međutim, informacije u tablici direktorija deklarira sama datoteka i ne mogu im se u potpunosti vjerovati. Prilikom dekompresije i dalje trebate akumulirati bajtove koji su pročitani i postaviti proračun vremena i memorije. Kataloške tablice mogu rano odbiti datoteke, ali ne mogu zamijeniti ograničenja vremena izvođenja.
Primjer prethodnog pregleda bez dekompresije
from io import BytesIO
from pathlib import PurePosixPath
from zipfile import ZipFile, ZIP_DEFLATED
def inspect(raw, max_entries=10, max_total=4096):
if len(raw) > 4096:
raise ValueError("compressed input budget")
with ZipFile(BytesIO(raw)) as z:
items = z.infolist()
if len(items) > max_entries:
raise ValueError("entry count budget")
total, seen = 0, set()
for item in items:
name = item.filename
path = PurePosixPath(name)
if (path.is_absolute() or ".." in path.parts or
"\\" in name or ":" in name or name in seen):
raise ValueError("unsafe or duplicate name")
seen.add(name)
total += item.file_size
if total > max_total:
raise ValueError("expanded budget")
return len(items), total
def sample(name, data):
out = BytesIO()
with ZipFile(out, "w", ZIP_DEFLATED) as z:
z.writestr(name, data)
return out.getvalue()
assert inspect(sample("word/document.xml", b"<doc/>")) == (1, 6)
for raw in [sample("../escape", b"x"), sample("large", b"x" * 5000)]:
try:
inspect(raw)
except ValueError:
pass
else:
raise AssertionError("unsafe archive accepted")
Proračuni u ovom primjeru male su vrijednosti odabrane da pokažu putanje odbijanja i ne mogu se izravno replicirati u proizvodnom okruženju. Primjer ne poziva extractall, niti upisuje ZIP unose, tako da nije potpuno siguran dekompresor.
Šifrirani unosi, simboličke veze, ugniježđene arhive i potrošnja resursa samog parsera zahtijevaju zasebne politike.
Izvori: Python zipfile.
Dajte korisniku korisne informacije prilikom odbijanja
Korisnici moraju znati što učiniti sljedeće kada je datoteka odbijena; potrebno je interno zabilježiti dovoljno informacija o rješavanju problema. Sljedeća tablica daje odgovarajuće metode obrade za uobičajene uvjete okidanja:
| Uvjet okidača | Objasnite korisniku | Interni zapisi |
|---|---|---|
| Ukupni volumen implementacije premašio je proračun | Datoteka je prevelika kada se proširi | Imena i opažanja granica |
| Duplicirani naziv unosa | Struktura spremnika nije jasna | Indeks unosa, ne puni tekst |
| Putanja preko granice | Struktura datoteka nije podržana | ID asocijacije sigurnosnog incidenta |
| Kontejner oštećen | Molimo ponovno izvezite datoteku | Vrste iznimki parsiranja |
Objašnjenja korisnicima trebaju biti kratka i jasna, izbjegavajući otkrivanje previše internih detalja; Interni zapisi trebaju zadržati ograničena imena, opažanja i vrste iznimki za buduće rješavanje problema.
Nemojte isključivati sva ograničenja radi kompatibilnosti
Razumno veliki dokumenti također mogu premašiti proračun. U ovom trenutku, razuman pristup je osigurati neovisne velike redove datoteka ili ulazne točke ručne obrade, umjesto da se ublažavaju ograničenja za sve zadatke.
Povećanje kvote za poslovanje najmoprimca ne znači neograničeno opuštanje svih zadataka. Ograničenja moraju biti izolirana od izvršavanja i ne smiju se pisati samo pored gumba za prijenos.
Razlikujte u kojem sloju se nalazi neuspjeh prijevoda
Prilikom pripreme za slanje dokumenata u OmniDoc (Portal proizvoda), prvo odvojite oštećenje spremnika od neuspjelih prijevoda. DOCX koji čak ne može ni čitati XML može imati problema tijekom faze pripreme ulaza. Jasno izvješće prije provjere korisnicima daje do znanja trebaju li ponovno izvesti, komprimirati slike ili kontaktirati usluge prevođenja radi rješavanja problema.
📊 Usporedba jezgri
| Provjeri vrijeme | Glavna funkcija | Ograničenja |
|---|---|---|
Provjerite sadržaj prije izdvajanja (ZipInfo) | Prethodno pregledajte prema deklariranoj veličini i veličini kompresije te unaprijed odbijte datoteke koje jasno prelaze ograničenje | Informacije o deklaraciji dolaze iz same datoteke i ne mogu zamijeniti ograničenja u vrijeme izvođenja |
| Kumulativni bajtovi pročitani tijekom ekstrakcije | Uskladite se s vremenskim i memorijskim budžetom za kontrolu stvarne implementacije | Brojanje mora biti kontinuirano tijekom procesa čitanja |
🎯 Koji ti pristup najviše odgovara?
Ako trebate primiti korisnički učitane DOCX ili EPUB datoteke
Na ulazu se istovremeno provjerava komprimirani volumen, broj unosa, veličina pojedinačnog artikla i ukupno proširenje prije nastavka s daljnjom obradom.
Ako se uglavnom oslanjate na sadržaj za provjeru,
Tablica direktorija koristi se kao sredstvo ranog odbacivanja, dok se bajtovi pročitani tijekom stvarne dekompresije akumuliraju, a vremenski i memorijski budžeti postavljaju se.
Ako često naiđete na prilično velike dokumente
Osigurajte zasebne velike redove datoteka ili ručne ulazne točke za takve dokumente; nemojte onemogućiti sva ograničenja radi kompatibilnosti.
Ako ste spremni poslati dokumente OmniDoc-u
Prvo, razlikovati oštećenje kontejnera od neuspjeha prijevoda. Svi problemi otkriveni tijekom faze predinspekcije mogu se korisnicima priopćiti što je ranije moguće.
❓ Često postavljana pitanja (FAQ)
1. Može li se veličina u tablici direktorija izravno koristiti za određivanje sigurnosti datoteka?
Ne možeš se potpuno osloniti na to. Veličina deklaracije koju pruža ZipInfo prikladna je za prethodno filtriranje, ali tijekom stvarne ekstrakcije, akumulirani pročitani bajtovi i dalje se moraju akumulirati, zajedno s postavkama vremenskog i memorijskog budžeta.
2. Zašto je komprimirani paket tako malen, ali kad se izvadi, može biti prilično velik?
I DOCX i EPUB koriste ZIP kao svoj spremnik; mala komprimirana veličina paketa ne znači da je i prošireni paket mali. Stoga je potrebno ograničiti ukupno širenje.
3. Kako treba postupati s velikim dokumentima koji prelaze proračun?
Razumno veliki dokumenti također mogu premašiti proračun, pružajući zasebne velike redove datoteka ili ručne ulazne točke umjesto zatvaranja svih ograničenja.
4. Kada prijevod ne uspije, kako možete utvrditi gdje je problem?
Prvo, razlikovati oštećenje kontejnera od neuspjeha prijevoda. DOCX koji čak ne može ni čitati XML može imati problema tijekom faze pripreme unosa. Jasan izvještaj o predprovjeri pomaže korisnicima odlučiti hoće li ponovno izvesti, komprimirati slike ili kontaktirati usluge prevođenja radi rješavanja problema.
📝 Sažetak
Ograničenje ZIP ekstrakcije na unosu treba istovremeno pokrivati komprimirani volumen, broj unosa, veličinu pojedinačne stavke i ukupno proširenje, te se kombinirati s kumulativnim provjerama u vrijeme izvođenja. Davanje korisnicima jasnih naznaka o sljedećem koraku prilikom odbijanja olakšava rješavanje problema.
Isprobajte sada: Prenesite svoj dokument da biste započeli prijevod, čuvajući izvorno oblikovanje


