Súbory s rovnakým názvom nepredstavujú rovnakú kópiu: na identifikáciu vstupu použite hašovanie obsahu
Klient poslal dva dokumenty, oba s názvom `final.pdf`, ktorý z nich bol preložený? Pri odpovedi na túto otázku je nebezpečné spoliehať sa na názvy súborov. Súbory s rovnakým názvom môžu mať odlišný obsah a súbory so zmenenými názvami môžu mať rovnaké bajty. Hodnoty hash obsahu sú vhodné na vytvorenie korešpondencie s verziami, ale nemal by sa im pripisovať význam, ktorý nemajú.
Súbory s rovnakým názvom nemusia byť nevyhnutne rovnaké a súbory so zmenenými názvami môžu mať presne rovnaký obsah. Ak sa tím pri sledovaní prekladov spolieha na názvy súborov, je ľahké získať nesprávnu verziu. Tento článok vysvetľuje, ako pomocou hašovania obsahu zanechať odtlačky vstupu a výstupu na úrovni bajtov a čo môže a čo nemôže hash dokázať.
Príklady používajú syntetické vzorky na demonštráciu spôsobov spracovania. Kód bol testovaný iba v izolovanom prostredí a nepredstavuje záruku všetkých skutočných súborov alebo efektov produktu. Pred spracovaním dôležitých dokumentov si uschovajte originály a skontrolujte ich podľa hraníc a akceptačných položiek v texte.
Prečo sú názvy súborov nespoľahlivé? Záver jednou vetou
Použite hash obsahu, aby zodpovedal verzii a názov súboru je len orientačný. Nasledujúca tabuľka vysvetľuje, čo robiť v bežných situáciách.
| vaša situácia | Odporúčané postupy | dôvod |
|---|---|---|
Oba dokumenty sa nazývajú final.pdf | Porovnajte súhrny SHA-256, nie názvy súborov | Obsah súborov s rovnakým názvom sa môže líšiť |
| Súbor bol premenovaný | Pomocou súhrnu potvrďte, či ide o rovnaký obsah bajtu | Názov sa nezúčastňuje bajtového súhrnu |
| Je potrebné potvrdiť, ktorému vstupu zodpovedá preklad | Zaznamenajte súhrny vstupov a výstupov oddelene | Vstup a výstup sú rôzne obsahy bajtov |
| Súbory môžu byť znovu uložené alebo môžu byť prepísané metadáta | Znova nahrať ako obsah nového bajtu | Zmeny v metadátach alebo parametroch kompresie môžu ovplyvniť hodnoty hash |
Pre vstup ponechajte bajtový odtlačok prsta
SHA-256 vypočíta súhrn na základe bajtov súboru. Veľké súbory možno čítať po častiach bez toho, aby sa museli načítať do pamäte naraz. Výsledok hash nemá nič spoločné s veľkosťou kúsku, chunking je len stratégia čítania a nie je súčasťou identity súboru. Pamäťové toky uvedené nižšie sú syntetické vzorky a neobsahujú skutočné dokumenty.
Na overenie implementácie použite rovnaký obsah a rôzne bloky
import hashlib
from io import BytesIO
def digest(stream, chunk_size=65536):
if type(chunk_size) is not int or chunk_size <= 0:
raise ValueError("positive chunk size required")
h = hashlib.sha256()
while block := stream.read(chunk_size):
h.update(block)
return h.hexdigest()
raw = b"synthetic document version A\n"
a = digest(BytesIO(raw), 3)
assert a == digest(BytesIO(raw), 4096)
assert a == hashlib.sha256(raw).hexdigest()
assert a != digest(BytesIO(raw.replace(b"A", b"B")))
assert digest(BytesIO(b"")) == hashlib.sha256(b"").hexdigest()
try:
digest(BytesIO(raw), 0)
except ValueError:
pass
else:
raise AssertionError("zero chunk must be rejected")
Funkcia začne čítať od aktuálnej pozície streamu. Pred formálnym hovorom by malo byť jasné, či je stream na začiatku. Ak syntaktický analyzátor už prečítal časť obsahu, výsledkom priameho výpočtu nie je „hash celého súboru". Najbezpečnejším prístupom je zapnúť vstup iba na čítanie jednotlivo alebo ho pred výpočtom v streame, na ktorý možno zacieliť, explicitne resetovať.
Aký je rozdiel medzi rovnakými bajtmi a rovnakým obsahom?
Hash odráža iba to, či sú bajty konzistentné a rôzne operácie naň majú rôzne účinky.
| Podmienka | Ako sa môže zmeniť hash | Ako vysvetliť |
|---|---|---|
| Zmeňte iba názov súboru | konštantný | Názov sa nezúčastňuje bajtového súhrnu |
| Metadáta PDF sa prepíšu | Zmeniť | Stránky môžu vyzerať rovnako alebo odlišne |
| Znova uložte komprimovaný balík | Zmeniť | Parametre kompresie alebo časové značky môžu ovplyvniť bajty |
| Preložiť do iného jazyka | zvyčajne meniť | Vstup a výstup by sa mali zaznamenávať oddelene |
📊 Základné porovnanie
| Metóda úsudku | Čo sa dá vysvetliť | Nedá sa nič vysvetliť |
|---|---|---|
| Porovnajte názvy súborov | Môže to znamenať len to, že mená sú rovnaké | Je obsah konzistentný? |
| Porovnajte súhrny SHA-256 | Je obsah bajtov úplne rovnaký? | Máte práva na použitie súboru alebo vlastníte autorské práva? |
🎯 Ktorá metóda je pre vás vhodná?
Ak potrebujete potvrdiť, či sú dva dokumenty konzistentné
Porovnajte súhrn SHA-256. Ak je súhrn rovnaký, obsah bajtu je rovnaký a názov súboru sa nepoužije ako základ.
Ak potrebujete sledovať zdroj prekladu
Zaznamenajte súhrn vstupu a súhrn výstupu a potom priraďte jazykovú a terminologickú verziu.
Ak plánujete použiť hašovanie na určenie povolení súboru
Nerob to. Hodnota hash nie je poverením povolenia a vyžaduje ďalšie riadenie prístupu.
❓ Často kladené otázky (FAQ)
1. Zmení sa hash po úprave názvu súboru?
nebude. Názov sa nezúčastňuje bajtového súhrnu a hash súboru zostane nezmenený, ak sa zmení iba názov súboru.
2. Ak stránka vyzerá rovnako, znamená hash nevyhnutne to isté?
neistý. Keď sa metadáta PDF prepíšu, hash sa môže zmeniť, aj keď stránka vyzerá rovnako.
3. Je možné použiť hash na určenie, či má používateľ právo stiahnuť súbor?
nemôže. Poznanie abstraktu súboru neznamená právo na jeho stiahnutie, ani to neznamená vlastníctvo autorských práv.
4. Aké sú riziká deduplikácie medzi nájomníkmi?
Môže dôjsť k úniku informácií o tom, „či už určitý súbor existuje", takže po zásahu do vyrovnávacej pamäte je stále potrebné vykonať kontrolu prístupu.
Zoznam prekladov začína tu
Pred odoslaním súboru do OmniDoc (produktový portál) zaznamenajte súhrn vstupu; po stiahnutí prekladu zaznamenajte zhrnutie výstupu a priraďte jazykovú a terminologickú verziu. Ak neskôr kolegovia nahlásia „nesprávne výsledky", obe strany môžu najprv potvrdiť, že kontrolujú rovnakú sadu súborov, namiesto toho, aby museli opakovane hádať viacero názvov súborovfinal.
Zdroje: Python hashlib.
📝 Zhrnutie
Rovnaký názov neznamená rovnakú kópiu, názov súboru možno použiť iba ako referenciu. Zaznamenávanie vstupu a výstupu pomocou hash obsahu umožňuje tímom najskôr zarovnať súbory a potom diskutovať o výsledkoch prekladu.
Skúste to teraz: Odovzdajte dokument a spustite preklad, pričom sa zachová pôvodné rozloženie


