Dezelfde bestandsnaam betekent niet dezelfde kopie: Gebruik content-hash om invoer te identificeren

Documenten met dezelfde naam zijn mogelijk niet dezelfde kopie, en documenten met gewijzigde namen kunnen ook exact dezelfde inhoud hebben. Als teams vertaalversies volgen op bestandsnaam, is het makkelijk om het doelwit in de war te brengen. Dit artikel legt uit hoe content-hashing wordt gebruikt om byte-niveau vingerafdrukken achter te laten voor invoer en uitvoer, en wat hashing wel en niet kan bewijzen.

Het voorbeeld gebruikt synthetische voorbeelden om de verwerkingsmethode te demonstreren; de code is alleen gecontroleerd in een geïsoleerde omgeving en garandeert niet de effectiviteit van alle echte bestanden of producten. Bewaar de originelen voordat u belangrijke documenten behandelt en beoordeelt u deze volgens de grenzen en acceptatiepunten die in het document zijn gespecificeerd.

Waarom zijn bestandsnamen onbetrouwbaar? Kortom, een conclusie

Gebruik inhoudshashes om versies te matchen; bestandsnamen zijn alleen ter referentie. De onderstaande tabel legt uit hoe je met veelvoorkomende situaties omgaat.

Laat byte-vingerafdrukken achter voor invoer

SHA-256 berekent de samenvatting op basis van bestandsbytes. Grote bestanden kunnen in stukjes worden gelezen zonder dat ze in één keer in het geheugen hoeven te worden geladen. Het hashresultaat heeft niets te maken met de chunkgrootte; chunking is slechts een leesstrategie en maakt geen deel uit van de identiteit van het bestand. De onderstaande geheugenstromen zijn synthetische voorbeelden en bevatten geen echte documenten.

Verificatie met dezelfde inhoud maar verschillende slices

import hashlib
from io import BytesIO

def digest(stream, chunk_size=65536):
    if type(chunk_size) is not int or chunk_size <= 0:
        raise ValueError("positive chunk size required")
    h = hashlib.sha256()
    while block := stream.read(chunk_size):
        h.update(block)
    return h.hexdigest()

raw = b"synthetic document version A\n"
a = digest(BytesIO(raw), 3)
assert a == digest(BytesIO(raw), 4096)
assert a == hashlib.sha256(raw).hexdigest()
assert a != digest(BytesIO(raw.replace(b"A", b"B")))
assert digest(BytesIO(b"")) == hashlib.sha256(b"").hexdigest()
try:
    digest(BytesIO(raw), 0)
except ValueError:
    pass
else:
    raise AssertionError("zero chunk must be rejected")

De functie begint met het lezen vanaf de huidige stroomlocatie. Voordat je formeel oproept, moet worden verduidelijkt of de stream aan het begin is. Als de parser al een deel van de inhoud heeft gelezen, is het direct berekende resultaat niet de "volledige document-hash." De veiligste aanpak is om read-only invoer apart in te schakelen, of om de locatieve stroom expliciet te resetten voordat je berekent.

Wat is het verschil tussen identieke bytes en identieke inhoud?

Een hash geeft alleen aan of een byte consistent is; verschillende bewerkingen beïnvloeden het verschillend.

📊 Kernvergelijking

🎯 Welke methode past bij jou?

Als je moet bevestigen of de twee documenten overeenkomen

Bij vergelijking van SHA-256-samenvattingen zijn de abstracts hetzelfde maar dezelfde instructiebyte-inhoud, dus de bestandsnaam wordt niet als referentie gebruikt.

Als je de bron van je vertaling moet traceren

Registreer afzonderlijk input- en output-samenvattingen, en koppel vervolgens taal- en terminologieversies toe.

Als je van plan bent hash te gebruiken om bestandsrechten te bepalen

Doe dat niet. Een hash is geen machtigingscredential en vereist aparte toegangscontrole.

❓ Veelgestelde Vragen (FAQ)

1. Verandert het wijzigen van de bestandsnaam de hash?

Nee. De naam neemt geen deel aan de byte-samenvatting; alleen de bestandsnaam wordt gewijzigd, en de hash blijft ongewijzigd.

2. Alleen omdat de pagina er hetzelfde uitziet, moet de hash dan altijd identiek zijn?

Niet per se. Wanneer PDF-metadata wordt herschreven, kan de hash veranderen, zelfs als de pagina hetzelfde weergeeft.

3. Kunnen hashes bepalen of gebruikers het recht hebben om bestanden te downloaden?

Nee. Het kennen van de bestandssamenvatting betekent niet dat je het recht hebt om het te downloaden, noch dat je het auteursrecht bezit.

4. Wat zijn de risico's van cross-tenant deduplicatie?

Het kan informatie lekken over "of een bestand al bestaat," dus toegangscontrole moet nog steeds worden toegepast, zelfs nadat de cache is geraakt.

De vertaallijst begint hier

Voordat je het bestand naar OmniDoc (Productinvoer) stuurt, noteer je de invoersamenvatting; Na het downloaden van de vertaling noteer je het uitvoerabstract en koppel je dit aan de taal- en terminologieversies. Als een collega later meldt "het resultaat is onjuist", kunnen beide partijen eerst bevestigen dat dezelfde set bestanden wordt gecontroleerd, in plaats van herhaaldelijk te gokken rond meerdere final-bestandsnamen.

Bronnen: Python hashlib.

📝 Samenvatting

Dezelfde naam betekent niet dezelfde kopie; bestandsnamen zijn alleen ter referentie. Door content-hashes te gebruiken om input en output vast te leggen, kunnen teams eerst het bestand afstemmen en daarna de vertaalresultaten bespreken.

Ervaar nu: upload je document om te beginnen met vertalen, waarbij je de originele opmaak behoudt