Файлы с одинаковыми именами не представляют собой одну и ту же копию: используйте хеширование содержимого для идентификации входных данных.

Файлы с одинаковыми именами не обязательно одинаковы, а файлы с измененными именами могут иметь точно такое же содержимое. Если команда использует имена файлов для отслеживания переводов, легко получить неправильную версию. В этой статье объясняется, как использовать хеширование контента, чтобы оставить отпечатки входных и выходных данных на уровне байтов, а также что хэш может и не может доказать.

В примерах используются синтетические образцы для демонстрации методов обработки. Код был протестирован только в изолированной среде и не является гарантией всех реальных файлов или эффектов продукта. Перед обработкой важных документов, пожалуйста, сохраните оригиналы и просмотрите их по границам и пунктам приема в тексте.

Почему имена файлов ненадежны? Вывод в одно предложение

Используйте хэш содержимого, соответствующий версии, а имя файла предназначено только для справки. В следующей таблице объясняется, что делать в типичных ситуациях.

Оставить байтовый отпечаток для ввода

SHA-256 вычисляет дайджест на основе байтов файла. Большие файлы можно читать частями без необходимости их одновременной загрузки в память. Результат хеширования не имеет ничего общего с размером фрагмента, фрагментирование — это всего лишь стратегия чтения, а не часть идентичности файла. Приведенные ниже потоки памяти представляют собой синтетические образцы и не содержат реальных документов.

Используйте один и тот же контент и разные блоки для проверки реализации

import hashlib
from io import BytesIO

def digest(stream, chunk_size=65536):
    if type(chunk_size) is not int or chunk_size <= 0:
        raise ValueError("positive chunk size required")
    h = hashlib.sha256()
    while block := stream.read(chunk_size):
        h.update(block)
    return h.hexdigest()

raw = b"synthetic document version A\n"
a = digest(BytesIO(raw), 3)
assert a == digest(BytesIO(raw), 4096)
assert a == hashlib.sha256(raw).hexdigest()
assert a != digest(BytesIO(raw.replace(b"A", b"B")))
assert digest(BytesIO(b"")) == hashlib.sha256(b"").hexdigest()
try:
    digest(BytesIO(raw), 0)
except ValueError:
    pass
else:
    raise AssertionError("zero chunk must be rejected")

Функция начинает чтение с текущей позиции потока. Прежде чем сделать формальный вызов, должно быть ясно, находится ли поток в начале. Если парсер уже прочитал часть содержимого, результатом прямого вычисления не является «хеш всего файла». Самый безопасный подход — включить входные данные только для чтения по отдельности или явно сбросить их перед вычислением в целевом потоке.

В чем разница между одинаковыми байтами и одинаковым содержимым?

Хэш отражает только то, согласованы ли байты, и разные операции по-разному влияют на него.

📊 Сравнение ядра

🎯 Какой метод подходит вам?

Если вам нужно подтвердить соответствие двух документов

Сравните дайджест SHA-256. Если дайджест одинаковый, содержимое байтов одинаковое, а имя файла не используется в качестве основы.

Если вам нужно отследить источник перевода

Запишите сводку ввода и сводку вывода соответственно, а затем свяжите версии языка и терминологии.

Если вы планируете использовать хеширование для определения прав доступа к файлам

Не делай этого. Хэш не является разрешением и требует дополнительного контроля доступа.

❓ Часто задаваемые вопросы (FAQ)

1. Изменится ли хэш после изменения имени файла?

Не будет. Имя не участвует в байтовом дайджесте, а хэш файла остается неизменным, если изменяется только имя файла.

2. Если страница выглядит одинаково, обязательно ли хэш означает то же самое?

неопределенный. Когда метаданные PDF перезаписываются, хэш может измениться, даже если страница выглядит прежней.

3. Можно ли по хешу определить, имеет ли пользователь право скачивать файл?

не могу. Знание аннотации файла не подразумевает права на его загрузку и не подразумевает владения авторскими правами.

4. Каковы риски дедупликации между арендаторами?

Это может привести к утечке информации о том, «существует ли уже определенный файл», поэтому контроль доступа все равно необходимо выполнять после попадания в кеш.

Список переводов начинается здесь

Прежде чем отправить файл в OmniDoc (портал продуктов), запишите сводку ввода; после загрузки перевода запишите итоговую информацию и свяжите версию языка и терминологии. Позже, если коллеги сообщат о «неправильных результатах», обе стороны могут сначала подтвердить, что они проверяют один и тот же набор файлов, без необходимости постоянно угадывать несколько имен файлов final.

Источники: Python hashlib.

📝 Резюме

То же имя не означает одну и ту же копию, имя файла можно использовать только в качестве ссылки. Запись ввода и вывода с помощью хэшей контента позволяет командам сначала самостоятельно согласовать файлы, а затем обсудить результаты перевода.

Попробуйте сейчас: загрузите документ, чтобы начать перевод, сохранив исходный макет.