Выключите питание при экспорте на полпути. Не отдавайте пользователю половину файла: сначала допишите, а потом публикуйте.

— Хранилище объектов не должно копировать метод локального переименования. Неизменяемые ключи объектов и указатели базы данных можно использовать для управления официальной версией.

• Статус выполнения задачи должен быть установлен только после подтверждения того, что сохраненная рукопись перевода читаема и имеет правильный тип.

Написано для разработчиков, которые занимаются экспортом, загрузкой или переводом файлов. Если сервис будет перезапущен, когда файл записан наполовину, а ссылка на скачивание уже открыта пользователю, то пользователь может получить полуфабрикат, который невозможно будет открыть. Проблема такого рода не просто в том, что "файл иногда не открывается", а в том, что система воспринимает незавершенные продукты как официальные результаты.

Прочитав эту статью, вы сможете четко обозначить границы выпуска: сначала завершить написание и проверку, а затем позволить официальной записи вступить в силу. В этой статье также будет объяснено, что делать при разных способах хранения и что еще нужно проверить после публикации.

В этой статье для демонстрации метода обработки используются синтетические образцы. Код проверен на примерах в изолированной среде; это не является гарантией всех реальных файлов или производительности продукта. Перед обработкой важных документов, пожалуйста, сохраните оригиналы и просмотрите их по границам и пунктам приема в тексте.

Если в середине процесса экспорта отключится питание, как мне избежать передачи половины файла? Вывод в одно предложение

Основной подход: Сначала запишите временный файл, а затем замените официальный путь или обновите официальный указатель после прохождения всех проверок.

Почему ты сдал половину файла?

Сервис перезапускается, когда файл записан наполовину, и если ссылка на скачивание уже доступна, пользователь получит незавершенный продукт. Это говорит о том, что проблема связана со сроками выпуска, а не только с самой операцией записи.

Добавление уровня перехвата исключений в операцию записи позволяет обрабатывать только те ошибки, которые могут быть обнаружены программой во время процесса записи. Что действительно нужно охранять, так это то, каким состояниям разрешено быть видимыми для внешнего мира.

Сначала запишите временный файл, затем замените официальную запись

В локальной файловой системе обычным методом является запись временного файла в целевой каталог, а затем вызов os.replace после его записи и закрытия. Один и тот же каталог позволяет избежать распространенных проблем замены файловых систем.

Следует отметить, что атомарная замена описывает только то, какое имя видит читатель, и не означает, что данные будут сохранены после сбоя питания.

Источники: Python tempfile.

Используйте план состояния, чтобы указать последовательность выпусков

Код ниже фактически не создает и не перезаписывает файл, а скорее проверяет план доставки: завершаются только запись, закрытие и проверка содержимого, прежде чем будет разрешена замена официального пути.

def publish_plan(written, closed, content_ok, same_filesystem):
    if not written:
        return ("write_temporary",)
    if not closed:
        return ("close_temporary",)
    if not content_ok:
        return ("quarantine_temporary",)
    if not same_filesystem:
        return ("prepare_destination_temporary",)
    return ("replace_destination", "confirm_readable", "mark_ready")

assert publish_plan(False, False, False, True) == ("write_temporary",)
assert publish_plan(True, False, True, True) == ("close_temporary",)
assert publish_plan(True, True, False, True) == ("quarantine_temporary",)
assert "mark_ready" not in publish_plan(True, True, True, False)
assert publish_plan(True, True, True, True)[-1] == "mark_ready"

Это проверка протокола, а не эксперимент с отключением электроэнергии. Настоящему создателю файлов также необходимо будет справиться с очисткой исключений, разрешениями и различиями платформ. Не думайте об обычном успехе чтения и записи, поскольку «безопасность при отключении питания доказана».

В каких штатах разрешена загрузка

Не будьте строги при переименовании хранилища объектов

Хранилища объектов обычно не имеют такой же семантики переименования каталогов, как локальные файловые системы. Более подходящий подход:

1. Загрузите продукты, используя неизменяемые ключи объектов.
2. Проверьте содержимое после загрузки.
3. После прохождения верификации обновить официальный указатель в базе.

Если также задействован CDN, ключи кэша и сохранение старых версий также следует рассматривать вместе.

Завершение перевода должно включать доставку файла

При подключении статуса обработки OmniDoc (портал продуктов) к вашему собственному продукту успех локальной загрузки не может отображаться сразу после получения сообщения «Обработка завершена». Прежде чем назначать задачу как выполнимую, вам следует сначала убедиться, что сохраненная рукопись перевода доступна для чтения и имеет правильный тип.

Завершением, воспринимаемым пользователем, является, наконец, получение файла, который можно открыть.

📊 Сравнение ядра

🎯 Какой метод подходит вам?

Если ваш продукт сохранен на локальном диске

Запишите временный файл в целевой каталог, а затем замените официальный путь на os.replace после прохождения проверки.

Если ваш продукт хранится в объектном хранилище

Используйте неизменяемый ключ объекта для загрузки, а затем обновите официальный указатель после прохождения проверки.

Если у вас повышенные требования к безопасности данных после отключения электроэнергии

Не просто полагайтесь на атомарную замену, но также изучите семантику синхронизации файлов и каталогов и проверьте ее с помощью внедрения ошибок.

Если ваша нисходящая загрузка — пользовательская загрузка

Ссылка для скачивания предоставляется только в том случае, если статус продукта — «Доступно для чтения и соответствует проверке».

❓ Часто задаваемые вопросы (FAQ)

1. Может ли атомная замена гарантировать, что данные не будут потеряны после отключения электроэнергии?

не могу. Атомная замена описывает, какое имя увидит читатель, но это не означает, что данные будут сохранены после сбоя питания.

2. Почему в целевом каталоге создаются временные файлы?

Один и тот же каталог позволяет избежать распространенных проблем замены файловых систем.

3. Может ли объектное хранилище напрямую использовать переименование для публикации файлов?

Жесткое использование не рекомендуется. Хранилище объектов обычно не имеет такой же семантики переименования каталогов, как локальные файловые системы, и больше подходит для неизменяемых ключей объектов и формальных указателей.

4. Что делать с продуктами, которые не прошли проверку?

Его следует изолировать, а не выпускать, а отладочную информацию следует сохранять.

📝 Резюме

Границы публикации определяют, что могут видеть пользователи. Сначала завершите написание и проверку, а затем дайте официальному входу вступить в силу, чтобы избежать передачи пользователям незавершенных продуктов.

Попробуйте сейчас: загрузите документ, чтобы начать перевод, сохранив исходный макет.