Вимкніть живлення під час експорту наполовину. Не віддавайте половину файлу користувачеві: спочатку закінчіть написання, а потім опублікуйте.

Написано для розробників, які експортують файли, завантажують або доставляють переклад. Якщо служба перезавантажується, коли файл наполовину записаний, а посилання для завантаження вже відкрито для користувача, користувач може отримати напівфабрикат, який неможливо відкрити. Ця проблема полягає не лише в тому, що файл не відкривається час від часу, а в тому, що система розглядає незавершені продукти як офіційні результати.

Прочитавши цю статтю, ви зможете чітко визначити межі випуску: спочатку завершіть написання та перевірку, а потім дозвольте офіційному запису набрати чинності. У цій статті також пояснюється, що робити за різних методів зберігання, а що ще потрібно перевірити після публікації.

У цій статті використовуються синтетичні зразки для демонстрації методу обробки. Код було перевірено з прикладами в ізольованому середовищі; це не є гарантією всіх реальних файлів або продуктивності продукту. Перед обробкою важливих документів збережіть оригінали та перегляньте їх відповідно до меж і пунктів прийняття в тексті.

Як я можу уникнути передачі половини файлу, якщо на півдорозі експорту вимикається живлення? Висновок одним реченням

Основний підхід такий: Спочатку напишіть тимчасовий файл, а потім замініть офіційний шлях або оновіть офіційний вказівник після проходження всіх перевірок.

Чому ви віддали половину файлу?

Сервіс перезапускається, коли файл записаний наполовину, і якщо посилання для завантаження вже доступне, користувач отримає незавершений продукт. Це свідчить про те, що проблема пов’язана з часом випуску, а не лише з самою операцією запису.

Додавання рівня захоплення винятків до операції запису може обробляти лише ті помилки, які може виявити програма під час процесу запису. Що справді потрібно остерігатися, це те, які держави можуть бути видимими для зовнішнього світу.

Спочатку запишіть тимчасовий файл, а потім замініть офіційний запис

У локальній файловій системі поширеним методом є запис тимчасового файлу в цільовий каталог, а потім виклик os.replace після його запису та закриття. Той самий каталог може уникнути типових проблем заміни міжфайлової системи.

Слід зазначити, що атомарна заміна лише описує, яке ім’я бачить читач, і не означає, що дані будуть збережені після збою живлення.

Джерела: Python tempfile.

Використовуйте план стану, щоб визначити послідовність випусків

Наведений нижче код фактично не створює та не перезаписує файл, а скоріше перевіряє план доставки: лише запис, закриття та перевірка вмісту завершуються, перш ніж офіційний шлях буде дозволено замінити.

def publish_plan(written, closed, content_ok, same_filesystem):
    if not written:
        return ("write_temporary",)
    if not closed:
        return ("close_temporary",)
    if not content_ok:
        return ("quarantine_temporary",)
    if not same_filesystem:
        return ("prepare_destination_temporary",)
    return ("replace_destination", "confirm_readable", "mark_ready")

assert publish_plan(False, False, False, True) == ("write_temporary",)
assert publish_plan(True, False, True, True) == ("close_temporary",)
assert publish_plan(True, True, False, True) == ("quarantine_temporary",)
assert "mark_ready" not in publish_plan(True, True, True, False)
assert publish_plan(True, True, True, True)[-1] == "mark_ready"

Це перевірка протоколу, а не експеримент із відключенням живлення. Справжній записувач файлів також повинен обробляти очищення винятків, дозволи та відмінності платформи. Не пишіть про звичайне читання та записування, оскільки «безпека відключення живлення доведена».

У яких штатах дозволено завантаження

Не будьте жорсткими щодо перейменування сховища об’єктів

Сховища об’єктів зазвичай не мають такої самої семантики перейменування каталогу, як локальні файлові системи. Більш відповідний підхід:

1. Завантажуйте продукти за допомогою незмінних ключів об’єктів.
2. Перевірте вміст після завантаження.
3. Після проходження верифікації оновіть офіційний покажчик в базі.

Якщо також залучено CDN, ключі кешу та збереження старої версії також слід розглядати разом.

Завершення перекладу має включати доставку файлу

Під час підключення статусу обробки OmniDoc (портал продуктів) до вашого власного продукту успішне локальне завантаження не може відображатися одразу після отримання повідомлення «Обробка завершена». Ви повинні спочатку переконатися, що збережений рукопис перекладу можна прочитати та має правильний тип, перш ніж призначати завдання як готове.

Завершення, яке сприймає користувач, нарешті отримує файл, який можна відкрити.

📊 Основне порівняння

🎯 Який спосіб вам підходить?

Якщо ваш продукт збережено на локальному диску

Запишіть тимчасовий файл у цільовий каталог, а потім замініть офіційний шлях на os.replace після проходження перевірки.

Якщо ваш продукт зберігається в об'єктному сховищі

Використовуйте незмінний ключ об’єкта для завантаження, а потім оновіть офіційний покажчик після проходження перевірки.

Якщо у вас вищі вимоги до безпеки даних після відключення електроенергії

Не просто покладайтеся на атомарну заміну, але також вивчіть семантику синхронізації файлів і каталогів і перевірте її за допомогою впровадження помилок.

Якщо ваш низхідний канал - це завантаження користувача

Посилання для завантаження надається лише тоді, коли продукт має статус «Читабельний і збігається з перевіркою».

❓ Часті запитання (FAQ)

1. Чи може атомарна заміна гарантувати, що дані не будуть втрачені після відключення електроенергії?

не може. Атомарна заміна описує, яке ім’я бачить читач, що не означає, що дані будуть збережені після збою живлення.

2. Чому тимчасові файли створюються в цільовому каталозі?

Той самий каталог може уникнути типових проблем заміни міжфайлової системи.

3. Чи може сховище об’єктів безпосередньо використовувати перейменування для публікації файлів?

Жорстке використання не рекомендується. Зберігання об’єктів зазвичай не має такої самої семантики перейменування каталогу, як локальні файлові системи, і більше підходить для незмінних ключів об’єктів і формальних покажчиків.

4. Що робити з продуктами, які не пройшли перевірку?

Його слід ізолювати, не випускати, а інформацію про налагодження зберігати.

📝 Підсумок

Межі публікації визначають, що можуть бачити користувачі. Спочатку завершіть написання та перевірку, а потім запустіть офіційний вхід, щоб уникнути передачі незавершених продуктів користувачам.

Спробуйте зараз: завантажте документ, щоб розпочати переклад, зберігаючи вихідний макет