OmniDocЧому під час аналізу PDF-файлів пакетами кожен процес має відкривати файл самостійно?
Багатопроцесні завдання повинні передавати параметри, які можна серіалізувати, і дозволяти кожній робочій одиниці відкривати документ незалежно, а не спільно використовувати об’єкти Document або Page. У наступних тестах сегментоване покриття та незалежно відкриті робочі функції; щоб залишатися портативним і доступним для перевірки, приклад серіалізовано і не видається за багатопроцесний тест продуктивності.
Під час пакетної обробки PDF-файлів багато людей захочуть, щоб кілька процесів спільно використовували один і той самий об’єкт документа, думаючи, що це заощадить проблеми. Насправді об’єкти Document і Page прив’язані до процесу, який їх створив, і можуть виникнути проблеми під час їх використання між процесами. Ця стаття підходить для розробників, яким потрібно використовувати кілька процесів для розділення PDF-сторінок і пакетного вилучення тексту. Після прочитання ви дізнаєтеся, які параметри слід передати дочірньому процесу, як дочірній процес повинен відкривати файл і в яких випадках необхідно повернутися до окремого процесу або ввести OCR.
У прикладі використовуються синтетичні зразки, а код створює вхідні дані в пам’яті. Він перевіряє обробку сегментованого покриття та незалежно відкритих файлів і не є гарантією всіх реальних файлів або продуктивності продукту. Перед обробкою важливих документів, будь ласка, збережіть оригінали та перевірте їх відповідно до меж і пунктів прийняття нижче.
Під час аналізу PDF пакетами, яким чином кожен процес має відкривати файл? Висновок одним реченням
Багатопроцесні завдання повинні передавати параметри, які можна серіалізувати, і кожна одиниця роботи повинна відкривати документ незалежно, а не спільно використовувати об’єкти Document або Page.
| ваша ситуація | Рекомендовані практики | причина |
|---|---|---|
| Потрібна багатопроцесова пакетна обробка PDF-файлів | Передайте такі параметри, які можна серіалізувати, як-от ім’я файлу, діапазон номерів сторінок тощо, і кожен дочірній процес сам по собі викликає pymupdf.open() | Document містить вказівник базової структури C і дескриптор файлу, і його неможливо безпечно передати між процесами |
Хочете безпосередньо передати об’єкти Document або Page | Не рекомендується | Переривання через помилку pickle або виняток через недійсний покажчик |
| Кілька процесів хочуть писати в один вихідний файл | Кожен процес записує незалежні тимчасові файли, які об’єднуються головним процесом | Якщо синхронізація відсутня, вміст може стати шаховим або пошкодженим |
| Потрібне міжсторінкове зв’язування, наприклад міжсторінкове об’єднання таблиці та повнотекстове індексування | Поверніться до однопроцесної обробки або розробіть спеціалізовану стратегію агрегації з фрагментами | Процеси ізольовані один від одного і не можуть спільно використовувати контекст |
Чому об'єкт Document не можна передати дочірньому процесу?
Основна причина полягає в тому, що Document внутрішньо зберігає вказівники та дескриптори файлів на базові структури C. Ці ресурси прив’язані до простору пам’яті процесу, який їх створив. Після передачі між процесами покажчики стають недійсними, і інший процес не може легально отримати доступ до маркерів.
Правильний підхід полягає в тому, щоб передати лише серіалізовані параметри, такі як ім’я файлу (рядок) і діапазон сторінок, і дозволити кожному дочірньому процесу викликати pymupdf.open() незалежно у своєму власному просторі пам’яті. Це не компроміс продуктивності. Дочірній процес є самостійною незалежною сутністю, і в будь-якому випадку йому потрібен власний екземпляр документа для безпечного виконання операцій вилучення або відтворення.
Приклад автономної композиції
Перегляньте список імпорту коду нижче для залежностей. Код створює вхідні дані в пам’яті, що полегшує його відтворення в ізольованому середовищі.
import pymupdf
def partition(total, chunk):
if type(chunk) is not int or chunk <= 0:
raise ValueError("positive chunk required")
return [(start, min(start + chunk, total)) for start in range(0, total, chunk)]
def worker(raw, start, end):
with pymupdf.open(stream=raw, filetype="pdf") as doc:
return [(i, doc[i].get_text()) for i in range(start, end)]
with pymupdf.open() as doc:
for index in range(5):
doc.new_page().insert_text((50, 50), f"Page {index}")
raw = doc.tobytes()
tasks = partition(5, 2)
assert tasks == [(0, 2), (2, 4), (4, 5)]
results = [item for start, end in tasks for item in worker(raw, start, end)]
assert [i for i, text in results] == list(range(5))
assert all(f"Page {i}" in text for i, text in results)
assert partition(0, 2) == []Залежності та інструкції з експлуатації
У прикладі chunksize pool.map використовує значення за замовчуванням 1, яке підходить для сценаріїв, де деталізація окремого завдання є великою. Якщо сторінок багато, а обробка однієї сторінки відбувається швидко, chunksize можна збільшити, щоб зменшити витрати на зв’язок між процесами. Однак у цьому прикладі йдеться про безпеку, а не про налаштування продуктивності.
Приклад синтезу: правильні дані та межа небезпеки
Правильне введення: передайте кортеж (segment_id, filename, start_page, end_page). де filename — шлях до рядка, а start_page і end_page — цілі числа. Після отримання параметрів дочірній процес самостійно відкриває файл, обробляє вказаний діапазон номерів сторінок і повертає список результатів.
Межа небезпеки:
- Номер сторінки поза межами: якщо діапазон номерів сторінок дорівнює
(18, 25), але документ насправді містить лише 20 сторінок, індекс виходить за межі, коли дочірній процес звертається до сторінки 21. - Пряма передача
Document: буде зламано, якщо pickle не вдасться.
— Кілька процесів записують той самий файл: без механізму синхронізації вихідний вміст буде чергуватись або пошкоджено.
Рішення полягає в тому, щоб негайно перевірити, чи діапазон номерів сторінок перевищує doc.page_count на вході дочірнього процесу, і дозволити всім операціям введення/виведення використовувати незалежні цільові шляхи або буфери пам’яті. Об’єкти, які не підлягають серіалізації, слід виключати з параметрів завдання на етапі проектування, а не покладатися на виняткові ситуації під час виконання.
📊 Основне порівняння
| Розміри | Об'єкт Pass Document | Передача серіалізованих параметрів (рекомендовано) |
|---|---|---|
| Чи можна його передати між процесами? | Ні, не вийде через розсольник | Так, рядки та цілі числа можна передавати безпосередньо |
| Право власності на основні ресурси | прив’язаний до процесу, який його створив | Кожен дочірній процес відкриває файл самостійно |
| Помилка поведінки | pickle.PicklingError або дочірній процес аварійно завершує роботу | Якщо номер сторінки виходить за межі, це можна перевірити на вході. |
Критерії прийняття та межі перевірки вручну
| Спостерігайте за явищами | Можливі причини | обробка рішення |
|---|---|---|
pickle.PicklingError або дочірній процес аварійно завершує роботу | Передаються несеріалізовані об’єкти, такі як документ/сторінка | Передавати лише основні типи, такі як рядки, цілі числа та кортежі |
| Частковий номер сторінки повертає порожній рядок | Номер сторінки перевищує фактичну кількість сторінок, або сторінка є чистим зображенням без текстового шару | Перевірити межі номерів сторінок; маркування сторінок з чистими зображеннями вимагає OCR, що є очікуваною поведінкою |
| Вміст вихідного файлу спотворено | Кілька процесів записують в один файл | Кожен процес записує незалежні тимчасові файли, а основний процес їх об’єднує. |
| Використання пам’яті лінійно зростає зі збільшенням кількості процесів | Завантажувати повний документ за процес | Прийміть ці накладні витрати; якщо документ завеликий, використовуйте натомість сторінкове потокове передавання |
Цей режим не підходить для завдань, які вимагають асоціації міжсторінкового контексту, наприклад об’єднання міжсторінкових таблиць і створення повнотекстового індексу, оскільки процеси ізольовані один від одного. Якщо виникнуть такі вимоги, вам слід повернутися до однопроцесної обробки або розробити спеціальну стратегію агрегації блоків.
Крім того, приклад лише перевіряє «безпечне паралельне вилучення», що не означає, що доступний наскрізний ефект. Якість тексту, правильність кодування та ступінь збереження формату все ще потребують перевірки вибірки вручну. Слід звернути особливу увагу на відскановані PDF-файли, оскільки вилучення звичайного тексту може повністю вийти з ладу, і на цьому етапі слід запровадити OCR.
якщо ви...
Якщо вам потрібно видобувати текст PDF пакетами паралельно
Розділіть завдання відповідно до інтервалу номерів сторінок, передайте лише основні типи, такі як ім’я файлу та номер сторінки, і кожен підпроцес відкриває файл незалежно.
Якщо ваше завдання вимагає об’єднання результатів на сторінках
Надайте пріоритет поверненню до одного процесу або розробіть стратегію агрегації блоків і не нав’язуйте паралелізм.
Якщо ви маєте справу зі сканованим PDF-файлом
Спочатку перевірте, чи є текстовий шар. Якщо ні, вам потрібно додати посилання OCR до процесу та перевірити ще раз.
❓ Часті запитання (FAQ)
1. Чому об’єкт Document не можна передати безпосередньо дочірньому процесу?
Document внутрішньо містить покажчики та описувачі файлів, що вказують на базову структуру C. Ці ресурси прив’язані до процесу, який їх створив. Вони стануть недійсними після передачі між процесами. Передачу також буде перервано через збій соління.
2. Чому дочірнім процесам потрібно відкривати файли окремо?
Будучи незалежною сутністю, самому дочірньому процесу потрібен власний екземпляр документа, щоб безпечно завершити вилучення або відтворення. Це правильний підхід і не є дефектом продуктивності.
3. Що робити, якщо номер сторінки перевищує діапазон?
Негайно перевірте, чи номер сторінки не перевищує doc.page_count на вході дочірнього процесу. Не продовжуйте доступ, коли він перевищує ліміт.
4. Чи можуть кілька процесів записувати той самий вихідний файл одночасно?
Не рекомендується. Якщо немає механізму синхронізації, вміст буде чергуватися або пошкоджено. Кожному процесу має бути дозволено писати незалежні тимчасові файли, а потім об’єднуватися головним процесом.
📝 Підсумок
Під час обробки PDF у кількох процесах безпечніше передавати параметри, які можна серіалізувати, і дозволяти кожному підпроцесу відкривати файл незалежно. Завдання, пов’язані між сторінками, і відскановані файли потрібно оцінювати окремо, і врешті реальні зразки все одно потрібно використовувати для перевірки вибірки вручну.
Спробуйте зараз: завантажте документ, щоб розпочати переклад, зберігаючи вихідний макет
Використовуйте контрольні списки для перекладу документів
Спочатку перевірте порядок сторінок, розташування джерела та цілісність тексту, а потім надішліть той самий десенсибілізований зразок до процесу перекладу. Після перекладу ще потрібно перевірити, чи коректно відповідають назва, текст та ілюстрації. Ви не можете просто перевірити, чи гладкий текст.
OmniDoc (портал продуктів) надає багатоформатний портал перекладу документів, а на офіційному веб-сайті представлені функції OCR, глосарій і двомовне порівняння. Для команд, які хочуть працювати безпосередньо з файлами, це шлях, який варто оцінити на прикладах із реального життя. Будь ласка, використовуйте десенсибілізовані файли, на завантаження яких у вас є дозвіл, і скористайтеся прапорцями в цій статті, щоб переглянути результати. У цій статті немає заяв про те, що OmniDoc використовує бібліотеки з відкритим кодом або внутрішні алгоритми, а також приклади не замінюють тестування продуктивності продукту.
Основа еталонного інтерфейсу: Документація PyMuPDF
