Как не допустить, чтобы одно изображение занимало всю память машины на портале загрузки OCR?

Загруженный файл имеет размер всего несколько мегабайт, но после декодирования может занять гораздо больше памяти, чем ожидалось. Изображения с высокой степенью сжатия особенно склонны к признанию недействительными суждений о размере файла, поэтому простой просмотр размера файла ненадежен.

Эта статья написана для разработчиков, ответственных за порталы загрузки, обработку изображений или интеграцию OCR. К тому времени, как вы закончите читать, вы поймете, почему вам нужно ограничивать как байты, так и пиксели загрузки, как определить бюджет, не отключая защиту библиотеки, и почему вам также нужны ограничения на память, время и параллелизм на уровне выполнения.

Значения кода и бюджета в этой статье проверены с использованием синтетических образцов. Они только иллюстрируют идеи обработки и не являются гарантией всех реальных файлов или эффектов продукта. Перед обработкой важных документов, пожалуйста, сохраните оригиналы и просмотрите их по границам и пунктам приема в тексте.

Как предотвратить съедание входа для загрузки изображения? Вывод в одно предложение

Также ограничьте размер загружаемых байтов и пикселей и установите бюджеты памяти, времени и параллелизма на уровне выполнения. Не смотрите только на размер файла и не отключайте защиту, чтобы исключить предупреждения.

Не отключайте защиту, чтобы исключить предупреждения

Подушка имеет механизм защиты от потенциальных декомпрессионных бомб. Непосредственная установка MAX_IMAGE_PIXELS на None может привести к исчезновению предупреждения, но также удалит важную линию защиты. Бюджеты должны определяться с учетом бизнеса, и должно быть ясно, какие предупреждения подлежат отклонению.

Проверка записи, защищенной зарезервированной библиотекой

from io import BytesIO
import warnings
from PIL import Image

def inspect(raw, max_bytes=4096, max_pixels=1000):
    if len(raw) > max_bytes:
        raise ValueError("upload byte budget")
    with warnings.catch_warnings():
        warnings.simplefilter("error", Image.DecompressionBombWarning)
        with Image.open(BytesIO(raw)) as im:
            if im.width * im.height > max_pixels:
                raise ValueError("pixel budget")
            im.load()
            return im.size

stream = BytesIO()
Image.new("RGB", (40, 30), "white").save(stream, format="PNG")
raw = stream.getvalue()
assert len(raw) < 4096
assert inspect(raw, max_pixels=1200) == (40, 30)
try:
    inspect(raw, max_pixels=1000)
except ValueError as exc:
    assert "pixel" in str(exc)
else:
    raise AssertionError("pixel budget not enforced")

Значения бюджета служат только для синтетического тестирования. В примерах рассматриваются отдельные кадры и не рассматриваются общие значения для нескольких кадров, ошибки кодировщика или всплески одновременного декодирования. Для официального входа также требуется:

• Число кадров и совокупные пределы пикселей.
• Обработка ненадежных файлов в изолированной среде выполнения.

У Deny другие обязанности, чем у карантина

Верхний предел загружаемых байтов в основном связан с нагрузкой на сеть и хранилище, верхний предел одностраничных пикселей связан с общими рисками больших изображений, ограничения памяти и времени ограничивают фактическое потребление выполнения, а верхний предел параллелизма контролирует общее использование ресурсов.

Но у каждого типа управления есть «слепые зоны»: верхний предел байта не может заменить оценку масштаба декодирования, верхний предел пикселей одной страницы не может видеть совокупный масштаб нескольких кадров, ограничения памяти и времени также требуют объяснимой обратной связи по ошибкам, а верхний предел параллелизма требует взаимодействия очередей и противодавления.

Перерасход бюджета не является синонимом плохих файлов

Юридически большие чертежи также могут превышать бюджет по умолчанию. Следует разрешить явный процесс обработки больших файлов, а не незаметно отключать всю защиту.

Объясните пользователю, в каком размере превышен предел: в пикселях или в байтах, чтобы он знал, следует ли обрезать страницу, уменьшить разрешение захвата или выбрать специализированный метод обработки.

Портал перевода должен заранее указать входные риски.

Добавление собственной предварительной проверки ввода перед интеграцией OmniDoc (портал продуктов) может позволить неподдерживаемым большим изображениям получать обратную связь раньше. Предварительная проверка не может заменить собственные ограничения платформы, а также не должна делать вид, что платформа реализовала политики, описанные в этой статье. Это уровень объяснимой уверенности, который вы создаете между загрузкой и доставкой.

Источники: Инструкции по декомпрессии и защите изображения подушки

📊 Сравнение ядра

🎯 Какой метод подходит вам?

Если вы отвечаете за загрузку входа

Сначала установите двойной лимит байтов и пикселей, а затем добавьте бюджет памяти, времени и параллелизма уровня выполнения.

Если вы столкнулись с предупреждением о декомпрессионной бомбе Pillow

Don't just turn off the check. Определите свой бизнес-бюджет, прежде чем решать, какие предупреждения перерастать в отклонения.

Если вам нужно обрабатывать несколько кадров или одновременные запросы

Увеличьте количество кадров, накопленных пикселей, памяти, времени и верхнего предела параллелизма, а также сотрудничайте с очередью и противодавлением.

Если ваши пользователи часто загружают большие инженерные чертежи

Разработайте четкий процесс обработки больших файлов для файлов, размер которых превышает лимит, и сообщайте пользователям, превышен ли лимит в пикселях или байтах.

❓ Часто задаваемые вопросы (FAQ)

1. Размер загруженного файла всего несколько мегабайт, почему еще есть риск?

Декодированная память зависит от размера изображения, а изображения с высокой степенью сжатия особенно склонны к неверным оценкам размера файла.

2. Можно ли для параметра MAX_IMAGE_PIXELS напрямую установить значение «Нет»?

Не рекомендуется. Несмотря на то, что предупреждение исчезнет, это также удалит важную линию защиты для Pillow.

3. Можно ли использовать бюджетное значение в примере непосредственно в производственной среде?

не могу. Бюджетное значение предназначено только для синтетического тестирования, формальный вход также требует нескольких кадров и совокупных ограничений в пикселях, а также обрабатывает ненадежные файлы в изолированной среде.

4. Следует ли напрямую отклонять большие фотографии, превышающие бюджет?

Protection should not be turned off silently. Легальные крупномасштабные инженерные чертежи могут следовать четкому процессу создания больших файлов и сообщать пользователям, превышают ли пиксели или байты лимит.

📝 Резюме

Безопасность портала загрузки OCR не может зависеть только от размера файла, но также должна быть ограничена пикселями, байтами и бюджетом уровня исполнения. Только определив бюджет при сохранении защиты библиотеки и четко объяснив пользователям причины превышения лимита, можно принять во внимание как стабильность, так и доступность.

Попробуйте сейчас: загрузите документ, чтобы начать перевод, сохранив исходный макет.