Предварительная обработка изображений для повышения надежности систем обработки изображений

Предварительная обработка изображений на плате захвата изображения (фреймграббере) является важным промежуточным шагом в процессе обработки изображений, который включает в себя получение изображения с помощью камеры, обработку средствами фреймграббера и вывод результатов на управляющий ПК. Это гарантирует оптимизацию данных изображения с учетом существующих требований и их надежную передачу без потери кадров на последующую обработку, что является залогом бесперебойной работы системы. Целью предварительной обработки изображений является подготовка данных для упрощения дальнейших этапов обработки и снижения загрузки центрального процессора управляющего ПК.

Сюда относится усиление изображений для выделения определенных характеристик или объектов, которые недостаточно выражены, но важны для дальнейшей обработки (определение границ требуемого участка, сегментация и обнаружение требуемых признаков). Эти действия, как правило, выполняются с необработанным изображением. Сюда также относится автоматический выбор важных участков изображения (активная зона, АЗ) в зависимости от его содержания и сжатие изображения алгоритмом JPEG, о чем будет рассказано далее.

Шаги предварительной обработки в любом случае зависят от качества изображения, получаемого сенсором камеры. Эти шаги выполняются на FPGA-процессоре фреймграббера, а также средствами других аппаратных компонентов машинного зрения, в том числе камеры, светочувствительного сенсора или встраиваемой системы. С этими устройствами машинного зрения можно использовать графическую среду разработки, VisualApplets, которая позволяет запрограммировать сложные процессы предварительной обработки изображения, а также проектировать комплексные решения для обработки изображений на базе FPGA с поддержкой режима реального времени.

Фреймграббер необходим в случае использования множества интерфейсов передачи данных, включая CoaXPress, Camera Link и Camera Link HS, и буквально незаменим, если в качестве требований выступают работа в режиме реального времени или передача больших объемов данных. Фреймграббер расширяет возможности предварительной обработки изображений, которая выполняется непосредственно на FPGA. Если система обработки изображений оснащена стандартными фреймграбберами, то, в зависимости от решаемых задач, на них может выполняться предварительная обработка изображений, включая высококачественную дебайеризацию, применение таблиц преобразования и зеркальное отражение. В случае использования программируемых фреймграбберов открываются еще более широкие возможности:

• Компенсация дефектных пикселей
• Регулировка баланса белого
• Коррекция фона изображения
• Компенсация неоднородностей изображения
• Удаление размытых участков
• Снижение шума на изображении путем усреднения или использования различных фильтров, например фильтров сглаживания
• Широкий динамический диапазон (HDR) для компенсации слишком ярких или слишком темных участков изображения
• Геометрическое спрямление для нормализации форм объектов, например, путем афинного преобразования
• Увеличение контрастности, например с помощью таблиц преобразования, уже на этапе получения изображения, а также выравнивание или растяжение гистограммы
• Преобразование цветового пространства
• Применение фильтров

Такое многообразие операций предварительной обработки может быть в той или иной степени (в зависимости от вычислительной мощности) реализовано на любых устройствах машинного зрения, совместимых с VisualApplets. Благодаря этому становится возможной работа камер и других аппаратных компонентов в режиме реального времени, что открывает новые горизонты применения систем. Для развертывания системы с VisualApplets не требуются специальные знания об электронных схемах и синхронизации в FPGA — с этой задачей справятся даже разработчики приложений или системные инженеры.

Пропускная способность канала передачи данных изображения с камеры на фреймграббер в последние годы постоянно растет (по причине появления быстродействующих крупноформатных светочувствительных сенсоров и ускорения цветообработки) и сегодня достигает, например, 5 ГБ/с в случае интерфейса CXP-12 с четырьмя линиями. Для обработки такой объем данных можно значительно сократить за счет сжатия JPEG. В такой области, как лазерная сварка в автомобильной промышленности, например, объем передаваемых данных можно уменьшить с 100 МБ/с (входная пропускная способность фреймграбберов) до примерно 5 МБ/с. С другой стороны, за счет уменьшения объема данных, соответствующих передаче одного изображения, можно значительно увеличить частоту кадров. Это особенно целесообразно в системах, где сжатие JPEG выполняется непосредственно на стороне камеры, что позволяет более эффективно использовать канал передачи данных.

В целом, предварительная обработка изображений способствует ускорению выполнения ресурсоемких алгоритмов и повышению производительности системы. Кроме того, она обеспечивает эффективную передачу данных изображений на высоком разрешении и эффективное использование пропускной способности за счет увеличения объемов передаваемых данных, что повышает точность и надежность анализа изображений. Это позволит использовать полную пропускную способность высокоскоростной камеры благодаря снижению загрузки процессора управляющего ПК и высвобождению вычислительных ресурсов для последующего анализа изображений с помощью специального программного обеспечения.

С помощью VisualApplets предварительная обработка изображений на FPGA может быть реализована конечными пользователями без специальных навыков аппаратного программирования. VisualApplets предоставляет гибкие возможности для быстрой адаптации функциональности камер, фреймграбберов и других устройств машинного зрения при изменении требований к системе — без необходимости установки новой камеры.

• Одной из распространенных задач является восстановление цветов (дебайеризация) и преобразование цветового пространства и битовой ширины, что позволяет передавать необработанные изображения с камеры на полной скорости, допустимой интерфейсом камеры, гарантируя максимально пропускную способность. В результате фреймграббер передает на управляющий ПК обработанное изображение.
• Перенос таких задач на фреймграббер, как применение широкого динамического диапазона (HDR), сжатие JPEG, автоматический выбор активной зоны или лазерная 3D-триангуляция, позволит эффективно уменьшить объем данных уже на стадии предварительной обработки.
• Коррекция освещения и искажений изображения повышает качество изображения, тем самым упрощая анализ на последующих этапах обработки.
• Сегментация объектов и обнаружение признаков (анализ больших двоичных объектов, центр тяжести, угол, эксцентриситет, моменты изображения и т. д.) обеспечивают дальнейшую обработку на основе характеристик для классификации.
• В сфере контроля качества печатной продукции необходимо добиться высокоточного распознавания и выравнивания полученных изображений для сравнения с эталоном. В целях предотвращения цветовых артефактов используется точная субпиксельная геометрическая коррекция искажений. Для автоматического обнаружения положения выполняется выравнивание по краям или объектам на изображении.