Предварительная обработка изображений для повышения надежности систем обработки изображений

Предварительная обработка изображений на плате захвата изображения (фреймграббере) является важным промежуточным шагом в процессе обработки изображений, который включает в себя получение изображения с помощью камеры, обработку средствами фреймграббера и вывод результатов на управляющий ПК. Это гарантирует оптимизацию данных изображения с учетом существующих требований и их надежную передачу без потери кадров на последующую обработку, что является залогом бесперебойной работы системы. Целью предварительной обработки изображений является подготовка данных для упрощения дальнейших этапов обработки и снижения загрузки центрального процессора управляющего ПК.

Сюда относится усиление изображений для выделения определенных характеристик или объектов, которые недостаточно выражены, но важны для дальнейшей обработки (определение границ требуемого участка, сегментация и обнаружение требуемых признаков). Эти действия, как правило, выполняются с необработанным изображением. Сюда также относится автоматический выбор важных участков изображения (активная зона, АЗ) в зависимости от его содержания и сжатие изображения алгоритмом JPEG, о чем будет рассказано далее.

Шаги предварительной обработки в любом случае зависят от качества изображения, получаемого сенсором камеры. Эти шаги выполняются на FPGA-процессоре фреймграббера, а также средствами других аппаратных компонентов машинного зрения, в том числе камеры, светочувствительного сенсора или встраиваемой системы. С этими устройствами машинного зрения можно использовать графическую среду разработки, VisualApplets, которая позволяет запрограммировать сложные процессы предварительной обработки изображения, а также проектировать комплексные решения для обработки изображений на базе FPGA с поддержкой режима реального времени.

Важная роль фреймграббера в системе обработки изображений для выполнения задач обработки изображений и сигналов

Предварительная обработка на стороне камеры

Системы обработки изображений с программируемыми FPGA для (предварительной) обработки изображений

В том случае, когда камера оснащена такими интерфейсами передачи данных, как USB3 Vision и GigE Vision, для которых не требуется фреймграббер, а также в случае встраиваемых систем предварительная обработка выполняется непосредственно на стороне камеры и сенсора. Она особенно необходима, если объем передачи данных по интерфейсу камеры, например GigE Vision, или интерфейсу ПК ограничен, а также если используется встраиваемая система с меньшей вычислительной мощностью. За счет уменьшения объема данных непосредственно на стороне камеры можно сократить продолжительность передачи данных и их анализа, и, как следствие, повысить пропускную способность системы.

Камеры Basler уже предлагают базовый набор функций предварительной обработки изображения, включая дебайеризацию, сглаживание цветов, увеличение резкости и шумоподавление. Помимо прочего, в результате такой обработки изображения значительно повышается его яркость, уровень детализации и четкость с одновременным снижением шумов. Если на этап предварительной обработки добавлен программируемый фреймграббер, то уже становится возможным выполнение сложных вычислений, таких как операции фильтра и преобразования цветового пространства, что позволяет высвободить ресурсы центрального процессора.

Фреймграббер для расширенной предварительной обработки

Фреймграббер необходим в случае использования множества интерфейсов передачи данных, включая CoaXPress, Camera Link и Camera Link HS, и буквально незаменим, если в качестве требований выступают работа в режиме реального времени или передача больших объемов данных. Фреймграббер расширяет возможности предварительной обработки изображений, которая выполняется непосредственно на FPGA. Если система обработки изображений оснащена стандартными фреймграбберами, то, в зависимости от решаемых задач, на них может выполняться предварительная обработка изображений, включая высококачественную дебайеризацию, применение таблиц преобразования и зеркальное отражение. В случае использования программируемых фреймграбберов открываются еще более широкие возможности:

Компенсация дефектных пикселей
Регулировка баланса белого
Коррекция фона изображения
Компенсация неоднородностей изображения
Удаление размытых участков
Снижение шума на изображении путем усреднения или использования различных фильтров, например фильтров сглаживания
Широкий динамический диапазон (HDR) для компенсации слишком ярких или слишком темных участков изображения
Геометрическое спрямление для нормализации форм объектов, например, путем афинного преобразования
Увеличение контрастности, например с помощью таблиц преобразования, уже на этапе получения изображения, а также выравнивание или растяжение гистограммы
Преобразование цветового пространства
Применение фильтров

Программируемые аппаратные компоненты машинного зрения и VisualApplets — графическая среда программирования FPGA

Такое многообразие операций предварительной обработки может быть в той или иной степени (в зависимости от вычислительной мощности) реализовано на любых устройствах машинного зрения, совместимых с VisualApplets. Благодаря этому становится возможной работа камер и других аппаратных компонентов в режиме реального времени, что открывает новые горизонты применения систем. Для развертывания системы с VisualApplets не требуются специальные знания об электронных схемах и синхронизации в FPGA — с этой задачей справятся даже разработчики приложений или системные инженеры.

Анализ больших двоичных объектов

Анализ больших двоичных объектов и автоматическое создание рамок с метаданными изображения

Возможности разработки с VisualApplets выходят далеко за рамки предварительной обработки изображений: можно использовать программное обеспечение для решения бесчисленных задач обработки изображений, таких как анализ больших двоичных объектов. В ходе такого анализа выполняется отделение связанных пикселей, представляющих отдельные объекты, друг от друга и от фона (сегментация), а также присвоение каждому объекту таких свойств, как площадь участка изображения, длина контура и координаты рамки (классификация). Если эти задачи будут решены уже на этапе предварительной обработки, это означает, что значительный объем сегментации изображения будет выполнен еще до того, как данные будут впервые сохранены.

Сокращение объема данных с помощью сжатия JPEG

Пропускная способность канала передачи данных изображения с камеры на фреймграббер в последние годы постоянно растет (по причине появления быстродействующих крупноформатных светочувствительных сенсоров и ускорения цветообработки) и сегодня достигает, например, 5 ГБ/с в случае интерфейса CXP-12 с четырьмя линиями. Для обработки такой объем данных можно значительно сократить за счет сжатия JPEG. В такой области, как лазерная сварка в автомобильной промышленности, например, объем передаваемых данных можно уменьшить с 100 МБ/с (входная пропускная способность фреймграбберов) до примерно 5 МБ/с. С другой стороны, за счет уменьшения объема данных, соответствующих передаче одного изображения, можно значительно увеличить частоту кадров. Это особенно целесообразно в системах, где сжатие JPEG выполняется непосредственно на стороне камеры, что позволяет более эффективно использовать канал передачи данных.

Оператор JPEG в VisualApplets значительно сокращает объем данных.

Управление исполнительными механизмами и сигналами срабатывания

Важная роль фреймграббера в системе обработки изображений для выполнения задач обработки изображений и сигналов

Во фреймграбберах предусмотрена обработка сигналов для управления срабатыванием камеры, источниками света и исполнительными механизмами, а также оценкой сенсоров по цифровым интерфейсам ввода-вывода. Также возможна реализация комплексных замкнутых систем автоматического управления в комбинации с предварительной обработкой изображений. Например, можно проводить измерение экспозиции на этапе предварительной обработки изображения для последующей коррекции параметров источника света или срабатывания камеры.

Надежная, ускоренная и эффективная обработка изображений

В целом, предварительная обработка изображений способствует ускорению выполнения ресурсоемких алгоритмов и повышению производительности системы. Кроме того, она обеспечивает эффективную передачу данных изображений на высоком разрешении и эффективное использование пропускной способности за счет увеличения объемов передаваемых данных, что повышает точность и надежность анализа изображений. Это позволит использовать полную пропускную способность высокоскоростной камеры благодаря снижению загрузки процессора управляющего ПК и высвобождению вычислительных ресурсов для последующего анализа изображений с помощью специального программного обеспечения.

С помощью VisualApplets предварительная обработка изображений на FPGA может быть реализована конечными пользователями без специальных навыков аппаратного программирования. VisualApplets предоставляет гибкие возможности для быстрой адаптации функциональности камер, фреймграбберов и других устройств машинного зрения при изменении требований к системе — без необходимости установки новой камеры.

Восстановление изображения на основе существующего нерезкого изображения с помощью специального фильтра

Кратко о преимуществах

Возможность выбора более простых интерфейсов передачи данных для камеры
Увеличение объема передачи данных
Экономичная конструкция за счет использования недорогих интерфейсов (GigE)
Ускорение выполнения ресурсоемких алгоритмов
Повышение производительности системы
Обработка изображений в режиме реального времени для решения совершенно новых задач

Использование небольших процессоров с меньшей вычислительной мощностью
Оптимизированное использование искусственных нейронных сетей
Экономия на приобретении промышленных ПК
Снижение загрузки ЦП
Повышение точности и надежности анализа изображений
Отсутствие необходимости во внутренних разработках

Примеры эффективного решения задач обработки изображений с наилучшими возможными результатами

Система обработки изображений для проверки печатных изображений

Одной из распространенных задач является восстановление цветов (дебайеризация) и преобразование цветового пространства и битовой ширины, что позволяет передавать необработанные изображения с камеры на полной скорости, допустимой интерфейсом камеры, гарантируя максимально пропускную способность. В результате фреймграббер передает на управляющий ПК обработанное изображение.
Перенос таких задач на фреймграббер, как применение широкого динамического диапазона (HDR), сжатие JPEG, автоматический выбор активной зоны или лазерная 3D-триангуляция, позволит эффективно уменьшить объем данных уже на стадии предварительной обработки.
Коррекция освещения и искажений изображения повышает качество изображения, тем самым упрощая анализ на последующих этапах обработки.
Сегментация объектов и обнаружение признаков (анализ больших двоичных объектов, центр тяжести, угол, эксцентриситет, моменты изображения и т. д.) обеспечивают дальнейшую обработку на основе характеристик для классификации.
В сфере контроля качества печатной продукции необходимо добиться высокоточного распознавания и выравнивания полученных изображений для сравнения с эталоном. В целях предотвращения цветовых артефактов используется точная субпиксельная геометрическая коррекция искажений. Для автоматического обнаружения положения выполняется выравнивание по краям или объектам на изображении.