Времяпролетный метод и стереоскопия: как выбрать подходящую технологию
3D-система компьютерного зрения для съемки трехмерных изображений
В 2D-системах обработки изображений полученное изображение в любом случае представляет собой двумерную проекцию трехмерного объекта. С помощью 2D-камеры невозможно получить информацию о глубине. В зависимости от угла съемки контур трехмерного объекта на изображении может меняться. Однако для решения множества задач информация о форме и глубине объекта съемки не имеет значения. Чаще всего для анализа фактуры и цвета, идентификации объектов, проверки наличия, обнаружения дефектов или аномалий, а также распознавания символов и контроля точности размеров используется 2D-визуализация. Обязательным условием для решения этих задач является оптимальное освещение, создающее достаточный контраст на изображении.
С другой стороны, в случае 3D-изображений также собирается информация о глубине объекта съемки или визуализируемого пространства. Таким образом можно определять объем, форму, удаленность, положение в пространстве и ориентацию объектов или выполнять пространственно-зависимую проверку наличия объектов. Но даже в 3D-визуализации, в зависимости от выбранной технологии, для получения изображений оптимального качества необходимо удовлетворить ряд требований, таких как определенное освещение или характеристики поверхности. Для решения некоторых задач подходят обе технологии. В таком случае рекомендуется сравнить соответствующие преимущества и недостатки.
Сравнение 2D- и 3D-технологий компьютерного зрения
Предъявляемые требования | Смотреть камеры с 2D-сенсором | 3D-решения |
|---|---|---|
Анализ объемов и/или форм | + | - |
Распознавание фактур и цветов | + | - |
Высокая контрастность | + | - |
Низкая контрастность (до полного отсутствия) | - | + |
Определение перепада по высоте | - | + |
Позиционирование/обнаружение объекта в трехмерном пространстве | - | + |
Считывание штрихкодов и распознавание символов | + | - |
Идентификация составных частей | + | + |
Проверка комплектности | + | + |
Обнаружение дефектов | + | + |
Краткий обзор 3D-технологий
Рассмотрим характеристики времяпролетных и стереоскопических систем компьютерного зрения, их особенности, а также сильные и слабые стороны.
Времяпролетный метод
Времяпролетный метод является эффективным инструментом измерения расстояния для получения информации о глубине. Встроенный в камеру источник света излучает световые импульсы, которые достигают объекта. Объект отражает световые импульсы обратно в сторону камеры. На основе затраченного световым импульсом времени можно измерить расстояние до поверхности объекта и, следовательно, рассчитать значение глубины для каждого отдельного пикселя. В результате 3D-значения для объекта съемки выводятся как пространственное изображение в виде карты глубины или облака точек. Времяпролетный метод также позволяет получать 2D-изображение в виде профиля яркости, где каждому пикселю соответствует определенный уровень яркости, и карты достоверности, где представлена степень уверенности в отдельных значениях.
Для 3D-съемки времяпролетным методом не нужна высокая контрастность или особые характеристики, такие как углы и торцы. Съемку также можно вести практически независимо от яркости освещения и цвета объекта, что позволяет легко выделить объект на фоне с помощью алгоритмов обработки изображений. Кроме того, движущиеся объекты не представляют проблемы, поскольку такая система способна выполнять до девяти миллионов измерений расстояния в секунду с миллиметровой точностью. По сравнению с другими 3D-камерами, камеры с времяпролетной технологией (ToF-камеры ) менее дорогие, более компактные и менее сложные с точки зрения конструкции. Это означает более простую установку и интеграцию.
Тем не менее камера обеспечивает оптимальные результаты только в определенных условиях окружающей среды и в определенном диапазоне измерений. Из-за лежащего в основе этой технологии времяпролетного метода измерения наличие, например, углов и изогнутых поверхностей у объекта съемки приводит к возникновению ошибок в результатах измерений вследствие многократного отражения излучаемого света. Высокоотражающие поверхности, расположенные слишком близко к камере, могут вызвать попадание рассеянного света на объектив, что станет причиной появления артефактов. Если у объекта съемки очень темная поверхность, возникает риск недостаточного отражения света, чтобы проводить надежное измерение. Слишком маленькое рабочее расстояние также вводит ограничения на применение этого метода, который в целом используется в тех случаях, когда достаточно средней точности изменения расстояния и глубины.
Стереоскопия
Стереоскопия функционирует аналогично паре человеческих глаз. Этот принцип 3D-визуализации основан на извлечении информации о глубине из изображений, синхронно снятых двумя 2D-камерами с разных ракурсов. Для расчета 3D-данных должно быть известно положение двух камер по отношению друг к другу (внешние параметры). Кроме того, требуется информация о собственных параметрах каждой камеры, таких как оптический центр и фокусное расстояние объектива. Вместе все эти данные позволяют получить калибровочные значения для каждой камеры. Чтобы рассчитать информацию о глубине, сначала два 2D-изображения выравниваются (ректифицируются). Затем алгоритм сопоставления ищет соответствующие друг другу пиксели на правом и левом изображениях. Исходя из калибровочных значений, генерируется изображение глубины визуализируемого пространства или объекта в виде облака точек. Минимальное рабочее расстояние для применения этой технологии зависит от расстояния и угла между двумя камерами и, следовательно, варьируется.
По сравнению с времяпролетным методом для стереоскопии не нужен активный источник света для испускания световых импульсов или лазерных лучей, однако в любом случае требуется достаточное окружающее освещение, поскольку технически система представляет собой две отдельные 2D-камеры. Если условия для использования других 3D-технологий с активным источником света неблагоприятны, стереоскопическая система может показать более высокие результаты, например, при ярком окружающем освещении, если объекты измерения перекрывают друг друга или если рядом присутствуют высокоотражающие поверхности.
В случае поверхностей без выраженной фактуры методом стереоскопии сложно выявлять сопоставимые признаки на изображениях для вычисления на их основе объемной информации. Эти ограничения можно преодолеть путем искусственного создания фактуры поверхности с использованием освещения. Для этого в систему дополнительно интегрируется проектор, который проецирует на объект съемки произвольный паттерн.
структурированный свет.
В отличие от стереоскопической системы, в системе с такой архитектурой одна из камер заменена специальным проектором. Он проецирует паттерны в виде полос света с синусоидальной кривой яркости, создавая тем самым на поверхности искусственную фактуру, которая при этом предварительно задана в системе. Анализ деформации проецируемых полос в зависимости от изгибов поверхности позволяет рассчитать 3D-информацию и получить более точные результаты измерений.
Сенсоры для работы со структурированным светом обеспечивают особенно высокую точность на близком расстоянии. При использовании структурированного света создается высокая вычислительная нагрузка. Кроме того, этот метод не подходит для анализа движущихся объектов, поскольку одно за другим снимается и обрабатывается несколько изображений. В этой связи использование структурированного света в системах, предназначенных для работы в реальном времени, ограничено либо влечет за собой более высокие затраты.
Преимущества и недостатки
Времяпролетный метод | Стереоскопия | структурированный свет. | |
|---|---|---|---|
Рабочее расстояние | + | o | o |
Точность | o | + | + |
Эффективность при слабом освещении | + | o | + |
Эффективность при ярком освещении | + | + | - |
Однородные поверхности | + | - | + |
Движущиеся объекты | o | + | - |
Габариты камеры | + | o | - |
Стоимость | + | o | - |
Типичные области применения
Типичные области применения времяпролетных камер
Времяпролетый метод особенно подходит для решения таких задач, где требуется большое рабочее расстояние в сочетании с большим диапазоном измерений и высокой скоростью съемки, а также приоритетом является простая архитектура системы, тогда как абсолютная точность не принципиальна.
Измерение объектов (объем, форма, положение, ориентация)
Автоматизация производства: обнаружение, захват и перемещение, сборка узлов; обнаружение дефектных объектов или ошибок штабелирования
Робототехника: определение точек захвата для роботов; задачи захвата на конвейерных лентах, извлечение деталей из бункера, роботы-манипуляторы
Логистика: упаковка; штабелирование, укладка и разгрузка поддонов; нанесение маркировки; автономные транспортные средства (навигация, предупреждения об опасности)
Медицина: позиционирование и мониторинг пациентов
Типичные области применения стереоскопии и структурированного света
Стереоскопические системы предлагают высокую точность измерений, однако их превосходят сенсоры для работы со структурированным светом. 3D-сенсоры такого типа применяются в случае «малопригодных» поверхностей с однородной фактурой или если требуется действительно высокая точность измерения.
Определение положения и ориентации
Высокоточное измерение объектов (объем, форма, положение, ориентация)
Робототехника: извлечение деталей из бункера, навигация, предотвращение столкновений, захват и перемещение объектов
Логистика: навигация транспортных средств в помещении, погрузка и разгрузка машин, укладка и разгрузка поддонов
На открытом воздухе: измерение и осмотр стволов деревьев
Тестирование компонентов, например, обнаружение дефектов
В настоящее время во многих отраслях растет спрос на 3D-технологии в комбинации с технологиями искусственного интеллекта, такими как глубокое обучение. За счет такой комбинации упрощается распознавание объектов и точное определение положения объектов в пространстве. Роботы с такими технологиями способны правильно захватывать объекты, которые не встречали раньше. Системы одновременной локализации и картирования (SLAM) объединяются с сенсорами компьютерного зрения для создания трехмерных карт в высоком разрешении, которые используются в автономных транспортных средствах и приложениях дополненной реальности.
Предлагаемые компоненты 3D
Найдите подходящие аппаратные и программные компоненты для вашей 3D-системы
