프레임 그래버의 이미지 사전 처리는 카메라를 사용한 이미지 획득에서 프레임 그래버의 처리 및 호스트 PC의 결과 출력까지를 포함하는 이미지 처리 프로세스의 핵심 중간 단계입니다. 따라서 이 작업은 이미지 데이터가 각 애플리케이션에 대해 최적화되고 해당 데이터가 개별 이미지의 손실 없이 안전하게 후속 처리 단계로 전송되어 작업이 원활히 이루어지도록 합니다. 이미지 사전 처리의 목적은 추가 처리 단계를 단순화하고 호스트 PC에서 처리되는 로드를 완화하도록 데이터를 준비하는 것입니다.
여기에는 너무 약하게 표현되거나 추가 처리에 중요한 특정 속성이나 구조를 강조하기 위해 이미지를 보다 효과적으로 시각화하는 기능(영역 제한 해제, 세분화 및 특징 추출)이 포함됩니다. 이 작업은 일반적으로 전체 원시 이미지를 기초로 진행되며, 여기에는 이미지 콘텐츠에 따라 이미지 영역(관심 영역, ROI)을 자동으로 선택하고 JPEG 이미지를 압축하는 기능도 포함됩니다. 자세한 내용은 뒷부분에서 살펴보겠습니다.
사전 처리에 사용되는 처리 단계에 있어서는 카메라 센서로부터 오는 기존 이미지 품질에 따라 달라집니다. 단계는 프레임 그래버의 FPGA 프로세서와 카메라 자체, 비전 센서 또는 임베디드 시스템과 같은 다른 비전 하드웨어에서도 실행됩니다. 이러한 비전 장치인 VisualApplets에서는 사용이 간편한 그래픽 개발 환경을 사용하여 FPGA에서 광범위한 사전 처리뿐만 아니라 완전한 이미지 처리 솔루션을 구현함으로써 실시간 지원 시스템을 실현할 수 있습니다.
이미지 및 신호 처리를 위한 이미지 처리 시스템에서 프레임 그래버의 핵심 역할
카메라 내부의 사전 처리 작업
이미지 (사전) 처리용 프로그래밍 가능한 FPGA를 이용한 이미지 처리 시스템
프레임 그래버가 필요 없는 USB3 Vision 및 GigE Vision과 같은 카메라 인터페이스 또는 임베디드 시스템의 경우에는 카메라 및 센서에서 직접 사전 처리가 수행됩니다. 카메라 내부에서의 처리 작업은 GigE Vision이나 컴퓨터 인터페이스와 같은 카메라 인터페이스가 제한된 양의 데이터만 전송하거나 컴퓨팅 성능이 낮은 임베디드 시스템을 사용하는 경우에 반드시 필요합니다. 카메라에 포함된 기존 데이터의 양을 줄이면 전송과 분석에 소요되는 시간을 단축할 수 있어 애플리케이션의 처리량을 증가시킬 수 있습니다.
Basler 카메라는 이미 디베이어링, 색상 안티앨리어싱, 이미지 선명화 및 노이즈 감소와 같은 기본적인 사전 처리 기능을 제공합니다. 이를 통해 특히 노이즈가 줄어들고 이미지의 밝기, 세부 표현 및 선명도가 크게 향상됩니다. 프로그래밍 가능한 프레임 그래버로 사전 처리 기능을 확장하면 필터 조작과 색 공간 변환과 같은 복잡한 계산을 수행할 수 있어 CPU의 부담을 완화할 수 있습니다.
프레임 그래버의 사전 처리 확장
프레임 그래버는 CoAXPres, Camera Link 및 Camera Link HS와 같은 많은 카메라 인터페이스에 필요하며 실시간 요구 사항 또는 대용량 데이터 볼륨을 처리하기 위해 필수적입니다. 프레임 그래버를 통해 FPGA에서 직접 훨씬 더 광범위한 사전 처리를 실행할 수 있습니다. 이미지 처리 시스템이 표준 프레임 그래버로 설정된 경우, 애플리케이션에 따라 고품질 디베이어링, 룩업 테이블(LUT), 미러링 등의 사전 처리 기능이 대부분 포합되어 있습니다. 프로그램 가능한 프레임 그래버를 사용하면 다음과 같이 더욱 다양한 기능을 활용할 수 있습니다.
데드 픽셀 보정
화이트 밸런싱
음영 보정
플랫 필드 보정
흐릿한 영역 제거
필터 평활화 등 다른 필터를 평균화하거나 사용하여 이미지 노이즈 감소
너무 밝거나 어두운 이미지 영역을 보정하는 HDR(높은 다이내믹 레인지)
구조물의 형태 정상화를 위한 기하학적 수정(예: 부착 변형)
이미지 획득 과정에서 LUT(룩업 테이블)뿐만 아니라 히스토그램 평탄화 또는 스트레칭을 미리 사용하여 컨트래스트 향상
색 공간 변환
필터링
에지별 베이어 디모자이킹 알고리즘(라플라스 필터)에 대한 VisualApplets 디자인 기본 구조
이처럼 다양한 사전 프로세싱은 모든 VisualApplets 호환 가능 비전 디바이스에서도 컴퓨팅 성능에 따라 여러 가지 수준으로 구현될 수 있습니다. 이를 통해 카메라 및 기타 비전 하드웨어를 실시간으로 사용할 수 있어 새로운 애플리케이션 분야를 개발할 수 있습니다. VisualApplets를 사용하면 구현을 위해 FPGA의 회로 및 타이밍에 대한 특별한 지식이 필요하지 않아 애플리케이션 또는 소프트웨어 엔지니어가 이를 구현할 수 있습니다.
블록(Blob) 분석
블롭 분석 및 이미지 세부 정보가 포함된 경계 상자 생성
VisualApplets를 통한 개발 잠재력은 이미지 사전 처리 수준을 넘어 블롭 분석과 같은 수많은 이미지 처리 작업에 사용될 수 있습니다. 또한 관련 픽셀 영역을 서로 다른 오브젝트와 배경(세그먼트)으로 구분하고 영역 크기, 등고선 길이 및 경계 상자 좌표와 같은 속성을 각 오브젝트(분류)에 할당합니다. 이러한 작업을 사전 처리 과정에 미리 수행하면 데이터가 최초로 저장되기도 전에 이미지 세분화의 상당 부분이 이동됩니다.
JPEG 압축을 통한 데이터 볼륨 감소
이미지 데이터가 카메라에서 프레임 그래버로 전송되는 대역폭은 더 빠르고 커진 센서와 색상 처리 기능 덕분에 최근 몇 년 동안 지속적으로 증가했습니다(예: 링크가 4개인 CXP-12의 경우 5 GBps로 향상). 이러한 데이터를 처리하기 위해 JPEG 압축을 통해 이미지 데이터의 양을 크게 줄일 수 있습니다. 예를 들어 자동차 업계의 레이저 용접 작업에서는 데이터 처리량이 100MBps(프레임 그래버 입력 대역폭)에서 약 5MBps로 감소할 수 있습니다. 한편, 단일 이미지를 전송하는 데 필요한 데이터 양을 줄여 프레임 속도를 크게 향상시킬 수도 있습니다. 이 기능은 특히 JPEG 압축을 카메라에서 직접 수행하여 전송 경로를 병목 현상으로 효율적으로 사용하는 애플리케이션에서 특히 유용합니다.
액추에이터 및 트리거링 제어
이미지 및 신호 처리를 위한 화상 처리 시스템에서 프레임 그래버의 핵심 역할
프레임 그래버는 신호 처리를 사용하여 디지털 입출력 인터페이스를 통한 센서 평가뿐만 아니라 카메라 트리거링, 조명 및 액추에이터도 제어합니다. 복잡한 제어 루프 및 사전 처리와의 결합 작업도 수행할 수 있습니다. 예를 들어 이미지 사전 처리를 통해 노출 측정 작업을 수행하여 카메라의 조명 또는 트리거링에 대한 보정 관리를 실행할 수 있습니다.
강력하고 빠르며 효율적인 이미지 처리 속도
전반적으로 이미지 사전 처리를 통해 수많은 계산 작업이 필요한 알고리즘의 속도를 높이고 애플리케이션 성능을 향상시킬 수 있습니다. 또한 데이터 처리량을 높여 매우 높은 해상도와 대역폭으로 이미지 데이터를 효율적으로 처리하고 이미지 분석의 정확성과 견고성을 높일 수 있습니다. 호스트 PC와 후속 분석 소프트웨어의 CPU를 줄이는 동시에 고속 카메라의 대역폭 전체를 안전하게 전송할 수 있습니다.
VisualApplets를 사용하면 최종 사용자가 하드웨어 프로그래밍 지식 없이도 FPGA에서 이미지 사전 처리를 수행할 수 있습니다. 따라서 애플리케이션 요구사항이 변경될 경우 새 카메라를 설치할 필요 없이 단기간에 카메라, 프레임 손잡이 및 기타 비전 디바이스의 기능 범위를 유연하게 조정할 수 있습니다.
특수 필터를 사용하여 이전에 선명하지 않았던 기존 이미지 복원
주요 이점
보다 단순한 카메라 인터페이스 사용
데이터 처리량 증가
저비용 인터페이스(GigE)를 통한 비용 효율적인 시스템 설계
연산 집약적인 알고리즘의 속도 향상
애플리케이션 성능 향상
실시간 이미지 처리로 새로운 애플리케이션 구현
컴퓨팅 성능이 낮은 소형 프로세서 사용
최적화된 신경망
IPC 저장
CPU 부하 감소
이미지 분석의 정확성 및 견고성 향상
자체 개발 불필요
가능한 최선의 결과로 이미지 처리 작업을 효율적으로 해결하는 애플리케이션 예시
최상의 결과로 이미지 처리 작업을 효율적으로 해결하기위한 애플리케이션 예시
일반적으로 수행되는 애플리케이션은 색상의 재구성(디베이어링), 색 공간 및 비트 폭 변환으로, 이를 통해 카메라의 원시 영상을 카메라 인터페이스의 최대 속도로 전송하여 최대 대역폭을 사용할 수 있습니다. 따라서 프레임 그래버가 호스트 PC에 처리된 이미지를 제공할 수 있습니다.
HDR(높은 다이내믹 레인지), JPEG 압축, 자동 ROI 선택 또는 3D 레이저 삼각측정과 같은 애플리케이션은 사전 처리 단계의 데이터 볼륨을 효과적으로 줄입니다.
조명 및 이미지 왜곡 보정은 이미지 품질을 높여 이후 처리 단계에서의 분석 작업을 단순화합니다.
오브젝트 분할 및 형상 추출(블롭, 무게중심, 각도, 편심, 이미지 모멘트 등)을 통해 분류 속성으로 추가 처리가 가능합니다.
인쇄 검사에서, 마스터와의 비교를 위해서는 고도로 정밀한 위치 인식과 획득한 영상의 정렬을 달성하는 것이 필수적입니다. 서브픽셀 수준까지 정확한 기하학적 왜곡 보정 작업은 색상 아티팩트를 낮게 유지하기 위한 목적으로 사용됩니다. 자동 위치 감지는 에지 또는 이미지 특징에 맞게 정렬됩니다.
