이미지 사전 처리가 이미지 처리 시스템을 강화 및 간소화

프레임 그래버의 이미지 사전 처리는 카메라를 사용한 이미지 획득에서 프레임 그래버의 처리 및 호스트 PC의 결과 출력까지를 포함하는 이미지 처리 프로세스의 핵심 중간 단계입니다. 따라서 이 작업은 이미지 데이터가 각 애플리케이션에 대해 최적화되고 해당 데이터가 개별 이미지의 손실 없이 안전하게 후속 처리 단계로 전송되어 작업이 원활히 이루어지도록 합니다. 이미지 사전 처리의 목적은 추가 처리 단계를 단순화하고 호스트 PC에서 처리되는 로드를 완화하도록 데이터를 준비하는 것입니다.

여기에는 너무 약하게 표현되거나 추가 처리에 중요한 특정 속성이나 구조를 강조하기 위해 이미지를 보다 효과적으로 시각화하는 기능(영역 제한 해제, 세분화 및 특징 추출)이 포함됩니다. 이 작업은 일반적으로 전체 원시 이미지를 기초로 진행되며, 여기에는 이미지 콘텐츠에 따라 이미지 영역(관심 영역, ROI)을 자동으로 선택하고 JPEG 이미지를 압축하는 기능도 포함됩니다. 자세한 내용은 뒷부분에서 살펴보겠습니다.

사전 처리에 사용되는 처리 단계에 있어서는 카메라 센서로부터 오는 기존 이미지 품질에 따라 달라집니다. 단계는 프레임 그래버의 FPGA 프로세서와 카메라 자체, 비전 센서 또는 임베디드 시스템과 같은 다른 비전 하드웨어에서도 실행됩니다. 이러한 비전 장치인 VisualApplets에서는 사용이 간편한 그래픽 개발 환경을 사용하여 FPGA에서 광범위한 사전 처리뿐만 아니라 완전한 이미지 처리 솔루션을 구현함으로써 실시간 지원 시스템을 실현할 수 있습니다.

프레임 그래버는 CoAXPres, Camera Link 및 Camera Link HS와 같은 많은 카메라 인터페이스에 필요하며 실시간 요구 사항 또는 대용량 데이터 볼륨을 처리하기 위해 필수적입니다. 프레임 그래버를 통해 FPGA에서 직접 훨씬 더 광범위한 사전 처리를 실행할 수 있습니다. 이미지 처리 시스템이 표준 프레임 그래버로 설정된 경우, 애플리케이션에 따라 고품질 디베이어링, 룩업 테이블(LUT), 미러링 등의 사전 처리 기능이 대부분 포합되어 있습니다. 프로그램 가능한 프레임 그래버를 사용하면 다음과 같이 더욱 다양한 기능을 활용할 수 있습니다.

• 데드 픽셀 보정
• 화이트 밸런싱
• 음영 보정
• 플랫 필드 보정
• 흐릿한 영역 제거
• 필터 평활화 등 다른 필터를 평균화하거나 사용하여 이미지 노이즈 감소
• 너무 밝거나 어두운 이미지 영역을 보정하는 HDR(높은 다이내믹 레인지)
• 구조물의 형태 정상화를 위한 기하학적 수정(예: 부착 변형)
• 이미지 획득 과정에서 LUT(룩업 테이블)뿐만 아니라 히스토그램 평탄화 또는 스트레칭을 미리 사용하여 컨트래스트 향상
• 색 공간 변환
• 필터링

이처럼 다양한 사전 프로세싱은 모든 VisualApplets 호환 가능 비전 디바이스에서도 컴퓨팅 성능에 따라 여러 가지 수준으로 구현될 수 있습니다. 이를 통해 카메라 및 기타 비전 하드웨어를 실시간으로 사용할 수 있어 새로운 애플리케이션 분야를 개발할 수 있습니다. VisualApplets를 사용하면 구현을 위해 FPGA의 회로 및 타이밍에 대한 특별한 지식이 필요하지 않아 애플리케이션 또는 소프트웨어 엔지니어가 이를 구현할 수 있습니다.

이미지 데이터가 카메라에서 프레임 그래버로 전송되는 대역폭은 더 빠르고 커진 센서와 색상 처리 기능 덕분에 최근 몇 년 동안 지속적으로 증가했습니다(예: 링크가 4개인 CXP-12의 경우 5 GBps로 향상). 이러한 데이터를 처리하기 위해 JPEG 압축을 통해 이미지 데이터의 양을 크게 줄일 수 있습니다. 예를 들어 자동차 업계의 레이저 용접 작업에서는 데이터 처리량이 100MBps(프레임 그래버 입력 대역폭)에서 약 5MBps로 감소할 수 있습니다. 한편, 단일 이미지를 전송하는 데 필요한 데이터 양을 줄여 프레임 속도를 크게 향상시킬 수도 있습니다. 이 기능은 특히 JPEG 압축을 카메라에서 직접 수행하여 전송 경로를 병목 현상으로 효율적으로 사용하는 애플리케이션에서 특히 유용합니다.

전반적으로 이미지 사전 처리를 통해 수많은 계산 작업이 필요한 알고리즘의 속도를 높이고 애플리케이션 성능을 향상시킬 수 있습니다. 또한 데이터 처리량을 높여 매우 높은 해상도와 대역폭으로 이미지 데이터를 효율적으로 처리하고 이미지 분석의 정확성과 견고성을 높일 수 있습니다. 호스트 PC와 후속 분석 소프트웨어의 CPU를 줄이는 동시에 고속 카메라의 대역폭 전체를 안전하게 전송할 수 있습니다.

VisualApplets를 사용하면 최종 사용자가 하드웨어 프로그래밍 지식 없이도 FPGA에서 이미지 사전 처리를 수행할 수 있습니다. 따라서 애플리케이션 요구사항이 변경될 경우 새 카메라를 설치할 필요 없이 단기간에 카메라, 프레임 손잡이 및 기타 비전 디바이스의 기능 범위를 유연하게 조정할 수 있습니다.

• 일반적으로 수행되는 애플리케이션은 색상의 재구성(디베이어링), 색 공간 및 비트 폭 변환으로, 이를 통해 카메라의 원시 영상을 카메라 인터페이스의 최대 속도로 전송하여 최대 대역폭을 사용할 수 있습니다. 따라서 프레임 그래버가 호스트 PC에 처리된 이미지를 제공할 수 있습니다.
• HDR(높은 다이내믹 레인지), JPEG 압축, 자동 ROI 선택 또는 3D 레이저 삼각측정과 같은 애플리케이션은 사전 처리 단계의 데이터 볼륨을 효과적으로 줄입니다.
• 조명 및 이미지 왜곡 보정은 이미지 품질을 높여 이후 처리 단계에서의 분석 작업을 단순화합니다.
• 오브젝트 분할 및 형상 추출(블롭, 무게중심, 각도, 편심, 이미지 모멘트 등)을 통해 분류 속성으로 추가 처리가 가능합니다.
• 인쇄 검사에서, 마스터와의 비교를 위해서는 고도로 정밀한 위치 인식과 획득한 영상의 정렬을 달성하는 것이 필수적입니다. 서브픽셀 수준까지 정확한 기하학적 왜곡 보정 작업은 색상 아티팩트를 낮게 유지하기 위한 목적으로 사용됩니다. 자동 위치 감지는 에지 또는 이미지 특징에 맞게 정렬됩니다.