影像預處理能強化並簡化影像處理系統
![影像預處理與影像處理系統](http://images-ctf.baslerweb.com/dg51pdwahxgw/7g2owHAaDjlfUteLSu7W01/7ed1a5d82d0c5b10274550e065bf9485/6d0775f1-57fa-4628-956a-a4cf229f1f85.webp?fm=webp&f=center&w=800&q=80&fit=pad)
![影像預處理可將獲取的影像進行安全且快速的傳輸](http://images-ctf.baslerweb.com/dg51pdwahxgw/2ULXcKqlIDrBNFQlPvi9ex/809719fc7db19a34731ea6eebacaab25/03_en.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
在影像擷取卡或其他影像硬體上進行的影像預處理,是從相機擷取影像到在影像擷取卡中處理,並以電腦主機輸結果整個影像處理流程的中間步驟。這可以確保影像資料針對特定應用最佳化、安全傳輸、不損失任何個別影像,並確保後續處理運作順暢。影像預處理的目標是對資料進行準備,以簡化後續的處理步驟,並減輕電腦主機的處理負荷。
包括更佳的影像可視化,以強調某些原本訊號太弱的特質或結構,便於進一步處理 (劃分區域、分割與特徵抽取。通常基於整個原始 (raw) 影像。包括根據影像內容自動選取影像區域 (關注區域,ROI)、以及 JPEG 影像壓縮等,後面詳細說明。
用於預處理的處理步驟總是依賴既有相機感光元件的影像品質。這些步驟在影像擷取卡上的 FPGA 處理器上執行,也在其他視覺硬體上執行,例如相機本身、視覺感光元件或嵌入式系統。在這些視覺設備上,VisuaApplet 是一種易於使用的圖形開發環境,可以用來在 FPGA 上實作各種預處理與完整影像處理解決方案的運算,實現可即時運作的系統。
![相機中的預處理](http://images-ctf.baslerweb.com/dg51pdwahxgw/1HeW7a43WAygXiSTdvD0ok/ad4bbc5ce791ae0eabfae3422e7c9a12/05_en.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
相機中的預處理
像 USB3 Vision 和 GigE Vision 等不需要影像擷取卡的相機,或是嵌入式系統而言,預處理直接在相機與感光元件中進行。當如 GigE Vision 或電腦介面之類的相機介面,只負責傳有限資料,或當使用嵌入式系統以降低電腦計算力需求時,一定須要進行預處理。由於資料量在相機中已經過縮減,傳輸資料與分析所需時間就能縮短,同時提升應用的生產能力。
Basler 相機已提供基本的預處理功能組,例如 debayering、色彩平滑化、影像銳化、雜訊抑制等。此外,也能大大提高影像亮度、細節與銳利度,同時抑制雜訊。如果透過影像擷取卡來延伸預處理作業的範圍,就可以執行像是濾鏡運算與色彩空間轉換等較複雜的運算,減輕 CPU 的負荷。
![具備 FPGA 開發環境 VisualAppletss 的可程式化視覺硬體](http://images-ctf.baslerweb.com/dg51pdwahxgw/4E9LokspxT2vmurabxBouk/6926da7768f6c6454e48eaa50c439f6b/01.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
以影像擷取卡來延伸預處理作業
許多相機介面如 CoaXPress、Camera Link 和 Camera Link HS 等,需要使用影像擷取卡,如要對應即時大量資料時,影像擷取卡也不可或缺。直接在 FPGA 上運算,也能大幅擴張預處理的作業類型。如果影像處理系統有設定標準影像擷取卡的話,依應用而定,常會包括高畫質 debayering、對照表 (Look-up Table, LUT) 和鏡像等功能在內。如果是可程式化的影像擷取卡,其功能還更加多元:
損壞畫素補償
白平衡
陰影校正
平面場校正
去除模糊區域
使用平均法或多種濾鏡如平滑濾鏡的影像雜訊抑制
高動態範圍 (HDR) 以補償影像中太亮或太暗的區域
幾何校正以將結構形狀加以常態化,例如以仿射變換來進行
加強對比,例如在影像擷取時立即使用對照表 (LUT) ,或直方圖扁平化或拉伸
色彩空間轉換
濾鏡
這種預處理的變體,也能實作於所有相容於 VisualApplets 的視覺設備,其變化的程度取決於運算能力。這使相機和其他視覺硬體具有即時功能,開啟了新的應用領域。透過 VisualApplets,無需具備 FPGA 中特別的電路和定時知識,即可實作。因此可由應用或軟體工程師來實作。
下載 VisualApplets![Blob 分析與具有影像細節的邊界框 (bonding box)](http://images-ctf.baslerweb.com/dg51pdwahxgw/2GEYpVZiWqXwvV3dNT34wP/04414ff019439e5d7a638cbd8f1cb688/FirstSpirit_1597128397894blob2_web_klein3.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
Blob 分析
VisualAppletss 的開發可能性遠超過影像預處理,該軟體可用來解決大量的影像處理工作,如 blob 分析。該分析將相關畫素區域分成彼此分離的物體,並與其背景分開 (分割),並對每個物體指定其特性如區域大小、輪廓長度、邊框坐標等 (分類)。 如果在影像預處理中已經完成這些運算,在資料第一次儲存時,會有很大部分的影像分割也經過移轉。
![VisualAppletss 中的 JPEG 運算器可顯著縮減資料量](http://images-ctf.baslerweb.com/dg51pdwahxgw/29dD6wKgkLhRYwcz9qd8Zn/b5faa871d78c040a3e8990f66f143d49/FirstSpirit_1597038233681JPEG_VA-Design_Implement.jpg?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
透過 JPEG 壓縮縮減資料量
近年來,由於感光元件變大變快,再加上彩色處理,從相機傳輸到影像擷取卡的影像資料頻寬不斷增加,例如四鏈路 CXP-12 就達 5 GBps。為處理這些資料,透過 JPEG 壓縮可大幅減少影像資料量。舉來來說,在汽車工業中的雷射焊接過程中,資料生產能力可從 100 Mbps (影像擷取卡的輸入頻寬) 降到約 5 Mbps。另一方面,減少傳輸單一畫面所需資料量,也能大幅加快取像速度。這對於在相機中直接執行 JPEG 壓縮的相關應用特別有用,傳輸路徑可以更有效率地運用,不致成為瓶頸。
![用於影像與訊號處理的影像處理系統中,影像擷取卡扮演的核心角色](http://images-ctf.baslerweb.com/dg51pdwahxgw/7dzVHWfug97HITRDSFwTkN/2dc6b2a1793f48644cd03dbad84278f6/02_en.png?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
致動器與觸發的控制
影像擷取卡使用訊號處理來控制相機觸發、光源與致動器,並透過數位 I/O 介面進行評估作業。複雜的控制迴路並結合預處理是可以做到的。舉例來說,曝光測量可以透過影像預處理,來執行經過校正的照明控制,或觸發相機。
![使用特殊濾鏡恢復原本不清晰的影像](http://images-ctf.baslerweb.com/dg51pdwahxgw/7zOuVpsoHGNIwIp3Nmv8Vs/ff7a18c28e5aba9f0f910f1ccbe0504c/FirstSpirit_159712839789406_preview_v2.png?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
穩固、快速且高效的影像處理
總而言之,影像預處理可確保計算密集演算法的加速運算,並提高應用效能。此外,這可確保以資料生產能力的提高,來有效處理具有極高解析度和的影像資料,以提高影像分析的準確性和穩健性。高速相機的完整頻寬可以安全傳輸,同時減輕電腦主機的 CPU 與後續軟體分析的負擔。
使用 VisualAppletss,FPGA 上的影像預處理,可以幫終端用戶省下許多心力,且無需任何硬體程式編寫知識。在應用需求發生變化時,也能在短時間內靈活地調整相機、影像擷取卡和其他視覺設備的功能範圍,無需安裝新相機。
優勢快速綜覽
使用更簡單的相機介面
增加資料生產能力
透過低成本介面 (GigE) ,遠成具備成本效益的系統設計
對計算密集演算法進行加速
提高應用性能
即時影像處理帶來新應用方式
可使用運算能力較低的較小處理器
最佳化神經網絡
節省 IPC
降低 CPU 負載
提高影像分析的準確性和穩健性
無需內部開發
以最佳結果有效解決影像處理工作的應用範例
![印刷控制應用的影像處理系統](http://images-ctf.baslerweb.com/dg51pdwahxgw/7rxix3Q1FgEN9NlZSV79Ci/7642cf453eba3c365c456a239261f14d/04_en.webp?fm=webp&f=center&w=800&h=450&q=80&fit=pad)
一個常見的應用是色彩重建 (debayering) 和色彩空間與位元寬度轉換,可讓相機的 raw 影像以相機介面的完整速度進行傳輸,從而帶來最大的頻寬。因此,影像擷取卡可以提供已處理的影像給電腦主機。
高動態範圍 (HDR)、JPEG 壓縮、自動 ROI 選擇或 3D 雷射三角測量等應用,有效地減少已經處於預處理階段的資料量。
照明與影像失真校正提高影像品質,並簡化後續處理步驟中的分析作業。
物體分割和特徵抽取(斑點、重心、角度、偏心率、影像矩等)可進一步處理分類用的屬性。
在印刷檢測中,高度精確的位置辨識與影像對齊非常重要,這樣才能和原稿進行比對。為維持低偽色,採用次畫素精確幾何失真校正。自動位置檢測可以用來對齊邊緣或影像的特色。