偽色対策がフレームレートと処理負荷に与える影響
欠陥検出、印刷検査などの産業用画像処理に欠かせない色情報。検査精度を向上させるには、偽色を抑える必要がありますが、そのやり方によっては、フレームレートの低下やホスト側の処理負荷の増大を招きます。
偽色の仕組み
産業用カラーカメラを使用して撮影を行う場合、画像形式、デベイヤリング方式、処理方法（カメラ側処理／ホスト側処理）によって、偽色が発生するおそれがあります。
RAW画像
一般的なカラーカメラは、撮影後にイメージセンサーのベイヤー配列のままのRAW画像（通常は8bit）をホストコンピューターに転送します。
一方、Baslerカラーカメラは、ホスト側で2×2デベイヤリングを行ったうえで、RAW画像を標準カラー画像に変換し、pylonビューワーに表示します。このような単純な処理の場合、偽色が発生するおそれがありますが、カメラ側でデベイヤリングを行えば、偽色を抑えることができます。
デベイヤリング
ベイヤー配列のRAW画像をカラー画像に変換することをデベイヤリングといいます。デベイヤリングは、データ転送前のカメラ側（画像形式：RGB8、YCbCr）、またはデータ転送後のホスト側（画像形式：Bayer RAW）で行います。
ホスト側でデベイヤリングを行う場合、システムに多大な処理負荷がかかるだけでなく、色境界を中心とする偽色対策のために複雑なアルゴリズムが必要になります。これらの問題を解決するには、カメラのFPGA上でデベイヤリングを行うとよいでしょう。
デベイヤリングアルゴリズム
デベイヤリングアルゴリズムは、色補間によってベイヤー配列のRAW画像をカラー画像に変換します。シンプルな2×2デベイヤリングが近接する画素の範囲で色補間を行うのに対し、Baslerのカメラ内蔵型画像補正機能PGI（特許取得済み）の5×5デベイヤリングは、より広い24画素の範囲で色補間を行います。
画素の参照範囲が広いほど、色補間の精度は向上するため、色の違いが鮮明になり、偽色も減少します。
画像データ転送
カメラ側で生成されたカラー画像は、RGB8、YCbCr422_8、YCbCr420_8などの画像形式式でホストコンピューターに転送されます。なお、色情報量を示すデータサイズは、RGB8が最も大きく、YCbCr422_8、YCbCr420_8の順番に小さくなります。
転送されるデータサイズ、つまり色情報が少ないと、偽色が発生しやすくなるため、注意が必要です。
まとめ：偽色が発生するかどうかは、デベイヤリング方式とデータサイズ（色情報量）によって決まります。偽色の少ないカラー画像を生成するには、カメラ側で5×5デベイヤリングを行ったうえで、RGB8形式で画像データを転送するとよいでしょう。
色忠実性、フレームレート、処理負荷の関係性
カラー画像の画質要件によって、フレームレートとホスト側の処理負荷は変わります。以下では、色忠実性、フレームレート、処理負荷の関係性について、3つのシナリオに分けて解説します。
色忠実性重視の場合
カメラのFPGA上で5×5デベイヤリングを行ったうえで、色情報が多いRGB8形式で画像データを転送します。この場合、色忠実性が向上して偽色を抑えられますが、データサイズの増大によってフレームレートが最大33%低下します。なお、カメラのFPGA上で画像を処理するため、ホスト側のリソースをほかの処理や解析に回すことができます。
バランス重視の場合
カメラのFPGA上で5×5デベイヤリングを行ったうえで、YCbCr422_8形式またはYCbCr420_8形式で画像データを転送します。この場合、フレームレートは向上しますが（YCbCr422_8形式：最大50%向上、YCbCr420_8形式：最大67%向上）、色情報の減少によって色忠実性が低下し、偽色が発生しやすくなります。なお、カメラのFPGA上で画像を処理するため、ホスト側のリソースをほかの処理や解析に回すことができます。
フレームレート重視
色忠実性よりもフレームレートを重視する場合は、カメラの最大フレームレートで撮影を行うため、ホスト側でデベイヤリングを行ったうえで、Bayer RAW形式（8bit）で画像データを転送します。デベイヤリング方式については、色忠実性とホスト側の処理負荷を考慮して決定しますが、色忠実性を向上させて偽色を抑えれば、処理負荷は増大します。いずれにしても、上記の2つのシナリオよりホスト側の処理負荷が大きいため、ほかの処理や解析に回せるリソースは少なくなります。
要件定義に最適：偽色可視化ツール＆フレームレート計算ツール
どのシナリオが実際の用途に適しているかわからず、フレームレートと色忠実性のバランスにお悩みの場合は、Baslerの2種類の便利ツールを使用して必要な情報を収集するとよいでしょう。
偽色可視化ツール
偽色可視化ツールは、対象となる画像を読み込むだけで、画像形式とデベイヤリング方式が色差ΔEに与える影響を確認できるツールです。
RGB画像（色差なしの参考画像）：カメラ側で5×5デベイヤリングを行ったうえで、色情報が多いRGB形式で出力した画像
YCbCr422_8画像／YCbCr420_8画像（やや色差あり）：カメラ側で5×5デベイヤリングを行ったうえで、色情報が少ないYCbCr422_8形式／YCbCr420_8形式で出力した画像
Bayer8画像（色境界を中心に明確な色差あり）：ホスト側でデベイヤリングを行ったうえで、Bayer8形式で出力した画像（デベイヤリング方式の異なる3種類の画像を表示）
フレームレート計算ツール
フレームレート計算ツールは、いくつかの項目を入力するだけで、お使いのカメラのフレームレートを確認できるツールです。
カメラモデルと画像形式を選択し、計算ボタンをクリックすると、最大フレームレートが表示されます。
PGI機能搭載カメラ
カメラ内蔵型画像補正機能PGI（特許取得済み）には、カラー画像の画質を向上させる5×5デベイヤリングアルゴリズムが含まれています。
