活用事例

外観検査装置の被写界深度を拡張する統合型焦点合成ソリューション

焦点距離の異なる複数の画像を撮影した後、各画像の最もピントが合っている部分を合成し、被写界深度の深い画像を作成する焦点合成アルゴリズムと、液体レンズによるオートフォーカス(AF)を組み合わせれば、凹凸がある微細な構造物を高倍率でリアルタイムに可視化できます。しかし、このような高度なソリューションを実現するには、さまざまな技術課題を解決しなければなりません。

被写界深度を拡張する統合型焦点合成ソリューション
被写界深度を拡張する統合型焦点合成ソリューション

焦点合成による被写界深度の拡張

焦点距離の異なる複数の画像を撮影した後、各画像の最もピントが合っている部分を合成することを「焦点合成(深度合成、多焦点合成)」といい、半導体・電子機器向けの外観検査(AOI)装置を中心に、マシンビジョンによる高倍率撮影が求められる用途で広く利用されています。

これらの用途では、高さ・大きさのバラつきにかかわらず、5~数百μmの微細な構造物(プリント基板の部品、はんだ接合、トレース、IC構造など)を単一視点から撮影する必要があります。しかし、一度の撮影で凹凸がある部分を鮮明に捉えることは難しく、検査の速度・信頼性を向上させるには、被写界深度を拡張する焦点合成アルゴリズムが欠かせません。


微細な構造物の高倍率撮影:半導体ウエハー

微細な構造物の高倍率撮影拡大

表面の凹凸の可視化:プリント基板

表面の凹凸の可視化

検査の自動化・インライン化と画質向上

検査の自動化・インライン化と画質向上

外観検査における統合型焦点合成ソリューションの導入

焦点合成を活用すれば、解像度に影響を与えることなく、被写界深度を拡張することができますが、既存の外観検査装置に焦点合成アルゴリズムを実装することは、技術的に簡単ではありません。特にサイクルタイムの短いインライン外観検査装置の場合、画質以外に検査速度も大きな問題となります。検査の精度とスループットを両立させるには、ビジョンエンジニアがハードウェアの同期、画像取得、アルゴリズムの最適化、処理の高速化の各工程において、設計と実証を慎重に行わなければなりません。

液体レンズによるリアルタイムなピント調整(pylonビューワーの操作画面)

Z軸ステージより高速かつシンプルな液体レンズ

従来のZ軸ステージによるAFと比較した場合、 液体レンズによるAF は、数ミリ秒以内のリアルタイムなピント調整が可能であるなど、速度・安定性・導入難度の面で明らかに優れています。しかも、動く機械機構がないため、装置の小型化を図りながら、経年劣化も防止できます。つまり、液体レンズと焦点合成アルゴリズムの組み合わせは、高速・高信頼性・高スループットかつ省スペースが求められるインライン外観検査装置に最適であるといえるでしょう。

複雑な外部コントローラーの代わりに、カメラを介して制御することで、液体レンズを簡単に導入可能
複雑な外部コントローラーの代わりに、カメラを介して制御することで、液体レンズを簡単に導入可能

I/Oボードやプログラミング不要の液体レンズ制御

通常、外観検査装置に液体レンズを導入する場合、専用のI/Oボードのほか、レンズ制御・カメラ同期用のソフトウェアも必要になります。しかし、液体レンズ対応のプログラミング言語は限られているため、既存の開発環境との互換性が確保できないおそれがあります。

Baslerでは、液体レンズ制御アルゴリズムをカメラファームウェアに直接組み込むことで、これらの問題を解消しました。追加のI/Oボードやケーブル、カスタムソフトウェアがなくても、 pylonビューワー の操作画面にあるスライダーを動かすだけで、各種パラメーターを簡単に調整できます。

焦点合成パイプライン
焦点合成パイプライン

焦点合成:ピクセル単位の高負荷処理

焦点合成パイプラインは、処理負荷の高い複数の工程から構成されています。

  • 複数画像の撮影:異なる焦点距離から5~20枚の画像を撮影

  • フォーカス測定:ラプラシアンフィルターやグラディエントフィルターを使用し、画像ごとに各ピクセルのピント精度を評価

  • フォーカスマップ生成:最もピントが合っている画像のピクセルを抽出してマップ化

  • 画像合成:ブレンディング処理を行いながら、最もピントが合っている部分を1枚の画像に合成



FPGAとCPUの画像処理時間の比較
FPGAとCPUの画像処理時間の比較

アルゴリズム運用におけるCPU負荷の軽減

高度なアルゴリズムの開発・調整には、数週間から数か月の期間がかかります。特に焦点合成アルゴリズムの場合、一度に10枚以上の画像を読み込み、ピクセル単位の精度で解析しなければならないため、標準的なコンピューターでは処理しきれません。

CPUに負荷をかけることなく、リアルタイムに画像を処理するには、FPGA上で焦点合成アルゴリズムを運用するとよいでしょう。

FPGA画像処理開発環境VisualApplets

FPGAによる高速処理&VisualAppletsによる開発期間短縮

Basler統合型焦点合成ソリューションでは、プログラマブルフレームグラバーなどのビジョン機器のFPGA上で 画像の前処理 を行うことで、ホスト側のCPU負荷を最小限に抑えながら、全体的な速度・精度を大幅に向上させています。

さらに、これに直観操作のFPGA画像処理開発環境VisualAppletsも組み合わせれば、HDLコーディングなしでも、外観検査装置のプロトタイプ開発と焦点合成アルゴリズムの実装をスムーズに行うことができます。

メリット

  • ピクセル単位のリアルタイムな処理

  • CPU負荷の最小化

  • シームレスなカメラ接続と液体レンズ制御

  • 再利用可能なモジュラー構造のIPブロックによる開発期間短縮




パッシブ方式のZ軸フォーカス制御を行う焦点合成アルゴリズムは、低コストで柔軟性にも優れています。過去のプロジェクトでは、厳しい精度要件にもかかわらず、VisualAppletsを使用することで、1週間程度で企画立案が完了しました。より高い正確性が求められる場合は、アルゴリズムをさらに高度化することも可能です。
Enso Tseng
Enso Tseng
システム解析エンジニア | R&D

統合型ソリューションによる外観検査装置の開発の効率化

外観検査装置の開発における主な課題には、タイトな納期、多種多様なハードウェアの管理、複雑なシステム構築などがあります。Basler統合型焦点合成ソリューションは、これらの課題を解決し、全体的な画像処理を最適化しながら、スムーズなシステム構築を実現するために開発されました。

液体レンズ制御アルゴリズムと焦点合成アルゴリズムをビジョン機器のFPGA上で運用するため、開発労力の軽減、市場投入の期間短縮、インライン検査の精度向上などが期待できます。

メリット

  • CPU負荷の軽減:焦点合成などの高負荷処理をFPGAが代替

  • スムーズなシステム構築:追加のI/Oケーブル、外部コントローラー、複雑な画像処理アルゴリズムが不要

  • 迅速な市場投入:システムレベルのボトルネックを低減しながら、全体的な開発作業を効率化



関連製品

お問い合わせ

製品・サービスに関するご不明点やご相談等がございましたら、お気軽にお問い合わせください。

‍お問い合わせ

Baslerの製品・サービスに関してご不明点がございましたら、いつでもお気軽にお問い合わせください。