VGAとSXGAサーマルイメージングの比較：高解像度化がもたらすレンジ、光学系、AIへの影響

要旨

この記事では、防衛、自律、組み込みセンシングアプリケーションにおいて、Video Graphics Array （VGA、640 × 512）から、Super Extended Graphics Array（SXGA、1280 × 1024）長波長赤外線（LWIR）イメージングに移行した場合のシステムレベルの影響について説明します。検出器の解像度の向上が、ターゲット上のピクセル、瞬時視野（IFOV）、検知・認識・識別（DRI）パフォーマンス、視野とのトレードオフ、光学設計、処理負荷、およびマシンビジョンパフォーマンスに、どのように影響するかを比較します。その目的は、感度、光スループット、帯域幅、レイテンシ、電力、熱管理、調達要件、輸出可能性、およびミッション固有のパフォーマンスニーズといった要素も含めた、より広範なエンジニアリング上のトレードオフ空間の1要素として解像度を位置づけることです。

序論および背景

VGA解像度のサーマルカメラは、パフォーマンス、システムコスト、サイズ・重量・電力（SWaP）のバランスに優れていることから、10年以上にわたり、防衛、産業、無人アプリケーション関連の多く用途で標準的な選択肢となっています。自律性、マシンビジョン、長距離センシングの要件が拡大を続ける中、システムアーキテクトは、より高解像度のサーマルセンサーに移行するメリットを評価しつつあります。

VGAからSXGAへの移行は、単なる画質の向上にとどまりません。SXGAイメージャではピクセル数が4倍になるため、ターゲット解像度、視野、光学設計、マシンパーセプション（機械知覚）の関係性が根本的に変わります。Teledyne FLIR OEMのBoson® SX8などの新しいSXGA LWIRモジュールは、8ミクロン（µm）の検出器アーキテクチャを採用することで、従来の大型サーマルセンサーに付随するサイズや光学系への負担を抑えつつ、解像度を上げることが可能であることを実証しています。このようなトレードオフは、軍事・航空宇宙システムで特に重要です。これらのシステムでは、センサーの性能と、ペイロードサイズ、オンボード処理、データリンク容量、輸出可能性、さらにはITAR（国際武器取引規則）やNDAA（国防権限法）への準拠といった調達要件との間で、バランスを取る必要があるからです。Boson®+は、解像度、ピクセルピッチ、視野、システムレベルの統合制約、およびプログラム要件が実際のパフォーマンスにどのような影響を及ぼすかを比較する上で、有用なVGAの基準点となります。

図1. 例：18° HFOV VGA（左）とSXGA（右）の比較、3倍×ズームピクチャーインピクチャー付き

解像度の違いを理解する

VGAとSXGAの最も明白な違いは、ピクセル数です。SXGAセンサーはVGAセンサーと比べて1フレームあたり4倍多くの熱サンプルを捉えます。これらの追加のピクセルは、同じ視野でターゲットの詳細度を高める、またはターゲットの詳細度を維持したまま視野を広げるという、2通りの方法で活用できます。現実世界のシステムのほとんどが、その両方を組み合わせて使用しています。

表1. VGAとSXGAの解像度の比較

解像度が高いということは、単に画像がより鮮明に見えるということだけではありません。追加の熱画像サンプルによって、人間のオペレーター、ターゲットトラッカー、自律システム、機械学習アルゴリズムに対し、より多くの情報が提供されます。

ターゲット上のピクセル数とDRIパフォーマンス

検知・認識・識別（DRI）は、イメージングシステムにおけるタスクパフォーマンスの段階的な向上を説明するものです。検知（Detection）とは物体が存在するかどうかを判断すること、認識（Recognition）とは人、車両、またはUASなどの物体のタイプを分類すること、識別（Identification）とは特定の物体、構成、または脅威を区別することを意味します。DRIパフォーマンスは一般に、ターゲット上の解像された画像サンプルの数が増えるほど高くなります。しかし、正確な閾値は、ターゲットのサイズ、コントラスト、大気の状態、光学系、センサー感度、画像処理、表示条件、観測者やアルゴリズムのパフォーマンス、およびミッション基準によって異なります。

DRIパフォーマンスの推定には、ジョンソン基準に類するモデルがしばしば用いられます。このモデルは、ターゲットの限界寸法（通常、検出タスクに使用される幅、高さ、あるいは特徴サイズ）における空間サンプリングと、目標タスクの難易度とを関連付けるものです。「ターゲット上のピクセル数」という簡略化された表現に関して言うと、検出には少数の解像されたサンプルがあれば十分な場合がありますが、認識にはそれより多くのサンプルが必要となり、識別にはさらに微細なディテールが必要です。

これらの数値は、固定的な規則ではなく、計画上の概算値として扱う必要があります。運用上のパフォーマンスは、ミッション固有のモデリングと、可能であれば実地試験によって検証する必要があります。

関連する指標として、瞬間視野（IFOV）があります。これは、1つのピクセルによって表されるシーンの角度範囲を表します。IFOVが小さいほど、特定のレンジで各ピクセルがカバーする領域が小さくなります。その結果、ターゲット上のピクセル数が増え、検出・認識・識別のための空間的なディテールが改善されます。

2つのセンサーが同じ水平視野（HFOV）で同じシーンを観測する場合、高解像度のセンサーではターゲット全体により多くのピクセルが割り当てられるため、空間ディテールが改善され、曖昧さが低減されます。

表2. HFOVを同一条件としたVGAおよびSXGAのDRI関連パフォーマンスの比較

図2. VGAとSXGAの画像領域および検出範囲の図解

焦点距離32mmのレンズを使用した代表的な比較例では、VGA構成と比較して、SXGA構成がより広い水平画角（HFOV）を実現すると同時に、相対的なシーンカバレッジおよびモデル上の検出範囲を拡大できることが分かります。表3に示されている数値は、同等の前提条件におけるシステムレベルの相対的なトレードオフを示すものであり、あらゆる動作条件下でのパフォーマンスを保証するものではありません。

表3. 同じレンズ焦点距離におけるBoson+とBoson SX8の比較

検出範囲の値および相対的なシーンカバレッジは、ターゲットのサイズ、ターゲットと背景の温度差、大気透過率、光透過率、レンズのF値、センサー感度、画像処理、表示特性、および選択された確率基準など、基礎的な前提条件を踏まえて解釈する必要があります。運用システムについては、DRIの推定値を、ミッション固有のモデリングおよび可能であれば実地試験によって確認する必要があります。

この比較は、SXGAサーマルイメージングの最も重要なメリットの一つを示しています。ターゲットに対するパフォーマンスを犠牲にすることなく、シーンカバレッジを拡大したり、同等の視野を維持しながら、増えたピクセル数を活用して検出レンジを改善することが可能になります。

ISR、境界監視、カウンターUASの用途において、検出レンジとシーンカバレッジを同時に拡大できる能力は、運用上の実質的な優位性をもたらす可能性があります。

ピクセルピッチが重要である理由

最新の高解像度サーマルカメラの裏側にある最も重要なエンジニアリング開発成果の一つは、ピクセルピッチの減少です。センサーの寸法は、次の2つの変数によって決まります。

センサー寸法 = ピクセルピッチ × ピクセル数

従来、解像度を上げるには、より大きなセンサーが必要でした。従来の12µmのピクセルピッチを使用する仮説上の1280×1024画素の熱検出器は、検出器の面積がVGAセンサーの約4倍であるため、相当に大きい光学系が必要です。

8 µmピッチのSXGAアーキテクチャなら、仮説上の12 µmピッチSXGA実装と比べて検出器の面積が約55%減少します。そのため、高解像度化に伴う光学的および機械的サイズのペナルティが抑えられます。

表4. VGA 12 µm検出器とSXGA 8 µm検出器のセンサーアーキテクチャの比較

SXGA検出器はVGA検出器より大きいですが、従来の12 µm SXGA実装で必要とされるサイズに比べれば、かなり小型です。この小型化こそが、SWaPに制約のあるプラットフォームにおいて、最新の高解像度サーマルイメージングの実用化を可能にします。

サーマルイメージングのパフォーマンスを決めるのは、解像度だけではありません。ノイズ等価温度差（NETDまたはNEdT）、信号対ノイズ比、光学系の透過率、レンズのF値、キャリブレーション品質、画像処理はすべて、感度と検出の信頼性に影響します。ピクセルを小さくすると、空間サンプリングが改善され、より細かいIFOVが可能になります。しかし、システム設計にあたっては、検出器、光学系、および処理チェーンが、目的とするミッションに対して十分な熱コントラストを維持しているかどうかも評価する必要があります。

光学系への影響

ピクセルピッチは、検出器のサイズ以外にも影響を与えます。それは光学設計に直接的に影響します。レンズは、検出器をカバーするのに十分な大きさの画像を投影する必要があります。一般に、検出器が大きくなると、より大きいレンズ素子や、より多くの光学材料（と、それに伴うレンズ重量の増加）が必要になります。これは機械的な体積の増大に直結します。

図3. LWIRサーマルカメラモジュールのコンポーネント

歴史的に見ると、VGAからメガピクセル級のサーマルイメージングへの移行すれば、光学系やそれを支えるペイロード構造が著しく大型化するのが一般的でした。ピクセルピッチを小さくすることは、そうしたペナルティを低減するのに役立ちます。8 µm技術は、検出器の寸法を縮小することで、以下の増大を抑制します。

• 光学的直径
• レンズの質量
• 統合ペイロード重量
• 熱的な制約を満たすサイズ
• 機械的な複雑性
• 安定化の要件

実質的な成果として、旧世代の高解像度センサーなら起こっていたであろう光学系の劇的な大型化を伴わずに、より高解像度のサーマルカメラをドローン、ハンドヘルド型デバイス、自律システム、ミサイル探索装置に組み込めるようになりました。下の図4は、Boson+およびBoson SX8カメラモジュールの実寸大画像です。焦点距離32mmのモデルで比較すると、同じようなサイズとなっています。

図4. 焦点距離32mmのVGAおよびSXGAモジュールのサイズと重量の比較

マシンビジョンと自律システム

高解像度化のメリットは、人間による観察の範囲にとどまりません。サーマルカメラが機械学習アルゴリズム、ターゲットトラッカー、自律システムへの入力として利用される機会が増えるにつれ、ソフトウェアが利用できる情報量がますます重要になっています。

ネイティブのSXGA解像度によって機械学習アプリケーションにもたらされる利点は、画像のアップスケーリングや超解像技法では完全には複製できない種類のものです。シーン情報の増加により、以下が改善されます。

• 物体の検出
• オブジェクトの分類
• マルチターゲットトラッキング
• センサーの融合
• 自律ナビゲーション
• エッジAIのパフォーマンス

組み込みシステムの場合、VGAからSXGAへの移行により、フレームあたりのピクセル数が約4×倍に増加します。これは、画像信号処理、動画エンコーディング、インターフェイス帯域幅、レイテンシ、ストレージ、エッジAIワークロードに影響を与える可能性があります。システムアーキテクトは、ホストプロセッサ、FPGA、GPU、AIアクセラレータが、プラットフォームの電力、熱、レイテンシの許容範囲内で、その追加データを処理できるかどうかを評価する必要があります。多くの防衛アプリケーションで、高解像度なセンシングによって得られる利点は、利用可能な計算リソース、データリンク容量、およびリアルタイムな意思決定の要件とのバランスが取れたものでなければなりません。Boson SX8などの新しい組み込み型サーマルカメラモジュールは、MIPI CSI-2などの高速デジタルインターフェイス、利用可能なGUI、およびエッジAIを実現するTeledyne FLIR OEMのインテリジェントな組み込みソフトウェアPrism™との互換性を通じて、こうしたワークフローをますます強力にサポートしています。

エンジニアリングの概要：ミッションへの解像度の適合

VGAからSXGAへの移行は、単に画質だけの問題ではありません。これにより、視野、ターゲット解像度、光学系のサイズ、処理要件、およびレンジパフォーマンス間のトレードオフが変化します。最適な選択は、ミッションの要件や、システムが熱データをどのように利用するかによって左右されます。

表5. VGAとSXGAサーマルイメージングにおけるシステムレベルのトレードオフ

解像度が高くなると、より多くの情報が得られますが、その情報は処理、送信、保存、利用する必要があります。エンジニアリングの観点から考えると、SXGAがより多くのデータを生成するかどうかではなく、その追加情報がアプリケーションに利益をもたらすかどうかが問題です。

VGAおよびSXGAサーマルイメージングの推奨用途

最高レベルのターゲット解像度や長距離での識別能力が要求されないミッションであれば、VGAは依然として優れたソリューションです。こうした用途では、VGAは多くの場合、処理要件、帯域幅、ストレージ、およびシステム全体の複雑性を最小限に抑えながら、十分な熱情報を提供します。

SXGAが最大の価値を発揮するのは、ターゲット解像度、シーンカバレッジ、またはマシンパーセプション（機械知覚）がミッションの成否に直接的な影響を及ぼす場合です。このような用途では、関連する処理、帯域幅、電力、熱、コストの要件に対応できるシステムなら、追加の空間情報、より広い視野、より豊富な機械学習入力によるメリットが得られる可能性があります。

表6. VGAおよびSXGAサーマルカメラの用途の例

NDAAおよびITARに関する考慮事項

防衛、政府、および国際的なOEMプログラムでは、解像度やパフォーマンスはシステム設計上の判断要素の一部に過ぎません。サプライチェーンの保証、調達適格性、輸出可能性、統合リスクも、カメラの選定に影響を及ぼす場合があります。NDAAに準拠し、ITARの規制対象外となるサーマルカメラモジュールは、調達の簡素化、より広範なプログラムへのアクセス、米国および同盟国のシステムインテグレーターによる管理の複雑さの軽減に役立ちます。輸出管理や調達上の制約を伴わずに、より高解像度のLWIRセンシングを必要とするプラットフォームの場合、こうした点はSXGAアーキテクチャを選定する上で重要な要因になります。

重要なポイントと結論

VGAとSXGAのどちらのサーマルイメージングを採用するかは、ミッション要件、システムアーキテクチャ、およびプログラムの制約に基づいて判断する必要があります。コスト、SWaP、コンピューティング負荷、帯域幅、統合の容易さ、レガシーとの互換性が主な考慮事項である場合、VGAは依然として実用的な選択肢です。長距離での識別、広いシーンカバレッジ、DRI能力の向上、自動的な検出・追跡・機械認識のための高密度なネイティブの熱画像データがミッションにおいて有利である場合、SXGAはより説得力のある選択肢となります。より微細な8 µmのピクセルは、従来の大型センサーに付随する検出器や光学系に関するペナルティを低減し、より高解像度のサーマルイメージングの実用化を後押しします。これにより、SWaPを最適化するSXGAサーマルカメラモジュールの設計が可能になります。

システム設計者の立場では、光学系、処理、帯域幅、電力、熱管理、コスト、調達、輸出可能性に関するプラットフォームの制約の範囲内で、SXGAによって得られる追加情報を、アプリケーションが効果的に活用できるかどうかか重要な問題です。そうしたトレードオフがミッションに適合する場合、SXGAは従来のVGAアーキテクチャと比べて重要な技術的優位性をもたらします。SWaPを最適化し、NDAA準拠、ITARの規制対象外である新しいSXGA Boson SX8の詳細については、oem.flir.com/bosonsx8をご覧ください。