Sony IMX490 CMOS Sensor: On-Sensor HDR for 24-bit Imaging
ソニーIMX490 CMOSセンサー: センサー搭載HDRによる24ビット画像処理
Sony IMX490 CMOS 센서: 24비트 이미징용 온-센서 HDR
Sony IMX490 CMOS-Sensor: kamerainternes HDR für 24-Bit-Bildgebung
はじめに
イメージセンサーは、機能の搭載や低照度感度の向上など、改良を続けていますが、アプリケーションエンジニアは、カメラとセンサーが提供できる限界に挑戦することで、付加価値を高める必要に迫られています。そのため、ホストPC上で画像の後処理を行うことが一般的です。一般的な後処理機能として、車載用など屋外アプリケーションでは高コントラストなシーンのためのハイダイナミックレンジ（HDR）処理などがあります。ソニーのIMX490 CMOSセンサーは、HDR処理をセンサー上で行うため、画像処理エンジニアはLUCIDのカメラ内で24ビット画像処理を活用することで容易にHDR画像を撮像することができます。
ハイダイナミックレンジ：これまでの方法
これまでのHDR撮影では、通常、露光時間の異なる複数の画像を1枚の画像に合成する方法が取られてきました。異なる露光設定により、ハイライト部とシャドー部で有効な画像を撮影することができます。例えば、露光時間を長くすると、シャドー部のデータを多く取り込むことができますが、その分ハイライト部が白飛びしてしまいます。逆に露光時間が短いと、ハイライト部で有効な画像は多く取れますが、シャドー部で有効な画像は取れません。最終的には、それぞれの露光から最適な画像を取り出し、HDR画像に合成します。
上図 ：従来のHDRは、それぞれ異なる露光時間を設定した複数の画像を組み合わせています。これらの画像は次々と撮影され、ホストPC上で処理され、1枚のHDR画像に合成されます。
ちなみに
従来のHDR撮影は、カメラのシーケンサー機能を使って行うことができます。シーケンサーは、カメラをプログラムして一連の画像を次々と撮影する機能です。使用するカメラにもよりますが、各画像は異なる解像度、ゲイン、露光などの設定を行うことができます。これらの画像は、ホストPCで処理することでHDR画像化することができます。
従来のHDR：動作のあるシーンには不向き
従来のHDR撮影は、動きの少ない静止画には適していますが、車載用途などの高速で被写体が移動するシーンでは、モーションアーチファクトが発生することがあります。モーションアーチファクトは、異なる露光が行われる間に被写体の位置が変化した場合に発生します。これは、各露光が異なる時間に次々と行われるためで、この露光間の遅延により、HDR後処理では、被写体がモーフィングまたはワープしているように見える画像が生成されます。
上図 ：従来のHDR処理では、複数の露光を次々に行うため、動きのあるシーンには不向きでした。これは、各露光時間のズレによるモーションアーチファクトが発生するためです。
最終的なHDR結果 モーションアーティファクト：
その結果、HDR画像には激しいモーションアーチファクトが発生しています。これは、車や建物の歪みを見ると明らかです。
IMX490：同時露光について
ソニーのIMX490 CMOSセンサーは、従来のHDR技術とは異なり、露光間の遅延がありません。実際、すべての露光は同じ長さに設定され、同時に行われます。これは、センサー内に大小の画素を持つサブピクセル技術（スプリットピクセル技術）と呼ばれる異なる受光感度をもつ素子構造によって実現されています。さらに、各ピクセルからは高低の異なるゲインで読み出すことができるため、1ピクセルあたり4つの12ビット信号情報を持つことになります。この4つの信号情報をセンサー上で処理し、1つのリニアな24bit HDR値として合成します。 (注：各画素の露光時間は大小で変更可能ですが、同一にすることを推奨します。)
上の写真 ：ソニーのIMX490センサーは、大小2種類の画素を持つだけでなく、各画素が2チャンネル出力（ハイゲイン、ローゲイン）を持っています。これにより、合計4つの露光を同時に行うことができます。上の写真 ：4つの信号情報をセンサー内で1枚の24bit HDR画像に合成します。
上の写真 ：4チャンネルのデータをオンセンサーで1枚の24bit HDR画像に合成します。
IMX490 ：フリッカーの低減
さらに、IMX490のサブピクセルで同時露光を行うことで、LEDのフリッカーが緩和されるメリットもあります。従来のHDRカメラの多くは、明るいシーンで撮影する場合、フォトダイオードの飽和を避けるために非常に短い露光時間に設定する必要があります。残念ながら、露光時間を短く設定してしまうと、LEDのフリッカー（LED電源の高速電圧変動により、LEDが素早く点灯と消灯を繰り返すこと）を捉えることとなってしまい、LEDが点滅した映像になってしまうことがあります。しかし、サブピクセル技術により、IMX490は必ずしもこのような短時間露光を行う必要がありません。低感度のサブピクセルの画像を使用することで長い露光時間でも飽和しないようにできるため、LEDのフリッカーが低減できるのです。
上図： 非常に短い露光時間では、交流30、50、60HzのLEDを撮影するとフリッカーが起きてしまいます。しかし、IMX490の低感度サブピクセルのおかげで、IMX490はより長い露光時間で撮影することができ、フリッカーを平均化することができます。
その仕組み ：画素構造
このセンサー設計には、画像ノイズを低減しながら全体の感度を向上させる技術も含まれています。IMX490は、フォトダイオードの下に配線層を設けたBSI（Back-Illuminated）センサーです。これにより、回路配線に邪魔されることなく、より多くの光をフォトダイオードに到達させることができ、感度が向上しています。また、サブピクセルごとに異なる大きさのマイクロレンズを搭載し、それぞれのフォトダイオードに光をよりよく集光させます。さらに、サブピクセル間の光クロストークや電荷のリークを防ぐため、深いトレンチを設け、遮光板を実装しています。この設計により、高い量子効率と120dB以上のダイナミックレンジを実現し、サブピクセルを合わせた飽和容量が120000e-となっています。
上図： センサーを拡大すると、サイズの異なる2つの画素が見える
2つのサブピクセルの拡大図（シミュレーション画像）
画素構造の断面図。 IMX490は、裏面照射型ローリングシャッター方式のCMOSセンサーです。
インタラクティブなグラフ–グラフのポイントにカーソルを合わせると、QE％が表示されます
| カラー EMVA 1288 分光感度特性 | |
|---|---|
| ダイナミックレンジ | 123.6 dB dB |
| 信号対ノイズ比 | 50.8 dB |
| 飽和容量 | 120000 e- |
| 絶対感度閾値 (Measured at 527.5nm) | 1.5 γ |
| 時間ダークノイズ（読み取りノイズ） | 0.54 e- |
| ゲイン | 9.83 DN24 / e- |
EMVA 1288 is the Standard for Measurement and Presentation of Specifications for Machine Vision Sensors and Cameras. For more information of the EMVA 1288 standard please visit http://www.emva.org/standards-technology/emva-1288/
ピクセルポテンシャル断面図と駆動シーケンス
IMX490は、サブピクセル1（SP1）とサブピクセル2（SP2）の両方に複数のフローティングディフュージョンを組み込んだユニークな設計になっています。露光は同時に行われますが、SP1とSP2からの信号は別々に出力されます。以下のアニメーションは、画素電位までの各段階と、画素駆動のシーケンスを示しています。
ステージ：
8) SP1、SP2 の電荷を全てリセットする。
1) 露光：両サブピクセル（SP1, SP2）を同時に露光する。
SP1 読み出し。
2) SP1 の低ゲインと高ゲインのリセットレベルをサンプリングする。
3) SP1 の高変換ゲイン用信号をサンプリングする。
4) SP1 のローコンバージョンゲインの信号をサンプリングします。
* SP1 のリセットレベルと信号レベルをサンプリングするため、このサブピクセルはノイズ除去のための CDS (Correlated Double Sampling) を行うことができます。
SP2読み出し。
5) SP2 の高変換利得をサンプリングします。
6) SP2 の低変換利得をサンプリングする。
7) SP2 のリセットレベルをサンプリングします。
* SP2の信号の後にリセットをサンプリングするため、SP2はCDSを行うことができません。SP2 の信号の後にリセットサンプリングを行うため、SP2 は CDS を行うことができず、デルタリセットサンプリングでノイズ対策を行います。
8) SP1、SP2 の電荷を全てリセットする。
次のステップへ ：LUCIDのTRI054S IMX490をArenaViewで使ってみる
LUCIDのArenaViewでのTRI054S-CCの使用方法をお探しの方は、ナレッジベースの記事をご覧ください。LUCIDのTRI054S IMX490のArenaViewでの使用について
このナレッジベース記事では、HDRチューニング、イメージエンハンスメント、デジタルクランプなど、TRI054S-CCで利用できるさまざまな機能やオプションについて解説しています。さらに、ビット深度表示の変更、LUTの調整、トーンマッピング（ガンマ）の切り替えについても解説しています。
動画資料
まとめ
ソニーのIMX490とLUCIDのTriton IP67カメラを組み合わせることで、120dBのHDR画像を実現し、シーンに非常に暗い部分と明るい部分の両方が存在する難しいアプリケーションに適しています。IMX490は、デュアルチャンネル出力によるサブピクセル技術により、4つの異なる露光を同時に実現し、モーションアーチファクトのないクリアで歪みのない撮影を実現します。また、同時露光により、従来のHDRカメラでは短時間の露光が必要だったシーンでも、長時間の露光が可能になり、LEDフリッカーを抑制することができます。LUCIDのTritonは、24bit ISPを搭載しており、IMX490センサーのすべての機能にアクセスし、微調整することができます。また、IP67のFactory Tough™設計により、Triton 5.4MPカメラは、先進運転支援システム（ADAS）や自律走行などの屋外アプリケーションや、自動溶接のガイドなどの産業アプリケーションに最適です。
価格とご注文は、Triton 5.4MP IMX490の製品ページでご確認ください。
