Sony DepthSense 3D Sensor Explained: Better Time of Flight
協業による進化
産業用途でToF（Time of Flight）技術はすでに実績があります。SonyのIMX556 DepthSense ToFセンサーの登場により、3Dセンシングの精度と再現性がさらに向上しました。独自のDepthSense画素構造により、反射光をリアルタイムに高いディテールで復調し、より高いフレームレートで安定した3D再構築が可能です。LUCIDのカメラ技術と組み合わせることで、DepthSenseは産業分野で最大のポテンシャルを引き出します。
Sony IMX556 DepthSense ToFの仕組み
ToFは、光源から放射された光が対象で反射しセンサーに戻るまでの時間差を測定する方式です。IMX556が採用するのは連続波（CW）変調で、位相シフト型、間接ToFとも呼ばれます。Heliosカメラは変調光を連続的に照射し、放射光と反射光の位相差から距離を算出します。正確な位相演算のため、IMX556はCurrent Assisted Photonic Demodulator（CAPD）画素を用い、照射光の変調に同期して入射光をサンプリングします。各画素のフォトダイオード内で交番電圧によりドリフト電界を形成し、電子を交互の検出接合へ効率よく引き分けます。下図の簡易例では、VCSEL（Vertical Cavity Surface Emitting Laser）からの変調光がフォトダイオードで電子に変換され、交互の検出接合に分配されます。これにより集光効率が高まります。
上図：CAPDの交番電圧は交番ドリフト電界を生成し、電子を2つの検出接合（b1, b2）に振り分けます。ドリフト電界はVCSELの変調周波数に同期し、2つの接合は180°の位相差で反射光を取り込みます。放射光と反射光を比較し、位相差を算出する仕組みです。
補足
Sony IMX556 DepthSense ToF センサー仕様：
- 背面照射型（BSI）CMOS
- 640 × 480 px
- グローバルシャッター
- 画素サイズ 10.0µm
- センサーサイズ 1/2″
補足
CAPD方式は2006年にベルギーのSoftkinetic創業メンバーにより提案され、2015年にSonyが買収しました。下図は “Time-of-flight Optical Ranging Sensor Based on a Current Assisted Photonic Demodulator” のCAPD図です。
Divide and Conquer
フォトダイオードで光子が電子に変換された後、正確な位相算出には電子を迅速に検出接合へ引き込む必要があります。各接合にはp+とn+領域があり、電流によりドリフト電界を生成すると、正孔（h+）は低電位のp+側へ、電子（e-）は高電位のn+側へ移動します。CAPDは高速かつ高コントラストで復調でき、到来時間に応じて電子を適切な接合へ振り分けます。これにより位相演算の品質が向上し、DepthSenseの精度と再現性が高まります。さらにドリフト電界はフォトダイオード深部まで到達し、できる限り多くの電子を加速して検出します。SonyのBSI技術と組み合わせ、850 nmで量子効率57%を実現します。Heliosは1 m時で精度5 mm未満、再現性2 mm未満を達成します。
左：CAPD断面図。電子（e-）は高電位のn+へ、正孔（h+）は低電位のp+へ移動。右：CAPDにより高いQE（850 nmで57%）と高い復調コントラストを実現。
1フレームと4つの位相
CAPDの高速性により、IMX556は各深度フレームで4位相（0°、90°、180°、270°）のマイクロフレームを取得します。各マイクロフレームはリセット、積分、読み出しの3段階で動作します。リセットで画素電位を基準に戻し、積分で電流によりドリフト電界を形成して電子を検出接合へ導き、読み出しで画素データを取得します。読み出し後は消費電力と発熱を抑えるためアイドルに入ります。
深度計算に必須なのは0°と90°のマイクロフレームです。対象距離が変わると、0°と90°におけるb1とb2の値も変化します。b1からb2を減算すると外光成分を容易に除去できます。ただし、光子から電子、電子から電圧への変換過程で微小なばらつきが生じ、b1とb2に影響します。0°と90°に対して180°ずらした2つのマイクロフレームを追加し、b1とb2を互いの180°側の値と加算すると、これらのばらつきを相殺できます。
各マイクロフレームでb1からb2を減算すると、外光成分を打ち消せます。
0°のb1と180°のb2（およびその逆）を加算すると、ダークオフセットやゲイン差などの感度差を打ち消した新しい量が得られます。
CAPDと背面照射型CMOS
CAPDはフォトダイオード内で効率よく復調し電子を集めますが、まずは入射光が遮られずにフォトダイオードへ届く必要があります。Sonyの背面照射型（BSI）技術は配線層をフォトダイオードの下側に配置し、入射光の妨げを低減します。これにより感度が向上します。
IMX556は不要なアーティファクトの低減にも寄与します。CMOSであるため、CCD ToFで発生しやすいスミアやブルーミングに強く、強い反射や高輝度光源がある環境でも誤った3Dデータを抑制できます。Heliosで採用するIMX556 CMOSは、こうしたアーティファクトの影響を小さく抑えます。
上図：CCDのブルーミング／スミア例
上図：CMOSではスミアがなく、ブルーミングも抑制
VCSEL：高性能光源
距離演算の鍵は照射光です。Heliosは4基のVCSELで変調光を照射し、850 nmの狭帯域で高いピーク出力と高速な立ち上がり／立ち下がりを実現します。高い復調コントラストに加え、可視域（380〜740 nm）を発しないため、同一システム内の2Dカメラへの干渉を抑えます。エッジエミッタとは異なり、VCSELはコヒーレンスが低く、スペックルの少ない画像が得られます。高ピーク出力によりフォトン数が増え、外光耐性が高まり、距離演算の精度が向上します。
上図：HeliosのVCSELは850 nm付近で十分な光量を供給し、IMX556 CMOSの量子効率56.6%（850 nm）を最大限活用します。
補足
Helios ToFカメラは4基のVCSELをフロントに実装しています。白い小さな四角が各コーナー付近のエミッタです。
上図：VCSELはLEDより立ち上がり／立ち下がりが速く、IMX556のようなCW位相シフト型ToFセンサーに適した光源です。高い変調周波数で短距離の精度と再現性が向上します。
まとめ
Sony IMX556 DepthSense ToFは、産業用途で信頼性の高い高精度3D計測を実現します。革新的なCAPDとSonyのBSI CMOSの融合により、カメラインテグレーションに最適な選択肢となります。IMX556を搭載するLUCID Heliosは、4基のVCSELによる高コントラスト照明と産業グレードの筐体を備え、0.3〜1.5 mで精度5 mm未満、1 mで再現性2 mm未満を達成します。
Helios2 / Helios2+ / Helios2 Wide / Helios2 Ray：Sony DepthSense搭載ToFカメラ
Helios2 Time of Flight 3D カメララインアップ
Helios2は4基の850 nmまたは940 nm VCSELレーザーダイオードを搭載し、SonyのDepthSense™ IMX556PLR BSI ToFイメージセンサーを採用した高精度3D ToFカメラです。640 × 480の深度解像度で最大8.3 mの動作距離に対応します。オンカメラ処理によりレンジ、強度、信頼度データを出力し、ホスト側の負荷を低減します。IP67、防振・耐衝撃、EMC耐性、M12 Ethernetコネクタにより、工場や倉庫の環境に適しています。Helios2 3D ToFカメラ製品ページを見る
