データソースでよりスマートに：センサー内AI処理
目次
Sony IMX501：ビジョンとインテリジェンスを1つのパッケージに
センサー内AIと従来型処理の比較
従来のマシンビジョン用イメージセンサーは通常、RAW画像データを取得し、その処理や解析をPCやクラウドサーバーなどの外部システムに依存します。この方式は、大規模で複雑なAIモデルに対応でき、より高度な前処理・後処理も可能ですが、多くのユーザーにとっては必要以上の構成となる場合があります。また、追加のレイテンシーが発生し、消費電力や帯域幅の要件が増えるほか、システムの複雑さとコストも大幅に増加します。
これに対して、AI処理をセンサー自体に直接統合することで、データ処理効率と判断速度を高めると同時に、ホストPCのリソースを他の処理に割り当てることができます。デバイス上で機械学習アルゴリズムを実行することで、より即時性の高い推論が可能となり、大量の画像データを中央システムへ転送する必要もありません。演算リソースは比較的コンパクトでありながら、このアーキテクチャは多くの実用的な用途で効率的かつ十分な性能を発揮し、多くのユーザーの要件に対応できます。その結果、応答の高速化、帯域幅使用量の削減、そしてより小型でコスト効率の高いシステムを実現できます。
積層型AIセンサーアーキテクチャ
SonyのIMX501は、この新しいインテリジェントセンサーの代表例です。12.3 MP（4056 x 3040 px）の裏面照射型CMOSローリングシャッターセンサーで、畳み込みニューラルネットワーク（CNN）プロセッサを統合したセンサー内AIエンジンを搭載しています。主なAI処理コンポーネントは、CNN入力画像の前処理を行うISP、CNN演算を担うDigital Signal Processor（DSP）サブシステム、CNNの重みと実行時データを保存する8 MBのL2 SRAMで構成されています。AIコンポーネントは別のダイに実装され、上層のダイ（画素アレイセンサー）の下に積層されています。この積層アーキテクチャにより、IMX501のAI推論はセンサーパッケージ内で完全に実行され、2つのダイ間で画像データを高速転送することで、フル解像度時に内部で約30フレーム/秒の処理レートを実現します。ただし、実際の画像読み出し性能はセンサーとカメラFPGA間の帯域幅に依存し、CNNの推論時間はAIモデルの複雑さとサイズによって変化します。さらに、全体のスループットは1GigEカメラインターフェースによって制限され、画像出力と処理に使用できる最大データ転送レートにも上限があります。
IMX501の積層されたセンサーダイとAIダイにより、12.3 MPで約30 fpsの高速なパッケージ内データ転送が可能です。ただし、実際の性能はセンサーとFPGA間の帯域幅、AIモデルの複雑さ、1GigEインターフェースの制約に左右されます。
| Triton Smart フレームレート（最大FPS） |
7.9 FPS @ 12.3 MP（物体検出＋フル画像） 29 FPS（物体検出＋4×4画像） 8.0 FPS @ 12.3 MP（分類 / 異常検知＋フル画像） 30 FPS（分類 / 異常検知＋4×4画像） |
効率的なAI推論を実現する並列DSPコア
AI処理の主要エンジンはDSPサブシステムコアです。このコアは、High-Computation-Intensity（CI）DSPコア、Standard-CI DSPコア、Tensor DMA（TDMA）で構成されています。High-CI DSPとStandard-CI DSPは並列に動作し、ニューラルネットワーク演算を実行すると同時に、データを直接TDMAへ送り、その後L2メモリへ転送します。画像データと推論データは、その後MIPIインターフェースを介してカメラのFPGAへ転送されます。
CNNプロセッサには、High-CI DSPコアとStandard-CI DSPコアの両方が搭載されています。各DSPコアには、複数のProcessing Element（PE）、Memory-Access Element（ME）、レジスタ（RE）が含まれています。このアーキテクチャにより、分類、検出、異常検知モデルを効率的に実行するために十分な演算性能を確保しています。
Standard-CI DSPコアは、汎用的、不規則、逐次的なタスク向けに最適化されており、High-CI DSPコアを演算負荷の高い処理に専念させることができます。Standard-CIコアはメモリアクセス要求の高いワークロードを処理するため、より多くのMemory Engine（ME）を搭載しています。
High-CI DSPコアは、畳み込みや行列演算などの高スループット処理向けに最適化され、データを効率的に再利用することでメモリアクセスを最小限に抑えます。そのため、より多くのProcessing Element（PE）と、より大きなレジスタ（RE）容量を備えています。
このセンサーアーキテクチャにより、IMX501は電力効率に優れたAI推論を実現し、フル解像度処理時の消費電力は約280 mWに抑えられます。すべての推論処理は完全にオフラインで実行され、インターネット接続やクラウド接続を必要としません。そのため、外部依存や障害要因を低減する目的で、外部ネットワークから分離された自己完結型のエアギャップ環境が求められる自動化システムにも適しています。
Triton Smart向けオープンソースAIモデル開発
IMX501のセンサー内AI機能を活用するには、モデルを学習・量子化し、センサーのAIプロセッサとメモリ制約に最適化された形式へ変換する必要があります。LUCIDのTriton Smart開発ワークフローは、SonyのオープンソースIMX500 Model Zooをベースにしています。IMX500 Model Zooは、IMX500/IMX501プラットフォーム向けニューラルネットワークモデルの学習と量子化に使用するサンプルスクリプトやツールをまとめたものです。SonyのModel Zooには、画像分類、物体検出、異常検知、姿勢推定、セマンティックセグメンテーションなどのタスク向けモデルアーキテクチャが含まれています。
LUCIDは、Triton Smart対応モデルの作成に必要なツールを収録した、事前設定済みのGoogle Cloud Platform（GCP）仮想マシンを提供しています。このVMには、IMX500 Model Zooの学習サンプルやDockerベースの環境を含む、すぐに使用できる開発環境が用意されているため、開発者はソフトウェアツールチェーン全体を手動で構成することなく学習を開始できます。たとえば、LUCIDが用意したMobileNetV2分類サンプルから始めることも、サンプルの学習画像を独自のデータセットに置き換えてカスタム分類モデルを作成することもできます。
学習中にモデルは最適化および量子化され、ニューラルネットワークの数値精度を下げることで、IMX501に内蔵されたAIハードウェアと利用可能な8 MBメモリ内で効率的に動作できるようにします。Triton Smartワークフローでは量子化済みモデルが生成され、その後Triton Smart Model Converterによって処理されます。Triton Smart Model Converterは、学習済みネットワークをカメラで必要となるファイルに変換します。これらのファイルはVMからホストPCへダウンロードされ、ArenaView MPを使用してTriton Smartへアップロードされます。
このワークフローにより、オープンソースの開発環境を利用しながら、開発者はデータセット、モデル設定、学習プロセスをより柔軟に管理できます。導入後は、最適化されたモデルがIMX501上で直接推論を実行するため、Triton Smartはクラウドやホスト側での推論に依存せず、独立してAI処理を行うことができます。
Triton Smart：産業環境に対応するエッジAI
29 x 29 mm
67 g
M12 / M8コネクタ
周囲温度 -20°C～55°C
LUCIDのTriton Smartカメラは、IMX501を産業環境向けに設計された小型・軽量筐体（67 g、29 x 29 mm）に搭載しています。堅牢な2ピースアルミニウム筐体は密閉構造で、4本のM2ネジによって確実に固定されています。また、堅牢なM12およびM8コネクタにより、EthernetとGPIOを安定して接続できます。粉塵や水分のある環境では、オプションのIP67対応レンズチューブを使用することで、別途保護筐体を用意することなく追加の保護性能を確保できます。
周囲温度-20°C～55°Cの広い動作温度範囲に対応し、耐衝撃・耐振動設計を採用したTriton Smartは、工場の製造現場、物流センター、屋外設備などでの長期運用を想定して設計されています。
デュアルISP
Triton Smartは、AI処理と画像処理を同時に実行できるデュアルISP設計を採用しています。IMX501センサー内蔵のISPは、取得した画像をAIエンジン用の入力テンソルへ前処理します。AIモデルごとに入力テンソルの仕様は異なり、分類は256 x 256ピクセル、物体検出は320 x 320ピクセル、異常検知は512 x 512ピクセルです。推論後には出力テンソルが生成され、両テンソルにAI解析結果が含まれます。
一方、RAW画像データはカメラFPGA内の第2のISPへ送られ、標準的なマシンビジョンカメラと同様の従来型画像処理が行われます。AI結果はチャンクデータとして埋め込まれ、最終画像と組み合わせて、画像出力とメタデータを1つのデータストリームでホストPCへ送信します。カメラには3つの出力オプションがあります。通常画像、入力テンソル（AIエンジンへ送信されるダウンサンプリング画像）、出力テンソル（推論結果）です。より高いフレームレートやプライバシー強化が必要な用途では、入力 / 出力テンソルを受信しながら、通常画像を4 × 4ピクセルまで縮小することもできます。フル解像度（4056 × 3040 px）画像とAI推論結果を同時に出力する場合は8.3 FPS、通常画像を4 × 4ピクセルに縮小した場合は、AI推論を行いながら最大30 FPSを実現できます。
このデュアルパスアーキテクチャにより、高品質な画像取得とリアルタイムAI推論を並列に実行しながら、ゲイン、ガンマ、ブラックレベル、ホワイトバランス、LUT、CCM、ピクセル補正、色相、彩度、色空間変換、ROIといった標準的なカメラ画像処理機能も利用できます。
実際のアプリケーション
AI推論をカメラに直接組み込んだTriton Smartは、低レイテンシー、オフライン動作、電力効率が重要となるアプリケーションに最適です。
主な用途：
- スマート製造：インライン欠陥検出、部品確認、予知保全。
- 小売・スマートキオスク：在庫追跡、棚分析、無人決済システム。
- 物流・倉庫：リアルタイムの荷物仕分け、ラベル読み取り、収納ビンの照合。
- 入退室管理・公共安全：侵入検知、人数カウント、セキュアエリア監視。
AIをデータソースのより近くへ
センサー内AI処理は、エッジで実現できる可能性を大きく広げています。Triton Smartは高性能AIサーバーの代替を目的としたものではありませんが、多くの産業用途や組み込み用途において、効率と処理能力の優れたバランスを提供します。Sony IMX501を搭載したLUCIDのTriton Smartのように、センサー内でリアルタイムに判断できるソリューションは、システムの複雑さを低減し、応答性を高めるとともに、クラウドやホストのインフラから独立して動作できます。さらに、オープンソースのモデル開発ワークフローと組み合わせることで、開発者はセンサー内推論向けAIモデルの学習、最適化、導入をより柔軟に行うことができ、より幅広いマシンビジョンアプリケーションへのインテリジェントオートメーション導入を可能にします。
