オンセンサーAI処理によるスマート化
目次
ソニーIMX501：視覚とAIを融合した次世代センサー
オンセンサーAIと従来の処理方式の比較
従来のマシンビジョンセンサーは、通常、生の画像データをキャプチャし、処理と解析にはPCやクラウドサーバーなどの外部システムに依存していました。この方法は、大規模で複雑なAIモデルの運用を可能にし、高度な前処理・後処理にも対応できる一方で、多くのユーザーにとっては過剰なスペックとなる可能性があります。さらに、追加のレイテンシーが発生し、消費電力や帯域幅の要件が増加し、システム全体の複雑性およびコストの上昇につながります。
対照的に、AI処理をセンサー内に直接統合することで、データ処理の効率と意思決定のスピードが向上し、ホストPCのリソースを他のタスクに活用することが可能になります。機器内で動作する機械学習アルゴリズムにより、大量の画像データを中央システムへ転送する必要がなくなり、即時の推論処理が可能となります。処理リソースは限定的であるものの、このアーキテクチャは多くの実用的なユースケースにおいて十分な性能を発揮し、大多数のユーザーのニーズに応えることができます。その結果、応答速度の向上、帯域幅使用量の削減、そしてより小型でコスト効率の高いシステムが実現します。
積層型AIセンサーアーキテクチャ
SonyのIMX501は、新世代のインテリジェントセンサーを代表する製品です。12.3メガピクセル（4056 x 3040ピクセル）の裏面照射型CMOSローリングシャッターセンサーであり、オンセンサーAIエンジンを搭載し、統合された畳み込みニューラルネットワーク（CNN）プロセッサによりAI処理を実現します。
AI処理を構成する主なコンポーネントには、CNN入力画像の前処理を行うISP（イメージシグナルプロセッサ）、CNN演算を担うDSP（デジタルシグナルプロセッサ）サブシステム、そしてCNNの重みや実行時データを格納するための8MBのL2 SRAMが含まれます。これらのAIコンポーネントは独立したダイ上に構成され、上部の画素アレイセンサーを搭載したダイの下に積層されています。
この積層アーキテクチャにより、IMX501上でのAI推論はセンサーパッケージ内で完結し、2つのダイ間での高速な画像データ転送が可能になります。これにより、最大解像度で毎秒約30フレームの内部処理速度が実現されています。ただし、実際の画像読み出し性能は、センサーとカメラのFPGA間の帯域幅に依存します。また、CNN推論時間はAIモデルの複雑さとサイズによって異なります。さらに、1GigEカメラインターフェースにより、画像出力および処理の最大データ転送速度に上限がある点にも注意が必要です。
IMX501の積層型センサーとAIダイにより、12.3MPで約30fpsの高速オンパッケージデータ転送が可能。ただし、実際の性能はセンサーとFPGA間の帯域幅、AIモデルの複雑さ、1GigEインターフェースの制限に依存します。
| Triton Smartカメラのフレームレート（最大FPS） | 7.9 FPS（12.3MP・フル画像・物体検出） 29 FPS（4×4画像・物体検出） 8.0 FPS（12.3MP・フル画像・分類／異常検知） 30 FPS（4×4画像・分類／異常検知） |
効率的なAI推論を実現する並列DSPコア
AI処理の主要エンジンは、DSPサブシステム・コアです。このコアは、高演算集約型（High-Computation-Intensity：High-CI）DSPコア、標準演算集約型（Standard-CI）DSPコア、およびTensor DMA（TDMA）で構成されています。High-CIとStandard-CIのDSPは並列で動作し、ニューラルネットワーク演算を実行しながら、データを直接TDMAに転送し、その後L2メモリへと格納します。画像データおよび推論結果は、MIPIインターフェースを通じてカメラのFPGAへ送られます。
このセンサーアーキテクチャにより、IMX501は電力効率に優れたAI推論を実現し、フル解像度処理時でも消費電力はわずか約280mWに抑えられます。すべての推論処理は完全にオフラインで実行されるため、インターネット接続やクラウド連携を一切必要としません。この特性により、外部依存や障害リスクを最小限に抑える必要のある、完全独立型のネットワーク環境（いわゆるエアギャップ環境）を求める自動化用途に最適です。
Brain Builder for AITRIOS：ディープラーニングの専門知識なしで高精度モデルを構築
IMX501のオンセンサーAI機能を最大限に活用するためには、センサーの厳しいメモリ制約に対応した最適なソフトウェアパイプラインが不可欠です。Triton Smartカメラは、Neurala社のBrain Builderの特別版「Brain Builder for AITRIOS」を活用しています。このAIモデル学習プラットフォームは、AIモデルの生成だけでなく、モデルの枝刈り、圧縮、アーキテクチャの調整といった手動での最適化作業を不要にします。ユーザーは、クラスごとにわずか50枚の画像から、高精度な分類および物体検出モデルを構築できます。ソフトウェアは、最適なニューラルネットワークアーキテクチャを自動的に選定し、Triton Smartへのシームレスな統合を実現します。これにより、ディープラーニングの専門知識がなくても、効率的かつ容易にAIモデルの開発が可能となります。
ユーザーは画像データセットをアップロードし、クラスを定義してラベル付けを行います。モデル学習を開始する前に、ラベル付けされたクラス数を確認できます。
（上記の動画では、Brain Builderソフトウェアパッケージに含まれるサンプルデータセットを使用しています。わかりやすさと視聴の利便性を高めるため、一部の工程は早送りおよび編集されていますが、重要な情報はすべて含まれています。）
Brain Builder for AITRIOSでモデルを作成する基本的な手順は以下の通りです：① プロジェクトに名前を付ける, ② モデルタイプを選択する, ③ 画像をアップロードする, ④ クラス（ラベル）を作成する, ⑤ 画像にアノテーションを行う, ⑥ 学習の網羅性を選択し、モデルを学習させる
Triton Smartカメラ — エッジで活躍する堅牢なAIカメラ
29 x 29 mm
67 grams
M12 / M8 Connectors
-20°C to 55°C Ambient
LUCIDのTriton Smartカメラは、IMX501センサーをコンパクトかつ軽量な筐体（67g、29×29mm）に統合しており、産業用途に適した設計となっています。耐久性に優れた2ピース構造のアルミ筐体は、4本のM2ネジでしっかりと固定されており、堅牢なM12およびM8コネクタにより、EthernetおよびGPIO接続の信頼性を確保しています。粉塵や水分の多い環境に対応するため、IP67等級のレンズチューブ（オプション）を装着することで、追加の筐体を必要とせずに保護性能を向上させることが可能です。
周囲温度範囲（-20°C～55°C）での動作に対応し、衝撃や振動にも耐えられるよう設計されたTriton Smartは、工場の製造現場、物流センター、さらには屋外設置環境においても、長期的な使用に適した堅牢なカメラです。
デュアルISP
Triton Smartは、AI処理と画像処理を同時に実行できるデュアルISP設計を採用しています。IMX501センサーに内蔵されたISPは、撮影した画像をAIエンジン用の入力テンソルに前処理します。AIモデルの種類に応じて、入力テンソルの仕様は異なります。たとえば、分類モデルでは256×256ピクセル、物体検出モデルでは320×320ピクセル、異常検知モデルでは512×512ピクセルとなっています。AIによる推論が行われた後、出力テンソルが生成されます。入力テンソルおよび出力テンソルには、それぞれAI解析の結果が含まれています。
一方で、RAWデータはカメラ内のFPGAにあるセカンダリISPにルーティングされ、通常のマシンビジョンカメラと同様の画像処理が行われます。AIによる推論結果はチャンクデータとして画像に埋め込まれ、最終画像と一体化されてホストPCに送信されます。これにより、視覚出力とメタデータが1つのデータストリームで提供されます。カメラは3つの出力オプションを備えており、①通常の画像、②AIエンジンに送信されるダウンサンプリングされた入力テンソル、③推論結果の出力テンソル、のいずれかを選択できます。フレームレートの向上が求められる用途では、通常画像を4×4ピクセルまで縮小し、入力/出力テンソルのみを受け取る構成も可能です。AI推論結果とともにフル解像度（4056×3040ピクセル）で動作した場合、出力は約8.3 FPSになりますが、通常画像を4×4ピクセルに縮小すれば、最大30 FPSでのAI推論が可能です。
このデュアルパスアーキテクチャにより、標準的なカメラの画像処理機能（ゲイン、ガンマ、ブラックレベル、ホワイトバランス、LUT、CCM、ピクセル補正、色相、彩度、色空間変換、ROI など）を犠牲にすることなく、高品質なイメージングとリアルタイムAI推論を並行して実行することが可能になります。
実際の用途
カメラ内でAI推論を直接実行できるTriton Smartは、低遅延、オフライン対応、省電力が求められる用途に最適です。
主なユースケースは以下の通りです：
スマート製造：インラインでの欠陥検出、部品の検証、予知保全
小売およびスマートキオスク：在庫管理、棚の分析、無人レジシステム
物流・倉庫業：リアルタイムの荷物仕分け、ラベル読み取り、棚卸し確認
アクセス制御・公共安全：侵入検知、人数カウント、安全区域の監視
AIをデータソースに近づける
オンセンサーAI処理は、エッジにおける可能性を再定義しています。Triton SmartはハイパフォーマンスなAIサーバーの代替を目的としたものではありませんが、多くの産業用および組み込みアプリケーションにおいて、効率性と性能のバランスに優れたソリューションを提供します。センサー内でリアルタイムな意思決定を可能にすることで、LUCIDのTriton SmartとソニーのIMX501のようなソリューションは、システムの複雑性を低減し、応答性を向上させ、クラウドやホストインフラに依存しない運用を実現します。AITRIOS向けBrain Builderのような直感的なツールと組み合わせることで、このアプローチはマシンビジョンにおけるAI導入のハードルを下げ、より多くのユーザーにインテリジェントな自動化の実現をもたらします。
AITRIOS向けBrain Builderで作成したAIモデルは、ArenaView MPを使用してTriton Smartにロード可能です。ArenaView MP上では、リアルタイムのAI推論結果を視覚的に確認できます。
