コントラストの変化を感知する
目次
バイアスイベント閾値、バイアスフィルターカットオフ、バイアス不応期、関心領域（ROI）などの調整機能により、センサーの感度と応答を正確に制御できます。さらに、アンチフリッカーフィルター、イベントバーストフィルター、イベントレートコントロール（ERC）などのフィルターは、不要なイベントを減らす上で重要な役割を果たします。これらの機能を調整することで、ユーザーは感度を微調整し、冗長なイベントを排除し、最も関連性の高いデータのみを出力することができます。
これらの機能の詳細に入る前に、従来のエリアスキャンカメラとTriton2 EVSイベントベースカメラの比較、およびイベントベースセンサーの機能について概要をご説明します。
Area scan カメラ
センサー上のすべてのピクセルは、光の輝度を順次（グローバルシャッターの場合は同時に、ローリングシャッターの場合は行ごとに）キャプチャします。その後、カメラはこのデータを処理して画像フレームを作成します。
Event-based カメラ
各ピクセルは独立して動作し、輝度（明るさ）の変化を検出し、変化が設定された閾値を超えた場合に座標（x, y）、極性（p）、およびタイムスタンプ（t）を出力します。イベントベースのセンサーにはシャッターやフレームの概念がなく、変化を検出したピクセルのみがデータを送信するため、全体の出力データが削減されます。
イベントベースのピクセルとセンサーの動作
IMX636/637イベントベースビジョンセンサーでは、ピクセルアレイ内の各ピクセルが独立して入射光の輝度を監視します。これを行うために、ピクセルはまず光を電圧に変換します。この電圧は、コントラスト変化の周波数（時間分解能）を制御するローパスおよびハイパスフィルターを通過します。その後、電圧は基準電圧と比較され、デルタが計算されます。このデルタは閾値チェックに送られます。この閾値チェックは、通過を許可されるコントラスト変化のレベルを制御します。輝度が正の閾値を超えると、正のイベント（暗から明）が生成され、輝度が負の閾値を下回ると、負のイベント（明から暗）が生成されます。このイベントデータの正または負の特性は、イベントの極性と呼ばれます。イベントが生成されると、ピクセルは基準電圧を新しい輝度レベルにリセットします。以下のアニメーションは、フィルターと閾値の位置とともに、ピクセル処理の主要な段階を説明しています。
補足:
IMX636/637センサーのピクセルが入射光を電圧に変換すると、それは読み出しブロックに送られます。
1. 読み出しブロックは、イベントにX/Y座標とタイムスタンプを追加します。
2. 信号処理ブロックがイベントをフィルタリングします（オプション）。
3. イベントデータはEVT 3.0形式でエンコードされ、出力されます。
2. 信号処理ブロックがイベントをフィルタリングします（オプション）。
3. イベントデータはEVT 3.0形式でエンコードされ、出力されます。
Triton2 EVSとPCソフトウェアの連携方法
イベントベースの信号を閾値フィルターで処理した後、イベントは追加のオプションフィルター（アンチフリッカーフィルター、イベントバーストフィルター、イベントレートコントロール）を通過します。これらのフィルターについては、記事の後半で詳しく説明します。イベントがこれらのフィルターを通過した後、Triton2 EVSカメラはイベントデータをPropheseeが考案した圧縮16ビット形式のEVT 3.0*にエンコードします。このデータはGigE Vision Streaming Protocol (GVSP)を使用してネットワーク経由で送信されます。GVSPはマシンビジョンカメラのイーサネット上でのデータ送信のための標準規格です。
このデータがホストPCに到達すると、抽出され、LUCIDのArenaソフトウェア開発キット（SDK）を使用して処理できます。Arena SDKは、ユーザーがイベントデータをさまざまな方法で処理できるようにします。XYPT形式のデータをデコードしてさらに処理したり、CDフレーム（ArenaViewを介してデータを視覚化）を生成したり、元のEVT 3.0形式のまま保持したりできます。さらに、ユーザーはPropheseeのMetavision SDKを使用するオプションもあります。Metavision SDKを使用する場合、Triton2 EVS用のHALプラグインが制御コマンドをTriton2 EVSが理解できる形式に変換します。これにより、Metavision SDKのユーザーはTriton2 EVSの制御の詳細について心配する必要がなくなり、プラグインがそれを処理します。
最後に、カメラとセンサーを制御するためにGenICamノードが使用されます。GenICamは、機械視覚カメラ用の汎用プログラミングインターフェースを提供する標準であり、通常のGigE Visionカメラを制御するのと同様に、一貫した方法で制御しやすくします。
イベントデータの視覚化: CDフレーム
前のセクションで述べたように、LUCIDのArena SDKがEVT 3.0データを処理する方法の1つは、CDフレーム（コントラスト検出フレーム）と呼ばれる個々の画像フレームに変換することです。これはLUCIDのArenaView GUIを使用して表示できます。CDフレームは、特定のフレーム期間内にXY座標上の正および負のイベントをプロットします。これはイベントデータを視覚化する最も簡単で迅速な方法ですが、CDフレームにはいくつかの制限があります。フレーム期間内に同じピクセルの複数のアクティベーションを表現することはできず、フレーム期間内のタイミングを表現することもできません。ArenaView（Arena SDKの一部）およびMetavision Studio（Metavision SDKの一部）の両方が、CDフレームを使用してイベントデータを視覚化できます。
このビデオは、ArenaViewを使用してCDフレームを表示すると、ターゲットが静止しており、コントラストの変化が最小限であるため、検出されるイベントはわずかです。
このビデオは、a) 人の動きと b) 黒いセーターと白い壁の大きなコントラストにより、多数のイベントが検出される様子が示されています。
生成されたイベント（コントラスト変化）は、正のイベント（暗から明）または負のイベント（明から暗）に対応します。これはイベントの極性として知られています。
バイアスとフィルターの概要
以下のセクションでは、イベントの微調整を可能にするTriton2 EVSカメラのバイアス、フィルター、およびその他の機能の詳細について掘り下げます。以下の表は、各機能がカメラの出力にどのように影響するかをまとめたものです。バイアス/フィルター名をクリックすると、その特定のセクションにジャンプできます。
| Bias / Filter Name | Description | Bias Decrease / Filter Off | Bias Increase / Filter On |
|---|---|---|---|
| Bias Low Pass Filter Cutoff | Defines how the camera filters out rapid contrast changes. | Removes high-frequency changes. Increases latency. Reduces background rate, noise, and event rate. | Keeps high-frequency changes. Improves pixel latency. Increases the background rate. |
| Bias High Pass Filter Cutoff | Defines how the camera filters out slow changes in contrast. | Preserves low-frequency changes and slow motion. Increases event rate and noise. | Removes low-frequency signals. Removes slow motion. Decreases event rate and noise. |
| Bias Event Threshold Positive | Defines how sensitive each pixel is to positive contrast (dark to light) changes. | Increases background rate. Improves pixel latency. | Decreases sensitivity. Decreases background rate. Reduces event rate. |
| Bias Event Threshold Negative | Defines how sensitive each pixel is to negative contrast (light to dark) changes. | Increases background rate. Improves pixel latency. | Decreases sensitivity. Decreases background rate. Reduces event rate. |
| Bias Refractory Period | Controls the amount of time the pixel sleeps after an event. | Reduces the number of events triggered by a large contrast change. | Improves pixel availability. More events are triggered by a large contrast change |
| Region of Interest (ROI) | Isolates width and height regions with X and Y offsets of the senor for sensing. Can also be inverted to mask sections. | The full resolution of the sensor is used to detect event data. | Can be used in Window Mode (one ROI region), Arbitrary Row/Column Specification Mode, or both. This reduces the overall event rate. |
| Anti Flicker Filter | Eliminate flickering in a specified frequency range. (ie from LEDs or fluorescent lights). | Flickering light is captured and increases event rate. | Flickering lights will be removed, reducing event rate. Filter can also be inverted to capture only the flickering light. |
| Event Burst Filter | Removes redundant events from a burst of events with the same polarity. | No events are filtered. | The TRAIL filter only outputs the first event of a burst. The STC filter outputs the second event of a burst or the second event to the end of a burst. |
| Event Rate Control (ERC) | Event rate control (ERC) drops events to keep the output event rate below the target event rate. | The camera processes all detected events. Can lead to data overflow if too many events saturate the data bandwidth connection. | Events are dropped if the rate exceeds the target during each 200 µs period after filtering. |
バイアスローパスフィルターカットオフ
バイアスハイパスフィルターカットオフ
検出されるコントラスト変化の周波数を調整するために、各ピクセルにはバイアスローパスフィルターカットオフとバイアスハイパスフィルターカットオフが備えています。
バイアスローパスフィルターカットオフは、ローパスフィルターのカットオフ周波数を調整し、カメラが急速なコントラスト変化をどのようにフィルタリングするかを決定します。この値を下げると、高周波変化が除去され、レイテンシが増加し、バックグラウンドレート、ノイズ、およびイベントレートが減少します。この値を上げると、高周波変化が保持され、ピクセルのレイテンシが改善され、バックグラウンドレートが上昇します。
バイアスハイパスフィルターカットオフは、ハイパスフィルターのカットオフ周波数を調整し、カメラが遅いコントラスト変化をどのようにフィルタリングするかに影響を与えます。この値を下げると、低周波変化とスローモーションが保持され、イベントレートとノイズが増加します。この値を上げると、低周波信号とスローモーションが除去され、イベントレートとノイズが減少します。
バイアスローパスフィルターカットオフを下げると、イベントのレイテンシと変動が増加しますが、上げると影響は最小限です。バイアスハイパスフィルターカットオフを上げると、遅いコントラスト変化によって引き起こされるイベントが減少します。これらの調整により、特定のアプリケーションニーズに基づいてカメラの性能を微調整し、イベント検出の精度を向上させたり、ノイズを減少させたりすることができます。
バイアスローパスフィルターカットオフの例（画像をクリックして拡大）
負の値:
(デフォルト値から減少させる)。
値を減少させるとノイズが減少しますが、イベントの遅延と遅延の変動が増加します。
デフォルト (=0):
一般的に、これは従来のエリアスキャンセンサーの露光時間に似た機能を果たし、速い動きを捉える能力とノイズの増加とのバランスを取ります。
正の値:
(デフォルト値から増加させる)。
値を増加させると遅延が改善されますが、テストではデフォルトからノイズが大幅に増加しないことが示されています。
バイアスハイパスフィルターのカットオフ例 (画像をクリックして拡大)
デフォルト (=0):
画像をクリックして拡大
正の値:
(デフォルト値から増加させる)
さらに正の値:
(デフォルト値から増加させる)
値を増加させることで、遅いコントラスト変化によって引き起こされるイベントの数が減少します。
バイアスイベント閾値（正）
バイアスイベント閾値（負）
これらの2つのバイアスイベントしきい値は、コントラスト変化に対する感度を決定し、イベント信号がトリガーされるために必要な変化の強度を設定します。バイアスイベントしきい値には、正と負の主に2つの種類があります。
バイアスイベントしきい値（正）は、ONイベントの感度（正のイベントを生成するために必要な光の増加量）を制御し、通常は白いピクセルで表されます。このしきい値を下げると、正のイベントの数が増え、白いピクセルが増加します。この値を上げると感度が低下し、表示される白いピクセルが減少します。
バイアスイベントしきい値（負）は、OFFイベントの感度（負のイベントを生成するために必要な光の減少量）を制御し、通常は黒いピクセルで表されます。このしきい値を下げると、負のイベントの数が増え、黒いピクセルが増加します。この値を上げると感度が低下し、表示される黒いピクセルが減少します。
両方のバイアスイベントしきい値において、値を下げるとピクセルの遅延が改善されますが、イベントレートが増加します（感度が高くなり、より小さな変化を検出するため、ノイズが増加します）。しきい値を上げると感度が低下し、イベントレートが減少します（感度が低くなり、ノイズが減少することで、イベントが少なくなります）。
バイアスイベントしきい値（正）の例（画像をクリックして拡大）
負の値：
感度が高く、イベントが多く、ノイズが増加します。
デフォルト（=0）：
正のイベントに必要な光の増加量を制御します。
正の値：
感度が低く、イベントが少なく、ノイズが減少します。
バイアスイベントしきい値（負）の例（画像をクリックして拡大）
負の値：
感度が高く、イベントが多く、ノイズが増加します。
デフォルト（=0）：
負のイベントに必要な光の減少量を制御します。
正の値：
感度が低く、イベントが少なく、ノイズが減少します。
バイアス不応期
不応期は、ピクセルがイベントを検出した後に非アクティブのままでいる時間を決定します。この「休止」期間は、ピクセルが後続のイベントに即座に反応するのを防ぎ、特に急速または大きなコントラスト変化がある環境で有用です。不応期を調整することで、センサーは重要なコントラスト変化によってトリガーされるイベントの数を制御できます。不応期が長いほどイベントの数が減少し、不応期が短いほどイベントの数が増加します。
バイアス不応期の例（画像をクリックして拡大）
負の値：
不応期（休止時間）が長くなります
デフォルト（=0）：
イベント間の休止時間の長さを制御します。
正の値：
短い不応期（睡眠）時間
関心領域（ROI）
Triton2 EVSは、関心領域（ROI）を指定するための2つの方法を提供します。最初の方法は、通常のエリアスキャンカメラで使用されるアプローチに似た、幅、高さ、オフセットX、およびオフセットYなどのパラメーターを使用してウィンドウROIを定義する方法です。これにより、1つのウィンドウ領域を正確に制御できます。2つ目の方法は、マルチROI列/行機能（任意の行/列の指定）を有効にする方法で、個々の行と列を有効または無効にすることができ、ROIの定義に柔軟性を提供します。さらに、システムはROIの反転（関心外領域、RONI）をサポートしており、分析から不要な領域を除外するためのマスクとして機能します。この機能は、特定の関心領域に焦点を当て、無関係な部分を無視するのに特に役立ちます。
アンチフリッカーフィルター
アンチフリッカーフィルターは、特定の周波数範囲内でちらつく光を排除するように設計されています。ちらつくLEDや蛍光灯は、多くの不要なイベントを生成し、イベントデータを増加させることがよくあります。これらの不要なイベントをフィルタリングすることで、アンチフリッカーフィルターは関連するデータのみをキャプチャします。さらに、この機能には反転有効オプションが含まれており、有効にするとちらつく光のみが通過します。この機能は、特定のちらつく光に焦点を当て、光の追跡精度を向上させるのに特に役立ちます。
アンチフリッカーの例（画像をクリックして拡大）
LED 50Hzのちらつき：
画像内の丸で囲まれたLEDとLEDの反射は、50Hzでちらついています。
アンチフリッカーフィルター：オフ
フィルターがオフの状態では、カメラはちらつきを検出し、約1.2 Mev/sのイベントを生成します。
アンチフリッカーフィルター：オン
フィルターがオン（49-51Hz）の状態では、カメラはちらつきを除去し、生成されるデータを20 Kev/sに減少させます。
イベントバーストフィルター（TRAIL / STC）
このフィルターは、バーストから冗長なイベントを削除するか、バーストから最初のイベントをフィルタリングするために使用できます。バーストは、同じ極性（正または負）の繰り返しイベントのシリーズとして定義されます。バーストフィルターには、TRAILとSTC（時空間コントラスト）の2種類があります。
イベントバーストフィルターTRAILの例
TRAILフィルターは、バーストの最初のイベントのみを出力します。さらに、イベントバーストフィルターの持続時間リセットモードは、冗長なイベントを削除するための持続時間が最初のイベントのみで開始するか（バーストの最初のイベント）、削除されたイベントの持続時間を含むすべてのイベントの持続時間で冗長なイベントを削除するか（すべてのイベント）を指定します。ユーザーはイベントの持続時間をカスタマイズできます。冗長なイベントを排除することで、TRAILフィルターは全体のデータレートを削減するのに役立ち、処理能力や帯域幅が限られているシステムで特に有用です。
イベントバーストフィルター STC 例
STC（時空間コントラスト）フィルターは、バーストの2番目のイベント（バーストの2番目のイベントのみ）またはバーストの2番目のイベントからバーストの終了まで（バーストの2番目のイベントから終了まで）を出力します。これらのフィルター設定は、シーンの重要な変化に焦点を当て、冗長なイベントを無視する必要があるアプリケーションに役立ちます。
イベントレート制御（ERC）
イベントレート制御（ERC）は、ターゲットレートを下回るように必要に応じてイベントを削除することで、出力イベントレートを管理するように設計されています。このプロセスは、最大200マイクロ秒の各参照期間中に発生し、アンチフリッカーおよびイベントフィルターが適用された後に行われます。ERCが実行されると、イベントデータはEVT 3.0形式でエンコードされます。イベントレートとデータレートの比率は、他のカメラ設定やシーンの条件によって異なるため、データレートを正確な数値に調整することは困難です。
Triton2 EVSカメラは、ホストPCに2.5GigEで接続するように設計されています。この帯域幅接続により、システムはイベントを処理する最大の能力を発揮します。しかし、コントラストの変化が極端かつ長時間続く場合、データ帯域幅がイベントで溢れることがあります。このような場合、2.5GigE接続でも、ERC制限を設定することで、予期しない画像遅延、リンク上のデータオーバーフロー、またはイベントのスパイクによるカメラの切断に対する安全策として機能します。
結論
この技術概要では、Triton2 EVSイベントベースカメラの動作について説明し、目的に合った結果を得るためにイベントデータを微調整できる多くの機能とオプションについて解説しました。さらに、カメラの調整により、PCに転送されるデータ量を最適化し、PCが使用するCPUおよびメモリリソース全体を削減するのに役立ちます。微調整が完了すると、ユーザーはオプションでArena SDKまたはMetavision SDKを介してさまざまなカスタム処理タスクを実行し、データをさらに強化および分析できます。詳細については、Triton2 EVS製品ページをご覧ください。
Sources:
Sony: Event-based Vision Sensor（EVS）Technology
Sony: Event-based Vision Sensor (EVS) | Products & Solutions
Prophesee: Metavision SDK Documentation
A 1280×720 Back-Illuminated Stacked Temporal Contrast Event-Based Vision Sensor with 4.86µm Pixels, 1.066GEPS Readout, Programmable Event-Rate Controller and Compressive Data-Formatting Pipeline
How Neuromorphic Image Sensors Steal Tricks From the Human Eye
Retinomorphic Event-Based Vision Sensors: Bioinspired Cameras With Spiking Output
Latency Asynchronous Temporal Contrast Vision Sensor