Support Center
대비 변화 감지
목차:
Bias Event Thresholds(바이어스 이벤트 임계값), Bias Filter Cutoff(바이어스 필터 컷오프), Bias Refractory Period(바이어스 불응기), Region of Interest(ROI) 등의 조정 기능을 통해 센서 감도와 반응을 정밀하게 제어할 수 있습니다. 또한, Anti-Flicker 필터, Event Burst 필터 및 Event Rate Control(ERC)과 같은 필터는 불필요한 이벤트를 줄이는 데 중요한 역할을 합니다. 이러한 기능을 조정함으로써 사용자는 이벤트 감도를 미세 조정하고 중복 이벤트를 제거하여 가장 관련성 높은 데이터만 출력할 수 있습니다.
본격적으로 기능을 살펴보기 전에, 기존 Area Scan 카메라와 Triton2 EVS 이벤트 기반 카메라의 차이를 개괄적으로 정리하고, 이벤트 기반 센서의 동작 원리를 설명하겠습니다.
Area scan 카메라
센서의 모든 픽셀은 동시에(글로벌 셔터) 또는 행별로 순차적으로(롤링 셔터) 빛의 휘도를 받아들입니다. 그런 다음 카메라는 이 데이터를 처리하여 이미지 프레임을 생성합니다.
Event-based 카메라
각 픽셀은 독립적으로 작동하여 휘도(밝기) 변화를 감지하고 변화가 설정된 임계값을 초과할 때 좌표(x, y), 극성(p) 및 타임스탬프(t)를 출력합니다. 이벤트 기반 센서에는 셔터나 프레임의 개념이 없으며, 변화가 감지된 픽셀만 데이터 전송을 하여 전체 출력 데이터를 줄입니다.
이벤트 기반 픽셀 및 센서의 작동 방식
IMX636/637 이벤트 기반 비전 센서의 각 픽셀은 독립적으로 입사광의 밝기를 모니터링하며, 이를 위해 먼저 빛을 전압으로 변환합니다. 이 전압은 저주파(low pass) 및 고주파(high pass) 필터를 통과하며, 이는 명암(contrast) 변화의 주파수(시간 해상도)를 제어합니다. 이후 이 전압은 기준 전압과 비교되어 델타(delta) 값을 계산합니다. 계산된 델타 값은 임계값 검사(threshold check)로 전달됩니다. 이 임계값 검사는 허용되는 명암(contrast) 변화 수준을 제어합니다. 밝기가 양의 임계값을 초과하면 Positive Event(어두움 → 밝음)가 생성되고, 밝기가 음의 임계값 이하로 감소하면 Negative Event(밝음 → 어두움)가 생성됩니다. 이러한 이벤트 데이터의 양·음 특성을 이벤트의 극성(Polarity)이라고 합니다. 이벤트가 생성되면 픽셀은 기준 전압을 새로운 밝기 수준으로 리셋합니다. 아래의 애니메이션은 픽셀 처리의 주요 단계와 필터 및 임계값의 위치를 설명합니다.
참고:
IMX636/637 센서의 픽셀이 입사광을 전압으로 변환하면, 이는 Readout Block으로 전송됩니다:
1. Readout Block은 이벤트에 X/Y 좌표와 타임스탬프를 추가합니다.
2. 신호 처리 블록(Signal Processing Block)은 이벤트를 필터링합니다(선택 사항).
3. 이벤트 데이터는 EVT 3.0 형식으로 인코딩되어 출력됩니다.
2. 신호 처리 블록(Signal Processing Block)은 이벤트를 필터링합니다(선택 사항).
3. 이벤트 데이터는 EVT 3.0 형식으로 인코딩되어 출력됩니다.
Triton2 EVS가 PC 소프트웨어와 작동하는 방식
임계값 필터를 통해 이벤트 기반 신호를 처리한 후, 이벤트는 추가적이지만 선택적인 필터(anti-flicker 필터, event burst 필터, event rate control)를 통과합니다. 이러한 필터는 기사 후반부에서 자세히 설명됩니다. 이벤트가 이러한 필터를 거친 후, Triton2 EVS 카메라는 이벤트 데이터를 Prophesee가 설계한 16비트 압축 형식인 EVT 3.0*으로 인코딩합니다. 인코딩된 데이터는 Machine Vision 카메라에서 이더넷을 통해 데이터를 전송하는 표준 프로토콜인 GigE Vision Streaming Protocol(GVSP)을 사용하여 네트워크로 전송됩니다.
이 데이터가 호스트 PC에 도착하면, 추출되어 LUCID의 Arena 소프트웨어 개발 키트(SDK)를 통해 처리할 수 있습니다. Arena SDK는 이벤트 데이터를 다양한 방식으로 활용할 수 있도록 지원합니다: XYPT 형식 데이터를 디코딩하여 추가 처리하거나, ArenaView를 통해 CD 프레임을 생성(데이터 시각화)할 수 있으며, 데이터를 원본 EVT 3.0 형식으로 유지할 수도 있습니다. 또한, 사용자는 Prophesee의 Metavision SDK를 사용할 수도 있습니다. Metavision SDK를 사용할 경우, Triton2 EVS용HAL 플러그인이 제어 명령을 Triton2 EVS에서 이해할 수 있는 형식으로 변환해 줍니다. 즉, 사용자는 Triton2 EVS를 제어하는 세부 사항을 직접 신경 쓸 필요 없이, 플러그인을 통해 간편하게 사용할 수 있습니다.
마지막으로, 카메라와 센서를 제어하기 위해 GenICam Nodes를 사용합니다. GenICam은 Machine Vision 카메라를 위한 일반적인 프로그래밍 인터페이스를 제공하는 표준으로, 일반적인 GigE Vision 카메라를 제어하는 것과 유사한 방식으로 일관되게 제어할 수 있도록 합니다.
이벤트 데이터 시각화: CD 프레임
앞서 LUCID의 Arena SDK가 EVT 3.0 데이터를 처리하는 방법 중 하나로 CD 프레임(Contrast Detector Frame)을 생성할 수 있다고 언급했습니다. CD 프레임은 특정 프레임 시간 동안 XY 좌표에 Positive 및 Negative 이벤트를 매핑하며, LUCID의 ArenaView GUI에서 확인할 수 있습니다. CD 프레임 방식은 이벤트 데이터를 시각화하는 가장 간단하고 빠른 방법이지만, CD 프레임에는 몇 가지 한계가 있습니다. 첫째, 동일한 픽셀이 한 프레임 기간 내에 여러 번 활성화되더라도 이를 표현할 수 없습니다. 둘째, 프레임 내에서 이벤트가 발생한 정확한 타이밍을 반영할 수 없습니다. LUCID의 ArenaView(Arena SDK 포함)와 Prophesee의 Metavision Studio(Metavision SDK 포함) 모두 CD 프레임을 이용해 이벤트 데이터를 시각화할 수 있습니다.
이 영상 예시에서는 ArenaView를 사용하여 CD 프레임을 표시할 때, 타겟이 고정되어 있고 명암(contrast) 변화가 거의 발생하지 않아 감지되는 이벤트가 몇 개 없음을 보여줍니다.
이 영상 예시에서는 사람의 움직임(a)과 검은색 스웨터와 하얀 벽의 큰 명암 대비(b)로 인해 많은 이벤트가 감지되는 모습을 보여줍니다.
생성된 이벤트(Contrast 변화)는Positive Event(어두움 → 밝음) 또는Negative Event(밝음 → 어두움)에 해당합니다. 이것을 이벤트의 극성(polarity) 이라고 합니다.
Bias 및 Filter 개요
아래 섹션에서는 이벤트를 미세 조정할 수 있는 Triton2 EVS 카메라의 바이어스, 필터 및 기타 기능의 세부 사항을 살펴봅니다. 아래 표는 각 기능이 카메라 출력에 미치는 영향을 요약한 것입니다. 바이어스/필터 이름을 클릭하면 해당 섹션으로 이동할 수 있습니다.
| Bias / Filter Name | Description | Bias Decrease / Filter Off | Bias Increase / Filter On |
|---|---|---|---|
| Bias Low Pass Filter Cutoff | Defines how the camera filters out rapid contrast changes. | Removes high-frequency changes. Increases latency. Reduces background rate, noise, and event rate. | Keeps high-frequency changes. Improves pixel latency. Increases the background rate. |
| Bias High Pass Filter Cutoff | Defines how the camera filters out slow changes in contrast. | Preserves low-frequency changes and slow motion. Increases event rate and noise. | Removes low-frequency signals. Removes slow motion. Decreases event rate and noise. |
| Bias Event Threshold Positive | Defines how sensitive each pixel is to positive contrast (dark to light) changes. | Increases background rate. Improves pixel latency. | Decreases sensitivity. Decreases background rate. Reduces event rate. |
| Bias Event Threshold Negative | Defines how sensitive each pixel is to negative contrast (light to dark) changes. | Increases background rate. Improves pixel latency. | Decreases sensitivity. Decreases background rate. Reduces event rate. |
| Bias Refractory Period | Controls the amount of time the pixel sleeps after an event. | Reduces the number of events triggered by a large contrast change. | Improves pixel availability. More events are triggered by a large contrast change |
| Region of Interest (ROI) | Isolates width and height regions with X and Y offsets of the senor for sensing. Can also be inverted to mask sections. | The full resolution of the sensor is used to detect event data. | Can be used in Window Mode (one ROI region), Arbitrary Row/Column Specification Mode, or both. This reduces the overall event rate. |
| Anti Flicker Filter | Eliminate flickering in a specified frequency range. (ie from LEDs or fluorescent lights). | Flickering light is captured and increases event rate. | Flickering lights will be removed, reducing event rate. Filter can also be inverted to capture only the flickering light. |
| Event Burst Filter | Removes redundant events from a burst of events with the same polarity. | No events are filtered. | The TRAIL filter only outputs the first event of a burst. The STC filter outputs the second event of a burst or the second event to the end of a burst. |
| Event Rate Control (ERC) | Event rate control (ERC) drops events to keep the output event rate below the target event rate. | The camera processes all detected events. Can lead to data overflow if too many events saturate the data bandwidth connection. | Events are dropped if the rate exceeds the target during each 200 µs period after filtering. |
Bias Low Pass Filter Cutoff
Bias High Pass Filter Cutoff
감지되는 명암(contrast) 변화의 주파수를 조정하기 위해 각 픽셀에는 바이어스 저역 통과 필터 컷오프(Bias Low Pass Filter Cutoff)와 바이어스 고역 통과 필터 컷오프(Bias High Pass Filter Cutoff)가 장착되어 있습니다.
Bias Low Pass Filter Cutoff는 저역 통과 필터의 컷오프 주파수를 조정하여 카메라가 빠른 명암(contrast) 변화를 필터링하는 방식을 결정합니다. 이 값을 낮추면 고주파 변화를 제거하고, 지연 시간이 증가하며, 배경 속도, 노이즈 및 이벤트 속도가 감소합니다. 이 값을 높이면 고주파 변화를 유지하고, 픽셀 지연 시간이 개선되며, 배경 속도가 증가합니다.
Bias High Pass Filter Cutoff는 고역 통과 필터의 컷오프 주파수를 조정하여 카메라가 느린 명암(contrast) 변화를 필터링하는 방식을 결정합니다. 이 값을 낮추면 저주파 변화를 유지하고 느린 움직임을 감지하여 이벤트 속도와 노이즈가 증가합니다. 이 값을 높이면 저주파 신호와 느린 움직임을 제거하여 이벤트 속도와 노이즈가 감소합니다.
Bias Low Pass Filter Cutoff를 낮추면 이벤트 지연 시간과 변동성이 증가하고, 높이면 영향이 거의 없습니다. Bias High Pass Filter Cutoff를 높이면 느린 명암(contrast) 변화로 인한 이벤트를 줄일 수 있습니다. 이러한 조정은 특정 응용 프로그램의 요구에 따라 카메라 성능을 미세 조정하는 데 도움이 되며, 예를 들어 이벤트 감지 정확도를 향상시키거나 노이즈를 줄이는 데 유용합니다.
Bias Low Pass Filter Cutoff 예시 (이미지를 클릭하여 확대)
Negative Value
(기본값에서 값을 낮춥니다).
값을 낮추면 노이즈가 줄어들지만 이벤트 지연 시간과 지연 시간의 변동성이 증가합니다.
Default (=0)
일반적으로 이는 기존의 Area 스캔 센서에서 노출 시간과 유사하게 작동하며, 빠른 움직임을 포착하는 능력과 노이즈 증가 사이의 균형을 맞춥니다.
Positive Value
(기본값에서 값을 높입니다).
값을 높이면 지연 시간이 개선되지만, 테스트 결과 기본값에서 노이즈가 크게 증가하지는 않습니다.
Bias High Pass Filter Cutoff 예시 (이미지를 클릭하여 확대)
Default (=0)
Click to enlarge images
Positive Value
(기본값에서 값을 높입니다)
More Positive Value
(기본값에서 값을 높입니다)
값을 높이면 느린 명암(contrast) 변화로 인한 이벤트의 수가 감소합니다.
Bias Event Threshold Positive
Bias Event Threshold Negative
이 두 가지 바이어스 이벤트 임계값은 명암(contrast) 변화에 대한 민감도를 결정하며, 이벤트 신호가 트리거되기 위해 필요한 변화의 강도를 설정합니다. 바이어스 이벤트 임계값에는 Positive 와 Negative 두 가지 주요 유형이 있습니다.
Bias Event Threshold Positive는 ON 이벤트의 민감도를 조절하는 값으로, 빛의 증가량이 특정 수준을 넘어설 때positive 이벤트가 흰색 픽셀로 생성됩니다. 이 임계값을 낮추면 더 작은 빛의 변화에도 반응하여 흰색 픽셀이 증가하며, 반대로 값을 높이면 민감도가 감소하여 표시되는 흰색 픽셀이 줄어듭니다
Bias Event Threshold Negative는 OFF 이벤트의 민감도를 조절하는 값으로, 빛이 일정 수준 이상 감소할 때 negative 이벤트가 검은색 픽셀로 생성됩니다. 이 임계값을 낮추면 더 작은 빛의 변화에도 반응하여 검은색 픽셀이 증가하며, 반대로 값을 높이면 민감도가 감소하여 표시되는 검은색 픽셀이 줄어듭니다
두 가지 바이어스 이벤트 임계값 모두에서 값을 낮추면 픽셀 지연 시간이 개선되지만 이벤트 비율이 증가합니다 (더 민감해져서 작은 변화를 감지하고, 노이즈가 증가합니다). 임계값을 높이면 민감도가 감소하여 이벤트 비율이 줄어듭니다 (덜 민감해지고, 노이즈가 줄어들며, 이벤트 수가 감소합니다).
Bias Event Threshold Positive 예시 (이미지를 클릭하여 확대)
Negative Value
더 높은 민감도, 더 많은 이벤트, 더 많은 노이즈.
Default (=0)
Positive 이벤트를 위해 필요한 빛의 증가량을 제어합니다.
Positive Value
민감도 감소, 이벤트 감소, 노이즈 감소.
Bias Event Threshold Negative 예시 (이미지를 클릭하여 확대)
Negative Value
더 높은 민감도, 더 많은 이벤트, 더 많은 노이즈.
Default (=0)
음수 이벤트를 위해 필요한 빛의 감소량을 제어합니다.
Positive Value
민감도 감소, 이벤트 감소, 노이즈 감소.
바이어스 불응기(Bias Refractory Period)
Refractory period는 픽셀이 이벤트를 감지한 후 일정 시간 동안 비활성 상태를 유지하는 기간을 결정합니다. 이 ‘휴지’ 기간은 픽셀이 연속적인 이벤트에 즉시 반응하는 것을 방지하며, 특히 빠르거나 큰 명암(Contrast) 변화가 발생하는 환경에서 유용합니다. Refractory period를 조정하면 센서가 명암(Contrast) 변화에 따라 발생하는 이벤트 수를 조절할 수 있습니다. 이 기간이 길어지면 이벤트 수가 줄어들고, 반대로 짧아지면 이벤트 수가 증가합니다.
Bias Refractory Period 예시 (이미지를 클릭하여 확대)
Negative Value
더 긴 휴지(sleep) 시간
Default (=0)
이벤트 간 휴지 시간의 길이를 조절.
Positive Value
더 짧은 휴지(sleep) 시간
관심 영역 (ROI)
Triton2 EVS는 관심 영역(ROI)을 지정하는 두 가지 방법을 제공합니다. 첫 번째 방법은 일반적인 영역 스캔 카메라와 유사하게, 너비(Width), 높이(Height), X 오프셋(Offset X), Y 오프셋(Offset Y) 등의 매개변수를 사용하여 하나의 window ROI를 정의하는 방식입니다. 이를 통해 특정 영역을 정밀하게 제어할 수 있습니다. 두 번째 방법은 다중 ROI 열/행 기능을 활용하는 것으로, 임의의 행과 열을 개별적으로 활성화하거나 비활성화할 수 있어 더욱 유연한 ROI 설정이 가능합니다. 또한, 시스템은 ROI 반전 기능(Region of Non-Interest, RONI)을 지원하여 특정 영역을 제외하는 마스크 역할을 수행할 수 있습니다. 이를 활용하면 불필요한 영역을 제외하고 관심 영역만 집중적으로 분석할 수 있어 보다 효율적인 데이터 처리가 가능합니다.
Anti Flicker Filter
Anti-flicker filter는 특정 주파수 범위 내에서 깜박이는 조명을 제거하는 기능을 합니다. LED나 형광등의 깜빡임은 불필요한 이벤트를 다수 발생시켜 데이터 양을 증가시키는 원인이 될 수 있습니다. 이 필터를 사용하면 이러한 불필요한 이벤트를 제거하고, 중요한 데이터만 효율적으로 수집할 수 있습니다. 또한, 이 기능에는 ‘반전(Invert) 활성화‘ 옵션이 포함되어 있어, 이를 활성화하면 깜박이는 조명만을 감지하도록 설정할 수 있습니다. 이를 통해 특정 조명의 깜빡임을 집중적으로 추적할 수 있어, 조명 감지의 정밀도를 더욱 높일 수 있습니다.
Anti-Flicker 예시 (이미지를 클릭하여 확대)
LED 50Hz Flicker
이미지에서 원으로 표시된 LED 및 LED 반사가 50Hz로 깜박이고 있습니다.
Anti-Flicker Filter: OFF
필터가 꺼진 상태에서는 카메라가 깜박임을 감지하여 약 1.2 MEv/s의 이벤트를 생성합니다.
Anti-Flicker Filter: ON
필터가 켜진 상태(49-51Hz)에서는 카메라가 깜박임을 제거하여 생성된 데이터를 20 Kev/s로 줄입니다.
Event Burst Filter (TRAIL / STC)
이 필터는 연속적으로 발생하는 이벤트 중 중복된 이벤트를 제거하거나, 첫 번째 이벤트를 걸러내는 데 사용할 수 있습니다. 여기서 ‘버스트(burst)’란 동일한 극성(positive 또는 negative)을가진 반복적인 이벤트의 연속을 의미합니다. 버스트 필터에는 TRAIL과 STC(Spatio Temporal Contrast) 두 가지 유형이 있습니다.
Event Burst Filter TRAIL 예시
TRAIL 필터는 버스트(burst)의 첫 번째 이벤트만 출력합니다. 또한, ‘이벤트 버스트 필터 지속 시간 리셋 모드(Event Burst Filter Duration Reset Mode)‘를 통해 중복 이벤트를 제거하는 지속 시간을 설정할 수 있습니다. 이 모드는 두 가지 방식으로 동작합니다. 첫 번째 방식(First Event of Burst)은 첫 번째 이벤트에서만 지속 시간을 설정하는 것이며, 두 번째 방식(Every Event)은 제거된 이벤트의 지속 시간까지 포함하여 모든 이벤트에 대해 적용하는 방식입니다. 사용자는 이벤트 지속 시간을 자유롭게 조정할 수 있으며, TRAIL 필터는 불필요한 이벤트를 제거하여 전체 데이터 처리량을 줄이는 데 도움이 됩니다. 이는 특히 처리 성능이나 대역폭이 제한된 시스템에서 유용하게 활용될 수 있습니다.
Event Burst Filter STC 예시
STC(Spatio Temporal Contrast) 필터는 버스트에서 두 번째 이벤트만 출력하거나(두 번째 이벤트만), 두 번째 이벤트부터 버스트의 끝까지 출력합니다(두 번째 이벤트부터 끝까지). 이러한 필터 설정은 장면에서 중요한 변화에 집중하고 불필요한 이벤트는 무시해야 하는 응용 프로그램에 유용합니다.
Event Rate Control (ERC)
이벤트 속도 제어(Event Rate Control, ERC)는 목표 속도 이하로 유지하기 위해 필요한 경우 이벤트를 제거하여 출력 이벤트 속도를 관리하는 기능입니다. 이 과정은 최대 200마이크로초까지 설정할 수 있는 참조 기간 동안 진행되며, 안티-플리커 및 이벤트 필터가 적용된 후에 수행됩니다. ERC가 수행되면 이벤트 데이터는 EVT 3.0 형식으로 인코딩됩니다. 이벤트 속도와 데이터 속도 간의 비율은 카메라 설정 및 장면 조건에 따라 달라지므로, 데이터 속도를 정확하게 조정하는 것이 어려울 수 있습니다.
Triton2 EVS 카메라는 2.5GigE를 통해 호스트 PC에 연결되도록 설계되었습니다. 이 대역폭 연결은 시스템이 이벤트를 처리하는 데 가장 큰 능력을 제공합니다. 그러나 때때로 극단적이고 장시간 지속되는 명암(contrast) 변화가 발생하면 데이터 대역폭이 이벤트로 과부하될 수 있습니다. 이런 경우, 2.5GigE 연결에서도 ERC 제한을 설정하면 예상치 못한 이미지 지연, 링크에서의 데이터 오버플로우, 또는 이벤트 급증으로 인한 카메라 연결 끊김을 방지하는 안전망 역할을 할 수 있습니다.
Conclusion
이번 기술 브리핑에서는 Triton2 EVS 이벤트 기반 카메라의 작동 원리와 이벤트 데이터를 세밀하게 조정하여 맞춤형 결과를 얻을 수 있는 다양한 기능과 옵션에 대해 설명했습니다. 또한, 카메라 조정을 통해 PC로 전송되는 데이터 양을 최적화할 수 있으며, 이를 통해 PC에서 사용하는 CPU와 메모리 자원을 줄일 수 있습니다. 세부 조정이 완료되면, 사용자는 Arena SDK나 Metavision SDK를 통해 다양한 사용자 맞춤형 처리 작업을 수행하여 데이터를 추가로 향상시키고 분석할 수 있습니다. 자세한 내용은 Triton2 EVS 제품 페이지를 참조하십시오.
