Support Center
소개
온-센서 기능이 추가되고 저조도 감도가 개선되면서 센서는 끊임없이 발전하고 있지만, 응용 엔지니어들은 카메라와 센서가 제공할 수 있는 한계를 뛰어 넘으면서도 제품의 가치를 높여야 한다는 부담감을 안고 있었습니다. 엔지니어들은 이를 위해 일반적으로 호스트 PC에서 이미징 후처리를 추가하여 왔습니다. 일반적인 후처리 기능으로서는, 차량 탑재용과 같은 고대비 장면을 위해 하이 다이내믹 레인지 (HDR) 처리 파이프라인을 구현하는 것입니다. Sony IMX490 CMOS 센서는, 센서에 HDR 프로세싱을 탑재하여, 비전 엔지니어가 HDR 애플리케이션을 간소화하는 동시에 LUCID의 카메라 24비트 이미지 처리 파이프라인을 활용할 수 있도록 했습니다.
하이 다이내믹 레인지: 기존 방식
일반적으로 HDR 이미징은 노출 시간이 다르게 설정된 여러 개의 이미지를 처리하여 하나의 이미지로 결합해야 합니다. 노출 설정값을 다르게 하면 하이라이트 이미지와 섀도우 이미지에서 더 유용한 이미지 데이터를 수집할 수 있습니다. 예를 들어, 노출 시간이 길수록 섀도우에서 더 많은 데이터를 가져 올 수 있지만, 하이라이트는 날려 버립니다. 반대로 노출 시간이 짧으면 하이라이트에서 유용한 데이터를 더 많이 찍을 수 있지만, 섀도우에서 유용한 데이터를 찍기에는 너무 짧습니다. 최종적으로는, 각각의 노출로 부터 최적의 이미지를 취해 HDR 이미지로 결합시킵니다.
위: 기존의 HDR은 노출 시간 설정값이 다른 일련의 이미지들을 결합합니다. 이러한 이미지는 차례로 촬영된 다음 호스트 PC에서 처리되어 단일 HDR 이미지로 결합됩니다.
참고
기존의 HDR 이미징은 카메라의 시퀀서 기능을 사용하여 수행할 수 있습니다. 시퀀서를 사용하면 일련의 이미지를 차례로 촬영하도록 카메라를 프로그래밍 할 수 있습니다. 각 이미지마다 해상도, Gain, 노출 등과 같은 설정값이 다를 수 있습니다. 그런 다음 이러한 이미지는 호스트 PC에서 처리함으로써 HDR 이미지화할 수 있습니다. 그런 다음 이러한 이미지는 호스트 PC에서 처리함으로써 HDR 이미지화 할 수 있습니다.
기존 HDR: 움직이는 장면에 적합하지 않음
기존 HDR 이미징은 움직임이 거의 또는 전혀 없는 정적인 장면에 적합하지만, 자동차 애플리케이션과 같이 속도가 빠른 장면에서는 모션 아티팩트가 발생할 수 있습니다. 모션 아티팩트는 장면의 오브젝트가 서로 다른 노출 사이에 위치를 변경할 때 발생합니다. 이는 각 노출이 서로 다른 시간에 차례로 진행되기 때문에 발생하며, 노출 사이의 지연 시간으로 인해 HDR 포스트 프로세싱에서 오브젝트가 함께 변형되거나 뒤틀린 최종 이미지를 생성하게 됩니다.
위: 차례로 다중 노출 시퀀스를 사용하는 기존의 HDR 처리는 움직임이 있는 장면에 적합하지 않습니다. 이는 각 노출 사이의 지연 시간(Latency)이 달라 모션 아티팩트가 발생하기 때문입니다.
최종 HDR 결과,
모션 아티팩트:
최종 HDR 이미지는 모션 아티팩트가 매우 심각하게 나옵니다. 이는 자동차 및 건물의 왜곡을 보면 명확히 알 수 있습니다.
IMX490: 동시 노출
Sony의 IMX490 CMOS 센서는 기존 HDR 처리와는 달리 노출 간 지연 시간이 없습니다. 모든 노출이 동일한 길이로 설정되고 동시에 이루어집니다. 이는 센서의 서브-픽셀 기술 (다른 용어로는 스플릿-픽셀 기술)이라고 불리는 서로 다른 수광 감도를 가지는 소자 구조에 의해서 실현되고 있습니다. 또한 각 서브 픽셀은 High Gain과 Low Gain으로 판독되어 각 픽셀에 대해 4개의 12비트 채널을 제공합니다. 그런 후, 이 4개의 채널은 센서에서 처리되어 단일 선형 24비트 HDR 값으로 결합됩니다. (참고: 큰 픽셀과 작은 픽셀 사이에서 각 픽셀의 노출 길이를 변경할 수는 있지만, 동일하게 유지하는 것이 좋습니다.)
위: Sony IMX490 센서에는 크기가 다른 2개의 픽셀 (큰 픽셀 1개, 작은 픽셀 1개)이 있으며, 각 픽셀마다 채널 출력이 2개입니다(high gain, low gain). 따라서 총 4개의 노출이 동시에 발생할 수 있습니다.
위: 채널 4개에서 얻은 데이터가 온-센서에서 24비트 HDR 이미지로 결합됩니다.
IMX490: 깜박임 완화
IMX490에서 서브-픽셀을 사용하여 동시 노출을 했을 때 얻는 추가적인 이점은 LED 깜박임 완화입니다. 기존의 많은 HDR 카메라는 밝은 장면에서 포토다이오드의 과포화를 방지하면서 저감도 데이터를 측정하기 위해 노출시간을 매우 짧게 사용해야 했습니다. 안타깝게도 이러한 짧은 노출로 인해 LED 깜박임 현상이 발생할 수 있습니다. 즉, LED 전원의 빠른 전압 변화로 인해 LED가 빠르게 켜지거나 꺼지며, 이로 인해 LED가 깜박이는 영상이 나타납니다.
그러나 IMX490은 서브-픽셀 기술을 활용하여 노출시간을 매우 짧게 사용할 필요가 없습니다. 밝은 곳에 더욱 민감한 특정 서브-픽셀을 다른 픽셀과 동일하게 긴 노출로 설정할 수 있으므로 센서의 깜박임을 평균화할 수 있습니다.
위: 노출 시간을 매우 짧게 하면 30, 50 또는 60 Hz에서 AC LED 깜박임을 캡처할 수 있습니다. 그러나 IMX490에서 사용하는 저감도 서브-픽셀은 더 긴 노출 시간에서 작동하여 깜박임을 평균화 할 수 있습니다.
작동 방식: 픽셀 구조
센서 설계에 이미지 노이즈를 줄이면서 전반적인 감도를 높이는 기술이 포함되었습니다. IMX490은 후면 조명 (BSI) 센서이므로, 배선층이 포토다이오드 아래에 있습니다. 그 결과 빛이 배선 회로에 막히지 않고 포토다이오드에 더 많이 도달할 수 있으므로 감도가 더 우수합니다. 또한 각 서브-픽셀마다 크기가 다른 마이크로렌즈가 있어서 해당 포토다이오드에서 빛의 집중도가 높아집니다. 라이트 쉴드와 딥 트렌치가 함께 구현되어 두 서브-픽셀 간 광학 누화 및 전하 누출로부터 각 픽셀을 격리하는 데에 도움을 줍니다. 이러한 설계는 다이내믹 레인지가 120dB 이상이고 결합된 서브-픽셀 포화 용량은 120000 e-로, 양자 효율이 높습니다.
위: 센서로 줌인을 하면, 2가지 크기의 픽셀이 나타납니다.
두 서브-픽셀의 확대 보기 (시뮬레이션 이미지)
픽셀 구조의 단면도. IMX490은 BSI, 롤링 셔터 CMOS 센서입니다.
Interactive graphs – please hover over the points in the graph to reveal QE %
| Color EMVA 1288 Results | |
|---|---|
| Dynamic Range | 123.6 dB |
| SNR (Max) | 50.8 dB |
| Saturation Capacity | 120000 e- |
| Absolute Sensitivity Threshold (Measured at 527.5nm) | 1.5 γ |
| Temporal Dark Noise | 0.54 e- |
| Gain | 9.83 DN24 / e- |
EMVA 1288 is the Standard for Measurement and Presentation of Specifications for Machine Vision Sensors and Cameras. For more information of the EMVA 1288 standard please visit http://www.emva.org/standards-technology/emva-1288/
픽셀 포텐셜 단면 및 구동 시퀀스
IMX490의 독특한 디자인은 서브-픽셀 1 (SP1)과 서브-픽셀 2 (SP2)에 대한 다중 플로팅 확산을 통합하고 있습니다. 노출이 동시에 발생하면서 SP1과 SP2의 신호가 직렬로 출력됩니다. 하부 애니메이션은 픽셀 구동 시퀀스에 따라 픽셀 포텐셜에 대해 다양한 단계를 표시합니다.
단계:
8) SP1과 SP2의 모든 전하가 리셋됩니다.
1) 노출: 두 서브-픽셀 모두 (SP1과 SP2) 동시에 노출됩니다.
SP1 판독:
2) Log Gain과 High Gain에 대한 SP1 리셋 레벨이 샘플링됩니다.
3) SP1 High Conversion Gain에 대한 신호가 샘플링됩니다.
4) SP1 Low Conversion Gain에 대한 신호가 샘플링됩니다.
* SP1의 리셋 및 신호 레벨이 샘플링되므로, 이 서브-픽셀은 노이즈 감소를 위해 상관 이중 샘플링 (CDS)을 수행할 수 있습니다.
SP2 판독:
5) SP2의High Conversion Gain이 샘플링됩니다.
6) SP2의Low Conversion Gain이 샘플링됩니다.
7) SP2의 리셋 레벨이 샘플링됩니다.
* 리셋 샘플링은 SP2의 신호 후에 이루어지므로, SP2는 CDS를 수행할 수 없습니다. 대신 SP2는 노이즈 억제를 위해 델타 리셋 샘플링을 사용합니다.
8) SP1과 SP2의 모든 전하가 리셋됩니다.
다음 단계: ArenaView에서 LUCID의 TRI054S IMX490 사용
LUCID의 ArenaView에서 TRI054S-CC를 사용하는 방법은 KB 문서 “ArenaView에서 LUCID의 TRI054S IMX490 사용”을 참조합니다. Using LUCID’s TRI054S IMX490 in ArenaView
이 KB 문서는 HDR 튜닝, 이미지 향상, 디지털 클램핑 등 TRI054S-CC가 제공하는 다양한 기능과 옵션들을 설명합니다. 또한 비트 심도 디스플레이 변경, LUT 조정 및 톤 매핑 감마 전환에 대한 설명도 포함되어 있습니다.
비디오 리소스
결론
LUCID의 Triton IP67 카메라에 Sony의 IMX490을 결합하면 120 dB의 높은 다이내믹 레인지 이미징이 가능하므로, 장면에 매우 어둡고 밝은 영역이 모두 포함되어 있는 까다로운 분야에 적합합니다. IMX490은 이중 채널 출력으로 4개의 동시 노출을 제공하는 서브-픽셀 기술을 적용하여 모션 아티팩트가 없이 선명하고 왜곡이 없는 이미지를 얻을 수 있습니다. 또한 동시 노출이기 때문에 짧은 노출이 필요했던 기존 HDR 카메라에 비해 노출 시간을 더 길게 할 수 있어 LED 깜박임을 줄일 수 있습니다. LUCID Triton 카메라의 24비트 ISP 덕분에 사용자는 IMX490 센서가 제공해야 하는 모든 기능에 액세스하여 미세 조정을 할 수 있습니다. 또한 IP67 Factory Tough™ 디자인을 적용하므로 Triton 5.4MP 카메라는 첨단운전자보조 시스템 (ADAS)이나 자율 주행과 같은 야외 분야, 또는 실시간 용접 검사와 같은 산업 분야에 아주 적합합니다.
가격 또는 주문 정보는 Triton 5.4MP IMX490 제품 페이지를 참조하십시오.
