Support Center
Sony DepthSense 3D 센서: 더욱 향상된 Time of Flight(ToF) 기술
센서와 카메라 설계의 결합
ToF(Time of Flight) 기술은 수년 전부터 산업 현장에서 활용되어 왔지만, Sony의 IMX556 DepthSense ToF 센서 출시를 통해 3D 센싱의 정확성과 정밀도가 한 단계 더 향상되었습니다. 고유한 DepthSense 픽셀 구조를 적용한 Sony의 ToF 센서는 물체를 3D로 실시간 재구성할 때 높은 신뢰성을 제공하며, 더 풍부한 디테일과 빠른 프레임 속도를 구현합니다. 여기에 LUCID Vision Labs의 자체 카메라 기술이 결합되면서, Sony DepthSense 센서는 산업용 애플리케이션에서 그 잠재력을 최대한 발휘합니다.
Sony DepthSense IMX556 ToF 기술의 동작 원리?
Time of Flight(ToF) 기술은 광원에서 조사된 빛이 물체 표면에 반사되어 센서에 도달하기까지의 시간 지연을 측정하는 방식으로 동작합니다. Sony IMX556 CMOS 센서가 사용하는 ToF 방식은 연속파(CW, Continuous Wave) 변조 방식으로, CW 위상 편이 방식 또는 간접 ToF(Indirect Time of Flight)라고도 불립니다. 단일 광 펄스의 시간 지연을 측정하는 대신, Helios 카메라는 연속적으로 변조된 조사광을 사용하며, 조사광과 반사광 사이의 위상 편이를 기반으로 거리를 계산합니다. 이러한 위상 편이를 정확하게 측정하기 위해 IMX556은 조사광 변조와 동기화하여 입사광을 샘플링하는 전류 보조형 광학 디모듈레이터(CAPD) 픽셀 구조를 적용하고 있습니다. CAPD 구조에서는 각 픽셀의 포토다이오드 내부에 위상에 따라 전환되는 전압이 인가되어, 전자를 분리하고 서로 다른 검출기 접합부로 유도하는 드리프트 필드(전자 이동을 유도하는 전기장)가 형성됩니다. 아래의 단순화된 예에서는 VCSEL(Vertical Cavity Surface Emitting Laser) 다이오드에서 변조된 조사광이 방출되고, 이 빛이 물체 표면에서 반사되어 픽셀의 포토다이오드로 다시 유입됩니다. 이후 전자로 변환된 신호는 교대로 배치된 검출기 접합부로 분배되며, 이러한 구조를 통해 더 높은 광 수집 효율을 얻을 수 있습니다.
CAPD에서는 위상에 따라 전환되는 전압을 사용해, 두 개의 검출 접합부(b1, b2)로 전자를 나누어 유도하는 드리프트 필드(전자 이동을 유도하는 전기장)를 형성합니다. 이 드리프트 필드는 VCSEL 레이저 다이오드의 변조 주파수와 정확히 동기화되어 동작합니다. 두 검출 접합부는 반사된 빛을 최대한 효과적으로 포착할 수 있도록 서로 180°의 위상 차이를 갖도록 설계되어 있으며, 이를 통해 센서는 조사된 빛과 반사된 빛을 비교해 두 신호 사이의 위상 편이를 정확하게 계산할 수 있습니다.
Side Note
Sony IMX556 DepthSense ToF 센서 주요 사양:
- 후면 조사(Backside Illuminated) CMOS
- 해상도: 640 × 480 픽셀
- 글로벌 셔터
- 픽셀 크기: 10.0 µm
- 센서 크기: 1/2″
Side Note
CAPD 기반 ToF 이미지 센서 기술은 2006년, 벨기에에 기반을 둔 Softkinetic의 창립 멤버들에 의해 처음 소개되었습니다. Softkinetic은 이후 2015년에 Sony에 인수되었습니다. 아래 그림: D. Van Nieuwenhove, W. Van der Tempel, R. Grootjans, M. Kuijk가 저술한 “Time-of-flight Optical Ranging Sensor Based on a Current Assisted Photonic Demodulator” 논문에 수록된 CAPD 구조도.
분리와 제어를 통한 정확한 위상 측정
포토다이오드 안으로 들어온 광자는 전자로 변환되며, 이 전자들은 위상 편이를 정확하게 계산하기 위해 빠르게 검출 접합부로 이동해야 합니다. 각 검출 접합부에는 양(p+) 영역과 음(n+) 영역이 형성되어 있어, 전자의 이동 방향을 제어할 수 있습니다. 전류가 인가되면 드리프트 필드(전자 이동을 유도하는 전기장)가 형성되고, 정공(h+)은 전압이 가장 낮은 p+ 영역으로 이동하는 반면, 전자(e-)는 전압이 가장 높은 n+ 영역으로 이동합니다. CAPD 구조는 이러한 드리프트 필드의 방향을 매우 빠르게 전환할 수 있어, 높은 복조 대비(demodulation contrast)를 구현합니다. 복조 대비가 높을수록 전자들은 반사된 빛이 도달한 시점에 따라 보다 정확하게 해당 검출 접합부로 분리되며, 그 결과 위상 편이 계산의 정확도가 크게 향상됩니다. 이를 통해 DepthSense 센서는 더욱 정확하고 정밀한 거리 측정을 수행할 수 있습니다. 또한 CAPD의 드리프트 필드는 포토다이오드 깊숙한 영역까지 형성되어, 가능한 많은 전자를 검출 접합부 방향으로 가속시킵니다. 이러한 구조는 Sony의 후면 조사(backside illuminated) 기술과 결합되어, 850 nm 파장에서 약 57%에 이르는 높은 양자 효율을 구현합니다. 그 결과 Helios 카메라는 카메라와 물체 표면 사이의 거리가 1 m일 때, 5 mm 미만의 정확도와 2 mm 미만의 정밀도를 달성할 수 있습니다.
왼쪽 그림: CAPD의 단면 구조로, 전자(e–)는 가장 높은 전압 영역(n+)을 향해 가속되고, 정공(h+)은 가장 낮은 전압 영역(p+)을 향해 이동하는 모습을 보여줍니다. 오른쪽 그림: CAPD는 높은 양자 효율(QE, 850 nm에서 57%)과 높은 복조 대비(demodulation contrast)를 구현하는 데 기여합니다.
단일 프레임 기반 4-위상 샘플링
CAPD의 빠른 동작 속도 덕분에 IMX556은 하나의 깊이 프레임(depth frame)에서 서로 다른 네 가지 위상으로 입사되는 빛을 샘플링할 수 있습니다. 이러한 각 샘플은 마이크로 프레임(micro-frame)이라고 하며, 위상이 90°씩 이동된 상태(0°, 90°, 180°, 270°)로 순차적으로 획득됩니다. 각 마이크로 프레임은 리셋(reset), 적분(integration), 판독(readout)의 세 단계로 구성됩니다. 리셋 단계에서는 픽셀 전압이 기준값으로 초기화되며, 적분 단계에서는 전류에 의해 드리프트 필드가 형성되어 생성된 전자들이 검출 접합부 방향으로 유도됩니다. 판독 단계에서는 센서 상의 모든 픽셀 데이터가 읽혀집니다. 판독이 완료되면 센서는 전력 소모를 줄이고 발열을 낮추기 위해 대기 시간(idle time) 상태로 전환됩니다.
깊이 값을 계산하는 데에는 0°와 90° 마이크로 프레임만으로도 충분합니다. 물체 표면까지의 거리가 변하면, 0°와 90° 마이크로 프레임에서 측정되는 b1과 b2의 값도 함께 변화합니다. 또한 b1 값에서 b2 값을 빼는 방식으로, 각 마이크로 프레임에 포함된 주변광(ambient light)은 쉽게 제거할 수 있습니다. 하지만 b1과 b2에 수집된 광자의 양이 같더라도, 광자가 전자로 변환되고 전자가 전압으로 변환되는 과정에서는 항상 미세한 변동이 발생합니다. 이러한 변동이 b1과 b2 값에 미치는 영향을 제거하는 것이 매우 중요합니다. 이를 위해 카메라는 0°와 90° 위상에 대해 각각 180°가 오프셋된 두 개의 추가 마이크로 프레임을 사용합니다. 이 180° 마이크로 프레임에서는 b1과 b2의 역할이 서로 바뀌며, 각 마이크로 프레임의 b1과 b2 값을 대응되는 180° 마이크로 프레임의 값과 더하는 방식으로 각 픽셀에서 발생하는 변동을 효과적으로 상쇄합니다.
b1 값에서 b2 값을 빼는 방식으로 각 마이크로 프레임에 포함된 주변광(ambient light)을 상쇄할 수 있다.
0° 마이크로 프레임의 b1 값을 180° 마이크로 프레임의 b2 값과 더하고, 반대로 0°의 b2 값을 180°의 b1 값과 더하면, b1과 b2에 존재하는 감도 불일치의 영향을 제거한 두 개의 새로운 값이 생성된다. (이러한 감도 불일치는 다크 오프셋(dark offset)이나 게인(gain)과 같은 변환 과정에서 발생하는 요소들이다.)
CAPD와 후면 조사 CMOS의 결합
CAPD는 포토다이오드 내부에서 전자를 효과적으로 분리·복조하고 수집하는 역할을 합니다. 이를 위해서는 물체 표면에서 반사된 빛이 센서의 포토다이오드에 방해 없이 도달하는 것이 중요합니다. Sony의 후면 조사(backside illuminated, BSI) 기술은 포토다이오드에 최대한 많은 빛이 도달하도록 설계되었습니다. 기존의 전면 조사(front-side) 방식 CMOS 센서와 달리, BSI 센서는 배선층을 포토다이오드 아래에 배치해 광 감도를 향상시킵니다. 이러한 구조 덕분에 입사광을 가로막을 수 있는 배선이나 회로 요소가 제거되어, 더 많은 빛이 포토다이오드에 효율적으로 도달할 수 있습니다.
원치 않는 이미지 아티팩트(image artifacts)를 줄일 수 있다는 점 역시 IMX556의 중요한 장점 중 하나입니다. IMX556은 CMOS 센서 기반으로, CCD 방식의 ToF 센서에 비해 스미어링(smearing)과 블루밍(blooming) 현상이 훨씬 적게 발생합니다. 스미어링과 블루밍은 픽셀 웰(pixel well)에 저장할 수 있는 전하의 양을 초과했을 때, 전하가 인접한 픽셀로 흘러가며 발생하는 현상으로, 이로 인해 잘못된 3D 데이터가 생성될 수 있습니다. 이러한 현상은 보통 강한 광원이나 반사율이 높은 물체 표면을 촬영할 때 나타납니다. 많은 ToF 애플리케이션에서는 이러한 영향을 최소화하는 것이 매우 중요하며, Helios 카메라에 적용된 IMX556 CMOS 센서는 이미지 아티팩트를 효과적으로 억제해 보다 안정적이고 신뢰성 높은 3D 데이터를 제공합니다.
CCD 센서에서 발생하는 블루밍 및 스미어링 아티팩트
스미어링이 발생하지 않고 블루밍 현상이 최소화된 CMOS 이미지
VCSEL 기반 고성능 조사광
거리 계산에 사용되는 조사광은 ToF 카메라의 성능을 좌우하는 매우 중요한 요소입니다. 신뢰성 있는 성능을 확보하기 위해 Helios 카메라는 4개의 VCSEL(Vertical Cavity Surface Emitting Laser)을 사용해 변조된 조사광을 생성합니다. VCSEL은 높은 피크 전력과 빠른 상승·하강 특성을 갖춘 850 nm 파장의 협대역 빛을, 용도에 맞게 설계된 빔 형상으로 조사합니다. 이러한 850 nm 협대역 조사광은 높은 변조 대비(modulation contrast)를 제공할 뿐만 아니라, 시스템 내 다른 2D 카메라에 간섭을 일으킬 수 있는 가시광 영역(380~740 nm)의 빛을 포함하지 않습니다. 또한 에지 방출 레이저(edge-emitting laser)와 달리 VCSEL은 코히어런스(coherence)가 낮아 스펙클(speckle)이 거의 없는 영상을 구현할 수 있습니다. 높은 피크 전력의 조사광은 물체 표면을 더 많은 광자로 조명해 노이즈를 줄이고 주변광에 대한 내성을 향상시켜, 거리 계산에서 더 높은 정밀도를 제공합니다.
Helios VCSEL은 850 nm 협대역 파장에서 충분한 조사광을 제공해, IMX556 CMOS 센서가 850 nm에서 갖는 56.6%의 양자 효율을 최대한 활용할 수 있도록 합니다.
Side Note
Helios ToF 카메라는 카메라 전면에 4개의 VCSEL을 장착하고 있으며, 이 VCSEL들은 이미저 보드의 각 모서리 근처에 배치된 작은 흰색 사각형 형태의 소자입니다.
VCSEL은 LED에 비해 상승 및 하강 시간이 매우 빠르기 때문에, IMX556과 같은 CW 위상 편이 방식의 ToF 센서에 최적화된 광원입니다. 또한 VCSEL은 높은 변조 주파수를 구현할 수 있어, 특히 짧은 거리 측정에서 더 높은 정확도와 정밀도를 제공합니다.
결론
Sony의 IMX556 DepthSense ToF 센서는 신뢰성 높고 정확하며 정밀한 3D 측정을 가능하게 합니다. 혁신적인 CAPD 드리프트 필드 기술과 Sony의 후면 조사(backside illuminated, BSI) CMOS 기술 역량이 결합된 DepthSense 센서는 산업용 카메라 통합을 위한 매우 뛰어난 선택입니다. 또한 IMX556 센서를 탑재한 LUCID Vision Labs의 Helios 카메라는 4개의 VCSEL을 통해 고대비의 물체 표면 조사광을 제공하며, 산업 환경에 적합한 견고한 설계를 갖춘 ToF 카메라입니다. 현재 다양한 ToF 솔루션이 존재하지만, 산업용 애플리케이션 관점에서 가장 실질적인 선택지는 Helios 카메라입니다. 이 조합을 통해 IMX556 센서는 카메라와 물체 표면 간 거리가 0.3 m에서 1.5 m 범위일 때 5 mm 미만의 정확도를 달성하며, 1 m 거리에서는 2 mm 미만의 정밀도를 제공합니다.
Helios2 ToF 3D 카메라 모델 라인업
Helios2 시리즈는 850 nm 또는 940 nm 파장의 VCSEL 레이저 다이오드 4개를 사용하는 고정밀 3D ToF 카메라로, Sony의 최신 DepthSense™ IMX556PLR 후면 조사(backside illuminated) ToF 이미지 센서를 통합하고 있습니다. 최대 8.3 m의 작업 거리에서 640 × 480 해상도의 깊이 데이터를 제공합니다. 카메라 내부 처리(on-camera processing)를 통해 거리(range), 강도(intensity), 신뢰도(confidence) 데이터를 직접 출력함으로써, 고가의 호스트 시스템 구성 요소에 대한 의존도를 줄일 수 있습니다. 또한 IP67 등급, 충격 및 진동 인증, 산업 환경을 고려한 EMC 내성, M12 이더넷 커넥터를 갖추고 있어 공장 및 물류창고 환경에 적합한 ToF 카메라입니다.
자세한 내용은 Helios2 제품 페이지를 참조해 주세요.
