Sony의 IMX501은 차세대 지능형 센서의 대표적인 사례입니다. 이 센서는 12.3메가픽셀(4056 × 3040)의 후면 조명(backside-illuminated) CMOS 롤링 셔터 센서로, 온센서 AI 엔진을 내장하고 있으며, 통합된 Convolutional Neural Network(CNN) 프로세서를 통해 AI 처리를 지원합니다. 주요 AI 처리 구성 요소는 CNN 입력 이미지의 전처리를 위한 ISP(Image Signal Processor), CNN 연산을 수행하는 DSP(Digital Signal Processor) 서브시스템, CNN 가중치 및 런타임 데이터를 저장하기 위한 8MB L2 SRAM으로 구성되어 있습니다. AI 관련 회로는 별도의 다이(die)에 구현되어 있으며, 픽셀 어레이 센서가 위치한 상단 다이 아래에 스택(stack) 형태로 배치되어 있습니다. 이러한 스택형 아키텍처 덕분에 IMX501에서는 두 개의 다이 간 고속 이미지 데이터 전송을 통해 AI 추론이 센서 패키지 내에서 전적으로 수행됩니다. 이를 통해 전체 해상도에서 약 30fps의 내부 처리 속도를 지원할 수 있습니다. 다만, 실제 이미지 출력 성능은 센서와 카메라 FPGA 간의 대역폭에 따라 달라지며, CNN 추론 시간은 AI 모델의 복잡도와 크기에 따라 달라집니다. 전체 처리량은 1GigE 카메라 인터페이스의 한계로 인해 제약을 받으며, 이는 이미지 출력과 AI 처리 모두에 영향을 미칩니다.

AI 처리를 위한 핵심 엔진은 DSP 서브시스템 코어입니다. 이 코어는 고연산 집약형(High-Computation-Intensity, CI) DSP 코어, 표준 CI DSP 코어, 그리고 Tensor DMA(TDMA)로 구성되어 있습니다. 고CI 및 표준 CI DSP 코어는 병렬로 동작하며, 신경망 연산을 수행하고 데이터를 직접 TDMA로 이동시킨 후 L2 메모리에 저장합니다. 이후 이미지 및 추론 데이터는 MIPI 인터페이스를 통해 카메라의 FPGA로 전송됩니다.