Support Center
센서에서 시작되는 지능형 처리: 온센서 AI 프로세싱
Table of Contents
Sony IMX501: 영상 처리와 인공지능을 하나로 통합한 솔루션
온센서 AI vs. 기존 AI 처리 방식
기존의 머신 비전 센서는 일반적으로 원시 이미지 데이터를 캡처한 후, 처리와 분석을 위해 PC나 클라우드 서버와 같은 외부 시스템에 의존합니다. 이 방식은 대규모 복잡한 AI 모델을 지원할 수 있고, 정교한 전처리 및 후처리를 수행하는 데 유리하다는 장점이 있습니다. 그러나 많은 사용자에게는 이러한 수준의 성능이 과도할 수 있습니다. 또한, 이 접근 방식은 지연 시간 증가, 전력 소비 및 대역폭 요구 상승, 시스템 복잡도와 비용 증가와 같은 문제를 수반합니다.
반면, AI 처리를 센서 내부에 직접 통합하면 데이터 처리 효율성과 의사결정 속도를 향상시킬 수 있으며, 동시에 호스트 PC의 리소스를 다른 작업에 활용할 수 있습니다. 온디바이스에서 실행되는 머신러닝 알고리즘은 즉각적인 추론을 가능하게 하여, 대용량 이미지 데이터를 중앙 시스템으로 전송할 필요를 없애줍니다. 비록 처리 자원이 제한적일 수 있으나, 이와 같은 아키텍처는 다양한 실사용 사례에서 충분히 효율적이고 효과적인 성능을 제공하며, 대부분의 사용자 요구를 충족시킬 수 있습니다. 그 결과, 더 빠른 응답 속도, 낮은 대역폭 사용, 보다 컴팩트하고 비용 효율적인 시스템 구현이 가능합니다.
스택형 AI 센서 아키텍처
Sony의 IMX501은 차세대 지능형 센서의 대표적인 사례입니다. 이 센서는 12.3메가픽셀(4056 × 3040)의 후면 조명(backside-illuminated) CMOS 롤링 셔터 센서로, 온센서 AI 엔진을 내장하고 있으며, 통합된 Convolutional Neural Network(CNN) 프로세서를 통해 AI 처리를 지원합니다. 주요 AI 처리 구성 요소는 CNN 입력 이미지의 전처리를 위한 ISP(Image Signal Processor), CNN 연산을 수행하는 DSP(Digital Signal Processor) 서브시스템, CNN 가중치 및 런타임 데이터를 저장하기 위한 8MB L2 SRAM으로 구성되어 있습니다. AI 관련 회로는 별도의 다이(die)에 구현되어 있으며, 픽셀 어레이 센서가 위치한 상단 다이 아래에 스택(stack) 형태로 배치되어 있습니다. 이러한 스택형 아키텍처 덕분에 IMX501에서는 두 개의 다이 간 고속 이미지 데이터 전송을 통해 AI 추론이 센서 패키지 내에서 전적으로 수행됩니다. 이를 통해 전체 해상도에서 약 30fps의 내부 처리 속도를 지원할 수 있습니다. 다만, 실제 이미지 출력 성능은 센서와 카메라 FPGA 간의 대역폭에 따라 달라지며, CNN 추론 시간은 AI 모델의 복잡도와 크기에 따라 달라집니다. 전체 처리량은 1GigE 카메라 인터페이스의 한계로 인해 제약을 받으며, 이는 이미지 출력과 AI 처리 모두에 영향을 미칩니다.
IMX501는 스택형 센서 다이와 AI 다이를 통해 12.3MP 해상도에서 약 30fps의 온패키지 고속 데이터 전송을 구현합니다. 다만, 실제 성능은 센서와 FPGA 간의 대역폭, AI 모델의 복잡도, 그리고 1GigE 인터페이스의 한계에 따라 달라질 수 있습니다.
| Triton Smart Framerates (Max FPS) |
7.9 FPS @ 12.3 MP (Full image with Object Detection) 29 FPS (4×4 image with Object Detection) 8.0 FPS @ 12.3 MP (Full image with Classification / Anomaly Detection) 30 FPS (4×4 image with Classification / Anomaly Detection) |
효율적인 AI 추론을 위한 병렬 DSP 코어
AI 처리를 위한 핵심 엔진은 DSP 서브시스템 코어입니다. 이 코어는 고연산 집약형(High-Computation-Intensity, CI) DSP 코어, 표준 CI DSP 코어, 그리고 Tensor DMA(TDMA)로 구성되어 있습니다. 고CI 및 표준 CI DSP 코어는 병렬로 동작하며, 신경망 연산을 수행하고 데이터를 직접 TDMA로 이동시킨 후 L2 메모리에 저장합니다. 이후 이미지 및 추론 데이터는 MIPI 인터페이스를 통해 카메라의 FPGA로 전송됩니다.
이 센서 아키텍처는 IMX501이 약 280mW의 소비 전력으로 전체 해상도에서 전력을 효율적으로 사용하는 AI 추론을 수행할 수 있도록 합니다. 모든 추론은 완전히 오프라인 상태에서 이루어지며, 인터넷이나 클라우드 연결이 전혀 필요하지 않습니다. 따라서 외부 의존성과 장애 지점을 최소화해야 하는 완전 독립형 에어갭(air-gapped) 네트워크 기반의 자동화 환경에 적합합니다.
AITRIOS용 Brain Builder: 딥러닝 전문 지식 없이도 정확한 모델 구축
IMX501의 온센서 AI 기능을 최대한 활용하기 위해서는, 센서의 제한된 메모리 용량을 고려한 최적화된 소프트웨어 파이프라인이 필수적입니다. Triton Smart 카메라는 Neurala의 Brain Builder의 특수 버전인 Brain Builder for AITRIOS를 사용합니다. 이 AI 모델 학습 플랫폼은 AI 모델을 생성할 뿐만 아니라, 수동 모델 가지치기(pruning), 압축, 아키텍처 튜닝 없이도 최적의 결과를 도출할 수 있도록 설계되어 있습니다. 사용자는 클래스당 약 50장의 이미지만으로도 높은 정확도의 분류(Classification) 및 객체 감지(Object Detection) 모델을 구축할 수 있습니다. 소프트웨어는 모델 최적화를 자동으로 수행하며, 적절한 신경망 아키텍처를 선택하고 Triton Smart와의 통합도 원활하게 처리합니다. 이를 통해 딥러닝 전문 지식이 없는 사용자도 효율적으로 AI 모델을 개발할 수 있습니다.
사용자는 이미지 데이터셋을 업로드한 후, 클래스 정의 및 이미지 라벨링을 수행합니다. 모델 학습을 시작하기 전에, 데이터셋 내에서 각 클래스가 얼마나 라벨링되었는지 검토할 수 있습니다.
(위 영상은 Brain Builder 소프트웨어 패키지에 포함된 샘플 데이터셋을 사용한 예제입니다. 시청의 편의성과 명확성을 위해 일부 단계는 편집 및 재생 속도 조절이 이루어졌으며, 모든 핵심 정보는 그대로 포함되어 있습니다.)
AITRIOS용 Brain Builder에서 모델을 생성하는 기본 단계는 다음과 같습니다: 1) 프로젝트 이름을 지정하고, 2) 모델 유형을 선택한 다음, 3) 이미지를 업로드합니다. 그 후 4) 클래스(라벨)를 생성하고, 5) 이미지에 주석(어노테이션)을 달아 학습 데이터를 구성합니다. 마지막으로 6) 학습 강도(Comprehensiveness)를 선택하고 모델 학습을 시작합니다.
Triton 스마트 카메라: 엣지 환경을 위한 견고한 AI 솔루션
29 x 29 mm
67 grams
M12 / M8 Connectors
-20°C to 55°C Ambient
LUCID의 Triton Smart 카메라는 Sony IMX501 센서를 산업 환경에 적합한 소형 경량 하우징(무게 67g, 크기 29 x 29mm)에 통합한 제품입니다. 견고한 2피스 알루미늄 케이스는 네 개의 M2 나사로 밀폐 고정되어 있으며, 견고한 M12 및 M8 커넥터를 통해 안정적인 이더넷 및 GPIO 연결을 제공합니다. 먼지나 수분이 많은 환경에서는 별도의 외함 없이도 추가적인 보호 기능을 제공하는 IP67 등급의 옵션 렌즈 튜브를 사용할 수 있습니다.
-20°C에서 55°C까지의 넓은 주변 온도 범위에서 동작하며, 충격과 진동을 견디도록 설계된 Triton Smart는 공장 현장, 물류 센터, 또는 옥외 설치 환경에서도 장기적인 사용을 위해 제작되었습니다.
듀얼 ISP 구성
Triton Smart는 AI 처리와 이미지 처리를 동시에 수행할 수 있는 듀얼 ISP 설계를 특징으로 합니다. IMX501 센서에 내장된 ISP는 캡처된 이미지를 AI 엔진에 입력될 텐서 형식으로 전처리합니다. AI 모델 유형에 따라 입력 텐서의 해상도는 다르게 지정되며, 분류(Classification)는 256 x 256 픽셀, 객체 감지(Object Detection)는 320 x 320 픽셀, 이상 탐지(Anomaly Detection)는 512 x 512 픽셀입니다. 추론이 완료되면 출력 텐서가 생성되며, 입력 및 출력 텐서 모두 AI 분석 결과를 포함합니다.
한편, 원본 이미지 데이터는 카메라의 FPGA에 내장된 보조 ISP로 전달되어, 일반 머신 비전 카메라처럼 표준 이미지 처리를 수행합니다. AI 추론 결과는 청크 데이터(chunk data)로 포함되어 최종 이미지와 함께 결합되며, 하나의 데이터 스트림으로 호스트 PC에 시각적 출력과 메타데이터를 동시에 제공합니다. 카메라는 세 가지 출력 옵션을 제공합니다: 일반 이미지, AI 엔진에 전달된 입력 텐서(다운샘플된 이미지), 그리고 출력 텐서(추론 결과)입니다. 더 높은 프레임 속도나 향상된 개인정보 보호가 요구되는 애플리케이션에서는, 입력 및 출력 텐서를 유지한 채 일반 이미지를 4 × 4 픽셀로 축소할 수 있습니다. 전체 해상도(4056 × 3040 픽셀)로 AI 추론 결과를 함께 출력할 경우 최대 8.3 FPS의 성능을 제공하며, 일반 이미지를 4 × 4 픽셀로 축소하면 최대 30 FPS까지 달성할 수 있습니다.
이 듀얼 경로 아키텍처는 고품질 이미지 처리와 실시간 AI 추론이 병렬로 이루어지면서도, 게인(gain), 감마(gamma), 블랙 레벨, 화이트 밸런스, LUT, 색 보정 행렬(CCM), 픽셀 보정, 색조(hue), 채도(saturation), 색 공간 변환, ROI 등 표준 카메라 이미지 처리 기능을 그대로 유지할 수 있도록 합니다.
실제 적용 사례
AI 추론 기능이 카메라에 직접 내장된 Triton Smart는 저지연, 오프라인 처리, 전력 효율이 중요한 애플리케이션에 이상적인 솔루션입니다.
주요 활용 사례는 다음과 같습니다:
- 스마트 제조: 인라인 결함 감지, 부품 검증, 예지 보전
- 리테일 및 스마트 키오스크: 재고 추적, 진열대 분석, 무인 결제 시스템
- 물류 및 창고 관리: 실시간 패키지 분류, 라벨 판독, 보관함 검증
- 출입 통제 및 공공 안전: 침입 감지, 인원 계수, 보안 구역 모니터링
데이터 소스에 더 가까운 AI 구현
온센서 AI 처리는 엣지 컴퓨팅의 가능성을 새롭게 정의하고 있습니다. Triton Smart는 고성능 AI 서버를 대체하기 위한 제품은 아니지만, 많은 산업 및 임베디드 애플리케이션에서 효율성과 성능 간의 효과적인 균형을 제공합니다. 센서 내에서 실시간 의사결정을 가능하게 함으로써, Sony IMX501이 탑재된 LUCID의 Triton Smart와 같은 솔루션은 시스템 복잡성을 줄이고 반응성을 향상시키며, 클라우드나 호스트 인프라에 의존하지 않고 독립적으로 작동할 수 있습니다. AITRIOS용 Brain Builder와 같은 직관적인 도구와 결합될 경우, 이러한 접근 방식은 머신 비전 분야에서 AI 도입의 진입 장벽을 낮추고, 보다 폭넓은 사용자층이 지능형 자동화를 활용할 수 있도록 합니다.
AITRIOS용 Brain Builder에서 생성된 모델은 ArenaView MP를 사용해 Triton Smart에 업로드할 수 있습니다. 실시간 AI 추론 결과는 ArenaView MP에서 시각화할 수 있습니다.
