Support Center
Intelligenter direkt an der Quelle: KI-Verarbeitung im Sensor
Inhaltsverzeichnis
Sony IMX501: Bildverarbeitung und Intelligenz in einem Sensor
KI-Verarbeitung im Sensor vs. traditionelle Verarbeitung
Traditionelle Bildsensoren für die industrielle Bildverarbeitung erfassen in der Regel Rohbilddaten und sind für Verarbeitung und Analyse auf externe Systeme wie PCs oder Cloud-Server angewiesen. Dieser Ansatz unterstützt zwar große, komplexe KI-Modelle und ermöglicht eine umfangreichere Vor- und Nachverarbeitung, geht für viele Anwender jedoch deutlich über die tatsächlichen Anforderungen hinaus. Darüber hinaus entstehen zusätzliche Latenzen, ein höherer Leistungs- und Bandbreitenbedarf sowie eine wesentlich höhere Systemkomplexität und höhere Kosten.
Die direkte Integration der KI-Verarbeitung in den Sensor erhöht dagegen die Effizienz der Datenverarbeitung und die Geschwindigkeit der Entscheidungsfindung und entlastet gleichzeitig die Ressourcen des Host-PCs für andere Aufgaben. Direkt auf dem Gerät ausgeführte Machine-Learning-Algorithmen ermöglichen eine unmittelbarere Inferenz, da große Mengen an Bilddaten nicht erst an zentrale Systeme übertragen werden müssen. Trotz geringerer Rechenressourcen kann diese Architektur für viele praktische Anwendungen eine effiziente und wirkungsvolle Leistung bieten und die Anforderungen der meisten Anwender erfüllen. Das Ergebnis: schnellere Reaktionen, geringerer Bandbreitenbedarf sowie kompaktere und kostengünstigere Systeme.
Gestapelte KI-Sensorarchitektur
Sonys IMX501 steht beispielhaft für diese neue Klasse intelligenter Sensoren. Der rückseitig belichtete CMOS-Sensor mit Rolling Shutter bietet 12,3 MP (4056 x 3040 px) und verfügt über eine im Sensor integrierte KI-Engine, die durch einen integrierten Convolutional-Neural-Network-(CNN)-Prozessor ermöglicht wird. Die wichtigsten Komponenten der KI-Verarbeitung bestehen aus einem ISP zur Vorverarbeitung der CNN-Eingangsbilder, einem Digital-Signal-Processor-(DSP)-Subsystem für CNN-Operationen und 8 MB L2-SRAM zur Speicherung von CNN-Gewichten und Laufzeitdaten. Die KI-Komponenten befinden sich auf einem separaten Die, der unter dem oberen Die mit dem Pixelarray gestapelt ist. Dank dieser Stacking-Architektur erfolgt die KI-Inferenz des IMX501 vollständig innerhalb des Sensorpackages. Die schnelle Bilddatenübertragung zwischen den beiden Dies ermöglicht intern eine Verarbeitungsrate von etwa 30 Bildern pro Sekunde bei voller Auflösung. Die tatsächliche Bildausleseleistung hängt jedoch von der Bandbreite zwischen Sensor und FPGA der Kamera ab, während die CNN-Inferenzzeit je nach Komplexität und Größe des KI-Modells variiert. Der Gesamtdurchsatz wird zusätzlich durch die 1GigE-Kameraschnittstelle begrenzt, die die maximale Datenübertragungsrate für Bildausgabe und Verarbeitung limitiert.
Die gestapelten Sensor- und KI-Dies des IMX501 ermöglichen eine schnelle Datenübertragung innerhalb des Sensorpackages mit ca. 30 fps bei 12,3 MP. Die tatsächliche Leistung hängt jedoch von der Sensor-FPGA-Bandbreite, der Komplexität des KI-Modells und den Grenzen der 1GigE-Schnittstelle ab.
| Triton Smart Bildraten (max. FPS) |
7,9 FPS @ 12,3 MP (Vollbild mit Objekterkennung) 29 FPS (4×4-Bild mit Objekterkennung) 8,0 FPS @ 12,3 MP (Vollbild mit Klassifizierung / Anomalieerkennung) 30 FPS (4×4-Bild mit Klassifizierung / Anomalieerkennung) |
Parallele DSP-Kerne für effiziente KI-Inferenz
Die zentrale Recheneinheit für die KI-Verarbeitung ist der Kern des DSP-Subsystems. Dieser besteht aus einem High-Computation-Intensity-(CI)-DSP-Kern, einem Standard-CI-DSP-Kern und Tensor-DMAs (TDMAs). High-CI- und Standard-CI-DSP arbeiten parallel, führen neuronale Netzwerkoperationen aus und übertragen die Daten direkt in die TDMA und anschließend in den L2-Speicher. Bild- und Inferenzdaten werden danach über die MIPI-Schnittstelle an das FPGA der Kamera übertragen.
Der CNN-Prozessor enthält sowohl einen High-CI- als auch einen Standard-CI-DSP-Kern. Beide DSP-Kerne verfügen über mehrere Processing Elements (PE), Memory-Access Elements (ME) und Register (RE). Diese Architektur bietet ausreichend Rechenleistung, um Klassifizierungs-, Erkennungs- und Anomaliemodelle effizient auszuführen.
Der Standard-CI-DSP-Kern ist für allgemeine, unregelmäßige und sequenzielle Aufgaben optimiert, sodass der High-CI-DSP-Kern für rechenintensive Operationen reserviert bleibt. Da der Standard-CI-Kern Workloads mit höherem Speicherzugriffsbedarf verarbeitet, verfügt er über eine größere Anzahl an Memory Engines (MEs).
Der High-CI-DSP-Kern ist für Aufgaben mit hohem Durchsatz wie Faltungs- und Matrixoperationen optimiert und verwendet Daten effizient wieder, um Speicherzugriffe zu minimieren. Dafür verfügt er über eine größere Anzahl an Processing Elements (PEs) sowie eine höhere Register-(RE)-Speicherkapazität.
Diese Sensorarchitektur ermöglicht dem IMX501 eine energieeffiziente KI-Inferenz mit einer Leistungsaufnahme von nur etwa 280 mW bei Verarbeitung in voller Auflösung. Die gesamte Inferenz erfolgt vollständig offline, ohne Internet- oder Cloud-Verbindung. Damit eignet sich der Sensor besonders für Automatisierungsumgebungen, die vollständig autarke, vom externen Netzwerk getrennte Air-Gapped-Netzwerke erfordern, um externe Abhängigkeiten und potenzielle Fehlerquellen zu reduzieren.
Open-Source-KI-Modellentwicklung für Triton Smart
Um die On-Sensor-KI-Funktionen des IMX501 zu nutzen, müssen Modelle trainiert, quantisiert und in ein Format konvertiert werden, das für den KI-Prozessor und die Speicherbeschränkungen des Sensors optimiert ist. Der Entwicklungsworkflow von LUCID für Triton Smart basiert auf Sonys Open-Source IMX500 Model Zoo, einer Sammlung von Beispielskripten und Tools zum Trainieren und Quantisieren neuronaler Netzwerkmodelle für die IMX500/IMX501-Plattform. Sonys Model Zoo enthält Modellarchitekturen für Aufgaben wie Bildklassifizierung, Objekterkennung, Anomalieerkennung, Posenschätzung und semantische Segmentierung.
LUCID stellt eine vorkonfigurierte virtuelle Maschine (VM) auf der Google Cloud Platform (GCP) bereit, die alle Tools enthält, die zur Erstellung Triton-Smart-kompatibler Modelle erforderlich sind. Die VM bietet eine sofort einsatzbereite Entwicklungsumgebung einschließlich der Trainingsbeispiele aus dem IMX500 Model Zoo und einer Docker-basierten Umgebung. Entwickler können dadurch mit dem Training beginnen, ohne die komplette Software-Toolchain manuell konfigurieren zu müssen. Beispielsweise können Anwender mit dem von LUCID bereitgestellten MobileNetV2-Klassifizierungsbeispiel starten oder die Beispiel-Trainingsbilder durch einen eigenen Datensatz ersetzen, um ein individuelles Klassifizierungsmodell zu erstellen.
Während des Trainings wird das Modell optimiert und quantisiert. Dabei wird die numerische Präzision des neuronalen Netzwerks reduziert, sodass es effizient auf der integrierten KI-Hardware des IMX501 und innerhalb der verfügbaren 8 MB Speicher ausgeführt werden kann. Der Triton-Smart-Workflow erzeugt ein quantisiertes Modell, das anschließend vom Triton Smart Model Converter verarbeitet wird. Dieser konvertiert das trainierte Netzwerk in die von der Kamera benötigten Dateien. Die Dateien werden von der VM auf den Host-PC heruntergeladen und mit ArenaView MP auf die Triton Smart übertragen.
Dieser Workflow gibt Entwicklern in einer Open-Source-Entwicklungsumgebung mehr Kontrolle über ihre Datensätze, die Modellkonfiguration und den Trainingsprozess. Nach der Bereitstellung führt das optimierte Modell die Inferenz direkt auf dem IMX501 aus, sodass die Triton Smart die KI-Verarbeitung unabhängig von Cloud- oder Host-basierter Inferenz durchführen kann.
Triton Smart: Robuste KI am Edge
29 x 29 mm
67 Gramm
M12-/M8-Steckverbinder
-20 °C bis 55 °C Umgebungstemperatur
Die Triton-Smart-Kamera von LUCID integriert den IMX501 in ein kompaktes, leichtes Gehäuse (67 g, 29 x 29 mm), das für industrielle Umgebungen ausgelegt ist. Das robuste zweiteilige Aluminiumgehäuse ist abgedichtet und mit vier M2-Schrauben sicher verschlossen, während robuste M12- und M8-Steckverbinder zuverlässige Ethernet- und GPIO-Verbindungen gewährleisten. Für staubige oder nasse Umgebungen bietet ein optionaler IP67-Linsentubus zusätzlichen Schutz, ohne dass ein separates Schutzgehäuse erforderlich ist.
Mit einem großen Umgebungstemperaturbereich von -20 °C bis 55 °C und einer Konstruktion, die Stößen und Vibrationen standhält, ist die Triton Smart für den langfristigen Einsatz in Produktionsumgebungen, Logistikzentren oder Außeninstallationen ausgelegt.
Zwei ISPs
Die Triton Smart verfügt über ein Dual-ISP-Design, das gleichzeitige KI- und Bildverarbeitung ermöglicht. Der integrierte ISP des IMX501-Sensors verarbeitet die aufgenommenen Bilder zu einem Eingangstensor für die KI-Engine vor. Verschiedene KI-Modelle haben spezifische Anforderungen an den Eingangstensor: Klassifizierung verwendet 256 x 256 Pixel, Objekterkennung 320 x 320 Pixel und Anomalieerkennung 512 x 512 Pixel. Nach der Inferenz wird der Ausgangstensor erzeugt; beide Tensoren enthalten die Ergebnisse der KI-Analyse.
Parallel dazu werden die Rohbilddaten an einen zweiten ISP im FPGA der Kamera weitergeleitet, der die konventionelle Bildverarbeitung wie bei einer Standardkamera für die industrielle Bildverarbeitung übernimmt. Die KI-Ergebnisse werden als Chunk-Daten eingebettet und mit dem finalen Bild kombiniert, sodass sowohl die visuelle Ausgabe als auch Metadaten in einem einzigen Datenstrom an den Host-PC übertragen werden. Die Kamera bietet drei Ausgabeoptionen: ein reguläres Bild, den Eingangstensor (herunterskaliertes Bild, das an die KI-Engine gesendet wird) und den Ausgangstensor (Inferenzergebnisse). Für Anwendungen, die höhere Bildraten oder einen verbesserten Datenschutz erfordern, kann das reguläre Bild optional auf nur 4 × 4 Pixel reduziert werden, während Ein- und Ausgangstensor weiterhin übertragen werden. Bei voller Auflösung (4056 × 3040 px) zusammen mit den KI-Inferenzergebnissen beträgt die Ausgaberate 8,3 FPS. Wird das reguläre Bild auf 4 × 4 Pixel reduziert, erreicht die Kamera mit KI-Inferenz bis zu 30 FPS.
Diese Dual-Path-Architektur stellt sicher, dass hochwertige Bildgebung und KI-Inferenz in Echtzeit parallel erfolgen können, ohne auf standardmäßige Bildverarbeitungsfunktionen der Kamera wie Gain, Gamma, Schwarzwert, Weißabgleich, LUT, CCM, Pixelkorrektur, Farbton, Sättigung, Farbraumkonvertierung und ROI verzichten zu müssen.
Praxisanwendungen
Da die KI-Inferenz direkt in die Kamera integriert ist, eignet sich die Triton Smart ideal für Anwendungen, bei denen geringe Latenz, Offline-Fähigkeit und Energieeffizienz entscheidend sind.
Zu den wichtigsten Anwendungsbereichen gehören:
- Smart Manufacturing: Inline-Fehlererkennung, Komponentenprüfung und vorausschauende Wartung.
- Einzelhandel und Smart Kiosks: Bestandsverfolgung, Regalanalyse und unbeaufsichtigte Kassensysteme.
- Logistik und Lagerhaltung: Paketsortierung in Echtzeit, Etikettenerkennung und Behälterverifizierung.
- Zutrittskontrolle und öffentliche Sicherheit: Eindringlingserkennung, Personenzählung und Überwachung gesicherter Bereiche.
KI näher an die Datenquelle bringen
Die KI-Verarbeitung direkt im Sensor definiert neu, was am Edge möglich ist. Die Triton Smart ist zwar nicht als Ersatz für leistungsstarke KI-Server gedacht, bietet jedoch für viele industrielle und Embedded-Anwendungen ein ausgewogenes Verhältnis aus Effizienz und Leistungsfähigkeit. Indem Entscheidungen in Echtzeit direkt im Sensor ermöglicht werden, reduzieren Lösungen wie LUCIDs Triton Smart mit Sonys IMX501 die Systemkomplexität, verbessern die Reaktionsfähigkeit und arbeiten unabhängig von Cloud- oder Host-Infrastruktur. In Kombination mit einem Open-Source-Workflow für die Modellentwicklung erhalten Entwickler mehr Flexibilität beim Trainieren, Optimieren und Bereitstellen von KI-Modellen für die On-Sensor-Inferenz. So lässt sich intelligente Automatisierung in einem breiteren Spektrum von Machine-Vision-Anwendungen einsetzen.
