Support Center
Sony IMX490 CMOS-Sensor: kamerainternes HDR für 24-Bit-Bildgebung
Einleitung
Sensoren bieten immer mehr kamerainterne Funktionen und höhere Lichtempfindlichkeit. Applikationsingenieure sollen gleichzeitig zusätzlichen Nutzen schaffen und die Leistungsgrenzen von Kamera und Sensor ausreizen. Oft wurde dafür eine Bildnachverarbeitung auf dem Host-PC ergänzt. Ein typisches Beispiel ist eine HDR-Pipeline für Szenen mit hohem Kontrast, etwa in Outdoor-Automotive-Anwendungen. Mit dem CMOS-Sensor IMX490 verlagert Sony die HDR-Verarbeitung auf den Sensor. So lassen sich HDR-Applikationen verschlanken, während die 24-Bit-Bildverarbeitungspipeline von LUCID kameraintern genutzt wird.
Inhaltsverzeichnis
Einleitung
High Dynamic Range: der traditionelle Ansatz
Konventionelles HDR: nicht ideal bei Bewegung
IMX490: gleichzeitige Belichtungen
IMX490: Flimmerunterdrückung
Funktionsweise: Pixelstruktur
Pixel-Potential-Querschnitte und Ansteuersequenz
Nächste Schritte: LUCIDs TRI054S IMX490 in ArenaView
Videoressourcen
Fazit
High Dynamic Range: der traditionelle Ansatz
HDR erfordert meist mehrere Bilder mit unterschiedlichen Belichtungszeiten, die zu einem Einzelbild verarbeitet werden. Längere Belichtungen erfassen Details in Schatten, riskieren aber Ausbrennen in hellen Bereichen. Kürzere Belichtungen verhalten sich umgekehrt. Das Endbild kombiniert die jeweils besten Informationen zu einem HDR-Ergebnis.
Oben: Beim traditionellen HDR werden mehrere Bilder mit unterschiedlichen Belichtungen nacheinander aufgenommen und auf dem Host-PC zu einem einzigen HDR-Bild kombiniert.
Hinweis
Konventionelles HDR lässt sich über die Sequencer-Funktion der Kamera umsetzen. Die Kamera nimmt dabei eine Serie von Bildern nacheinander auf. Jedes Bild kann eigene Einstellungen besitzen, etwa Auflösung, Gain oder Belichtungszeit. Die Verarbeitung erfolgt anschließend auf dem Host-PC.
Konventionelles HDR: nicht ideal bei Bewegung
Bei statischen Szenen funktioniert der Ansatz sehr gut. In schnellen Szenen, etwa in Automotive-Anwendungen, können Bewegungsartefakte entstehen. Sie treten auf, wenn sich Objekte zwischen den einzelnen Belichtungen bewegen. Da jede Belichtung zu einem anderen Zeitpunkt erfolgt, führt die Latenz zu Verzerrungen im kombinierten HDR-Bild.
Oben: Die sequenzielle HDR-Verarbeitung ist für Szenen mit Bewegung nicht ideal. Unterschiedliche Latenzen zwischen den Belichtungen erzeugen Bewegungsartefakte.
Finales HDR-Ergebnis, Bewegungsartefakte:
Das resultierende HDR-Bild zeigt deutliche Bewegungsartefakte. Sichtbar sind Verzerrungen an Fahrzeugen und Gebäuden.
IMX490: gleichzeitige Belichtungen
Im Gegensatz zur konventionellen HDR-Verarbeitung gibt es beim IMX490 keine Latenz zwischen Belichtungen. Alle Belichtungen haben die gleiche Länge und finden gleichzeitig statt. Möglich macht dies die Sub-Pixel-Technologie mit großen und kleinen Pixeln unterschiedlicher Empfindlichkeit. Jedes Sub-Pixel wird zudem mit hoher und niedriger Konversionsverstärkung ausgelesen. So entstehen vier 12-Bit-Kanäle pro Pixel. Die Kanäle werden kameraintern verarbeitet und zu einem linearen 24-Bit-HDR-Wert kombiniert. Hinweis: Die Belichtungszeit kann zwischen großem und kleinem Pixel variieren, empfohlen ist jedoch die gleiche Belichtungszeit.
Oben: Der IMX490 kombiniert zwei Pixelgrößen mit je zwei Verstärkungskanälen. Dadurch sind vier gleichzeitige Belichtungen möglich.
Oben: Die vier Kanäle werden kameraintern zu einem 24-Bit-HDR-Bild zusammengeführt.
IMX490: Flimmerunterdrückung
Die gleichzeitigen Belichtungen mit Sub-Pixeln helfen, LED-Flimmern zu unterdrücken. Konventionelle HDR-Kameras nutzen oft sehr kurze Belichtungen, um geringe Empfindlichkeit in hellen Szenen auszugleichen und Übersättigung zu vermeiden. Solche kurzen Zeiten erfassen das Ein- und Ausschalten von AC-LEDs und erzeugen sichtbares Flackern. Der IMX490 benötigt diese extrem kurzen Belichtungen nicht. Das weniger empfindliche Sub-Pixel für helle Bereiche kann dieselbe längere Belichtungszeit nutzen wie die übrigen Pixel. Dadurch wird Flimmern gemittelt.
Oben: Sehr kurze Belichtungen erfassen AC-LED-Flimmern bei 30, 50 oder 60 Hz. Mit längeren Belichtungen und Sub-Pixeln mittelt der IMX490 das Flimmern.
Funktionsweise: Pixelstruktur
Das Sensor-Design erhöht die Gesamtempfindlichkeit und reduziert Rauschen. Der IMX490 ist ein rückwärts belichteter BSI-Sensor, bei dem die Verdrahtung unter der Photodiode liegt. So erreicht mehr Licht die Photodiode. Jedes Sub-Pixel besitzt eine angepasste Mikrolinse zur besseren Fokussierung. Ein Lichtschutz und ein tiefer Graben sorgen für Isolation und verringern optisches Übersprechen sowie Leckströme zwischen den Sub-Pixeln. Ergebnis sind hohe Quanteneffizienz, ein Dynamikbereich über 120 dB und eine kombinierte Sub-Pixel-Sättigungskapazität von 120000 e-.
Oben: Zoom in den Sensor mit zwei unterschiedlich großen PixelnDetailansicht der beiden Sub-Pixel (simuliertes Bild)Querschnitt der Pixelstruktur. Der IMX490 ist ein BSI-CMOS-Sensor mit Rolling Shutter.Interaktive Grafiken. Bewegen Sie den Mauszeiger über die Punkte im Diagramm, um die QE-Prozentwerte anzuzeigen
TRI054S-CC (Color, Sony IMX490 CMOS)
Color EMVA 1288 Results Dynamic Range 123.6 dB SNR (Max) 50.8 dB Saturation Capacity 120000 e- Absolute Sensitivity Threshold (Measured at 527.5nm) 1.5 γ Temporal Dark Noise 0.54 e- Gain 9.83 DN24 / e-
EMVA 1288 ist der Standard zur Messung und Darstellung von Spezifikationen für Machine-Vision-Sensoren und -Kameras. Weitere Informationen zum EMVA-1288-Standard finden Sie unter http://www.emva.org/standards-technology/emva-1288/
Pixel-Potential-Querschnitte und Ansteuersequenz
Das Design des IMX490 umfasst mehrere Floating Diffusions für Sub-Pixel 1 (SP1) und Sub-Pixel 2 (SP2). Die Belichtungen laufen gleichzeitig, die Signale von SP1 und SP2 werden jedoch seriell ausgegeben. Die folgende Animation zeigt die Phasen der Pixel-Potentiale und die Ansteuersequenz.
Phasen:
8) Alle elektrischen Ladungen in SP1 und SP2 werden zurückgesetzt.
1) Belichtung: Beide Sub-Pixel werden gleichzeitig belichtet.
SP1-Auslesen:
2) SP1-Reset-Niveaus für Low und High Gain werden abgetastet.
3) SP1 mit hoher Konversionsverstärkung wird abgetastet.
4) SP1 mit niedriger Konversionsverstärkung wird abgetastet.
* Da bei SP1 Reset- und Signalpegel abgetastet werden, ist korrelierte Doppelabtastung (CDS) zur Rauschreduktion möglich.</p]
SP2-Auslesen:
5) SP2 mit hoher Konversionsverstärkung wird abgetastet.
6) SP2 mit niedriger Konversionsverstärkung wird abgetastet.
7) SP2-Reset-Niveau wird abgetastet.
* Da die Reset-Abtastung bei SP2 nach den Signalen erfolgt, ist CDS nicht möglich. SP2 nutzt Delta-Reset-Sampling zur Rauschunterdrückung.
8) Alle elektrischen Ladungen in SP1 und SP2 werden zurückgesetzt.
Nächste Schritte: LUCIDs TRI054S IMX490 in ArenaView
Wer Anleitungen zur Verwendung der TRI054S-CC in ArenaView von LUCID sucht, findet diese in unserem KB-Artikel: Using LUCID’s TRI054S IMX490 in ArenaView
Dieser KB-Artikel erklärt die Funktionen und Optionen der TRI054S-CC, einschließlich HDR-Tuning, Bildverbesserung, Digital Clamping und mehr. Zudem enthält er Hinweise zum Ändern der Bittiefe in der Anzeige, zum Anpassen der LUT und zum Umschalten der Tone-Mapping-Gamma.
Videoressourcen
Fazit
Die Kombination aus Sonys IMX490 und der Triton IP67 Kamera von LUCID liefert 120 dB HDR-Bildgebung für Szenen mit sehr dunklen und sehr hellen Bereichen. Der IMX490 erreicht dies mit Sub-Pixel-Technologie und dualem Kanalausgang, sodass vier Belichtungen gleichzeitig möglich sind. Das Ergebnis sind klare Bilder ohne Verzerrungen und ohne Bewegungsartefakte. Dank gleichzeitiger Belichtungen kann die Kamera LED-Flimmern reduzieren, da längere Zeiten möglich sind als bei konventionellen HDR-Kameras, die kürzere Belichtungen erfordern. Die Triton Kamera bietet eine 24-Bit-ISP, mit der Anwender die Funktionen des IMX490 feinjustieren können. Durch das IP67 Factory Tough™ Design eignet sich die Triton 5,4 MP Kamera für Outdoor-Anwendungen wie Fahrerassistenzsysteme oder autonomes Fahren sowie für industrielle Aufgaben wie die Live-Schweißinspektion.
Preise ansehen oder online bestellen: Produktseite Triton 5,4 MP IMX490
