Support Center
Sony DepthSense 3D-Sensor erklärt: Besseres Time-of-Flight
Kräfte bündeln
Time-of-Flight-Technologie (ToF) ist seit einigen Jahren industriell verfügbar. Mit dem DepthSense ToF-Sensor IMX556 hebt Sony die Genauigkeit und Präzision der 3D-Erfassung auf ein neues Niveau. Dank der speziellen DepthSense-Pixelstruktur rekonstruiert der Sensor Objekte in Echtzeit zuverlässiger, detailreicher und mit höheren Bildraten. In Verbindung mit LUCIDs Kameratechnologie erschließt Sonys DepthSense das volle Potenzial für industrielle Anwendungen.
Wie funktioniert Sonys DepthSense IMX556 Time-of-Flight?
Bei Time-of-Flight wird die Laufzeit des Lichts gemessen, das von einer Lichtquelle ausgesendet, an der Szene reflektiert und vom Sensor erfasst wird. Der Sony IMX556 CMOS-Sensor nutzt kontinuierliche Wellenmodulation (Continuous Wave, CW), auch als CW-Phasenverschiebung oder indirektes Time-of-Flight bezeichnet. Statt einer einzelnen Lichtpuls-Laufzeit vergleicht die Helios Kamera kontinuierlich moduliertes Licht mit dem reflektierten Licht und berechnet aus der Phasenverschiebung die Distanz. Um die Phasenverschiebung präzise zu bestimmen, setzt der IMX556 auf eine Current Assisted Photonic Demodulator (CAPD)-Pixelstruktur, die das einfallende Licht synchron zur Modulation abtastet. CAPD erzeugt eine wechselnde Spannung in der Photodiode jedes Pixels und damit Driftfelder, die Elektronen zu alternierenden Detektorübergängen ziehen. Im vereinfachten Beispiel unten emittiert die VCSEL-Diode (Vertical Cavity Surface Emitting Laser) moduliertes Licht. Das reflektierte Licht wird in der Photodiode in Elektronen umgewandelt und zwischen die alternierenden Detektorübergänge aufgeteilt. So steigt die Lichtsammelausbeute.
Oben: Die alternierende Spannung von CAPD erzeugt ein wechselndes Driftfeld, das Elektronen zwischen zwei Detektionsübergängen (b1, b2) aufteilt. Dieses Driftfeld ist mit der Modulationsfrequenz der VCSEL-Laserdioden synchronisiert. Die beiden Übergänge sind um 180° phasenversetzt, um das reflektierte Licht vollständig zu erfassen. So vergleicht der Sensor ausgesandtes und reflektiertes Licht und berechnet die Phasenverschiebung.
Hinweis
Sony IMX556 DepthSense ToF-Sensor-Daten:
- Rückseitig belichtetes CMOS
- 640 × 480 px
- Global Shutter
- 10,0µm Pixelgröße
- 1/2″ Sensorformat
Hinweis
Die CAPD-ToF-Sensortechnologie wurde 2006 von den Gründern des belgischen Unternehmens Softkinetic vorgestellt, das 2015 von Sony übernommen wurde. Unten: CAPD-Diagramm aus „Time-of-flight Optical Ranging Sensor Based on a Current Assisted Photonic Demodulator“ von D. Van Nieuwenhove, W. Van der Tempel, R. Grootjans und M. Kuijk.
Teilen und beherrschen
Sobald Photonen in der Photodiode zu Elektronen konvertiert sind, müssen sie rasch zu den Detektorübergängen gelangen, damit die Kamera die Phasenverschiebung korrekt berechnet. In jedem Detektionsübergang liegen positive (p+) und negative Bereiche (n+). Wird Strom eingespeist, entsteht ein Driftfeld. Die Elektronenlöcher (h+) wandern in Richtung des niedrigsten Potenzials zur p+-Region, die Elektronen (e−) in die entgegengesetzte Richtung zur n+-Region. CAPD arbeitet sehr schnell und effektiv. Die Driftfeld-Polarität wird rasch umgeschaltet, was einen sehr hohen Demodulationskontrast erzeugt. Ein hoher Kontrast lenkt mehr Elektronen abhängig von ihrer Rücklaufzeit in den richtigen Übergang und verbessert die Berechnung der Phasenverschiebung. So steigen Genauigkeit und Präzision des DepthSense-Sensors. Zusätzlich reicht das CAPD-Driftfeld tief in die Photodiode und beschleunigt möglichst viele Elektronen zu den Detektionsübergängen. Zusammen mit Sonys rückseitig belichteter Technologie ergibt sich eine hohe Quanteneffizienz von 57 % bei 850 nm. Die Helios Kamera erreicht damit eine Genauigkeit von unter 5 mm und eine Präzision von unter 2 mm bei 1 m Abstand.
Links oben: Querschnitt einer CAPD-Struktur. Elektronen (e−) beschleunigen zur Region mit höchstem Potenzial (n+), Elektronenlöcher (h+) bewegen sich zur Region mit niedrigstem Potenzial (p+). Rechts oben: CAPD unterstützt hohe QE (57 % bei 850 nm) und hohen Demodulationskontrast.
1 Frame, 4 Phasen
Die CAPD-Geschwindigkeit ermöglicht dem IMX556, für jedes Tiefenbild vier Phasen zu sampeln. Jede Abtastung, auch Micro-Frame genannt, ist um 90° phasenversetzt (0°, 90°, 180°, 270°) und umfasst drei Phasen: Reset, Integration und Readout. Beim Reset wird die Pixelspannung auf den Ausgangswert gesetzt. Während der Integrationsphase erzeugt der Strom die Driftfelder, die Elektronen zu den Detektorübergängen lenken. In der Readout-Phase werden alle Pixeldaten auf dem Sensor ausgelesen. Danach folgt eine Idle-Zeit zur Reduzierung von Leistung und Wärme.
Für die Tiefenberechnung genügen die Micro-Frames 0° und 90°. Ändert sich die Objektentfernung, verändern sich die Werte von b1 und b2 in den 0°- und 90°-Micro-Frames. Umgebungslicht lässt sich einfach entfernen, indem b2 von b1 subtrahiert wird. Auch bei gleicher Photonenanzahl in b1 und b2 gibt es stets leichte Schwankungen, etwa bei der Umwandlung von Photon zu Elektron und von Elektron zu Spannung. Diese Einflüsse müssen kompensiert werden. Mit zwei zusätzlichen Micro-Frames, die zu 0° und 90° jeweils um 180° versetzt sind, werden die Rollen von b1 und b2 vertauscht. Addiert man anschließend b1 und b2 mit den jeweils gegenüberliegenden 180°-Micro-Frames, hebt die Kamera diese Schwankungen pro Pixel auf.
Die Subtraktion von b2 aus b1 entfernt das Umgebungslicht in jedem Micro-Frame.
Die Addition von b1 des 0°-Micro-Frames mit b2 des 180°-Micro-Frames (und umgekehrt) ergibt zwei neue Größen ohne Empfindlichkeitsunterschiede in b1 und b2, die z. B. durch Dark-Offset oder Gain entstehen.
CAPD + rückseitig belichtetes CMOS
CAPD demoduliert und sammelt Elektronen in der Photodiode sehr effizient. Zuvor muss das reflektierte Licht jedoch möglichst ungehindert die Photodiode erreichen. Sonys rückseitig belichtete CMOS-Technologie sorgt dafür, dass maximal viel Licht auf die Photodiode trifft. Anders als beim klassischen Frontside-CMOS liegen die Leitbahnen unter der Photodiode, was die Lichtempfindlichkeit verbessert. Leitungen und Schaltungen blockieren so kein einfallendes Licht.
Ein weiterer Vorteil des IMX556 ist die Reduzierung unerwünschter Artefakte. Als CMOS-Sensor ist er unempfindlicher gegenüber Smearing und Blooming als CCD-ToF-Sensoren. Smearing und Blooming entstehen, wenn die Ladung die Pixel-Wellkapazität überschreitet und in benachbarte Pixel überläuft, etwa bei starken Lichtquellen oder reflektierenden Flächen. In vielen ToF-Anwendungen müssen diese Effekte minimiert werden. Der im Helios eingesetzte IMX556 CMOS reduziert diese Bildartefakte deutlich.
Oben: CCD-Blooming- und Smearing-Artefakte
Oben: CMOS-Bild ohne Smearing und mit weniger Blooming
VCSELs: Hochleistungs-Licht
Das ausgesandte Licht ist entscheidend für die ToF-Leistung. Die Helios Kamera nutzt vier Vertical Cavity Surface Emitting Lasers (VCSEL), die moduliertes Licht emittieren. Die VCSELs erzeugen einen angepassten Strahl mit schmalbandigem Licht bei 850 nm, hoher Spitzenleistung sowie schnellen Anstiegs- und Abfallzeiten. Neben hohem Modulationskontrast sendet das schmale Emissionsband bei 850 nm kein sichtbares Licht (380 bis 740 nm) aus, das andere 2D-Kameras im System stören könnte. Im Unterschied zu Kantenemittern besitzen VCSELs eine geringere Kohärenz, wodurch speckle-freie Bilder entstehen. Höhere Spitzenleistung beleuchtet die Szene mit mehr Photonen, reduziert Rauschen und erhöht die Unempfindlichkeit gegenüber Umgebungslicht. Die Distanzmessung wird präziser.
Oben: Die Helios VCSELs emittieren genügend Licht in einem schmalen Wellenlängenband bei 850 nm, um die Quanteneffizienz von 56,6 % (bei 850 nm) des IMX556 CMOS-Sensors auszunutzen.
Hinweis
Die Helios ToF-Kamera nutzt vier VCSELs an der Vorderseite der Kamera. Die VCSELs sind die kleinen weißen Quadrate an den Ecken der Imager-Platine.
Oben: VCSELs haben schnellere Anstiegs- und Abfallzeiten als LEDs. Das macht sie zu idealen Emittern für CW-Phasen-ToF-Sensoren wie den IMX556. Zudem ermöglichen sie hohe Modulationsfrequenzen für höhere Genauigkeit und Präzision bei kurzen Distanzen.
Fazit
Sonys IMX556 DepthSense ToF-Sensor ermöglicht zuverlässige, genaue und präzise 3D-Messungen. Die Kombination aus innovativer CAPD-Driftfeldtechnik und Sonys Expertise bei rückseitig belichtetem CMOS macht DepthSense zur sehr guten Wahl für die Integration in Industriekameras. LUCIDs Helios Kamera mit IMX556 bietet eine robuste Industrieplattform mit kontrastreicher Szenenbeleuchtung durch vier VCSEL-Emitter. Unter den verfügbaren ToF-Lösungen ist die Helios Kamera besonders praxistauglich. Der IMX556 erreicht damit eine Genauigkeit von unter 5 mm im Bereich 0,3 bis 1,5 m und eine Präzision von unter 2 mm bei 1 m Abstand.
Helios2, Helios2+, Helios2 Wide, Helios2 Ray ToF-Kameras mit Sony DepthSense Sensor
Helios2 Time-of-Flight 3D-Kameramodelle.
Die Helios2 Modelle sind hochpräzise 3D-ToF-Kameras mit vier VCSEL-Laserdioden bei 850 nm oder 940 nm und integrieren Sonys DepthSense™ IMX556PLR rückseitig belichteten ToF-Bildsensor. Die Kamera liefert 640 × 480 Tiefenauflösung bei Arbeitsdistanzen bis 8,3 m. Kamerainterne Verarbeitung stellt Range-, Intensitäts- und Konfidenzdaten bereit und reduziert den Bedarf an kostenintensiven Host-Komponenten. IP67, Schock- und Vibrationszertifizierung, industrielle EMV-Immunität und M12-Ethernet machen die Kamera ideal für Fabrik- und Warehouse-Umgebungen. Zur Helios2 Produktseite
