DE102021103581B4 - Verfahren zur Korrektur von Tiefenbildern einer Lichtlaufzeitkamera - Google Patents

Abstract

Verfahren zur Korrektur von Entfernungswerten einer Lichtlaufzeitkamera, die eine Phasenverschiebung zwischen einem emittierten und empfangenen modulierten Lichts ermittelt,
wobei in wenigstens zwei Phasenmessungen das Licht mit unterschiedlichen Modulationsfrequenzen (f₁, f₂) emittiert wird,
wobei sich ein Phasenunterschied (φ, φ_res, φ₀) grundsätzlich aus der Beziehung arctan(-Re,lm) bestimmt und sich hieraus ein Entfernungswert (d) berechnen lässt,
wobei ein gemessener Entfernungswert (d_res) sich aus dem tatsächlichen Entfernungswert (d_direct) und einen Störungsanteil (d_global) zusammensetzt, $$d_{res}=d_{direct}+d_{global}$$

und sich die Real- und Imaginärteile im Phasenbild entsprechend verhalten,
Re_res = Redirect + Re_global sowie Im_res = Im_direct + Im_global wobei diese Beziehungen folgenden Gleichungen entspricht: $$\begin{array}{l}R{e}_{res}=a\cdot R{e}_{corrected}-b\cdot I{m}_{corrected},\\ I{m}_{res}=a\cdot I{m}_{corrected}+b\cdot R{e}_{corrected},\end{array}$$

wobei die Faktoren a und b den Störanteil beinhalten und Re_corrected und
Im_corrected den MPI-freien Real- und Imaginärteil beschreiben,
wobei zur Berechnung des tatsächlichen Entfernungswerts folgende Schritte durchgeführt werden,
- Bestimmung positiver, ganzzahliger Faktoren (n₁, n₂) für die Modulationsfrequenzen gemäß $$n_1{ƒ}_2=n_2{ƒ}_1$$

ermittelt werden,
wobei unter der Berücksichtigung, dass die korrigierten Real- und Imaginärteile zu den unterschiedlichen Frequenzen gleich sind $$\left|\begin{array}{c}R{e}_{n_1{ƒ}_2,corrected}=R{e}_{n_2{ƒ}_1,corrected}\\ I{m}_{n_1{ƒ}_2,corrected}=I{m}_{n_2{ƒ}_1,corrected}\end{array}\right|,$$

die korrigierten Real- und Imaginärteile Re_{f j,corrected}, Im_{f j,corrected} mit gemessenen Real- und Imaginärteilen Re_{f 1} , Im_{f 1} , Re_{f 2} und Im_{f 2} in Relation gesetzt werden gemäß $$\begin{array}{l}R{e}_{{ƒ}_1,corrected}=a_1\cdot R{e}_{{ƒ}_1}+b_1\cdot I{m}_{{ƒ}_1},\\ I{m}_{{ƒ}_1,corrected}=a_1\cdot I{m}_{{ƒ}_1}-b_1\cdot R{e}_{{ƒ}_1},\\ R{e}_{{ƒ}_2,corrected}=a_2\cdot R{e}_{{ƒ}_2}+b_2\cdot I{m}_{{ƒ}_2}\\ I{m}_{{ƒ}_2,corrected}=a_2\cdot I{m}_{{ƒ}_2}-b_2\cdot R{e}_{{ƒ}_2},\end{array}$$

wobei die Koeffizienten a₁ und a₂ mittels der Beziehung $$a_i=\sqrt{1-b_i^2.}$$

normiert werden,
und das Gleichungssystem nach b₁ und b₂ gelöst und durch Einsetzen der Lösung korrigierte Real- und Imaginärteile ermittelt werden,
woraus ein tatsächlicher Entfernungswert zur Verfügung gestellt wird.

Description

• Mit Lichtlaufzeitkamera bzw. Lichtlaufzeitkamerasystem sollen hier insbesondere Systeme umfasst sein, die Entfernungen aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewinnen. Als Lichtlaufzeit- bzw. ToF-Kameras sind insbesondere PMD-Kameras mit Photomischdetektoren (PMD) geeignet, wie sie u.a. in der DE 197 04 496 A1 beschrieben sind.
• Aus der US 2012 / 0033045 A1 ist eine 3D-Kamera bekannt, die zur Kompensation von Mehrwegausbreitungen zwei unterschiedliche Modulationsfrequenzen in einem Frequenzverhältnis aussendet, die um einen Faktor 2 unterschiedlich sind. Zur Erkennung einer Mehrwegausbreitung wird ein Amplitudenverhältnis der erfassten Modulationssignale betrachtet.
• Die DE 10 2016 201 599 A1 beschreibt ein Lichtlaufzeitkamerasystem, mit einem Lichtlaufzeitsensor, bei dem die Beleuchtung Licht in wenigstens zwei unterschiedlichen Polarisationsrichtungen aussendet, wobei in einem ersten Modulationstakt Licht mit einer ersten Polarisationsrichtung und in einem zweiten Modulationstakt Licht mit einer zweiten Polarisationsrichtung ausgesendet wird. Eine Mehrwegausbreitung wird erkannt, wenn ein Differenzsignal der Pixel von Null abweicht bzw. einen Grenzwert überschreitet.
• Die DE 10 2019 006 438 A1 offenbart ein Objektüberwachungssystem, das eine Abstandsmesseinrichtung umfasst, die basierend auf einer Phasendifferenz zwischen in Richtung eines Zielraums abgestrahltem Referenzlicht und vom Zielraum reflektiertem Licht einen Abstandsmesswert des Zielraums ausgibt, wobei Einflüsse von externen Objekten außerhalb des Zielraums gemäß bestimmter Anordnungsbeziehungen und insbesondere Reflexionsgrade der externen Objekte ermittelt werden.
• Aufgabe der Erfindung ist es, die Entfernungsmessung eines Lichtlaufzeitkamerasystems zu verbessern.
• Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Verfahren zur Korrektur von Tiefenbildern einer Lichtlaufzeitkamera gelöst.
• Die Aufgabe wird durch das erfindungsgemäße Verfahren gemäß Anspruch 1 gelöst.
• Es zeigen
• 1 eine gestörte Phasenmessung,
• 2 einen erfindungsgemäßen Verfahrensablauf.
• Mehrwegeinterferenzen (MPI) sind ein großes Problem bei Messungen mittels Lichtlaufzeitkameras (ToF-Kameras). Um diesen Effekt zu reduzieren, wird eine MPI-Korrektur an den Messdaten vorgenommen. In der Erfindung basiert diese Korrektur auf einem Gleichungssystem aus Beziehungen aus den Additionstheoremen für Sinus und Cosinus. Hierzu werden Messungen mit zwei beliebigen Frequenzen verwendet. Es werden Vereinfachungen getroffen wie eine Linearisierung des Gleichungssystems, um die Lösbarkeit zu gewährleisten. Die Erfindung beinhaltet eine MPI-Korrektur, die keinen Zugriff auf die tatsächliche Lösung benötigt.
• Mehrwegeinterferenzfehler werden durch mehrfache Reflektionen in der Szene hervorgerufen. Dadurch ist der Lichtpfad länger als der direkte Weg und erhöht somit die Distanz auf dem Pixel. Weiterhin ist dieser Fehler in höchstem Maß szenenabhängig. Er stellt ein großes Problem für Lichtlaufzeitmessungen dar. Zum derzeitigen Stand ist kein Algorithmus bekannt, welcher diesen Fehler in Echtzeit korrigiert. Zudem ist auch keine allgemeingültige Methode unabhängig von Szene und Modulationsfrequenz bekannt.
• Mehrwegeinterferenzen treten bei Messungen mit Lichtlaufzeitkameras häufig auf. Sie werden durch mehrfache Reflektionen des emittierten Lichtes erzeugt. Hierbei ist die zurückgelegte Distanz des Lichtes höher als die des direkten Weges. Dadurch vergrößert sich die resultierende Distanz. Allgemein ausgedrückt, setzt sich die resultierende Distanz d_res aus der direkten Distanz d_direct (auch MPI-freie Distanz d_corrected) und einer durch MPI entstandenen Distanz d_MPI zusammen, sodass $$d_{res}=d_{corrected}+d_{MPI}=d_{direct}+d_{global}.$$

  

  Erfindungsgemäß werden die Distanzen nach dem Phasenmessprinzip, also anhand des Phasenunterschiedes φ zwischen emittierter und von der Szenerie rückreflektierten und empfangenen modulierten Strahlung, ermittelt.
• Wie in 1 anhand eines IQ-Diagramms gezeigt, gilt für die Phasenvektoren analog: $$r_{res}=r_{direct}+r_{global}$$

  
• Die Phasenwinkel ergeben sich in bekannter Weise durch: $$\phi =arctan\frac{-Re}{lm}$$

  
• Wobei in 1 der φ_res und φ₀ die Phasenwinkel der Phasenvektoren r_res, r_direct und Δφ die Differenz zwischen dem resultierenden Phasenvektor r_res und dem tatsächlichen Phasenvektor r_direct kennzeichnen.
• Bei der der Verwendung von zwei Frequenzen ergibt sich der aufgespannte Eindeutigkeitsbereich gemäß: $$EB={\lambda }_{EB}=\frac{c}{\text{gcd}\left(ƒ{}_1,{ƒ}_2\right)}$$

  

  bzw. die Hälfte davon, wenn der Hin- und Rückweg der Lichtwelle berücksichtigt wird.
• Separiert man Real- und Imaginärteil der Messdaten nach direktem und globalem Anteil, lässt sich folgende Darstellung finden $$\begin{array}{c}R{e}_{res}=R{e}_{direct}+R{e}_{global}\\ =-\frac{A_0}{A}sin{\phi }_0-{\displaystyle \sum _i\frac{A_i}{A}}\text{sin}\left({\phi }_0+\Delta {\phi }_i\right)\\ =-sin{\phi }_0\left(\frac{A_0}{A}+{\displaystyle \sum _i\frac{A_i}{A}}cos\Delta {\phi }_i\right)-cos{\phi }_0\left({\displaystyle \sum _i\frac{A_i}{A}}sin\Delta {\phi }_i\right)\\ =a\cdot R{e}_{corrected}-b\cdot I{m}_{corrected},\\ I{m}_{res}=I{m}_{direct}+I{m}_{global}\\ =-\frac{A_0}{A}cos{\phi }_0-{\displaystyle \sum _i\frac{A_i}{A}}cos\left({\phi }_0+\Delta {\phi }_i\right)\\ =cos{\phi }_0\left(\frac{A_0}{A}+{\displaystyle \sum _i\frac{A_i}{A}}cos\Delta {\phi }_i\right)-sin{\phi }_0\left({\displaystyle \sum _i\frac{A_i}{A}}sin\Delta {\phi }_i\right)\\ =a\cdot I{m}_{corrected}+b\cdot R{e}_{corrected},\end{array}$$

  

  wobei $$a:=\frac{A_0}{A}+{\displaystyle \sum _i\frac{A_i}{A}}cos\Delta {\phi }_i,$$

  

  $$\begin{array}{l}b:={\displaystyle \sum _i\frac{A_i}{A}}sin\Delta {\phi }_i,\\ {\phi }_i=\frac{4\pi {ƒ}_{mod}}{c}{d}_i,\\ \Delta {\phi }_i:={\phi }_i-{\phi }_0,\end{array}$$

  

  f_mod die Modulationsfrequenz bezeichnet, c die Lichtgeschwindigkeit und d_i die Pfadlänge von Pfad i. Hierbei ist i > 0, da es sich um die globalen Pfade handelt. Der lokale Pfad i = 0 wird separat betrachtet.
• Zusammengefasst erhalten wir die Gleichungen $$\begin{array}{l}R{e}_{res}=a\cdot R{e}_{corrected}-b\cdot I{m}_{corrected},\\ I{m}_{res}=a\cdot I{m}_{corrected}+b\cdot R{e}_{corrected}.\end{array}$$

  
• Hierbei lässt sich feststellen, dass für normierte Messdaten, die Koeffizienten a und b ebenfalls normiert sind. Weiterhin sind die MPI-freien Daten konstruktionsbedingt auch normiert. Allgemein ist ersichtlich das $$a=\frac{A_0}{A}+{\displaystyle \sum _i\frac{A_i}{A}}cos\Delta {\phi }_i>0$$

  

  gilt, da nach Definition A₀, A₁, A₂, ... > 0, A₀ ≥ Σ_i A_i und cos Δφ_i ∈ [-1, 1] gilt und a = 0 eine triviale (nicht sinnvolle) Lösung ist.
• Mit der Normiertheit der Koeffizienten lassen sich durch Umformen der beiden Gleichungen die MPI-freien Teile mittels der Messdaten durch $$\begin{array}{l}R{e}_{corrected}=a\cdot R{e}_{res}+b\cdot I{m}_{res}.\\ I{m}_{corrected}=a\cdot I{m}_{res}-b\cdot R{e}_{res}\end{array}$$

  

  darstellen.
• Ziel ist es die Koeffizienten a und b zu bestimmen.
• 2 zeigt schematisch das erfindungsgemäße Vorgehen. In bekannter Weise wird mit Hilfe einer Lichtlaufzeitkamera, die nach dem Phasenmessprinzip arbeitet, ein erstes Tiefen- bzw. Phasenbild mit einer ersten Frequenz f₁ und ein zweites Phasenbild mit einer zweiten Frequenz f₂ aufgenommen. Zur Bestimmung der jeweiligen Real- und Imaginärteile werden die Phasenbilder wenigstens zu zwei unterschiedlichen Phasenlagen aufgenommen. Diese Daten stehen im Schritt 1 der weiteren Berechnung zur Verfügung.
• Im Schritt 2 werden für die beiden Frequenzen positive ganzzahlige Frequenzfaktoren n₁ und n₂ bestimmt, sodass $$n_1{ƒ}_2=n_2{ƒ}_1$$

  

  gilt. MPI-freie Daten müssen für gleiche Frequenzen gleich groß sein. Es wird somit im Schritt 3 aus vorhergehender Relation folgendes Gleichungssystem aufgestellt: $$\left|\begin{array}{c}R{e}_{n_1{ƒ}_2,}{}_{corrected}=R{e}_{n_2{ƒ}_1,}{}_{corrected}\\ I{m}_{n_1{ƒ}_2,}{}_{corrected}=I{m}_{n_2{ƒ}_1,}{}_{corrected}\end{array}\right|.$$

  
• Dieses ist äquivalent zu $$\left|\begin{array}{c}-\text{sin}\left(n_1{\left({\phi }_0\right)}_2\right)=-\text{sin}\left(n_2{\left({\phi }_0\right)}_1\right)\\ \text{cos}\left(n_1{\left({\phi }_0\right)}_2\right)=\text{cos}\left(n_2{\left({\phi }_0\right)}_1\right)\end{array}\right|,$$

  

  wobei {(φ₀)_j den Phasenwinkel des direkten Pfades zur Frequenz f_j bezeichnet.
• Mittels der Additionstheoreme für Sinus und Cosinus lässt sich im Schritt 4 das Gleichungssystem in Termen von Re_f1corrected, Im_f1corrected, Re_f2corrected und Im_f2corrected unter Verwendung der Beziehungen $$\begin{array}{l}R{e}_{{ƒ}_1,corrected}=-\text{sin}\left({\left({\phi }_0\right)}_1\right),\\ {\text{Re}}_{{\text{f}}_2,corrected}=-\text{sin}\left({\left({\phi }_0\right)}_2\right),\\ I{m}_{{ƒ}_1,corrected}=\text{cos}\left({\left({\phi }_0\right)}_1\right),\\ I{m}_{{ƒ}_2,corrected}=\text{cos}\left({\left({\phi }_0\right)}_2\right),\end{array}$$

  

  schreiben. Mit den vorhergehenden Beziehungen zwischen den MPI-freien Teilen und den Messdaten, gegeben durch $$\begin{array}{l}R{e}_{{ƒ}_1,corrected}=a_1\cdot R{e}_{{ƒ}_1}+b_1\cdot I{m}_{{ƒ}_1},\\ I{m}_{{ƒ}_1,corrected}=a_1\cdot I{m}_{{ƒ}_1}-b_1\cdot R{e}_{{ƒ}_1},\\ R{e}_{{ƒ}_2,corrected}=a_2\cdot R{e}_{{ƒ}_2}+b_2\cdot I{m}_{{ƒ}_2},\\ I{m}_{{ƒ}_2,corrected}=a_2\cdot I{m}_{{ƒ}_2}-b_2\cdot R{e}_{{ƒ}_2},\end{array}$$

  

  kann somit das Gleichungssystem gemäß Schritt 5 in Termen der Messdaten Re_f1 , Im_f1 , Re_f2 und Im_f2 und der Koeffizienten a₁, b₁, a₂ und b₂ geschrieben werden. Wir erhalten also ein Gleichungssystem mit zwei Gleichungen und den vier Koeffizienten als Unbekannten.
• Zur Lösung des Gleichungssystems werden erfindungsgemäß im Schritt 6 die Eigenschaften der Koeffizienten ausgenutzt. Aus der Normiertheit und aus der Positivität von a₁ und a₂ folgt für j = 1,2 die Beziehung $$a_i=\sqrt{1-b_i^2.}$$

  
• Durch Einsetzten reduziert sich das Gleichungssystem zu einem System aus zwei Gleichungen mit den beiden verbleibenden Unbekannten b₁ und b₂.
• Im Allgemeinen ist dieses Gleichungssystem linear abhängig und damit nicht analytisch lösbar. Eine Linearisierung des Gleichungssystems in den Variablen b₁ und b₂ im Schritt 7 ermöglicht die eindeutige Lösbarkeit des Gleichungssystems nach b₁ und b₂ im Schritt 8.
• Hiernach wird im Schritt 9 die Lösung in die Gleichung gemäß Schritt 5 eingesetzt und im Schritt 10 eine Lösung für MPI-freie Real- und Imaginärteile ausgegeben.
• Die Erfindung ist also eine linear genäherte MPI-korrigierte Lösung zu beliebigen Messdaten einer Lichtlaufzeitkamera gemessen mittels zweier beliebiger Frequenzen. Diese Lösung ist allgemein gültig. Sie ist szenenunabhängig und gilt für alle Frequenzpaare. Außerdem benötigt sie keinen Zugriff auf die tatsächliche Lösung. Die Lösung ist in Echtzeit berechenbar.

Claims (1)

1. Verfahren zur Korrektur von Entfernungswerten einer Lichtlaufzeitkamera, die eine Phasenverschiebung zwischen einem emittierten und empfangenen modulierten Lichts ermittelt, wobei in wenigstens zwei Phasenmessungen das Licht mit unterschiedlichen Modulationsfrequenzen (f₁, f₂) emittiert wird, wobei sich ein Phasenunterschied (φ, φ_res, φ₀) grundsätzlich aus der Beziehung arctan(-Re,lm) bestimmt und sich hieraus ein Entfernungswert (d) berechnen lässt, wobei ein gemessener Entfernungswert (d_res) sich aus dem tatsächlichen Entfernungswert (d_direct) und einen Störungsanteil (d_global) zusammensetzt, $$d_{res}=d_{direct}+d_{global}$$

   

   und sich die Real- und Imaginärteile im Phasenbild entsprechend verhalten, Re_res = Redirect + Re_global sowie Im_res = Im_direct + Im_global wobei diese Beziehungen folgenden Gleichungen entspricht: $$\begin{array}{l}R{e}_{res}=a\cdot R{e}_{corrected}-b\cdot I{m}_{corrected},\\ I{m}_{res}=a\cdot I{m}_{corrected}+b\cdot R{e}_{corrected},\end{array}$$

   

   wobei die Faktoren a und b den Störanteil beinhalten und Re_corrected und Im_corrected den MPI-freien Real- und Imaginärteil beschreiben, wobei zur Berechnung des tatsächlichen Entfernungswerts folgende Schritte durchgeführt werden, - Bestimmung positiver, ganzzahliger Faktoren (n₁, n₂) für die Modulationsfrequenzen gemäß $$n_1{ƒ}_2=n_2{ƒ}_1$$

   

   ermittelt werden, wobei unter der Berücksichtigung, dass die korrigierten Real- und Imaginärteile zu den unterschiedlichen Frequenzen gleich sind $$\left|\begin{array}{c}R{e}_{n_1{ƒ}_2,corrected}=R{e}_{n_2{ƒ}_1,corrected}\\ I{m}_{n_1{ƒ}_2,corrected}=I{m}_{n_2{ƒ}_1,corrected}\end{array}\right|,$$

   

   die korrigierten Real- und Imaginärteile Re_fj,corrected, Im_fj,corrected mit gemessenen Real- und Imaginärteilen Re_f1 , Im_f1 , Re_f2 und Im_f2 in Relation gesetzt werden gemäß $$\begin{array}{l}R{e}_{{ƒ}_1,corrected}=a_1\cdot R{e}_{{ƒ}_1}+b_1\cdot I{m}_{{ƒ}_1},\\ I{m}_{{ƒ}_1,corrected}=a_1\cdot I{m}_{{ƒ}_1}-b_1\cdot R{e}_{{ƒ}_1},\\ R{e}_{{ƒ}_2,corrected}=a_2\cdot R{e}_{{ƒ}_2}+b_2\cdot I{m}_{{ƒ}_2}\\ I{m}_{{ƒ}_2,corrected}=a_2\cdot I{m}_{{ƒ}_2}-b_2\cdot R{e}_{{ƒ}_2},\end{array}$$

   

   wobei die Koeffizienten a₁ und a₂ mittels der Beziehung $$a_i=\sqrt{1-b_i^2.}$$

   

   normiert werden, und das Gleichungssystem nach b₁ und b₂ gelöst und durch Einsetzen der Lösung korrigierte Real- und Imaginärteile ermittelt werden, woraus ein tatsächlicher Entfernungswert zur Verfügung gestellt wird.

Images