DE102011007464A1 - Verfahren und Vorrichtung zur Visualisierung einer Szene - Google Patents

Abstract

Bei einer Überwachungskamera 1 werden interessierende Szenenbereiche aufgrund einer vorgegebenen Abstandsinformation markiert dargestellt.

Description

• Die Erfindung geht aus von einem Verfahren und einer Vorrichtung zur Visualisierung einer von einer 2D/3D-Überwachungskamera Kamera aufgenommenen Szene nach der Gattung des unabhängigen Anspruchs.
• Aus der US 2007/0201859 A1 ist bereits die Benutzung eines 3D-Sensors in Kombination mit einem 2D-Sensor bekannt. Die beiden Sensoren und auch die Lichtquelle für den 3D-Sensor sind in einem gemeinsamen Gehäuse angeordnet. Das über ein gemeinsames Objektiv einfallende Licht wird über einen Strahlteiler auf den 2D- und 3D-Sensor aufgeteilt. Der Strahlteiler ist vorzugsweise so ausgebildet, dass vornehmlich infrarote Strahlung in Richtung des 3D-Sensors ausgelenkt wird.
• Als 3D-Kamerasysteme eignen sich insbesondere so genannte Licht-Laufzeitsysteme, bei denen die Laufzeitinformationen aus der Phasenverschiebung einer emittierten und empfangenen Strahlung gewonnen wird. Als 3D-Kameras sind insbesondere so genannte Fotomischdetektoren bzw. PMD-Kameras geeignet, wie sie unter anderem in den Anmeldungen DE 196 35 932 , EP 1 777 747 , EP 1 009 984 , US 6 587 186 und auch in der DE 197 04 496 beschrieben und beispielsweise von der Firma „ifm electronic gmbh” als frame-grabber O3D101/M01594 zu beziehen sind.
• Aus der DE 20 2004 014 778 U1 ist ferner eine Kameraeinrichtung zur Überwachung eines Totwinkelbereichs vor und seitlich der Führerhauskabine eines Nutzfahrzeugs bekannt bei der diese schwer oder nicht einsehbare Bereiche mit Hilfe einer 2D-Kamera überwacht werden.
• Aufgabe der Erfindung ist es, ein Verfahren und eine kompakte Überwachungskamera, insbesondere für sicherheitsrelevante Anwendungen, zur Verfügung zu stellen.
• Die Aufgabe wird in vorteilhafter Weise durch das erfindungsgemäße Verfahren und der Vorrichtung der unabhängigen Ansprüche gelöst.
• Vorteilhaft ist ein Verfahren zur Visualisierung einer mit einer Überwachungskamera 1 vorgesehen, bestehend aus einer 3D-Kamera und einer 2D-Kamera aufgenommen Szene, mit folgenden Verfahrensschritten: a) Aufnahme eines 3-dimensionalen Abbilds einer Szene mit der 3D-Kamera, b) Aufnahme eines 2-dimensionalen Abbilds der Szene mit der 2D-Kamera, c) Auswahl eines Szenenbereichs im 3-dimensionalen Abbild aufgrund einer Abstandsinformation, d) Markieren des ausgewählten Szenenbereichs im 2-dimensionalen Abbild und e) Darstellung der Szene mit dem markierten Szenenbereich auf einer Bildschirmeinheit BE.
• Durch die in den abhängigen Ansprüchen aufgeführten Maßnahmen sind vorteilhafte Weiterbildungen und Verbesserungen der im unabhängigen Anspruch angegebenen Erfindung möglich.
• Besonders vorteilhaft ist es, wenn die Abstandsinformation, der geringste Abstand zur Überwachungskamera 1 ist.
• In einer bevorzugten Ausführung ist es vorgesehen, dass die Markierung als Kreuz dargestellt wird.
• Vorteilhaft ist eine Vorrichtung zur Durchführung des vorgenannten Verfahrens vorgesehen.
• In vorteilhafter Weise fasst die erfindungsgemäße Überwachungskamera eine 3D- und 2D-Kamera in einem gemeinsamen Kameragehäuse zusammen. Der 3D-Kamera ist ferner eine aktive Beleuchtung zugeordnet, die zusammen mit dem Kameragehäuse eine gemeinsame Baueinheit bildet. Weiterhin weist jede Kamera ein eigenes Objektiv auf, so dass in vorteilhafter Weise der optische Strahlengang für den jeweiligen Kameratyp optimal gestaltet werden kann.
• Vorteilhaft sind die Erfassungsbereiche der beiden Kameras derart aufeinander abgestimmt, dass im Wesentlichen die gleichen Bereiche erfasst werden. In vorteilhafter Weise ist mindestens eine der beiden Kameras derart angepasst.
• Insbesondere ist es von Vorteil, wenn die 3D-Kamera und/oder die aktive Beleuchtung derart ausgestaltet sind/ist, dass der Erfassungsbereich der 3D-Kamera mindestens 70% des beleuchteten Bereichs erfasst. So wird vorteilhaft vermieden, dass Licht in den überstrahlten Bereichen verloren geht oder sich schädlich auf den erfassten Bereich auswirkt.
• Zweckmäßigerweise ist die aktive Beleuchtung derart ausgestaltet ist, dass der beleuchtete Bereich im Wesentlichen der Geometrie des Erfassungsbereich angepasst ist. Insbesondere ist es von Vorteil, beispielsweise bei einem rechteckigen TOF-Sensor-Array, der im Wesentlichen auch einen rechteckigen Erfassungsbereich aufweist, auch dem Beleuchtungsbereich eine im Wesentlichen rechteckige Geometrie zu geben.
• Zweckmäßiger Weise weisen die Kameras zu mindestens in einer Raumrichtung einen Erfassungs-Öffnungswinkel von größer 90°, insbesondere größer 120° auf.
• In einer weiteren vorteilhaften Ausgestaltung ist die aktive Beleuchtung aus einem Array von Lichtquellen aufgebaut, wobei die Lichtquellen zusammen den gesamten Erfassungsbereich der 3D-Kamera ausleuchten.
• In einer bevorzugten Ausgestaltung ist mindestens eine Lichtquelle derart ausgebildet, dass diese Lichtquelle den Erfassungsbereich nur teilweise beleuchtet. Dieses Vorgehen hat unter anderem den Vorteil, dass beispielsweise eine ausgewählte Lichtquelle nur für die Beleuchtung eines besonders relevanten Bereichs herangezogen werden kann.
• Des Weiteren ist es auch möglich, mehrere Lichtquellen zu einem Beleuchtungsmodul zusammen zu fassen. Ein solches Modul kann insbesondere schwenkbar im oder am Kameragehäuse angeordnet werden.
• Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und in der nachfolgenden Beschreibung näher erläutert.
• Es zeigen
• 1 ein Lichtlaufzeit-Meßsystem,
• 2 schematisch ein Nutzfahrzeug mit zwei möglichen Totwinkelbereichen,
• 3 eine erfindungsgemäße Überwachungskamera,
• 4 schematische eine Beleuchtungs- und Erfassungsbereich,
• 5 eine Überwachungskamera mit schwenkbaren Beleuchtungsmodulen,
• 6 eine erfindungsgemäße Überwachungskamera mit einem extern schwenkbaren Beleuchtungsmodul,
• 7 ein Überwachungskamerasystem mit angeschlossener Bildschirmeinheit in schematischer Darstellung
• 1 zeigt eine Messsituation für eine optische Entfernungsmessung mit einem TOF-Kamerasystem, wie es beispielsweise aus der DE 197 04 496 bekannt ist.
• Das TOF-Kamerasystem umfasst hier eine Sendeeinheit bzw. ein Beleuchtungsmodul 100 mit einer Lichtquelle 12 und einer dazugehörigen Strahlformungsoptik 50 sowie eine Empfangseinheit bzw. 3D-Kamera 200 mit einer Empfangsoptik 150 und einem Fotosensor 15. Der Fotosensor 15 ist vorzugsweise als Pixel-Array, insbesondere als PMD-Sensor, ausgebildet. Die Empfangsoptik besteht typischerweise zur Verbesserung der Abbildungseigenschaften aus mehreren optischen Elementen. Die Strahlformungsoptik 50 der Sendeeinheit 100 ist vorzugsweise als Reflektor ausgebildet. Es können jedoch auch diffraktive Elemente oder Kombinationen aus reflektierenden und diffraktiven Elementen eingesetzt werden.
• Das Messprinzip dieser Anordnung basiert im Wesentlichen darauf, dass ausgehend von der Phasendifferenz des emittierten und empfangenen Lichts die Laufzeit des emittierten und reflektierten Lichts ermittelt werden kann. Zu diesem Zwecke werden die Lichtquelle und der Fotosensor 15 über einen Modulator 18 gemeinsam mit einer bestimmten Modulationsfrequenz mit einer ersten Phasenlage a beaufschlagt. Entsprechend der Modulationsfrequenz sendet die Lichtquelle 12 ein amplitudenmoduliertes Signal mit der Phase a aus. Dieses Signal bzw. die elektromagnetische Strahlung wird im dargestellten Fall von einem Objekt 20 reflektiert und trifft aufgrund der zurückgelegten Wegstrecke entsprechend phasenverschoben mit einer zweiten Phasenlage b auf den Fotosensor 15. Im Fotosensor 15 wird das Signal der ersten Phasenlage a des Modulators 18 mit dem empfangenen Signal, das mittlerweile eine zweite Phasenlage b angenommen hat, gemischt und aus dem resultierenden Signal die Phasenverschiebung bzw. die Objektentfernung ermittelt.
• 2 zeigt schematisch ein Nutzfahrzeug mit einer Führerhauskabine. Aufgrund der Konstruktion des Führerhauses sind die Bereiche direkt vor dem und seitlich des Führerhauses nur schwer oder gar nicht einsehbar. In 2 gekennzeichnet als ein erster, zweiter und dritter Überwachungsbereich 510, 520, 530. Typischerweise ist es vorgesehen diese Bereiche mit zusätzlichen Spiegeln zu überwachen. Aus der bereits genannten DE 20 2004 014 778 U1 sind ferner Systeme bekannt, die diese Bereiche mit einer 2D-Kamera überwachen. Die Überwachung dieser Bereiche mit einem Spiegel oder einer herkömmlichen Kamera haben den Nachteil, dass eine Gefahr in diesem Bereich nur dann erkannt wird, wenn dieser Bereich aktiv vom Fahrer überwacht wird. Insbesondere können plötzlich in diesen Bereich eintretende Personen oder Hindernisse leicht übersehen werden. Die Umfeldüberwachung dieser Nahbereiche mithilfe einer Weitwinkel-Videokamera, vorzugsweise mit horizontalen Öffnungswinkeln größer 90°, ist allein nicht ausreichend. Hilfsweise wird beispielsweise auch auf Ultraschall oder Laserscanner zurückgegriffen. Für sicherheitsrelevante Anwendungen ist es jedoch nachteilig, eine Überwachung nur auf eine physikalische Messgröße bzw. einem Sensorprinzip zu basieren. Beispielsweise sind Standard-Video-Signale nicht mehr zuverlässig, wenn zu wenig Licht die zu überwachende Szene ausleuchtet. Scannende Verfahren haben den Nachteil, dass sie das Umfeld nicht flächendeckend erfassen, sondern nur eine oder einige wenige eindimensionale Zeilen abscannen und somit das Vorhanden sein eines Objektes bzw. Hindernisses, abhängig von dessen Position, nicht sicher erkennen können. Ferner ist die Frame-Rate aufgrund des Scannvorgangs gering. Um die Nachteile und Einschränkungen eines einzelnen Messprinzips zu überwinden, ist es von Vorteil, die Verfahren mit weiteren Verfahren zu verbinden.
• Durch Integration einer 2D-Kamera, vorzugsweise basierend auf einem CMOS-Imager-Chip und einer 3D-Kamera, vorzugsweise basierend auf dem PMD-Pinzip in einem Gehäuse und durch Auslegung der Objektive der beiden Kameras und der Strahlführungsoptik der aktiven Beleuchtung auf Öffnungswinkel größer 90° lässt sich insbesondere für einen Nahbereich eine sichere und zuverlässige Überwachungskamera realisieren. Die Sicherheit und die Detektionswahrscheinlichkeit von Objekten ist gegenüber herkömmlichen Videokameras deutlich verbessert. Die 3D-Kamera überwacht das Umfeld, indem die Szenerie mit moduliertem Infrarotlicht ausgeleuchtet wird und auf Basis von Fotomischdetektoren daraus 3D-Abstandsinformationen der Umgebung gewonnen werden. Die 2D-Kamera dagegen nutzt unmoduliertes Umgebungslicht, beispielsweise natürliches Tageslicht bzw. Scheinwerferlicht von Fahrzeugen, um daraus auf Basis von CMOS-Imager-Chips ein Abbild der Umgebung ohne Entfernungsinformationen zu generieren. Insbesondere für Kamerasysteme, welche nach SIL zertifiziert werden sollen, wird durch diese Diversität eine Grundlage geschaffen, Objekte im Nahbereich sicher zu detektieren. Ferner kann durch Querplausibilisierung der Ausfall eines Systems zuverlässig erkannt werden.
• 3 zeigt eine erfindungsgemäße Überwachungskamera 1, bei der die 2D- und 3D-Kamera 300, 200 sowie die aktive Beleuchtung 100 in einem gemeinsamen Gehäuse angeordnet sind. Die 2D- und 3D-Kamera 300, 200 befinden sich hierbei in einem zentralen Bereich des Gehäuses. Die aktive Beleuchtung ist in zwei Beleuchtungsmodulen 100 aufgeteilt, die die beiden Kameras seitlich einfassen. Die 2D-Kamera 300 und die 3D-Kamera 200 weisen jeweils ein eigenes Objektiv auf. Die beiden Kamerasysteme sind so ausgestaltet, dass zumindest in einer Raumrichtung ein Öffnungswinkel von mindestens 90° vorzugsweise sogar mehr als 120° erfasst wird. Die der 3D-Kamera zugeordnete aktive Beleuchtung ist für die Beleuchtung eines solchen Erfassungsbereiches entsprechend angepasst. Im dargestellten Beispiel teilen sich die beiden Beleuchtungsmodule die Beleuchtung des Erfassungsbereiches in einem linken und rechten Bereich auf. Es kann jedoch auch vorgesehen sein, dass ein jedes Beleuchtungsmodul den Erfassungsbereich nicht nur teilweise, sondern vollständig beleuchtet.
• Die vorgeschlagene kompakte Bauform ist insbesondere für Außenraumanwendung geeignet, und sollte dann mindestens die Schutzklasse IP65 erfüllen.
• Die aktive Beleuchtung der 3D-Kamera ist vorzugsweise so ausgelegt, dass der Erfassungsbereich der 3D-Kamera genau ausgeleuchtet wird. In 4 ist ein derartiger Fall schematisch skizziert. Die aktive Beleuchtung bzw. das Beleuchtungsmodul 100 spannt hier eine Beleuchtungsbereich Ω_S auf, innerhalb dessen der Empfangsbereich Ω_E der 3D-Kamera 200 sowie der 2D-Kamera 300 (hier nicht gezeigt) liegt. Im idealen Fall sind Sende- und Empfangsbereich deckungsgleich, so dass die emittierte Strahlleistung maximal ausgenutzt werden kann. Es hat sich jedoch gezeigt, dass sich die Leistungsfähigkeit des Systems bereits deutlich verbessert, wenn durch den Erfassungsbereich Ω_E der 3D-Kamera mindestens 70% des beleuchteten Bereichs Ω_S erfasst werden. Die Leistungsverbesserung ist nicht nur darauf zurückzuführen, dass mehr Licht der Strahlungsquelle ausgenutzt werden kann, sondern auch, dass störende und nachteilige Reflektionen im überstrahlten Bereich unterdrückt werden. Die Geometrie des Beleuchtungsbereichs kann verschiedenartig optimiert werden. Zum einen ist es möglich die Strahlformungsoptiken 50 der jeweiligen Lichtquellen 12 entsprechend anzupassen, zum anderen ist es jedoch auch möglich, für eine jeweilige Lichtquelle 12 eine einheitliche Strahlführungsoptik 50 vorzusehen und hier durch Schwenken und gezieltem Ausrichten der Beleuchtungsmodule 100 den Erfassungsbereich Ω_E geeignet auszuleuchten.
• Eine derartige Anordnung ist beispielhaft in 5 gezeigt. Im Unterschied zu der in 3 gezeigten Anordnung sind hier die Beleuchtungsmodule schwenkbar angeordnet, und erlauben so eine einfache Anpassung der Beleuchtungsbereiche an den gewünschten Erfassungsbereich. Eine solche Anordnung hat den Vorteil, dass Beleuchtungsmodule, welche aus mehreren Reflektoren bzw. Strahlformungsoptiken bestehen, in bestimmten Richtungen gegeneinander verkippt werden können, um so entsprechende Erfassungsbereiche vollständig ausleuchten zu können.
• In 6 ist eine weitere bevorzugte Ausgestaltung dargestellt, bei der die 3D- und 2D-Kamera 200, 300 und die aktive Beleuchtung 100 nicht in einem gemeinsamen Gehäuse angeordnet ist, sondern in zwei Gehäusen, nämlich einem Kameragehäuse 5 und ein Beleuchtungsmodulgehäuse 105 aufgeteilt ist, die zusammen eine gemeinsame Baueinheit 1 bzw. Überwachungskamera 1 bilden.
• Dieser modulartige Aufbau hat den Vorteil, dass beispielsweise für ein gegebenes Kamerasystem die Anzahl der Beleuchtungsmodule frei variiert werden kann. Insbesondere kann es auch vorgesehen sein, mehr als zwei Beleuchtungsmodule einzusetzen. Durch den Einsatz einer Vielzahl von Beleuchtungsmodulen ist es möglich, den Erfassungsbereich sehr individuell auszuleuchten. Insbesondere ist es möglich, die Geometrie des Beleuchtungsbereichs Ω_S exakter an die Geometrie des Erfassungsbereiches Ω_E anzupassen, ohne dass hierzu eine aufwendige Optimierung der Strahlführungsoptiken der einzelnen Lichtquellen zwingend notwendig ist. Der modulartige Aufbau hat ferner den Vorteil, dass die Elektronik der beiden Kameras besser von der Abwärme der Beleuchtungseinheiten geschützt werden kann.
• Des Weiteren lassen sich durch entsprechend geformte Strahlführungsoptiken bzw. durch eine entsprechende Ausrichtung der Beleuchtungsmodule die Intensitätsverteilung innerhalb des Beleuchtungsbereiches einstellen. So ist es beispielsweise möglich, dass im Zentralbereich des Erfassungsbereichs mehrere Lichtkegel verschiedener Beleuchtungsmodule überschneiden, um dort die Lichtintensität zu erhöhen, um beispielsweise die Zuverlässigkeit der Objekterkennung in diesem Bereich zu verbessern.
• In 7 ist ein Überwachungskamerasystem 10 mit angeschlossener Bildschirmeinheit BE dargestellt. Das Überwachungskamerasystem 10 besteht aus einer Überwachungskamera 1, wie sie bereits oben näher erläutert wurde. Dargestellt sind schematisch die 3D-Kamera 200 und die 2D-Kamera 300, die beide mit einer Bildverarbeitungseinheit VPU verbunden sind.
• In der Bildverarbeitungseinheit VPU werden die von den beiden Kameras 200, 300 aufgenommenen Bilder verarbeitet und für eine Darstellung an einer angeschlossenen Bildschirmeinheit BE aufbereitet.
• Nachfolgend ist das erfindungsgemäße Verfahren anhand 7 näher erläutert. Die Szene, hier als Strichmännchen SM dargestellt, wird sowohl mit der 3D-Kamera als auch mit der 2 D-Kamera aufgenommen (Verfahrensschritt a und b). Die 3D-Kamera 200 liefert ein 3-dimensionales Abbild der Szene, wobei den einzelnen Objekten der Szene (Arme, Beine Kopf etc.) eine Abstandsinformation zugeordnet ist.
• Die 2D-Kamera 300 liefert „nur” ein 2-dimensionales Abbild der Szene. In der Regel besitzt die 2D-Kamera eine wesentlich höhere Auflösung als die 3D-Kamera, d. h. die einzelnen Objekte der Szene werden erheblich detailgetreuer abgebildet.
• Nunmehr wird in einem Verfahrensschritt c ein interessierender Szenenbereich im 3-dimensionalen Abbild ausgewählt. Dies kann zum Beispiel der Szenenbereich mit dem geringsten Abstand D zur Überwachungskamera 1 sein. Im dargestellten Fall ist diese die Hand des Strichmännchens SM.
• Anschließend wird der dem im 3-dimensionalen Abbild ausgewählten Szenenbereich entsprechende Szenenbereich im 2-dimensionalen Abbild markiert (Verfahrensschritt d) und die gesamte Szene mit dem markierten Szenenbereich auf der Bildschirmeinheit BE dargestellt (Verfahrensschritt e).
• Der Betrachter sieht somit auf der Bildschirmeinheit BE das Strichmännchen SM mit einer, durch ein Kreuz, markierten Hand. Bewegt sich das Strichmännchen so bleibt die Markierung solange bei der Hand, bis ein anderer Teil des Strichmännchens SM der Überwachungskamera 1 näher kommt. Der interessierende Szenenbereich ist für den Betrachter immer auf der Bildschirmeinheit BE visuell hervorgehoben. Dies erleichtert für den Betrachter die Erfassung der relevanten Bildschirminformationen erheblich. Er weiß auf welchen Szenenbereich bzw. auf welches Objekt er sich konzentrieren muss.
• Das erfindungsgemäße Verfahren lässt sich mit einer Überwachungskamera 1, bei der die 2D-Kamera und die 3D-Kamera in einem Gehäuse integriert sind, relativ einfach durchführen. Es ist aber nicht auf diesen speziellen Kameratyp notwendigerweise beschränkt. Die beiden Kameras müssen nicht unbedingt in einem Gehäuse integriert sein.
• Bezugszeichenliste

1

Überwachungskamera, gemeinsame Baueinheit

10

Überwachungskamerasystem

100

Sendeeinheit, aktive Beleuchtung, Beleuchtungsmodul

200

Empfangseinheit, 3D-Kamera

300

2D-Kamera

50

Strahlformungsoptik

15

Fotosensor

18

Modulator

12

Lichtquelle

5

Kameragehäuse

105

Beleuchtungsmodulgehäuse

510

Erster Überwachungsbereich

520

Zweiter Überwachungsbereich

530

Dritter Überwachungsbereich

SM

Strichmännchen

VPU

Bildverarbeitungseinheit

BE

Bildschirmeinheit

• ZITATE ENTHALTEN IN DER BESCHREIBUNG
• Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
• Zitierte Patentliteratur
• US 2007/0201859 A1 [0002]
• DE 19635932 [0003]
• EP 1777747 [0003]
• EP 1009984 [0003]
• US 6587186 [0003]
• DE 19704496 [0003, 0029]
• DE 202004014778 U1 [0004, 0032]

Claims (4)

1. Verfahren zur Visualisierung einer mit einer Überwachungskamera 1 bestehend aus einer 3D-Kamera und einer 2D-Kamera aufgenommen Szene, mit folgenden Verfahrensschritten a. Aufnahme eines 3-dimensionalen Abbilds einer Szene mit der 3D-Kamera b. Aufnahme eines 2-dimensionalen Abbilds der Szene mit der 2D-Kamera c. Auswahl eines Szenenbereichs im 3-dimensionalen Abbild aufgrund einer Abstandsinformation d. Markieren des ausgewählten Szenenbereichs im 2-dimensionalen Abbild e. Darstellung der Szene mit dem markierten Szenenbereich auf einer Bildschirmeinheit BE
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Abstandsinformation, der geringste Abstand zur Überwachungskamera 1 ist.
3. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Markierung als Kreuz dargestellt wird.
4. Vorrichtung zur Durchführung des Verfahrens nach einem der vorhergehenden Ansprüche.

Images