DE102019200099A1

DE102019200099A1 - Sensor device for an ego vehicle, driver assistance device and vehicle with such a sensor device

Info

Publication number: DE102019200099A1
Application number: DE102019200099.1A
Authority: DE
Inventors: Thomas Brohm; Sascha Semmler; Georg Binder
Original assignee: Conti Temic Microelectronic GmbH
Current assignee: Aumovio Autonomous Mobility Germany GmbH
Priority date: 2019-01-07
Filing date: 2019-01-07
Publication date: 2020-07-09
Anticipated expiration: 2039-01-08
Also published as: DE102019200099B4

Abstract

Die Erfindung betrifft eine Sensorvorrichtung (2) für ein Ego-Fahrzeug umfassend eine erste Sensoreinrichtung (4) zur Erfassung eines vorausliegenden Außenbereichs des Ego-Fahrzeugs (1), eine zweite Sensoreinrichtung (5) zur Erfassung zumindest eines Teilbereichs eines Fahrgastraums des Ego-Fahrzeugs (1) sowie ein Sensorgehäuse (6), in dem die erste und die zweite Sensoreinrichtung (4, 5) zumindest abschnittsweise angeordnet sind. Ferner betrifft die Erfindung eine Fahrerassistenzvorrichtung sowie ein Fahrzeug mit einer solchen Sensorvorrichtung.

The invention relates to a sensor device (2) for an ego vehicle, comprising a first sensor device (4) for detecting an outer area of the ego vehicle (1) lying ahead, a second sensor device (5) for detecting at least a partial area of a passenger compartment of the ego vehicle (1) and a sensor housing (6) in which the first and the second sensor device (4, 5) are arranged at least in sections. The invention further relates to a driver assistance device and a vehicle with such a sensor device.

Description

Die Erfindung betrifft eine Sensorvorrichtung für ein Ego-Fahrzeug gemäß dem Oberbegriff des Anspruchs 1. Ferner betrifft die Erfindung eine Fahrerassistenzvorrichtung sowie ein Fahrzeug mit einer solchen Sensorvorrichtung.The invention relates to a sensor device for a first-person vehicle. The invention further relates to a driver assistance device and a vehicle with such a sensor device.

Fortgeschrittene Fahrerassistenzsysteme verwenden häufig zur Erfassung des Umfelds eines Fahrzeugs bildgebende Sensoren wie Radar- oder Lidar-Sensoren oder Kameras, die z. B. an der Frontscheibe des Fahrzeugs montiert sind, um das Umfeld vor dem Fahrzeug zu erfassen. Beispielsweise offenbart die W02016 166 093 A1 ein längsführendes Fahrerassistenzsystem in einem Kraftfahrzeug zur Steuerung oder Regelung der Geschwindigkeit mit einem Erfassungssystem zum Erkennen vorausliegender Ereignisse.Advanced driver assistance systems often use imaging sensors such as radar or lidar sensors or cameras to detect the surroundings of a vehicle. B. are mounted on the windshield of the vehicle to detect the environment in front of the vehicle. For example, W02016 166 093 A1 discloses a longitudinal driver assistance system in a motor vehicle for controlling or regulating the speed with a detection system for detecting upcoming events.

Weiterhin sind Insassenkameras bekannt, welche vor allem zur Aufmerksamkeits- oder Müdigkeitsdetektion eines Fahrers eines Fahrzeugs Einsatz finden. So beschreibt z. B. die US 2016224852 A1 ein Insassenkamerasystem zur Überwachung der Blickrichtung eines Fahrers, wobei das Insassenkamerasystem einen Alarm ausgibt, sollte der Fahrer nicht nach vorne schauen.Furthermore, occupant cameras are known which are used primarily for the attention or fatigue detection of a driver of a vehicle. For example, B. the US 2016224852 A1 an occupant camera system for monitoring a driver's line of sight, the occupant camera system giving an alarm if the driver should not be looking ahead.

Nachteilig an solchen Insassenkameras ist deren Anordnung im frontalen Blickwinkelbereich, welche einerseits der Fahrer als ein Störobjekt empfinden und andererseits dem Fahrer das unangenehme Gefühl der Beobachtung geben kann.A disadvantage of such occupant cameras is their arrangement in the frontal viewing angle range, which the driver perceives as an interference object and which can give the driver the uncomfortable feeling of observation.

Als ein weiterer Nachteil ist der mit der Mehrzahl an unterzubringenden Außenraum- und Innenraumsensoren verbundene erforderliche Platzbedarf anzuführen. Zwar ist bekannt, mit nur einer einzigen Kamera sowohl Außen- und Innenraumbereiche des Fahrzeugs zu detektieren. Die DE 10 2011 105 247 B4 zeigt z. B. eine solche Kamera, welche jedoch Informationen aus der rückwärtigen Fahrzeugumgebung erfasst, wobei Fahrerassistenzsysteme bzw. autonom fahrende Fahrzeuge insbesondere den vorausliegenden Außenbereich des Fahrzeugs erfordern. Zudem ist der Erfassungsbereich eines einzelnen Sensorsystems vergleichsweise zu zwei Sensorsystemen beschränkt.A further disadvantage is the space requirement associated with the plurality of exterior and interior sensors to be accommodated. It is known to use both a single camera to detect both exterior and interior areas of the vehicle. The DE 10 2011 105 247 B4 shows z. B. such a camera, which, however, captures information from the rear vehicle environment, driver assistance systems or autonomously driving vehicles in particular requiring the vehicle's exterior area in front. In addition, the detection range of a single sensor system is limited compared to two sensor systems.

Der Erfindung liegt die Aufgabe zugrunde, eine optisch unauffällige Sensorvorrichtung vorzustellen, welche die Erfassung zumindest von Bereichen sowohl des Außenraum- als auch Innenraums des Fahrzeugs umsetzt.The invention is based on the object of presenting an optically inconspicuous sensor device which implements the detection of at least areas of both the exterior and interior of the vehicle.

Diese Aufgabe wird durch eine Sensorvorrichtung mit den Merkmalen des Anspruchs 1, durch eine Fahrerassistenzvorrichtung mit den Merkmalen des Anspruchs 6 sowie durch ein Fahrzeug mit den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte oder bevorzugte Ausführungsformen der Erfindung sind in den Unteransprüchen, der nachfolgenden Beschreibung und durch die Figuren dargelegt.This object is achieved by a sensor device with the features of claim 1, by a driver assistance device with the features of claim 6 and by a vehicle with the features of claim 10. Advantageous or preferred embodiments of the invention are set out in the subclaims, the description below and the figures.

Es wird eine Sensorvorrichtung für ein Ego-Fahrzeug vorgeschlagen. Die Sensorvorrichtung umfasst zur Erfassung eines vorausliegenden Außenbereichs des Ego-Fahrzeugs eine erste Sensoreinrichtung. Vorzugsweise ist die erste Sensoreinrichtung eine hinter einer Windschutzscheibe des Ego-Fahrzeugs anzubringende, in der Fahrtrichtung zu richtende bzw. gerichtete Sensoreinrichtung. Bei dem Außenbereich handelt es sich um einen in Fahrtrichtung des Ego-Fahrzeugs vorausliegenden Umgebungsbereich.A sensor device for an ego vehicle is proposed. The sensor device comprises a first sensor device for detecting an outer area of the ego vehicle lying ahead. The first sensor device is preferably a sensor device to be fitted behind a windshield of the ego vehicle and to be directed or directed in the direction of travel. The outside area is a surrounding area in the direction of travel of the ego vehicle.

Weiterhin umfasst die Sensorvorrichtung zur Erfassung zumindest eines Teilbereichs eines Fahrgastraums des Ego-Fahrzeugs, insbesondere zur Erfassung eines Fahrers des Ego-Fahrzeugs, eine zweite Sensoreinrichtung. Vorzugsweise ist die zweite Sensoreinrichtung eine auf den Fahrer zu richtende bzw. gerichtete Kamera. Somit ist die zweite Sensoreinrichtung insbesondere eine entgegen der Fahrtrichtung zu richtende bzw. gerichtete Sensoreinrichtung.Furthermore, the sensor device for detecting at least a partial area of a passenger compartment of the ego vehicle, in particular for detecting a driver of the ego vehicle, comprises a second sensor device. The second sensor device is preferably a camera which is directed or directed towards the driver. Thus, the second sensor device is in particular a sensor device to be directed or directed against the direction of travel.

Erfindungsgemäß umfasst die Sensorvorrichtung ein Sensorgehäuse, in dem die erste und die zweite Sensoreinrichtung zumindest abschnittsweise oder vollumfänglich angeordnet sind. Mit anderen Worten sind die erste und zweite Sensoreinrichtung vorzugsweise innerhalb des Sensorgehäuses angeordnet, somit insbesondere in dem Sensorgehäuse integriert. Unter dem Sensorgehäuse ist in diesem Zusammenhang insbesondere eine Haltevorrichtung zu verstehen, wobei die erste und zweite Sensoreinrichtung über die Haltevorrichtung gemeinsam gehalten und vorzugsweise an oder im Bereich der Windschutzscheibe des Ego-Fahrzeugs anbringbar oder angebracht sind. Mit anderen Worten sind die erste und zweite Kameraeinrichtung zumindest über das Sensorgehäuse z. B. miteinander gekoppelt, im Speziellen ortsfest miteinander verbunden.According to the invention, the sensor device comprises a sensor housing in which the first and second sensor devices are arranged at least in sections or in full. In other words, the first and second sensor devices are preferably arranged within the sensor housing, thus in particular integrated in the sensor housing. In this context, the sensor housing is to be understood in particular as a holding device, the first and second sensor devices being held together via the holding device and preferably being attachable or attached to or in the region of the windshield of the ego vehicle. In other words, the first and second camera devices are at least via the sensor housing, for. B. coupled with each other, in particular fixedly connected to each other.

Die Integration der ersten und zweiten Sensoreinrichtung in ein einziges Sensorgehäuse erzielt ein kompaktes Baumaß für eine unauffällige und übersichtliche Anordnung im Fahrgastraum. Weiterhin von Vorteil ist vergleichsweise zu einer dezentralen Verteilung der Sensoreinrichtungen die Reduzierung an Montageschritten, da nunmehr lediglich ein Sensorgehäuse im Fahrgastraum zu montieren ist. Folglich ist eine fertigungstechnisch einfache und störunanfällige Sensorvorrichtung umgesetzt.The integration of the first and second sensor devices in a single sensor housing achieves a compact size for an inconspicuous and clear arrangement in the passenger compartment. Another advantage compared to a decentralized distribution of the sensor devices is the reduction in assembly steps, since now only one sensor housing has to be installed in the passenger compartment. Consequently, a sensor device that is simple in terms of production technology and is not susceptible to faults is implemented.

Für die Integration der ersten und zweiten Sensoreinrichtung umfasst das Sensorgehäuse beispielsweise eine durch einen Deckel verschließbare Zugangsöffnung. Vorzugsweise ist das Sensorgehäuse aus einem Metall wie z. B. einem Aluminiumguss gefertigt, um eine vergleichsweise zu Kunststoff bessere Wärmeabfuhr der innerhalb des Sensorgehäuses produzierten Wärme zu erzielen.For the integration of the first and second sensor devices, the sensor housing includes, for example, a cover lockable access opening. Preferably, the sensor housing is made of a metal such as. B. made of cast aluminum to achieve a better heat dissipation of the heat produced within the sensor housing compared to plastic.

Beispielsweise umfasst das Sensorgehäuse genau einen Aufnahmeinnenraum, in dem die erste und zweite Sensoreinrichtung angeordnet sind, wobei die erste und zweite Sensoreinrichtung derart in dem Aufnahmeinnenraum angeordnet sind, dass diese zumindest abschnittsweise einen entgegengesetzten Erfassungsbereich aufweisen, im Speziellen die Blickrichtungen der Sensoreinrichtungen voneinander abgewandt sind.For example, the sensor housing comprises exactly one receiving interior in which the first and second sensor devices are arranged, the first and second sensor devices being arranged in the receiving interior in such a way that they have an opposite detection area at least in sections, in particular the viewing directions of the sensor devices are facing away from one another.

Vom konstruktiven Aufbau ist bevorzugt, dass das Sensorgehäuse eine Längsachse, die erste Sensoreinrichtung eine erste optische Achse und die zweite Sensoreinrichtung eine zweite optische Achse aufweisen, wobei die Längsachse und die erste optische Achse achsparallel oder konzentrisch zueinander angeordnet sind. Die Längsachse ist insbesondere eine in Fahrtrichtung des Ego-Fahrzeugs auszurichtende bzw. ausgerichtete Längsachse, sodass auch die erste Sensoreinrichtung in Fahrtrichtung ausgerichtet ist. Weiterhin ist bevorzugt, dass in einer horizontalen Ebene betrachtet die erste und zweite optische Achse gewinkelt mit einem Innenwinkel von mindestens 20 Grad und/oder von höchstens 70 Grad zueinander angeordnet sind. Die gewinkelte Anordnung der optischen Achsen ermöglicht sowohl die Erfassung des vorausliegenden Außenbereichs durch die erste Sensoreinrichtung als auch die Erfassung des gewünschten Teilbereichs des Fahrgastraums, nämlich insbesondere den Sitzbereich des Fahrers durch die zweite Sensoreinrichtung.In terms of the construction, it is preferred that the sensor housing have a longitudinal axis, the first sensor device has a first optical axis and the second sensor device has a second optical axis, the longitudinal axis and the first optical axis being arranged axially parallel or concentrically to one another. The longitudinal axis is in particular a longitudinal axis to be aligned or aligned in the direction of travel of the ego vehicle, so that the first sensor device is also oriented in the direction of travel. It is further preferred that, viewed in a horizontal plane, the first and second optical axes are arranged at an angle of at least 20 degrees and / or at most 70 degrees to one another. The angled arrangement of the optical axes enables both the detection of the outer area in front by the first sensor device and the detection of the desired partial area of the passenger compartment, namely in particular the driver's seat area by the second sensor device.

Weiterhin sind die erste und die zweite Sensoreinrichtung z. B. in einem lateralen Abstand, insbesondere entlang einer Querachse des Sensorgehäuses zueinander angeordnet.Furthermore, the first and the second sensor device z. B. at a lateral distance, in particular along a transverse axis of the sensor housing to each other.

Gemäß einer weiteren bevorzugten Weiterbildung ist vorgesehen, dass die erste und die zweite Sensoreinrichtung eine gemeinsame Leiterplatte aufweisen, insbesondere mit der gemeinsamen Leiterplatte elektrisch verbunden sind. Besonders bevorzugt sind die erste und zweite Sensoreinrichtung jeweils als eine Kameraeinrichtung mit wenigstens einem Bildsensor und wenigstens einer Optik ausgebildet, wobei die Bildsensoren der Kameraeinrichtungen vorzugsweise auf der gleichen Seite der Leiterplatte aufgesetzt sind. Als eine beispielhafte Alternative kann vorgesehen sein, dass die Bildsensoren auf der jeweils abgewandten Seite der Leiterplatte aufgesetzt sind. Weiterhin ist z. B. denkbar, dass die Bildsensoren der ersten und zweiten Kameraeinrichtung über Bonddrähte mit der Leiterplatte elektrisch verbunden sind.According to a further preferred development, it is provided that the first and the second sensor device have a common printed circuit board, in particular are electrically connected to the common printed circuit board. Particularly preferably, the first and second sensor devices are each designed as a camera device with at least one image sensor and at least one optic, the image sensors of the camera devices preferably being placed on the same side of the circuit board. As an exemplary alternative, it can be provided that the image sensors are placed on the side of the printed circuit board facing away from each other. Furthermore, e.g. B. conceivable that the image sensors of the first and second camera device are electrically connected to the printed circuit board via bonding wires.

Besonders bevorzugt umfassen die erste und die zweite Sensoreinrichtung eine gemeinsame elektrische Schnittstelle zur Energieversorgung und/oder zur Ein- und Ausgabe von Signalen. Die elektrische Schnittstelle ist beispielsweise als ein Kabel, ein Federkontakt, Kontaktpad und/oder als Pins ausgebildet.The first and the second sensor device particularly preferably comprise a common electrical interface for energy supply and / or for input and output of signals. The electrical interface is designed, for example, as a cable, a spring contact, a contact pad and / or as pins.

Beispielsweise umfasst die erste Sensoreinrichtung eine Lidarsensor-, Radarsensor-, und/oder eine Ultraschallsensoreinrichtung oder ist als diese ausgebildet. Jedoch ist besonders bevorzugt, dass die erste Sensoreinrichtung eine Kamerasensoreinrichtung umfasst oder als diese ausgebildet ist. Die Kamerasensoreinrichtung kann als eine Mono- oder als eine Stereokamera ausgebildet sein. Weiterhin ist möglich, dass die Kamerasensoreinrichtung als eine intelligente, alternativ als eine Satellitenkamera ausgebildet ist.For example, the first sensor device comprises a lidar sensor, radar sensor, and / or an ultrasonic sensor device or is designed as such. However, it is particularly preferred that the first sensor device comprises or is designed as a camera sensor device. The camera sensor device can be designed as a mono or as a stereo camera. It is also possible for the camera sensor device to be designed as an intelligent, alternatively as a satellite camera.

Weiterhin ist bevorzugt, dass die zweite Sensoreinrichtung als eine Kamerasensoreinrichtung, insbesondere als eine TOF-Kameraeinrichtung ausgebildet ist. Bei einer TOF-Kameraeinrichtung handelt es sich insbesondere um ein 3D-Kamerasystem, welches mit dem Laufzeitverfahren (englisch: time of flight, TOF) Distanzen misst. Insbesondere ist die TOF-Kameraeinrichtung ausgebildet, eine Szene mittels eines Lichtpulses auszuleuchten, wobei die TOF-Kameraeinrichtung für jeden Bildpunkt die Zeit misst, die das Licht bis zum Objekt und wieder zurück braucht. Die benötigte Zeit ist direkt proportional zur Distanz. Die TOF-Kameraeinrichtung liefert somit für jeden Bildpunkt die Entfernung des darauf abgebildeten Objektes. Vorteilhafterweise ist mittels der TOF-Kameraeinrichtung eine dreidimensionale Erfassung eines Insassen und folglich die Erfassung von Posen und Gesten ermöglicht. Zur Aussendung des Lichtpulses umfasst die Sensorvorrichtung vorzugsweise eine Leuchtquelle, welche auf den zu erfassenden Teilbereich des Fahrgastraums ausgerichtet ist.It is further preferred that the second sensor device is designed as a camera sensor device, in particular as a TOF camera device. A TOF camera device is in particular a 3D camera system which measures distances using the time of flight (TOF) method. In particular, the TOF camera device is designed to illuminate a scene by means of a light pulse, the TOF camera device measuring for each pixel the time it takes for the light to reach the object and back again. The time required is directly proportional to the distance. The TOF camera device thus provides the distance of the object depicted on it for each pixel. Advantageously, the TOF camera device enables a three-dimensional detection of an occupant and consequently the detection of poses and gestures. To emit the light pulse, the sensor device preferably comprises a light source, which is aligned with the partial area of the passenger compartment to be detected.

Als eine beispielhafte Alternative kann jedoch ebenso vorgesehen sein, dass die zweite Sensoreinrichtung als eine Stereokamera ausgebildet ist. Bei der zweiten Sensoreinrichtung kann es sich um eine intelligente, alternativ um eine Satellitenkamera handeln.As an exemplary alternative, however, it can also be provided that the second sensor device is designed as a stereo camera. The second sensor device can be an intelligent, alternatively a satellite camera.

Ein weiterer Gegenstand der Erfindung betrifft eine Fahrerassistenzvorrichtung mit einer Sensorvorrichtung nach der vorhergehenden Beschreibung. Die Fahrerassistenzvorrichtung ist insbesondere ausgebildet, den Fahrer bei der Fahrzeugführung basierend auf mittels der Sensorvorrichtung, im Speziellen durch die erste und/oder zweite Sensoreinrichtung gewonnenen Umfelddaten zu unterstützen. Die Fahrerassistenzvorrichtung ist beispielsweise eine Spurhalte-, Spurführungs-, Stau-, Notbrems- und/oder Parkassistenzvorrichtung und/oder eine Fahrerassistenzvorrichtung zur Müdigkeitserkennung.Another object of the invention relates to a driver assistance device with a sensor device according to the preceding description. The driver assistance device is in particular designed to support the driver in vehicle guidance based on the surroundings data obtained by means of the sensor device, in particular by the first and / or second sensor device. The driver assistance device is, for example, a lane keeping, lane guidance, traffic jam, emergency braking and / or parking assistance device and / or a driver assistance device for fatigue detection.

Gemäß einer bevorzugten Ausführungsform umfasst die Fahrerassistenzvorrichtung mindestens oder genau eine Auswerteeinrichtung, wobei die mindestens oder genau eine Auswerteeinrichtung in dem Sensorgehäuse z. B. auf der gemeinsamen oder einer weiteren Leiterplatte angeordnet ist. Beispielsweise ist die mindestens eine Auswerteeinrichtung als eine ECU (electronic control unit) ausgebildet.According to a preferred embodiment, the driver assistance device comprises at least or exactly one evaluation device, the at least or exactly one evaluation device in the sensor housing, for. B. is arranged on the common or a further circuit board. For example, the at least one evaluation device is designed as an ECU (electronic control unit).

Vorzugsweise ist die zweite Sensoreinrichtung als eine Insassenkamera zur Erfassung des Fahrers des Ego-Fahrzeugs ausgebildet, wobei die mindestens oder genau eine Auswerteeinrichtung ausgebildet ist, aus den von der Insassenkamera erfassten Bilddaten eine Geste und/oder Pose des Fahrers zu erkennen, und wobei die mindestens oder genau eine Auswerteeinrichtung ausgebildet ist, basierend auf der erkannten Geste und/oder Pose einen Aufmerksamkeitszustand des Fahrers auszuwerten. Unter dem Aufmerksamkeitszustand ist beispielsweise ein Müdigkeitszustand zu verstehen, alternativ oder optional ergänzend, ob eine Blickrichtung des Fahrers auf eine durch die erste Sensoreinrichtung erfasste und durch die Auswerteeinrichtung ausgewertete kritische Verkehrssituation wie z. B. ein Staueende gerichtet ist, um ggf. den Fahrer zu warnen oder in die Fahrzeugdynamik einzugreifen. Somit ist die Auswerteeinrichtung vorzugsweise ausgebildet, ein für den Fahrer relevantes Verkehrsszenario (area of interest) auszuwerten und den Fahrer zu warnen, sollte die erkannte Blickrichtung des Fahrers dem ausgewerteten kritischen Verkehrsszenario abgewandt sein.The second sensor device is preferably designed as an occupant camera for detecting the driver of the ego vehicle, the at least or exactly one evaluation device being designed to recognize a gesture and / or pose of the driver from the image data acquired by the occupant camera, and the at least one or exactly one evaluation device is designed to evaluate a driver's attention state based on the recognized gesture and / or pose. The state of alertness is understood to mean, for example, a state of tiredness, alternatively or optionally additionally, as to whether the driver's line of sight looks at a critical traffic situation detected by the first sensor device and evaluated by the evaluation device, such as. B. a tail end is directed to warn the driver if necessary or to intervene in the vehicle dynamics. Thus, the evaluation device is preferably designed to evaluate a traffic scenario relevant to the driver (area of interest) and to warn the driver if the driver's recognized line of sight is turned away from the evaluated critical traffic scenario.

Ein weiterer Gegenstand der Erfindung betrifft ein Fahrzeug mit der Sensorvorrichtung nach der vorhergehenden Beschreibung. Insbesondere ist die Sensorvorrichtung an einer Innenseite der Windschutzscheibe, z. B. im Bereich eines Rückspiegels des Fahrzeugs angeordnet. Insbesondere ist die erste Sensoreinrichtung auf den vorausliegenden Außenbereich des Fahrzeugs und die zweite Sensoreinrichtung auf den Fahrersitz des Fahrzeugs ausgerichtet. Beim dem Fahrzeug kann es sich um einen Rechts- oder Linkslenker handeln.Another object of the invention relates to a vehicle with the sensor device according to the preceding description. In particular, the sensor device on an inside of the windshield, for. B. arranged in the region of a rear-view mirror of the vehicle. In particular, the first sensor device is oriented toward the outer area of the vehicle lying ahead and the second sensor device is oriented toward the driver's seat of the vehicle. The vehicle can be a right or left-hand drive vehicle.

Weitere Merkmale, Vorteile und Wirkungen der Erfindung ergeben sich aus der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der Erfindung. Dabei zeigen:

1 in einer Draufsicht ein Ego-Fahrzeug mit einer Sensorvorrichtung als ein erstes Ausführungsbeispiel;
2 in einer dreidimensionalen Darstellung die Sensorvorrichtung aus 1 mit einer ersten und einer zweiten Sensoreinrichtung;
3 in einer Draufsicht die Sensorvorrichtung aus 1 mit der ersten und einer zweiten Sensoreinrichtung;
4 in einer Draufsicht die Sensorvorrichtung als ein zweites Ausführungsbeispiel.

Further features, advantages and effects of the invention result from the following description of preferred exemplary embodiments of the invention. Show:

1 a top view of a ego vehicle with a sensor device as a first embodiment;
2nd the sensor device in a three-dimensional representation 1 with a first and a second sensor device;
3rd in a plan view the sensor device 1 with the first and a second sensor device;
4th in a plan view the sensor device as a second embodiment.

Einander entsprechende Teile sind in allen Figuren mit denselben Bezugszeichen versehen. Es ist insbesondere zu beachten, dass die in den Figuren gezeigten Ausführungsbeispiele veranschaulichend und nicht einschränkend zu betrachten sind.Corresponding parts are provided with the same reference symbols in all figures. It should be noted in particular that the exemplary embodiments shown in the figures are to be regarded as illustrative and not restrictive.

1 zeigt in einer Vogelperspektive ein Ego-Fahrzeug 1 mit einer Sensorvorrichtung 2, welche in einem Fahrgastraum an einem oberen Endbereich der Windschutzscheibe 3 des Ego-Fahrzeugs 1 angeordnet ist. 1 shows a bird's eye view of an ego vehicle 1 with a sensor device 2nd which in a passenger compartment at an upper end portion of the windshield 3rd of the ego vehicle 1 is arranged.

Die Sensorvorrichtung 2 umfasst eine erste Sensoreinrichtung 4 zur Erfassung eines vorausliegenden Außenbereichs des Ego-Fahrzeugs 1. Bei der ersten Sensoreinrichtung 4 handelt es sich bei diesem Ausführungsbeispiel um eine erste Kameraeinrichtung 4, welche ausgebildet ist, mindestens ein Bild des vorausliegenden Außenbereichs des Ego-Fahrzeugs 1 aufzunehmen. Z. B. ist die erste Kameraeinrichtung 4 auf den Außenbereich fokussiert, welcher vor der Windschutzscheibe liegt. Somit ist die erste Kameraeinrichtung 4 insbesondere eine in Fahrtrichtung gerichtete Kameraeinrichtung. Die Kameraeinrichtung 4 ist hier als eine Monokamera ausgebildet und umfasst somit eine Optik zur Projektion von Licht sowie einen Bildsensor zur Erfassung des von der Optik projizierten Lichts. Als eine beispielhafte Alternative kann die Kameraeinrichtung 4 als eine Stereokamera ausgebildet sein.The sensor device 2nd comprises a first sensor device 4th for detecting a front area of the ego vehicle in front 1 . With the first sensor device 4th this embodiment is a first camera device 4th , which is formed, at least one image of the outer area of the ego vehicle lying ahead 1 to record. For example, the first camera device 4th focused on the outside area, which lies in front of the windshield. This is the first camera device 4th in particular a camera device directed in the direction of travel. The camera setup 4th is designed here as a mono camera and thus comprises optics for projecting light and an image sensor for detecting the light projected by the optics. As an exemplary alternative, the camera device 4th be designed as a stereo camera.

Weiterhin umfasst die Sensorvorrichtung 2 eine zweite Sensoreinrichtung 5 zur Erfassung zumindest eines Teilbereichs des Fahrgastraums des Ego-Fahrzeugs 1. Bei der zweiten Sensoreinrichtung 5 handelt es sich um eine zweite Kameraeinrichtung 5, welche ausgebildet ist, mindestens ein Bild des Fahrgastraums zumindest bereichsweise aufzunehmen. Somit ist die zweite Kameraeinrichtung 5 insbesondere eine der Fahrtrichtung abgewandte Kameraeinrichtung 5 zur Erfassung eines Insassen. Bei diesem Ausführungsbeispiel handelt es sich bei dem erfassten Teilbereich um den Bereich eines Fahrersitzes zur Erfassung eines Fahrers des Ego-Fahrzeugs 1. Folglich sind die Blickrichtungen der ersten und zweiten Sensoreinrichtung 4, 5 entgegengesetzt zueinander angeordnet.The sensor device further comprises 2nd a second sensor device 5 for detecting at least a portion of the passenger compartment of the ego vehicle 1 . In the second sensor device 5 it is a second camera device 5 , which is designed to take at least one image of the passenger compartment at least in regions. Thus, the second camera device 5 in particular a camera device facing away from the direction of travel 5 for capturing an occupant. In this exemplary embodiment, the detected partial area is the area of a driver's seat for detecting a driver of the ego vehicle 1 . Consequently, the viewing directions of the first and second sensor devices are 4th , 5 arranged opposite to each other.

Bei der zweiten Kameraeinrichtung 5 handelt es sich beispielsweise um eine TOF-Kameraeinrichtung 5. Z. B. umfasst die TOF-Kameraeinrichtung 5 zur Umsetzung des zuvor beschriebenen Laufzeitverfahrens eine Leuchtquelle, welche zur Aussendung des Lichtpulses auf dem Sensorgehäuse 6 angeordnet und auf den zu erfassenden Teilbereich ausgerichtet sein kann (in den Figuren nicht dargestellt).With the second camera device 5 it is, for example, a TOF camera device 5 . For example, the TOF camera device includes 5 To implement the runtime method described above, a light source, which is used to emit the light pulse on the sensor housing 6 can be arranged and aligned to the partial area to be detected (not shown in the figures).

Die Sensorvorrichtung 1 umfasst ein Sensorgehäuse 6, in dem die erste und die zweite Sensoreinrichtung 4, 5 zumindest abschnittsweise angeordnet, mit anderen Worten insbesondere in dem Sensorgehäuse 6 integriert sind. Bei diesem Ausführungsbeispiel sind die Sensoreinrichtungen 4, 5 fest mit dem Sensorgehäuse 6 verbunden, mit anderen Worten insbesondere in dem Sensorgehäuse 6 fixiert.The sensor device 1 includes a sensor housing 6 , in which the first and the second sensor device 4th , 5 arranged at least in sections, in other words in particular in the sensor housing 6 are integrated. In this embodiment, the sensor devices 4th , 5 firmly with the sensor housing 6 connected, in other words in particular in the sensor housing 6 fixed.

Das Sensorgehäuse 6 umfasst bei diesem Ausführungsbeispiel eine erste Öffnung, durch diese die Optik der ersten Kameraeinrichtung 4 ragt sowie eine zweite Öffnung, durch diese die Optik der zweiten Kameraeinrichtung 5 ragt. Beispielsweise werden die Kameraeinrichtungen 4, 5 über die Öffnungen gehalten. Es kann jedoch beispielsweise ebenso vorgesehen sein, dass die Kameraeinrichtungen 4, 5 vollständig in dem Sensorgehäuse 6 angeordnet und die Optiken durch die Öffnungen blicken.The sensor housing 6 in this embodiment includes a first opening through which the optics of the first camera device 4th protrudes and a second opening through which the optics of the second camera device 5 protrudes. For example, the camera devices 4th , 5 held over the openings. However, it can also be provided, for example, that the camera devices 4th , 5 completely in the sensor housing 6 arranged and the optics look through the openings.

In 2 ist die Sensorvorrichtung 1 in einer schematischen, dreidimensionalen und in 3 in einer schematischen, zweidimensionalen Draufsicht dargestellt. Das Sensorgehäuse 6 umfasst eine Längsachse L, die erste Sensoreinrichtung 4 eine erste optische Achse A1 und die zweite Sensoreinrichtung 5 eine zweite optische Achse A2. Die Längsachse L und die erste optische Achse A1 sind in 2 konzentrisch, in 3 achsparallel zueinander angeordnet. In einer horizontaler Ebene E betrachtet sind die erste und die zweite optische Achse A1, A2 gewinkelt mit einem Innenwinkel Alpha kleiner 90 Grad zueinander angeordnet. Folglich blickt die Optik der ersten Sensoreinrichtung 4 in Fahrzeugrichtung, während die Optik der zweiten Sensoreinrichtung 5 schräg auf den Fahrer des Ego-Fahrzeugs 1 blickt. Auf diese Weise ist einerseits die Erfassung des frontalen, vorausliegenden Außenbereichs, andererseits die Erfassung des Fahrers des Ego-Fahrzeugs 1 umgesetzt. Handelt es sich bei der zweiten Sensoreinrichtung 5 um eine TOF-Kamera, ist die schräge Blickrichtung auf den Fahrer bemerkenswert, da bislang davon ausgegangen wurde, dass eine frontale Ausrichtung auf den Insassen eine Voraussetzung für eine korrekte Auswertung der Gesten und Posen erforderlich war.In 2nd is the sensor device 1 in a schematic, three-dimensional and in 3rd shown in a schematic, two-dimensional top view. The sensor housing 6 includes a longitudinal axis L , the first sensor device 4th a first optical axis A1 and the second sensor device 5 a second optical axis A2 . The longitudinal axis L and the first optical axis A1 are in 2nd concentric, in 3rd arranged axially parallel to each other. In a horizontal plane E the first and second optical axes are considered A1 , A2 angled with an inner angle alpha less than 90 degrees to each other. Consequently, the optics of the first sensor device can see 4th in the vehicle direction, while the optics of the second sensor device 5 at an angle to the driver of the ego vehicle 1 looks. In this way, on the one hand, the detection of the frontal area in front, on the other hand, the detection of the driver of the ego vehicle 1 implemented. Is it the second sensor device 5 around a TOF camera, the oblique view of the driver is remarkable, since it was previously assumed that a frontal orientation on the occupants was a prerequisite for correct evaluation of the gestures and poses.

Die erste und die zweite Sensoreinrichtung 4, 5 umfassen z. B. eine gemeinsame Leiterplatte 7, wie in 2 stark vereinfacht dargestellt. Es ist beispielsweise vorgesehen, dass die Bildsensoren der ersten und zweiten Sensoreinrichtung 4, 5 unmittelbar auf der Leiterplatte 7 angeordnet sind. Als eine beispielhafte Alternative ist die Leiterplatte 7 gewinkelt zu den Bildsensoren der Sensoreinrichtungen 4, 5 angeordnet und über Bonddrähte mit den Bildsensoren elektrisch miteinander verbunden.The first and the second sensor device 4th , 5 include e.g. B. a common circuit board 7 , as in 2nd represented in a very simplified manner. It is provided, for example, that the image sensors of the first and second sensor devices 4th , 5 directly on the circuit board 7 are arranged. The PCB is an exemplary alternative 7 angled to the image sensors of the sensor devices 4th , 5 arranged and electrically connected to one another via bond wires with the image sensors.

Die erste Sensoreinrichtung 4 ist beispielsweise Bestandteil einer Fahrerassistenzvorrichtung oder mit dieser verbindbar, wobei eine Auswerteeinrichtung der Fahrerassistenzvorrichtung insbesondere zur Objekterkennung, z. B. zur Erkennung weiterer Verkehrsteilnehmer, Verkehrszeichen und/oder Fahrspuren aus den von der Kameraeinrichtung 4 bereitgestellten Bilddaten ausgebildet ist.The first sensor device 4th is, for example, part of a driver assistance device or can be connected to it, an evaluation device of the driver assistance device in particular for object detection, eg. B. to recognize other road users, traffic signs and / or lanes from the camera device 4th provided image data is formed.

Beispielsweise ist die zweite Sensoreinrichtung 5 Bestandteil einer Fahrerassistenzvorrichtung oder mit dieser verbindbar, wobei eine weitere bzw. die Auswerteeinrichtung der Fahrerassistenzvorrichtung insbesondere ausgebildet ist, aus den von der zweiten Kameraeinrichtung 5 erfassten Bilddaten eine Pose oder Geste, im Speziellen die Kopforientierung, Handposition, Armposition, die Blickrichtung des Fahrers zu erkennen. Z. B. ist die Auswerteeinrichtung ausgebildet, aus der erfassten Pose bzw. Geste einen Aufmerksamkeitszustand des Fahrers zu ermitteln. Beispielsweise ist die Auswerteeinrichtung auf der Leiterplatte 6 angeordnet.For example, the second sensor device 5 Part of a driver assistance device or can be connected to it, wherein a further or the evaluation device of the driver assistance device is in particular formed from those of the second camera device 5 captured a pose or gesture, especially the head orientation, hand position, arm position, the driver's line of sight. For example, the evaluation device is designed to determine a driver's attentiveness state from the detected pose or gesture. For example, the evaluation device is on the circuit board 6 arranged.

Bei dem in 1 gezeigten Ego-Fahrzeug 1 handelt es sich um einen Linkslenker. Selbstverständlich ist es ebenso möglich, dass es sich um einen Rechtslenker handelt, sodass die zweite Sensoreinrichtung 5 in dem Fall zur Erfassung des Fahrers achssymmetrisch zur Längsachse L der Sensorvorrichtung 1 anzuordnen wäre.At the in 1 shown ego vehicle 1 it is a left-hand drive vehicle. Of course, it is also possible that it is a right-hand drive vehicle, so that the second sensor device 5 in the case of detecting the driver axially symmetrical to the longitudinal axis L the sensor device 1 to be ordered.

4 zeigt ein zweites Ausführungsbeispiel der Sensorvorrichtung 1, welche im Vergleich zur 1 eine dritte Sensoreinrichtung 8 umfasst. Die dritte Sensoreinrichtung 8 ist zur Erfassung eines weiteren Teilbereichs des Fahrgastraums des Ego-Fahrzeugs 1 ausgebildet, bei diesem Ausführungsbeispiel den Sitzbereich des Beifahrers. Die Erfassung des Beifahrers hat den Vorteil, dass auch Posen oder Gesten, insbesondere Reaktionen des Beifahrers ausgewertet werden können, welche auf ein für die Fahrerassistenzvorrichtung relevantes Verkehrsszenario rückschließen lassen. Im Vergleich zu einer einzigen Insassenkamera, welche mittels einer Weitwinkeloptik von mindestens 120 Grad beide Insassen erfassen könnte, kann hier eine mit der Weitwinkeloptik verbundenen Verzerrung in den Bildern vermieden und somit eine verbesserte Auswertung der Gesten und Posen der Insassen erzielt werden. 4th shows a second embodiment of the sensor device 1 which compared to the 1 a third sensor device 8th includes. The third sensor device 8th is for the detection of a further partial area of the passenger compartment of the ego vehicle 1 formed, in this embodiment, the seating area of the passenger. The detection of the front passenger has the advantage that poses or gestures, in particular reactions of the front passenger, can also be evaluated, which can be used to infer a traffic scenario relevant to the driver assistance device. In comparison to a single occupant camera, which could capture both occupants by means of a wide-angle optics of at least 120 degrees, a distortion in the images associated with the wide-angle optics can be avoided here and an improved evaluation of the gestures and poses of the occupants can thus be achieved.

Beispielsweise sind die zweite und dritte Sensoreinrichtung 5, 8 derart zueinander ausgerichtet, dass unterschiedliche, nicht überschneidende Teilbereiche des Fahrgastraums, im Speziellen der Sitzbereich des Fahrers und der Sitzbereich des Beifahrers erfasst sind. Beispielsweise sind die zweite optische Achse A2 und eine dritte optische Achse A3 der dritten Sensoreinrichtung 8 achssymmetrisch zur Längsachse L angeordnet. Z. B. sind die zweite und dritte optische Achse A2, A3 gewinkelt zueinander in einem Innenwinkel Beta von mindestens 30 Grad und/oder von höchstens 100 Grad angeordnet.For example, the second and third sensor device 5 , 8th Aligned to each other in such a way that different, non-overlapping partial areas of the passenger compartment, in particular the driver's seating area and the passenger's seating area, are recorded. For example, the second optical axis A2 and a third optical axis A3 of the third sensor device 8th axially symmetrical to the longitudinal axis L arranged. For example, the second and third optical axes A2 , A3 angled to each other at an inside angle beta at least 30 degrees and / or at most 100 degrees.

Die in den 3 und 4 gezeigten optischen Achsen A1, A2, A3 der zweiten oder dritten Sensoreinrichtung verlaufen jeweils parallel zur horizontalen Ebene E. Es kann jedoch ebenso vorgesehen sein, dass zumindest eine der optischen Achsen A1, A2, A3 gewinkelt zur horizontalen Ebene E angeordnet sind. Dies kann vor allem bei der zweiten oder dritten Kameraeinrichtung 5, 8 von Vorteil sein, um im Falle eines kleineren vertikalen Öffnungswinkels der Optik z. B. Handbewegungen in einem unteren Bereich des Fahrzeugs 1 erfassen zu können.The in the 3rd and 4th shown optical axes A1 , A2 , A3 the second or third sensor device each run parallel to the horizontal plane E . However, it can also be provided that at least one of the optical axes A1 , A2 , A3 angled to the horizontal plane E are arranged. This can be particularly the case with the second or third camera device 5 , 8th be of advantage in the case of a smaller vertical opening angle of the optics z. B. Hand movements in a lower area of the vehicle 1 to be able to record.

Bei den in den 2 und 4 gezeigten Ausführungsbeispielen umfasst die Sensorvorrichtung 2 zur Energieversorgung und/oder zur Ein- und Ausgabe von Signalen der ersten, zweiten und optional ergänzend der dritten Sensoreinrichtung 4, 5, 8 eine gemeinsame elektrische Schnittstelle 9.In the in the 2nd and 4th The exemplary embodiments shown include the sensor device 2nd for energy supply and / or for input and output of signals from the first, second and optionally additionally the third sensor device 4th , 5 , 8th a common electrical interface 9 .

BezugszeichenlisteReference list

11: Ego-FahrzeugEgo vehicle
22nd: SensorvorrichtungSensor device
33rd: WindschutzscheibeWindshield
44th: Erste SensoreinrichtungFirst sensor device
55: Zweite SensoreinrichtungSecond sensor device
66: SensorgehäuseSensor housing
77: LeiterplatteCircuit board
88th: Dritte SensoreinrichtungThird sensor device
99: Elektrische SchnittstelleElectrical interface
LL: Längsachse der SensorvorrichtungLongitudinal axis of the sensor device
A1A1: Erste optische AchseFirst optical axis
A2A2: Zweite optische AchseSecond optical axis
A3A3: Dritte optische AchseThird optical axis
Alphaalpha: Innenwinkel zwischen erster und zweiter optischen AchseInternal angle between the first and second optical axis
Betabeta: Innenwinkel zwischen zweiter und dritten optischen AchseInternal angle between the second and third optical axes

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

US 2016224852 A1 [0003]
DE 102011105247 B4 [0005]

Claims

Sensor device (2) for an ego vehicle, comprising a first sensor device (4) for detecting an outer area of the ego vehicle (1) lying ahead, a second sensor device (5) for detecting at least a partial area of a passenger compartment of the ego vehicle (1), characterized by a sensor housing (6) in which the first and the second sensor device (4, 5) are arranged at least in sections.

Sensor device (2) after Claim 1 , characterized in that the sensor housing (6) has a longitudinal axis (L), the first sensor device (4) has a first optical axis (A1) and the second sensor device (5) has a second optical axis (A2), the longitudinal axis (L ) and the first optical axis (A1) are arranged axially parallel or concentrically to one another, the first and second optical axes (A1, A2) being angled in an horizontal plane (E) with an internal angle (Alpha) of at least 20 degrees and / or of at most 70 degrees to each other.

Sensor device (2) according to one of the preceding claims, characterized in that the first and the second sensor device (4, 5) have a common printed circuit board (7).

Sensor device (2) according to one of the preceding claims, characterized in that the first and the second sensor device (4, 5) have a common electrical interface (9) for energy supply and / or for input and output of signals.

Sensor device (2) according to one of the preceding claims, characterized in that the first sensor device (4) is designed as a lidar sensor, radar sensor, camera sensor and / or as an ultrasonic sensor device,

Sensor device (2) according to one of the preceding claims, characterized in that the second sensor device (5) is designed as a camera sensor device, in particular as a TOF camera device.

Driver assistance device with a sensor device (2) according to one of the preceding claims, characterized in that the driver assistance device is designed to support the driver in vehicle guidance based on environmental data obtained by means of the sensor device (2).

Driver assistance device after Claim 7 , characterized in that the driver assistance device comprises at least or exactly one evaluation device, the at least or exactly one evaluation device being arranged in the sensor housing (6) of the sensor device (2).

Driver assistance device after Claim 7 or 8th , characterized in that the second sensor device (5) is designed as an occupant camera for detecting a driver of the ego vehicle (1), the evaluation device being designed to use the image data recorded by the occupant camera to gesture and / or pose the driver recognize, and wherein the evaluation device is designed to evaluate a driver's attention state based on the recognized gesture and / or pose.

Vehicle (1) with a sensor device (2) according to one of the preceding Claims 1 to 6 , characterized in that the sensor device (2) is arranged on an inside of a windshield (3) of the vehicle (1).