DE102023004852B3

DE102023004852B3 - Method for displaying an image of the surroundings from a virtual perspective and a navigation assistance system therefor

Info

Publication number: DE102023004852B3
Application number: DE102023004852.6A
Authority: DE
Inventors: Christian Schneider
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-11-25
Filing date: 2023-11-25
Publication date: 2025-01-23
Anticipated expiration: 2043-11-26
Also published as: WO2025108778A1

Abstract

Die Erfindung betrifft ein Verfahren (6) zum Anzeigen eines Umfeldbilds aus einem virtuellen Blickwinkel in einem Fahrzeug mittels eines Navigationsassistenzsystems (1). Der virtuelle Blickwinkel wird dabei situativ entsprechend der Akkommodation des Fahrers eingestellt.Die Erfindung betrifft auch ein Navigationsassistenzsystem (1) zum Ausführen des Verfahrens (6).The invention relates to a method (6) for displaying an image of the surroundings from a virtual viewing angle in a vehicle by means of a navigation assistance system (1). The virtual viewing angle is set depending on the situation and according to the accommodation of the driver. The invention also relates to a navigation assistance system (1) for carrying out the method (6).

Description

Die Erfindung betrifft ein Verfahren zum Anzeigen eines Umfeldbilds aus einem virtuellen Blickwinkel in einem Fahrzeug mittels eines Navigationsassistenzsystems nach dem Oberbegriff des Anspruchs 1. Die Erfindung betrifft auch das Navigationsassistenzsystem zum Ausführen des Verfahrens.The invention relates to a method for displaying an image of the surroundings from a virtual viewing angle in a vehicle by means of a navigation assistance system according to the preamble of claim 1. The invention also relates to the navigation assistance system for carrying out the method.

Ein Navigationsassistenzsystem eines Fahrzeugs kann unter anderem dazu ausgelegt sein, ein Umfeldbild auf einem Monitor für einen Fahrer bereitzustellen. Dabei ist ein virtueller Blickwinkel des Umfeldbilds üblicherweise konstant hinter dem Fahrzeug positioniert. Bei modernen Navigationsassistenzsystemen kann beispielweise eine Zoom-Stufe des Blickwinkels an die Geschwindigkeit des Fahrzeugs gebunden sein. Erhöht sich die Geschwindigkeit des Fahrzeugs, so wird dann das Umfeldbild auf dem Monitor entsprechend herausgezoomt. Analog dazu wird das Umfeldbild auf dem Monitor reingezoomt, wenn die Geschwindigkeit des Fahrzeugs sich verringert. Dieser Ansatz sieht jedoch keine Kopplung des Blickwinkels mit Warnstufen vor und deckt darüber hinaus die Fahrernotwendigkeit bzw. die Relevanz für den Fahrer systemseitig nicht ab. Alternativ kann bei modernen Navigationsassistenzsystemen beispielweise eine warnungsgestützte Zoom-Stufe und eine Blickwinkelkorrektur vorgenommen werden. In diesem Ansatz kann der Blickwinkel abhängig von der Warnung angepasst werden. Wird hier beispielsweise eine BSM-Warnung (BSM: Blind Spot Monitoring) links erzeugt, so wird der Blickwinkel auf den hinteren linken Bereich des Fahrzeugs konzentriert bzw. fokussiert. Dieser Ansatz deckt nachteiligerweise nicht zwingend die Bedürfnisse des Fahrers ab. Liegt beispielsweise eine BSM- und/oder eine AEB-Warnung (AEB: Autonomous Emergency Braking) vor, so könnte die Situation von dem Fahrer bereits erkannt und als unkritisch eingestuft sein. Demnach wäre eine Anpassung des Blickwinkels hier nicht zielführend.A vehicle's navigation assistance system can, among other things, be designed to provide a driver with an image of the surroundings on a monitor. A virtual viewing angle of the surroundings image is usually constantly positioned behind the vehicle. In modern navigation assistance systems, for example, a zoom level of the viewing angle can be tied to the speed of the vehicle. If the speed of the vehicle increases, the surroundings image on the monitor is zoomed out accordingly. Similarly, the surroundings image on the monitor is zoomed in when the speed of the vehicle decreases. However, this approach does not link the viewing angle to warning levels and, moreover, does not cover the driver's need or relevance for the driver on the system side. Alternatively, modern navigation assistance systems can, for example, perform a warning-based zoom level and a viewing angle correction. In this approach, the viewing angle can be adjusted depending on the warning. For example, if a BSM warning (BSM: Blind Spot Monitoring) is generated on the left, the viewing angle is concentrated or focused on the rear left area of the vehicle. The disadvantage of this approach is that it does not necessarily meet the needs of the driver. For example, if there is a BSM and/or AEB warning (AEB: Autonomous Emergency Braking), the driver may already have recognized the situation and classified it as non-critical. Therefore, adjusting the viewing angle would not be useful here.

DE 10 2018 201 631 A1 offenbart ein Verfahren zum Erzeugen einer virtuellen Darstellung zur Erweiterung des Sichtfelds in einem Fahrzeug. Dabei wird ein Umfeldbild auf einem Monitor abhängig von der Blickrichtung des Fahrers erzeugt. DE 10 2018 201 631 A1 discloses a method for generating a virtual representation to expand the field of vision in a vehicle. An image of the surroundings is generated on a monitor depending on the driver's line of sight.

EP 1974998 A1 offenbart ein Verfahren zum Erfassen eines Bereichs, der aufgrund der Anwesenheit einer Säule eines Fahrzeugs als toter Winkel verborgen ist, mittels einer im Fahrzeug montierten Totwinkelkamera. EP 1974998 A1 discloses a method for detecting an area hidden as a blind spot due to the presence of a pillar of a vehicle by means of a blind spot camera mounted in the vehicle.

US 2013 /0 096 820 A1 offenbart ein Anzeigesystem für ein Fahrzeug mit Monitoren, die ein Bild von Außenkameras entsprechend der Blickrichtung des Fahrers anzeigen. US 2013 /0 096 820 A1 discloses a display system for a vehicle with monitors that display an image from external cameras according to the driver's viewing direction.

DE 10 2009 054 231 A1 offenbart ein Head-up-Display zur stereoskopischen Informationsanzeige in einem Kraftfahrzeug. DE 10 2009 054 231 A1 discloses a head-up display for stereoscopic information display in a motor vehicle.

DE 10 2013 021 150 A1 offenbart ein Verfahren und eine Anordnung zur Anzeige von optischen Informationen in Fahrzeugen im zentralen Sichtfeld des Fahrers derart, dass sich eine Überlagerung dieser Anzeige (virtuelles Bild) mit der realen Verkehrsumgebung ergibt. DE 10 2013 021 150 A1 discloses a method and an arrangement for displaying optical information in vehicles in the central field of vision of the driver such that this display (virtual image) is superimposed on the real traffic environment.

WO 2014 / 130 049 A1 offenbart ein System zur Erweiterung eines Rückfahrdisplays in einem Fahrzeug. WO 2014 / 130 049 A1 discloses a system for extending a rear view display in a vehicle.

US 2018 / 0 312 111 A1 offenbart ein Kollisionsvermeidungssystem oder ein Sichtsystem oder ein Bildgebungssystem für ein Fahrzeug, das zumindest eine Kamera verwendet, um Bilddaten außerhalb des Fahrzeugs zu erfassen und im Innenraum des Fahrzeugs dem Fahrer bereitzustellen. US 2018 / 0 312 111 A1 discloses a collision avoidance system or a vision system or an imaging system for a vehicle that uses at least one camera to capture image data outside the vehicle and provide it to the driver inside the vehicle.

Die Aufgabe der Erfindung ist es daher, für ein Verfahren der gattungsgemäßen Art eine verbesserte oder zumindest alternative Ausführungsform anzugeben, bei der die beschriebenen Nachteile überwunden werden. Die Aufgabe der Erfindung ist es auch, ein entsprechendes Navigationsassistenzsystem bereitzustellen.The object of the invention is therefore to provide an improved or at least alternative embodiment for a method of the generic type in which the described disadvantages are overcome. The object of the invention is also to provide a corresponding navigation assistance system.

Diese Aufgabe wird erfindungsgemäß durch den Gegenstand der unabhängigen Ansprüche gelöst. Vorteilhafte Ausführungsformen sind Gegenstand der abhängigen Ansprüche. This object is achieved according to the invention by the subject matter of the independent claims. Advantageous embodiments are the subject matter of the dependent claims.

Die vorliegende Erfindung beruht auf dem allgemeinen Gedanken, eine Einstellung des virtuellen Blickwinkels situativ entsprechend der Akkommodation des Fahrers einzustellen und demgemäß den Bedarf des Fahrers in der Einstellung zu berücksichtigen.The present invention is based on the general idea of adjusting the virtual viewing angle depending on the situation and the accommodation of the driver and accordingly taking the driver's needs into account in the adjustment.

Das erfindungsgemäße Verfahren ist zum Anzeigen eines Umfeldbilds aus einem virtuellen Blickwinkel in einem Fahrzeug mittels eines Navigationsassistenzsystems ausgelegt bzw. vorgesehen. Das Navigationsassistenzsystem weist dabei eine Fahrerbeobachtungskamera, eine tiefenwahrnehmende Sensorik und einen Monitor zum Darstellen des Umfeldbilds auf. Dabei werden zuerst eine Kalibrierung-Phase des Verfahrens und danach eine Online-Phase des Verfahrens durchgeführt. In der Kalibrierung-Phase werden zuerst Bilder des Fahrers mittels der Fahrerbeobachtungskamera aufgenommen. Danach werden Akkommodation-Zustände eines Fahrers des Fahrzeugs aus den Bildern des Fahrers für jede Blickrichtung des Fahrers bestimmt. Danach wird ein Umfeldbild mittels der tiefenwahrnehmenden Sensorik aufgenommen und daraus Sensor-Tiefenwerte generiert. Anschließend wird eine Kalibrierungsfunktion zwischen den generierten Sensor-Tiefenwerten und den bestimmten Akkommodation-Zuständen des Fahrers für jede Blickrichtung des Fahrers abgeleitet. Mit anderen Worten wird ein Zusammenhang zwischen den Akkommodation-Zuständen des Fahrers und den Sensor-Tiefenwerten für jede Blickrichtung des Fahrers bestimmt. In der der Online-Phase des Verfahrens werden dann zuerst aktuelle Bilder des Fahrers mittels der Fahrerbeobachtungskamera aufgenommen. Danach werden aktuelle Akkommodation-Zustände des Fahrers aus den aktuellen Bilder für jede Blickrichtung des Fahrers bestimmt. Dann werden aktuelle akkommodationsspezifische Sensor-Tiefenwerte bzw. Akkommodation-Tiefenwerte aus der Kalibrierungsfunktion bestimmt. Nun werden ein aktuelles Umfeldbild mittels der tiefenwahrnehmenden Sensorik aufgenommenen und daraus aktuelle Sensor-Tiefenwerte generiert. Danach wird eine Abweichung zwischen den aktuellen Sensor-Tiefenwerten und den aktuellen akkommodationsspezifischen Sensor-Tiefenwerten bzw. den Akkommodation-Tiefenwerten für jede Blickrichtung des Fahrers bestimmt. Anschließend wird dann der virtuelle Blickwinkel beim Darstellen des Umfeldbilds auf einen Bereich mit der größten Abweichung fokussiert.The method according to the invention is designed or intended for displaying an image of the surroundings from a virtual perspective in a vehicle using a navigation assistance system. The navigation assistance system has a driver observation camera, a depth-sensing sensor and a monitor for displaying the image of the surroundings. A calibration phase of the method is carried out first, followed by an online phase of the method. In the calibration phase, images of the driver are first recorded using the driver observation camera. Accommodation states of a driver of the vehicle are then determined from the images of the driver for each direction of the driver's gaze. An image of the surroundings is then recorded using the depth-sensing sensor and sensor depth values are generated from this. a calibration function is derived between the generated sensor depth values and the specific accommodation states of the driver for each direction of the driver's gaze. In other words, a connection is determined between the accommodation states of the driver and the sensor depth values for each direction of the driver's gaze. In the online phase of the process, current images of the driver are then first recorded using the driver observation camera. Then the current accommodation states of the driver are determined from the current images for each direction of the driver's gaze. Then current accommodation-specific sensor depth values or accommodation depth values are determined from the calibration function. Now a current image of the environment is recorded using the depth-sensing sensors and current sensor depth values are generated from this. Then a deviation between the current sensor depth values and the current accommodation-specific sensor depth values or the accommodation depth values for each direction of the driver's gaze is determined. The virtual viewing angle is then focused on an area with the greatest deviation when displaying the surrounding image.

In dem erfindungsgemäßen Verfahren wird der virtuelle Blickwinkel beim Darstellen des Umfeldbilds adaptiv bzw. situativ an die Bedürfnisse des Fahrers angepasst. Mit anderen Worten wird der virtuelle Blickwinkel einer das Umfeldbild zeigenden virtuellen Kamera situativ angepasst. Dabei wird geprüft, ob die Wahrnehmung des Fahrers mit der Wahrnehmung der Sensorik übereinstimmt. Tritt hierbei eine Abweichung bzw. ein Delta auf, so wird der Blickwinkel virtuell auf die Position dieser Abweichung fokussiert bzw. eingestellt. Dadurch können insbesondere die Abweichungen in der Wahrnehmung berücksichtigt werden, die beispielsweise bei Fahrten in einer starken Gischt, bei Nebelfahrten, bei Nachtfahrten, bei einer starken Verschmutzung der Scheiben usw. auftreten können. Zum Ausführen des Verfahrens ist dabei keine Änderung von Hardware des bereits existierenden Navigationsassistenzsystems notwendig. Das Verfahren kann zudem auf FOSS DPI SW zurückgreifen. Durch das erfindungsgemäße Verfahren kann insbesondere das Fahrerkomfort durch angepasste Umfeld-Visualisierung erhöht werden. Ferner kann das Vertrauen des Fahrers in das Navigationsassistenzsystem gesteigert werden.In the method according to the invention, the virtual viewing angle is adaptively or situationally adapted to the needs of the driver when displaying the surroundings image. In other words, the virtual viewing angle of a virtual camera showing the surroundings image is adapted situationally. In doing so, it is checked whether the driver's perception matches the perception of the sensors. If a deviation or a delta occurs, the viewing angle is virtually focused or adjusted to the position of this deviation. This makes it possible to take into account in particular the deviations in perception that can occur, for example, when driving in heavy spray, when driving in fog, when driving at night, when the windows are very dirty, etc. In order to carry out the method, no changes to the hardware of the existing navigation assistance system are necessary. The method can also use FOSS DPI SW. The method according to the invention can in particular increase driver comfort through adapted visualization of the surroundings. Furthermore, the driver's trust in the navigation assistance system can be increased.

Die Kalibrierung-Phase dient dabei dem Ableiten der Kalibrierfunktion zwischen den Sensor-Tiefen bzw. Sensor-Tiefenwerten und den Akkommodation-Zuständen des Fahrers. Die Akkommodation beschreibt dabei die Fähigkeit des Auges, die Brechkraft der Augenlinse durch die Änderung ihrer Form bzw. Wölbung anzupassen und dadurch Objekte auf abweichenden Distanzen zu fokussieren. Diese Änderung kann in den mittels der Fahrerbeobachtungskamera aufgenommenen Bilder erkannt und der entsprechende Akkommodation-Zustand des Fahrers bzw. des Auges des Fahrers bestimmt werden. In der Kalibrierungsfunktion kann dann der Zusammenhang zwischen den Akkommodation-Zuständen des Fahrers und den Sensor-Tiefenwerten hergestellt werden. Daraus können dann für jeden Akkommodation-Zustand des Fahrers abhängig von der Blickrichtung des Fahrers die entsprechenden akkommodationsspezifischen Sensor-Tiefenwerte bzw. Akkommodation-Tiefenwerte aus der Kalibrierungsfunktion abgelesen werden. Die Online-Phase dient zum Bestimmen der Divergenz zwischen den Sensor-Tiefenwerten und den Akkommodation-Tiefenwerten bzw. den akkommodationsspezifischen Sensor-Tiefenwerten, die basierend auf der in der Kalibrierung-Phase bestimmten Kalibrierungsfunktion berechnet werden. Zudem dient die Online-Phase dem situativen Anpassen bzw. dem situativen Korrigieren des virtuellen Blickwinkels beim Anzeigen des Umfeldbilds.The calibration phase is used to derive the calibration function between the sensor depths or sensor depth values and the accommodation states of the driver. Accommodation describes the ability of the eye to adjust the refractive power of the lens of the eye by changing its shape or curvature and thus to focus on objects at different distances. This change can be recognized in the images taken using the driver observation camera and the corresponding accommodation state of the driver or the driver's eye can be determined. The calibration function can then establish the connection between the accommodation states of the driver and the sensor depth values. From this, the corresponding accommodation-specific sensor depth values or accommodation depth values can then be read from the calibration function for each accommodation state of the driver, depending on the direction of the driver's gaze. The online phase is used to determine the divergence between the sensor depth values and the accommodation depth values or the accommodation-specific sensor depth values, which are calculated based on the calibration function determined in the calibration phase. The online phase is also used to adapt or correct the virtual viewing angle when displaying the image of the surroundings.

Beim Ausführen des Verfahrens wird dabei vorausgesetzt, dass die einzelnen Komponenten des Fahrzeugs und/oder die einzelnen Komponenten des Navigationsassistenzsystems entsprechend zueinander extrinsisch und intrinsisch kalibriert sind.When carrying out the procedure, it is assumed that the individual components of the vehicle and/or the individual components of the navigation assistance system are extrinsically and intrinsically calibrated to each other.

Beim Aufnehmen des Umfeldbilds kann das Umfeldbild dreidimensional und/oder als ein 3D-Umfeldmodell aufgenommen werden. Dabei kann beim Aufnehmen des Umfeldbilds das Umfeldbild in einem Bezugssystem bzw. Koordinatensystem der tiefenwahrnehmenden Sensorik aufgenommen werden. Vor dem Ableiten der Kalibrierungsfunktion kann dann das Umfeldbild in ein Bezugssystem bzw. Koordinatensystem der Fahrerbeobachtungskamera transformiert werden. Dadurch können die Sensor-Tiefenwerte und/oder die Akkommodation-Zustände und/oder die akkommodationsspezifischen Sensor-Tiefenwerte und/oder die Blickrichtung in einem gemeinsamen Bezugssystem bzw. Koordinatensystem berechnet werden.When recording the image of the surroundings, the image of the surroundings can be recorded three-dimensionally and/or as a 3D model of the surroundings. When recording the image of the surroundings, the image of the surroundings can be recorded in a reference system or coordinate system of the depth-sensing sensor. Before deriving the calibration function, the image of the surroundings can then be transformed into a reference system or coordinate system of the driver observation camera. This allows the sensor depth values and/or the accommodation states and/or the accommodation-specific sensor depth values and/or the direction of view to be calculated in a common reference system or coordinate system.

Beim Ableiten der Kalibrierungsfunktion kann ein Wohlfüllfaktor des Fahrers und/oder ein Umgebungsfaktor berücksichtigt werden. Mit anderen Worten kann die Kalibrierungsfunktion für beliebige Parameter erweitert werden. Die Kalibrierungsfunktion kann demnach zweidimensional oder mehrdimensional sein. Der Wohlfüllfaktor des Fahrers kann beispielweise sein Müdigkeitszustand und der Umgebungsfaktor kann beispielweise die Helligkeit des Umfeldbilds sein. Durch das Berücksichtigen weiterer Parameter kann dabei die Genauigkeit der Kalibrierungsfunktion erhöht werden.When deriving the calibration function, a driver's comfort factor and/or an environmental factor can be taken into account. In other words, the calibration function can be expanded for any parameters. The calibration function can therefore be two-dimensional or multi-dimensional. The driver's comfort factor can be, for example, his state of fatigue and the environmental factor can be, for example, the brightness of the surrounding image. By taking additional parameters into account, the accuracy of the calibration function can be increased.

Beim Bestimmen der Abweichung kann die Abweichung als Differenzwerte zwischen den einzelnen aktuellen Sensor-Tiefenwerten und den einzelnen akkommodationsspezifischen Sensor-Tiefenwerten berechnet werden. Der jeweilige Differenzwert kann beispielweise zwischen einem Betrag des aktuellen Sensor-Tiefenwerts und einem Betrag des akkommodationsspezifischen Sensor-Tiefenwerts berechnet werden. Die Differenzwerte können dann entsprechend deren örtlicher Zuordnung in dem Umfeldbild auf eine Projektionsebene projiziert werden. Die Projektionsebene kann dabei eine zweidimensionale Ebene oder eine Voxelnetz-Ebene sein. Dadurch entsteht eine Projektionsebene, in der die Differenzwerte bzw. Deltas zwischen den aktuellen Sensor-Tiefenwerten und den akkommodationsspezifischen Sensor-Tiefenwerten abbildet sind.When determining the deviation, the deviation can be calculated as difference values between the individual current sensor depth values and the individual accommodation-specific sensor depth values. The respective difference value can, for example, be calculated between an amount of the current sensor depth value and an amount of the accommodation-specific sensor depth value. The difference values can then be projected onto a projection plane according to their local assignment in the environment image. The projection plane can be a two-dimensional plane or a voxel network plane. This creates a projection plane in which the difference values or deltas between the current sensor depth values and the accommodation-specific sensor depth values are mapped.

Unter der Annahme, dass bei Fahrten in einer starken Gischt, bei Nebelfahrten, bei Nachtfahrten, bei einer starken Verschmutzung der Scheiben usw. die entsprechende Differenzwerte bzw. Deltas entsprechend groß sind, kann anhand der Differenzwerte auf der Projektionsebene die Position der stärksten Abweichung in der Wahrnehmung des Fahrers und der Wahrnehmung der Sensorik bestimmt werden. Aus den projizierten Differenzenwerten kann dazu ein Bereich in der Projektionsebene, in dem eine maximale Anzahl der positiven und/oder negativen Differenzwerten angeordnet ist, bestimmt werden. Dieser Bereich kann dann als der oben bereits genannte Bereich mit der maximalen Abweichung zum Einstellen des virtuellen Blickwinkels festgelegt werden. Entsprechend kann dann der virtuelle Blickwinkel beim Darstellen des Umfeldbilds auf diesen Bereich fokussiert werden. Mit anderen Worten wird eine virtuelle Kamera so platziert, dass ein Maximum eines Bereichs mit der höchsten Differenz auf dem Monitor abgebildet wird. Sieht der Fahrer beispielsweise bei einer Gischtfahrt den Nahbereich vor dem Fahrzeug nur verschlechtert, so ist davon auszugehen, dass der Nahbereich eine entsprechend hohe Differenz aufweist. Entsprechend wird die virtuelle Kamera mit dem virtuellen Blickwinkel auf diesen Bereich fokussiert. Dadurch können dem Fahrer genau die Bereiche, in denen seine Sicht verschlechtert ist, gezeigt werden und die Assistenz situativ an die Bedürfnisse des Fahrers angepasst werden.Assuming that the corresponding difference values or deltas are correspondingly large when driving in heavy spray, when driving in fog, when driving at night, when the windows are very dirty, etc., the position of the greatest deviation in the driver's perception and the sensor's perception can be determined based on the difference values on the projection plane. From the projected difference values, an area in the projection plane in which a maximum number of positive and/or negative difference values are arranged can be determined. This area can then be defined as the area with the maximum deviation mentioned above for setting the virtual viewing angle. Accordingly, the virtual viewing angle can then be focused on this area when displaying the surrounding image. In other words, a virtual camera is placed in such a way that a maximum of an area with the highest difference is shown on the monitor. If, for example, the driver only sees the close area in front of the vehicle in a worse way when driving in spray, it can be assumed that the close area has a correspondingly high difference. Accordingly, the virtual camera with the virtual viewing angle is focused on this area. This allows the driver to be shown exactly the areas where his visibility is impaired and the assistance can be adapted to the driver's needs depending on the situation.

Die Kalibrierung-Phase und/oder die Online-Phase können dabei periodisch in einem vordefinierten zeitlichen Abstand durchgeführt werden. Dadurch kann die Assistenz in Echtzeit und situativ an die Bedürfnisse des Fahrers angepasst werden.The calibration phase and/or the online phase can be carried out periodically at a predefined time interval. This allows the assistance to be adapted to the driver's needs in real time and depending on the situation.

Die Erfindung betrifft auch ein Navigationsassistenzsystem für ein Fahrzeug zum Ausführen des oben beschriebenen Verfahrens. Bei dem Navigationsassistenzsystem handelt es sich insbesondere um eine sogenannte Navistance. Das Navigationsassistenzsystem bietet hierbei eine kombinierte Visualisierung von Assistenz und Navigationsinhalten in einem Kombiinstrument bzw. IC (IC: Integrated Circuit). Das Navigationsassistenzsystem kann dabei eine Fahrerbeobachtungskamera zum Aufnehmen von Bildern des Fahrers aufweisen. Die Fahrerbeobachtungskamera kann im Inneren des Fahrzeugs und frontal vor dem Fahrer montiert bzw. angeordnet sein. Das Navigationsassistenzsystem kann zudem eine tiefenwahrnehmende Sensorik zum Aufnehmen eines Umfeldbilds des Fahrzeugs aufweisen. Die tiefenwahrnehmende Sensorik kann ein Bestandteil eines ADAS (ADAS: Advanced Driver Assistance System) sein. Die tiefenwahrnehmende Sensorik kann beispielweise ein Vision-Sensor und/oder Radar-Sensor und/oder ein Fusion-Sensor aufweisen. Das Navigationsassistenzsystem kann zudem ein Monitor zum Anzeigen des aufgenommenen Umfeldbilds des Fahrzeugs aufweisen. Wie oben bereits beschrieben ist, kann an dem Monitor der Blickwinkel des Umfeldbilds angepasst sein. Das Navigationsassistenzsystem kann zudem eine Steuerungseinheit aufweisen, die derart ausgestaltet ist, dass sie das oben beschriebene Verfahren ausführt.The invention also relates to a navigation assistance system for a vehicle for carrying out the method described above. The navigation assistance system is in particular a so-called Navistance. The navigation assistance system offers a combined visualization of assistance and navigation content in an instrument cluster or IC (IC: Integrated Circuit). The navigation assistance system can have a driver observation camera for recording images of the driver. The driver observation camera can be mounted or arranged inside the vehicle and in front of the driver. The navigation assistance system can also have a depth-sensing sensor system for recording an image of the vehicle's surroundings. The depth-sensing sensor system can be a component of an ADAS (ADAS: Advanced Driver Assistance System). The depth-sensing sensor system can, for example, have a vision sensor and/or radar sensor and/or a fusion sensor. The navigation assistance system can also have a monitor for displaying the recorded image of the vehicle's surroundings. As already described above, the viewing angle of the surroundings image can be adjusted on the monitor. The navigation assistance system can also have a control unit which is designed to carry out the method described above.

Weitere wichtige Merkmale und Vorteile der Erfindung ergeben sich aus den Unteransprüchen, aus den Zeichnungen und aus der zugehörigen Figurenbeschreibung anhand der Zeichnungen.Further important features and advantages of the invention emerge from the subclaims, from the drawings and from the associated description of the figures based on the drawings.

Es versteht sich, dass die vorstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.It is understood that the features mentioned above and those to be explained below can be used not only in the combination specified in each case, but also in other combinations or on their own, without departing from the scope of the present invention.

Bevorzugte Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden in der nachfolgenden Beschreibung näher erläutert, wobei sich gleiche Bezugszeichen auf gleiche oder ähnliche oder funktional gleiche Bauteile beziehen.Preferred embodiments of the invention are illustrated in the drawings and are explained in more detail in the following description, wherein the same reference numerals refer to the same or similar or functionally identical components.

Dabei zeigen, jeweils schematisch:

1 eine Ansicht eines erfindungsgemäßen Navigationsassistenzsystems;
2 ein Ablaufschema eines erfindungsgemäßen Verfahrens;
3 eine Ansicht eines mittels der tiefenwahrnehmenden Sensorik aufgenommenen 3D-Umfeldbilds in dem erfindungsgemäßen Verfahren;
4 eine Visualisierung von Sensor-Tiefenwerten in dem erfindungsgemäßen Verfahren;
5 eine Visualisierung von akkommodationsspezifischen Sensor-Tiefenwerten in dem erfindungsgemäßen Verfahren;
6 eine Visualisierung von Differenzwerten zwischen den Sensor-Tiefenwerten und den akkommodationsspezifischen Sensor-Tiefenwerten in dem erfindungsgemäßen Verfahren;
7 eine Ansicht einer Projektionsebene mit den Differenzwerten in dem erfindungsgemäßen Verfahren;
8 eine Visualisierung einer Anpassung eines virtuellen Blickwinkels in dem erfindungsgemäßen Verfahren;
9 eine Visualisierung des Renderings und des Anzeigens des 3D-Umfeldbilds mit dem angepassten Blickwinkel in dem erfindungsgemäßen Verfahren;
10 eine Ansicht einer Kalibrierungsfunktion in dem erfindungsgemäßen Verfahren.

Shown schematically:

1 a view of a navigation assistance system according to the invention;
2 a flow chart of a method according to the invention;
3 a view of a 3D environment image recorded by means of the depth-sensing sensor in the method according to the invention;
4 a visualization of sensor depth values in the method according to the invention;
5 a visualization of accommodation-specific sensor depth values in the method according to the invention;
6 a visualization of difference values between the sensor depth values and the accommodation-specific sensor depth values in the method according to the invention;
7 a view of a projection plane with the difference values in the method according to the invention;
8 a visualization of an adjustment of a virtual viewing angle in the method according to the invention;
9 a visualization of the rendering and display of the 3D environment image with the adjusted viewing angle in the method according to the invention;
10 a view of a calibration function in the method according to the invention.

1 zeigt eine Ansicht eines erfindungsgemäßen Navigationsassistenzsystems 1 für ein Fahrzeug. Das Navigationsassistenzsystem 1 weist dabei eine Fahrerbeobachtungskamera 2, eine tiefenwahrnehmende Sensorik 3, ein Monitor 4 zum Darstellen des Umfeldbilds und eine Steuerungseinheit 5 auf. Das Navigationsassistenzsystem 1 ist zum Ausführen eines erfindungsgemäßen Verfahrens 6 ausgelegt. 1 shows a view of a navigation assistance system 1 according to the invention for a vehicle. The navigation assistance system 1 has a driver observation camera 2, a depth-sensing sensor 3, a monitor 4 for displaying the surroundings image and a control unit 5. The navigation assistance system 1 is designed to carry out a method 6 according to the invention.

2 zeigt ein Ablaufschema eines erfindungsgemäßen Verfahrens 6 zum Anzeigen des Umfeldbilds aus einem virtuellen Blickwinkel in einem Fahrzeug mittels des Navigationsassistenzsystems 1. In der hier gezeigten Ausführungsform des Verfahrens 6 werden Schritte VS1 bis VS11 nacheinander durchgeführt. 2 shows a flow chart of a method 6 according to the invention for displaying the surroundings image from a virtual viewing angle in a vehicle by means of the navigation assistance system 1. In the embodiment of the method 6 shown here, steps VS1 to VS11 are carried out one after the other.

In dem Verfahren 6 wird dabei zuerst eine Kalibrierung-Phase KPH durchgeführt. Die Kalibrierung-Phase KPH dient der Ableitung einer Kalibrierungsfunktion bzw. einer Übertragungsfunktion zwischen sensorgenerierten Tiefenwerten bzw. Sensor-Tiefenwerten und den Akkommodation-Zuständen des Fahrers. Die Kalibrierung-Phase KPH umfasst dabei die Schritte VS1 bis VS6.In method 6, a calibration phase KPH is first carried out. The calibration phase KPH is used to derive a calibration function or a transfer function between sensor-generated depth values or sensor depth values and the accommodation states of the driver. The calibration phase KPH comprises steps VS1 to VS6.

Im Schritt VS1 wird eine Bildakquisition mittels der Fahrerbeobachtungskamera 2 des Navigationsassistenzsystems 1 durchgeführt. Im Schritt VS2 wird ein Akkommodation-Zustands des Fahrers anhand der aufgenommen Bilder im Schritt VS2 bestimmt. Im Schritt VS3 wird die Blickrichtung des Fahrers mittels der Fahrerbeobachtungskamera 2 des Navigationsassistenzsystems 1 in einem Bezugssystem bzw. Koordinatensystem der Fahrerbeobachtungskamera 2 bestimmt. Im Schritt VS4 wird mittels der tiefenwahrnehmenden Sensorik 3 bzw. einer ADAS-Objekt-Sensorik ein 3D-Umfeldbild bzw. ein 3D-Umfeldmodell erfasst. 3 zeigt dabei eine Ansicht des mittels der tiefenwahrnehmenden Sensorik 3 aufgenommenen 3D-Umfeldbilds. Im Schritt VS5 wird das 3D-Umfeldbild bzw. 3D-Umfeldmodell in das Bezugsystem bzw. Koordinatensystem der Fahrerbeobachtungskamera 2 transformiert. Im Schritt VS6 wird eine Kalibrierungsfunktion bzw. eine Übertragungsfunktion zwischen Sensor-Tiefenwerten und Akkommodation-Zuständen aufgestellt. Aus der Kalibrierungsfunktion kann dann ein einem bestimmten Akkommodation-Zustand zugeordneter akkommodationsspezifischer Sensor-Tiefenwert bzw. Akkommodation-Tiefenwert abgelesen werden. 10 zeigt die Kalibrierungsfunktion, die einen Zusammenhang zwischen dem Akkommodation-Zustand des Fahrers und der Fahrertiefeninformation bzw. Akkommodation-Tiefenwerten und der Sensortiefeninformation bzw. Sensor-Tiefenwerten beschreibt. Mit dem Schritt VS6 ist die Kalibrierung-Phase KPH abgeschlossen.In step VS1, an image acquisition is carried out using the driver observation camera 2 of the navigation assistance system 1. In step VS2, an accommodation state of the driver is determined based on the images recorded in step VS2. In step VS3, the driver's line of sight is determined using the driver observation camera 2 of the navigation assistance system 1 in a reference system or coordinate system of the driver observation camera 2. In step VS4, a 3D environment image or a 3D environment model is captured using the depth-sensing sensor system 3 or an ADAS object sensor system. 3 shows a view of the 3D environment image recorded by the depth-sensing sensor 3. In step VS5, the 3D environment image or 3D environment model is transformed into the reference system or coordinate system of the driver observation camera 2. In step VS6, a calibration function or a transfer function between sensor depth values and accommodation states is set up. An accommodation-specific sensor depth value or accommodation depth value assigned to a specific accommodation state can then be read from the calibration function. 10 shows the calibration function, which describes a connection between the accommodation state of the driver and the driver depth information or accommodation depth values and the sensor depth information or sensor depth values. The calibration phase KPH is completed with step VS6.

Dann wird die Online-Phase OPH durchgeführt. Die Online-Phase OPH dient einer Bestimmung der Divergenz bzw. Differenz zwischen Sensor-Tiefenwerten, die aus den Daten der Sensorik 3 abgeleitet werden, und den Akkommodation-Tiefenwerten, die aus der Kalibrierungsfunktion generiert werden. Die Online-Phase OPH umfasst dabei die Schritte VS7 bis VS 10.The online phase OPH is then carried out. The online phase OPH is used to determine the divergence or difference between sensor depth values derived from the data from sensor 3 and the accommodation depth values generated from the calibration function. The online phase OPH comprises steps VS7 to VS 10.

Im Schritt VS7 wird online die Blickrichtung des Fahrers bestimmt. Im Schritt VS8 wird ein Tiefenabgleich durchgeführt. Dabei werden Differenzwerte bzw. Deltas zwischen Sensor-Tiefenwerten und den Akkommodation-Tiefenwerten anhand der Kalibrierfunktion berechnet. Dazu können vorerst die aktuellen Sensor-Tiefenwerte des aktuellen Umfeldbilds und die aktuellen Akkommodation-Zustände des Fahrers bestimmt werden. In step VS7, the driver's line of sight is determined online. In step VS8, a depth comparison is carried out. Difference values or deltas between sensor depth values and the accommodation depth values are calculated using the calibration function. To do this, the current sensor depth values of the current surroundings image and the driver's current accommodation states can first be determined.

4 zeigt eine Visualisierung von den Sensor-Tiefenwerten und 5 zeigt eine Visualisierung von den akkommodationsspezifischen Sensor-Tiefenwerten bzw. Akkommodation-Tiefenwerten. In 6 ist eine Visualisierung von Differenzwerten zwischen den Sensor-Tiefenwerten und den akkommodationsspezifischen Sensor-Tiefenwerten bzw. Akkommodation-Tiefenwerten gezeigt. Im Schritt VS9 wird eine 2D-Projektion der Differenzwerte bzw. Deltas aus dem Schritt VS8 entsprechend deren örtlicher Position auf eine Projektionsebene PE projiziert. Eine Ansicht der Projektionsebene PE mit den Differenzwerten aus dem Schritt VS8 ist in 7 gezeigt. Hier sind die von Null abweichenden Differenzwerte mit grau hinterlegt. Im Schritt VS10 wird eine virtuelle Kameraanpassung und dadurch eine Anpassung des virtuellen Blickwinkels des Umfeldbilds vorgenommen. 8 zeigt eine Visualisierung einer Anpassung des virtuellen Blickwinkels. Mit dem Schritt VS10 ist die Online-Phase OPH abgeschlossen. 4 shows a visualization of the sensor depth values and 5 shows a visualization of the accommodation-specific sensor depth values or accommodation depth values. In 6 a visualization of difference values between the sensor depth values and the accommodation-specific sensor depth values or accommodation depth values is shown. In step VS9, a 2D projection of the difference values or deltas from step VS8 is projected onto a projection plane PE according to their local position. A view of the projection plane PE with the difference values from step VS8 is shown in 7 shown. Here, the difference values that deviate from zero are highlighted in gray. In step VS10, a virtual camera adjustment is carried out and thus an adjustment of the virtual viewing angle of the surrounding image. 8 shows a visualization of an adjustment of the virtual viewing angle. With step VS10 the online phase OPH is completed.

Im Schritt VS11 wird nun ein Rendering des Navigationsassistenzsystems 1 bzw. einer sogenannten Navistance vorgenommen. Anschließend wird das Umfeldbild entsprechend der aktualisierten virtuellen Kameraposition bzw. des angepassten virtuellen Blickwinkels auf dem Monitor 4 angezeigt. 9 zeigt eine Visualisierung des Renderings und des Anzeigens des angepassten 3D-Umfeldbilds.In step VS11, a rendering of the navigation assistance system 1 or a so-called Navistance is carried out. The surroundings image is then displayed on the monitor 4 according to the updated virtual camera position or the adjusted virtual viewing angle. 9 shows a visualization of the rendering and display of the adjusted 3D environment image.

Claims

Method (6) for displaying an image of the surroundings from a virtual perspective in a vehicle by means of a navigation assistance system (1), wherein the navigation assistance system (1) has a driver observation camera (2), a depth-sensing sensor (3), a monitor (4) for displaying the image of the surroundings, wherein in a calibration phase (KPH) of the method (6): - accommodation states of a driver of the vehicle are determined from images recorded by means of the driver observation camera (2) for each direction of the driver's gaze, - an image of the surroundings is recorded by means of the depth-sensing sensor (3) and sensor depth values are generated from it, - a calibration function is derived between the generated sensor depth values and the determined accommodation states of the driver for each direction of the driver's gaze, wherein in an online phase (OPH) of the method (6) following the calibration phase (KPH): - current accommodation states of the driver from the driver observation camera (2) current images are recorded for each direction of the driver's gaze and current accommodation-specific sensor depth values are determined from these based on the calibration function, - a current image of the surroundings is recorded using the depth-sensing sensor system (3) and current sensor depth values are generated from this, - a deviation between the current sensor depth values and the current accommodation-specific sensor depth values is determined for each direction of the driver's gaze, - the virtual viewing angle is focused on an area with the greatest deviation when displaying the image of the surroundings.

Procedure (6) according to claim 1 , characterized in that when recording the surrounding image, the surrounding image is recorded three-dimensionally.

Procedure (6) according to claim 1 or 2 , characterized in that when recording the environment image, the environment image is recorded as a 3D environment model.

Method (6) according to one of the preceding claims, characterized in that - when recording the surroundings image, the surroundings image is recorded in a reference system of the depth-sensing sensor system (3), and - that before deriving the calibration function, the surroundings image is transformed into a reference system of the driver observation camera (2).

Method (6) according to one of the preceding claims, characterized in that a comfort factor of the driver and/or an environmental factor are taken into account when deriving the calibration function.

Method (6) according to one of the preceding claims, characterized in that - when determining the deviation, the deviation is calculated as difference values between the individual current sensor depth values and the individual accommodation-specific sensor depth values, and - that the difference values are projected onto a projection plane (PE), preferably a 2D plane or a voxel network plane, in accordance with their local assignment in the environment image.

Procedure (6) according to claim 6 , characterized in that the difference value between an amount of the current sensor depth value and an amount of the accommodation-specific sensor depth value is calculated.

Procedure (6) according to claim 6 or 7 , characterized in that - from the projected difference values, an area in the projection plane (PE) in which a maximum number of positive and/or negative difference values is arranged is determined, and - that this area is defined as the area with the maximum deviation for adjusting the virtual viewing angle.

Method (6) according to one of the preceding claims, characterized in that the calibration phase (KPH) and/or the online phase (OPH) are carried out periodically at a predefined time interval.

Navigation assistance system (1) for a vehicle for carrying out the method (6) according to one of the preceding claims, - wherein the navigation assistance system (1) has a driver observation camera (2) for recording images of the driver, - wherein the navigation assistance system (1) has a depth-sensing sensor system (3) for recording an image of the surroundings of the vehicle, - wherein the navigation assistance system (1) has a monitor (4) for displaying the recorded image of the surroundings of the vehicle, and - wherein the navigation assistance system (1) has a control unit (5) which is designed such that it carries out the method (6) according to one of the preceding claims.