DE102024002500B3 - Methods for visualizing a vehicle environment and vehicle - Google Patents

Methods for visualizing a vehicle environment and vehicle

Info

Publication number
DE102024002500B3
DE102024002500B3 DE102024002500.6A DE102024002500A DE102024002500B3 DE 102024002500 B3 DE102024002500 B3 DE 102024002500B3 DE 102024002500 A DE102024002500 A DE 102024002500A DE 102024002500 B3 DE102024002500 B3 DE 102024002500B3
Authority
DE
Germany
Prior art keywords
driver
vehicle
surround
image
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102024002500.6A
Other languages
German (de)
Inventor
Christian Schneider
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Mercedes Benz Group AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mercedes Benz Group AG filed Critical Mercedes Benz Group AG
Priority to DE102024002500.6A priority Critical patent/DE102024002500B3/en
Application granted granted Critical
Publication of DE102024002500B3 publication Critical patent/DE102024002500B3/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B60K35/235—Head-up displays [HUD] with means for detecting the driver's gaze direction or eye points
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Visualisierung einer Fahrzeugumgebung mittels eines Surround-View-Systems, wobei Teile des Fahrzeugs (1) teiltransparent dargestellt werden, um aus einer Fahrerperspektive Verdeckungen von Objekten in der Fahrzeugumgebung zu vermeiden.
Die Erfindung ist dadurch gekennzeichnet, dass mittels einer Fahrerbeobachtungskamera (7) auf Basis von zweidimensionalen-Abbildungen ein korneales-Reflexionsbild (CRI) detektiert wird, wobei in einem Abbild des kornealen Reflexionsbildes (CRI) ein Fahrzeuginnenraum als Vordergrund und der aus der perspektive des Fahrers erkennbare Teil der Fahrzeugumgebung als Hintergrund segmentiert werden, wobei in Abhängigkeit einer vorgegebenen Fahrerblickrichtung eine Surround-View Visualisierung des Surround-View-Systems generiert wird, wobei der aus dem Abbild des kornealen Reflexionsbildes (CRI) segmentierte Vordergrund teiltransparent in die Surround-View Visualisierung projiziert und zusammen mit dieser angezeigt wird. The invention relates to a method for visualizing a vehicle environment using a surround-view system, wherein parts of the vehicle (1) are displayed as semi-transparent in order to avoid obscuring objects in the vehicle environment from a driver's perspective.
The invention is characterized in that a corneal reflection image (CRI) is detected by means of a driver observation camera (7) based on two-dimensional images, wherein in an image of the corneal reflection image (CRI) a vehicle interior is segmented as the foreground and the part of the vehicle environment recognizable from the driver's perspective is segmented as the background, wherein a surround-view visualization of the surround-view system is generated depending on a predetermined driver viewing direction, wherein the foreground segmented from the image of the corneal reflection image (CRI) is projected semi-transparently into the surround-view visualization and displayed together with it.

Description

Die Erfindung betrifft ein Verfahren zur Visualisierung einer Fahrzeugumgebung mittels eines Surround-View-Systems nach der im Oberbegriff von Anspruch 1 näher definierten Art. Außerdem betrifft die Erfindung ein zur Durchführung des Verfahrens eingerichteten Fahrzeug.The invention relates to a method for visualizing a vehicle's surroundings using a surround-view system of the type defined in more detail in the preamble of claim 1. The invention also relates to a vehicle equipped for carrying out the method.

Grundlegend ist es aus dem Stand der Technik bekannt mit sogenannten Surround-View Systemen eine vollständige Fahrzeugumgebung basierend auf den Bildern verschiedener Kameras zu ermitteln und zusammen mit einer grafischen Darstellung des Fahrzeugs zu visualisieren. Dies dient vor allem der verbesserten Kontrolle über das Fahrzeug beim Rangieren, z.B. bei Einparken oder wenn in enge Einfahrten, um enge kurven etc. gefahren werden muss.Fundamentally, it is a known technology, based on the state of the art, to use so-called surround-view systems to determine a complete vehicle environment based on images from various cameras and to visualize this together with a graphic representation of the vehicle. This primarily serves to improve control of the vehicle when maneuvering, e.g., when parking or when driving into narrow driveways, around tight corners, etc.

Vermehrt gibt es hierbei jedoch Korrespondenzprobleme. Dies beschreibt die Schwierigkeit des Fahrers aus dem 360° Bild des Fahrzeugs die für den Fahrer exakte Position von Gegenständen etc. zu bestimmen. So ist es beispielsweise für den Fahrer mitunter schwer beim Rückwärtseinparken die Position von Pylonen etc. entlang der seitlichen Silhouette zu bestimmen, wodurch vermehrt visuell der Gegenstand betrachtet wird. Um dem entgegenzuwirken, wird beispielsweise eine 3D View generiert, die den Fahrer anhand einer virtuellen Kamera das Szenario quasi von Außen betrachten lässt. Typischerweise ist dabei das Szenario im Vordergrund, das Fahrzeug im Hintergrund dargestellt. Obgleich jener View bereits stark unterstützt, wäre eine Visualisierung nicht von außen auf das Fahrzeug, sondern von innen, insbesondere vom Fahrerplatz aus, wünschenswert.However, correspondence problems are increasingly arising. This describes the difficulty the driver has in determining the exact position of objects, etc., from the 360° image of the vehicle. For example, it is sometimes difficult for the driver to determine the position of pylons, etc., along the side silhouette when reversing into a parking space, leading to an increased reliance on visual observation of the object itself. To counteract this, a 3D view is generated, allowing the driver to view the scene virtually from the outside using a virtual camera. Typically, the scene is displayed in the foreground, with the vehicle in the background. Although this view already provides significant support, a visualization not from the outside of the vehicle, but from the inside, especially from the driver's seat, would be desirable.

Hierzu beschreibt die DE 11 2018 000 858 T5 bei der Umgebungsansicht ein Fahrzeug auf einem Display eine solche perspektive von Innen. Durch eine Überlagerung von Bildern in der Anzeige entsteht dabei der Eindruck, dass das Fahrzeug teilweise transparent ist, so dass durch dieses quasi hindurchgeblickt werden kann. Allerdings sind die Bilder zeitlich versetzt aufgenommen, was anders als bei einem Livebild zu Sicherheitsrisiken führen kann.This is described by the DE 11 2018 000 858 T5 In the surround view, a vehicle is displayed on a screen with such an interior perspective. By overlaying images in the display, the impression is created that the vehicle is partially transparent, allowing the viewer to see through it. However, the images are captured at different times, which, unlike a live image, can lead to safety risks.

Die DE 10 2015 201 642 A1 beschreibt etwas ähnliches. Der Fahrer trägt hierzu eine Video-Brille. In dieser werden Bilder generiert, welche den Innenraum des Fahrzeugs teiltransparent darstellen, so dass der Blick von Innen aus dem Fahrzeug auf verdeckte Gegenstände in der Fahrzeugumgebung möglich wird.The DE 10 2015 201 642 A1 This describes something similar. The driver wears video glasses. These generate images that make the vehicle's interior partially transparent, allowing the driver to see hidden objects in the vehicle's surroundings from inside the vehicle.

Aus der DE 10 2018 105 441 A1 ist es außerdem bekannt in ein semitransparentes Bild des Fahrzeugs Objekte einzublenden, welche vom Fahrer selbst nicht erkannt werden können, da sie sich in verdeckten Bereichen oder im toten Winkel befinden, die aber von Umgebungssensoren erkannt worden sind. Bei der Einblendung kann dabei die Blickrichtung des Fahrers berücksichtigt werden.From the DE 10 2018 105 441 A1 It is also known to overlay objects onto a semi-transparent image of the vehicle that cannot be seen by the driver because they are located in obscured areas or blind spots, but which have been detected by environmental sensors. The driver's line of sight can be taken into account when overlaying these objects.

Zum weiteren Stand der Technik kann außerdem auf die US 2021 / 0 197 665 A1 verweisen werden. In erfasste Bilder der Umgebung kann hier eine Übersetzung von auf Schildern erfassten Texten überlagert eingeblendet werden.For further information on the state of the art, reference can also be made to US 2021/0197665A1. This allows for the overlaying of translations of texts captured on signs onto captured images of the surroundings.

Die Aufgabe der hier vorliegenden Erfindung ist es eine verbesserte Visualisierung einer Fahrzeugumgebung zu schaffen, welche die Korrespondenzprobleme vermeidet oder zumindest deutlich verringert.The object of the present invention is to create an improved visualization of a vehicle environment which avoids or at least significantly reduces the correspondence problems.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1, gelöst. Vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich aus den hiervon abhängigen Unteransprüchen. Außerdem löst ein Fahrzeug gemäß Anspruch 9 die Aufgabe.According to the invention, this problem is solved by a method with the features of claim 1, and in particular in the characterizing part of claim 1. Advantageous embodiments of the method according to the invention are set forth in the dependent claims. Furthermore, a vehicle according to claim 9 solves the problem.

Das Verfahren dient zur Visualisierung einer Fahrzeugumgebung mittels eines Surround-View-Systems. Vergleichbar wie im Stand der Technik werden dabei Teile des Fahrzeugs teiltransparent dargestellt werden, um aus einer Fahrerperspektive Verdeckungen von Objekten in der Fahrzeugumgebung zu vermeiden.The method is used to visualize a vehicle's surroundings using a surround-view system. Similar to the state of the art, parts of the vehicle are displayed semi-transparently to avoid obscuring objects in the vehicle's environment from the driver's perspective.

Erfindungsgemäß ist es nun vorgesehen, dass mittels einer Fahrerbeobachtungskamera auf Basis von zweidimensionalen-Abbildungen ein korneales-Reflexionsbild detektiert wird. Damit lässt sich zuverlässig erfassen, was der Fahrer des Fahrzeugs gerade sehen kann. Dann wird in einem Abbild des kornealen Reflexionsbildes ein Fahrzeuginnenraum als Vordergrund und der aus der perspektive des Fahrers erkennbare Teil der Fahrzeugumgebung als Hintergrund segmentiert. Somit liegt der Vordergrund, also das Fahrzeuginnere aus der Sicht des Fahrers, als wesentliche Information vor. In Abhängigkeit einer vorgegebenen Fahrerblickrichtung wird dann eine Surround-View Visualisierung des Surround-View-Systems generiert. Es entsteht also dasjenige Abbild der Fahrzeugumgebung, dass der Fahrer aktuell sehen würde, wenn keine Fahrzeuge um ihn herum wären.According to the invention, a corneal reflection image is detected using a driver observation camera based on two-dimensional images. This allows for a reliable recording of what the driver of the vehicle can currently see. The vehicle interior is then segmented as the foreground and the portion of the vehicle's surroundings visible from the driver's perspective as the background within this corneal reflection image. Thus, the foreground, i.e., the vehicle interior from the driver's point of view, is available as the essential information. Depending on a predefined direction of the driver's gaze, a surround-view visualization of the surround-view system is then generated. This creates the image of the vehicle's surroundings that the driver would currently see if there were no other vehicles around.

Nun wird bei dem erfindungsgemäßen Verfahren der aus dem Abbild des kornealen Reflexionsbildes segmentierte Vordergrund teiltransparent in die Surround-View Visualisierung projiziert und beides wird dann zusammen angezeigt. Damit entsteht eine ideale Sicht auf die Fahrzeugumgebung, mit eingeblendetem teiltransparentem Fahrgastinnenraum. Durch die Erfassung des vom Fahrer gesehenen Fahrzeuginnenraums aus dem kornealen Reflexionsbild (CRI - Croneal Reflective Image) lässt sich der teiltransparente Innenraum aus Fahrersicht ideal positionieren, so dass die eingangs geschilderten Korrespondenzproblem vermieden oder doch zumindest stark verringert werden können.In the inventive method, the foreground, segmented from the image of the corneal reflection, is projected semi-transparently into the surround-view visualization, and both are then displayed together. This creates An ideal view of the vehicle's surroundings, with a partially transparent passenger compartment superimposed. By capturing the vehicle interior as seen by the driver from the corneal reflective image (CRI), the partially transparent interior can be ideally positioned from the driver's perspective, thus avoiding or at least significantly reducing the correspondence problems described earlier.

Der Vorteil dieser Erfindung ist eine adaptive Surround-View Visualisierung ausgehend von der Fahrerblickrichtung und die Visualisierung des teiltransparenten Innenraums des Fahrzeugs, um die Korrespondenz Blickrichtung zu Objekt zu ermöglichen. Dabei benötigt das erfindungsgemäße Verfahren keinerlei Modifikation der Hardware bzw. greift auf jetzt schon in vielen Serien vorhandene Hardware zurück. Das Verfahren ist vom Licht und Szenario unabhängig und erlaubt eine deutliche Vereinfachung der Manövrierbarkeit im Niedriggeschwindigkeitsbereich.The advantage of this invention is an adaptive surround-view visualization based on the driver's line of sight and the visualization of the vehicle's semi-transparent interior, enabling the correspondence between the viewing direction and the object. The method according to the invention requires no hardware modification and utilizes hardware already present in many production vehicles. The method is independent of lighting and scenario and significantly simplifies maneuverability at low speeds.

Gemäß der Erfindung ist es ferner vorsehen, dass die Segmentierung des Vordergrunds und des Hintergrunds anhand einer Projektion eines computergenerierten dreidimensionalen Abbildes des Innenraums in das Abbild des kornealen Reflexionsbildes erfolgt. Typischerweise liegt ein CAD 3D Modell des Innenraums des Fahrzeugs vor. Dieses kann nun in das CRI projiziert werden. Im Anschluss wird dann eine Bildpunktregistrierung angewandt, wodurch der Fahrzeuginnenraums im CRI klar abgegrenzt wird bzw. bekannt ist. Dies kann sehr effizient mit geringen Rechenaufwand umgesetzt werden. Dies gilt insbesondere dann, wenn - und so ist es gemäß einer Vorteilhaften Weiterbildung vorgesehen - vor dem Start des Verfahrens eine fahrerbezogene Kalibrierung zumindest der Fahrerbeobachtungskamera auf ein Referenzkoordinatensystem erfolgt. Damit können die Koordinaten des CAD 3D Modells und die Fahrerkoordinaten ideal abgeglichen werden.According to the invention, the segmentation of the foreground and background is further provided for by projecting a computer-generated three-dimensional image of the interior onto the corneal reflection image. Typically, a CAD 3D model of the vehicle's interior is available. This can then be projected onto the CRI. Subsequently, pixel registration is applied, which clearly delineates the vehicle interior within the CRI. This can be implemented very efficiently with minimal computational effort. This is particularly true if—as provided for in an advantageous embodiment—a driver-related calibration of at least the driver observation camera to a reference coordinate system is performed before the process begins. This allows the coordinates of the CAD 3D model and the driver's coordinates to be ideally aligned.

Eine besonders vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens kann es außerdem vorsehen, dass eine aktuelle Fahrerblickrichtung hinsichtlich zeitlicher Konstanz ausgewertet wird, wobei eine vorgegebene Fahrerblickrichtung aus der aktuellen Fahrerblickrichtung nur dann generiert wird, wenn die zeitliche Konstanz gegeben ist. Damit lässt sich gewährleisten, dass die Anzeige z.B. auf einer Head Unit möglich wird, ohne dass sich diese fortwährend ändert, sobald der Fahrer den blich auch nur kurzzeitig abwendet.A particularly advantageous embodiment of the method according to the invention can further provide that the current driver's gaze direction is evaluated with regard to temporal constancy, whereby a predetermined driver gaze direction is generated from the current driver gaze direction only if temporal constancy is given. This ensures that the display, e.g., on a head unit, is possible without constantly changing as soon as the driver even briefly looks away.

Besonders bevorzugt wird die zeitliche Konstanz festgestellt, wenn die Blickrichtung für eine vorgegebene Zeitspanne in einem definierten Bereich, um die zu Beginn der Zeitspanne erfasste Blickrichtung verbleibt. Der Blick bleibt also für eine ausreichend lange Zeitspanne in demselben Blickkorridor.Temporal constancy is particularly favorably established when the gaze direction remains within a defined range around the gaze direction recorded at the beginning of the time period for a given period. In other words, the gaze remains within the same visual corridor for a sufficiently long period.

Eine weitere sehr vorteilhafte Ausgestaltung des erfindungsgemäßen Verfahrens kann es ferner vorsehen, dass die Anzeige der mit dem teiltransparenten Vordergrund kombinierten Surround-View Visualisierung unterhalb einer vorgegebenen Grenzgeschwindigkeit des Fahrzeugs erfolgt. Damit kann sehr einfach sichergestellt werden, dass die Visualisierung für eine potenzielles Rangieren des Fahrzeugs zu Verfügung steht bei höheren Geschwindigkeiten jedoch angeschaltet bleibt, um eine unnötige Ablenkung des Fahrers zu vermeiden. Vorzugsweise lässt sich das Ganze Verfahren zyklisch nur so lange wiederholen, bis die vorgegebene Grenzgeschwindigkeit des Fahrzeugs überschritten wird. Neben der reinen Anzeige kann damit auch der Rechenaufwand eingespart werden.A further highly advantageous embodiment of the method according to the invention can provide that the display of the surround-view visualization combined with the semi-transparent foreground is activated below a predetermined vehicle speed. This makes it very easy to ensure that the visualization is available for potential maneuvering of the vehicle, but remains active at higher speeds to avoid unnecessary driver distraction. Preferably, the entire process can be repeated cyclically only until the predetermined vehicle speed is exceeded. In addition to the display itself, this also saves on computational effort.

Auch wenn eine Anzeige prinzipiell auf jeder Art von Display in dem Fahrzeug möglich wäre. Sieht es eine vorteilhafte Weiterbildung des erfindungsgemäßen Verfahrens vor, dass die Anzeige der mit dem teiltransparenten Vordergrund kombinierten Surround-View Visualisierung auf einem Head-Up-Display oder auf einem Display der Instrumentenanzeige des Fahrzeugs erfolgt. Die Anzeige liegt damit optimal im Blickfeld des Fahrers, je nach verbauter Hardware in dem jeweiligen Fahrzeug und danach persönlicher Vorliebe kann insbesondere zwischen der Anzeige im Head-Up-Display und der auf dem zentralen Bildschirm hinter dem Lenkrad gewählt werden.Even though a display would in principle be possible on any type of display in the vehicle, an advantageous further development of the inventive method provides that the surround-view visualization combined with the semi-transparent foreground is displayed on a head-up display or on a display of the vehicle's instrument cluster. The display is thus optimally positioned within the driver's field of vision; depending on the hardware installed in the respective vehicle and personal preference, the driver can choose between the display in the head-up display and the display on the central screen behind the steering wheel.

Das erfindungsgemäße Verfahren sieht es gemäß einer vorteilhaften Weiterbildung für den Fall einer Blickrichtung weg von dem Display vor, dass die Anzeige der mit dem teiltransparenten Vordergrund kombinierten Surround-View Visualisierung in der Blickrichtung mit einer zeitlichen Verzögerung weiter angezeigt wird, wenn der Blick erneut auf das Display gerichtet ist. Eine solche zeitliche Verzögerung oder Latenz von vorzugsweise einigen Sekunden, besonders bevorzugt in etwa 3-4 Sekunden, ermöglicht es so, dass auch seitlich und/oder hinter dem Fahrzeug liegende Hindernisse weitgehend ohne Korrespondenzprobleme erkannt und beim Rangieren berücksichtigt werden können.According to an advantageous embodiment of the inventive method, when the viewer's gaze shifts away from the display, the surround-view visualization combined with the semi-transparent foreground continues to be displayed in the viewing direction with a time delay when the viewer's gaze is directed back towards the display. Such a time delay or latency, preferably a few seconds, and particularly preferably about 3-4 seconds, allows obstacles located to the side and/or behind the vehicle to be detected and taken into account during maneuvering, largely without correspondence problems.

Vorzugsweise kann während der Verzögerung kenntlich gemacht werden, dass es sich nicht um ein aktuelles Bild handelt. Hierfür können verschieden Methoden zum Einsatz kommen, welche z.B. Warntöne oder Sprachhinweise ebenso umfassen können die eine Texteinblendung, wie z.B. „Vorsicht; kein Livebild“ oder andere optische/grafische Maßnahmen.Preferably, it should be indicated during the delay that the image is not live. Various methods can be used for this, including warning tones or voice prompts, as well as text overlays such as "Caution; not a live image" or other visual/graphic measures.

Das erfindungsgemäße Verfahren in einer oder mehreren der beschriebenen Varianten kann dabei bevorzugt in einem Fahrzeug zum Einsatz kommen. Dieses umfasst ein Surround-View-System, eine Fahrerbeobachtungskamera und wenigstens eine Recheneinheit, welche dazu eingerichtet sind, das erfindungsgemäße Verfahren auszuführen.The method according to the invention, in one or more of the described variants, can preferably be used in a vehicle. This vehicle comprises a surround-view system, a driver observation camera, and at least one computing unit configured to execute the method according to the invention.

Weitere vorteilhafte Ausgestaltungen werden auch anhand des nachfolgenden bevorzugten Ausführungsbeispiels deutlich, welches unter Bezugnahme auf die Figuren beschrieben wird.Further advantageous embodiments will also become clear with reference to the following preferred embodiment, which is described with reference to the figures.

Dabei zeigen:

  • 1 schematische Darstellung eines erfindungsgemäßen Fahrzeugs;
  • 2 ein Ablaufdiagramm für eine bevorzugte Ausführungsform des erfindungsgemäßen Verfahrens; und
  • 3 eine schematische Darstellung einer möglichen Anzeige gemäß des Verfahrens.
This shows:
  • 1 schematic representation of a vehicle according to the invention;
  • 2 a flowchart for a preferred embodiment of the method according to the invention; and
  • 3 a schematic representation of a possible display according to the procedure.

In 1 ist ein Fahrzeug 1 in einer Blickrichtung von oben dargestellt. In dem Fahrzeug 1 ist eine das Fahrzeug fahrende Person 2, in der restlichen Beschreibung auch als Fahrer 2 bezeichnet, durch eine schematische Darstellung eines Teils Ihres Kopfes angedeutet. Das Fahrzeug 1 verfügt über ein Surround-View-System mit mehreren Kameras 3, 4, 5, 6. Eine davon ist im Frontbereich angeordnet, eine im Heckbereich und jeweils eine in jedem der Außenspiegel. Daneben umfasst das Fahrzeug 1 zumindest eine Fahrerbeobachtungskamera 7 sowie eine Anzeigeeinrichtung 8. Diese Komponenten stehen mit einer Recheneinheit 9 Verbindung.In 1 A vehicle 1 is depicted from a top-down perspective. A person 2, also referred to as driver 2 in the remainder of the description, is shown driving the vehicle 1, indicated by a schematic representation of part of their head. The vehicle 1 is equipped with a surround-view system with several cameras 3, 4, 5, 6. One camera is located at the front, one at the rear, and one in each of the exterior mirrors. In addition, the vehicle 1 includes at least one driver observation camera 7 and a display unit 8. These components are connected to a processing unit 9.

Das im Ablaufdiagramm der 2 dargestellte Verfahren soll eine adaptive und transparente Ansicht des Surround-View-Systems auf Basis einer Position des Fahrers 2 in dem Fahrzeug 1 ermöglichen.The flowchart of 2 The described method is intended to enable an adaptive and transparent view of the surround-view system based on the position of the driver 2 in the vehicle 1.

Hierfür wird im ersten Schritt VS 1 die Fahrerbeobachtungskamera 7 in einem Fahrzeugbezugssystem kalibriert. Dabei kann es sich z.B. um ein Referenzkoordinatensystem handeln, welches auch bei der Fahrzeugkonstruktion den dort eingesetzten bzw. dort erzeugten CAD Modellen zugrunde liegt. Prinzipiell könnte auch dieses ersten Verfahrensschritt VS 1 Auch verzichtet werden. Warum dies so ist und warum das Referenzkoordinatensystem der Fahrzeugkonstruktion besonders günstig ist, wird bei einem der nachfolgen Verfahrensschritte noch im Detail dargelegt.In the first step (VS 1), the driver observation camera 7 is calibrated in a vehicle reference system. This can be, for example, a reference coordinate system that also forms the basis for the CAD models used or created in vehicle design. In principle, this first step (VS 1) could also be omitted. The reasons for this and why the reference coordinate system used in vehicle design is particularly advantageous will be explained in detail in a subsequent step.

In nächsten Verfahrensschritt VS 2 wird mittels der Fahrerbeobachtungskamera 7 dann eine Abbildung des Auges bzw. der Augen des Fahrers 2 aufgenommen. Auf der Basis dieser Abbildung wird im Verfahrensschritt VS 3 das sogenannte korneale Reflexionsbild CRI, welches im Wesentlichen die Umgebungsreflektion auf der Fahrerhornhaut darstellt abgeleitet.In the next process step VS 2, an image of the driver's eye(s) is captured using the driver observation camera 7. Based on this image, the so-called corneal reflection image CRI, which essentially represents the environmental reflection on the driver's cornea, is derived in process step VS 3.

In einem nächsten Verfahrensschritt VS 4 wird die zeitliche Stabilität des CRI ausgewertet - ist diese länger als eine definierte Zeit wird mit den nächsten Schritten weiterverfahren - alternativ dazu werden die Verfahrensschritte VS 2, VS 3 und VS 4 wiederholt, wie es durch den mit 10 bezeichneten Pfeil angedeutet ist. Dieser Verfahrensschritt VS 4 ist notwendig, um die Visualisierung auf der Anzeigeeinrichtung 8 zu ermöglichen. Ansonsten würde sich wiederkehrend die Visualisierung ändern, auch wenn der Fahrer 2 nur kurzzeitig den Blick wechselt.In the next process step, VS 4, the temporal stability of the CRI is evaluated. If this stability exceeds a defined time, the process continues with the next steps. Alternatively, process steps VS 2, VS 3, and VS 4 are repeated, as indicated by the arrow labeled 10. This process step, VS 4, is necessary to enable visualization on the display unit 8. Otherwise, the visualization would change repeatedly, even if the driver 2 only briefly shifts their gaze.

Ist die zeitliche Konstanz gegeben wird gemäß des Pfeils 11 vorgegangen und in einem nächsten Verfahrensschritt VS 5 die Differenzierung zwischen Vordergrund und Hintergrund gerechnet. Dies kann durch mehrere Ansätze ermöglicht werden - beispielsweise durch die die Suche nach verbundenen horizontalen und vertikalen Kantenelementen im CRI oder durch einen einem Region Growing Algorithmus ausgehend vom Sichtpunkt des Fahrers 2. Besonders günstig ist es jedoch, wenn eine passgenaue Projektion des CAD 3D Modells des Innenraums in das CRI erfolgt. Dann wird hierauf eine Bildpunktregistrierung angewandt, wodurch der Teil des Fahrerinnenraums (Vordergrund) im CRI klar abgegrenzt wird bzw. bekannt ist. Damit lässt sich dann der Innenraum als Vordergrund sehr leicht von den restlichen Bildinhalten des CRI trennen bzw. Vordergrund und Hintergrund lassen sich leicht segmentieren. Für diese Variante ist es einerseits nötig ein CAD-Modell des Innenraums zu hinterlegen, was z.B. in einem Speicher 12 der Recheneinheit 9 erfolgen kann, und es ist nötig, dass die Fahrerbeobachtungskamera 7 den ersten Verfahrensschritt VS 1 der Kalibrierung durchlaufen hat. Prinzipiell lassen sich dabei beliebige Koordinatensysteme ineinander umrechnen. Es spart jedoch Ressourcen und Aufwand, wenn die Kalibrierung direkt in demjenigen Koordinatensystem erfolgt, welches dem CAD-Modell auch zugrunde liegt, wie es oben erwähnt worden ist.If temporal constancy is given, the process follows arrow 11, and in the next step, VS 5, the differentiation between foreground and background is calculated. This can be achieved through several approaches—for example, by searching for connected horizontal and vertical edge elements in the CRI or by using a region growing algorithm starting from the driver's viewpoint 2. However, it is particularly advantageous if a precise projection of the CAD 3D model of the interior is made into the CRI. A pixel registration is then applied to this projection, clearly defining the foreground portion of the driver's interior in the CRI. This makes it very easy to separate the interior as the foreground from the rest of the image content in the CRI, or to easily segment the foreground and background. For this approach, it is necessary to store a CAD model of the interior, which can be done, for example, in memory 12 of the processing unit 9, and the driver observation camera 7 must have completed the first calibration step, VS 1. In principle, any coordinate system can be converted into one another. However, it saves resources and effort if the calibration is performed directly in the coordinate system on which the CAD model is based, as mentioned above.

Im darauffolgenden Verfahrensschritt VS 6 wird nun das Bild des Surround-View Systems generiert. Dies erfolgt unter Berücksichtigung der Blickrichtung des Fahrers 2 so, dass zuerst für den CRI-Bereich das Kamerabild des Surround-View Systems erzeugt wird. Darauffolgend wird im nächsten Verfahrensschritt VS 6 jener Innenraumbereich, der zuvor detektiert wurde als Overlay über das generierte Kamerabild des Surround-View Systems gelegt. Hierdurch entsteht eine Abbildung, die ausgehend von der Sicht des Fahrers 2 die Umgebung visualisiert und weiterhin den Innenraum mit einer gewissen vorgebbaren Transparenz mit darstellt, sodass vom Fahrer 2 aus eine Korrespondenz zu bestimmten Bereichen des Innenraums, beispielsweise A-Säule etc. gegeben ist.In the subsequent process step VS 6, the image of the surround-view system is generated. This is done taking into account the driver's (2) viewing direction, such that the camera image of the surround-view system is first generated for the CRI area. Then, in the next process step VS 6, the previously detected interior area is overlaid onto the generated camera image of the surround-view system. This creates an image that visualizes the surroundings from the driver's (2) perspective and also includes the interior. represents a certain predefinable transparency, so that from driver 2 there is a correspondence to certain areas of the interior, for example A-pillar etc.

In Verfahrensschritt VS 8 wird diese Kombination aus dem Bild des Surround-View Systems und dem transparenten Innenraum dann dargestellt. 3 zeigt dies am Bespiel einer Schematischen Darstellung aus dem Blick des Fahrers 2 z.B. auf ein Head-Up Display als Anzeigeeinrichtung 8. Die im Bild des Surround-View Systems befindlichen Linien und Objekte sind dabei mit durchgezogenen Linien dargestellt. Der dahineine projizierte teiltransparente Innenraum des Fahrzeugs 1 ist mit punktierten Linien dargestellt. Zur besseren Erkennbarkeit des transparenten Bereichs in der 3 ist dessen Oberkante mit einer Strichpunktierten etwas dickeren Linie kenntlich gemacht worden. Besonders leicht zu erkennen sind in dem teiltransparent dargestellten Bereich des Innenraums dabei eine Lüftungsdüse 14 sowie eine rechteckiges Zentraldisplay 15.In process step VS 8, this combination of the image from the surround-view system and the transparent interior is then displayed. 3 This is illustrated by a schematic representation from the driver's perspective (2), for example, of a head-up display (8). The lines and objects in the surround-view system image are represented by solid lines. The semi-transparent interior of the vehicle (1) projected onto it is shown with dotted lines. To better identify the transparent area in the 3 Its upper edge is marked by a slightly thicker, dotted line. Particularly easy to see in the partially transparent area of the interior are a ventilation nozzle 14 and a rectangular central display 15.

Ausgehend vom Verfahrensschritt VS 9 wird dann eine Wiederholung des Ablaufs, ohne die erneute Kalibrierung in Verfahrensschritt VS 1 angestoßen. In 2 ist dies durch den Pfeil 13 angedeutet. Dabei lassen sich verschiedene Abbruchkriterien für das Verfahren berücksichtigen, z.B. eine Geschwindigkeit des Fahrzeugs, bei welcher nicht mehr rangiert wird, ein Abstand von Objekten der größer als eine vorgegebene Entfernung ist oder dergleichen.Starting from process step VS 9, a repetition of the process is then initiated without the recalibration in process step VS 1. 2 This is indicated by arrow 13. Various termination criteria for the procedure can be taken into account, e.g., a vehicle speed at which maneuvering is no longer possible, a distance to objects that exceeds a predetermined distance, or similar criteria.

Claims (9)

Verfahren zur Visualisierung einer Fahrzeugumgebung mittels eines Surround-View-Systems, wobei Teile des Fahrzeugs (1) teiltransparent dargestellt werden, um aus einer Fahrerperspektive Verdeckungen von Objekten in der Fahrzeugumgebung zu vermeiden, wobei in Abhängigkeit einer vorgegebenen Fahrerblickrichtung eine Surround-View Visualisierung des Surround-View-Systems generiert wird, dadurch gekennzeichnet, dass mittels einer Fahrerbeobachtungskamera (7) auf Basis von zweidimensionalen-Abbildungen ein korneales-Reflexionsbild (CRI) detektiert wird, wobei in einem Abbild des kornealen Reflexionsbildes (CRI) ein Fahrzeuginnenraum als Vordergrund und der aus der Perspektive des Fahrers erkennbare Teil der Fahrzeugumgebung als Hintergrund segmentiert werden, wobei der aus dem Abbild des kornealen Reflexionsbildes (CRI) segmentierte Vordergrund teiltransparent in die Surround-View Visualisierung projiziert und zusammen mit dieser angezeigt wird, wobei die Segmentierung des Vordergrunds und des Hintergrunds anhand einer Projektion eines computergenerierten dreidimensionalen Abbildes des Fahrzeuginnenraums in das Abbild des kornealen Reflexionsbildes (CRI) erfolgt.Method for visualizing a vehicle environment using a surround-view system, wherein parts of the vehicle (1) are displayed semi-transparently to avoid occlusion of objects in the vehicle environment from a driver's perspective, wherein a surround-view visualization of the surround-view system is generated depending on a predetermined driver's viewing direction, characterized in that a corneal reflection image (CRI) is detected by means of a driver observation camera (7) based on two-dimensional images, wherein in an image of the corneal reflection image (CRI) a vehicle interior is segmented as the foreground and the part of the vehicle environment recognizable from the driver's perspective is segmented as the background, wherein the foreground segmented from the image of the corneal reflection image (CRI) is projected semi-transparently into the surround-view visualization and displayed together with it, wherein the segmentation of the foreground and the background is based on a projection of a computer-generated three-dimensional image of the vehicle interior into the image of the corneal reflection image (CRI). This has been done. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass eine aktuelle Fahrerblickrichtung hinsichtlich zeitlicher Konstanz ausgewertet wird, wobei die vorgegebene Fahrerblickrichtung aus der aktuellen Fahrerblickrichtung nur dann generiert wird, wenn die zeitliche Konstanz gegeben ist.Procedure according to Claim 1 , characterized in that a current driver's gaze direction is evaluated with regard to temporal constancy, wherein the specified driver's gaze direction is generated from the current driver's gaze direction only if temporal constancy is given. Verfahren nach Anspruch 2, dadurch gekennzeichnet, dass die zeitliche Konstanz festgestellt wird, wenn die aktuelle Fahrerblickrichtung für eine vorgegebene Zeitspanne in einem definierten Bereich, um die zu Beginn der Zeitspanne erfasste Fahrerblickrichtung verbleibt.Procedure according to Claim 2 , characterized in that temporal constancy is determined when the current driver's gaze direction remains within a defined range around the driver's gaze direction recorded at the beginning of the time period for a given period of time. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Anzeige der mit dem teiltransparenten Vordergrund kombinierten Surround-View Visualisierung unterhalb einer vorgegebenen Grenzgeschwindigkeit des Fahrzeugs (1) erfolgt.Procedure according to one of the Claims 1 until 3 , characterized in that the display of the surround-view visualization combined with the semi-transparent foreground takes place below a predetermined limit speed of the vehicle (1). Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass das Verfahren zyklisch so lange wiederholt wird, bis die vorgegebene Grenzgeschwindigkeit des Fahrzeugs (1) überschritten wird.Procedure according to Claim 4 , characterized in that the procedure is repeated cyclically until the predetermined limit speed of the vehicle (1) is exceeded. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass vor dem Start des Verfahrens eine fahrerbezogene Kalibrierung zumindest der Fahrerbeobachtungskamera (7) auf ein Referenzkoordinatensystem erfolgt.Procedure according to one of the Claims 1 until 5 , characterized in that before the start of the procedure a driver-related calibration of at least the driver observation camera (7) to a reference coordinate system is carried out. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Anzeige der mit dem teiltransparenten Vordergrund kombinierten Surround-View Visualisierung auf einem Head-Up-Display oder auf einem Display der Instrumentenanzeige oder einer Head Unit des Fahrzeugs (1) erfolgt.Procedure according to one of the Claims 1 until 6 , characterized in that the surround-view visualization combined with the semi-transparent foreground is displayed on a head-up display or on a display of the instrument display or a head unit of the vehicle (1). Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass für den Fall einer Fahrerblickrichtung weg von dem Display die Anzeige der mit dem teiltransparenten Vordergrund kombinierten Surround-View Visualisierung in der Fahrerblickrichtung mit einer zeitlichen Verzögerung weiter angezeigt wird, wenn der Blick erneut auf das Display gerichtet ist.Procedure according to Claim 7 , characterized in that , in the event of the driver's gaze being directed away from the display, the display of the surround-view visualization combined with the semi-transparent foreground in the driver's line of sight continues to be displayed with a time delay when the gaze is directed back towards the display. Fahrzeug (1) mit einem Surround-View-System, einer Fahrerbeobachtungskamera (7) und wenigstens einer Recheneinheit (9), welche dazu eingerichtet sind, das Verfahren nach einem der Ansprüche 1 bis 8 auszuführen.Vehicle (1) with a surround-view system, a driver observation camera (7) and at least one computing unit (9) which is used for are set up, the procedure according to one of the Claims 1 until 8 to execute.
DE102024002500.6A 2024-08-01 2024-08-01 Methods for visualizing a vehicle environment and vehicle Active DE102024002500B3 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102024002500.6A DE102024002500B3 (en) 2024-08-01 2024-08-01 Methods for visualizing a vehicle environment and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102024002500.6A DE102024002500B3 (en) 2024-08-01 2024-08-01 Methods for visualizing a vehicle environment and vehicle

Publications (1)

Publication Number Publication Date
DE102024002500B3 true DE102024002500B3 (en) 2026-01-22

Family

ID=98276328

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102024002500.6A Active DE102024002500B3 (en) 2024-08-01 2024-08-01 Methods for visualizing a vehicle environment and vehicle

Country Status (1)

Country Link
DE (1) DE102024002500B3 (en)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018105441A1 (en) 2017-03-24 2018-09-27 Toyota Jidosha Kabushiki Kaisha Imaging device for a vehicle
US20210197665A1 (en) 2017-11-29 2021-07-01 Samsung Electronics Co., Ltd. Electronic device and text providing method therefor

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018105441A1 (en) 2017-03-24 2018-09-27 Toyota Jidosha Kabushiki Kaisha Imaging device for a vehicle
US20210197665A1 (en) 2017-11-29 2021-07-01 Samsung Electronics Co., Ltd. Electronic device and text providing method therefor

Similar Documents

Publication Publication Date Title
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
EP3512739B1 (en) Method for providing a rear-view-mirror view of the surroundings of a vehicle
EP3281178B1 (en) Method for displaying an area surrounding a vehicle
DE102012025322B4 (en) Motor vehicle with camera monitor system
DE102011088332B4 (en) Method for improving object detection in multi-camera systems
EP2559236A1 (en) Method for displaying an image on a display device in a vehicle, driver assistance system and vehicle
DE102018108751B4 (en) Method, system and device for obtaining 3D information from objects
DE102013206435A1 (en) Visualization system and device for generating and displaying a virtual image of a vehicle environment
DE102012203491A1 (en) Electronic rearview mirror system for viewing rear region behind motor car by vehicle driver, has computer evaluating image of rear region to determine portion of mirror image picture, and electronic display displaying evaluated image
DE102012212577A1 (en) SYSTEM AND METHOD FOR A VIDEO WITH IMPROVED DEEP PERCEPTION
WO2019134845A1 (en) Mirror replacement system and method for displaying image and/or video data of the surroundings of a motor vehicle
DE102010051204A1 (en) Method for displaying obstacle for vehicle, involves detecting area surrounding vehicle with camera system, and detecting obstacles with sensor element independent of camera system
DE102017217870B4 (en) Method for combining partial images to form an image of a contiguous surrounding area of a vehicle as well as driver assistance system and vehicle
DE102015222844A1 (en) Method and control device for operating a field of view display device for a vehicle
DE112021004648T5 (en) Display control device, vehicle and display control method
DE112019006155B4 (en) Information display device, information display control method, program and recording medium
DE112019000329T5 (en) DISPLAY SYSTEM, MOVING OBJECT AND DESIGN PROCEDURE
DE102013224954A1 (en) Method and device for generating a warning by means of two images captured by cameras of a vehicle environment
WO2024132701A1 (en) Method for displaying an extended view of surroundings of a vehicle, computer program, computing device and vehicle
EP2996327B1 (en) Surround view system for vehicles with attachments
EP4536510B1 (en) Camera-monitor system for a vehicle, and method for controlling such a camera-monitor system
DE102013209366B4 (en) Display device and method for displaying information in a vehicle
DE102016218006A1 (en) A method of displaying an image object in a vehicle on an in-vehicle and on-vehicle perceived display
DE102012200762A1 (en) Method for signaling traffic condition in environment of vehicle, involves recording surrounding area of vehicle using sensor, and indicating recognized sensitive object on display arranged in rear view mirror housing of vehicle
DE102014116441A1 (en) Method for presenting safety information, driver assistance system and motor vehicle

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division