DE102022214210A1 - Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug - Google Patents

Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug Download PDF

Info

Publication number
DE102022214210A1
DE102022214210A1 DE102022214210.1A DE102022214210A DE102022214210A1 DE 102022214210 A1 DE102022214210 A1 DE 102022214210A1 DE 102022214210 A DE102022214210 A DE 102022214210A DE 102022214210 A1 DE102022214210 A1 DE 102022214210A1
Authority
DE
Germany
Prior art keywords
vehicle
main camera
camera image
captured
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022214210.1A
Other languages
English (en)
Inventor
Stefan Matthes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022214210.1A priority Critical patent/DE102022214210A1/de
Priority to PCT/EP2023/085360 priority patent/WO2024132701A1/de
Publication of DE102022214210A1 publication Critical patent/DE102022214210A1/de
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083—Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/088—Anti-glare mirrors, e.g. "day-night" mirrors using a cell of electrically changeable optical characteristic, e.g. liquid-crystal or electrochromic mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1223—Mirror assemblies combined with other articles, e.g. clocks with sensors or transducers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0019—Side or rear panels
    • B60R2011/0021—Doors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung (190) eines Fahrzeugs (100), umfassend die folgenden Schritte: Erfassung (210) wenigstens eines Hauptkamerabildes von einem Umgebungsteilbereich (131, 141, 151) des Fahrzeugs (100) mittels einer Fahrzeugkamera (111 bis 114, 130, 140, 150); Erfassung (220) von zusätzlichen Sensordaten zu dem wenigstens einen erfassten Umgebungsteilbereich (131, 141, 151) mittels eines Fahrzeugsensorsystems (110), umfassend wenigstens eine Weitwinkelkamera (111 bis 114) und/oder mindestens einen Abstandssensor (115); Anpassung (270) des erfassten Hauptkamerabildes basierend auf den erfassten zusätzlichen Sensordaten durch Veränderung (271) wenigstens eines Teilbereichs des erfassten Hauptkamerabildes und/oder Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten; und Anzeige (280) des angepassten Hauptkamerabildes auf einer Anzeigevorrichtung (160).

Description

  • Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen. Die Erfindung betrifft darüber hinaus eine Rechenvorrichtung, umfassend eine Recheneinheit, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt. Des Weiteren betrifft die Erfindung ein Fahrzeug, umfassend die erfindungsgemäße Rechenvorrichtung.
  • Stand der Technik
  • Zur Reduktion des Luftwiderstands eines Fahrzeugs ist es wünschenswert die seitlichen Außenspiegel eines Fahrzeugs durch seitlich am Fahrzeug angeordnete Kameras mit einer Blickrichtung nach hinten zu ersetzten.
  • Weitwinkelkameras eines Surround View Systems für ein Fahrzeug weisen typischerweise eine Weitwinkeloptik auf, beispielsweise mit einem Öffnungswinkel der Linse von über 170 Grad (Fischaugenlinse). Erfolgt das Erfassen der Umgebung eines Surround View Systems mittels mehrerer Weitwinkelkameras, so werden die Einzelbilder der mehreren Weitwinkelkameras in der Regel zu einem einzigen Gesamtansicht der Umgebung zusammengefügt, wobei die gleichzeitig erfassten unterschiedlichen Bilder der jeweiligen Kameras insbesondere auf eine dreidimensionale Projektionsfläche projiziert und zusammengefügt werden. Dieser Vorgang wird auch als Stitching bezeichnet. Die virtuelle Perspektive auf die dreidimensionale Projektionsfläche kann frei eingestellt oder an eine Fahrsituation angepasst werden.
  • Die Schrift US 2004/260469 A1 offenbart ein Fahrassistenzsystem, welches ein Bild der Umgebung erfasst und auf einem Display anzeigt.
  • Die Schrift US 10 059 265 B2 offenbart ein Visionsystem für ein Fahrzeug mit einem Seitenspiegel mit einer Kamera.
  • Die Schrift US 10 300 855 B2 offenbart ein Fahrassistenzsystem für ein Fahrzeug mit einem Anhänger.
  • Das Dokument US 10 486 599 B2 offenbart eine kameraunterstützte Ansicht der rückwärtigen Umgebung eines Fahrzeugs.
  • Die Schrift US 2014/347450 A1 offenbart ein Verfahren zur Darstellung eines dreidimensionalen Bildes einer Umgebung eines Fahrzeugs.
  • EP 3 512 739 B1 offenbart ein Verfahren zum Bereitstellen einer Rückspiegelansicht einer Fahrzeugumgebung eines Fahrzeuges. In dem Verfahren wird zumindest ein Teil der Fahrzeugumgebung in einem ersten Bild mittels zumindest einer Weitwinkelkamera erfasst, welche an dem Fahrzeug angeordnet ist. Anschließend wird ein zweites Bild basierend auf dem ersten Bild errechnet, wobei das zweite Bild einem abgebildeten Sichtfeld einer ersten virtuellen Kamera entspricht, die an einer ersten Position in der Fahrzeugumgebung angeordnet ist und einen Bereich abbildet, der in der Fahrzeugumgebung hinter dem Fahrzeug liegt. Das zweite Bild wird für eine Anzeige einer Rückspiegelansicht bereitgestellt.
  • Die Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Ansicht der rückwärtigen Umgebung eines Fahrzeugs darzustellen.
  • Offenbarung der Erfindung
  • Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1 und 12 bis 14 gelöst.
  • Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs. In dem Verfahren wird wenigstens ein Hauptkamerabild von einem Umgebungsteilbereich des Fahrzeugs mittels einer Fahrzeugkamera erfasst. Der Umgebungsteilbereich resultiert insbesondere aus dem aktuellen Blickfeld der Fahrzeugkamera. Die Fahrzeugkamera ist insbesondere seitlich am Fahrzeug angeordnet und weist eine Blickrichtung nach hinten auf, so dass das erfasste Hauptkamerabild insbesondere einen Seitenspiegelersatz oder einen Rückspiegelersatz repräsentiert. Des Weiteren ist in dem Verfahren die Erfassung von zusätzlichen Sensordaten zu dem wenigstens einen erfassten Umgebungsteilbereich mittels eines Fahrzeugsensorsystems vorgesehen. Das Fahrzeugsensorsystem umfasst wenigstens eine Weitwinkelkamera und/oder mindestens einen Abstandssensor, insbesondere einen Ultraschallsensor, einen Radarsensor und/oder einen Lidarsensor, und/oder einen Positionssensor zur Positionsbestimmung mittels eines sattelitengestützten Navigationssystems. Die zusätzlichen Sensordaten können demnach Kamerabilder der Weitwinkelkamera und/oder Abstandsdaten und/oder Koordinaten zur Fahrzeugposition umfassen. In einem weiteren Verfahrensschritt wird das erfasste Hauptkamerabild basierend auf den erfassten zusätzlichen Sensordaten durch eine Veränderung wenigstens eines Teilbildbereichs des erfassten Hauptkamerabildes und/oder eine Überlagerung des Hauptkamerabildes mit zusätzlichen Bilddaten angepasst. Der veränderte Teilbildbereich des Hauptkamerabildes repräsentiert vorteilhafterweise ein erkanntes Objekt in der Umgebung des Fahrzeugs und/oder ein erkanntes spezifisches Segment in der Umgebung des Fahrzeugs, beispielsweise einen erkannten freien Parkplatz beziehungsweise eine Parklücke, und/oder eine ermittelte voraussichtlich Fahrtrajektorie für eine automatische Fahrzeugführung, beispielsweise für einen Einparkvorgang. Das erkannte Objekt, das erkannte spezifische Segment oder die ermittelte Fahrtrajektorie werden vorteilhafterweise jeweils basierend auf den erfassten Sensordaten erkannt beziehungsweise ermittelt. Die Veränderung des Teilbildbereichs des Hauptkamerabildes erfolgt insbesondere durch eine Änderung der Helligkeit und/oder der Farbwerte in dem Teilbildbereich. Die zusätzlichen Bilddaten repräsentieren vorteilhafterweise das erkannte Objekt, das spezifische Segment oder einen Hinweis auf das erkannte Objekt oder auf das spezifischen Segment, insbesondere in dem Teilbildbereich. Die zusätzlichen Bilddaten können beispielsweise Rahmen, Pfeile, Symbole oder schematische Abbildungen oder ähnliches darstellen. Anschließend wird das angepasste Hauptkamerabild auf einer Anzeigevorrichtung angezeigt, insbesondere auf einem Display im Innenraum des Fahrzeugs und/oder auf einem mobilen Endgerät des Nutzers. Vorteilhafterweise erfolgt die Anzeige des angepassten Hauptkamerabildes mittels eines Displays, welches an einer seitlichen Verkleidung im Innenraum des Fahrzeugs angeordnet ist, wobei das Display die Verkleidung zumindest teilweise ersetzt, so dass der Nutzer des Fahrzeugs die Anzeige vorzugsweise zumindest als Seitenspiegelersatzansicht empfindet oder die Wahrnehmung einer zumindest partiell transparenten Karosserie erfährt.
  • Durch das Verfahren resultiert der Vorteil, dass der Luftwiderstand des Fahrzeugs deutlich abgesenkt werden kann, da die herkömmlichen Seitenspiegel durch aerodynamischere Fahrzeugkameras ersetzt werden. Außerdem wird vorteilhafterweise die übermittelte Information für den Nutzer durch die Anpassung des Hauptkamerabildes basierend auf den zusätzlich erfassten Sensordaten erheblich erweitert, so dass insbesondere die Kollisionsgefahr mit statischen Objekten reduziert und/oder die Navigation des Fahrzeugs vereinfacht wird. Somit wird der Kundennutzen durch die Erfindung in vielerlei Hinsicht erhöht.
  • In einer besonders bevorzugten Ausgestaltung der Erfindung wird das Hauptkamerabild mittels einer zum Fahrzeugsensorsystem separaten Fahrzeugkamera erfasst. Diese separate Fahrzeugkamera ist insbesondere seitlich am Fahrzeug angeordnet ist und weist eine Blickrichtung nach hinten auf. Es können mehrere separate Fahrzeugkameras am Fahrzeug angeordnet sein, insbesondere eine rechte und eine linke seitlich am Fahrzeug angeordnete separate Fahrzeugkamera. Durch diese Ausgestaltung resultiert vorteilhafterweise eine Seitenspiegelersatzansicht mit hoher Auflösung und realistischer Darstellung. Es kann vorteilhafterweise der Funktionsumfang eines Surround View - Systems zur Park- und Manöverunterstützung als Fahrzeugsensorsystems, umfassend typischerweise vier Weitwinkelkameras und wenigstens acht Ultraschallsensoren, leicht um eine hochwertige Seitenspiegelersatzansicht erweitert werden. Das Verfahren kann zusätzlich oder alternativ auch mittels anders ausgerichteten separaten Fahrzeugkameras durchgeführt werden, beispielsweise mittels zentral nach vorne und/oder zentral nach hinten ausgerichteten Fahrzeugkameras. Hierdurch resultieren gegenüber virtuellen Ansichten von Umgebungsmodellen realistischere Ansichten von einer Abfolge von Kamerabildern, wobei durch die Anpassung des Hauptkamerabildes bei der Anzeige dem Nutzer erweiterte Informationen zur Verfügung gestellt werden.
  • In einer alternativen Ausführung der Erfindung erfolgt die Erfassung des Hauptkamerabildes mittels einer Weitwinkelkamera des Fahrzeugsensorsystems als Fahrzeugkamera. Die Erfassung beziehungsweise Erzeugung beziehungsweise Ermittlung des Hauptkamerabilds erfolgt in dieser Ausführung vorteilhafterweise durch wenigstens eine Koordinatentransformation des erfassten Rohkamerabildes der Weitwinkelkamera zur Entzerrung und/oder Änderung der Perspektive (entsprechend der Erzeugung einer Abbildung einer birds-eye-Ansicht auf einem Weitwinkelbild).
  • In einer Weiterführung des Verfahrens wird die Erfassung des Hauptkamerabildes gleichzeitig mittels der separaten Fahrzeugkamera und mittels der Weitwinkelkamera des Fahrzeugsensorsystems durchgeführt, wobei die erfassten Bilder der separaten Fahrzeugkamera und der Weitwinkelkamera insbesondere zum Hauptkamerabild kombiniert werden. Die Erfassung beziehungsweise Erzeugung des Hauptkamerabildes erfolgt in dieser Weiterführung beispielsweise durch Kombination der erfassten Bilder von separater Fahrzeugkamera und Weitwinkelkamera, wobei vorteilhafterweise eine zumindest teilweise transparente Überlagerung oder eine Mittelung der Farb- und/oder Helligkeitswerte durchgeführt wird. Alternativ kann das Bild der Weitwinkelkamera nur bei einer erkannten Verschmutzung der separaten Fahrzeugkamera als Hauptkamerabild erfasst beziehungsweise erzeugt werden. Es kann alternativ auch vorgesehen sein, dass die Kombination in Falle einer erkannten Verschmutzung einer der Kameras in einem der erfassten Bilder ausgesetzt und bei erkannter Verschmutzung nur das nicht verschmutzte Bild als Hauptkamerabild erfasst wird. In dieser Ausgestaltung resultiert der Vorteil, dass das Verfahren eine Redundanz bei einer ausfallenden beziehungsweise verschmutzten Kamera aufweist. Somit wird die Sicherheit des Fahrzeugs in dieser Weiterführung erhöht. Außerdem kann in dieser Ausgestaltung das Bild der separaten Fahrzeugkamera vorteilhafterweise um Bildinhalte der Weitwinkelkamera erweitert werden.
  • Vorzugsweise erfolgt des Weiteren als zusätzlicher Verfahrensschritt eine Erkennung von mindestens einem statischen und/oder dynamischen Objekt. Das statische Objekt kann beispielsweise ein anderes parkendes Fahrzeug, eine Wand, ein Stein, ein Poller oder ein Baum sein. Das dynamische Objekt ist beispielsweise eine Person, ein Tier oder ein anderes Fahrzeug, beispielsweise ein Fahrradfahrer. Die Erkennung von Objekten erfolgt bevorzugt durch ein angelerntes maschinelles Erkennungsverfahren, insbesondere durch ein neuronales Netz. Alternativ oder zusätzlich wird in dieser Ausführung wenigstens ein spezifisches Segment in der Umgebung des Fahrzeugs in Abhängigkeit der erfassten zusätzlichen Sensordaten erkannt, wobei das erkannte spezifische Segment insbesondere die Fahrbahn oder einen erkannten freien Parkplatz in der Umgebung des Fahrzeugs repräsentiert. Die Erkennung eines freien Parkplatzes als spezifisches Segment erfolgt bevorzugt durch Ermittlung von Abständen zwischen erfassten Reflexionspunkten an statischen Objekten, insbesondere basierend auf empfangenen Ultraschallsignalen, und/oder durch ein angelerntes maschinelles Erkennungsverfahren, insbesondere durch ein neuronales Netz. Anschließend wird die jeweilige Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug in Abhängigkeit der erfassten zusätzlichen Sensordaten ermittelt oder abgeschätzt. Die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes mit zusätzlichen Bilddaten werden in dieser Ausführung jeweils basierend auf der ermittelten Lage des erkannten Objektes und/oder der ermittelten Lage des erkannten spezifischen Segments durchgeführt. Außerdem sind vorteilhafterweise die Veränderung des Teilbildbereichs und/oder die zusätzlichen Bilddaten abhängig von dem erkannten Objekt beziehungsweise dem erkannten spezifischen Segment, beispielsweise wird für unterschiedliche Objekte und unterschiedliche Segmente durch die Veränderung jeweils eine voneinander verschiedene farbliche Akzentuierung beziehungsweise Hervorhebung durchgeführt. Durch diese Ausführung des Verfahrens werden für den Nutzer besonders leicht verständlich Objekte und spezifische Segmente, wie die Fahrbahn oder ein Parkplatz, in dem Hauptkamerabild gekennzeichnet, so dass das Risiko einer Kollision des Fahrzeugs reduziert und die Navigation erleichtert werden.
  • In einer anderen Weiterführung werden das erkannte Objekt und/oder das erkannte spezifische Segment in der Umgebung des Fahrzeugs in Abhängigkeit des erfassten Hauptkamerabildes validiert. Mit anderen Worten wird vorteilhafterweise mit einem angelernten maschinellen Erkennungsverfahren basierend auf den Sensordaten erkannte statische und/oder dynamische Objekt und/oder das basierend auf den Sensordaten erkannte spezifisches Segment in dem Hauptkamerabild erkannt beziehungsweise gesucht. Die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes mit zusätzlichen Bilddaten werden jeweils nur durchgeführt, wenn das erkannte Objekt und/oder das erkannte spezifischen Segment in Abhängigkeit des erfassten Hauptkamerabildes validiert wurden beziehungsweise in anderen Worten, wenn das Objekt und/oder das spezifischen Segment sowohl in Abhängigkeit der erfassten Sensordaten als auch basierend auf dem erfassten Hauptkamerabild erkannt werden. Dadurch werden Fehlerkennungen vermieden und/oder die angelernten maschinellen Erkennungsverfahren können effizienter ausgelegt werden. Zusätzlich oder alternativ kann eine Ermittlung der jeweiligen Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug zusätzlich in Abhängigkeit des erfassten Hauptkamerabildes vorgesehen sein, das heißt die jeweilige Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug wird vorteilhafterweise in Abhängigkeit der erfassten Sensordaten und des erfassten Hauptkamerabildes ermittelt, vorteilhafterweise durch eine stereoskopische Entfernungs- und Abstandsmessung mit der Fahrzeugkamera und der Weitwinkelkamera beziehungsweise eine Stereo-Vision-Verfahren, oder alternativ durch Ermittlung basierend auf Abstandsdaten wenigstens eines Abstandssensors und dem erfassten Hauptkamerabild oder einer Abfolge von Hauptkamerabildern. Dadurch werden die Genauigkeit und die Zuverlässigkeit der Lagenermittlung zu einem erkannten Objekt und/oder einem erkannten spezifischen Segment verbessert. Alternativ oder zusätzlich wird eine Höheninformation zum erkannten Objekt und/oder dem erkannten spezifischen Segment, wenn es sich bei dem Segment beispielsweise um eine Durchfahrt handelt, basierend auf den erfassten Sensordaten und dem erfassten Hauptkamerabild ermittelt. Die Höheninformation wird vorteilhafterweise durch eine stereoskopische Entfernungs- und Abstandsmessung mit der Fahrzeugkamera und der Weitwinkelkamera beziehungsweise eine Stereo-Vision-Verfahren, oder alternativ durch Ermittlung basierend auf Abstandsdaten wenigstens eines Abstandssensors und dem erfassten Hauptkamerabild oder einer Abfolge von Hauptkamerabildern erfolgen. Dadurch wird die Höheninformation zuverlässig ermittelt beziehungsweise abgeschätzt, wodurch beispielsweise Warnhinweise für den Fahrer oder eine automatische Bremsung in Abhängigkeit einer ermittelten Höheninformation angezeigt beziehungsweise eingeleitet werden können.
  • In einer anderen Ausgestaltung wird eine Karte der Umgebung des Fahrzeugs in Abhängigkeit der erfassten zusätzlichen Sensordaten erzeugt. Vorzugsweise umfasst die Karte ermittelte Abstände zwischen dem Fahrzeug und statischen Objekten in der Umgebung des Fahrzeugs und/oder die Lage der Reflexionspunkte von Ultraschallsignalen, Radarsignalen und/oder Lidarsignalen an statischen Objekten, wobei die Abstände und/oder Lagen vorteilhafterweise laufend basierend auf dern erfassten Sensordaten ermittelt und entsprechend der Fahrzeugbewegung aktualisiert sowie Signale dynamischer Objekte basierend auf Signaleigenschaften oder erkannten Objekten gefiltert werden. Die erzeugte Karte umfasst des Weiteren vorteilhafterweise basierend auf den ermittelten Abständen und/oder Lagen der Reflexionspunkte bestimmte Außenkanten der Objekte in der Umgebung des Fahrzeugs. Anschließend wird eine Ansicht auf die erzeugte Karte der Umgebung aus einer virtuellen Perspektive bestimmt, wobei diese erzeugte Ansicht die Position und die Blickrichtung der Fahrzeugkamera repräsentiert, welche das Hauptkamerabild erfasst hat. Die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes erfolgt in dieser Ausgestaltung in Abhängigkeit der bestimmten Ansicht auf die erzeugte Karte der Umgebung, insbesondere durch nicht transparente oder zumindest teilweise transparente Überlagerung des Hauptkamerabildes mit der bestimmten Ansicht auf die erzeugte Karte. Alternativ oder zusätzlich werden beispielsweise in dieser Ausgestaltung in dem Hauptkamerabild die Pixel zu in der Karte eingetragenen Reflexionspunkte und/oder bestimmten Außenkanten der Objekte in Abhängigkeit ihres Abstandes zum Fahrzeug farblich verändert. Durch diese Ausgestaltung werden vorteilhafterweise basierend auf den erfassten zusätzlichen Sensordaten ermittelte Abstandsdaten und/oder bestimmte Außenkanten von Objekten an die passende Koordinate bzw. Position innerhalb des Hauptkamerabildes übertragen, so dass der Nutzer das Hauptkamerabild besser einschätzen kann. Hierdurch resultiert ein angepasstes Hauptkamerabild, welches in der Anzeige für den Nutzer leicht verständlich ist.
  • In einer weiteren Ausführung kann es vorgesehen sein, dass eine vorgegebene Karte der Umgebung des Fahrzeugs bereitgestellt wird. Anschließend wird eine Position des Fahrzeugs bestimmt. Die Positionsbestimmung erfolgt beispielsweise mittels eines sattelitengestützten Navigationssystems, wie beispielsweise GPS, Galilei, GLONASS oder Beidou. Anschließend wird in dieser Ausführung eine Ansicht auf die vorgegebene Karte der Umgebung aus einer virtuellen Perspektive in Abhängigkeit der bestimmten Position des Fahrzeugs bestimmt, wobei die virtuelle Perspektive die Position und die Blickrichtung der Fahrzeugkamera repräsentiert. Danach erfolgt die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes in Abhängigkeit der bestimmten Ansicht auf die vorgegebene Karte der Umgebung. In dieser Ausführung können beispielsweise Straßennamen oder Geschäftsbezeichnungen leicht durch Überlagerung des Hauptkamerabildes mit der bestimmten Ansicht auf die vorgegebene Karte für den Nutzer angezeigt werden. Dadurch werden die Orientierung und das Verständnis des Nutzers gestärkt.
  • Darüber hinaus kann es vorgesehen sein, dass die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes mit zusätzlichen Bilddaten zusätzlich in Abhängigkeit von aktuellen Navigationsdaten eines Navigationssystems des Fahrzeugs und/oder eines mobilen Endgerätes des Nutzers erfolgt, welche insbesondere eine bevorzugte bevorstehende Fahrtrichtung beziehungsweise Navigationsrichtung repräsentieren. In dieser Ausführung wird bevorzugt ein Hinweis zu der bevorzugten bevorstehenden Fahrtrichtung beziehungsweise Navigationsrichtung in das Hauptkamerabild integriert.
  • Bei der Überlagerung des Hauptkamerabildes sind die zusätzlichen Bilddaten vorzugsweise zumindest teilweise transparent. Dadurch geht die Bildinformation des Hauptkamerabildes nicht verloren.
  • Vorteilhafterweise werden in einer weiteren Ausgestaltung mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras erfasst und die Anzeige der zwei angepassten Hauptkamerabilder mittels unterschiedlicher Anzeigevorrichtungen durchgeführt.
  • In einer Weiterbildung werden mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras erfasst. Die Anzeige der mindestens zwei angepassten Hauptkamerabilder erfolgt vorteilhafterweise durch eine Projektion der angepassten Hauptkamerabilder auf eine gemeinsame dreidimensionale Projektionsfläche mittels einer Anzeigevorrichtung. Dabei kann es vorteilhafterweise vorgesehen sein, dass die Projektionsfläche dreidimensional ist und/oder insbesondere in Abhängigkeit der erfassten Sensordaten angepasst wird. Durch diese Weiterbildung wird vorteilhafterweise ein dreidimensionales Umgebungsmodell geschaffen, wobei auf die Projektionsfläche angepasste Hauptkamerabilder projiziert werden, welche basierend auf den zusätzlichen Sensordaten an der richtigen Position erweiterte Information umfassen.
  • Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.
  • Die Erfindung betrifft des Weiteren eine Rechenvorrichtung, insbesondere ein Steuergerät, eine dezentrale oder zentrale Rechenvorrichtung. Die Rechenvorrichtung umfasst wenigstens einen ersten Signaleingang zur Bereitstellung eines ersten Eingangssignals, welches mindestens ein mittels einer Fahrzeugkamera erfasstes Hauptkamerabild von einem Umgebungsbereich des Fahrzeugs repräsentiert, wobei die Fahrzeugkamera insbesondere nicht Teil eines Fahrzeugsensorsystems ist. Die Rechenvorrichtung umfasst des Weiteren vorzugsweise einen zweiten Signaleingang zur Bereitstellung eines zweiten Eingangssignals, welches mittels eines Fahrzeugsensorsystems erfasste zusätzlichen Sensordaten zu dem erfassten Umgebungsbereich repräsentiert. Darüber hinaus weist die Rechenvorrichtung einen Signalausgang zur Ausgabe eines Ausgangssignals für eine Anzeigevorrichtung auf, wobei das Ausgangssignal zumindest ein angepasstes Hauptkamerabild repräsentiert, und vorteilhafterweise dazu eingerichtet ist, eine Anzeigevorrichtung zur Anzeige des angepassten Hauptkamerabildes zu steuern.
  • Die Erfindung betrifft auch eine Recheneinheit, insbesondere ein Prozessor, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt.
  • Die Erfindung betrifft außerdem ein Fahrzeug, umfassend die erfindungsgemäße Rechenvorrichtung
  • In einer Weiterbildung umfasst das Fahrzeug wenigstens eine Anzeigevorrichtung mit einem Display, wobei das mindestens eine Display insbesondere eine gewöhnliche Türverkleidung einer seitlichen Fahrer- und/oder Beifahrertür des Fahrzeugs vorteilhafterweise zumindest teilweise ersetzt, insbesondere ersetzt das Display die Türverkleidung mit einem Flächenanteil von größer 33%, insbesondere größer 50%. Dadurch resultiert für den Fahrer vorteilhafterweise der Effekt durch die Tür hindurchschauen zu können, so dass der untere seitlich neben dem Fahrzeug liegende Bereich am Boden einsehbar ist, welcher normalerweise für den Fahrer nicht sichtbar ist. So können vorteilhafterweise Unfälle vermieden werden.
  • Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.
    • 1: Fahrzeug
    • 2: Ablaufdiagramm des Verfahrens als Blockschaltbild
    • 3: virtuelle Perspektive auf eine erzeugte Karte
    • 4: angezeigtes angepasstes Hauptkamerabildes
    • 5: Ansicht eines Innenraums eines Fahrzeugs mit Fahrertür
  • Ausführungsbeispiele
  • In 1 ist schematisch ein Fahrzeug 100 in Aufsicht von oben dargestellt. Das Fahrzeug weist ein Fahrzeugsensorsystem 110 auf, welches vier Weitwinkelkameras 111, 112, 113 und 114 sowie 12 Ultraschallsensoren als Abstandssensoren 115 umfasst. Zusätzlich oder alternativ kann als Abstandssensor wenigstens ein Radarsensor oder ein Lidarsensor angeordnet sein. Das Fahrzeugsensorsystem 110 ist mittels einer Rechenvorrichtung 120 dazu eingerichtet, eine Surround View - Ansicht der Umgebung 190 des Fahrzeugs 100 basierend auf den erfassten Kamerabildern der Weitwinkelkameras 111 bis 114 und der erfassten beziehungsweise ermittelten Abstandsdaten der Abstandssensoren 115 anzuzeigen sowie beispielsweise naheliegende statische und dynamische Objekte in der Umgebung des Fahrzeugs und freie Parklücken zu erkennen und vorteilhafterweise Einparkvorgänge basierend auf ermittelten Einparktrajektorien automatisiert und kollisionsfrei durchzuführen. Die mittels des Fahrzeugsensorsystems erfassten Sensordaten umfassen folglich die mittels der Weitwinkelkameras 111 bis 114 erfassten Kamerabilder und die mittels der Abstandsensoren erfassten Abstandsdaten. Das Fahrzeug weist des Weiteren zum Fahrzeugsensorsystem 120 an der rechten Fahrzeugseite 101 eine erste separate Fahrzeugkamera 130 und an der linken Fahrzeugseite 102 eine zweite separate Fahrzeugkamera 140 mit jeweils nach hinten gerichteten auf. Das Blickfeld 131 der ersten separaten Fahrzeugkamera 130 und das Blickfeld 141 der zweiten separaten Fahrzeugkamera 140 sind im Vergleich zu den Blickfeldern der Weitwinkelkameras des Fahrzeugsensorsystems eng und betragen insbesondere jeweils einen Öffnungswinkel von kleiner oder gleich 90°, vorzugsweise kleiner oder gleich 60°. Optional umfasst das Fahrzeug in diesem Beispiel wenigstens eine dritte separate Fahrzeugkamera 150 an der Rückseite 103 des Fahrzeugs, insbesondere hinter der Heckscheibe 108, mit nach hinten gerichtetem, insbesondere gegenüber der Weitwinkelkamera 114 engerem Blickfeld 151. Zusätzlich oder alternativ können weitere zum Fahrzeugsensorsystem separate Fahrzeugkameras am Fahrzeug 100 angeordnet sein, beispielsweise mit einem nach vorne gerichtetem Blickfeld. Die Fahrzeugkameras 130, 140, 150 sind jeweils dazu eingerichtet, ein Hauptkamerabild zu erfassen, welches jeweils einen Umgebungsteilbereich der Umgebung 190 abbildet, welcher jeweils insbesondere dem jeweiligen Blickfeld 131, 141 oder 151 entspricht. Die erste separate Fahrzeugkamera 130 ist dazu eingerichtet, ein erstes Hauptkamerabild zu erfassen, insbesondere kontinuierlich beziehungsweise eine Abfolge von ersten Hauptkamerabildern. Die zweite separate Fahrzeugkamera 140 ist dazu eingerichtet, ein zweites Hauptkamerabild zu erfassen, insbesondere kontinuierlich beziehungsweise eine Abfolge von zweiten Hauptkamerabildern. Die dritte separate Fahrzeugkamera 150 ist dazu eingerichtet, ein drittes Hauptkamerabild zu erfassen, insbesondere kontinuierlich beziehungsweise eine Abfolge von dritten Hauptkamerabildern. Die erste, zweite und dritte separate Fahrzeugkamera 130, 140, 150 sind jeweils mit der Rechenvorrichtung 120 verbunden. Das Fahrzeug umfasst des Weiteren wenigstens eine Anzeigevorrichtung 160, wobei die Anzeigevorrichtung 160 vorzugsweise wenigstens ein Display 161, 162 für jede separate Fahrzeugkamera oder alternativ ein Display 163 für wenigstens zwei separate Fahrzeugkameras umfasst. Das Display 161, 162 der Anzeigevorrichtung 160 ist vorzugsweise an der Fahrertür 105 oder der Beifahrertür 106 angeordnet. Das Display 161, 162 der Anzeigevorrichtung 160 ersetzt insbesondere eine Türverkleidung einer Fahrer- oder Beifahrertür des Fahrzeugs 100 zumindest teilweise. Alternativ kann das Display 161, 162 der Anzeigevorrichtung 160 vorteilhafterweise hinter einem Teil der seitlichen Windschutzscheibe 107 oder in einem seitlichen Bereich der vorderen Verkleidung des Innenraums oder beispielsweise am Armaturenbrett angeordnet sein, wie in 1 dargestellt. Das Display 163 der Anzeigevorrichtung kann auch am Rückspiegel 104 des Fahrzeugs 100 angeordnet sein, wie in 1 dargestellt. In der Umgebung 190 des Fahrzeugs können statische Objekte 171, 172, beispielsweise andere parkende Fahrzeuge, und/oder dynamische beziehungsweise bewegte Objekte 170, beispielsweise Personen, vorliegen. Des Weiteren können beispielsweise in der Umgebung des Fahrzeugs basierend auf den Sensordaten spezifische Segmente 180 der Umgebung, wie beispielsweise ein freier Parkplatz P, erkannt bezieungsweise ermittelt werden.
  • In 2 ist schematisch ein Ablaufdiagramm des Verfahrens zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs als Blockschaltbild dargestellt. Das Verfahren umfasst die Erfassung 210 wenigstens eines Hauptkamerabildes von einem Umgebungsteilbereich des Fahrzeugs mittels einer Fahrzeugkamera 111 bis 114, 130, 140 und 150. Die Erfassung 210 des Hauptkamerabildes erfolgt vorzugsweise mittels einer zum Fahrzeugsensorsystem separaten Fahrzeugkamera 130, 140 und 150, welche beispielsweise seitlich am Fahrzeug angeordnet ist und eine Blickrichtung nach hinten aufweist. Die Erfassung 210 des Hauptkamerabildes kann alternativ mittels einer Weitwinkelkamera des Fahrzeugsensorsystems erfolgen, wobei das Weitwinkelkamerabild so transformiert wird, dass es nur den zu erfassenden Umgebungsteilbereich des Fahrzeugs abbildet. Besonders bevorzugt erfolgt die Erfassung 210 des Hauptkamerabildes gleichzeitig mittels der separaten Fahrzeugkamera und mittels der Weitwinkelkamera des Fahrzeugsensorsystems, wobei die erfassten Hauptkamerabilder der separaten Fahrzeugkamera und das erzeugte beziehungsweise erfasste Hauptkamerabild der Weitwinkelkamera vorzugsweise zu einem gemeinsamen Hauptkamerabild kombiniert werden. Durch die resultierende Redundanz wird beispielsweise im Falle einer Verschmutzung der Fahrzeugkamera oder der Weitwinkelkamera, eine Bildinformation für den aufgrund der Verschmutzung nicht einsehbaren Umgebungsteilbereich für die verschmutzte Kamera erfasst und angezeigt. Auch eine kaputte Fahrzeugkamera oder Weitwinkelkamera kann zumindest zeitweise kompensiert werden. Im Schritt 220 werden zusätzliche Sensordaten zu dem wenigstens einen erfassten Umgebungsteilbereich 131, 141, 151 mittels des Fahrzeugsensorsystems 110 erfasst. Das Fahrzeugsensorsystem umfasst wenigstens eine Weitwinkelkamera 111 bis 114 und/oder mindestens einen Abstandssensor 115. Das Fahrzeugsensorsystem ist beispielsweise dazu eingerichtet, die zusätzlichen Sensordaten zur Umgebung 190 des Fahrzeugs 100 zu erfassen und basierend auf den erfassten Sensordaten eine Ansicht der Umgebung 190 des Fahrzeugs für den Fahrer bereitzustellen beziehungsweise zu erzeugen. Die zusätzlichen Sensordaten umfassen dabei beispielsweise Abstandsdaten, welche mittels des Abstandssensors 115 erfassten werden. Vorteilhafterweise zusätzlich oder alternativ umfassen die Sensordaten Kamerabilder der Weitwinkelkameras 111 bis 114, welche jeweils zumindest ein gegenüber den Blickfeldern der Fahrzeugkameras 130, 140, 150 größeren Teilbereich der Umgebung 190 des Fahrzeugs 100 abbilden. In einem optionalen Schritt 230 wird mindestens ein statisches und/oder dynamisches Objekt 170, 171, 172 und/oder wenigstens ein spezifisches Segment 180 in der Umgebung 190 des Fahrzeugs 100 in Abhängigkeit der erfassten zusätzlichen Sensordaten erkannt, insbesondere mit der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110. Die Erkennung des Objektes 170, 171, 172 und/oder des spezifischen Segments 180 erfolgt vorteilhafterweise durch einen angelernte maschinelles Erkennungsverfahren, insbesondere ein neuronales Netz. Die Erkennung des Objekts 170, 171, 172 und/oder des spezifischen Segments 180, beispielsweise eines freien Parkplatzes P, kann alternativ oder zusätzlich in Abhängigkeit von den Abstandsdaten der Sensordaten, welche mittels des Abstandssensors 115 erfasst werden, durchgeführt werden, wobei beispielsweise ein Abstand zwischen ermittelten Außenkanten von unterschiedlichen Objekten 171, 172 oberhalb eines Schwellenwertes als freie Parklücke interpretiert werden kann, wenn innerhalb der freien Parklücke P keine weiteren Objekte/Gegenstände oder Personen erkannt wurden. In einer Weiterbildung kann es im Schritt 231 vorgesehen sein, dass das erkannte Objekt 170, 171, 172 und/oder das erkannte spezifische Segment 180 in der Umgebung 190 des Fahrzeugs in Abhängigkeit des erfassten Hauptkamerabildes validiert wird, wobei die Erkennung des Objekts 170, 171, 172 und/oder des spezifischen Segments 180 in Abhängigkeit des erfassten Hauptkamerabildes insbesondere durch einen angelernte maschinelles Erkennungsverfahren, insbesondere ein neuronales Netz, erfolgen kann. Die Validierung 231 des erkannten Objektes 170, 171, 172 und/oder des spezifischen Segments 180 erfolgt bevorzugt mittels der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110. In einem weiteren optionalen Schritt 232 wird die jeweilige Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug in Abhängigkeit der erfassten zusätzlichen Sensordaten ermittelt, wobei die Ermittlung 232 der jeweiligen Lage des erkannten Objektes 170, 171, 172 und/oder des erkannten spezifischen Segments 180 relativ zum Fahrzeug zusätzlich in Abhängigkeit des erfassten Hauptkamerabildes durchgeführt werden kann. Die Ermittlung 232 der Lage des erkannten Objektes und/oder des spezifischen Segments erfolgt bevorzugt mittels der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110. In einem optionalen Schritt 240 kann eine Höheninformation zum erkannten Objekt und/oder zum erkannten spezifischen Segment basierend auf den erfassten Sensordaten und dem erfassten Hauptkamerabild ermittelt werden, insbesondere mittels der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110. In einem vorteilhaften optionalen Schritt 250 wird eine Karte der Umgebung des Fahrzeugs in Abhängigkeit der erfassten Sensordaten erzeugt, wobei die Karte insbesondere das Objekt und/oder das spezifische Segment mit der jeweiligen ermittelten Lage des erkannten statischen oder dynamischen Objektes und/oder des erkannten spezifischen Segments umfasst. Insbesondere umfasst die erzeugte Karte Abstände zwischen Objekten und dem Fahrzeug und vorteilhafterweise umfasst die erzeugte Karte ermittelte Reflexionspunkte an Objekten in der Umgebung des Fahrzeugs, an welchen ein Ultraschallsignal, ein Radarsignal und/oder ein Laserstrahl reflektiert und insbesondere Abstände bestimmt wurden. Die im Schritt 250 erzeugte Karte kann darüber hinaus beispielsweise Außenkonturen von Objekten umfassen, welche basierend auf den ermittelten Reflexionspunkten beziehungsweise den erfassten Abständen, ermittelt werden. Anschließend wird im Schritt 251 eine Abbildung beziehungsweise Ansicht auf die erzeugte Karte der Umgebung aus einer virtuellen Perspektive erzeugt, welche die Position und die Blickrichtung der Fahrzeugkamera repräsentiert. Mit anderen Worten wird im Schritt 251 eine virtuelle Ansicht auf die erzeugte Karte generiert, welche insbesondere nur einen Teil der erzeugten Karte abbildet, wobei die Ansicht der erzeugten Karte aus einer virtuellen Perspektive mit schräger Blickrichtung auf die erzeugte Karte generiert wird. Alternativ oder zusätzlich wird in einem weiteren optionalen Schritt 260 eine vorgegebenen Karte der Umgebung des Fahrzeugs bereitgestellt und im optionalen Schritt 261 eine Position des Fahrzeugs bestimmt. Die Positionsbestimmung 261 des Fahrzeugs erfolgt insbesondere mit einem satellitengestützten Navigationssystem, wie beispielsweise GPS, GLONASS, Galileo und/oder Beidou. Anschließend wird im optionalen Schritt 262 eine Ansicht auf die vorgegebene Karte der Umgebung aus einer virtuellen Perspektive in Abhängigkeit der bestimmten Position des Fahrzeugs erzeugt, wobei die virtuelle Perspektive die Position und die Blickrichtung der Fahrzeugkamera repräsentiert. Mit anderen Worten wird im Schritt 262 eine virtuelle Ansicht auf eine vorgegebene Karte generiert, welche insbesondere nur einen Teil der vorgegebenen Karte abbildet, wobei die Ansicht der vorgegebenen Karte aus einer virtuellen Perspektive mit schräger Blickrichtung auf die vorgegebene Karte generiert wird. Schließlich erfolgt im erfindungsgemäßen Schritt 270 die Anpassung des erfassten Hauptkamerabildes in Abhängigkeit der erfassten zusätzlichen Sensordaten durch Veränderung 271 wenigstens eines Teilbildbereichs des erfassten Hauptkamerabildes und/oder durch Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten. Insbesondere wird die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten jeweils basierend auf der ermittelten Lage des erkannten Objektes und/oder der ermittelten Lage des erkannten spezifischen Segments durchgeführt. Somit kann beispielsweise ein Teilbildbereichs des Hauptkamerabildes, welcher das erkannte Objekt abbildet, basierend auf der Lage des erkannten Objektes ermittelt und beispielsweise bezüglich der Helligkeit und/oder der Farbwerte im Schritt 270 beziehungsweise 272 verändert werden, sodass dieser beispielsweise für den Fahrer heller und roter dargestellt wird, sodass sich die Auffälligkeit des veränderten Teilbildbereichs erhöht, wodurch das Risiko einer Kollision mit dem erkannten Objekt reduziert wird. Optional wird die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten jeweils nur durchgeführt, wenn das erkannte Objekt und/oder das erkannte spezifischen Segment in Abhängigkeit des erfassten Hauptkamerabildes validiert wurden. Alternativ oder zusätzlich wird die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten vorteilhafterweise zusätzlich in Abhängigkeit einer ermittelten Höheninformation zu dem erkannten Objekt und/oder dem spezifischen Segment durchgeführt. Bevorzugt ist es zusätzlich oder alternativ vorgesehen, dass die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder durch die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten in Abhängigkeit der bestimmten Ansicht auf die erzeugte Karte der Umgebung erfolgt, insbesondere erfolgt eine zumindest teilweise transparente Überlagerung des Hauptkamerabildes mit der bestimmten Ansicht auf die erzeugte Karte. Dabei werden die Kartendaten, beispielsweise die Reflexionspunkte und/oder Abstände, in Abhängigkeit von Schwellenwerten, welche einen Abstand oder ein Kollisionsrisiko repräsentieren, insbesondere farblich angepasst. Drüber hinaus kann es zusätzlich oder alternativ vorgesehen sein, dass die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder durch die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten in Abhängigkeit der bestimmten Ansicht auf die vorgegebene Karte der Umgebung erfolgt. Die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder durch die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten erfolgt darüber hinaus vorteilhafterweise zusätzlich in Abhängigkeit von aktuellen Navigationsdaten eines Navigationssystems des Fahrzeugs und/oder eines mobilen Endgerätes des Nutzers, welche insbesondere eine bevorzugte bevorstehende Fahrtrichtung repräsentieren. Die bei der Überlagerung 272 des Hauptkamerabildes verwendeten zusätzlichen Bilddaten bilden vorteilhafterweise das erkannte Objekt ab, beispielsweise als Piktogramm, und/oder repräsentieren beispielsweise schematisch das erkannte Objekt und/oder das spezifische Segment. Die zusätzlichen Bilddaten werden insbesondere aus einem elektronischen Speicher des Fahrzeugs, insbesondere der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110, geladen. Die zusätzlichen Bilddaten sind insbesondere zumindest teilweise transparenten. Anschließend wird im Schritt 280 das angepasste Hauptkamerabildes auf einer Anzeigevorrichtung angezeigt, wobei die Anzeigevorrichtung insbesondere ein Display zur Anzeige 280 des angepassten Hauptkamerabildes umfasst. Vorzugsweise werden im Schritt 210 mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras erfasst und die Anzeige 280 der zwei angepassten Hauptkamerabilder mittels unterschiedlicher Anzeigevorrichtungen durchgeführt. Es kann in einer Weiterbildung vorgesehen sein, dass im Schritt 210 mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras erfasst werden und die Anzeige 280 der mindestens zwei angepassten Hauptkamerabilder vorteilhafterweise durch eine Projektion auf eine gemeinsame dreidimensionale Projektionsfläche mittels der Anzeigevorrichtung erfolgt, sodass insbesondere ein Surround View - Ansicht generiert wird, wobei die Projektionsfläche insbesondere zur Vermeidung von Bildartefakten in Abhängigkeit der erfassten Sensordaten angepasst wird. Das Hauptkamerabild wird vorteilhafterweise vor der Anzeige zusätzlich gespiegelt beziehungsweise spiegelverkehrt angezeigt, so dass der Fahrer bei der Anzeige den Eindruck eines Seitenspiegelersatzes und/oder eines Rückspiegelersatzes erhält.
  • In 3 ist schematisch eine virtuelle Perspektive 310 aus einer Position 320 und mit einer Blickrichtung 330 auf eine erzeugte Karte 300 zu der in 1 schematisch abgebildeten Fahrsituation des Fahrzeugs 100 dargestellt, welche basierend auf den Sensordaten des Fahrzeugsensorsystems 110 erzeugt wird. Die erzeugte Karte 300 umfasst beispielsweise ermittelte Reflexionspunkte von Ultraschallsignalen, Radarsignalen oder Lidarsignalen sowie die daraus ermittelten Außenkonturen der Objekte 170, 171, 172. Die Karte kann in Abhängigkeit einer erfassten Fahrzeugbewegung, beispielsweise der Fahrzeuggeschwindigkeit und des Lenkwinkels oder Gierwinkels, aktualisiert beziehungsweise angepasst werden. Teile der Karte können auf historischen Sensordaten basieren, insbesondere in Abängigkeit des erkannten Objektes. Oft ist die rückwärtige Seite der Objekte 170, 171, 172 nicht durch Sensordaten erfasst. Die nicht erfassten Objektaußenkonturen sind in 3 gestrichelt dargestellt. Die bestimmte Ansicht aus der virtuelle Perspektive 310 auf die erzeugte Karte kann beispielsweise durch eine Koordinatentransformation der Karte erzeugt werden und repräsentiert durch ihre Position 320 und ihre Blickrichtung 330 der Blickrichtung einer (realen) Fahrzeugkamera 111 bis 114, 130, 140 oder 150, welche das Hauptkamerabild erfasst. Mit anderen Worten repräsentiert die bestimmte Ansicht der erzeugten Karte 300 aus der virtuellen Perspektive 310 die Perspektive der Fahrzeugkamera 111 bis 114, 130, 140 oder 150. Dadurch lässt sich die bestimmte Ansicht insbesondere als zusätzliche Bildinformation dem erfassten Hauptkamerabild bei der Anpassung des Hauptkamerabildes überlagern, wobei vorteilhafterweise die erfassten Reflexionspunkte und die ermittelten Außenkonturen der erzeugten Karte genau dort liegen, wo ein entsprechendes Objekt, beispielsweise die Objekte 170, 171, 172, abgebildet werden. Die Anpassung 270 des Hauptkamerabildes kann also beispielsweise durch Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten erfolgen, wobei die zusätzlichen Bilddaten die bestimmte Ansicht aus der virtuellen Perspektive 310 umfasst beziehungsweise die bestimmte Ansicht aus der virtuellen Perspektive als zusätzliche Bildinformation benutzt beziehungsweise verwendet wird.
  • Analog dem zu 3 beschriebenen Vorgehen kann eine andere Ansicht auf eine vorgegebene Karte aus einer virtuellen Perspektive erzeugt werden, welche die Perspektive der Fahrzeugkamera 111 bis 114, 130, 140 oder 150 repräsentiert. Die vorgegebene Karte kann beispielsweise aus einem Speicher des Fahrzeugs 100 oder der Rechenvorrichtung 120 oder eines Navigationssystems geladen werden.
  • In 4 ist ein auf einer Anzeigevorrichtung angezeigtes angepasstes Hauptkamerabild 400 schematisch dargestellt. Das Hauptkamerabild 400 ist in diesem Fall durch eine Überlagerung des erfassten Hauptkamerabildes 410 mit einer erzeugten Ansicht aus einer virtuellen Perspektive auf eine erzeugte Karte angepasst worden, wobei die virtuelle Perspektive die Perspektive der (realen) Fahrzeugkamera repräsentiert, welche das Hauptkamerabild erfasst hat. Zur Erzeugung der Ansicht auf die erzeugte Karte siehe auch das Ausführungsbeispiel aus 3. In dem erfassten und angepassten Hauptkamerabild ist jeweils das andere parkende Fahrzeug als Objekt 172 abgebildet. Zusätzlich umfasst das angepasste Hauptkamerabild in diesem Beispiel einen Bereich 410, welcher einer ermittelten Außenkontur 302 zu dem Objekt 172 der erzeugten Karte 300 entspricht. Durch die bestimmte Ansicht aus der virtuellen Perspektive 310, welche der tatsächlichen Perspektive der Fahrzeugkamera entspricht, korreliert bei einer Überlagerung des erfassten Hauptkamerabildes mit der bestimmten Ansicht hier die Lage der ermittelten Außenkontur 302 in dem Bereich 410 mit dem dort abgebildeten Fahrzeug beziehungsweise der Lage des Objektes 172. Die Außenkontur 302 beziehungsweise der Bereich 410 kann in Abhängigkeit des aktuellen Abstandes des Fahrzeugs zur ermittelten Außenkontur beispielsweise in der Helligkeit und/oder dem Farbwert angepasst werden. Zusätzlich oder alternativ kann das Fahrzeug 172 als statisches Objekt erkannt und in dem Teilbildbereich 420 des Hauptkamerabildes, welcher das Objekt abbildet, hier das Fahrzeug 172, die Helligkeit und/oder der Farbwert verändert werden, beispielsweise das gesamte Fahrzeug rot eingefärbt werden.
  • In 5 ist eine Ansicht eines Innenraums 500 eines Fahrzeugs 100 mit Fahrertür 105 von innen, beispielsweise von der Beifahrerseite aus, schematisch und als Schnittbild durch das Fahrzeug 100 dargestellt. Die Anzeigevorrichtung 160 kann ein Display 161 beziehungsweise 161a umfassen, welches insbesondere im Bereich der A-Säule des Fahrzeugs angeordnet ist. Das Display 161 a ist vorteilhafterweise dazu eingerichtet, das gespiegelte angepasste Hauptkamerabild anzuzeigen, so dass für den Fahrer der Eindruck eines Seitenspiegels mit erweitertem Informationsgehalt entsteht. Die Anzeigevorrichtung 160 kann alternativ oder zusätzlich ein Display 161 beziehungsweise 161 b an der Verkleidung der Fahrertür 105 umfassen, welches vorzugsweise die Verkleidung zumindest teilweise, bevorzugt großflächig, ersetzt. Das Display 161 b ist insbesondere dazu eingerichtet, ein (nicht gespiegeltes) angepasstes Hauptkamerabild des vom Insassen des Fahrzeugs aus gesehen hinter der Fahrertür 105 liegenden Umgebungsteilbereiches anzuzeigen, welcher von der Fahrzeugkamera 111 bis 114, 130, 140, 150 erfasst wurde, so dass der Eindruck einer zumindest teilweisen transparenten Fahrertür 105 entsteht.
  • ZITATE ENTHALTEN IN DER BESCHREIBUNG
  • Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
  • Zitierte Patentliteratur
    • US 2004260469 A1 [0004]
    • US 10059265 B2 [0005]
    • US 10300855 B2 [0006]
    • US 10486599 B2 [0007]
    • US 2014347450 A1 [0008]
    • EP 3512739 B1 [0009]

Claims (16)

  1. Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung (190) eines Fahrzeugs (100), umfassend die folgenden Schritte • Erfassung (210) wenigstens eines Hauptkamerabildes von einem Umgebungsteilbereich (131, 141, 151) des Fahrzeugs (100) mittels einer Fahrzeugkamera (111 bis 114, 130, 140, 150), • Erfassung (220) von zusätzlichen Sensordaten zu dem wenigstens einen erfassten Umgebungsteilbereich (131, 141, 151) mittels eines Fahrzeugsensorsystems (110), umfassend wenigstens eine Weitwinkelkamera (111 bis 114) und/oder mindestens einen Abstandssensor (115) und/oder einen Positionssensor, • Anpassung (270) des erfassten Hauptkamerabildes basierend auf den erfassten zusätzlichen Sensordaten durch Veränderung (271) wenigstens eines Teilbildbereichs (420) des erfassten Hauptkamerabildes und/oder Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten, und • Anzeige (280) des angepassten Hauptkamerabildes (400) auf einer Anzeigevorrichtung (160).
  2. Verfahren nach Anspruch 1, wobei die Erfassung (210) des Hauptkamerabildes mittels einer zum Fahrzeugsensorsystem (110) separaten Fahrzeugkamera (130, 140, 150) erfolgt, welche insbesondere seitlich am Fahrzeug (100) angeordnet ist und eine Blickrichtung nach hinten aufweist.
  3. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Erfassung (210) des Hauptkamerabildes mittels einer Weitwinkelkamera (111 bis 114) des Fahrzeugsensorsystems (110) als Fahrzeugkamera erfolgt.
  4. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Erfassung (210) des Hauptkamerabildes gleichzeitig mittels der separaten Fahrzeugkamera (130, 140, 150) und mittels der Weitwinkelkamera (111 bis 114) des Fahrzeugsensorsystems erfolgt, wobei die erfassten Bilder der separaten Fahrzeugkamera (130, 140, 150) und der Weitwinkelkamera (111 bis 114) insbesondere zum Hauptkamerabild kombiniert werden.
  5. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Erkennung (230) von mindestens einem statischen und/oder dynamischen Objekt (170, 171, 172) und/oder von wenigstens einem spezifischen Segment (180) in der Umgebung des Fahrzeugs (100) in Abhängigkeit der erfassten zusätzlichen Sensordaten, und • Ermittlung (232) der jeweiligen Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug in Abhängigkeit der erfassten zusätzlichen Sensordaten, wobei • die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten jeweils basierend auf der ermittelten Lage des erkannten Objektes (170, 171, 172) und/oder der ermittelten Lage des erkannten spezifischen Segments (180) erfolgt.
  6. Verfahren nach Anspruch 5, wobei zusätzlich folgende Schritte durchgeführt werden: • Validierung (231) des erkannten Objektes (170, 171, 172) und/oder des erkannten spezifischen Segments (180) in der Umgebung (190) des Fahrzeugs (100) in Abhängigkeit des erfassten Hauptkamerabildes, wobei • die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten jeweils nur durchgeführt werden, wenn das erkannte Objekt (170, 171, 172) und/oder das erkannte spezifischen Segment (180) in Abhängigkeit des erfassten Hauptkamerabildes validiert wurden, und/oder • Ermittlung (232) der jeweiligen Lage des erkannten Objektes (170, 171, 172) und/oder des erkannten spezifischen Segments (180) relativ zum Fahrzeug zusätzlich in Abhängigkeit des erfassten Hauptkamerabildes, und/oder • Ermittlung (240) einer Höheninformation zum erkannten Objekt (170, 171, 172) und/oder dem erkannten spezifischen Segment (180) basierend auf den erfassten Sensordaten und dem erfassten Hauptkamerabild.
  7. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Erzeugung (250) einer Karte (300) der Umgebung (190) des Fahrzeugs (100) in Abhängigkeit der erfassten Sensordaten, und • Bestimmung (251) einer Ansicht auf die erzeugte Karte (300) der Umgebung (190) aus einer virtuellen Perspektive (310), welche die Position und die Blickrichtung der Fahrzeugkamera (130, 140 oder 150) repräsentiert, wobei • die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes in Abhängigkeit der bestimmten Ansicht auf die erzeugte Karte (300) der Umgebung (190) erfolgt, insbesondere wird eine Überlagerung des Hauptkamerabildes mit der bestimmten Ansicht auf die erzeugte Karte (300) durchgeführt.
  8. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Bereitstellung (260) einer vorgegebenen Karte der Umgebung (190) des Fahrzeugs (100), und • Bestimmung (261) einer Position des Fahrzeugs (100), • Bestimmung (262) einer Ansicht auf die vorgegebene Karte der Umgebung (190) aus einer virtuellen Perspektive in Abhängigkeit der bestimmten Position des Fahrzeugs (100), wobei die virtuelle Perspektive die Position und die Blickrichtung der Fahrzeugkamera (130, 140 oder 150) repräsentiert, wobei • die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes in Abhängigkeit der bestimmten Ansicht auf die vorgegebene Karte der Umgebung (190) erfolgt.
  9. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten zusätzlich in Abhängigkeit von aktuellen Navigationsdaten eines Navigationssystems des Fahrzeugs (100) und/oder eines mobilen Endgerätes des Nutzers erfolgt, welche insbesondere eine bevorzugte bevorstehende Fahrtrichtung repräsentieren.
  10. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zusätzlichen Bilddaten insbesondere zumindest teilweise transparent sind.
  11. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras (111 bis 114, 130, 140, 150) erfasst und die Anzeige (280) der zwei angepassten Hauptkamerabilder (400) mittels unterschiedlicher Anzeigevorrichtungen (160) erfolgt.
  12. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens zwei Hauptkamerabilder (400) mittels jeweils unterschiedlicher Fahrzeugkameras(111 bis 114, 130, 140, 150) erfasst und die Anzeige der mindestens zwei angepassten Hauptkamerabilder (400) vorteilhafterweise durch eine Projektion auf eine gemeinsame dreidimensionale Projektionsfläche mittels einer Anzeigevorrichtung (160) erfolgt, wobei die Projektionsfläche insbesondere in Abhängigkeit der erfassten Sensordaten angepasst wird.
  13. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.
  14. Rechenvorrichtung (120), insbesondere Steuergerät, dezentrale oder zentrale Rechenvorrichtung, umfassend mindestens folgende Komponenten • einen ersten Signaleingang zur Bereitstellung eines ersten Eingangssignals, welches wenigstens ein mittels einer Fahrzeugkamera (111 bis 114, 130, 140, 150) erfasstes Hauptkamerabild von einem Umgebungsteilbereich (131, 141, 151) des Fahrzeugs (100) repräsentiert, wobei die Fahrzeugkamera (130, 140, 150) insbesondere nicht Teil eines Fahrzeugsensorsystems (110) ist, • einen zweiten Signaleingang zur Bereitstellung eines zweiten Eingangssignals, welches mittels eines Fahrzeugsensorsystems (110) erfasste zusätzlichen Sensordaten zu dem erfassten Umgebungsteilbereich (131, 141, 151) repräsentiert, • einen Signalausgang zur Ausgabe eines Ausgangssignals für eine Anzeigevorrichtung (160), wobei das Ausgangssignal zumindest ein angepasstes Hauptkamerabild (400) repräsentiert, und • eine Recheneinheit, insbesondere ein Prozessor, die so konfiguriert ist, dass sie die Schritte des Verfahrens nach einem der Ansprüche 1 bis 12 ausführt.
  15. Fahrzeug (100), umfassend eine Rechenvorrichtung (120) nach Anspruch 14.
  16. Fahrzeug (100) nach Anspruch 15, umfassend • eine Anzeigevorrichtung (160), wobei die Anzeigevorrichtung (160) ein Display (161, 162, 163) umfasst, wobei das Display(161, 162) insbesondere eine Türverkleidung einer seitlichen Fahrer- oder Beifahrertür (105, 106) des Fahrzeugs (100) zumindest teilweise ersetzt.
DE102022214210.1A 2022-12-21 2022-12-21 Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug Pending DE102022214210A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022214210.1A DE102022214210A1 (de) 2022-12-21 2022-12-21 Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug
PCT/EP2023/085360 WO2024132701A1 (de) 2022-12-21 2023-12-12 Verfahren zur darstellung einer erweiterten ansicht der umgebung eines fahrzeugs, computerprogramm, rechenvorrichtung und fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022214210.1A DE102022214210A1 (de) 2022-12-21 2022-12-21 Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug

Publications (1)

Publication Number Publication Date
DE102022214210A1 true DE102022214210A1 (de) 2024-06-27

Family

ID=89222147

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022214210.1A Pending DE102022214210A1 (de) 2022-12-21 2022-12-21 Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs, Computerprogramm, Rechenvorrichtung und Fahrzeug

Country Status (2)

Country Link
DE (1) DE102022214210A1 (de)
WO (1) WO2024132701A1 (de)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026052546A1 (de) * 2024-09-05 2026-03-12 Aumovio Autonomous Mobility Germany Gmbh Verfahren und kamerasystem zur bereitstellung einer umfelddarstellung eines fahrzeugs
DE102024132288A1 (de) 2024-11-06 2026-05-07 Connaught Electronics Ltd. Verfahren zum Erzeugen eines Anzeigebilds einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260469A1 (en) 2002-06-12 2004-12-23 Kazufumi Mizusawa Drive assisting system
US20140347450A1 (en) 2011-11-30 2014-11-27 Imagenext Co., Ltd. Method and apparatus for creating 3d image of vehicle surroundings
US10059265B2 (en) 2000-03-02 2018-08-28 Magna Electronics Inc. Vision system for a vehicle
DE102018117548A1 (de) 2017-07-21 2019-01-24 Ford Global Technologies, Llc Sicherheitsabbildung für zurücksetzen eines fahrzeugs
DE102018209192B3 (de) 2018-05-17 2019-05-09 Continental Automotive Gmbh Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US10300855B2 (en) 2012-09-26 2019-05-28 Magna Electronics Inc. Trailer driving assist system
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
EP3512739B1 (de) 2016-09-14 2020-05-13 Robert Bosch GmbH Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
US20210023994A1 (en) 2019-07-26 2021-01-28 Aisin Seiki Kabushiki Kaisha Periphery monitoring device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10059265B2 (en) 2000-03-02 2018-08-28 Magna Electronics Inc. Vision system for a vehicle
US20040260469A1 (en) 2002-06-12 2004-12-23 Kazufumi Mizusawa Drive assisting system
US20140347450A1 (en) 2011-11-30 2014-11-27 Imagenext Co., Ltd. Method and apparatus for creating 3d image of vehicle surroundings
US10300855B2 (en) 2012-09-26 2019-05-28 Magna Electronics Inc. Trailer driving assist system
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
EP3512739B1 (de) 2016-09-14 2020-05-13 Robert Bosch GmbH Verfahren zum bereitstellen einer rückspiegelansicht einer fahrzeugumgebung eines fahrzeugs
DE102018117548A1 (de) 2017-07-21 2019-01-24 Ford Global Technologies, Llc Sicherheitsabbildung für zurücksetzen eines fahrzeugs
DE102018209192B3 (de) 2018-05-17 2019-05-09 Continental Automotive Gmbh Verfahren und Vorrichtung zum Betreiben eines Kamera-Monitor-Systems für ein Kraftfahrzeug
US20210023994A1 (en) 2019-07-26 2021-01-28 Aisin Seiki Kabushiki Kaisha Periphery monitoring device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026052546A1 (de) * 2024-09-05 2026-03-12 Aumovio Autonomous Mobility Germany Gmbh Verfahren und kamerasystem zur bereitstellung einer umfelddarstellung eines fahrzeugs
DE102024132288A1 (de) 2024-11-06 2026-05-07 Connaught Electronics Ltd. Verfahren zum Erzeugen eines Anzeigebilds einer Umgebung eines Kraftfahrzeugs, Computerprogrammprodukt, computerlesbares Speichermedium sowie elektronische Recheneinrichtung

Also Published As

Publication number Publication date
WO2024132701A1 (de) 2024-06-27

Similar Documents

Publication Publication Date Title
EP2805183B1 (de) Verfahren und vorrichtung zum visualisieren der umgebung eines fahrzeugs
EP2603402B1 (de) Verfahren zum anzeigen von bildern auf einer anzeigeeinrichtung und fahrerassistenzsystem
DE102009005505B4 (de) Verfahren und Vorrichtung zur Erzeugung eines Abbildes der Umgebung eines Kraftfahrzeugs
DE102009029439A1 (de) Verfahren und Vorrichtung zur Darstellung von Hindernissen in einem Einparkhilfesystem von Kraftfahrzeugen
DE102008046214A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
DE112017001410T5 (de) Informationsverarbeitungsvorrichtung
DE102012208288A1 (de) Verfahren zur Darstellung einer Fahrzeugumgebung auf einer Anzeige und Fahrassistenzsystem
DE102008046544A1 (de) Verfahren und Vorrichtung zur Überwachung einer Umgebung eines Fahrzeuges
WO2020007523A1 (de) Verfahren zur unterstützung bei einem rangiermanöver eines gespanns aus zugfahrzeug und anhänger, system und gespann
WO2024132701A1 (de) Verfahren zur darstellung einer erweiterten ansicht der umgebung eines fahrzeugs, computerprogramm, rechenvorrichtung und fahrzeug
DE102019116836A1 (de) Einblendschnittstellen für rückspiegelanzeigen
DE102016122756A1 (de) Verfahren zum Unterstützen eines Fahrers eines Kraftfahrzeugs beim Abstellen des Kraftfahrzeugs auf einer Parkfläche, Fahrerassistenzsystem sowie Kraftfahrzeug
DE102011010860A1 (de) Verfahren und Fahrerassistenzsystem zum Anzeigen von Bildern in einem Kraftfahrzeug sowie Kraftfahrzeug
DE102020127278A1 (de) Around-View-Synthese-System und -Verfahren
DE112020002353T5 (de) Anzeigevorrichtung
DE102017215901A1 (de) Assistenzsystem für ein Fahrzeug
DE102013010233B4 (de) Verfahren zum Anzeigen von Umgebungsinformationen in einem Fahrzeug und Anzeigesystem für ein Fahrzeug
DE102006037600B4 (de) Verfahren zur auflösungsabhängigen Darstellung der Umgebung eines Kraftfahrzeugs
DE102023003828A1 (de) Verfahren zum Betrieb eines Fahrerassistenzsystems und Fahrzeug
DE102018207407A1 (de) Fahrerassistenzsystem, Fortbewegungsmittel und Verfahren zur Anzeige eines Abbildes eines Umgebungsbereiches eines Fortbewegungsmittels
DE102019102672A1 (de) Intersensorisches lernen
DE102011005368A1 (de) Fahrerassistenzsystem für ein Fahrzeug mit einem angereicherten Videobild in einem Anzeigemittel
DE102021133199A1 (de) Verfahren und Fahrerassistenzsystem zur Berücksichtigung von Objekten beim Fahren entlang einer Trajektorie
DE102024002500B3 (de) Verfahren zur Visualisierung einer Fahrzeugumgebung und Fahrzeug
DE102025109600B3 (de) Verfahren zum Kalibrieren eines Head-up-Displays

Legal Events

Date Code Title Description
R163 Identified publications notified