DE102022214210A1 - Method for displaying an extended view of the surroundings of a vehicle, computer program, computing device and vehicle - Google Patents

Method for displaying an extended view of the surroundings of a vehicle, computer program, computing device and vehicle Download PDF

Info

Publication number
DE102022214210A1
DE102022214210A1 DE102022214210.1A DE102022214210A DE102022214210A1 DE 102022214210 A1 DE102022214210 A1 DE 102022214210A1 DE 102022214210 A DE102022214210 A DE 102022214210A DE 102022214210 A1 DE102022214210 A1 DE 102022214210A1
Authority
DE
Germany
Prior art keywords
vehicle
main camera
camera image
captured
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102022214210.1A
Other languages
German (de)
Inventor
Stefan Matthes
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102022214210.1A priority Critical patent/DE102022214210A1/en
Priority to PCT/EP2023/085360 priority patent/WO2024132701A1/en
Publication of DE102022214210A1 publication Critical patent/DE102022214210A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/083—Anti-glare mirrors, e.g. "day-night" mirrors
    • B60R1/088—Anti-glare mirrors, e.g. "day-night" mirrors using a cell of electrically changeable optical characteristic, e.g. liquid-crystal or electrochromic mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1223—Mirror assemblies combined with other articles, e.g. clocks with sensors or transducers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/12—Mirror assemblies combined with other articles, e.g. clocks
    • B60R2001/1253—Mirror assemblies combined with other articles, e.g. clocks with cameras, video cameras or video screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R2011/0001—Arrangements for holding or mounting articles, not otherwise provided for characterised by position
    • B60R2011/0003—Arrangements for holding or mounting articles, not otherwise provided for characterised by position inside the vehicle
    • B60R2011/0019—Side or rear panels
    • B60R2011/0021—Doors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/207—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used using multi-purpose displays, e.g. camera image and navigation or video on same display
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/303—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using joined images, e.g. multiple camera images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/404—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components triggering from stand-by mode to operation mode
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/50—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the display information being shared, e.g. external display, data transfer to other traffic participants or centralised traffic controller
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/804—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for lane monitoring
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8086—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for vehicle path indication

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung (190) eines Fahrzeugs (100), umfassend die folgenden Schritte: Erfassung (210) wenigstens eines Hauptkamerabildes von einem Umgebungsteilbereich (131, 141, 151) des Fahrzeugs (100) mittels einer Fahrzeugkamera (111 bis 114, 130, 140, 150); Erfassung (220) von zusätzlichen Sensordaten zu dem wenigstens einen erfassten Umgebungsteilbereich (131, 141, 151) mittels eines Fahrzeugsensorsystems (110), umfassend wenigstens eine Weitwinkelkamera (111 bis 114) und/oder mindestens einen Abstandssensor (115); Anpassung (270) des erfassten Hauptkamerabildes basierend auf den erfassten zusätzlichen Sensordaten durch Veränderung (271) wenigstens eines Teilbereichs des erfassten Hauptkamerabildes und/oder Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten; und Anzeige (280) des angepassten Hauptkamerabildes auf einer Anzeigevorrichtung (160).Method for displaying an expanded view of the surroundings (190) of a vehicle (100), comprising the following steps: capturing (210) at least one main camera image of a partial area of the surroundings (131, 141, 151) of the vehicle (100) by means of a vehicle camera (111 to 114, 130, 140, 150); capturing (220) additional sensor data for the at least one captured partial area of the surroundings (131, 141, 151) by means of a vehicle sensor system (110) comprising at least one wide-angle camera (111 to 114) and/or at least one distance sensor (115); adapting (270) the captured main camera image based on the captured additional sensor data by changing (271) at least one partial area of the captured main camera image and/or superimposing (272) the main camera image with additional image data; and displaying (280) the adjusted main camera image on a display device (160).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs. Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens auszuführen. Die Erfindung betrifft darüber hinaus eine Rechenvorrichtung, umfassend eine Recheneinheit, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt. Des Weiteren betrifft die Erfindung ein Fahrzeug, umfassend die erfindungsgemäße Rechenvorrichtung.The present invention relates to a method for displaying an expanded view of the surroundings of a vehicle. The invention also relates to a computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the method according to the invention. The invention also relates to a computing device comprising a computing unit which is configured to carry out the steps of the method according to the invention. The invention further relates to a vehicle comprising the computing device according to the invention.

Stand der TechnikState of the art

Zur Reduktion des Luftwiderstands eines Fahrzeugs ist es wünschenswert die seitlichen Außenspiegel eines Fahrzeugs durch seitlich am Fahrzeug angeordnete Kameras mit einer Blickrichtung nach hinten zu ersetzten.In order to reduce the air resistance of a vehicle, it is desirable to replace the side mirrors of a vehicle with cameras arranged on the side of the vehicle and looking backwards.

Weitwinkelkameras eines Surround View Systems für ein Fahrzeug weisen typischerweise eine Weitwinkeloptik auf, beispielsweise mit einem Öffnungswinkel der Linse von über 170 Grad (Fischaugenlinse). Erfolgt das Erfassen der Umgebung eines Surround View Systems mittels mehrerer Weitwinkelkameras, so werden die Einzelbilder der mehreren Weitwinkelkameras in der Regel zu einem einzigen Gesamtansicht der Umgebung zusammengefügt, wobei die gleichzeitig erfassten unterschiedlichen Bilder der jeweiligen Kameras insbesondere auf eine dreidimensionale Projektionsfläche projiziert und zusammengefügt werden. Dieser Vorgang wird auch als Stitching bezeichnet. Die virtuelle Perspektive auf die dreidimensionale Projektionsfläche kann frei eingestellt oder an eine Fahrsituation angepasst werden.Wide-angle cameras in a surround view system for a vehicle typically have wide-angle optics, for example with a lens opening angle of over 170 degrees (fisheye lens). If the surroundings of a surround view system are captured using multiple wide-angle cameras, the individual images from multiple wide-angle cameras are usually combined to form a single overall view of the surroundings, with the different images captured simultaneously by the respective cameras being projected onto a three-dimensional projection surface and combined. This process is also known as stitching. The virtual perspective on the three-dimensional projection surface can be freely adjusted or adapted to a driving situation.

Die Schrift US 2004/260469 A1 offenbart ein Fahrassistenzsystem, welches ein Bild der Umgebung erfasst und auf einem Display anzeigt.The font US 2004/260469 A1 reveals a driver assistance system that captures an image of the surroundings and displays it on a display.

Die Schrift US 10 059 265 B2 offenbart ein Visionsystem für ein Fahrzeug mit einem Seitenspiegel mit einer Kamera.The font US 10 059 265 B2 discloses a vision system for a vehicle with a side mirror with a camera.

Die Schrift US 10 300 855 B2 offenbart ein Fahrassistenzsystem für ein Fahrzeug mit einem Anhänger.The font US 10 300 855 B2 discloses a driver assistance system for a vehicle with a trailer.

Das Dokument US 10 486 599 B2 offenbart eine kameraunterstützte Ansicht der rückwärtigen Umgebung eines Fahrzeugs.The document US 10 486 599 B2 reveals a camera-assisted view of the rear surroundings of a vehicle.

Die Schrift US 2014/347450 A1 offenbart ein Verfahren zur Darstellung eines dreidimensionalen Bildes einer Umgebung eines Fahrzeugs.The font US2014/347450 A1 discloses a method for displaying a three-dimensional image of an environment of a vehicle.

EP 3 512 739 B1 offenbart ein Verfahren zum Bereitstellen einer Rückspiegelansicht einer Fahrzeugumgebung eines Fahrzeuges. In dem Verfahren wird zumindest ein Teil der Fahrzeugumgebung in einem ersten Bild mittels zumindest einer Weitwinkelkamera erfasst, welche an dem Fahrzeug angeordnet ist. Anschließend wird ein zweites Bild basierend auf dem ersten Bild errechnet, wobei das zweite Bild einem abgebildeten Sichtfeld einer ersten virtuellen Kamera entspricht, die an einer ersten Position in der Fahrzeugumgebung angeordnet ist und einen Bereich abbildet, der in der Fahrzeugumgebung hinter dem Fahrzeug liegt. Das zweite Bild wird für eine Anzeige einer Rückspiegelansicht bereitgestellt. EP 3 512 739 B1 discloses a method for providing a rearview mirror view of a vehicle environment of a vehicle. In the method, at least a part of the vehicle environment is captured in a first image by means of at least one wide-angle camera which is arranged on the vehicle. A second image is then calculated based on the first image, wherein the second image corresponds to an imaged field of view of a first virtual camera which is arranged at a first position in the vehicle environment and images an area which lies behind the vehicle in the vehicle environment. The second image is provided for displaying a rearview mirror view.

Die Aufgabe der vorliegenden Erfindung ist es, eine verbesserte Ansicht der rückwärtigen Umgebung eines Fahrzeugs darzustellen.The object of the present invention is to provide an improved view of the rear environment of a vehicle.

Offenbarung der ErfindungDisclosure of the invention

Die vorstehende Aufgabe wird erfindungsgemäß entsprechend der unabhängigen Ansprüche 1 und 12 bis 14 gelöst.The above object is achieved according to the invention according to the independent claims 1 and 12 to 14.

Die vorliegende Erfindung betrifft ein Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs. In dem Verfahren wird wenigstens ein Hauptkamerabild von einem Umgebungsteilbereich des Fahrzeugs mittels einer Fahrzeugkamera erfasst. Der Umgebungsteilbereich resultiert insbesondere aus dem aktuellen Blickfeld der Fahrzeugkamera. Die Fahrzeugkamera ist insbesondere seitlich am Fahrzeug angeordnet und weist eine Blickrichtung nach hinten auf, so dass das erfasste Hauptkamerabild insbesondere einen Seitenspiegelersatz oder einen Rückspiegelersatz repräsentiert. Des Weiteren ist in dem Verfahren die Erfassung von zusätzlichen Sensordaten zu dem wenigstens einen erfassten Umgebungsteilbereich mittels eines Fahrzeugsensorsystems vorgesehen. Das Fahrzeugsensorsystem umfasst wenigstens eine Weitwinkelkamera und/oder mindestens einen Abstandssensor, insbesondere einen Ultraschallsensor, einen Radarsensor und/oder einen Lidarsensor, und/oder einen Positionssensor zur Positionsbestimmung mittels eines sattelitengestützten Navigationssystems. Die zusätzlichen Sensordaten können demnach Kamerabilder der Weitwinkelkamera und/oder Abstandsdaten und/oder Koordinaten zur Fahrzeugposition umfassen. In einem weiteren Verfahrensschritt wird das erfasste Hauptkamerabild basierend auf den erfassten zusätzlichen Sensordaten durch eine Veränderung wenigstens eines Teilbildbereichs des erfassten Hauptkamerabildes und/oder eine Überlagerung des Hauptkamerabildes mit zusätzlichen Bilddaten angepasst. Der veränderte Teilbildbereich des Hauptkamerabildes repräsentiert vorteilhafterweise ein erkanntes Objekt in der Umgebung des Fahrzeugs und/oder ein erkanntes spezifisches Segment in der Umgebung des Fahrzeugs, beispielsweise einen erkannten freien Parkplatz beziehungsweise eine Parklücke, und/oder eine ermittelte voraussichtlich Fahrtrajektorie für eine automatische Fahrzeugführung, beispielsweise für einen Einparkvorgang. Das erkannte Objekt, das erkannte spezifische Segment oder die ermittelte Fahrtrajektorie werden vorteilhafterweise jeweils basierend auf den erfassten Sensordaten erkannt beziehungsweise ermittelt. Die Veränderung des Teilbildbereichs des Hauptkamerabildes erfolgt insbesondere durch eine Änderung der Helligkeit und/oder der Farbwerte in dem Teilbildbereich. Die zusätzlichen Bilddaten repräsentieren vorteilhafterweise das erkannte Objekt, das spezifische Segment oder einen Hinweis auf das erkannte Objekt oder auf das spezifischen Segment, insbesondere in dem Teilbildbereich. Die zusätzlichen Bilddaten können beispielsweise Rahmen, Pfeile, Symbole oder schematische Abbildungen oder ähnliches darstellen. Anschließend wird das angepasste Hauptkamerabild auf einer Anzeigevorrichtung angezeigt, insbesondere auf einem Display im Innenraum des Fahrzeugs und/oder auf einem mobilen Endgerät des Nutzers. Vorteilhafterweise erfolgt die Anzeige des angepassten Hauptkamerabildes mittels eines Displays, welches an einer seitlichen Verkleidung im Innenraum des Fahrzeugs angeordnet ist, wobei das Display die Verkleidung zumindest teilweise ersetzt, so dass der Nutzer des Fahrzeugs die Anzeige vorzugsweise zumindest als Seitenspiegelersatzansicht empfindet oder die Wahrnehmung einer zumindest partiell transparenten Karosserie erfährt.The present invention relates to a method for displaying an expanded view of the surroundings of a vehicle. In the method, at least one main camera image of a part of the surroundings of the vehicle is recorded by means of a vehicle camera. The part of the surroundings results in particular from the current field of view of the vehicle camera. The vehicle camera is arranged in particular on the side of the vehicle and has a viewing direction to the rear, so that the recorded main camera image represents in particular a side mirror replacement or a rear-view mirror replacement. Furthermore, the method provides for the recording of additional sensor data on the at least one recorded part of the surroundings by means of a vehicle sensor system. The vehicle sensor system comprises at least one wide-angle camera and/or at least one distance sensor, in particular an ultrasonic sensor, a radar sensor and/or a lidar sensor, and/or a position sensor for determining the position by means of a satellite-based navigation system. The additional sensor data can therefore comprise camera images from the wide-angle camera and/or distance data and/or coordinates for the vehicle position. In a further method step, the captured main camera image is modified based on the captured additional sensor data by changing at least one partial image area of the captured main camera image and/or an overlay of the main camera image with additional image data. The changed partial image area of the main camera image advantageously represents a recognized object in the surroundings of the vehicle and/or a recognized specific segment in the surroundings of the vehicle, for example a recognized free parking space or a parking gap, and/or a determined probable driving trajectory for automatic vehicle guidance, for example for a parking process. The recognized object, the recognized specific segment or the determined driving trajectory are advantageously each recognized or determined based on the recorded sensor data. The change in the partial image area of the main camera image occurs in particular by changing the brightness and/or the color values in the partial image area. The additional image data advantageously represents the recognized object, the specific segment or an indication of the recognized object or the specific segment, in particular in the partial image area. The additional image data can, for example, represent frames, arrows, symbols or schematic illustrations or the like. The adjusted main camera image is then displayed on a display device, in particular on a display in the interior of the vehicle and/or on a mobile device of the user. The adjusted main camera image is advantageously displayed using a display that is arranged on a side panel in the interior of the vehicle, the display at least partially replacing the panel, so that the user of the vehicle preferably perceives the display at least as a side mirror replacement view or experiences the perception of an at least partially transparent body.

Durch das Verfahren resultiert der Vorteil, dass der Luftwiderstand des Fahrzeugs deutlich abgesenkt werden kann, da die herkömmlichen Seitenspiegel durch aerodynamischere Fahrzeugkameras ersetzt werden. Außerdem wird vorteilhafterweise die übermittelte Information für den Nutzer durch die Anpassung des Hauptkamerabildes basierend auf den zusätzlich erfassten Sensordaten erheblich erweitert, so dass insbesondere die Kollisionsgefahr mit statischen Objekten reduziert und/oder die Navigation des Fahrzeugs vereinfacht wird. Somit wird der Kundennutzen durch die Erfindung in vielerlei Hinsicht erhöht.The method has the advantage that the vehicle's air resistance can be significantly reduced, as the conventional side mirrors are replaced by more aerodynamic vehicle cameras. In addition, the information transmitted to the user is advantageously significantly expanded by adapting the main camera image based on the additionally recorded sensor data, so that in particular the risk of collision with static objects is reduced and/or the navigation of the vehicle is simplified. The invention thus increases the customer benefit in many ways.

In einer besonders bevorzugten Ausgestaltung der Erfindung wird das Hauptkamerabild mittels einer zum Fahrzeugsensorsystem separaten Fahrzeugkamera erfasst. Diese separate Fahrzeugkamera ist insbesondere seitlich am Fahrzeug angeordnet ist und weist eine Blickrichtung nach hinten auf. Es können mehrere separate Fahrzeugkameras am Fahrzeug angeordnet sein, insbesondere eine rechte und eine linke seitlich am Fahrzeug angeordnete separate Fahrzeugkamera. Durch diese Ausgestaltung resultiert vorteilhafterweise eine Seitenspiegelersatzansicht mit hoher Auflösung und realistischer Darstellung. Es kann vorteilhafterweise der Funktionsumfang eines Surround View - Systems zur Park- und Manöverunterstützung als Fahrzeugsensorsystems, umfassend typischerweise vier Weitwinkelkameras und wenigstens acht Ultraschallsensoren, leicht um eine hochwertige Seitenspiegelersatzansicht erweitert werden. Das Verfahren kann zusätzlich oder alternativ auch mittels anders ausgerichteten separaten Fahrzeugkameras durchgeführt werden, beispielsweise mittels zentral nach vorne und/oder zentral nach hinten ausgerichteten Fahrzeugkameras. Hierdurch resultieren gegenüber virtuellen Ansichten von Umgebungsmodellen realistischere Ansichten von einer Abfolge von Kamerabildern, wobei durch die Anpassung des Hauptkamerabildes bei der Anzeige dem Nutzer erweiterte Informationen zur Verfügung gestellt werden.In a particularly preferred embodiment of the invention, the main camera image is captured by means of a vehicle camera that is separate from the vehicle sensor system. This separate vehicle camera is arranged in particular on the side of the vehicle and has a viewing direction to the rear. Several separate vehicle cameras can be arranged on the vehicle, in particular a separate vehicle camera arranged on the right and a separate vehicle camera on the left side of the vehicle. This embodiment advantageously results in a side mirror replacement view with high resolution and realistic representation. The range of functions of a surround view system for parking and maneuvering support as a vehicle sensor system, typically comprising four wide-angle cameras and at least eight ultrasonic sensors, can advantageously be easily expanded to include a high-quality side mirror replacement view. The method can additionally or alternatively also be carried out using separate vehicle cameras that are aligned differently, for example using vehicle cameras that are aligned centrally to the front and/or centrally to the rear. This results in more realistic views of a sequence of camera images than virtual views of environmental models, with the user being provided with additional information by adapting the main camera image when displaying it.

In einer alternativen Ausführung der Erfindung erfolgt die Erfassung des Hauptkamerabildes mittels einer Weitwinkelkamera des Fahrzeugsensorsystems als Fahrzeugkamera. Die Erfassung beziehungsweise Erzeugung beziehungsweise Ermittlung des Hauptkamerabilds erfolgt in dieser Ausführung vorteilhafterweise durch wenigstens eine Koordinatentransformation des erfassten Rohkamerabildes der Weitwinkelkamera zur Entzerrung und/oder Änderung der Perspektive (entsprechend der Erzeugung einer Abbildung einer birds-eye-Ansicht auf einem Weitwinkelbild).In an alternative embodiment of the invention, the main camera image is captured using a wide-angle camera of the vehicle sensor system as a vehicle camera. In this embodiment, the capture or generation or determination of the main camera image is advantageously carried out by at least one coordinate transformation of the captured raw camera image of the wide-angle camera for distortion correction and/or changing the perspective (corresponding to the generation of an image of a bird's-eye view on a wide-angle image).

In einer Weiterführung des Verfahrens wird die Erfassung des Hauptkamerabildes gleichzeitig mittels der separaten Fahrzeugkamera und mittels der Weitwinkelkamera des Fahrzeugsensorsystems durchgeführt, wobei die erfassten Bilder der separaten Fahrzeugkamera und der Weitwinkelkamera insbesondere zum Hauptkamerabild kombiniert werden. Die Erfassung beziehungsweise Erzeugung des Hauptkamerabildes erfolgt in dieser Weiterführung beispielsweise durch Kombination der erfassten Bilder von separater Fahrzeugkamera und Weitwinkelkamera, wobei vorteilhafterweise eine zumindest teilweise transparente Überlagerung oder eine Mittelung der Farb- und/oder Helligkeitswerte durchgeführt wird. Alternativ kann das Bild der Weitwinkelkamera nur bei einer erkannten Verschmutzung der separaten Fahrzeugkamera als Hauptkamerabild erfasst beziehungsweise erzeugt werden. Es kann alternativ auch vorgesehen sein, dass die Kombination in Falle einer erkannten Verschmutzung einer der Kameras in einem der erfassten Bilder ausgesetzt und bei erkannter Verschmutzung nur das nicht verschmutzte Bild als Hauptkamerabild erfasst wird. In dieser Ausgestaltung resultiert der Vorteil, dass das Verfahren eine Redundanz bei einer ausfallenden beziehungsweise verschmutzten Kamera aufweist. Somit wird die Sicherheit des Fahrzeugs in dieser Weiterführung erhöht. Außerdem kann in dieser Ausgestaltung das Bild der separaten Fahrzeugkamera vorteilhafterweise um Bildinhalte der Weitwinkelkamera erweitert werden.In a continuation of the method, the main camera image is captured simultaneously using the separate vehicle camera and the wide-angle camera of the vehicle sensor system, with the captured images of the separate vehicle camera and the wide-angle camera being combined in particular to form the main camera image. The capture or generation of the main camera image is carried out in this continuation, for example, by combining the captured images of the separate vehicle camera and the wide-angle camera, with an at least partially transparent overlay or an averaging of the color and/or brightness values advantageously being carried out. Alternatively, the image of the wide-angle camera can only be captured or generated as the main camera image if the separate vehicle camera is detected to be dirty. Alternatively, it can also be provided that the combination is suspended in the event of detected dirt on one of the cameras in one of the captured images and, if dirt is detected, only the uncontaminated image is captured as the main camera image. This embodiment has the advantage that the method has redundancy in the event of a camera failure or becoming dirty. This increases the safety of the vehicle in this way. In addition, in this embodiment the image from the separate vehicle camera can advantageously be expanded to include image content from the wide-angle camera.

Vorzugsweise erfolgt des Weiteren als zusätzlicher Verfahrensschritt eine Erkennung von mindestens einem statischen und/oder dynamischen Objekt. Das statische Objekt kann beispielsweise ein anderes parkendes Fahrzeug, eine Wand, ein Stein, ein Poller oder ein Baum sein. Das dynamische Objekt ist beispielsweise eine Person, ein Tier oder ein anderes Fahrzeug, beispielsweise ein Fahrradfahrer. Die Erkennung von Objekten erfolgt bevorzugt durch ein angelerntes maschinelles Erkennungsverfahren, insbesondere durch ein neuronales Netz. Alternativ oder zusätzlich wird in dieser Ausführung wenigstens ein spezifisches Segment in der Umgebung des Fahrzeugs in Abhängigkeit der erfassten zusätzlichen Sensordaten erkannt, wobei das erkannte spezifische Segment insbesondere die Fahrbahn oder einen erkannten freien Parkplatz in der Umgebung des Fahrzeugs repräsentiert. Die Erkennung eines freien Parkplatzes als spezifisches Segment erfolgt bevorzugt durch Ermittlung von Abständen zwischen erfassten Reflexionspunkten an statischen Objekten, insbesondere basierend auf empfangenen Ultraschallsignalen, und/oder durch ein angelerntes maschinelles Erkennungsverfahren, insbesondere durch ein neuronales Netz. Anschließend wird die jeweilige Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug in Abhängigkeit der erfassten zusätzlichen Sensordaten ermittelt oder abgeschätzt. Die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes mit zusätzlichen Bilddaten werden in dieser Ausführung jeweils basierend auf der ermittelten Lage des erkannten Objektes und/oder der ermittelten Lage des erkannten spezifischen Segments durchgeführt. Außerdem sind vorteilhafterweise die Veränderung des Teilbildbereichs und/oder die zusätzlichen Bilddaten abhängig von dem erkannten Objekt beziehungsweise dem erkannten spezifischen Segment, beispielsweise wird für unterschiedliche Objekte und unterschiedliche Segmente durch die Veränderung jeweils eine voneinander verschiedene farbliche Akzentuierung beziehungsweise Hervorhebung durchgeführt. Durch diese Ausführung des Verfahrens werden für den Nutzer besonders leicht verständlich Objekte und spezifische Segmente, wie die Fahrbahn oder ein Parkplatz, in dem Hauptkamerabild gekennzeichnet, so dass das Risiko einer Kollision des Fahrzeugs reduziert und die Navigation erleichtert werden.Preferably, as an additional method step, at least one static and/or dynamic object is detected. The static object can be, for example, another parked vehicle, a wall, a stone, a bollard or a tree. The dynamic object is, for example, a person, an animal or another vehicle, for example a cyclist. Objects are preferably detected by a trained machine detection method, in particular by a neural network. Alternatively or additionally, in this embodiment, at least one specific segment in the environment of the vehicle is detected depending on the additional sensor data recorded, the specific segment detected representing in particular the roadway or a recognized free parking space in the environment of the vehicle. A free parking space is preferably detected as a specific segment by determining distances between detected reflection points on static objects, in particular based on received ultrasound signals, and/or by a trained machine detection method, in particular by a neural network. The respective position of the detected object and/or the recognized specific segment relative to the vehicle is then determined or estimated depending on the additional sensor data recorded. In this embodiment, the change in the partial image area of the captured main camera image and/or the overlay of the main camera image with additional image data are each carried out based on the determined position of the detected object and/or the determined position of the detected specific segment. In addition, the change in the partial image area and/or the additional image data are advantageously dependent on the detected object or the detected specific segment, for example, for different objects and different segments, a different color accentuation or highlighting is carried out as a result of the change. This embodiment of the method means that objects and specific segments, such as the roadway or a parking lot, are marked in the main camera image in a way that is particularly easy for the user to understand, so that the risk of a vehicle collision is reduced and navigation is made easier.

In einer anderen Weiterführung werden das erkannte Objekt und/oder das erkannte spezifische Segment in der Umgebung des Fahrzeugs in Abhängigkeit des erfassten Hauptkamerabildes validiert. Mit anderen Worten wird vorteilhafterweise mit einem angelernten maschinellen Erkennungsverfahren basierend auf den Sensordaten erkannte statische und/oder dynamische Objekt und/oder das basierend auf den Sensordaten erkannte spezifisches Segment in dem Hauptkamerabild erkannt beziehungsweise gesucht. Die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes mit zusätzlichen Bilddaten werden jeweils nur durchgeführt, wenn das erkannte Objekt und/oder das erkannte spezifischen Segment in Abhängigkeit des erfassten Hauptkamerabildes validiert wurden beziehungsweise in anderen Worten, wenn das Objekt und/oder das spezifischen Segment sowohl in Abhängigkeit der erfassten Sensordaten als auch basierend auf dem erfassten Hauptkamerabild erkannt werden. Dadurch werden Fehlerkennungen vermieden und/oder die angelernten maschinellen Erkennungsverfahren können effizienter ausgelegt werden. Zusätzlich oder alternativ kann eine Ermittlung der jeweiligen Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug zusätzlich in Abhängigkeit des erfassten Hauptkamerabildes vorgesehen sein, das heißt die jeweilige Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug wird vorteilhafterweise in Abhängigkeit der erfassten Sensordaten und des erfassten Hauptkamerabildes ermittelt, vorteilhafterweise durch eine stereoskopische Entfernungs- und Abstandsmessung mit der Fahrzeugkamera und der Weitwinkelkamera beziehungsweise eine Stereo-Vision-Verfahren, oder alternativ durch Ermittlung basierend auf Abstandsdaten wenigstens eines Abstandssensors und dem erfassten Hauptkamerabild oder einer Abfolge von Hauptkamerabildern. Dadurch werden die Genauigkeit und die Zuverlässigkeit der Lagenermittlung zu einem erkannten Objekt und/oder einem erkannten spezifischen Segment verbessert. Alternativ oder zusätzlich wird eine Höheninformation zum erkannten Objekt und/oder dem erkannten spezifischen Segment, wenn es sich bei dem Segment beispielsweise um eine Durchfahrt handelt, basierend auf den erfassten Sensordaten und dem erfassten Hauptkamerabild ermittelt. Die Höheninformation wird vorteilhafterweise durch eine stereoskopische Entfernungs- und Abstandsmessung mit der Fahrzeugkamera und der Weitwinkelkamera beziehungsweise eine Stereo-Vision-Verfahren, oder alternativ durch Ermittlung basierend auf Abstandsdaten wenigstens eines Abstandssensors und dem erfassten Hauptkamerabild oder einer Abfolge von Hauptkamerabildern erfolgen. Dadurch wird die Höheninformation zuverlässig ermittelt beziehungsweise abgeschätzt, wodurch beispielsweise Warnhinweise für den Fahrer oder eine automatische Bremsung in Abhängigkeit einer ermittelten Höheninformation angezeigt beziehungsweise eingeleitet werden können.In another continuation, the detected object and/or the detected specific segment in the surroundings of the vehicle are validated depending on the captured main camera image. In other words, a trained machine recognition method based on the sensor data is advantageously used to detect or search for a static and/or dynamic object detected based on the sensor data and/or the specific segment detected based on the sensor data in the main camera image. The change in the partial image area of the captured main camera image and/or the overlay of the main camera image with additional image data are only carried out if the detected object and/or the detected specific segment have been validated depending on the captured main camera image or, in other words, if the object and/or the specific segment are detected both depending on the captured sensor data and based on the captured main camera image. This avoids false detections and/or the trained machine recognition methods can be designed more efficiently. Additionally or alternatively, a determination of the respective position of the detected object and/or the detected specific segment relative to the vehicle can also be provided as a function of the captured main camera image, i.e. the respective position of the detected object and/or the detected specific segment relative to the vehicle is advantageously determined as a function of the captured sensor data and the captured main camera image, advantageously by a stereoscopic distance and spacing measurement with the vehicle camera and the wide-angle camera or a stereo vision method, or alternatively by determination based on distance data from at least one distance sensor and the captured main camera image or a sequence of main camera images. This improves the accuracy and reliability of the position determination for a detected object and/or a detected specific segment. Alternatively or additionally, height information for the detected object and/or the detected specific segment, if the segment is a passage, for example, is determined based on the captured sensor data and the captured main camera image. The height information is advantageously provided by a stereoscopic distance and spacing measurement with the vehicle camera and the wide-angle camera or a stereo vision method, or alternatively by determination based on distance data from at least one distance sensor and the captured main camera image or a sequence of main camera images. The height information is thereby reliably determined or estimated, which, for example, warnings for the driver or automatic braking can be displayed or initiated depending on the altitude information determined.

In einer anderen Ausgestaltung wird eine Karte der Umgebung des Fahrzeugs in Abhängigkeit der erfassten zusätzlichen Sensordaten erzeugt. Vorzugsweise umfasst die Karte ermittelte Abstände zwischen dem Fahrzeug und statischen Objekten in der Umgebung des Fahrzeugs und/oder die Lage der Reflexionspunkte von Ultraschallsignalen, Radarsignalen und/oder Lidarsignalen an statischen Objekten, wobei die Abstände und/oder Lagen vorteilhafterweise laufend basierend auf dern erfassten Sensordaten ermittelt und entsprechend der Fahrzeugbewegung aktualisiert sowie Signale dynamischer Objekte basierend auf Signaleigenschaften oder erkannten Objekten gefiltert werden. Die erzeugte Karte umfasst des Weiteren vorteilhafterweise basierend auf den ermittelten Abständen und/oder Lagen der Reflexionspunkte bestimmte Außenkanten der Objekte in der Umgebung des Fahrzeugs. Anschließend wird eine Ansicht auf die erzeugte Karte der Umgebung aus einer virtuellen Perspektive bestimmt, wobei diese erzeugte Ansicht die Position und die Blickrichtung der Fahrzeugkamera repräsentiert, welche das Hauptkamerabild erfasst hat. Die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes erfolgt in dieser Ausgestaltung in Abhängigkeit der bestimmten Ansicht auf die erzeugte Karte der Umgebung, insbesondere durch nicht transparente oder zumindest teilweise transparente Überlagerung des Hauptkamerabildes mit der bestimmten Ansicht auf die erzeugte Karte. Alternativ oder zusätzlich werden beispielsweise in dieser Ausgestaltung in dem Hauptkamerabild die Pixel zu in der Karte eingetragenen Reflexionspunkte und/oder bestimmten Außenkanten der Objekte in Abhängigkeit ihres Abstandes zum Fahrzeug farblich verändert. Durch diese Ausgestaltung werden vorteilhafterweise basierend auf den erfassten zusätzlichen Sensordaten ermittelte Abstandsdaten und/oder bestimmte Außenkanten von Objekten an die passende Koordinate bzw. Position innerhalb des Hauptkamerabildes übertragen, so dass der Nutzer das Hauptkamerabild besser einschätzen kann. Hierdurch resultiert ein angepasstes Hauptkamerabild, welches in der Anzeige für den Nutzer leicht verständlich ist.In another embodiment, a map of the surroundings of the vehicle is generated depending on the additional sensor data recorded. The map preferably includes determined distances between the vehicle and static objects in the surroundings of the vehicle and/or the position of the reflection points of ultrasonic signals, radar signals and/or lidar signals on static objects, wherein the distances and/or positions are advantageously continuously determined based on the recorded sensor data and updated according to the vehicle movement, and signals of dynamic objects are filtered based on signal properties or detected objects. The generated map further advantageously includes certain outer edges of the objects in the surroundings of the vehicle based on the determined distances and/or positions of the reflection points. A view of the generated map of the surroundings is then determined from a virtual perspective, wherein this generated view represents the position and viewing direction of the vehicle camera that captured the main camera image. In this embodiment, the change in the partial image area of the captured main camera image and/or the overlay of the main camera image takes place depending on the specific view on the generated map of the environment, in particular by non-transparent or at least partially transparent overlay of the main camera image with the specific view on the generated map. Alternatively or additionally, for example in this embodiment, the pixels in the main camera image for reflection points entered in the map and/or certain outer edges of the objects are changed in color depending on their distance from the vehicle. This embodiment advantageously transfers distance data determined based on the captured additional sensor data and/or certain outer edges of objects to the appropriate coordinate or position within the main camera image so that the user can better assess the main camera image. This results in an adapted main camera image that is easy for the user to understand in the display.

In einer weiteren Ausführung kann es vorgesehen sein, dass eine vorgegebene Karte der Umgebung des Fahrzeugs bereitgestellt wird. Anschließend wird eine Position des Fahrzeugs bestimmt. Die Positionsbestimmung erfolgt beispielsweise mittels eines sattelitengestützten Navigationssystems, wie beispielsweise GPS, Galilei, GLONASS oder Beidou. Anschließend wird in dieser Ausführung eine Ansicht auf die vorgegebene Karte der Umgebung aus einer virtuellen Perspektive in Abhängigkeit der bestimmten Position des Fahrzeugs bestimmt, wobei die virtuelle Perspektive die Position und die Blickrichtung der Fahrzeugkamera repräsentiert. Danach erfolgt die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes in Abhängigkeit der bestimmten Ansicht auf die vorgegebene Karte der Umgebung. In dieser Ausführung können beispielsweise Straßennamen oder Geschäftsbezeichnungen leicht durch Überlagerung des Hauptkamerabildes mit der bestimmten Ansicht auf die vorgegebene Karte für den Nutzer angezeigt werden. Dadurch werden die Orientierung und das Verständnis des Nutzers gestärkt.In a further embodiment, it can be provided that a predefined map of the surroundings of the vehicle is provided. The position of the vehicle is then determined. The position is determined, for example, using a satellite-based navigation system such as GPS, Galileo, GLONASS or Beidou. In this embodiment, a view of the predefined map of the surroundings is then determined from a virtual perspective depending on the specific position of the vehicle, whereby the virtual perspective represents the position and the direction of view of the vehicle camera. The partial image area of the captured main camera image is then changed and/or the main camera image is superimposed on the predefined map of the surroundings depending on the specific view. In this embodiment, for example, street names or business names can easily be displayed to the user by overlaying the main camera image with the specific view on the predefined map. This improves the user's orientation and understanding.

Darüber hinaus kann es vorgesehen sein, dass die Veränderung des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung des Hauptkamerabildes mit zusätzlichen Bilddaten zusätzlich in Abhängigkeit von aktuellen Navigationsdaten eines Navigationssystems des Fahrzeugs und/oder eines mobilen Endgerätes des Nutzers erfolgt, welche insbesondere eine bevorzugte bevorstehende Fahrtrichtung beziehungsweise Navigationsrichtung repräsentieren. In dieser Ausführung wird bevorzugt ein Hinweis zu der bevorzugten bevorstehenden Fahrtrichtung beziehungsweise Navigationsrichtung in das Hauptkamerabild integriert.Furthermore, it can be provided that the change in the partial image area of the captured main camera image and/or the overlaying of the main camera image with additional image data also takes place depending on current navigation data from a navigation system of the vehicle and/or a mobile device of the user, which in particular represent a preferred upcoming direction of travel or navigation direction. In this embodiment, an indication of the preferred upcoming direction of travel or navigation direction is preferably integrated into the main camera image.

Bei der Überlagerung des Hauptkamerabildes sind die zusätzlichen Bilddaten vorzugsweise zumindest teilweise transparent. Dadurch geht die Bildinformation des Hauptkamerabildes nicht verloren.When overlaying the main camera image, the additional image data is preferably at least partially transparent. This means that the image information of the main camera image is not lost.

Vorteilhafterweise werden in einer weiteren Ausgestaltung mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras erfasst und die Anzeige der zwei angepassten Hauptkamerabilder mittels unterschiedlicher Anzeigevorrichtungen durchgeführt.Advantageously, in a further embodiment, at least two main camera images are captured by means of different vehicle cameras and the display of the two adapted main camera images is carried out by means of different display devices.

In einer Weiterbildung werden mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras erfasst. Die Anzeige der mindestens zwei angepassten Hauptkamerabilder erfolgt vorteilhafterweise durch eine Projektion der angepassten Hauptkamerabilder auf eine gemeinsame dreidimensionale Projektionsfläche mittels einer Anzeigevorrichtung. Dabei kann es vorteilhafterweise vorgesehen sein, dass die Projektionsfläche dreidimensional ist und/oder insbesondere in Abhängigkeit der erfassten Sensordaten angepasst wird. Durch diese Weiterbildung wird vorteilhafterweise ein dreidimensionales Umgebungsmodell geschaffen, wobei auf die Projektionsfläche angepasste Hauptkamerabilder projiziert werden, welche basierend auf den zusätzlichen Sensordaten an der richtigen Position erweiterte Information umfassen.In a further development, at least two main camera images are recorded using different vehicle cameras. The display of the at least two adapted main camera images is advantageously carried out by projecting the adapted main camera images onto a common three-dimensional projection surface using a display device. It can advantageously be provided that the projection surface is three-dimensional and/or is adapted in particular depending on the recorded sensor data. This further development advantageously creates a three-dimensional environment model, with adapted main camera images being projected onto the projection surface, which include extended information based on the additional sensor data at the correct position.

Die Erfindung betrifft auch ein Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des erfindungsgemäßen Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.The invention also relates to a computer program comprising instructions which, when the program is executed by a computer, cause the computer to carry out the steps of the method according to the invention according to one of the preceding claims.

Die Erfindung betrifft des Weiteren eine Rechenvorrichtung, insbesondere ein Steuergerät, eine dezentrale oder zentrale Rechenvorrichtung. Die Rechenvorrichtung umfasst wenigstens einen ersten Signaleingang zur Bereitstellung eines ersten Eingangssignals, welches mindestens ein mittels einer Fahrzeugkamera erfasstes Hauptkamerabild von einem Umgebungsbereich des Fahrzeugs repräsentiert, wobei die Fahrzeugkamera insbesondere nicht Teil eines Fahrzeugsensorsystems ist. Die Rechenvorrichtung umfasst des Weiteren vorzugsweise einen zweiten Signaleingang zur Bereitstellung eines zweiten Eingangssignals, welches mittels eines Fahrzeugsensorsystems erfasste zusätzlichen Sensordaten zu dem erfassten Umgebungsbereich repräsentiert. Darüber hinaus weist die Rechenvorrichtung einen Signalausgang zur Ausgabe eines Ausgangssignals für eine Anzeigevorrichtung auf, wobei das Ausgangssignal zumindest ein angepasstes Hauptkamerabild repräsentiert, und vorteilhafterweise dazu eingerichtet ist, eine Anzeigevorrichtung zur Anzeige des angepassten Hauptkamerabildes zu steuern.The invention further relates to a computing device, in particular a control device, a decentralized or centralized computing device. The computing device comprises at least one first signal input for providing a first input signal, which represents at least one main camera image of an area surrounding the vehicle captured by a vehicle camera, wherein the vehicle camera is in particular not part of a vehicle sensor system. The computing device further preferably comprises a second signal input for providing a second input signal, which represents additional sensor data on the captured area surrounding the vehicle captured by a vehicle sensor system. In addition, the computing device has a signal output for outputting an output signal for a display device, wherein the output signal represents at least one adapted main camera image, and is advantageously designed to control a display device for displaying the adapted main camera image.

Die Erfindung betrifft auch eine Recheneinheit, insbesondere ein Prozessor, die so konfiguriert ist, dass sie die Schritte des erfindungsgemäßen Verfahrens ausführt.The invention also relates to a computing unit, in particular a processor, which is configured to carry out the steps of the method according to the invention.

Die Erfindung betrifft außerdem ein Fahrzeug, umfassend die erfindungsgemäße RechenvorrichtungThe invention also relates to a vehicle comprising the computing device according to the invention

In einer Weiterbildung umfasst das Fahrzeug wenigstens eine Anzeigevorrichtung mit einem Display, wobei das mindestens eine Display insbesondere eine gewöhnliche Türverkleidung einer seitlichen Fahrer- und/oder Beifahrertür des Fahrzeugs vorteilhafterweise zumindest teilweise ersetzt, insbesondere ersetzt das Display die Türverkleidung mit einem Flächenanteil von größer 33%, insbesondere größer 50%. Dadurch resultiert für den Fahrer vorteilhafterweise der Effekt durch die Tür hindurchschauen zu können, so dass der untere seitlich neben dem Fahrzeug liegende Bereich am Boden einsehbar ist, welcher normalerweise für den Fahrer nicht sichtbar ist. So können vorteilhafterweise Unfälle vermieden werden.In a further development, the vehicle comprises at least one display device with a display, wherein the at least one display advantageously at least partially replaces a conventional door panel of a side driver and/or passenger door of the vehicle, in particular the display replaces the door panel with a surface area of more than 33%, in particular more than 50%. This advantageously results in the effect for the driver of being able to see through the door, so that the lower area on the floor next to the vehicle can be seen, which is normally not visible to the driver. This advantageously helps to avoid accidents.

Weitere Vorteile ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen mit Bezug zu den Figuren.

  • 1: Fahrzeug
  • 2: Ablaufdiagramm des Verfahrens als Blockschaltbild
  • 3: virtuelle Perspektive auf eine erzeugte Karte
  • 4: angezeigtes angepasstes Hauptkamerabildes
  • 5: Ansicht eines Innenraums eines Fahrzeugs mit Fahrertür
Further advantages will become apparent from the following description of embodiments with reference to the figures.
  • 1 : Vehicle
  • 2 : Flow chart of the process as a block diagram
  • 3 : virtual perspective on a generated map
  • 4 : displayed adjusted main camera image
  • 5 : View of a vehicle interior with driver's door

AusführungsbeispieleExamples of implementation

In 1 ist schematisch ein Fahrzeug 100 in Aufsicht von oben dargestellt. Das Fahrzeug weist ein Fahrzeugsensorsystem 110 auf, welches vier Weitwinkelkameras 111, 112, 113 und 114 sowie 12 Ultraschallsensoren als Abstandssensoren 115 umfasst. Zusätzlich oder alternativ kann als Abstandssensor wenigstens ein Radarsensor oder ein Lidarsensor angeordnet sein. Das Fahrzeugsensorsystem 110 ist mittels einer Rechenvorrichtung 120 dazu eingerichtet, eine Surround View - Ansicht der Umgebung 190 des Fahrzeugs 100 basierend auf den erfassten Kamerabildern der Weitwinkelkameras 111 bis 114 und der erfassten beziehungsweise ermittelten Abstandsdaten der Abstandssensoren 115 anzuzeigen sowie beispielsweise naheliegende statische und dynamische Objekte in der Umgebung des Fahrzeugs und freie Parklücken zu erkennen und vorteilhafterweise Einparkvorgänge basierend auf ermittelten Einparktrajektorien automatisiert und kollisionsfrei durchzuführen. Die mittels des Fahrzeugsensorsystems erfassten Sensordaten umfassen folglich die mittels der Weitwinkelkameras 111 bis 114 erfassten Kamerabilder und die mittels der Abstandsensoren erfassten Abstandsdaten. Das Fahrzeug weist des Weiteren zum Fahrzeugsensorsystem 120 an der rechten Fahrzeugseite 101 eine erste separate Fahrzeugkamera 130 und an der linken Fahrzeugseite 102 eine zweite separate Fahrzeugkamera 140 mit jeweils nach hinten gerichteten auf. Das Blickfeld 131 der ersten separaten Fahrzeugkamera 130 und das Blickfeld 141 der zweiten separaten Fahrzeugkamera 140 sind im Vergleich zu den Blickfeldern der Weitwinkelkameras des Fahrzeugsensorsystems eng und betragen insbesondere jeweils einen Öffnungswinkel von kleiner oder gleich 90°, vorzugsweise kleiner oder gleich 60°. Optional umfasst das Fahrzeug in diesem Beispiel wenigstens eine dritte separate Fahrzeugkamera 150 an der Rückseite 103 des Fahrzeugs, insbesondere hinter der Heckscheibe 108, mit nach hinten gerichtetem, insbesondere gegenüber der Weitwinkelkamera 114 engerem Blickfeld 151. Zusätzlich oder alternativ können weitere zum Fahrzeugsensorsystem separate Fahrzeugkameras am Fahrzeug 100 angeordnet sein, beispielsweise mit einem nach vorne gerichtetem Blickfeld. Die Fahrzeugkameras 130, 140, 150 sind jeweils dazu eingerichtet, ein Hauptkamerabild zu erfassen, welches jeweils einen Umgebungsteilbereich der Umgebung 190 abbildet, welcher jeweils insbesondere dem jeweiligen Blickfeld 131, 141 oder 151 entspricht. Die erste separate Fahrzeugkamera 130 ist dazu eingerichtet, ein erstes Hauptkamerabild zu erfassen, insbesondere kontinuierlich beziehungsweise eine Abfolge von ersten Hauptkamerabildern. Die zweite separate Fahrzeugkamera 140 ist dazu eingerichtet, ein zweites Hauptkamerabild zu erfassen, insbesondere kontinuierlich beziehungsweise eine Abfolge von zweiten Hauptkamerabildern. Die dritte separate Fahrzeugkamera 150 ist dazu eingerichtet, ein drittes Hauptkamerabild zu erfassen, insbesondere kontinuierlich beziehungsweise eine Abfolge von dritten Hauptkamerabildern. Die erste, zweite und dritte separate Fahrzeugkamera 130, 140, 150 sind jeweils mit der Rechenvorrichtung 120 verbunden. Das Fahrzeug umfasst des Weiteren wenigstens eine Anzeigevorrichtung 160, wobei die Anzeigevorrichtung 160 vorzugsweise wenigstens ein Display 161, 162 für jede separate Fahrzeugkamera oder alternativ ein Display 163 für wenigstens zwei separate Fahrzeugkameras umfasst. Das Display 161, 162 der Anzeigevorrichtung 160 ist vorzugsweise an der Fahrertür 105 oder der Beifahrertür 106 angeordnet. Das Display 161, 162 der Anzeigevorrichtung 160 ersetzt insbesondere eine Türverkleidung einer Fahrer- oder Beifahrertür des Fahrzeugs 100 zumindest teilweise. Alternativ kann das Display 161, 162 der Anzeigevorrichtung 160 vorteilhafterweise hinter einem Teil der seitlichen Windschutzscheibe 107 oder in einem seitlichen Bereich der vorderen Verkleidung des Innenraums oder beispielsweise am Armaturenbrett angeordnet sein, wie in 1 dargestellt. Das Display 163 der Anzeigevorrichtung kann auch am Rückspiegel 104 des Fahrzeugs 100 angeordnet sein, wie in 1 dargestellt. In der Umgebung 190 des Fahrzeugs können statische Objekte 171, 172, beispielsweise andere parkende Fahrzeuge, und/oder dynamische beziehungsweise bewegte Objekte 170, beispielsweise Personen, vorliegen. Des Weiteren können beispielsweise in der Umgebung des Fahrzeugs basierend auf den Sensordaten spezifische Segmente 180 der Umgebung, wie beispielsweise ein freier Parkplatz P, erkannt bezieungsweise ermittelt werden.In 1 a vehicle 100 is shown schematically in a view from above. The vehicle has a vehicle sensor system 110, which comprises four wide-angle cameras 111, 112, 113 and 114 and 12 ultrasonic sensors as distance sensors 115. Additionally or alternatively, at least one radar sensor or one lidar sensor can be arranged as a distance sensor. The vehicle sensor system 110 is set up by means of a computing device 120 to display a surround view of the surroundings 190 of the vehicle 100 based on the captured camera images of the wide-angle cameras 111 to 114 and the captured or determined distance data of the distance sensors 115 and, for example, to recognize nearby static and dynamic objects in the surroundings of the vehicle and free parking spaces and advantageously to carry out parking operations based on determined parking trajectories in an automated and collision-free manner. The sensor data recorded by the vehicle sensor system therefore include the camera images recorded by the wide-angle cameras 111 to 114 and the distance data recorded by the distance sensors. In addition to the vehicle sensor system 120, the vehicle also has a first separate vehicle camera 130 on the right-hand side 101 of the vehicle and a second separate vehicle camera 140 on the left-hand side 102 of the vehicle, each of which faces rearward. The field of view 131 of the first separate vehicle camera 130 and the field of view 141 of the second separate vehicle camera 140 are narrow compared to the fields of view of the wide-angle cameras of the vehicle sensor system and in particular each have an opening angle of less than or equal to 90°, preferably less than or equal to 60°. Optionally, the vehicle in this example comprises at least a third separate vehicle camera 150 on the rear 103 of the vehicle, in particular behind the rear window 108, with a rear-facing field of view 151, in particular narrower than the wide-angle camera 114. Additionally or alternatively, further vehicle cameras 150 can be connected to the vehicle. vehicle sensor system, separate vehicle cameras can be arranged on the vehicle 100, for example with a field of view directed forwards. The vehicle cameras 130, 140, 150 are each set up to capture a main camera image, which in each case images a partial area of the environment 190, which in each case corresponds in particular to the respective field of view 131, 141 or 151. The first separate vehicle camera 130 is set up to capture a first main camera image, in particular continuously or a sequence of first main camera images. The second separate vehicle camera 140 is set up to capture a second main camera image, in particular continuously or a sequence of second main camera images. The third separate vehicle camera 150 is set up to capture a third main camera image, in particular continuously or a sequence of third main camera images. The first, second and third separate vehicle cameras 130, 140, 150 are each connected to the computing device 120. The vehicle further comprises at least one display device 160, wherein the display device 160 preferably comprises at least one display 161, 162 for each separate vehicle camera or alternatively a display 163 for at least two separate vehicle cameras. The display 161, 162 of the display device 160 is preferably arranged on the driver's door 105 or the passenger door 106. The display 161, 162 of the display device 160 in particular at least partially replaces a door panel of a driver's or passenger's door of the vehicle 100. Alternatively, the display 161, 162 of the display device 160 can advantageously be arranged behind a part of the side windshield 107 or in a side region of the front panel of the interior or, for example, on the dashboard, as in 1 The display 163 of the display device can also be arranged on the rearview mirror 104 of the vehicle 100, as shown in 1 shown. In the environment 190 of the vehicle, there may be static objects 171, 172, for example other parked vehicles, and/or dynamic or moving objects 170, for example people. Furthermore, for example in the environment of the vehicle, specific segments 180 of the environment, such as a free parking space P, can be recognized or determined based on the sensor data.

In 2 ist schematisch ein Ablaufdiagramm des Verfahrens zur Darstellung einer erweiterten Ansicht der Umgebung eines Fahrzeugs als Blockschaltbild dargestellt. Das Verfahren umfasst die Erfassung 210 wenigstens eines Hauptkamerabildes von einem Umgebungsteilbereich des Fahrzeugs mittels einer Fahrzeugkamera 111 bis 114, 130, 140 und 150. Die Erfassung 210 des Hauptkamerabildes erfolgt vorzugsweise mittels einer zum Fahrzeugsensorsystem separaten Fahrzeugkamera 130, 140 und 150, welche beispielsweise seitlich am Fahrzeug angeordnet ist und eine Blickrichtung nach hinten aufweist. Die Erfassung 210 des Hauptkamerabildes kann alternativ mittels einer Weitwinkelkamera des Fahrzeugsensorsystems erfolgen, wobei das Weitwinkelkamerabild so transformiert wird, dass es nur den zu erfassenden Umgebungsteilbereich des Fahrzeugs abbildet. Besonders bevorzugt erfolgt die Erfassung 210 des Hauptkamerabildes gleichzeitig mittels der separaten Fahrzeugkamera und mittels der Weitwinkelkamera des Fahrzeugsensorsystems, wobei die erfassten Hauptkamerabilder der separaten Fahrzeugkamera und das erzeugte beziehungsweise erfasste Hauptkamerabild der Weitwinkelkamera vorzugsweise zu einem gemeinsamen Hauptkamerabild kombiniert werden. Durch die resultierende Redundanz wird beispielsweise im Falle einer Verschmutzung der Fahrzeugkamera oder der Weitwinkelkamera, eine Bildinformation für den aufgrund der Verschmutzung nicht einsehbaren Umgebungsteilbereich für die verschmutzte Kamera erfasst und angezeigt. Auch eine kaputte Fahrzeugkamera oder Weitwinkelkamera kann zumindest zeitweise kompensiert werden. Im Schritt 220 werden zusätzliche Sensordaten zu dem wenigstens einen erfassten Umgebungsteilbereich 131, 141, 151 mittels des Fahrzeugsensorsystems 110 erfasst. Das Fahrzeugsensorsystem umfasst wenigstens eine Weitwinkelkamera 111 bis 114 und/oder mindestens einen Abstandssensor 115. Das Fahrzeugsensorsystem ist beispielsweise dazu eingerichtet, die zusätzlichen Sensordaten zur Umgebung 190 des Fahrzeugs 100 zu erfassen und basierend auf den erfassten Sensordaten eine Ansicht der Umgebung 190 des Fahrzeugs für den Fahrer bereitzustellen beziehungsweise zu erzeugen. Die zusätzlichen Sensordaten umfassen dabei beispielsweise Abstandsdaten, welche mittels des Abstandssensors 115 erfassten werden. Vorteilhafterweise zusätzlich oder alternativ umfassen die Sensordaten Kamerabilder der Weitwinkelkameras 111 bis 114, welche jeweils zumindest ein gegenüber den Blickfeldern der Fahrzeugkameras 130, 140, 150 größeren Teilbereich der Umgebung 190 des Fahrzeugs 100 abbilden. In einem optionalen Schritt 230 wird mindestens ein statisches und/oder dynamisches Objekt 170, 171, 172 und/oder wenigstens ein spezifisches Segment 180 in der Umgebung 190 des Fahrzeugs 100 in Abhängigkeit der erfassten zusätzlichen Sensordaten erkannt, insbesondere mit der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110. Die Erkennung des Objektes 170, 171, 172 und/oder des spezifischen Segments 180 erfolgt vorteilhafterweise durch einen angelernte maschinelles Erkennungsverfahren, insbesondere ein neuronales Netz. Die Erkennung des Objekts 170, 171, 172 und/oder des spezifischen Segments 180, beispielsweise eines freien Parkplatzes P, kann alternativ oder zusätzlich in Abhängigkeit von den Abstandsdaten der Sensordaten, welche mittels des Abstandssensors 115 erfasst werden, durchgeführt werden, wobei beispielsweise ein Abstand zwischen ermittelten Außenkanten von unterschiedlichen Objekten 171, 172 oberhalb eines Schwellenwertes als freie Parklücke interpretiert werden kann, wenn innerhalb der freien Parklücke P keine weiteren Objekte/Gegenstände oder Personen erkannt wurden. In einer Weiterbildung kann es im Schritt 231 vorgesehen sein, dass das erkannte Objekt 170, 171, 172 und/oder das erkannte spezifische Segment 180 in der Umgebung 190 des Fahrzeugs in Abhängigkeit des erfassten Hauptkamerabildes validiert wird, wobei die Erkennung des Objekts 170, 171, 172 und/oder des spezifischen Segments 180 in Abhängigkeit des erfassten Hauptkamerabildes insbesondere durch einen angelernte maschinelles Erkennungsverfahren, insbesondere ein neuronales Netz, erfolgen kann. Die Validierung 231 des erkannten Objektes 170, 171, 172 und/oder des spezifischen Segments 180 erfolgt bevorzugt mittels der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110. In einem weiteren optionalen Schritt 232 wird die jeweilige Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug in Abhängigkeit der erfassten zusätzlichen Sensordaten ermittelt, wobei die Ermittlung 232 der jeweiligen Lage des erkannten Objektes 170, 171, 172 und/oder des erkannten spezifischen Segments 180 relativ zum Fahrzeug zusätzlich in Abhängigkeit des erfassten Hauptkamerabildes durchgeführt werden kann. Die Ermittlung 232 der Lage des erkannten Objektes und/oder des spezifischen Segments erfolgt bevorzugt mittels der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110. In einem optionalen Schritt 240 kann eine Höheninformation zum erkannten Objekt und/oder zum erkannten spezifischen Segment basierend auf den erfassten Sensordaten und dem erfassten Hauptkamerabild ermittelt werden, insbesondere mittels der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110. In einem vorteilhaften optionalen Schritt 250 wird eine Karte der Umgebung des Fahrzeugs in Abhängigkeit der erfassten Sensordaten erzeugt, wobei die Karte insbesondere das Objekt und/oder das spezifische Segment mit der jeweiligen ermittelten Lage des erkannten statischen oder dynamischen Objektes und/oder des erkannten spezifischen Segments umfasst. Insbesondere umfasst die erzeugte Karte Abstände zwischen Objekten und dem Fahrzeug und vorteilhafterweise umfasst die erzeugte Karte ermittelte Reflexionspunkte an Objekten in der Umgebung des Fahrzeugs, an welchen ein Ultraschallsignal, ein Radarsignal und/oder ein Laserstrahl reflektiert und insbesondere Abstände bestimmt wurden. Die im Schritt 250 erzeugte Karte kann darüber hinaus beispielsweise Außenkonturen von Objekten umfassen, welche basierend auf den ermittelten Reflexionspunkten beziehungsweise den erfassten Abständen, ermittelt werden. Anschließend wird im Schritt 251 eine Abbildung beziehungsweise Ansicht auf die erzeugte Karte der Umgebung aus einer virtuellen Perspektive erzeugt, welche die Position und die Blickrichtung der Fahrzeugkamera repräsentiert. Mit anderen Worten wird im Schritt 251 eine virtuelle Ansicht auf die erzeugte Karte generiert, welche insbesondere nur einen Teil der erzeugten Karte abbildet, wobei die Ansicht der erzeugten Karte aus einer virtuellen Perspektive mit schräger Blickrichtung auf die erzeugte Karte generiert wird. Alternativ oder zusätzlich wird in einem weiteren optionalen Schritt 260 eine vorgegebenen Karte der Umgebung des Fahrzeugs bereitgestellt und im optionalen Schritt 261 eine Position des Fahrzeugs bestimmt. Die Positionsbestimmung 261 des Fahrzeugs erfolgt insbesondere mit einem satellitengestützten Navigationssystem, wie beispielsweise GPS, GLONASS, Galileo und/oder Beidou. Anschließend wird im optionalen Schritt 262 eine Ansicht auf die vorgegebene Karte der Umgebung aus einer virtuellen Perspektive in Abhängigkeit der bestimmten Position des Fahrzeugs erzeugt, wobei die virtuelle Perspektive die Position und die Blickrichtung der Fahrzeugkamera repräsentiert. Mit anderen Worten wird im Schritt 262 eine virtuelle Ansicht auf eine vorgegebene Karte generiert, welche insbesondere nur einen Teil der vorgegebenen Karte abbildet, wobei die Ansicht der vorgegebenen Karte aus einer virtuellen Perspektive mit schräger Blickrichtung auf die vorgegebene Karte generiert wird. Schließlich erfolgt im erfindungsgemäßen Schritt 270 die Anpassung des erfassten Hauptkamerabildes in Abhängigkeit der erfassten zusätzlichen Sensordaten durch Veränderung 271 wenigstens eines Teilbildbereichs des erfassten Hauptkamerabildes und/oder durch Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten. Insbesondere wird die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten jeweils basierend auf der ermittelten Lage des erkannten Objektes und/oder der ermittelten Lage des erkannten spezifischen Segments durchgeführt. Somit kann beispielsweise ein Teilbildbereichs des Hauptkamerabildes, welcher das erkannte Objekt abbildet, basierend auf der Lage des erkannten Objektes ermittelt und beispielsweise bezüglich der Helligkeit und/oder der Farbwerte im Schritt 270 beziehungsweise 272 verändert werden, sodass dieser beispielsweise für den Fahrer heller und roter dargestellt wird, sodass sich die Auffälligkeit des veränderten Teilbildbereichs erhöht, wodurch das Risiko einer Kollision mit dem erkannten Objekt reduziert wird. Optional wird die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten jeweils nur durchgeführt, wenn das erkannte Objekt und/oder das erkannte spezifischen Segment in Abhängigkeit des erfassten Hauptkamerabildes validiert wurden. Alternativ oder zusätzlich wird die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten vorteilhafterweise zusätzlich in Abhängigkeit einer ermittelten Höheninformation zu dem erkannten Objekt und/oder dem spezifischen Segment durchgeführt. Bevorzugt ist es zusätzlich oder alternativ vorgesehen, dass die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder durch die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten in Abhängigkeit der bestimmten Ansicht auf die erzeugte Karte der Umgebung erfolgt, insbesondere erfolgt eine zumindest teilweise transparente Überlagerung des Hauptkamerabildes mit der bestimmten Ansicht auf die erzeugte Karte. Dabei werden die Kartendaten, beispielsweise die Reflexionspunkte und/oder Abstände, in Abhängigkeit von Schwellenwerten, welche einen Abstand oder ein Kollisionsrisiko repräsentieren, insbesondere farblich angepasst. Drüber hinaus kann es zusätzlich oder alternativ vorgesehen sein, dass die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder durch die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten in Abhängigkeit der bestimmten Ansicht auf die vorgegebene Karte der Umgebung erfolgt. Die Anpassung 270 des Hauptkamerabildes durch die Veränderung 271 des Teilbildbereichs des erfassten Hauptkamerabildes und/oder durch die Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten erfolgt darüber hinaus vorteilhafterweise zusätzlich in Abhängigkeit von aktuellen Navigationsdaten eines Navigationssystems des Fahrzeugs und/oder eines mobilen Endgerätes des Nutzers, welche insbesondere eine bevorzugte bevorstehende Fahrtrichtung repräsentieren. Die bei der Überlagerung 272 des Hauptkamerabildes verwendeten zusätzlichen Bilddaten bilden vorteilhafterweise das erkannte Objekt ab, beispielsweise als Piktogramm, und/oder repräsentieren beispielsweise schematisch das erkannte Objekt und/oder das spezifische Segment. Die zusätzlichen Bilddaten werden insbesondere aus einem elektronischen Speicher des Fahrzeugs, insbesondere der Rechenvorrichtung 120 des Fahrzeugsensorsystems 110, geladen. Die zusätzlichen Bilddaten sind insbesondere zumindest teilweise transparenten. Anschließend wird im Schritt 280 das angepasste Hauptkamerabildes auf einer Anzeigevorrichtung angezeigt, wobei die Anzeigevorrichtung insbesondere ein Display zur Anzeige 280 des angepassten Hauptkamerabildes umfasst. Vorzugsweise werden im Schritt 210 mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras erfasst und die Anzeige 280 der zwei angepassten Hauptkamerabilder mittels unterschiedlicher Anzeigevorrichtungen durchgeführt. Es kann in einer Weiterbildung vorgesehen sein, dass im Schritt 210 mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras erfasst werden und die Anzeige 280 der mindestens zwei angepassten Hauptkamerabilder vorteilhafterweise durch eine Projektion auf eine gemeinsame dreidimensionale Projektionsfläche mittels der Anzeigevorrichtung erfolgt, sodass insbesondere ein Surround View - Ansicht generiert wird, wobei die Projektionsfläche insbesondere zur Vermeidung von Bildartefakten in Abhängigkeit der erfassten Sensordaten angepasst wird. Das Hauptkamerabild wird vorteilhafterweise vor der Anzeige zusätzlich gespiegelt beziehungsweise spiegelverkehrt angezeigt, so dass der Fahrer bei der Anzeige den Eindruck eines Seitenspiegelersatzes und/oder eines Rückspiegelersatzes erhält.In 2 A flow chart of the method for displaying an expanded view of the surroundings of a vehicle is shown schematically as a block diagram. The method comprises the capture 210 of at least one main camera image of a part of the surroundings of the vehicle by means of a vehicle camera 111 to 114, 130, 140 and 150. The capture 210 of the main camera image is preferably carried out by means of a vehicle camera 130, 140 and 150 that is separate from the vehicle sensor system and which is arranged, for example, on the side of the vehicle and has a viewing direction to the rear. The capture 210 of the main camera image can alternatively be carried out by means of a wide-angle camera of the vehicle sensor system, wherein the wide-angle camera image is transformed such that it only depicts the part of the surroundings of the vehicle to be captured. Particularly preferably, the capture 210 of the main camera image takes place simultaneously by means of the separate vehicle camera and by means of the wide-angle camera of the vehicle sensor system, wherein the captured main camera images of the separate vehicle camera and the generated or captured main camera image of the wide-angle camera are preferably combined to form a common main camera image. Due to the resulting redundancy, for example in the event of soiling of the vehicle camera or the wide-angle camera, image information for the surrounding area that cannot be seen due to the soiling is captured and displayed for the dirty camera. A broken vehicle camera or wide-angle camera can also be compensated for at least temporarily. In step 220, additional sensor data for the at least one captured surrounding area 131, 141, 151 is captured by means of the vehicle sensor system 110. The vehicle sensor system comprises at least one wide-angle camera 111 to 114 and/or at least one distance sensor 115. The vehicle sensor system is designed, for example, to record the additional sensor data on the surroundings 190 of the vehicle 100 and, based on the recorded sensor data, to provide or generate a view of the surroundings 190 of the vehicle for the driver. The additional sensor data includes, for example, distance data which is recorded using the distance sensor 115. Advantageously, in addition or as an alternative, the sensor data includes camera images from the wide-angle cameras 111 to 114, which each depict at least a larger sub-area of the surroundings 190 of the vehicle 100 compared to the fields of view of the vehicle cameras 130, 140, 150. In an optional step 230, at least one static and/or dynamic object 170, 171, 172 and/or at least one specific segment 180 in the environment 190 of the vehicle 100 is recognized as a function of the additional sensor data acquired, in particular with the computing device 120 of the vehicle sensor system 110. The recognition of the object 170, 171, 172 and/or the specific segment 180 is advantageously carried out by a trained machine recognition method, in particular a neural network. The recognition of the object 170, 171, 172 and/or the specific segment 180, for example a free parking space P, can alternatively or additionally carried out depending on the distance data of the sensor data which is recorded by means of the distance sensor 115, wherein, for example, a distance between determined outer edges of different objects 171, 172 above a threshold value can be interpreted as a free parking space if no further objects/items or people were detected within the free parking space P. In a further development, it can be provided in step 231 that the detected object 170, 171, 172 and/or the detected specific segment 180 in the environment 190 of the vehicle is validated depending on the recorded main camera image, wherein the detection of the object 170, 171, 172 and/or the specific segment 180 can be carried out depending on the recorded main camera image in particular by a trained machine detection method, in particular a neural network. The validation 231 of the detected object 170, 171, 172 and/or the specific segment 180 is preferably carried out by means of the computing device 120 of the vehicle sensor system 110. In a further optional step 232, the respective position of the detected object and/or the detected specific segment relative to the vehicle is determined depending on the additional sensor data recorded, wherein the determination 232 of the respective position of the detected object 170, 171, 172 and/or the detected specific segment 180 relative to the vehicle can additionally be carried out depending on the recorded main camera image. The determination 232 of the position of the detected object and/or the specific segment is preferably carried out by means of the computing device 120 of the vehicle sensor system 110. In an optional step 240, height information about the detected object and/or the detected specific segment can be determined based on the recorded sensor data and the recorded main camera image, in particular by means of the computing device 120 of the vehicle sensor system 110. In an advantageous optional step 250, a map of the surroundings of the vehicle is generated depending on the recorded sensor data, wherein the map in particular comprises the object and/or the specific segment with the respective determined position of the detected static or dynamic object and/or the detected specific segment. In particular, the generated map comprises distances between objects and the vehicle and advantageously the generated map comprises determined reflection points on objects in the surroundings of the vehicle at which an ultrasonic signal, a radar signal and/or a laser beam were reflected and in particular distances were determined. The map generated in step 250 can also include, for example, external contours of objects, which are determined based on the determined reflection points or the recorded distances. Then, in step 251, an image or view of the generated map of the surroundings is generated from a virtual perspective, which represents the position and the viewing direction of the vehicle camera. In other words, in step 251, a virtual view of the generated map is generated, which in particular only depicts a part of the generated map, wherein the view of the generated map is generated from a virtual perspective with an oblique viewing direction of the generated map. Alternatively or additionally, in a further optional step 260, a predetermined map of the surroundings of the vehicle is provided and in optional step 261 a position of the vehicle is determined. The position determination 261 of the vehicle takes place in particular with a satellite-based navigation system, such as GPS, GLONASS, Galileo and/or Beidou. Subsequently, in optional step 262, a view of the given map of the surroundings is generated from a virtual perspective depending on the specific position of the vehicle, the virtual perspective representing the position and the viewing direction of the vehicle camera. In other words, in step 262, a virtual view of a given map is generated, which in particular only depicts a part of the given map, the view of the given map being generated from a virtual perspective with an oblique viewing direction of the given map. Finally, in step 270 according to the invention, the captured main camera image is adapted depending on the captured additional sensor data by changing 271 at least one partial image area of the captured main camera image and/or by overlaying 272 the main camera image with additional image data. In particular, the adaptation 270 of the main camera image is carried out by changing 271 the partial image area of the captured main camera image and/or overlaying 272 the main camera image with additional image data, each based on the determined position of the detected object and/or the determined position of the detected specific segment. Thus, for example, a partial image area of the main camera image which depicts the detected object can be determined based on the position of the detected object and, for example, changed in terms of brightness and/or color values in step 270 or 272, so that it is displayed brighter and redder for the driver, for example, so that the conspicuity of the changed partial image area increases, thereby reducing the risk of a collision with the detected object. Optionally, the change 271 of the partial image area of the captured main camera image and/or the overlay 272 the main camera image with additional image data is only carried out when the detected object and/or the detected specific segment were validated depending on the captured main camera image. Alternatively or additionally, the adaptation 270 of the main camera image by changing 271 the partial image area of the captured main camera image and/or overlaying 272 the main camera image with additional image data is advantageously also carried out depending on determined height information for the recognized object and/or the specific segment. Preferably, it is additionally or alternatively provided that the adaptation 270 of the main camera image by changing 271 the partial image area of the captured main camera image and/or by overlaying 272 the main camera image with additional image data takes place depending on the specific view on the generated map of the environment, in particular an at least partially transparent overlay of the main camera image with the specific view on the generated map takes place. The map data, for example the reflection points and/or distances, are adapted depending on threshold values which represent a distance or a collision risk, in particular in terms of color. Furthermore, it can additionally or alternatively be provided that the adaptation 270 of the main camera image takes place by changing 271 the partial image area of the captured main camera image and/or by overlaying 272 the main camera image with additional image data depending on the specific view on the given map of the surroundings. The adaptation 270 of the main camera image by changing 271 the partial image area of the captured main camera image and/or by overlaying 272 the main camera image with additional image data is also advantageously carried out depending on current navigation data from a navigation system of the vehicle and/or a mobile device of the user, which in particular represent a preferred upcoming direction of travel. The additional image data used in the overlay 272 of the main camera image advantageously depict the recognized object, for example as a pictogram, and/or represent, for example, schematically the recognized object and/or the specific segment. The additional image data is loaded in particular from an electronic memory of the vehicle, in particular the computing device 120 of the vehicle sensor system 110. The additional image data is in particular at least partially transparent. Then, in step 280, the adapted main camera image is displayed on a display device, wherein the display device in particular comprises a display for displaying 280 the adapted main camera image. Preferably, in step 210, at least two main camera images are captured using different vehicle cameras and the display 280 of the two adapted main camera images is carried out using different display devices. In a further development, it can be provided that in step 210, at least two main camera images are captured using different vehicle cameras and the display 280 of the at least two adapted main camera images is advantageously carried out by projecting onto a common three-dimensional projection surface using the display device, so that in particular a surround view is generated, wherein the projection surface is adapted depending on the acquired sensor data in particular to avoid image artifacts. The main camera image is advantageously additionally mirrored or displayed in mirror image in front of the display, so that the driver gets the impression of a side mirror replacement and/or a rear-view mirror replacement when viewing the display.

In 3 ist schematisch eine virtuelle Perspektive 310 aus einer Position 320 und mit einer Blickrichtung 330 auf eine erzeugte Karte 300 zu der in 1 schematisch abgebildeten Fahrsituation des Fahrzeugs 100 dargestellt, welche basierend auf den Sensordaten des Fahrzeugsensorsystems 110 erzeugt wird. Die erzeugte Karte 300 umfasst beispielsweise ermittelte Reflexionspunkte von Ultraschallsignalen, Radarsignalen oder Lidarsignalen sowie die daraus ermittelten Außenkonturen der Objekte 170, 171, 172. Die Karte kann in Abhängigkeit einer erfassten Fahrzeugbewegung, beispielsweise der Fahrzeuggeschwindigkeit und des Lenkwinkels oder Gierwinkels, aktualisiert beziehungsweise angepasst werden. Teile der Karte können auf historischen Sensordaten basieren, insbesondere in Abängigkeit des erkannten Objektes. Oft ist die rückwärtige Seite der Objekte 170, 171, 172 nicht durch Sensordaten erfasst. Die nicht erfassten Objektaußenkonturen sind in 3 gestrichelt dargestellt. Die bestimmte Ansicht aus der virtuelle Perspektive 310 auf die erzeugte Karte kann beispielsweise durch eine Koordinatentransformation der Karte erzeugt werden und repräsentiert durch ihre Position 320 und ihre Blickrichtung 330 der Blickrichtung einer (realen) Fahrzeugkamera 111 bis 114, 130, 140 oder 150, welche das Hauptkamerabild erfasst. Mit anderen Worten repräsentiert die bestimmte Ansicht der erzeugten Karte 300 aus der virtuellen Perspektive 310 die Perspektive der Fahrzeugkamera 111 bis 114, 130, 140 oder 150. Dadurch lässt sich die bestimmte Ansicht insbesondere als zusätzliche Bildinformation dem erfassten Hauptkamerabild bei der Anpassung des Hauptkamerabildes überlagern, wobei vorteilhafterweise die erfassten Reflexionspunkte und die ermittelten Außenkonturen der erzeugten Karte genau dort liegen, wo ein entsprechendes Objekt, beispielsweise die Objekte 170, 171, 172, abgebildet werden. Die Anpassung 270 des Hauptkamerabildes kann also beispielsweise durch Überlagerung 272 des Hauptkamerabildes mit zusätzlichen Bilddaten erfolgen, wobei die zusätzlichen Bilddaten die bestimmte Ansicht aus der virtuellen Perspektive 310 umfasst beziehungsweise die bestimmte Ansicht aus der virtuellen Perspektive als zusätzliche Bildinformation benutzt beziehungsweise verwendet wird.In 3 is schematically a virtual perspective 310 from a position 320 and with a viewing direction 330 on a generated map 300 to the in 1 schematically depicted driving situation of the vehicle 100, which is generated based on the sensor data of the vehicle sensor system 110. The generated map 300 includes, for example, determined reflection points of ultrasonic signals, radar signals or lidar signals as well as the outer contours of the objects 170, 171, 172 determined therefrom. The map can be updated or adjusted depending on a detected vehicle movement, for example the vehicle speed and the steering angle or yaw angle. Parts of the map can be based on historical sensor data, in particular depending on the detected object. Often the rear side of the objects 170, 171, 172 is not recorded by sensor data. The unrecorded object outer contours are in 3 shown in dashed lines. The specific view from the virtual perspective 310 onto the generated map can be generated, for example, by a coordinate transformation of the map and represents, through its position 320 and its viewing direction 330, the viewing direction of a (real) vehicle camera 111 to 114, 130, 140 or 150, which captures the main camera image. In other words, the specific view of the generated map 300 from the virtual perspective 310 represents the perspective of the vehicle camera 111 to 114, 130, 140 or 150. This allows the specific view to be superimposed on the captured main camera image, in particular as additional image information, when adapting the main camera image, wherein the captured reflection points and the determined outer contours of the generated map are advantageously located exactly where a corresponding object, for example the objects 170, 171, 172, are depicted. The adaptation 270 of the main camera image can therefore for example, by overlaying 272 the main camera image with additional image data, wherein the additional image data includes the specific view from the virtual perspective 310 or the specific view from the virtual perspective is used or utilized as additional image information.

Analog dem zu 3 beschriebenen Vorgehen kann eine andere Ansicht auf eine vorgegebene Karte aus einer virtuellen Perspektive erzeugt werden, welche die Perspektive der Fahrzeugkamera 111 bis 114, 130, 140 oder 150 repräsentiert. Die vorgegebene Karte kann beispielsweise aus einem Speicher des Fahrzeugs 100 oder der Rechenvorrichtung 120 oder eines Navigationssystems geladen werden.Analogous to 3 According to the procedure described, a different view of a given map can be generated from a virtual perspective, which represents the perspective of the vehicle camera 111 to 114, 130, 140 or 150. The given map can be loaded, for example, from a memory of the vehicle 100 or the computing device 120 or a navigation system.

In 4 ist ein auf einer Anzeigevorrichtung angezeigtes angepasstes Hauptkamerabild 400 schematisch dargestellt. Das Hauptkamerabild 400 ist in diesem Fall durch eine Überlagerung des erfassten Hauptkamerabildes 410 mit einer erzeugten Ansicht aus einer virtuellen Perspektive auf eine erzeugte Karte angepasst worden, wobei die virtuelle Perspektive die Perspektive der (realen) Fahrzeugkamera repräsentiert, welche das Hauptkamerabild erfasst hat. Zur Erzeugung der Ansicht auf die erzeugte Karte siehe auch das Ausführungsbeispiel aus 3. In dem erfassten und angepassten Hauptkamerabild ist jeweils das andere parkende Fahrzeug als Objekt 172 abgebildet. Zusätzlich umfasst das angepasste Hauptkamerabild in diesem Beispiel einen Bereich 410, welcher einer ermittelten Außenkontur 302 zu dem Objekt 172 der erzeugten Karte 300 entspricht. Durch die bestimmte Ansicht aus der virtuellen Perspektive 310, welche der tatsächlichen Perspektive der Fahrzeugkamera entspricht, korreliert bei einer Überlagerung des erfassten Hauptkamerabildes mit der bestimmten Ansicht hier die Lage der ermittelten Außenkontur 302 in dem Bereich 410 mit dem dort abgebildeten Fahrzeug beziehungsweise der Lage des Objektes 172. Die Außenkontur 302 beziehungsweise der Bereich 410 kann in Abhängigkeit des aktuellen Abstandes des Fahrzeugs zur ermittelten Außenkontur beispielsweise in der Helligkeit und/oder dem Farbwert angepasst werden. Zusätzlich oder alternativ kann das Fahrzeug 172 als statisches Objekt erkannt und in dem Teilbildbereich 420 des Hauptkamerabildes, welcher das Objekt abbildet, hier das Fahrzeug 172, die Helligkeit und/oder der Farbwert verändert werden, beispielsweise das gesamte Fahrzeug rot eingefärbt werden.In 4 an adapted main camera image 400 displayed on a display device is shown schematically. The main camera image 400 has been adapted in this case by superimposing the captured main camera image 410 with a generated view from a virtual perspective on a generated map, wherein the virtual perspective represents the perspective of the (real) vehicle camera which captured the main camera image. For generating the view on the generated map, see also the embodiment from 3 . In the captured and adjusted main camera image, the other parked vehicle is shown as object 172. In addition, the adjusted main camera image in this example includes an area 410 which corresponds to a determined outer contour 302 of the object 172 of the generated map 300. Due to the specific view from the virtual perspective 310, which corresponds to the actual perspective of the vehicle camera, when the captured main camera image is superimposed with the specific view, the position of the determined outer contour 302 in the area 410 correlates with the vehicle depicted there or the position of the object 172. The outer contour 302 or the area 410 can be adjusted, for example in terms of brightness and/or color value, depending on the current distance of the vehicle from the determined outer contour. Additionally or alternatively, the vehicle 172 can be recognized as a static object and in the partial image area 420 of the main camera image which depicts the object, here the vehicle 172, the brightness and/or the color value can be changed, for example the entire vehicle can be colored red.

In 5 ist eine Ansicht eines Innenraums 500 eines Fahrzeugs 100 mit Fahrertür 105 von innen, beispielsweise von der Beifahrerseite aus, schematisch und als Schnittbild durch das Fahrzeug 100 dargestellt. Die Anzeigevorrichtung 160 kann ein Display 161 beziehungsweise 161a umfassen, welches insbesondere im Bereich der A-Säule des Fahrzeugs angeordnet ist. Das Display 161 a ist vorteilhafterweise dazu eingerichtet, das gespiegelte angepasste Hauptkamerabild anzuzeigen, so dass für den Fahrer der Eindruck eines Seitenspiegels mit erweitertem Informationsgehalt entsteht. Die Anzeigevorrichtung 160 kann alternativ oder zusätzlich ein Display 161 beziehungsweise 161 b an der Verkleidung der Fahrertür 105 umfassen, welches vorzugsweise die Verkleidung zumindest teilweise, bevorzugt großflächig, ersetzt. Das Display 161 b ist insbesondere dazu eingerichtet, ein (nicht gespiegeltes) angepasstes Hauptkamerabild des vom Insassen des Fahrzeugs aus gesehen hinter der Fahrertür 105 liegenden Umgebungsteilbereiches anzuzeigen, welcher von der Fahrzeugkamera 111 bis 114, 130, 140, 150 erfasst wurde, so dass der Eindruck einer zumindest teilweisen transparenten Fahrertür 105 entsteht.In 5 is a view of an interior 500 of a vehicle 100 with driver's door 105 from the inside, for example from the passenger side, schematically and as a sectional view through the vehicle 100. The display device 160 can comprise a display 161 or 161a, which is arranged in particular in the area of the A-pillar of the vehicle. The display 161a is advantageously set up to show the mirrored, adjusted main camera image, so that the driver has the impression of a side mirror with expanded information content. The display device 160 can alternatively or additionally comprise a display 161 or 161b on the panel of the driver's door 105, which preferably replaces the panel at least partially, preferably over a large area. The display 161 b is in particular designed to display a (non-mirrored) adapted main camera image of the surrounding area located behind the driver's door 105 as seen by the occupant of the vehicle, which was captured by the vehicle camera 111 to 114, 130, 140, 150, so that the impression of an at least partially transparent driver's door 105 is created.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2004260469 A1 [0004]US 2004260469 A1 [0004]
  • US 10059265 B2 [0005]US 10059265 B2 [0005]
  • US 10300855 B2 [0006]US 10300855 B2 [0006]
  • US 10486599 B2 [0007]US 10486599 B2 [0007]
  • US 2014347450 A1 [0008]US 2014347450 A1 [0008]
  • EP 3512739 B1 [0009]EP 3512739 B1 [0009]

Claims (16)

Verfahren zur Darstellung einer erweiterten Ansicht der Umgebung (190) eines Fahrzeugs (100), umfassend die folgenden Schritte • Erfassung (210) wenigstens eines Hauptkamerabildes von einem Umgebungsteilbereich (131, 141, 151) des Fahrzeugs (100) mittels einer Fahrzeugkamera (111 bis 114, 130, 140, 150), • Erfassung (220) von zusätzlichen Sensordaten zu dem wenigstens einen erfassten Umgebungsteilbereich (131, 141, 151) mittels eines Fahrzeugsensorsystems (110), umfassend wenigstens eine Weitwinkelkamera (111 bis 114) und/oder mindestens einen Abstandssensor (115) und/oder einen Positionssensor, • Anpassung (270) des erfassten Hauptkamerabildes basierend auf den erfassten zusätzlichen Sensordaten durch Veränderung (271) wenigstens eines Teilbildbereichs (420) des erfassten Hauptkamerabildes und/oder Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten, und • Anzeige (280) des angepassten Hauptkamerabildes (400) auf einer Anzeigevorrichtung (160).Method for displaying an expanded view of the surroundings (190) of a vehicle (100), comprising the following steps • Capturing (210) at least one main camera image of a partial environmental area (131, 141, 151) of the vehicle (100) by means of a vehicle camera (111 to 114, 130, 140, 150), • Capturing (220) additional sensor data for the at least one captured partial environmental area (131, 141, 151) by means of a vehicle sensor system (110), comprising at least one wide-angle camera (111 to 114) and/or at least one distance sensor (115) and/or a position sensor, • Adapting (270) the captured main camera image based on the captured additional sensor data by changing (271) at least one partial image area (420) of the captured main camera image and/or superimposing (272) the Main camera image with additional image data, and • Display (280) of the adjusted main camera image (400) on a display device (160). Verfahren nach Anspruch 1, wobei die Erfassung (210) des Hauptkamerabildes mittels einer zum Fahrzeugsensorsystem (110) separaten Fahrzeugkamera (130, 140, 150) erfolgt, welche insbesondere seitlich am Fahrzeug (100) angeordnet ist und eine Blickrichtung nach hinten aufweist.Procedure according to Claim 1 , wherein the capture (210) of the main camera image is carried out by means of a vehicle camera (130, 140, 150) which is separate from the vehicle sensor system (110), which is arranged in particular on the side of the vehicle (100) and has a viewing direction towards the rear. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Erfassung (210) des Hauptkamerabildes mittels einer Weitwinkelkamera (111 bis 114) des Fahrzeugsensorsystems (110) als Fahrzeugkamera erfolgt.Method according to one of the preceding claims, wherein the capture (210) of the main camera image is carried out by means of a wide-angle camera (111 to 114) of the vehicle sensor system (110) as a vehicle camera. Verfahren nach einem der vorhergehenden Ansprüche, wobei die Erfassung (210) des Hauptkamerabildes gleichzeitig mittels der separaten Fahrzeugkamera (130, 140, 150) und mittels der Weitwinkelkamera (111 bis 114) des Fahrzeugsensorsystems erfolgt, wobei die erfassten Bilder der separaten Fahrzeugkamera (130, 140, 150) und der Weitwinkelkamera (111 bis 114) insbesondere zum Hauptkamerabild kombiniert werden.Method according to one of the preceding claims, wherein the capture (210) of the main camera image takes place simultaneously by means of the separate vehicle camera (130, 140, 150) and by means of the wide-angle camera (111 to 114) of the vehicle sensor system, wherein the captured images of the separate vehicle camera (130, 140, 150) and the wide-angle camera (111 to 114) are combined in particular to form the main camera image. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Erkennung (230) von mindestens einem statischen und/oder dynamischen Objekt (170, 171, 172) und/oder von wenigstens einem spezifischen Segment (180) in der Umgebung des Fahrzeugs (100) in Abhängigkeit der erfassten zusätzlichen Sensordaten, und • Ermittlung (232) der jeweiligen Lage des erkannten Objektes und/oder des erkannten spezifischen Segments relativ zum Fahrzeug in Abhängigkeit der erfassten zusätzlichen Sensordaten, wobei • die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten jeweils basierend auf der ermittelten Lage des erkannten Objektes (170, 171, 172) und/oder der ermittelten Lage des erkannten spezifischen Segments (180) erfolgt.Method according to one of the preceding claims, wherein the following step is carried out • detection (230) of at least one static and/or dynamic object (170, 171, 172) and/or of at least one specific segment (180) in the surroundings of the vehicle (100) depending on the recorded additional sensor data, and • determination (232) of the respective position of the detected object and/or of the detected specific segment relative to the vehicle depending on the recorded additional sensor data, wherein • the change (271) of the partial area of the recorded main camera image and/or the overlay (272) of the main camera image with additional image data is carried out in each case based on the determined position of the detected object (170, 171, 172) and/or the determined position of the detected specific segment (180). Verfahren nach Anspruch 5, wobei zusätzlich folgende Schritte durchgeführt werden: • Validierung (231) des erkannten Objektes (170, 171, 172) und/oder des erkannten spezifischen Segments (180) in der Umgebung (190) des Fahrzeugs (100) in Abhängigkeit des erfassten Hauptkamerabildes, wobei • die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten jeweils nur durchgeführt werden, wenn das erkannte Objekt (170, 171, 172) und/oder das erkannte spezifischen Segment (180) in Abhängigkeit des erfassten Hauptkamerabildes validiert wurden, und/oder • Ermittlung (232) der jeweiligen Lage des erkannten Objektes (170, 171, 172) und/oder des erkannten spezifischen Segments (180) relativ zum Fahrzeug zusätzlich in Abhängigkeit des erfassten Hauptkamerabildes, und/oder • Ermittlung (240) einer Höheninformation zum erkannten Objekt (170, 171, 172) und/oder dem erkannten spezifischen Segment (180) basierend auf den erfassten Sensordaten und dem erfassten Hauptkamerabild.Procedure according to Claim 5 , wherein the following steps are additionally carried out: • validation (231) of the detected object (170, 171, 172) and/or the detected specific segment (180) in the surroundings (190) of the vehicle (100) depending on the captured main camera image, wherein • the change (271) of the partial area of the captured main camera image and/or the overlay (272) of the main camera image with additional image data are only carried out if the detected object (170, 171, 172) and/or the detected specific segment (180) have been validated depending on the captured main camera image, and/or • determination (232) of the respective position of the detected object (170, 171, 172) and/or the detected specific segment (180) relative to the vehicle additionally depending on the captured main camera image, and/or • determination (240) of height information for detected object (170, 171, 172) and/or the detected specific segment (180) based on the detected sensor data and the detected main camera image. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Erzeugung (250) einer Karte (300) der Umgebung (190) des Fahrzeugs (100) in Abhängigkeit der erfassten Sensordaten, und • Bestimmung (251) einer Ansicht auf die erzeugte Karte (300) der Umgebung (190) aus einer virtuellen Perspektive (310), welche die Position und die Blickrichtung der Fahrzeugkamera (130, 140 oder 150) repräsentiert, wobei • die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes in Abhängigkeit der bestimmten Ansicht auf die erzeugte Karte (300) der Umgebung (190) erfolgt, insbesondere wird eine Überlagerung des Hauptkamerabildes mit der bestimmten Ansicht auf die erzeugte Karte (300) durchgeführt.Method according to one of the preceding claims, wherein the following step is carried out • generation (250) of a map (300) of the surroundings (190) of the vehicle (100) depending on the recorded sensor data, and • determination (251) of a view of the generated map (300) of the surroundings (190) from a virtual perspective (310), which represents the position and the viewing direction of the vehicle camera (130, 140 or 150), wherein • the change (271) of the partial area of the recorded main camera image and/or the overlay (272) of the main camera image takes place depending on the specific view of the generated map (300) of the surroundings (190), in particular an overlay of the main camera image with the specific view of the generated map (300) is carried out. Verfahren nach einem der vorhergehenden Ansprüche, wobei folgender Schritt durchgeführt wird • Bereitstellung (260) einer vorgegebenen Karte der Umgebung (190) des Fahrzeugs (100), und • Bestimmung (261) einer Position des Fahrzeugs (100), • Bestimmung (262) einer Ansicht auf die vorgegebene Karte der Umgebung (190) aus einer virtuellen Perspektive in Abhängigkeit der bestimmten Position des Fahrzeugs (100), wobei die virtuelle Perspektive die Position und die Blickrichtung der Fahrzeugkamera (130, 140 oder 150) repräsentiert, wobei • die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes in Abhängigkeit der bestimmten Ansicht auf die vorgegebene Karte der Umgebung (190) erfolgt.Method according to one of the preceding claims, wherein the following step is carried out • providing (260) a predetermined map of the surroundings (190) of the vehicle (100), and • Determining (261) a position of the vehicle (100), • Determining (262) a view of the predetermined map of the surroundings (190) from a virtual perspective depending on the determined position of the vehicle (100), wherein the virtual perspective represents the position and the viewing direction of the vehicle camera (130, 140 or 150), wherein • the change (271) of the partial area of the captured main camera image and/or the overlay (272) of the main camera image takes place depending on the determined view of the predetermined map of the surroundings (190). Verfahren nach einem der vorhergehenden Ansprüche, wobei die Veränderung (271) des Teilbereichs des erfassten Hauptkamerabildes und/oder die Überlagerung (272) des Hauptkamerabildes mit zusätzlichen Bilddaten zusätzlich in Abhängigkeit von aktuellen Navigationsdaten eines Navigationssystems des Fahrzeugs (100) und/oder eines mobilen Endgerätes des Nutzers erfolgt, welche insbesondere eine bevorzugte bevorstehende Fahrtrichtung repräsentieren.Method according to one of the preceding claims, wherein the change (271) of the partial area of the captured main camera image and/or the overlay (272) of the main camera image with additional image data additionally takes place as a function of current navigation data of a navigation system of the vehicle (100) and/or a mobile terminal of the user, which in particular represent a preferred upcoming direction of travel. Verfahren nach einem der vorhergehenden Ansprüche, wobei die zusätzlichen Bilddaten insbesondere zumindest teilweise transparent sind.Method according to one of the preceding claims, wherein the additional image data are in particular at least partially transparent. Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens zwei Hauptkamerabilder mittels jeweils unterschiedlicher Fahrzeugkameras (111 bis 114, 130, 140, 150) erfasst und die Anzeige (280) der zwei angepassten Hauptkamerabilder (400) mittels unterschiedlicher Anzeigevorrichtungen (160) erfolgt.Method according to one of the preceding claims, wherein at least two main camera images are captured by means of different vehicle cameras (111 to 114, 130, 140, 150) and the display (280) of the two adapted main camera images (400) is carried out by means of different display devices (160). Verfahren nach einem der vorhergehenden Ansprüche, wobei mindestens zwei Hauptkamerabilder (400) mittels jeweils unterschiedlicher Fahrzeugkameras(111 bis 114, 130, 140, 150) erfasst und die Anzeige der mindestens zwei angepassten Hauptkamerabilder (400) vorteilhafterweise durch eine Projektion auf eine gemeinsame dreidimensionale Projektionsfläche mittels einer Anzeigevorrichtung (160) erfolgt, wobei die Projektionsfläche insbesondere in Abhängigkeit der erfassten Sensordaten angepasst wird.Method according to one of the preceding claims, wherein at least two main camera images (400) are captured by means of different vehicle cameras (111 to 114, 130, 140, 150) and the display of the at least two adapted main camera images (400) is advantageously carried out by a projection onto a common three-dimensional projection surface by means of a display device (160), wherein the projection surface is adapted in particular depending on the captured sensor data. Computerprogramm, umfassend Befehle, die bei der Ausführung des Programms durch einen Computer diesen veranlassen, die Schritte des Verfahrens nach einem der vorhergehenden Ansprüche auszuführen.A computer program comprising instructions which, when executed by a computer, cause the computer to carry out the steps of the method according to any one of the preceding claims. Rechenvorrichtung (120), insbesondere Steuergerät, dezentrale oder zentrale Rechenvorrichtung, umfassend mindestens folgende Komponenten • einen ersten Signaleingang zur Bereitstellung eines ersten Eingangssignals, welches wenigstens ein mittels einer Fahrzeugkamera (111 bis 114, 130, 140, 150) erfasstes Hauptkamerabild von einem Umgebungsteilbereich (131, 141, 151) des Fahrzeugs (100) repräsentiert, wobei die Fahrzeugkamera (130, 140, 150) insbesondere nicht Teil eines Fahrzeugsensorsystems (110) ist, • einen zweiten Signaleingang zur Bereitstellung eines zweiten Eingangssignals, welches mittels eines Fahrzeugsensorsystems (110) erfasste zusätzlichen Sensordaten zu dem erfassten Umgebungsteilbereich (131, 141, 151) repräsentiert, • einen Signalausgang zur Ausgabe eines Ausgangssignals für eine Anzeigevorrichtung (160), wobei das Ausgangssignal zumindest ein angepasstes Hauptkamerabild (400) repräsentiert, und • eine Recheneinheit, insbesondere ein Prozessor, die so konfiguriert ist, dass sie die Schritte des Verfahrens nach einem der Ansprüche 1 bis 12 ausführt.Computing device (120), in particular control device, decentralized or central computing device, comprising at least the following components • a first signal input for providing a first input signal, which represents at least one main camera image of a surrounding area (131, 141, 151) of the vehicle (100) captured by means of a vehicle camera (111 to 114, 130, 140, 150), wherein the vehicle camera (130, 140, 150) is in particular not part of a vehicle sensor system (110), • a second signal input for providing a second input signal, which represents additional sensor data captured by means of a vehicle sensor system (110) for the captured surrounding area (131, 141, 151), • a signal output for outputting an output signal for a display device (160), wherein the output signal represents at least one adapted main camera image (400), and • a computing unit, in particular a processor, which is configured such that they follow the steps of the procedure according to one of the Claims 1 until 12 executes. Fahrzeug (100), umfassend eine Rechenvorrichtung (120) nach Anspruch 14.Vehicle (100) comprising a computing device (120) according to Claim 14 . Fahrzeug (100) nach Anspruch 15, umfassend • eine Anzeigevorrichtung (160), wobei die Anzeigevorrichtung (160) ein Display (161, 162, 163) umfasst, wobei das Display(161, 162) insbesondere eine Türverkleidung einer seitlichen Fahrer- oder Beifahrertür (105, 106) des Fahrzeugs (100) zumindest teilweise ersetzt.Vehicle (100) to Claim 15 , comprising • a display device (160), wherein the display device (160) comprises a display (161, 162, 163), wherein the display (161, 162) in particular at least partially replaces a door panel of a side driver or passenger door (105, 106) of the vehicle (100).
DE102022214210.1A 2022-12-21 2022-12-21 Method for displaying an extended view of the surroundings of a vehicle, computer program, computing device and vehicle Pending DE102022214210A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102022214210.1A DE102022214210A1 (en) 2022-12-21 2022-12-21 Method for displaying an extended view of the surroundings of a vehicle, computer program, computing device and vehicle
PCT/EP2023/085360 WO2024132701A1 (en) 2022-12-21 2023-12-12 Method for displaying an extended view of surroundings of a vehicle, computer program, computing device and vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102022214210.1A DE102022214210A1 (en) 2022-12-21 2022-12-21 Method for displaying an extended view of the surroundings of a vehicle, computer program, computing device and vehicle

Publications (1)

Publication Number Publication Date
DE102022214210A1 true DE102022214210A1 (en) 2024-06-27

Family

ID=89222147

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102022214210.1A Pending DE102022214210A1 (en) 2022-12-21 2022-12-21 Method for displaying an extended view of the surroundings of a vehicle, computer program, computing device and vehicle

Country Status (2)

Country Link
DE (1) DE102022214210A1 (en)
WO (1) WO2024132701A1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026052546A1 (en) * 2024-09-05 2026-03-12 Aumovio Autonomous Mobility Germany Gmbh Method and camera system for providing a display of the surroundings of a vehicle
DE102024132288A1 (en) 2024-11-06 2026-05-07 Connaught Electronics Ltd. Method for generating a display image of the environment of a motor vehicle, computer program product, computer-readable storage medium and electronic computing device

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040260469A1 (en) 2002-06-12 2004-12-23 Kazufumi Mizusawa Drive assisting system
US20140347450A1 (en) 2011-11-30 2014-11-27 Imagenext Co., Ltd. Method and apparatus for creating 3d image of vehicle surroundings
US10059265B2 (en) 2000-03-02 2018-08-28 Magna Electronics Inc. Vision system for a vehicle
DE102018117548A1 (en) 2017-07-21 2019-01-24 Ford Global Technologies, Llc SAFETY ILLUSTRATION FOR RESETTING A VEHICLE
DE102018209192B3 (en) 2018-05-17 2019-05-09 Continental Automotive Gmbh Method and device for operating a camera monitor system for a motor vehicle
US10300855B2 (en) 2012-09-26 2019-05-28 Magna Electronics Inc. Trailer driving assist system
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
EP3512739B1 (en) 2016-09-14 2020-05-13 Robert Bosch GmbH Method for providing a rear-view-mirror view of the surroundings of a vehicle
US20210023994A1 (en) 2019-07-26 2021-01-28 Aisin Seiki Kabushiki Kaisha Periphery monitoring device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5670935A (en) * 1993-02-26 1997-09-23 Donnelly Corporation Rearview vision system for vehicle including panoramic view

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10059265B2 (en) 2000-03-02 2018-08-28 Magna Electronics Inc. Vision system for a vehicle
US20040260469A1 (en) 2002-06-12 2004-12-23 Kazufumi Mizusawa Drive assisting system
US20140347450A1 (en) 2011-11-30 2014-11-27 Imagenext Co., Ltd. Method and apparatus for creating 3d image of vehicle surroundings
US10300855B2 (en) 2012-09-26 2019-05-28 Magna Electronics Inc. Trailer driving assist system
US10486599B2 (en) 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
EP3512739B1 (en) 2016-09-14 2020-05-13 Robert Bosch GmbH Method for providing a rear-view-mirror view of the surroundings of a vehicle
DE102018117548A1 (en) 2017-07-21 2019-01-24 Ford Global Technologies, Llc SAFETY ILLUSTRATION FOR RESETTING A VEHICLE
DE102018209192B3 (en) 2018-05-17 2019-05-09 Continental Automotive Gmbh Method and device for operating a camera monitor system for a motor vehicle
US20210023994A1 (en) 2019-07-26 2021-01-28 Aisin Seiki Kabushiki Kaisha Periphery monitoring device

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2026052546A1 (en) * 2024-09-05 2026-03-12 Aumovio Autonomous Mobility Germany Gmbh Method and camera system for providing a display of the surroundings of a vehicle
DE102024132288A1 (en) 2024-11-06 2026-05-07 Connaught Electronics Ltd. Method for generating a display image of the environment of a motor vehicle, computer program product, computer-readable storage medium and electronic computing device

Also Published As

Publication number Publication date
WO2024132701A1 (en) 2024-06-27

Similar Documents

Publication Publication Date Title
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
EP2603402B1 (en) Method for displaying images on a display unit and driver assistance system
DE102009005505B4 (en) Method and device for generating an image of the surroundings of a motor vehicle
DE102009029439A1 (en) Method and device for representing obstacles in a parking assistance system of motor vehicles
DE102008046214A1 (en) Environment monitoring method for vehicle e.g. commercial motor vehicle, utilized for transporting goods, involves determining and displaying relevant surrounding regions based on distance between vehicle and obstacle
DE112017001410T5 (en) INFORMATION PROCESSING DEVICE
DE102012208288A1 (en) Method for representing vehicle environment on display, involves detecting camera around vehicle, and determining environmental information from image of camera, where determined environmental information is stored and outputted on display
DE102008046544A1 (en) Vehicle e.g. passenger car, surrounding monitoring method, utilized for passenger transportation, involves displaying section of complete image for positioning of vehicle, and selecting section as function of vehicle movement direction
WO2020007523A1 (en) Method for providing assistance during a parking maneuver of a vehicle combination of a towing vehicle and a trailer, system, and combination
WO2024132701A1 (en) Method for displaying an extended view of surroundings of a vehicle, computer program, computing device and vehicle
DE102019116836A1 (en) FADE-IN INTERFACES FOR REAR-VIEW MIRROR INDICATORS
DE102016122756A1 (en) A method for assisting a driver of a motor vehicle when parking the motor vehicle on a parking area, driver assistance system and motor vehicle
DE102011010860A1 (en) Method and driver assistance system for displaying images in a motor vehicle and motor vehicle
DE102020127278A1 (en) Around-View Synthesis System and Process
DE112020002353T5 (en) display device
DE102017215901A1 (en) Assistance system for a vehicle
DE102013010233B4 (en) A method of displaying environmental information in a vehicle and a display system for a vehicle
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102023003828A1 (en) Method for operating a driver assistance system and vehicle
DE102018207407A1 (en) Driver assistance system, means of locomotion and method for displaying an image of a surrounding area of a means of locomotion
DE102019102672A1 (en) INTERSENSORY LEARNING
DE102011005368A1 (en) Driver assistance system for vehicle, particularly designed as assistance system for shunters or for parking vehicle, has video camera, by which video image of surrounding area of vehicle is recorded with objects
DE102021133199A1 (en) Method and driver assistance system for considering objects when driving along a trajectory
DE102024002500B3 (en) Methods for visualizing a vehicle environment and vehicle
DE102025109600B3 (en) Method for calibrating a head-up display

Legal Events

Date Code Title Description
R163 Identified publications notified