WO2026052546A1

WO2026052546A1 - Method and camera system for providing a display of the surroundings of a vehicle

Info

Publication number: WO2026052546A1
Application number: PCT/EP2025/074753
Authority: WO
Inventors: Markus EICH; Yigit YÜKSELEN
Original assignee: Aumovio Autonomous Mobility Germany GmbH
Current assignee: Aumovio Autonomous Mobility Germany GmbH
Priority date: 2024-09-05
Filing date: 2025-09-01
Publication date: 2026-03-12
Anticipated expiration: 2027-03-05
Also published as: DE102024208472A1

Abstract

The invention relates to a method and a camera system for providing a display of the surroundings of a vehicle.

Description

202308022 202308022

1 1

Verfahren und Kamerasystem zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs Method and camera system for providing a vehicle's surroundings display

Die Erfindung betrifft das Gebiet der Umfeldbeobachtungssysteme von Fahrzeugen. Insbesondere betrifft die Erfindung ein Verfahren und ein Kamerasystem zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs. The invention relates to the field of vehicle environment monitoring systems. In particular, the invention relates to a method and a camera system for providing a representation of a vehicle's environment.

Umfeldbeobachtungssysteme bei Fahrzeugen sind grundsätzlich bekannt. Insbesondere sind Umfeldbeobachtungssysteme bekannt, die einen dreidimensionalen, perspektivischen 360°-Rundumblick um das Fahrzeug ermöglichen, sog. 3D-Surroundview-Systeme. Bei derartigen Systemen werden die Bildinformationen mehrerer Kameras zu einer Rundumblickdarstellung verknüpft und auf eine dreidimensionale Oberfläche als Projektionsfläche gemappt, um eine räumlich perspektivische Darstellung zu erhalten. Die dreidimensionale Oberfläche kann beispielsweise schalenartig ausgebildet sein. Die Darstellung auf einer derartigen schalenartigen Oberfläche wird als 3D-Bowl-Darstellung bezeichnet. Vehicle surround-view systems are generally known. In particular, surround-view systems that provide a three-dimensional, perspective 360° view around the vehicle are known, so-called 3D surround-view systems. In such systems, the image information from multiple cameras is combined to create a panoramic view and mapped onto a three-dimensional surface as a projection surface to obtain a spatial perspective representation. The three-dimensional surface can, for example, be bowl-shaped. The representation on such a bowl-shaped surface is referred to as a 3D bowl display.

Die räumlich perspektivische Darstellung der Umgebung des Fahrzeugs kann bei den bekannten Systemen aus unterschiedlichen Perspektiven erfolgen. So können die Position und Ausrichtung einer virtuellen Kamera, d.h. die Position und Blickrichtung, aus der ein virtueller Betrachter die Szene sieht, geändert werden, so dass unterschiedliche Bereiche der Umgebung des Fahrzeugs betrachtet werden können. Insbesondere können die Position und Ausrichtung der virtuellen Kamera beispielsweise derart gewählt werden, dass sowohl ein Umgebungsbereich als auch das Fahrzeug in diesem Umgebungsbereich erkennbar sind. The spatial perspective representation of the vehicle's surroundings can be displayed from different perspectives in known systems. The position and orientation of a virtual camera—that is, the position and viewing direction from which a virtual observer sees the scene—can be changed, allowing different areas of the vehicle's environment to be viewed. In particular, the position and orientation of the virtual camera can be chosen, for example, so that both an area of the surroundings and the vehicle within that area are visible.

Es ist zudem bekannt, dass bei einer adaptiven 3D-Bowl-Darstellung statische Objekte, die von der Fläche, auf der das Fahrzeug steht, nach oben abstehen, und dabei den Wandungsbereich der Projektionsfläche durchdringen, verzerrt werden. Dadurch können störende Verfälschungen der Umgebungsdarstellung, beispielsweise Knicke in von der Aufstellfläche abstehenden Objekten, auch als Manhattan-Effekt bezeichnet, auftreten, was von den Nutzem des 202308022 It is also known that in adaptive 3D bowl rendering, static objects that protrude upwards from the surface on which the vehicle stands and thereby penetrate the wall area of the projection surface are distorted. This can lead to disturbing distortions in the environment rendering, such as kinks in objects protruding from the surface, also known as the Manhattan effect, which is detrimental to the users of the 202308022

2 2

Assistenzsystems als störend empfunden wird und zu einer fehlenden Nutzerakzeptanz führt. Assistance systems are perceived as disruptive and lead to a lack of user acceptance.

Ausgehend hiervon ist es Aufgabe der Erfindung, ein Verfahren zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs anzugeben, das auf technisch einfache Weise und mit hoher Zuverlässigkeit eine realitätsnahe und gleichzeitig möglichst umfassende Darstellung der Umgebung des Fahrzeugs ermöglicht. Based on this, the object of the invention is to provide a method for providing an environment representation of a vehicle that enables a realistic and at the same time as comprehensive a representation of the vehicle's environment in a technically simple and highly reliable manner.

Die Aufgabe wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 gelöst. Bevorzugte Ausführungsformen sind Gegenstand der Unteransprüche. Ein Kamerasystem ist Gegenstand des nebengeordneten Patentanspruchs 13. The problem is solved by a method having the features of independent claim 1. Preferred embodiments are the subject of the dependent claims. A camera system is the subject of dependent claim 13.

Gemäß einem ersten Aspekt wird ein Verfahren zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs offenbart. Die Umfelddarstellung wird basierend auf Bildinformationen, die von einem Kamerasystem mit mehreren um das Fahrzeug herum verteilt angeordneten Kameras bereitgestellt werden, erzeugt. Das Verfahren umfasst die folgenden Schritte, wobei die Reihenfolge der Schritte von der nachfolgend beschriebenen Reihenfolge zumindest teilweise abweichen kann: According to a first aspect, a method for providing an environment representation of a vehicle is disclosed. The environment representation is generated based on image information provided by a camera system with multiple cameras distributed around the vehicle. The method comprises the following steps, the order of which may differ, at least partially, from the sequence described below:

Zunächst werden Bildinformationen mittels mehrerer Kameras des Kamerasystems erfasst. Die Bildinformationen stellen unterschiedliche Bereiche des Umfelds des Fahrzeugs dar und enthalten Informationen zu zumindest einem Objekt in der Umgebung des Fahrzeugs. First, image information is captured using multiple cameras of the camera system. The image information depicts different areas of the vehicle's surroundings and contains information about at least one object in the vehicle's vicinity.

Anschließend werden Objekte im Umfeld des Fahrzeugs und deren räumliche Lage ermittelt. Die Ermittlung der Objekte erfolgt mittels einer Sensorik des Fahrzeugs. Die Sensorik kann die Kameras des Kamerasystems sowie weitere Sensoren, beispielsweise zumindest einen Radarsensor, zumindest einen LIDAR-Sensor und/oder Ultraschallsensoren umfassen. 202308022 Subsequently, objects in the vehicle's vicinity and their spatial position are determined. This object detection is performed using the vehicle's sensors. These sensors can include the cameras of the camera system as well as other sensors, such as at least one radar sensor, at least one LiDAR sensor, and/or ultrasonic sensors. 202308022

3 3

Basierend auf den ermittelten Objekten wird eine Objektkarte erstellt, in der die Objekte gemäß deren Lage enthalten sind. Die Objektkarte kann beispielsweise eine zweidimensionale oder dreidimensionale Gridkarte sein. Based on the identified objects, an object map is created, containing the objects according to their location. The object map can be, for example, a two-dimensional or three-dimensional grid map.

Zudem wird eine umfangsseitig geschlossene erste Projektionsfläche mit einer Grundform bereitgestellt. Diese erste Projektionsfläche bildet einen Ausgangspunkt für die Bestimmung einer zweiten Projektionsfläche, die andere Größendimensionen als die erste Projektionsfläche aufweisen kann, jedoch die Grundform der ersten Projektionsfläche beibehält. Furthermore, a circumferentially closed first projection surface with a basic shape is provided. This first projection surface forms a starting point for determining a second projection surface, which may have different dimensions than the first projection surface, but retains the basic shape of the first projection surface.

Basierend auf der Objektkarte und der ersten Projektionsfläche wird die zweite Projektionsfläche ermittelt. Dies erfolgt derart, dass: Based on the object map and the first projection surface, the second projection surface is determined. This is done by:

- die Oberfläche der zweiten Projektionsfläche maximiert wird, dabei aber die Grundform der ersten Projektionsfläche erhalten bleibt;- the surface area of the second projection surface is maximized, while the basic shape of the first projection surface is preserved;

- sich das Fahrzeug vollständig innerhalb des Raums befindet, der von der zweiten Projektionsfläche umschlossen ist; und - the vehicle is completely within the space enclosed by the second projection surface; and

- keine in der Objektkarte enthaltenen Objekte innerhalb der zweiten Projektionsfläche liegen oder in diese partiell hineinragen. - no objects contained in the object map lie within the second projection surface or partially extend into it.

Es sei erwähnt, dass die zweite Projektionsfläche nicht zentriert zur Position des Fahrzeugs gewählt sein muss, sondern das Fahrzeug auch dezentriert zur zweiten Projektionsfläche angeordnet sein kann. It should be noted that the second projection surface does not have to be centered on the position of the vehicle; the vehicle can also be positioned off-center relative to the second projection surface.

Die Bildinformationen, die von mehreren Kameras bereitgestellt werden, werden anschließend zusammengefügt. Dieses Zusammenfügen ist dem Fachmann auch als sog. Stitching bekannt. Aus den zusammengefügten Bildinformationen wird eine Rundumblickdarstellung der Umgebung des Fahrzeugs erstellt. Dabei werden die zusammengefügten Bildinformationen auf die zweite Projektionsfläche projiziert, um die perspektivische Umfelddarstellung zu erhalten. The image information provided by multiple cameras is then combined. This combining process is also known to experts as stitching. A 360-degree view of the vehicle's surroundings is created from the combined image information. The combined image information is then projected onto a second projection surface to obtain the perspective view of the environment.

Der technische Vorteil des vorgeschlagenen Verfahrens besteht darin, dass durch die Anpassung der Projektionsfläche eine Umfelddarstellung des Fahrzeugs zeit- und rechenkapazitätseffizient ermittelbar ist und zudem eine realitätsnahe und 202308022 The technical advantage of the proposed method lies in the fact that, by adjusting the projection surface, a representation of the vehicle's surroundings can be determined in a time- and computing-capacity-efficient manner, and moreover, a realistic and 202308022

4 gleichzeitig möglichst umfassende Darstellung der Umgebung des Fahrzeugs ermöglicht wird. 4. Simultaneously, the most comprehensive possible representation of the vehicle's surroundings is enabled.

Gemäß einem Ausführungsbeispiel wird die Grundform der ersten Projektionsfläche aus mehreren Grundformvarianten ausgewählt. Die Grundformvarianten können beispielsweise eine kreisförmige, ellipsenförmige oder rechteckförmige (ggf. mit gerundeten Ecken) Grundform umfassen. Die Auswahl einer im jeweiligen Fall passenden Grundform kann abhängig von der Umgebungssituation und/oder abhängig vom Fahrmanöver vollzogen werden. So kann beispielsweise bei einem Rückwärtsparkvorgang eine Grundform gewählt werden, mittels der die Parklücke, in die das Fahrzeug hineinbewegt werden soll, bestmöglich dargestellt ist (beispielsweise durch eine elliptische oder rechteckförmige Grundform), wohingegen bei einem Fahrmanöver, bei dem noch keine Fahrtrichtung bestimmt ist, eine Grundform gewählt wird, bei der das Fahrzeugumfeld in allen Raumrichtungen gut darstellbar ist (z.B. durch eine kreisförmige Grundform). According to one embodiment, the basic shape of the first projection surface is selected from several basic shape variants. These variants can include, for example, a circular, elliptical, or rectangular shape (possibly with rounded corners). The selection of a suitable basic shape in each case can depend on the surrounding situation and/or the driving maneuver. For example, when reversing into a parking space, a basic shape can be chosen that best represents the parking space into which the vehicle is to be moved (e.g., an elliptical or rectangular shape), whereas for a driving maneuver where the direction of travel has not yet been determined, a basic shape is chosen that allows the vehicle's surroundings to be clearly represented in all spatial directions (e.g., a circular shape).

Gemäß einem Ausführungsbeispiel umfasst das Ermitteln der zweiten Projektionsfläche ein Anpassen der örtlichen Lage, Ausrichtung und/oder Größe der ersten Projektionsfläche. Durch diese Anpassungen kann eine zweite Projektionsfläche ermittelt werden, die an die jeweilige Umgebungssituation und das Fahrmanöver angepasst ist. According to one embodiment, determining the second projection surface involves adjusting the location, orientation, and/or size of the first projection surface. These adjustments allow a second projection surface to be determined that is adapted to the specific environmental conditions and driving maneuver.

Gemäß einem Ausführungsbeispiel umfasst das Anpassen der örtlichen Lage der ersten Projektionsfläche ein Verschieben der ersten Projektionsfläche in einer Ebene parallel zu der Fläche, auf der sich das Fahrzeug befindet. According to one embodiment, adjusting the local position of the first projection surface includes moving the first projection surface in a plane parallel to the surface on which the vehicle is located.

Gemäß einem Ausführungsbeispiel umfasst das Anpassen der Ausrichtung der ersten Projektionsfläche ein Verdrehen der ersten Projektionsfläche um eine vertikale Drehachse. According to one embodiment, adjusting the orientation of the first projection surface includes rotating the first projection surface about a vertical axis of rotation.

Gemäß einem Ausführungsbeispiel umfasst das Anpassen der Größe der ersten Projektionsfläche ein zumindest partielles, paralleles Verschieben von 202308022 According to one embodiment, adjusting the size of the first projection surface includes at least a partial, parallel shift of 202308022

5 5

Randabschnitten der ersten Projektionsfläche und/oder ein Verändern des Krümmungsradius eines gekrümmten Randabschnitts der ersten Projektionsfläche. Edge sections of the first projection surface and/or a change in the radius of curvature of a curved edge section of the first projection surface.

Gemäß einem Ausführungsbeispiel erfolgt das Anpassen der örtlichen Lage, Ausrichtung und/oder Größe der ersten Projektionsfläche derart, dass die Umfangskontur des Fahrzeugs von der ersten Projektionsfläche einen vorgegebenen Mindestabstand einhält. Damit kann erreicht werden, dass die vom Kamerasystem bereitgestellten Bildinformationen noch hinreichend gut auch auf Projektionsflächenbereiche projiziert werden können, die sich sehr nahe am Fahrzeug befinden. According to one embodiment, the local position, orientation, and/or size of the first projection surface is adjusted such that the vehicle's circumferential contour maintains a predetermined minimum distance from the first projection surface. This ensures that the image information provided by the camera system can still be projected with sufficient accuracy even onto projection surface areas located very close to the vehicle.

Gemäß einem Ausführungsbeispiel erfolgt das Maximieren der Oberfläche der zweiten Projektionsfläche derart, dass ein maximaler Abstand von diametral gegenüberliegenden Randabschnitten der zweiten Projektionsfläche nicht überschritten wird. Damit kann erreicht werden, dass eine obere Grenze für die Maximierung der Oberfläche der zweiten Projektionsfläche besteht, die auch im Hinblick auf die Erfassungsreichweite der eingesetzten Sensorik zur Umfelderfassung sinnvoll ist. According to one embodiment, the surface area of the second projection surface is maximized such that a maximum distance between diametrically opposed edge sections of the second projection surface is not exceeded. This ensures that an upper limit exists for maximizing the surface area of the second projection surface, which is also reasonable with regard to the detection range of the sensors used for environmental perception.

Gemäß einem Ausführungsbeispiel bleibt nach dem Ermitteln der zweiten Projektionsfläche beim Bewegen des Fahrzeugs die Lage, Ausrichtung und/oder Größe der zweiten Projektionsfläche zumindest zeitweise erhalten und die Position des Fahrzeugs verändert sich innerhalb der zweiten Projektionsfläche. In anderen Worten wird die zweite Projektionsfläche beim Fortbewegen des Fahrzeugs nicht verändert sondern bleibt zumindest für einen gewissen Zeitraum (beispielsweise solange sich das Fahrzeug innerhalb der Projektionsfläche befindet) ortsfest. Dadurch kann der Rechenaufwand zur Berechnung der zweiten Projektionsfläche minimiert werden. According to one embodiment, after determining the second projection surface, the position, orientation, and/or size of the second projection surface remain at least temporarily unchanged when the vehicle moves, and the vehicle's position within the second projection surface changes. In other words, the second projection surface is not changed as the vehicle moves but remains stationary for at least a certain period (for example, as long as the vehicle is within the projection surface). This minimizes the computational effort required to calculate the second projection surface.

Gemäß einem Ausführungsbeispiel wird die Rundumblickdarstellung durch Projizieren von Bildern, die von den Kameras des Fahrzeugs während dessen Bewegen aufgenommen werden, auf die zweite Projektionsfläche erstellt. In anderen Worten werden auf die zumindest zeitweise ortsfeste zweite 202308022 According to one embodiment, the 360° view is created by projecting images captured by the vehicle's cameras while it is moving onto the second projection surface. In other words, the images are projected onto the second, at least temporarily stationary, projection surface. 202308022

6 6

Projektionsfläche bei Bewegung des Fahrzeugs iterativ neue Bilder projiziert und damit die Umfelddarstellung aktualisiert. The projection surface iteratively projects new images as the vehicle moves, thus updating the environmental display.

Gemäß einem Ausführungsbeispiel wird die zweite Projektionsfläche in Lage, Ausrichtung und/oder Größe angepasst, wenn das Fahrzeug aufgrund dessen Bewegung relativ zur zweiten Projektionsfläche einen Mindestabstand zum Rand der zweiten Projektionsfläche unterschreitet. In diesem Fall kann erneut der Suchalgorithmus durchgeführt werden, um eine für die veränderte Umgebungssituation passende zweite Projektionsfläche zu ermitteln. According to one embodiment, the second projection surface is adjusted in position, orientation, and/or size if the vehicle, due to its movement relative to the second projection surface, falls below a minimum distance to the edge of the second projection surface. In this case, the search algorithm can be run again to determine a second projection surface suitable for the changed environmental conditions.

Gemäß einem Ausführungsbeispiel weist die erste und zweite Projektionsfläche eine dreidimensionale, schalenartige Grundform auf. Dadurch kann eine realitätsnahe Umfelddarstellung erreicht werden. According to one embodiment, the first and second projection surfaces have a three-dimensional, shell-like basic shape. This allows for a realistic representation of the environment.

Gemäß einem weiteren Aspekt wird ein Kamerasystem für ein Fahrzeug umfassend mehrere verteilt am Fahrzeug anzuordnende Kameras und eine Steuereinheit zur Verarbeitung der von den Kameras bereitgestellten Bildinformationen, um eine Umfelddarstellung der Umgebung des Fahrzeugs zu erzeugen, offenbart. Das Kamerasystem ist dazu konfiguriert, die folgenden Schritte zu vollziehen: According to another aspect, a camera system for a vehicle is disclosed, comprising several cameras distributed around the vehicle and a control unit for processing the image information provided by the cameras to generate an environmental representation of the vehicle's surroundings. The camera system is configured to perform the following steps:

- Erfassen von Bildinformationen mittels mehrerer Kameras des Kamerasystems; - Capturing image information using multiple cameras of the camera system;

- Ermitteln von Objekten im Umfeld des Fahrzeugs und deren räumlicher Lage; - Identifying objects in the vicinity of the vehicle and their spatial location;

- Erstellen einer Objektkarte, in der die ermittelten Objekte gemäß deren Lage enthalten sind; - Creating an object map that includes the identified objects according to their location;

- Bereitstellen einer umfangsseitig geschlossenen ersten Projektionsfläche mit einer Grundform; - Providing a circumferentially closed first projection surface with a basic shape;

- Basierend auf der Objektkarte und der ersten Projektionsfläche, Ermitteln einer zweiten Projektionsfläche derart, dass: - Based on the object map and the first projection surface, determine a second projection surface such that:

- die Oberfläche der zweiten Projektionsfläche bei Erhalt der Grundform maximiert ist; - the surface area of the second projection surface is maximized while maintaining the basic shape;

- sich das Fahrzeug vollständig innerhalb des Raums befindet, der von der zweiten Projektionsfläche umschlossen ist; und 202308022 - the vehicle is completely within the space enclosed by the second projection surface; and 202308022

7 7

- keine in der Objektkarte enthaltenen Objekte innerhalb der zweiten Projektionsfläche liegen oder in diese partiell hineinragen; - no objects contained in the object map lie within the second projection surface or partially extend into it;

- Erstellen einer Rundumblickdarstellung der Umgebung des Fahrzeugs durch Zusammenfügen der Bildinformationen, die von mehreren Kameras bereitgestellt werden, und zwar derart, dass die zusammengefügten Bildinformationen auf die zweite Projektionsfläche zur Bereitstellung einer Umfelddarstellung projiziert sind. - Creating a 360° view of the vehicle's surroundings by combining the image information provided by multiple cameras, such that the combined image information is projected onto the second projection surface to provide an environment view.

Die Ausdrücke „näherungsweise“, „im Wesentlichen“ oder „etwa“ bedeuten im Sinne der Erfindung Abweichungen vom jeweils exakten Wert um +/- 10%, bevorzugt um +/- 5% und/oder Abweichungen in Form von für die Funktion unbedeutenden Änderungen. The terms “approximately”, “essentially” or “about” mean, within the meaning of the invention, deviations from the respective exact value by +/- 10%, preferably by +/- 5% and/or deviations in the form of changes that are insignificant for the function.

Weiterbildungen, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich auch aus der nachfolgenden Beschreibung von Ausführungsbeispielen und aus den Figuren. Dabei sind alle beschriebenen und/oder bildlich dargestellten Merkmale für sich oder in beliebiger Kombination grundsätzlich Gegenstand der Erfindung, unabhängig von ihrer Zusammenfassung in den Ansprüchen oder deren Rückbeziehung. Auch wird der Inhalt der Ansprüche zu einem Bestandteil der Beschreibung gemacht. Further developments, advantages, and possible applications of the invention will also become apparent from the following description of exemplary embodiments and from the figures. All features described and/or illustrated are, individually or in any combination, fundamentally the subject matter of the invention, irrespective of their compilation in the claims or their cross-reference. The content of the claims is also incorporated into the description.

Die Erfindung wird im Folgenden anhand der Figuren an Ausführungsbeispielen näher erläutert. Es zeigen: The invention will be explained in more detail below with reference to exemplary embodiments shown in the figures. The figures show:

Fig. 1 beispielhaft eine schematische Draufsichtdarstellung auf ein Fahrzeug umfassend ein Kamerasystem; Fig. 1 shows an exemplary schematic top view of a vehicle comprising a camera system;

Fig. 2 beispielhaft und schematisch eine perspektivische Darstellung einer schalenartigen Projektionsfläche mit einem mittig darin platzierten Ego-Fahrzeug; Fig. 2 shows an exemplary and schematic perspective view of a bowl-shaped projection surface with an ego-vehicle placed in the center of it;

Fig. 3 beispielhaft und schematisch eine vogelperspektivische Darstellung einer Umgebungssituation und einer Illustration des Suchalgorithmus zur 202308022 Fig. 3 shows an exemplary and schematic bird's-eye view of an environment and an illustration of the search algorithm for 202308022

8 8

Bestimmung einer an die Umgebungssituation angepassten zweiten Projektionsfläche; und Determination of a second projection surface adapted to the surrounding situation; and

Fig. 4 beispielhaft ein Blockdiagramm, das die Verfahrensschritte eines Verfahrens zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs veranschaulicht. Fig. 4 shows an example of a block diagram illustrating the process steps of a method for providing an environment representation of a vehicle.

Figur 1 zeigt beispielhaft und schematisch ein Fahrzeug 1 , das ein System zur dreidimensionalen Darstellung des Umgebungsbereichs des Fahrzeugs 1 auf einer Anzeigeeinheit, nachfolgend auch als 3D-Surroundview-System bezeichnet, aufweist. Das Fahrzeug 1 wird nachfolgend auch als Ego-Fahrzeug bezeichnet, um das Fahrzeug 1 , das das System zur dreidimensionalen Darstellung des Umgebungsbereichs aufweist, begrifflich von weiteren Fahrzeugen, auch als Drittfahrzeuge bezeichnet, unterscheiden zu können. Die Anzeigeeinheit kann insbesondere im Fahrzeuginnenraum vorgesehen sein und dient zur Unterstützung des Fahrers bei Fahrmanövern, beispielsweise beim Rückwärtsfahren oder Einparken in eine Parklücke. Alternativ kann die Anzeigeeinheit auch durch ein mobiles Endgerät, beispielsweise ein Smartphone oder einen Tablet-Computer eines Nutzers gebildet sein, das vom Fahrzeug 1 unabhängig vorgesehen ist und über eine drahtlose Kommunikationsverbindung mit dem Fahrzeug 1 gekoppelt ist, um einen Informationsaustausch zwischen dem Fahrzeug 1 und dem mobilen Endgerät zu ermöglichen. Figure 1 shows, by way of example and schematically, a vehicle 1 equipped with a system for the three-dimensional display of the vehicle 1's surroundings on a display unit, hereinafter also referred to as a 3D surround view system. The vehicle 1 is hereinafter also referred to as the "ego vehicle" to conceptually distinguish it from other vehicles, also referred to as "third-party vehicles." The display unit can be located, in particular, in the vehicle's interior and serves to assist the driver during driving maneuvers, for example, when reversing or parking. Alternatively, the display unit can also be a mobile device, such as a user's smartphone or tablet computer, which is independent of the vehicle 1 and is connected to it via a wireless communication link to enable information exchange between the vehicle 1 and the mobile device.

Das Fahrzeug 1 weist ein Kamerasystem 2 mit mehreren Kameras 2.1 auf, die umfangsseitig verteilt um das Fahrzeug 1 herum vorgesehen sind. Beispielsweise kann das Fahrzeug 1 eine Front-, eine Heck- und an jeder Seite zumindest eine Seitenkamera aufweisen. Die Kameras 2.1 sind vorzugsweise derart angeordnet und konfiguriert, dass durch das Zusammensetzen der von den jeweiligen Kameras 2.1 bereitgestellten Bilder eine 360°-Darstellung des Umgebungsbereichs des Fahrzeugs 1 möglich wird. The vehicle 1 has a camera system 2 with several cameras 2.1 distributed around the vehicle 1. For example, the vehicle 1 can have a front camera, a rear camera, and at least one side camera on each side. The cameras 2.1 are preferably arranged and configured such that the images provided by the respective cameras 2.1 combine to create a 360° view of the area surrounding the vehicle 1.

Das Fahrzeug 1 weist eine Steuereinheit 5 auf, die dazu konfiguriert ist, die Bildinformationen, die von den Kameras 2.1 bereitgestellt werden, zu gemeinsamen 202308022 Vehicle 1 has a control unit 5 configured to process the image information provided by cameras 2.1 into common 202308022

9 9

Bildinformationen zusammenzuführen und diese auf eine schalenartig ausgebildete Projektionsfläche zu projizieren, um dadurch für den Fahrer eine perspektivische Darstellung des Umfelds des Fahrzeugs 1 bereitzustellen. To combine image information and project it onto a bowl-shaped projection surface in order to provide the driver with a perspective view of the vehicle 1's surroundings.

Fig. 2 zeigt beispielhaft eine schalenartig ausgebildete Projektionsfläche P und das Ego-Fahrzeug 1 im Zentrum dieser Projektionsfläche P. Eine solche Projektionsfläche P wird beispielsweise als 3D-bowl bezeichnet. Mittels der fahrzeugseitig vorgesehenen Steuereinheit 5 können die von den Kameras 2.1 bereitgestellten Bildinformationen zusammengefügt werden (auch als Stiching bezeichnet) und die dadurch erhaltenen zusammengefügten Bildinformationen auf die Projektionsfläche P projiziert werden. Dadurch können die Umgebungsinformationen um das Fahrzeug 1 herum räumlich perspektivisch dargestellt werden, wobei das Fahrzeug 1 selbst bzw. dessen Kontur in dieser Umgebungsdarstellung selbst erkennbar ist. Diese Art der perspektivischen Rund-um-Sicht-Darstellung ermöglicht, im Gegensatz zu einer Draufsicht-Darstellung (Vogelperspektive), die dreidimensionale, perspektivische Betrachtung des Umgebungsbereichs des Fahrzeugs 1 von einem bestimmten Bezugspunkt bzw. Betrachtungspunkt aus, der im Folgenden als Kameraposition bezeichnet wird. Dabei kann die Kameraposition variiert werden, d.h. es kann die virtuelle Position, von der aus das Fahrzeug 1 und dessen Umgebung betrachtet werden, geändert werden. In anderen Worten ist durch die Positionsänderung eine virtuelle Bewegung in der 3D-bowl möglich. Dadurch kann eine realistischere Darstellung des Umgebungsbereichs des Fahrzeugs 1 erreicht werden. Fig. 2 shows an example of a bowl-shaped projection surface P and the ego-vehicle 1 at the center of this projection surface P. Such a projection surface P is referred to, for example, as a 3D bowl. Using the control unit 5 provided on the vehicle, the image information provided by the cameras 2.1 can be stitched together, and the resulting stitched image information can be projected onto the projection surface P. This allows the environmental information around the vehicle 1 to be displayed in spatial perspective, with the vehicle 1 itself, or rather its contour, being recognizable in this environmental representation. In contrast to a top-down view (bird's-eye view), this type of perspective 360° view enables a three-dimensional, perspective view of the area surrounding the vehicle 1 from a specific reference point or viewing point, which is referred to below as the camera position. The camera position can be varied, meaning the virtual position from which vehicle 1 and its surroundings are viewed can be changed. In other words, changing the position allows for virtual movement within the 3D bowl. This enables a more realistic representation of the area surrounding vehicle 1.

Zudem kann beispielsweise von einer festgelegten Kameraposition aus die Kameraausrichtung verändert werden, d.h. der Winkel, mit dem das Fahrzeug 1 bzw. die Umgebung des Fahrzeugs 1 von der Kameraposition aus betrachtet wird. In addition, the camera orientation can be changed from a fixed camera position, i.e., the angle at which the vehicle 1 or the surroundings of the vehicle 1 are viewed from the camera position.

Die schalenartige Projektionsfläche P weist einen ebenen oder im Wesentlichen eben ausgebildeten Boden und eine von diesem Boden 3.1 nach oben hin abstehenden Wandungsbereich auf. In anderen Worten entspricht der Boden dem Schalenboden und der Wandungsbereich der Schalenwandung der schalenförmigen Projektionsfläche P. Die schalenförmigen Projektionsfläche P 202308022 The bowl-shaped projection surface P has a flat or essentially flat base and a wall region projecting upwards from this base (3.1). In other words, the base corresponds to the base of the bowl and the wall region to the wall of the bowl-shaped projection surface P. The bowl-shaped projection surface P 202308022

10 kann unterschiedliche Grundformen aufweisen. Im in Fig.2 gezeigten Ausführungsbeispiel weist das Fahrzeug 1 eine kreisrunde Grundform auf, d.h. der Wandungsbereich der Projektionsfläche P weist in einer Ebene, die parallel zur Aufstellfläche verläuft, auf der sich das Fahrzeug 1 befindet, eine Kreisform auf. Abweichend hiervon kann die Projektionsfläche P eine andere Grundform aufweisen, beispielsweise eine ellipsenförmige Grundform oder eine rechteckförmige Grundform, die insbesondere abgerundete Eckbereiche hat. The vehicle 1 can have different basic shapes. In the embodiment shown in Fig. 2, the vehicle 1 has a circular basic shape, i.e., the wall area of the projection surface P has a circular shape in a plane that runs parallel to the mounting surface on which the vehicle 1 is located. In contrast, the projection surface P can have a different basic shape, for example, an elliptical basic shape or a rectangular basic shape, which in particular has rounded corner areas.

Wenn sich im Umfeld des Ego-Fahrzeugs 1 ein Objekt befindet, kann es vorkommen, dass dieses Objekt aufgrund der Darstellung auf der schalenartigen Projektionsfläche 3 verzerrt wird. Dies gilt insbesondere für Objekte, die teilweise innerhalb der Projektionsfläche P liegen. So kann beispielsweise der Mast einer Straßenlaterne, der die Projektionsfläche P durchdringt, unnatürlich verzerrt dargestellt werden, insbesondere derart, dass der Eindruck erweckt wird, dass der in Realität gerade ausgebildete Mast krumm oder abgeknickt ist (auch als Manhattan-Effekt bezeichnet). Diese Fehldarstellung führt zu einer unrealistischen Umgebungsdarstellung, was von den Nutzern als nachteilig empfunden wird und daher zu einer verschlechterten Akzeptanz des Fahrassistenzsystems führt. If an object is located in the vicinity of the ego vehicle 1, it may be distorted due to its representation on the shell-like projection surface 3. This is particularly true for objects that lie partially within the projection surface P. For example, the pole of a street lamp that penetrates the projection surface P may be displayed unnaturally distorted, especially to the point where it appears crooked or bent (also known as the Manhattan effect). This misrepresentation leads to an unrealistic depiction of the environment, which is perceived as detrimental by users and therefore results in reduced acceptance of the driver assistance system.

Um eine derartige nicht der Realität entsprechende Fehldarstellung von Objekten zu verhindern, weist das Fahrzeug 1 eine Steuereinheit 5 auf, die eine Anpassung der schalenartigen Projektionsfläche P vornimmt. To prevent such a misrepresentation of objects that does not correspond to reality, the vehicle 1 has a control unit 5 that adjusts the shell-like projection surface P.

Fig. 3 zeigt beispielhaft eine Objektkarte OK in Draufsichtdarstellung. In der Objektkarte sind neben dem Ego-Fahrzeug 1 die Objekte 01 , O2 und 03 eingetragen. Die Objekte 01 und O2 sind beispielsweise Drittfahrzeuge, die in Querparkrichtung in Parkflächen abgestellt sind. Das Objekt 03 ist im gezeigten Ausführungsbeispiel ein längliches Objekt, beispielsweise eine Mauer o.ä., die sich quer zu den Längsachsen der Objekte 01 und 02 erstreckt. Es versteht sich, dass dies ein reines Beispiel einer Umgebungssituation des Fahrzeugs 1 ist und die Objektkarte OK abweichend davon beliebige andere Umgebungssituationen darstellen kann. Unter „Objektkarte“ im Sinne der Erfindung wird auch eine sonstige Belegungskarte verstanden, beispielsweise eine Belegungs-Gridkarte. Diese 202308022 Fig. 3 shows an example of an object map OK in a top-down view. In addition to the Ego vehicle 1, objects 01, O2, and 03 are entered in the object map. Objects 01 and O2 are, for example, third-party vehicles parked perpendicular to the vehicle in parking spaces. In the illustrated embodiment, object 03 is an elongated object, for example, a wall or similar, extending transversely to the longitudinal axes of objects 01 and 02. It is understood that this is merely an example of an environmental situation for vehicle 1 and that the object map OK can represent any other environmental situation. For the purposes of this invention, "object map" also includes any other occupancy map, for example, an occupancy grid map. 202308022

11 11

Objektkarte kann insbesondere eine dreidimensionale Karte sein, um auch die höhenabhängige Konturierung von Objekten berücksichtigen zu können. An object map can be, in particular, a three-dimensional map in order to also take into account the height-dependent contouring of objects.

Die Objektkarte OK wird beispielsweise basierend auf der Erfassungssensorik des Fahrzeugs 1 erstellt. Diese Erfassungssensorik kann die Kameras 2.1 des Fahrzeugs umfassen, es können aber auch weitere Sensoren des Fahrzeugs 1 zur Erstellung der Objektkarte verwendet werden, beispielsweise Ultraschallsensoren, Radarsensoren, LIDAR-Sensoren etc. The object map OK is created, for example, based on the detection sensors of vehicle 1. These detection sensors can include the vehicle's cameras 2.1, but other sensors of vehicle 1 can also be used to create the object map, such as ultrasonic sensors, radar sensors, LiDAR sensors, etc.

Anschließend erfolgt eine Vorgabe einer ersten Projektionsfläche 3, die insbesondere eine schalenförmige Projektionsfläche ist. Die erste Projektionsfläche 3 weist eine vorgegebene Grundform auf, beispielsweise eine runde, ellipsenförmige oder eine rechteckförmige Grundform, die insbesondere gerundete Ecken aufweist. Wie zuvor beschrieben, bezieht sich die Grundform auf die Form des Wandungsbereichs der ersten Projektionsfläche 3 in einer Ebene, die parallel zur Aufstellfläche, auf der sich das Fahrzeug 1 befindet, vorliegt. In dem in Fig. 3 gezeigten Ausführungsbeispiel ist die Grundform ein Rechteck mit abgerundeten Ecken. Subsequently, a first projection surface 3 is specified, which is in particular a bowl-shaped projection surface. The first projection surface 3 has a predefined basic shape, for example a round, elliptical, or rectangular basic shape, which in particular has rounded corners. As described above, the basic shape refers to the shape of the wall area of the first projection surface 3 in a plane that is parallel to the mounting surface on which the vehicle 1 is located. In the embodiment shown in Fig. 3, the basic shape is a rectangle with rounded corners.

Die Grundform kann entweder starr vorgegeben sein oder aber abhängig von der vorliegenden Umgebungssituation, insbesondere der Form und Anordnung der Objekte in der Objektkarte OK, und/oder abhängig von dem Fahrmanöver, das das Fahrzeug 1 vollzieht, gewählt werden. The basic shape can either be rigidly predetermined or chosen depending on the existing environmental situation, in particular the shape and arrangement of the objects in the object map OK, and/or depending on the driving maneuver that vehicle 1 performs.

Anschließend wird basierend auf der Objektkarte OK und der ersten Projektionsfläche 3 mit deren Grundform ein Suchverfahren durchgeführt, mittels dem ausgehend von der ersten Projektionsfläche 3 eine zweite Projektionsfläche 4 gesucht wird. Vorzugsweise wird das Suchverfahren basierend auf einer zweidimensionalen Objektkarte OK und einer zweidimensionalen Form der zweiten Projektionsfläche 4 durchgeführt, die sich in Draufsichtdarstellung (Vogelperspektive) ergibt. Dabei werden folgende Suchkriterien angewendet: 202308022 Subsequently, based on the object map OK and the first projection surface 3 with its basic shape, a search procedure is carried out to find a second projection surface 4 starting from the first projection surface 3. Preferably, the search procedure is carried out based on a two-dimensional object map OK and a two-dimensional shape of the second projection surface 4, which results in a top view (bird's-eye view). The following search criteria are applied: 202308022

12 12

Zunächst wird die Suche derart eingeschränkt, dass die zweite Projektionsfläche 4 dieselbe Grundform aufweist, wie die erste Projektionsfläche 3, d.h. wenn die erste Projektionsfläche 3 beispielsweise eine rechteckförmige Grundform (mit abgerundeten Ecken) aufweist, muss die zweite Projektionsfläche 4 ebenfalls eine rechteckförmige Grundform (mit abgerundeten Ecken) haben. Jedoch wird mittels der Suche eine zweite Projektionsfläche 4 ermittelt, deren Oberfläche maximiert ist. Unter „maximierter Oberfläche“ wird dabei insbesondere verstanden, dass die Fläche des Wandungsbereichs der schalenförmig ausgebildeten zweiten Projektionsfläche 4 maximiert ist. Diese Maximierung kann jedoch Einschränkungen bzw. Obergrenzen unterliegen, die beispielsweise durch die Größe der Objektkarte und/oder der Erfassungsreichweite der Sensorik des Fahrzeugs 1 beschränkt ist. Initially, the search is restricted such that the second projection surface 4 has the same basic shape as the first projection surface 3; that is, if the first projection surface 3 has a rectangular basic shape (with rounded corners), the second projection surface 4 must also have a rectangular basic shape (with rounded corners). However, the search then identifies a second projection surface 4 whose surface area is maximized. "Maximized surface area" here refers specifically to the area of the wall region of the shell-shaped second projection surface 4 being maximized. This maximization may, however, be subject to limitations or upper limits, which are restricted, for example, by the size of the object map and/or the detection range of the vehicle 1's sensors.

Zudem wird eine zweite Projektionsfläche 4 ermittelt, bei der sich das Ego-Fahrzeug 1 vollständig innerhalb der zweiten Projektionsfläche 4 befindet. Es sei aber darauf hingewiesen, dass das Ego-Fahrzeug 1 nicht zentriert innerhalb der zweiten Projektionsfläche 4 angeordnet sein muss, sondern auch außermittig in der zweiten Projektionsfläche 4 angeordnet sein kann. Furthermore, a second projection surface 4 is determined, in which the ego-vehicle 1 is located entirely within the second projection surface 4. It should be noted, however, that the ego-vehicle 1 does not have to be centered within the second projection surface 4, but can also be positioned off-center within the second projection surface 4.

Des Weiteren wird die Suche derart eingeschränkt, dass die zweite Projektionsfläche 4 frei von Umgebungsobjekten ist, d.h. dass sich kein Objekt 01 , O2, 03 der Objektkarte OK teilweise oder vollständig innerhalb der zweiten Projektionsfläche 4 befindet. Furthermore, the search is restricted in such a way that the second projection surface 4 is free of surrounding objects, i.e., that no object 01 , O2 , 03 of the object map OK is partially or completely located within the second projection surface 4.

In Fig. 3 ist dieses Suchverfahren beispielhaft skizziert. Es sind zwei zweite vorläufige Projektionsflächen 4‘, 4“ als vorläufige Suchergebnisse gezeigt, die die vorgenannten Suchvorgaben nicht erfüllen. Daher sind diese mit „X“ gekennzeichnet. Die zweite vorläufige Projektionsfläche 4‘ erfüllt nicht das Kriterium, dass das Ego-Fahrzeug 1 vollständig innerhalb der zweiten vorläufigen Projektionsfläche 4‘ liegt. Die zweite vorläufige Projektionsfläche 4“ erfüllt nicht das Kriterium der Objektfreiheit. 202308022 Figure 3 illustrates this search procedure. Two second preliminary projection surfaces 4' and 4" are shown as preliminary search results, which do not meet the aforementioned search criteria. Therefore, these are marked with "X". The second preliminary projection surface 4' does not meet the criterion that the ego vehicle 1 lies completely within the second preliminary projection surface 4'. The second preliminary projection surface 4" does not meet the criterion of object freedom. 202308022

13 13

Die zweite Projektionsfläche 4 hingegen erfüllt sämtliche Suchkriterien (Größenmaximierung, Ego-Fahrzeug innerhalb der zweiten Projektionsfläche 4, objektfreie zweite Projektionsfläche 4) und wird daher als finales Suchergebnis verwendet, was durch die Kennzeichnung „V“ angedeutet ist. The second projection surface 4, however, fulfills all search criteria (size maximization, ego vehicle within the second projection surface 4, object-free second projection surface 4) and is therefore used as the final search result, which is indicated by the label "V".

Als Suchalgorithmus kann beispielsweise ein RANSAC-Algorithmus (RANSAC: random sample consensus) verwendet werden. Es versteht sich, dass auch andere geeignete Suchalgorithmen zur Suche einer zweiten Projektionsfläche, die die vorgegebenen Suchkriterien erfüllt, verwendet werden kann. For example, a RANSAC algorithm (RANSAC: random sample consensus) can be used as a search algorithm. It goes without saying that other suitable search algorithms can also be used to find a second projection surface that meets the specified search criteria.

Nach dem Ermitteln einer finalen zweiten Projektionsfläche 4 wird diese zweite Projektionsfläche 4 zur Bereitstellung der Umfelddarstellung verwendet. After determining a final second projection surface 4, this second projection surface 4 is used to provide the environment representation.

Die Ermittlung der zweiten Projektionsfläche 4 basierend auf der ersten Projektionsfläche 3 erfolgt derart, dass die Grundform der ersten Projektionsfläche 3 erhalten bleibt, jedoch eine Anpassung der örtlichen Lage, Ausrichtung und /oder Größe erfolgt. Dies bedeutet insbesondere, dass die zweite Projektionsfläche 4 aus der ersten Projektionsfläche 3 durch ein Verschieben, Verdrehen oder ein Vergrößern bzw. Verkleinern des Randes der ersten Projektionsfläche 3, der sich in der Draufsichtdarstellung bildet, hervorgeht. The determination of the second projection surface 4 based on the first projection surface 3 is carried out in such a way that the basic shape of the first projection surface 3 is retained, but its location, orientation and/or size are adjusted. This means, in particular, that the second projection surface 4 is derived from the first projection surface 3 by shifting, rotating, or enlarging or reducing the edge of the first projection surface 3 as it appears in the top view.

Die Änderung der Größe der ersten Projektionsfläche 3 bei Erhalt der vorgegebenen Grundform erfolgt derart, dass die kreisförmige, ellipsenförmige oder rechteckförmige Grundform grundsätzlich erhalten bleibt, jedoch entweder Randbereiche parallel verschoben werden, wie dies beispielsweise bei einer rechteckförmigen Grundform der Fall ist, oder der Krümmungsradius verändert wird (bei einer kreis- oder ellipsenförmigen Grundform). The change in the size of the first projection surface 3 while maintaining the given basic shape is carried out in such a way that the circular, elliptical or rectangular basic shape is basically retained, but either edge areas are shifted parallel, as is the case, for example, with a rectangular basic shape, or the radius of curvature is changed (in the case of a circular or elliptical basic shape).

Um eine hinreichend gute Projektion der Bildinformationen, die von dem Kamerasystem bereitgestellt werden, auf der zweiten Projektionsfläche 4 zu ermöglichen, kann es vorteilhaft sein, dass das Fahrzeug 1 nicht unmittelbar am Rand der zweiten Projektionsfläche 4 liegt, sondern ein vorgegebener Mindestabstand zwischen dem Rand der zweiten Projektionsfläche 4 und dem 202308022 In order to enable a sufficiently good projection of the image information provided by the camera system onto the second projection surface 4, it may be advantageous for the vehicle 1 not to be located directly at the edge of the second projection surface 4, but rather for there to be a predetermined minimum distance between the edge of the second projection surface 4 and the vehicle 1. 202308022

14 14

Fahrzeug 1 eingehalten wird. Dieser Mindestabstand kann als weiteres Suchkriterium dem Suchverfahren zugrunde gelegt werden, so dass lediglich solche Suchergebnisse als zulässig eingestuft werden, die diesen Mindestabstand erfüllen. Der Mindestabstand kann beispielsweise im Bereich 0,5m bis 1 ,5m liegen und insbesondere 1 m betragen. Vehicle 1 is maintained. This minimum distance can be used as a further search criterion in the search process, so that only search results that meet this minimum distance are classified as permissible. The minimum distance can, for example, be in the range of 0.5m to 1.5m and, in particular, be 1m.

Zudem kann als weiteres Suchkriterium eine obere Schranke beim Maximieren der Oberfläche der zweiten Projektionsfläche 4 vorgegeben werden. Dieses Suchkriterium kann beispielsweise angeben, dass der Abstand von diametral gegenüberliegenden Randabschnitten einen vorgegebenen oberen Schwellwert nicht übersteigt. Dieser obere Schwellwert kann beispielsweise im Bereich zwischen 15m und 25m liegen, insbesondere 20m betragen. Furthermore, an upper limit can be specified as an additional search criterion for maximizing the surface area of the second projection surface 4. This search criterion can, for example, specify that the distance between diametrically opposed boundary sections does not exceed a predefined upper threshold. This upper threshold can, for example, be in the range between 15 m and 25 m, and in particular, 20 m.

Vorzugsweise wird beim Suchverfahren auch berücksichtigt, welches Fahrmanöver das Fahrzeug 1 zukünftig durchführen soll. So kann beispielsweise bei einem Vorwärtsparkvorgang bevorzugt eine zweite Projektionsfläche 4 gesucht werden, die in Fahrtrichtung des Fahrzeugs 1 gesehen nach vorne einen größeren Freiraum aufweist als nach hinten. Preferably, the search procedure also takes into account which driving maneuver the vehicle 1 is to perform in the future. For example, in a forward parking maneuver, a second projection surface 4 can preferably be sought which, viewed in the direction of travel of the vehicle 1, has a larger clearance in front than in the rear.

Nachdem das Suchverfahren eine finale zweite Projektionsfläche 4 ermittelt hat, wird diese für die Bereitstellung der Umfelddarstellung verwendet, und zwar auch dann, wenn sich die Position des Fahrzeugs 1 im Raum ändert. Die zweite Projektionsfläche 4 bleibt dabei positionsfixiert, so dass sich die Position des Fahrzeugs 1 innerhalb der zweiten Projektionsfläche 4 ändert. Once the search process has identified a final second projection surface 4, this surface is used to provide the environmental representation, even if the position of vehicle 1 in space changes. The second projection surface 4 remains fixed in position, so that the position of vehicle 1 within the second projection surface 4 changes.

Falls die ermittelte zweite Projektionsfläche 4 beispielsweise aufgrund der Bewegung des Fahrzeugs 1 relativ zur zweiten Projektionsfläche 4 oder einer Veränderten Position eines oder mehrerer Objekte 01 , O2, 03 in der Umgebung des Fahrzeugs 1 nicht mehr die vorgegebenen Kriterien erfüllt (beispielsweise Fahrzeug 1 verlässt die zweite Projektionsfläche 4 oder ein Objekt 01 , O2, 03 liegt aufgrund einer Bewegung des Objekts innerhalb der Projektionsfläche), kann das Suchverfahren erneut durchgeführt werden, um eine neue zweite Projektionsfläche 4 zu ermitteln, die die vorgegebenen Suchkriterien erfüllt. 202308022 If the determined second projection surface 4 no longer meets the specified criteria, for example due to the movement of the vehicle 1 relative to the second projection surface 4 or a change in the position of one or more objects 01, O2, 03 in the vicinity of the vehicle 1 (for example, vehicle 1 leaves the second projection surface 4 or an object 01, O2, 03 lies within the projection surface due to a movement of the object), the search procedure can be carried out again to determine a new second projection surface 4 that meets the specified search criteria. 202308022

15 15

Fig. 4 illustriert mittels eines schematischen Blockdiagramms die Schritte eines Verfahrens zur Bereitstellung einer Umfelddarstellung eines Fahrzeugs. Fig. 4 illustrates, using a schematic block diagram, the steps of a method for providing an environment representation of a vehicle.

Zunächst werden Bildinformationen mittels mehrerer Kameras des Kamerasystems des Fahrzeugs erfasst (S10). First, image information is captured using several cameras of the vehicle's camera system (S10).

Anschließend werden Objekte im Umfeld des Fahrzeugs und deren räumliche Lage ermittelt (S11 ). Subsequently, objects in the vicinity of the vehicle and their spatial location are determined (S11 ).

Daraufhin wird eine Objektkarte erstellt, in der die ermittelten Objekte gemäß deren Lage enthalten sind (S12). Subsequently, an object map is created, containing the identified objects according to their location (S12).

Zudem wird eine umfangsseitig geschlossene erste Projektionsfläche mit einer Grundform bereitgestellt (S13). In addition, a circumferentially closed first projection surface with a basic shape is provided (S13).

Basierend auf der Objektkarte und der ersten Projektionsfläche wird eine zweite Projektionsfläche ermittelt (S14), die folgende Kriterien erfüllt: Based on the object map and the first projection surface, a second projection surface is determined (S14) that meets the following criteria:

- die Oberfläche der zweiten Projektionsfläche ist bei Erhalt der Grundform der ersten Projektionsfläche maximiert; - the surface area of the second projection surface is maximized while maintaining the basic shape of the first projection surface;

- das Fahrzeug befindet sich vollständig innerhalb des Raums, der von der zweiten Projektionsfläche umschlossen ist; und - the vehicle is located entirely within the space enclosed by the second projection surface; and

- es liegen keine in der Objektkarte enthaltenen Objekte innerhalb der zweiten Projektionsfläche liegen oder ragen nicht in diese zweite Projektionsfläche partiell hinein; - No objects contained in the object map lie within the second projection surface or do not partially extend into this second projection surface;

Zuletzt wird eine Rundumblickdarstellung der Umgebung des Fahrzeugs erstellt, indem Bildinformationen, die von mehreren Kameras bereitgestellt werden, zusammengefügt werden. Dies erfolgt derart, dass die zusammengefügten Bildinformationen auf die zweite Projektionsfläche zur Bereitstellung einer Umfelddarstellung projiziert sind (S15). 202308022 Finally, a 360° view of the vehicle's surroundings is created by combining image information provided by multiple cameras. This is done by projecting the combined image information onto the second projection surface to provide an environmental view (S15). 202308022

16 16

Die Erfindung wurde voranstehend an Ausführungsbeispielen beschrieben. Es versteht sich, dass zahlreiche Änderungen sowie Abwandlungen möglich sind, ohne dass dadurch der durch die Patentansprüche definierte Schutzbereich verlassen wird. The invention has been described above using exemplary embodiments. It is understood that numerous modifications and adaptations are possible without thereby departing from the scope of protection defined by the patent claims.

202308022 202308022

17 17

Bezugszeichenliste 1 Fahrzeug Reference number list 1 Vehicle

2 Kamerasystem 2 camera system

2.1 Kamera 2.1 Camera

3 erste Projektionsfläche 3 first projection surface

4 zweite Projektionsfläche 4‘, 4“ zweite vorläufige Projektionsfläche4 second projection surface 4’, 4” second provisional projection surface

5 Steuereinheit 5 Control unit

P Projektionsfläche P Projection surface

01 , 02, 03 Objekt OK Objektkarte 01, 02, 03 Object OK Object map

Claims

202308022 18 Patent claims

1) Method for providing an environment representation of a vehicle (1) based on image information provided by a camera system (2) of the vehicle (1) which has several cameras (2.1) distributed around the vehicle (1), wherein the method comprises the following steps:

- Acquisition of image information using multiple cameras (2.1 ) of the camera system (2) (S10);

- Determining objects (01 , O2, 03) in the vicinity of the vehicle (1 ) and their spatial location (S11 );

- Creating an object map (OK) containing the identified objects (01 , 02, 03) according to their location (S12);

- Providing a circumferentially closed first projection surface (3) with a basic shape (S13);

- Based on the object map (OK) and the first projection surface (3), determine a second projection surface (4) (S14) such that:

- the surface area of the second projection surface (4) is maximized while maintaining the basic shape;

- the vehicle (1) is completely within the space enclosed by the second projection surface (4); and

- no objects (01 , 02 , 03) contained in the object map (OK) lie within the second projection surface (4) or partially extend into it;

- Creating a 360° view of the vehicle's surroundings (1 ) by combining the image information provided by several cameras (2.1 ) such that the combined image information is projected onto the second projection surface (4) to provide an environment view (S15).

2) Method according to claim 1 , characterized in that the basic shape of the first projection surface (3) is selected from several basic shape variants. 202308022

19

3) Method according to claim 1 or 2, characterized in that determining the second projection surface (4) comprises adjusting the local position, orientation and/or size of the first projection surface (3).

4) Method according to claim 3, characterized in that the adjustment of the local position of the first projection surface (3) comprises a displacement of the first projection surface (3) in a plane parallel to the surface on which the vehicle (1 ) is located.

5) Method according to claim 3 or 4, characterized in that adjusting the orientation of the first projection surface (3) comprises rotating the first projection surface (3) about a vertical axis of rotation.

6) Method according to one of claims 3 to 5, characterized in that the adjustment of the size of the first projection surface (3) comprises at least partial, parallel displacement of edge sections of the first projection surface (3) and/or a change in the radius of curvature of a curved edge section of the first projection surface (3).

7) Method according to one of claims 3 to 6, characterized in that the adjustment of the local position, orientation and/or size of the first projection surface (3) is carried out such that the circumferential contour of the vehicle (1 ) maintains a predetermined minimum distance from the first projection surface (3).

8) Method according to one of the preceding claims, characterized in that the maximization of the surface of the second projection surface (4) is carried out in such a way that a maximum distance of diametrically opposite edge sections of the second projection surface (4) is not exceeded. 202308022

20

9) Method according to one of the preceding claims, characterized in that, after determining the second projection surface (4), when moving the vehicle (1 ), the position, orientation and/or size of the second projection surface (4) is maintained at least temporarily and the position of the vehicle (1 ) within the second projection surface (4) is changed.

10) Method according to claim 9, characterized in that the all-round view display is created by projecting images taken by the cameras (2.1 ) of the vehicle (1) during its movement onto the second projection surface (4).

11) Method according to claim 9 or 10, characterized in that the second projection surface (4) is adjusted in position, orientation and/or size when the vehicle (1) falls below a minimum distance to the edge of the second projection surface (4) due to its movement relative to the second projection surface (4).

12) Method according to one of the preceding claims, characterized in that the first and second projection surfaces (3, 4) have a three-dimensional, shell-like basic shape.

13) Camera system for a vehicle (1) comprising several cameras (2.1) distributed on the vehicle (1) and a control unit (5) for processing the image information provided by the cameras (2.1) in order to generate an environmental representation of the environment of the vehicle (1), wherein the camera system (2) is configured to perform the following steps:

- Acquisition of image information using multiple cameras (2.1 ) of the camera system (2);

- Determining objects (01 , O2, 03) in the vicinity of the vehicle (1 ) and their spatial location;

- Creating an object map (OK) containing the identified objects (01 , O2, 03) according to their location; 202308022

21

- Providing a circumferentially closed first projection surface (3) with a basic shape;

- Based on the object map (OK) and the first projection surface (3), determine a second projection surface (4) such that: - the surface of the second projection surface (4) when obtaining the

The basic form is maximized;

- Creating a 360° view of the vehicle's surroundings (1) by combining the image information provided by several cameras (2.1) such that the combined image information is projected onto the second projection surface

(4) are projected to provide an environment display. ```