DE102024203695A1 - Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, und Fahrzeug - Google Patents

Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, und Fahrzeug

Info

Publication number
DE102024203695A1
DE102024203695A1 DE102024203695.1A DE102024203695A DE102024203695A1 DE 102024203695 A1 DE102024203695 A1 DE 102024203695A1 DE 102024203695 A DE102024203695 A DE 102024203695A DE 102024203695 A1 DE102024203695 A1 DE 102024203695A1
Authority
DE
Germany
Prior art keywords
vehicle
sensor data
data sequence
data
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102024203695.1A
Other languages
English (en)
Inventor
Thomas Geiler
Kexin LI
Maximilian Junker
Michael Tchorzewski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Robert Bosch GmbH
Original Assignee
Robert Bosch GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Robert Bosch GmbH filed Critical Robert Bosch GmbH
Priority to DE102024203695.1A priority Critical patent/DE102024203695A1/de
Priority to PCT/EP2025/060463 priority patent/WO2025223952A1/de
Publication of DE102024203695A1 publication Critical patent/DE102024203695A1/de
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/87—Combinations of sonar systems
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
    • G01S7/523—Details of pulse systems
    • G01S7/526—Receivers
    • G01S7/53—Means for transforming coordinates or for evaluating data, e.g. using computers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G06N3/0442—Recurrent networks, e.g. Hopfield networks characterised by memory or gating, e.g. long short-term memory [LSTM] or gated recurrent units [GRU]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/586—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of parking space
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/168—Driving aids for parking, e.g. acoustic or visual feedback on parking space
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88—Sonar systems specially adapted for specific applications
    • G01S15/93—Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S2015/932—Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles for parking operations

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Verfahren zum Ermitteln, ob ein Objekt (24, 28, 30) mit einem Fahrzeug (10) kollisionsfrei überfahrbar ist.

Description

  • Stand der Technik
  • Die Erfindung betrifft ein Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, und ein Fahrzeug.
  • Während ein Fahrzeug ein Parkmanöver ausführt, werden typischerweise Objekte in einer Umgebung des Fahrzeugs mittels einer Parkhilfe des Fahrzeugs erfasst.
  • Offenbarung der Erfindung
  • Der Erfindung liegt als Aufgabe die Bereitstellung eines Verfahrens zugrunde, das besonders früh und besonders zuverlässig ermittelt, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist. Weiter ist es Aufgabe der vorliegenden Erfindung ein Fahrzeug bereitzustellen, das dazu ausgebildet ist, das Verfahren auszuführen.
  • Die der Erfindung zugrundeliegende Aufgabe wird durch ein Verfahren mit den Merkmalen des Anspruchs 1 und durch ein Fahrzeug mit den Merkmalen des Anspruchs 10 gelöst. Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen genannt.
  • Ein erfindungsgemäßes Verfahren ist zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, geeignet. Das Verfahren weist die Schritte auf: a) Erzeugen von Sensordaten von dem Objekt durch Erfassen des Objekts mittels einer Parkhilfe des Fahrzeugs, während das Fahrzeug ein Parkmanöver ausführt; b) Erstellung einer Datensequenz basierend auf einer Entwicklung der Sensordaten; und c) Ermitteln durch Analysieren der Datensequenz, ob das Objekt mit dem Fahrzeug kollisionsfrei überfahrbar ist.
  • Vorteilhafterweise kann durch das Analysieren der Datensequenz besonders früh und besonders zuverlässig festgestellt werden, ob das Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist oder nicht.
  • Ein weiterer Aspekt der Erfindung kann sein, dass die Entwicklung der Sensordaten während des Ausführens des Parkmanövers charakteristisch für ein nicht kollisionsfreie überfahrbares Objekt sein kann. Vorteilhafterweise kann durch Ausführen des Verfahrens das Objekt anhand der Entwicklung der Sensordaten als nicht kollisionsfreie überfahrbares Objekt erkannt werden, bevor die Parkhilfe des Fahrzeugs das Objekt, insbesondere eine Höhe des Objekts, vollständig erfasst hat.
  • Unter einem kollisionsfreien Überfahren des Objekts kann verstanden werden, dass das Fahrzeug über das Objekt fährt, ohne dabei beschädigt zu werden.
  • Das Parkmanöver kann zum Platzieren des Fahrzeugs auf einen Parkplatz ausgeführt werden. Das Parkmanöver kann als Einparken des Fahrzeugs auf dem Parkplatz bezeichnet werden.
  • Das Objekt kann einen Parkplatz, auf den das Fahrzeug durch das Parkmanöver platziert wird, begrenzen.
  • Das Objekt kann beispielsweise ein Laternenpfahl, ein Pfosten, eine Wand, eine Bordsteinkante, ein Parkbügel, ein Parkbegrenzer, ein Straßenschild, ein Verkehrszeichen, eine Mauer, ein Zaun, ein Baum, ein Pflanzbeet oder ein weiteres Fahrzeug sein.
  • Die Parkhilfe kann mindestens einen Ultraschallsensor, insbesondere für das Erzeugen der Sensordaten von dem Objekt, aufweisen. Das Erfassen des Objekts im Schritt a) kann ein Erfassen des Objekts mittels des Ultraschallsensors umfassen. Die Datensequenz kann eine Sequenz von Sensordaten des Ultraschallsensors aufweisen.
  • Vorteilhafterweise können Ultraschallsensoren aufgrund ihrer hohen Empfindlichkeit, einfachen Anwendbarkeit und günstigen Preises für die Verwendung als Parkhilfe besonders geeignet sein.
  • Das Erzeugen der Sensordaten von dem Objekt kann, insbesondere nur, während dem Ausführen des Parkmanövers erfolgen. Beispielsweise können die Sensordaten von dem Objekt nicht erzeugt werden, wenn das Fahrzeug kein Parkmanöver ausführt.
  • Das Erzeugen der Sensordaten von dem Objekt kann ein Erzeugen von Zeitstempeln umfassen. Jeder Zeitstempel kann eine Zeitangabe sein, zu der das Objekt durch die Parkhilfe erfasst wurde. Die Datensequenz kann zusätzlich die Zeitstempel aufweisen. Die Sensordaten können in der Datensequenz basierend auf den Zeitstempeln relativ zueinander angeordnet sein. Beispielsweise können die Sensordaten mit aufsteigenden Zeitstempeln in der Datensequenz angeordnet sein.
  • In einer Weiterbildung des Verfahrens ist die Entwicklung der Sensordaten im Schritt b) eine distanzabhängige Entwicklung und/oder eine zeitliche Entwicklung der Sensordaten.
  • Beispielsweise kann die Datensequenz um weitere Sensordaten von dem Objekt ergänzt werden, wenn eine Distanz zwischen dem Fahrzeug und dem Objekt sich um einen vorgegebenen Betrag verkürzt oder verlängert hat. Mit anderen Worten, die Erfassung der Sensordaten kann periodisch in vorgegebenen räumlichen Intervallen erfolgen.
  • Zusätzlich oder alternativ kann beispielsweise die Datensequenz um weitere Sensordaten von dem Objekt ergänzt werden, wenn eine Dauer seit dem Erzeugen der zuletzt der Datensequenz hinzugefügten Sensordaten einen vorgegebenen Wert erreicht hat. Mit anderen Worten, die Erfassung von Sensordaten kann periodisch in vorgegebenen zeitlichen Intervallen erfolgen.
  • In einer Weiterbildung des Verfahrens erfolgt die Erstellung der Datensequenz im Schritt b) durch Speichern der im Schritt a) erzeugten Sensordaten.
  • In einer Weiterbildung des Verfahrens erfolgt das Analysieren der Datensequenz im Schritt c) durch Bildung von Korrelationen von in der Datensequenz benachbarter und/oder aufeinanderfolgender Sensordaten. Vorteilhafterweise kann basierend auf den Korrelationen besonders einfach ermittelt werden, ob das Objekt mit dem Fahrzeug kollisionsfrei überfahrbar ist.
  • In einer Weiterbildung des Verfahrens erfolgt das Analysieren der Datensequenz im Schritt c) mittels eines rekursiven neuronalen Netzes. Vorteilhafterweise können Datensequenzen von unterschiedlichen Längen mittels des rekursiven neuronalen Netzes analysiert werden. Das rekursive neuronale Netz kann flexibel skalierbar ausgebildet sein. Das rekursive neuronale Netz kann für unterschiedlich ausgebildete Fahrzeuge besonders einfach angepasst oder trainiert werden.
  • Das rekursive neuronale Netz (englisch: „recursive neural network“) kann mit „RNN“ abgekürzt werden.
  • Durch das rekursive neuronale Netz kann das Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, auch dann zuverlässig erfolgen, wenn von dem Objekt in früheren Zeitabschnitten Sensordaten erzeugt und in einem späteren Zeitabschnitt keine Sensordaten erzeugt wurden. Dies kann beispielsweise für kollisionskritische Objekte gelten, die eine geringere Höhe als die Montageposition der Parkhilfe aufweisen und dadurch bei geringer Entfernung sich aus einem Erfassungsbereich der Parkhilfe bewegen. Derartige Objekte können beispielsweise Kisten oder Bobbycars sein.
  • In einer Weiterbildung des Verfahrens weist das Verfahren vor dem Schritt c) den Schritt auf: e) Trainieren des rekursiven neuronalen Netzes mit zumindest einer Trainingsdatensequenz. Die Trainingsdatensequenz kann beispielsweise ein Rauschen aufweisen. Dadurch kann vorteilhafterweise das rekursive neuronale Netz unempfindlicher auf ein Rauschen in der Datensequenz sein. Die Trainingsdatensequenz kann eine Datensequenz von einem früheren Parkmanöver sein. Das Trainieren des rekursiven neuronalen Netzes kann außerhalb des Fahrzeugs, beispielsweise in einem Rechenzentrum, stattfinden.
  • In einer Weiterbildung des Verfahrens ist das rekursive neuronale Netz als ein long short-term memory Netz ausgebildet. Das long short-term memory Netz (deutsch: langes Kurzzeitgedächtnis-Netz) kann mit „LSTM“ abgekürzt werden.
  • In einer Weiterbildung des Verfahrens umfasst das Ermitteln im Schritt c) ein Gewichten der Sensordaten.
  • Aussagekräftigere Sensordaten können stärker gewichtet sein. Beispielsweise können Sensordaten mit einem geringen Signal-Rauschverhältnis stärker gewichtet sein als Sensordaten mit einem größeren Signal-Rauschverhältnis.
  • Das Analysieren der Datensequenz im Schritt c) kann in Abhängigkeit von der Gewichtung der Sensordaten erfolgen.
  • Vorzugsweise kann das Trainieren des rekursiven neuronalen Netzes im Schritt e) derart erfolgt, dass die Gewichtung der Sensordaten durch das rekursive neuronale Netz erfolgt. Für das Training im Schritt e) kann beispielsweise eine Verlustfunktion und/oder eine Bewertungsmetrik verwendet werden, die die Sensordaten unterschiedlich gewichtet
  • In einer Weiterbildung des Verfahrens erfolgt das Gewichten der Sensordaten basierend auf einem Abstand zwischen dem Objekt und dem Fahrzeug. Zusätzlich oder alternativ erfolgt das Gewichten der Sensordaten basierend auf einer zeitlichen Abfolge der Sensordaten.
  • Die Sensordaten können derart gewichtet sein, dass die Sensordaten, die mit einem geringen Abstand zwischen dem Objekt und dem Fahrzeug erzeugt wurden, stärker gewichtet sind als Sensordaten, die mit einem höheren Abstand zwischen dem Objekt und dem Fahrzeug erzeugt wurden. Der Abstand zwischen dem Objekt und dem Fahrzeug kann basierend auf den Sensordaten ermittelt werden.
  • Die Sensordaten können derart gewichtet sein, dass die Sensordaten, die zeitlich früher erzeugt wurden, geringer gewichtet sind als Sensordaten, die zeitlich später erzeugt wurden.
  • Ein erfindungsgemäßes Fahrzeug, insbesondere ein Kraftfahrzeug, ist das dazu ausgebildet, ein zuvor beschriebenes Verfahren auszuführen.
  • Nachfolgend werden mögliche Ausführungsbeispiele der Erfindung unter Bezugnahme auf die beiliegenden Zeichnungen erläutert. Es zeigen:
    • 1 eine schematische Draufsicht auf ein Fahrzeug mit einer Parkhilfe,
    • 2 bis 4 jeweils eine schematische Draufsicht auf das Fahrzeug von 1 während einem Erstellen einer Trainingsdatensequenz für ein Training eines rekursiven neuronalen Netzes des Fahrzeugs,
    • 5 eine schematische Draufsicht auf das Fahrzeug von 1 beim Ausführen eines Parkmanövers,
    • 6 ein schematisches Modell von Sensordaten und dem rekursiven neuronalen Netz beim Ausführen des Parkmanövers von 5, und
    • 7 ein beispielhafter Ablauf eines Verfahrens zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist.
  • 1 zeigt ein Fahrzeug 10 mit einer Parkhilfe 12 in Form eines ultraschallbasierten Fahrerassistenzsystems. Die Parkhilfe 12 hat eine Steuereinrichtung 14 und eine Mehrzahl von Ultraschallsensoren 16. In dem Ausführungsbeispiel der 1 sind beispielhaft acht Ultraschallsensoren 16 dargestellt.
  • In einem alternativen, nicht dargestellten Ausführungsbeispiel hat die Parkhilfe zwölf Ultraschallsensoren, wobei jede Stoßstange des Fahrzeugs sechs Ultraschallsensoren aufweist. Von den sechs Ultraschallsensoren jeder Stoßstange können zwei Ultraschallsensoren seitlich ausgerichtet sein.
  • Die Ultraschallsensoren 16 sind mit der Steuereinrichtung 14 signaltechnisch verbunden. Die Ultraschallsensoren 16 sind an einem Heck des Fahrzeugs 10 angeordnet.
  • Die Steuereinrichtung 14 hat einen Speicher 18 und ein rekursives neuronales Netz 20. Das rekursive neuronale Netz 20 ist als ein long short-term memory Netz ausgebildet.
  • Die Parkhilfe 12 ist dazu ausgebildet, ein Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug 10 kollisionsfrei überfahrbar ist, auszuführen.
  • 2 bis 4 zeigen jeweils das Fahrzeug 10 während einem Erstellen einer Trainingsdatensequenz für ein Training des rekursiven neuronalen Netzes 20. In 1 bis 4 sind für identische und funktionell äquivalente Elemente gleiche Bezugszeichen verwendet, weshalb insoweit auf die entsprechend gemachte Beschreibung verwiesen werden kann.
  • 2 zeigt, dass das Fahrzeug 10 rückwärts entlang einer Bewegungsrichtung 22 auf einen Pfosten 24 zu fährt. Der Pfosten 24 kann von dem Fahrzeug 10 nicht kollisionsfrei überfahren werden. Während das Fahrzeug 10 auf den Pfosten 24 zu fährt, sendet jeder Ultraschallsensor 16 Ultraschallpulse 26 aus, die von dem Pfosten 24 als Echos reflektiert werden. Die Echos werden von den Ultraschallsensoren 16 durch Detektion der Echos in Sensordaten umgewandelt.
  • Die Steuereinrichtung 14 erzeugt ein Zeitstempel für jedes detektierte Echo. Die Steuereinrichtung 14 erstellt eine Trainingsdatensequenz von dem Pfosten 24 durch Speichern der Sensordaten und den Zeitstempeln in dem Speicher 18 der Steuereinrichtung 14.
  • Die Trainingsdatensequenz enthält ein Rauschen, das während der Erstellung der Sensordaten von dem Pfosten 24 auftritt.
  • Das rekursive neuronale Netz 20 wird außerhalb des Fahrzeugs 10, beispielsweise in einem Rechenzentrum, mit der Trainingsdatensequenz von dem Pfosten 24 trainiert. Für das Training des rekursiven neuronalen Netzes 20 wird eine Verlustfunktion und/oder eine Bewertungsmetrik verwendet, welche die Sensordaten basierend auf den Zeitstempeln gewichtet. In dem dargestellten Ausführungsbeispiel werden die zeitlich später erfassten Sensordaten stärker gewichtet als zeitlich früher erfasste Sensordaten.
  • 3 zeigt, dass das Fahrzeug 10 rückwärts entlang der Bewegungsrichtung 22 auf einen Bordstein 28 zu fährt. Der Bordstein 28 kann von dem Fahrzeug 10 kollisionsfrei überfahren werden. Während das Fahrzeug 10 auf den Bordstein 28 zu fährt, sendet jeder Ultraschallsensor 16 Ultraschallpulse 26 aus, die von dem Bordstein 28 als Echos reflektiert werden. Die Echos werden von den Ultraschallsensoren 16 durch Detektion der Echos in Sensordaten umgewandelt.
  • Die Steuereinrichtung 14 erstellt eine Trainingsdatensequenz von dem Bordstein 28 durch Speichern der Sensordaten in dem Speicher 18 der Steuereinrichtung 14. Das rekursive neuronale Netz 20 wird außerhalb des Fahrzeugs 10, beispielsweise in einem Rechenzentrum, mit der Trainingsdatensequenz von dem Bordstein 28 trainiert.
  • 4 zeigt, dass das Fahrzeug 10 rückwärts auf ein weiteres Fahrzeug 30 zu fährt. Das weitere Fahrzeug 30 kann von dem Fahrzeug 10 nicht kollisionsfrei überfahren werden. Das Training des neuronalen Netzes 20 für das weitere Fahrzeug 30 erfolgt entsprechend dem Training für den Pfosten 24, weshalb insoweit auf die Beschreibung des Trainings für den Pfosten 24 verwiesen wird.
  • Nach Abschluss des Trainings ist das rekursive neuronale Netz 20 derart trainiert, dass das die Parkhilfe 12 basierend auf einer Datensequenz von einem Objekt ermitteln kann, ob das Objekt mit einem Fahrzeug 10 kollisionsfrei überfahrbar ist.
  • Nach Abschluss des Trainings wird das trainierte rekursive neuronale Netz 20 auf das Fahrzeug übertragen. Das bislang in der Steuereinrichtung 14 vorhandene rekursive neuronale Netz wird durch das trainierte rekursive neuronale Netz 20 ersetzt.
  • 5 zeigt das Fahrzeug 10 während des Ausführens eines Parkmanövers für das Platzieren des Fahrzeugs 10 auf einen Parkplatz.
  • Der Parkplatz befindet sich am Rand einer Fahrbahn 32 und ist von Pfosten 24 sowie von zwei weiteren Fahrzeugen 30 begrenzt. Das Parken auf dem Parkplatz ist ein Gehwegparken. Mit anderen Worten, das Fahrzeug 10 ist seitlich auf einem Gehweg 34 zu platzieren, der durch einen Bordstein 28 von der Fahrbahn 32 getrennt ist. Für das Parken des Fahrzeugs 10 auf dem Parkplatz ist der Bordstein 28 von dem Fahrzeug 10 zu überfahren.
  • Um das Fahrzeug 10 auf den Parkplatz zu parken, führt das Fahrzeug 10 das Parkmanöver aus. Das Parkmanöver umfasst ein Rückwärtsfahren auf den Parkplatz.
  • Während dem Ausführen des Parkmanövers werden mittels der Parkhilfe 12 Sensordaten von dem Bordstein 28, den Pfosten 24 und der weiteren Fahrzeugen 30 erzeugt. Das Erzeugen der Sensordaten von dem Bordstein 28, den Pfosten 24 und den weiteren Fahrzeugen 30 erfolgt durch Aussenden von Ultraschallpulsen 26 mittels den Ultraschallsensoren 16 und detektiert von Echos der Ultraschallpulse 26. Die Steuereinrichtung 14 erzeugt einen Zeitstempel für jedes detektierte Echo.
  • Die Steuereinrichtung 14 erstellt eine Datensequenz durch Speichern der Sensordaten und den Sensordaten zugeordneten Zeitstempeln in dem Speicher 18 der Steuereinrichtung 14. In der Datensequenz sind die Sensordaten mit aufsteigenden Zeitstempeln angeordnet. Anders formuliert, die Datensequenz ist eine zeitliche Entwicklung der Sensordaten.
  • Die Steuereinrichtung 14 ermittelt durch eine Analyse der Datensequenz mittels des rekursiven neuronalen Netzes 20, ob die Pfosten 24, der Bordstein 28 und die weiteren Fahrzeuge 30 mit einem Fahrzeug 10 kollisionsfrei überfahrbar sind.
  • Das rekursive neuronale Netz 20 ist derart trainiert, dass bei der Analyse der Datensequenz die Sensordaten in Abhängigkeit eines Abstands zwischen dem Fahrzeug und dem Bordstein 28, eines Abstands zwischen dem Fahrzeug und den Pfosten 24 und eines Abstands zwischen dem Fahrzeug und der weiteren Fahrzeuge 30 gewichtet werden. Die Sensordaten können durch das rekursive neuronale Netz 20 derart gewichtet sein, dass die Sensordaten der Objekte 24, 28, 30 mit einem geringen Abstand zu dem Fahrzeug 10 stärker gewichtet sind als Sensordaten der Objekte 24, 28, 30 mit einem größeren Abstand zu dem Fahrzeug 10. Dies ist aber nicht zwingend. Beliebige andere Muster in der Datensequenz können zur Ermittlung, ob ein Objekt mit dem Fahrzeug kollisionsfrei überfahrbar ist, verwendet werden.
  • Die Analyse der Datensequenz durch das rekursive neuronale Netz 20 ergibt, dass der Bordstein 28 mit dem Fahrzeug 10 überfahrbar ist. Die Analyse der Datensequenz durch das rekursive neuronale Netz 20 ergibt, dass die Pfosten 24 und die weiteren Fahrzeuge 30 mit dem Fahrzeug 10 nicht überfahrbar sind.
  • Nach einem vorgegebenen zeitlichen Intervall, beispielsweise nach 0,3 Sekunden, senden die Ultraschallsensoren 16 weitere Ultraschallpulse 26 aus und detektieren deren Echos. Die Steuereinrichtung 14 erzeugt weitere Zeitstempel für jedes detektierte Echo. Die dadurch gewonnenen Sensordaten von dem Bordstein 28, den Pfosten 24 und der weiteren Fahrzeuge 30 und den Sensordaten zugeordneten Zeitstempeln werden der bereits vorhandenen Datensequenz hinzugefügt. Mit anderen Worten, die Datensequenz wird während dem Ausführen des Parkmanövers in regelmäßigen zeitlichen Intervallen um weitere Sensordaten erweitert.
  • Nach jedem Erweitern der Datensequenz um weitere Sensordaten wird die Datensequenz von dem rekursiven neuronalen Netz 20 analysiert. Dadurch wird nach jedem Erweitern der Datensequenz um weitere Sensordaten erneut ermittelt, ob die Pfosten 24, der Bordstein 28 und die weiteren Fahrzeuge 30 mit dem Fahrzeug 10 kollisionsfrei überfahrbar sind.
  • Das Fahrzeug 10 setzt in Abhängigkeit von der Ermittlung, ob die Pfosten 24, der Bordstein 28 und die weiteren Fahrzeuge 30 mit dem Fahrzeug 10 kollisionsfrei überfahrbar sind, das Parkmanöver fort. Dabei überfährt das Fahrzeug 10 den Bordstein 28 ohne mit den Pfosten 24 oder den weiteren Fahrzeuge 30 zu kollidieren.
  • 6 zeigt ein schematisches Modell von den Sensordaten 36, der Datensequenz 38 und dem rekursiven neuronalen Netz 20 während das Fahrzeug 10 das Parkmanöver ausführt. Die Sensordaten 36 bilden die Datensequenz 38. Die Datensequenz 38 wird nach Ablauf des vorgegebenen zeitlichen Intervalls um weitere Sensordaten 36 erweitert. Nach jeder Erweiterung kann das rekursive neuronale Netz 20 die Datensequenz 38 analysieren. Dadurch wird nach jeder Erweiterung ermittelt, ob die Pfosten 24, der Bordstein 28 und die weiteren Fahrzeuge 30 mit dem Fahrzeug 10 kollisionsfrei überfahrbar sind. Alternativ kann das rekursive neuronale Netz 20 einen internen Zustand aktualisieren, wenn die Datensequenz 38 um weitere Sensordaten 36 erweitert wird. Dadurch kann das rekursive neuronale Netz 20, wenn neue Sensordaten 36 hinzukommen, von dem internen Zustand starten und muss nicht die gesamte Datensequenz 38 verarbeiten.
  • In 6 ist das Ergebnis der Ermittlung nach jedem Erweitern der Datensequenz 38 mit dem Bezugszeichen h1, h2, hL-1, hL beschriftet.
  • 7 zeigt einen beispielhaften Ablauf eines Verfahrens zum Ermitteln, ob ein Objekt mit dem Fahrzeug 10 kollisionsfrei überfahrbar ist.
  • Das Verfahren weist die Schritte auf: e) Trainieren des rekursiven neuronalen Netzes 20 mit zumindest einer Trainingsdatensequenz und mit einer Verlustfunktion und/oder mit einer Bewertungsmetrik derart, dass Sensordaten einer Datensequenz in Abhängigkeit eines Abstands zwischen dem Objekt und dem Fahrzeug 10 gewichtet werden; a) Erzeugen von Sensordaten 36 von dem Objekt durch Erfassen des Objekts mittels Ultraschallsensoren 16 der Parkhilfe 12 des Fahrzeugs 10, während das Fahrzeug 10 das Parkmanöver ausführt, wobei das Erzeugen der Sensordaten 36 von dem Objekt das Erzeugen von Zeitstempeln umfasst; b) Erstellung einer Datensequenz 38 von einer distanzabhängigen oder zeitlichen Entwicklung der Sensordaten 36 durch Speichern der im Schritt a) erzeugten Sensordaten 36 und den Zeitstempeln; und c) Ermitteln durch Analysieren der Datensequenz 38 mittels des rekursiven neuronalen Netzes, ob das Objekt mit dem Fahrzeug 10 kollisionsfrei überfahrbar ist.

Claims (10)

  1. Verfahren zum Ermitteln, ob ein Objekt (24, 28, 30) mit einem Fahrzeug (10) kollisionsfrei überfahrbar ist, wobei das Verfahren die Schritte aufweist: a) Erzeugen von Sensordaten (36) von dem Objekt (24, 28, 30) durch Erfassen des Objekts (24, 28, 30) mittels einer Parkhilfe (12) des Fahrzeugs (10), während das Fahrzeug (10) ein Parkmanöver ausführt, b) Erstellung einer Datensequenz (38) basierend auf einer Entwicklung der Sensordaten (36), und c) Ermitteln durch Analysieren der Datensequenz (38), ob das Objekt (24, 28, 30) mit dem Fahrzeug (10) kollisionsfrei überfahrbar ist.
  2. Verfahren nach Anspruch 1, - wobei die Entwicklung der Sensordaten (36) im Schritt b) eine distanzabhängige Entwicklung und/oder eine zeitliche Entwicklung der Sensordaten (36) ist.
  3. Verfahren nach einem der voranstehenden Ansprüche, - wobei die Erstellung der Datensequenz (38) im Schritt b) durch Speichern der im Schritt a) erzeugten Sensordaten (36) erfolgt.
  4. Verfahren nach einem der voranstehenden Ansprüche, - wobei das Analysieren der Datensequenz (38) im Schritt c) durch Bildung einer Korrelation von in der Datensequenz (38) benachbarter und/oder aufeinanderfolgender Sensordaten (36) erfolgt.
  5. Verfahren nach einem der voranstehenden Ansprüche, - wobei das Analysieren der Datensequenz (38) im Schritt c) mittels eines rekursiven neuronalen Netzes (20) erfolgt.
  6. Verfahren nach Anspruch 5, - wobei das Verfahren vor dem Schritt c) den Schritt aufweisen: e) Trainieren des rekursiven neuronalen Netzes (20) mit zumindest einer Trainingsdatensequenz.
  7. Verfahren nach Anspruch 5 oder 6, - wobei das rekursive neuronale Netz (20) als ein long short-term memory Netz ausgebildet ist.
  8. Verfahren nach einem der voranstehenden Ansprüche, - wobei das Ermitteln im Schritt c) ein Gewichten der Sensordaten (36) umfasst.
  9. Verfahren nach Anspruch 8, - wobei das Gewichten der Sensordaten (36) basierend auf einem Abstand zwischen dem Objekt (24, 28, 30) und dem Fahrzeug (10) erfolgt, und/oder - wobei das Gewichten der Sensordaten (36) basierend auf einer zeitlichen Abfolge der Sensordaten (36) erfolgt.
  10. Fahrzeug (10), insbesondere Kraftfahrzeug, das dazu ausgebildet ist, ein Verfahren nach einem der voranstehenden Ansprüche auszuführen.
DE102024203695.1A 2024-04-22 2024-04-22 Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, und Fahrzeug Pending DE102024203695A1 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102024203695.1A DE102024203695A1 (de) 2024-04-22 2024-04-22 Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, und Fahrzeug
PCT/EP2025/060463 WO2025223952A1 (de) 2024-04-22 2025-04-16 Verfahren zum ermitteln, ob ein objekt mit einem fahrzeug kollisionsfrei überfahrbar ist, und fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102024203695.1A DE102024203695A1 (de) 2024-04-22 2024-04-22 Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, und Fahrzeug

Publications (1)

Publication Number Publication Date
DE102024203695A1 true DE102024203695A1 (de) 2025-10-23

Family

ID=95451493

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102024203695.1A Pending DE102024203695A1 (de) 2024-04-22 2024-04-22 Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, und Fahrzeug

Country Status (2)

Country Link
DE (1) DE102024203695A1 (de)
WO (1) WO2025223952A1 (de)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102007042220A1 (de) * 2007-09-05 2009-03-12 Robert Bosch Gmbh Objektklassifizierungsverfahren, Einparkhilfeverfahren und Einparkhilfesystem
DE102009046158A1 (de) * 2009-10-29 2011-05-05 Robert Bosch Gmbh Verfahren zur Erkennung von Objekten mit geringer Höhe
DE102019207688A1 (de) * 2019-05-26 2020-11-26 Robert Bosch Gmbh Verfahren und Fahrerassistenzsystem zur Klassifizierung von Objekten in der Umgebung eines Fahrzeugs
DE102020215773A1 (de) * 2020-12-14 2022-06-15 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zum Erkennen von Objekten in Sensordaten einer Ultraschallsensorik eines Fahrzeugs
US20220398463A1 (en) * 2021-06-11 2022-12-15 Robert Bosch Gmbh Ultrasonic system and method for reconfiguring a machine learning model used within a vehicle

Also Published As

Publication number Publication date
WO2025223952A1 (de) 2025-10-30

Similar Documents

Publication Publication Date Title
EP1664838B1 (de) Verfahren und computerprogramm zum erfassen der kontur eines hindernisses in der umgebung eines fahrzeugs
DE102011085287A1 (de) Verfahren zur Ermittlung der Bodenbeschaffenheit
EP2766243B1 (de) Verfahren zum verbessern eines parkassistenten sowie einparksystem
DE102009047283A1 (de) Verfahren und Vorrichtung zur Unterstützung eines Fahrers eines Kraftfahrzeugs
DE19953009C2 (de) Vorrichtung zur Überwachung der Belegung von Kraftfahrzeug-Stellplätzen
DE102007002738A1 (de) Verfahren zur Unterstützung eines Einparkvorgangs eines Fahrzeugs
WO2016020343A1 (de) Verfahren zum erkennen zumindest eines objekts in einem umgebungsbereich eines kraftfahrzeugs mittels eines ultraschallsensors, fahrerassistenzsystem sowie kraftfahrzeug
DE102017103275A1 (de) Verfahren zum Erfassen eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mithilfe eines Ultraschallsensors mit verbesserter Filterung von Bodenreflexionen, Steuergerät, Ultraschallsensorvorrichtung sowie Kraftfahrzeug
DE102019205565A1 (de) Verfahren und Vorrichtung zum Bewerten einer Objekthöhe mittels von einem an einem Fahrzeug angebrachten Ultraschallsensor empfangenen Ultraschallsignalen
DE102020119954A1 (de) Verfahren zum Erzeugen einer Belegungsgitterkarte für zumindest ein statisches Objekt, Computerprogrammprodukt, computerlesbares Speichermedium sowie Assistenzsystem
WO2016131624A1 (de) System und verfahren zur erkennung eines belegungszustandes von parkplätzen
DE102015222800A1 (de) Verfahren zum Ermitteln einer Parkfläche eines Straßenabschnitts
DE102014116014A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftfahrzeugs, Fahrerassistenzsystem sowie Kraftfahrzeug
EP1755921A1 (de) Verfahren und vorrichtung zur unterstützung eines einparkvorganges eines fahrzeuges
DE102017211712A1 (de) Verfahren zur Datengenerierung zum Erzeugen und Aktualisieren einer Topologiekarte für mindestens einen Raum mindestens eines Gebäudes
DE102011006939A1 (de) Parkassistenzsystem mit Seitenbegrenzungsdetektion
DE102018103414A1 (de) Verfahren zur Charakterisierung eines Objekts in einem Umgebungsbereich eines Kraftfahrzeugs mit Höhenschätzung anhand einer seitlichen Ableitung eines Empfangssignals eines Ultraschallsensors, Recheneinrichtung sowie Ultraschallsensorvorrichtung
DE102024203695A1 (de) Verfahren zum Ermitteln, ob ein Objekt mit einem Fahrzeug kollisionsfrei überfahrbar ist, und Fahrzeug
DE102009031561A1 (de) Verfahren zur Erkennung und Korrektur einer Fehlstellung eines Abstandssensors und ein Fahrassistenzsystem für Fahrzeuge
EP4165375B1 (de) Verfahren zur bestimmung einer nutzungsart eines landmarkenmusters für eine eigenlokalisierung eines fahrzeugs, sowie elektronisches eigenlokalisierungssystem für ein fahrzeug
WO2004059341A1 (de) Verfahren zum erfassen von umgebungsinformationen und zum bestimmen der lage einer parklücke
DE102013016906A1 (de) Verfahren zum Betrieb eines Fahrzeuges
DE102015221551A1 (de) Verfahren, Computer-lesbares Medium, System, und Fahrzeug umfassend das System zum Bestimmen einer Position eines Fahrzeugs
DE10322617A1 (de) Verfahren und Vorrichtungen zum Erkennen von einem Gegenstand auf einer Fahrbahnoberfläche
EP2813861B1 (de) Verfahren zum Bestimmen eines Wasserstands in der Umgebung eines Kraftfahrzeugs, Fahrerassistenzvorrichtung und Kraftfahrzeug