DE102024209843A1

DE102024209843A1 - Method for evaluating a decision of a neural network to set an operating mode of a vehicle unit, further methods, system, computing unit and computer program

Info

Publication number: DE102024209843A1
Application number: DE102024209843.4A
Authority: DE
Inventors: Andreas Udo Sass; Oliver Cassebaum; Leon Götz; Jan Piewek; Christopher Vox; Steffen Mölle
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2024-10-09
Filing date: 2024-10-09
Publication date: 2026-04-09

Abstract

Die Erfindung betrifft unter anderem ein Verfahren zur Beurteilung einer Entscheidung eines neuronalen Netzes (2) zur Einstellung einer Betriebsweise einer Fahrzeugeinheit (3), aufweisend die Schritte:
a) Erfassen der eingestellten Entscheidung des neuronalen Netzes (2) mittels einer Fahrzeugrecheneinheit (4);
b) Bereitstellen der Entscheidung an ein neuronales Zusatz-Netz (6) einer zur Fahrzeugrecheneinheit (4) unterschiedlichen Recheneinheit (5);
c) Bereitstellen von Fahrzeugsensordaten, von denen zumindest einige dem neuronalen Netz für die Entscheidung der Einstellung der Betriebsweise zur Verfügung standen an das neuronale Zusatz-Netz (6);
d) Bestimmen einer Soll-Entscheidung mittels des neuronalen Zusatz-Netzes (6) auf Basis der bereitgestellten Fahrzeugsensordaten;
e) Vergleichen der bereitgestellten Entscheidung mit der bestimmten Soll-Entscheidung; und
f) Beurteilen der bereitgestellten Entscheidung des neuronalen Netzes (2) abhängig von dem Vergleich. The invention relates, among other things, to a method for evaluating a decision of a neural network (2) for setting an operating mode of a vehicle unit (3), comprising the steps:
a) Capturing the decision set by the neural network (2) using a vehicle computing unit (4);
b) Providing the decision to an additional neural network (6) of a computing unit (5) different from the vehicle computing unit (4);
c) Providing vehicle sensor data, at least some of which was available to the neural network for the decision on the mode of operation, to the additional neural network (6);
d) Determining a target decision using the additional neural network (6) based on the provided vehicle sensor data;
e) Comparing the provided decision with the specified target decision; and
f) Evaluate the decision provided by the neural network (2) depending on the comparison.

Description

Aspekte der Erfindung betreffen ein Verfahren zur Beurteilung einer Entscheidung eines neuronalen Netzes zur Einstellung einer Betriebsweise einer Fahrzeugeinheit, ein Verfahren zur Bestimmung eines Zuverlässigkeitsgrades einer Entscheidung eines neuronalen Netzes bezüglich einer Betriebsweise einer Fahrzeugfunktion, ein Verfahren zum Betrieb eines Fahrzeugs, ein System zur Beurteilung einer Entscheidung eines neuronalen Netzes zur Einstellung einer Betriebsweise einer Fahrzeugeinheit, eine Recheneinheit und ein Computerprogramm.Aspects of the invention relate to a method for evaluating a decision of a neural network for setting an operating mode of a vehicle unit, a method for determining a degree of reliability of a decision of a neural network regarding an operating mode of a vehicle function, a method for operating a vehicle, a system for evaluating a decision of a neural network for setting an operating mode of a vehicle unit, a computing unit and a computer program.

Viele Fahrzeugfunktionen von Fahrzeugeinheiten moderner Fahrzeuge werden automatisiert betrieben, wobei mittels neuronaler Netze Entscheidungen zur Betriebsweise der Fahrzeugeinheiten bestimmt werden. Diese Entscheidungen müssen gegebenenfalls in Echtzeit und/oder ausfallsicher bestimmt werden. Daher ist es vorzugsweise erforderlich, dass das neuronale Netz auf einer Fahrzeugrecheneinheit des Fahrzeugs ausgebildet ist und/oder eine Auswahl der für die Entscheidung zu berücksichtigenden Daten getroffen wird.Many vehicle functions of modern vehicle units are automated, with neural networks used to determine how these units operate. These decisions may need to be made in real time and/or with fault tolerance. Therefore, it is preferably necessary for the neural network to be implemented on the vehicle's onboard computer and/or for a selection of the data to be considered for the decision to be made.

Es ist Aufgabe der Erfindung Verfahren, ein System, eine Recheneinheit und ein Computerprogramm bereitzustellen, um eine Entscheidung eines neuronalen Netzes zu beurteilen, insbesondere zu verbessern.The object of the invention is to provide a method, a system, a computing unit and a computer program to evaluate, and in particular improve, a decision made by a neural network.

Die Aufgabe wird durch die Gegenstände der unabhängigen Ansprüche gelöst. Vorteilhafte Weiterbildungen der Erfindung sind durch die abhängigen Ansprüche, die folgende Figurenbeschreibung sowie die Figuren definiert.The problem is solved by the subject matter of the independent claims. Advantageous embodiments of the invention are defined by the dependent claims, the following description of the figures, and the figures themselves.

Ein erster Aspekt der Erfindung betrifft ein Verfahren zur Beurteilung einer Entscheidung eines neuronalen Netzes bezüglich einer Einstellung einer Betriebsweise einer Fahrzeugeinheit eines Fahrzeugs. Das Verfahren weist vorzugsweise folgende Schritte auf:

a) Insbesondere Erfassen der eingestellten Entscheidung des neuronalen Netzes mittels einer Fahrzeugrecheneinheit des Fahrzeugs;
b) Insbesondere Bereitstellen der Entscheidung an zumindest ein neuronales Zusatz-Netz einer zur Fahrzeugrecheneinheit unterschiedlichen Recheneinheit;
c) Insbesondere Bereitstellen von Fahrzeugsensordaten, von denen zumindest einige dem neuronalen Netz für die Entscheidung der Einstellung der Betriebsweise zur Verfügung standen, an das zumindest eine neuronale Zusatz-Netz;
d) Insbesondere Bestimmen einer Soll-Entscheidung mittels des zumindest einen neuronalen Zusatz-Netzes auf Basis der bereitgestellten Fahrzeugsensordaten;
e) Insbesondere Vergleichen der bereitgestellten Entscheidung mit der bestimmten Soll-Entscheidung, insbesondere mit einer Vergleichereinheit; und
f) Insbesondere Beurteilen der bereitgestellten Entscheidung des neuronalen Netzes abhängig von dem Vergleich, insbesondere mit einer Beurteilungseinheit.

A first aspect of the invention relates to a method for evaluating a decision of a neural network regarding a setting of an operating mode of a vehicle unit. The method preferably comprises the following steps:

a) In particular, capturing the decision set by the neural network using a vehicle computing unit of the vehicle;
b) In particular, providing the decision to at least one additional neural network of a computing unit different from the vehicle computing unit;
c) In particular, providing vehicle sensor data, at least some of which was available to the neural network for deciding on the operating mode, to at least one additional neural network;
d) In particular, determining a target decision using at least one additional neural network based on the provided vehicle sensor data;
e) In particular, comparing the provided decision with the specified target decision, especially with a comparator unit; and
f) In particular, assessing the decision provided by the neural network depending on the comparison, especially with an assessment unit.

Durch das Verfahren ist es ermöglicht, die Entscheidung des neuronalen Netzes zu beurteilen, sodass in nachgelagerten Schritten das neuronale Netz verbessert wird und/oder ein Fahrer darüber informiert wird und gegebenenfalls eingreifen kann und/oder gegebenenfalls die Entscheidung angepasst wird.This process makes it possible to assess the decision of the neural network, so that in subsequent steps the neural network is improved and/or a driver is informed and can intervene if necessary and/or the decision is adjusted if necessary.

Insbesondere ist das zumindest eine neuronale Zusatz-Netz, insbesondere im Vergleich zum neuronalen Netz. analysefähiger. Das bedeutet insbesondere, dass das neuronale Zusatz-Netz eine tiefergehende, umfänglichere und/oder detaillierte Analyse der Fahrzeugsensordaten vornimmt. Es kann also ein neuronales Zusatz-Netz genutzt werden oder es können auch mehrere neuronale Zusatz-Netze genutzt werden. Situationsabhängig kann daher eine Wahl der Anzahl der Zusatz-Netze erfolgen. Diese Auswahl bzw. Entscheidung kann auch systemseitig automatisch erfolgen. Dazu können Umgebungsinformationen und/oder Fahrzeuginformationen und/oder Anzahl, Art und Inhalt der Fahrzeugsensordaten, und/oder die Art und/oder der Umfang der Entscheidung des neuronalen Netzes und/oder die Art des neuronalen Netzes berücksichtigt werden, insbesondere durch das System, also das Beurteilungssystem..In particular, this is at least one additional neural network, especially compared to the primary neural network, and is more capable of analysis. This means, in particular, that the additional neural network performs a deeper, more comprehensive, and/or more detailed analysis of the vehicle sensor data. Therefore, one additional neural network can be used, or several additional neural networks can be used. The number of additional networks can be selected depending on the situation. This selection or decision can also be made automatically by the system. Environmental information and/or vehicle information and/or the number, type, and content of the vehicle sensor data and/or the type and/or scope of the neural network's decision and/or the type of neural network itself can be taken into account, especially by the system, i.e., the evaluation system.

Das Bereitstellen der Entscheidung wird beispielsweise durch Senden der Entscheidung mittels der Fahrzeugrecheneinheit an die Recheneinheit durchgeführt. Es ist also ein Bereitstellen auch ein Empfangen der Entscheidung durch die Recheneinheit. Die Recheneinheit kann auch die Vergleichereinheit sein. Es ist auch möglich, dass im Falle einer fahrzeuginternen Recheneinheit die Entscheidung an einen Speicher der Fahrzeugrecheneinheit oder der Recheneinheit bereitgestellt wird, auf den die Recheneinheit Zugriff hat. Das Bereitstellen ist dann das Ablegen in der Speichereinheit, aus dem sich die Recheneinheit die Entscheidung holen kann. Die Recheneinheit kann auch die Beurteilungseinheit sein.The decision is made available, for example, by the vehicle's computer unit sending it to the computer unit. Therefore, making the decision available also means receiving it from the computer unit. The computer unit can also be the comparator unit. Alternatively, if the computer unit is integrated into the vehicle, the decision can be made available to a memory location within the vehicle's computer unit or the computer unit, which the computer unit can access. In this case, making the decision available means storing it in the memory location from which the computer unit can retrieve it. The computer unit can also be the evaluation unit.

Fahrzeugsensordaten sind beispielsweise zumindest Daten, die das Fahrzeug betreffen, also beispielsweise in einer Umgebung des Fahrzeugs erfasst wurden. Vorzugsweise werden die Fahrzeugsensordaten von einer Sensoreinheit, insbesondere Fahrzeugsensoren, des Fahrzeugs aufgenommen. Die Fahrzeugsensoren sind beispielsweise als Temperaturmesseinheit und/oder Regensensor und/oder Kamera und/oder Radarsystem und/oder Ultraschallsystem ausgebildet. Insbesondere wurde ein Teil der Fahrzeugsensordaten bei der Bestimmung der Entscheidung des neuronalen Netzes genutzt. Es ist möglich, dass abhängig von der Beurteilung bestimmt wird, ob für ein zukünftiges Bestimmen der Entscheidung des neuronalen Netzes gegebenenfalls einen anderen Teil der Fahrzeugsensordaten berücksichtigt. Dadurch ist es möglich, dass die zukünftigen Entscheidungen des neuronalen Netzes verbessert werden. Gegebenenfalls sind Streckenverlaufsdaten einer mit dem Fahrzeug gefahrenen Strecke, beispielsweise GPS-Daten, Teil der Fahrzeugsensordaten.Vehicle sensor data, for example, is at least data that relates to the vehicle, i.e. For example, vehicle sensor data were acquired in the vehicle's surroundings. Preferably, the vehicle sensor data is acquired by a sensor unit, in particular vehicle sensors, of the vehicle. The vehicle sensors are, for example, configured as a temperature measuring unit and/or rain sensor and/or camera and/or radar system and/or ultrasound system. In particular, a portion of the vehicle sensor data was used in determining the neural network's decision. Depending on the assessment, it is possible to determine whether a different portion of the vehicle sensor data should be considered for future decision-making by the neural network. This makes it possible to improve future decisions of the neural network. Optionally, route data from a journey made by the vehicle, for example, GPS data, is part of the vehicle sensor data.

Vorzugsweise werden die Fahrzeugsensordaten zum Bereitstellen, insbesondere mittels der Fahrzeugrecheneinheit, an die Recheneinheit gesendet. Im Falle einer fahrzeuginternen Recheneinheit ist es auch möglich, dass die Fahrzeugsensordaten in einem Speicher des Fahrzeugs bereitgestellt werden, auf den die Recheneinheit Zugriff hat.Preferably, the vehicle sensor data is sent to the processing unit for provision, particularly via the vehicle's processing unit. In the case of an in-vehicle processing unit, it is also possible for the vehicle sensor data to be stored in a memory within the vehicle, which the processing unit can access.

Das Vergleichen der bereitgestellten Entscheidung mit der bestimmten Soll-Entscheidung erfolgt vorzugsweise mit dem neuronalen Zusatz-Netz. Es ist auch möglich, dass der Vergleich mittels eines Auswerte-Algorithmus der Recheneinheit durchgeführt wird. Das Beurteilen der Entscheidung abhängig von dem Vergleich wird beispielsweise mit dem neuronalen Zusatz-Netz oder einem Beurteilungs-Algorithmus der Recheneinheit ausgeführt.The comparison of the provided decision with the specified target decision is preferably performed using the additional neural network. Alternatively, the comparison can be carried out using an evaluation algorithm of the processing unit. The evaluation of the decision based on the comparison is then performed, for example, using the additional neural network or an evaluation algorithm of the processing unit.

In einem Ausführungsbeispiel wird die Entscheidung an ein neuronales Zusatz-Netz einer zur Fahrzeugrecheneinheit unterschiedlichen, fahrzeugexternen Recheneinheit bereitgestellt. Diese Recheneinheit kann dann auch die Vergleichereinheit sein. Die Recheneinheit ist also beispielsweise separat zum Fahrzeug und somit fahrzeugextern. Insbesondere ist die Recheneinheit ein Cloud-Server. Beispielsweise weist die Recheneinheit mehrere Rechenvorrichtungen auf. Dadurch ist es möglich, dass große Datenmengen verarbeitet werden, insbesondere größer als von der Fahrzeugrecheneinheit, und/oder ein rechenleistungsstarkes neuronales Zusatz-Netz zur Verfügung gestellt wird. Dadurch werden Fehler bei der Bestimmung der Soll-Entscheidung und folglich bei der Beurteilung reduziert. Diese fahrzeugexterne Recheneinheit kann auch die Beurteilungseinheit sein.In one embodiment, the decision is provided to an additional neural network of a separate, external computing unit. This computing unit can also serve as the comparator unit. The computing unit is thus separate from the vehicle and therefore external. In particular, the computing unit is a cloud server. For example, the computing unit has multiple processing units. This makes it possible to process large amounts of data, especially larger than those processed by the vehicle's computing unit, and/or to provide a high-performance additional neural network. This reduces errors in determining the target decision and, consequently, in the evaluation. This external computing unit can also serve as the evaluation unit.

Insbesondere ist es bei einer ausreichend schnellen Durchführung des Verfahrens möglich, dass abhängig von der Beurteilung die Entscheidung und somit die Betriebsweise der Fahrzeugeinheit angepasst wird und somit nicht nur im Nachgang beurteilt wird. Ausreichend schnell ist die Durchführung des Verfahrens insbesondere dann, wenn die Beurteilung erfolgt solange die Fahrzeugeinheit noch betrieben wird und dabei die Fahrzeugsensordaten sich nicht oder nicht um mehr als ein vorgegebenes Intervall ändern.In particular, if the procedure is carried out sufficiently quickly, it is possible to adjust the decision, and thus the operating mode of the vehicle unit, depending on the assessment, and therefore not only after the fact. The procedure is considered sufficiently quick if the assessment takes place while the vehicle unit is still operating and the vehicle sensor data does not change, or does not change by more than a predefined interval.

In einem Ausführungsbeispiel werden die bereitgestellten Fahrzeugsensordaten mittels des neuronalen Zusatz-Netzes in Fahrsituationsklassen klassifiziert. Die Soll-Entscheidung wird auf Basis der klassifizierten Fahrzeugsensordaten bestimmt.In one embodiment, the provided vehicle sensor data is classified into driving situation classes using the additional neural network. The target decision is determined based on the classified vehicle sensor data.

Die Fahrsituationsklassen charakterisieren beispielsweise Fahrsituationen, während denen die Fahrzeugsensordaten aufgenommen wurden. Zum Beispiel erfordert eine spezifische Fahrsituation eine spezifische Einstellung der Betriebsweise der Fahrzeugeinheit.The driving situation classes characterize, for example, driving situations during which the vehicle sensor data was recorded. A specific driving situation, for instance, requires a specific setting for the operating mode of the vehicle unit.

Es ist beispielsweise möglich, dass die Fahrzeugsensordaten Regendaten von einem Regensensor des Fahrzeugs und Geschwindigkeitsdaten des Fahrzeugs aufweist. In einem einfachen Beispiel gibt es die Fahrsituationsklassen „kein Regen“, „wenig Regen - geringe Geschwindigkeit“, „wenig Regen - hohe Geschwindigkeit“, „viel Regen - geringe Geschwindigkeit“, „viel Regen - hohe Geschwindigkeit“. Zum Beispiel erfolgt die Klassifizierung, indem abhängig von den Regendaten und den Geschwindigkeitsdaten eine der gegebenenfalls vorgegebenen Fahrsituationsklassen als zutreffend bestimmt wird. Vorzugsweise ist der bestimmten Fahrsituationsklasse eine Betriebsweise für die Fahrzeugeinheit zugeordnet. In dem hier genannten Beispiel ist die Fahrzeugeinheit ein Scheibenwischer und die Betriebsweise gibt beispielsweise eine Wischgeschwindigkeit an.For example, the vehicle sensor data might include rainfall data from a rain sensor and vehicle speed data. In a simple example, there are driving situation classes such as "no rain," "light rain - low speed," "light rain - high speed," "heavy rain - low speed," and "heavy rain - high speed." Classification is performed, for instance, by determining which of the predefined driving situation classes applies based on the rainfall and speed data. Preferably, an operating mode for the vehicle unit is assigned to the specific driving situation class. In the example given here, the vehicle unit is a windshield wiper, and the operating mode specifies, for example, a wiper speed.

Zum Beispiel ist es möglich, dass die Fahrsituationsklassen vorgegeben sind. Insbesondere werden für die Fahrzeugsensordaten Schwellwerte vorgegeben, die mit den Fahrzeugsensordaten verglichen werden. Gegebenenfalls werden die Fahrzeugsensordaten abhängig von dem Vergleich klassifiziert. Es ist auch möglich, falls die Fahrzeugsensordaten außerhalb der vorgegebenen Schwellwerte der vorgegebenen Fahrsituationsklassen liegen, dass neue Fahrsituationsklassen erzeugt werden. Die neu erzeugten Fahrsituationsklassen können beispielsweise als Ausreißer-Klassen bezeichnet werden. Gegebenenfalls wird eine entsprechende Information an den Fahrer und/oder die Recheneinheit und/oder die Fahrzeugrecheneinheit bereitgestellt, wenn eine Ausreißer-Klasse erzeugt wurde.For example, driving situation classes may be predefined. Specifically, threshold values are defined for the vehicle sensor data, which are then compared to the vehicle sensor data. The vehicle sensor data may then be classified based on this comparison. It is also possible that new driving situation classes are generated if the vehicle sensor data falls outside the predefined threshold values of the predefined driving situation classes. These newly generated driving situation classes could, for example, be referred to as outlier classes. If an outlier class is generated, appropriate information may be provided to the driver and/or the processing unit and/or the vehicle processing unit.

In einem Ausführungsbeispiel weist das neuronale Zusatz-Netz ein großes Sprachmodell (englisch: large language model, LLM) und/oder ein visuelles Sprachmodell (englisch: vision language model, VLM) und/oder ein Ensemble aus verschiedenen großen Sprachmodellen, und/oder verschiedenen visuellen Sprachmodellen und/oder fallspezifischen Netzen auf. Die Fahrzeugsensordaten werden mittels des großen Sprachmodells und/oder des visuellen Sprachmodells klassifiziert.In one embodiment, the additional neural network comprises a large language model (LLM) and/or a vision language model (VLM) and/or an ensemble of different large language models, and/or different vision language models, and/or case-specific networks. The vehicle sensor data is classified using the large language model and/or the vision language model.

Durch diese KI-Modelle ist also eine effiziente Verarbeitung und Analyse der Fahrzeugsensordaten ermöglicht. Es ist auch möglich, dass Mischformen aus LLM und VLM verwendet werden.These AI models enable efficient processing and analysis of vehicle sensor data. It is also possible to use hybrid forms of LLM and VLM.

Ein LLM ist ein Modell der künstlichen Intelligenz (Kl-Modell), das Techniken des maschinellen Lernens nutzt. Zum Beispiel werden Techniken zur Verarbeitung natürlicher Sprache verwendet. Gegebenenfalls wird das LLM durch unüberwachtes Lernen (englisch: unsupervised learning) trainiert, indem Muster in den Fahrzeugsensordaten erkannt werden und Prognosen für die entsprechende Betriebsweise der Fahrzeugeinheit bestimmt werden.An LLM is an artificial intelligence (AI) model that utilizes machine learning techniques. For example, natural language processing techniques are employed. The LLM may be trained through unsupervised learning by recognizing patterns in vehicle sensor data and making predictions about the corresponding operating mode of the vehicle unit.

Ein VLM kombiniert beispielsweise ein LLM mit Computer-Sehen Modellen (englisch: computer vision). Das VLM erkennt zum Beispiel Bildinhalte in den Fahrzeugsensordaten und beschreibt diese mit natürlicher Sprache. Optionale wird diese Beschreibung mittels des LLM weiterverarbeitet.A VLM, for example, combines an LLM with computer vision models. The VLM recognizes image content in the vehicle sensor data and describes it using natural language. Optionally, this description is further processed by the LLM.

In einem Ausführungsbeispiel weisen die Fahrzeugsensordaten Kameradaten auf. Mittels des neuronalen Zusatz-Netzes, insbesondere des visuellen Sprachmodells, werden charakteristische Bildmerkmale aus den Kameradaten extrahiert.In one embodiment, the vehicle sensor data includes camera data. Using the additional neural network, in particular the visual language model, characteristic image features are extracted from the camera data.

Vorzugsweise werden die Kameradaten mittels zumindest einer Fahrzeugkamera des Fahrzeugs aufgenommen. Es ist aber auch möglich, dass Kameradaten fahrzeugexterner Kameras verwendet werden. Gegebenenfalls werden die Bilddaten in Bildausschnitte klassifiziert, beispielsweise „Himmel“, „Straße“ oder „Bebauung“. Es ist auch möglich, dass ein prozentualer Anteil des jeweiligen Bildausschnitts bestimmt wird. Für diese Variante ist insbesondere das visuelle Sprachmodell besonders gut geeignet, da damit schnell und zuverlässig Bilddaten klassifiziert werden.Preferably, the camera data is captured using at least one of the vehicle's cameras. However, it is also possible to use camera data from external cameras. If necessary, the image data is classified into image sections, for example, "sky," "road," or "buildings." It is also possible to determine a percentage of each image section. The visual language model is particularly well-suited for this approach, as it allows for fast and reliable image data classification.

In einem Ausführungsbeispiel weisen die Fahrzeugsensordaten Kameradaten und dazu unterschiedliche Nicht-Bilddaten auf. Mittels des neuronalen Zusatz-Netzes, insbesondere des großen Sprachmodells, werden charakteristische Situationsmerkmale aus den Nicht-Bilddaten extrahiert. Die Fahrzeugsensordaten sind also insbesondere multimodal, insbesondere multivariant.In one embodiment, the vehicle sensor data includes camera data and various non-image data. Using the additional neural network, particularly the large language model, characteristic situational features are extracted from the non-image data. The vehicle sensor data is therefore multimodal, and especially multivariate.

Die Nicht-Bilddaten können insbesondere von jedem Fahrzeugsensor des Fahrzeugs erzeugt werden, ausgenommen der Fahrzeugkamera. Die Nicht-Bilddaten weisen beispielsweise einen Lenkwinkel, einen Blinkerzustand, eine Temperatur und/oder eine Fahrzeuggeschwindigkeit auf. Es ist auch möglich, dass Vitalparameter eines Fahrers des Fahrzeugs als Nicht-Bilddaten erfasst werden, beispielsweise dessen Herzfrequenz.Non-image data can be generated by any of the vehicle's sensors, with the exception of the camera. This non-image data includes, for example, steering angle, turn signal status, temperature, and/or vehicle speed. It is also possible for vital parameters of the driver, such as heart rate, to be recorded as non-image data.

In einem Ausführungsbeispiel wird die Klassifizierung auf Basis der extrahierten Bildmerkmale und/oder der extrahierten Situationsmerkmale durchgeführt. Dadurch kann die Klassifizierung in die Fahrsituationsklassen verbessert werden und gegebenenfalls zuverlässiger und schneller durchgeführt werden.In one embodiment, the classification is performed based on the extracted image features and/or the extracted situation features. This can improve the classification into driving situation classes and potentially make it more reliable and faster.

In dem oben genannten Beispiel des Scheibenwischers, wird das Situationsmerkmal beispielsweise auf Basis der Fahrzeuggeschwindigkeit extrahiert, beispielsweise als „langsam“ oder „schnell“. Beispielsweise wird als Bildmerkmal die Regenmenge extrahiert. Abhängig von dem extrahierten Bildmerkmal und dem extrahierten Situationsmerkmal wird die Fahrsituationsklasse bestimmt.In the windshield wiper example mentioned above, the situational characteristic is extracted based on the vehicle speed, for example, as "slow" or "fast". The amount of rain is extracted as an image characteristic. The driving situation class is then determined based on the extracted image characteristic and the extracted situational characteristic.

Dieses Beispiel ist insbesondere stark vereinfacht und soll nicht einschränkend verstanden werden. Es ist möglich, dass viel größere Datenmengen verarbeitet werden, insbesondere von mehreren Fahrzeugsensoren. Es ist möglich, dass die mehreren Fahrzeugsensoren unterschiedliche Erfassungsraten aufweisen. Zum Beispiel werden die Fahrzeugsensordaten auf eine gemeinsame Zeitbasis gebracht. Gegebenenfalls werden die Fahrzeugsensordaten jeweils eines Fahrzeugsensors als Vektoren verarbeitet.This example is a significant simplification and should not be interpreted as limiting. Much larger datasets are possible, especially from multiple vehicle sensors. It is also possible that these sensors have different acquisition rates. For example, the sensor data might be aligned to a common time base. Alternatively, the sensor data from each individual sensor could be processed as vectors.

Ein zweiter Aspekt der Erfindung betrifft ein Verfahren zur Bestimmung eines Zuverlässigkeitsgrades einer Entscheidung eines neuronalen Netzes bezüglich einer Betriebsweise einer Fahrzeugfunktion. Ein Verfahren zur Beurteilung der Entscheidung gemäß dem ersten Aspekt der Erfindung oder einem Ausführungsbeispiel davon wird mehrfach durchgeführt, insbesondere um Beurteilungsergebnisse zu bestimmen. Es wird also beispielsweise die gleiche Entscheidung mehrmals beurteilt. Zum Beispiel werden für die erneute Beurteilung mehr und/oder andere Fahrzeugsensordaten bereitgestellt als für die erste Beurteilung. Sensordaten werden bereitgestellt und in Fahrsituationsklassen klassifiziert. Auf Basis der Beurteilungsergebnisse und der klassifizierten Sensordaten wird der Zuverlässigkeitsgrad bestimmt.A second aspect of the invention relates to a method for determining the reliability level of a neural network's decision regarding the operating mode of a vehicle function. A method for evaluating the decision according to the first aspect of the invention, or an embodiment thereof, is performed multiple times, particularly to determine evaluation results. For example, the same decision is evaluated several times. For instance, more and/or different vehicle sensor data are provided for the re-evaluation than for the first evaluation. Sensor data are provided and classified into driving situation classes. The reliability level is determined based on the evaluation results and the classified sensor data.

Es ist möglich, dass die Entscheidung für im Wesentlichen gleiche Fahrzeugsensordaten mehrmals beurteilt wird. Es ist auch möglich, dass die Entscheidung für unterschiedliche Fahrzeugsensordaten beurteilt wird, die im Wesentlichen nicht gleich sind. Falls sich zum Beispiel die Fahrzeugsensordaten für das Verfahren zur Beurteilung der Entscheidung bei einem ersten Durchführen um mehr als ein vorgegebenes Intervall von den Fahrzeugsensordaten bei einem zweiten Durchführen unterscheiden, resultieren bei der Klassifizierung daraus gegebenenfalls zwei zueinander unterschiedliche Fahrsituationsklassen. Die zueinander unterschiedlichen Fahrsituationsklassen charakterisieren zueinander unterschiedliche Fahrsituationen.It is possible that the decision is assessed multiple times using essentially identical vehicle sensor data. It is also possible that the decision is assessed using different vehicle sensor data that are not essentially identical. For example, if the vehicle sensor data used for the decision assessment procedure differs by more than a predefined interval between the first and second executions, the classification may result in two distinct driving situation classes. These distinct driving situation classes characterize different driving situations.

Der Zuverlässigkeitsgrad charakterisiert insbesondere eine Verlässlichkeit, mit welcher das neuronale Netz, beispielsweise in einer Fahrsituation, eine korrekte Entscheidung trifft. Zum Beispiel gibt der Zuverlässigkeitsgrad eine relative Häufigkeit einer gemäß der Soll-Entscheidung korrekten Entscheidung pro Fahrsituationsklasse an. Es wird also gegebenenfalls insgesamt das neuronale Netz bezüglich seiner Funktionalität beurteilt.The reliability level characterizes, in particular, the degree to which a neural network makes a correct decision, for example, in a driving situation. For instance, the reliability level indicates the relative frequency of a decision that is correct according to the target decision for each driving situation class. Thus, the overall functionality of the neural network is assessed.

Die Sensordaten entsprechen beispielsweise den Fahrzeugsensordaten oder enthalten diese zumindest. Vorzugsweise erfolgt die Klassifizierung der Sensordaten mittels des neuronalen Zusatz-Netzes. Alternativ ist es optional auch möglich, dass die Klassifizierung der Sensordaten mittels eines weiteren neuronalen Netzes erfolgt.The sensor data corresponds to, for example, the vehicle sensor data or at least contains it. Preferably, the sensor data is classified using the additional neural network. Alternatively, it is optionally also possible to classify the sensor data using another neural network.

In einem Ausführungsbeispiel werden die Beurteilungsergebnisse und die klassifizierten Sensordaten in einem Datenspeicher, insbesondere in einem Datenspeicher der Recheneinheit abgespeichert. Es ist möglich, dass die abgespeicherten Daten an die Fahrzeugrecheneinheit bereitgestellt werden. Beispielsweise werden die abgespeicherten Daten an einen Benutzer des Fahrzeugs ausgegeben, insbesondere auf eine Benutzeranfrage hin. Dadurch kann der Benutzer den Zuverlässigkeitsgrad abrufen. Der Benutzer ist beispielsweise ein Fahrer, der durch das Abrufen der abgespeicherten Daten erfährt, wie zuverlässig das neuronale Netz in bestimmten Fahrsituationen korrekte Entscheidungen trifft. Der Benutzer kann beispielsweise auch ein Fahrzeugentwickler oder ein Prüfingenieur sein.In one embodiment, the assessment results and the classified sensor data are stored in a data storage device, particularly in the data storage of the processing unit. It is possible for the stored data to be made available to the vehicle's processing unit. For example, the stored data is output to a user of the vehicle, especially upon user request. This allows the user to retrieve the reliability level. The user could, for example, be a driver who, by retrieving the stored data, learns how reliably the neural network makes correct decisions in specific driving situations. The user could also be, for example, a vehicle developer or a test engineer.

In einem Ausführungsbeispiel wird zu den Fahrsituationsklassen Streckenverlaufsdaten einer mit dem Fahrzeug gefahrenen Strecke bereitgestellt. Der Zuverlässigkeitsgrad wird abhängig von den bereitgestellten Streckenverlaufsdaten bestimmt.In one embodiment, route data from a route driven by the vehicle is provided for the driving situation classes. The reliability level is determined depending on the provided route data.

Die Streckenverlaufsdaten weisen beispielsweise die seit Fahrtbeginn gefahrenen Meter auf. Alternativ oder zusätzlich weisen die Streckenverlaufsdaten den Streckenverlauf der Fahrt örtlich und/oder zeitlich auf. Zum Beispiel erfolgt die Situationscharakterisierung auch abhängig von den Streckenverlaufsdaten. Zum Beispiel kann somit bei einer Benutzeranfrage für spezifische Streckenverlaufsdaten ein zugehöriger Zuverlässigkeitsgrad angegeben werden.The route data includes, for example, the distance traveled since the start of the journey. Alternatively or additionally, the route data shows the journey's spatial and/or temporal profile. For example, the situation characterization is also based on the route data. Thus, for instance, a corresponding reliability rating can be provided when a user requests specific route data.

In einem Ausführungsbeispiel wird abhängig von dem bestimmten Zuverlässigkeitsgrad das neuronale Netz angepasst. Dadurch kann das neuronale Netz und somit insbesondere die Betriebsweise der Fahrzeugeinheit verbessert werden. Gegebenenfalls wird zur Anpassung des neuronalen Netzes eine Fehlerrückführung (englisch: backpropagation) durchgeführt. Dabei wird das neuronale Netz abhängig von einer Verlustfunktion angepasst, insbesondere, falls das neuronale Netz überwacht trainiert (englisch: supervised learning), insbesondere überwacht nachtrainiert wird.In one embodiment, the neural network is adapted depending on the specified reliability level. This allows the neural network, and thus in particular the operation of the vehicle unit, to be improved. If necessary, error feedback (backpropagation) is performed to adapt the neural network. In this process, the neural network is adapted based on a loss function, especially if the neural network is trained using supervised learning, or in particular, if it is retrained using supervised learning.

Ein dritter Aspekt der der Erfindung betrifft ein Verfahren zum Betrieb eines Fahrzeugs. Ein Verfahren gemäß dem ersten Aspekt der Erfindung oder einem Ausführungsbeispiel davon und/oder ein Verfahren gemäß dem zweiten Aspekt der Erfindung wird ausgeführt. Sensordaten, Fahrsituationsklassen und Zuverlässigkeitsgrade vergangener Fahrten werden bereitgestellt. Sensordaten einer aktuellen Fahrt werden ebenfalls bereitgestellt, insbesondere erfasst und bereitgestellt. Die bereitgestellten Sensordaten der aktuellen Fahrt werden in eine aktuelle Fahrsituationsklasse klassifiziert. Die aktuelle Fahrsituationsklasse wird mit den Fahrsituationsklassen der vergangenen Fahrten verglichen. Falls eine Fahrsituationsklasse vergangener Fahrten mit der aktuellen Fahrsituationsklasse übereinstimmt, wird als aktueller Zuverlässigkeitsgrad der aktuellen Fahrt der Zuverlässigkeitsgrad der übereinstimmenden Fahrsituationsklasse geschätzt. Der geschätzte Zuverlässigkeitsgrad wird gegebenenfalls an einen Fahrer des Fahrzeugs ausgegeben. Optional wird alternativ oder zusätzlich eine Betriebsweise einer Fahrzeugeinheit abhängig von dem geschätzten Zuverlässigkeitsgrad angepasst.A third aspect of the invention relates to a method for operating a vehicle. A method according to the first aspect of the invention or an embodiment thereof and/or a method according to the second aspect of the invention is carried out. Sensor data, driving situation classes, and reliability levels of past journeys are provided. Sensor data from a current journey are also provided, in particular acquired and provided. The provided sensor data of the current journey are classified into a current driving situation class. The current driving situation class is compared with the driving situation classes of past journeys. If a driving situation class from past journeys matches the current driving situation class, the reliability level of the matching driving situation class is estimated as the current reliability level of the current journey. The estimated reliability level is optionally output to a driver of the vehicle. Alternatively or additionally, an operating mode of a vehicle unit is adjusted depending on the estimated reliability level.

Dem liegt die Überlegung zugrunde, dass der Zuverlässigkeitsgrad gleicher Fahrsituationen gleich ist. Wird also beispielsweise eine Fahrsituation durch den Vergleich wiedererkannt, wird angenommen, dass der Zuverlässigkeitsgrad in der aktuellen Fahrt dem Zuverlässigkeitsgrad der wiedererkannten Fahrsituation entspricht.This is based on the assumption that the reliability level of identical driving situations is the same. Therefore, if a driving situation is recognized through comparison, it is assumed that the reliability level in the current journey corresponds to the reliability level of the recognized driving situation.

Beispielsweise ermöglicht dieses Ausführungsbeispiel, dass die Betriebsweise der Fahrzeugeinheit in Fahrsituationen, bei welchen ein Zuverlässigkeitsgrad geschätzt wird, welcher unterhalb eines vorgegebenen Schwellwerts liegt, manuell durch den Fahrer eingestellt wird und insbesondere unabhängig von dem neuronalen Netz. Gegebenenfalls wird an den Fahrer eine Warnung ausgegeben, die Betriebsweise zu überwachen.For example, this embodiment allows the operating mode of the vehicle unit to be manually adjusted by the driver in driving situations where a reliability level is estimated to be below a predetermined threshold, and in particular independently. The neural network will perform a gig. If necessary, a warning will be issued to the driver to monitor the operating mode.

Es ist auch möglich, dass in Fahrsituationen, in denen ein hoher Zuverlässigkeitsgrad geschätzt wird, der insbesondere über einem oberen Schwellwert liegt, eine entsprechende Information an den Fahrer ausgegeben wird. Dadurch kann das Vertrauen des Fahrers in die Zuverlässigkeit des neuronalen Netzes erhöht werden.It is also possible that in driving situations where a high degree of reliability is expected, particularly above an upper threshold, corresponding information is output to the driver. This can increase the driver's confidence in the reliability of the neural network.

Ein vierter Aspekt der Erfindung betrifft ein System zur Beurteilung einer Entscheidung eines neuronalen Netzes zur Einstellung einer Betriebsweise einer Fahrzeugeinheit. Das System weist die Fahrzeugeinheit, eine Fahrzeugrecheneinheit mit dem neuronalen Netz, eine zu der Fahrzeugrecheneinheit unterschiedliche, insbesondere fahrzeugexterne, Recheneinheit mit einem neuronalem Zusatz-Netz und zumindest eine Sensoreinheit auf. Das System ist dazu eingerichtet, ein Verfahren gemäß dem ersten und/oder dem zweiten und/oder dem dritten Aspekt der Erfindung oder jeweils einem Ausführungsbeispiel davon durchzuführen. Insbesondere führt das System das Verfahren aus.A fourth aspect of the invention relates to a system for evaluating a decision made by a neural network regarding the setting of an operating mode of a vehicle unit. The system comprises the vehicle unit, a vehicle computing unit with the neural network, a computing unit distinct from the vehicle computing unit, in particular an external unit, with an additional neural network, and at least one sensor unit. The system is configured to carry out a method according to the first and/or the second and/or the third aspect of the invention, or each of these embodiments. In particular, the system carries out the method.

Ein weiterer Aspekt der Erfindung betrifft ein Fahrzeug, welches das System aufweist.Another aspect of the invention relates to a vehicle which incorporates the system.

Ein fünfter Aspekt der Erfindung betrifft eine Recheneinheit mit einem neuronalen Zusatz-Netz. Die Recheneinheit ist dazu eingerichtet, die Schritte b) bis f) eines Verfahren gemäß dem ersten und/oder dem zweiten Aspekt der Erfindung oder jeweils einem Ausführungsbeispiel davon durchzuführen. Insbesondere führt die Recheneinheit die Schritte b) bis f) aus.A fifth aspect of the invention relates to a computing unit with an additional neural network. The computing unit is configured to perform steps b) to f) of a method according to the first and/or the second aspect of the invention, or each of an embodiment thereof. In particular, the computing unit performs steps b) to f).

Ein sechster Aspekt der Erfindung betrifft ein Computerprogramm, aufweisend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit, diese veranlassen die Schritte b) bis f) eines Verfahrens gemäß des ersten Aspekts der Erfindung und/oder des zweiten Aspekts der Erfindung oder jeweils einem Ausführungsbeispiel davon durchzuführen. Die ausführende Recheneinheit entspricht insbesondere der Recheneinheit des ersten Aspekts der Erfindung.A sixth aspect of the invention relates to a computer program comprising instructions which, when the program is executed by a computing unit, cause the unit to perform steps b) to f) of a method according to the first aspect of the invention and/or the second aspect of the invention, or each an embodiment thereof. The executing computing unit corresponds in particular to the computing unit of the first aspect of the invention.

Vorteile und Ausführungsbeispiele der Aspekte der Erfindung sind Vorteile und Ausführungsbeispiele der jeweils weiteren Aspekte der Erfindung, insbesondere falls diese mögliche Ausführungsbeispiele sind.Advantages and embodiments of aspects of the invention are advantages and embodiments of the respective further aspects of the invention, in particular if these are possible embodiments.

Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.For use cases or application situations that may arise during the procedure and are not explicitly described here, it may be provided that, according to the procedure, an error message and/or a request for user feedback is issued and/or a default setting and/or a predetermined initial state is set.

Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsbeispiele.The invention also includes combinations of the features of the described embodiments.

Im Folgenden werden Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 ein Ausführungsbeispiel eines erfindungsgemäßen Systems zur Beurteilung einer Entscheidung eines neuronalen Netzes zur Einstellung einer Betriebsweise einer Fahrzeugeinheit;
2 ein Ablaufdiagramm eines Ausführungsbeispiels eines erfindungsgemäßen Verfahrens zur Beurteilung einer Entscheidung eines neuronalen Netzes zur Einstellung einer Betriebsweise einer Fahrzeugeinheit;
3 schematische Darstellung beispielhafter Fahrzeugsensordaten; und
4 ein weiteres Ausführungsbeispiel des erfindungsgemäßen Verfahrens.

The following describes exemplary embodiments of the invention. This is illustrated by:

1 an embodiment of a system according to the invention for evaluating a decision of a neural network to set an operating mode of a vehicle unit;
2 a flowchart of an embodiment of a method according to the invention for evaluating a decision of a neural network to set an operating mode of a vehicle unit;
3 Schematic representation of exemplary vehicle sensor data; and
4 a further embodiment of the method according to the invention.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsbeispiele der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden und damit auch einzeln oder in einer anderen als der gezeigten Kombination als Bestandteil der Erfindung anzusehen sind. Des Weiteren sind die beschriebenen Ausführungsbeispiele auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.The embodiments described below are preferred embodiments of the invention. In these embodiments, the described components each represent individual features of the invention that can be considered independently of one another. Each of these features further develops the invention independently and can therefore be considered part of the invention individually or in a combination other than that shown. Furthermore, the described embodiments can also be supplemented by other features of the invention already described.

In den Figuren sind funktionsgleiche Elemente jeweils mit denselben Bezugszeichen versehen.In the figures, functionally identical elements are each provided with the same reference symbols.

1 zeigt ein Ausführungsbeispiel eines Systems 1 zur Beurteilung einer Entscheidung eines neuronalen Netzes 2 zur Einstellung eines Betriebsweise einer Fahrzeugeinheit 3. Das System 1 weist die Fahrzeugeinheit 3 und eine Fahrzeugrecheneinheit 4 mit dem neuronalen Netz 2, eine zu der Fahrzeugrecheneinheit 4 unterschiedliche Recheneinheit 5 mit einem neuronalen Zusatz-Netz 6, und zumindest eine Sensoreinheit 7 auf. 1 Figure 1 shows an embodiment of a system 1 for evaluating a decision of a neural network 2 regarding the setting of an operating mode of a vehicle unit 3. The system 1 comprises the vehicle unit 3 and a vehicle computing unit 4 with the neural network 2, a computing unit 5 different from the vehicle computing unit 4 with an additional neural network 6, and at least one sensor unit 7.

In einem Ausführungsbeispiel ist das System 1 als ein Fahrzeug 8 ausgeführt. In dem hier gezeigten Ausführungsbeispiel weist das Fahrzeug 8 die Fahrzeugrecheneinheit 4 mit dem neuronalen Netz 2 auf. Außerdem weist das Fahrzeug 8 in diesem Beispiel die Fahrzeugeinheit 3 und die Sensoreinheit 7 auf. Gegebenenfalls ist die Recheneinheit 5 mit dem neuronalen Zusatz-Netz 6 extern zum Fahrzeug 8.In one embodiment, the system 1 is implemented as a vehicle 8. In the embodiment shown here, the vehicle 8 has the vehicle computing unit 4 with the neural network. 2. Furthermore, in this example, vehicle 8 includes vehicle unit 3 and sensor unit 7. Optionally, the computing unit 5 with the additional neural network 6 is external to vehicle 8.

Insbesondere ist das System 1 dazu eingerichtet, ein Verfahren zur Beurteilung einer Entscheidung des neuronalen Netzes 2 zur Einstellung einer Betriebsweise der Fahrzeugeinheit 3 durchzuführen. In 2 ist ein Ablaufdiagramm eines Ausführungsbeispiels des Verfahrens zur Beurteilung einer Entscheidung des neuronalen Netzes 2 zur Einstellung einer Betriebsweise der Fahrzeugeinheit 3 dargestellt.In particular, system 1 is configured to carry out a procedure for evaluating a decision of the neural network 2 regarding the setting of an operating mode of the vehicle unit 3. 2 A flowchart of an exemplary embodiment of the method for evaluating a decision of the neural network 2 regarding the setting of an operating mode of the vehicle unit 3 is shown.

Zum Beispiel wird in einem Schritt a) die eingestellte Entscheidung des neuronalen Netzes 2 mittels der Fahrzeugrecheneinheit 4 erfasst. Insbesondere wird die eingestellte Entscheidung des neuronalen Netzes 2 an die Fahrzeugrecheneinheit 4 bereitgestellt. Bei der Entscheidung handelt es sich beispielsweise um ein Aktivieren oder Deaktivieren und/oder Einstellen einer Kraft und/oder Geschwindigkeit eines Aktuators der Fahrzeugeinheit 3. Die Möglichkeiten der Betriebsweise der Fahrzeugeinheit 3 sind abhängig von einer Ausgestaltung der Fahrzeugeinheit 3. Vorzugsweise weist die Fahrzeugeinheit 3 einen Aktuator auf. Zum Beispiel ist die Fahrzeugeinheit 3 als Scheibenwischer des Fahrzeugs 8 oder als Klimaanlage des Fahrzeugs 8 oder als Bremse des Fahrzeugs 8 ausgebildet.For example, in step a), the configured decision of the neural network 2 is recorded by the vehicle control unit 4. Specifically, the configured decision of the neural network 2 is provided to the vehicle control unit 4. This decision might involve, for example, activating or deactivating and/or adjusting the force and/or speed of an actuator of the vehicle unit 3. The operating possibilities of the vehicle unit 3 depend on its configuration. Preferably, the vehicle unit 3 includes an actuator. For example, the vehicle unit 3 is configured as the windshield wiper of the vehicle 8, as the air conditioning system of the vehicle 8, or as the brake of the vehicle 8.

In einem weiteren Schritt b) wird die Entscheidung an das neuronale Zusatz-Netz 6 der Recheneinheit 5 bereitgestellt. Beispielsweise übermittelt die Fahrzeugrecheneinheit 4 die Entscheidung, insbesondere drahtlos, an die Recheneinheit 5.In a further step b), the decision is provided to the neural network 6 of the processing unit 5. For example, the vehicle processing unit 4 transmits the decision, in particular wirelessly, to the processing unit 5.

In einem Schritt c) werden Fahrzeugsensordaten insbesondere mittels der Fahrzeugrecheneinheit 4 an das neuronale Zusatz-Netz 6 bereitgestellt. Zum Beispiel werden die Fahrzeugsensordaten mittels der Sensoreinheit 7 erfasst. Gegebenenfalls werden die Fahrzeugsensordaten von der Sensoreinheit 7 an die Fahrzeugrecheneinheit 4 übermittelt. Vorzugsweise werden die Fahrzeugsensordaten von der Fahrzeugrecheneinheit 4 an die Recheneinheit 5, insbesondere drahtlos, übermittelt.In step c), vehicle sensor data is provided to the additional neural network 6, in particular by means of the vehicle processing unit 4. For example, the vehicle sensor data is acquired by means of the sensor unit 7. Optionally, the vehicle sensor data is transmitted from the sensor unit 7 to the vehicle processing unit 4. Preferably, the vehicle sensor data is transmitted from the vehicle processing unit 4 to the processing unit 5, in particular wirelessly.

In einem Schritt d) wird eine Soll-Entscheidung mittels des neuronalen Zusatz-Netzes 6 auf Basis der bereitgestellten Fahrzeugsensordaten bestimmt. Gegebenenfalls weisen die Fahrzeugsensordaten zumindest teilweise die Daten auf, auf denen die durch das neuronale Netz 2 getroffene Entscheidung basiert .In step d), a target decision is determined using the additional neural network 6 based on the provided vehicle sensor data. If necessary, the vehicle sensor data contains at least some of the data on which the decision made by neural network 2 is based.

In einem Schritt e) wird die bereitgestellte Entscheidung aus Schritt b) mit der bestimmten Soll-Entscheidung, insbesondere mit dem Zusatz-Netz 6 oder einem Auswertealgorithmus der Recheneinheit 5 oder der Fahrzeugrecheneinheit 4, verglichen.In step e), the decision provided from step b) is compared with the specified target decision, in particular with the additional network 6 or an evaluation algorithm of the computing unit 5 or the vehicle computing unit 4.

In einem Schritt f) wird die bereitgestellte Entscheidung aus Schritt b) des neuronalen Netzes 2 abhängig von dem Vergleich in Schritt e) beurteilt, insbesondere mit dem neuronalen Zusatz-Netz 6 oder einem Algorithmus der Recheneinheit 5 oder der Fahrzeugrecheneinheit 4. Zum Beispiel wird das Beurteilungsergebnis in einer Datenbank des Systems 1 gespeichert.In step f), the decision provided in step b) of neural network 2 is evaluated based on the comparison in step e), in particular using the additional neural network 6 or an algorithm of the computing unit 5 or the vehicle computing unit 4. For example, the evaluation result is stored in a database of system 1.

3 zeigt eine schematische Darstellung beispielhafter Fahrzeugsensordaten. Zum Beispiel weisen die Fahrzeugsensordaten Bilddaten 9 auf. Die Bilddaten 9 werden beispielsweise mit einer Fahrzeugkamera des Fahrzeugs 8 aufgenommen. Vorzugsweise weist die Sensoreinheit 7 die Fahrzeugkamera auf. Gegebenenfalls weist die Sensoreinheit 7 weitere Fahrzeugsensoren auf. Beispielsweise erzeugen die weiteren Fahrzeugsensoren Nicht-Bilddaten 10. 3 Figure 1 shows a schematic representation of exemplary vehicle sensor data. For example, the vehicle sensor data includes image data 9. The image data 9 is captured, for example, by a vehicle camera in the vehicle 8. Preferably, the sensor unit 7 includes the vehicle camera. Optionally, the sensor unit 7 includes further vehicle sensors. For example, the further vehicle sensors generate non-image data 10.

Vorzugsweise werden die Nicht-Bilddaten 10 jeweils zu einem Vektor zusammengefasst. Jeweils ein Vektor der Nicht-Bilddaten 10 wird einer Fahrsituation beziehungsweise einem Fahrzeitpunkt T0, T1 oder T2 zugeordnet. Auch die Bilddaten 9 werden jeweils einem Fahrzeitpunkt T0, T1 oder T2 zugeordnet. Gegebenenfalls handelt es sich bei den Bilddaten 9 einzelne Bilder, wobei einem Fahrzeitpunkt T0, T1, T2 jeweils ein Bild zugeordnet wird. Es ist auch möglich, dass einem Fahrzeitpunkt T0, T1, T2 mehrere Bilder, insbesondere Videosequenzen zugeordnet werden.Preferably, the non-image data 10 are each combined into a single vector. Each vector of the non-image data 10 is assigned to a driving situation or a driving time T0, T1, or T2. The image data 9 are also assigned to a driving time T0, T1, or T2. Optionally, the image data 9 may consist of individual images, with one image assigned to each driving time T0, T1, or T2. It is also possible that several images, in particular video sequences, are assigned to each driving time T0, T1, or T2.

Vorzugsweise werden die Bilddaten 9 und die Nicht-Bilddaten 10 in Fahrsituationsklassen klassifiziert. Insbesondere weist das neuronale Zusatz-Netz 6 ein großes Sprachmodell (LLM) und/oder ein visuelles Sprachmodell (VLM) auf und die Fahrzeugsensordaten werden mittels des LLMs und/oder des VLMs klassifiziert. Zum Beispiel werden dazu mittels des neuronalen Zusatz-Netzes 6 charakteristische Bildmerkmale und/oder charakteristische Situationsmerkmale aus den Fahrzeugsensordaten extrahiert. Vorzugsweise werden mittels des VLMs die charakteristischen Bildmerkmale aus den Bilddaten 9 extrahiert. Bei den charakteristischen Bildmerkmalen handelt es sich beispielsweise um eine Beschreibung von Anteilen bestimmter Bildbereiche, beispielsweise ein prozentualer Anteil an einer Fahrbahn und/oder einem Himmel und/oder einer Bebauung in dem jeweiligen Bild oder der Videosequenz der Bilddaten 9. Zum Beispiel werden mittels des LLMs die charakteristischen Situationsmerkmale aus den Nicht-Bilddaten 10 extrahiert. Gegebenenfalls handelt es sich bei den charakteristischen Situationsmerkmalen beispielsweise um eine Wetterlage oder eine aktuelle Geschwindigkeit während des zugeordneten Fahrzeitpunkts T0, T1, T2. Die Soll-Entscheidung wird beispielsweise abhängig von den charakteristischen Situationsmerkmalen bestimmt.Preferably, the image data 9 and the non-image data 10 are classified into driving situation classes. In particular, the neural network 6 has a large language model (LLM) and/or a visual language model (VLM), and the vehicle sensor data are classified using the LLM and/or the VLM. For example, characteristic image features and/or characteristic situation features are extracted from the vehicle sensor data using the neural network 6. Preferably, the characteristic image features are extracted from the image data 9 using the VLM. The characteristic image features are, for example, a description of the proportions of certain image areas, such as a percentage of a roadway and/or sky and/or buildings in the respective image or video sequence of the image data 9. For example, the characteristic situation features are extracted from the LLM using the VLM. Non-image data 10 is extracted. The characteristic situational features may include, for example, weather conditions or current speed during the assigned travel time T0, T1, T2. The target decision is determined, for example, based on the characteristic situational features.

In einem Ausführungsbeispiel wird das Verfahren zur Beurteilung einer Entscheidung des neuronalen Netzes 2 zur Einstellung einer Betriebsweise der Fahrzeugeinheit 3 mehrmals ausgeführt. Zum Beispiel wird das Verfahren in dem in 3 gezeigten Beispiel dreimal durchgeführt, insbesondere zu den Fahrzeitpunkten T0, T1 und T2. Dabei werden die Fahrzeugsensordaten optional jeweils in Fahrsituationsklassen klassifiziert. Zumindest ein Teil der Fahrzeugsensordaten wird insbesondere an das neuronale Zusatz-Netz 6 bereitgestellt. Vorzugsweise werden abhängig von den bereitgestellten Fahrzeugsensordaten jeweils eine Soll-Entscheidung mittels des neuronalen Zusatz-Netzes 6 bestimmt. Diese bestimmte Soll-Entscheidung wird gegebenenfalls mit einer jeweils zum Fahrzeitpunkt T0, T1, T2 bereitgestellten Entscheidungen verglichen. Diese bereitgestellte Entscheidung wird beispielsweise abhängig von dem Vergleich beurteilt. In einem Ausführungsbeispiel wird auf Basis der Beurteilungsergebnisse und der klassifizierten Fahrzeugsensordaten ein Zuverlässigkeitsgrad bestimmt. Vorzugsweise wird der bestimmte Zuverlässigkeitsgrad bereitgestellt. Zum Beispiel wird der bestimmte Zuverlässigkeitsgrad an einen Benutzer des Fahrzeugs 8 bereitgestellt.In one embodiment, the method for evaluating a decision of the neural network 2 regarding the setting of an operating mode of the vehicle unit 3 is executed several times. For example, the method is performed in the 3 The example shown is performed three times, specifically at driving times T0, T1, and T2. The vehicle sensor data are optionally classified into driving situation classes. At least some of the vehicle sensor data is provided to the neural network 6. Preferably, a target decision is determined by the neural network 6 based on the provided vehicle sensor data. This target decision is optionally compared with a decision provided at each driving time T0, T1, and T2. This provided decision is then evaluated, for example, based on the comparison. In one embodiment, a reliability level is determined based on the evaluation results and the classified vehicle sensor data. Preferably, the determined reliability level is provided. For example, the determined reliability level is provided to a user of the vehicle 8.

Vorzugsweise werden in der Datenbank des Systems 1 die charakteristischen Bildmerkmale und gegebenenfalls die charakteristischen Situationsmerkmale und insbesondere das jeweilige Beurteilungsergebnis zu je einem der Fahrzeitpunkte T0, T1, T2 gespeichert. Somit ist ein Nachweis für eine Zuverlässigkeit der Entscheidungen des neuronalen Netzes 2 gespeichert und kann gegebenenfalls abgerufen und optional ausgewertet werden. Damit wird gegebenenfalls ein Vertrauen des Benutzers in die Entscheidungen des neuronalen Netzes 2 erhöht.Preferably, the characteristic image features and, if applicable, the characteristic situational features, and in particular the respective assessment result, are stored in the database of system 1 for each of the driving time points T0, T1, and T2. Thus, evidence of the reliability of the decisions of neural network 2 is stored and can be retrieved and optionally evaluated. This may increase the user's confidence in the decisions of neural network 2.

4 zeigt ein weiteres Ablaufdiagramm eines weiteren Ausführungsbeispiels des Verfahrens zur Beurteilung einer Entscheidung des neuronalen Netzes 2 zur Einstellung einer Betriebsweise der Fahrzeugeinheit 3. Sind beispielsweise für einen vorgegebenen Zeitraum, beispielsweise für den Fahrzeitpunkt T0, die Fahrzeugsensordaten verfügbar, dann werden gegebenenfalls die Bilddaten 9 des Fahrzeitpunkts T0 an das neuronale Zusatz-Netz 6 bereitgestellt. In einem Schritt S3 werden insbesondere die entsprechenden Nicht-Bilddaten 10 für den gleichen Zeitraum T0 an das neuronale Zusatz-Netz 6 bereitgestellt. 4 Figure 1 shows a further flowchart of another embodiment of the method for evaluating a decision by the neural network 2 regarding the setting of an operating mode for the vehicle unit 3. If, for example, the vehicle sensor data are available for a given period, such as the driving time T0, then the image data 9 of the driving time T0 is provided to the additional neural network 6, if applicable. In step S3, the corresponding non-image data 10 for the same period T0 are provided to the additional neural network 6.

In einem Schritt S4 werden gegebenenfalls aus den Bilddaten 9 mittels des VLMs charakteristische Bildmerkmale extrahiert. In einem optionalen Schritt S5 werden aus den Nicht-Bilddaten 10 charakteristische Situationsmerkmale mittels des LLMs extrahiert.In step S4, characteristic image features are extracted from the image data (9) using the VLM, if necessary. In an optional step S5, characteristic situation features (10) are extracted from the non-image data using the LLM.

In einem Ausführungsbeispiel wird in einem Schritt S6 das Verfahren zur Beurteilung einer Entscheidung des neuronalen Netzes 2 zur Einstellung einer Betriebsweise der Fahrzeugeinheit 3 durchgeführt und die Beurteilungsergebnisse werden insbesondere bereitgestellt. Ein Beurteilungsergebnis enthält beispielsweise eine Information, ob die Entscheidung des neuronalen Netzes 2 der Soll-Entscheidung des neuronalen Zusatz-Netzes 6 entspricht.In one embodiment, step S6 involves performing the procedure for evaluating a decision by neural network 2 regarding the setting of an operating mode for the vehicle unit 3, and in particular, providing the evaluation results. An evaluation result includes, for example, information on whether the decision of neural network 2 corresponds to the target decision of the additional neural network 6.

In einem optionalen Schritt S7 wird eine, insbesondere ab Start der aktuellen Fahrt beginnende Streckenlänge, insbesondere in Kilometern bereitgestellt. Somit kann von dem Benutzer beispielsweise abgefragt werden, wie viele Kilometer bereits gefahren wurden und insbesondere in wieviel Prozent davon das neuronale Netz 2 die korrekte Entscheidung, also die Soll-Entscheidung, getroffen hat.In an optional step S7, the route length, specifically in kilometers, is provided, starting from the beginning of the current trip. This allows the user to query, for example, how many kilometers have already been driven and, in particular, what percentage of that distance the neural network 2 has made the correct decision, i.e., the target decision.

In einem Schritt S8 werden insbesondere in einer Datenbank des Systems 1 zu jedem Fahrzeitpunkt T0, T1, T2 jeweils die extrahierten charakteristischen Bildmerkmale und die extrahierten charakteristischen Situationsmerkmale und das jeweilige Beurteilungsergebnis und gegebenenfalls die zurückgelegte Streckenlänge abgespeichert. Es ist möglich, dass die befüllte Datenbank durch einen Benutzer abgerufen wird. Es ist auch möglich, dass die Datenbank zur Verbesserung des neuronalen Netzes 2 verwendet wird.In step S8, the extracted characteristic image features, the extracted characteristic situation features, the respective assessment result, and, if applicable, the distance traveled are stored in a database of system 1 for each driving time point T0, T1, and T2. It is possible for a user to access the populated database. It is also possible for the database to be used to improve neural network 2.

BezugszeichenlisteReference symbol list

11: Systemsystem
22: neuronale Netzeneural networks
33: FahrzeugeinheitVehicle unit
44: FahrzeugrecheneinheitVehicle computer unit
55: Recheneinheitcomputing unit
66: neuronales Zusatz-Netzadditional neural network
77: SensoreinheitSensor unit
88: Fahrzeugvehicle
99: BilddatenImage data
1010: Nicht-BilddatenNon-image data
S1S1: SchrittStep
S2S2: SchrittStep
S3S3: SchrittStep
S4S4: SchrittStep
S5S5: SchrittStep
S6S6: SchrittStep
S7S7: SchrittStep
S8S8: SchrittStep
T0T0: FahrzeitpunktTravel time
T1T1: FahrzeitpunktTravel time
T2T2: FahrzeitpunktTravel time

Claims

A method for evaluating a decision of a neural network (2) regarding the setting of an operating mode of a vehicle unit (3), comprising the steps of: a) capturing the set decision of the neural network (2) by means of a vehicle computing unit (4); b) providing the decision to at least one additional neural network (6) of a computing unit (5) distinct from the vehicle computing unit (4); c) providing vehicle sensor data, at least some of which were available to the neural network for the decision regarding the setting of the operating mode, to the at least one additional neural network (6); d) determining a target decision by means of the at least one additional neural network (6) based on the provided vehicle sensor data; e) comparing the provided decision with the determined target decision; and f) evaluating the provided decision of the neural network (2) depending on the comparison.

Procedure according to Claim 1 , wherein the decision is provided to an additional neural network (6) of a vehicle-external computing unit (5) that is different from the vehicle computing unit (4).

Procedure according to Claim 1 or 2 , wherein the provided vehicle sensor data are classified into driving situation classes using the neural add-on network (6) and the target decision is determined on the basis of the classified vehicle sensor data.

Procedure according to Claim 3 , wherein the additional neural network (6) comprises a large language model (LLM) and/or a visual language model (VLM) and/or an ensemble of different large language models, visual language models, and case-specific networks, and the vehicle sensor data are classified using the large language model and/or the visual language model.

Procedure according to Claim 3 or 4 , wherein the vehicle sensor data includes camera data, and characteristic image features are extracted from the camera data using the neural add-on network (6), in particular the visual language model.

Procedure according to one of the Claims 3 until 5 , wherein the vehicle sensor data include camera data and various non-image data (10), wherein characteristic situation features are extracted from the non-image data (10) using the neural add-on network (6), in particular the large language model.

Procedure according to Claim 5 or 6 , whereby the classification is carried out based on the extracted image features and/or the extracted situation features.

Method for determining a reliability degree of a decision of a neural network (2) regarding an operating mode of a vehicle function, wherein a method according to one of the Claims 1 until 7 The process is carried out multiple times, with sensor data being provided and the provided sensor data being classified into driving situation classes, whereby the reliability level is determined based on the assessment results and the classified sensor data.

Procedure according to Claim 8 , whereby the assessment results and the classified sensor data are stored in a data storage device.

Procedure according to Claim 8 or 9 , wherein route data of the vehicle (8) are provided for the driving situation classes and the reliability level is determined depending on the route data provided.

Procedure according to one of the Claims 8 until 10 , whereby the neural network (2) is adapted depending on the specified degree of reliability.

Method for operating a vehicle (8), wherein a method according to one of the Claims 8 until 11 is carried out, whereby sensor data, driving situation classes and reliability levels of past journeys are provided, whereby sensor data of a current journey is provided and classified into a current driving situation class, whereby the current driving situation class is compared with the driving situation classes of past journeys and if a driving situation class of past journeys matches the current driving situation class, it is considered the current reliability level. The degree of negligence of the current journey is estimated as the reliability level of the corresponding driving situation class, wherein the estimated reliability level is issued to a driver of the vehicle (8) and/or an operating mode of a vehicle unit (3) is adapted depending on the estimated reliability level.

System (1) for evaluating a decision of a neural network (2) for setting an operating mode of a vehicle unit (3), comprising the vehicle unit (3), a vehicle computing unit (4) with the neural network (2), a computing unit (5) different from the vehicle computing unit (4), in particular external to the vehicle, with an additional neural network (6) and at least one sensor unit (7), wherein the system (1) is configured to carry out a method according to one of the preceding claims.

Computing unit (5) with an additional neural network (6), wherein the computing unit (5) is configured to perform steps b) to f) of a procedure according to one of the Claims 1 until 11 to carry out.

Computer program comprising instructions which, when the program is executed by a computing unit (5), cause the computing unit to perform steps b) to f) of a procedure according to one of the Claims 1 until 11 to carry out.