DE102021113767A1

DE102021113767A1 - Monitoring device and method for monitoring an overall system made up of several different subsystems for faults and motor vehicles

Info

Publication number: DE102021113767A1
Application number: DE102021113767.5A
Authority: DE
Inventors: Christopher Kuhn; Goran Petrovic; Markus Hofbauer; Eckehard Steinbach
Original assignee: Bayerische Motoren Werke AG; Technische Universitaet Muenchen
Current assignee: Bayerische Motoren Werke AG
Priority date: 2021-05-27
Filing date: 2021-05-27
Publication date: 2022-12-01

Abstract

Die Erfindung betrifft eine Überwachungseinrichtung (18) und ein damit ausgestattetes Kraftfahrzeug (10) sowie ein entsprechendes Verfahren (26) zum Überwachen eines Gesamtsystems (10) aus mehreren Teilsystemen (12, 14). Die Überwachungseinrichtung, (18) ist dazu eingerichtet, für die Teilsysteme (12, 14) jeweils einen Fehlerwert zu bestimmen. Ein erster der Fehlerwerte wird dann mit einem vorgegebenen Referenzwert verglichen (32). Sofern der Referenzwert nicht erreicht wird, werden die Fehlerwerte so lange schrittweise kumulativ miteinander kombiniert (38, 46, 52, 60, 68) bis ein aktueller kumulierter Fehlerwert den vorgegebenen Referenzwert erreicht und/oder alle Fehlerwerte miteinander kombiniert sind. Bei Erreichen des Referenzwertes wird automatisch eine vorgegebene Sicherheitsmaßnahme (34) für das Gesamtsystem (10) eingeleitet.

The invention relates to a monitoring device (18) and a motor vehicle (10) equipped with it, as well as a corresponding method (26) for monitoring an overall system (10) made up of a number of subsystems (12, 14). The monitoring device (18) is set up to determine an error value for each of the subsystems (12, 14). A first of the error values is then compared to a predetermined reference value (32). If the reference value is not reached, the error values are cumulatively combined step by step (38, 46, 52, 60, 68) until a current cumulative error value reaches the specified reference value and/or all error values are combined with one another. When the reference value is reached, a predetermined safety measure (34) for the overall system (10) is initiated automatically.

Description

Die vorliegende Erfindung betrifft eine Überwachungseinrichtung und ein Verfahren zum Überwachen eines Gesamtsystems aus mehreren unterschiedlichen Teilsystemen auf zumindest voraussichtliche Fehler. Die Erfindung betrifft weiter ein entsprechend eingerichtetes Kraftfahrzeug.The present invention relates to a monitoring device and a method for monitoring an overall system made up of a number of different subsystems for at least probable faults. The invention further relates to a correspondingly equipped motor vehicle.

In vielen technischen Gebieten und Anwendungen wird zum einen eine zunehmende Automatisierung angestrebt und zum anderen eine zunehmende Komplexität beobachtet. Ein Beispiel dafür sind automatisierte Kraftfahrzeuge, die eine Vielzahl von zusammenwirkenden Teilsystemen, wie etwa Sensoren, Assistenzeinrichtungen, Steuergeräten, automatisiert ansteuerbaren Antriebskomponenten und dergleichen mehr, aufweisen können. Bei einem Betrieb solcher automatisierter Gesamtsysteme kann es immer wieder zu Fehlern oder einem Versagen kommen, beispielsweise in ungewöhnlichen Umgebungssituationen, für die das System nicht eingerichtet oder trainiert ist, oder in in anderer Hinsicht besonders herausfordernden Situationen, beispielsweise Situationen mit erhöhter Komplexität oder ungünstigen Wetter- oder Lichtbedingungen oder dergleichen. Um dennoch einen sicheren automatisierten Betrieb zu ermöglichen, kann eine Vorhersage solcher Fehler oder eines solchen Versagens hilfreich sein, beispielsweise um rechtzeitig entsprechend reagieren zu können.In many technical areas and applications, increasing automation is being sought on the one hand and increasing complexity is being observed on the other. One example of this is automated motor vehicles, which can have a large number of interacting subsystems, such as sensors, assistance devices, control devices, drive components that can be controlled automatically and the like. When operating such automated overall systems, errors or failures can occur again and again, for example in unusual environmental situations for which the system is not set up or trained, or in other respects particularly challenging situations, for example situations with increased complexity or unfavorable weather conditions. or lighting conditions or the like. In order to nevertheless enable safe automated operation, a prediction of such errors or such a failure can be helpful, for example in order to be able to react accordingly in good time.

Ein Verfahren für eine für autonomes Verfahren geeignete Objekterfassung und eine verbesserte Erfassungssicherheit ist beispielsweise in der DE 11 2019 000 049 T5 beschrieben. In dem dort vorgeschlagenen Verfahren werden Sensordaten, die für ein Sichtfeld eines Sensors eines Fahrzeugs in einer Umgebung repräsentativ sind, auf ein erstes neuronales Netzwerk angewendet. Weiter werden Erfasstes-Objekt-Daten, die für Positionen von erfassten Objekten in dem Sichtfeld repräsentativ sind, von dem ersten neuronalen Netzwerk empfangen. Darauf basierend wird ein Cluster der erfassten Objekte erzeugt. Anschließend werden Merkmale für den Cluster zur Verwendung als Eingänge eines zweiten neuronalen Netzwerks bestimmt. Weiter wird ein Vertrauenswert empfangen, der von dem zweiten neuronalen Netzwerk berechnet wird, basierend auf den Eingängen, wobei der Vertrauenswert für eine Wahrscheinlichkeit steht, dass der Cluster einem Objekt in der Umgebung innerhalb des Sichtfeldes des Sensors entspricht.A method for an autonomous method suitable for object detection and improved detection security is for example in DE 11 2019 000 049 T5 described. In the method proposed there, sensor data that are representative of a field of view of a sensor of a vehicle in an environment are applied to a first neural network. Furthermore, detected object data representative of positions of detected objects in the field of view is received from the first neural network. Based on this, a cluster of the detected objects is generated. Then features are determined for the cluster for use as inputs to a second neural network. Further received is a confidence value calculated by the second neural network based on the inputs, the confidence value representing a probability that the cluster corresponds to an object in the environment within the field of view of the sensor.

Als weiterer Ansatz ist in der EP 3 418 126 A1 ein Verfahren zum Betreiben eines Bordnetzes eines Kraftfahrzeugs, das eine Anzahl an Verbrauchern umfasst, beschrieben. Für mindestens einen der Verbraucher wird darin über einen Zeitraum mindestens eine physikalische Größe erfasst und ein auf diese Weise ermittelter zeitlicher Verlauf analysiert. Darauf basierend wird ein Ausfallverhalten des mindestens einen Verbrauchers vorhergesagt. Damit soll letztlich eine Funktionstüchtigkeit der Verbraucher gewährleistet werden.Another approach is in the EP 3 418 126 A1 a method for operating an on-board network of a motor vehicle, which includes a number of consumers, is described. For at least one of the loads, at least one physical variable is recorded over a period of time and a time profile determined in this way is analyzed. Based on this, a failure behavior of the at least one consumer is predicted. This is ultimately intended to ensure the functionality of the consumers.

Aufgabe der vorliegenden Erfindung ist es, einen sicheren Betrieb eines komplexen zumindest teilweise automatisierten Gesamtsystems zu ermöglichen.The object of the present invention is to enable safe operation of a complex, at least partially automated overall system.

Diese Aufgabe wird erfindungsgemäß durch die Gegenstände der unabhängigen Patentansprüche gelöst. Mögliche Ausgestaltungen und Weiterbildungen der vorliegenden Erfindung sind in den abhängigen Patentansprüchen, in der Beschreibung und in den Figuren offenbart.According to the invention, this object is achieved by the subject matter of the independent patent claims. Possible refinements and developments of the present invention are disclosed in the dependent patent claims, in the description and in the figures.

Eine erfindungsgemäße Überwachungseinrichtung kann insbesondere für ein zumindest teilweise automatisierte Kraftfahrzeug vorgesehen sein. Ebenso kann eine entsprechende Überwachungseinrichtung aber in anderen technischen Gebieten oder Anwendungen eingesetzt werden, in denen komplexe zumindest teilweise automatisierte Systeme betrieben werden. Die erfindungsgemäße Überwachungseinrichtung ist dazu eingerichtet, für automatisierte oder automatische Teilsysteme eines zumindest teilweise automatisierten Gesamtsystems jeweils wenigstens einen Fehlerwert zu bestimmen.A monitoring device according to the invention can be provided in particular for an at least partially automated motor vehicle. However, a corresponding monitoring device can also be used in other technical fields or applications in which complex, at least partially automated systems are operated. The monitoring device according to the invention is set up to determine at least one error value for automated or automatic subsystems of an at least partially automated overall system.

Ein solches Gesamtsystem kann beispielsweise das genannte Kraftfahrzeug sein. Die Teilsysteme können dann beispielsweise einzelne Sensoren, Assistenzeinrichtungen oder Assistenzsysteme, Steuergeräte, Datenverarbeitungseinrichtungen und/oder dergleichen mehr sein. Diese Teilsysteme können insbesondere Teil einer gemeinsamen Datenverarbeitungspipeline sein, also zum Betrieb des Gesamtsystems zusammenwirken.Such an overall system can be the motor vehicle mentioned, for example. The subsystems can then be, for example, individual sensors, assistance devices or assistance systems, control devices, data processing devices and/or the like. These subsystems can in particular be part of a common data processing pipeline, that is to say they can work together to operate the overall system.

Die Fehlerwerte geben tatsächliche oder erwartete Fehler oder eine Fehlerwahrscheinlichkeit des jeweiligen Teilsystems an. Die Fehlerwerte können dabei entsprechende Werte direkt angeben oder beschreiben oder charakterisieren, sodass die Fehler oder die Fehlerwahrscheinlichkeit aus den Fehlerwerten abgeleitet werden kann. Beispielsweise können für die einzelnen Teilsysteme jeweils Teilsystemdaten erfasst werden, welche die Fehlerwerte direkt angeben oder es kann aus den Teilsystemdaten der jeweilige Fehlerwert abgeleitet werden. Die Teilsystemdaten können dann beispielsweise Eingangsdaten, Zwischen- oder Verarbeitungsergebnisse oder ein Output des jeweiligen Teilsystems sein oder umfassen. Das Ableiten der Fehlerwerte aus den Teilsystemdaten kann beispielsweise durch die Teilsysteme selbst, also etwa modellintern durch ein Betriebsmodell des jeweiligen Teilsystems, durch die erfindungsgemäße Überwachungseinrichtung oder durch eine weitere oder externe Einrichtung automatisch ausgeführt werden. Hierzu können grundsätzlich bekannte Ansätze oder Methoden für die Fehlervorhersage oder ein Vorhersagen oder Bestimmen der Fehlerwahrscheinlichkeit angewendet werden.The error values indicate actual or expected errors or an error probability of the respective subsystem. In this case, the error values can directly specify or describe or characterize corresponding values, so that the errors or the error probability can be derived from the error values. For example, subsystem data can be recorded for the individual subsystems, which directly indicate the error values, or the respective error value can be derived from the subsystem data. The subsystem data can then be or include, for example, input data, intermediate or processing results or an output of the respective subsystem. The error values can be derived from the subsystem data, for example, by the subsystems themselves, ie, for example, within the model by an operating model of the respective subsystem the monitoring device according to the invention or be carried out automatically by a further or external device. For this purpose, fundamentally known approaches or methods for error prediction or for predicting or determining the error probability can be used.

Die erfindungsgemäße Überwachungseinrichtung ist weiter dazu eingerichtet, einen ersten der Fehlerwerte mit einem vorgegebenen Referenzwert zu vergleichen. Ein solcher Referenzwert kann beispielsweise ein Schwellenwert für die Fehlerwahrscheinlichkeit oder die Anzahl der tatsächlichen oder erwarteten Fehler sein oder einen oder mehrere konkrete Fehler oder Fehlerarten angeben oder bezeichnen.The monitoring device according to the invention is also set up to compare a first of the error values with a predefined reference value. Such a reference value can be, for example, a threshold value for the error probability or the number of actual or expected errors, or it can specify or designate one or more specific errors or error types.

Der erste Fehlerwert kann beispielsweise der bei einem jeweiligen Datenverarbeitungsdurchlauf zeitlich zuerst anfallende, also zuerst verfügbar werdende oder bestimmte Fehlerwert sein. Ebenso kann der erste Fehlerwert stets ein Fehlerwert eines bestimmten vorgegebenen Teilsystems sein. Ein Datenverarbeitungsdurchlauf in diesem Sinne kann beispielsweise ein vollständiges Verarbeiten initialer Eingangsdaten durch die Teilsysteme, also beispielsweise eine entsprechende durch die Teilsysteme gebildete oder die Teilsysteme umfassende Datenverarbeitungspipeline, bedeuten. Initiale Eingangsdaten können beispielsweise Betriebs- oder Zustandsdaten des Gesamtsystems, Sensorrohdaten, beispielsweise eines Umgebungssensors, und/oder dergleichen mehr sein oder umfassen.The first error value can be, for example, the error value that occurs first in time in a respective data processing run, ie, that first becomes available or is determined. Likewise, the first error value can always be an error value of a specific predefined subsystem. A data processing pass in this sense can mean, for example, complete processing of initial input data by the subsystems, ie, for example, a corresponding data processing pipeline formed by the subsystems or including the subsystems. Initial input data can be or include, for example, operating or status data of the overall system, raw sensor data, for example of an environmental sensor, and/or the like.

Die erfindungsgemäße Überwachungseinrichtung ist weiter dazu eingerichtet, für den Fall, dass der Referenzwert durch den ersten Fehlerwert nicht erreicht wird, der erste Fehlerwert also beispielsweise dem Referenzwert nicht entspricht oder kleiner als der Referenzwert ist, den ersten Fehlerwert sowie gegebenenfalls bestimmte oder anfallende weitere Fehlerwerte so lange schrittweise kumulativ mit den anderen oder weiteren Fehlerwerten in vorgegebener Weise zu kombinieren bis der aktuelle kumulierte Fehlerwert den vorgegebenen Referenzwert erreicht und/oder alle Fehlerwerte miteinander kombiniert sind. Mit anderen Worten kann also der erste Fehlerwert zunächst mit einem weiteren bzw. zweiten der Fehlerwerte zu einem ersten kumulierten Fehlerwert kombiniert werden. Dieser erste kumulierte Fehlerwert kann dann mit einem weiteren bzw. dritten der Fehlerwerte zu einem zweiten kumulierten Fehlerwert kombiniert werden usw. Die Fehlerwerte werden also nach und nach jeweils einzeln mit den bereits verarbeiteten, also mit dem Referenzwert verglichenen Fehlerwerten bzw. dem jeweils zuletzt bestimmten kumulierten Fehlerwert kombiniert.The monitoring device according to the invention is also set up to, in the event that the reference value is not reached by the first error value, i.e. the first error value does not correspond to the reference value or is smaller than the reference value, for example, the first error value and any other error values determined or occurring to combine step by step cumulatively with the other or further error values in a predetermined manner until the current cumulative error value reaches the predetermined reference value and/or all error values are combined with one another. In other words, the first error value can first be combined with a further or second error value to form a first cumulative error value. This first cumulative error value can then be combined with a further or third of the error values to form a second cumulative error value, etc. The error values are therefore gradually combined with the error values that have already been processed, i.e. compared with the reference value, or with the cumulative value determined last Combined error value.

Sofern die Fehlerwerte nicht sämtlich gleichzeitig vorliegen, können die Fehlerwerte insbesondere verarbeitet, also mit dem Referenzwert verglichen bzw. mit dem jeweils letzten Fehlerwert bzw. mit dem jeweils zuletzt bestimmten kumulierten Fehlerwert kombiniert werden, sobald sie vorliegen oder verfügbar sind bzw. bestimmt wurden. Das Vergleichen mit dem Referenzwert kann also jeweils durchgeführt werden, sobald ein neuer Fehlerwert oder ein neuer kommunikativer Fehlerwert erfasst oder bestimmt wurde bzw. verfügbar ist. Es müssen hier also nicht zuerst sämtliche Fehlerwerte bestimmt werden, bevor der erste Vergleich mit dem Referenzwert durchgeführt wird. Sofern bereits der erste Fehlerwert oder ein zwischenzeitlich bestimmter kumulierter Fehlerwert den Referenzwert erreicht, kann gegebenenfalls auf das Bestimmen weiterer Fehlerwerte oder weiterer kumulierter Fehlerwerte verzichtet werden. In diesem Fall kann dann sofort die Sicherheitsmaßnahme eingeleitet werden.If the error values are not all present at the same time, the error values can be processed, i.e. compared with the reference value or combined with the most recent error value or with the most recently determined cumulative error value, as soon as they are present or available or have been determined. The comparison with the reference value can therefore be carried out in each case as soon as a new error value or a new communicative error value has been recorded or determined or is available. It is therefore not necessary here first to determine all the error values before the first comparison with the reference value is carried out. If the first error value or a cumulative error value determined in the meantime already reaches the reference value, it may be possible to dispense with the determination of further error values or further cumulative error values. In this case, the safety measure can be initiated immediately.

Das Kombinieren der Fehlerwerte in vorgegebener Weise bedeutet hier beispielsweise, dass eine vorgegebene Reihenfolge für das Kombinieren der Fehlerwerte eingehalten wird, das Kombinieren nach einer vorgegebenen Vorschrift erfolgt und/oder ein vorgegebenes Modell zum Kombinieren der Fehlerwerte angewendet wird. Das Kombinieren kann insbesondere ein mathematisches Verknüpfen der Fehlerwerte bedeuten oder umfassen. Sobald ein neuer kumulierter Fehlerwert bestimmt wurde, wird dieser ebenfalls mit dem Referenzwert verglichen. Dieses Kombinieren der Fehlerwerte bzw. dieses Bestimmen der kumulierten Fehlerwerte wird jeweils so lange durchgeführt, bis die ein aktueller kumulierte Fehlerwert bestimmt wurde, der den vorgegebenen Referenzwert erreicht oder überschreitet und/oder bis alle Fehlerwerte, beispielsweise alle in einem Datenverarbeitungsdurchlauf anfallenden Fehlerwerte, miteinander kombiniert sind bzw. wurden. Danach kann der Prozess erneut durchlaufen werden, basierend auf neuen initialen Eingangsdaten. Da die Fehlerwerte kumulativ miteinander kombiniert werden, werden die kumulierten Fehlerwerte mit jedem Kombinationsschritt größer. Dies ist insbesondere der Fall, da die einzelnen Fehlerwerte - sofern sie von null verschieden sind, das gleiche Vorzeichen aufweisen, insbesondere positiv sein können.Combining the error values in a predetermined manner means here, for example, that a predetermined order for combining the error values is observed, the combining takes place according to a predetermined rule and/or a predetermined model is used to combine the error values. In particular, combining can mean or include a mathematical linking of the error values. As soon as a new cumulative error value has been determined, this is also compared with the reference value. This combining of the error values or this determination of the cumulative error values is carried out until a current cumulative error value has been determined that reaches or exceeds the specified reference value and/or until all error values, for example all error values occurring in a data processing run, are combined with one another are or became. After that, the process can be run through again, based on new initial input data. Because the error values are cumulatively combined, the cumulative error values increase with each combination step. This is the case in particular since the individual error values—if they are different from zero, have the same sign, can in particular be positive.

Die erfindungsgemäße Überwachungseinrichtung ist weiter dazu eingerichtet, bei Erreichen oder Überschreiten des Referenzwertes durch den ersten Fehlerwert oder einen nachfolgend bestimmten kumulierten Fehlerwert automatisch eine vorgegebene Sicherheitsmaßnahme für das Gesamtsystem einzuleiten, also auszuführen oder zu veranlassen. Eine solche vorgegebene Sicherheitsmaßnahme kann beispielsweise ein automatisches Wechseln zu einer vorgegebenen bzw. vorbestimmten sicheren Betriebsart, ein Wechseln oder Befolgen einer als sicher eingestuften Trajektorie, ein Ausgeben eines Hinweis- oder Warnsignals, ein Anfordern einer manuellen Übernahme der Steuerung oder Kontrolle des Gesamtsystems durch eine Bedienperson, ein Anhalten des Gesamtsystems und/oder dergleichen mehr bedeuten oder umfassen.The monitoring device according to the invention is also set up to automatically initiate, ie execute or cause, a predetermined safety measure for the overall system when the reference value is reached or exceeded by the first error value or a subsequently determined cumulative error value. Such a predetermined security measure can, for example, automatically switch to a predetermined or predetermined security measure ten safe mode of operation, changing or following a trajectory classified as safe, issuing an advisory or warning signal, requesting manual takeover of control or monitoring of the entire system by an operator, stopping the entire system and/or the like.

Die Teilsysteme des Gesamtsystems können unterschiedliche Fehlerquellen darstellen. Im Anwendungsfall des Kraftfahrzeugs können dies beispielsweise fehlerhafte Sensoren und fehlerhafte Modelle sein. Auch neue, also den Teilsystemen unbekannte Umgebungen können eine Fehlerquelle darstellen bzw. zu Fehlern wenigstens einen Teilsystems des Kraftfahrzeugs führen. In komplexen Gesamtsystemen bedeutet ein Fehler eines einzigen Teilsystems oder einer einzigen Komponente nicht notwendigerweise einen Fehler oder ein Versagen des Gesamtsystems. Es kann aber umgekehrt auch dann zu einem Fehler oder einem Versagen des Gesamtsystems kommen, wenn kein einzelnes Teilsystem einen Ausfall oder schwerwiegenden Fehler erleidet oder für ein einzelnes Teilsystem eine besonders hohe Fehlerwahrscheinlichkeit besteht. Jedes individuelle Teilsystem kann innerhalb seiner operativen Domäne arbeiten und dennoch kann eine Kombination unterschiedlicher kleinerer Probleme, Teilfehler oder Unsicherheiten zu einer sicherheitskritischen Situation, also etwa zu einem Fehler oder einem Versagen des Gesamtsystems führen. Basierend auf dieser der vorliegenden Erfindung zugrunde liegenden Erkenntnis erkennt die vorliegende Erfindung die Vorteilhaftigkeit einer Kombination individueller Fehlervorhersagen einzelner Teilsysteme in einem entsprechenden übergreifenden Framework, das vorliegend durch die erfindungsgemäße Überwachungseinrichtung und das erfindungsgemäße Verfahren repräsentiert oder implementiert wird. Die erfindungsgemäße Überwachungseinrichtung kann als eigenständiges System mehrere oder alle Teilsysteme bzw. mehrere oder alle Verarbeitungsschritte einer Datenverarbeitungspipeline des Gesamtsystems berücksichtigen, um einen Fehler oder ein Versagen des Gesamtsystems mit im Vergleich zu individuellen Einzelaussagen für die einzelnen Teilsysteme erhöhter Genauigkeit, Zuverlässigkeit und Robustheit vorherzusagen oder zu erkennen Die vorliegende Erfindung kann daher einen wichtigen Schritt bilden, um einen sicheren Betrieb zumindest teilweise automatisierter komplexer Gesamtsysteme, insbesondere ein sicheres assistiertes oder automatisiertes Fahren eines Kraftfahrzeugs, zu ermöglichen.The subsystems of the overall system can represent different sources of error. In the motor vehicle application, these can be faulty sensors and faulty models, for example. New environments, ie environments unknown to the subsystems, can also represent a source of error or lead to errors in at least one subsystem of the motor vehicle. In complex overall systems, a failure of a single subsystem or component does not necessarily mean that the overall system is defective or has failed. Conversely, however, an error or failure of the overall system can also occur if no individual subsystem suffers a failure or serious error or if there is a particularly high error probability for an individual subsystem. Each individual subsystem can work within its operational domain and yet a combination of different smaller problems, partial errors or uncertainties can lead to a safety-critical situation, i.e. to an error or a failure of the overall system. Based on this finding on which the present invention is based, the present invention recognizes the advantage of a combination of individual error predictions of individual subsystems in a corresponding comprehensive framework, which is represented or implemented by the monitoring device according to the invention and the method according to the invention. As an independent system, the monitoring device according to the invention can take into account several or all subsystems or several or all processing steps of a data processing pipeline of the overall system in order to predict or to predict an error or a failure of the overall system with greater accuracy, reliability and robustness than individual statements for the individual subsystems The present invention can therefore form an important step in enabling safe operation of at least partially automated complex overall systems, in particular safe assisted or automated driving of a motor vehicle.

In realen Situationen und Umgebungen, beispielsweise im Straßenverkehr, ist ein Fehler oder ein Versagen des Gesamtsystems typischerweise nicht präzise durch eine einzelne Ursache verursacht oder bestimmt. Stattdessen führen oftmals eine Kombination vergleichsweise kleiner Ungenauigkeiten oder Unsicherheiten, ein eingeschränkter Sensorbetrieb oder ein nur teilweise kompromittierter Sensorinput im Vergleich zu einem Totalausfall des Sensors und/oder lokale Neuigkeiten in einer Umgebung, also beispielsweise eine Anwesenheit einzelner neuer bzw. unbekannter Elemente in einer ansonsten zumindest prinzipiell oder kategorisch bekannten Umgebung, im Gegensatz zu einer in jeglicher Hinsicht vollständig neuen Umgebung letztlich zu einem Fehler oder Versagen oder einem unsicheren Verhalten des Gesamtsystems, beispielsweise eines automatisierten Kraftfahrzeugs. Derartige für sich genommen betrachtet für einen sicheren Betrieb des Gesamtsystems augenscheinlich nicht signifikant oder relevant erscheinende Faktoren werden erst in Kombination miteinander zu einem signifikanten Problem, das daher durch herkömmliche Fehlervorhersagemethoden, die sich nur auf ein Teilsystem oder einen Arbeitsschritt beziehen, nicht zuverlässig erkannt oder vorhergesagt werden kann.In real situations and environments, for example in road traffic, an error or a failure of the overall system is typically not caused or determined precisely by a single cause. Instead, a combination of comparatively small inaccuracies or uncertainties, limited sensor operation or only partially compromised sensor input compared to a total failure of the sensor and/or local innovations in an environment, i.e. for example the presence of individual new or unknown elements in an otherwise at least Environment that is known in principle or categorically, in contrast to an environment that is completely new in every respect, ultimately leads to an error or failure or unsafe behavior of the entire system, for example an automated motor vehicle. Factors of this type that, when considered individually, do not appear to be significant or relevant for safe operation of the overall system only become a significant problem in combination with one another, which is why conventional error prediction methods, which only refer to a subsystem or a work step, are not reliably recognized or predicted can be.

Die vorliegende Erfindung begegnet dieser Problematik, indem vorgeschlagen wird, mehrere, gegebenenfalls existierende, also bekannte, Ansätze oder Methoden zur Fehlervorhersage zu kombinieren, wobei vorhergesagte Fehler, nämlich die genannten Fehlerwerte, entlang einer Datenverarbeitungspipeline, also über die mehreren Teilsysteme hinweg, schrittweise und kumulativ miteinander kombiniert werden. Somit kann gegebenenfalls letztlich die Sicherheitsmaßnahme automatisch eingeleitet werden basierend auf der Kombination sämtlicher potenzieller Fehler oder Fehlerquellen des Gesamtsystems. Mit anderen Worten wird vorliegend also vorgeschlagen, die einzelnen Teilsysteme zwar individuell auf tatsächliche oder mögliche Fehler bzw. eine jeweilige Fehlerwahrscheinlichkeit hin zu überwachen, diese verschiedenen Fehlerquellen oder Fehlerwerte bzw. Fehlerwahrscheinlichkeiten dann aber gemeinsam in der separaten oder unabhängigen Überwachungseinrichtung miteinander zu kombinieren. Die Überwachungseinrichtung kann dabei insbesondere Zugriff auf jeweils alle früheren Fehlerwerte, Unsicherheiten, Konfidenzwerte und/oder dergleichen mehr haben. Dies ermöglicht es der Überwachungseinrichtung, besonders zuverlässig und robust Fehler oder ein Versagen des Gesamtsystems zu erkennen oder vorherzusagen und die Sicherheitsmaßnahme einzuleiten, da die Überwachungseinrichtung dazu auf eine breitere Daten- oder Wissensbasis zugreifen kann als die einzelnen Teilsysteme oder eine einem individuellen Teilsystem zugeordnete Fehlervorhersagemethode.The present invention addresses this problem by proposing to combine several, possibly existing, i.e. known, approaches or methods for error prediction, with predicted errors, namely the error values mentioned, along a data processing pipeline, i.e. across the several subsystems, step by step and cumulatively be combined with each other. Thus, if necessary, the safety measure can ultimately be initiated automatically based on the combination of all potential errors or error sources of the overall system. In other words, it is proposed here to monitor the individual subsystems individually for actual or possible errors or a respective error probability, but then to combine these different error sources or error values or error probabilities together in the separate or independent monitoring device. In this case, the monitoring device can in particular have access to all previous error values, uncertainties, confidence values and/or the like. This enables the monitoring device to detect or predict errors or a failure of the overall system in a particularly reliable and robust manner and to initiate the safety measure, since the monitoring device can access a broader database or knowledge base than the individual subsystems or an error prediction method assigned to an individual subsystem.

Die vorliegende Erfindung kann eine letztlich beliebige Anzahl von Teilsystemen, also verschiedenen Fehlerquellen, sowie unterschiedlichen Fehlervorhersagemethoden, die beispielsweise jeweils für ein individuelles Teilsystem optimiert sein können, miteinander kombinieren. Prinzipbedingt kann die vorliegende Erfindung dabei mit zunehmender Komplexität des Gesamtsystems, also beispielsweise mit größerer Anzahl von Teilsystemen, sogar besser oder zumindest nicht schlechter werden, was einen deutlichen Vorteil gegenüber herkömmlichen Ansätzen darstellt.The present invention can ultimately any number of subsystems, so different error sources, and different error prediction methods, for example, each for an individual subsystem can be optimized, combine with each other. Due to the principle, the present invention can even get better or at least not worse with increasing complexity of the overall system, ie for example with a larger number of subsystems, which represents a clear advantage over conventional approaches.

Die vorliegende Erfindung ermöglicht es, einen Fehler oder eine Fehlerquelle zu detektieren, die mehrere Komponenten oder Teilsysteme des Gesamtsystems beeinflussen kann, wie beispielsweise ungünstige Umgebungs- oder Wetterbedingungen und/oder dergleichen mehr. Zudem können voneinander unabhängige Fehler oder Fehlerquellen detektiert und berücksichtigt werden, die unterschiedliche Komponenten oder Teilsysteme beeinflussen oder betreffen, wie beispielsweise eine Kombination aus einem fehlerhaften Sensor oder einem fehlerhaften Sensorinput und einer fehlerhaften Trajektorienplanung oder einem fehlerhaften Trajektoriengenerator.The present invention makes it possible to detect an error or an error source that can affect several components or subsystems of the overall system, such as unfavorable environmental or weather conditions and/or the like. In addition, mutually independent faults or sources of faults can be detected and taken into account that influence or affect different components or subsystems, such as a combination of a faulty sensor or a faulty sensor input and faulty trajectory planning or a faulty trajectory generator.

Die Fehlerwerte können insbesondere vorhergesagte Fehler oder Fehlerwahrscheinlichkeiten der Teilsysteme betreffen oder angeben. Damit ist die vorliegende Erfindung prädiktiver, also vorhersagender Natur. Dies in Kombination mit der Berücksichtigung unterschiedlicher Fehlerquellen kann im Vergleich zu herkömmlichen Ansätzen die Chance oder Wahrscheinlichkeit dafür erhöhen, dass sich anbahnende oder bevorstehende kritische Situationen erkannt bzw. rechtzeitig erkannt werden und dementsprechend sicher gehandhabt werden können, beispielsweise durch eine rechtzeitige Einleitung der Sicherheitsmaßnahme.In particular, the error values can relate to or indicate predicted errors or error probabilities of the subsystems. The present invention is therefore of a predictive, ie predictive, nature. This, in combination with the consideration of different sources of error, can increase the chance or probability in comparison to conventional approaches that imminent or imminent critical situations will be recognized or recognized in good time and can accordingly be handled safely, for example by initiating the safety measure in good time.

Ein weiterer Vorteil der vorliegenden Erfindung liegt darin, dass sie aufgrund ihrer modularen, kaskadierenden Struktur, also dem schrittweise kumulativen Kombinieren der Fehlerwerte, ohne Weiteres erweitert werden kann. So kann die vorliegende Erfindung ohne Weiteres auch bei einer ausgebauten, also vergrößerten Datenverarbeitungspipeline, einer vergrößerten Anzahl von Teilsystemen und/oder individuellen Fehlerwerten angewendet werden, beispielsweise bei einer Weiterentwicklung des Gesamtsystems oder einem Freischalten von zuvor beschränkten oder gesperrten Teilsystemen oder Funktionen eines jeweiligen bestehenden Gesamtsystems, wodurch dem Gesamtsystem jeweils neue potentielle Fehlerquellen hinzugefügt werden. Letztere können dann also automatisch durch die erfindungsgemäße Überwachungseinrichtung bzw. das erfindungsgemäße Verfahren oder Kraftfahrzeug automatisch berücksichtigt werden.A further advantage of the present invention lies in the fact that it can be easily expanded due to its modular, cascading structure, ie the step-by-step cumulative combination of the error values. The present invention can also be used without further ado in the case of an expanded, i.e. enlarged, data processing pipeline, an increased number of subsystems and/or individual error values, for example when the overall system is further developed or previously restricted or blocked subsystems or functions of a respective existing overall system are enabled , whereby new potential sources of error are added to the overall system. The latter can then be taken into account automatically by the monitoring device according to the invention or the method or motor vehicle according to the invention.

In einer möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Überwachungseinrichtung einen Fehlerwertschätzer, der dazu eingerichtet ist, anhand von Teilsystemdaten für die einzelnen Teilsysteme den jeweiligen Fehlerwert für das jeweilige Teilsystem zu bestimmen oder abzuschätzen. Wie bereits angedeutet können die Teilsystemdaten beispielsweise von dem jeweiligen Teilsystem zu verarbeitende oder verarbeitete Roh- oder Eingangsdaten, von dem jeweiligen Teilsystem erzeugte Zwischenergebnisse oder ein Output des jeweiligen Teilsystems sein oder umfassen. Der Fehlerwertschätzer kann eine Einrichtung darstellen, die zum Bestimmen oder Vorhersagen der Fehlerwerte, also etwa von Fehlern oder Fehlerwahrscheinlichkeiten, eines oder mehrerer der Teilsysteme eingerichtet ist. Dazu kann der Fehlerwertschätzer eine oder mehrere Fehlererkennungs- oder Fehlervorhersagemethoden implementieren. Es kann also einen Fehlerwertschätzer für mehrere Teilsysteme oder einen Fehlerwertschätzer für jeweils eines der Teilsysteme vorgesehen sein. Die Überwachungseinrichtung bzw. der Fehlerwertschätzer kann also bezüglich der Teilsysteme einen externen Beobachter darstellen, der eine Leistung, ein bestimmungsgemäßes Funktionieren, eine Zuverlässigkeit, eine Konfidenz oder direkt eine Wahrscheinlichkeit für einen Fehler oder ein Versagen eines oder mehrerer der Teilsysteme bewerten oder bestimmen und einen entsprechenden Fehlerwert bestimmen bzw. ausgeben kann. Durch die Integration eines solchen Fehlerwertschätzers in die erfindungsgemäße Überwachungseinrichtung kann diese besonders einfach und flexibel mit bestehenden Systemen kombiniert oder angewendet werden, beispielsweise auch dann, wenn wenigstens eines der Teilsysteme kein individuelles Fehlererkennungs- oder Fehlervorhersagemodul aufweist oder umfasst.In one possible embodiment of the present invention, the monitoring device includes an error value estimator that is set up to determine or estimate the respective error value for the respective subsystem using subsystem data for the individual subsystems. As already indicated, the subsystem data can be or include, for example, raw or input data to be processed or processed by the respective subsystem, intermediate results generated by the respective subsystem, or an output of the respective subsystem. The error value estimator can represent a device that is set up to determine or predict the error values, ie errors or error probabilities, for example, of one or more of the subsystems. To this end, the error estimator can implement one or more error detection or error prediction methods. An error value estimator can therefore be provided for a plurality of subsystems or an error value estimator for one of the subsystems in each case. The monitoring device or the error value estimator can therefore represent an external observer with regard to the subsystems, who evaluates or determines a performance, proper functioning, reliability, confidence or directly a probability of an error or failure of one or more of the subsystems and a corresponding Can determine or output error value. By integrating such an error value estimator into the monitoring device according to the invention, it can be combined or used particularly easily and flexibly with existing systems, for example even if at least one of the subsystems does not have or includes an individual error detection or error prediction module.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist die Überwachungseinrichtung dazu eingerichtet, zum Kombinieren der Fehlerwerte diese ausgehend von dem ersten Fehlerwert kumulativ aufzuaddieren. Mit anderen Worten wird zum Bestimmen der kumulierten Fehlerwerte iterativ fortlaufend eine Summe berechnet, die um jeweils einen nächsten der Fehlerwerte erhöht wird. Dies stellt eine besonders einfach zu implementierende und besonders aufwandsarm und schnell ausführbare Möglichkeit zum Kombinieren der Fehlerwerte, also zum Bestimmen der kumulierten Fehlerwerte, da. Die hier vorgeschlagene Möglichkeit zum Kombinieren der Fehlerwerte kann beispielsweise praktikabel sein, wenn die Fehlerwerte unabhängige Fehlerwahrscheinlichkeiten oder Anzahlen von individuellen Fehlern angeben oder betreffen.In a further possible embodiment of the present invention, the monitoring device is set up to combine the error values to add them up cumulatively, starting from the first error value. In other words, in order to determine the cumulative error values, a sum is continuously calculated iteratively and is increased by the next error value in each case. This represents a possibility for combining the error values, that is to say for determining the cumulative error values, which is particularly easy to implement and can be implemented particularly quickly and with little effort. The option proposed here for combining the error values can be practicable, for example, if the error values indicate or relate to independent error probabilities or numbers of individual errors.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist die Überwachungseinrichtung dazu eingerichtet, beim Kombinieren der Fehlerwerte diese unterschiedlich zu gewichten. Dabei können insbesondere in unterschiedlichen Kombinationsschritten, also beim Bestimmen unterschiedlicher kumulierter Fehlerwerte, unterschiedliche Gewichte, Gewichtszuweisungen oder Gewichtskombinationen verwendet werden. Dies ermöglicht eine besonders flexible und genaue Anpassung oder Optimierung der vorliegenden Erfindung für einen jeweiligen Anwendungsfall oder Einsatzzweck. Durch die Gewichtung der Fehlerwerte können deren unterschiedliche Einflüsse auf ein Ergebnis oder Verhalten des Gesamtsystems berücksichtigt werden. In a further possible embodiment of the present invention, the monitoring device is set up to weight the error values differently when they are combined. In this case, different weights, weight allocations or weight combinations can be used in particular in different combination steps, ie when determining different cumulated error values. This enables a particularly flexible and precise adaptation or optimization of the present invention for a particular application or purpose. By weighting the error values, their different influences on a result or behavior of the overall system can be taken into account.

Dies ermöglicht eine besonders genaue, zuverlässige und robuste Erkennung oder Vorhersage von Fehlern oder einem Versagen des Gesamtsystems. Die unterschiedlichen Gewichte können beispielsweise vorgegeben sein oder automatisch dynamisch angepasst werden, beispielsweise je nach Situation, Umgebungsbedingung, Art oder Eigenschaften jeweiliger Eingangsdaten, einem oder mehreren der Fehlerwerte oder kumulierten Fehlerwerte und/oder dergleichen mehr. Betrifft ein Fehlerwert beispielsweise eine voraussichtlich fehlerhafte Detektion oder semantische Klassifikation eines Bereiches oder Pixels eines Kamerabildes in einem weniger relevanten Bildbereich, beispielsweise in einem Bildhintergrund oder einer von einem Fahrweg ohnehin durch ein Hindernis abgetrennten Bebauung oder dergleichen, so kann diesem Fehlerwert beispielsweise eine reduzierte Gewichtung zugewiesen werden. Analog kann ein Fehlerwert, der einen voraussichtlichen Fehler in einem zentralen Bildbereich oder beispielsweise in einem voraussichtlichen Bewegungskorridor des Gesamtsystems oder dergleichen betrifft, höher gewichtet werden. Dadurch kann eine Robustheit und Anwender- oder Nutzerfreundlichkeit der vorliegenden Erfindung verbessert werden, da gegebenenfalls letztlich unnötige Einleitungen der Sicherheitsmaßnahme vermieden oder reduziert werden können.This enables a particularly accurate, reliable and robust detection or prediction of errors or a failure of the overall system. The different weights can, for example, be predefined or automatically and dynamically adjusted, for example depending on the situation, environmental conditions, type or properties of the respective input data, one or more of the error values or cumulative error values and/or the like. If an error value relates, for example, to a likely faulty detection or semantic classification of an area or pixel of a camera image in a less relevant image area, for example in an image background or a building or the like that is already separated from a roadway by an obstacle, then this error value can be assigned a reduced weighting, for example will. Analogously, an error value that relates to an expected error in a central image area or, for example, in an expected movement corridor of the overall system or the like can be weighted higher. As a result, the robustness and user-friendliness of the present invention can be improved, since ultimately unnecessary initiations of the security measure can be avoided or reduced.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung umfasst die Überwachungseinrichtung ein Kombinationsmodell, das lernt und/oder dazu trainiert ist, zu erkennen, welche Kombinationen von Fehlerwerten mit einem Fehler, also etwa mit einem Versagen oder einem menschlichen Eingriff in einen Betrieb des Gesamtsystems, korrelieren. Dieses Kombinationsmodell kann dann die Kombination der Fehlerwerte durchführen und/oder separat bewerten. Beispielsweise kann der Referenzwert dann ein Mindestwert für eine Korrelation oder eine vorgegebene Kombination von Fehlerwerten oder eine Liste mehrerer vorgegebener Kombinationen sein oder umfassen. Das Kombinationsmodell kann zudem zum Detektieren von Situationen, die voraussichtlich zu einem Versagen des Gesamtsystems führen, eingerichtet sein bzw. verwendet werden, beispielsweise um daraus automatisch besonders relevante Trainings- oder Analysedaten zu generieren. Dies kann eine besonders effektive Verbesserung oder Weiterentwicklung des Gesamtsystems ermöglichen. Das Kombinationsmodell kann insbesondere eine Einrichtung des maschinellen Lernens sein oder umfassen oder Teil einer solchen Einrichtung sein. Das Kombinationsmodell kann beispielsweise als Maschinenlärmalgorithmus oder als, insbesondere tiefes, künstliches neuronales Netz oder dergleichen implementiert sein. Dies ermöglicht ein besonders komplexes oder situationsangepasstes Kombinieren der Fehlerwerte, wodurch ein besonders breites Einsatzspektrum der vorliegenden Erfindung erreicht werden kann.In another possible embodiment of the present invention, the monitoring device includes a combination model that learns and/or is trained to recognize which combinations of error values correlate with an error, i.e. with a failure or human intervention in the operation of the overall system . This combination model can then carry out the combination of the error values and/or evaluate them separately. For example, the reference value can then be or include a minimum value for a correlation or a predefined combination of error values or a list of several predefined combinations. The combination model can also be set up or used to detect situations that are likely to lead to a failure of the overall system, for example in order to automatically generate particularly relevant training or analysis data from them. This can enable a particularly effective improvement or further development of the overall system. In particular, the combination model can be or include a device for machine learning or be part of such a device. The combination model can be implemented, for example, as a machine noise algorithm or as an, in particular deep, artificial neural network or the like. This enables a particularly complex or situation-adapted combination of the error values, as a result of which a particularly wide range of uses for the present invention can be achieved.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist die Überwachungseinrichtung dazu eingerichtet, beim Kombinieren der Fehlerwerte diese jeweils wenigstens mit einem vorgegebenen Mindesteinfluss zu berücksichtigen. Der Mindesteinfluss kann mit anderen Worten also eine manuelle vorgegebene Garantie dafür darstellen, dass sämtliche Fehlerwerte berücksichtigt werden. Dadurch kann beispielsweise ein Minimal- oder Basisverhalten der Überwachungseinrichtung garantiert werden. Dies kann insbesondere dann nützlich sein, wenn die Überwachungseinrichtung selbstlernend und/oder dynamisch adaptiv ausgebildet ist, beispielsweise hinsichtlich einer zu verwendenden Möglichkeit oder Vorschrift für das Kombinieren der Fehlerwerte oder hinsichtlich einer Festlegung der an anderer Stelle genannten Gewichte für die Fehlerwerte. Der Mindesteinfluss kann dementsprechend beispielsweise in Form eines minimal zu verwendenden Gewichtes für die Fehlerwerte vorgegeben sein. Durch den vorgegebenen Mindesteinfluss kann auch ein robustes Funktionieren der vorliegenden Erfindung bei einer Erweiterung des Gesamtsystems um zusätzliche Teilsysteme bzw. potenzielle Fehlerquellen automatisch sichergestellt werden. Dazu kann der Mindesteinfluss beispielsweise automatisch mit der Anzahl der Teilsysteme oder der potenziellen Fehlerquellen, also der Anzahl der in dem jeweiligen kumulierten Fehlerwert berücksichtigten und/oder der maximal anfallenden Fehlerwerte skalieren.In a further possible embodiment of the present invention, the monitoring device is set up to take into account the error values when they are combined, at least with a predetermined minimum influence. In other words, the minimum influence can therefore represent a manually specified guarantee that all error values are taken into account. As a result, a minimum or basic behavior of the monitoring device can be guaranteed, for example. This can be particularly useful when the monitoring device is designed to be self-learning and/or dynamically adaptive, for example with regard to a possibility or specification to be used for combining the error values or with regard to a determination of the weightings for the error values mentioned elsewhere. Accordingly, the minimum influence can be specified, for example, in the form of a minimum weight to be used for the error values. Due to the specified minimum influence, a robust functioning of the present invention can also be automatically ensured when the overall system is expanded to include additional subsystems or potential error sources. For this purpose, the minimum influence can, for example, scale automatically with the number of subsystems or the potential error sources, ie the number of error values taken into account in the respective cumulative error value and/or the maximum error values occurring.

In einer weiteren möglichen Ausgestaltung der vorliegenden Erfindung ist die Überwachungseinrichtung eingerichtet für einen Einsatz in einem Kraftfahrzeug. Weiter ist die Überwachungseinrichtung dann dazu eingerichtet, die Fehlerwerte, jeweils sofern oder soweit in dem Kraftfahrzeug verfügbar, in der folgenden Reihenfolge miteinander zu kombinieren: Fehlerwerte basierend auf Zustandsdaten des Kraftfahrzeugs, Fehlerwerte basierend auf Umgebungssensordaten, insbesondere Rohdaten oder aufgenommenen Sensordaten, Fehlerwerte basierend auf semantischen Daten, beispielsweise aus einer Anwendung von einem Computersehen auf die Umgebungssensordaten, einer Domänendetektion bzw. einer sogenannten out-of-Domain oder out-of-Distribution Detektion, einer semantischen Segmentierung oder einer Objekterkennung oder dergleichen, Fehlerwerte basierend auf einer Konsistenzprüfung oder einem Abgleich mit Referenzkartendaten, Fehlerdaten basierend auf einer Trajektorienplanung für das Kraftfahrzeug. Die Zustandsdaten des Kraftfahrzeugs können dabei einen jeweils aktuellen Betriebszustand einer oder mehrerer Einrichtungen des Kraftfahrzeugs angeben oder charakterisieren, beispielsweise eine Geschwindigkeit, eine Beschleunigung, einen Lenkwinkel, eine Motordrehzahl, eine Betriebstemperatur, einen Aktivierungs- oder Einschaltzustand eines Systems oder einer Betriebs- oder Steuereinrichtung, eine Position oder Fahrtrichtung des Kraftfahrzeugs und/oder dergleichen mehr. Die hier vorgeschlagene Reihenfolge der Fehlerwerte kann einer praktikablen Reihenfolge entsprechen, in der die Fehlerwerte in einem Datenverarbeitungsdurchlauf in dem Kraftfahrzeug im Betrieb tatsächlich anfallen. Durch die Kombination der Fehlerwerte in dieser Reihenfolge können die Fehlerwerte also zu einem jeweiligen kumulierten Fehlerwert verarbeitet werden, sobald sie an anfallen oder verfügbar bzw. bestimmt werden. Dadurch kann eine besonders schnelle oder frühzeitige Erkennung von voraussichtlichen Fehlern oder einem voraussichtlichen Versagen des Gesamtsystems erreicht werden. Dies wiederum ermöglicht ein besonders frühzeitiges Einleiten der Sicherheitsmaßnahme und kann somit zu einer weiter verbesserten Sicherheit im Betrieb des Gesamtsystems beitragen.In a further possible embodiment of the present invention, the monitoring device is set up for use in a motor vehicle. The monitoring device is then set up to combine the error values, in each case if or to the extent that they are available in the motor vehicle, in the following order: error values based on status data of the motor vehicle, error values based on environmental sensor data, in particular raw data or recorded sensor data, error values based on semantic data, for example an application of a computer view on the environmental sensor data, a domain detection or a so-called out-of-domain or out-of-distribution detection, a semantic segmentation or an object recognition or the like, error values based on a consistency check or a comparison with reference map data, error data based on a trajectory planning for the motor vehicle. The status data of the motor vehicle can indicate or characterize a current operating status of one or more devices of the motor vehicle, for example a speed, an acceleration, a steering angle, an engine speed, an operating temperature, an activation or switched-on status of a system or an operating or control device, a position or direction of travel of the motor vehicle and/or the like. The order of the error values proposed here can correspond to a practicable order in which the error values actually occur in a data processing run in the motor vehicle during operation. By combining the error values in this order, the error values can thus be processed into a respective cumulative error value as soon as they arise or become available or determined. As a result, a particularly quick or early detection of probable faults or a probable failure of the overall system can be achieved. This in turn enables the security measure to be initiated particularly early and can thus contribute to further improved security in the operation of the overall system.

Ein weiterer Aspekt der vorliegenden Erfindung ist das erfindungsgemäße Verfahren. Das erfindungsgemäße Verfahren dient zum Überwachen des oder eines Gesamtsystems aus mehreren unterschiedlichen zumindest teilweise automatisierten Teilsystemen. In dem erfindungsgemäßen Verfahren werden automatisch für die einzelnen Teilsysteme Fehlerwerte bestimmt, die tatsächliche oder erwartete Fehler oder eine Fehlerwahrscheinlichkeit des jeweiligen Teilsystems angeben. Weiter wird in dem erfindungsgemäßen Verfahren automatisch jeweils überprüft, ob ein vorgegebener Referenzwert durch einen ersten der Fehlerwerte oder durch einen jeweils aktuellen kumulierten Fehlerwert erreicht wird. Diese kumulierten Fehlerwerte werden dabei in vorgegebener Weise durch schrittweises kumulatives Kombinieren der Fehlerwerte erzeugt. Weiter wird in dem erfindungsgemäßen Verfahren automatisch bei Erreichen des vorgegebenen Referenzwertes eine vorgegebene Sicherheitsmaßnahme eingeleitet. Das erfindungsgemäße Verfahren kann als Betriebsverfahren der erfindungsgemäßen Überwachungseinrichtung aufgefasst werden. Mit anderen Worten kann die erfindungsgemäße Überwachungseinrichtung also zum, insbesondere automatischen, Ausführen des erfindungsgemäßen Verfahrens eingerichtet sein. Weitere im Zusammenhang mit der erfindungsgemäßen Überwachungseinrichtung genannte Maßnahmen oder Abläufe können weitere, gegebenenfalls optionale, Verfahrensschritte des erfindungsgemäßen Verfahrens bilden. Das erfindungsgemäße Verfahren kann also die im Zusammenhang mit der erfindungsgemäßen Überwachungseinrichtung genannten Abläufe oder Maßnahmen umfassen oder implementieren.A further aspect of the present invention is the method according to the invention. The method according to the invention is used to monitor the or an overall system made up of a number of different, at least partially automated, subsystems. In the method according to the invention, error values are automatically determined for the individual subsystems, which indicate actual or expected errors or an error probability of the respective subsystem. Furthermore, in the method according to the invention, it is automatically checked in each case whether a predefined reference value is reached by a first of the error values or by a respective current cumulative error value. These cumulative error values are generated in a predetermined manner by stepwise cumulative combining of the error values. Furthermore, in the method according to the invention, a predetermined safety measure is initiated automatically when the predetermined reference value is reached. The method according to the invention can be understood as an operating method of the monitoring device according to the invention. In other words, the monitoring device according to the invention can therefore be set up to carry out the method according to the invention, in particular automatically. Further measures or sequences mentioned in connection with the monitoring device according to the invention can form further, possibly optional, method steps of the method according to the invention. The method according to the invention can therefore include or implement the processes or measures mentioned in connection with the monitoring device according to the invention.

In einer möglichen Weiterbildung des erfindungsgemäßen Verfahrens werden - im Betrieb des Gesamtsystems bzw. beim wiederholten Anwenden oder Ausführen des erfindungsgemäßen Verfahrens - wiederholt auftretende Kombinationen von Fehlerwerten, die zum Erreichen des Referenzwertes führen bzw. geführt haben, von dem Gesamtsystem oder der Überwachungseinrichtung zur Weiterverarbeitung an eine zentrale Servereinrichtung gesendet. Dies kann beispielsweise über eine, je nach Art des Gesamtsystems, kabellose oder kabelgebundene, Datenverbindung erfolgen. Die hier vorgeschlagene Ausgestaltung der vorliegenden Erfindung ermöglicht eine Erkennung oder Analyse von für das jeweilige Gesamtsystem problematischen Situationen und/oder von systematischen Fehlern des Gesamtsystems oder eines oder mehrerer der Teilsysteme. Dies kann beispielsweise als Grundlage für eine Fehleranalyse, für eine Weiterentwicklung oder Verbesserung des Gesamtsystems oder eines oder mehrerer der Teilsysteme und/oder zum Erzeugen von Trainingsdaten denen. Letztere können besonders relevant sein, da sie zumindest großteils problematische Situationen betreffen können. Das Senden der Kombinationen von Fehlerwerten, sowie gegebenenfalls im Zusammenhang damit aufgenommener oder erfasster Daten - beispielsweise Sensordaten, Zustandsdaten, Verarbeitungsergebnisse oder dergleichen - an die zentrale Servereinrichtung kann es besonders einfach und effektiv ermöglichen, dort eine besonders umfangreiche entsprechende Datenbasis zu schaffen, beispielsweise aus Daten einer Vielzahl von Gesamtsystemen. Mit anderen Worten können in der Servereinrichtung also Flottendaten einer Flotte von Gesamtsystemen gesammelt bzw. weiterverarbeitet werden. Die zentrale Servereinrichtung kann also insbesondere extern oder separat bezüglich des Gesamtsystems sein. Beispielsweise kann es sich bei der Servereinrichtung um einen Rechenzentrum, einen Cloud-Server, ein Backend oder dergleichen handeln.In a possible further development of the method according to the invention--during operation of the overall system or when repeatedly using or executing the method according to the invention--repeatedly occurring combinations of error values that lead or have led to the reference value being reached are indicated by the overall system or the monitoring device for further processing sent a central server device. This can be done, for example, via a wireless or wired data connection, depending on the type of overall system. The embodiment of the present invention proposed here enables situations that are problematic for the respective overall system and/or systematic faults in the overall system or in one or more of the subsystems to be detected or analyzed. This can be used, for example, as a basis for an error analysis, for a further development or improvement of the overall system or one or more of the subsystems and/or for generating training data. The latter can be particularly relevant as they can concern, at least in large part, problematic situations. Sending the combinations of error values, as well as any data recorded or recorded in connection with them - for example sensor data, status data, processing results or the like - to the central server device can make it particularly easy and effective to create a particularly extensive corresponding database there, for example from data a variety of complete systems. In other words, fleet data from a fleet of overall systems can be collected or further processed in the server device. The central server device can therefore in particular be external or separate from the overall system. For example, the server setup can be a data center, a cloud server, a backend or the like.

Ein weiterer Aspekt der vorliegenden Erfindung ist das erfindungsgemäße Kraftfahrzeug, das mehrere zumindest teilweise automatisierte Teilsysteme aufweist. Das erfindungsgemäße Kraftfahrzeug bildet also ein entsprechendes Gesamtsystem. Das erfindungsgemäße Kraftfahrzeug weist weiter eine erfindungsgemäße Überwachungseinrichtung auf und/oder ist zum automatischen Ausführen wenigstens einer Variante des erfindungsgemäßen Verfahrens eingerichtet. Das erfindungsgemäße Kraftfahrzeug kann insbesondere das im Zusammenhang mit der erfindungsgemäßen Überwachungseinrichtung und/oder im Zusammenhang mit dem erfindungsgemäßen Verfahren genannte Kraftfahrzeug sein. Dementsprechend kann das erfindungsgemäße Verfahren einige oder alle der in diesen Zusammenhängen genannten Eigenschaften und/oder Merkmale aufweisen.A further aspect of the present invention is the motor vehicle according to the invention, which has a number of at least partially automated subsystems. The motor vehicle according to the invention thus forms a corresponding overall system. The motor vehicle according to the invention further has a monitoring device according to the invention and/or is set up to automatically execute at least one variant of the method according to the invention. The motor vehicle according to the invention can in particular be the motor vehicle mentioned in connection with the monitoring device according to the invention and/or in connection with the method according to the invention. Accordingly, the method according to the invention can have some or all of the properties and/or features mentioned in these contexts.

Weitere Merkmale der Erfindung können sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung ergeben. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung und/oder in den Figuren allein gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen.Further features of the invention can result from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description and the features and feature combinations shown below in the description of the figures and/or in the figures alone can be used not only in the combination specified in each case, but also in other combinations or on their own, without going beyond the scope of the invention to leave.

Die Zeichnung zeigt in:

1 ein Verfahrensschema zum Veranschaulichen eines Verfahrens zum Überwachen eines komplexen Gesamtsystems auf Fehler; und
2 eine schematische Darstellung eines Kraftfahrzeugs, das zum Durchführen des Verfahrens eingerichtet ist.

The drawing shows in:

1 a method scheme for illustrating a method for monitoring a complex overall system for errors; and
2 a schematic representation of a motor vehicle that is set up to carry out the method.

In den Figuren sind gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen.In the figures, identical and functionally identical elements are provided with the same reference symbols.

Bei jedem Einsatz von Systemen, also komplexen Geräten oder Maschinen, stellt die Sicherheit eine wesentliche Zielgröße dar. Dies gilt insbesondere für automatisierte Systeme, vor allem wenn sich in einem Betriebs- oder Wirkungsbereich auch Menschen befinden oder befinden können. Ein Beispiel dafür stellen automatisierte Fahrzeuge dar. Obwohl hier bereits Fortschritte erzielt wurden, können Randfälle und ungewöhnlich anspruchsvolle Situationen, in denen es zu Fehlern oder einem unerwünschten Verhalten kommen kann, nicht praktikabel vermieden werden. Ein Lösungsansatz hierfür liegt darin, derartige Situationen rechtzeitig zu erkennen oder vorherzusagen, um beispielsweise das Fahrzeug zu stoppen oder die Steuerung oder Kontrolle von dem automatisierten System an eine menschliche Bedienperson zu übertragen.Whenever systems, i.e. complex devices or machines, are used, safety is a key objective. This applies in particular to automated systems, especially if there are or can be people in an operational or operational area. Automated vehicles are an example of this. Although progress has been made here, edge cases and unusually demanding situations in which errors or undesired behavior can occur cannot be practically avoided. One approach to solving this is to recognize or predict such situations in good time, for example to stop the vehicle or to transfer control from the automated system to a human operator.

Dazu gibt es bereits verschiedene Ansätze in Form von Fehlervorhersagemethoden, beispielsweise zur Vorhersage von Fehlern bei einer automatisierten semantischen Segmentierung von Kamerabildern oder der automatischen Erkennung von bekannten oder neuen Objekten einer jeweiligen Umgebung. Derartige individuelle Fehlervorhersagemethoden können zwar einzelne Fehler oder problematische Situationen erkennen, reale Situationen, beispielsweise im Straßenverkehr, sind jedoch typischerweise zu komplex und dynamisch als das eine einzige Fehlervorhersagemethode eine ausreichende Zuverlässigkeit und Robustheit liefern könnte.There are already various approaches to this in the form of error prediction methods, for example for predicting errors in automated semantic segmentation of camera images or the automatic recognition of known or new objects in a particular environment. Although such individual error prediction methods can recognize individual errors or problematic situations, real situations, for example in road traffic, are typically too complex and dynamic for a single error prediction method to be able to provide sufficient reliability and robustness.

1 zeigt eine schematische Darstellung eines zumindest teilweise automatisierten Kraftfahrzeugs 10, das dazu eingerichtet ist, dieser Problematik zu begegnen. Das Kraftfahrzeug 10 weist eine Sensorik 12 auf, beispielsweise zum Erfassen von Umgebungsdaten, die eine jeweilige Umgebung des Kraftfahrzeugs 10 abbilden oder charakterisieren. Die Sensorik 12 kann dazu beispielsweise eine Kamera, eine Radareinrichtung, eine Lidareinrichtung, einen Ultraschalleinrichtung und/oder dergleichen mehr umfassen. Weiter weist das Kraftfahrzeug 10 mehrere automatisierte Teilsysteme 14 auf. Dabei kann es sich beispielsweise um verschiedene Assistenzeinrichtungen oder Assistenzsysteme, Steuergeräte, Datenverarbeitungsmodule und/oder dergleichen mehr handeln. Diese können das Kraftfahrzeug 10 zumindest teilweise automatisch steuern oder Daten für eine solche automatische Steuerung des Kraftfahrzeugs 10 bereitstellen. Beispielhaft ist hier eine automatisch steuerbare Betriebseinrichtung 16 des Kraftfahrzeugs 10 dargestellt, die mehrere Teileinrichtungen oder Systeme des Kraftfahrzeugs 10 repräsentieren kann, beispielsweise einen Antrieb, eine Einrichtung zur Querführung und/oder eine Elektrik des Kraftfahrzeugs 10. 1 shows a schematic representation of an at least partially automated motor vehicle 10 which is set up to counteract this problem. The motor vehicle 10 has a sensor system 12, for example for acquiring environmental data that depicts or characterizes a respective environment of the motor vehicle 10. For this purpose, the sensor system 12 can comprise, for example, a camera, a radar device, a lidar device, an ultrasound device and/or the like. The motor vehicle 10 also has a number of automated subsystems 14 . This can involve, for example, various assistance devices or assistance systems, control devices, data processing modules and/or the like. These can at least partially automatically control the motor vehicle 10 or provide data for such an automatic control of the motor vehicle 10 . An example of an automatically controllable operating device 16 of motor vehicle 10 is shown here, which can represent a number of sub-devices or systems of motor vehicle 10, for example a drive, a device for lateral guidance and/or an electrical system of motor vehicle 10.

Die Teilsysteme 14 können ebenso beispielsweise zur Daten- oder Signalerfassung dienen, also beispielsweise entsprechende Sensoren sein oder umfassen. So können die Teilsysteme 14 beispielsweise zumindest einen Teil der Sensorik 12 und/oder einen fahrzeuginternen Sensor, beispielsweise zum Erfassen von Zustandsdaten 28 (siehe 2) des Kraftfahrzeugs 12 bzw. der Betriebseinrichtung 16, umfassen.The subsystems 14 can also be used, for example, for data or signal acquisition, that is, for example, can be or include appropriate sensors. For example, subsystems 14 can include at least part of sensor system 12 and/or a vehicle-internal sensor, for example for acquiring status data 28 (see 2 ) of the motor vehicle 12 or the operating facility 16.

Die verschiedenen Teilsysteme 14 können zwar zum Steuern des Kraftfahrzeugs 10 oder der Betriebseinrichtung 16 zusammenwirken, dabei jedoch in ihren eigenen Bereichen oder Domänen unabhängig voneinander agieren oder funktionieren. Somit können die Teilsysteme 14 wie bereits angedeutet unterschiedliche Fehlerquellen darstellen.Although the various subsystems 14 can interact to control the motor vehicle 10 or the operating device 16, they can act or function independently of one another in their own areas or domains. Thus, as already indicated, the subsystems 14 can represent different error sources.

Um der oben genannten Problematik zu begegnen, weist das Kraftfahrzeug 10 hier eine Überwachungseinrichtung 18 zur Überwachung auf bzw. Vorhersage von Fehlern eines oder mehrerer der Teilsysteme 14 oder des Kraftfahrzeugs 10 insgesamt auf. Dazu weist die Überwachungseinrichtung 18 eine Schnittstelle 20 für einen Datenverkehr, einen Prozessor 22, beispielsweise einen Mikroprozessor, Mikrochip oder Mikrocontroller, und einen Datenspeicher 24 auf. Die Überwachungseinrichtung 18 ist dazu eingerichtet, ein komplexes System für eine automatische Steuerung des Kraftfahrzeugs 10, das insbesondere die Teilsysteme 14 umfassen kann, auf Fehler oder kritische Situationen, die voraussichtlich zu Fehlern führen werden oder führen können, zu überwachen und darauf zu reagieren. Ein entsprechendes Betriebs- oder Computerprogramm kann beispielsweise in dem Datenspeicher 24 hinterlegt und durch den Prozessor 22 ausführbar sein.In order to counteract the above-mentioned problem, the motor vehicle 10 has a monitoring device 18 for monitoring or predicting errors in one or more of the subsystems 14 or the motor vehicle 10 ins total up. For this purpose, the monitoring device 18 has an interface 20 for data traffic, a processor 22 , for example a microprocessor, microchip or microcontroller, and a data memory 24 . Monitoring device 18 is set up to monitor and react to a complex system for automatic control of motor vehicle 10, which can include subsystems 14 in particular, for errors or critical situations that are likely to lead or can lead to errors. A corresponding operating or computer program can, for example, be stored in the data memory 24 and can be executed by the processor 22 .

Ein entsprechendes Verfahren zum Betrieb der Überwachungseinrichtung 18 bzw. des Kraftfahrzeugs 10 wird nachfolgend anhand von 2 beispielhaft erläutert. Dazu zeigt 2 schematisch ein beispielhaftes Verfahrensschema 26. Darin werden zunächst Zustandsdaten 28 erfasst, die einen Betriebszustand des Kraftfahrzeugs 10 angeben. Diese Zustandsdaten 28 können beispielsweise durch eines der Teilsysteme 14 erfasst werden. Die Zustandsdaten 28 können beispielsweise eine Geschwindigkeit, eine Beschleunigung, einen Bremszustand, einen Lenkwinkel und/oder dergleichen mehr des Kraftfahrzeugs 10 angeben. Zudem können auch Daten, die einen Betriebs-, Aktivitäts- oder Einschaltzustand der Sensorik 12 angeben, erfasst werden. Anhand dieser - vergleichsweise einfachen oder wenig komplexen, beispielsweise nicht durch ein Modell interpretierten - Daten wird dann eine erste Ausfallvorhersage 30 durchgeführt.A corresponding method for operating the monitoring device 18 or the motor vehicle 10 is described below with reference to FIG 2 explained as an example. For this shows 2 Schematically an exemplary process scheme 26. In this state data 28 are first recorded, which indicate an operating state of the motor vehicle 10. This status data 28 can be recorded by one of the subsystems 14, for example. Status data 28 can indicate, for example, a speed, an acceleration, a braking status, a steering angle and/or the like of motor vehicle 10 . In addition, data that indicate an operating, activity or switch-on state of the sensor system 12 can also be recorded. A first failure prediction 30 is then carried out on the basis of this data—comparatively simple or not very complex, for example not interpreted by a model.

Durch diese Ausfallvorhersage 30, auch bezeichnet als Blackbox Disengagement Prediction, kann beispielsweise bestimmt oder vorhergesagt werden, ob sich das Kraftfahrzeug 10 in einer erwarteten Weise bewegt oder bewegen wird. Als Ergebnis kann ein entsprechender erster Fehlerwert, beispielsweise eine erste Fehlerwahrscheinlichkeit, bestimmt werden. Diese wird in einem ersten Schwellenwertvergleich 32 mit einem vorgegebenen Referenzwert, beispielsweise an einem vorgegebenen Schwellenwert für die Fehlerwahrscheinlichkeit, verglichen. Wird dieser Referenzwert in dem ersten Schwellenwertvergleich 32 erreicht oder überschritten, so wird automatisch, beispielsweise durch die Überwachungseinrichtung 18, eine vorgegebene Sicherheitsmaßnahme 34 eingeleitet. Diese Sicherheitsmaßnahme 34 kann beispielsweise eine Ausgeben einer Übernahmeaufforderung (englisch: take over request) bedeuten oder umfassen, um eine manuelle Übernahme der Steuerung oder Kontrolle über das Kraftfahrzeug 10 durch einen Fahrer oder eine menschliche Bedienperson zu veranlassen.This failure prediction 30, also referred to as black box disengagement prediction, can be used to determine or predict, for example, whether motor vehicle 10 is moving or will move in an expected manner. A corresponding first error value, for example a first error probability, can be determined as a result. This is compared in a first threshold value comparison 32 with a specified reference value, for example a specified threshold value for the error probability. If this reference value is reached or exceeded in the first threshold value comparison 32, a predetermined safety measure 34 is initiated automatically, for example by the monitoring device 18. This safety measure 34 can mean or include, for example, issuing a take over request in order to cause a driver or a human operator to manually take over control of the motor vehicle 10 .

In einem weiteren Schritt wird eine Sensorinputüberwachung 36 durchgeführt. Darin kann direkt basierend auf Rohdaten der Sensorik 12 und/oder eines der Teilsysteme 14 bestimmt oder vorhergesagt werden, ob ein Fehler oder ein Versagen der der Sensorik 12 oder des jeweiligen Teilsystems 14 oder der automatischen Steuerung des Kraftfahrzeugs 10 insgesamt bevorsteht. Dabei kann ein entsprechender zweiter Fehlerwert bestimmt werden. Dieser zweite Fehlerwert kann beispielsweise ebenfalls eine entsprechende Fehlerwahrscheinlichkeit sein oder angeben, beispielsweise basierend auf Wissen oder Daten von vorangegangenen Fehlern. Dieser zweite Fehlerwert wird in einem ersten Kombinationsschritt 38 mit dem aus der Ausfallvorhersage 30 resultierenden ersten Fehlerwert in vorgegebener Weise kombiniert. Daraus ergibt sich ein erster kumulierter Fehlerwert.In a further step, sensor input monitoring 36 is carried out. Therein, based on raw data from the sensor system 12 and/or one of the subsystems 14, it can be determined or predicted whether an error or failure of the sensor system 12 or the respective subsystem 14 or the automatic control of the motor vehicle 10 as a whole is imminent. In this case, a corresponding second error value can be determined. This second error value can, for example, also be or indicate a corresponding error probability, for example based on knowledge or data from previous errors. In a first combination step 38, this second error value is combined with the first error value resulting from the failure prediction 30 in a predetermined manner. This results in a first cumulative error value.

Dieser erste kumulierte Fehlerwert wird in einem zweiten Schwellenwertvergleich 40 mit dem genannten Referenzwert verglichen. Auch hier bewirkt ein Erreichen oder Überschreiten des Referenzwertes - in diesem Fall durch den ersten kumulierten Fehlerwert - ein automatisches Einleiten der vorgegebenen Sicherheitsmaßnahme 34.This first cumulative error value is compared in a second threshold value comparison 40 with the mentioned reference value. Here, too, reaching or exceeding the reference value - in this case due to the first cumulative error value - causes the specified safety measure 34 to be automatically initiated.

Bei einem weiteren Durchlauf einer Datenverarbeitungspipeline zum automatischen Steuern des Kraftfahrzeugs 10 werden von der Sensorik 12 bereitgestellte Sensordaten durch ein Wahrnehmungsmodul 42 verarbeitet. Dieses kann beispielsweise eine semantischen Segmentierung von Kamerabildern, eine Objekterkennung und/oder dergleichen mehr durchführen. Basierend auf Verarbeitungsergebnissen oder einem Output des Wahrnehmungsmoduls 42 wird zunächst eine Domänendetektion 44 durchgeführt. Darin kann bestimmt oder vorhergesagt werden, ob die Sensordaten bzw. eine jeweilige Situation, in der sich das Kraftfahrzeug 10 befindet, innerhalb einer Domäne befinden, für welche die automatische Steuerung des Kraftfahrzeugs 10 eingerichtet oder trainiert ist, oder ob die Sensordaten oder die jeweilige Situation außerhalb einer solchen Domäne liegen. Dabei kann in der Domänendetektion 44 automatisch entschieden oder bestimmt werden, ob oder in welchem Maße ein Output des Wahrnehmungsmodul 42 vertrauenswürdig ist. Dies kann durch einen entsprechenden dritten Fehlerwert angegeben werden, beispielsweise als eine prozentuale Konfidenz oder eine prozentuale Angabe einer Wahrscheinlichkeit dafür, dass der Output des Wahrnehmungsmoduls 42 vertrauenswürdig oder nicht vertrauenswürdig ist oder dergleichen mehr. Der in der Domänendetektion 44 bestimmte dritte Fehlerwert wird in einem zweiten Kombinationsschritt 44 mit dem ersten kumulierten Fehlerwert zu einem zweiten kumulierten Fehlerwert kombiniert. In diesen zweiten kumulierten Fehlerwert fließen also sämtliche bis dahin bestimmten Fehlerwerte kumuliert, also zusammengenommen ein. Dieser zweite kumulierte Fehlerwert wird in einem dritten Schwellenwertvergleich 48 ebenfalls mit dem Referenzwert verglichen. Wird der Referenzwert durch den zweiten kumulierten Fehlerwert erreicht oder überschritten, wird automatisch die vorgegebene Sicherheitsmaßnahme 34 veranlasst.In a further pass through a data processing pipeline for automatically controlling motor vehicle 10 , sensor data provided by sensor system 12 are processed by a perception module 42 . This can, for example, carry out a semantic segmentation of camera images, object recognition and/or the like. Based on processing results or an output of the perception module 42, a domain detection 44 is first carried out. Therein it can be determined or predicted whether the sensor data or a respective situation in which motor vehicle 10 is located is within a domain for which automatic control of motor vehicle 10 is set up or trained, or whether the sensor data or the respective situation outside of such a domain. In this case, it can be automatically decided or determined in the domain detection 44 whether or to what extent an output of the perception module 42 is trustworthy. This may be indicated by a corresponding third error value, for example a percentage confidence or a percentage indication of a probability that the output of the perception module 42 is trustworthy or untrustworthy, or the like. The third error value determined in the domain detection 44 is combined in a second combination step 44 with the first cumulated error value to form a second cumulated error value. All errors determined up to that point therefore flow into this second cumulative error value Values are cumulative, i.e. taken together. This second cumulative error value is also compared with the reference value in a third threshold value comparison 48 . If the reference value is reached or exceeded by the second cumulative error value, the specified safety measure 34 is initiated automatically.

Falls gemäß der Domänendetektion 44 der Output des Wahrnehmungsmodul 42 zumindest voraussichtlich eine erwartete Form hat bzw. zumindest voraussichtlich vertrauenswürdig ist, können in der Datenverarbeitungspipeline nachfolgend pixelweise Analysemethoden angewendet werden. Darauf basierend kann eine Segmentierungsfehlervorhersage 50 durchgeführt werden, um voraussichtliche Fehler des Wahrnehmungsmoduls 42 bei der semantischen Segmentierung zu bestimmen oder vorherzusagen. Daraus ergibt sich ein vierter Fehlerwert, der analog wie beschrieben in einem dritten Kombinationsschritt 52 mit dem größten bis dahin bestimmten kumulierten Fehlerwert, in diesem Fall also mit dem zweiten kumulierten Fehlerwert, kombiniert wird, um den nächsten kumulierten Fehlerwert zu bilden. Dieser wird in einem vierten Schwellenwertvergleich 54 ebenfalls mit dem Referenzwert verglichen, um bei dessen Erreichen oder Überschreiten gegebenenfalls automatisch die Sicherheitsmaßnahme 34 einzuleiten.If according to the domain detection 44 the output of the perception module 42 at least presumably has an expected form or is at least presumably trustworthy, analysis methods can subsequently be applied pixel by pixel in the data processing pipeline. Based on this, a segmentation error prediction 50 may be performed to determine or predict likely errors of the perception module 42 in semantic segmentation. This results in a fourth error value which, as described, is combined in a third combination step 52 with the largest cumulative error value determined up to that point, in this case with the second cumulative error value, to form the next cumulative error value. This is also compared with the reference value in a fourth threshold value comparison 54 in order to optionally automatically initiate the safety measure 34 when it is reached or exceeded.

Ist der Referenzwert auch zu diesem Zeitpunkt noch nicht erreicht, können in einem nächsten Schritt der Datenverarbeitungspipeline hierarchisch oder bezüglich eines Abstraktionsniveaus höhere oder komplexere Schritte in einer entsprechenden Datenverarbeitung 56 durchgeführt werden. Darin können beispielsweise Fehlerregionen aktualisiert werden, eine Integration mit vorgegebenen Referenz- oder Kartendaten, beispielsweise sogenannten HD Maps, also hochgenauen, semantisch annotierten Karten, durchgeführt werden und/oder eine Bestimmung eines hindernisfreien, also zumindest potenziell von dem Kraftfahrzeug 10 befahrbaren Freiraums durchgeführt werden. Hier können also konkrete Funktionen oder Maßnahmen zum assistierten oder automatisierten Führen des Kraftfahrzeugs 10 durchgeführt oder eingeleitet werden. Auch basierend auf der Datenverarbeitung 56 bzw. den darin verarbeiteten Daten und/oder dabei anfallenden Zwischenergebnissen oder Ausgaben können ein oder mehrere Fehlerwerte bestimmt werden. Dies ist vorliegend repräsentiert durch einen Kartenabgleich 58, in dem beispielsweise eine Konsistenzprüfung einer semantischen Szenenerkennung und/oder der Freiraumbestimmung mit den vorgegebenen HD Maps durchgeführt werden kann, um einen entsprechenden Fehlerwert, beispielsweise eine entsprechende Fehlerwahrscheinlichkeit, zu bestimmen. Dieser Fehlerwert wird in einem vierten Kombinationsschritt 60 mit dem bis dahin größten, also zuletzt bestimmten kumulierten Fehlerwert kombiniert. Ein daraus resultierender neuer größter kumulierter Fehlerwert wird dann analog wie beschrieben in einem fünften Schwellenwertvergleich 62 mit dem vorgegebenen Referenzwert verglichen, um bei dessen Erreichen ebenfalls gegebenenfalls die Sicherheitsmaßnahme 34 automatisch einzuleiten.If the reference value has not yet been reached at this point in time either, in a next step of the data processing pipeline, higher or more complex steps can be carried out in a corresponding data processing 56 hierarchically or with regard to an abstraction level. In this, for example, error regions can be updated, an integration with specified reference or map data, for example so-called HD maps, i.e. highly precise, semantically annotated maps, can be carried out and/or an obstacle-free, i.e. at least potentially navigable by the motor vehicle 10 free space can be determined. Concrete functions or measures for assisted or automated driving of motor vehicle 10 can therefore be carried out or initiated here. One or more error values can also be determined on the basis of the data processing 56 or the data processed therein and/or intermediate results or outputs occurring in the process. In the present case, this is represented by a map comparison 58 in which, for example, a consistency check of a semantic scene recognition and/or the free space determination can be carried out with the predefined HD maps in order to determine a corresponding error value, for example a corresponding error probability. In a fourth combination step 60, this error value is combined with the largest cumulative error value determined up to that point, that is to say the last value determined. A new largest cumulative error value resulting from this is then compared analogously, as described, in a fifth threshold value comparison 62 with the specified reference value in order to automatically initiate the safety measure 34 when it is reached.

Sollte auch hier der Referenzwert noch nicht erreicht werden, so wird in einem weiteren Schritt der Datenverarbeitungspipeline eine Trajektorienplanung 64 durchgeführt. Darauf basierend kann eine Trajektorienfehlervorhersage 66 zum Bestimmen eines entsprechenden Fehlerwertes, beispielsweise einer Wahrscheinlichkeit für ein Disengagement der Trajektorienplanung 64 oder des Kraftfahrzeugs 10 entlang der geplanten Trajektorie, durchgeführt werden. Dieser Fehlerwert wird in einem fünften Kombinationsschritt 68 mit dem zuletzt bestimmten kumulierten Fehlerwert zu einem neuen kumulierten Fehlerwert kombiniert. Dieser wird dann in einem sechsten Schwellenwertvergleich 70 mit dem Referenzwert verglichen. Wird hier der Referenzwert erreicht, wird wie beschrieben die vorgegebene Sicherheitsmaßnahme 34 eingeleitet. Wird in dem sechsten Schwellenwertvergleich 70 hingegen der Referenzwert nicht erreicht, so kann das Kraftfahrzeug 10 entlang der in der Trajektorienplanung 64 bestimmten Trajektorie automatisch gesteuert werden.If the reference value is not yet reached here either, a trajectory planning 64 is carried out in a further step of the data processing pipeline. Based on this, a trajectory error prediction 66 can be carried out to determine a corresponding error value, for example a probability of a disengagement of the trajectory planning 64 or of the motor vehicle 10 along the planned trajectory. In a fifth combination step 68, this error value is combined with the cumulative error value last determined to form a new cumulative error value. This is then compared with the reference value in a sixth threshold value comparison 70 . If the reference value is reached here, the specified safety measure 34 is initiated as described. If, on the other hand, the reference value is not reached in sixth threshold value comparison 70 , motor vehicle 10 can be automatically controlled along the trajectory determined in trajectory planning 64 .

Dabei oder anschließend können dann die Zustandsdaten 28 aktualisiert und die beschriebene Datenverarbeitungspipeline, also das hier dargestellte Verfahrensschema 26, erneut durchlaufen werden. Dieser Prozess kann beim Betrieb des Kraftfahrzeugs 10 wiederholt oder kontinuierlich durchlaufen werden, beispielsweise jeweils dann, wenn neue Daten verfügbar werden.At the same time or subsequently, the status data 28 can then be updated and the described data processing pipeline, ie the process scheme 26 shown here, can be run through again. This process can be run through repeatedly or continuously during operation of the motor vehicle 10, for example whenever new data becomes available.

Es kann vorgesehen sein, dass die Schwellenwertvergleiche 40, 48, 54, 62, 70 jeweils nur dann durchgeführt werden, wenn der vorgegebene Referenzwert bis dahin noch nicht erreicht, also die vorgegebene Sicherheitsmaßnahme 34 noch nicht eingeleitet worden ist. Bei einem Erreichen des Referenzwertes in einem der Schwellenwertvergleich 32, 40, 48, 54, 62, 70 kann hingegen der beschriebene Datenverarbeitungsprozess abgebrochen werden, da ein weiteres Durchlaufen der beschriebenen Datenverarbeitungspipeline voraussichtlich kein verlässliches Ergebnis liefern würde und/oder die Sicherheitsmaßnahme 34 bzw. eine beispielsweise daraufhin übernommene manuelle Kontrolle ohnehin Präzedenz über automatische Steuermaßnahmen haben, also für die Steuerung des Kraftfahrzeugs 10 priorisiert werden kann.It can be provided that the threshold value comparisons 40, 48, 54, 62, 70 are only carried out if the specified reference value has not yet been reached, ie the specified safety measure 34 has not yet been initiated. If the reference value is reached in one of the threshold value comparisons 32, 40, 48, 54, 62, 70, however, the data processing process described can be aborted, since further running through the data processing pipeline described would probably not deliver a reliable result and/or the security measure 34 or a For example, manual control then taken over already has precedence over automatic control measures, ie can be prioritized for the control of motor vehicle 10 .

Die verschiedenen beschriebenen Fehlerwerte können durch jeweils dafür eingerichtete oder trainierte Modelle, beispielsweise Einrichtungen des maschinellen Lernens, bestimmt werden. Es können also entsprechende Modelle für die Ausfallvorhersage 30, die Sensorinputüberwachung 36, die Domänendetektion 44, die Segmentierungsfehlervorhersage 50, den Kartenabgleich 58 und die Trajektorienfehlervorhersage 66 vorgegeben sein, beispielsweise als Teil der Überwachungseinrichtung 18.The various error values described can be determined by models set up or trained for this purpose, for example machine learning devices. Corresponding models for the failure prediction 30, the sensor input monitoring 36, the domain detection 44, the segmentation error prediction 50, the map comparison 58 and the trajectory error prediction 66 can be specified, for example as part of the monitoring device 18.

Insgesamt zeigen die beschriebenen Beispiele wie ein umfassendes kaskadierendes Fehlervorhersageframework für komplexe Gesamtsysteme, beispielsweise für einen assistiertes oder automatisierte Fahren, realisiert werden kann, um eine verbesserte Sicherheit zu erreichen.Overall, the examples described show how a comprehensive cascading error prediction framework for complex overall systems, for example for assisted or automated driving, can be implemented in order to achieve improved safety.

BezugszeichenlisteReference List

1010: Kraftfahrzeugmotor vehicle
1212: Sensoriksensors
1414: Teilsystemsubsystem
1616: Betriebseinrichtungfacility
1818: Überwachungseinrichtungmonitoring device
2020: Schnittstelleinterface
2222: Prozessorprocessor
2424: Datenspeicherdata storage
2626: Verfahrensschemaprocess scheme
2828: Zustandsdatenstatus data
3030: Ausfallvorhersagefailure prediction
3232: erster Schwellenwertvergleichfirst threshold comparison
3434: Sicherheitsmaßnahmesecurity measure
3636: Sensorinputüberwachungsensor input monitoring
3838: erster Kombinationsschrittfirst combination step
4040: zweiter Schwellenwertvergleichsecond threshold comparison
4242: Wahrnehmungsmodulperception module
4444: Domänendetektiondomain detection
4646: zweiter Kombinationsschrittsecond combination step
4848: dritter Schwellenwertvergleichthird threshold comparison
5050: Segmentierungsfehlervorhersagesegmentation error prediction
5252: dritter Kombinationsschrittthird combination step
5454: vierter Schwellenwertvergleichfourth threshold comparison
5656: Datenverarbeitungdata processing
5858: Kartenabgleichmap matching
6060: vierter Kombinationsschrittfourth combination step
6262: fünfter Schwellenwertvergleichfifth threshold comparison
6464: Trajektorienplanungtrajectory planning
6666: Trajektorienfehlervorhersagetrajectory error prediction
6868: fünfter Kombinationsschrittfifth combination step
7070: sechster Schwellenwertvergleichsixth threshold comparison

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 112019000049 T5 [0003]
EP 3418126 A1 [0004]

Claims

Monitoring device (18), in particular for a motor vehicle (10), which is set up to - to determine at least one error value for each automated subsystem (12, 14) of an overall system (10), which indicates actual or expected errors or an error probability of the respective subsystem (12, 14), - comparing a first of the error values with a predetermined reference value (32), - if the reference value is not reached by the first error value, to combine this step-by-step cumulatively with the other error values in a specified manner until the current cumulative error value reaches the specified reference value and/or all error values are combined with one another, with after each combination step ( 38, 46, 52, 60, 68) result in increasing accumulated error values, and - when the reference value is reached by the first error value or one of the subsequently determined cumulative error values, automatically initiate a specified safety measure (34) for the overall system (10).

Monitoring device (18) after claim 1 , characterized in that the monitoring device (18) comprises an error value estimator (30, 36, 44, 50, 58, 66) which is set up to use subsystem data for the individual subsystems (12, 14) to calculate the respective error value for the respective subsystem (12, 14) to determine.

Monitoring device (18) according to one of the preceding claims, characterized in that the monitoring device (18) is set up to combine (38, 46, 52, 60, 68) the error values by adding them cumulatively starting from the first error value.

Monitoring device (18) according to one of the preceding claims, characterized in that the monitoring device (18) is set up to weight the error values differently when they are combined (38, 46, 52, 60, 68), in particular with different combination steps (38 , 46, 52, 60, 68) of different weights.

Monitoring device (18) according to one of the preceding claims, characterized in that the monitoring device (18) comprises a combination model that learns and/or is trained to recognize which combinations of error values correlate with a failure of the overall system (10).

Monitoring device (18) according to one of the preceding claims, characterized in that the monitoring device (18) is set up to take into account the error values when combining (38, 46, 52, 60, 68) these in each case at least with a predetermined minimum influence.

Monitoring device (18) according to one of the preceding claims, characterized in that the monitoring device (18) is set up for use in a motor vehicle (10) and, for this purpose, the error values, in each case if available in the motor vehicle (10), in the following order to combine with one another: error values based on status data (28) of the motor vehicle (10), error values based on environmental sensor data, error values based on semantic data, error values based on a consistency check (58) or a comparison with reference map data, error data based on trajectory planning (64) for the motor vehicle (10).

Method (26) for monitoring an overall system (10) from several different at least partially automated subsystems (12, 14), in which automatically - error values (30, 36, 44, 50, 58, 66) are determined for the individual subsystems (12, 14), which indicate actual or expected errors or an error probability of the respective subsystem (12, 14), - in each case it is checked (32, 40, 48, 54, 62, 70) whether a predetermined reference value is reached by a first of the error values or by a respective current cumulative error value, the cumulative error values being determined in a predetermined manner by gradual cumulative combining (38 , 46, 52, 60, 68) of the error values are generated, and - A predetermined safety measure (34) is initiated automatically when the predetermined reference value is reached.

Method (26) according to claim 8 , characterized in that repeatedly occurring combinations of error values, which lead to the reference value being reached, are sent from the overall system (10) or the monitoring device (18) to a central server device for further processing.

Motor vehicle (10) having a plurality of automated subsystems (12, 14), the motor vehicle (10) having a monitoring device (18) according to one of Claims 1 until 7 comprises and/or for automatically executing a method claim 8 or 9 is set up.