DE102024101516A1

DE102024101516A1 - Detecting an emergency vehicle

Info

Publication number: DE102024101516A1
Application number: DE102024101516.0A
Authority: DE
Inventors: Anish-Aravinth Periyasamy; Alagappan Muthukaruppan; Arindam Das; Bharadwaja Yathirajam; Suganthi Srinivasan; Lucie Yahiaoui; Nagarajan Balmukundan; Jeevakala Singarayan; Sankaralingam Madasamy; Mohanen Balasubramanian; Mihai Ilie; Sudarshan PAUL; Sanjoy Das; Kumar-Sanu Raj; Parmeshwar Shyamsundar Patil; Rajaselvam Vivekanandan; Vamseekalyan Bandlamudi; Ankur-Kumar Soni; Sumanth Thallam; Ravikant SINGH
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2024-01-19
Filing date: 2024-01-19
Publication date: 2025-07-24

Abstract

Zum Detektieren eines Einsatzfahrzeugs (6) wird ein Kamerabild (5), welches das Einsatzfahrzeug (6) abbildet, erhalten, und eine Licht-Begrenzungsbox (12) (in dem Kamerabild (5)) für eine Einsatzfahrzeug-Lichteinheit (10) wird durch Anwenden eines Objektdetektionsalgorithmus (13, 17) auf Eingabedaten, die von dem Kamerabild (5) abhängen, bestimmt. Ein Bildbereich des Kamerabilds (5), der von der Licht-Begrenzungsbox (12) umschlossen ist, wird bestimmt und ein Farbsättigungswert für einen Satz von Pixeln des Bildbereichs wird bestimmt. Eine Validierung der Licht-Begrenzungsbox (12), die ein Auswerten der bestimmten Farbsättigungswerte des Satzes von Pixeln gemäß einer vordefinierten Spezifikation beinhaltet, wird durchgeführt. Eine Detektion des Einsatzfahrzeugs (6) wird bestätigt, wenn ein Ergebnis der Validierung positiv ist.
To detect an emergency vehicle (6), a camera image (5) depicting the emergency vehicle (6) is obtained, and a light bounding box (12) (in the camera image (5)) for an emergency vehicle light unit (10) is determined by applying an object detection algorithm (13, 17) to input data that depends on the camera image (5). An image region of the camera image (5) enclosed by the light bounding box (12) is determined, and a color saturation value for a set of pixels of the image region is determined. Validation of the light bounding box (12) is performed, which includes evaluating the determined color saturation values of the set of pixels according to a predefined specification. Detection of the emergency vehicle (6) is confirmed if a result of the validation is positive.

Description

Die vorliegende Erfindung ist auf ein computerimplementiertes Verfahren zum Detektieren eines Einsatzfahrzeugs sowie auf ein entsprechendes Verfahren zum zumindest teilweise automatischen Führen eines Kraftfahrzeugs gerichtet, wobei ein derartiges computerimplementiertes Verfahren ausgeführt wird. Die Erfindung ist auch auf ein entsprechendes Datenverarbeitungsgerät, welches zumindest eine Recheneinheit aufweist, und auf ein elektronisches Fahrzeugführungssystem, welches ein derartiges Datenverarbeitungsgerät aufweist, gerichtet. Die Erfindung ist des Weiteren auf ein entsprechendes Computerprogrammprodukt gerichtet.The present invention is directed to a computer-implemented method for detecting an emergency vehicle and to a corresponding method for at least partially automatically driving a motor vehicle, wherein such a computer-implemented method is executed. The invention is also directed to a corresponding data processing device having at least one computing unit and to an electronic vehicle guidance system having such a data processing device. The invention is further directed to a corresponding computer program product.

In dem Kontext von Fahrerassistenzfunktionen oder anderen Funktionen zum zumindest teilweise automatischen Führen eines Kraftfahrzeugs, kann die zuverlässige automatische Detektion und/oder Verfolgung von Einsatzfahrzeugen, zum Beispiel Polizeifahrzeugen, Löschzügen oder Ambulanzfahrzeugen, aus Sicherheitsgründen und auch um den Weg für das Einsatzfahrzeug freizumachen, wichtig sein.In the context of driver assistance functions or other functions for at least partially automatically driving a motor vehicle, the reliable automatic detection and/or tracking of emergency vehicles, for example police vehicles, fire engines or ambulances, can be important for safety reasons and also to clear the way for the emergency vehicle.

Dokument KR 10-2023-0009616 beschreibt ein Verfahren zum Detektieren eines Einsatzfahrzeugs, wobei ein Controller aufeinanderfolgende Bilder, die Blinklichtbilder von Fahrzeugen in einer Peripherie eines autonomen Fahrzeugs beinhalten, von einer Kamera erhält. Der Controller detektiert ein Fahrzeug in einer Peripherie des genannten autonomen Fahrzeugs als ein Einsatzfahrzeug basierend auf einem Differenzwert der genannten Bilder.document KR 10-2023-0009616 describes a method for detecting an emergency vehicle, wherein a controller receives consecutive images from a camera, including flashing light images of vehicles in a periphery of an autonomous vehicle. The controller detects a vehicle in a periphery of said autonomous vehicle as an emergency vehicle based on a difference value of said images.

Manche bestehende Systeme zur Detektion und/oder Verfolgung von Einsatzfahrzeugen basieren auf der akustischen Detektion von Sirenentönen. Derartige Systeme können mit der zuverlässigen Lokalisierung des Einsatzfahrzeugs Schwierigkeiten haben. Systeme, die auf visueller Objektdetektion basieren, können dieses Problem bewältigen. Derartige Ansätze können jedoch zu falsch positiven Detektionen und/oder falsch negativen Detektionen aufgrund der Ähnlichkeit visueller Merkmale von Einsatzfahrzeugen und anderer Fahrzeuge führen. Eine Kombination von akustischen und visuellen Ansätzen kann angesichts von Hardware-Beschränkungen eine Herausforderung darstellen und erhöht die Komplexität des Systems und den Datenverarbeitungsaufwand.Some existing systems for detecting and/or tracking emergency vehicles rely on the acoustic detection of siren sounds. Such systems can struggle with reliably locating the emergency vehicle. Systems based on visual object detection can overcome this problem. However, such approaches can lead to false positive detections and/or false negative detections due to the similarity of visual features between emergency vehicles and other vehicles. Combining acoustic and visual approaches can be challenging given hardware limitations and increases system complexity and data processing overhead.

Eine Aufgabe der vorliegenden Erfindung ist es, das Risiko für falsch positive Detektionen eines Einsatzfahrzeugs basierend auf einem Kamerabild zu senken.An object of the present invention is to reduce the risk of false positive detections of an emergency vehicle based on a camera image.

Diese Aufgabe wird durch den Gegenstand des unabhängigen Anspruchs erreicht. Weitere Ausführungen und bevorzugte Ausführungsformen sind Gegenstand der abhängigen Ansprüche.This object is achieved by the subject matter of the independent claim. Further embodiments and preferred embodiments are the subject matter of the dependent claims.

Die Erfindung basiert auf der Feststellung, dass die Farbsättigung von Bildbereichen, die eine aktive Einsatzfahrzeug-Lichteinheit abbilden, spezifische Charakteristika aufweist. Eine Licht-Begrenzungsbox einer Einsatzfahrzeug-Lichteinheit, die basierend auf einem Kamerabild unter Benutzung eines Objektdetektionsalgorithmus detektiert wird, wird daher abhängig von den jeweiligen Farbsättigungswerten der Bildpixel innerhalb der Licht-Begrenzungsbox validiert.The invention is based on the finding that the color saturation of image areas depicting an active emergency vehicle lighting unit has specific characteristics. A light bounding box of an emergency vehicle lighting unit, detected based on a camera image using an object detection algorithm, is therefore validated depending on the respective color saturation values of the image pixels within the light bounding box.

Gemäß einem Aspekt der Erfindung wird ein computerimplementiertes Verfahren zum Detektieren eines Einsatzfahrzeugs, insbesondere eines Einsatzfahrzeugs in einer Umgebung eines Kraftfahrzeugs, bereitgestellt. Ein Kamerabild, welches das Einsatzfahrzeug abbildet, wird erhalten, insbesondere von einer Kamera, zum Beispiel von einer Kamera des Kraftfahrzeugs. Eine Licht-Begrenzungsbox für eine Einsatzfahrzeug-Lichteinheit wird, insbesondere in dem Kamerabild, durch Anwenden eines Objektdetektionsalgorithmus auf Eingabedaten, die von dem Kamerabild abhängen, bestimmt. Ein Bildbereich des Kamerabilds, welches von der Licht-Begrenzungsbox umschlossen ist, wird bestimmt und ein Farbsättigungswert wird für jedes Pixel eines Satzes von Pixeln des Bildbereichs bestimmt. Eine Validierung der Lichtbegrenzungsbox wird durchgeführt, wobei die Durchführung der Validierung ein Auswerten der bestimmten Farbsättigungswerte des Satzes von Pixeln gemäß einer vordefinierten Spezifikation beinhaltet. Eine Detektion, insbesondere eine erfolgreiche Detektion, das Einsatzfahrzeugs wird bestätigt, wenn ein Ergebnis der Validierung positiv ist.According to one aspect of the invention, a computer-implemented method for detecting an emergency vehicle, in particular an emergency vehicle in the environment of a motor vehicle, is provided. A camera image depicting the emergency vehicle is obtained, in particular from a camera, for example from a camera of the motor vehicle. A light bounding box for an emergency vehicle light unit is determined, in particular in the camera image, by applying an object detection algorithm to input data that depends on the camera image. An image region of the camera image enclosed by the light bounding box is determined, and a color saturation value is determined for each pixel of a set of pixels in the image region. A validation of the light bounding box is performed, wherein performing the validation includes evaluating the determined color saturation values of the set of pixels according to a predefined specification. A detection, in particular a successful detection, of the emergency vehicle is confirmed if a result of the validation is positive.

Soweit nicht anders angegeben, können alle Schritte des computerimplementierten Verfahrens von einem Datenverarbeitungsgerät, welches zumindest eine Recheneinheit, insbesondere ein Datenverarbeitungsgerät des Kraftfahrzeugs aufweist, durchgeführt werden. Insbesondere ist die zumindest eine Recheneinheit dazu eingerichtet oder adaptiert, die Schritte des computerimplementierten Verfahrens durchzuführen. Zu diesem Zweck kann die zumindest eine Recheneinheit zum Beispiel ein Computerprogramm speichern, welches Befehle beinhaltet, die, wenn sie von der zumindest einen Recheneinheit ausgeführt werden, die zumindest eine Recheneinheit dazu veranlassen, das computerimplementierte Verfahren durchzuführen.Unless otherwise stated, all steps of the computer-implemented method can be performed by a data processing device having at least one computing unit, in particular a data processing device of the motor vehicle. In particular, the at least one computing unit is configured or adapted to perform the steps of the computer-implemented method. For this purpose, the at least one computing unit can, for example, store a computer program containing instructions which, when executed by the at least one computing unit, cause the at least one computing unit to perform the computer-implemented method.

Alle Recheneinheiten der zumindest einen Recheneinheit können von dem Kraftfahrzeug beinhaltet sein. Es ist jedoch auch möglich, dass alle Recheneinheiten der zumindest einen Recheneinheit Teil eines externen Rechensystems extern zu dem Kraftfahrzeug, zum Beispiel eines Backend Servers oder eines Cloud-Computing-Systems, sind. Es ist auch möglich, dass die zumindest eine Recheneinheit zumindest eine Fahrzeugrecheneinheit des Kraftfahrzeugs sowie zumindest eine externe Recheneinheit, die von dem externen Rechensystem beinhaltet ist, aufweist. Die zumindest eine Recheneinheit kann zum Beispiel von einer oder mehreren elektronischen Steuereinheiten, ECUs (englisch: electronic control unit), und/oder einer oder mehreren Zonensteuereinheiten, ZCUs (englisch: zone control unit), und/oder einer oder mehreren Domainsteuereinheiten, DCUs (englisch: domain control unit), des Kraftfahrzeugs und/oder von der Kamera beinhaltet sein.All computing units of the at least one computing unit can be contained in the motor vehicle. However, it is also possible that all computing units of the at least one computing unit are part of an external computing system. the motor vehicle, for example a backend server or a cloud computing system. It is also possible for the at least one computing unit to comprise at least one vehicle computing unit of the motor vehicle and at least one external computing unit contained by the external computing system. The at least one computing unit can, for example, be comprised of one or more electronic control units (ECUs) and/or one or more zone control units (ZCUs) and/or one or more domain control units (DCUs) of the motor vehicle and/or of the camera.

Für jede Ausführung des computerimplementierten Verfahrens werden entsprechende Ausführungen eines Verfahrens, welches nicht rein computerimplementiert ist, durch Einbeziehung von Verfahrensschritten des Erzeugens von Kamerabildern erhalten.For each execution of the computer-implemented method, corresponding executions of a method which is not purely computer-implemented are obtained by including method steps of generating camera images.

Die Kamera ist insbesondere eine Kamera, die im sichtbaren Bereich arbeitet, anders al, beispielsweise, eine Infrarotkamera. Das Kamerabild ist insbesondere ein Farbbild und kein monochromatisches Bild. Insbesondere kann das Kamerabild für jedes Pixel des Kamerabilds Farbwerte gemäß jeweiligen Farbkanälen, zum Beispiel drei Farbkanäle, aufweisen. Abhängig von dem verwendeten Farbmodell können die Farbkanäle roten, grünen und blauen Kanälen (RGB) oder Luma- und Chroma-Kanälen (YUV) und so weiter entsprechen.The camera is, in particular, a camera that operates in the visible range, unlike, for example, an infrared camera. The camera image is, in particular, a color image and not a monochromatic image. In particular, the camera image can have color values for each pixel of the camera image according to respective color channels, for example, three color channels. Depending on the color model used, the color channels can correspond to red, green, and blue channels (RGB) or luma and chroma channels (YUV), and so on.

Die Eingabedaten können das Kamerabild beinhalten oder aus dem Kamerabild bestehen. Die Eingabedaten können auch vorverarbeitete Daten, die durch Vorverarbeiten des Kamerabilds erhalten werden, beinhalten oder daraus bestehen.The input data may include or consist of the camera image. The input data may also include or consist of preprocessed data obtained by preprocessing the camera image.

Eine Begrenzungsbox kann eine zweidimensionale Begrenzungsbox sein. Eine zweidimensionale Begrenzungsbox kann als eine geometrische Figur in der Bildebene des Kamerabilds, insbesondere eine geschlossene geometrische Figur, die einen zusammenhängenden Bereich in dem Kamerabild umschließt, verstanden werden. Der umschlossene Bereich entspricht zum Beispiel einem Objekt, wie etwa der Einsatzfahrzeug-Lichteinheit im Fall der Licht-Begrenzungsbox. Die zweidimensionale Begrenzungsbox kann eine vordefinierte Form haben, zum Beispiel rechteckig sein. Eine Begrenzungsbox kann auch eine Projektion einer dreidimensionalen geometrischen Figur, wie etwa eines Quaders, in die Bildebene sein, die einen zusammenhängenden Bereich in dem Kamerabild umschließt.A bounding box can be a two-dimensional bounding box. A two-dimensional bounding box can be understood as a geometric figure in the image plane of the camera image, in particular a closed geometric figure that encloses a contiguous area in the camera image. The enclosed area corresponds, for example, to an object, such as the emergency vehicle lighting unit in the case of the light bounding box. The two-dimensional bounding box can have a predefined shape, for example, be rectangular. A bounding box can also be a projection of a three-dimensional geometric figure, such as a cuboid, into the image plane that encloses a contiguous area in the camera image.

Der von der Licht-Begrenzungsbox umschlossene Bildbereich kann aus allen Pixeln des Kamerabilds, die von der Licht-Begrenzungsbox umschlossen sind, oder einem Teil dieser Pixel, zum Beispiel gemäß eines Teilbereichs innerhalb der Licht-Begrenzungsbox, bestehen.The image area enclosed by the light bounding box may consist of all pixels of the camera image enclosed by the light bounding box or a part of these pixels, for example according to a partial area within the light bounding box.

Der Satz von Pixeln des Bildbereichs kann aus allen Pixeln des Bildbereichs bestehen oder kann aus einem Teil aller Pixel des Bildbereichs bestehen.The set of pixels of the image area may consist of all pixels of the image area or may consist of a portion of all pixels of the image area.

Die Licht-Begrenzungsbox ist insbesondere eine Ausgabe des Objektdetektionsalgorithmus. Der Objektdetektionsalgorithmus kann ein bekannter Objektdetektionsalgorithmus sein und kann auf unterschiedlichen Architekturen, einschließlich von, aber nicht eingeschränkt auf, ein künstliches neuronales Netzwerk, ANN (englisch: artificial neural network), zum Beispiel ein faltendes neuronales Netzwerk, CNN (englisch: convolutional neural network), sein. Derartige ANN-Architekturen können ein Encoder-Modul zum Extrahieren von Merkmalen aus Kamerabildern und ein Decoder-Modul, welches die extrahierten Merkmale benutzt, um eine Objektdetektionsaufgabe auszuführen, beinhalten.The light bounding box is, in particular, an output of the object detection algorithm. The object detection algorithm may be a known object detection algorithm and may be based on various architectures, including, but not limited to, an artificial neural network (ANN), for example, a convolutional neural network (CNN). Such ANN architectures may include an encoder module for extracting features from camera images and a decoder module that uses the extracted features to perform an object detection task.

Das Encoder-Modul weist zum Beispiel eine Serie von Faltungsschichten zur Bildmerkmalextraktion auf. Die Architektur des Encoder-Moduls kann zum Beispiel auf Standard-Encoder-Familien, wie etwa ResNet, VGG, Inception und so weiter basieren. Das Decoder-Modul kann zum Beispiel eine oder mehrere Entfaltungsschichten beinhalten und kann auf bekannten Architekturen, wie etwa den YOLO-Decodern, zum Beispiel YOLOv2 oder YOLOv3, basieren.The encoder module, for example, includes a series of convolutional layers for image feature extraction. The architecture of the encoder module can be based on standard encoder families, such as ResNet, VGG, Inception, and so on. The decoder module can include one or more deconvolutional layers and can be based on well-known architectures, such as the YOLO decoders, e.g., YOLOv2 or YOLOv3.

Insbesondere ist das Ergebnis der Validierung entweder positiv oder negativ. Bei einigen Ausführungen ist es auch möglich, dass das Ergebnis der Validierung entweder positiv oder negativ oder unentschieden ist. Ob das Ergebnis der Validierung positiv ist oder nicht, hängt von dem Ergebnis der Auswertung der Farbsättigungswerte ab. Das Ergebnis der Auswertung der Farbsättigungswerte kann zum Beispiel sein, dass die Farbsättigungswerte mit der vordefinierten Spezifikation übereinstimmen oder dass sie nicht mit der vordefinierten Spezifikation übereinstimmen. Zum Beispiel ist das Ergebnis der Validierung nur dann positiv, wenn das Ergebnis der Auswertung der Farbsättigungswerte ist, dass sie mit der vordefinierten Spezifikation übereinstimmen. Zum Beispiel ist das Ergebnis der Validierung nur dann positiv, wenn das Ergebnis der Auswertung der Farbsättigungswerte ist, dass sie mit der vordefinierten Spezifikation übereinstimmen. Bei manchen Ausführungen kann es jedoch weitere Bedingungen dafür geben, dass das Ergebnis der Validierung positiv ist. Die genannten weiteren Bedingungen hängen nicht notwendigerweise von den Farbsättigungswerten ab.In particular, the validation result is either positive or negative. In some embodiments, it is also possible for the validation result to be either positive, negative, or undecided. Whether the validation result is positive or not depends on the result of the evaluation of the color saturation values. The result of the evaluation of the color saturation values can, for example, be that the color saturation values match the predefined specification or that they do not match the predefined specification. For example, the validation result is only positive if the result of the evaluation of the color saturation values is that they match the predefined specification. For example, the validation result is only positive if the result of the evaluation of the color saturation values is that they match the predefined specification. In some embodiments, however, there may be further conditions for the validation result to be positive. The mentioned further conditions depend does not necessarily depend on the color saturation values.

Wenn das Ergebnis der Validierung positiv ist, dann ist die Detektion des Einsatzfahrzeugs bestätigt. Wenn andernfalls das Ergebnis der Validierung nicht positiv ist, dann kann die Detektion des Einsatzfahrzeugs verneint werden oder weitere Überprüfungen können durchgeführt werden, um zu versuchen, die Detektion des Einsatzfahrzeugs zu bestätigen.If the validation result is positive, then the detection of the emergency vehicle is confirmed. If the validation result is not positive, then the detection of the emergency vehicle can be denied or further checks can be performed to attempt to confirm the detection of the emergency vehicle.

Die vordefinierte Spezifikation ist zum Beispiel eine Spezifikation einer typischen oder erwarteten Erscheinung der aktiven Einsatzfahrzeug-Lichteinheit in dem Kamerabild. Die Spezifikation kann in Bezug auf Bedingungen und/oder Regeln für die Farbsättigungswerte, einen Gradienten der Farbsättigungswerte oder weitere Eigenschaften der Pixel des Satzes von Pixeln, wie etwa ihre Farbtonwerte, Helligkeitswerte, Positionen in dem Kamerabild und so weiter, gegeben sein. Die Spezifikation kann bei unterschiedlichen Ausführungen des computerimplementierten Verfahrens und bei unterschiedlichen Anwendungsfällen unterschiedlich sein. In jedem Fall betrifft die Spezifikation jedoch die Farbsättigungswerte.The predefined specification is, for example, a specification of a typical or expected appearance of the active emergency vehicle lighting unit in the camera image. The specification may be given in terms of conditions and/or rules for the color saturation values, a gradient of the color saturation values, or other properties of the pixels of the set of pixels, such as their hue values, brightness values, positions in the camera image, and so on. The specification may differ for different embodiments of the computer-implemented method and for different use cases. In any case, however, the specification concerns the color saturation values.

Der Farbsättigungswert eines Pixels kann als ein Wert eines Farbsättigungskanals eines entsprechenden Farbmodells, zum Beispiel des S-Kanals eines HSV-Modells, (englisch: hue saturation value model) oder eines HSL-Modells (englisch: hue saturation lightness model) oder eines HSB-Modells (englisch: hue saturation brightness model) oder eines HSI-Modells (englisch: hue saturation intensity model) und so weiter verstanden werden. Bei derartigen Modellen kann der Farbsättigungswert von einem Farbsättigungsmindestwert, zum Beispiel 0 oder 0%, bis zu einem Farbsättigungshöchstwert, zum Beispiel 1 oder 100%, reichen. Der Farbsättigungsmindestwert entspricht typischerweise einer vollständigen Farbentsättigung, also weißer Farbe, während der Farbsättigungshöchstwert einer vollständig farbgesättigten Farbe entspricht. Es wird angemerkt, dass der Begriff Sättigung auch dazu verwendet wird, sich auf eine maximale Helligkeit oder eine Höchstmenge an Licht, das von einem optischen Detektor erfasst werden kann oder von einer Bilddatenverarbeitungspipeline verarbeitet werden kann, zu beziehen. Um zwischen den beiden Bedeutungen zu unterscheiden, wird Farbsättigung für die genannte erste Bedeutung verwendet.The hue saturation value of a pixel can be understood as a value of a hue saturation channel of a corresponding color model, for example, the S-channel of an HSV model (hue saturation value model), an HSL model (hue saturation lightness model), an HSB model (hue saturation brightness model), an HSI model (hue saturation intensity model), and so on. In such models, the hue saturation value can range from a minimum hue saturation value, for example, 0 or 0%, to a maximum hue saturation value, for example, 1 or 100%. The minimum hue saturation value typically corresponds to complete hue desaturation, i.e., white color, while the maximum hue saturation value corresponds to a fully saturated color. It should be noted that the term saturation is also used to refer to a maximum brightness or maximum amount of light that can be detected by an optical detector or processed by an image processing pipeline. To distinguish between the two meanings, color saturation is used for the first meaning.

Der Farbsättigungswert kann auch für alle Pixel in dem Bildbereich oder sogar für alle Pixel des Kamerabilds bestimmt werden.The color saturation value can also be determined for all pixels in the image area or even for all pixels of the camera image.

Die Lichtintensität einer aktiven Einsatzfahrzeug-Lichteinheit ist im Allgemeinen sehr hoch. Daher kann es häufig vorkommen, dass die optischen Detektoren und/oder die Bilddaten-Verarbeitungspipeline in einem Teil der Licht-Begrenzungsbox, aber nicht in der gesamten Licht-Begrenzungsbox gesättigt sind. Folglich kann erwartet werden, dass die Licht-Begrenzungsbox Pixel sehr geringer Farbsättigung (weiß oder beinahe weiß) und Pixel hoher Farbsättigung, insbesondere einer charakteristischen Farbe, zum Beispiel Rot oder Blau, beinhaltet.The light intensity of an active emergency vehicle lighting unit is generally very high. Therefore, it is common for the optical detectors and/or the image data processing pipeline to be saturated in part of the light bounding box, but not in the entire light bounding box. Consequently, the light bounding box can be expected to contain pixels with very low color saturation (white or near-white) and pixels with high color saturation, particularly of a characteristic color, such as red or blue.

Folglich kann ein Risiko für eine falsch positive Detektion der Einsatzfahrzeug-Lichteinheit durch den Objektdetektionsalgorithmus mittels des erfindungsgemäßen computerimplementierten Verfahrens reduziert werden. Insbesondere wird durch Verwendung des erfindungsgemäßen computerimplementierten Verfahrens eine rein kamerabasierte Objektdetektion mit erhöhter Zuverlässigkeit erreicht.Consequently, the risk of false positive detection of the emergency vehicle lighting unit by the object detection algorithm can be reduced by using the computer-implemented method according to the invention. In particular, purely camera-based object detection with increased reliability is achieved by using the computer-implemented method according to the invention.

Gemäß einigen Ausführungen wird eine Vielzahl von Licht-Begrenzungsboxen einschließlich der oben erwähnten Licht-Begrenzungsbox durch Anwenden des Objektdetektionsalgorithmus auf die Eingabedaten, die von dem Kamerabild und optional von einem oder mehreren weiteren Kamerabildern abhängen, bestimmt.According to some embodiments, a plurality of light bounding boxes, including the above-mentioned light bounding box, are determined by applying the object detection algorithm to the input data, which depends on the camera image and optionally on one or more other camera images.

Die in Bezug auf die Licht-Begrenzungsbox beschriebenen Schritte, können für alle Licht-Begrenzungsboxen der Vielzahl von Licht-Begrenzungsboxen ausgeführt werden. Dies schließt ein Bestimmen eines jeweiligen Bildbereichs und jeweilige Farbsättigungswerte für jeweilige Sätze von Pixeln, ein Durchführen der Validierung sowie ein Bestätigen der Detektion des Einsatzfahrzeugs, wenn das Ergebnis der jeweiligen Validierung positiv ist, ein. Bei weiteren Ausführungen gilt dies entsprechend für weitere Verfahrensschritte, die in Bezug auf die Licht-Begrenzungsbox beschrieben sind.The steps described with respect to the light boundary box can be performed for all of the plurality of light boundary boxes. This includes determining a respective image area and respective color saturation values for respective sets of pixels, performing the validation, and confirming the detection of the emergency vehicle if the result of the respective validation is positive. In further embodiments, this applies accordingly to further method steps described with respect to the light boundary box.

Insbesondere kann die Detektion des Einsatzfahrzeugs bestätigt werden, wenn ein Ergebnis zumindest einer der genannten Validierungen positiv ist.In particular, the detection of the emergency vehicle can be confirmed if the result of at least one of the validations mentioned is positive.

Gemäß einigen Ausführungen wird ein Objektverfolgungsalgorithmus ausgeführt, um das Einsatzfahrzeug basierend auf zumindest einer der Licht-Begrenzungsboxen, für welche die jeweilige Validierung positiv ist, zu verfolgen. Zum Beispiel kann der Objektverfolgungsalgorithmus basierend auf einer Fahrzeug-Begrenzungsbox für das Einsatzfahrzeug, welches ein Zusatzergebnis des Objektdetektionsalgorithmus sein kann, und die zumindest eine Licht-Begrenzungsbox, für welche die Validierung positiv ist, ausgeführt werden.According to some embodiments, an object tracking algorithm is executed to track the emergency vehicle based on at least one of the light bounding boxes for which the respective validation is positive. For example, the object tracking algorithm may be executed based on a vehicle bounding box for the emergency vehicle, which may be an additional result of the object detection algorithm, and the at least one light bounding box for which the validation is positive.

Gemäß einigen Ausführungen beinhaltet der Satz von Pixeln nur Pixel des Bildbereichs, die einen Farbtonwert innerhalb eines vordefinierten Farbtonbereichs haben.According to some embodiments, the set of pixels includes only pixels of the image area that have a hue value within a predefined hue range.

Der Farbtonwert eines Pixels kann als ein Wert eines Farbtonkanals eines entsprechenden Farbmodells, zum Beispiel des H-Kanals von HSV, HSL, HSB, HSI und so weiter, verstanden werden. Bei derartigen Modellen ist der Farbtonwert zum Beispiel durch einen Winkel von 0° bis 360° gegeben. Bei typischen Konventionen entspricht 0° Rot, 60° entspricht Gelb, 120° entspricht Grün, 180° entspricht Zyan und 240° entspricht Blau.The hue value of a pixel can be understood as a value of a hue channel of a corresponding color model, for example, the H-channel of HSV, HSL, HSB, HSI, and so on. For such models, the hue value is given, for example, by an angle from 0° to 360°. Typical conventions state that 0° corresponds to red, 60° to yellow, 120° to green, 180° to cyan, and 240° to blue.

Der vordefinierte Farbtonbereich entspricht Farben, die typischerweise für das von der Einsatzfahrzeug-Lichteinheit ausgesendete Licht erwartet werden, zum Beispiel Blau oder Rot. Folglich wird die Zuverlässigkeit zur Reduzierung falsch positiver Detektionen weiter erhöht.The predefined color range corresponds to colors typically expected for the light emitted by the emergency vehicle lighting unit, for example, blue or red. Consequently, the reliability is further increased to reduce false positive detections.

Der Farbtonbereich kann ein einziger zusammenhängender Bereich sein, zum Beispiel [330°, 30°] oder [345°, 15°], was Rot, Orange und ähnlichen Farben entspricht, oder [195°, 285°] oder [210°, 270°], was Blau, Blau-Zyan, Violett und ähnlichen Farben entspricht. Der Farbtonbereich ist jedoch nicht notwendigerweise zusammenhängend, sondern kann durch zwei oder mehr nicht zusammenhängende Teilbereiche, wie etwa [330°, 30°] ∪ [195°, 285°] oder [345°, 15°] ∪ [210°, 270°] oder [330°, 30°] ∪ [210°, 270°] oder [345°, 15°] ∪ [195°, 285°], gegeben sein.The hue range may be a single contiguous range, for example, [330°, 30°] or [345°, 15°], corresponding to red, orange, and similar colors, or [195°, 285°] or [210°, 270°], corresponding to blue, blue-cyan, violet, and similar colors. However, the hue range is not necessarily contiguous, but may be given by two or more non-contiguous subranges, such as [330°, 30°] ∪ [195°, 285°] or [345°, 15°] ∪ [210°, 270°], or [330°, 30°] ∪ [210°, 270°] or [345°, 15°] ∪ [195°, 285°].

Der Satz von Pixeln kann zum Beispiel alle Pixel des Bildbereichs beinhalten, die einen Farbtonwert innerhalb des vordefinierten Farbtonbereichs haben. Alternativ kann der Satz von Pixeln zum Beispiel alle Pixel des Bildbereichs beinhalten, die einen Farbtonwert innerhalb des vordefinierten Farbbereichs haben und eine oder mehrere weitere Bedingungen erfüllen, zum Beispiel dass sie einen V-Wert im Fall von HSV, einen B-Wert im Fall von HSB, einen I-Wert im Fall von HSI oder einen L-Wert im Fall von HSL als ein Farbmodell haben, welcher in einem jeweiligen vordefinierten weiteren Bereich liegt.The set of pixels may, for example, include all pixels of the image area that have a hue value within the predefined hue range. Alternatively, the set of pixels may, for example, include all pixels of the image area that have a hue value within the predefined color range and satisfy one or more further conditions, for example, that they have a V value in the case of HSV, a B value in the case of HSB, an I value in the case of HSI, or an L value in the case of HSL as a color model that lies within a respective predefined further range.

Gemäß einigen Ausführungen ist das Ergebnis der Validierung nur dann positiv, wenn ein Verhältnis einer Anzahl von Pixeln des Satzes von Pixeln zu einer Anzahl von weißen Pixeln in dem Bildbereich zumindest gleich einem vordefinierten ersten Grenzwert ist.According to some embodiments, the result of the validation is only positive if a ratio of a number of pixels of the set of pixels to a number of white pixels in the image area is at least equal to a predefined first threshold.

Zum Beispiel ist das Ergebnis der Validierung nur dann positiv, wenn das Verhältnis größer oder gleich dem ersten Grenzwert ist. Alternativ ist das Ergebnis der Validierung nur dann positiv, wenn das Verhältnis größer als der erste Grenzwert ist, der insbesondere kleiner als 1 ist.For example, the validation result is only positive if the ratio is greater than or equal to the first threshold. Alternatively, the validation result is only positive if the ratio is greater than the first threshold, which in particular is less than 1.

Der erste Grenzwert kann zum Beispiel in dem Bereich [0,1 , 0,5] oder in dem Bereich [0,2 , 0,4] liegen. Mit anderen Worten wird angenommen, dass für eine valide Detektion der Licht-Begrenzungsbox die Anzahl von Pixeln mit dem Farbtonwert in dem vordefinierten Farbtonbereich größer als die Anzahl weißer Pixel ist. Somit wird die Zuverlässigkeit zur Filterung von falsch positiven Detektionen weiter erhöht. Insbesondere können falsch positive Detektionen von Fahrzeugscheinwerfern als Einsatzfahrzeug-Lichter bei derartigen Ausführungen vermieden werden.The first threshold value can, for example, be in the range [0.1, 0.5] or in the range [0.2, 0.4]. In other words, it is assumed that for a valid detection of the light boundary box, the number of pixels with the hue value in the predefined hue range is greater than the number of white pixels. This further increases the reliability for filtering out false positive detections. In particular, false positive detections of vehicle headlights as emergency vehicle lights can be avoided with such implementations.

Bei weißen Pixeln handelt es sich insbesondere um Pixel, deren Farbkoordinaten in einer vordefinierten Umgebung eines Weißpunkts des jeweiligen Farbmodells liegen. Bei dem HSV-Modell ist ein Weißpunkt zum Beispiel durch jeden Punkt mit (H, S, V) = (H, 0%, 100%) gegeben, bei einem RGB-Modell ist der Weißpunkt durch (R, G, B) = (100%, 100%, 100%) gegeben, und so weiter.White pixels are, in particular, pixels whose color coordinates lie within a predefined neighborhood of a white point of the respective color model. For example, in the HSV model, a white point is defined as any point with (H, S, V) = (H, 0%, 100%); in an RGB model, the white point is defined as (R, G, B) = (100%, 100%, 100%), and so on.

Gemäß einigen Ausführungen wird für jedes Pixel des Satzes von Pixeln ein Farbsättigungsgradientenwert bestimmt. Die Validierung beinhaltet ein Auswerten der bestimmten Farbsättigungsgradientenwerte des Satzes von Pixeln gemäß der vordefinierten Spezifikation.According to some embodiments, a color saturation gradient value is determined for each pixel of the set of pixels. Validation includes evaluating the determined color saturation gradient values of the set of pixels according to the predefined specification.

Der Farbsättigungsgradientenwert kann auch für jedes Pixel des Bildbereichs oder sogar des gesamten Kamerabilds bestimmt werden.The color saturation gradient value can also be determined for each pixel of the image area or even the entire camera image.

Der Farbsättigungsgradientenwert für ein gegebenes Pixel wird zum Beispiel abhängig von einer Differenz zwischen dem Farbsättigungswert des jeweiligen Pixels und eines benachbarten Pixels des jeweiligen Pixels berechnet. Der Farbsättigungsgradientenwert für ein gegebenes Pixel kann auch abhängig von einigen derartigen Differenzen für einige benachbarte Pixel, insbesondere für alle benachbarten Pixel, des jeweiligen Pixels berechnet werden. Zum Beispiel kann die jeweilige Differenz zwischen dem Farbsättigungswert des jeweiligen Pixels und aller seiner benachbarten Pixel berechnet werden und der Farbsättigungsgradientenwert für das jeweilige Pixel kann durch den Mittelwert der berechneten Differenzen oder das Maximum der berechneten Differenzen gegeben sein. Dabei können unterschiedliche Definitionen von benachbarten Pixeln verwendet werden. Zum Beispiel kann ein benachbartes Pixel ein Pixel sein, welches mit dem jeweiligen Pixel gemäß einer 4-Konnektivität oder einer 8-Konnektivität und so weiter verbunden ist.The color saturation gradient value for a given pixel is calculated, for example, depending on a difference between the color saturation value of the respective pixel and a neighboring pixel of the respective pixel. The color saturation gradient value for a given pixel can also be calculated depending on some such differences for some neighboring pixels, in particular for all neighboring pixels, of the respective pixel. For example, the respective difference between the color saturation value of the respective pixel and all of its neighboring pixels can be calculated, and the color saturation gradient value for the respective pixel can be given by the mean of the calculated differences or the maximum of the calculated differences. Different definitions of neighboring pixels can be used. For example, a neighboring pixel can be a pixel that is connected to the respective pixel according to a 4-connectivity or an 8-connectivity, and so on.

Folglich wird bei derartigen Ausführungen ausgenutzt, dass die Farbsättigungsgradientenwerte für Pixel, die eine Einsatzfahrzeug-Lichteinheit abbilden, charakteristisch sind. Somit wird die Zuverlässigkeit zur Reduzierung falsch positiver Detektionen weiter erhöht.Consequently, such designs take advantage of the fact that the color saturation gradient values for pixels that represent an emergency vehicle's light unit. This further increases the reliability for reducing false positive detections.

Gemäß einigen Ausführungen wird eine Teilmenge des Satzes von Pixeln bestimmt, sodass der Farbsättigungsgradientenwert jedes Pixels der Teilmenge zumindest gleich einem vordefinierten zweiten Grenzwert ist. Das Ergebnis der Validierung ist nur dann positiv, wenn ein Verhältnis einer Anzahl von Pixeln der Teilmenge von Pixeln zu der Anzahl weißer Pixel in dem Bildbereich zumindest gleich einem vordefinierten dritten Grenzwert ist.According to some embodiments, a subset of the set of pixels is determined such that the color saturation gradient value of each pixel of the subset is at least equal to a predefined second threshold. The result of the validation is only positive if a ratio of a number of pixels of the subset of pixels to the number of white pixels in the image area is at least equal to a predefined third threshold.

Zum Beispiel enthält die Teilmenge alle Pixel des Satzes von Pixeln, deren Farbsättigungsgradientenwert zumindest gleich dem zweiten Grenzwert ist.For example, the subset contains all pixels of the set of pixels whose color saturation gradient value is at least equal to the second threshold.

Die Teilmenge entspricht Pixeln mit einem relativ hohen Farbsättigungsgradientenwert, auch als Hochgradientenpixel bezeichnet. Zum Beispiel kann der zweite Grenzwert einer Differenz bei Farbsättigungswerten in dem Bereich [10%, 70%] oder in dem Bereich [10%, 50%] entsprechen. Der dritte Grenzwert kann zum Beispiel in dem Bereich [0,1 , 0,4] oder in dem Bereich [0,1 , 0.3] liegen. Folglich ist das Ergebnis der Validierung nur dann positiv, wenn ein relativ großer Anteil der Pixel des Satzes von Pixeln Hochgradientenpixel sind. Das wird für Pixel, die eine Einsatzfahrzeug-Lichteinheit abbilden, erwartet. Somit wird die Zuverlässigkeit zur Reduzierung falsch positiver Detektionen weiter erhöht.The subset corresponds to pixels with a relatively high color saturation gradient value, also referred to as high-gradient pixels. For example, the second threshold can correspond to a difference in color saturation values in the range [10%, 70%] or in the range [10%, 50%]. The third threshold can, for example, be in the range [0.1, 0.4] or in the range [0.1, 0.3]. Consequently, the validation result is only positive if a relatively large proportion of the pixels in the set are high-gradient pixels. This is expected for pixels representing an emergency vehicle light unit. This further increases the reliability for reducing false positive detections.

Gemäß einigen Ausführungen enthält der Bildbereich eine Vielzahl von Pixelspalten, die durch jeweilige Spaltennummern, zum Beispiel als 1, 2, 3, ... N_C, aufeinanderfolgend nummeriert sind. Eine mittlere Spaltennummer aller Pixel des Satzes von Pixeln wird berechnet. Das Ergebnis der Validierung ist nur dann positiv, wenn die mittlere Spaltennummer innerhalb eines vordefinierten Spaltennummerbereichs liegt. Insbesondere enthält der Bildbereich bei derartigen Ausführungen alle Pixel der Licht-Begrenzungsbox.According to some embodiments, the image area contains a plurality of pixel columns sequentially numbered by respective column numbers, for example, as 1, 2, 3, ... _NC . An average column number of all pixels in the set of pixels is calculated. The validation result is only positive if the average column number lies within a predefined column number range. In particular, in such embodiments, the image area contains all pixels of the light bounding box.

Die mittlere Spaltennummer ist der Mittelwert der Spaltennummern aller Pixel des Satzes von Pixeln. Der Spaltennummerbereich ist zum Beispiel gegeben durch [C_min, C_max] mit C_min > 1 und C_max < N_C. Zum Beispiel liegt C_min in dem Bereich [0,05*N_C, 0,25*N_C] oder in dem Bereich [0,1*N_C, 0,2*N_C]. Zum Beispiel liegt C_max in dem Bereich [0,75*N_C, 0,95*N_C] oder in dem Bereich [0,8*N_C, 0,9*N_C].The mean column number is the average of the column numbers of all pixels in the set. The column number range is given, for example, by [C _min , C _max ] with C _min > 1 and C _max < N _C . For example, C _min lies in the range [0.05*N _C , 0.25*N _C ] or in the range [0.1*N _C , 0.2*N _C ]. For example, C _max lies in the range [0.75*N _C , 0.95*N _C ] or in the range [0.8*N _C , 0.9*N _C ].

Auf diese Weise ist die Validierung nur positiv, wenn sich die Pixel des Satzes von Pixeln vorwiegend entfernt von den Randspalten befinden. In einer validen Licht-Begrenzungsbox ist dies zu erwarten. Somit wird die Zuverlässigkeit zur Reduzierung falsch positiver Detektionen weiter erhöht.In this way, validation is only positive if the pixels in the set are predominantly located away from the edge columns. This is to be expected in a valid light bounding box. This further increases the reliability for reducing false positive detections.

Gemäß einigen Ausführungen enthält der Bildbereich eine Vielzahl von Pixelreihen, die durch jeweilige Reihennummern, zum Beispiel als 1, 2, 3, ..., N_R, aufeinanderfolgend nummeriert sind. Eine mittlere Reihennummer aller Pixel des Satzes von Pixeln wird berechnet. Das Ergebnis der Validierung ist nur dann positiv, wenn die mittlere Reihennummer innerhalb eines vordefinierten Reihennummerbereichs liegt. Insbesondere enthält der Bildbereich alle Pixel der Licht-Begrenzungsbox bei derartigen Ausführungen.According to some implementations, the image area contains a plurality of pixel rows sequentially numbered by respective row numbers, for example, as 1, 2, 3, ..., N _R . An average row number of all pixels in the set of pixels is calculated. The validation result is positive only if the average row number lies within a predefined row number range. In particular, the image area contains all pixels of the light bounding box in such implementations.

Insbesondere ist das Ergebnis der Validierung nur dann positiv, wenn die mittlere Reihennummer innerhalb des vordefinierten Reihennummerbereichs liegt und die mittlere Spaltennummer innerhalb des vordefinierten Spaltennummerbereichs liegt.In particular, the validation result is only positive if the middle row number is within the predefined row number range and the middle column number is within the predefined column number range.

Die mittlere Reihennummer ist der Mittelwert der Reihennummern aller Pixel des Satzes von Pixeln. Der Reihennummerbereich ist zum Beispiel durch [R_min, R_max] mit R_min > 1 und R_max < N_R gegeben. Zum Beispiel liegt R_min in dem Bereich [0,05*N_R, 0,25*N_R] oder in dem Bereich [0,1*N_R, 0,2*N_R]. Zum Beispiel liegt R_max in dem Bereich [0,75*N_R, 0,95*N_R] oder in dem Bereich [0,8*N_R, 0,9*N_R].The mean row number is the average of the row numbers of all pixels in the set. The row number range is given, for example, by [R _min , R _max ] with R _min > 1 and R _max < N _R . For example, R _min lies in the range [0.05*N _R , 0.25*N _R ] or in the range [0.1*N _R , 0.2*N _R ]. For example, R _max lies in the range [0.75*N _R , 0.95*N _R ] or in the range [0.8*N _R , 0.9*N _R ].

Auf diese Weise ist die Validierung nur positiv, wenn sich die Pixel des Satzes von Pixeln vorwiegend weg von den Randspalten befinden. In einer validen Licht-Begrenzungsbox ist dies zu erwarten. Somit wird die Zuverlässigkeit zur Reduzierung falsch positiver Detektionen weiter erhöht.In this way, validation is only positive if the pixels in the set are predominantly located away from the edge columns. This is to be expected in a valid light bounding box. This further increases the reliability for reducing false positive detections.

Gemäß einigen Ausführungen werden die Pixel des Satzes von Pixeln gemäß ihrer Farbsättigungswerte in vordefinierte Bins, insbesondere zwei oder mehr vordefinierte Bins, zum Beispiel drei oder mehr Bins oder vier oder mehr Bins, gebinnt. Das Ergebnis der Validierung ist nur dann positiv, wenn jede von zumindest zwei der Bins eine Anzahl von Pixeln enthält, die zumindest ein vordefinierter vierter Grenzwert ist.According to some embodiments, the pixels of the set of pixels are binned into predefined bins according to their color saturation values, in particular two or more predefined bins, for example, three or more bins or four or more bins. The result of the validation is only positive if each of at least two of the bins contains a number of pixels that is at least a predefined fourth threshold.

Die Bins können zum Beispiel den möglichen Bereich der Farbsättigungswerte in gleiche Teile aufteilen. Zum Beispiel können sie im Fall von zwei Bins Farbsättigungswerten in den Bereichen [0%, 50%[und [50%, 100%] entsprechen, im Fall von vier Bins, können sie Farbsättigungswerten in den Bereichen [0%, 25%[, [25%, 50%[, [50%, 75%[ und [75%, 100%] entsprechen und so weiter. Der vierte Grenzwert kann zum Beispiel in dem Bereich [0,3*N/B, N/B] oder in dem Bereich [0,4*N/B, 0,8*N/B] liegen, wobei N die Anzahl von Pixeln in dem Satz von Pixeln, zum Beispiel N=N_C*N_R, ist und B die Gesamtanzahl der Bins ist.The bins can, for example, divide the possible range of color saturation values into equal parts. For example, in the case of two bins, they can correspond to color saturation values in the ranges [0%, 50% and [50%, 100%]; in the case of four bins, they can correspond to color saturation values in the ranges [0%, 25%, 25%, 50%, 50%, 75% and [75%, 100%]], and so on. The fourth limit can, for example, be in the range [0.3*N/B, N/B] or in the range [0.4*N/B, 0.8*N/B], where N is the number of pixels in the set of pixels, for example N=N _C *N _R , and B is the total number of bins.

Folglich ist das Ergebnis der Validierung nur dann positiv, wenn der Satz von Pixeln einen relativ breiten Bereich von Farbsättigungswerten abdeckt. In einer validen Licht-Begrenzungsbox ist dies zu erwarten. Somit wird die Zuverlässigkeit zur Reduzierung falsch positiver Detektionen weiter erhöht.Consequently, the validation result is only positive if the set of pixels covers a relatively broad range of color saturation values. This is to be expected in a valid light bounding box. This further increases the reliability for reducing false positive detections.

Gemäß einigen Ausführungen wird eine Fahrzeugbegrenzungsbox für das Einsatzfahrzeug durch Anwenden des Objektdetektionsalgorithmus oder einen weiteren Objektdetektionsalgorithmus auf die Eingabedaten insbesondere in dem Kamerabild bestimmt.According to some embodiments, a vehicle bounding box for the emergency vehicle is determined by applying the object detection algorithm or another object detection algorithm to the input data, in particular in the camera image.

Gemäß einigen Ausführungen wird eine Überlappung der Licht-Begrenzungsbox und der Fahrzeug-Begrenzungsbox bestimmt. Das Ergebnis der Validierung ist nur dann positiv, wenn die Überlappung größer als eine vordefinierte Mindestüberlappung ist.According to some implementations, an overlap between the light boundary box and the vehicle boundary box is determined. The validation result is only positive if the overlap is greater than a predefined minimum overlap.

Die Überlappung kann zum Beispiel als eine Intersection-Over-Union, IOU, oder gemäß einer anderen Definition berechnet werden. Die Mindestüberlappung kann bei manchen Ausführungsformen auch Null sein. Bei anderen Ausführungen kann die Mindestüberlappung einer Situation entsprechen, bei der die Licht-Begrenzungsbox vollständig innerhalb der Fahrzeug-Begrenzungsbox liegt.The overlap may be calculated, for example, as an intersection-over-union (IOU) or according to another definition. The minimum overlap may also be zero in some embodiments. In other embodiments, the minimum overlap may correspond to a situation where the light bounding box lies entirely within the vehicle bounding box.

Insbesondere ist das Ergebnis der Validierung nur dann positiv, wenn die Überlappung gegebenenfalls größer als eine vordefinierte Mindestüberlappung für zumindest eine der Vielzahl von Licht-Begrenzungsboxen ist.In particular, the validation result is only positive if the overlap is larger than a predefined minimum overlap for at least one of the plurality of light boundary boxes.

Folglich ist das Ergebnis der Validierung nur dann positiv, wenn die Licht-Begrenzungsbox zumindest teilweise mit der Fahrzeug-Begrenzungsbox überlappt. Somit wird die Zuverlässigkeit zur Reduzierung falsch positiver Detektionen weiter erhöht.Consequently, the validation result is only positive if the light boundary box at least partially overlaps with the vehicle boundary box. This further increases the reliability and reduces false positive detections.

Gemäß einigen Ausführungen wird ein weiterer Bildbereich des Kamerabilds, der von der Fahrzeug-Begrenzungsbox umschlossen ist, bestimmt und ein Farbsättigungswert wird für einen weiteren Satz von Pixeln des weiteren Bildbereichs bestimmt. Eine weitere Licht-Begrenzungsbox innerhalb der Fahrzeug-Begrenzungsbox wird basierend auf einer Auswertung der bestimmten Farbsättigungswerte des weiteren Satzes von Pixeln gemäß einer vordefinierten weiteren Spezifikation bestimmt.According to some embodiments, a further image area of the camera image enclosed by the vehicle bounding box is determined, and a color saturation value is determined for a further set of pixels of the further image area. A further light bounding box within the vehicle bounding box is determined based on an evaluation of the determined color saturation values of the further set of pixels according to a predefined further specification.

Folglich lassen sich auch falsch negative Detektionen von Einsatzfahrzeug-Lichteinheiten oder mit anderen Worten falsche Nicht-Detektionen von Einsatzfahrzeug-Lichteinheiten, durch den Objektdetektionsalgorithmus wiederherstellen oder kompensieren.Consequently, false negative detections of emergency vehicle light units, or in other words false non-detections of emergency vehicle light units, can also be recovered or compensated by the object detection algorithm.

Bei manchen Ausführungen wird die weitere Licht-Begrenzungsbox nur dann bestimmt, wenn die Validierung der Licht-Begrenzungsbox gegebenenfalls nicht positiv, insbesondere nicht positiv für eine der Vielzahl von Licht-Begrenzungsboxen, ist.In some embodiments, the further light boundary box is only determined if the validation of the light boundary box is not positive, in particular not positive for one of the plurality of light boundary boxes.

Zum Beispiel kann die Detektion des Einsatzfahrzeugs bestätigt werden, wenn, zum Beispiel genau dann, wenn die Validierung der Licht-Begrenzungsbox positiv für eine der Vielzahl von Licht-Begrenzungsboxen ist oder wenn die weitere Licht-Begrenzungsbox erfolgreich bestimmt wird.For example, the detection of the emergency vehicle can be confirmed if, for example, if and only if the validation of the light boundary box is positive for one of the plurality of light boundary boxes or if the further light boundary box is successfully determined.

Gemäß einigen Ausführungen weist der weitere Satz von Pixeln nur Pixel des weiteren Bildbereichs auf, die einen Farbtonwert innerhalb eines vordefinierten weiteren Farbtonbereichs aufweisen.According to some embodiments, the further set of pixels comprises only pixels of the further image area that have a hue value within a predefined further hue range.

Der weitere Farbtonbereich kann ein einziger zusammenhängender Bereich sein, zum Beispiel [330°, 30°] oder [345°, 15°], was Rot, Orange und ähnlichen Farben entspricht, oder [195°, 285°] oder [210°, 270°], was Blau, Blau-Zyan, Violett und ähnlichen Farben entspricht. Der weitere Farbtonbereich ist jedoch nicht notwendigerweise zusammenhängend, sondern kann durch zwei oder mehr nicht zusammenhängende Teilbereiche wie [330°, 30°] ∪ [195°, 285°] oder [345°, 15°] ∪ [210°, 270°] oder [330°, 30°] ∪ [210°, 270°] oder [345°, 15°] ∪ [195°, 285°] gegeben sein. Der weitere Farbtonbereich kann auch identisch zu dem Farbtonbereich in manchen Ausführungen sein.The wider hue range may be a single contiguous range, for example, [330°, 30°] or [345°, 15°], corresponding to red, orange, and similar colors, or [195°, 285°] or [210°, 270°], corresponding to blue, blue-cyan, violet, and similar colors. However, the wider hue range is not necessarily contiguous, but may be given by two or more non-contiguous subranges, such as [330°, 30°] ∪ [195°, 285°] or [345°, 15°] ∪ [210°, 270°], or [330°, 30°] ∪ [210°, 270°] or [345°, 15°] ∪ [195°, 285°]. The further color range may also be identical to the color range in some versions.

Folglich ist die Wahrscheinlichkeit, falsch negative Detektionen wiederherzustellen, weiter erhöht.Consequently, the probability of recovering false negative detections is further increased.

Gemäß einigen Ausführungen beinhaltet der weitere Satz von Pixeln nur Pixel des weiteren Bildbereichs, deren Farbsättigungsgradientenwert zumindest gleich einem vordefinierten fünften Grenzwert ist.According to some embodiments, the further set of pixels includes only pixels of the further image area whose color saturation gradient value is at least equal to a predefined fifth threshold.

Gemäß einigen Ausführungen wird der weitere Satz von Pixeln in zwei oder mehr Pixelgruppen zusammenhängender Pixel gruppiert. Eine Gruppen-Begrenzungsbox wird für jede Pixelgruppe der zwei oder mehr Pixelgruppen bestimmt. Die weitere Licht-Begrenzungsbox wird als eine der Gruppen-Begrenzungsboxen der zwei oder mehr Pixelgruppen bestimmt.According to some embodiments, the further set of pixels is grouped into two or more pixel groups of contiguous pixels. A group bounding box is determined for each pixel group of the two or more pixel groups. The further light bounding box is determined as one of the group bounding boxes of the two or more pixel groups.

Die zusammenhängenden Pixel können zum Beispiel gemäß einer 8-Konnektivität verbunden sein. Jede Gruppen-Begrenzungsbox kann als eine potenziell eine Einsatzfahrzeug-Lichteinheit des Einsatzfahrzeugs umschließend erachtet werden.The contiguous pixels may, for example, be connected according to a figure-8 connectivity. Each group bounding box may be considered to potentially enclose an emergency vehicle light unit of the emergency vehicle.

Gemäß einigen Ausführungen wird ein Konfidenzwert für jede Pixelgruppe der zwei oder mehr Pixelgruppen abhängig von einer Gesamtanzahl von Pixeln, die in der jeweiligen Pixelgruppe enthalten sind, berechnet. Die weitere Licht-Begrenzungsbox wird abhängig von den Konfidenzwerten der zwei oder mehr Pixelgruppen bestimmt.According to some embodiments, a confidence value is calculated for each pixel group of the two or more pixel groups depending on a total number of pixels contained in the respective pixel group. The further light bounding box is determined depending on the confidence values of the two or more pixel groups.

Der Konfidenzwert kann zum Beispiel proportional zu der Gesamtanzahl der Pixel sein, die in der jeweiligen Pixelgruppe enthalten sind, oder mit der Gesamtanzahl von Pixeln, die in der jeweiligen Pixelgruppe enthalten sind, skalieren, sodass eine höhere Gesamtanzahl einem höheren Konfidenzwert entspricht.For example, the confidence value may be proportional to the total number of pixels contained in the respective pixel group, or scale with the total number of pixels contained in the respective pixel group, so that a higher total number corresponds to a higher confidence value.

Zum Beispiel kann die Pixelgruppe mit dem höchsten Konfidenzwert als die weitere Licht-Begrenzungsbox bestimmt werden. Eine komplexere Auswertung ist jedoch ebenso möglich.For example, the pixel group with the highest confidence value can be determined as the further light bounding box. However, a more complex evaluation is also possible.

Zum Beispiel können eine oder mehrere Über-Gruppen, die alle Pixelgruppen beinhalten, die einander überlappen, bestimmt werden. Jede Über-Gruppe kann derart betrachtet werden, dass sie eine potenzielle Einsatzfahrzeug-Lichteinheit darstellt. Nicht-Maximumunterdrückung (englisch: non-maximum suppression) oder ein ähnliches Auswahlverfahren kann basierend auf den Konfidenzwerten dazu benutzt werden, eine Pixelgruppe pro Über-Gruppe auszuwählen. Die jeweiligen Gruppen-Begrenzungsboxen jeder ausgewählten Pixelgruppe kann als eine jeweilige weitere Licht-Begrenzungsbox benutzt werden. Bei manchen Ausführungen können die jeweiligen Gruppen-Begrenzungsboxen jeder ausgewählten Pixelgruppe als eine jeweilige weitere Licht-Begrenzungsbox benutzt werden, sofern die jeweilige ausgewählte Pixelgruppe einen Konfidenzwert hat, der zumindest gleich einem vordefinierten Mindestkonfidenzwert, zum Beispiel in dem Bereich [0,02 , 0,1], ist.For example, one or more supergroups containing all pixel groups that overlap each other may be determined. Each supergroup may be considered to represent a potential emergency vehicle light unit. Non-maximum suppression or a similar selection method may be used to select one pixel group per supergroup based on the confidence values. The respective group bounding boxes of each selected pixel group may be used as a respective further light bounding box. In some implementations, the respective group bounding boxes of each selected pixel group may be used as a respective further light bounding box, provided that the respective selected pixel group has a confidence value that is at least equal to a predefined minimum confidence value, for example, in the range [0.02, 0.1].

Für Anwendungsfälle und Anwendungssituationen, die sich bei einem erfindungsgemäßen computerimplementierten Verfahren ergeben und die hier nicht explizit beschrieben sind, kann es verfahrensgemäß vorgesehen sein, dass eine Fehlermeldung und/oder eine Aufforderung zur Benutzerrückmeldung ausgegeben wird und/oder eine Standardeinstellung und/oder ein vorbestimmter Ausgangszustand eingestellt wird.For applications and application situations that arise in a computer-implemented method according to the invention and that are not explicitly described here, it can be provided according to the method that an error message and/or a request for user feedback is output and/or a standard setting and/or a predetermined initial state is set.

Gemäß einem weiteren Aspekt der Erfindung wird ein Verfahren zum zumindest teilweise automatischen Führen eines Kraftfahrzeugs bereitgestellt. Dabei wird ein erfindungsgemäßes computerimplementiertes Verfahren zum Detektieren eines Einsatzfahrzeugs durchgeführt. Zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Kraftfahrzeugs wird abhängig von der Licht-Begrenzungsbox und/oder Fahrerassistenzinformationen zum Assistieren eines Fahrers beim Führen des Kraftfahrzeugs abhängig von der Licht-Begrenzungsbox erzeugt.According to a further aspect of the invention, a method for at least partially automatically driving a motor vehicle is provided. A computer-implemented method according to the invention for detecting an emergency vehicle is carried out. At least one control signal for at least partially automatically driving the motor vehicle is generated depending on the light boundary box and/or driver assistance information for assisting a driver in driving the motor vehicle depending on the light boundary box.

Das zumindest eine Steuersignal kann zum Beispiel einem oder mehreren Aktuatoren des Kraftfahrzeugs, einschließlich zum Beispiel eines oder mehrerer Bremsaktuatoren und/oder eines oder mehrerer Lenkaktuatoren und/oder eines oder mehrerer Antriebsmotoren, bereitgestellt werden. Der eine oder die mehreren Aktuatoren können eine Längs- und/oder Quersteuerung des Kraftfahrzeugs beeinflussen, um das Kraftfahrzeug zumindest teilweise automatisch zu führen.The at least one control signal can be provided, for example, to one or more actuators of the motor vehicle, including, for example, one or more brake actuators and/or one or more steering actuators and/or one or more drive motors. The one or more actuators can influence a longitudinal and/or lateral control of the motor vehicle in order to guide the motor vehicle at least partially automatically.

Die Fahrerassistenzinformationen können mittels eines Ausgabegeräts des Kraftfahrzeugs, zum Beispiel eines Displays und/oder eines Audioausgabesystems und/oder eines haptischen Ausgabesystems ausgegeben werden.The driver assistance information can be output by means of an output device of the motor vehicle, for example a display and/or an audio output system and/or a haptic output system.

Das zumindest eine Steuersignal und/oder die Fahrerassistenzinformationen können gegebenenfalls auch abhängig von der Fahrzeug-Begrenzungsbox erzeugt werden.The at least one control signal and/or the driver assistance information may also be generated depending on the vehicle boundary box.

Bei manchen Ausführungen werden das zumindest eine Steuersignal und/oder die Fahrerassistenzinformationen abhängig von der Licht-Begrenzungsbox, zum Beispiel abhängig von der Licht-Begrenzungsbox und der Fahrzeug-Begrenzungsbox, erzeugt, wenn das Ergebnis der Validierung positiv ist. Das zumindest eine Steuersignal und/oder die Fahrerassistenzinformationen werden abhängig von der weiteren Licht-Begrenzungsbox, zum Beispiel abhängig von der weiteren Licht-Begrenzungsbox und der Fahrzeug-Begrenzungsbox, erzeugt, wenn das Ergebnis der Validierung nicht positiv ist.In some embodiments, the at least one control signal and/or the driver assistance information are generated depending on the light boundary box, for example, depending on the light boundary box and the vehicle boundary box, if the validation result is positive. The at least one control signal and/or the driver assistance information are generated depending on the additional light boundary box, for example, depending on the additional light boundary box and the vehicle boundary box, if the validation result is not positive.

Gemäß einem weiteren Aspekt der Erfindung wird ein Datenverarbeitungsgerät bereitgestellt. Das Datenverarbeitungsgerät beinhaltet zumindest eine Recheneinheit, die dazu angepasst ist, ein erfindungsgemäßes computerimplementiertes Verfahren zum Detektieren eines Einsatzfahrzeugs oder ein erfindungsgemäßes Verfahren zum zumindest teilweise automatischen Führen eines Kraftfahrzeugs durchzuführen.According to a further aspect of the invention, a data processing device is provided. The data processing device includes at least one computing unit adapted to carry out a computer-implemented method according to the invention for detecting an emergency vehicle or a method according to the invention for at least partially automatically driving a motor vehicle.

In der vorliegenden Offenbarung kann eine Recheneinheit insbesondere als ein Datenverarbeitungsgerät, welches Verarbeitungsschaltkreise beinhaltet, verstanden werden. Eine Recheneinheit kann somit Rechenoperationen durchführen, um Daten zu verarbeiten. Die Rechenoperationen können auch indizierte Zugriffe auf eine Datenstruktur, beispielsweise eine Look-Up-Tabelle, LUT, umfassen.In the present disclosure, a computing unit may be defined in particular as a data processing device comprising processing circuits A computing unit can thus perform arithmetic operations to process data. The arithmetic operations can also include indexed access to a data structure, such as a look-up table (LUT).

Insbesondere kann eine Recheneinheit einen oder mehrere Computer, einen oder mehrere Mikrocontroller und/oder einen oder mehrere integrierte Schaltkreise, beispielsweise eine oder mehrere anwendungsspezifische integrierte Schaltungen, ASIC (englisch: „application-specific integrated circuit“), eines oder mehrere feldprogrammierbare Gate Arrays, FPGA, und/oder eines oder mehrere Einchipsysteme, SoC (englisch: „system on a chip“), enthalten. Die Recheneinheit kann auch einen oder mehrere Prozessoren, zum Beispiel einen oder mehrere Mikroprozessoren, eine oder mehrere zentrale Prozessoreinheiten, CPU (englisch: „central processing unit“), eine oder mehrere Grafikprozessoreinheiten, GPU (englisch: „graphics processing unit“) und/oder einen oder mehrere Signalprozessoren, insbesondere einen oder mehrere digitale Signalprozessoren, DSP, enthalten. Die Recheneinheit kann auch einen physischen oder einen virtuellen Verbund von Computern oder sonstigen der genannten Einheiten beinhalten.In particular, a computing unit can contain one or more computers, one or more microcontrollers and/or one or more integrated circuits, for example one or more application-specific integrated circuits (ASICs), one or more field-programmable gate arrays (FPGAs), and/or one or more single-chip systems (SoCs). The computing unit can also contain one or more processors, for example one or more microprocessors, one or more central processing units (CPUs), one or more graphics processing units (GPUs), and/or one or more signal processors, in particular one or more digital signal processors (DSPs). The computing unit can also include a physical or virtual network of computers or other of the aforementioned units.

Eine Recheneinheit kann auch eine oder mehrere Hardware- und/oder Softwareschnittstellen und/oder eine oder mehrere Speichereinheiten beinhalten. Dabei kann eine Speichereinheit als flüchtiger Datenspeicher, beispielsweise als dynamischer Speicher mit wahlfreiem Zugriff, DRAM (englisch: „dynamic random access memory“) oder statischer Speicher mit wahlfreiem Zugriff, SRAM (englisch: „static random access memory“), oder als nicht-flüchtiger Datenspeicher, beispielsweise als Festwertspeicher, ROM (englisch: „read-only memory“), als programmierbarer Festwertspeicher, PROM (englisch: „programmable read-only memory“), als löschbarer Festwertspeicher, EPROM (englisch: „erasable read-only memory“), als elektrisch löschbarer Festwertspeicher, EEPROM (englisch: „electrically erasable read-only memory“), als Flash-Speicher oder Flash-EEPROM, als ferroelektrischer Speicher mit wahlfreiem Zugriff, FRAM (englisch: „ferroelectric random access memory“), als magnetoresistiver Speicher mit wahlfreiem Zugriff, MRAM (englisch: „magnetoresistive random access memory“) oder als Phasenänderungsspeicher mit wahlfreiem Zugriff, PCRAM (englisch: „phase-change random access memory“), implementiert sein.A computing unit may also include one or more hardware and/or software interfaces and/or one or more memory units. A memory unit can be a volatile data memory, for example a dynamic random access memory (DRAM) or a static random access memory (SRAM), or a non-volatile data memory, for example a read-only memory (ROM), a programmable read-only memory (PROM), an erasable read-only memory (EPROM), an electrically erasable read-only memory (EEPROM), a flash memory or flash EEPROM, a ferroelectric random access memory (FRAM), a magnetoresistive random access memory (MRAM), or a phase-change random access memory (PCRAM). “phase-change random access memory”).

Gemäß einem weiteren Aspekt der Erfindung wird ein elektronisches Fahrzeugführungssystem für ein Kraftfahrzeug, welches ein erfindungsgemäßes Datenverarbeitungsgerät aufweist, bereitgestellt.According to a further aspect of the invention, an electronic vehicle guidance system for a motor vehicle is provided, which has a data processing device according to the invention.

Gemäß einigen Ausführungen weist das elektronische Fahrzeugführungssystem eine Kamera für das Kraftfahrzeug auf, welche dazu eingerichtet ist, das Kamerabild zu erzeugen.According to some embodiments, the electronic vehicle guidance system comprises a camera for the motor vehicle, which is configured to generate the camera image.

Ein elektronisches Fahrzeugführungssystem kann als ein elektronisches System verstanden werden, welches dazu eingerichtet ist, ein Fahrzeug vollautomatisch oder vollautonom und insbesondere, ohne dass ein manuelles Eingreifen oder Steuern durch einen Fahrer oder Benutzer des Fahrzeugs notwendig wäre, zu führen. Das Fahrzeug führt alle erforderlichen Funktionen, wie etwa Lenkmanöver, Abbremsmanöver und/oder Beschleunigungsmanöver sowie Überwachung und Aufzeichnung des Straßenverkehrs sowie entsprechende Reaktionen automatisch aus. Insbesondere kann das elektronische Fahrzeugführungssystem einen vollautomatischen oder vollautonomen Fahrmodus gemäß Stufe 5 der SAE J3016 Klassifikation implementieren. Ein elektronisches Fahrzeugführungssystem kann auch als ein Fahrerassistenzsystem, ADAS, implementiert sein, welches einem Fahrer beim teilautomatischen oder teilautonomen Fahren assistiert. Insbesondere kann das elektronische Fahrzeugführungssystem einen teilautomatischen oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 der SAE J3016 Klassifikation implementieren. Hier und im Folgenden bezieht sich SAE J3016 auf den entsprechenden Standard mit Datum vom April 2021.An electronic vehicle guidance system can be understood as an electronic system designed to guide a vehicle fully automatically or autonomously, and in particular without requiring manual intervention or control by a driver or user of the vehicle. The vehicle automatically performs all required functions, such as steering maneuvers, braking maneuvers, and/or acceleration maneuvers, as well as monitoring and recording road traffic and corresponding reactions. In particular, the electronic vehicle guidance system can implement a fully automatic or fully autonomous driving mode according to level 5 of the SAE J3016 classification. An electronic vehicle guidance system can also be implemented as a driver assistance system (ADAS), which assists a driver in semi-automatic or semi-autonomous driving. In particular, the electronic vehicle guidance system can implement a semi-automatic or semi-autonomous driving mode according to levels 1 to 4 of the SAE J3016 classification. Here and below, SAE J3016 refers to the corresponding standard dated April 2021.

Das wenigstens teilweise automatische Führen des Fahrzeugs kann daher ein Führen des Fahrzeugs gemäß einem vollautomatischen oder vollautonomen Fahrmodus nach Stufe 5 der SAE J3016 Klassifikation beinhalten. Das wenigstens teilweise automatische Führen des Fahrzeugs kann auch ein Führen des Fahrzeugs gemäß einem teilautomatischen oder teilautonomen Fahrmodus nach den Stufen 1 bis 4 der SAE J3016 Klassifikation beinhalten.The at least partially automatic driving of the vehicle can therefore include driving the vehicle according to a fully automatic or fully autonomous driving mode according to level 5 of the SAE J3016 classification. The at least partially automatic driving of the vehicle can also include driving the vehicle according to a partially automatic or partially autonomous driving mode according to levels 1 to 4 of the SAE J3016 classification.

Gemäß einem weiteren Aspekt der Erfindung wird ein Befehle beinhaltendes Computerprogramm bereitgestellt. Wenn die Befehle von einem Datenverarbeitungsgerät ausgeführt werden, veranlassen die Befehle das Datenverarbeitungsgerät dazu, ein erfindungsgemäßes computerimplementiertes Verfahren zur Detektion eines Einsatzfahrzeugs oder ein erfindungsgemäßes Verfahren zum zumindest teilweise automatischen Führen des Kraftfahrzeugs durchzuführen.According to a further aspect of the invention, a computer program containing instructions is provided. When the instructions are executed by a data processing device, the instructions cause the data processing device to perform a computer-implemented method according to the invention for detecting an emergency vehicle or a method according to the invention for at least partially automatically driving the motor vehicle.

Die Befehle können zum Beispiel als Programmcode bereitgestellt werden. Der Programmcode kann zum Beispiel als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache, zum Beispiel C, und/oder als Programmskript, zum Beispiel Python, bereitgestellt werden.The instructions can be provided, for example, as program code. The program code can be provided, for example, as binary code or assembly code and/or as source code of a programming language, for example, C, and/or as a program script, for example, Python.

Gemäß einem weiteren Aspekt der Erfindung wird ein computerlesbares Speichermedium bereitgestellt, welches ein erfindungsgemäßes Computerprogramm speichert.According to a further aspect of the invention, a computer-readable storage medium is provided which stores a computer program according to the invention.

Das Computerprogramm und das computerlesbare Speichermedium sind jeweilige Computerprogrammprodukte, die Befehle beinhalten.The computer program and the computer-readable storage medium are respective computer program products that contain instructions.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren gezeigten Merkmale und Merkmalskombinationen können von der Erfindung nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen umfasst sein. Insbesondere können auch Ausführungsformen und Merkmalskombinationen von der Erfindung umfasst sein, die nicht alle der Merkmale eines ursprünglich formulierten Anspruchs aufweisen. Darüber hinaus können Ausführungsformen und Merkmalskombinationen von der Erfindung umfasst sein, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder davon abweichen.Further features of the invention emerge from the claims, the figures and the description of the figures. The features and combinations of features mentioned above in the description as well as the features and combinations of features mentioned below in the description of the figures and/or shown in the figures can be encompassed by the invention not only in the respectively specified combination, but also in other combinations. In particular, embodiments and combinations of features can also be encompassed by the invention which do not have all of the features of an originally formulated claim. Furthermore, embodiments and combinations of features can be encompassed by the invention which go beyond or deviate from the combinations of features set out in the backreferences of the claims.

Im Folgenden wird die Erfindung anhand spezifischer beispielhafter Ausführungen und jeweiliger schematischer Zeichnungen im Einzelnen erläutert. In den Zeichnungen können identische oder funktionsgleiche Elemente mit denselben Bezugszeichen bezeichnet sein. Die Beschreibung identischer oder funktionsgleicher Elemente wird nicht notwendigerweise in Bezug auf unterschiedliche Figuren wiederholt.The invention is explained in detail below with reference to specific exemplary embodiments and corresponding schematic drawings. In the drawings, identical or functionally equivalent elements may be designated by the same reference numerals. The description of identical or functionally equivalent elements is not necessarily repeated with reference to different figures.

In den Figuren zeigen:

1 schematisch ein Kraftfahrzeug mit einer beispielhaften Ausführung eines erfindungsgemäßen elektronischen Fahrzeugführungssystems;
2 schematisch ein Flussdiagramm eines Algorithmus, der eine beispielhafte Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Detektieren eines Einsatzfahrzeugs implementiert;
3 schematisch ein Kamerabild, welches ein Einsatzfahrzeug abbildet;
4 schematisch eine Architektur eines Algorithmus, der einen Objektdetektionsalgorithmus zur Verwendung in einer weiteren beispielhaften Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Detektieren eines Einsatzfahrzeugs beinhaltet;
5 schematisch ein Blockdiagramm eines Nachbearbeitungsmoduls einer weiteren beispielhaften Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Detektieren eines Einsatzfahrzeugs;
6 schematisch ein Flussdiagramm einer Auswertung gemäß einer weiteren beispielhaften Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Detektieren eines Einsatzfahrzeugs;
7 schematisch ein Blockdiagramm eines Nachbearbeitungsmoduls einer weiteren beispielhaften Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Detektieren eines Einsatzfahrzeugs;
8 schematisch ein Flussdiagramm eines Objektverfolgungsalgorithmus, der eine weitere exemplarische Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Detektieren eines Einsatzfahrzeugs verwendet; und
9 schematisch ein weiteres Kamerabild, welches ein Einsatzfahrzeug abbildet.

The figures show:

1 schematically shows a motor vehicle with an exemplary embodiment of an electronic vehicle guidance system according to the invention;
2 schematically shows a flowchart of an algorithm that implements an exemplary embodiment of a computer-implemented method according to the invention for detecting an emergency vehicle;
3 schematically a camera image depicting an emergency vehicle;
4 schematically shows an architecture of an algorithm that includes an object detection algorithm for use in another exemplary embodiment of a computer-implemented method according to the invention for detecting an emergency vehicle;
5 schematically shows a block diagram of a post-processing module of a further exemplary embodiment of a computer-implemented method according to the invention for detecting an emergency vehicle;
6 schematically shows a flowchart of an evaluation according to a further exemplary embodiment of a computer-implemented method according to the invention for detecting an emergency vehicle;
7 schematically shows a block diagram of a post-processing module of a further exemplary embodiment of a computer-implemented method according to the invention for detecting an emergency vehicle;
8 schematically shows a flowchart of an object tracking algorithm using a further exemplary embodiment of a computer-implemented method according to the invention for detecting an emergency vehicle; and
9 schematically another camera image depicting an emergency vehicle.

1 zeigt schematisch ein Kraftfahrzeug 1 mit einer beispielhaften Ausführung eines erfindungsgemäßen elektronischen Fahrzeugführungssystems 2. Das elektronische Fahrzeugführungssystem 2 enthält ein erfindungsgemäßes Datenverarbeitungsgerät 3. Das Datenverarbeitungsgerät 3 beinhaltet zumindest eine Recheneinheit, die dazu angepasst ist, ein erfindungsgemäßes computerimplementiertes Verfahren zum Detektieren eines Einsatzfahrzeugs 6 durchzuführen. Das elektronische Fahrzeugführungssystem 2 kann auch eine Kamera 4 für das Kraftfahrzeug 1 beinhalten. 1 schematically shows a motor vehicle 1 with an exemplary embodiment of an electronic vehicle guidance system 2 according to the invention. The electronic vehicle guidance system 2 contains a data processing device 3 according to the invention. The data processing device 3 includes at least one computing unit adapted to carry out a computer-implemented method according to the invention for detecting an emergency vehicle 6. The electronic vehicle guidance system 2 can also include a camera 4 for the motor vehicle 1.

Die zumindest eine Recheneinheit kann zumindest ein Steuersignal zum zumindest teilweise automatischen Führen des Kraftfahrzeugs 1 und/oder Fahrerassistenzinformationen zum Assistieren eines Fahrers beim Führen des Kraftfahrzeugs 1 abhängig von dem Ergebnis des computerimplementierten Verfahrens erzeugen.The at least one computing unit can generate at least one control signal for at least partially automatically driving the motor vehicle 1 and/or driver assistance information for assisting a driver in driving the motor vehicle 1 depending on the result of the computer-implemented method.

2 zeigt schematisch ein Flussdiagramm eines Algorithmus, der eine beispielhafte Ausführung eines erfindungsgemäßen computerimplementierten Verfahrens zum Detektieren eines Einsatzfahrzeugs 6 implementiert. 2 schematically shows a flowchart of an algorithm that implements an exemplary embodiment of a computer-implemented method according to the invention for detecting an emergency vehicle 6.

Ein Kamerabild 5, welches das Einsatzfahrzeug 6 abbildet, wird erhalten und eine Licht-Begrenzungsbox 12 für eine Einsatzfahrzeug-Lichteinheit 10 wird durch Anwenden eines Objektdetektionsalgorithmus 13, 17 auf Eingabedaten, die von dem Kamerabild 5 abhängen, bestimmt. Der Objektdetektionsalgorithmus 13, 17 kann zum Beispiel durch ein CNN-Modul 7 implementiert sein, welches einen oder mehrere trainierte CNNs zum Ausführen einer oder mehrerer Computer-Vision-Aufgaben einschließlich des Objektdetektionsalgorithmus 13, 17 enthält.A camera image 5 depicting the emergency vehicle 6 is obtained, and a light bounding box 12 for an emergency vehicle light unit 10 is determined by applying an object detection algorithm 13, 17 to input data that depends on the camera image 5. The object detection algorithm 13, 17 can be implemented, for example, by a CNN module 7 that includes a or several trained CNNs to perform one or more computer vision tasks including the object detection algorithm 13, 17.

3 zeigt schematisch das Kamerabild 5, das Einsatzfahrzeug 6, die Einsatzfahrzeug-Lichteinheit 10 des Einsatzfahrzeugs 6, die Licht-Begrenzungsbox 12 sowie eine Fahrzeug-Begrenzungsbox 11 des Einsatzfahrzeugs 6, welche auch von einer Ausgabe des Objektdetektionsalgorithmus 13, 17 enthalten sein kann. 3 schematically shows the camera image 5, the emergency vehicle 6, the emergency vehicle light unit 10 of the emergency vehicle 6, the light boundary box 12 and a vehicle boundary box 11 of the emergency vehicle 6, which can also be contained by an output of the object detection algorithm 13, 17.

4 zeigt schematisch eine Architektur des CNN-Moduls 7, welche ein Encoder-Modul 13 und ein Decoder-Modul 17 zur Ausführung der Objektdetektion beinhaltet. Das CNN-Modul 7 kann auch eines oder mehrere weitere Decoder-Module 14, 15, 16 zur Ausführung jeweiliger weiterer Computer-Vision-Aufgaben, wie etwa zum Beispiel einen weiteren Objektdetektionsdecoder 14, einen semantischen Segmentierungsdecoder 15, einen Verschmutzungsdetektionsdecoder 16 und so weiter, beinhalten. Das Decoder-Modul 17 und die weiteren Decoder-Module 14, 15, 16 können das Encoder-Modul 13 teilen. Bei anderen Ausführungen können dedizierte Encoder-Module für unterschiedliche Decoder-Module 14, 15, 16, 17 benutzt werden. 4 schematically shows an architecture of the CNN module 7, which includes an encoder module 13 and a decoder module 17 for performing object detection. The CNN module 7 can also include one or more further decoder modules 14, 15, 16 for performing respective further computer vision tasks, such as, for example, a further object detection decoder 14, a semantic segmentation decoder 15, a pollution detection decoder 16, and so on. The decoder module 17 and the further decoder modules 14, 15, 16 can share the encoder module 13. In other implementations, dedicated encoder modules can be used for different decoder modules 14, 15, 16, 17.

Das Decoder-Modul 17 kann zum Beispiel dazu trainiert sein, nur Objekte spezifischer Objektklassen einschließlich von Einsatzfahrzeugen und Einsatzfahrzeug-Lichteinheiten zu detektieren. Das weitere Decoder-Modul 14 kann zum Beispiel für allgemeine Objektdetektion, zum Beispiel zum Detektieren von Fußgängern, Fahrbahnmarkierungen, Verkehrszeichen und so weiter trainiert sein.For example, the decoder module 17 can be trained to detect only objects of specific object classes, including emergency vehicles and emergency vehicle lighting units. The further decoder module 14 can be trained for general object detection, for example, for detecting pedestrians, road markings, traffic signs, and so on.

Das Kamerabild 5 und die Licht-Begrenzungsbox 12 werden in ein Nachbearbeitungsmodul 8 eingegeben, welches einen Bildbereich des Kamerabilds 5, der von der Licht-Begrenzungsbox 12 umschlossen ist, und einen Farbsättigungswert für einen Satz von Pixeln des Bildbereichs bestimmt. Das Nachbearbeitungsmodul 8 führt eine Validierung der Licht-Begrenzungsbox 12 aus, die eine Auswertung der bestimmten Farbsättigungswerte des Satzes von Pixeln gemäß einer vordefinierten Spezifikation beinhaltet. Eine Detektion des Einsatzfahrzeugs 6 wird bestätigt, wenn ein Ergebnis der Validierung positiv ist.The camera image 5 and the light bounding box 12 are input to a post-processing module 8, which determines an image area of the camera image 5 enclosed by the light bounding box 12 and a color saturation value for a set of pixels in the image area. The post-processing module 8 performs a validation of the light bounding box 12, which includes an evaluation of the determined color saturation values of the set of pixels according to a predefined specification. Detection of the emergency vehicle 6 is confirmed if a validation result is positive.

Bei manchen Ausführungen kann ein Anwendungsmodul 9 die Begrenzungsboxen 11, 12 beinhalten. Das Anwendungsmodul 9 kann zum Beispiel ein Verfolgungsmodul zum Verfolgen des Einsatzfahrzeugs 6 und die Einsatzfahrzeug-Lichteinheit 10 beziehungsweise ihre Begrenzungsboxen 11, 12 beinhalten.In some embodiments, an application module 9 may include the boundary boxes 11, 12. The application module 9 may, for example, include a tracking module for tracking the emergency vehicle 6 and the emergency vehicle light unit 10 or their boundary boxes 11, 12.

Bei einigen Ausführungen enthält die Ausgabe des CNN-Moduls 7 eine Vielzahl von Licht-Begrenzungsboxen 12 und die genannte Validierung wird für jede von ihnen ausgeführt. Die Detektion des Einsatzfahrzeugs 6 wird bestätigt, wenn ein Ergebnis der Validierung für zumindest eine der Licht-Begrenzungsboxen 12 positiv ist.In some embodiments, the output of the CNN module 7 includes a plurality of light bounding boxes 12, and the aforementioned validation is performed for each of them. Detection of the emergency vehicle 6 is confirmed if a validation result for at least one of the light bounding boxes 12 is positive.

5 zeigt schematisch ein Blockdiagramm des Nachbearbeitungsmoduls 8 einer weiteren beispielhaften Ausführung des computerimplementierten Verfahrens. Das Nachbearbeitungsmodul 8 weist eine Validierungsstufe 18 mit einem Farbsättigungsvalidierungsmodul 19 auf, welches die Farbsättigungswerte des Satzes von Pixeln gemäß der vordefinierten Spezifikation für jede Licht-Begrenzungsbox 12 auswertet. Ein Entscheidungsmodul 20 der Validierungsstufe 18 verwirft die jeweilige Licht-Begrenzungsbox 12, falls die Auswertung ergibt, dass die Spezifikation nicht erfüllt ist, und bestätigt andernfalls, dass die Spezifikation erfüllt ist. 5 shows a schematic block diagram of the post-processing module 8 of another exemplary embodiment of the computer-implemented method. The post-processing module 8 has a validation stage 18 with a color saturation validation module 19, which evaluates the color saturation values of the set of pixels according to the predefined specification for each light bounding box 12. A decision module 20 of the validation stage 18 rejects the respective light bounding box 12 if the evaluation shows that the specification is not met, and otherwise confirms that the specification is met.

Die Licht-Begrenzungsboxen 12, die nicht von dem Entscheidungsmodul 20 ausgefiltert werden, und die Fahrzeug-Begrenzungsbox 11 werden in ein Assoziationsmodul 21 des Nachbearbeitungsmoduls 8 eingegeben. Das Assoziationsmodul 21 bestimmt für jede dieser Licht-Begrenzungsboxen 12, ob sie teilweise innerhalb der Fahrzeug-Begrenzungsbox 11 liegt, oder, bei anderen Ausführungen, ob sie vollständig innerhalb der Fahrzeug-Begrenzungsbox 11 liegt. Ein weiteres Entscheidungsmodul 22 bestimmt, ob dies für zumindest eine der Licht-Begrenzungsboxen 12, der Fall ist, und leitet, wenn das der Fall ist, die Fahrzeugbegrenzungsbox 11 und die jeweilige zumindest eine der Licht-Begrenzungsboxen 12 an das Anwendungsmodul 9 weiter.The light boundary boxes 12 that are not filtered out by the decision module 20 and the vehicle boundary box 11 are input into an association module 21 of the post-processing module 8. The association module 21 determines for each of these light boundary boxes 12 whether it lies partially within the vehicle boundary box 11 or, in other embodiments, whether it lies entirely within the vehicle boundary box 11. A further decision module 22 determines whether this is the case for at least one of the light boundary boxes 12 and, if so, forwards the vehicle boundary box 11 and the respective at least one of the light boundary boxes 12 to the application module 9.

6 zeigt schematisch ein Flussdiagramm der Auswertung, die von dem Farbsättigungsvalidierungsmodul 19 durchgeführt wird, für eine weitere beispielhafte Ausführung des computerimplementierten Verfahrens. 6 schematically shows a flowchart of the evaluation performed by the color saturation validation module 19 for a further exemplary embodiment of the computer-implemented method.

In Schritt 600 wird der Bildbereich des Kamerabilds 5 extrahiert, welcher zum Beispiel identisch mit dem Bereich sein kann, der von der jeweiligen Licht-Begrenzungsbox 12 abgedeckt wird. Das Kamerabild 5 kann zum Beispiel in einem RGB-Farbmodell oder einem YUV-Farbmodell vorliegen. In diesem Fall können die Pixelwerte der Pixel innerhalb des Bildbereichs in Schritt 610 in ein HSV-Farbmodell oder ein ähnliches Farbmodell, das einen Farbsättigungskanal und einen Farbtonkanal benutzt, umgewandelt werden.In step 600, the image area of the camera image 5 is extracted, which, for example, may be identical to the area covered by the respective light bounding box 12. The camera image 5 may, for example, be in an RGB color model or a YUV color model. In this case, the pixel values of the pixels within the image area may be converted in step 610 to an HSV color model or a similar color model that uses a chroma channel and a hue channel.

In Schritt 620 werden alle Pixel des Bildbereichs bestimmt, deren Farbtonwerte innerhalb eines vordefinierten Farbtonbereichs liegen, der zum Beispiel das Intervall [330°, 30°] und/oder das Intervall [195°, 285°] enthält. Diese Pixel können als Pixel mit einem validen Farbtonwert bezeichnet werden. In Schritt 630 wird ein jeweiliger Farbsättigungsgradientenwert für jedes Pixel des Bildbereichs bestimmt. Des Weiteren werden alle Pixel mit einem validen Farbtonwert, deren Farbsättigungsgradientenwert zumindest gleich einem vordefinierten zweiten Grenzwert ist, bestimmt. Diese Pixel können als Hochgradientenpixel bezeichnet werden.In step 620, all pixels of the image area are determined whose hue values lie within a predefined hue range, which, for example, comprises the interval [330°, 30°] and/or the Interval [195°, 285°]. These pixels can be referred to as pixels with a valid hue value. In step 630, a respective color saturation gradient value is determined for each pixel of the image area. Furthermore, all pixels with a valid hue value whose color saturation gradient value is at least equal to a predefined second threshold are determined. These pixels can be referred to as high-gradient pixels.

Der Bildbereich enthält eine Vielzahl von Pixelreihen, die durch jeweilige Reihennummern 1, ..., N_R aufeinanderfolgend nummeriert sind, und eine Vielzahl von Pixelspalten, die durch jeweilige Spaltennummern 1, ..., N_C aufeinanderfolgend nummeriert sind. In Schritt 640 wird eine mittlere Reihennummer und eine mittlere Spaltennummer aller Pixel mit einem validen Farbtonwert berechnet. In Schritt 650 wird eine Gesamtanzahl weißer Pixel in dem Bildbereich bestimmt.The image area includes a plurality of pixel rows, sequentially numbered by respective row numbers 1, ..., _NR , and a plurality of pixel columns, sequentially numbered by respective column numbers 1, ..., _NC . In step 640, an average row number and an average column number of all pixels with a valid hue value are calculated. In step 650, a total number of white pixels in the image area is determined.

Dann bestimmt das Entscheidungsmodul 20, ob alle einer Vielzahl von Filterbedingungen erfüllt sind. Wenn dies der Fall ist, dann bestätigt das Entscheidungsmodul 20, dass die Spezifikation durch die jeweilige Licht-Begrenzungsbox 12 erfüllt ist, andernfalls verwirft es die jeweilige Licht-Begrenzungsbox 12.The decision module 20 then determines whether all of a plurality of filter conditions are met. If so, the decision module 20 confirms that the specification is met by the respective light bounding box 12; otherwise, it rejects the respective light bounding box 12.

Eine erste Filterbedingung kann erfüllt sein, wenn ein Verhältnis der Anzahl von Pixeln mit einem validen Farbtonwert zu der Anzahl weißer Pixel zumindest gleich einem vordefinierten ersten Grenzwert, zum Beispiel 0,3, ist. Eine zweite Filterbedingung kann erfüllt sein, wenn ein Verhältnis der Anzahl von Hochgradientenpixeln zu der Anzahl weißer Pixel in dem Bildbereich zumindest gleich einem vordefinierten dritten Grenzwert, zum Beispiel 0,2, ist.A first filter condition may be met if a ratio of the number of pixels with a valid hue value to the number of white pixels is at least equal to a predefined first threshold, for example, 0.3. A second filter condition may be met if a ratio of the number of high-gradient pixels to the number of white pixels in the image area is at least equal to a predefined third threshold, for example, 0.2.

Eine dritte Filterbedingung kann zum Beispiel erfüllt sein, wenn die mittlere Spaltennummer innerhalb eines vordefinierten Spaltennummerbereichs, zum Beispiel [0,15*N_C, 0,85*N_C], liegt und die mittlere Reihennummer innerhalb eines vordefinierten Reihennummerbereichs, zum Beispiel [0,15*N_R, 0,85*N_R], liegt.A third filter condition may, for example, be met if the middle column number is within a predefined column number range, for example [0.15*N _C , 0.85*N _C ], and the middle row number is within a predefined row number range, for example [0.15*N _R , 0.85*N _R ].

Die Pixel mit einem Farbtonwert können gemäß ihren Farbsättigungswerten in vordefinierte Bins gebinnt werden, zum Beispiel in vier Bins, die Farbsättigungswerten in den Bereichen [0%, 25%[, [25%, 50%[, [50%, 75%[ und [75%, 100%] entsprechen. Eine vierte Filterbedingung kann erfüllt sein, wenn jede von zumindest zwei der Bins mit einer Anzahl von Pixeln gefüllt ist, die zumindest ein vordefinierter Grenzwert ist.The pixels with a hue value may be binned into predefined bins according to their chroma values, for example, into four bins corresponding to chroma values in the ranges [0%, 25%, 25%, 50%, 50%, 75%, and 75%, 100%]. A fourth filter condition may be satisfied if each of at least two of the bins is filled with a number of pixels that is at least a predefined threshold.

7 zeigt schematisch ein Blockdiagramm des Nachbearbeitungsmoduls 8 einer weiteren Ausführung des computerimplementierten Verfahrens. Das Nachbearbeitungsmodul 8 basiert auf dem Nachbearbeitungsmodul 8 von 5 und beinhaltet des Weiteren ein Richtig-Positive-Wiederherstellungsmodul 23. Wenn das weitere Entscheidungsmodul 22 bestimmt, dass keine der Licht-Begrenzungsboxen 12, die nicht von dem Entscheidungsmodul 20 herausgefiltert worden sind, innerhalb der Fahrzeug-Begrenzungsbox 11 liegt, dann wird das Richtig-Positive-Wiederherstellungsmodul 23 derart getriggert wird, dass es versucht, eine weitere Licht-Begrenzungsbox 27 innerhalb der Fahrzeugbegrenzungsbox 11 zu bestimmen, die noch nicht von dem Objektdetektionsalgorithmus 13, 17 detektiert worden ist. 7 shows a schematic block diagram of the post-processing module 8 of a further embodiment of the computer-implemented method. The post-processing module 8 is based on the post-processing module 8 of 5 and further includes a true positive recovery module 23. If the further decision module 22 determines that none of the light bounding boxes 12 that have not been filtered out by the decision module 20 are within the vehicle bounding box 11, then the true positive recovery module 23 is triggered to attempt to determine another light bounding box 27 within the vehicle bounding box 11 that has not yet been detected by the object detection algorithm 13, 17.

Ein weiteres Farbsättigungsvalidierungsmodul 24 des Richtig-Positive-Wiederherstellungsmodul 23 wertet die Farbsättigungswerte eines weiteren Satzes von Pixeln eines weiteren Bildbereichs des Kamerabilds 5 aus, welcher der Fahrzeug-Begrenzungsbox 11 gemäß einer vordefinierten weiteren Spezifikation entspricht.A further color saturation validation module 24 of the true positive recovery module 23 evaluates the color saturation values of a further set of pixels of a further image area of the camera image 5, which corresponds to the vehicle bounding box 11 according to a predefined further specification.

Der weitere Bildbereich wird in das HSV-Modell umgewandelt und die jeweiligen weiteren Pixel mit validen Farbtonwerten in dem weiteren Bildbereich werden auf die gleiche Weise bestimmt wie in Bezug auf das Farbsättigungsvalidierungsmodul 19 beschrieben. Die weiteren Pixel mit validen Farbtonwerten werden auch gemäß ihrer Farbsättigungsgradientenwerte ausgefiltert, sodass nur derartige weitere Pixel mit validen Farbtonwerten weiter berücksichtigt werden, deren Farbsättigungswerte zumindest gleich einem vordefinierten fünften Grenzwert sind.The further image area is converted into the HSV model, and the respective further pixels with valid hue values in the further image area are determined in the same manner as described with respect to the hue validation module 19. The further pixels with valid hue values are also filtered out according to their hue gradient values, so that only those further pixels with valid hue values are further considered whose hue values are at least equal to a predefined fifth threshold.

Eine Technik zusammenhängender Komponenten wird angewendet, um jeweilige Pixelgruppen zusammenhängender Pixel, zum Beispiel 8-zusammenhängender Pixel (englisch: 8-connected pixel), der gefilterten weiteren Pixel mit validen Farbtonwerten zu identifizieren. Wenn ein weiteres Entscheidungsmodul 25 bestimmt, dass zumindest eine derartige Pixelgruppe gefunden wird, dann bestimmt ein Block 26 eine jeweilige Gruppen-Begrenzungsbox für jede Pixelgruppe. Über-Gruppen überlappender Gruppen-Begrenzungsboxen werden bestimmt. Ein Konfidenzwert jeder Gruppen-Begrenzungsbox wird basierend auf der Menge gefilterter weiterer Pixel mit validen Farbtonwerten innerhalb der jeweiligen Gruppen-Begrenzungsbox berechnet. Basierend auf den Konfidenzwerten, kann eine Nicht-Maximumunterdrückung mit einer IOU-Grenze von 0,05 angewendet werden, um nur eine Gruppen-Begrenzungsbox für jede Über-Gruppe zu behalten. Wenn das weitere Entscheidungsmodul 25 bestimmt, dass keine Pixelgruppe gefunden wird, dann wird die Fahrzeug-Begrenzungsbox 11 verworfen.A connected component technique is applied to identify respective pixel groups of connected pixels, for example, 8-connected pixels, of the filtered further pixels with valid hue values. If a further decision module 25 determines that at least one such pixel group is found, then a block 26 determines a respective group bounding box for each pixel group. Supergroups of overlapping group bounding boxes are determined. A confidence value of each group bounding box is calculated based on the set of filtered further pixels with valid hue values within the respective group bounding box. Based on the confidence values, non-maximum suppression with an IOU limit of 0.05 may be applied to retain only one group bounding box for each supergroup. If the further decision module 25 determines that no pixel group is found, then the vehicle bounding box 11 is discarded.

Wenn zumindest eine verbleibende Gruppen-Begrenzungsbox auf diese Weise erhalten wird, wird sie als die weitere Licht-Begrenzungsbox 27 benutzt und wird zusammen mit der Fahrzeug-Begrenzungsbox, an das Anwendungsmodul 9 weitergeleitet.If at least one remaining group boundary box is obtained in this way, it is used as the further light boundary box 27 and is forwarded, together with the vehicle boundary box, to the application module 9.

Wie beschrieben, hilft die Erfindung, falsch positive Detektionen von Einsatzfahrzeugen 6 zu reduzieren und bei manchen Ausführungen falsch negative Detektionen des CNN-Moduls 7 zu reduzieren.As described, the invention helps to reduce false positive detections of emergency vehicles 6 and, in some embodiments, to reduce false negative detections of the CNN module 7.

Bei manchen Ausführungen werden alle Licht-Begrenzungsboxen 12, die von dem CNN-Modul 7 detektiert werden, in dem HSV-Farbmodell unter Verwendung spezifischer Grenzwerte für blaues und/oder rotes Licht validiert. Die Farbe wird zum Beispiel durch den H-Kanal dargestellt. Der S-Kanal gibt an, wie gesättigt eine Farbe ist. Somit bedeutet ein niedriger Wert in dem S-Kanal eine weniger gesättigte Farbe, während ein hoher Wert in dem S-Kanal eine stärker gesättigte Farbe bedeutet. Der V-Kanal gibt an, wie hell oder dunkel die Farbe ist.In some implementations, all light bounding boxes 12 detected by the CNN module 7 are validated in the HSV color model using specific thresholds for blue and/or red light. Color is represented, for example, by the H channel. The S channel indicates how saturated a color is. Thus, a low value in the S channel indicates a less saturated color, while a high value in the S channel indicates a more saturated color. The V channel indicates how light or dark the color is.

Bei manchen Ausführungen wird der H-Kanal dazu benutzt, die Zielfarbe oder -farben, also zum Beispiel Rot und/oder Blau, zu detektieren. Der S-Kanal kann dazu benutzt werden, die typische Farbsättigung auszuwerten. Es wird zum Beispiel erwartet, dass in Richtung der Mitte der validen Licht-Begrenzungsbox 12 der Farbsättigungswert niedriger ist, während andere Pixel um die Mitte herum stärker gesättigte Farben haben. Diese Eigenschaft kann dazu benutzt werden, die meisten der falsch positiven Detektionen in Echtzeit zu eliminieren. Bei manchen Ausführungen wird der V-Kanal dazu benutzt zu detektieren, ob die Einsatzfahrzeug-Lichteinheit 10 aktiv ist oder nicht.In some implementations, the H channel is used to detect the target color or colors, for example, red and/or blue. The S channel can be used to evaluate the typical color saturation. For example, it is expected that toward the center of the valid light bounding box 12, the color saturation value is lower, while other pixels around the center have more saturated colors. This property can be used to eliminate most false positive detections in real time. In some implementations, the V channel is used to detect whether the emergency vehicle lighting unit 10 is active or not.

Bei manchen Ausführungen ist das Anwendungsmodul 9 ein Verfolgungsmodul, zum Beispiel ein Vision-Fusion-Verfolgungsmodul. Das Verfolgungsmodul kann das Einsatzfahrzeug 6 in dem Bildkoordinatensystem verfolgen und dann seine Position in Weltkoordinaten projizieren und es in dem Weltkoordinatensystem verfolgen. In dem Weltkoordinatensystem können Eingaben aus mehreren Kameras 4 kombiniert werden. Wenn ein Einsatzfahrzeug 6 von mehr als einer Kamera 4 detektiert wird, dann kann eine Kreuzkameraassoziationslogik verwendet werden, um die Verfolgungsleistung zu verbessern.In some embodiments, the application module 9 is a tracking module, for example, a vision fusion tracking module. The tracking module can track the emergency vehicle 6 in the image coordinate system and then project its position into world coordinates and track it in the world coordinate system. In the world coordinate system, inputs from multiple cameras 4 can be combined. If an emergency vehicle 6 is detected by more than one camera 4, cross-camera association logic can be used to improve tracking performance.

Bei manchen Ausführungen wird ein Einsatzfahrzeug 6 identifiziert und ein Tracker wird initiiert, wenn eine Fahrzeug-Begrenzungsbox 11 und eine entsprechende Licht-Begrenzungsbox 12 detektiert werden. Eine Existenzwahrscheinlichkeit, EP (englisch: existence probability), kann als Maß zur Identifizierung der Konfidenz des verfolgten Einsatzfahrzeugs 6 benutzt werden. Detektionen desselben Einsatzfahrzeugs 6 aus unterschiedlichen Kameras 4 können an denselben Tracker unter Verwendung von Kreuzkameraassoziation angehängt werden und können beim Aktualisieren der prädizierten Weltkoordinaten helfen. Fahrzeugdetektionen können auch dazu benutzt werden, den Tracker zu aktualisieren, was beim Verbessern der Positionen der prädizierten Einsatzfahrzeuge 6 helfen kann. Zum Beispiel wird die EP nur inkrementiert, wenn eine erfolgreiche Assoziation einer Licht-Begrenzungsbox 12 mit einem Einsatzfahrzeug 6 vorliegt.In some implementations, an emergency vehicle 6 is identified and a tracker is initiated when a vehicle bounding box 11 and a corresponding light bounding box 12 are detected. An existence probability, EP, can be used as a measure to identify the confidence of the tracked emergency vehicle 6. Detections of the same emergency vehicle 6 from different cameras 4 can be appended to the same tracker using cross-camera association and can help update the predicted world coordinates. Vehicle detections can also be used to update the tracker, which can help improve the positions of the predicted emergency vehicles 6. For example, the EP is only incremented when there is a successful association of a light bounding box 12 with an emergency vehicle 6.

8 zeigt schematisch ein Flussdiagramm eines Objektverfolgungsalgorithmus. Der Verfolgungsalgorithmus erhält die Fahrzeug-Begrenzungsbox 11 und, wenn das Ergebnis der Validierung positiv ist, die Licht-Begrenzungsbox 12 und andernfalls die Fahrzeug-Begrenzungsbox 11 und die weitere Fahrzeug-Begrenzungsbox 27. 8 shows a schematic flowchart of an object tracking algorithm. The tracking algorithm receives the vehicle bounding box 11 and, if the validation result is positive, the light bounding box 12; otherwise, the vehicle bounding box 11 and the further vehicle bounding box 27.

In Schritt 800 wird die EP initialisiert, zum Beispiel auf einen Wert 50. Im Fall eines hellen oder gut ausgeleuchteten Szenarios wird in Schritt 820 die EP um ein erstes Inkrement, zum Beispiel 5, erhöht, für Lichter, die von jeder Kamera 4 detektiert werden. Im Fall eines dunklen Szenarios wird in Schritt 840 die EP um das erste Inkrement erhöht, wenn ein Blinklichtmuster detektiert wird, und um ein zweites Inkrement, das kleiner als das erste Inkrement, zum Beispiel 1, ist, wenn Lichter detektiert werden, aber kein Blinklichtmuster. Wenn ein Fahrzeug von dem CNN-Modul 7 detektiert wird, können in Schritt 860 die verfolgten Koordinaten entsprechend aktualisiert werden.In step 800, the EP is initialized, for example, to a value of 50. In the case of a bright or well-lit scenario, in step 820, the EP is increased by a first increment, for example, 5, for lights detected by each camera 4. In the case of a dark scenario, in step 840, the EP is increased by the first increment if a flashing light pattern is detected, and by a second increment smaller than the first increment, for example, 1, if lights are detected but no flashing light pattern. If a vehicle is detected by the CNN module 7, the tracked coordinates can be updated accordingly in step 860.

Falsch positive Detektionen von Einsatzfahrzeug-Lichteinheiten können aus Fehlinterpretationen von Scheinwerfern oder Rücklichtern herrühren. Derartige falsch positive Detektionen können durch Assoziieren lediglich von Lichtern im oberen Bereich des potenziellen Einsatzfahrzeugs 6, zum Beispiel in den oberen 20 %, vermieden werden.False positive detections of emergency vehicle lighting units can result from misinterpretations of headlights or taillights. Such false positive detections can be avoided by associating only lights in the upper area of the potential emergency vehicle 6, for example, in the upper 20%.

Insbesondere wenn die Kamera 4 eine Fischaugenlinse hat, kann die Karosserie des Kraftfahrzeugs 1 in den Ecken der Kamerabilder 5 sichtbar sein und Lichtreflexionen von der Karosserie können zu falsch positiven Detektionen führen. Um derartige falsch positive Detektionen zu vermeiden, kann der Karosseriebereich des Kraftfahrzeugs 1 vordefiniert sein und bei manchen Ausführungen keine Lichtassoziation in diesen Bereichen erfolgen.In particular, if the camera 4 has a fisheye lens, the body of the motor vehicle 1 may be visible in the corners of the camera images 5, and light reflections from the body may lead to false positive detections. To avoid such false positive detections, the body area of the motor vehicle 1 may be predefined, and in some embodiments, no light association may occur in these areas.

Wenn die Einsatzfahrzeug-Lichteinheit 10 in einer Position des Einsatzfahrzeugs 6 für mehrere Frames, zum Beispiel für mehr als fünf Frames aktiv ist, kann das als ein reguläres Fahrzeug betrachtet werden. Bei manchen Ausführungen kann die Fahrzeug-Begrenzungsbox 11 in kleinere Zellen aufgeteilt werden und Lichtassoziationen in jeder Zelle können gezählt werden, wie schematisch in 9 gezeigt. Wenn eine einzige Zelle eine Lichtassoziation für mehrere Frames, zum Beispiel mehr als fünf Frames, aufweist, kann das als ein Scheinwerfer oder ein Rücklicht interpretiert werden und das Einsatzfahrzeug 6 wird zum Beispiel nicht mehr als ein Einsatzfahrzeug 6 interpretiert.If the emergency vehicle light unit 10 is active in a position of the emergency vehicle 6 for several frames, for example for more than five frames, this can be considered as a regular vehicle In some embodiments, the vehicle boundary box 11 can be divided into smaller cells and light associations in each cell can be counted, as shown schematically in 9 shown. If a single cell has a light association for multiple frames, for example, more than five frames, this can be interpreted as a headlight or a taillight and the emergency vehicle 6, for example, is no longer interpreted as an emergency vehicle 6.

Wenn sich das Einsatzfahrzeug 6 nicht bewegt und es keine Lichtassoziation für mehrere Frames, zum Beispiel mehr als zehn Frames, gibt, kann das bei manchen Ausführungen als normales Fahrzeug betrachtet werden.If the emergency vehicle 6 is not moving and there is no light association for several frames, for example more than ten frames, it can be considered as a normal vehicle in some implementations.

Wenn es bei manchen Ausführungen keine Detektion eines Einsatzfahrzeugs 6 für mehrere Frames, zum Beispiel mindestens 20 Frames, gibt, kann ein zuvor detektiertes Einsatzfahrzeug 6 als ein normales Fahrzeug betrachtet werden.In some embodiments, if there is no detection of an emergency vehicle 6 for several frames, for example at least 20 frames, a previously detected emergency vehicle 6 can be considered as a normal vehicle.

Manche Einsatzfahrzeugdetektions- und -verfolgungssysteme stützen sich auf Objektdetektion unter Verwendung von tiefen neuronalen Netzwerken und beziehen eine zusätzliche audio-basierte Detektion mit ein. Dieser Ansatz ist mit Einschränkungen beim akkuraten Detektieren von Blitzlicht- oder Blinklichteinsatzfahrzeuglichtern und beim Identifizieren von Situationen mit Einsatzfahrzeugen konfrontiert, besonders wenn Hardware-Ressourcen begrenzt sind. Zusätzlich zu den charakteristischen Farben weisen die Merkmale von Einsatzfahrzeuglichtern häufig eine starke Ähnlichkeit mit denen anderer Lichter, wie etwa Scheinwerfern, Rücklichtern, Straßenlichtern, blauem Himmel und Fahrzeugkarosseriefarben, auf. Diese Ähnlichkeit stellt eine wesentliche Herausforderung für CNNs bei der Unterscheidung von Einsatzfahrzeuglichtern von anderen Lichtquellen dar. Diese Einschränkungen werden von einigen Ausführungen der Erfindung zumindest teilweise überwunden.Some emergency vehicle detection and tracking systems rely on object detection using deep neural networks and incorporate additional audio-based detection. This approach faces limitations in accurately detecting strobe or flashing emergency vehicle lights and identifying emergency vehicle situations, especially when hardware resources are limited. In addition to characteristic colors, the features of emergency vehicle lights often bear a strong resemblance to those of other lights, such as headlights, taillights, roadlights, blue skies, and vehicle body colors. This similarity presents a significant challenge for CNNs in distinguishing emergency vehicle lights from other light sources. These limitations are at least partially overcome by some embodiments of the invention.

Einige Ausführungen basieren auf unimodalen Kamerabildern, zum Beispiel aus Rundumsichtkameras. Ein Objektdetektionsalgorithmus basierend auf einem CNN wird dazu trainiert, Einsatzfahrzeuge und Einsatzfahrzeuglichteinheiten durch Prädizieren ihrer Begrenzungsboxen zu detektieren.Some implementations are based on unimodal camera images, for example, from surround-view cameras. An object detection algorithm based on a CNN is trained to detect emergency vehicles and emergency vehicle light units by predicting their bounding boxes.

Bei manchen Ausführungen kann das erfindungsgemäße computerimplementierte Verfahren sogar durch Recheneinheiten, die mit extrem geringer Leistung versorgt werden, wie etwa Renesas V3H mit 0,8 TOPS, durchgeführt werden.In some embodiments, the computer-implemented method according to the invention can even be performed by computing units supplied with extremely low power, such as Renesas V3H with 0.8 TOPS.

Bei manchen Ausführungen wird eine Begrenzungsboxerweiterung durchgeführt. Begrenzungsboxen für Einsatzfahrzeug-Lichteinheiten können einen Cluster weißer und farbiger Pixel an den Kanten, die häufig einen leichten Schimmer aufweisen, enthalten. Durch Vergrößern der Begrenzungsbox um drei Pixel auf jeder Seite und zum Beispiel durch ihre weitere Erweiterung um 20% vergrößert man effektiv den Empfangsbereich. Diese Erweiterung liefert wertvolle Zusatzinformationen über den Kontext der Umgebungsmerkmale. Die vergrößerten Abmessungen der Begrenzungsbox gewähren dem CNN Zugriff auf mehr Daten und verbessern so die Fähigkeit, Einsatzfahrzeug-Lichteinheiten von anderen Lichtquellen zu unterscheiden.In some implementations, bounding box expansion is performed. Bounding boxes for emergency vehicle light units may contain a cluster of white and colored pixels at the edges, often with a slight shimmer. By increasing the bounding box by three pixels on each side and then further expanding it by, for example, 20%, the detection area is effectively increased. This expansion provides valuable additional information about the context of the environmental features. The increased dimensions of the bounding box grant the CNN access to more data, thus improving its ability to distinguish emergency vehicle light units from other light sources.

In manchen Ausführungen kann in einem Multi-Task CNN, das bereits zum Beispiel Decodermodule zur allgemeinen Objekterkennung, semantischen Segmentierung sowie einen Veschmutzungserkennungsdecoder, sowie ein gemeinsames Encodermodul, ein zusätzliches Decodermodul zur Detektion von Einsatzfahrzeugen und Einsatzfahrzeuglichteinheiten trainiert werden, indem das Encodermodul und die bereit vorhandenen Decodermodule eingefroren werden. Indem diese eingefroren werden, können ihre Gewichte und Parameter während des Trainierens des zusätzlichen Decodermoduls unverändert bleiben. Mit diesem Ansatz ist es möglich sicherzustellen, dass die relevanten Schlüssel-Leistungsindikatoren der anderen Aufgaben während der Einführung des zusätzlichen Decodermoduls nicht negativ beeinträchtigt werden.In some implementations, in a multi-task CNN that already includes, for example, decoder modules for general object detection, semantic segmentation, and a pollution detection decoder, as well as a shared encoder module, an additional decoder module for detecting emergency vehicles and emergency vehicle lighting units can be trained by freezing the encoder module and the existing decoder modules. Freezing these modules allows their weights and parameters to remain unchanged during the training of the additional decoder module. This approach ensures that the relevant key performance indicators of the other tasks are not negatively impacted during the introduction of the additional decoder module.

Ein Einfrieren des Encodermoduls und anderer Decodermodule hilft dabei, die gelernten Darstellungen und Merkmalsextraktionsfähigkeiten, die für die bestehenden Aufgaben wichtig sind, aufrechtzuerhalten. Da das Encodermodul bereits mit einem breiten Bereich von Daten trainiert worden ist, gewährleistet sein Einfrieren, dass die gemeinsamen Merkmale, die es gelernt hat, bewahrt werden. In ähnlicher Weise hindert ein Einfrieren der Decodermodule ihre Gewichte daran, geändert zu werden, wobei ihnen weiterhin ermöglicht ist, ihre jeweiligen Aufgaben bestimmungsgemäß durchzuführen. Durch Hinzufügen des spezifischen zusätzlichen Decodermoduls, welches zum Detektieren von Einsatzfahrzeugen und Einsatzfahrzeug-Lichteinheiten ausgestaltet ist, kann das CNN die gemeinsamen Merkmale von dem Encodermodul nutzbringend einsetzen und dabei den Fokus auf das Erlernen der charakteristischen Merkmale betreffend Einsatzfahrzeuge und Einsatzfahrzeug-Lichteinheiten legen. Ein Einfrieren des Encodermoduls und der Decodermodule hilft auch dabei, das Risiko der Überanpassung (englisch: overfitting) zu reduzieren.Freezing the encoder module and other decoder modules helps maintain the learned representations and feature extraction capabilities important for the existing tasks. Because the encoder module has already been trained on a wide range of data, freezing it ensures that the common features it has learned are preserved. Similarly, freezing the decoder modules prevents their weights from being changed, while still allowing them to perform their respective tasks as intended. By adding the specific additional decoder module designed to detect emergency vehicles and emergency vehicle light units, the CNN can leverage the common features from the encoder module, focusing on learning the characteristic features related to emergency vehicles and emergency vehicle light units. Freezing the encoder module and decoder modules also helps reduce the risk of overfitting.

Im Kontext der Detektion von Einsatzfahrzeug-Lichteinheiten kann ein Einbeziehen der Farbmerkmale aus frühen Schichten des Encodermoduls und ihr Einspeisen in das zusätzliche Decodermodul die Leistung durch Reduzieren von falsch positiven und falsch negativen Detektionen wesentlich verbessern. Bei manchen Ausführungen können diese frühen Schichten basierend auf Experimentieren ausgewählt werden. Diese Schichten sind nicht notwendigerweise direkt mit dem Decodermodul verbunden. Stattdessen können sie durch eine Faltungsschicht geleitet werden, was eine bessere Leistung ergibt, wie sich gezeigt hat. Diese frühen Schichten des Encodermoduls können Merkmale auf niedriger Ebene, einschließlich Farbinformationen, erfassen, die als wertvolle Hinweise zur Unterscheidung von Einsatzfahrzeug-Lichteinheiten von anderen Objekten in der Szene dienen können. Durch nutzbringenden Einsatz dieser Farbmerkmale in dem zusätzlichen Decodermodul kann das Netzwerk die farbbasierten Muster, die mit der Einsatzfahrzeug-Lichteinheit verbunden sind, effektiv ausnutzen. Diese Integration erlaubt es dem Netzwerk, die farbspezifischen Attribute von Einsatzfahrzeug-Lichteinheiten zu erlernen und darzustellen, wobei präzisere und zuverlässigere Detektionsergebnisse ermöglicht werden. Durch Einbeziehung von Farbmerkmalen in das zusätzliche Decodermodul, gewinnt das Netzwerk ein holistisches Verständnis der Einsatzfahrzeug-Lichteinheit-Detektionsaufgabe.In the context of the detection of emergency vehicle light units, incorporating the color features from early layers of the encoder module and feeding them into the additional decoder module significantly improve performance by reducing false positive and false negative detections. In some implementations, these early layers can be selected based on experimentation. These layers are not necessarily directly connected to the decoder module. Instead, they can be passed through a convolutional layer, which has been shown to yield better performance. These early layers of the encoder module can capture low-level features, including color information, which can serve as valuable cues for distinguishing emergency vehicle light units from other objects in the scene. By leveraging these color features in the additional decoder module, the network can effectively exploit the color-based patterns associated with the emergency vehicle light unit. This integration allows the network to learn and represent the color-specific attributes of emergency vehicle light units, enabling more precise and reliable detection results. By incorporating color features into the additional decoder module, the network gains a holistic understanding of the emergency vehicle light unit detection task.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

KR 10-2023-0009616 [0003]

Claims

A computer-implemented method for detecting an emergency vehicle (6), wherein: - a camera image (5) depicting the emergency vehicle (6) is obtained; - a light bounding box (12) for an emergency vehicle light unit (10) is determined by applying an object detection algorithm (13, 17) to input data dependent on the camera image (5); - an image region of the camera image (5) enclosed by the light bounding box (12) is determined, and a color saturation value for a set of pixels of the image region is determined; - a validation of the light bounding box (12) is performed, which includes evaluating the determined color saturation values of the set of pixels according to a predefined specification; and - detection of the emergency vehicle (6) is confirmed if a result of the validation is positive.

Computer-implemented method according to Claim 1 , where the set of pixels includes only pixels of the image area that have a hue value within a predefined hue range.

Computer-implemented method according to Claim 2 , where the hue range contains the interval [330°, 30°] and/or the interval [195°, 285°].

Computer-implemented method according to one of the Claims 2 or 3 , wherein the result of the validation is only positive if a ratio of a number of pixels of the set of pixels to a number of white pixels in the image area is at least equal to a predefined first threshold.

Computer-implemented method according to one of the Claims 2 until 4 , wherein - for each pixel of the set of pixels, a color saturation gradient value is determined; and - the validation includes evaluating the determined color saturation gradient values of the set of pixels according to the predefined specification.

Computer-implemented method according to Claim 5 , wherein - a subset of the set of pixels is determined such that the color saturation gradient value of each pixel of the subset is at least equal to a predefined second threshold; and - the result of the validation is only positive if a ratio of a number of pixels of the subset to the number of white pixels in the image area is at least equal to a predefined third threshold.

A computer-implemented method according to any one of the preceding claims, wherein - the image area includes a plurality of pixel columns that are consecutively numbered by respective column numbers; - an average column number of all pixels in the set of pixels is calculated; and - the result of the validation is only positive if the average column number lies within a predefined column number range.

A computer-implemented method according to any one of the preceding claims, wherein: - the image area contains a plurality of pixel rows sequentially numbered by respective row numbers; - an average row number is calculated for all pixels of the set of pixels; and - the result of the validation is only positive if the average row number lies within a predefined row number range.

A computer-implemented method according to any one of the preceding claims, wherein - the pixels of the set of pixels are binned into predefined bins according to their color saturation values; and - the result of the validation is only positive if each of at least two of the bins contains a number of pixels that is at least equal to a predefined fourth threshold.

A computer-implemented method according to any one of the preceding claims, wherein: - a vehicle boundary box (11) for the emergency vehicle (6) is determined by applying the object detection algorithm or another object detection algorithm to the input data; and - an overlap of the light boundary box (12) and the vehicle boundary box (11) is determined; - the validation result is only positive if the overlap is greater than a predefined minimum overlap.

Computer-implemented method according to Claim 10 , wherein - a further image area of the camera image (5) enclosed by the vehicle boundary box (11) is determined and a color saturation value is determined for a further set of pixels of the further image area; - a further light boundary box (27) within the vehicle boundary box (11) based on an evaluation of the determined color saturation values of the further set of pixels are determined according to a predefined further specification.

Computer-implemented method according to Claim 11 , where the further set of pixels includes only pixels of the further image area that have a hue value within a predefined further hue range.

Computer-implemented method according to one of the Claims 11 or 12 , wherein the further set of pixels includes only pixels of the further image area whose color saturation gradient value is at least equal to a predefined fifth threshold.

Computer-implemented method according to one of the Claims 11 until 13 , wherein - the further set of pixels is grouped into two or more pixel groups of contiguous pixels; - a group bounding box is determined for each pixel group of the two or more pixel groups; and - the further light bounding box (27) is determined as one of the group bounding boxes of the two or more pixel groups.

Computer-implemented method according to Claim 14 , wherein - a confidence value is calculated for each pixel group of the two or more pixel groups depending on a total number of pixels contained in the respective pixel group; and - the further light boundary box (27) is determined depending on the confidence values of the two or more pixel groups.

A method for at least partially automatically driving a motor vehicle (1), wherein a computer-implemented method according to one of the preceding claims is carried out and - at least one control signal for at least partially automatically driving the motor vehicle (1) is generated depending on the light boundary box (12) and/or - driver assistance information for assisting a driver in driving the motor vehicle (1) is generated depending on the light boundary box (12).

Data processing device (3) which has at least one computing unit adapted to carry out a computer-implemented method according to one of the Claims 1 until 14 or a procedure according to Claim 15 to carry out.

Electronic vehicle guidance system (2) for a motor vehicle (1), which comprises a data processing device (3) according to Claim 17 and a camera (4) for the motor vehicle (1), which is configured to generate the camera image (5).

A computer program product containing instructions which, when executed by a data processing device (3), cause the data processing device (3) to carry out a computer-implemented method according to one of the Claims 1 until 15 or a procedure according to Claim 16 to carry out.