DE102012107886A1

DE102012107886A1 - Verfahren zur elektronischen Erkennung von Verkehrszeichen

Info

Publication number: DE102012107886A1
Application number: DE102012107886.6A
Authority: DE
Inventors: Ulrich Stählin; Alfred Eckert; Thomas Raste
Original assignee: Continental Teves AG and Co OHG
Current assignee: Continental Teves AG and Co OHG
Priority date: 2012-08-27
Filing date: 2012-08-27
Publication date: 2014-02-27
Also published as: DE112013004195A5; WO2014032660A1

Abstract

Die Erfindung betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden, erfindungsgemäß ist vorgesehen, dass über eine Kommunikationseinrichtung (7) des Fahrzeugs (10) zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Servereinheit (9) übermittelt werden, mittels eines Mustererkennungsalgorithmus von der externen Servereinheit (9) eine Mustererkennung durchgeführt wird, und als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt werden und insbesondere auf einer Anzeigeeinheit (5) ein entsprechendes Verkehrszeichen dargestellt wird.

Description

Die Erfindung betrifft ein Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug angeordneten Kamera verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden.
Bereits viele Fahrzeuge, insbesondere Kraftfahrzeuge sind mit einer elektronischen Verkehrszeichenerkennung ausgestattet. So ist bspw. aus der DE 198 52 631 A1 ein Verfahren zur Verkehrszeichenerkennung bekannt, bei dem mittels eines digitalen Bildsensors Bilder, die potentiell Verkehrszeichen enthalten können, aufgenommen werden. Zur Analyse der von dem Bildsensor gelieferten Bilddaten in Echtzeit ist das Fahrzeug mit einer Objekterkennungseinheit ausgestattet, welche einen Mustererkennungsalgorithmus auf die Bilddaten zur Erkennung eines Verkehrszeichens anwendet. Die erkannten Verkehrszeichen werden in einer vereinfachten Darstellung auf einer Anzeigeeinheit dargestellt.
Die DE 10 2008 043 756 A1 beschreibt eine Verkehrszeichenerkennung, bei der Verkehrszeichendaten über die Art und Position einzelner Verkehrszeichen von einer Datenbank drahtlos in das System der Verkehrszeichenerkennung des Fahrzeugs übertragen und dort in einem Verkehrszeichenspeicher gespeichert werden, so dass sie während der Fahrt wieder ausgelesen werden können, und zwar so, dass entsprechend der aktuellen Position des Fahrzeugs, die bspw. von einem GPS-Empfänger des Fahrzeugs bereitgestellt wird, das Verkehrszeichen mit der gleichen Position aus dem Verkehrszeichenspeicher ausgelesen wird und als Verkehrszeicheninformation dem Fahrer des Fahrzeugs bereitgestellt wird. Damit kommt eine solche Verkehrszeichenerkennung ohne eine Kamera zur optischen Erfassung und Erkennung von Verkehrszeichen aus der direkten Fahrzeugumgebung aus.
Dieses gemäß der DE 10 2008 043 756 A1 bekannte System zur Verkehrszeichenerkennung kann auch mit einer kamerabasierten Verkehrszeichenerkennung kombiniert werden, so dass bspw. ein Vergleich der mit der Kamera real erkannten Verkehrszeichen mit den gespeicherten Verkehrszeichendaten des Verkehrszeichenspeichers möglich wird, um entsprechende Veränderungen festzustellen und den Fahrer hierauf aufmerksam machen zu können.
Voraussetzung für eine hohe Zuverlässigkeit dieses aus der DE 10 2008 043 756 A1 bekannten Verkehrszeichenerkennung ist, dass die gespeicherten Verkehrszeichendaten immer aktuell hinsichtlich der Positionsdaten, insbesondere bei geänderten oder neuen Fahrbahnen sind. Sind keine aktuellen Streckendaten mit zugehörigen Verkehrszeichendaten vorhanden, ist die Verkehrszeichenerkennung allein auf die optische Erkennung mittels einer Kamera und der zugehörigen Mustererkennung angewiesen, so dass in solchen Fällen, bei denen nicht auf gespeicherte Verkehrszeichendaten zurückgegriffen werden kann, keine verbesserte Verkehrszeichenerkennung erreicht wird.
Aufgabe der Erfindung ist es, ein Verfahren zur elektronischen Erkennung von Verkehrszeichen zu schaffen, welches zu einer gegenüber dem Stand der Technik höheren Erkennungsrate führt.
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Patentanspruchs 1.
Ein solches Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug angeordneten Kamera verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden, zeichnet sich erfindungsgemäß dadurch aus, dass

– über eine Kommunikationseinrichtung des Fahrzeugs zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Servereinheit übermittelt werden,
– mittels eines Mustererkennungsalgorithmus von der externen Servereinheit eine Mustererkennung durchgeführt wird, und
– als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit des Fahrzeugs übermittelt werden. Das erkannte Verkehrszeichen kann auf einer Anzeigeeinheit des Fahrzeugs entsprechend dargestellt werden.

Damit werden in dem Fahrzeug lediglich die Grundmuster von Verkehrszeichen aus den Bilddaten der Kamera erfasst und detektiert, wobei die eigentliche Klassifizierung des übermittelten Grundmusters in die externe Servereinheit ausgelagert ist.
So ist es möglich, den in dieser Servereinheit für die Mustererkennung verwendeten Mustererkennungsalgorithmus ständig aktuell zu halten, wodurch sich die Erkennungsrate deutlich steigern lässt. Insbesondere können alle Weiterentwicklungen hinsichtlich einer Verkehrszeichenerkennung mittels der Servereinheit abgebildet werden, so dass die Verkehrszeichenerkennung des Fahrzeugs auch hinsichtlich solcher Weiterentwicklungen sich ständig auf dem neuesten Stand der Technik befindet.
Vorzugsweise werden von der Servereinheit nicht nur bei einer erfolgreichen Mustererkennung das erkannte Verkehrszeichen an die Kommunikationseinheit übermittelt, sondern auch das Nichterkennen eines Verkehrszeichens als Ergebnis der Mustererkennung. Damit können diese Informationen zu statistischen Zwecken im Fahrzeug verwendet werden.
In einer vorteilhaften Ausgestaltung der Erfindung ist es vorgesehen, dass vor der Übermittlung der Daten des Grundmusters an die externe Servereinheit eine Mustererkennung mittels eines Musterkennungsalgorithmus einer Objekterkennungseinheit des Fahrzeugs durchgeführt wird, und erst bei Nichterkennen eines Verkehrszeichens die Daten des Grundmusters an die externe Servereinheit übermittelt wird. Damit ist es möglich in der Servereinheit eine aufwändigere Mustererkennung durchzuführen, die so in der Objekterkennungseinheit des Fahrzeugs nicht möglich wäre, da in einer solchen Servereinheit größere Rechenkapazitäten als in der Objekterkennungseinheit zur Verfügung gestellt werden können und die Mustererkennung Echtzeit erfolgen muss.
Gemäß einer weiteren Ausgestaltung der Erfindung wird zunächst die Erkennungshäufigkeit der von der Objekterkennungseinheit des Fahrzeugs durchgeführten Mustererkennungen und die Erkennungshäufigkeit der von der externen Servereinheit durchgeführten Mustererkennungen bestimmt, anschließend das Häufigkeitsverhältnis aus der Erkennungshäufigkeit der Objekterkennungseinheit des Fahrzeugs und der Erkennungshäufigkeit der externen Servereinheit gebildet und dann der Wert des Häufigkeitsverhältnisses auf der Anzeigeeinheit des Fahrzeugs angezeigt. Damit werden dem Fahrer Informationen bereitgestellt, anhand derer der Fahrer selbst abschätzen kann, wann sich ein Update des Mustererkennungsalgorithmus lohnen würde.
Besonders vorteilhaft ist es gemäß einer Weiterbildung der Erfindung dann, wenn bei einem Wert des Häufigkeitsverhältnisses, welcher kleiner als ein vorgegebener Häufigkeitsschwellwert ist ein Update des Mustererkennungsalgorithmus durch die externe Servereinheit durchgeführt wird. Dieses Update kann vorzugsweise automatisch durchgeführt werden. Dies führt zu einem hohen Komfort.
Alternativ ist es weiterbildungsgemäß vorgesehen, dass mit einer Hinweismeldung auf der Anzeigeeinheit dem Fahrer des Fahrzeugs die Information bereitgestellt wird, dass ein Update veranlasst werden kann, dessen Durchführung durch den Fahrer über die externe Servereinheit initiiert werden kann. Damit bleibt es dem Fahrer überlassen, zu welchem Zeitpunkt ein Update durchgeführt wird.
In einer weiteren Ausgestaltung der Erfindung werden Mustererkennungsalgorithmen zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit an die Kommunikationseinheit übermittelt. Dies stellt eine weitere Komfortverbesserung dar, da nach einem Überfahren von Landesgrenzen die Erkennung von Verkehrszeichen auch des neuen Landes gewährleistet sein muss. Alternativ ist es weiterbildungsgemäß vorgesehen, dass zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit die erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus des Fahrzeugs übermittelt werden, um damit ebenso die sichere Erkennung von Verkehrszeichen des nach dem Überfahren einer Landesgrenze erreichten Landes sicherzustellen.
Besonders vorteilhaft ist es jedoch gemäß einer Weiterbildung der Erfindung, wenn die Mustererkennungsalgorithmen zur Erkennung der landesspezifischen Verkehrszeichen bzw. die Erkennungsparameter erst dann von der Servereinheit an die Kommunikationseinheit übermittelt werden, wenn zuvor von der Kommunikationseinheit die Daten eines nichterkannten Grundmusters übermittelt werden und die Servereinheit hieraus ein Verkehrszeichen eines Landes erkennt, welches von dem Mustererkennungsalgorithmus des Fahrzeugs nicht erkannt werden kann.
Eine dynamische Anpassung der von der Objekterkennungseinheit einzusetzenden Mustererkennungsalgorithmen ist gemäß einer anderen Ausgestaltung der Erfindung dadurch möglich, dass in Abhängigkeit des aus dem von der Kommunikationseinheit übermittelten Grundmuster erkannten Verkehrszeichens die Servereinheit Informationen an die Kommunikationseinheit übermittelt, so dass anhand dieser Informationen die Objekterkennungseinheit die zur Erkennung des Verkehrszeichens erforderlichen Mustererkennungsalgorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt.
Nach einer besonders vorteilhaften Ausgestaltung der Erfindung ist vorgesehen, dass

– aus einer elektronischen Straßenkarte Informationen hinsichtlich des Standortes von Verkehrszeichen zur Verfügung gestellt werden,
– mittels eines Ortungssystems des Fahrzeugs, vorzugsweise nach dem GPS-System ein Abgleich des Standortes des Fahrzeugs mit den aus der Straßenkarte ermittelten Standorten von Verkehrszeichen durchgeführt wird,
– bei Nichterkennung eines Grundmusters eines erwarteten Verkehrszeichens die zugehörigen Bilddaten mittels der Kommunikationseinheit an die externe Servereinheit übermittelt werden, und
– von der externen Servereinheit eine Auswertung der Bilddaten hinsichtlich eines verkehrszeichentypisches Grundmuster eines Verkehrszeichens und/oder eines Verkehrszeichens mittels eines Mustererkennungsalgorithmus durchführt wird.

Das Ergebnis dieser Auswertung kann dann wieder an die Kommunikationseinheit des Fahrzeugs übermittelt werden, so zum Bsp. das erkannte Verkehrszeichen oder die Information des Nichterkennens eines Verkehrszeichens.
Die elektronische Straßenkarte kann im Fahrzeug zur Verfügung stehen oder es können auch die zur aktuellen Position des Fahrzeugs gehörigen Verkehrszeichendaten aus einer externen Datenquelle über die Kommunikationseinheit empfangen werden.
Die Verifizierung der Verkehrszeichendaten, insbesondere der Positionsdaten aus der digitalen Straßenkarte anhand der solchen Positionsdaten entsprechenden und von der Kamera erzeugten Bilddaten führt sowohl zur Verbesserung der Erkennungssicherheit als auch zu einer erhöhten Verkehrssicherheit.
Gemäß einer Weiterbildung der Erfindung wird die drahtlose Kommunikation der Kommunikationseinheit mit der externen Servereinheit durch eine Mobilfunk- oder Satelliten- oder WLAN- oder Bluetooth- oder Internet-Verbindung aufgebaut, wobei vorzugsweise die drahtlose Kommunikation durch kryptografische Methoden gesichert werden kann.
Die Servereinheit kann weiterbildungsgemäß als über ein Netzwerk verbundene verteile Server oder als Cloud-Server aufgebaut werden.
Schließlich kann das erfindungsgemäße Verfahren zusätzlich zur Erkennung von Verkehrszeichen auch Verkehrsampeln, Straßenmarkierungen, Fahrzeugsilhouetten bzw. Objektsilhouetten ausgebildet werden.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen unter Bezugnahme auf die beigefügten Figuren näher erläutert. Es zeigen:
1 eine schematische Darstellung eines Verkehrszeichenerkennungssystem, welches aus einem Fahrzeug mit einem Bildaufnahmesystem zur Verkehrszeichenerkennung sowie einer externen Servereinheit besteht, und
2 ein Ablaufdiagramm zur Durchführung des erfindungsgemäßen Verfahrens mit dem in 1 dargestellten Verkehrszeichenerkennungssystem.
Das in 1 schematisch als Teil eines Verkehrszeichenerkennungssystems dargestellte Fahrzeug 10, insbesondere ein Kraftfahrzeug umfasst ein Bildaufnahmesystem 1 mit einer Kamera 2, die als Farbkamera ausgebildet sein kann, eine Objekterkennungseinheit 3 zur Erkennung von Objekten, insbesondere Verkehrszeichen, wobei der Objekterkennungseinheit 3 ein Speicher 4 zugeordnet ist. Zur Objekterkennung werden von der Objekterkennungseinheit 3 aus den von der Kamera 2 erzeugten Bilddaten der Fahrzeugumgebung zunächst verkehrszeichentypische Grundmuster eines Verkehrszeichens, welche in dem Speicher 4 abgelegt sind, detektiert, bevor anschließend von einem Klassifikator der Objekterkennungseinheit 3 mittels eines hinterlegten Mustererkennungsalgorithmus anhand des Grundmusters ein bestimmtes Verkehrszeichen als Ergebnis der Mustererkennung erkannt werde kann. Falls ein Verkehrszeichen erkannt wird, wird dieses anschließend einem Display 5 als Anzeigeeinheit zugeführt, welches mit der Objekterkennungseinheit 3 verbunden ist. Das erkannte Verkehrszeichen wird einem Fahrer des Fahrzeugs 10 als Information zur Verfügung gestellt.
Die Objekterkennungseinheit 3 kann auch so ausgebildet sein, dass nicht nur Verkehrszeichen, sondern auch weitere Objekte wie bspw. Verkehrsampeln, Fahrbahnmarkierungen, Fahrbahnbegrenzungen, vorausfahrende Fahrzeuge, deren Fahrzeugsilhouetten, sowie Rücklichter, Scheinwerfer und Objektsilhouetten allgemeiner Art usw. erkannt werden können.
Das Display 5 des Fahrzeugs 10 kann bspw. ein Teil einer zentralen Anzeige- und Bedieneinheit des Fahrzeugs 10 oder ein Kombiinstrument des Fahrzeugs 10 darstellen.
Desweiteren weist das Fahrzeug 10 ein Fahrerassistenzsystem 8 auf, welchem die Informationen hinsichtlich des erkannten Verkehrszeichens und/oder weiterer im Fahrzeugumfeld erkannter Objekte zugeführt werden, welches seinerseits Stellorgane 8a zur Durchführung der entsprechenden Fahrerassistenzfunktion ansteuert.
So kann das Fahrerassistenzsystem 8, dem die Informationen bspw. über geschwindigkeitsbegrenzende Verkehrszeichen zugeführt werden, eine automatische Anpassung der aktuellen Geschwindigkeit des Fahrzeugs 10 an die erkannte Höchstgeschwindigkeit über die Steuerung der Stellorgane 8a vornehmen.
Dieses Fahrerassistenzsystem 8 kann auch als Spurhalteassistenzsystem ausgebildet sein, dem die für die Spurhaltung erforderlichen Informationen hinsichtlich erkannter Fahrbahnmarkierungen bzw. Fahrbahnbegrenzungen zugeführt werden und ggf. Eingriffe in das Brems- und/oder Lenksystem des Fahrzeugs 10 über die Stellorgane 8a vornimmt.
Ferner ist in dem Fahrzeug auch ein Navigationssystem 6 mit einer digitalen Karte und einem GPS-System als Ortungssystem installiert.
Schließlich ist in dem Fahrzeug 10 eine Kommunikationseinheit 7 vorgesehen, die drahtlos über eine Funkverbindung 9a mit einer externen Servereinheit 9 kommuniziert, also sowohl Daten an diese Servereinheit 9 senden als auch Daten von derselben empfangen kann.
Im Folgenden wird anhand der 1 und 2 als Ausführungsbeispiel der Erfindung das erfindungsgemäße Verfahren erläutert.
Wie bereits oben ausgeführt, wird in einem ersten Verfahrensschritt S1 von der Kamera 2 die Fahrzeugumgebung erfasst und hiervon Bilddaten erzeugt, die der Objekterkennungseinheit 3 zur Auswertung zugeführt werden. Aus diesen Bilddaten werden zunächst von der Objekterkennungseinheit 3 gemäß Verfahrensschritt S2 verkehrszeichentypische Grundmuster von Verkehrszeichen, wie runde oder eckige Formen bzw. Muster bestimmter Größe erkannt bzw. detektiert, bevor von einem Klassifikator der Objekterkennungseinheit 3 gemäß einem Verfahrensschritt S3 das Grundmuster genauer klassifiziert wird.
Bei einer Erkennung eines Verkehrszeichen (Verfahrensschritt S4) wird gemäß Verfahrensschritt S5 die Information über dieses erkannte Verkehrszeichen von der Objekterkennungseinheit 3 dem Display 5 zugeführt und steht dort als Information dem Fahrer des Fahrzeugs 10 zur Verfügung. Anschließend erfolgt ein Rücksprung auf Verfahrensschritt S1.
Wird allerdings von dem Klassifikator der Objekterkennungseinheit 3 kein Verkehrszeichen erkannt, so werden gemäß einem Verfahrensschritt S6 die Daten des erkannten Grundmusters der Kommunikationseinheit 7 zugeführt, die diese Daten an die externe Servereinheit 9 über die Funkverbindung 9a übermittelt.
In dieser Servereinheit 9 kommt ein Mustererkennungsalgorithmus zur Auswertung dieser empfangenen Daten zur Anwendung, mit dem eine aufwändigere Mustererkennung durchgeführt wird, als es im Fahrzeug 10 möglich wäre.
In einem nachfolgenden Verfahrensschritt S8 wird das Ergebnis aus dem Verfahrensschritt S6 an die Kommunikationseinheit 7 des Fahrzeugs 10 übermittelt, welche die empfangenen Daten der Objekterkennungseinheit 3 zuführt.
Falls die externe Servereinheit 9 ein Verkehrszeichen erkannt hat, wird dieses Verkehrszeichen auf dem Display 5 dargestellt (Verfahrensschritt S5). Als Ergebnis der von der externen Servereinheit 9 durchgeführten Mustererkennung wird auch das Nichterkennen eines Verkehrszeichens übermittelt und steht als Information der Objekterkennungseinheit 3 für statistische Zwecke zur Verfügung.
So wird die Erkennungshäufigkeit der von der Objekterkennungseinheit 3 des Fahrzeugs 10 durchgeführten Mustererkennungen und die Erkennungshäufigkeit der von der externen Servereinheit 9 durchgeführten Mustererkennungen bestimmt und das Häufigkeitsverhältnis der beiden Werte dieser Erkennungshäufigkeiten gebildet. Der Wert des Häufigkeitsverhältnisses wird auf dem Display 5 des Fahrzeugs 10 angezeigt und steht dem Fahrer als Information zur Verfügung.
Anhand dieser Information kann der Fahrer entscheiden, ob ein Update der Verkehrszeichenerkennungssoftware erforderlich ist, da ihm evtl. der Wert des Häufigkeitsverhältnisses zu gering erscheint. Dieser Wert des Häufigkeitsverhältnisses kann sich auch auf einen bestimmten Zeitraum beziehen, um dadurch dem Fahrer des Fahrzeugs 10 eine Abschätzung zu ermöglichen, wann sich ein Update der Verkehrszeichenerkennungssoftware lohnt.
Ein Update kann auch automatisch über die Kommunikationseinheit 7 und die Servereinheit 9 durchgeführt werden, wenn der Wert des Häufigkeitsverhältnisses kleiner als ein vorgegebener Häufigkeitsschwellwert ist. Dies kann derart durchgeführt werden, dass dem Fahrer des Fahrzeugs 10 mit einer Hinweismeldung auf dem Display 5 die Information bereitgestellt wird, dass ein Update der externen Servereinheit 9 zur Verfügung steht, dessen Durchführung durch den Fahrer nach einer Bestätigung initiiert wird.
Mit dem Verfahrensschritt S6 wird nicht nur eine Auswertung des übermittelten Grundmusters durchgeführt, sondern es wird auch geprüft, ob das nicht erkannte Verkehrszeichen von der Objekterkennungseinheit 3 nicht erkannt werden konnte, da sich das Fahrzeug 10 inzwischen über die Landesgrenze in ein anderes Land bewegt hat, dessen Verkehrszeichen der in der Objekterkennungseinheit 3 verwendete Mustererkennungsalgorithmus nicht erkennen kann.
Falls dies gemäß Verfahrensschritt S7 zutrifft, wird in einem nachfolgenden Verfahrensschritt S9 die Information an die Kommunikationseinheit 7 übermittelt, dass zur Erkennung dieser landesspezifischen Verkehrszeichen ein entsprechender Mustererkennungsalgorithmus oder Erkennungsanteile des in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgorithmus zum Downloaden bereit steht.
Auch ist es möglich, dass über einen solchen Download die zur Erkennung dieser landesspezifischen Verkehrszeichen erforderlichen Erkennungsparameter für den in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgorithmus des Fahrzeugs 10 übermittelt werden, wodurch die Erkennungsparameter des Mustererkennungsalgorithmus so geändert werden, dass der Mustererkennungsprozess der Objekterkennungseinheit 3 besser an die Eigenheiten des Verkehrszeichen in dem jeweiligen Land angepasst und damit eine bessere Erkennungsrate erzielt wird, wobei sich gleichzeitig auch die Prozessorlast eines Mikroprozessors der Objekterkennungseinheit 3 reduzieren lässt.
Nach einer Installation der zur Erkennung der landesspezifischen Verkehrszeichen erforderlichen Mustererkennungsalgorithmen oder entsprechenden Erkennungsparameter gemäß Verfahrensschritt S10 erfolgt ein Rücksprung auf den Verfahrensschritt S1.
Ein solcher Download kann automatisch über die Funkverbindung 9a der Kommunikationseinrichtung 7 mit der externen Servereinheit 9 durchgeführt werden oder erst nach Anzeige auf dem Display 5, so dass dem Fahrer die Möglichkeit gegeben wird, einen solchen Download zu initiieren.
Eine weitere Möglichkeit die in der Objekterkennungseinheit 3 verwendeten Mustererkennungsalgorithmen auf dem aktuellsten Stand zu halten, bzw. diese so zu aktualisieren oder zu ergänzen, dass nach dem Überfahren von Landesgrenzen die dann detektierten landesspezifischen Verkehrszeichen erkannt werden können, besteht darin, dass in Abhängigkeit des aus dem von der Kommunikationseinheit 7 übermittelten Grundmuster erkannten Verkehrszeichens die Servereinheit 9 Informationen an die Kommunikationseinheit 7 übermittelt, so dass anhand dieser Informationen die Objekterkennungseinheit 3 die zur Erkennung des Verkehrszeichens erforderlichen Mustererkennungsalgorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt. Damit wird eine dynamische Anpassung des Mustererkennungsalgorithmus der Objekterkennungseinheit 3 realisiert, so dass ständig die richtigen Erkennungsalgorithmen zur Erkennung der Verkehrszeichen durchlaufen werden. Auch diese dynamische Anpassung der erforderlichen Mustererkennungsalgorithmen erfolgt über die Funkverbindung 9a mit der Servereinheit 9.
Der Ablauf des erfindungsgemäßen Verfahrens gemäß 2 kann gemäß einer Abwandlung so durchgeführt werden, dass in der Objekterkennungseinheit 3 immer nur das verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt wird und anschließend die Daten dieser Grundmuster zur Erkennung des Verkehrszeichens an die externe Servereinheit 9 übermittelt wird, d. h. die Klassifikation wird immer von der Servereinheit 9 durchgeführt.
Das Fahrzeug 10 gemäß 1 umfasst auch ein Navigationssystem 6 mit einem GPS-Empfänger zur Bestimmung der aktuellen Position des Fahrzeugs 10 sowie eine digitalen Karte, die neben Streckenführungen auch Verkehrszeicheninformationen enthält, also Informationen über an der befahrenen Strecke vorhandenen Verkehrszeichen.
Somit kann jeder aktuellen Position des Fahrzeugs 10 die in der digitalen Karte angegebenen Verkehrszeichen zugeordnet werden und mit den von der Kamera 2 erzeugten Bilddaten verglichen werden. Nun kann der Fall auftreten, dass in einer bestimmten Position des Fahrzeugs 10 Bilddaten von der Kamera 2 erzeugt werden, die aufgrund der Verkehrszeicheninformationen der digitalen Karte ein Verkehrszeichen beinhalten müssten. Obwohl ein Verkehrszeichen erwartet wird, wird von der Objekterkennungseinheit 3 kein verkehrszeichentypisches Grundmuster eines Verkehrszeichens erkannt. In diesem Fall werden die kompletten Bilddaten zur Auswertung an die externe Servereinheit 9 über die Kommunikationseinheit 7 übermittelt. Dort wird sowohl die Auswertung hinsichtlich des verkehrszeichentypischen Grundmusters eines Verkehrszeichens als auch dessen Erkennung mittels eines Mustererkennungsalgorithmus durchgeführt und das Ergebnis über die Funkverbindung 9a wieder der Kommunikationseinheit 7 zurückübermittelt, so dass diese Information auf dem Display 5 angezeigt werden kann.
Die Anwendung des erfindungsgemäßen Verfahrens ist nicht nur auf die Erkennung von Verkehrszeichen beschränkt, sondern kann auch auf weitere Objekte, wie bspw. Verkehrsampeln, Fahrbahnmarkierungen, Fahrbahnbegrenzungen, vorausfahrende Fahrzeuge, deren Fahrzeugsilhouetten, sowie Rücklichter, Scheinwerfer und Objektsilhouetten angewendet werden.
Die drahtlose Funkkommunikation 9a der Kommunikationseinheit 7 mit der externen Servereinheit 9 kann mit folgenden Technologien aufgebaut werden:

– Mobilfunk (GPRS, EDGE, UMTS, LTE, ...)
– Satellitentelefon
– WLAN (IEEE 802.11a/b/g/n/ac/...)
– Bluetooth (z.B. zu einem Smartphone)

Die drahtlose Funkkommunikation 9a kann hierbei durch kryptografische Methoden gesichert werden (z.B. AES, ECC, RC2, Blowfish, Twofish, DES, Triple-DES, SHA, ...), um böswillige Veränderungen der Daten und damit Falschinformation des Fahrers zu vermeiden.
Anstelle einer dedizierten Servereinheit 9 können auch verteilte Server oder sogenannten Cloud-Systeme verwendet werden. Ebenfalls möglich sind frei per Internetverbindung erreichbare Server.
Die Vorteile des erfindungsgemäßen Verfahrens liegen vor allem darin, dass zunächst in einer ersten Stufe eine Erkennung hinsichtlich von verkehrszeichentypischen Grundmustern erfolgt und in einer zweiten Stufe, falls in dem Fahrzeug keine Erkennung möglich ist, die Erkennung außerhalb des Fahrzeugs durchgeführt wird. Dadurch kann ein wesentlich aufwendigerer Mustererkennungsalgorithmus eingesetzt werden und dadurch eine deutlich höhere Erkennungsrate erreicht werden, als wenn die Verkehrszeichenerkennung lediglich mit dem in der Objekterkennungseinheit hinterlegten Mustererkennungsalgorithmus durchgeführt würde.
Ein weiterer Vorteil besteht darin, dass eine Zukunftssicherheit des Verkehrszeichenerkennungssystems garantiert ist, da Weiterentwicklungen durch die verwendete Servereinheit abgebildet werden können.
Bezugszeichenliste

1: Bildaufnahmesystem
2: Kamera
3: Objekterkennungseinheit
4: Speicher der Objekterkennungseinheit 3
5: Anzeigeeinheit, Display
6: Navigationssystem
7: Kommunikationseinheit
8: Fahrerassistenzsystem.
9: externe Servereinheit
9a: Funkverbindung
10: Fahrzeug

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 19852631 A1 [0002]
DE 102008043756 A1 [0003, 0004, 0005]

Zitierte Nicht-Patentliteratur

IEEE 802.11a/b/g/n/ac/... [0057]

Claims

Verfahren zur elektronischen Erkennung von Verkehrszeichen, bei welchem aus den Bilddaten einer in einem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster eines Verkehrszeichens erkannt werden, dadurch gekennzeichnet, dass – über eine Kommunikationseinrichtung (7) des Fahrzeugs (10) zum Senden und Empfangen von Daten die Daten des erkannten Grundmusters drahtlos an eine externe Servereinheit (9) übermittelt werden, – mittels eines Mustererkennungsalgorithmus von der externen Servereinheit (9) eine Mustererkennung durchgeführt wird, und – als Ergebnis der Mustererkennung die Daten des erkannten Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt werden.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Ergebnis der Mustererkennung das Nichterkennen eines Verkehrszeichens an die Kommunikationseinheit (7) des Fahrzeugs (10) übermittelt wird.
Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass – vor Übermittlung der Daten des Grundmusters an die externe Servereinheit (9) mittels eines Musterkennungsalgorithmus einer Objekterkennungseinheit (3) des Fahrzeugs (10) eine Mustererkennung durchgeführt wird, und – bei Nichterkennen eines Verkehrszeichens die Daten des Grundmusters an die externe Servereinheit (9) übermittelt wird.
Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass – die Erkennungshäufigkeit der von der Objekterkennungseinheit (3) des Fahrzeugs (10) durchgeführten Mustererkennungen und die Erkennungshäufigkeit der von der externen Servereinheit (9) durchgeführten Mustererkennungen bestimmt wird, und – das Häufigkeitsverhältnis aus der Erkennungshäufigkeit der Objekterkennungseinheit (3) des Fahrzeugs (10) und der Erkennungshäufigkeit der externen Servereinheit (9) gebildet wird.
Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass bei einem Wert des Häufigkeitsverhältnisses kleiner als ein vorgegebener Häufigkeitsschwellwert ein Update des Mustererkennungsalgorithmus durch die externe Servereinheit (9) durchgeführt wird.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass Mustererkennungsalgorithmen zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit (9) an die Kommunikationseinheit übermittelt werden.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass zur Erkennung landesspezifischer Verkehrszeichen von der Servereinheit (9) die erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus der Objekterkennungseinheit (3) des Fahrzeugs (10) übermittelt werden.
Verfahren nach Anspruch 6 oder 7, dadurch gekennzeichnet, dass die Mustererkennungsalgorithmen zur Erkennung der landesspezifischen Verkehrszeichen bzw. die Erkennungsparameter dann von der Servereinheit (9) an die Kommunikationseinheit (7) übermittelt werden, wenn zuvor von der Kommunikationseinheit (7) die Daten eines nichterkannten Grundmusters übermittelt werden und die Servereinheit (9) hieraus ein Verkehrszeichen eines Landes erkennt, welches von dem Mustererkennungsalgorithmus der Objekterkennungseinheit (3) des Fahrzeugs (10) nicht erkannt werden kann.
Verfahren nach einem der Ansprüche 3 bis 5, dadurch gekennzeichnet, dass in Abhängigkeit des aus dem von der Kommunikationseinheit (7) übermittelten Grundmuster erkannten Verkehrszeichens die Servereinheit (9) Informationen an die Kommunikationseinheit (7) übermittelt, so dass anhand dieser Informationen die Objekterkennungseinheit (3) die zur Erkennung des Verkehrszeichens erforderlichen Mustererkennungsalgorithmen anwendet oder die zur Erkennung des Verkehrszeichen erforderlichen Erkennungsparameter für den Mustererkennungsalgorithmus einstellt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass – aus einer elektronischen Straßenkarte Informationen hinsichtlich des Standortes von Verkehrszeichen zur Verfügung gestellt werden, – mittels eines GPS-Ortungssystems (6) des Fahrzeugs (10) ein Abgleich des Standortes des Fahrzeugs (10) mit den aus der Straßenkarte ermittelten Standorten von Verkehrszeichen durchgeführt wird, – bei Nichterkennung eines Grundmusters eines erwarteten Verkehrszeichens die zugehörigen Bilddaten mittels der Kommunikationseinheit (7) an die externe Servereinheit (9) übermittelt werden, und – von der externen Servereinheit (9) eine Auswertung der Bilddaten hinsichtlich eines verkehrszeichentypisches Grundmuster eines Verkehrszeichens und/oder eine Verkehrszeichens mittels eines Mustererkennungsalgorithmus durchführt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Servereinheit (9) als über ein Netzwerk verbundene verteile Server oder als Cloud-Server aufgebaut ist.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Verfahren zusätzlich zur Erkennung von Verkehrszeichen auch zur Erkennung von Verkehrsampeln, Straßenmarkierungen, Fahrzeugsilhouetten und/oder Objektsilhouetten ausgebildet ist.
Fahrzeug (10) umfassend Einrichtungen zur elektronischen Erkennung von Verkehrszeichen, umfassend ein Bildaufnahmesystem (1), welches ausgebildet ist, aus den Bilddaten einer in dem Fahrzeug (10) angeordneten Kamera (2) verkehrszeichentypische Grundmuster zu erkennen, insbesondere nach einem der Ansprüche 1 bis 12, dadurch gekennzeichnet, dass – eine Kommunikationseinrichtung (7) zum Senden und Empfangen von Daten an eine externe Servereinheit (10) vorgesehen ist, mit welcher die Daten des erkannten Grundmusters drahtlos an die Servereinheit (9) zur Durchführung einer Verkehrszeichenerkennung übermittelt wird, und – die Kommunikationseinheit (7) ausgebildet ist, als Ergebnis die Daten des von der Servereinheit (9) erkannten Verkehrszeichens zu empfangen.