CH719862A2

CH719862A2 - Method for determining calibration information of a camera unit on the vehicle or infrastructure using image data from a camera unit external to the vehicle and/or infrastructure

Info

Publication number: CH719862A2
Application number: CH000621/2023A
Authority: CH
Inventors: Dolar Carsten; El Menuawy Kamal; Schmidt Nico
Original assignee: Bosch Gmbh Robert
Priority date: 2022-07-05
Filing date: 2023-06-13
Publication date: 2024-01-15
Also published as: DE102022206861A1

Abstract

Die Erfindung betrifft ein Verfahren zum Ermitteln einer Kalibrierungsinformation einer fahrzeug- oder infrastrukturseitigen Kameraeinheit (12) eines Fahrzeugs (10) oder einer Infrastruktureinheit unter Verwendung von Bilddaten einer fahrzeug- und/oder infrastrukturfremden Kameraeinheit (20), mit folgenden Schritten: – Empfangen von ersten Bilddaten der fahrzeug- und/oder infrastrukturfremden Kameraeinheit (20) bezüglich eines in einem Umfeld des Fahrzeugs (10) oder der Infrastruktureinheit angeordneten fahrzeug- und/oder infrastrukturfremden Kalibriermusters (14) und eines dem Fahrzeug (10) oder der Infrastruktureinheit zugeordneten Referenzkalibriermusters (16a, 16b); – Empfangen von zweiten Bilddaten der fahrzeug- oder infrastrukturseitigen Kameraeinheit (12) bezüglich des fahrzeug- und/oder infrastrukturfremden Kalibriermusters (14); und – Ermitteln der Kalibrierungsinformation basierend auf den ersten Bilddaten und den zweiten Bilddaten sowie einer Anordnungsinformation bezüglich einer Anordnung zwischen dem Referenzkalibriermuster (14) und dem Fahrzeug (10) oder der Infrastruktureinheit mittels einer Recheneinheit.The invention relates to a method for determining calibration information of a vehicle or infrastructure camera unit (12) of a vehicle (10) or an infrastructure unit using image data from a camera unit (20) external to the vehicle and/or infrastructure, with the following steps: - Receiving first Image data of the camera unit (20) external to the vehicle and/or infrastructure with respect to a calibration pattern (14) external to the vehicle and/or infrastructure arranged in an environment of the vehicle (10) or the infrastructure unit and a reference calibration pattern (16a) assigned to the vehicle (10) or the infrastructure unit , 16b); - Receiving second image data from the camera unit (12) on the vehicle or infrastructure side with regard to the calibration pattern (14) external to the vehicle and/or infrastructure; and - determining the calibration information based on the first image data and the second image data as well as arrangement information regarding an arrangement between the reference calibration pattern (14) and the vehicle (10) or the infrastructure unit by means of a computing unit.

Description

[0001] Die Erfindung betrifft ein Verfahren zum Ermitteln einer Kalibrierungsinformation einer fahrzeug- oder infrastrukturseitigen Kameraeinheit eines Fahrzeugs oder einer Infrastruktureinheit unter Verwendung von Bilddaten einer fahrzeug- und/oder infrastrukturfremden Kameraeinheit, eine Recheneinheit und ein System, sowie ein entsprechendes Computerprogramm und ein Speichermedium. The invention relates to a method for determining calibration information of a vehicle or infrastructure camera unit of a vehicle or an infrastructure unit using image data from a camera unit external to the vehicle and/or infrastructure, a computing unit and a system, as well as a corresponding computer program and a storage medium.

Stand der TechnikState of the art

[0002] Beim Anordnen einer Kameraeinheit an einem Fahrzeug oder einer Infrastruktureinheit zum Zwecke der Umfelderfassung des Fahrzeugs oder der Infrastruktureinheit besteht ein technisches Problem darin, die fahrzeug- oder infrastrukturseitige Kameraeinheit exakt an einer vorgegebenen Position und/oder einer vorgegebenen Ausrichtung (Pose) an dem Fahrzeug oder der Infrastruktureinheit anzuordnen. Deshalb ist nach dem Anordnen der Kameraeinheit an dem Fahrzeug oder der Infrastruktureinheit eine Kalibrierung der Kameraeinheit erforderlich. [0002] When arranging a camera unit on a vehicle or an infrastructure unit for the purpose of detecting the surroundings of the vehicle or the infrastructure unit, a technical problem is to place the camera unit on the vehicle or infrastructure side exactly at a predetermined position and/or a predetermined orientation (pose). to arrange the vehicle or the infrastructure unit. Therefore, after arranging the camera unit on the vehicle or the infrastructure unit, a calibration of the camera unit is required.

[0003] Bekannt sind Verfahren zur Kalibrierung einer an einem Fahrzeug angeordneten Kameraeinheit unter Verwendung von im Erfassungsbereich der Kameraeinheit platzierten Kalibriermustern. Hierbei müssen die Kalibriermuster mit hoher Präzision in vorgegebenen Anordnungen relativ zu dem Fahrzeug platziert werden. Anschließend werden die Kalibriermuster mittels der fahrzeugseitigen Kameraeinheit erfasst, um Bilddaten bezüglich der Kalibriermuster bereitzustellen. Aufgrund der Platzierung der Kalibriermuster gemäß der vorgegebenen Anordnung kann eine Kalibrierung der Kameraeinheit unter Verwendung der erzeugten Bilddaten der fahrzeugseitigen Kameraeinheiten erfolgen. Methods are known for calibrating a camera unit arranged on a vehicle using calibration patterns placed in the detection range of the camera unit. The calibration patterns must be placed with high precision in predetermined arrangements relative to the vehicle. The calibration patterns are then captured using the vehicle-mounted camera unit in order to provide image data regarding the calibration patterns. Due to the placement of the calibration patterns according to the specified arrangement, the camera unit can be calibrated using the image data generated by the vehicle-side camera units.

[0004] WO 2020/010043 A1 offenbart ein Verfahren zur Kalibrierung eines an einem Roboter angeordneten Sensors. Hierbei wird eine Mehrzahl von Sensorzielen in vorgegebenen Abständen zu dem Roboter angeordnet. [0004] WO 2020/010043 A1 discloses a method for calibrating a sensor arranged on a robot. Here, a plurality of sensor targets are arranged at predetermined distances from the robot.

Offenbarung der ErfindungDisclosure of the invention

[0005] Gemäß einem ersten Aspekt ist Gegenstand der vorliegenden Erfindung ein Verfahren zum Ermitteln einer Kalibrierungsinformation einer fahrzeug- oder infrastrukturseitigen Kameraeinheit eines Fahrzeugs oder einer Infrastruktureinheit unter Verwendung von Bilddaten einer fahrzeug- und/oder infrastrukturfremden Kameraeinheit. According to a first aspect, the subject of the present invention is a method for determining calibration information of a vehicle or infrastructure-side camera unit of a vehicle or an infrastructure unit using image data from a camera unit external to the vehicle and/or infrastructure.

[0006] Das Verfahren umfasst einen Schritt des Empfangens von ersten Bilddaten der fahrzeug- und/oder infrastrukturfremden Kameraeinheit bezüglich eines in einem Umfeld des Fahrzeugs oder der Infrastruktureinheit angeordneten fahrzeug- und/oder infrastrukturfremden Kalibriermusters und eines dem Fahrzeug zugeordneten Referenzkalibriermusters. Das Verfahren umfasst weiter einen Schritt des Empfangens von zweiten Bilddaten der fahrzeug- oder infrastrukturseitigen Kameraeinheit bezüglich des fahrzeug- und/oder infrastrukturfremden Kalibriermusters. Das Verfahren umfasst ferner einen Schritt des Ermittelns der Kalibrierungsinformation basierend auf den ersten Bilddaten und den zweiten Bilddaten sowie einer Anordnungsinformation bezüglich einer Anordnung zwischen dem Referenzkalibriermuster und dem Fahrzeug oder zwischen dem Referenzkalibriermuster und der Infrastruktureinheit mittels einer Recheneinheit. The method includes a step of receiving first image data from the camera unit external to the vehicle and/or infrastructure with respect to a calibration pattern external to the vehicle and/or infrastructure arranged in an environment of the vehicle or the infrastructure unit and a reference calibration pattern assigned to the vehicle. The method further comprises a step of receiving second image data from the camera unit on the vehicle or infrastructure with regard to the calibration pattern external to the vehicle and/or infrastructure. The method further comprises a step of determining the calibration information based on the first image data and the second image data as well as arrangement information regarding an arrangement between the reference calibration pattern and the vehicle or between the reference calibration pattern and the infrastructure unit by means of a computing unit.

[0007] Gemäß einem zweiten Aspekt ist Gegenstand der vorliegenden Erfindung eine Recheneinheit zum Ermitteln einer Kalibrierungsinformation einer fahrzeug- oder infrastrukturseitigen Kameraeinheit eines Fahrzeugs oder einer Infrastruktureinheit unter Verwendung von Bilddaten einer fahrzeug- und/oder infrastrukturfremden Kameraeinheit gemäß dem Anspruch 7. According to a second aspect, the subject of the present invention is a computing unit for determining calibration information of a vehicle or infrastructure-side camera unit of a vehicle or an infrastructure unit using image data from a camera unit external to the vehicle and/or infrastructure according to claim 7.

[0008] Gemäß einem dritten Aspekt ist Gegenstand der vorliegenden Erfindung ein System zum Ermitteln einer Kalibrierungsinformation einer fahrzeug- oder infrastrukturseitigen Kameraeinheit eines Fahrzeugs oder einer Infrastruktureinheit unter Verwendung von Bilddaten einer fahrzeug- und/oder infrastrukturfremden Kameraeinheit gemäß dem Anspruch 8. Das System umfasst – die fahrzeug- oder infrastrukturseitige Kameraeinheit und/oder die fahrzeug- und/oder infrastrukturfremde Kameraeinheit und – eine Recheneinheit gemäß dem zweiten Aspekt der Erfindung.[0008] According to a third aspect, the subject of the present invention is a system for determining calibration information of a vehicle or infrastructure-side camera unit of a vehicle or an infrastructure unit using image data from a camera unit external to the vehicle and/or infrastructure according to claim 8. The system comprises - the camera unit on the vehicle or infrastructure side and/or the camera unit external to the vehicle and/or infrastructure and - a computing unit according to the second aspect of the invention.

[0009] Gemäß einem weiteren Aspekt sind Gegenstand der vorliegenden Erfindung ein Computerprogramm und ein maschinenlesbares Speichermedium. According to a further aspect, the subject of the present invention is a computer program and a machine-readable storage medium.

[0010] Das Fahrzeug kann bspw. ein Landfahrzeug, ein Wasserfahrzeug oder ein Luftfahrzeug sein. Denkbar ist, dass das Fahrzeug ein Straßenfahrzeug ist. Denkbar ist auch, dass das Fahrzeug eine mobile Arbeitsmaschine ist. Die Arbeitsmaschine kann eine Arbeitsmaschine für landwirtschaftliche, bauwirtschaftliche, forstwirtschaftliche oder logistische Zwecke sein. Zum Beispiel kann die Arbeitsmaschine, ein Bagger, ein Radlader, ein Traktor oder ein Flurförderzeug sein. Die Arbeitsmaschine kann auch ein mobiler, insbesondere autonomer, Roboter sein. The vehicle can be, for example, a land vehicle, a watercraft or an aircraft. It is conceivable that the vehicle is a road vehicle. It is also conceivable that the vehicle is a mobile work machine. The work machine can be a work machine for agricultural, construction, forestry or logistical purposes. For example, the work machine can be an excavator, a wheel loader, a tractor or an industrial truck. The work machine can also be a mobile, in particular autonomous, robot.

[0011] Die Infrastruktureinheit kann ein bspw. Bauwerk wie ein Gebäude, eine Brücke, ein Tunnel etc. sein. Denkbar ist, dass die Infrastruktureinheit eine Straßenlaterne, ein Verkehrsschild, ein Mast etc. ist. Insbesondere ist die Infrastruktureinheit ortsfest bzw. stationär. The infrastructure unit can be, for example, a structure such as a building, a bridge, a tunnel, etc. It is conceivable that the infrastructure unit is a street lamp, a traffic sign, a mast, etc. In particular, the infrastructure unit is stationary.

[0012] Die fahrzeug- oder infrastrukturseitige Kameraeinheit ist eine an dem Fahrzeug oder der Infrastruktureinheit angeordnete Kameraeinheit. Die Kameraeinheit kann eine Mono-Kameraeinheit, Stereo-Kameraeinheit, Time-of-Flight-Kameraeinheit etc. sein. Die fahrzeug- oder infrastrukturseitige Kameraeinheit ist auf ein Umfeld des Fahrzeugs oder der Infrastruktureinheit ausgerichtet, um Bilddaten bezüglich des Umfelds bereitzustellen. Die Kameraeinheit kann bspw. an einem Frontbereich, an einem Seitenbereich oder einem Heckbereich des Fahrzeugs angeordnet sein. Im Falle mehrerer fahrzeug- oder infrastrukturseitiger Kameraeinheiten sind die fahrzeug- oder infrastrukturseitigen Kameraeinheiten bevorzugt an verschiedenen Positionen am Fahrzeug oder an verschiedenen Positionen der Infrastruktureinheit und/oder mit verschiedenen Ausrichtungen am Fahrzeug oder mit verschiedenen Ausrichtungen an der Infrastruktureinheit angeordnet, um Bilddaten bezüglich des Umfelds aus unterschiedlichen Kameraposen bereitzustellen. The vehicle or infrastructure-side camera unit is a camera unit arranged on the vehicle or the infrastructure unit. The camera unit can be a mono camera unit, stereo camera unit, time-of-flight camera unit, etc. The vehicle or infrastructure-side camera unit is aimed at an environment of the vehicle or the infrastructure unit in order to provide image data relating to the environment. The camera unit can be arranged, for example, on a front area, on a side area or a rear area of the vehicle. In the case of several vehicle- or infrastructure-side camera units, the vehicle- or infrastructure-side camera units are preferably arranged at different positions on the vehicle or at different positions on the infrastructure unit and/or with different orientations on the vehicle or with different orientations on the infrastructure unit in order to display image data relating to the surroundings to provide different camera poses.

[0013] Die Bilddaten der fahrzeug- und/oder infrastrukturfremden Kameraeinheit umfassen bevorzugt mehrere Bilder aus verschiedenen Kameraposen der fahrzeug- und/oder infrastrukturfremden Kameraeinheit. Denkbar ist auch, dass die Bilddaten eine Bildsequenz bzw. einen Bildstrom mehrerer zeitlich aufeinanderfolgender Bilder bzw. ein Video umfassen. The image data of the camera unit external to the vehicle and/or infrastructure preferably includes several images from different camera poses of the camera unit external to the vehicle and/or infrastructure. It is also conceivable that the image data includes an image sequence or an image stream of several consecutive images or a video.

[0014] Die fahrzeug- und/oder infrastrukturfremde Kameraeinheit ist eine abseits bzw. beabstandet zu dem Fahrzeug und/oder zu der Infrastruktureinheit angeordnet Kameraeinheit. Die fahrzeug- und/oder infrastrukturfremde Kameraeinheit kann eine mobile oder stationäre Kameraeinheit sein. Die mobile fahrzeug- und/oder infrastrukturfremde Kameraeinheit kann als eine tragbare Kameraeinheit ausgebildet sein, welche bspw. Teil eines mobilen Endgeräts wie eines Smartphones oder eines Tablets ist. Die stationäre fahrzeugfremde Kameraeinheit kann an einer Infrastruktureinheit in dem Umfeld des Fahrzeugs angeordnet sein. The camera unit external to the vehicle and/or infrastructure is a camera unit arranged apart from or at a distance from the vehicle and/or from the infrastructure unit. The camera unit external to the vehicle and/or infrastructure can be a mobile or stationary camera unit. The mobile camera unit that is external to the vehicle and/or infrastructure can be designed as a portable camera unit, which is, for example, part of a mobile terminal such as a smartphone or a tablet. The stationary, non-vehicle camera unit can be arranged on an infrastructure unit in the area surrounding the vehicle.

[0015] Bevorzugt ist die fahrzeugfremde und/oder infrastrukturfremde Kameraeinheit zumindest eine fahrzeugfremde Kameraeinheit in dem Fall, in dem die fahrzeugseitige oder infrastrukturseitige Kameraeinheit eine fahrzeugseitige Kameraeinheit ist. Alternativ ist die fahrzeugfremde und/oder infrastrukturfremde Kameraeinheit zumindest eine infrastrukturfremde Kameraeinheit in dem Fall, in dem die fahrzeugseitige oder infrastrukturseitige Kameraeinheit eine infrastrukturseitige Kameraeinheit ist. [0015] Preferably, the non-vehicle and/or non-infrastructure camera unit is at least one non-vehicle camera unit in the case in which the vehicle-side or infrastructure-side camera unit is a vehicle-side camera unit. Alternatively, the non-vehicle and/or non-infrastructure camera unit is at least one non-infrastructure camera unit in the case in which the vehicle-side or infrastructure-side camera unit is an infrastructure-side camera unit.

[0016] Unter einem Empfangen von Bilddaten kann ein Empfangen der Bilddaten von ein Hardware-Einheit oder Software-Einheit mittels einer Hardware-Schnittstelle bzw. Software-Schnittstelle verstanden werden. Das Empfangen von Bilddaten kann bspw. ein Einlesen der Bilddaten aus einer Speichereinheit sein. Bevorzugt werden die Bilddaten mittels der Recheneinheit empfangen. Denkbar ist, dass die Bilddaten mittels einer drahtlosen oder drahtgebundenen Kommunikationsverbindung von der fahrzeug- und/oder infrastrukturfremden bzw. fahrzeug- oder infrastrukturseitigen Kameraeinheit unmittelbar oder mittelbar, bspw. über eine Zwischenspeichereinheit, an die Recheneinheit übertragen werden. Dem Schritt des Empfangens der Bilddaten kann ein Schritt des Erfassens des fahrzeug- und/oder infrastrukturfremden Kalibriermusters und/oder des Referenzkalibriermusters mittels der fahrzeug- oder infrastrukturseitigen bzw. fahrzeug- und/oder infrastrukturfremden Kameraeinheit vorausgehen. [0016] Receiving image data can be understood to mean receiving the image data from a hardware unit or software unit by means of a hardware interface or software interface. Receiving image data can, for example, be reading the image data from a storage unit. The image data is preferably received by means of the computing unit. It is conceivable that the image data is transmitted directly or indirectly, for example via a buffer storage unit, to the computing unit by means of a wireless or wired communication connection from the camera unit external to the vehicle and/or infrastructure or on the vehicle or infrastructure side. The step of receiving the image data can be preceded by a step of detecting the vehicle and/or infrastructure-external calibration pattern and/or the reference calibration pattern using the vehicle or infrastructure-side or vehicle- and/or infrastructure-external camera unit.

[0017] Die von der fahrzeug- und/oder infrastrukturfremden Kameraeinheit bereitgestellten ersten Bilddaten umfassen zumindest ein in dem Umfeld des Fahrzeugs und/oder der Infrastruktureinheit angeordnetes fahrzeug- und/oder infrastrukturfremdes Kalibriermuster und zumindest ein dem Fahrzeug oder der Infrastruktureinheit zugeordnetes Referenzkalibriermuster. Bevorzugt ist das in dem Umfeld angeordnete fahrzeug- und/oder infrastrukturfremde Kalibriermuster ein fahrzeugfremdes Kalibriermuster in dem Fall, in dem die fahrzeugseitige oder infrastrukturseitige Kameraeinheit eine fahrzeugseitige Kameraeinheit ist. Unter einem infrastrukturfremden Kalibriermuster kann ein Kalibriermuster verstanden werden, das abseits der Infrastruktureinheit angeordnet ist, an welcher die infrastrukturseitige Kameraeinheit angeordnet ist. Denkbar ist hierbei, dass das infrastrukturfremde Kalibriermuster an einer weiteren Infrastruktureinheit angeordnet ist, die verschieden von der Infrastruktureinheit ist, an welcher die infrastrukturseitige Kameraeinheit angeordnet ist. Unter einem Kalibriermuster kann im Rahmen der vorliegenden Erfindung ein Muster bzw. Pattern verstanden werden, das ein eindeutiges Ermitteln einer Anordnung des Kalibriermusters relativ zu einer Kameraeinheit ermöglicht. Das Kalibriermuster kann ein oder mehrere sich innerhalb des Kalibriermusters wiederholende Musterabschnitte aufweisen, um auch anhand von das Kalibriermuster nur teilweise umfassenden Bilddaten eine Relativanordnung zwischen Kalibriermuster und Kameraeinheit eindeutig zu ermitteln. Das Kalibriermuster kann bspw. ausgewählt sein aus: AprilTag-Kalibriermuster, ArUco-Kalibriermuster etc. [0017] The first image data provided by the camera unit external to the vehicle and/or infrastructure includes at least one calibration pattern external to the vehicle and/or infrastructure unit and at least one reference calibration pattern assigned to the vehicle or infrastructure unit. The vehicle and/or infrastructure-external calibration pattern arranged in the environment is preferably a vehicle-external calibration pattern in the case in which the vehicle-side or infrastructure-side camera unit is a vehicle-side camera unit. A calibration pattern external to the infrastructure can be understood as meaning a calibration pattern that is arranged away from the infrastructure unit on which the infrastructure-side camera unit is arranged. It is conceivable here that the calibration pattern external to the infrastructure is arranged on a further infrastructure unit that is different from the infrastructure unit on which the infrastructure-side camera unit is arranged. In the context of the present invention, a calibration pattern can be understood as a pattern that enables an arrangement of the calibration pattern relative to a camera unit to be clearly determined. The calibration pattern can have one or more repeating pattern sections within the calibration pattern in order to clearly determine a relative arrangement between the calibration pattern and the camera unit based on image data that only partially includes the calibration pattern. The calibration pattern can be selected, for example, from: AprilTag calibration pattern, ArUco calibration pattern, etc.

[0018] Das Ermitteln der Kalibrierungsinformation erfolgt bevorzugt unter Verwendung einer Kalibriermusterinformation bezüglich des zumindest einen fahrzeug- und/oder infrastrukturfremden Kalibriermusters und/oder des zumindest einen Referenzkalibriermusters. Die Kalibriermusterinformation kann eine Information bezüglich Abmaße bzw. einer Dimension und/oder einer räumlichen Größe und/oder eines Identifizierungsmerkmals bzw. Wiedererkennungsmerkmals des fahrzeug- und/oder infrastrukturfremden Kalibriermusters und/oder des Referenzkalibriermusters umfassen. Das Identifizierungsmerkmal bzw. Wiedererkennungsmerkmal kann ein Musterbereich des Kalibriermusters sein, anhand dessen das Kalibriermuster eindeutig von weiteren Kalibriermustern unterscheidbar ist. Bspw. können auf diese Weise das oder die Referenzkalibriermuster und das oder die fahrzeug- und/oder infrastrukturfremden Kalibriermuster eindeutig identifiziert werden. Dieser Musterbereich kann bspw. ein räumlicher Randbereich des Kalibriermusters sein. The calibration information is preferably determined using calibration pattern information regarding the at least one calibration pattern that is external to the vehicle and/or infrastructure and/or the at least one reference calibration pattern. The calibration pattern information can include information regarding dimensions or a dimension and/or a spatial size and/or an identification feature or recognition feature of the vehicle and/or infrastructure-external calibration pattern and/or the reference calibration pattern. The identification feature or recognition feature can be a sample area of the calibration pattern, by means of which the calibration pattern can be clearly distinguished from other calibration patterns. For example, the reference calibration pattern(s) and the calibration pattern(s) external to the vehicle and/or infrastructure can be clearly identified in this way. This pattern area can be, for example, a spatial edge area of the calibration pattern.

[0019] Die Kalibrierungsinformation kann in einer der Recheneinheit zugeordneten Speichereinheit gespeichert sein und/oder von der Recheneinheit mittels einer Softwareschnittstelle und/oder einer drahtgebundenen oder drahtlosen Hardwareschnittstelle empfangen oder eingelesen werden. Die Kalibrierungsinformation ermöglicht eine eindeutige Wiedererkennung eines Kalibriermusters. The calibration information can be stored in a storage unit assigned to the computing unit and/or received or read in by the computing unit using a software interface and/or a wired or wireless hardware interface. The calibration information enables a calibration pattern to be clearly recognized.

[0020] Das fahrzeug- und/oder infrastrukturfremde Kalibriermuster ist ein abseits des Fahrzeugs oder der Infrastruktureinheit, und innerhalb eines Erfassungsbereichs der fahrzeug- oder infrastrukturseitigen Kameraeinheit angeordnetes Kalibriermuster. Das fahrzeug- und/oder infrastrukturfremde Kalibriermuster kann an einer beliebigen Position und in einer beliebigen Ausrichtung innerhalb des Erfassungsbereichs der fahrzeug- oder infrastrukturseitigen Kameraeinheit angeordnet werden. Insbesondere kann das fahrzeug- und/oder infrastrukturfremde Kalibriermuster bei einem ersten Ermitteln der Kalibrierungsinformation in einer ersten Anordnung relativ zu dem Fahrzeug oder relativ zu der Infrastruktureinheit angeordnet sein und bei einem zweiten Ermitteln der Kalibrierungsinformation in einer von der ersten Anordnung verschiedenen zweiten Anordnung relativ zu dem Fahrzeug oder relativ zu der Infrastruktureinheit angeordnet sein. Bevorzugt sind in dem Umfeld des Fahrzeugs oder der Infrastruktureinheit innerhalb des Erfassungsbereichs der fahrzeug- oder infrastrukturseitigen Kameraeinheit mehrere unterschiedliche fahrzeug- und/oder infrastrukturfremde Kalibriermuster in unterschiedlichen Abständen und Ausrichtungen relativ zu dem Fahrzeug oder der Infrastruktureinheit angeordnet. Die von der fahrzeug- und/oder infrastrukturfremden Kameraeinheit bereitgestellten ersten Bilddaten umfassen sowohl das fahrzeug- und/oder infrastrukturfremde Kalibriermuster als auch das Referenzkalibriermuster. The calibration pattern external to the vehicle and/or infrastructure is a calibration pattern arranged away from the vehicle or infrastructure unit and within a detection range of the camera unit on the vehicle or infrastructure. The calibration pattern external to the vehicle and/or infrastructure can be arranged at any position and in any orientation within the detection range of the camera unit on the vehicle or infrastructure. In particular, the vehicle and/or infrastructure-external calibration pattern can be arranged in a first arrangement relative to the vehicle or relative to the infrastructure unit when the calibration information is first determined, and in a second arrangement different from the first arrangement relative to the vehicle and/or infrastructure unit when the calibration information is determined a second time Vehicle or be arranged relative to the infrastructure unit. Preferably, in the surroundings of the vehicle or the infrastructure unit within the detection range of the vehicle or infrastructure-side camera unit, several different calibration patterns that are external to the vehicle and/or infrastructure are arranged at different distances and orientations relative to the vehicle or the infrastructure unit. The first image data provided by the camera unit external to the vehicle and/or infrastructure includes both the calibration pattern external to the vehicle and/or infrastructure and the reference calibration pattern.

[0021] Das Referenzkalibriermuster ist ein dem Fahrzeug oder der Infrastruktureinheit zugeordneten Kalibriermuster. Unter einem Referenzkalibriermuster kann im Rahmen der vorliegenden Anmeldung ein Kalibriermuster verstanden werden, welches in einer vorgegebenen oder vorgebbaren Anordnung relativ zu dem Fahrzeug oder der Infrastruktureinheit an oder abseits des Fahrzeugs oder der Infrastruktureinheit angeordnet ist. Das Referenzkalibriermuster kann unter Verwendung einer Haltevorrichtung in die vorgegebene oder vorgebbare Anordnung relativ zu dem Fahrzeug oder der Infrastruktureinheit angeordnet werden. Denkbar ist auch, dass das Referenzkalibriermuster an dem Fahrzeug oder der Infrastruktureinheit angebracht, bspw. aufgeklebt oder aufgedruckt oder unter Verwendung von ein oder mehreren Magnetelementen befestigt, ist. Die von der fahrzeug- oder infrastrukturseitigen Kameraeinheit bereitgestellten zweiten Bilddaten umfassen das fahrzeug- und/oder infrastrukturfremde Kalibriermuster, wobei insbesondere das Referenzkalibriermuster von den zweiten Bilddaten nicht umfasst ist. The reference calibration pattern is a calibration pattern assigned to the vehicle or the infrastructure unit. In the context of the present application, a reference calibration pattern can be understood to mean a calibration pattern which is arranged in a predetermined or predeterminable arrangement relative to the vehicle or the infrastructure unit on or away from the vehicle or the infrastructure unit. The reference calibration pattern can be arranged in the predetermined or predeterminable arrangement relative to the vehicle or the infrastructure unit using a holding device. It is also conceivable that the reference calibration pattern is attached to the vehicle or the infrastructure unit, for example glued or printed or attached using one or more magnetic elements. The second image data provided by the vehicle or infrastructure-side camera unit includes the calibration pattern external to the vehicle and/or infrastructure, with the reference calibration pattern in particular not being included in the second image data.

[0022] Das fahrzeug- und/oder infrastrukturfremde Kalibriermuster und das Referenzkalibriermuster weisen bei der Ausführung des Verfahrens eine gleichbleibende bzw. feste Anordnung relativ zueinander und relativ zu dem Fahrzeug oder der Infrastruktureinheit, und der fahrzeug- oder infrastrukturseitigen Kameraeinheit auf. Hierbei können das fahrzeug- und/oder infrastrukturfremde Kalibriermuster und/oder das Referenzkalibriermuster mittels einer Haltevorrichtung in ihrer Position und/oder Ausrichtung gehalten bzw. fixiert werden. When executing the method, the vehicle and/or infrastructure-external calibration pattern and the reference calibration pattern have a constant or fixed arrangement relative to one another and relative to the vehicle or infrastructure unit and the camera unit on the vehicle or infrastructure side. Here, the vehicle and/or infrastructure-external calibration pattern and/or the reference calibration pattern can be held or fixed in their position and/or orientation by means of a holding device.

[0023] Die Anordnungsinformation bezüglich einer Anordnung zwischen dem Referenzkalibriermuster und dem Fahrzeug oder dem Referenzkalibriermuster und der Infrastruktureinheit umfasst bevorzugt eine Information bezüglich einer vorgegebenen oder vorgebbaren Position und/oder vorgegebenen oder vorgebbaren Ausrichtung des Referenzkalibriermusters relativ zu dem Fahrzeug oder relativ zu der Infrastruktureinheit. Denkbar ist insbesondere, dass die Anordnungsinformation eine Information bezüglich einer Koordinatentransformation zwischen einem dem Referenzkalibriermuster zugeordneten Referenzkalibriermusterkoordinatensystem und einem dem Fahrzeug zugeordneten Fahrzeugkoordinatensystem oder einem der Infrastruktureinheit zugeordneten Infrastruktureinheitkoordinatensystem, bspw. ein oder mehrere Transformationsparameter, umfasst. The arrangement information regarding an arrangement between the reference calibration pattern and the vehicle or the reference calibration pattern and the infrastructure unit preferably includes information regarding a predetermined or predeterminable position and/or predetermined or predeterminable orientation of the reference calibration pattern relative to the vehicle or relative to the infrastructure unit. It is particularly conceivable that the arrangement information includes information regarding a coordinate transformation between a reference calibration pattern coordinate system assigned to the reference calibration pattern and a vehicle coordinate system assigned to the vehicle or an infrastructure unit coordinate system assigned to the infrastructure unit, for example one or more transformation parameters.

[0024] Unter einer Kalibrierungsinformation kann im Rahmen der vorliegenden Anmeldung eine Information verstanden werden, anhand bzw. unter Verwendung derer Bilddaten der fahrzeug- und/oder infrastrukturfremden Kameraeinheit von einem Koordinatensystem der fahrzeug- und/oder infrastrukturfremden Kameraeinheit in ein Koordinatensystem des Fahrzeugs oder in ein Koordinatensystem der Infrastruktureinheit transformierbar sind. Die Kalibrierungsinformation umfasst bevorzugt eine Information bezüglich einer Anordnung, insbesondere einer Pose, der fahrzeug- und/oder infrastrukturfremden Kameraeinheit relativ zu einem dem Fahrzeug oder der Infrastruktureinheit zugeordneten Referenzpunkt. Die Kalibrierungsinformation kann also eine Information bezüglich einer Position und/oder Ausrichtung der fahrzeug- und/oder infrastrukturfremden Kameraeinheit in einem fahrzeugfesten oder infrastruktureinheitsfesten Koordinatensystem umfassen. Das heißt, mit anderen Worten, die ermittelte Kalibrierungsinformation kann extrinsische Kalibrierungsparameter der fahrzeug- und/oder infrastrukturfremden Kameraeinheit umfassen. Das Ermitteln der Kalibrierungsinformation ist insbesondere ein Berechnen der Kalibrierungsinformation. [0024] In the context of the present application, calibration information can be understood as information based on or using the image data of the camera unit external to the vehicle and/or infrastructure from a coordinate system of the camera unit external to the vehicle and/or infrastructure into a coordinate system of the vehicle or in a coordinate system of the infrastructure unit can be transformed. The calibration information preferably includes information regarding an arrangement, in particular a pose, of the camera unit external to the vehicle and/or infrastructure relative to a reference point assigned to the vehicle or the infrastructure unit. The calibration information can therefore include information regarding a position and/or orientation of the camera unit external to the vehicle and/or infrastructure in a coordinate system fixed to the vehicle or fixed to the infrastructure unit. That is, in other words, the calibration information determined can include extrinsic calibration parameters of the camera unit external to the vehicle and/or infrastructure. Determining the calibration information is in particular calculating the calibration information.

[0025] Das Verfahren kann einen Schritt des Erfassens des Umfelds des Fahrzeugs oder der Infrastruktureinheit mittels der fahrzeug- oder infrastrukturseitigen Kameraeinheit unter Verwendung der ermittelten Kalibrierungsinformation umfassen. Hierbei können die mittels der fahrzeug- oder infrastrukturseitigen Kameraeinheit bereitgestellten Bilddaten unter Verwendung der ermittelten Kalibrierungsinformation in ein dem Fahrzeug zugeordnetes Fahrzeugkoordinatensystem oder in ein der Infrastruktureinheit zugeordnetes Infrastruktureinheitkoordinatensystem transformiert werden. Dadurch kann eine Anordnung der fahrzeug- oder infrastrukturseitigen Kameraeinheit bei der Transformation der Bilddaten in das Fahrzeug- oder Infrastruktureinheitkoordinatensystem automatisiert berücksichtigt werden. Dies ermöglicht im Falle mehrerer fahrzeug- oder infrastrukturseitigen Kameraeinheiten bspw. ein Zusammensetzen von Bilddaten der mehreren fahrzeug- oder infrastrukturseitigen Kameraeinheiten zu einem Gesamtbild, bspw. umfassend eine Panoramaansicht des Umfelds des Fahrzeugs oder der Infrastruktureinheit. The method can include a step of detecting the surroundings of the vehicle or the infrastructure unit by means of the camera unit on the vehicle or infrastructure using the determined calibration information. Here, the image data provided by the vehicle or infrastructure camera unit can be transformed into a vehicle coordinate system assigned to the vehicle or into an infrastructure unit coordinate system assigned to the infrastructure unit using the determined calibration information. As a result, an arrangement of the vehicle or infrastructure camera unit can be automatically taken into account when transforming the image data into the vehicle or infrastructure unit coordinate system. In the case of several vehicle or infrastructure camera units, this makes it possible, for example, to combine image data from the several vehicle or infrastructure camera units into an overall image, for example comprising a panoramic view of the surroundings of the vehicle or infrastructure unit.

[0026] Die Recheneinheit kann an dem Fahrzeug oder der Infrastruktureinheit angeordnet oder alternativ abseits des Fahrzeugs oder abseits der Infrastruktureinheit angeordnet sein. Die Recheneinheit kann bspw. Teil einer Steuereinheit oder eines Fahrzeugcomputers des Fahrzeugs sein. Denkbar ist auch, dass die Recheneinheit Teil eines mobilen Endgeräts, bspw. eines Smartphones, Laptops oder Tablets, ist. Denkbar ist weiter, dass die Recheneinheit Teil einer Cloud-Computing-Einheit oder eines Server-Backends ist. Entsprechend kann die Recheneinheit mittels einer drahtgebundenen oder drahtlosen Kommunikationsverbindung mit der fahrzeug- und/oder infrastrukturfremden Kameraeinheit und der fahrzeug- oder infrastrukturseitigen Kameraeinheit verbindbar sein. The computing unit can be arranged on the vehicle or the infrastructure unit or alternatively can be arranged away from the vehicle or away from the infrastructure unit. The computing unit can, for example, be part of a control unit or a vehicle computer of the vehicle. It is also conceivable that the computing unit is part of a mobile device, for example a smartphone, laptop or tablet. It is also conceivable that the computing unit is part of a cloud computing unit or a server backend. Accordingly, the computing unit can be connectable to the vehicle- and/or infrastructure-external camera unit and the vehicle- or infrastructure-side camera unit by means of a wired or wireless communication connection.

[0027] Durch das erfindungsgemäße Verfahren und die erfindungsgemäße Recheneinheit wird ein vereinfachter Ansatz zur Kalibrierung von fahrzeug- oder infrastrukturseitigen Kameraeinheiten bereitgestellt, gemäß welchem ein fahrzeug- und/oder infrastrukturfremdes Kalibriermuster beliebig in einem Erfassungsbereich der fahrzeug- oder infrastrukturseitigen Kameraeinheit angeordnet werden kann. Dadurch entfällt der Aufwand zur hochpräzisen Platzierung des Kalibriermusters in einer vorgegebenen Anordnung relativ zu dem Fahrzeug oder der Infrastruktureinheit. Weiter ist die beschriebene technische Lösung unabhängig von mechanischen Vorrichtungen, welche mittels Ausbildens einer temporären mechanischen Verbindung zwischen Fahrzeug bzw. der Infrastruktureinheit und fahrzeug- und/oder infrastrukturfremdem Kalibriermuster eine vorgegebene Anordnung des Kalibriermusters im Erfassungsbereich der Kameraeinheit sicherstellen. Dadurch kann die Kalibrierung der Kameraeinheit in unterschiedlichsten Räumlichkeiten bzw. Umgebungen erfolgen. The method according to the invention and the computing unit according to the invention provide a simplified approach for calibrating camera units on the vehicle or infrastructure, according to which a calibration pattern external to the vehicle and/or infrastructure can be arranged arbitrarily in a detection area of the camera unit on the vehicle or infrastructure. This eliminates the effort required to place the calibration pattern with high precision in a predetermined arrangement relative to the vehicle or the infrastructure unit. Furthermore, the technical solution described is independent of mechanical devices which ensure a predetermined arrangement of the calibration pattern in the detection range of the camera unit by forming a temporary mechanical connection between the vehicle or the infrastructure unit and the calibration pattern external to the vehicle and/or infrastructure. This means that the camera unit can be calibrated in a wide variety of rooms or environments.

[0028] Vorteilhaft ist es, wenn das Verfahren einen Schritt des Ermittelns einer ersten weiteren Anordnungsinformation bezüglich einer Anordnung zwischen dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster und dem Referenzkalibriermuster basierend auf den ersten Bilddaten, insbesondere ferner basierend auf den zweiten Bilddaten aufweist, wobei die Kalibrierungsinformation ferner unter Berücksichtigung der ersten weiteren Anordnungsinformation ermittelt wird. It is advantageous if the method has a step of determining first further arrangement information regarding an arrangement between the calibration pattern external to the vehicle and/or infrastructure and the reference calibration pattern based on the first image data, in particular further based on the second image data, wherein the Calibration information is further determined taking into account the first further arrangement information.

[0029] Die erste weitere Anordnungsinformation kann eine Information bezüglich einer Anordnung des fahrzeug- und/oder infrastrukturfremden Kalibriermusters relativ zu dem Referenzkalibriermuster und/oder bezüglich einer Anordnung des Referenzkalibriermusters relativ zu dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster umfassen. Die erste weitere Anordnungsinformation kann eine Information bezüglich einer Position und/oder Ausrichtung des Referenzkalibriermusters in einem dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster zugeordneten Koordinatensystem und/oder bezüglich einer Position und/oder Ausrichtung des fahrzeug- und/oder infrastrukturfremden Kalibriermusters in einem dem Referenzkalibriermuster zugeordneten Koordinatensystem umfassen. Insbesondere kann die erste weitere Anordnungsinformation eine Information bezüglich einer Koordinatentransformation zwischen einem dem Referenzkalibriermuster zugeordneten Referenzkalibriermusterkoordinatensystem und einem dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster zugeordneten Kalibriermusterkoordinatensystem, bspw. ein oder mehrere Transformationsparameter, umfassen. The first further arrangement information can include information regarding an arrangement of the calibration pattern external to the vehicle and/or infrastructure relative to the reference calibration pattern and/or regarding an arrangement of the reference calibration pattern relative to the calibration pattern external to the vehicle and/or infrastructure. The first further arrangement information can be information regarding a position and/or orientation of the reference calibration pattern in a coordinate system assigned to the calibration pattern external to the vehicle and/or infrastructure and/or regarding a position and/or orientation of the calibration pattern external to the vehicle and/or infrastructure in a reference calibration pattern assigned coordinate system. In particular, the first further arrangement information can include information regarding a coordinate transformation between a reference calibration pattern coordinate system assigned to the reference calibration pattern and a calibration pattern coordinate system assigned to the calibration pattern external to the vehicle and/or infrastructure, for example one or more transformation parameters.

[0030] Das Ermitteln der ersten weiteren Anordnungsinformation kann unter Verwendung eines geometrischen Optimierungsverfahrens erfolgen. Das geometrische Optimierungsverfahren ist eingerichtet, die erste weitere Anordnungsinformation basierend auf den empfangenen ersten, insbesondere ferner basierend auf den empfangenen zweiten, Bilddaten mittels Optimierens über eine Mehrzahl von möglichen Anordnungen zwischen dem Referenzkalibriermuster und dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster zu ermitteln. Bspw. kann im Falle von zweidimensionalen ersten und zweiten Bilddaten basierend auf den zweidimensionalen Bilddaten für jedes Kalibriermuster eine räumliche Position und räumliche Ausrichtung abgeschätzt werden und die Genauigkeit der Abschätzung durch den Schritt des Optimierens verbessert werden. The first further arrangement information can be determined using a geometric optimization method. The geometric optimization method is set up to determine the first further arrangement information based on the received first, in particular further based on the received second, image data by optimizing over a plurality of possible arrangements between the reference calibration pattern and the calibration pattern external to the vehicle and/or infrastructure. For example, in the case of two-dimensional first and second image data, a spatial position and spatial orientation can be estimated for each calibration pattern based on the two-dimensional image data and the accuracy of the estimation can be improved by the step of optimizing.

[0031] Gemäß einer Ausführungsform kann das Ermitteln der ersten weiteren Anordnungsinformation einen oder mehrere der folgenden Schritte umfassen: – Ermitteln, insbesondere Extrahieren, von einem oder mehreren charakteristischen Merkmalen, bspw. Kreuzungspunkte, Ecken und/oder Kanten, der von den ersten und zweiten Bilddaten umfassten Kalibriermuster. – Ermitteln, insbesondere abschätzen, einer Lage der Kalibriermuster unter Verwendung der ersten und zweiten Bilddaten relativ zu der jeweiligen Kameraeinheit. Hierbei erfolgt das Ermitteln der Lage für jede Kameraeinheit unabhängig von den anderen Kameraeinheiten. Die Lage kann eine Position des Kalibriermusters relativ zu der Kameraeinheit umfassen, ohne dass bspw. eine Ausrichtung bzw. Orientierung, insbesondere Drehung, des Kalibriermusters relativ zu der Kameraeinheit bereits ermittelt ist. – Identifizieren der Kalibriermuster unter Verwendung der ersten und zweiten Bilddaten anhand der von den Kalibriermuster umfassten bzw. in den Kalibriermustern enthaltenen Informationen. Hierbei kann basierend auf der ermittelten Lage der Kalibriermuster eine Kalibriermuster-ID des Kalibriermusters aus den Bilddaten ermittelt werden. Anhand der Kalibriermuster-ID kann eine Dimension des Kalibriermusters ausgelesen bzw. ermittelt werden, bspw. unter Verwendung einer gespeicherten Kalibriermusterinformation. – Ermitteln, insbesondere Abschätzen einer Relativanordnung der Kalibriermuster, d.h. des oder der fahrzeug- und/oder infrastrukturfremden Kalibriermuster und des oder der Referenzkalibriermuster, und gleichzeitiges Ermitteln, insbesondere Abschätzen, von Kameraposen der Kameraeinheiten relativ zu den Kalibriermustern. Die Abschätzung der Relativanordnung der Kalibriermuster und der Kameraposen der Kameraeinheiten kann iterativ unter Verwendung eines geometrischen Optimierungsverfahrens optimiert werden.According to one embodiment, determining the first further arrangement information may include one or more of the following steps: determining, in particular extracting, one or more characteristic features, for example crossing points, corners and/or edges, of the first and second Image data included calibration samples. - Determine, in particular estimate, a position of the calibration patterns using the first and second image data relative to the respective camera unit. The position of each camera unit is determined independently of the other camera units. The position can include a position of the calibration pattern relative to the camera unit, without, for example, an alignment or orientation, in particular rotation, of the calibration pattern relative to the camera unit having already been determined. - Identifying the calibration patterns using the first and second image data based on the information included in the calibration patterns or contained in the calibration patterns. Here, based on the determined position of the calibration pattern, a calibration pattern ID of the calibration pattern can be determined from the image data. Based on the calibration pattern ID, a dimension of the calibration pattern can be read out or determined, for example using stored calibration pattern information. - Determining, in particular estimating, a relative arrangement of the calibration patterns, i.e. the calibration pattern(s) external to the vehicle and/or infrastructure and the reference calibration pattern(s), and simultaneously determining, in particular estimating, camera poses of the camera units relative to the calibration patterns. The estimation of the relative arrangement of the calibration patterns and the camera poses of the camera units can be iteratively optimized using a geometric optimization method.

[0032] Durch diese Ausgestaltung kann eine Relativanordnung zwischen dem relativ zu dem Referenzkalibriermuster beliebig im Erfassungsbereich der fahrzeug- oder infrastrukturseitigen Kameraeinheit platziertem fahrzeug- und/oder infrastrukturfremden Kalibriermuster und dem Referenzkalibriermuster automatisiert ermittelt und beim Ermitteln der Kalibrierungsinformation berücksichtigt werden. Dadurch können die Kalibriermuster besonders schnell und fehlerunanfällig platziert werden. Through this embodiment, a relative arrangement between the vehicle and/or infrastructure-external calibration pattern, which is placed anywhere in the detection range of the vehicle or infrastructure-side camera unit relative to the reference calibration pattern, and the reference calibration pattern can be automatically determined and taken into account when determining the calibration information. This means that the calibration patterns can be placed particularly quickly and without any errors.

[0033] Vorteilhaft ist es hierbei, wenn die ersten Bilddaten zumindest ein Bild umfassen, welches sowohl zumindest teilweise das fahrzeug- und/oder infrastrukturfremde Kalibriermuster als auch zumindest teilweise das Referenzkalibriermuster umfasst, um die erste weitere Anordnungsinformation basierend auf dem zumindest einen Bild zu ermitteln. Bevorzugt umfassen die ersten Bilddaten zumindest ein Bild, welches sowohl das fahrzeug- und/oder infrastrukturfremde Kalibriermuster als auch das Referenzkalibriermuster vollständig umfasst. Im Falle mehrerer fahrzeug- und/oder infrastrukturfremder Kalibriermuster und/oder mehrerer Referenzkalibriermuster umfassen die ersten Bilddaten bevorzugt für jedes der mehreren Kalibriermuster zumindest ein Bild, welches sowohl das zumindest teilweise das jeweilige Kalibriermuster und zumindest teilweise ein weiteres der mehreren Kalibriermuster umfasst. Denkbar ist auch, dass die ersten Bilddaten im Falle mehrerer fahrzeug- und/oder infrastrukturfremder Kalibriermuster zwei Bilder umfassen oder aus zwei Bildern bestehen, wobei die zwei Bilder jeweils das Referenzkalibriermuster und das fahrzeug- und/oder infrastrukturfremde Kalibriermuster umfassen. Durch diese Ausgestaltung kann die erste weitere Anordnungsinformation besonders robust und präzise ermittelt werden. [0033] It is advantageous here if the first image data comprises at least one image, which at least partially comprises both the vehicle and/or infrastructure-external calibration pattern and at least partially the reference calibration pattern, in order to determine the first further arrangement information based on the at least one image . The first image data preferably includes at least one image which completely includes both the vehicle and/or infrastructure-external calibration pattern and the reference calibration pattern. In the case of multiple vehicle and/or infrastructure-external calibration patterns and/or multiple reference calibration patterns, the first image data preferably comprises at least one image for each of the multiple calibration patterns, which at least partially includes both the respective calibration pattern and at least partially another one of the multiple calibration patterns. It is also conceivable that in the case of several calibration patterns external to the vehicle and/or infrastructure, the first image data comprise two images or consist of two images, the two images each comprising the reference calibration pattern and the calibration pattern external to the vehicle and/or infrastructure. This configuration allows the first further arrangement information to be determined particularly robustly and precisely.

[0034] Vorteilhaft ist es weiter, wenn das Verfahren einen Schritt des Ermittelns einer zweiten weiteren Anordnungsinformation bezüglich einer Anordnung zwischen einem dem Fahrzeug oder der Infrastruktureinheit zugeordneten Referenzpunkt und dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster unter Berücksichtigung der ersten Anordnungsinformation und der ermittelten ersten weiteren Anordnungsinformation aufweist, wobei die Kalibrierungsinformation ferner unter Verwendung der zweiten weiteren Anordnungsinformation ermittelt wird. It is further advantageous if the method includes a step of determining a second further arrangement information regarding an arrangement between a reference point assigned to the vehicle or the infrastructure unit and the calibration pattern external to the vehicle and/or infrastructure, taking into account the first arrangement information and the determined first additional one Has arrangement information, wherein the calibration information is further determined using the second further arrangement information.

[0035] Die zweite weitere Anordnungsinformation kann eine Information bezüglich einer Anordnung des fahrzeug- und/oder infrastrukturfremden Kalibriermusters relativ zu einem dem Fahrzeug oder der Infrastruktureinheit zugeordneten Referenzpunkt und/oder bezüglich einer Anordnung eines dem Fahrzeug oder der Infrastruktureinheit zugeordneten Referenzpunkts relativ zu dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster umfassen. Die zweite weitere Anordnungsinformation kann eine Information bezüglich einer Position und/oder Ausrichtung des dem Fahrzeug oder der Infrastruktureinheit zugeordneten Referenzpunkts in einem dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster zugeordneten Koordinatensystem und/oder bezüglich einer Position und/oder Ausrichtung des fahrzeug- und/oder infrastrukturfremden Kalibriermusters in einem dem Referenzpunkt zugeordneten Fahrzeug- oder Infrastruktureinheitkoordinatensystem umfassen. Insbesondere kann die erste weitere Anordnungsinformation eine Information bezüglich einer Koordinatentransformation zwischen einem dem Referenzpunkt zugeordneten Fahrzeug- oder Infrastruktureinheitkoordinatensystem und einem dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster zugeordneten Kalibriermusterkoordinatensystem, bspw. ein oder mehrere Transformationsparameter, umfassen. The second further arrangement information can be information regarding an arrangement of the calibration pattern external to the vehicle and/or infrastructure relative to a reference point assigned to the vehicle or the infrastructure unit and/or regarding an arrangement of a reference point assigned to the vehicle or the infrastructure unit relative to the vehicle-related and/or calibration patterns external to the infrastructure. The second further arrangement information can be information regarding a position and/or orientation of the reference point assigned to the vehicle or the infrastructure unit in a coordinate system assigned to the calibration pattern external to the vehicle and/or infrastructure and/or regarding a position and/or orientation of the vehicle and/or infrastructure unit Calibration pattern external to the infrastructure in a vehicle or infrastructure unit coordinate system assigned to the reference point. In particular, the first further arrangement information can include information regarding a coordinate transformation between a vehicle or infrastructure unit coordinate system assigned to the reference point and a calibration pattern coordinate system assigned to the calibration pattern external to the vehicle and/or infrastructure, for example one or more transformation parameters.

[0036] Durch diese Ausgestaltung kann eine Relativanordnung zwischen dem relativ zu dem Fahrzeug beliebig im Erfassungsbereich der fahrzeug- oder infrastrukturseitigen Kameraeinheit platziertem fahrzeug- und/oder infrastrukturfremden Kalibriermuster und dem Fahrzeug oder der Infrastruktureinheit automatisiert ermittelt und beim Ermitteln der Kalibrierungsinformation berücksichtigt werden. Dadurch können die Kalibriermuster besonders schnell und fehlerunanfällig platziert werden, bspw. bei einer Kalibrierung außerhalb einer definierten Umgebung, in welcher keine hochpräzise Anordnung des oder der fahrzeug- und/oder infrastrukturfremden Kalibriermuster sichergestellt werden kann. This configuration allows a relative arrangement between the vehicle and/or non-infrastructure calibration pattern placed anywhere relative to the vehicle in the detection range of the vehicle or infrastructure camera unit and the vehicle or the infrastructure unit to be automatically determined and taken into account when determining the calibration information. This allows the calibration patterns to be placed particularly quickly and without error, for example when calibrating outside a defined environment in which a high-precision arrangement of the calibration pattern(s) external to the vehicle and/or infrastructure cannot be ensured.

[0037] Vorteilhaft ist es außerdem, wenn das Verfahren einen Schritt des Ermittelns einer dritten weiteren Anordnungsinformation bezüglich einer Anordnung des fahrzeug- und/oder infrastrukturfremden Kalibriermusters und der fahrzeug- oder infrastrukturseitigen Kameraeinheit basierend auf den zweiten Bilddaten aufweist, wobei die Kalibrierungsinformation ferner unter Berücksichtigung der dritten weiteren Anordnungsinformation ermittelt wird. [0037] It is also advantageous if the method has a step of determining a third further arrangement information regarding an arrangement of the vehicle- and/or infrastructure-external calibration pattern and the vehicle- or infrastructure-side camera unit based on the second image data, the calibration information also being taken into account the third further arrangement information is determined.

[0038] Die dritte weitere Anordnungsinformation kann eine Information bezüglich einer Anordnung des fahrzeug- und/oder infrastrukturfremden Kalibriermusters relativ zu der fahrzeug- oder infrastrukturseitigen Kameraeinheit und/oder bezüglich einer Anordnung der fahrzeug- oder infrastrukturseitigen Kameraeinheit relativ zu dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster umfassen. Die dritte weitere Anordnungsinformation kann eine Information bezüglich einer Position und/oder Ausrichtung der fahrzeug- oder infrastrukturseitigen Kameraeinheit in einem dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster zugeordneten Koordinatensystem und/oder bezüglich einer Position und/oder Ausrichtung des fahrzeug- und/oder infrastrukturfremden Kalibriermusters in einem der fahrzeug- oder infrastrukturseitigen Kameraeinheit zugeordneten Koordinatensystem umfassen. Insbesondere kann die dritte weitere Anordnungsinformation eine Information bezüglich einer Koordinatentransformation zwischen einem der fahrzeug- oder infrastrukturseitigen Kameraeinheit zugeordneten Kameraeinheitkoordinatensystem und einem dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster zugeordneten Kalibriermusterkoordinatensystem, bspw. ein oder mehrere Transformationsparameter, umfassen. The third further arrangement information can be information regarding an arrangement of the calibration pattern external to the vehicle and/or infrastructure relative to the camera unit external to the vehicle or infrastructure and/or regarding an arrangement of the camera unit external to the vehicle or infrastructure relative to the camera unit external to the vehicle and/or infrastructure Include calibration patterns. The third further arrangement information can be information regarding a position and/or orientation of the camera unit on the vehicle or infrastructure side in a coordinate system assigned to the calibration pattern external to the vehicle and/or infrastructure and/or regarding a position and/or orientation of the calibration pattern external to the vehicle and/or infrastructure in a coordinate system assigned to the vehicle or infrastructure camera unit. In particular, the third further arrangement information can include information regarding a coordinate transformation between a camera unit coordinate system assigned to the vehicle or infrastructure-side camera unit and a calibration pattern coordinate system assigned to the calibration pattern external to the vehicle and/or infrastructure, for example one or more transformation parameters.

[0039] Durch diese Ausgestaltung kann eine Relativanordnung zwischen dem relativ zu dem Fahrzeug beliebig im Erfassungsbereich der fahrzeug- oder infrastrukturseitigen Kameraeinheit platziertem fahrzeug- und/oder infrastrukturfremden Kalibriermuster und der fahrzeug- oder infrastrukturseitigen Kameraeinheit automatisiert ermittelt und beim Ermitteln der Kalibrierungsinformation berücksichtigt werden. Dadurch können die Kalibriermuster besonders schnell und fehlerunanfällig platziert werden. Through this embodiment, a relative arrangement between the vehicle and/or non-infrastructure calibration pattern placed anywhere relative to the vehicle in the detection range of the vehicle or infrastructure camera unit and the vehicle or infrastructure camera unit can be automatically determined and taken into account when determining the calibration information. This means that the calibration patterns can be placed particularly quickly and without any errors.

[0040] Vorteilhaft ist es weiterhin, wenn das Ermitteln der Kalibrierungsinformation ein Ermitteln einer räumlichen Anordnung zwischen der fahrzeug- oder infrastrukturseitigen Kameraeinheit und dem Fahrzeug oder der Infrastruktureinheit, insbesondere dem dem Fahrzeug oder der Infrastruktureinheit zugeordneten Referenzpunkt, unter Berücksichtigung der ermittelten zweiten weiteren Anordnungsinformation und der zweiten Bilddaten, insbesondere der ermittelten dritten weiteren Anordnungsinformation, umfasst. Das heißt, mit anderen Worten, anstelle einer praktisch herausfordernden hochpräzisen Anordnung der fahrzeug- oder infrastrukturseitigen Kameraeinheit in einer vorgegebenen Position und Ausrichtung wird jeweils eine Relativanordnung zwischen dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster und dem Referenzkalibriermuster, zwischen dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster und dem Fahrzeug oder der Infrastruktureinheit, sowie zwischen dem fahrzeug- und/oder infrastrukturfremden Kalibriermuster und der fahrzeug- oder infrastrukturseitigen Kameraeinheit ermittelt. Ferner wird die Anordnungsinformation bezüglich der Anordnung zwischen dem Fahrzeug oder der Infrastruktureinheit und dem Referenzkalibriermuster empfangen. Dadurch kann die räumliche Anordnung zwischen der fahrzeug- oder infrastrukturseitigen Kameraeinheit und dem Fahrzeug oder der Infrastruktureinheit basierend auf den Relativanordnungen ermittelt werden. Insbesondere ist wird die räumliche Anordnung zwischen der fahrzeug- oder infrastrukturseitigen Kameraeinheit und dem Fahrzeug oder der Infrastruktureinheit ermittelt als eine Verkettung von Transformationen von einem Koordinatensystem der fahrzeug- oder infrastrukturseitigen Kameraeinheit in ein Koordinatensystem des fahrzeug- und/oder infrastrukturfremden Kalibriermusters, von dem Koordinatensystem des fahrzeug- und/oder infrastrukturfremden Kalibriermusters in ein Koordinatensystem des Referenzkalibriermusters, und von dem Koordinatensystem des Referenzkalibriermusters in ein Koordinatensystem des Fahrzeugs oder der Infrastruktureinheit bzw. des dem Fahrzeug oder der Infrastruktureinheit zugeordneten Referenzpunktes. Durch diese Ausgestaltung kann die fahrzeug- oder infrastrukturseitige Kameraeinheit automatisiert bezüglich eines dem Fahrzeug oder der Infrastruktureinheit zugeordneten Koordinatensystem kalibriert werden. [0040] It is further advantageous if the determination of the calibration information involves determining a spatial arrangement between the camera unit on the vehicle or infrastructure side and the vehicle or the infrastructure unit, in particular the reference point assigned to the vehicle or the infrastructure unit, taking into account the determined second further arrangement information and the second image data, in particular the determined third further arrangement information. That is, in other words, instead of a practically challenging, high-precision arrangement of the vehicle or infrastructure-side camera unit in a predetermined position and orientation, there is a relative arrangement between the calibration pattern external to the vehicle and/or infrastructure and the reference calibration pattern, between the calibration pattern external to the vehicle and/or infrastructure Calibration pattern and the vehicle or the infrastructure unit, as well as between the calibration pattern external to the vehicle and/or infrastructure and the camera unit on the vehicle or infrastructure. Furthermore, the arrangement information regarding the arrangement between the vehicle or the infrastructure unit and the reference calibration pattern is received. This allows the spatial arrangement between the vehicle or infrastructure camera unit and the vehicle or infrastructure unit to be determined based on the relative arrangements. In particular, the spatial arrangement between the vehicle- or infrastructure-side camera unit and the vehicle or the infrastructure unit is determined as a chain of transformations from a coordinate system of the vehicle- or infrastructure-side camera unit into a coordinate system of the vehicle- and/or infrastructure-external calibration pattern, from the coordinate system of the calibration pattern external to the vehicle and/or infrastructure into a coordinate system of the reference calibration pattern, and from the coordinate system of the reference calibration pattern into a coordinate system of the vehicle or the infrastructure unit or the reference point assigned to the vehicle or the infrastructure unit. This configuration allows the camera unit on the vehicle or infrastructure to be automatically calibrated with respect to a coordinate system assigned to the vehicle or the infrastructure unit.

[0041] Vorteilhaft ist es darüber hinaus, wenn das System gemäß dem dritten Aspekt der Erfindung eine Haltevorrichtung umfasst, welche ausgebildet ist, das Referenzkalibriermuster in einer vorgegebenen oder vorgebbaren Anordnung relativ zu dem Fahrzeug oder der Infrastruktureinheit zu halten. Die Haltevorrichtung kann podestartig bzw. sockelartig ausgebildet sein. Die Haltevorrichtung kann eine erste Fläche für einen berührenden Kontakt mit dem Untergrund umfassen. Die Haltevorrichtung kann weiter eine, der ersten Fläche abgewandte und bevorzugt parallel zur ersten Fläche ausgebildete zweite Fläche aufweisen, an bzw. auf welcher das Referenzkalibriermuster anordenbar ist. Die Haltevorrichtung kann ferner eine Halteeinheit umfassen, mittels welcher die Haltevorrichtung an dem Fahrzeug oder der Infrastruktureinheit anordenbar, insbesondere fixierbar, bspw. steckbar, ist. Die Halteeinheit kann bspw. ausgebildet sein, eine mechanische Verbindung zwischen dem Fahrzeug, bspw. einem Rad des Fahrzeugs, insbesondere einer Radnabe, und der Haltevorrichtung auszubilden. Durch diese Ausgestaltung kann das Referenzkalibriermuster in einer vorgegebenen Anordnung relativ zu dem Fahrzeug oder der Infrastruktureinheit, ferner insbesondere parallel zu einem Untergrund des Fahrzeugs, angeordnet werden. Im Falle einer infrastrukturseitigen Kameraeinheit kann das Referenzkalibriermuster auf oder an der die Kameraeinheit umfassenden Infrastruktureinheit angeordnet sein. [0041] It is also advantageous if the system according to the third aspect of the invention comprises a holding device which is designed to hold the reference calibration pattern in a predetermined or predeterminable arrangement relative to the vehicle or the infrastructure unit. The holding device can be designed like a pedestal or base. The holding device can include a first surface for touching contact with the ground. The holding device can further have a second surface, facing away from the first surface and preferably parallel to the first surface, on or on which the reference calibration pattern can be arranged. The holding device can further comprise a holding unit, by means of which the holding device can be arranged on the vehicle or the infrastructure unit, in particular fixable, for example pluggable. The holding unit can, for example, be designed to form a mechanical connection between the vehicle, for example a wheel of the vehicle, in particular a wheel hub, and the holding device. This configuration allows the reference calibration pattern to be arranged in a predetermined arrangement relative to the vehicle or the infrastructure unit, and in particular parallel to a subsurface of the vehicle. In the case of an infrastructure-side camera unit, the reference calibration pattern can be arranged on or on the infrastructure unit comprising the camera unit.

[0042] Von Vorteil ist auch ein Computerprogrammprodukt oder Computerprogramm mit Programmcode, der auf einem maschinenlesbaren Träger oder Speichermedium wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung, Umsetzung und/oder Ansteuerung der Schritte des Verfahren nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, insbesondere wenn das Programmprodukt oder Programm auf einem Computer bzw. einer Recheneinheit ausgeführt wird. [0042] Also advantageous is a computer program product or computer program with program code, which can be stored on a machine-readable carrier or storage medium such as a semiconductor memory, a hard drive memory or an optical memory and is used to carry out, implement and/or control the steps of the method according to one of the Embodiments described above are used, in particular when the program product or program is executed on a computer or a computing unit.

[0043] Im Folgenden soll die Erfindung anhand der Zeichnungen näher erläutert werden. The invention will be explained in more detail below with reference to the drawings.

[0044] Dazu zeigen Fig. 1A,B zwei verschiedene Perspektiven auf eine schematische Darstellung eines Fahrzeugs und einer Mehrzahl von fahrzeugfremden Kalibriermustern; Fig. 2 eine Draufsicht auf eine schematische Darstellung auf eine schematische Darstellung eines Fahrzeugs und einer Mehrzahl von fahrzeugfremden Kalibriermustern; und Fig. 3 ein Ablaufdiagramm eines Verfahrens zum Ermitteln einer Kalibrierungsinformation einer fahrzeugseitigen Kameraeinheit.1A, B show two different perspectives of a schematic representation of a vehicle and a plurality of non-vehicle calibration patterns; 2 is a top view of a schematic representation of a schematic representation of a vehicle and a plurality of non-vehicle calibration patterns; and FIG. 3 shows a flowchart of a method for determining calibration information of a vehicle-mounted camera unit.

[0045] Fig. 1A,B zeigen zwei verschiedene Perspektiven auf eine schematische Darstellung eines Fahrzeugs 10 und einer Mehrzahl von fahrzeugfremden Kalibriermustern 14, welche in einem Umfeld des Fahrzeugs 10 angeordnet sind. 1A, B show two different perspectives of a schematic representation of a vehicle 10 and a plurality of non-vehicle calibration patterns 14, which are arranged in an environment of the vehicle 10.

[0046] Das Fahrzeug 10 gemäß dieser Ausführungsform ist als mobiler autonomer Roboter 10 ausgebildet. Das Fahrzeug 10 umfasst drei an dem Fahrzeug 10 angeordnete bzw. fahrzeugseitige Kameraeinheiten 12a, wobei in Fig. 1 lediglich eine fahrzeugseitige Kameraeinheit 12a der insgesamt drei fahrzeugseitigen Kameraeinheiten dargestellt ist. The vehicle 10 according to this embodiment is designed as a mobile autonomous robot 10. The vehicle 10 comprises three camera units 12a arranged on the vehicle 10 or on the vehicle side, with only one vehicle-side camera unit 12a of the total of three vehicle-side camera units being shown in FIG.

[0047] In einem Umfeld des Fahrzeugs 10 sind insgesamt acht fahrzeugfremde Kalibriermuster 14a, 14b, 14c, 14d, 14e, 14f, 14g, 14h angeordnet, welche in ihrer Gesamtheit mit dem Bezugszeichen 14 bezeichnet werden. Drei fahrzeugfremde Kalibriermuster 14f, 14g, 14h sind auf einer Bodenfläche des Umfelds des Fahrzeugs 10 flächig angeordnet bzw. ausgelegt. Fünf fahrzeugfremde Kalibriermuster 14a, 14b, 14c, 14d, 14e sind aufrecht bzw. stehend auf der Bodenfläche des Umfelds angeordnet. A total of eight non-vehicle calibration patterns 14a, 14b, 14c, 14d, 14e, 14f, 14g, 14h are arranged in the surroundings of the vehicle 10, which are designated in their entirety by the reference number 14. Three non-vehicle calibration patterns 14f, 14g, 14h are arranged or laid out flat on a floor surface in the area surrounding the vehicle 10. Five non-vehicle calibration patterns 14a, 14b, 14c, 14d, 14e are arranged upright or standing on the floor surface of the surrounding area.

[0048] Jedes der fahrzeugfremden Kalibriermuster 14 ist in einem Erfassungsbereich bzw. Field of View zumindest einer der fahrzeugseitigen Kameraeinheiten 12 angeordnet. Each of the non-vehicle calibration patterns 14 is arranged in a detection area or field of view of at least one of the vehicle-side camera units 12.

[0049] Dem Fahrzeug 10 sind zwei fahrzeugfremde Kalibriermuster 16a, 16b zugeordnet. Die fahrzeugfremden Kalibriermuster 16a, 16b sind jeweils an einer Haltevorrichtung 18a, 18b angeordnet, welche ausgebildet sind, die fahrzeugfremden Kalibriermuster 16a, 16b in einer vorgegebenen Anordnung relativ zu dem stehenden bzw. abgestellten Fahrzeug 10 zu halten. Gemäß der vorliegenden Ausführungsform sind die Haltevorrichtungen 18a, 18b auf je eine Radnabe des Fahrzeugs 10 steckbar ausgebildet. Hierbei sind die Haltevorrichtungen 18a, 18b derart auf die Radnabe des Fahrzeugs 10 steckbar ausgebildet, dass die Haltevorrichtungen 18a, 18b gleichzeitig in berührendem Kontakt mit der Bodenfläche des Umfelds des Fahrzeugs 10 und dem Fahrzeug 10 stehen. Two calibration patterns 16a, 16b that are external to the vehicle are assigned to the vehicle 10. The non-vehicle calibration patterns 16a, 16b are each arranged on a holding device 18a, 18b, which are designed to hold the non-vehicle calibration patterns 16a, 16b in a predetermined arrangement relative to the stationary or parked vehicle 10. According to the present embodiment, the holding devices 18a, 18b are each designed to be pluggable onto a wheel hub of the vehicle 10. Here, the holding devices 18a, 18b are designed to be pluggable onto the wheel hub of the vehicle 10 in such a way that the holding devices 18a, 18b are simultaneously in touching contact with the floor surface of the surroundings of the vehicle 10 and the vehicle 10.

[0050] Die fahrzeugseitigen Kameraeinheiten 12 sind ausgebildet, das Umfeld des Fahrzeugs 10 zu erfassen, um Bilddaten bezüglich der fahrzeugfremden Kalibriermuster 14 bereitzustellen. The vehicle-side camera units 12 are designed to capture the surroundings of the vehicle 10 in order to provide image data regarding the calibration patterns 14 external to the vehicle.

[0051] Fig. 2 zeigt eine Draufsicht auf eine schematische Darstellung eines Fahrzeugs 10 und einer Mehrzahl von fahrzeugfremden Kalibriermustern 14, welche in einem Umfeld des Fahrzeugs 10 angeordnet sind. Das Fahrzeug kann bspw. der mobile Roboter 10 gemäß Fig. 1 sein. Das Fahrzeug 10 umfasst drei an dem Fahrzeug 10 angeordneten bzw. fahrzeugseitige Kameraeinheiten 12a, 12b, 12c, welche in ihrer Gesamtheit mit dem Bezugszeichen 12 bezeichnet werden. 2 shows a top view of a schematic representation of a vehicle 10 and a plurality of non-vehicle calibration patterns 14, which are arranged in an environment of the vehicle 10. The vehicle can be, for example, the mobile robot 10 according to FIG. 1. The vehicle 10 includes three camera units 12a, 12b, 12c arranged on the vehicle 10 or on the vehicle side, which are designated in their entirety by the reference number 12.

[0052] Weiter ist in Fig. 2 eine fahrzeugfremde Kameraeinheit 20 dargestellt. Die fahrzeugfremde Kameraeinheit 20 ist als mobile Kameraeinheit 20 ausgebildet und bspw. an einem Smartphone angeordnet. Die fahrzeugfremde Kameraeinheit 20 ist also ausgebildet, sowohl die fahrzeugfremden Kalibriermuster 14 als auch die Referenzkalibriermuster 16a, 16b zu erfassen, um Bilddaten bezüglich der fahrzeugfremden Kalibriermuster 14 und der Referenzkalibriermuster 16a, 16b bereitzustellen. Zur Erfassung der fahrzeugfremden Kalibriermuster 14 und der Referenzkalibriermuster aus verschiedenen Posen kann die fahrzeugfremde Kalibriermuster im Umfeld des Fahrzeugs 10 entlang einer Trajektorie 22 im Umfeld des stehenden bzw. abgestellten Fahrzeugs 10 bewegt werden. [0052]Furthermore, a camera unit 20 external to the vehicle is shown in FIG. The non-vehicle camera unit 20 is designed as a mobile camera unit 20 and is arranged, for example, on a smartphone. The non-vehicle camera unit 20 is therefore designed to capture both the non-vehicle calibration patterns 14 and the reference calibration patterns 16a, 16b in order to provide image data relating to the non-vehicle calibration patterns 14 and the reference calibration patterns 16a, 16b. To detect the non-vehicle calibration patterns 14 and the reference calibration patterns from different poses, the non-vehicle calibration patterns can be moved in the surroundings of the vehicle 10 along a trajectory 22 in the surroundings of the stationary or parked vehicle 10.

[0053] Zum Ermitteln einer Kalibrierungsinformation der fahrzeugseitigen Kameraeinheiten 14 in Fig. 1A,B und Fig. 2 ist eine nicht dargestellte Recheneinheit vorgesehen. Die Recheneinheit umfasst einen Prozessor, ein Speichermedium mit einem Computerprogramm, sowie mindestens eine Kommunikationsschnittstelle. Das Computerprogramm umfasst Befehle, die bei der Ausführung durch den Prozessor bewirken, dass die Kalibrierungsinformation der fahrzeugseitigen Kameraeinheiten 14 basierend auf den von der fahrzeugseitigen Kameraeinheiten 14 und der fahrzeugfremden Kameraeinheit 20 bereitgestellten Bilddaten bezüglich der fahrzeugfremden Kalibriermuster 14 und der Referenzkalibriermuster 16a, 16b gemäß dem in Fig. 3 beschriebenen Verfahren ermittelt wird. A computing unit, not shown, is provided to determine calibration information for the vehicle-side camera units 14 in FIGS. 1A, B and 2. The computing unit includes a processor, a storage medium with a computer program, and at least one communication interface. The computer program includes commands which, when executed by the processor, cause the calibration information of the vehicle-side camera units 14 to be based on the image data provided by the vehicle-side camera units 14 and the non-vehicle camera unit 20 regarding the non-vehicle calibration patterns 14 and the reference calibration patterns 16a, 16b in accordance with in Fig. 3 is determined.

[0054] Fig. 3 zeigt ein Ablaufdiagramm eines Verfahrens zum Ermitteln einer Kalibrierungsinformation einer fahrzeugseitigen Kameraeinheit eines Fahrzeugs unter Verwendung von Bilddaten einer fahrzeugfremden Kameraeinheit gemäß einer Ausführungsform der vorliegenden Erfindung. Das Verfahren ist in seiner Gesamtheit mit dem Bezugszeichen 100 versehen. Das Fahrzeug kann bspw. der mobile autonome Roboter 10 gemäß Fig. 1A,B sein. 3 shows a flowchart of a method for determining calibration information of a vehicle-mounted camera unit of a vehicle using image data from a camera unit external to the vehicle according to an embodiment of the present invention. The process is designated in its entirety by reference number 100. The vehicle can be, for example, the mobile autonomous robot 10 according to FIGS. 1A,B.

[0055] Das Verfahren 100 wird bei Stillstand des Fahrzeugs, insbesondere vor einer Inbetriebnahme des Fahrzeugs, ausgeführt. The method 100 is carried out when the vehicle is at a standstill, in particular before the vehicle is put into operation.

[0056] In einem Umfeld des Fahrzeugs ist zumindest ein fahrzeugfremdes Kalibriermuster angeordnet. Weiter ist dem Fahrzeug ein Referenzkalibriermuster zugeordnet, welches in einer vorgegebenen Anordnung relativ zu dem Fahrzeug an oder abseits des Fahrzeugs angeordnet ist. At least one non-vehicle calibration pattern is arranged in an environment of the vehicle. Furthermore, the vehicle is assigned a reference calibration pattern, which is arranged in a predetermined arrangement relative to the vehicle on or away from the vehicle.

[0057] Während der Ausführung des Verfahrens 100 wird eine Anordnung zwischen dem Fahrzeug, der fahrzeugseitigen Kameraeinheit, dem Referenzkalibriermuster und dem fahrzeugfremden Kalibriermuster nicht verändert. Das heißt, mit anderen Worten, das Fahrzeug, die fahrzeugseitige Kameraeinheit, das Referenzkalibriermuster und das fahrzeugfremde Kalibriermuster weisen zumindest während der Ausführung des Verfahrens eine gleichbleibende Anordnung zueinander auf. [0057] During the execution of the method 100, an arrangement between the vehicle, the vehicle-side camera unit, the reference calibration pattern and the non-vehicle calibration pattern is not changed. That is, in other words, the vehicle, the vehicle-side camera unit, the reference calibration pattern and the non-vehicle calibration pattern have a constant arrangement relative to one another, at least during the execution of the method.

[0058] In Schritt 110 werden das zumindest eine in dem Umfeld des Fahrzeugs angeordnete fahrzeugfremde Kalibriermuster und das dem Fahrzeug zugeordnete Referenzkalibriermuster mittels einer fahrzeugfremden Kameraeinheit erfasst, um einer Recheneinheit erste Bilddaten bezüglich des zumindest einen fahrzeugfremden Kalibriermuster und des zumindest einen Referenzkalibriermusters bereitzustellen. [0058] In step 110, the at least one non-vehicle calibration pattern arranged in the surroundings of the vehicle and the reference calibration pattern assigned to the vehicle are captured by means of a non-vehicle camera unit in order to provide a computing unit with first image data relating to the at least one non-vehicle calibration pattern and the at least one reference calibration pattern.

[0059] In Schritt 120 werden die ersten Bilddaten bezüglich des zumindest einen fahrzeugfremden Kalibriermuster und des zumindest einen Referenzkalibriermusters mittels der Recheneinheit empfangen. [0059] In step 120, the first image data relating to the at least one vehicle-external calibration pattern and the at least one reference calibration pattern are received by means of the computing unit.

[0060] In Schritt 130 wird das Umfeld des Fahrzeugs mittels einer fahrzeugseitigen Kameraeinheit erfasst, um der Recheneinheit zweite Bilddaten bezüglich des zumindest einen fahrzeugfremden Kalibriermusters bereitzustellen. [0060] In step 130, the surroundings of the vehicle are captured by means of a vehicle-side camera unit in order to provide the computing unit with second image data relating to the at least one non-vehicle calibration pattern.

[0061] In Schritt 140 werden die zweiten Bilddaten bezüglich des zumindest einen fahrzeugfremden Kalibriermusters mittels der Recheneinheit empfangen. [0061] In step 140, the second image data relating to the at least one vehicle-external calibration pattern is received by means of the computing unit.

[0062] In Schritt 150 wird eine Anordnungsinformation bezüglich einer Anordnung zwischen dem zumindest einen Referenzkalibriermuster und dem Fahrzeug mittels der Recheneinheit eingelesen. [0062] In step 150, arrangement information regarding an arrangement between the at least one reference calibration pattern and the vehicle is read in by means of the computing unit.

[0063] In Schritt 160 wird eine erste weitere Anordnungsinformation bezüglich einer Anordnung zwischen dem fahrzeugfremden Kalibriermuster und dem Referenzkalibriermuster basierend auf den ersten Bilddaten, insbesondere ferner basierend auf den zweiten Bilddaten, mittels der Recheneinheit ermittelt. [0063] In step 160, first further arrangement information regarding an arrangement between the vehicle-external calibration pattern and the reference calibration pattern is determined based on the first image data, in particular further based on the second image data, by means of the computing unit.

[0064] In Schritt 170 wird eine zweite weitere Anordnungsinformation bezüglich einer Anordnung zwischen einem dem Fahrzeug zugeordneten Referenzpunkt und dem zumindest einen fahrzeugfremden Kalibriermuster unter Verwendung der ersten Anordnungsinformation und der ermittelten ersten weiteren Anordnungsinformation mittels der Recheneinheit ermittelt. [0064] In step 170, a second further arrangement information regarding an arrangement between a reference point assigned to the vehicle and the at least one calibration pattern external to the vehicle is determined using the first arrangement information and the determined first further arrangement information by means of the computing unit.

[0065] In Schritt 180 wird eine dritte weitere Anordnungsinformation bezüglich einer Anordnung des zumindest einen fahrzeugfremden Kalibriermusters und der fahrzeugseitigen Kameraeinheit basierend auf den zweiten Bilddaten mittels der Recheneinheit ermittelt. [0065] In step 180, a third further arrangement information regarding an arrangement of the at least one vehicle-external calibration pattern and the vehicle-side camera unit is determined based on the second image data using the computing unit.

[0066] In Schritt 190 wird die Kalibrierungsinformation basierend auf den ersten Bilddaten und den zweiten Bilddaten sowie der eingelesenen Anordnungsinformation bezüglich der Anordnung zwischen dem zumindest einen Referenzkalibriermuster und dem Fahrzeug mittels der Recheneinheit ermittelt. Hierbei werden die ermittelte erste weitere Anordnungsinformation, die ermittelte zweite weitere Anordnungsinformation und die ermittelte dritte weitere Anordnungsinformation berücksichtigt. Das Ermitteln der Kalibrierungsinformation umfasst das Ermitteln einer räumlichen Anordnung zwischen der fahrzeugseitigen Kameraeinheit und dem Fahrzeug, insbesondere dem dem Fahrzeug zugeordneten Referenzpunkt. [0066] In step 190, the calibration information is determined based on the first image data and the second image data as well as the read-in arrangement information regarding the arrangement between the at least one reference calibration pattern and the vehicle using the computing unit. Here, the determined first further arrangement information, the determined second further arrangement information and the determined third further arrangement information are taken into account. Determining the calibration information includes determining a spatial arrangement between the vehicle-side camera unit and the vehicle, in particular the reference point assigned to the vehicle.

Claims

1. Method (100) for determining calibration information of a vehicle or infrastructure camera unit (12) of a vehicle (10) or an infrastructure unit using image data from a camera unit (20) external to the vehicle and/or infrastructure, with the following steps: - Receiving (120) first image data from the vehicle and/or infrastructure-external camera unit (20) with respect to a vehicle and/or infrastructure-external calibration pattern (14) arranged in an environment of the vehicle (10) or the infrastructure unit and one of the vehicle (10) or reference calibration pattern (16a, 16b) assigned to the infrastructure unit; - Receiving (140) second image data from the vehicle or infrastructure-side camera unit (12) regarding the calibration pattern (14) external to the vehicle and/or infrastructure; and - Determining the calibration information (190) based on the first image data and the second image data as well as arrangement information regarding an arrangement between the reference calibration pattern (16a, 16b) and the vehicle (10) or between the reference calibration pattern (16a, 16b) of the infrastructure unit by means of a computing unit .

2. Method (100) according to claim 1, characterized by a step of determining (160) a first further arrangement information regarding an arrangement between the calibration pattern (14) external to the vehicle and/or infrastructure and the reference calibration pattern (16a, 16b) based on the first image data , in particular further based on the second image data, wherein the calibration information is further determined taking into account the first further arrangement information.

3. Method (100) according to claim 2, characterized in that the first image data comprises at least one image which at least partially comprises both the vehicle and/or infrastructure-external calibration pattern (14) and at least partially the reference calibration pattern (16a, 16b), in order to to determine the first further arrangement information based on the at least one image.

4. Method (100) according to claim 2 or 3, characterized by a step of determining (170) a second further arrangement information regarding an arrangement between a reference point assigned to the vehicle (10) or the infrastructure unit and the calibration pattern (14) external to the vehicle and/or infrastructure ) taking into account the first arrangement information and the determined first further arrangement information, the calibration information being further determined using the second further arrangement information.

5. Method (100) according to one of the preceding claims, characterized by a step of determining (180) a third further arrangement information regarding an arrangement of the calibration pattern (14) external to the vehicle and/or infrastructure and the camera unit (12) on the vehicle or infrastructure side based on the second image data, wherein the calibration information is further determined taking into account the third further arrangement information.

6. Method (100) according to claim 4 or according to claims 4 and 5, characterized in that the determination (190) of the calibration information involves determining a spatial arrangement between the vehicle or infrastructure-side camera unit (12) and the vehicle (10) or the infrastructure unit, in particular the reference point assigned to the vehicle (10) or the infrastructure unit, taking into account the determined second further arrangement information and the second image data, in particular the determined third further arrangement information.

7. Computing unit for determining calibration information of a vehicle or infrastructure-side camera unit (12) of a vehicle (10) or an infrastructure unit using image data from a camera unit (20) external to the vehicle and/or infrastructure, wherein the computing unit is set up, - First image data of the camera unit (20) external to the vehicle and/or infrastructure with respect to a calibration pattern (14) external to the vehicle and/or infrastructure arranged in an environment of the vehicle (10) or the infrastructure unit and a reference calibration pattern assigned to the vehicle (10) or the infrastructure unit (16a, 16b) to receive, - Receive second image data from the camera unit (12) on the vehicle or infrastructure side with regard to the calibration pattern (14) external to the vehicle and/or infrastructure, and - to determine the calibration information based on the first image data and the second image data as well as arrangement information regarding an arrangement between the reference calibration pattern (16a, 16b) and the vehicle (10) or the infrastructure unit.

8. System for determining calibration information of a vehicle or infrastructure-side camera unit (12) of a vehicle (10) or an infrastructure unit using image data from a camera unit (20) external to the vehicle and/or infrastructure, wherein the system - the vehicle or infrastructure-side camera unit (12) and/or the vehicle- and/or infrastructure-external camera unit (20) and - A computing unit according to claim 7.

9. System according to claim 8, characterized by a holding device (18a, 18b), which is designed to hold the reference calibration pattern (16a, 16b) in a predetermined or predeterminable arrangement relative to the vehicle (10) or the infrastructure unit.

10. Computer program comprising instructions which, when executed by a computing unit, cause it to carry out the method (100) according to one of claims 1 to 7.

11. Machine-readable storage medium on which the computer program according to claim 10 is stored.