DE102020104049A1

DE102020104049A1 - Method for controlling an agricultural machine

Info

Publication number: DE102020104049A1
Application number: DE102020104049.0A
Authority: DE
Inventors: Anmelder Gleich
Original assignee: Lasco Heutechnik GmbH
Current assignee: Lasco Heutechnik GmbH
Priority date: 2020-02-17
Filing date: 2020-02-17
Publication date: 2021-08-19

Abstract

Die Erfindung geht aus von einem Verfahren zum Steuern einer landwirtschaftlichen Maschine (2) mit einem Greifer (4) zum Greifen von landwirtschaftlichem Gut (6), bei dem mehrere optische Sensoren (22, 24) eine Umgebung des Greifers (4) aus verschiedenen Richtungen aufnehmen und ein Steuersystem den Greifer (4) in seiner Position steuert.Um eine sichere Steuerung des Greifers (4) zu erreichen, wird vorgeschlagen, dass das Steuersystem erfindungsgemäß anhand von Daten der Sensoren (22, 24) eine Topografie (28) der Umgebung des Greifers (4) fotogrammmetrisch ermittelt und den Greifer (4) anhand der ermittelten Topografie (28) steuert.The invention is based on a method for controlling an agricultural machine (2) with a gripper (4) for gripping agricultural goods (6), in which several optical sensors (22, 24) surround the gripper (4) from different directions and a control system controls the gripper (4) in its position. In order to achieve reliable control of the gripper (4), it is proposed that the control system according to the invention create a topography (28) of the environment based on data from the sensors (22, 24) of the gripper (4) determined photogrammetrically and controls the gripper (4) on the basis of the determined topography (28).

Description

Die Erfindung betrifft ein Verfahren zum Steuern einer landwirtschaftlichen Maschine, die einen Greifer zum Greifen von landwirtschaftlichem Gut aufweist, bei dem mehrere optische Sensoren eine Umgebung des Greifers aus verschiedenen Richtungen aufnehmen und ein Steuersystem den Greifer in seiner Position steuert.The invention relates to a method for controlling an agricultural machine which has a gripper for gripping agricultural material, in which several optical sensors pick up the surroundings of the gripper from different directions and a control system controls the position of the gripper.

Die Automatisierung in der Landwirtschaft zielt darauf ab, einzelne Aufgaben der landwirtschaftlichen Prozesskette von Maschinen durchführen zu lassen. Dafür benötigt man Messsysteme zum Überwachen der Umgebung und zur Erkennung und Lokalisierung von Objekten. Üblich sind Laserscanner, die den Abstand zu Objekten in einer Scanebene mittels Time-of-Flight-Verfahren ermitteln. Durch Veränderung der Scannerposition kann damit ebenfalls eine 3D-Information erhalten werden.Automation in agriculture aims to allow machines to perform individual tasks in the agricultural process chain. This requires measuring systems to monitor the environment and to detect and localize objects. Laser scanners that determine the distance to objects in a scan plane using a time-of-flight method are common. By changing the scanner position, 3D information can also be obtained.

Es ist eine Aufgabe der vorliegenden Erfindung, ein Verfahren zum Steuern einer landwirtschaftlichen Maschine anzugeben, mit dem die Maschine besonders sicher geführt werden kann.It is an object of the present invention to specify a method for controlling an agricultural machine with which the machine can be guided particularly safely.

Diese Aufgabe wird durch ein Verfahren der eingangs genannten Art gelöst, bei dem das Steuersystem erfindungsgemäß anhand von Daten der Sensoren eine Topografie der Umgebung des Greifers fotogrammmetrisch ermittelt und den Greifer anhand der ermittelten Topografie steuert.This object is achieved by a method of the type mentioned at the outset, in which the control system according to the invention photogrammetrically determines a topography of the surroundings of the gripper based on data from the sensors and controls the gripper based on the determined topography.

Die Erfindung geht von der Überlegung aus, dass das Abscannen von Objekten mittels Laser einer hohen Genauigkeit bedarf, um ein Objekt mit hoher Wahrscheinlichkeit zu erkennen. Zudem dauert das Abscannen verhältnismäßig lange und kann daher bei schnellen Prozessen zu einem Sicherheitsproblem werden.The invention is based on the consideration that the scanning of objects by means of a laser requires a high degree of accuracy in order to detect an object with a high degree of probability. In addition, the scanning takes a relatively long time and can therefore become a security problem with fast processes.

Durch die Erfindung kann das Steuersystem zügig eine Topografie der Umgebung erstellen, also ein Modell der Oberfläche der Umgebung um den Greifer, vorzugsweise um die landwirtschaftliche Maschine. Die Bewegung des Greifers kann nun an die Topografie angepasst werden, sodass ein Anstoßen des Greifers - auch bei einer veränderlichen Topografie - zuverlässig vermieden werden kann. Der Greifer kann mit sicherem Abstand zur Topografie, also zu Gegenständen im Arbeitsbereich des Greifers, gehalten werden, sodass ein sicheres Arbeiten des Greifers erreicht werden kann. Bei bekannten Teilen der Topografie besteht außerdem die Möglichkeit, dass sich das Steuersystem im Raum orientieren kann.The invention enables the control system to quickly create a topography of the surroundings, that is to say a model of the surface of the surroundings around the gripper, preferably around the agricultural machine. The movement of the gripper can now be adapted to the topography, so that the gripper can be reliably prevented from bumping into it, even if the topography changes. The gripper can be held at a safe distance from the topography, i.e. from objects in the working area of the gripper, so that the gripper can work safely. In the case of known parts of the topography, there is also the possibility that the control system can orient itself in space.

Die Fotogrammmetrie ist ein bekanntes Verfahren zur Erstellung von digitalen Modellen von Gegenständen, wie Gebäuden, Geländetopografien usw., insbesondere von 3D-Modellen. Hierfür wird ein Objekt oder eine Umgebung mit einer Mehrzahl von Einzelbildern aus verschiedenen Perspektiven aufgenommen. Nun kann mithilfe der Fotogrammmetrie mit bekannten mathematischen Algorithmen aus der Mehrzahl von Einzelbildern die Geometrie des Objekts oder einer Geländeoberfläche berechnet werden. Ein weiterer Vorteil gegenüber einem hochgenauen Laserscanning oder einem interferometrischen Verfahren besteht darin, dass die fotografische Information der Farbgebung und Kontur usw. als Information erhalten bleibt und das digitale 3D-Modell auch zur fotorealistischen Visualisierung geeignet ist.Photogrammetry is a well-known method for creating digital models of objects such as buildings, terrain topographies, etc., in particular 3D models. For this purpose, an object or an environment is recorded with a plurality of individual images from different perspectives. The geometry of the object or a terrain surface can now be calculated from the plurality of individual images with the aid of photogrammetry with known mathematical algorithms. Another advantage over high-precision laser scanning or an interferometric method is that the photographic information of the coloring and contour etc. is retained as information and the digital 3D model is also suitable for photorealistic visualization.

Neben der Visualisierung kann die Fotogrammmetrie aber auch zur Vermessung eingesetzt werden, d. h. die erzeugten Modelle können bemaßt werden. Hierzu kann die klassische Vermessungstechnik, beispielsweise via Tachymeter, herangezogen werden. Mittels optischer Verfahren kann ausgehend von genau festgelegten Fixpunkten die genaue Position von Objekten, beispielsweise einem Gebäude, einer Mauer, einer Grenze oder einer Brücke, bestimmt werden. Dabei wird ein Koordinatensystem festgelegt, zum Beispiel mittels drei Punkten am Boden. So kann auch die Länge, Breite oder Höhe des Objekts sehr genau bestimmt werden.In addition to visualization, photogrammetry can also be used for measurement, i.e. H. the generated models can be dimensioned. Classic measurement technology, for example using a total station, can be used for this purpose. Using optical methods, the exact position of objects, for example a building, a wall, a border or a bridge, can be determined based on precisely defined fixed points. A coordinate system is established, for example by means of three points on the ground. In this way, the length, width or height of the object can also be determined very precisely.

Theoretisch lassen sich auch einzelne Details des aufgenommenen Gegenstands, wie die Position und Dimensionierung von Balken oder Gattern in einem Stall, mittels klassischer Vermessungstechnik vermessen. Solche Punkte können dann als ortsgenaue Fixpunkte in der Fotogrammmetrie verwendet werden. Doch praktisch kommt die Vermessung von vielen Punkten durch einen enormen Zeitaufwand schnell an eine Grenze.Theoretically, individual details of the recorded object, such as the position and dimensions of bars or gates in a stable, can also be measured using classic measurement technology. Such points can then be used as precise fixed points in photogrammetry. But in practice, the measurement of many points quickly reaches a limit due to the enormous amount of time required.

Deutlich weniger zeitaufwändig ist eine ortsgenaue Berechnung von Details eines Gegenstands oder einer Oberfläche mithilfe der Fotogrammmetrie. Die Bemessung der Details kann aus Kameradaten ermittelt werden aus der Lage der Details in den einzelnen Bildern. Zusätzlich können extern georeferenzierte Kontrollpunkte, sogenannte Ground Control Points - oder analog dazu relativreferenzierte Kontrollpunkte, beispielsweise Punkte in oder bei einem Gebäude, deren Abstände zueinander bekannt sind, verwendet werden. Wird ein solcher Kontrollpunkt in einem Bild aufgenommen, so kann aus den Bilddaten durch eine Kalibrierung über kurze Längen, also einige oder wenige Pixel, eine Mikrokalibrierung vorgenommen werden, die sehr genau ist. Mit einer hochauflösenden Kamera kann so bei kleinen Aufnahmeabständen eine sehr genaue Ortsbestimmung über kleinere Strecken erreicht werden. Solche Kontrollpunkte sind zweckmäßigerweise optisch so ausgeführt, dass sie eindeutig als solche in einem Bild erkannt werden, sodass zur Vermessung der Topografie auf sie Bezug genommen werden kann.A location-accurate calculation of details of an object or a surface using photogrammetry is significantly less time-consuming. The dimensioning of the details can be determined from camera data from the position of the details in the individual images. In addition, externally geo-referenced control points, so-called ground control points, or, analogously, relatively referenced control points, for example points in or near a building, whose distances from one another are known, can be used. If such a control point is recorded in an image, a very precise micro-calibration can be carried out from the image data by calibration over short lengths, that is to say a few or a few pixels. With a high-resolution camera, a very precise location can be determined over smaller distances with small recording distances. Such control points are expediently designed optically in such a way that they are clearly recognized as such in an image, so that reference can be made to them for measuring the topography.

Als Topografie kann eine Oberfläche der im Arbeitsbereich der landwirtschaftlichen Maschine befindlichen Gegenstände gesehen werden, insbesondere inklusive von Teilen eines Gebäudes selbst, beispielsweise eines Scheunenfußbodens. Die Topografie kann alle Oberflächen im Arbeitsbereich der landwirtschaftlichen Maschine einbeziehen, die von den Sensoren aus sichtbar sind, zweckmäßigerweise auch solche, die außerhalb des Arbeitsbereichs der landwirtschaftlichen Maschine liegen.The topography can be seen as a surface of the objects located in the working area of the agricultural machine, in particular including parts of a building itself, for example a barn floor. The topography can include all surfaces in the working area of the agricultural machine that are visible from the sensors, expediently also those that are outside the working area of the agricultural machine.

In einer vorteilhaften Ausführungsform der Erfindung bildet der Greifer einen Teil der Topografie, und die Position des Greifers in der Topografie wird ermittelt. Hierzu sollte der Greifer in zur Fotogrammmetrie verwendeten Bildern abgebildet sein, sodass er mittels fotogrammmetrischer Methoden in die Topografie eingefügt werden kann. Auf diese Weise kann er in eine bemaßte Umgebung aufgenommen werden, sodass seine Position in der Topografie bestimmbar ist. Durch laufende Aktualisierungen der Aufnahmen kann er während seiner Arbeit laufend überwacht werden, sodass eine sichere Tätigkeit des Greifers gewährleistet werden kann.In an advantageous embodiment of the invention, the gripper forms part of the topography, and the position of the gripper in the topography is determined. For this purpose, the gripper should be shown in images used for photogrammetry so that it can be inserted into the topography using photogrammetric methods. In this way it can be included in a dimensioned environment so that its position in the topography can be determined. By continuously updating the recordings, it can be continuously monitored during its work, so that a safe operation of the gripper can be guaranteed.

Weiter ist es vorteilhaft, wenn sich das Steuersystem anhand der erkannten Topografie in einem festgelegten Raum orientiert. Auf diese Weise kann ein Ist-Standort des Greifers relativ zu anderen Gegenständen und insbesonders relativ im Raum erkannt werden, sodass eine Sicherheit einer Bewegung des Greifers erhöht werden kann.It is also advantageous if the control system orients itself in a specified space on the basis of the recognized topography. In this way, an actual location of the gripper can be recognized relative to other objects and in particular relative to space, so that the security of a movement of the gripper can be increased.

Die landwirtschaftliche Maschine kann ein Bagger, ein Kran, oder eine Basis mit einem Greifwerkzeug sein, wobei die Basis zweckmäßigerweise ein Fahrzeug ist. Vorteilhafterweise ist die Maschine ein Kran, beispielweise ein Heukran, insbesondere in und/oder an einem Gebäude. Der Kran kann ein an einer Schiene laufender und autonom arbeitender Kran sein.The agricultural machine can be an excavator, a crane, or a base with a gripping tool, the base suitably being a vehicle. The machine is advantageously a crane, for example a hay crane, in particular in and / or on a building. The crane can be a crane that runs on a rail and works autonomously.

Um Fotogrammmetrie betreiben zu können, ist es vorteilhaft, wenn mehrere optische Sensoren zumindest einen Teil des Arbeitsbereichs der Maschine mit ihrem Gesichtsfeld überdecken. Zweckmäßigerweise sind insofern die optischen Sensoren in einem Raum eines Gebäudes so verteilt, sodass ihre Bildflächen einander zumindest teilweise überlappen. Wird ein Teilbereich von zumindest drei Sensoren eingesehen, so kann die Topografie in diesem Teilbereich zuverlässig fotogrammmetrisch bestimmt werden. Es ist insofern vorteilhaft, wenn mehrere Sensoren in Form von Kameras um den Arbeitsbereich der Maschine angeordnet sind.In order to be able to operate photogrammetry, it is advantageous if several optical sensors cover at least part of the working area of the machine with their field of view. To this extent, the optical sensors are expediently distributed in a room of a building in such a way that their image areas at least partially overlap one another. If a sub-area is viewed by at least three sensors, the topography in this sub-area can be reliably determined photogrammetrically. In this respect, it is advantageous if several sensors in the form of cameras are arranged around the working area of the machine.

Je nach Gegenständen innerhalb des Arbeitsbereichs der Maschine kann es sein, dass ein Teilbereich des Arbeitsbereichs durch einen Gegenstand abgeschattet ist. Um auch in diesem Teilbereich eine Topografie erstellen zu können, beispielsweise hinter einem Scheunenpfosten, ist es vorteilhaft, wenn zumindest ein Sensor über den Arbeitsbereich bewegbar ist. Das kann erreicht werden, wenn zumindest einer der optischen Sensoren am Kran befestigt ist.Depending on the objects within the working area of the machine, it is possible that part of the working area is shaded by an object. In order to be able to create a topography in this sub-area as well, for example behind a barn post, it is advantageous if at least one sensor can be moved over the work area. This can be achieved if at least one of the optical sensors is attached to the crane.

Noch vorteilhafter ist es, wenn zwei Sensoren innerhalb des Arbeitsbereichs bewegbar sind. Das kann erreicht werden, wenn ein weiterer optischer Sensor am Greifer befestigt ist. Doch auch ohne einen Sensor an einem anderen Teil des Krans ist ein Sensor am Greifer besonders beweglich und damit einfach an viele Stellen des Arbeitsbereichs führbar zur Aufnahme von Bilddaten.It is even more advantageous if two sensors can be moved within the working area. This can be achieved if another optical sensor is attached to the gripper. However, even without a sensor on another part of the crane, a sensor on the gripper is particularly mobile and can therefore easily be moved to many places in the work area to record image data.

Bei der Vermessung der Topografie kann es bei Vorhandensein von Kontrollpunkten vorkommen, dass diese ungünstig stehen oder nicht immer optisch so aussehen, dass sie zweifelsfrei erkannt werden oder bei gleichartigen Kontrollpunkten zuverlässig nicht verwechselt werden. Da ein Bild eines Sensors nur einen Teilbereich des Arbeitsbereichs erfasst, ist zudem eine Längenkalibrierung über mehrere Bilder hinweg schwierig. Beispielsweise bei Objekten mit vielen gleichen Strukturen, wie beispielsweise bei einer großen Mauer mit immer gleichen Steinen oder einem großen Gebäude mit vielen gleichen Fenstern, kann es zu Problemen kommen, da der fotogrammmetrische Algorithmus bei sehr ähnlichen einzelnen Details nicht mehr leicht erkennen kann, zu welchem Teil des Objekts das jeweilige Detail beziehungsweise Bild zuzuordnen ist.When measuring the topography, if there are control points, it can happen that they are in an unfavorable position or that they do not always look so optically that they can be recognized beyond doubt or that they cannot be confused with similar control points. Since an image from a sensor only covers a partial area of the working area, length calibration over several images is also difficult. For example, with objects with many identical structures, such as a large wall with always the same stones or a large building with many identical windows, problems can arise because the photogrammetric algorithm can no longer easily identify which details are very similar The respective detail or image is to be assigned to part of the object.

Abhilfe bei diesen Problemen können sogenannte Bildmarken schaffen, die auf dem Objekt verteilt werden. Diese Bildmarken sind dann in den Bildern enthalten und enthalten jeweils ein individuelles Muster, sodass jede Bildmarke individuell und eindeutig erkannt werden kann. Die Bildmarken können vom Algorithmus leicht erkannt werden, sodass die Zuordnung der Bilder zueinander und zum aufgenommenen Objekt erleichtert wird.So-called figurative marks, which are distributed on the object, can remedy these problems. These figurative marks are then contained in the images and each contain an individual pattern so that each figurative mark can be identified individually and clearly. The image marks can easily be recognized by the algorithm, so that the assignment of the images to one another and to the recorded object is made easier.

Es ist insofern vorteilhaft, wenn mehrere in der Umgebung, also zweckmäßigerweise in und/oder um den Arbeitsbereich der Maschine, platzierte Bildmarken mit jeweils einer individuellen Kennzeichnung mit aufgenommen werden. Die Bildmarken sollten so platziert sein, dass jede von ihnen im Bildbereich, also Gesichtsfeld von zumindest zwei Sensoren steht.It is advantageous in this respect if several image marks placed in the vicinity, that is to say expediently in and / or around the working area of the machine, each with an individual identification, are included. The figurative marks should be placed in such a way that each of them is in the image area, i.e. the field of view of at least two sensors.

Die Positionen der Bildmarken sollten in einem Koordinatensystem bekannt sein. Dies kann ein georeferenziertes oder lokales Koordinatensystem sein. Für eine Mikrokalibrierung können die Bildmarken in ihrer Größe mittels klassischer Vermessungstechnik vermessen werden. Für eine Makrokalibrierung sollten die Abstände von Bildmarken zueinander bekannt sein.The positions of the figurative marks should be known in a coordinate system. This can be a georeferenced or local coordinate system. For a micro-calibration, the size of the image marks can be measured using conventional measurement technology. For one Macro calibration, the distances between the figurative marks should be known.

Zweckmäßigerweise wird bei den Aufnahmen der Umgebung aus mehreren verschiedenen Richtungen zumindest eine der Bildmarken von mehreren Seiten aufgenommen. Weiter ist es vorteilhaft, wenn die Bildmarken jeweils eine individuelle Kennung tragen, die von mehreren Richtungen eindeutig erkennbar ist. Beispielsweise sind mehrere Seiten einer Bildmarke jeweils mit der Kennung versehen.When the surroundings are recorded from several different directions, at least one of the image marks is expediently recorded from several sides. It is also advantageous if the image marks each have an individual identifier that can be clearly recognized from several directions. For example, several pages of a picture mark are each provided with the identifier.

Um die aktuelle Position des Greifers stets schnell bestimmen zu können, ist es vorteilhaft, wenn eine Bildmarke am Greifer angeordnet ist.In order to always be able to quickly determine the current position of the gripper, it is advantageous if a picture mark is arranged on the gripper.

Die Gegenstandserkennung kann verbessert werden, wenn zur Erkennung des Gegenstands eine ermittelte Gegenstandstopografie mit herangezogen wird. Aus der Topografie, die einen nach oben weisenden Anteil der Gegenstandsoberfläche mit beinhaltet, kann auf den Gegenstand an sich geschlossen werden, zumindest jedoch kann sie als zusätzliches Merkmal zur Gegenstandserkennung verwendet werden.The object recognition can be improved if a determined object topography is also used for the recognition of the object. From the topography, which also includes an upwardly pointing portion of the object surface, conclusions can be drawn about the object itself, but at least it can be used as an additional feature for object recognition.

Zweckmäßigerweise wird der erkannte Gegenstand in eine Gegenstandsklasse eingeordnet. Hierfür kann eine Gegenstandsdatenbank vorliegen, in der eine Mehrzahl von Gegenstandsklassen anhand von Merkmalen beschrieben ist, sodass ein mit Merkmalen beschriebener Gegenstand in eine Klasse einsortierbar ist.The recognized object is expediently classified in an object class. For this purpose, an object database can be present in which a plurality of object classes are described on the basis of features, so that an object described with features can be sorted into a class.

Alternativ oder zusätzlich zur Erkennung eines Gegenstands anhand von Topografiemerkmalen kann ein Gegenstand mittels Bilderkennung erkannt und in eine Gegenstandsklasse eingeordnet werden.As an alternative or in addition to recognizing an object on the basis of topographic features, an object can be recognized by means of image recognition and classified into an object class.

Allgemein beschrieben, kann die Gegenstandsdatenbank eine Vielzahl von Beschreibungen von verschiedenen Gegenständen enthalten, zweckmäßigerweise eine Klasseneinteilung dieser Beschreibungen in verschiedene Klassen. Jede Beschreibung und/oder Klasse, im Folgenden vereinfacht als Gegenstandsklasse bezeichnet, enthält eine Vielzahl von charakteristischen Bildmerkmalen und/oder Topografiemerkmalen, die von einem oder mehreren gleichen oder ähnlichen Gegenständen gewonnen sein können, beispielsweise gleichen Gattern, die nebeneinander angeordnet sind, oder mehreren gleichartigen Heuballen. Klassen von Gegenständen, wie Heuballen, und einzelne Gegenstände, wie ein Heuballen, werden im Folgenden nicht streng voneinander unterschieden.Generally described, the object database can contain a multiplicity of descriptions of different objects, expediently a classification of these descriptions into different classes. Each description and / or class, referred to in the following simply as an object class, contains a large number of characteristic image features and / or topography features that can be obtained from one or more identical or similar objects, for example identical gates arranged next to one another or several similar ones Hay bales. Classes of objects, such as hay bales, and individual objects, such as a hay bale, are not strictly distinguished from one another in the following.

Weiter ist es vorteilhaft, wenn eine Position des Gegenstands in der Topografie fotogrammmetrisch bestimmt wird. Beispielsweise kann ein Sicherheitsabstand des Greifers um den Gegenstand festgelegt werden, sodass der Greifer den Gegenstand zuverlässig nicht berührt.It is also advantageous if a position of the object in the topography is determined photogrammetrically. For example, a safety distance between the gripper and the object can be established so that the gripper does not reliably touch the object.

Ist ein Gegenstand erkannt beziehungsweise einer Gegenstandsklasse zugeordnet, so kann seine aus beispielsweise der Datenbank bekannte Gegenstandstopografie mit der Topografie des Gegenstands aus der Fotogrammmetrie verglichen werden. Dieser Vergleich kann für eine Verifizierung des Gegenstands herangezogen werden.If an object is recognized or assigned to an object class, its object topography known from the database, for example, can be compared with the topography of the object from the photogrammetry. This comparison can be used to verify the object.

Die Erfindung ist außerdem gerichtet auf eine landwirtschaftliche Maschine mit einem Greifer zum Greifen von landwirtschaftlichem Gut, insbesondere auch mit einem Antriebssystem zum mehrdimensionalen Bewegen des Greifers, einem optischen Sensor und einem Steuersystem, das dazu vorbereitet ist, anhand von Daten des Sensors den Greifer in seiner Position zu steuern. Zweckmäßigerweise kann auch die Position des Greifers relativ zu einem vorbestimmten Punkt erkannt werden.The invention is also directed to an agricultural machine with a gripper for gripping agricultural material, in particular also with a drive system for moving the gripper in several dimensions, an optical sensor and a control system which is prepared to use data from the sensor to place the gripper in its Control position. The position of the gripper relative to a predetermined point can also expediently be recognized.

Um die landwirtschaftliche Maschine besonders sicher führen zu können, wird vorgeschlagen, dass das Steuersystem erfindungsgemäß dazu vorbereitet ist, anhand von Daten der Sensoren eine Topografie der Umgebung des Greifers fotogrammmetrisch zu ermitteln und den Greifer anhand der ermittelten Topografie zu steuern.In order to be able to guide the agricultural machine particularly safely, it is proposed that the control system be prepared according to the invention to photogrammetrically determine a topography of the surroundings of the gripper based on data from the sensors and to control the gripper based on the determined topography.

Die bisher gegebene Beschreibung vorteilhafter Ausgestaltungen der Erfindung enthält zahlreiche Merkmale, die in einigen abhängigen Ansprüchen zu mehreren zusammengefasst wiedergegeben sind. Diese Merkmale können jedoch zweckmäßigerweise auch einzeln betrachtet und zu sinnvollen weiteren Kombinationen zusammenfasst werden, insbesondere bei Rückbezügen von Ansprüchen, sodass ein einzelnes Merkmal eines abhängigen Anspruchs mit einem einzelnen, mehreren oder allen Merkmalen eines anderen abhängigen Anspruchs kombinierbar ist. Außerdem sind diese Merkmale jeweils einzeln und in beliebiger geeigneter Kombination sowohl mit dem erfindungsgemäßen Verfahren als auch mit der erfindungsgemäßen Vorrichtung gemäß den unabhängigen Ansprüchen kombinierbar. So sind Verfahrensmerkmale auch als Eigenschaft der entsprechenden Vorrichtungseinheit gegenständlich formuliert zu sehen und funktionale Vorrichtungsmerkmale auch als entsprechende Verfahrensmerkmale.The description of advantageous embodiments of the invention given so far contains numerous features which are summarized in several dependent claims. These features can, however, expediently also be considered individually and combined into meaningful further combinations, in particular when claims are referenced, so that an individual feature of a dependent claim can be combined with an individual, several or all features of another dependent claim. In addition, these features can each be combined individually and in any suitable combination both with the method according to the invention and with the device according to the invention according to the independent claims. Process features are thus also to be seen objectively formulated as a property of the corresponding device unit, and functional device features are also to be seen as corresponding process features.

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung, sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich im Zusammenhang mit der folgenden Beschreibung eines Ausführungsbeispiels, das im Zusammenhang mit der Zeichnung näher erläutert wird. Das Ausführungsbeispiel dient der Erläuterung der Erfindung und beschränkt die Erfindung nicht auf die darin angegebene Kombination von Merkmalen, auch nicht in Bezug auf funktionale Merkmale. Außerdem können dazu geeignete Merkmale des Ausführungsbeispiels auch explizit isoliert betrachtet und mit einem beliebigen der Ansprüche kombiniert werden.The properties, features and advantages of this invention described above, as well as the manner in which they are achieved, will become clearer and more clearly understood in connection with the following description of an exemplary embodiment which is explained in more detail in connection with the drawing. The exemplary embodiment serves to explain the invention and does not limit the invention to the combination specified therein of characteristics, not even with regard to functional characteristics. In addition, features of the exemplary embodiment suitable for this purpose can also be explicitly viewed in isolation and combined with any of the claims.

Es zeigt:

1 einen Heukran mit einem Greifer zum Greifen von Heu in einem Kuhstall während des Fütterns von Kühen.

It shows:

1 a hay crane with a grapple for gripping hay in a cowshed while feeding cows.

In 1 ist eine landwirtschaftliche Maschine 2 in Form eines Heukrans dargestellt, die einen Greifer 4 zum Greifen von landwirtschaftlichem Gut 6 aufweist. Der Greifer 4 ist eine Heuzange und das landwirtschaftliche Gut 6 ist Heu. Heukran und Heuballen werden im Folgenden zur Vereinfachung der Beschreibung ebenfalls mit dem Bezugszeichen 2 beziehungsweise 6 gekennzeichnet, ohne dass damit eine Einschränkung der Allgemeinheit der Erfindung verstanden werden soll.In 1 is an agricultural machine 2 shown in the form of a hay crane holding a grapple 4th for gripping agricultural goods 6th having. The gripper 4th is a hay tong and the agricultural good 6th is hay. Hay crane and hay bales are also given the reference number in the following to simplify the description 2 respectively 6th characterized without this should be understood to mean a restriction of the generality of the invention.

Der Heukran 2 ist beweglich an und in einem Gebäude 8 befestigt und läuft im gezeigten Ausführungsbeispiel an einer Katze 10 entlang einer Schiene 12. Der Greifer 4 des Heukrans 2 ist mit einem Arm 14 mit einem Zentrum 16 des Heukrans 2 verbunden, das eine Steuereinheit 18 beherbergt, die Teil eines Steuersystems ist, das neben der Steuereinheit 18 zumindest eine stationäre weitere Recheneinheit 20 im Gebäude 8 aufweisen kann, die in 1 nur schematisch angedeutet ist. Der Heukran 2 ist ein autonomer Heukran 2, der zum autonomen Arbeiten vorbereitet ist, also ohne Eingriffe eines Bedieners.The hay crane 2 is mobile on and in a building 8th attached and runs in the embodiment shown on a cat 10 along a rail 12th . The gripper 4th of the hay crane 2 is with one arm 14th with a center 16 of the hay crane 2 connected that a control unit 18th which is part of a control system that is adjacent to the control unit 18th at least one further stationary computing unit 20th inside the building 8th may have that in 1 is only indicated schematically. The hay crane 2 is an autonomous hay crane 2 that is prepared for autonomous work, i.e. without the intervention of an operator.

Das Steuersystem ist mit mehreren optischen Sensoren 22 datentechnisch verbunden, die im und/oder am Gebäude 8 so angeordnet sind, dass ihre Gesichtsfelder zusammen den Arbeitsbereich des Heukrans 2 vollständig abdecken. Zudem überlappen sich die Gesichtsfelder der Sensoren 22. In 1 ist zu sehen, dass manche der Sensoren 22 an Stützen des Gebäudes 8 angeordnet sind und in Richtung des Krans 2 schauen.The control system is with multiple optical sensors 22nd connected in terms of data technology in and / or on the building 8th are arranged so that their fields of view together form the working area of the hay crane 2 cover completely. In addition, the fields of view of the sensors overlap 22nd . In 1 can be seen that some of the sensors 22nd on pillars of the building 8th are arranged and in the direction of the crane 2 watch.

Optional trägt auch der Heukran 2 einen oder mehrere Sensoren 24, die einen Verbund mit den Sensoren 22 bilden und ebenfalls datentechnisch mit dem Steuersystem verbunden sind. Im gezeigten Ausführungsbeispiel ist ein optischer Sensor 24 am Zentrum 16 vorhanden, dessen Blickfeld nach unten gerichtet ist auf eine Gegenstandstopografie unter dem Heukran 2. Eine weitere Kamera 24 ist möglichst mehr als 2 Meter von der ersten Kamera 24 beabstandet. Im gezeigten Ausführungsbeispiel ist sie am Greifer 4 angeordnet. Die Sensoren 22, 24 sind Kameras, die im visuellen Spektralbereich sensitiv sind.The hay crane can also be used as an option 2 one or more sensors 24 that are connected to the sensors 22nd and are also connected to the control system in terms of data technology. In the exemplary embodiment shown, there is an optical sensor 24 at the center 16 present, whose field of vision is directed downwards to an object topography under the hay crane 2 . Another camera 24 is preferably more than 2 meters from the first camera 24 spaced. In the embodiment shown, it is on the gripper 4th arranged. The sensors 22nd , 24 are cameras that are sensitive in the visual spectral range.

Weiter kann ein Topografiesensor 26 vorhanden sein, beispielsweise ein Laserscanner, der eine Geländetopografie 28 ausmisst, also eine Oberfläche der im Arbeitsbereich des Heukrans 2 befindlichen Gegenstände, inklusive von Teilen des Gebäudes selbst, beispielsweise dessen Scheunenfußbodens.A topography sensor can also be used 26th be available, for example a laser scanner that shows a terrain topography 28 measures, i.e. a surface in the working area of the hay crane 2 objects located, including parts of the building itself, for example its barn floor.

Vorteilhafte Arbeitsverfahren der landwirtschaftlichen Maschine 2 sind im Folgenden beschrieben. Die Sensoren 22, 24 nehmen die Umgebung um den Heukran 2 auf und senden ihre Daten an das Steuersystem, also an die Steuereinheit 18 oder direkt oder über die Steuereinheit 18 an die Recheneinheit 20. Das Steuersystem verarbeitet die empfangenen Bilddaten fotogrammmetrisch und ermittelt eine Topografie 28 zumindest der Umgebung des Greifers 4, zweckmäßigerweise der Umgebung des gesamten Heukrans 2, insbesondere des gesamten Arbeitsbereichs des Heukrans 2.Advantageous working methods of the agricultural machine 2 are described below. The sensors 22nd , 24 take the area around the hay crane 2 and send their data to the control system, i.e. to the control unit 18th or directly or via the control unit 18th to the computing unit 20th . The control system processes the received image data photogrammetrically and determines a topography 28 at least around the gripper 4th , expediently around the entire hay crane 2 , especially of the entire working area of the hay crane 2 .

Der Arbeitsbereich kann derjenige Raumbereich sein, der durch die Summe der Bauteile des Heukrans 2 erreichbar ist, zweckmäßigerweise zuzüglich einer Sicherheitsumgebung von beispielsweise einem Meter oder einem anderen geeigneten Maß. Die Topografie 28 kann die Oberfläche der Gegenstände sein, die sich im erfassten Bereich befinden, zweckmäßigerweise im gesamten Arbeitsbereich des Heukrans 2.The work area can be that area of space that is defined by the sum of the components of the hay crane 2 is achievable, expediently plus a safety environment of, for example, one meter or some other suitable dimension. The topography 28 can be the surface of the objects that are located in the detected area, expediently in the entire working area of the hay crane 2 .

Außerdem sind mehrere eindeutig erkennbare Topografiepunkte, beispielsweise auf Elementen des Gebäudes 8, in ihrer Position in einem festgelegten Koordinatensystem bekannt. Somit sind auch ihre Abstände zueinander bekannt und die Topografie 28 kann in das Koordinatensystem gelegt werden. Auf diese Weise kann die Position von anderen Topografiepunkten im Koordinatensystem fotogrammmetrisch bestimmt werden, zweckmäßigerweise von allen Topografiepunkten der Topografie 28.In addition, there are several clearly recognizable topography points, for example on elements of the building 8th , known in their position in a specified coordinate system. This means that the distances between them and the topography are also known 28 can be placed in the coordinate system. In this way, the position of other topographic points in the coordinate system can be determined photogrammetrically, expediently of all topographic points of the topography 28 .

Sind nicht genügend eindeutig erkennbare Topografiepunkte vorhanden, so können Bildmarken 30 im Raum verteilt werden, die ein individuelles Muster tragen und von mehreren Seiten aus eindeutig erkannt werden. In 1 ist der Übersichtlichkeit halber nur eine Bildmarke 30 dargestellt, die ein digitales und individuelles Muster trägt und mit Sensoren 22, 24 eindeutig und individuell erkannt werden kann. Jede Bildmarke 30 trägt also ein eindeutiges und individuelles Muster, sodass sie eindeutig und individuell erkannt werden kann. Auch die Positionen der Bildmarken 30 im Koordinatensystem sind bekannt, sodass mit ihrer Hilfe die Topografie 28 absolut vermessen werden kann.If there are not enough clearly recognizable topographic points, figurative marks 30th distributed in the room, which have an individual pattern and are clearly recognized from several sides. In 1 is only a figurative mark for the sake of clarity 30th shown, which carries a digital and individual pattern and with sensors 22nd , 24 can be clearly and individually recognized. Every figurative mark 30th thus carries a clear and individual pattern so that it can be clearly and individually recognized. Also the positions of the figurative marks 30th in the coordinate system are known, so that with their help the topography 28 can be measured absolutely.

Auch der Heukran 2 mit seinem Greifer 4 ist Bestandteil der Topografie 28. Trägt der Kran 2 nicht eigenständig ausreichend sicher erkennbare Topografiepunkte, so wird auch er mit zumindest einer Bildmarke versehen, sodass seine Position, Ausrichtung und Größe eindeutig in der Topografie 28 bestimmt wird. Zweckmäßigerweise ist auch der Greifer 4 oder ein vorderes Ende des Arms 14 mit einer Bildmarke versehen.Also the hay crane 2 with his claw 4th is part of the topography 28 . The crane carries 2 topographical points that are not independently recognizable with sufficient certainty, it is also provided with at least one figurative mark so that its position, orientation and size are clearly reflected in the topography 28 is determined. The gripper is also expedient 4th or a front end of the arm 14th provided with a figurative mark.

Nun kann unter Verwendung der Topografiedaten der Kran 2 mit seinem Greifer 4 in seiner Bewegung so gesteuert werden, dass er sicher im Gebäude 8 geführt ist, ohne Gegenstände zu beschädigen oder zu nahe an Lebewesen 32, in 1 Kühe, zu kommen.The crane can now use the topography data 2 with his claw 4th can be controlled in his movement so that he is safe in the building 8th without damaging objects or too close to living beings 32 , in 1 Cows to come.

Um Gegenstände zu erkennen, darunter sollen im Folgenden auch Lebewesen 32, also Tiere oder Menschen, verstanden werden, ist es notwendig, dass die Gegenstände als solche erkannt werden. Auch ihre Lage in der Topografie 28 sollte bestimmt werden. Da in den Bildern der Sensoren 22, 24 Gegenstände abgebildet sind, können diese mittels bildverarbeitender Methoden erkannt werden. Beispielsweise werden hierfür Bildmerkmale verwendet und/oder Topografiemerkmale der Gegenstände. Diese charakteristischen Merkmale können mit Gegenstandsmerkmalen einer Gegenstandsdatenbank verglichen werden.In order to recognize objects, in the following also living beings are supposed to be included 32 , i.e. animals or humans, are understood, it is necessary that the objects are recognized as such. Also their position in the topography 28 should be determined. As in the pictures of the sensors 22nd , 24 Objects are depicted, these can be recognized by means of image processing methods. For example, image features and / or topographic features of the objects are used for this. These characteristic features can be compared with object features in an object database.

Um die Daten in der Gegenstandsdatenbank zu erzeugen, wird ein Arbeitsbereich des Heukrans 2, zweckmäßigerweise der gesamte Arbeitsbereich, in dem der Heukran 2 tätig werden kann, mit einer Kamera aufgenommen, zweckmäßigerweise einer gleichen Kamera, wie die Kamera 22, 24, insbesondere mit derselben Kamera 22, 24. Aus den Bildern werden charakteristische Bildmerkmale von abgebildeten Gegenständen beziehungsweise Gegenstandspunkten ermittelt. Nun können diesen Bildmerkmalen beziehungsweise Topografiepunkten Eigenschaften zugeordnet werden, beispielsweise die zugehörigen Gegenstände als solche zugeordnet werden, wie „Heuballen“, „Schubkarre“, „Futtergatter“ oder dergleichen, und/oder es werden ihnen jeweils Koordinaten zugeordnet. Es können auch andere Eigenschaften zugeordnet werden. Beispielsweise wird einem Kreuzungspunkt von zwei Balken eines Gebäudes oder eine Ecke eines Gatters ein Ort in Form von Koordinaten zugeordnet. Die Zuordnung kann manuell durch einen Bediener erfolgen, der die Bilder anschaut und die dargestellten Schlüsselpunkte den Gegenständen oder Koordinaten zuordnet. Oder die Zuordnung erfolgt automatisiert anhand von Informationen über die Gegenstände.A work area of the hay crane is used to generate the data in the object database 2 , expediently the entire work area in which the hay crane 2 can be active, recorded with a camera, expediently the same camera as the camera 22nd , 24 , especially with the same camera 22nd , 24 . Characteristic image features of depicted objects or object points are determined from the images. Properties can now be assigned to these image features or topographic points, for example the associated objects are assigned as such, such as “hay bales”, “wheelbarrows”, “feed gates” or the like, and / or coordinates are assigned to them in each case. Other properties can also be assigned. For example, a point of intersection of two beams of a building or a corner of a gate is assigned a location in the form of coordinates. The assignment can be made manually by an operator who looks at the images and assigns the key points shown to the objects or coordinates. Or the assignment takes place automatically on the basis of information about the objects.

Gegenständen oder Punkten können insofern Koordinaten zugeordnet werden, beispielsweise relativ zu einem gemeinsamen Bezugspunkt, wie einer Ecke eines Raums oder eines Gebäudes, und/oder andere Gegenstandsmerkmale. Sind Koordinaten zugeordnet, so kann sich der Heukran 2 beziehungsweise dessen Steuersystem anhand der im später aufgenommenen Bild wiedergefundenen Punkte im Raum orientieren. Sind Gegenstandsbezeichnungen oder Äquivalentes zugeordnet, so kann der Heukran 2 - wenn er den Gegenstand in einem später aufgenommenen Bild wiederfindet - etwas mit dem Gegenstand tun, beispielsweise anheben oder verschieben, oder besonderen Abstand davon halten, wie beispielsweise von einer Kuh oder einem Menschen.In this respect, objects or points can be assigned coordinates, for example relative to a common reference point, such as a corner of a room or a building, and / or other object features. If coordinates are assigned, the hay crane can move 2 or orient its control system on the basis of the points in space found in the later recorded image. If object names or equivalent are assigned, the hay crane can 2 - if he finds the object in a later recorded image - do something with the object, for example lift or move it, or keep a special distance from it, such as from a cow or a person.

Zudem kann der Gegenstand gegriffen werden, wie in 1 Heu 34 oder ein Heuballen 36. Ein Futtersack 38 kann zuverlässig umfahren werden, sodass er nicht beschädigt wird.In addition, the object can be grasped, as in 1 hay 34 or a hay bale 36 . A feed sack 38 can be reliably bypassed so that it is not damaged.

BezugszeichenlisteList of reference symbols

22: Landwirtschaftliche Maschine / HeukranAgricultural machine / hay crane
44th: GreiferGrapple
66th: Landwirtschaftliches Gut / HeuAgricultural goods / hay
88th: Gebäudebuilding
1010: Katzecat
1212th: Schienerail
1414th: Armpoor
1616: Zentrumcenter
1818th: SteuereinheitControl unit
2020th: RecheneinheitArithmetic unit
2222nd: Optischer SensorOptical sensor
2424: Optischer SensorOptical sensor
2626th: TopografiesensorTopography sensor
2828: GeländetopografieTerrain topography
3030th: BildmarkeFigurative mark
3232: Kuhcow
3434: Heuhay
3636: HeuballenHay bales
3838: FuttersackFeed bag

Claims

Method for controlling an agricultural machine (2) with a gripper (4) for gripping agricultural material (6), in which several optical sensors (22, 24) pick up the surroundings of the gripper (4) from different directions and a control system records the gripper (4) controls in its position, characterized in that the control system uses data from the sensors (22, 24) to photogrammetrically determine a topography (28) of the surroundings of the gripper (4) and the gripper (4) based on the determined topography (28 ) controls.

Procedure according to Claim 1 , characterized in that the gripper (4) forms part of the topography (28) and the position of the gripper (4) in the topography (28) is determined.

Procedure according to Claim 1 or 2 , characterized in that the control system uses the recognized topography (28) to orient itself in a defined space.

Method according to one of the preceding claims, characterized in that the machine (2) is a crane (2) running on a rail (12) and working autonomously.

Procedure according to Claim 4 , characterized in that at least one of the optical sensors (24) is attached to the crane (2).

Method according to one of the preceding claims, characterized in that at least one of the optical sensors (24) is attached to the gripper (4).

Method according to one of the preceding claims, characterized in that the optical sensors (22, 24) are distributed in a room of a building (8) and their image areas overlap one another.

Method according to one of the preceding claims, characterized in that several image marks (30) placed in the vicinity, each with an individual identification, are also recorded.

Procedure according to Claim 8 , characterized in that when the surroundings are recorded from several different directions, at least one of the image marks (30) is recorded from several sides.

Procedure according to Claim 8 or 9 , characterized in that a picture mark (30) is arranged on the gripper (4).

Method according to one of the preceding claims, characterized in that an object is recognized in the topography (28) with the aid of the topography (28) and is classified in an object class.

Method according to one of the preceding claims, characterized in that an object is recognized in the topography (28) by means of image recognition and is classified in an object class.

Procedure according to Claim 11 or 12th , characterized in that a position of the object in the topography (28) is determined photogrammetrically.

Method according to one of the Claims 11 until 13th , characterized in that an object topography assigned with the aid of the object class is compared with the topography (28) of the object from the photogrammetry.

Agricultural machine (2) with a gripper (4) for gripping agricultural material (6), several optical sensors (22, 24) and a control system which is prepared to use data from the sensor (22, 24) to control the gripper ( 4) to be controlled in its position, characterized in that the control system is prepared to photogrammetrically determine a topography (28) of the surroundings of the gripper (4) based on data from the sensors (22, 24) and to use the gripper (4) the determined topography (28) to control.