DE102021129673A1

DE102021129673A1 - Method and device for classifying objects that are conveyed lying on a surface

Info

Publication number: DE102021129673A1
Application number: DE102021129673.0A
Authority: DE
Inventors: Massoud Koshan; Anthony Ioan; Lino Gerlach
Original assignee: Koiotech Ug Haftungsbeschraenkt
Current assignee: Koiotech Ug Haftungsbeschraenkt
Priority date: 2021-11-15
Filing date: 2021-11-15
Publication date: 2023-05-17
Also published as: DE112022005470A5; WO2023084116A1

Abstract

Zum Bestimmen des Werts mindestens eines Formparameters von Objekten (2), die in unbekannter Orientierung und Gruppierung auf einer Oberfläche (3) liegend durch Bewegen der Oberfläche (2) in einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden, werden mit einem auf die Oberfläche (3) gerichteten Messstrahl (9) eines LIDAR-Scanners (6) die auf der Oberfläche (3) liegenden Objekte (2) in einer quer zu der Förderrichtung verlaufenden Ebene wiederholt abgetastet. Eine Geschwindigkeit, mit der die Oberfläche (3) in der Förderrichtung durch die Ebene hindurchtritt, wird gemessen. Aus Signalen des LIDAR-Scanners (6) und der Geschwindigkeit der Oberfläche (3) wird ein Höhenprofil der Objekte (2) auf der Oberfläche (3) punktweise bestimmt. Mit einem ersten neuronalen Netzwerk wird das Höhenprofil segmentiert, wobei Segmente des Höhenprofils identifiziert werden, deren Punkte zu einem einzelnen Objekt (2) gehören. Ausschnitte des Höhenprofils, die jeweils ein identifiziertes Segment und eine Umgebung dieses einen identifizierten Segments umfassen, werden mit einem zweiten neuronalen Netzwerk bezüglich des Werts des mindestens einen Formparameters des jeweiligen einzelnen Objekts analysiert.In order to determine the value of at least one shape parameter of objects (2) lying in an unknown orientation and grouping on a surface (3) and being conveyed by moving the surface (2) in a conveying direction running along the surface, a 3) the directed measuring beam (9) of a LIDAR scanner (6) repeatedly scans the objects (2) lying on the surface (3) in a plane running transversely to the conveying direction. A speed at which the surface (3) passes through the plane in the conveying direction is measured. A height profile of the objects (2) on the surface (3) is determined point by point from signals from the LIDAR scanner (6) and the speed of the surface (3). The height profile is segmented with a first neural network, with segments of the height profile being identified whose points belong to a single object (2). Sections of the height profile, each of which includes an identified segment and an area surrounding this one identified segment, are analyzed with a second neural network with regard to the value of the at least one shape parameter of the respective individual object.

Description

TECHNISCHES GEBIET DER ERFINDUNGTECHNICAL FIELD OF THE INVENTION

Die Erfindung bezieht sich auf ein Verfahren zum Bestimmen des Werts mindestens eines Formparameters von Objekten, die in unbekannter Orientierung und Gruppierung auf einer Oberfläche liegend durch Bewegen der Oberfläche in einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden. Insbesondere bezieht sich die Erfindung auf ein Verfahren mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 1.The invention relates to a method for determining the value of at least one shape parameter of objects which are conveyed lying on a surface in an unknown orientation and grouping by moving the surface in a conveying direction running along the surface. In particular, the invention relates to a method having the features of the preamble of independent claim 1.

Weiterhin bezieht sich die Erfindung auf eine Vorrichtung zur Durchführung eines solchen Verfahrens, insbesondere mit den Merkmalen des Oberbegriffs des unabhängigen Patentanspruchs 13.Furthermore, the invention relates to a device for carrying out such a method, in particular with the features of the preamble of independent patent claim 13.

Bei den Objekten kann es sich beispielsweise um Wurzelfrüchte wie Kartoffeln handeln, die auf ein Förderband geschüttet von dem Förderband transportiert werden. Der Formparameter dieser Objekte, deren Wert bestimmt wird, kann beispielsweise ein Quadratmaß der Kartoffeln oder die Anzahl von Stäben bestimmten Querschnitts und bestimmter Länge sein, die bei der Herstellung von Pommes Frites aus den Kartoffeln geschnitten werden können.The objects can be, for example, root crops such as potatoes, which are transported by the conveyor belt when they are poured onto a conveyor belt. The shape parameter of these objects, the value of which is determined, can be, for example, a square measure of the potatoes or the number of sticks of certain cross-section and certain length that can be cut from the potatoes in the manufacture of french fries.

STAND DER TECHNIKSTATE OF THE ART

Das Vermessen von einzeln auf einem Förderband geförderten Objekten mit Hilfe eines Laserscanners ist bekannt und kommt beispielsweise in der Produktionsüberwachung verschiedener Produkte zum Einsatz. Dabei angewandte Verfahren und eingesetzte Vorrichtungen sind jedoch für unregelmäßige Objekte, die in unbekannter Orientierung und Gruppierung. d. h. insbesondere auch auf- und übereinanderliegend, auf einem Förderband angeordnet sind, ungeeignet.Measuring objects conveyed individually on a conveyor belt using a laser scanner is known and is used, for example, in the production monitoring of various products. However, the methods and devices used are for irregular objects that are in unknown orientation and grouping. i.e. H. in particular, are arranged on top of one another and one on top of the other on a conveyor belt, unsuitable.

Aus der DE 101 34 714 A1 sind ein Verfahren und eine Anordnung zur berührungslosen Oberflächeninspektion von Produkten mit näherungsweise zylinderförmiger Gestalt, beispielsweise Kartoffeln, bekannt. Die Produkte werden vereinzelt, in ihrer Längsrichtung auf zwei eng benachbarte, sich mit der gleichen Geschwindigkeit in der gleichen Richtung drehende, ortsfeste Walzen übergeben, welche ebenfalls in Längsrichtung angeordnet sind. Die einzelnen Produkte werden gleichzeitig in Rotation und in eine Längsbewegung entlang der Längsrichtung der Walzen versetzt. Ein zeilenförmig abtastender, ebenfalls in Längsrichtung ausgerichteter Sensor erfasst den Bildbereich zwischen den Walzen und tastet die gesamte Abwicklung der Oberfläche jedes Produkts einmal oder mehrfach ab, während sich das Produkt rotierend und linear bewegend durch sein Bildfeld hindurchbewegt. Nach einer rechnergesteuerten Auswertung der Sensorsignale werden die Produkte in mehrere Klassen eingestuft und mechanisch sortiert. Dieses Verfahren ist nur für Produkte praktikabel, die in vergleichsweise geringer Anzahl je Zeiteinheit anfallen. Ansonsten kann nur eine Stichprobe von einem Produkthauptstrom abgesondert und in Klassen eingestuft werden.From the DE 101 34 714 A1 a method and an arrangement for contactless surface inspection of products with an approximately cylindrical shape, such as potatoes, are known. The products are individually transferred in their longitudinal direction to two closely adjacent, stationary rollers rotating in the same direction at the same speed, which are also arranged in the longitudinal direction. The individual products are simultaneously set in rotation and in a longitudinal movement along the longitudinal direction of the rollers. A line-wise scanning sensor, also aligned in the longitudinal direction, captures the image area between the rollers and scans the entire development of the surface of each product once or several times, while the product moves through its image field in a rotating and linear manner. After a computer-controlled evaluation of the sensor signals, the products are classified into several classes and sorted mechanically. This procedure is only practical for products that occur in comparatively small numbers per unit of time. Otherwise, only a sample can be separated from a main stream of products and classified into classes.

Aus der WO 2020 / 120 702 A1 ist es bekannt, dreidimensionale Trainingsbilddaten und zugehörige Trainingsgewichtdaten einer Mehrzahl von Trainingsnahrungsmittelobjekten unter Verwendung einer 3D-Abbildungsvorrichtung und einer Waage zu bestimmen. Unter Verwendung dieser Trainingsbilddaten und zugehörigen Trainingsgewichtdaten wird ein neuronales Netzwerk trainiert. Dann werden dreidimensionale Bilddaten von Nahrungsmittelobjekten mit einer 3D-Abbildungsvorrichtung aufgenommen, und das trainierte neuronale Netzwerk und die aufgenommenen 3D-Bilder werden verwendet, um ein Gewicht für das jeweilige Nahrungsmittelprodukt zu ermitteln. Die Nahrungsmittelobjekte können auf einem Förderer gefördert und dabei mit Hilfe eines Laserscanners abgetastet werden, wobei der Auftreffpunkt des von dem Laserscanner kommenden Laserstrahl mit einer Kamera erfasst wird.It is known from WO 2020/120 702 A1 to determine three-dimensional training image data and associated training weight data of a plurality of training food objects using a 3D imaging device and a scale. A neural network is trained using this training image data and associated training weight data. Then, three-dimensional image data of food objects is captured with a 3D imaging device, and the trained neural network and captured 3D images are used to determine a weight for the particular food product. The food objects can be conveyed on a conveyor and thereby scanned with the aid of a laser scanner, the impact point of the laser beam coming from the laser scanner being recorded with a camera.

AUFGABE DER ERFINDUNGOBJECT OF THE INVENTION

Der Erfindung liegt die Aufgabe zugrunde, ein Verfahren und eine Vorrichtung zum Bestimmen des Werts mindestens eines Formparameters von Objekten, die in unbekannter Orientierung und Gruppierung auf einer Oberfläche liegend durch Bewegen der Oberfläche in einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden, aufzuzeigen, die auch in großer Stückzahl je Zeiteinheit anfallenden Objekten geeignet sind, ohne dass hierfür eine Stichprobe von den Objekten abgesondert werden muss.The invention is based on the object of demonstrating a method and a device for determining the value of at least one shape parameter of objects which are conveyed lying on a surface in an unknown orientation and grouping by moving the surface in a conveying direction running along the surface, which also are suitable for objects occurring in large numbers per unit of time, without a random sample having to be separated from the objects for this purpose.

LÖSUNGSOLUTION

Die Aufgabe der Erfindung wird durch ein Verfahren mit den Merkmalen des unabhängigen Patentanspruchs 1 und durch eine Vorrichtung mit den Merkmalen des unabhängigen Patentanspruchs 13 gelöst. Die abhängigen Patentansprüche sind auf bevorzugte Ausführungsformen des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung gerichtet.The object of the invention is achieved by a method having the features of independent patent claim 1 and by a device having the features of independent patent claim 13 . The dependent patent claims are directed to preferred embodiments of the method according to the invention and the device according to the invention.

BESCHREIBUNG DER ERFINDUNGDESCRIPTION OF THE INVENTION

In den Patentansprüchen und der Beschreibung ist die Richtungsangabe „quer“ so zu verstehen, dass sie zwar vorzugsweise, aber nicht zwingend „senkrecht“ bedeutet. Grundsätzlich soll die Richtungsangabe „quer“ nur „im Wesentlichen senkrecht“ bedeuten und eine Winkelabweichung zu „genau senkrecht“ von bis zu 40° oder zumindest bis zu 20° zulassen.In the patent claims and the description, the directional statement “transverse” is to be understood in such a way that it preferably, but not necessarily, means “vertical”. Basically it should Indication of direction "across" only means "essentially vertical" and allow an angular deviation from "exactly vertical" of up to 40° or at least up to 20°.

Bei einem erfindungsgemäßen Verfahren zum Bestimmen des Werts mindestens eines Formparameters von Objekten, die in unbekannter Orientierung und Gruppierung auf einer Oberfläche liegend durch Bewegen der Oberfläche in einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden, werden mit einem auf die Oberfläche gerichteten Messstrahl eines LIDAR-Scanners die auf der Oberfläche liegenden Objekten in einer quer zu der Förderrichtung verlaufenden Ebene wiederholt abgetastet. Eine Geschwindigkeit, mit der die Oberfläche in der Förderrichtung durch die Ebene hindurchtritt, wird erfasst, und aus Signalen des LIDAR-Scanners und der Geschwindigkeit der Oberfläche wird ein Höhenprofil der Objekte auf der Oberfläche punktweise bestimmt. Das Höhenprofil wird mit einem ersten neuronalen Netzwerk segmentiert, wobei Segmente des Höhenprofils identifiziert werden, deren Punkte jeweils zu einem einzelnen Objekt gehören. Ausschnitte des Höhenprofils, die jeweils ein identifiziertes Segment und eine Umgebung dieses einen identifizierten Segments umfassen, werden mit einem zweiten neuronalen Netzwerk bezüglich des Werts des mindestens einen Formparameters des jeweiligen einzelnen Objekts, zu denen die Punkte des Segments gehören, analysiert.In a method according to the invention for determining the value of at least one shape parameter of objects that are conveyed lying on a surface in an unknown orientation and grouping by moving the surface in a conveying direction running along the surface, a measuring beam of a LIDAR scanner directed onto the surface is used the objects lying on the surface are repeatedly scanned in a plane running transversely to the conveying direction. A speed at which the surface passes through the plane in the conveying direction is recorded, and a height profile of the objects on the surface is determined point by point from signals from the LIDAR scanner and the speed of the surface. The height profile is segmented with a first neural network, with segments of the height profile being identified whose points each belong to a single object. Sections of the height profile, each of which includes an identified segment and an area surrounding this one identified segment, are analyzed with a second neural network with regard to the value of the at least one shape parameter of the respective individual object to which the points of the segment belong.

Ein LIDAR-Scanner erfasst die Laufzeit seines Messstrahls zu einem Messpunkt, auf den der Messstrahl auftrifft, und zurück zu dem LIDAR-Scanner. Aus dieser Laufzeit und der Lichtgeschwindigkeit ergibt sich die Entfernung des Messpunkts zu dem LIDAR-Scanner. Ein LIDAR-Scanner weist weiterhin Mittel zum Ausrichten des Messstrahls in unterschiedliche Richtungen, typischerweise einen oder mehrere Drehspiegel, auf. Die Stellung dieser Mittel wird der jeweiligen Laufzeit des Messstrahls bzw. der daraus abgeleiteten Entfernung des Messpunkts zugeordnet, um neben der Entfernung die Richtung festzuhalten, in der der Messpunkts von dem LIDAR-Scanner aus liegt. Bei dem erfindungsgemäßen Verfahren werden mit dem auf die Oberfläche gerichteten Messstrahl des LIDAR-Scanners die auf der Oberfläche liegenden Objekte in einer quer zu der Förderrichtung verlaufenden Ebene wiederholt abgetastet. Die Ebene kann derart leicht geneigt zu der Förderrichtung verlaufen, dass die Oberfläche in nahezu senkrecht zu der Förderrichtung verlaufenden Zeilen mit dem Messstrahl abgetastet wird. Die dafür einzustellende Neigung der Ebene hängt von der Geschwindigkeit ab, mit der die Oberfläche in der Förderrichtung durch die Ebene hindurchtritt. Wenn der Verlauf der Ebene signifikant von diesem idealen Verlauf abweicht, ist dies in den weiteren Schritten des erfindungsgemäßen Verfahrens zu berücksichtigen. In jedem Fall werden beim wiederholten Abtasten der auf der Oberfläche liegenden Objekte nicht immer dieselben sondern in der Förderrichtung aufeinander folgende Messpunkte der Objekte mit dem Messstrahl abgetastet.A LIDAR scanner records the travel time of its measurement beam to a measurement point hit by the measurement beam and back to the LIDAR scanner. The distance from the measuring point to the LIDAR scanner results from this transit time and the speed of light. A LIDAR scanner also has means for aligning the measurement beam in different directions, typically one or more rotating mirrors. The position of these means is assigned to the respective propagation time of the measuring beam or the distance of the measuring point derived therefrom in order to record the direction in which the measuring point lies from the LIDAR scanner in addition to the distance. In the method according to the invention, the objects lying on the surface are repeatedly scanned in a plane running transversely to the conveying direction with the measuring beam of the LIDAR scanner directed onto the surface. The plane can be slightly inclined to the conveying direction in such a way that the surface is scanned with the measuring beam in lines running almost perpendicularly to the conveying direction. The inclination of the plane to be set for this depends on the speed with which the surface passes through the plane in the conveying direction. If the course of the plane deviates significantly from this ideal course, this must be taken into account in the further steps of the method according to the invention. In any case, when the objects lying on the surface are repeatedly scanned, the measuring points of the objects that follow one another in the conveying direction are not always scanned with the measuring beam.

Grundsätzlich ergibt sich die flächige Abtastung der auf der Oberfläche liegenden Objekte bei dem erfindungsgemäßen Verfahren durch das Verschwenken des Messstrahls in der quer zu der Förderrichtung verlaufenden Ebene nur in einer längs der Oberfläche verlaufenden Raumrichtung; in der zweiten längs der Oberfläche verlaufenden Raumrichtung erfolgt das Abtasten durch das Bewegen der Oberfläche, auf der die Objekte liegen. Indem die Geschwindigkeit erfasst wird, mit der die Oberfläche in der Förderrichtung durch die Ebene hindurchtritt, kann die Lage jedes Messpunkts des LIDAR-Scanners einem Punkt der Oberfläche bzw. wenn es zwischen diesem Punkt und dem LIDAR-Scanner liegenden Objekts zugeordnet werden. Auf dieser Basis wird aus den Signalen des LIDAR-Scanners und der Geschwindigkeit der Oberfläche ein Höhenprofil der Objekte auf der Oberfläche punktweise bestimmt.In principle, the areal scanning of the objects lying on the surface in the method according to the invention results from the pivoting of the measuring beam in the plane running transversely to the conveying direction only in a spatial direction running along the surface; in the second spatial direction running along the surface, the scanning takes place by moving the surface on which the objects lie. By detecting the speed at which the surface passes through the plane in the conveying direction, the position of each measuring point of the LIDAR scanner can be assigned to a point on the surface or, if it is between this point and the LIDAR scanner, to an object lying. On this basis, a height profile of the objects on the surface is determined point by point from the signals of the LIDAR scanner and the speed of the surface.

Dieses Höhenprofil wird in einem ersten Auswerteschritt mit Hilfe eines neuronalen Netzwerks segmentiert. Das erste neuronale Netzwerk identifiziert Segmente des Höhenprofils derart, dass alle Punkte jedes identifizierten Segments zu einem einzelnen Objekt gehören und dass jedes identifizierte Segment alle Punkte des Höhenprofils umfasst, die zu dem jeweiligen einzelnen Objekt gehören.In a first evaluation step, this height profile is segmented with the aid of a neural network. The first neural network identifies segments of the height profile such that all points of each identified segment belong to a single object and that each identified segment includes all points of the height profile belonging to the respective single object.

Dann werden in einem zweiten Auswerteschritt die Ausschnitte des Höhenprofils, die jeweils nicht nur ein in dem ersten Auswerteschritt identifiziertes Segment, sondern auch eine begrenzte Umgebung dieses identifizierten Segments umfassen, mit Hilfe eines zweiten neuronalen Netzwerks analysiert. Das zweite neuronale Netzwerk bestimmt den Wert des mindestens einen interessierenden Formparameters des jeweiligen einzelnen Objekts. Diese Bestimmung kann zum Inhalt haben, dass der genaue Wert des Formparameters ermittelt wird oder in welchen von mehreren Wertebereichen des Formparameters der jeweilige Wert fällt.Then, in a second evaluation step, the sections of the height profile, each of which includes not only a segment identified in the first evaluation step but also a limited area surrounding this identified segment, are analyzed with the aid of a second neural network. The second neural network determines the value of the at least one shape parameter of interest of the respective individual object. The content of this determination can be that the exact value of the shape parameter is determined or in which of several value ranges of the shape parameter the respective value falls.

Die vorliegende Erfindung betrifft nicht den genauen Aufbau des ersten und des zweiten neuronalen Netzwerks, der unterschiedlich ausgeführt sein kann. Die Erfindung besteht vielmehr darin, die Auswertung in aufeinanderfolgenden Auswerteschritte durchzuführen, die derart definiert sind, dass mit zwei neuronalen Netzwerken problemlos zu bewältigen und dadurch voll automatisch ausführbar sind.The present invention does not relate to the precise structure of the first and second neural networks, which may vary. Rather, the invention consists in carrying out the evaluation in successive evaluation steps which are defined in such a way that they can be managed without any problems using two neural networks and can therefore be carried out fully automatically.

In dem ersten Auswerteschritt des erfindungsgemäßen Verfahrens kann eine Gruppe speziell solcher Segmente identifiziert werden, die jeweils zu einem einzelnen auf der Oberfläche oder auf anderen Objekten insoweit freiliegenden Objekten gehören, dass ihre Oberseiten auch nicht teilweise durch ein oder mehrere andere Objekte verdeckt sind. Wenn dann in dem zweiten Auswerteschritt nur Ausschnitte des Höhenprofils analysiert werden, die ein Segment aus dieser Gruppe umfassen, ist die Analyse in dem zweiten Verarbeitungsschritt besonders einfach. Auch das Identifizieren der Segmente dieser Gruppe ist eine Aufgabe, die mit Hilfe eines neuronalen Netzwerks ohne grundsätzliche Probleme zu bewältigen ist.In the first evaluation step of the method according to the invention, a group can be identified specifically of those segments which each belong to an individual object that is exposed on the surface or on other objects to the extent that their upper sides are not partially covered by one or more other objects. If then in the second evaluation step only sections of the height profile are analyzed that include a segment from this group, the analysis in the second processing step is particularly simple. Identifying the segments of this group is also a task that can be mastered with the help of a neural network without any fundamental problems.

Es versteht sich, dass gerade bei dieser Ausführungsform des erfindungsgemäßen Verfahrens die Werte des mindestens einen Formparameters nur für einen Teil der Objekte bestimmt werden. Bei diesem Teil der Objekte handelt es sich jedoch um eine zufällige und damit auch grundsätzlich repräsentative Stichprobe, die nicht ausgesondert wird.It goes without saying that, precisely in this embodiment of the method according to the invention, the values of the at least one shape parameter are only determined for some of the objects. However, this part of the objects is a random and therefore also fundamentally representative sample that is not singled out.

Konkret können die identifizierten Segmente dem zweiten neuronalen Netzwerk für den zweiten Auswerteschritt jeweils durch eine Maske für das Höhenprofil angezeigt werden. Die Fläche der jeweiligen Maske kann dann genutzt werden, um jeden Ausschnitt des Höhenprofils konzentrisch zu einer Grundfläche des zugehörigen Segments des Höhenprofils festzulegen. Die Konzentrizität kann speziell gegenüber einem Flächenschwerpunkt der Maske bzw. der Grundfläche festgelegt werden. Dabei weisen die Ausschnitte des Höhenprofils vorzugsweise feste absolute Abmessungen auf. Mit beiden Maßnahmen wird die Analyse der Ausschnitte bezüglich des Werts des interessierenden Formparameters durch das zweite neuronale Netzwerk in dem zweiten Auswerteschritt vereinfacht.Specifically, the identified segments can be displayed to the second neural network for the second evaluation step by a mask for the height profile. The area of the respective mask can then be used to define each section of the height profile concentrically to a base area of the associated segment of the height profile. The concentricity can be defined specifically in relation to a centroid of the mask or the base area. In this case, the sections of the height profile preferably have fixed absolute dimensions. With both measures, the analysis of the excerpts with regard to the value of the shape parameter of interest is simplified by the second neural network in the second evaluation step.

Bei dem erfindungsgemäßen Verfahren kann das Höhenprofil aus den Signalen des LIDAR-Scanners und der Geschwindigkeit der Oberfläche direkt in kartesischen Koordinaten punktweise bestimmt werden. Die originären Koordinaten der Messpunkte der abgetasteten Objekte auf der Oberfläche sind Zylinderkoordinaten, bei denen die z-Koordinate in der Förderrichtung verläuft und der Winkel um eine Schwenkachse des Messstrahls des LIDAR-Scanners. Eine Transformation der originären Koordinaten aller Messpunkte in kartesischen Koordinaten erfordert viel Rechenzeit. Diese Rechenzeit wird erheblich reduziert, wenn das Höhenprofil zunächst in den originären Zylinderkoordinaten oder jedenfalls noch nicht komplett transformierten Koordinaten bestimmt wird, wenn auch das Segmentieren des Höhenprofils direkt in den originären Zylinderkoordinaten oder den jedenfalls noch nicht komplett transformierten Koordinaten erfolgt und wenn das Höhenprofil nur für die Ausschnitte in kartesische Koordinaten umgerechnet wird, die in dem zweiten Auswerteschritt analysiert werden.In the method according to the invention, the height profile can be determined point by point from the signals of the LIDAR scanner and the speed of the surface directly in Cartesian coordinates. The original coordinates of the measuring points of the scanned objects on the surface are cylindrical coordinates, in which the z-coordinate runs in the conveying direction and the angle around a swivel axis of the measuring beam of the LIDAR scanner. A transformation of the original coordinates of all measuring points into Cartesian coordinates requires a lot of computing time. This computing time is significantly reduced if the height profile is first determined in the original cylinder coordinates or in any case not yet completely transformed coordinates, if the segmentation of the height profile also takes place directly in the original cylinder coordinates or in any case the not yet completely transformed coordinates and if the height profile is only for the sections are converted into Cartesian coordinates, which are analyzed in the second evaluation step.

Bei der Transformation in kartesische Koordinaten geht es nicht nur um eine Umrechnung der Punkte des originären Höhenprofils in kartesische Koordinaten, sondern auch um eine auf Basis von Extrapolationen durchzuführende Bestimmung des Höhenprofils in dem kartesischen Koordinatensystem in Punkten, die über der bewegten Oberfläche in gleichen Abständen verteilt sind. Dies ist Voraussetzung dafür, dass die identifizierten Segmente unabhängig davon, wo sich das zugehörige Objekt auf der Oberfläche befand, miteinander vergleichbar sind. Dies ist wiederum Voraussetzung dafür, dass die zugehörigen Ausschnitte des Höhenprofils ohne Berücksichtigung weiterer Informationen analysiert werden können.The transformation into Cartesian coordinates is not just a matter of converting the points of the original height profile into Cartesian coordinates, but also of determining the height profile in the Cartesian coordinate system on the basis of extrapolations in points distributed at equal intervals over the moving surface are. This is a prerequisite for the identified segments to be comparable with one another, regardless of where the associated object was located on the surface. This in turn is a prerequisite for the associated sections of the elevation profile to be able to be analyzed without considering further information.

Zu Beginn des erfindungsgemäßen Verfahrens kann sowohl das erste neuronale Netzwerk mit Höhenprofilen von realen und/oder simulierten Objekten auf der Oberfläche als auch das zweite neuronale Netzwerk mit Ausschnitten von Höhenprofilen um Segmente von realen und/oder simulierten Objekten auf der Oberfläche und gemessenen Werten des mindestens einen Formparameters der realen und/oder simulierten Objekte trainiert werden. Die Simulation von Objekten erlaubt es den Trainingsumfang für die neuronalen Netzwerke in begrenzter absoluter Zeit erheblich zu steigern.At the beginning of the method according to the invention, both the first neural network with height profiles of real and/or simulated objects on the surface and the second neural network with sections of height profiles around segments of real and/or simulated objects on the surface and measured values of the at least a shape parameter of the real and/or simulated objects can be trained. The simulation of objects allows the scope of training for the neural networks to be increased significantly in a limited absolute time.

Zur Bestimmung von Formparametern von Wurzelfrüchten hat sich ein Abtasten der Oberfläche mit dem Messstrahl des LIDAR-Scanners mit einer Ortsauflösung von ≤ 3 mm als ausreichend, von ≤ 2 mm als vorteilhaft und von ≤ 1 mm als bevorzugt ergeben.To determine shape parameters of root crops, scanning the surface with the measuring beam of the LIDAR scanner with a spatial resolution of ≦3 mm has been found to be sufficient, ≦2 mm advantageous and ≦1 mm preferred.

Je stärker der Winkel des Messstrahls zu der Oberfläche beim Abtasten der Oberfläche von 90° abweicht, desto größer ist die resultierende Verzerrung des Höhenprofils in seinen originären Koordinaten gegenüber den kartesischen Koordinaten. Bei Winkeln kleiner als 45° ergeben sich zunehmend Artefakte durch Verschattungen, die nicht korrigierbar sind. Vorzugsweise bleibt der Winkel des Messstrahls zu der Oberfläche bei dem erfindungsgemäßen Verfahren daher bei mindestens 60°.The more the angle of the measuring beam to the surface deviates from 90° when scanning the surface, the greater the resulting distortion of the height profile in its original coordinates compared to the Cartesian coordinates. At angles of less than 45°, there are increasing artifacts due to shading that cannot be corrected. The angle of the measuring beam to the surface in the method according to the invention therefore preferably remains at least 60°.

Bei dem erfindungsgemäßen Verfahren kann eine Nulllinie des Höhenprofils durch Abtasten der Oberfläche ohne aufliegende Objekte bestimmt werden. Die Messpunkte der auf der Oberfläche liegenden Objekte liegen über dieser Nulllinie. Alternativ oder zusätzlich kann eine Bezugshöhe des Höhenprofils durch Erfassen eines höchsten Punkts der auf der Oberfläche liegenden und während eines Erfassungszeitraums abgetasteten Objekte bestimmt werden. Der Erfassungszeitraum kann der Zeitraum sein, in dem die interessierenden Objekte oder eine Teilmenge davon durch die Ebene, in der der LIDAR-Scanner abtastet, hindurch gefördert wurden. Dann kann das Höhenprofil selektiv für solche Messpunkte bestimmt werden, die innerhalb eines Höhenbereichs unterhalb dieser Bezugshöhe liegen. Dieser Höhenbereich kann bis zu der Nulllinie reichen oder in geeigneter Weise so festgelegt werden, dass er etwas darüber endet. Konkret kann die Höhe der Messpunkte innerhalb des Höhenbereichs auf Werte zwischen 0 und 1 normiert werden und außerhalb des Höhenbereichs auf 0 oder 1 festgelegt werden, je nachdem auf welcher Seite des Höhenbereichs die Messpunkte liegen. Der Höhenbereich kann abhängig von einer typischen maximalen Schütthöhe der übereinander auf der Oberfläche liegenden Objekte festgelegt werden und kann dann in einer Größenordnung von einem bis ein paar dm, d. h. von 1 dm bis 5 dm, liegen. Bei Kartoffeln auf einem Förderband kann er beispielsweise konkret 3 dm betragen. Diese Vorgehensweise ist auch bei einer Durchbrechungen aufweisenden oder nicht glatten Oberfläche problemlos, die keine einfache Bestimmung der Nulllinie zulässt; und sie ist unempfindliche gegenüber Änderungen der relativen Höhe des LIDAR-Scanners über der Oberfläche. Wenn das Höhenprofil originär gegenüber einer solchen Nulllinie und/oder Bezugshöhe angegeben wird, sind seine Koordinaten auch ohne weitere Umrechnung an kartesische Koordinaten angenähert.With the method according to the invention, a zero line of the height profile can be determined by scanning the surface without objects lying on it. The measuring points of the objects lying on the surface are above this zero line. Alternatively or additionally, a reference height of the height profile can be obtained by detecting a highest point of the objects lying on the surface and scanned during a detection period to be determined. The acquisition period may be the period during which the objects of interest, or a subset thereof, have been conveyed through the plane in which the LIDAR scanner is scanning. The height profile can then be determined selectively for those measurement points that lie within a height range below this reference height. This range of altitudes may extend up to the zero line or be suitably determined to end slightly above. In concrete terms, the height of the measurement points within the height range can be normalized to values between 0 and 1 and outside of the height range can be set to 0 or 1, depending on which side of the height range the measurement points are on. The height range can be determined as a function of a typical maximum dumping height of the objects lying one above the other on the surface and can then be of the order of one to a few dm, ie from 1 dm to 5 dm. In the case of potatoes on a conveyor belt, for example, it can be 3 dm. This procedure is also problem-free in the case of a surface which has perforations or is not smooth and which does not permit a simple determination of the zero line; and it is insensitive to changes in the relative elevation of the LIDAR scanner above the surface. If the height profile is originally given in relation to such a zero line and/or reference height, its coordinates are approximated to Cartesian coordinates without further conversion.

Bei dem erfindungsgemäßen Verfahren kann die bewegte Oberfläche zwar eben sein; dies ist jedoch keinesfalls zwingend. Zum Beispiel kann die Oberfläche rinnenförmig gekrümmt oder strukturiert sein. Durch Bestimmen der Nulllinie des Höhenprofils wird eine Konturierung der bewegten Oberfläche, auf der die Objekte liegen und gefördert werden, berücksichtigt. Beim Ermitteln des Höhenprofils gegenüber der Bezugshöhe ist eine Konturierung der bewegten Oberfläche unerheblich, soweit sie außerhalb des vorgegebenen Höhenbereichs unter der Bezugshöhe bleibt.In the method according to the invention, the moving surface can be flat; however, this is by no means mandatory. For example, the surface can be curved or structured in the form of a groove. By determining the zero line of the height profile, a contouring of the moving surface on which the objects lie and are conveyed is taken into account. When determining the height profile in relation to the reference height, contouring of the moving surface is irrelevant as long as it remains outside the specified height range below the reference height.

Bei dem erfindungsgemäßen Verfahren kann von dem LIDAR-Scanner neben der Laufzeit seines Messstrahls ein Reflektionsgrad seines Messstrahls erfasst und dem Höhenprofil als weitere Koordinate hinzugefügt werden. Diese Koordinate wird vorzugsweise bei dem Segmentieren des Höhenprofils in dem ersten Auswerteschritt von dem ersten neuronalen Netzwerk berücksichtigt.In the method according to the invention, the LIDAR scanner can record not only the propagation time of its measuring beam but also a degree of reflection of its measuring beam and add it to the height profile as a further coordinate. This coordinate is preferably taken into account by the first neural network when segmenting the height profile in the first evaluation step.

Der mindestens eine Formparameter, der durch das erfindungsgemäße Verfahren bestimmt wird, kann zum Beispiel ausgewählt werden aus Länge der Objekte, Quadratmaß der Objekte, Volumen der Objekte, Oberfläche der Objekte, Krümmung der Objekte und Anzahl durchgehender Stäbe bestimmter Abmessungen, in die die Objekte aufgeteilt werden können. Grundsätzlich können mit dem erfindungsgemäßen Verfahren Werte beliebiger Formparameter bestimmt werden.The at least one shape parameter, which is determined by the method according to the invention, can be selected, for example, from the length of the objects, the square dimensions of the objects, the volume of the objects, the surface of the objects, the curvature of the objects and the number of continuous rods of specific dimensions into which the objects are divided can become. In principle, values of any shape parameters can be determined with the method according to the invention.

Wie schon angedeutet wurde, können die Ausschnitte des Höhenprofils mit dem zweiten neuronalen Netzwerk dahingehend analysiert werden, in welche von mehreren Objektklassen das jeweilige Objekt aufgrund seines Werts des mindestens einen Formparameters fällt. Dabei muss der Wert des Formparameters für jedes einzelne Objekt zahlenmäßig nicht genauer bestimmt werden, als es zur Klassifizierung des Objekts nötig ist.As already indicated, the sections of the height profile can be analyzed with the second neural network to determine which of a plurality of object classes the respective object falls into based on the value of the at least one shape parameter. In this case, the value of the shape parameter for each individual object does not have to be determined numerically more precisely than is necessary for classifying the object.

Die Objekte können zum Beispiel Wurzelfrüchte, konkret Kartoffeln oder Zuckerrüben sein.The objects can be, for example, root crops, specifically potatoes or sugar beets.

Eine erfindungsgemäße Vorrichtung ist zum erfindungsgemäßen Bestimmen des Werts mindestens eines Formparameters von Objekten, die in unbekannter Orientierung und Gruppierung auf einer Oberfläche eines Förderers liegend durch Bewegen der Oberfläche einer längs der Oberfläche verlaufenden Förderrichtung gefördert werden, geeignet. Sie weist dazu einen einen Messstrahl in unterschiedlichen Richtungen in einer Ebene aussendenden LIDAR-Scanner, eine Positioniereinrichtung, die ausgebildet ist, den LIDAR-Scanner so gegenüber dem Förderer zu positionieren, dass diese Ebene quer zu der Förderrichtung verläuft, einen Geschwindigkeitssensor, der dazu ausgebildet ist, eine Geschwindigkeit zu erfassen, mit der die Oberfläche in der Förderrichtung durch die Ebene hindurchtritt, und eine erste Auswerteeinrichtung auf, die dazu ausgebildet ist, aus Signalen des LIDAR-Scanners und der Geschwindigkeit der Oberfläche ein Höhenprofil der Objekte auf der Oberfläche punktweise zu bestimmen. Eine zweite Auswerteeinrichtung der erfindungsgemäßen Vorrichtung weist ein erstes neuronales Netzwerk auf und ist dazu ausgebildet, das Höhenprofil mit dem ersten neuronalen Netzwerk zu segmentieren, wobei Segmente des Höhenprofils identifiziert werden, deren Punkte jeweils zu einem einzelnen Objekt gehören. Weiterhin weist die erfindungsgemäße Vorrichtung eine dritte Auswerteeinrichtung auf, die ein zweites neuronales Netzwerk umfasst und dazu ausgebildet ist, Ausschnitte des Höhenprofils, die jeweils ein Segment und eine Umgebung des einen Segments umfassen, mit dem zweiten neuronalen Netzwerk bezüglich des Werts des mindestens einen Formparameters des jeweiligen einzelnen Objekts zu analysieren.A device according to the invention is suitable for determining the value of at least one shape parameter of objects which are conveyed lying in an unknown orientation and grouping on a surface of a conveyor by moving the surface in a conveying direction running along the surface. For this purpose, it has a LIDAR scanner that emits a measuring beam in different directions in a plane, a positioning device that is designed to position the LIDAR scanner relative to the conveyor in such a way that this plane runs transversely to the conveying direction, a speed sensor that is designed for this is to detect a speed at which the surface passes through the plane in the conveying direction, and a first evaluation device which is designed to generate a height profile of the objects on the surface point by point from signals from the LIDAR scanner and the speed of the surface determine. A second evaluation device of the device according to the invention has a first neural network and is designed to segment the height profile with the first neural network, with segments of the height profile being identified whose points each belong to an individual object. Furthermore, the device according to the invention has a third evaluation device, which includes a second neural network and is designed to compare sections of the height profile, each of which includes a segment and a region surrounding one segment, with the second neural network with regard to the value of the at least one shape parameter of the to analyze each individual object.

Die zweite Auswerteeinrichtung ist insbesondere dazu ausgebildet, eine Gruppe solcher Segmente zu identifizieren, die jeweils zu einem einzelnen, auf der Oberfläche oder auf anderen Objekten frei liegenden Objekt gehören, dessen Oberfläche nicht durch ein oder mehrere andere Objekte verdeckt ist. Dabei ist die dritte Auswerteeinrichtung dann insbesondere dazu ausgebildet, nur solche Ausschnitte des Höhenprofils zu analysieren, die jeweils ein Segment aus dieser Gruppe umfassen. Diese und weitere bevorzugte Ausführungsformen der erfindungsgemäßen Vorrichtung entsprechend bevorzugten Ausführungsformen des erfindungsgemäßen Verfahrens, wie sie bereits erläutert wurden.The second evaluation device is designed, in particular, to identify a group of such segments that each belong to an individual object that is exposed on the surface or on other objects, whose surface is not covered by one or more other objects. In this case, the third evaluation device is then designed in particular to analyze only those sections of the height profile which each comprise a segment from this group. These and other preferred embodiments of the device according to the invention correspond to preferred embodiments of the method according to the invention, as already explained.

Vorteilhafte Weiterbildungen der Erfindung ergeben sich aus den Patentansprüchen, der Beschreibung und den Zeichnungen.Advantageous developments of the invention result from the patent claims, the description and the drawings.

Die in der Beschreibung genannten Vorteile von Merkmalen und von Kombinationen mehrerer Merkmale sind lediglich beispielhaft und können alternativ oder kumulativ zur Wirkung kommen, ohne dass die Vorteile zwingend von erfindungsgemäßen Ausführungsformen erzielt werden müssen.The advantages of features and combinations of several features mentioned in the description are merely exemplary and can have an effect alternatively or cumulatively without the advantages necessarily having to be achieved by embodiments according to the invention.

Hinsichtlich des Offenbarungsgehalts - nicht des Schutzbereichs - der ursprünglichen Anmeldungsunterlagen und des Patents gilt Folgendes: Weitere Merkmale sind den Zeichnungen - insbesondere den dargestellten Geometrien und den relativen Abmessungen mehrerer Bauteile zueinander sowie deren relativer Anordnung und Wirkverbindung - zu entnehmen. Die Kombination von Merkmalen unterschiedlicher Ausführungsformen der Erfindung oder von Merkmalen unterschiedlicher Patentansprüche ist ebenfalls abweichend von den gewählten Rückbeziehungen der Patentansprüche möglich und wird hiermit angeregt. Dies betrifft auch solche Merkmale, die in separaten Zeichnungen dargestellt sind oder bei deren Beschreibung genannt werden. Diese Merkmale können auch mit Merkmalen unterschiedlicher Patentansprüche kombiniert werden. Ebenso können in den Patentansprüchen aufgeführte Merkmale für weitere Ausführungsformen der Erfindung entfallen, was aber nicht für die unabhängigen Patentansprüche des erteilten Patents gilt.The following applies to the disclosure content - not the scope of protection - of the original application documents and the patent: Further features can be found in the drawings - in particular the illustrated geometries and the relative dimensions of several components to one another as well as their relative arrangement and operative connection. The combination of features of different embodiments of the invention or of features of different patent claims is also possible, deviating from the selected dependencies of the patent claims and is hereby suggested. This also applies to those features that are shown in separate drawings or are mentioned in their description. These features can also be combined with features of different patent claims. Likewise, features listed in the patent claims can be omitted for further embodiments of the invention, but this does not apply to the independent patent claims of the granted patent.

Die in den Patentansprüchen und der Beschreibung genannten Merkmale sind bezüglich ihrer Anzahl so zu verstehen, dass genau diese Anzahl oder eine größere Anzahl als die genannte Anzahl vorhanden ist, ohne dass es einer expliziten Verwendung des Adverbs „mindestens“ bedarf. Wenn also beispielsweise von einem Geschwindigkeitssensor die Rede ist, ist dies so zu verstehen, dass genau ein Geschwindigkeitssensor, zwei Geschwindigkeitssensoren oder mehr Geschwindigkeitssensoren vorhanden sind. Die in den Patentansprüchen angeführten Merkmale können durch weitere Merkmale ergänzt werden oder die einzigen Merkmale sein, die der Gegenstand des jeweiligen Patentanspruchs aufweist.The features mentioned in the patent claims and the description are to be understood with regard to their number in such a way that exactly this number or a larger number than the number mentioned is present without the need for an explicit use of the adverb “at least”. If, for example, a speed sensor is mentioned, this is to be understood in such a way that there is exactly one speed sensor, two speed sensors or more speed sensors. The features listed in the patent claims can be supplemented by further features or can be the only features that the subject matter of the respective patent claim has.

Die in den Patentansprüchen enthaltenen Bezugszeichen stellen keine Beschränkung des Umfangs der durch die Patentansprüche geschützten Gegenstände dar. Sie dienen lediglich dem Zweck, die Patentansprüche leichter verständlich zu machen.The reference signs contained in the claims do not limit the scope of the subject-matter protected by the claims. They only serve the purpose of making the claims easier to understand.

Figurenlistecharacter list

Im Folgenden wird die Erfindung anhand in den Figuren dargestellter bevorzugter Ausführungsbeispiele weiter erläutert und beschrieben.

1 ist eine schematische Ansicht einer erfindungsgemäßen Vorrichtung mit Blickrichtung in Förderrichtung.
2 ist eine perspektivische Darstellung eines Details der Vorrichtung gemäß 1.
3 ist ein Ablaufdiagramm des erfindungsgemäßen Verfahrens.
4 zeigt ein Höhenprofil, wie es im Laufe des erfindungsgemäßen Verfahrens gemäß 3 bestimmt wird.
5 erläutert eine Segmentierung eines Bereichs des Höhenprofils gemäß 4.
6 illustriert eine Maske für das Höhenprofil gemäß 4 zur Anzeige eines einzelnen identifizierten Segments.

The invention is further explained and described below with reference to preferred exemplary embodiments illustrated in the figures.

1 is a schematic view of a device according to the invention looking in the conveying direction.
2 12 is a perspective view of a detail of the device in FIG 1 .
3 is a flow chart of the method according to the invention.
4 shows a height profile, as in the course of the method according to the invention 3 is determined.
5 explains a segmentation of a region of the height profile according to FIG 4 .
6 illustrates a mask for the height profile according to 4 to display a single identified segment.

FIGURENBESCHREIBUNGFIGURE DESCRIPTION

Die in 1 schematisch dargestellte Vorrichtung 1 dient zum Bestimmen des Werts mindestens eines Formparameters von Objekten 2, die in unbekannter Orientierung und Gruppierung auf der Oberfläche 3 eines Förderers 4 liegen. Durch Bewegen des Förderers 4 mit der Oberfläche 3 in einer längs der Oberfläche verlaufenden Förderrichtung, die der Blickrichtung von 1 entspricht, werden die Objekte 2 zwischen ortsfesten Seitenwänden 5 hindurch gefördert. Über dem Förderer 4 ist ein LIDAR-Scanner 6 angeordnet und wird dort von einer Positioniereinrichtung 7 in Form eines Stativs 8 so positioniert und gehalten, dass ein Messstrahl 9, den der LIDAR-Scanner 6 aussendet und um eine Schwenkachse 10 verschwenkt, immer in einer Ebene verläuft, die quer zu der Förderrichtung ausgerichtet ist und hier mit der Zeichenebene von 1 zusammenfällt. Mit dem Messstrahl 9 tastet der LIDAR-Scanner 6 die Oberfläche 3 mit den darauf liegenden Objekten 2 wiederholt ab. Dabei registriert der LIDAR-Scanner 6 aufgrund der Laufzeit seines Messstrahls 9 einen Abstand zwischen dem jeweiligen Messpunkt 11 auf der Oberfläche 3 oder dem Objekt und einem Bezugspunkt, beispielsweise der Schwenkachse 10. Durch die Bewegung der Oberfläche 3 mit den Objekten 2 in der Förderrichtung liegen die Messpunkte 11 in in der Förderrichtung zueinander versetzten Zeilen. Der Abstand dieser Zeilen in der Förderrichtung hängt von einer Geschwindigkeit ab, mit der die Oberfläche 3 in der Förderrichtung bewegt wird und damit durch die Ebene hindurchtritt, in der die Objekte 2 mit dem Messstrahl 9 abgetastet werden. Diese Geschwindigkeit wird mit einem Geschwindigkeitssensor 12 erfasst. Eine Auswerteeinheit 13 ist vorgesehen, um aus Signalen 14 des LIDAR-Scanners 6, zu denen auch ein Reflektionsgrad des Messstrahls 9 an dem jeweiligen Messpunkt 11 zählen kann, und der Geschwindigkeit von dem Geschwindigkeitssensor 12 ein Höhenprofil der Objekte 2 auf der Oberfläche 3 punktweise zu bestimmen und dann in Bezug auf die Werte der interessierenden Formparameter der Objekte 2 auszuwerten.In the 1 The device 1 shown schematically is used to determine the value of at least one shape parameter of objects 2 lying on the surface 3 of a conveyor 4 in an unknown orientation and grouping. By moving the conveyor 4 with the surface 3 in a conveying direction along the surface, which is the direction of view of FIG 1 corresponds, the objects 2 are conveyed through between stationary side walls 5. A LIDAR scanner 6 is arranged above the conveyor 4 and is positioned and held there by a positioning device 7 in the form of a tripod 8 in such a way that a measuring beam 9, which the LIDAR scanner 6 emits and pivots about a pivot axis 10, is always in a Level runs, which is aligned transversely to the conveying direction and here with the plane of 1 coincides. The LIDAR scanner 6 repeatedly scans the surface 3 with the objects 2 lying thereon with the measuring beam 9 . The LIDAR scanner 6 registers a distance between the respective measuring point 11 on the surface 3 or the object and a reference point, for example the pivot axis 10, based on the travel time of its measuring beam 9. Due to the movement of the surface 3 with the objects 2 in the conveying direction the measuring points 11 in the direction of conveyance nother staggered lines. The spacing of these lines in the conveying direction depends on a speed at which the surface 3 is moved in the conveying direction and thus passes through the plane in which the objects 2 are scanned with the measuring beam 9 . This speed is recorded with a speed sensor 12 . An evaluation unit 13 is provided in order to calculate a height profile of the objects 2 on the surface 3 point by point from signals 14 from the LIDAR scanner 6, which can also include a degree of reflection of the measuring beam 9 at the respective measuring point 11, and the speed from the speed sensor 12 determine and then evaluate in relation to the values of the shape parameters of interest of the objects 2.

2 ist eine perspektivische Darstellung der Oberfläche 3 des Förderers 4 gemäß 1, die sich in der Förderrichtung 16 mit den auf ihr angeordneten Objekten 2 durch die Ebene 17 bewegt, in der der Messstrahl 9 verschwenkt wird, um die Objekte 2 auf der Oberfläche 3 Messpunkt 11 für Messpunkt 11 abzutasten. Einige der Messpunkte 11 liegen dabei auf der Oberfläche 3 neben den Objekten 2. Aus diesen Messpunkten kann eine Nulllinie für das zu bestimmende Höhenprofil bestimmt werden. Vorzugsweise wird diese Nulllinie unter Abtasten der Oberfläche 3 ohne darauf liegende Objekte 2 bestimmt. Alternativ oder zusätzlich wird eine Bezugshöhe für das zu bestimmende Höhenprofil durch Erfassen eines höchsten Punkts der auf der Oberfläche 3 liegenden und während eines Erfassungszeitraums abgetasteten Objekte 2 bestimmt. Der Erfassungszeitraum kann der Zeitraum sein, in dem die interessierenden Objekte 2 oder eine Teilmenge davon durch die Ebene 17 hindurch gefördert wurden/wurde. Alternativ kann der Erfassungszeitraum von diesem Zeitraum abweichen, also beispielsweise davor liegen. Auch dann kann der Erfassungszeitraum so lang sein, dass in ihm eine gleiche Menge wie die Menge der interessierenden Objekte 2 auf der Oberfläche 3 durch die Ebene 17 hindurch gefördert wird. Bei einer Fördergeschwindigkeit im Bereich von 1 m/s kann der Erfassungszeitraum konkret einige Sekunden lang sein. 2 12 is a perspective view of the surface 3 of the conveyor 4 according to FIG 1 , which moves in the conveying direction 16 with the objects 2 arranged on it through the plane 17 in which the measuring beam 9 is pivoted in order to scan the objects 2 on the surface 3 measuring point 11 for measuring point 11 . Some of the measuring points 11 lie on the surface 3 next to the objects 2. A zero line for the height profile to be determined can be determined from these measuring points. This zero line is preferably determined by scanning the surface 3 without objects 2 lying on it. Alternatively or additionally, a reference height for the height profile to be determined is determined by detecting a highest point of the objects 2 lying on the surface 3 and scanned during a detection period. The detection period can be the period in which the objects of interest 2 or a subset thereof were/were conveyed through the plane 17 . Alternatively, the recording period can deviate from this period, i.e. it can be earlier, for example. Even then, the detection period can be so long that the same quantity as the quantity of objects 2 of interest on the surface 3 is conveyed through the plane 17 . With a conveying speed in the range of 1 m/s, the detection period can be a few seconds long.

Eine in 3 ein Form eines Ablaufdiagramms dargestellte Ausführungsform des erfindungsgemäßen Verfahrens beginnt mit diesem Bestimmen 18 der Nulllinie. Nach einem anschließenden Abtasten der Objekte 2 mit dem LIDAR-Scanner 6 und einem zeitgleichen Erfassen der Geschwindigkeit 15 der Oberfläche 3 mit dem Geschwindigkeitssensor 12 in einem Schritt 19 erfolgt zunächst ein Bestimmen 20 des Höhenprofils Messpunkt 11 für Messpunkt 11. Ein solches Höhenprofil 21 ist in 4 als Graustufenbild gezeigt. Die Helligkeit der Objekte 2 auf dem Förderband 3 gibt die Höhe der Objekte 2 über der Nulllinie des Förderbands 3 wieder. Das Bestimmen 20 des Höhenprofils erfolgt in einer ersten Auswerteeinrichtung 31 der Auswerteeinheit 13 auf Basis des Signals 14 von dem LIDAR-Scanner 6 und der Geschwindigkeit 15 von dem Geschwindigkeitssensor 12.one inside 3 An embodiment of the method according to the invention shown in the form of a flow chart begins with this determination 18 of the zero line. After a subsequent scanning of the objects 2 with the LIDAR scanner 6 and a simultaneous detection of the speed 15 of the surface 3 with the speed sensor 12 in a step 19, a determination 20 of the height profile of measuring point 11 for measuring point 11 takes place. Such a height profile 21 is in 4 shown as a grayscale image. The brightness of the objects 2 on the conveyor belt 3 reflects the height of the objects 2 above the zero line of the conveyor belt 3 . The height profile is determined 20 in a first evaluation device 31 of the evaluation unit 13 on the basis of the signal 14 from the LIDAR scanner 6 and the speed 15 from the speed sensor 12.

Das Höhenprofil 21 wird dann an eine zweite Auswerteeinrichtung 32 der Auswerteeinheit 13 weitergegeben, die ein erstes neuronales Netzwerk aufweist. Mit Hilfe dieses ersten neuronalen Netzwerks erfolgt ein Segmentieren 22 des Höhenprofils 21. Bei diesem Segmentieren 22 werden Segmente des Höhenprofils 21 bestimmt, die vollständig einzelnen Objekten 2 auf der Oberfläche 3 zuzuordnen sind und die diese einzelnen Objekte 2 vollständig abdecken. 5 zeigt mehrere solcher Segmente 23 und 24. Dabei gehören die Segmente 23 zu einer Gruppe von Segmenten, die derart direkt auf der Oberfläche 3 oder auf anderen Objekten 2 liegen, dass ihre Oberseite vollständig frei ist, während die anderen Segmente 24 zu Objekten 2 gehören, deren Oberseiten teilweise durch andere Objekte 2 verdeckt sind. Die zweite Auswerteeinrichtung der Auswerteeinheit 13 identifiziert speziell die Segmente 23 und gibt diese jeweils in Form einer Maske 25 zusammen mit dem Höhenprofil 21 an eine dritte Auswerteeinrichtung 33 der Auswerteinheit 13 weiter.The height profile 21 is then forwarded to a second evaluation device 32 of the evaluation unit 13, which has a first neural network. This first neural network is used to segment 22 the height profile 21. During this segmentation 22, segments of the height profile 21 are determined which can be completely assigned to individual objects 2 on the surface 3 and which completely cover these individual objects 2. 5 shows several such segments 23 and 24. The segments 23 belong to a group of segments that lie directly on the surface 3 or on other objects 2 in such a way that their upper side is completely free, while the other segments 24 belong to objects 2, whose tops are partially covered by other objects 2. The second evaluation device of the evaluation unit 13 specifically identifies the segments 23 and forwards them in the form of a mask 25 together with the height profile 21 to a third evaluation device 33 of the evaluation unit 13 .

6 zeigt die Anwendung einer solchen Maske 25 auf einen Ausschnitt 26 des Höhenprofils 21. Die Maske 25 lässt nur das eine Segment 23 des Höhenprofils 21 hindurchtreten. 6 shows the application of such a mask 25 to a section 26 of the height profile 21. The mask 25 allows only one segment 23 of the height profile 21 to pass through.

In der dritten Auswerteeinrichtung 33 erfolgt ein Transformieren 27 der Koordinaten des Höhenprofils 21, die originär Zylinderkoordinaten sind, aber durch die Berücksichtigung der Nulllinie von reinen Zylinderkoordinaten abweichen, in über der Oberfläche 3 gleichmäßig verteilte Punkte in kartesischen Koordinaten. Diese Koordinatentransformation wird nur für die Segmente 23 der freiliegenden Objekte 2 und begrenzt Umgebungen derselben durchgeführt, um in den kartesischen Koordinaten Ausschnitte 26 gleicher absoluter Abmessungen in Bezug auf die Oberfläche 3 Ausschnitte festlegen 28 zu können, in denen jeweils eines der Segmente 23 zentriert ist. Der in 6 gezeigte Ausschnitt 26 ist ein solcher Ausschnitt, der hier 100x100 Punkte des Höhenprofils in den kartesischen Koordinaten umfasst. Während aber 6 die Anwendung der Maske 25 auf den Ausschnitt 26 zeigt, werden die gesamten Ausschnitte 26 des Höhenprofils, die auch die Umgebung des jeweiligen Segments 23 abdecken, zusätzlich zu der Maske 21 einem anschließenden Analysieren 29 der Ausschnitte 26 zugeführt. Dieses Analysieren 29 erfolgt in der dritten Auswerteeinrichtung 33 mit Hilfe eines zweiten neuronalen Netzwerks, um die Werte 30 der interessierenden Formparameter zu bestimmen.In the third evaluation device 33, the coordinates of the height profile 21 are transformed 27, which are originally cylindrical coordinates but deviate from pure cylindrical coordinates due to the consideration of the zero line, into points in Cartesian coordinates distributed uniformly over the surface 3. This coordinate transformation is only carried out for the segments 23 of the exposed objects 2 and limited surroundings thereof in order to be able to define 28 sections 28 in the Cartesian coordinates with the same absolute dimensions in relation to the surface 3, in each of which one of the segments 23 is centered. the inside 6 Section 26 shown is such a section, which here comprises 100×100 points of the height profile in the Cartesian coordinates. while but 6 shows the application of the mask 25 to the section 26, the entire sections 26 of the height profile, which also cover the area surrounding the respective segment 23, are fed in addition to the mask 21 to a subsequent analysis 29 of the sections 26. This analysis 29 takes place in the third evaluation device 33 with the aid of a second neural network in order to determine the values 30 of the shape parameters of interest.

Sowohl das beim Segmentieren 22 zum Einsatz kommende erste neuronale Netzwerk als auch das beim Analysieren 29 zum Einsatz kommende zweite neuronale Netzwerk ist zu trainieren, bevor das Verfahren gemäß 3 die Werte 30 der Formparameter zuverlässig bestimmen kann. Dabei können sowohl reale Objekte 2, bei denen die Werte 30 der Formparameter beispielsweise mit Hilfe mechanischer Messinstrumente bestimmt werden, als auch simulierte Objekte 2 zum Einsatz kommen. Bei den simulierten Objekten 2 kann der jeweilige Wert 30 des Formparameters berechnet oder durch Simulation seiner mechanischen Bestimmung bestimmt werden.Both the first neural network used in segmentation 22 and the second neural network used in analysis 29 must be trained before the method according to FIG 3 can reliably determine the values 30 of the shape parameters. Both real objects 2, for which the values 30 of the shape parameters are determined with the aid of mechanical measuring instruments, for example, and simulated objects 2 can be used. In the case of the simulated objects 2, the respective value 30 of the shape parameter can be calculated or determined by simulating its mechanical determination.

BezugszeichenlisteReference List

11: Vorrichtungcontraption
22: Objektobject
33: Oberflächesurface
44: Förderersponsor
55: SeitenwandSide wall
66: LIDAR-ScannerLIDAR scanner
77: Positioniereinrichtungpositioning device
88th: Stativtripod
99: Messstrahlmeasuring beam
1010: Schwenkachsepivot axis
1111: Messpunktmeasuring point
1212: Geschwindigkeitssensorspeed sensor
1313: Auswerteeinheitevaluation unit
1414: Signale des LIDAR-Scanners 6LIDAR scanner signals 6
1515: Geschwindigkeitspeed
1616: Förderrichtungconveying direction
1717: Ebenelevel
1818: Nulllinie bestimmenDetermine zero line
1919: SchrittStep
2020: Höhenprofil BestimmenDetermine elevation profile
2121: Höhenprofilelevation profile
2222: Höhenprofil SegmentierenElevation Profile Segmentation
2323: Segmentsegment
2424: Segmentsegment
2525: Maskemask
2626: Ausschnittcutout
2727: Koordinaten TransformierenTransform coordinates
2828: Ausschnitte FestlegenSet Cutouts
2929: Ausschnitte AnalysierenAnalyze excerpts
3030: Werte FormparameterValues shape parameters
3131: erste Auswerteinrichtungfirst evaluation device
3232: zweite Auswerteeinrichtungsecond evaluation device
3333: dritte Auswerteeinrichtungthird evaluation device

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 10134714 A1 [0005]

Claims

Method for determining the value of at least one shape parameter of objects (2), which are conveyed lying in an unknown orientation and grouping on a surface (3) by moving the surface (3) in a conveying direction (16) running along the surface (3), wherein the objects (2) lying on the surface (3) are repeatedly scanned in a plane (17) running transversely to the conveying direction (16) with a measuring beam (9) of a LIDAR scanner (6) directed onto the surface (3). , wherein a speed (15) is detected at which the surface (3) passes through the plane (17) in the conveying direction (16), and wherein from signals (14) of the LIDAR scanner and the speed (15) of the surface (3) a height profile (21) of the objects (2) on the surface (3) is determined point by point, characterized in that the height profile (21) is segmented with a first neural network, segments (23, 24) of the height profile ( 21) are identified, with the points of each identified segment (23, 24) belonging to a single object (2), and that sections (26) of the elevation profile (21), each of which contains an identified segment (23, 24) and an environment comprising this one identified segment (23, 24), are analyzed with a second neural network with regard to the value of the at least one shape parameter of the respective individual object (2).

procedure after claim 1 , characterized in that a group of such segments (23) is identified which belongs to a single object (2) lying on the surface (3) or on other objects (2), the upper side of which is not covered by one or more other objects ( 2) is covered, and that only those sections (26) of the height profile (21) are analyzed that include a segment (23) from this group.

procedure after claim 1 or 2 , characterized in that the identified segments (23, 24) are displayed by a mask (25) for the height profile (21).

Method according to one of the preceding claims, characterized in that the sections (26) of the height profile (21) have fixed absolute dimensions and that each section (26) is defined concentrically to a base area of the associated segment (23, 24).

Method according to one of the preceding claims, characterized in that the height profile (21) is determined in Cartesian coordinates or, after segmentation (22), is transformed into Cartesian coordinates only for the sections (26) of the height profile (21) that are analyzed.

Method according to one of the preceding claims, characterized in that the first neural network is trained with height profiles (21) of real and/or simulated objects (2) on the surface (3) and/or the second neural network is trained with sections (26) height profiles (21) around segments (23, 24) of real and/or simulated objects (2) on the surface (3) and measured values of the at least one shape parameter of the real and/or simulated objects (2).

Method according to one of the preceding claims, characterized in that the objects (2) lying on the surface (3) are scanned with a spatial resolution of ≤ 3 mm, preferably ≤ 2 mm and more preferably ≤ 1 mm.

Method according to one of the preceding claims, characterized in that an angle of the measuring beam (9) to the surface (3) is not less than 45°, preferably not less than 60°.

Method according to one of the preceding claims, characterized in that - that a zero line of the height profile (21) is determined by scanning the surface (3) without objects (2) lying on it and/or - that a reference height of the height profile (21) is determined by detecting a highest Point of the objects (2) lying on the surface (3) and scanned during a detection period is determined.

Method according to one of the preceding claims, characterized in that a degree of reflection of the measuring beam (9) is detected by the LIDAR scanner (6) and added to the height profile (21) as a further coordinate, which is preferably used when segmenting (22) the height profile (21 ) is taken into account.

Method according to one of the preceding claims, characterized in that the at least one shape parameter is selected from the length of the objects (2), square dimensions of the objects (2), volume of the objects (2), surface area of the objects (2), curvature of the objects ( 2) and number of continuous bars of certain dimensions into which the objects (2) can be divided.

Method according to one of the preceding claims, characterized in that the sections of the height profile (21) with the second neural network are analyzed to determine which of a plurality of object classes the respective object (2) falls into based on its value of the at least one shape parameter, the objects (2) preferably being root crops, more preferably potatoes or sugar beets.

Device (1) for determining the value of at least one shape parameter of objects (2) lying in unknown orientation and grouping on a surface (3) of a conveyor (4) by moving the surface (3) in a direction along the surface (3) conveying direction (16) running, according to one of the preceding claims, with a LIDAR scanner (6) emitting a measuring beam (9) in different directions in a plane (17), - with a positioning device (7) which is designed for this purpose to position the LIDAR scanner (6) in relation to the conveyor (4) in such a way that the plane (17) runs transversely to the conveying direction (16), with a speed sensor (12) which is designed to detect a speed (15) to detect, with which the surface (3) passes through the plane (17) in the conveying direction (16), and with a first evaluation device (31) which is designed to, from signals (14) of the LIDAR scanner (6) and the speed (15) of the surface to determine a height profile (21) of the objects (2) on the surface (3) point by point, characterized by a second evaluation device (32) which includes a first neural network and is designed to determine the height profile (21) to segment with the first neural network, with segments (23, 24) of the height profile (21) being identified, with the points of each identified segment (23, 24) belonging to a single object (2), and a third evaluation device (33), which includes a second neural network and is designed to combine sections (26) of the height profile (21), each of which includes a segment (23, 24) and an area surrounding one segment (23, 24), with the second to analyze the neural network with regard to the value of the at least one shape parameter of the respective individual object (2).

Device (1) after Claim 13 , characterized in that the second evaluation device (32) is designed to identify a group of such segments (23) which belong to an individual object (2) lying on the surface (3) or on other objects (2), the upper side of which is not covered by one or more other objects (2), and that the third evaluation device (33) is designed to analyze those sections of the height profile (21) which each include a segment (23, 24) from this group .

Device (1) after Claim 13 or 14 , characterized in that the second evaluation device (32) is designed to display the identified segments (23, 24) to the third evaluation device (33) through a mask (25) for the height profile (21).

Device (1) according to one of Claims 13 until 15 , characterized in that the third evaluation device (33) is designed to set the sections (26) of the height profile (21) with fixed absolute dimensions concentrically to a base area of the respective segment (23, 24).

Device (1) according to one of Claims 13 until 16 , characterized in that the LIDAR scanner (6) is designed to scan the objects (2) lying on the surface (3) with a spatial resolution of ≤ 2 mm, preferably with a spatial resolution of ≤ 1 mm.

Device (1) according to one of Claims 13 until 17 , characterized in that an angle of the measuring beam (9) to the surface (3) is not smaller than 45°, preferably not smaller than 60°.

Device (1) according to one of Claims 13 until 18 , characterized in that the LIDAR scanner (6) is designed to detect a degree of reflection of the measuring beam (9), and that the first evaluation device (31) is designed to add the degree of reflection to the height profile (21) as a further coordinate, wherein the second evaluation device (32) is preferably designed to take this further coordinate into account when segmenting (22) the height profile (21).

Device (1) according to one of Claims 13 until 19 , characterized in that the at least one shape parameter is selected from length of the objects (2), square dimensions of the objects (2), volume of the objects (2), surface of the objects (2), curvature of the objects (2) and number of continuous rods certain dimensions into which the objects (2) can be divided.

Device (1) according to one of Claims 13 until 20 , characterized in that the third evaluation device (33) is designed to analyze the segments (23, 24) of the height profile (21) with the second neural network to determine which of a plurality of object classes the respective object (2) belongs to based on its value of the at least one shape parameter falls.