DE102016224766A1

DE102016224766A1 - Method for calibrating sensors on a mobile platform

Info

Publication number: DE102016224766A1
Application number: DE102016224766.2A
Authority: DE
Inventors: Alexander Ruppel; Horst Wildenauer; Matthias Roland; Nikolaus Demmel
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2016-12-13
Filing date: 2016-12-13
Publication date: 2018-06-14

Abstract

Bei einem Verfahren zur Kalibrierung von Sensoren (11) an einer mobilen Plattform (10) wird durch eine Erfassung von definierten Markern (101, 102, 103, 104) in der Umgebung der mobilen Plattform (10) durch die Sensoren (11, 13) eine extrinsische Kalibrierung der Sensoren im Verhältnis zueinander vorgenommen. Hierfür wird von den Sensoren (11, 13) jeweils wenigstens ein definierter Marker (101, 102, 103, 104) erfasst.In a method for calibrating sensors (11) on a mobile platform (10), detection of defined markers (101, 102, 103, 104) in the surroundings of the mobile platform (10) by the sensors (11, 13) made an extrinsic calibration of the sensors in relation to each other. For this purpose, at least one defined marker (101, 102, 103, 104) is detected by the sensors (11, 13).

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Kalibrierung von Sensoren an einer mobilen Plattform. Weiterhin betrifft die Erfindung eine Einrichtung zur Anbringung eines Kalibrierungssensors an einer mobilen Plattform sowie ein Computerprogramm, ein maschinenlesbares Speichermedium und ein elektronisches Steuergerät, die zur Durchführung des Kalibrierungsverfahrens geeignet sind.The present invention relates to a method for calibrating sensors on a mobile platform. Furthermore, the invention relates to a device for mounting a calibration sensor on a mobile platform and a computer program, a machine-readable storage medium and an electronic control unit, which are suitable for carrying out the calibration process.

Stand der TechnikState of the art

Es sind verschiedene Assistenzsysteme zur Unterstützung des Betriebs von Flurförderzeugen, beispielsweise von Gabelstaplern, bekannt. Diese Assistenzsysteme für beispielsweise industrielle Transportfahrzeuge können zur Erhöhung der Sicherheit und für eine Automatisierung und Optimierung von Prozessen eingesetzt werden. Weiterhin ist es bereits bekannt, mit Hilfe von Markern und entsprechenden Sensoren, beispielsweise Kameras, an einem Fahrzeug eine Lokalisierung des Fahrzeuges, basierend auf dessen Bewegungsprofil, vorzunehmen. Eine Kamera-basierte Lokalisierung mit oder ohne Hilfe von Markern kommt vor allen Dingen in Innenräumen, z. B. in industriellen Lager- und Fertigungshallen zum Einsatz.There are various assistance systems for supporting the operation of industrial trucks, such as forklifts, known. These assistance systems for industrial transport vehicles, for example, can be used to increase safety and to automate and optimize processes. Furthermore, it is already known, with the aid of markers and corresponding sensors, for example cameras, to localize the vehicle to a vehicle based on its motion profile. A camera-based localization with or without the help of markers comes especially indoors, z. B. in industrial warehouses and manufacturing halls used.

Beispielsweise kann ein Flurförderzeug, beispielsweise ein Gabelstapler, mit einer Kamera am Heck des Fahrzeugs ausgestattet sein. Hierbei handelt es sich um eine Ortungskamera, mit deren Hilfe das Flurförderzeug in einem Lager oder in einer Produktionshalle geortet oder lokalisiert werden kann. Im Bewegungsfeld des Flurförderzeugs sind Marker oder entsprechende Strukturen vorhanden, deren Position bekannt und vermessen ist. Die Ortungskamera erkennt diese Marker, sobald sie sich im Blickfeld der Kamera befinden. Mit der Information über die Position der Marker, verbunden mit der Einbauposition der Kamera, kann eine entsprechende Recheneinheit, die sich extern oder in integrierter Form am Flurförderzeug befinden kann, die absolute „Eigenposition“ des Flurförderzeugs berechnen. Zwischen zwei Markern kann sich das System mit Hilfe des Prinzips der optischen Maus lokalisieren. Um die notwendige Genauigkeit der Algorithmen bei den Berechnungen für die Lokalisation zu erreichen, muss bekannt sein, in welcher Höhe und in welcher Orientierung die Kamera an dem Flurförderzeug angebracht ist (extrinsische Kalibration).For example, an industrial truck, for example a forklift, may be equipped with a camera at the rear of the vehicle. This is a tracking camera, with the help of which the truck can be located or located in a warehouse or in a production hall. In the movement field of the truck there are markers or corresponding structures whose position is known and measured. The tracking camera recognizes these markers as soon as they are in the field of view of the camera. With the information about the position of the marker, connected to the installation position of the camera, a corresponding computing unit, which can be located externally or in an integrated form on the truck, calculate the absolute "own position" of the truck. Between two markers the system can be located by means of the optical mouse principle. In order to achieve the necessary accuracy of the algorithms in the calculations for the localization, it must be known in what height and in what orientation the camera is mounted on the truck (extrinsic calibration).

Assistenzsysteme unterstützen die Flurförderfahrzeuge bei ihren Transportaufgaben. Für diesen Aspekt ist es in der Regel erforderlich, eine extrinsische Kalibrierung der Ortungskamera im Hinblick auf den jeweiligen Material-Handhabungspunkt des Flurförderzeugs vorzunehmen. Diese Kalibrierung ist notwendig, um eine präzise Navigation bei der Handhabung von beispielsweise Paletten oder Ähnlichem vornehmen zu können. Bei dem Material-Handhabungspunkt handelt es sich beispielsweise um den Gabelrücken eines Gabelstaplers, also den Punkt, der sich zwischen beispielsweise den beiden Zinken der Gabel eines Gabelstaplers befindet. Üblicherweise wird eine derartige extrinsische Kalibrierung der Ortungskamera zum Gabelrücken bzw. allgemein zum Material-Handhabungspunkt per Hand durchgeführt, indem ein Installateur die entsprechende Position mit einem Zollstock oder Ähnlichem vermisst. Diese Werte werden dann bei den Algorithmen, die für die Berechnungen im Zusammenhang mit der Lokalisierung durchgeführt werden, berücksichtigt. Diese extrinsische Kalibrierung lässt sich auch als Offset beschreiben. Ohne eine entsprechende extrinsische Kalibrierung der Ortungskamera in Bezug zum Material-Handhabungspunkt oder allgemeiner zum Material-Handhabungsbereich sind die auf einer Lokalisierung des Flurförderzeugs aufbauenden Assistenzsysteme in der Regel nur sehr eingeschränkt einsetzbar.Assistance systems support the industrial trucks in their transport tasks. For this aspect, it is usually necessary to perform an extrinsic calibration of the tracking camera with regard to the respective material handling point of the truck. This calibration is necessary in order to be able to precisely navigate the handling of, for example, pallets or the like. The material handling point is, for example, the fork back of a forklift, ie the point that is located between, for example, the two prongs of the fork of a forklift. Usually, such an extrinsic calibration of the tracking camera or, more generally, to the material handling point is performed manually by an installer measuring the appropriate position with a folding rule or the like. These values are then taken into account in the algorithms that are performed for the localization-related calculations. This extrinsic calibration can also be described as an offset. Without a corresponding extrinsic calibration of the tracking camera in relation to the material handling point or more generally to the material handling area, the assistance systems based on a localization of the industrial truck can generally only be used to a very limited extent.

Zusätzlich gibt es Assistenzsysteme, die aus mehreren Ortungssensoren, wie z. B. Kameras, bestehen. Damit ein Algorithmus die Information aus beiden Ortungssensoren fusionieren kann, muss er ebenfalls die Extrinsic / Offset zwischen den beiden Sensoren kennen. Auch dieser Offset wird heute per Hand eingegeben oder mit aufwändigen vermessungstechnischen Methoden (Geödäsie) bestimmt.In addition, there are assistance systems consisting of several location sensors, such. As cameras exist. For an algorithm to merge the information from both position sensors, it also needs to know the extrinsic / offset between the two sensors. This offset is also entered manually today or determined by sophisticated surveying methods (geodesy).

Offenbarung der ErfindungDisclosure of the invention

Vorteile der ErfindungAdvantages of the invention

Das erfindungsgemäße Verfahren erlaubt eine Kalibrierung von Sensoren an einer mobilen Plattform im Verhältnis zueinander. Hierfür werden von den Sensoren definierte Marker in der Umgebung der mobilen Plattform erfasst. Mit diesem Vorgehen kann eine extrinsische Kalibrierung der Sensoren im Verhältnis zueinander vorgenommen werden, wobei von den Sensoren jeweils wenigstens ein definierter Marker erfasst wird. Anhand der erfassten Marker kann die Position und Orientierung eines ersten Sensors in Relation zur Position und Orientierung eines zweiten Sensors berechnet werden. Dabei werden die in den Markern codierten Informationen für eine jeweilige Bestimmung der Position und Ausrichtung der Sensoren verwendet, wobei diese Bestimmung vorzugsweise durch einen Abgleich dieser Informationen mit einer digitalen Karte erfolgt. Ausgehend von der Bestimmung der Position und Ausrichtung der Sensoren wird die extrinsische Kalibrierung eines Sensors in Bezug zu einem anderen Sensor durchgeführt. Mit anderen Worten kann die über den ersten Sensor aus dem vom ersten Sensor erfassten Marker extrahierte Information, vorzugsweise unter Abgleich mit einer digitalen Karte, in welcher beispielsweise die Positionen der Marker in der Umgebung erfasst sind, zur Bestimmung der Position und Ausrichtung des ersten Sensors verwendet werden. Anschließend kann ein Vergleich mit der in gleicher Weise bestimmten Position und Ausrichtung des zweiten Sensors für die Bestimmung der relativen Postionen und Ausrichtungen der beiden Sensoren bezüglich der Plattform erfolgen, wenn die relative Position eines der beiden Sensoren bezüglich der Plattform verwendet wird.The inventive method allows a calibration of sensors on a mobile platform in relation to each other. For this purpose, markers defined by the sensors are detected in the environment of the mobile platform. With this procedure, an extrinsic calibration of the sensors can be carried out in relation to one another, whereby at least one defined marker is detected by the sensors in each case. Based on the detected markers, the position and orientation of a first sensor can be calculated in relation to the position and orientation of a second sensor. The coded in the markers information is used for a respective determination of the position and orientation of the sensors, this determination is preferably carried out by a comparison of this information with a digital map. Based on the determination of the position and orientation of the sensors, the extrinsic calibration of one sensor is performed with respect to another sensor. In other words, the information extracted via the first sensor from the marker detected by the first sensor, preferably under comparison with a digital map, in which, for example, the Positions of the markers detected in the environment are used to determine the position and orientation of the first sensor. Subsequently, a comparison can be made with the similarly determined position and orientation of the second sensor for determining the relative positions and orientations of the two sensors with respect to the platform when using the relative position of one of the two sensors with respect to the platform.

Besonders eignet sich das erfindungsgemäße Verfahren für eine Kalibrierung von Ortungssensoren. Eine solche extrinsische Kalibrierung kann beispielsweise in solchen Fällen mit Vorteil eingesetzt werden, in denen zwei Ortungssensoren an einer mobilen Plattform angebracht sind, von denen jeder beispielsweise eine unterschiedliche Blickrichtung hat. Beispielsweise kann eine Ortungskamera vorgesehen sein, die nach unten auf den Boden gerichtet ist, und eine Ortungskamera, die nach oben auf die Decke gerichtet ist. In anderen Beispielen können Ortungskameras oder andere Sensoren vorgesehen sein, von denen beispielsweise eine in Fahrtrichtung nach vorne und eine in Fahrtrichtung nach hinten ausgerichtet ist. Das Verfahren eignet sich dabei zum einen für eine Kalibrierung von Sensoren, die nach dem gleichen Prinzip aufgebaut sind, beispielsweise zwei Ortungskameras. Zum anderen eignet sich das Verfahren auch für eine Kalibrierung von unterschiedliche Sensoren an einer mobilen Plattform, beispielsweise einer Kamera und einem Lasersensor. Vor allem in diesem Fall kann die Kalibrierung auch sinnvoll sein, wenn die unterschiedlichen Sensoren die gleiche Blickrichtung aufweisen. Prinzipiell ist das Verfahren unabhängig von dem Messprinzip der Sensoren, wobei zu beachten ist, dass die jeweiligen Marker, die für die Kalibrierung eingesetzt werden, an das Messprinzip der Sensoren angepasst sein sollten. Beispielsweise können mit dem Verfahren Kameras, z.B. auch 3D-Kameras, time-of-flight Kameras, Lasersensoren, Ultraschallsensoren, Radarsensoren oder andere Sensoren kalibriert werden.The method according to the invention is particularly suitable for calibrating locating sensors. Such an extrinsic calibration can, for example, be used to advantage in cases where two locating sensors are mounted on a mobile platform, each of which has a different viewing direction, for example. For example, a tracking camera can be provided, which is directed down to the ground, and a tracking camera, which is directed upwards on the ceiling. In other examples, location cameras or other sensors may be provided, one of which, for example, is oriented forward in the direction of travel and rearward in the direction of travel. The method is suitable for a calibration of sensors that are constructed on the same principle, for example, two tracking cameras. On the other hand, the method is also suitable for calibrating different sensors on a mobile platform, for example a camera and a laser sensor. Especially in this case, the calibration can also be useful if the different sensors have the same direction of view. In principle, the method is independent of the measuring principle of the sensors, whereby it should be noted that the respective markers, which are used for the calibration, should be adapted to the measuring principle of the sensors. For example, with the method, cameras, e.g. Also, 3D cameras, time-of-flight cameras, laser sensors, ultrasonic sensors, radar sensors or other sensors can be calibrated.

In einer besonders bevorzugten Ausgestaltung des Verfahrens wird das Verfahren zur Kalibrierung eines Ortungssensors, beispielsweise einer Ortungskamera, an einer mobilen Plattform, insbesondere an einem Flurförderzeug, im Verhältnis zu einem Material-Handhabungsbereich der mobilen Plattform genutzt. Bei dem Flurförderzeug kann es sich beispielsweise um einen Gabelstapler handeln, der als Material-Handhabungsbereich eine Gabel aufweist. Für die Zwecke einer Kalibrierung in dem Material-Handhabungsbereich der mobilen Plattform wird vorübergehend ein Kalibrierungssensor angebracht, insbesondere eine Kalibrierungskamera. Im Sinne der obigen Ausführungen ist dabei der Ortungssensor als der erste Sensor und der Kalibrierungssensor als der zweite Sensor zu verstehen. Durch die Erfassung von definierten, d. h. insbesondere vermessenen Markern in der Umgebung der mobilen Plattform mittels des Ortungssensors und mittels des Kalibrierungssensors wird eine extrinsische Kalibrierung des Ortungssensors in Bezug zum Material-Handhabungsbereich vorgenommen. Mit dem Begriff „definiert“ ist hierbei gemeint, dass Informationen über die Position der Marker vorliegen, z. B. aus einer digitalen Karte. Auf diese Weise ist eine gewissermaßen automatisierte extrinsische Kalibrierung des Ortungssensors in Bezug zum Material-Handhabungsbereich bzw. zum Material-Handhabungspunkt der mobilen Plattform möglich, ohne dass eine Vermessung der entsprechenden Positionen an der mobilen Plattform per Hand oder auf ähnliche Weise vorgenommen werden muss. Hierdurch wird die Kalibrierung und damit die Inbetriebnahme einer mobilen Plattform, die mit Hilfe von Assistenzsystemen auf der Basis eines Ortungssensors betrieben werden soll, erheblich erleichtert. Die extrinsische Kalibrierung ist dabei mit extremer Genauigkeit möglich und die Kalibrierung und damit die Inbetriebnahme kann sehr schnell und mit wenig Aufwand erfolgen. Die für das Kalibrierungsverfahren erforderliche definierten Marker in der Umgebung der mobilen Plattform können ohnehin in dem Bewegungsfeld der mobilen Plattform als Infrastrukturen vorhanden sein, da sie für die entsprechenden Assistenzsysteme ohnehin verwendet werden. Insofern ist nicht zwingend eine zusätzliche Infrastruktur für das Kalibrierungsverfahren erforderlich. Im Prinzip sind zwei definierte Marker ausreichend. Die Marker können jedoch auch extra zu diesem Zweck an geeigneter Stelle angebracht und vermessen werden.In a particularly preferred embodiment of the method, the method for calibrating a positioning sensor, for example a tracking camera, on a mobile platform, in particular on an industrial truck, in relation to a material handling area of the mobile platform is used. The truck may be, for example, a forklift, which has a fork as material handling area. For the purposes of calibration in the material handling area of the mobile platform, a calibration sensor is temporarily attached, in particular a calibration camera. In the sense of the above statements, the location sensor is to be understood as the first sensor and the calibration sensor as the second sensor. By capturing defined, d. H. In particular, measured markers in the vicinity of the mobile platform by means of the position sensor and the calibration sensor, an extrinsic calibration of the position sensor is made in relation to the material handling area. By the term "defined" is meant that there is information about the position of the marker, z. B. from a digital map. In this way, a somewhat automated extrinsic calibration of the position sensor with respect to the material handling area or the material handling point of the mobile platform is possible, without having to make a measurement of the corresponding positions on the mobile platform by hand or in a similar manner. As a result, the calibration and thus the commissioning of a mobile platform, which is to be operated by means of assistance systems based on a position sensor, greatly facilitated. The extrinsic calibration is possible with extreme accuracy and the calibration and thus the commissioning can be done very quickly and with little effort. The defined markers in the surroundings of the mobile platform required for the calibration procedure can anyway be present in the movement field of the mobile platform as infrastructures, since they are used anyway for the corresponding assistance systems. In this respect, an additional infrastructure for the calibration procedure is not necessarily required. In principle, two defined markers are sufficient. However, the markers can also be attached and measured at a suitable place for this purpose.

Bei der Durchführung des Kalibrierungsverfahrens ist es erforderlich, dass von dem Ortungssensor und dem Kalibrierungssensor jeweils wenigstens ein definierter Marker erfasst wird, wobei sich diese Marker zweckmäßigerweise im gleichen Koordinatensystem befinden (Map-Koordinaten-System). Damit die Erfassung der Marker zum einen durch den Ortungssensor und zum anderen durch den Kalibrierungssensor schnell und ohne Probleme möglich ist, ist es besonders bevorzugt, wenn für die Kalibrierungszwecke eine Kalibrierungsecke (calibration corner) eingerichtet wird, die mit entsprechenden definierten, d. h. eingemessenen, Markern in geeigneten Abständen ausgestattet ist. Bei diesen Markern kann es sich um übliche Marker handeln, die für derartige Ortungszwecke eingesetzt werden, beispielsweise visuelle Marker, die von Ortungskameras erkannt werden können. Je nach Art des Sensors können auch andere Marker zum Einsatz kommen, beispielsweise QR-Codes oder ähnliches.When carrying out the calibration method, it is necessary for at least one defined marker to be detected by the positioning sensor and the calibration sensor, wherein these markers are expediently located in the same coordinate system (map coordinate system). So that the detection of the markers is possible on the one hand by the locating sensor and on the other hand by the calibration sensor quickly and without problems, it is particularly preferred if, for the calibration purposes, a calibration corner is set up with corresponding defined, d. H. metered, markers at appropriate intervals is equipped. These markers may be conventional markers used for such location purposes, such as visual markers that can be detected by location cameras. Depending on the type of sensor, other markers may also be used, for example QR codes or the like.

Anhand der erfassten Marker werden die Position und die Orientierung (zusammen „die Pose“) des Ortungssensors und die Position und die Orientierung des Kalibrierungssensors berechnet. Anhand dieser Informationen kann dann die extrinsische Kalibrierung des Ortungssensors in Bezug zum Material-Handhabungsbereich vorgenommen werden, da sich die Position des Material-Handhabungsbereichs aus der dortigen Anbringung des Kalibrierungssensors ergibt.Based on the detected markers, the position and orientation (together "pose") of the position sensor and the position and orientation of the calibration sensor are calculated. Based This information can then be made the extrinsic calibration of the position sensor with respect to the material handling area, since the position of the material handling area results from the mounting of the calibration sensor there.

Weiterhin kann das Kalibrierungsverfahren auch genutzt werden, um zunächst nur die Position und Orientierung des Ortungssensors an der mobilen Plattform anhand von der Erfassung von wenigstens einem definierten Marker in der Umgebung zu bestimmen. Dieser erste Schritt der Kalibrierung bzw. Installation des Ortungssensors ist auch für die allgemeine Lokalisierung oder Ortung der mit dem Ortungssensor ausgestatteten mobilen Plattform erforderlich, unabhängig von dem Material-Handhabungsbereich. Dieser erste Kalibrierungsschritt kann in das Verfahren integriert werden und gegebenenfalls zusammen mit der extrinsischen Kalibrierung (Offset-Bestimmung) vorgenommen werden.Furthermore, the calibration method can also be used to initially determine only the position and orientation of the position sensor on the mobile platform based on the detection of at least one defined marker in the environment. This first step of calibration or installation of the location sensor is also required for the general location or location of the location sensor equipped mobile platform, regardless of the material handling area. This first calibration step may be integrated into the method and optionally performed together with the extrinsic calibration (offset determination).

In einer besonders bevorzugten Ausgestaltung des Verfahrens ist es vorgesehen, dass der Kalibrierungssensor mittels eines flexibel einstellbaren, insbesondere eines mechanischen Aufbaus in dem Material-Handhabungsbereich der mobilen Plattform angebracht wird. Dieser Aufbau kann nach Art eines Adapters verwendet werden, um den Kalibrierungssensor universell für verschiedene Typen von mobilen Einheiten mit unterschiedlichen Einrichtungen für die Handhabung von Material zu verwenden. Darüber hinaus erlaubt die flexible Einstellbarkeit des Aufbaus, dass der Kalibrierungssensor hochgenau in Relation zum Mittelpunkt des Material-Handhabungsbereichs befestigt und eingestellt werden kann. Der Aufbau kann beispielsweise durch flexibel einstellbare Längen und Breiten von Befestigungsstangen oder Ähnlichem in der entsprechenden Weise eingestellt werden oder kann nach dem Prinzip eines Baukastens erweiterbar sein, sodass durch den Aufbau die exakte Ausrichtung des Kalibrierungssensors bei beispielsweise verschiedenen Gabelstapler-Modellen mit unterschiedlichen Gabeln darstellbar ist. In einer möglichen und bevorzugten Ausgestaltung des mechanischen Aufbaus ist wenigstens ein Magnet in den Aufbau eingebaut, mit dessen Hilfe der Aufbau an den Material-Handhabungsbereich angeheftet werden kann. Vorzugsweise sind mehrere Magneten vorgesehen.In a particularly preferred embodiment of the method, it is provided that the calibration sensor is mounted by means of a flexibly adjustable, in particular a mechanical structure in the material handling area of the mobile platform. This construction may be used in the manner of an adapter to universally use the calibration sensor for various types of mobile units with different material handling equipment. In addition, the flexible adjustability of the structure allows the calibration sensor to be mounted and adjusted with high accuracy relative to the center of the material handling area. The structure can be adjusted for example by flexibly adjustable lengths and widths of mounting rods or the like in the appropriate manner or can be expandable on the principle of a kit, so that the structure of the exact alignment of the calibration sensor in example different forklift models with different forks can be represented , In a possible and preferred embodiment of the mechanical structure, at least one magnet is built into the structure, with the aid of which the structure can be attached to the material handling area. Preferably, a plurality of magnets are provided.

In besonders bevorzugter Weise werden bei der extrinsischen Kalibrierung die Position und insbesondere die genaue Position des Kalibrierungssensors in Bezug zum Mittelpunkt des Material-Handhabungsbereichs berücksichtigt. Der Ausdruck „Mittelpunkt“ ist hierbei nicht unbedingt geometrisch zu verstehen. Dieser Ausdruck beschreibt vielmehr den Angriffspunkt bei der Handhabung von Material (Material-Handhabungspunkt), also beispielsweise den Mittelpunkt des Gabelrückens zwischen zwei Zinken bei einem Gabelstapler, der für Assistenzsysteme bei der Navigation des Systems zugrunde gelegt werden kann. Bei der Einstellung des mechanischen Aufbaus während der Anbringung und Ausrichtung des Kalibrierungssensors im Material-Handhabungsbereich können sich beispielsweise bestimmte Kennwerte, beispielsweise bestimmte Längen oder Ähnliches, ergeben, die hinterher bei der Auswertung im Zuge der extrinsischen Kalibrierung einbezogen und berücksichtigt werden.In a particularly preferred manner, the position and in particular the exact position of the calibration sensor with respect to the center of the material handling area are taken into account in the extrinsic calibration. The term "midpoint" is not necessarily geometric. Rather, this term describes the point of attack when handling material (material handling point), that is, for example, the center of the fork back between two prongs in a forklift, which can be used for assistance systems in the navigation of the system. When setting the mechanical structure during the mounting and alignment of the calibration sensor in the material handling area, for example, certain characteristic values, for example certain lengths or the like, can result, which are subsequently included and taken into account in the evaluation in the course of the extrinsic calibration.

Das Verfahren ist beispielsweise für Flurförderzeuge geeignet, die eine Gabel als Material-Handhabungsbereich aufweisen. Prinzipiell kann das Verfahren auch für andere mobile Plattformen eingesetzt werden, die eine extrinsische Kalibrierung eines Material-Handhabungsbereichs in Bezug zu einer fest an der mobilen Plattform installierten Ortungskamera bzw. einem Ortungssensor erfordert.The method is suitable for example for industrial trucks, which have a fork as a material handling area. In principle, the method can also be used for other mobile platforms which requires an extrinsic calibration of a material handling area in relation to a positioning camera or a positioning sensor permanently installed on the mobile platform.

Die Erfindung umfasst weiterhin eine Einrichtung zur Anbringung eines Kalibrierungssensors in einem Material-Handhabungsbereichs einer mobilen Plattform, wobei die Einrichtung ein vorzugsweise mechanischer Aufbau ist, der in der Höhe und/oder Breite flexibel einstellbar ist. Vorzugsweise erlaubt dieser mechanische Aufbau eine genaue, d. h. eine definierte Positionierung des Kalibrierungssensors im Bezug zum Mittelpunkt des Material-Handhabungsbereichs. Dies kann vor allem durch eine Höhenverstellbarkeit des Aufbaus realisiert werden, wodurch die Position des Kalibrierungssensors genau eingestellt werden kann. Zur Höhenverstellbarkeit kann der Aufbau beispielsweise wenigstens eine vertikale Zentralstange mit einer Befestigungsmöglichkeit für den Kalibrierungssensor und wenigstens eine in der Höhe verstellbare Querstrebe zur Fixierung des Aufbaus bei einer Befestigung des Aufbaus in dem Material-Handhabungsbereich umfassen.The invention further comprises a device for mounting a calibration sensor in a material handling area of a mobile platform, wherein the device is a preferably mechanical structure which is flexibly adjustable in height and / or width. Preferably, this mechanical structure allows accurate, d. H. a defined positioning of the calibration sensor with respect to the center of the material handling area. This can be realized in particular by a height adjustment of the structure, whereby the position of the calibration sensor can be accurately adjusted. For height adjustability, the structure may include, for example, at least one vertical central bar with a mounting option for the calibration sensor and at least one height adjustable transverse strut for fixing the structure when mounting the structure in the material handling area.

In bevorzugter Weise kann der Aufbau mit wenigstens einem Magneten ausgestattet sein, mit dessen Hilfe der Aufbau im Material-Handhabungsbereich angeheftet werden kann. Vorzugsweise sind mehrere Magneten vorgesehen. Der oder die Magneten können beispielsweise im Bereich der Zentralstange, vor allem unterhalb der Querstrebe angeordnet sein, sodass die Zentralstange mit dem Kalibrierungssensor in dem Material-Handhabungsbereich angeheftet und mittels der höhenverstellbaren Querstrebe in der Höhe ausgerichtet und fixiert werden kann. Bezüglich weiterer Einzelheiten zu dieser Einrichtung bzw. zu dem mechanischen Aufbau wird auch auf die obige Beschreibung verwiesen.Preferably, the structure may be equipped with at least one magnet, with the aid of which the structure in the material handling area can be attached. Preferably, a plurality of magnets are provided. The magnet or magnets may be arranged, for example, in the region of the central rod, in particular below the transverse strut, so that the central rod can be attached to the calibration sensor in the material handling region and aligned and fixed in height by means of the height-adjustable transverse strut. For further details of this device or to the mechanical structure, reference is also made to the above description.

Die Erfindung umfasst weiterhin ein Computerprogramm, das zur Durchführung der Schritte des beschriebenen Verfahrens eingerichtet ist, sowie ein maschinenlesbares Speichermedium, auf welchem ein solches Computerprogramm gespeichert ist, und ein elektronisches Steuergerät, das zur Durchführung der Schritte des beschriebenen Verfahrens eingerichtet ist. Bei diesem elektronischen Steuergerät kann es sich beispielsweise um einen Personalcomputer oder um einen Laptop oder ein Tablet/Smartphone handeln, der von einem Installateur für die extrinsische Kalibrierung einer Ortungskamera an einem Gabelstapler im Bezug zum Material-Handhabungsbereich dieses Gabelstaplers, also im Bezug zur Gabel, vorgenommen wird.The invention further comprises a computer program, which is set up to carry out the steps of the described method, and a machine-readable storage medium, on which such a computer program is stored, and an electronic control unit adapted to carry out the steps of the described method. This electronic control unit may, for example, be a personal computer or a laptop or a tablet / smartphone, which is installed by an installer for the extrinsic calibration of a location camera on a forklift with respect to the material handling area of this forklift, ie in relation to the fork. is made.

Weitere Merkmale des erfindungsgemäßen Verfahrens ergaben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen in Verbindung mit den Zeichnungen. Hierbei können die einzelnen Merkmale jeweils für sich oder in Kombination miteinander verwirklicht sein.Further features of the method according to the invention resulted from the following description of exemplary embodiments in conjunction with the drawings. In this case, the individual features can be implemented individually or in combination with each other.

In den Zeichnungen zeigen

1 eine schematische Aufsicht auf ein Flurförderzeug, dessen Ortungssensor mit dem erfindungsmäßen Verfahren extrinsisch kalibriert wird;
2A,B zwei seitliche Ansichten eines mechanischen Aufbaus zur Anbringung des Kalibrierungssensors und
3 eine schematische Aufsicht auf ein Flurförderzug mit zwei Ortungssensoren.

In the drawings show

1 a schematic plan view of an industrial truck, the position sensor is calibrated extrinsically with the inventive method;
2A , B are two side views of a mechanical structure for mounting the calibration sensor and
3 a schematic plan view of a conveyor with two location sensors.

Beschreibung von AusführungsbeispielenDescription of exemplary embodiments

Die 1 zeigt in schematischer Weise in Aufsicht ein Flurförderzeug 10 als mobile Plattform, die insbesondere einen Gabelstapler darstellen kann. Das Flurförderzeug 10 befindet sich in einer sogenannten Kalibrierungsecke, in der mehrere definierte Marker 101, 102, 103, 104 angebracht sind. In dieser Kalibrierungsecke wird das erfindungsgemäße Verfahren durchgeführt, bei dem die Ortungskamera 11, die am Heck des Flurförderzeugs angebracht ist, in Bezug zum Material-Handhabungsbereich 12, der in diesem Beispiel von der Gabel eines Gabelstaplers, also des Flurförderzeugs 10, gebildet wird, extrinsisch kalibriert wird (Offset-Bestimmung). Diese extrinsische Kalibrierung in Bezug zum Material-Handhabungsbereich 12 ist erforderlich, um Assistenzsysteme, die auf einer Lokalisierung oder Ortung mittels der Ortungskamera 11 basieren, sinnvoll und präzise nutzen zu können. Anstatt der herkömmlicherweise vorgesehenen manuellen extrinsischen Kalibrierung der Ortungskamera 11 in Bezug zum Material-Handhabungsbereich 12 bzw. zum Gabelrücken des Gabelstaplers wird die Kalibrierung mit Hilfe einer Kalibrierungskamera 13 bzw. allgemein mit einem Kalibrierungssensor durchgeführt. Die Ortungskamera 11 stellt hierbei im Sinne der obigen Ausführungen den ersten Sensor dar. Die Kalibrierungskamera 13 stellt den zweiten Sensor dar. In dem hier dargestellten Beispiel werden Kameras, also die Ortungskamera 11 und die Kalibrierungskamera 13, eingesetzt. Allgemein ist es aber auch möglich, statt Kameras andere Sensoren für diese Zwecke zu verwenden. Dies hängt davon ab, welche Art von Markern für das erfindungsgemäße Verfahren und gegebenenfalls allgemein für die markerbasierte Lokalisierung im Rahmen der Assistenzsysteme für das Flurförderzeug eingesetzt werden. Kameras sind für visuelle Marker geeignet. Wenn andere Arten von Markern eingesetzt werden, werden zweckmäßigerweise auch entsprechend angepasste Sensoren als Ortungssensor und als Kalibrierungssensor verwendet. Beispielsweise können Laser in Verbindung mit Lasermarkern (z. B. Reflektionsstreifen oder ähnliches) oder Radar mit Radarmarkern, also Markern, an denen eine deutliche Radarreflektion erzeugt wird, eingesetzt werden.The 1 shows in a schematic manner in supervision a truck 10 as a mobile platform, which can represent in particular a forklift. The truck 10 is located in a so-called calibration corner, in which several defined markers 101 . 102 . 103 . 104 are attached. In this calibration corner, the inventive method is performed, in which the tracking camera 11 , which is attached to the rear of the truck, in relation to the material handling area 12 , in this example of the fork of a forklift, so the truck 10 , is formed, extrinsically calibrated (offset determination). This extrinsic calibration in relation to the material handling area 12 is required to assistance systems based on a localization or location by means of the tracking camera 11 based, meaningful and accurate to use. Instead of the conventionally provided manual extrinsic calibration of the tracking camera 11 in relation to the material handling area 12 or to the forklift of the forklift is the calibration using a calibration camera 13 or generally performed with a calibration sensor. The tracking camera 11 In this case, in the sense of the above statements, represents the first sensor. The calibration camera 13 represents the second sensor. In the example shown here are cameras, so the tracking camera 11 and the calibration camera 13 used. In general, it is also possible to use other sensors instead of cameras for these purposes. This depends on which type of markers are used for the method according to the invention and, if appropriate, generally for marker-based localization in the context of the assistance systems for the industrial truck. Cameras are suitable for visual markers. When other types of markers are used, suitably adapted sensors are also used as the locating sensor and as the calibration sensor. For example, lasers can be used in conjunction with laser markers (eg reflection strips or the like) or radar with radar markers, ie markers on which a clear radar reflection is generated.

Für die Durchführung des Verfahrens wird die Kalibrierungskamera 13 vorübergehend für die Zwecke der Kalibrierung an dem Flurförderzeug 10 in dem Bereich für die Material-Handhabung angebracht wird. Die extrinsische Kalibrierung selbst kann insbesondere unter Zuhilfenahme eines Personalcomputers oder Laptops oder Tablet oder Smartphone durch den Installateur erfolgen. Zunächst wird von dem Installateur bzw. Anwender die Kalibrierungskamera 13 in dem Material-Handhabungsbereich 12, also beispielsweise auf der Gabel des Gabelstaplers, angebracht. Zu diesem Zweck wird vorzugsweise ein flexibel einstellbarer Aufbau, also gewissermaßen ein Adapter verwendet, um die Anbringung der Kalibrierungskamera 13 zu erleichtern. Dieser vorzugsweise mechanische Aufbau ist zweckmäßigerweise universell einsetzbar, kann also an verschiedene Gegebenheiten bei dem jeweiligen Modell des Flurförderzeugs angepasst werden. Durch die flexible Einstellbarkeit kann die Kalibrierungskamera 13 exakt zum Mittelunkt (Angriffspunkt) des Material-Handhabungsbereichs 12 ausgerichtet werden. Nach der Anbringung der Kalibrierungskamera 13 können nun diese Kalibrierungskamera 13 und die Ortungskamera 11, die bereits fest an dem Flurförderzeug 10 installiert ist, mit beispielsweise dem Personalcomputer verbunden werden. Die Kalibrierung wird in einer Umgebung durchgeführt, in der verschiedene eingemessene Marker 101, 102, 103, 104 installiert sind. Diese Marker sind definiert in dem Sinne, dass Informationen zu den Positionen der einzelnen Marker zur Verfügung stehen, z. B. aus einer digitalen Karte. In dem in der 1 gezeigten Beispiel ist hierfür eine Kalibrierungsecke eingerichtet, die eine geeignete Anzahl von Markern in geeigneten Positionen zueinander aufweist. Durch entsprechende Positionierung des Flurförderzeugs 10 in der Kalibrierungsecke können sowohl die Ortungskamera 11 als auch die Kalibrierungskamera 13 jeweils mindestens einen Marker erfassen. Mit dem Personalcomputer können die aufgenommenen Bildersequenzen ausgelesen und ausgewertet werden. Hierfür wird eine Software verwendet, die für jede der beiden Kameras 11 und 13 die jeweilige Kamerapose, also die 3D-Position und die 3D-Orientierung, anhand der erfassten Marker berechnet. Beispielsweise kann eine Software basierend auf dem Algorithmus aus Gerald Schweighofer and Axel Pinz. 2006. Robust Pose Estimation from a Planar Target. IEEE Trans. Pattern Anal. Mach. Intell. 28, 12 (December 2006), 2024-2030 . DOI=http://dx.doi.org/10.1109/TPAMI.2006.252 dafür verwendet werden. Die Marker befinden sich im gleichen Koordinatensystem, sodass diese beiden Kameraposen entsprechend abgeglichen werden können. Durch eine Koordinatentransformation von der Ortungskamera 11 in Bezug zu der Kalibrierungskamera 13 ergibt sich die gesuchte extrinsische Kalibrierung der Ortungskamera 11 in Bezug zum Material-Handhabungsbereich 12. Die Linien 110 und 111 symbolisieren diese extrinsische Kalibrierung bzw. den Offset.The calibration camera is used to carry out the procedure 13 temporarily for the purpose of calibration on the truck 10 in the material handling area. The extrinsic calibration itself can take place in particular with the aid of a personal computer or laptop or tablet or smartphone by the installer. First of all, the installer or user selects the calibration camera 13 in the material handling area 12 , so for example on the fork of the forklift attached. For this purpose, preferably a flexible adjustable structure, so to speak, an adapter is used to attach the calibration camera 13 to facilitate. This preferably mechanical structure is suitably universally applicable, so it can be adapted to different circumstances in the respective model of the truck. Due to the flexible adjustability, the calibration camera 13 exactly to the center point (point of application) of the material handling area 12 be aligned. After attaching the calibration camera 13 can now use this calibration camera 13 and the tracking camera 11 already firmly attached to the truck 10 is installed, for example, connected to the personal computer. The calibration is performed in an environment in which various measured markers 101 . 102 . 103 . 104 are installed. These markers are defined in the sense that information about the positions of the individual markers are available, e.g. B. from a digital map. In the in the 1 For this purpose, a calibration corner is set up which has a suitable number of markers in suitable positions relative to each other. By appropriate positioning of the truck 10 in the calibration corner can both the tracking camera 11 as well as the calibration camera 13 each capture at least one marker. With the personal computer, the recorded image sequences can be read out and evaluated. This is a software used for each of the two cameras 11 and 13 the respective camera pose, ie the 3D position and the 3D orientation, calculated on the basis of the detected markers. For example, a software based on the algorithm Gerald Schweighofer and Axel Pinz. 2006. Robust pose Estimation from a Planar Target. IEEE Trans. Pattern Anal. Mach. Intell. 28, 12 (December 2006), 2024-2030 , DOI = http: //dx.doi.org/10.1109/TPAMI.2006.252 be used for this. The markers are in the same coordinate system so that these two camera poses can be adjusted accordingly. By a coordinate transformation of the tracking camera 11 in relation to the calibration camera 13 results in the sought extrinsic calibration of the tracking camera 11 in relation to the material handling area 12 , Lines 110 and 111 symbolize this extrinsic calibration or offset.

Bei diesen Berechnungen fließt vorzugsweise auch eine weitere Transformation ein, die den mechanischen Aufbau bei der Anbringung der Kalibrierungskamera 13 in dem Material-Handhabungsbereich 12 berücksichtigt, sodass die extrinsische Kalibrierung genau auf dem Mittelpunkt oder Angriffspunkt des Material-Handhabungsbereichs ausgerichtet werden kann.In these calculations, preferably also a further transformation, which determines the mechanical structure in the attachment of the calibration camera 13 in the material handling area 12 so that the extrinsic calibration can be precisely aligned with the center or point of application of the material handling area.

Der Unterschied oder die Differenz in den auf diese Weise messbaren Posen der Ortungskamera 11 und der Kalibrierungskamera 13 stellt somit ein Maß für das Offset bei der extrinsischen Kalibrierung dar. Mit diesem Verfahren ist eine sehr akkurate extrinsische Kalibrierung mit nur sehr geringem Aufwand möglich. Messfehler, die bei herkömmlichen extrinsischen Kalibrierungsverfahren auftreten können, werden zuverlässig vermieden. Die extrinsische Kalibrierung kann hierbei von einem Nutzer oder Anwender des Flurförderzeugs 10 ohne weiteres selbst vorgenommen werden, da die hierfür erforderlichen Berechnungen in automatisierter Weise von einer entsprechenden Kalibrierungssoftware durchgeführt werden können, wobei die Kalibrierungssoftware beispielsweise auf dem oben genannten Algorithmus basieren kann. Das Verfahren ist sehr schnell, was insbesondere dann sehr vorteilhaft ist, wenn eine Mehrzahl von Flurförderzeugen in Betrieb zu nehmen ist. Für das erfindungsgemäße Verfahren muss nicht zwingend eine Kalibrierungsecke eingerichtet werden, wie sie in diesem Beispiel gezeigt ist. Es ist im Allgemeinen ausreichend, wenn entsprechend eingemessene Marker in der Umgebung vorhanden sind, die von der Ortungskamera 11 und von der Kalibrierungskamera 13 erfasst werden können.The difference or the difference in the measurable poses of the tracking camera 11 and the calibration camera 13 thus represents a measure of the offset in the extrinsic calibration. With this method, a very accurate extrinsic calibration is possible with very little effort. Measurement errors that can occur with conventional extrinsic calibration procedures are reliably avoided. The extrinsic calibration can be done by a user or user of the truck 10 can be readily made yourself, since the calculations required for this can be performed in an automated manner by a corresponding calibration software, the calibration software can be based for example on the above algorithm. The method is very fast, which is particularly advantageous when a plurality of industrial trucks is to be put into operation. For the method according to the invention, it is not absolutely necessary to set up a calibration corner, as shown in this example. It is generally sufficient if appropriately sized markers are present in the environment detected by the tracking camera 11 and from the calibration camera 13 can be detected.

Bei der extrinsischen Kalibrierung wird die Lokalisierung des Flurförderzeugs 10, die auf der Basis der Messdaten der Ortungskamera 11 durchgeführt wird, im Hinblick auf den Winkel und das Offset in Bezug auf die Achse und die Spitze des Material-Handhabungsbereichs 12, also beispielsweise der Gabel, ausgerichtet, sodass eine hochpräzise Lokalisierung und Navigation im Rahmen der Assistenzsysteme möglich ist.In extrinsic calibration, the localization of the truck 10 based on the measurement data of the tracking camera 11 with respect to the angle and the offset with respect to the axis and the tip of the material handling area 12 , So for example, the fork, aligned, so that a high-precision localization and navigation is possible within the assistance systems.

Wie in dem hier gezeigten Beispiel dargestellt, befinden sich in der Kalibrierungsecke die Marker 101, 102, 103, 104 vorzugsweise in einer solchen Anordnung, dass zum einen die Ortungskamera 11, die am Heck des Flurförderzeugs 10 angebracht ist, und zum anderen auch die Kalibrierungskamera 13, die sich im Frontbereich des Flurförderzeugt befindet, gleichzeitig wenigstens einen Marker erfassen können.As shown in the example shown here, the markers are in the calibration corner 101 . 102 . 103 . 104 preferably in such an arrangement that on the one hand, the tracking camera 11 at the rear of the truck 10 attached, and on the other hand, the calibration camera 13 , which is located in the front of the truck, at the same time can detect at least one marker.

Das erfindungsgemäße Verfahren kann auch mit Vorteil für eine gleichzeitige Kalibrierung sowohl der Ortungskamera 11 in Bezug zu deren Pose im Verhältnis zur Bodenebene als auch in Bezug auf die extrinsische Kalibrierung der Ortungskamera 11 in Bezug zum Material-Handhabungsbereich 12 eingesetzt werden. Durch diese Kalibrierung der Ortungskamera zugleich mit deren extrinsischer Kalibrierung bzw. der Bestimmung des Offset kann die Inbetriebnahme des mit der Ortungskamera 11 ausgestatteten Flurförderzeugs 10 besonders schnell erfolgen.The inventive method can also be advantageous for a simultaneous calibration of both the tracking camera 11 in relation to their pose in relation to the ground plane as well as in relation to the extrinsic calibration of the tracking camera 11 in relation to the material handling area 12 be used. By this calibration of the tracking camera at the same time with their extrinsic calibration or the determination of the offset, the commissioning of the with the tracking camera 11 equipped truck 10 done very quickly.

Die 2 zeigt einen beispielhaften Aufbau 20 in zwei Ansichten (A und B), mit dem ein Kalibrierungssensor in einem Material-Handhabungsbereich einer mobilen Plattform für die Zwecke des erfindungsgemäßen Verfahrens angebracht werden kann. Der Aufbau 20 umfasst eine vertikale Zentralstange 21, an deren oberem Ende eine Kalibrierungskamera 23 als Kalibrierungssensor angebracht ist. Die Kalibrierungskamera 23 kann beispielsweise über Steck- oder Klemmverbindungen an der Zentralstange 21 angebracht sein. Weiterhin umfasst der Aufbau 20 eine verschiebbare Querstrebe 22. Durch eine Verschiebung der Querstrebe, die durch Schraubverbindungen 24 fixiert werden kann, erfolgt eine Ausrichtung der Kalibrierungskamera 23 in Bezug zum Mittelpunkt des Material-Handhabungsbereichs. Im unteren Bereich der Zentralstange 21 sind mehrere Magneten 25 angebracht, mit deren Hilfe der Aufbau 20 im Material-Handhabungsbereich vorübergehend angeheftet werden kann.The 2 shows an exemplary structure 20 in two views (A and B), with which a calibration sensor can be mounted in a material handling area of a mobile platform for the purposes of the method according to the invention. The structure 20 includes a vertical central rod 21 , at the top of which a calibration camera 23 is attached as a calibration sensor. The calibration camera 23 can for example via plug or clamp connections on the central rod 21 to be appropriate. Furthermore, the structure includes 20 a sliding crossbar 22 , By a displacement of the crossbar, by screw connections 24 can be fixed, alignment of the calibration camera takes place 23 with respect to the center of the material handling area. In the lower part of the central rod 21 are several magnets 25 attached, with their help the construction 20 can be temporarily attached in the material handling area.

Die 3 illustriert ein weiteres Ausführungs- bzw. Anwendungsbeispiel des erfindungsgemäßen Verfahrens, wobei an einer mobilen Plattform 30 zwei Ortungskameras oder allgemein Ortungssensoren 31 und 33 angebracht sind. Die Ortungssensoren 31 und 33 sind in entgegengesetzte Richtungen ausgerichtet, wobei der eine Ortungssensor 31 in Fahrtrichtung der mobilen Plattform 30 nach vorne und der andere Ortungssensor 33 in Fahrtrichtung nach hinten „blickt“. Zur extrinsischen Kalibrierung dieser Ortungssensoren 31, 33 im Verhältnis zueinander wird die mobile Plattform 30 in einer Kalibrierungsecke positioniert, in der mehrere definierte Marker 301-306 angeordnet sind. Die Ortungssensoren 31 und 33 erfassen jeweils mindestens einen dieser Marker 301-306. Hieraus lässt ich die jeweilige Pose der Ortungssensoren 31, 33 berechnen. Durch einen Abgleich dieser Posen zueinander kann die extrinsische Kalibrierung der Ortungssensoren 31, 33 vorgenommen werden.The 3 illustrates another embodiment or application example of the method according to the invention, wherein on a mobile platform 30 two tracking cameras or general location sensors 31 and 33 are attached. The location sensors 31 and 33 are aligned in opposite directions, with the one location sensor 31 in the direction of travel of the mobile platform 30 forward and the other location sensor 33 in the direction of travel to the rear "looks". For extrinsic calibration of these location sensors 31 . 33 in relation to each other the mobile platform 30 positioned in a calibration corner, in which several defined markers 301 - 306 are arranged. The location sensors 31 and 33 each capture at least one of these markers 301-306. From this I leave the respective pose of the position sensors 31 . 33 to calculate. By matching these poses to each other, the extrinsic calibration of the location sensors 31 . 33 be made.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturCited non-patent literature

Gerald Schweighofer and Axel Pinz. 2006. Robust pose Estimation from a Planar Target. IEEE Trans. Pattern Anal. Mach. Intell. 28, 12 (December 2006), 2024-2030 [0021]

Claims

Method for calibrating sensors (11, 31, 33) on a mobile platform (10, 30), characterized in that detection of defined markers (101, 102, 103, 104, 301, 302, 303, 304, 305 , 306) in the vicinity of the mobile platform (10; 30) by the sensors an extrinsic calibration of the sensors in relation to each other is carried out, wherein of the sensors (11, 13, 23) at least one defined marker (101, 102, 103 , 104) is detected.

Method according to Claim 1 , characterized in that based on the detected markers (101, 102, 103, 104, 301, 302, 303, 304, 305, 306) the position and orientation of a first sensor (11, 31) in relation to the position and orientation of a second Sensors (13; 33) are calculated and based on this information, the extrinsic calibration of the first sensor (11; 31) with respect to the second sensor (13; 33) is made.

Method according to Claim 1 or Claim 2 characterized in that the method for calibrating a position sensor (11) on the mobile platform (10) is provided, wherein the mobile platform has a material handling area (12), and wherein for carrying out the method in the material handling area ( 12) of the mobile platform (10) for the purposes of calibration temporarily a calibration sensor (13; 23) is mounted and that by the detection of defined markers (101, 102, 103, 104) in the environment of the mobile platform (10) the locating sensor (11) and by means of the calibration sensor (13; 23) an extrinsic calibration of the locating sensor (11) with respect to the material handling area (12) is made.

Method according to Claim 3 characterized in that the calibration sensor (13; 23) is mounted in the material handling area (12) of the mobile platform (10) by means of a flexibly adjustable structure (20).

Method according to Claim 3 or Claim 4 characterized in that in the extrinsic calibration the position of the temporarily mounted calibration sensor (13; 23) relative to the center of the material handling area (12) is taken into account.

Method according to one of Claims 3 to 5 characterized in that the mobile platform (10) is an industrial truck with a fork as material handling area (12).

Device for mounting a calibration sensor (13, 23) in a material handling area (12) of a mobile platform (10), characterized in that the device is a structure (20) which is flexibly adjustable in height and / or width.

Setup after Claim 7 characterized in that the structure (20) allows accurate positioning of the calibration sensor (13; 23) with respect to the center of the material handling area (12).

Setup after Claim 7 or Claim 8 , characterized in that the structure (20) is height adjustable.

Furnishing according to one of the Claims 7 to 9 , characterized in that the structure (20) at least one vertical central rod (21) with a mounting option for the calibration sensor (23) and at least one height adjustable cross strut (22) for fixing the structure (20) in a mounting of the structure in the material handling area (12).

Furnishing according to one of the Claims 7 to 10 , characterized in that the structure (20) is equipped with at least one magnet (25).

Computer program that is adapted to the steps of a method according to one of Claims 1 to 6 perform.

Machine-readable storage medium on which a computer program is based Claim 12 is stored.

An electronic control apparatus configured to perform the steps of a method according to any one of Claims 1 to 6 perform.