DE102023200798A1

DE102023200798A1 - Method for estimating a transmission loss on an optical element, in particular a front or protective screen, a LiDAR scanning device and LiDAR scanning device

Info

Publication number: DE102023200798A1
Application number: DE102023200798.3A
Authority: DE
Inventors: Juan Carlos Garza Fernandez; Patrick Volz
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2023-02-01
Filing date: 2023-02-01
Publication date: 2024-08-01

Abstract

Es werden ein Verfahren 200 zum Abschätzen eines Transmissionsverlusts an einem optischen Element, insbesondere einer Front- bzw. Schutzscheibe, einer LiDAR Scanvorrichtung und eine LiDAR Scanvorrichtung vorgeschlagen. Die LiDAR Scanvorrichtung wird mit einer Sendeeinheit, die zumindest einen linienförmigen Laserstrahl aussendet, betrieben, wobei das Verfahren die nachfolgenden Schritte umfasst:Bereitstellen von Daten einer Referenzmessung für eine erste Position in einem ersten Schritt 205,wobei die bereitgestellten Daten der Referenzmessung in dem ersten Schritt 205 ein aufgenommenes Referenzhistogramm aus einer Menge an detektierten Photonen über die Zeit für die erste Position umfassen,Durchführen einer Betriebsmessung für die erste Position in einem zweiten Schritt 210,wobei beim Durchführen der Betriebsmessung eine Reflexion des linienförmigen Laserstrahls am optischen Element der LiDAR Scanvorrichtung und/oder von einer Umgebung der LiDAR Scanvorrichtung, während des Betriebs aufgenommen wird und ein Betriebshistogramm korrespondierend zum Referenzhistogramm,aus der Menge an detektierten Photonen über die Zeit für die erste Position aufgenommen wird, undDurchführen einer Auswertung zur Abschätzung des Transmissionsverlusts in einem dritten Schritt 215.A method 200 for estimating a transmission loss on an optical element, in particular a front or protective screen, a LiDAR scanning device and a LiDAR scanning device are proposed. The LiDAR scanning device is operated with a transmitting unit that emits at least one linear laser beam, the method comprising the following steps: Providing data of a reference measurement for a first position in a first step 205, the data of the reference measurement provided in the first step 205 comprising a recorded reference histogram from a quantity of detected photons over time for the first position, Carrying out an operational measurement for the first position in a second step 210, wherein when carrying out the operational measurement, a reflection of the linear laser beam on the optical element of the LiDAR scanning device and/or from an environment of the LiDAR scanning device is recorded during operation and an operational histogram corresponding to the reference histogram is recorded from the quantity of detected photons over time for the first position, and Carrying out an evaluation to estimate the transmission loss in a third step 215.

Description

Die Erfindung betrifft ein Verfahren zum Abschätzen eines Transmissionsverlusts an einem optischen Element, insbesondere einer Front- bzw. Schutzscheibe, einer LiDAR Scanvorrichtung und eine LiDAR Scanvorrichtung zur Verwendung für ein Fahrzeug.The invention relates to a method for estimating a transmission loss on an optical element, in particular a windshield or protective screen, a LiDAR scanning device and a LiDAR scanning device for use in a vehicle.

Stand der TechnikState of the art

Ein Verfahren zum Abschätzen eines Verschmutzungsgrades einer Frontscheibe eines Laser-Scanners ist aus der Offenlegungsschrift US 2012/0182553 A1 bekannt. Es ist in diesem Zusammenhang nicht offenbart, dass der Laser-Scanner mit einem linienförmigen Laserstrahl betrieben wird. Das über die Frontscheibe reflektierte Signal wird für die Verarbeitung und Auswertung zwar zeitaufgelöst genutzt, nicht jedoch ortsaufgelöst, sodass nur ein Vorliegen oder Nichtvorliegen eines Verschmutzungsgrades für den gesamten Bereich der Frontscheibe, nicht jedoch ein lokalisierter Bereich dafür angegeben werden kann.A method for estimating the degree of contamination of a front window of a laser scanner is known from the published patent application US 2012/0182553 A1 known. It is not disclosed in this context that the laser scanner is operated with a linear laser beam. The signal reflected from the windscreen is used for processing and evaluation in a time-resolved manner, but not in a spatially resolved manner, so that only the presence or absence of a degree of contamination can be specified for the entire area of the windscreen, but not a localized area for it.

Offenbarung der ErfindungDisclosure of the invention

Die Aufgabe der vorliegenden Erfindung besteht darin, ein verbessertes Verfahren zum Abschätzen eines Transmissionsverlusts an einem optischen Element insbesondere einer Front- bzw. Schutzscheibe, einer LiDAR Scanvorrichtung und eine optimierte LiDAR Scanvorrichtung anzugeben.The object of the present invention is to provide an improved method for estimating a transmission loss on an optical element, in particular a front or protective screen, a LiDAR scanning device and an optimized LiDAR scanning device.

Diese Aufgabe wird durch die Merkmale der unabhängigen Ansprüche gelöst. Weitere vorteilhafte Ausführungsformen der Erfindung sind in den abhängigen Ansprüchen angegeben.This object is solved by the features of the independent claims. Further advantageous embodiments of the invention are specified in the dependent claims.

Es werden ein Verfahren zum Abschätzen eines Transmissionsverlusts an einem optischen Element, insbesondere einer Front- bzw. Schutzscheibe, einer LiDAR Scanvorrichtung und eine LiDAR Scanvorrichtung zur Verwendung für ein Fahrzeug vorgeschlagen. Das Fahrzeug kann insbesondere auch als ein autonomes Fahrzeugsystem ausgebildet sein. Die LiDAR Scanvorrichtung wird mit einer Sendeeinheit, die zumindest einen linienförmigen Laserstrahl aussendet, betrieben (line flash LiDAR). Insbesondere kann die Sendeeinheit eine einzelne Sendeeinheit mit einem einzelnen Sender bzw. einer einzelnen Lichtquelle bilden. Die LiDAR Scanvorrichtung weist das zumindest eine optische Element auf, dass eine Schnittstelle des optischen LiDAR-Pfads, umfassend den ausgesandten und/oder empfangenen Laserstrahl der LiDAR Scanvorrichtung, zur Umgebung der LiDAR Scanvorrichtung darstellt.A method for estimating a transmission loss on an optical element, in particular a windshield or protective screen, a LiDAR scanning device and a LiDAR scanning device for use in a vehicle are proposed. The vehicle can in particular also be designed as an autonomous vehicle system. The LiDAR scanning device is operated with a transmitting unit that emits at least one linear laser beam (line flash LiDAR). In particular, the transmitting unit can form a single transmitting unit with a single transmitter or a single light source. The LiDAR scanning device has the at least one optical element that represents an interface of the optical LiDAR path, comprising the emitted and/or received laser beam of the LiDAR scanning device, to the environment of the LiDAR scanning device.

Die Empfangseinheit ist zur Detektion des empfangenen Laserstrahls ausgelegt. Ferner umfasst die LiDAR Scanvorrichtung eine Steuereinheit, die ausgelegt ist, die nachfolgenden Schritte des vorgeschlagenen Verfahrens auszuführen, wobei die Schritte umfassen:

Bereitstellen von Daten einer Referenzmessung für eine erste Position in einem ersten Schritt,
wobei die bereitgestellten Daten der Referenzmessung in dem ersten Schritt ein aufgenommenes Referenzhistogramm aus einer Menge an detektierten Photonen über die Zeit für die erste Position umfassen,
Durchführen einer Betriebsmessung für die erste Position in einem zweiten Schritt,
wobei beim Durchführen der Betriebsmessung eine Reflexion des linienförmigen Laserstrahls am optischen Element der LiDAR Scanvorrichtung und/oder von einer Umgebung der LiDAR Scanvorrichtung, während des Betriebs aufgenommen wird und das Betriebshistogramm korrespondierend zum Referenzhistogramm, aus der Menge an detektierten Photonen über die Zeit für die erste Position bereitgestellt wird, und
Durchführen einer Auswertung zur Abschätzung des Transmissionsverlusts in einem dritten Schritt. Dabei kann das Durchführen der Auswertung einen Vergleich des Referenzhistogramms und des Betriebshistogramms beinhalten, insbesondere können verschiedene Parameter (im Folgenden noch beschrieben) aus dem Referenzhistogramm entnommen und/oder berechnet werden und dieselben Parameter aus dem Betriebshistogramm entnommen und/oder berechnet werden, beides jeweils für die erste Position um die gewünschten Parameter exakt miteinander vergleichen zu können.

The receiving unit is designed to detect the received laser beam. Furthermore, the LiDAR scanning device comprises a control unit which is designed to carry out the following steps of the proposed method, the steps comprising:

Providing data of a reference measurement for a first position in a first step,
wherein the data provided for the reference measurement in the first step comprise a recorded reference histogram of a set of detected photons over time for the first position,
Carrying out an operational measurement for the first position in a second step,
wherein, when carrying out the operational measurement, a reflection of the linear laser beam on the optical element of the LiDAR scanning device and/or from an environment of the LiDAR scanning device is recorded during operation and the operating histogram corresponding to the reference histogram is provided from the amount of detected photons over time for the first position, and
Carrying out an evaluation to estimate the transmission loss in a third step. Carrying out the evaluation can include a comparison of the reference histogram and the operating histogram, in particular various parameters (described below) can be taken from the reference histogram and/or calculated and the same parameters can be taken from the operating histogram and/or calculated, both for the first position in order to be able to compare the desired parameters exactly with one another.

Es gibt viele Möglichkeiten, Entfernungen mit Hilfe von Licht zu messen. Eine Möglichkeit besteht darin, die Zeit zu messen, die ein Lichtimpuls braucht, um zurückzukehren, nachdem er von einem Objekt reflektiert wurde. Dies ist eine der gängigsten Methoden (ToF: Time of Flight), die auch für die vorgeschlagene LiDAR Vorrichtung genutzt wird. Eine andere Möglichkeit ist die Messung der Phasenverschiebung, die ein moduliertes Signal (z. B. die Frequenz) aufweist, wenn das Licht von der Umgebung reflektiert wird. Die Messung von Punkten bei gleichzeitiger Kenntnis der Winkelrichtung des Lichts ermöglicht die 3D-Darstellung der Umgebung des Sensors, also der LiDAR Scanvorrichtung. Es gibt ein breites Spektrum von LiDAR-Anwendungen, von der Vermessung des Geländes durch Anbringung eines LiDAR in einer Ebene bis hin zur Vermessung von Gebäuden, wie auch als Kfz-Sensor, was die bevorzugte Anwendung darstellt.There are many ways to measure distances using light. One way is to measure the time it takes for a pulse of light to return after being reflected from an object. This is one of the most common methods (ToF: Time of Flight), which is also used for the proposed LiDAR device. Another way is to measure the phase shift that a modulated signal (e.g. frequency) exhibits when the light is reflected from the environment. Measuring points while knowing the angular direction of the light allows the 3D representation of the environment of the sensor, i.e. the LiDAR scanning device. There is a wide range of LiDAR applications, from surveying the terrain by placing a LiDAR in a plane to surveying buildings, as well as as an automotive sensor, which is the preferred application.

Als Kfz-Sensor (z.B. in einem autonomen Fahrzeug bzw. System) ist die vorgeschlagene LiDAR Scanvorrichtung der Außenwelt ausgesetzt und leidet daher unter den Störungen, die die Umgebung verursacht. Die LiDAR Scanvorrichtung wird bei Regen nass, wird durch Schlamm, Staub und Insekten verschmutzt. Die Vorrichtung bekommt eine Eisschicht, wenn es frostig ist, sie kann durch Steinschlag Risse bekommen, usw. All diese Effekte, die auf dem optischen Element (einem halbtransparenten Material entlang des Strahlengangs), das als eine Frontscheibe oder als ein Abdeckfenster ausgebildet sein kann, auftreten, werden als „Blockade“ bezeichnet und beeinträchtigen die Fähigkeit, Punkte zuverlässig zu messen und einen verlässlichen 3D-Scan der Umgebung zu erstellen. Denn im Falle der Blockade verringert sich die Messreichweite der LiDAR Scanvorrichtung. Dies kann im Falle einer vollständigen Blockade auch dazu führen, dass keinerlei Messpunkte mehr gemessen werden können.As an automotive sensor (e.g. in an autonomous vehicle or system), the proposed LiDAR scanning device is exposed to the outside world and therefore suffers from the disturbances caused by the environment. The LiDAR scanning device gets wet in rain, gets dirty by mud, dust and insects, the device gets a layer of ice when it is frosty, it can get cracked by rock falls, etc. All these effects that occur on the optical element (a semi-transparent material along the optical path), which can be designed as a windshield or as a cover window, are called "blockage" and affect the ability to reliably measure points and create a reliable 3D scan of the environment. In case of blockage, the measurement range of the LiDAR scanning device is reduced. In case of complete blockage, this can also lead to the fact that no measurement points can be measured at all.

Basierend auf der Abschätzung des Transmissionsverlusts, also des Grades der Blockade, kann eine Verschlechterung quantifiziert und qualifiziert und das autonome System in die Lage versetzt werden, entsprechend zu handeln, um die Sicherheit zu gewährleisten. Die Blockade kann mehrere Beeinträchtigungen in einer LiDAR-Scanvorrichtung hervorrufen, zum einen die Blockade des ausgehenden Lichts, was die Messung vollständig verhindern würde, zum anderen die Blockade des empfangenden Lichts, was dessen Erkennung verhindert. In beiden Fällen handelt es sich um eine vollständige Blockade. In den Fällen, in denen das Licht auf der Senderseite (bzw. auf der Seite der Sendeeinheit) durch das optische Element, d.h. die Front- bzw. Schutzscheibe, dringen kann, führt die Blockade zu einer Verringerung der Erfassungsreichweite (die Entfernung, in der ein LiDAR-System ein zuvor definiertes Objekt in einer Umgebung messen kann).Based on the estimation of the transmission loss, i.e. the degree of blockage, a degradation can be quantified and qualified and the autonomous system can be enabled to act accordingly to ensure safety. Blockage can cause several impairments in a LiDAR scanning device, firstly the blockage of the outgoing light, which would completely prevent the measurement, and secondly the blockage of the received light, which would prevent its detection. In both cases, it is a complete blockage. In cases where the light on the emitter side (or on the side of the transmitting unit) can penetrate the optical element, i.e. the front or protective screen, the blockage leads to a reduction in the detection range (the distance at which a LiDAR system can measure a previously defined object in an environment).

Die Quantifizierung des Verlusts der Erfassungsreichweite (infolge der halbtransparenten Blockade am optischen Element, wobei das optische Element dabei einen Teil des Lichts durchlässt/transmittiert und einen Teil in das Innere des LiDAR reflektiert sowie einen Teil des Lichts absorbiert) ermöglicht es dem autonomen System vorteilhafterweise, eine breitere Palette von Reaktionsmöglichkeiten auf das Vorhandensein einer Blockade zu haben/zu ergreifen. Das autonome System kann basierend auf der vorgeschlagenen Abschätzung beschließen, die Geschwindigkeit zu drosseln, aber den Betrieb fortzusetzen, oder es kann beschließen, zu versuchen, das Fahrzeug sicher anzuhalten und zu parken, wenn die Leistungsverschlechterung nicht durch Reinigung oder Heizung (des optischen Elements) rückgängig gemacht werden kann. Zudem kann das autonome System beschließen die LiDAR Messdaten anders zu bewerten bzw. nicht mehr zu verwenden, sondern z.B. den Fokus auf die LiDAR Scanvorrichtung verringern und nur noch Kameradaten nutzen.Quantifying the loss of detection range (due to the semi-transparent blockage on the optical element, whereby the optical element transmits some of the light and reflects some into the interior of the LiDAR, as well as absorbing some of the light) advantageously allows the autonomous system to have a wider range of response options to the presence of a blockage. Based on the proposed estimate, the autonomous system may decide to slow down but continue operating, or it may decide to try to stop and park the vehicle safely if the performance degradation cannot be reversed by cleaning or heating (the optical element). In addition, the autonomous system may decide to evaluate the LiDAR measurement data differently or no longer use it, e.g. reduce the focus on the LiDAR scanning device and use only camera data.

In bekannten Systemen und Verfahren wird in der Regel der Einfluss des optischen Elements gar nicht berücksichtigt, sondern die wenigen Nanosekunden Zeitdauer bei der ToF-Methode, innerhalb derer in der Regel eine Reflexion des ausgesandten Laserstrahls am optischen Element erzeugt und registriert wird, werden in der Betrachtung „abgeschnitten“ und es werden nur die Reflexionen von Objekten in der Umgebung der LiDAR Scanvorrichtung für die spätere Auswertung berücksichtigt.In known systems and methods, the influence of the optical element is usually not taken into account at all, but the few nanoseconds of time in the ToF method, within which a reflection of the emitted laser beam is usually generated and registered on the optical element, are "cut off" in the analysis and only the reflections of objects in the vicinity of the LiDAR scanning device are taken into account for later evaluation.

Zudem verwenden bekannte Lösungen keine Linienlaserquelle, sondern nur einzelne Laser, die auf einzelne Detektoren fokussiert sind, so dass ihre Lösungen nicht ohne Anpassung eingesetzt werden können. Denn bei bekannten Lösungen besteht eine 1:1-Beziehung zwischen Sendeeinheit/Lichtquelle und Empfangseinheit/Detektor. Bei der verwendeten line flash LiDAR Scanvorrichtung, also der LiDAR Scanvorrichtung mit einer Sendeeinheit, die mit einem linienförmigen Laserstrahl betrieben wird, gibt es eine Laserlinie, und die Empfangseinheit bzw. Empfangsoptik nutzt vorteilhaft die gesamte Apertur pro Pixel, sodass die oben genannte Beziehung nicht eingehalten werden muss.In addition, known solutions do not use a line laser source, but only individual lasers that are focused on individual detectors, so that their solutions cannot be used without adaptation. This is because known solutions have a 1:1 relationship between the transmitter unit/light source and the receiver unit/detector. In the line flash LiDAR scanning device used, i.e. the LiDAR scanning device with a transmitter unit that is operated with a linear laser beam, there is a laser line, and the receiver unit or receiving optics advantageously uses the entire aperture per pixel, so that the above relationship does not have to be maintained.

In einer weiteren Ausführungsform wird bei der Auswertung in dem dritten Schritt ein Differenzhistogramm durch Subtraktion des Referenzhistogramms von dem Betriebshistogramm bereitgestellt. Neben dem oben beschriebenen Vergleich des Referenzhistogramms und des Betriebshistogramms und der Berechnung der gewünschten Parameter, kann auch ein Differenzhistogramm bereitgestellt werden und das Differenzhistogramm ausgewertet werden, d.h. basierend auf dem Differenzhistogramm Parameter ermittelt werden, die nachfolgend noch erläutert werden. Die Abschätzung des Transmissionsverlustes erfolgt durch Aufzeichnung von Histogrammdaten an einer Reihe von Positionen am optischen Element am Ende des Herstellungsprozesses der LiDAR Scanvorrichtung (Referenzmessung), um die Sensorintrinsik und damit den nicht blockierten Zustand zu bestimmen. Auch ist es möglich eine Neukalibrierung durchzuführen mit einer neuen Referenzmessung. Anschließend wird bei normaler Nutzung die gleiche Histogrammerstellung an denselben Positionen durchgeführt (Betriebsmessung). Die Histogrammdaten werden für eine Auswahl von Positionen im horizontalen und vertikalen Sichtfeld verarbeitet. Dabei ist die Steuereinheit zur Auswertung des Referenzhistogramms und/oder zur Auswertung des Betriebshistogramms und/oder zur Auswertung des Differenzhistogramms ausgebildet. Der Vergleich der Referenzmessung mit der Betriebsmessung kann vorteilhaft dazu verwendet werden, eine Analyse des Transmissionsverlustes mit Hilfe einer vortrainierten maschinellen Lernregression zu erstellen. Somit ist die Auswertung vorteilhaft einfach umsetzbar.In a further embodiment, during the evaluation in the third step, a difference histogram is provided by subtracting the reference histogram from the operating histogram. In addition to the comparison of the reference histogram and the operating histogram described above and the calculation of the desired parameters, a difference histogram can also be provided and the difference histogram evaluated, i.e. parameters can be determined based on the difference histogram, which are explained below. The transmission loss is estimated by recording histogram data at a series of positions on the optical element at the end of the manufacturing process of the LiDAR scanning device (reference measurement) in order to determine the sensor intrinsic and thus the unblocked state. It is also possible to carry out a recalibration with a new reference measurement. Subsequently, during normal use, the same histogram creation is carried out at the same positions (operating measurement). The histogram data is processed for a selection of positions in the horizontal and vertical field of view. The control unit is designed to evaluate the reference histogram and/or to evaluate the operating histogram and/or to evaluate the difference histogram. The comparison of the Reference measurement with the operational measurement can be used advantageously to create an analysis of the transmission loss using a pre-trained machine learning regression. This makes the evaluation easy to implement.

In einer weiteren Ausführungsform wird der erste bis dritte Schritt für weitere Positionen durchgeführt, um die Umgebung der LiDAR Scanvorrichtung abzutasten. Dabei können der erste bis dritte Schritt sequenziell oder parallel erfolgen. Die erste Position und die weiteren Positionen sind frei wählbar und bilden eine zumindest zweidimensionale Anordnung mit Zeilen und Spalten und definieren zumindest einen Ausschnitt eines Sichtfelds. Auf diese Weise kann die Genauigkeit und Zuverlässigkeit der vorgeschlagenen LiDAR Scanvorrichtung vorteilhaft verbessert werden. Auch kann somit ein lokalisierter Bereich für die Blockade angegeben werden, da die einzelnen Positionen bzw. Detektor-Positionen einzelne Bereiche innerhalb des zumindest einen Ausschnitt des Sichtfeldes angeben, die genauer ausgewertet werden können. Dadurch kann schließlich eine graduelle Abstufung der Blockade am optischen Element angegeben werden, also zum Beispiel die Blockade an der ersten Position ist stärker (größer) ausgebildet an einer weiteren Position, o,ä. Auch kann je nach verfügbarer Bandbreite und Rechenleistung die Granularität der Betrachtung bzw. Auswertung des zumindest einen Ausschnitts des Sichtfeldes auf größere (komplettes Sichtfeld bzw. näherungsweise komplettes Sichtfeld) bzw. kleinere Bereiche ausgedehnt bzw. reduziert werden.In a further embodiment, the first to third steps are carried out for further positions in order to scan the surroundings of the LiDAR scanning device. The first to third steps can be carried out sequentially or in parallel. The first position and the further positions are freely selectable and form at least a two-dimensional arrangement with rows and columns and define at least a section of a field of view. In this way, the accuracy and reliability of the proposed LiDAR scanning device can be advantageously improved. A localized area for the blockage can also be specified, since the individual positions or detector positions specify individual areas within at least a section of the field of view that can be evaluated more precisely. This ultimately makes it possible to specify a gradual gradation of the blockage on the optical element, for example the blockage at the first position is stronger (larger) at another position, or similar. Depending on the available bandwidth and computing power, the granularity of the observation or evaluation of at least one section of the field of view can be extended or reduced to larger (complete field of view or approximately complete field of view) or smaller areas.

In einer weiteren Ausführungsform werden beim Durchführen der Auswertung im dritten Schritt eine Mehrzahl an Parametern aus dem Referenzhistogramm und/oder aus dem Betriebshistogramm und/oder aus dem Differenzhistogramm extrahiert, die der Abschätzung des Transmissionsverlusts zu Grunde gelegt werden, wobei die Mehrzahl an Parametern zumindest die nachfolgenden Grö-ßen und/oder eine Kombination der nachfolgenden Größen umfassen: eine Breite des Referenzhistogramms und/oder des Betriebshistogramms und/oder des Differenzhistogramms, eine Form des Referenzhistogramms und/oder des Betriebshistogramms und/oder des Differenzhistogramms, eine Steilheit von Flanken des Referenzhistogramms und/oder des Betriebshistogramms und/oder des Differenzhistogramms, ein Rauschwert, eine integrale Fläche des Referenzhistogramms und/oder des Betriebshistogramms und/oder des Differenzhistogramms, eine maximale Spitze des Referenzhistogramms und/oder des Betriebshistogramms und/oder des Differenzhistogramms. Je mehr Parameter für die Auswertung der Abschätzung des Transmissionsverlusts herangezogen werden, desto genauer und zuverlässiger kann die Auswertung durchgeführt und damit das Ergebnis der Abschätzung sein.In a further embodiment, when carrying out the evaluation in the third step, a plurality of parameters are extracted from the reference histogram and/or from the operating histogram and/or from the difference histogram, which are used as the basis for estimating the transmission loss, wherein the plurality of parameters comprise at least the following variables and/or a combination of the following variables: a width of the reference histogram and/or the operating histogram and/or the difference histogram, a shape of the reference histogram and/or the operating histogram and/or the difference histogram, a steepness of flanks of the reference histogram and/or the operating histogram and/or the difference histogram, a noise value, an integral area of the reference histogram and/or the operating histogram and/or the difference histogram, a maximum peak of the reference histogram and/or the operating histogram and/or the difference histogram. The more parameters are used to evaluate the transmission loss estimate, the more accurate and reliable the evaluation can be and thus the result of the estimate can be.

In einer weiteren Ausführungsform ist der dritte Schritt mittels Maschinenlernalgorithmus durchführbar, insbesondere mithilfe Support-Vektor-Regressor und/oder Random Forest Algorithmus. Der Maschinenlernalgorithmus wird basierend auf der Mehrzahl an Parametern vorab trainiert und gibt während des Betriebs der LiDAR Scanvorrichtung eine Abschätzung des Transmissionsverlusts und/oder ein Vertrauensniveau über die Abschätzung und/oder eine Klassifikation des hervorgerufenen Transmissionsverlust aus. Die Klassifikation kann dabei vorteilhaft unter Verwendung des Random Forest Algorithmus bereitgestellt werden und z.B. eine Klassifikation der Blockade/Verschmutzung ermöglichen z.B. Wasser, Dreck, etc. die den Transmissionsverlust hervorruft. Auf diese Weise ist eine gute Kompatibilität der vorgeschlagenen Methode mit bekannten Lösungen und eine einfache, zuverlässige Implementierung möglich.In a further embodiment, the third step can be carried out using a machine learning algorithm, in particular using a support vector regressor and/or a random forest algorithm. The machine learning algorithm is pre-trained based on the plurality of parameters and outputs an estimate of the transmission loss and/or a confidence level about the estimate and/or a classification of the transmission loss caused during operation of the LiDAR scanning device. The classification can advantageously be provided using the random forest algorithm and, for example, enable a classification of the blockage/contamination, e.g. water, dirt, etc. that causes the transmission loss. In this way, a good compatibility of the proposed method with known solutions and a simple, reliable implementation is possible.

In einer weiteren Ausführungsform wird die Abschätzung des Transmissionsverlusts als ein binäres Ereignis oder in Form einer graduellen Abstufung ausgegeben. Keine der bekannten Lösungen ist in der Lage den Transmissionsverlust zu quantifizieren, der durch die Blockade des optischen Elements verursacht wird, da die Lösungen die Blockade nur als binäres Ereignis für das gesamte Sichtfeld behandeln. Das vorgeschlagene Verfahren ist jedoch nicht auf ein binäres Ereignis (Transmissionsverlust im gesamten Sichtfeld vorhanden/nicht vorhanden) beschränkt, sondern kann vorteilhaft auch einen Grad der Blockade, also eine relative Blockade eines lokalen Bereichs gegenüber eines anderen lokalen Bereichs angeben, je nach Rechenleistung und Bandbreite für einen Ausschnitt des Sichtfeldes und/oder für das gesamte Sichtfeld.In a further embodiment, the transmission loss estimate is output as a binary event or in the form of a gradual gradation. None of the known solutions is able to quantify the transmission loss caused by the blockage of the optical element, since the solutions only treat the blockage as a binary event for the entire field of view. However, the proposed method is not limited to a binary event (transmission loss present/absent in the entire field of view), but can advantageously also indicate a degree of blockage, i.e. a relative blockage of a local area compared to another local area, depending on the computing power and bandwidth for a section of the field of view and/or for the entire field of view.

In einer weiteren Ausführungsform wird die Referenzmessung während eines Herstellungsprozesses der LiDAR Scanvorrichtung durchgeführt, indem eine Reflexion des linienförmigen Laserstrahls am optischen Element der LiDAR Scanvorrichtung und/oder von einer Umgebung der LiDAR Scanvorrichtung, während des Herstellungsprozesses aufgenommen wird. Ferner kann auch im Zuge einer Neukalibrierung eine neue Referenzmessung gemäß vorstehender Erläuterung aufgenommen werden. Auf diese Weise kann die Sensorintrinsik bestmöglich berücksichtigt werden und ein Offset, der ggf. die Messpunkte betreffen kann, kann somit vorteilhaft bei der Auswertung entfernt werden.In a further embodiment, the reference measurement is carried out during a manufacturing process of the LiDAR scanning device by recording a reflection of the linear laser beam on the optical element of the LiDAR scanning device and/or from an environment of the LiDAR scanning device during the manufacturing process. Furthermore, a new reference measurement can also be recorded in the course of a recalibration as explained above. In this way, the sensor intrinsics can be taken into account as best as possible and an offset that may affect the measuring points can thus advantageously be removed during the evaluation.

In einer weiteren Ausführungsform wird der Transmissionsverlust am optischen Element durch eine Verschmutzung und/oder eine Beschädigung und/oder durch Wettereinflüsse am optischen Element hervorgerufen. Das vorgeschlagene Verfahren ist vorteilhaft nicht nur auf die Abschätzung eines Verschmutzungsgrades beschränkt, um darauf basierend einen Reinigungsprozess anzustoßen, sondern kann vorteilhaft als Basis für sicherheitskritische Handlungsanweisungen und/oder Konfidenzentscheidungen der LiDAR Daten in einem autonomen Fahrzeugsystem herangezogen werden.In a further embodiment, the transmission loss at the optical element is caused by contamination and/or damage and/or weather influences on the optical element. The proposed method is advantageously not only limited to the estimation of a degree of contamination in order to initiate a cleaning process based on this, but can also be used as a basis for safety-critical instructions and/or confidence decisions of the LiDAR data in an autonomous vehicle system.

In einer weiteren Ausführungsform umfasst die Empfangseinheit einen Pixel-Array Detektor, der zumindest eine zweidimensionale Anordnung einzelner Pixel in Zeilen und Spalten als Array aufweist und insbesondere in Form zumindest einer APD, APD: Avalanche Photodiode oder zumindest einer SPAD, SPAD: Single Photon Avalanche Diode ausgebildet ist. Die einzelnen Pixel geben jeweils eine Menge an detektierten Photonen über die Zeit an. Auf diese Weise können vorteilhaft einzelne Ereignisse (Photonen) detektiert werden und es kann die oben genannte graduelle Abstufung als Resultat der Auswertung vorteilhaft bereitgestellt werden.In a further embodiment, the receiving unit comprises a pixel array detector which has at least a two-dimensional arrangement of individual pixels in rows and columns as an array and is designed in particular in the form of at least one APD, APD: Avalanche Photodiode or at least one SPAD, SPAD: Single Photon Avalanche Diode. The individual pixels each indicate a quantity of detected photons over time. In this way, individual events (photons) can advantageously be detected and the above-mentioned gradual gradation can advantageously be provided as a result of the evaluation.

Die vorstehend erläuterten und/oder in den Unteransprüchen wiedergegebenen vorteilhaften Aus- und Weiterbildungen der Erfindung können - außer zum Beispiel in Fällen eindeutiger Abhängigkeiten oder unvereinbarer Alternativen - einzeln oder aber auch in beliebiger Kombination miteinander zur Anwendung kommen.The advantageous embodiments and further developments of the invention explained above and/or reproduced in the subclaims can - except, for example, in cases of clear dependencies or incompatible alternatives - be used individually or in any combination with one another.

Die oben beschriebenen Eigenschaften, Merkmale und Vorteile dieser Erfindung sowie die Art und Weise, wie diese erreicht werden, werden klarer und deutlicher verständlich in Zusammenhang mit der folgenden Beschreibung von Ausführungsbeispielen, die im Zusammenhang mit den schematischen Zeichnungen näher erläutert werden. Es zeigen:

1 eine schematische Darstellung einer LiDAR Scanvorrichtung;
2 eine schematische Darstellung einer LiDAR Scanvorrichtung, bei der ein optisches Element eine Blockade aufweist;
3 eine schematische Darstellung eines Scanvorgangs der LiDAR Scanvorrichtung ohne Blockade am optischen Element in 1;
4 eine schematische Darstellung eines Scanvorgangs der LiDAR Scanvorrichtung mit Blockade am optischen Element in 2;
5 a eine schematische Darstellung eines Verfahrens zum Abschätzen eines Transmissionsverlusts an dem optischen Element der LiDAR Scanvorrichtung nach einer ersten Ausführungsform in 2;
5 b eine schematische Darstellung eines Verfahrens zum Abschätzen eines Transmissionsverlusts an dem optischen Element der LiDAR Scanvorrichtung nach einer zweiten Ausführungsform in 2;
6 eine schematische Darstellung eines Referenzhistogramms;
7 eine schematische Darstellung eines Betriebshistogramms nach einer ersten Ausführungsform;
8 eine schematische Darstellung eines Betriebshistogramms nach einer zweiten Ausführungsform; und
9 eine schematische Darstellung eines Differenzhistogramms.

The above-described properties, features and advantages of this invention, as well as the manner in which they are achieved, will become clearer and more readily understood in connection with the following description of embodiments, which are explained in more detail in connection with the schematic drawings.

1 a schematic representation of a LiDAR scanning device;
2 a schematic representation of a LiDAR scanning device in which an optical element has a blockage;
3 a schematic representation of a scanning process of the LiDAR scanning device without blockage at the optical element in 1 ;
4 a schematic representation of a scanning process of the LiDAR scanning device with blockage at the optical element in 2 ;
5 a a schematic representation of a method for estimating a transmission loss at the optical element of the LiDAR scanning device according to a first embodiment in 2 ;
5 b a schematic representation of a method for estimating a transmission loss at the optical element of the LiDAR scanning device according to a second embodiment in 2 ;
6 a schematic representation of a reference histogram;
7 a schematic representation of an operating histogram according to a first embodiment;
8th a schematic representation of an operating histogram according to a second embodiment; and
9 a schematic representation of a difference histogram.

Es wird darauf hingewiesen, dass die Figuren lediglich schematischer Natur und nicht maßstabsgetreu sind. In diesem Sinne können in den Figuren gezeigte Komponenten und Elemente zum besseren Verständnis übertrieben groß oder verkleinert dargestellt sein. Ferner wird darauf hingewiesen, dass die Bezugszeichen in den Figuren unverändert gewählt worden sind, wenn es sich um gleich ausgebildete Elemente und/oder Komponenten handelt.It should be noted that the figures are merely schematic in nature and not to scale. In this sense, components and elements shown in the figures may be exaggeratedly large or reduced in size for better understanding. It should also be noted that the reference symbols in the figures have been chosen unchanged if they refer to elements and/or components of the same design.

1 zeigt eine schematische Darstellung einer LiDAR Scanvorrichtung 100, die eine Umgebung 145 erfasst, indem sie aktiv Licht aussendet und das gleiche ausgesendete Licht bei der Rückkehr misst (ToF: Time of Flight). Beim ToF-Verfahren wird die Entfernung eines Objektes in der Umgebung 145, dass das Licht reflektiert, über die Lichtgeschwindigkeit c und die Laufzeit des Lichtes bestimmt. Außerdem extrahiert die Scanvorrichtung 100 daraus Informationen wie die zurückgelegte Entfernung oder die Intensität des reflektierten Lichts. Moderne Li-DARs sind in der Lage, die Objekte/Landmarken innerhalb eines bestimmten Volumens in der Umgebung 145 (Sichtfeld) abzutasten und die Messung mehrerer Positionen (innerhalb dieses Sichtfelds) entweder auf einmal oder nacheinander zu liefern und diesen Vorgang mehrmals pro Sekunde zu wiederholen. So kann eine Punktwolke, also eine Gruppe von Punkten (Messpunkte) im 3D-Raum erstellt werden, die die Umgebung 145 der LiDAR Scanvorrichtung 100 darstellen und meist die 3D-Informationen und die Reflektivität umfassen. Die LiDAR Scanvorrichtung 100 umfasst in der Regel eine Sende- und eine Empfangseinheit 105, 140, ein Gehäuse zum Schutz des Systems bzw. der Vorrichtung vor Umwelteinflüssen und einem optischen Element 125, das z.B. in Form einer Frontscheibe/einer Schutzscheibe bzw. einem Abdeckfenster ausgebildet ist. Die LiDAR Scanvorrichtung 100 wird bevorzugt für ein Fahrzeug bzw. für ein autonomes Fahrzeugsystem eingesetzt. 1 shows a schematic representation of a LiDAR scanning device 100 that captures an environment 145 by actively emitting light and measuring the same emitted light upon return (ToF: Time of Flight). In the ToF method, the distance of an object in the environment 145 that reflects the light is determined via the speed of light c and the travel time of the light. In addition, the scanning device 100 extracts information from this, such as the distance traveled or the intensity of the reflected light. Modern Li-DARs are able to scan the objects/landmarks within a certain volume in the environment 145 (field of view) and provide the measurement of several positions (within this field of view) either at once or one after the other and repeat this process several times per second. In this way, a point cloud, i.e. a group of points (measurement points) in 3D space, can be created that represent the environment 145 of the LiDAR scanning device 100 and usually include the 3D information and the reflectivity. The LiDAR scanning device 100 generally comprises a transmitting and receiving unit 105, 140, a housing for protecting the system or the device from environmental influences and an optical element 125, which is designed, for example, in the form of a windshield/a protective screen or a cover window. The LiDAR scanning device 100 is preferably used for a vehicle or for an autonomous vehicle system.

Die Sendeeinheit 105 ist insbesondere als einzelne Sendeeinheit 105 ausgebildet. Die genannte Sendeeinheit 105 ist ausgebildet einen linienförmigen Laserstrahl 110, 120 auszusenden. Die Sendeeinheit 105 kann gepulst betrieben werden, sodass sie eine Vielzahl an linienförmigen Laserpulsen aussendet. Die Sendeeinheit 105 kann z.B. einen Linienlaser bilden, sodass die LiDAR Scanvorrichtung 100 als ein Linienscanner („line flash LiDAR“) ausgebildet ist. Weiterhin umfasst die LiDAR Scanvorrichtung 100 das oben genannte zumindest eine optische Element 125, z.B. als eine Front- bzw. Schutzscheibe, das eine Schnittstelle eines optischen LiDAR-Pfads, umfassend den ausgesandten und/oder empfangenen Laserstrahl 110, 115, 120 der LiDAR Scanvorrichtung 100, zu einer Umgebung 145 der LiDAR Scanvorrichtung 100 darstellt.The transmitting unit 105 is designed in particular as a single transmitting unit 105. The said transmitting unit 105 is designed to emit a linear laser beam 110, 120. The transmitting unit 105 can be operated in a pulsed manner so that it emits a large number of linear laser pulses. The transmitting unit 105 can form a line laser, for example, so that the LiDAR scanning device 100 is designed as a line scanner (“line flash LiDAR”). Furthermore, the LiDAR scanning device 100 comprises the above-mentioned at least one optical element 125, e.g. as a front or protective screen, which represents an interface of an optical LiDAR path, comprising the emitted and/or received laser beam 110, 115, 120 of the LiDAR scanning device 100, to an environment 145 of the LiDAR scanning device 100.

Die LiDAR Scanvorrichtung 100 weist eine Steuereinheit 155 auf, die im gezeigten Beispiel nicht explizit dargestellt ist, um das nachfolgend noch im Detail erläuterte vorgeschlagene Verfahren zum Abschätzen eines Transmissionsverlusts an dem optischen Element 125, auszuführen. Im Folgenden können die Begriffe reflektierter Laserstrahl und empfangener Laserstrahl auch als Synonyme aufgefasst werden. Das optische Element 125 kann als eine Frontscheibe bzw. Abdeckfenster oder Schutzfenster der LiDAR Scanvorrichtung 100 ausgebildet sein und einen Teil des LiDAR-Gehäuses bilden, der für die jeweilige Wellenlänge optisch durchlässig ist und aus dem das Licht das System, d.h. die Scanvorrichtung 100 verlässt bzw. aus dem das Licht in das System, d.h. die Scanvorrichtung 100 eintritt.The LiDAR scanning device 100 has a control unit 155, which is not explicitly shown in the example shown, in order to carry out the proposed method for estimating a transmission loss at the optical element 125, which is explained in more detail below. In the following, the terms reflected laser beam and received laser beam can also be understood as synonyms. The optical element 125 can be designed as a front pane or cover window or protective window of the LiDAR scanning device 100 and form a part of the LiDAR housing that is optically transparent for the respective wavelength and from which the light leaves the system, i.e. the scanning device 100, or from which the light enters the system, i.e. the scanning device 100.

Zudem weist die LiDAR Scanvorrichtung 100 z.B. eine Sendeoptik 130 auf, die in einem optischen Pfad zwischen der Sendeeinheit 105 und dem optischen Element 125 angeordnet ist. Die Sendeoptik 130 kann zur Fokussierung und/oder Umlenkung des ausgesandten Laserstrahls 110 dienen und hierzu geeignete Optik wie Linsen, Spiegel, etc. umfassen, die ggf. beweglich ausgebildet sind, um ein Abtasten der Umgebung 145 zu ermöglichen. Dies ist in der schematischen Zeichnung jedoch nicht im Detail gezeigt. Gleichermaßen kann in einem weiteren optischen Pfad, der von dem oben genannten optischen Pfad räumlich separiert sein kann, zwischen dem optischen Element 125 und der Empfangseinheit 140, eine Empfangsoptik 135 angeordnet sein. Die Empfangsoptik 135 kann ähnlich zur Sendeoptik 130 ausgebildet sein und zur Fokussierung und/oder Umlenkung des empfangenen Laserstrahls 115 dienen.In addition, the LiDAR scanning device 100 has, for example, a transmitting optics 130, which is arranged in an optical path between the transmitting unit 105 and the optical element 125. The transmitting optics 130 can serve to focus and/or deflect the emitted laser beam 110 and can comprise suitable optics such as lenses, mirrors, etc., which may be designed to be movable in order to enable scanning of the surroundings 145. However, this is not shown in detail in the schematic drawing. Likewise, a receiving optics 135 can be arranged in a further optical path, which can be spatially separated from the above-mentioned optical path, between the optical element 125 and the receiving unit 140. The receiving optics 135 can be designed similarly to the transmitting optics 130 and can serve to focus and/or deflect the received laser beam 115.

2 zeigt eine schematische Darstellung einer LiDAR Scanvorrichtung 100, bei der ein optisches Element 125, das wie oben stehend ausgebildet ist, eine Blockade 160 aufweist, die halbtransparent ist und einen Teil des Lichts durchlässt/transmittiert und einen anderen Teil in das Innere der LiDAR Scanvorrichtung 100 reflektiert 150 sowie absorbiert, so dass weniger Licht in die Umgebung 145 gelangt und somit die Erfassungsreichweite verringert wird. Im Zusammenhang mit der Beeinträchtigung der Leistung von Automotive LiDAR, dem bevorzugten Anwendungsgebiet der vorgeschlagenen LiDAR Scanvorrichtung 100, bezieht sich der Begriff Blockade auf alle physikalischen Phänomene, die innerhalb des optischen Elements 125 bzw. innerhalb der Frontscheibe/des Abdeckfensters und auf seiner bzw. ihrer Oberfläche auftreten und den optischen Pfad sowie die Eigenschaften des Systems, also der LiDAR Scanvorrichtung 100 beeinträchtigen und zu einem Transmissionsverlust führen. Mathematisch lässt sich der Transmissionsverlust Tv folgendermaßen ermitteln: Tv = 1 - T, wobei T den Transmissionsgrad des ausgesandten Laserstrahls am optischen Element 125 und/oder im optischen Pfad zwischen dem optischen Element 125 und der Sende- bzw. Empfangseinheit 105, 140 angibt. Beispiele für Blockaden sind Wasser, Schmutz, Eis, Staub, Feststoffe, Insekten, die vorübergehend oder dauerhaft an dem optischen Element 125 bzw. an der Frontscheibe/am Abdeckfenster haften, sowie Kratzer oder Alterung. Durch den Transmissionsverlust wird auch die Fähigkeit, Messpunkte zuverlässig erfassen zu können, negativ beeinträchtigt. 2 shows a schematic representation of a LiDAR scanning device 100 in which an optical element 125, which is designed as above, has a blockage 160 which is semi-transparent and transmits part of the light and reflects 150 and absorbs another part into the interior of the LiDAR scanning device 100, so that less light reaches the environment 145 and thus the detection range is reduced. In the context of the impairment of the performance of automotive LiDAR, the preferred application area of the proposed LiDAR scanning device 100, the term blockage refers to all physical phenomena that occur within the optical element 125 or within the windshield/cover window and on its surface and affect the optical path and the properties of the system, i.e. the LiDAR scanning device 100, and lead to a loss of transmission. The transmission loss Tv can be calculated mathematically as follows: Tv = 1 - T, where T indicates the degree of transmission of the emitted laser beam at the optical element 125 and/or in the optical path between the optical element 125 and the transmitting or receiving unit 105, 140. Examples of blockages are water, dirt, ice, dust, solids, insects that temporarily or permanently adhere to the optical element 125 or to the front window/cover window, as well as scratches or aging. The transmission loss also negatively affects the ability to reliably record measurement points.

Um ein sicherheitskritisches Echtzeitsystem zu bauen, ist die Identifizierung von Effekten, die die Leistung beeinträchtigen, von entscheidender Bedeutung. Das vorgeschlagene Verfahren zur Abschätzung des Transmissionsverlusts (bzw. Blockadeabschätzung) ist eine Funktion, die zu diesem Zweck entwickelt worden ist. Üblicherweise wird eine Blockadeabschätzung mit dem Zweck eingesetzt, als Indikator für die Aktivierung von Reinigungs- oder Heizsystemen zu dienen, um zu versuchen, die Sensorleistung, d.h. die Leistung der LiDAR Scanvorrichtung 100 wiederherzustellen. Eine andere Funktion, die die vorliegende Erfindung löst, ist die Abschätzung des Transmissionsverlusts, also des Grades der Blockade, um die Verschlechterung zu quantifizieren und ein autonomes Fahrzeugsystem, umfassend die LiDAR Scanvorrichtung 100, in die Lage zu versetzen, entsprechend zu handeln, um die Sicherheit zu gewährleisten.In order to build a safety-critical real-time system, identifying effects that affect performance is crucial. The proposed method for estimating transmission loss (or blockage estimation) is a function developed for this purpose. Typically, blockage estimation is used with the purpose of serving as an indicator for activating cleaning or heating systems in an attempt to restore sensor performance, i.e., the performance of the LiDAR scanning device 100. Another function that the present invention solves is estimating transmission loss, i.e., the degree of blockage, in order to quantify the degradation and enable an autonomous vehicle system comprising the LiDAR scanning device 100 to act accordingly to ensure safety.

Die Quantifizierung (und Qualifizierung) des Verlusts der Erfassungsreichweite ermöglicht es dem autonomen System, umfassend die LiDAR Scanvorrichtung 100, eine breitere Palette von Reaktionsmöglichkeiten auf das Vorhandensein einer Verschlechterung zu haben. Das autonome System kann beschließen, die Geschwindigkeit zu drosseln, aber den Betrieb fortzusetzen, oder es kann beschließen, zu versuchen, das Fahrzeug sicher anzuhalten und zu parken, wenn die Leistungsverschlechterung nicht durch Reinigung oder Heizung rückgängig gemacht werden kann oder den Daten der LiDAR Scanvorrichtung 100 nicht mehr zu vertrauen, etc.Quantifying (and qualifying) the loss of detection range allows the autonomous system, including the LiDAR scanning device 100, to have a wider range of response options to the presence of degradation. The autonomous system may decide to slow down but continue operating, or it may decide to attempt to safely to stop and park if the performance deterioration cannot be reversed by cleaning or heating or to no longer trust the data from the LiDAR scanning device 100, etc.

Die Blockade kann mehrere Beeinträchtigungen in einer LiDAR Scanvorrichtung 100 hervorrufen, zum einen die Blockade des ausgehenden Lichts, was die Messung vollständig verhindern würde, zum anderen die Blockade des empfangenden Lichts, was dessen Erkennung verhindert. In beiden Fällen handelt es sich um eine vollständige Blockade. In den Fällen, in denen das Licht sowohl auf der Sender- als auch auf der Empfängerseite bzw. auf der Seite der Sendeeinheit 105 als auch auf der Seite der Empfangseinheit 140 durch das optische Element 125 dringen kann, führt die Blockade zu einer Verringerung der Erfassungsreichweite (die Entfernung, in der eine LiDAR Scanvorrichtung 100 ein zuvor definiertes Objekt messen kann).The blockage can cause several impairments in a LiDAR scanning device 100, firstly the blockage of the outgoing light, which would completely prevent the measurement, and secondly the blockage of the received light, which would prevent its detection. In both cases, it is a complete blockage. In cases where the light can penetrate the optical element 125 on both the transmitter and receiver side, or on the side of the transmitter unit 105 as well as on the side of the receiver unit 140, the blockage leads to a reduction in the detection range (the distance at which a LiDAR scanning device 100 can measure a previously defined object).

3 zeigt eine schematische Darstellung eines Scanvorgangs 165 der LiDAR Scanvorrichtung 100 ohne Blockade 160 am optischen Element 125 in 2. Das optische Element 125 kann wie oben erläutert als Frontscheibe der LiDAR Scanvorrichtung 100 ausgebildet sein. Mithilfe des linienförmigen Laserstrahls 120 kann zumindest ein Ausschnitt eines Sichtfeldes (FoV: Field of View) 180 horizontal, in Richtung des Pfeils, der den Scanvorgang 165 andeutet, abgetastet bzw. abgerastert werden (Subsampling). Die einzelnen Punkte stellen dabei einzelne Positionen bzw. Berechnungspositionen bzw. Messpunkte dar, an denen z.B. eine genauere Auswertung, insbesondere zur Abschätzung des Transmissionsverlusts am optischen Element 125 durchgeführt wird. Die einzelnen Positionen sind in Zeilen 191 und Spalten 193 angeordnet. 3 shows a schematic representation of a scanning process 165 of the LiDAR scanning device 100 without blockage 160 on the optical element 125 in 2 The optical element 125 can be designed as a front panel of the LiDAR scanning device 100, as explained above. With the aid of the linear laser beam 120, at least a section of a field of view (FoV) 180 can be scanned or rasterized horizontally in the direction of the arrow indicating the scanning process 165 (subsampling). The individual points represent individual positions or calculation positions or measurement points at which, for example, a more precise evaluation is carried out, in particular to estimate the transmission loss at the optical element 125. The individual positions are arranged in rows 191 and columns 193.

Im Unterschied zu 3, zeigt 4 zeigt eine schematische Darstellung eines Scanvorgangs 170 der LiDAR Scanvorrichtung 100 mit Blockade 160 am optischen Element 125 in 2. Die Blockade 160 kann die oben genannten Effekte umfassen und dazu führen, dass ein Ergebnis des vorgeschlagenen Verfahrens zur Abschätzung des Transmissionsverlusts von dem Ergebnis des Scanvorgangs 165 in 3 ohne Blockade 160 abweicht.In contrast to 3 , shows 4 shows a schematic representation of a scanning process 170 of the LiDAR scanning device 100 with blockage 160 on the optical element 125 in 2 . The blockage 160 may include the above-mentioned effects and may result in a result of the proposed method for estimating the transmission loss being different from the result of the scanning process 165 in 3 without blockage 160.

Die Schätzung des Transmissionsverlustes erfolgt durch Aufzeichnung von Histogrammdaten an einer Reihe von Positionen 185, 190, (die z.B. in 3 schematisch gezeigt sind), am optischen Element 125 am Ende des Linienkalibrierungsprozesses, also beim Herstellungsprozess der LiDAR Scanvorrichtung 100. Anschließend wird bei normaler Nutzung die gleiche Histogrammerstellung an denselben Positionen 185, 190, (z.B. in 4 schematisch gezeigt), durchgeführt. Der Vergleich der End-of-Line-Messungen, also der Referenzmessung bzw. den Referenzmessungen mit der Betriebsmessung bzw. den Betriebsmessungen, also den neuen Messungen, kann dazu verwendet werden, eine Analyse des Transmissionsverlustes mit Hilfe eines Maschinenlernalgorithmus, z.B. einer vortrainierten maschinellen Lernregression, wie Support-Vektor-Regressor und/oder Random Forest Algorithmus, zu erstellen und im Falle des Random Forest Algorithmus eine Klassifikation des hervorgerufenen Transmissionsverlust bereitzustellen, also z.B. eine Wahrscheinlichkeit für das Vorliegen von Wasser, Dreck, etc. für die den Transmissionsverlust hervorgerufene Verschmutzung.The transmission loss is estimated by recording histogram data at a series of positions 185, 190, (which are e.g. in 3 shown schematically), on the optical element 125 at the end of the line calibration process, i.e. during the manufacturing process of the LiDAR scanning device 100. Subsequently, during normal use, the same histogram creation is performed at the same positions 185, 190, (eg in 4 shown schematically). The comparison of the end-of-line measurements, i.e. the reference measurement(s), with the operational measurement(s), i.e. the new measurements, can be used to create an analysis of the transmission loss using a machine learning algorithm, e.g. a pre-trained machine learning regression, such as a support vector regressor and/or a random forest algorithm, and in the case of the random forest algorithm to provide a classification of the transmission loss caused, e.g. a probability for the presence of water, dirt, etc. for the contamination causing the transmission loss.

5 a zeigt eine schematische Darstellung des Verfahrens 200 zum Abschätzen des Transmissionsverlusts an dem optischen Element 125 der LiDAR Scanvorrichtung 100 nach einer ersten Ausführungsform in 2. Das vorgeschlagene Verfahren 200 stellt insbesondere eine Methode zur Quantifizierung und Lokalisierung der Blockade 160 vor, die in den 2 und 4 gezeigt ist, indem die internen Reflexionen, z.B. die Reflexion 150 am optischen Element 125, analysiert werden, die auftreten, wenn eine Blockade 160 am optischen Element 125 als Frontscheibe auftritt. 5 a shows a schematic representation of the method 200 for estimating the transmission loss at the optical element 125 of the LiDAR scanning device 100 according to a first embodiment in 2 . The proposed method 200 in particular presents a method for quantifying and localizing the blockage 160, which is 2 and 4 is shown by analyzing the internal reflections, eg the reflection 150 on the optical element 125, which occur when a blockage 160 occurs on the optical element 125 as a front screen.

Das Verfahren 200 umfasst das Bereitstellen von Daten einer Referenzmessung für eine erste Position 185 in einem ersten Schritt 205. Die bereitgestellten Daten der Referenzmessung in dem ersten Schritt 205 umfassen ein aufgenommenes Referenzhistogramm 300 aus einer Menge an detektierten Photonen über die Zeit für die erste Position 185. Die Referenzmessung wird während eines Herstellungsprozesses der LiDAR Scanvorrichtung 100 durchgeführt, indem eine Reflexion des linienförmigen Laserstrahls 115, 120 am optischen Element 125 der LiDAR Scanvorrichtung 100 und/oder von einer Umgebung 145 der LiDAR Scanvorrichtung 100, während des Herstellungsprozesses aufgenommen wird. Auch im Zuge einer Neukalibrierung kann eine neue Referenzmessung aufgenommen werden. Das Referenzhistogramm 300, das sich aus der genannten Relation ergibt, ist z.B. in 6 dargestellt.The method 200 includes providing data of a reference measurement for a first position 185 in a first step 205. The data of the reference measurement provided in the first step 205 include a recorded reference histogram 300 from a quantity of detected photons over time for the first position 185. The reference measurement is carried out during a manufacturing process of the LiDAR scanning device 100 by recording a reflection of the linear laser beam 115, 120 on the optical element 125 of the LiDAR scanning device 100 and/or from an environment 145 of the LiDAR scanning device 100 during the manufacturing process. A new reference measurement can also be recorded during a recalibration. The reference histogram 300, which results from the above-mentioned relation, is shown, for example, in 6 shown.

Die Referenzmessung ist erforderlich, da die Blockade 160 aus den internen Reflexionen innerhalb der LiDAR Scanvorrichtung 100 abgeleitet wird, d. h. es gibt keinen direkten Weg zwischen den Reflexionsstrahlen von der Sendeeinheit 105 und der Blockade 160 in die Empfangseinheit 140, sondern das Licht prallt überall im Gehäuse ab und gelangt schließlich in die Empfangseinheit 140 bzw. das Detektionssystem. Daher ergeben sich aus den Systemmerkmalen (Gehäusegeometrie der LiDAR Scanvorrichtung 100) Verschiebungen bei allen gemessenen Positionen 185, 190. Außerdem ist dieser Offset je nach Lidar Scanvorrichtung 100 bzw. Sensor unterschiedlich, so dass der dynamische Bereich von Winkel zu Winkel variiert. Die Referenzmessung wird verwendet, um diesen Offset aus den Messungen unter „realen Bedingungen“ (der Betriebsmessung bzw. den Betriebsmessungen) zu entfernen.The reference measurement is necessary because the blockage 160 is derived from the internal reflections within the LiDAR scanning device 100, i.e. there is no direct path between the reflection beams from the transmitting unit 105 and the blockage 160 into the receiving unit 140, but the light bounces off everywhere in the housing and finally reaches the receiving unit 140 or the detection system. Therefore, the system characteristics (housing geometry of the LiDAR scanning device 100) result in shifts at all measured positions 185, 190. In addition, the This offset varies depending on the Lidar scanning device 100 or sensor, so the dynamic range varies from angle to angle. The reference measurement is used to remove this offset from the measurements under "real conditions" (the operational measurement(s).

Die Empfangseinheit 140 umfasst einen Pixel-Array Detektor (nicht dargestellt), der zumindest eine zweidimensionale Anordnung einzelner Pixel in Zeilen und Spalten als Array aufweist und insbesondere in Form zumindest einer APD, APD: Avalanche Photodiode oder zumindest einer SPAD, SPAD: Single Photon Avalanche Diode ausgebildet ist. Bevorzugt wird eine zweidimensionale Anordnung von SPADs als Empfangseinheit 140 verwendet, da eine SPAD in der Lage ist, einzelne Photonen zu erkennen, und die zweidimensionale Anordnung von SPADs z.B. zu einem Pixel gruppiert werden kann, wie oben genannt. Die einzelnen Pixel geben jeweils eine Menge an detektierten Photonen über die Zeit an. Die Photonen treffen insbesondere in diskreten Zeitintervallen auf die SPADS. Um eine bessere Auflösung zu erzielen, werden pro Messung (also Referenzmessung und/oder Betriebsmessung) mehrere Impulse gesendet, und die Ausgabe des Pixels zu einem bestimmten Abtastzeitpunkt (oder Bucket) ist die Addition der Photonen aller emittierten Impulse. Die Menge dieser Akkumulationen über die Zeit wird als Histogramm bezeichnet und ist in Form des Referenzhistogramms 300 (ohne Blockade am optischen Element 125) in 6 dargestellt.The receiving unit 140 comprises a pixel array detector (not shown) which has at least a two-dimensional arrangement of individual pixels in rows and columns as an array and is designed in particular in the form of at least one APD, APD: Avalanche Photodiode or at least one SPAD, SPAD: Single Photon Avalanche Diode. A two-dimensional arrangement of SPADs is preferably used as the receiving unit 140, since a SPAD is able to detect individual photons and the two-dimensional arrangement of SPADs can be grouped into a pixel, for example, as mentioned above. The individual pixels each indicate a quantity of detected photons over time. The photons hit the SPADS in particular at discrete time intervals. In order to achieve better resolution, several pulses are sent per measurement (i.e. reference measurement and/or operational measurement), and the output of the pixel at a specific sampling time (or bucket) is the addition of the photons of all emitted pulses. The amount of these accumulations over time is called a histogram and is in the form of the reference histogram 300 (without blockage at the optical element 125) in 6 shown.

In einem zweiten Schritt 210 des vorgeschlagenen Verfahrens 200 wird eine Betriebsmessung (wie oben genannt, eine Messung unter „realen Bedingungen“, also während des Betriebs der Li DAR Scanvorrichtung 100) für die erste Position 185 in 4 durchgeführt. Dabei wird eine Reflexion des linienförmigen Laserstrahls am optischen Element 125 der LiDAR Scanvorrichtung 100 und/oder von einer Umgebung 145 der LiDAR Scanvorrichtung 100, während des Betriebs von der Empfangseinheit 140 aufgenommen und ein Betriebshistogramm 305, 310 wird korrespondierend zum Referenzhistogramm 300, aus der Menge an detektierten Photonen über die Zeit für die erste Position 185 bereitgestellt. Die Steuereinheit 155 kann die genannten Betriebshistogrammdaten bereitstellen 211, für eine anschließende Durchführung eines dritten Schritts 215 des vorgeschlagenen Verfahrens 200.In a second step 210 of the proposed method 200, an operational measurement (as mentioned above, a measurement under “real conditions”, i.e. during operation of the Li DAR scanning device 100) is carried out for the first position 185 in 4 carried out. In this case, a reflection of the linear laser beam on the optical element 125 of the LiDAR scanning device 100 and/or from an environment 145 of the LiDAR scanning device 100 is recorded by the receiving unit 140 during operation and an operating histogram 305, 310 is provided corresponding to the reference histogram 300 from the amount of detected photons over time for the first position 185. The control unit 155 can provide 211 the aforementioned operating histogram data for a subsequent implementation of a third step 215 of the proposed method 200.

Ein Beispiel für ein Betriebshistogramm 305 ist z.B. in 7 dargestellt. Das Betriebshistogramm 305 kann z.B. einen Offset 340 aufweisen, der z.B. durch Hintergrundrauschen begründet sein kann. Ein weiteres Beispiel für ein Betriebshistogramm 310 ist in 8 zu sehen. Auch das Betriebshistogramm in 8 kann z.B. den Offset 340 aufweisen, der ähnlich zur 7 begründet sein kann. Im Unterschied zum Betriebshistogramm 305 in 7, kann das Betriebshistogramm 310 in 8 ein Sättigungsverhalten infolge einer im Vergleich zu 7 starken Blockade 160 an der ersten Position 185zeigen. Die erste Position 185 kann eine Position angeben, die in einem Bereich liegt, der eine Blockade aufweist. Ähnliches gilt für die weiteren Positionen 190. Das Sättigungsverhalten zeigt sich in 8 durch den abgeschnittenen Peak (abgeschnittene maximale Spitze 330) in der vertikalen Achse des Betriebshistogramms 310, die die Menge an detektierten Photonen angibt. Die maximale Spitze 335 des Betriebshistogramms 310 in 8 ist wertmäßig größer als die maximale Spitze 330 des Betriebshistogramms 305, sodass die Blockade 160 in 7 z.B. geringer ausgeprägt ist. Die starke Blockade 160, die sich anhand des Betriebshistogramms 310 in 8 zeigt, kann durch die oben genannten Effekte entstanden sein.An example of an operating histogram 305 is shown in 7 The operating histogram 305 can, for example, have an offset 340, which can be caused by background noise, for example. Another example of an operating histogram 310 is shown in 8th The operating histogram in 8th can have the offset 340, which is similar to the 7 In contrast to the operating histogram 305 in 7 , the operating histogram 310 can be 8th a saturation behaviour as a result of a compared to 7 strong blockage 160 at the first position 185. The first position 185 can indicate a position that lies in an area that has a blockage. The same applies to the other positions 190. The saturation behavior is shown in 8th by the truncated peak (truncated maximum peak 330) in the vertical axis of the operating histogram 310, which indicates the amount of detected photons. The maximum peak 335 of the operating histogram 310 in 8th is greater in value than the maximum peak 330 of the operating histogram 305, so that the blockage 160 in 7 eg is less pronounced. The strong blockage 160, which can be seen from the operating histogram 310 in 8th may have been caused by the effects mentioned above.

In einem dritten Schritt 215 des Verfahrens 200 wird eine Auswertung zur Abschätzung des Transmissionsverlusts basierend auf dem ersten und zweiten Schritt 205, 210 durchgeführt. Dabei kann das Durchführen der Auswertung in dem dritten Schritt 215 einen Vergleich des Referenzhistogramms 300 und des Betriebshistogramms 305, 310 beinhalten (nicht dargestellt), insbesondere können verschiedene Parameter (im Folgenden noch beschrieben) aus dem Referenzhistogramm 300 entnommen und/oder berechnet werden und dieselben Parameter aus dem Betriebshistogramm 305, 310 entnommen und/oder berechnet werden, beides jeweils für die erste Position 185 (und/oder für weitere Positionen 190) um die gewünschten Parameter exakt miteinander vergleichen zu können. In a third step 215 of the method 200, an evaluation is carried out to estimate the transmission loss based on the first and second steps 205, 210. Carrying out the evaluation in the third step 215 can include a comparison of the reference histogram 300 and the operating histogram 305, 310 (not shown), in particular various parameters (described below) can be taken from the reference histogram 300 and/or calculated and the same parameters can be taken from the operating histogram 305, 310 and/or calculated, both for the first position 185 (and/or for further positions 190) in order to be able to compare the desired parameters exactly with one another.

Die für das Verfahren 200 genannten ersten bis dritten Schritte 205, 210, 215 werden jeweils auch für weitere Positionen 190 in den 3 und 5 durchgeführt (sequenziell oder parallel), um die Umgebung 145 der LiDAR Scanvorrichtung 100 abzutasten. Die erste Position 185 und die weiteren Positionen 190 sind frei wählbar und bilden eine zumindest zweidimensionale Anordnung mit Zeilen 191 und Spalten 193 und definieren zumindest einen Ausschnitt eines Sichtfelds 180.The first to third steps 205, 210, 215 mentioned for the procedure 200 are also repeated for further positions 190 in the 3 and 5 carried out (sequentially or in parallel) to scan the environment 145 of the LiDAR scanning device 100. The first position 185 and the further positions 190 are freely selectable and form at least a two-dimensional arrangement with rows 191 and columns 193 and define at least a section of a field of view 180.

Die Steuereinheit 155 der Empfangseinheit 140 ist hierbei ausgelegt, das Referenzhistogramm 300 aus Daten der Referenzmessung (also z.B. des Scanvorgangs 165 in 3) für die erste Position 185 und/oder für weitere Positionen 190 bereitzustellen, und/oder das Betriebshistogramm 305, 310 während eines Betriebs der LiDAR Scanvorrichtung 100 für die erste Position 185 und/oder für weitere Positionen 190 bereitzustellen, und/oder das Differenzhistogramm 320 durch Subtraktion des Referenzhistogramms 300 von dem Betriebshistogramm 305, 310 für die erste Position 185 und/oder für weitere Positionen 190 bereitzustellen.The control unit 155 of the receiving unit 140 is designed to generate the reference histogram 300 from data of the reference measurement (e.g. of the scanning process 165 in 3 ) for the first position 185 and/or for further positions 190, and/or to provide the operating histogram 305, 310 during operation of the LiDAR scanning device 100 for the first position 185 and/or for further positions 190, and/or to provide the difference histogram 320 by subtracting the reference histogram togram 300 from the operating histogram 305, 310 for the first position 185 and/or for further positions 190.

5 b zeigt eine schematische Darstellung eines Verfahrens 400 zum Abschätzen eines Transmissionsverlusts an dem optischen Element 125 der LiDAR Scanvorrichtung 100 nach einer zweiten Ausführungsform in 2. Ein erster Schritt 405 sowie ein zweiter Schritt 410 können dabei ähnlich zum ersten Schritt 205 und zweiten Schritt 210 in 5 a ausgebildet sein, daher wird auf obige Erläuterung verwiesen. 5 b shows a schematic representation of a method 400 for estimating a transmission loss at the optical element 125 of the LiDAR scanning device 100 according to a second embodiment in 2 . A first step 405 and a second step 410 can be similar to the first step 205 and second step 210 in 5 a trained, therefore reference is made to the above explanation.

In einem dritten Schritt 415 des Verfahrens 400 wird die Auswertung zur Abschätzung des Transmissionsverlusts basierend auf dem ersten und zweiten Schritt 405, 410 durchgeführt, indem aus dem Betriebshistogramm 305, 310 und dem Referenzhistogramm 300 ein Differenzhistogramm 315 erzeugt wird. Das Differenzhistogramm 315 wird in einem ersten Zwischenschritt 417 des dritten Schritts 415 des genannten Verfahrens 400 durch Subtraktion des Referenzhistogramms 300 von dem Betriebshistogramm 305, 310 von der Steuereinheit 155 bereitgestellt. Im gezeigten Beispiel in 9 kann das Differenzhistogramm 315 im ersten Zwischenschritt 417 durch Subtraktion des Referenzhistogramms 300 in 6 von dem Betriebshistogramm 310 in 7 generiert worden sein. Die Steuereinheit 155 kann dann Differenzhistogrammdaten bereitstellen 418.In a third step 415 of the method 400, the evaluation for estimating the transmission loss is carried out based on the first and second steps 405, 410 by generating a difference histogram 315 from the operating histogram 305, 310 and the reference histogram 300. The difference histogram 315 is provided by the control unit 155 in a first intermediate step 417 of the third step 415 of the method 400 by subtracting the reference histogram 300 from the operating histogram 305, 310. In the example shown in 9 the difference histogram 315 can be converted in the first intermediate step 417 by subtracting the reference histogram 300 into 6 from the operating histogram 310 in 7 The control unit 155 can then provide difference histogram data 418.

In einem zweiten Zwischenschritt 419 des dritten Schritts 415 werden eine Mehrzahl an Parametern 320 aus dem Differenzhistogramm 315 extrahiert, die der Abschätzung des Transmissionsverlusts zu Grunde gelegt werden. Dabei umfassen die Mehrzahl an Parametern zumindest die nachfolgenden Größen und/oder eine Kombination der nachfolgenden Größen: eine Breite des Differenzhistogramms (Impulsbreite), eine Form des Differenzhistogramms, eine Steilheit von Flanken des Differenzhistogramms, ein Rauschwert, eine maximale Spitze, eine integrale Fläche des Differenzhistogramms (Impulsintegral, d.h. Integration aller Messungen aller „Proben/Samples“ entlang der Impulsbreite, wobei mit „Proben/Samples“ auf der horizontalen Achse der 6 bis 9 jeweils die Position 185 bzw. die weiteren Positionen 190 bezeichnet werden), ein Maximum 325 des Differenzhistogramms (maximale Spitze). Es versteht sich, dass die Aufzählung nicht abschließend erfolgt ist.In a second intermediate step 419 of the third step 415, a plurality of parameters 320 are extracted from the difference histogram 315, which are used as a basis for estimating the transmission loss. The plurality of parameters comprise at least the following variables and/or a combination of the following variables: a width of the difference histogram (pulse width), a shape of the difference histogram, a steepness of edges of the difference histogram, a noise value, a maximum peak, an integral area of the difference histogram (pulse integral, ie integration of all measurements of all "samples" along the pulse width, with "samples" on the horizontal axis of the 6 to 9 position 185 and the other positions 190 are designated respectively), a maximum of 325 of the difference histogram (maximum peak). It is understood that this list is not exhaustive.

Erfolgt beim Durchführen der Auswertung in dem dritten Schritt 215 in 5 a ein Vergleich des Referenzhistogramms 300 und des Betriebshistogramms 305, 310, jeweils für übereinstimmende Positionen 185, 190, so können die Mehrzahl an Parametern zumindest die nachfolgenden Größen und/oder eine Kombination der nachfolgenden Größen entsprechen: eine Breite des Referenzhistogramms und/oder des Betriebshistogramms (Impulsbreite), eine Form des Referenzhistogramms und/oder des Betriebshistogramms, eine Steilheit von Flanken des Referenzhistogramms und/oder des Betriebshistogramms, ein Rauschwert, eine maximale Spitze des Referenzhistogramms und/oder des Betriebshistogramms, eine integrale Fläche des Referenzhistogramms und/oder des Betriebshistogramms.If the evaluation is carried out in the third step 215 in 5 a a comparison of the reference histogram 300 and the operating histogram 305, 310, each for corresponding positions 185, 190, the plurality of parameters may correspond to at least the following quantities and/or a combination of the following quantities: a width of the reference histogram and/or the operating histogram (pulse width), a shape of the reference histogram and/or the operating histogram, a steepness of edges of the reference histogram and/or the operating histogram, a noise value, a maximum peak of the reference histogram and/or the operating histogram, an integral area of the reference histogram and/or the operating histogram.

In einem dritten Zwischenschritt 421 des dritten Schritts 415 werden die Mehrzahl an extrahierten Parametern einem Maschinenlernalgorithmus zugeführt. Dies gilt für auch für den alternativen Vergleich des Referenzhistogramms 300 und des Betriebshistogramms 305, 310 und der Extraktion der oben genannten Parameter. Das heißt, der dritte Schritt 415 ist mittels Maschinenlernalgorithmus durchführbar. Dies gilt ohne Einschränkung auch für den dritten Schritt 215 in 5 b. Der Maschinenlernalgorithmus ist z.B. mithilfe Support-Vektor-Regressor und/oder Random Forest Algorithmus ausführbar. Der Maschinenlernalgorithmus wird basierend auf der Mehrzahl an Parametern vorab trainiert und gibt während des Betriebs der LiDAR Scanvorrichtung 100 eine Abschätzung des Transmissionsverlusts 427 und/oder ein Vertrauensniveau 429 über die Abschätzung aus. Bei Verwendung eines geeigneten Klassifikationsalgorithmus, z.B. des Random Forest Algorithmus, kann auch eine Klassifikation des hervorgerufenen Transmissionsverlust ausgegeben werden, z.B. mit welcher Wahrscheinlichkeit eine Verschmutzung als Wasser, Dreck, o.ä. ausgebildet ist (nicht dargestellt).In a third intermediate step 421 of the third step 415, the majority of extracted parameters are fed to a machine learning algorithm. This also applies to the alternative comparison of the reference histogram 300 and the operating histogram 305, 310 and the extraction of the above-mentioned parameters. This means that the third step 415 can be carried out using a machine learning algorithm. This also applies without restriction to the third step 215 in 5 b The machine learning algorithm can be executed, for example, using a support vector regressor and/or a random forest algorithm. The machine learning algorithm is pre-trained based on the plurality of parameters and outputs an estimate of the transmission loss 427 and/or a confidence level 429 about the estimate during operation of the LiDAR scanning device 100. When using a suitable classification algorithm, e.g. the random forest algorithm, a classification of the transmission loss caused can also be output, e.g. the probability that contamination is in the form of water, dirt, or similar (not shown).

Die genannte Mehrzahl an Parametern werden in eine Reihe von Regressionsmodellen 425 für maschinelles Lernen eingegeben, die zuvor trainiert wurden. Dabei kann es sich entweder um verschiedene Trainings desselben Modells handeln, z. B. einen Support-Vektor-Regressor und/oder Random Forest Algorithmus, der mit verschiedenen Daten und Hyperparametern trainiert wurde, oder um verschiedene Modelle, die mit denselben Daten trainiert wurden, oder um eine Kombination. Jedes Modell gibt seinen eigenen Wert für den Übertragungsverlust aus, für den in einem anschließenden Prozess in einem vierten Zwischenschritt 423 ein Abstimmungsschema verwendet wird, um den richtigen Transmissionsverlust und den Vertrauenswert (z.B. in Form einer Standardabweichung σ oder einer Abweichungs- bzw. Fehlerangabe für die „Zuverlässigkeit“ der einzelnen verwendeten Modelle) zu bestimmen.The said plurality of parameters are input to a number of machine learning regression models 425 that have been previously trained. These may be either different trainings of the same model, e.g. a support vector regressor and/or random forest algorithm trained with different data and hyperparameters, or different models trained with the same data, or a combination. Each model outputs its own transmission loss value for which a tuning scheme is used in a subsequent process in a fourth intermediate step 423 to determine the correct transmission loss and confidence value (e.g. in the form of a standard deviation σ or a deviation or error indication for the “reliability” of the individual models used).

Wird nur ein Regressionsmodell zur Auswertung der extrahierten Mehrzahl an Parametern 320 aus dem Differenzhistogramm 315 genutzt, so kann beispielsweise auf die Ermittlung/Ausgabe eines Vertrauenswerts verzichtet werden. Es ist zudem denkbar verschiedene Parameter für die einzelnen Regressionsmodelle zu verwenden, beispielsweise für ein Modell die Impulsbreite des Differenzhistogramms, die Form des Differenzhistogramms, die Steilheit der Flanken und für ein weiteres Modell, die integrale Fläche des Differenzhistogramms, die maximale Spitze und den Rauschwert, o.ä. Die Histogrammdaten des Differenzhistogramms 315 werden verarbeitet, um Merkmale aus dem Licht zu extrahieren, das aus sehr geringen Entfernungen kommt.If only one regression model is used to evaluate the extracted majority of parameters 320 from the difference histogram 315, for example, the determination/output of a confidence value can be dispensed with. It is also conceivable to use different parameters for the individual regression models, for example for one model the pulse width of the difference histogram, the shape of the difference histogram, the steepness of the edges and for another model, the integral area of the difference histogram, the maximum peak and the noise value, or similar. The histogram data of the difference histogram 315 are processed to extract features from the light that comes from very short distances.

Die Abschätzung des Transmissionsverlusts kann dabei als ein binäres Ereignis für die entsprechende Position 185 bzw. weitere Position 190 (also vorhandener Transmissionsverlust oder nicht vorhandener Transmissionsverlust) oder in Form einer graduellen Abstufung (z.B. höherer Transmissionsverlust für die Position 185 als für die weitere Position 190) ausgegeben werden.The estimate of the transmission loss can be output as a binary event for the corresponding position 185 or further position 190 (i.e. existing transmission loss or non-existent transmission loss) or in the form of a gradual gradation (e.g. higher transmission loss for position 185 than for the further position 190).

Dieses Verfahren 200, 400 kann auf alle Pixel bzw. Positionen angewandt werden, wenn das System bzw. die LiDAR Scanvorrichtung 100 dies zulässt und die Verarbeitungsleistung und Bandbreite zur Verfügung stehen, oder nur auf eine Teilmenge (und damit eine Unterabtastung/„Subsampling“) der Pixel bzw. Positionen, wie in 3 und 4 dargestellt.This method 200, 400 can be applied to all pixels or positions if the system or the LiDAR scanning device 100 allows it and the processing power and bandwidth are available, or only to a subset (and thus a subsampling) of the pixels or positions, as in 3 and 4 shown.

Die Erfindung wurde im Detail durch bevorzugte Ausführungsbeispiele beschrieben. Anstelle der beschriebenen Ausführungsbeispiele sind weitere Ausführungsbeispiele denkbar, welche weitere Abwandlungen oder Kombinationen von beschriebenen Merkmalen aufweisen können. Die Erfindung ist aus diesem Grund nicht durch die offenbarten Beispiele eingeschränkt, da vom Fachmann andere Variationen daraus abgeleitet werden können, ohne dabei den Schutzumfang der Erfindung zu verlassen.The invention has been described in detail by means of preferred embodiments. Instead of the embodiments described, further embodiments are conceivable, which may have further modifications or combinations of the described features. For this reason, the invention is not limited by the disclosed examples, since other variations can be derived therefrom by the person skilled in the art without departing from the scope of the invention.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA accepts no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

US 20120182553 A1 [0002]

Claims

Method (200, 400) for estimating a transmission loss (427) on an optical element (125), in particular a front or protective screen, of a LiDAR scanning device (100) which is operated with a transmitting unit (105) which emits at least one linear laser beam (110, 120), comprising the following steps: Providing data of a reference measurement for a first position (185) in a first step (205, 405), wherein the data of the reference measurement provided in the first step (205, 405) comprise a recorded reference histogram (300) from a quantity of detected photons over time for the first position (185), Performing an operational measurement for the first position (185) in a second step (210, 410), wherein when performing the operational measurement, a reflection (150) of the linear laser beam (120) on the optical element (125) of the LiDAR scanning device (100) and/or from an environment (145) of the LiDAR scanning device (100) is recorded during operation and an operating histogram (305, 310) corresponding to the reference histogram (300) is provided from the amount of detected photons over time for the first position (185), and performing an evaluation to estimate the transmission loss in a third step (215, 415) based on the first (205, 405) and second step (210, 410).

Procedure according to Claim 1 , wherein during the evaluation in the third step (415) a difference histogram (315) is provided by subtracting the reference histogram (300) from the operating histogram (305, 310).

Procedure according to Claim 1 or 2 , wherein the first to third steps (205, 210, 215, 405, 410, 415) are carried out for further positions (190) in order to scan the environment (145) of the LiDAR scanning device (100), wherein the first position (185) and the further positions (190) are freely selectable and form an at least two-dimensional arrangement with rows (191) and columns (193) and define at least a section of a field of view (180).

Method according to one of the Claims 1 until 3 , wherein when carrying out the evaluation in the third step (215, 415), a plurality of parameters (320) are extracted from the reference histogram (300) and/or the operating histogram (305, 310) and/or the difference histogram (315), which are used as the basis for estimating the transmission loss, wherein the plurality of parameters (320) comprise at least the following variables and/or a combination of the following variables: a width of the reference histogram and/or the operating histogram and/or the difference histogram, a shape of the reference histogram and/or the operating histogram and/or the difference histogram, a steepness of flanks of the reference histogram and/or the operating histogram and/or the difference histogram, a noise value, an integral area of the reference histogram and/or the operating histogram and/or the difference histogram, a maximum peak of the reference histogram and/or the operating histogram and/or the difference histogram (325).

Procedure according to Claim 4 , wherein the third step (215, 415) can be carried out by means of a machine learning algorithm, in particular by means of a support vector regressor and/or a random forest algorithm, and wherein the machine learning algorithm is pre-trained based on the plurality of parameters (320) and outputs an estimate of the transmission loss and/or a confidence level about the estimate and/or a classification of the transmission loss caused during operation of the LiDAR scanning device.

Method according to one of the Claims 3 until 5 , where the transmission loss estimate is output as a binary event or in the form of a gradual step.

Method according to one of the Claims 1 until 6 , wherein the reference measurement is carried out during a manufacturing process of the LiDAR scanning device (100) by recording a reflection (150) of the linear laser beam (120) at the optical element (125) of the LiDAR scanning device (100) and/or from an environment (145) of the LiDAR scanning device (100) during the manufacturing process.

Procedure according to one of the Claims 1 until 7 , wherein the transmission loss at the optical element (125) is caused by contamination and/or damage and/or by weather influences at the optical element (125).

LiDAR scanning device (100) for use in a vehicle, comprising: a transmitting unit (105) which emits a linear laser beam (110, 120), wherein the transmitting unit (105) is designed in particular as a single transmitting unit, at least one optical element (125) which forms an interface of an optical LiDAR path comprising the emitted and/or received Laser beam (110, 115, 120) of the LiDAR scanning device (100), to an environment (145) of the LiDAR scanning device (100), a receiving unit (140) for detecting the received laser beam (115, 120), and a control unit (155) which is designed to carry out a method (200, 400) for estimating a transmission loss at the optical element (125) of the LiDAR scanning device (100) according to one of the Claims 1 until 8th to execute.

LiDAR scanning device according to Claim 9 , wherein the control unit (155) is designed to evaluate a reference histogram (300) from data of a reference measurement for a first position (185) and/or for further positions (190), and/or to evaluate an operating histogram (305, 310) during operation of the LiDAR scanning device (100) for the first position (185) and/or for further positions (190), and/or to evaluate a difference histogram (315) by subtracting the reference histogram (300) from the operating histogram (305, 310) for the first position (185) and/or for further positions (190).

LiDAR scanning device according to Claim 10 , wherein the receiving unit (140) comprises a pixel array detector which has at least a two-dimensional arrangement of individual pixels in rows and columns as an array and is designed in particular in the form of at least one APD, APD: Avalanche Photodiode or at least one SPAD, SPAD: Single Photon Avalanche Diode, and wherein the individual pixels each indicate a quantity of detected photons over time for the first position (185) and/or for further positions (190).