[go: up one dir, main page]

DE102024107607A1 - OBJECT DETECTION METHOD AND OPTICAL DETECTION SYSTEM - Google Patents

OBJECT DETECTION METHOD AND OPTICAL DETECTION SYSTEM

Info

Publication number
DE102024107607A1
DE102024107607A1 DE102024107607.0A DE102024107607A DE102024107607A1 DE 102024107607 A1 DE102024107607 A1 DE 102024107607A1 DE 102024107607 A DE102024107607 A DE 102024107607A DE 102024107607 A1 DE102024107607 A1 DE 102024107607A1
Authority
DE
Germany
Prior art keywords
optical
data
optical data
list
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102024107607.0A
Other languages
German (de)
Inventor
Sarath Manchala
Rainer Koch
Ali Bassiouny
Romaric PERI
Adarsh Lakshminarayana
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Detection Systems GmbH
Original Assignee
Valeo Detection Systems GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Detection Systems GmbH filed Critical Valeo Detection Systems GmbH
Priority to DE102024107607.0A priority Critical patent/DE102024107607A1/en
Priority to PCT/EP2025/055820 priority patent/WO2025195761A1/en
Publication of DE102024107607A1 publication Critical patent/DE102024107607A1/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Offenbarung betrifft ein Verfahren zur Objektdetektion unter Verwendung erster und zweiter optischer Daten (21, 22) eines Detektionsbereichs (32), wobei die ersten optischen Daten (21) aktive Bilddaten umfassen und die zweiten optischen Daten (22) passive Bilddaten umfassen, wobei das Verfahren umfasst:
Empfangen der ersten und zweiten optischen Daten (21, 22) von einem optischen Empfangssensor (12), wobei der optische Empfangssensor (12) eine Vielzahl von Pixeln umfasst, wobei die Pixel dazu ausgelegt sind, die ersten und zweiten optischen Daten (21, 22) des Detektionsbereichs (32) bereitzustellen,
Durchführen einer Objektdetektion im Detektionsbereich (32) unter Verwendung der ersten und zweiten optischen Daten (21, 22).
Die vorliegende Offenbarung betrifft ferner ein optisches Detektionssystem (10) und ein Fahrzeug (30), das das optische Detektionssystem (10) umfasst.
The present disclosure relates to a method for object detection using first and second optical data (21, 22) of a detection area (32), wherein the first optical data (21) comprise active image data and the second optical data (22) comprise passive image data, the method comprising:
Receiving the first and second optical data (21, 22) from an optical receiving sensor (12), wherein the optical receiving sensor (12) comprises a plurality of pixels, wherein the pixels are designed to provide the first and second optical data (21, 22) of the detection area (32),
Performing an object detection in the detection area (32) using the first and second optical data (21, 22).
The present disclosure further relates to an optical detection system (10) and a vehicle (30) comprising the optical detection system (10).

Description

Technisches GebietTechnical area

Die vorliegende Offenbarung betrifft ein Verfahren zur Objektdetektion unter Verwendung erster und zweiter optischer Daten, ein optisches Detektionssystem und ein Fahrzeug, das ein solches optisches Detektionssystem umfasst.The present disclosure relates to a method for object detection using first and second optical data, an optical detection system, and a vehicle including such an optical detection system.

Hintergrundbackground

Moderne Fahrzeuge wie Autos, Lieferwagen, Lastwagen, Motorräder usw. können Sensorsysteme umfassen, deren Daten für Fahrerinformationen verwendet werden und/oder durch Fahrerassistenzsysteme verwendet werden.Modern vehicles such as cars, vans, trucks, motorcycles, etc. may include sensor systems whose data is used for driver information and/or used by driver assistance systems.

Sensorsysteme werden fortwährend für verschiedene Funktionen entwickelt, z. B. für die Erfassung von Umgebungsinformationen im Nahbereich und Fernbereich von Fahrzeugen, wie Personenkraftwagen oder Nutzfahrzeugen. Basierend auf den erfassten Daten kann ein Modell der Fahrzeugumgebung erzeugt werden, und eine Reaktion auf Änderungen in dieser Fahrzeugumgebung ist möglich. Sensorsysteme können auch als Sensoren für Fahrerassistenzsysteme, insbesondere Assistenzsysteme zur autonomen oder teilautonomen Fahrzeugsteuerung, dienen. Sie können zum Beispiel verwendet werden, um Hindernisse und/oder andere Verkehrsteilnehmer vor, hinter dem Fahrzeug oder in dessen totem Winkel zu detektieren. Sensorsysteme können auf unterschiedlichen Sensorprinzipien, wie Radar, Ultraschall, Optik, basieren.Sensor systems are continually being developed for various functions, e.g., for detecting environmental information in the near and far range of vehicles, such as passenger cars or commercial vehicles. Based on the acquired data, a model of the vehicle's environment can be created, and a reaction to changes in this environment is possible. Sensor systems can also serve as sensors for driver assistance systems, particularly assistance systems for autonomous or semi-autonomous vehicle control. They can be used, for example, to detect obstacles and/or other road users in front of, behind, or in the vehicle's blind spot. Sensor systems can be based on different sensor principles, such as radar, ultrasound, or optics.

Optische Detektionssysteme umfassen passive optische Detektionssysteme wie z. B. eine Kamera und aktive optische Detektionssysteme wie z. B. ein Lidar-System (Lidar: Light Detection And Ranging - Lichtdetektion und -entfernungsmessung). Ein Lidar-System umfasst eine optische Übertragungsvorrichtung und eine optische Empfangsvorrichtung. Die Übertragungsvorrichtung emittiert ein optisches Signal, das kontinuierlich oder gepulst sein kann. Darüber hinaus kann das optische Signal moduliert sein. Beispielsweise können elektromagnetische Wellen in Form von Laserstrahlen im ultravioletten, sichtbaren oder Infrarot-Bereich als optische Signale in einem Lidar-System verwendet werden. Das Licht wird durch die optische Empfangsvorrichtung nach Reflexion von einem Objekt in einem Detektionsbereich des Lidar-Systems empfangen. Das optische Signal kann zum Beispiel gemäß einem Laufzeitverfahren ausgewertet werden, und die räumliche Position und die Entfernung des Objekts, an dem die Reflexion erfolgte, können bestimmt werden. Außerdem kann es möglich sein, eine Relativgeschwindigkeit zu bestimmen. Reflexion oder reflektiertes Licht werden hier derart verstanden, dass sie jegliches Licht bedeuten, das zurückreflektiert wird, und sollen insbesondere auch Licht einschließen, das durch Streuung oder Absorptionsemission zurückreflektiert wird.Optical detection systems include passive optical detection systems such as a camera and active optical detection systems such as a LIDAR (Light Detection and Ranging) system. A LIDAR system comprises an optical transmission device and an optical reception device. The transmission device emits an optical signal, which can be continuous or pulsed. Furthermore, the optical signal can be modulated. For example, electromagnetic waves in the form of laser beams in the ultraviolet, visible, or infrared range can be used as optical signals in a LIDAR system. The light is received by the optical reception device after being reflected from an object in a detection zone of the LIDAR system. The optical signal can be evaluated, for example, using a time-of-flight method, and the spatial position and distance of the object at which the reflection occurred can be determined. It may also be possible to determine a relative velocity. Reflection or reflected light is understood herein to mean any light that is reflected back and is intended to include, in particular, light that is reflected back by scattering or absorption emission.

Ein optischer Empfangssensor eines optischen Detektionssystems kann mehrere Empfangselemente umfassen, sogenannte Pixel. Ein Pixel des optischen Empfangssensors erzeugt ein elektrisches Signal als Reaktion auf den Empfang eines optischen Signals. Die Pixel können so eingerichtet sein, dass sie Licht aus unterschiedlichen Empfangswinkeln empfangen.An optical receiving sensor of an optical detection system may comprise multiple receiving elements, called pixels. A pixel of the optical receiving sensor generates an electrical signal in response to the reception of an optical signal. The pixels may be configured to receive light from different reception angles.

In US2016/0054434 ist eine Doppelmodus-Bildgebungsvorrichtung beschrieben. Die Bildgebungsvorrichtung umfasst ein pixeliertes Array von Halbleiterdetektorelementen, wobei jedes Detektionselement elektrisch mit einer integrierten Schaltung verbunden ist, wobei die integrierte Schaltung jedes der Pixel einen passiven Signalpfad und einen transienten Signalpfad umfasst. Der passive Pfad stellt Bildgebung aufeinanderfolgender Frames oder Szenen bereit, und der transiente Pfad detektiert die transienten elektromagnetischen Ereignisse wie etwa Laserimpulse. Der passive Pfad und der transiente Pfad arbeiten gleichzeitig.In US2016/0054434 A dual-mode imaging device is described. The imaging device comprises a pixelated array of semiconductor detector elements, each detection element electrically connected to an integrated circuit, the integrated circuit of each of the pixels comprising a passive signal path and a transient signal path. The passive path provides imaging of successive frames or scenes, and the transient path detects transient electromagnetic events, such as laser pulses. The passive path and the transient path operate simultaneously.

In US2019/0353791A1 ist eine elektronische Vorrichtung beschrieben, die dazu ausgelegt ist, erste Bilddaten eines passiven optischen Sensors zu empfangen und zweite Daten eines aktiven Sensors zu empfangen. Die Daten des aktiven Sensors werden zum Ergänzen der Bilddaten des passiven optischen Sensors verwendet.In US2019/0353791A1 An electronic device is described that is designed to receive first image data from a passive optical sensor and second data from an active sensor. The data from the active sensor is used to supplement the image data from the passive optical sensor.

KurzdarstellungBrief description

Ein Verfahren zur Objektdetektion verwendet erste und zweite optische Daten eines Detektionsbereichs. Die ersten optischen Daten umfassen aktive Bilddaten, die zweiten optischen Daten umfassen passive Bilddaten. Das Verfahren umfasst:

  • • Empfangen der ersten und zweiten optischen Daten von einem optischen Empfangssensor, wobei der optische Empfangssensor eine Vielzahl von Pixeln umfasst, wobei die Pixel dazu ausgelegt sind, die ersten und zweiten optischen Daten des Detektionsbereichs bereitzustellen.
  • • Durchführen einer Objektdetektion im Detektionsbereich unter Verwendung der ersten und zweiten optischen Daten.
A method for object detection uses first and second optical data of a detection area. The first optical data comprises active image data, and the second optical data comprises passive image data. The method comprises:
  • • Receiving the first and second optical data from an optical receiving sensor, wherein the optical receiving sensor comprises a plurality of pixels, the pixels being configured to provide the first and second optical data of the detection area.
  • • Performing object detection in the detection area using the first and second optical data.

Die Verwendung der ersten und zweiten optischen Daten zum Durchführen der Objektdetektion ermöglicht einer Selbstvalidierung der Objektdetektion. Die Verwendung der ersten und zweiten optischen Daten, die durch denselben optischen Empfangssensor bereitgestellt werden, ermöglicht die Durchführung der Objektdetektion einschließlich der Selbstvalidierung in einem sehr kurzen Zeitrahmen, zum Beispiel in Echtzeit, z. B. innerhalb von Nanosekunden.The use of the first and second optical data to perform the object detection enables self-validation of the object detection. The use of the first and second optical data, which are generated by the same optical receiver The capture sensor enables object detection, including self-validation, to be performed in a very short time frame, for example in real time, e.g., within nanoseconds.

Der optische Empfangssensor umfasst Pixel, die lichtempfindliche Vorrichtungen umfassen, die Licht erfassen und in ein elektrisches Signal umwandeln, das weiterverarbeitet, z. B. gemessen, analysiert und interpretiert, werden kann. Die lichtempfindlichen Vorrichtungen können Photodioden, Charge-Coupled Devices (CCD), CMOS-Sensoren, Photomultiplier-Röhren, Einzelphotonen-Avalanche-Dioden (SPADs) oder ähnliches umfassen.The optical receiving sensor comprises pixels, which contain light-sensitive devices that capture light and convert it into an electrical signal that can be further processed, e.g., measured, analyzed, and interpreted. The light-sensitive devices can include photodiodes, charge-coupled devices (CCDs), CMOS sensors, photomultiplier tubes, single-photon avalanche diodes (SPADs), or similar.

Der optische Empfangssensor stellt sowohl die ersten als auch die zweiten optischen Daten bereit. Er ist dazu ausgelegt, sowohl die aktiven Bilddaten als auch die passiven Bilddaten des Detektionsbereichs bereitzustellen. Ein jeweiliges Pixel ist dazu ausgelegt, die aktiven Bilddaten und die passiven Bilddaten auszugeben. Der Detektionsbereich ist ein Bereich in der Umgebung des optischen Empfangssensors, aus dem die optischen Signale erfasst werden.The optical receiving sensor provides both the first and second optical data. It is designed to provide both the active image data and the passive image data of the detection area. Each pixel is designed to output the active image data and the passive image data. The detection area is an area in the vicinity of the optical receiving sensor from which the optical signals are detected.

Der optische Empfangssensor kann in einem optischen Detektionssystem enthalten sein. Das optische Detektionssystem verwendet optische Signale zum Detektieren und/oder Messen von Objekten und/oder Zuständen in seinem Detektionsbereich. Der Detektionsbereich ist ein Bereich in der Umgebung des optischen Detektionssystems, der durch das optische Detektionssystem abgedeckt wird. Das optische Detektionssystem ist ein kombiniertes aktives und passives optisches Detektionssystem, wobei der optische Empfangssensor, der im optischen Detektionssystem enthalten ist, dazu ausgelegt ist, sowohl erste als auch zweite optische Signale zu detektieren und aktive und passive Bilddaten unter Verwendung der ersten und zweiten optischen Signale auszugeben.The optical receiving sensor can be included in an optical detection system. The optical detection system uses optical signals to detect and/or measure objects and/or conditions within its detection range. The detection range is an area in the vicinity of the optical detection system that is covered by the optical detection system. The optical detection system is a combined active and passive optical detection system, wherein the optical receiving sensor included in the optical detection system is configured to detect both first and second optical signals and output active and passive image data using the first and second optical signals.

Aktive Bilddaten werden unter Verwendung optischer Signale erhalten, die durch eine optische Quelle des optischen Detektionssystems emittiert werden. Solche emittierten optischen Signale werden zum Beispiel durch Laser oder LEDs erzeugt, die in der optischen Quelle enthalten sind. Das emittierte optische Signal wird dann in den Detektionsbereich zurückreflektiert und analysiert. Aktive Bilddaten werden durch das aktive Beleuchten des Detektionsbereichs, das Erfassen und das Analysieren des reflektierten Lichts erhalten. Beispiele für aktive optische Detektionssysteme umfassen Lidar-Systeme.Active image data is obtained using optical signals emitted by an optical source of the optical detection system. Such emitted optical signals are generated, for example, by lasers or LEDs contained in the optical source. The emitted optical signal is then reflected back into the detection area and analyzed. Active image data is obtained by actively illuminating the detection area, capturing, and analyzing the reflected light. Examples of active optical detection systems include lidar systems.

Passive Bilddaten werden auf Grundlage von Umgebungslicht oder Wärmeemission von z. B. Objekten im Detektionsbereich erhalten. Passive Bilddaten werden durch das Erfassen und das Analysieren von Licht oder Strahlung erhalten, das bzw. die natürlich vom Detektionsbereich ausstrahlt oder in diesem reflektiert wird.Passive image data is obtained based on ambient light or heat emissions from objects in the detection zone, for example. Passive image data is obtained by capturing and analyzing light or radiation that naturally radiates from or is reflected within the detection zone.

In einigen Ausführungsformen können die ersten optischen Daten, die die aktiven Bilddaten umfassen, erfasst werden, wenn das reflektierte Licht von einem Beleuchtungszeitraum zurückerwartet wird. Die ersten optischen Daten können insbesondere 3D-Bilddaten umfassen.In some embodiments, the first optical data comprising the active image data may be acquired when the reflected light is expected to return from an illumination period. The first optical data may, in particular, comprise 3D image data.

3D-Bilddaten werden manchmal als Punktwolkendaten bezeichnet. Die Punkte der Punktwolke umfassen Informationen über den räumlichen Ort und die Tiefe der Reflexionspunkte in der Umgebung. Die Reflexionspunkte sind die Punkte, an denen die Reflexion des durch das optische Detektionssystem emittierten und empfangenen optischen Signals stattfand. Die Punktwolke kann als ein Satz von Punkten verstanden werden, wobei jeder Punkt entsprechende Koordinaten in einem bestimmten dreidimensionalen Koordinatensystem enthält. Im Fall einer dreidimensionalen Punktwolke können die dreidimensionalen Koordinaten zum Beispiel durch die Einfallsrichtung eines Lichtstrahls, der an einem Reflexionspunkt reflektiert wird, und die entsprechende Propagationszeit oder den radialen Abstand, auch als Tiefe bezeichnet, bestimmt werden, die für diesen bestimmten Punkt gemessen werden. Die Einfallsrichtung kann zum Beispiel durch den Horizontalwinkel und den Höhenwinkel gegeben sein. Zusätzlich zu den räumlichen Informationen, z. B. den dreidimensionalen Koordinaten, die den Abstand oder die Tiefe zum Punkt umfassen, kann die Punktwolke auch zusätzliche Informationen oder Messdaten für die einzelnen Punkte speichern, wie etwa die Impulsbreite des jeweiligen empfangenen optischen Signals.3D image data is sometimes referred to as point cloud data. The points in the point cloud contain information about the spatial location and depth of the reflection points in the environment. The reflection points are the points at which the reflection of the optical signal emitted and received by the optical detection system occurred. The point cloud can be understood as a set of points, where each point contains corresponding coordinates in a specific three-dimensional coordinate system. In the case of a three-dimensional point cloud, the three-dimensional coordinates can be determined, for example, by the direction of incidence of a light beam reflected at a reflection point and the corresponding propagation time or radial distance, also known as depth, measured for that particular point. The direction of incidence can be given, for example, by the horizontal angle and the elevation angle. In addition to the spatial information, e.g., the three-dimensional coordinates that include the distance or depth to the point, the point cloud can also store additional information or measurement data for the individual points, such as the pulse width of the respective received optical signal.

Das dreidimensionale Koordinatensystem der Punktwolke kann ein dreidimensionales Polarkoordinatensystem sein. Die Informationen können jedoch auch in kartesischen Koordinaten für jeden der Punkte gegeben sein. Eine Umwandlung zwischen den Koordinatensystemen ist möglich. Zusätzlich zu den 3D-Bilddaten kann die Punktwolke auch 2D-Bilddaten umfassen.The three-dimensional coordinate system of the point cloud can be a three-dimensional polar coordinate system. However, the information can also be given in Cartesian coordinates for each of the points. Conversion between the coordinate systems is possible. In addition to the 3D image data, the point cloud can also include 2D image data.

Die zweiten optischen Daten, die die passiven Bilddaten umfassen, können durch das Sammeln von Licht über Zeiträume und/oder während Intervallen erfasst werden, die sich von den Intervallen unterscheiden, zu denen aktive Bilddaten erfasst werden. Die zweiten optischen Daten können 2D-Bilddaten umfassen, zum Beispiel Graustufen-Bilddaten.The second optical data comprising the passive image data may be acquired by collecting light over periods of time and/or during intervals that differ from the intervals at which active image data is acquired. The second optical data may comprise 2D image data, for example, grayscale image data.

Ein Graustufenbild, manchmal Grauwertbild genannt, ist eine Art von digitalem Bild, das nur Grautöne enthält, die von schwarz bei der schwächsten Intensität bis zu weiß bei der stärksten variieren. Im Gegensatz zu Farbbildern, die unter Verwendung mehrerer Kanäle repräsentiert werden, z. B. Rot, Grün und Blau, weisen Graustufenbilder einen einzigen Kanal auf, wobei jedes Pixel die Intensität von Licht an diesem Punkt repräsentiert, ohne Farbinformationen. Im Kontext von digitaler Bildgebung weist jedes Pixel in einem Graustufenbild einen Wert auf, der die Helligkeit dieses Pixels repräsentiert. Die Verwendung der Graustufen-Bilddaten bei der Bildverarbeitung hat den Vorteil, dass die Menge an zu verarbeitenden Daten reduziert ist, wodurch die erforderliche Verarbeitung vereinfacht wird.A grayscale image, sometimes called a gray-value image, is a type of digital image that contains only shades of gray, ranging from black at its weakest intensity to white at its strongest. Unlike color images, which are represented using multiple channels, such as red, green, and blue, grayscale images have a single channel, with each pixel representing the intensity of light at that point, with no color information. In the context of digital imaging, each pixel in a grayscale image has a value that represents the brightness of that pixel. Using grayscale image data in image processing has the advantage of reducing the amount of data to be processed, thus simplifying the required processing.

Die Punktwolke kann die ersten optischen Daten, die die aktiven Bilddaten umfassen, und die zweiten optischen Daten, die die passiven Bilddaten umfassen, umfassen. Die Punktwolke kann durch das optische Detektionssystem erzeugt werden. Das optische Detektionssystem kann in einem Fahrzeug enthalten sein. Die Punktwolkendaten können im Fahrzeug weiterverarbeitet werden, z. B. durch eine Recheneinheit. Eine solche Weiterverarbeitung kann zum Beispiel eine Weiterverarbeitung der Punktwolke und/oder ihre Verwendung durch Funktionen für autonomes oder teilautonomes Fahren umfassen.The point cloud may include the first optical data, which comprises the active image data, and the second optical data, which comprises the passive image data. The point cloud may be generated by the optical detection system. The optical detection system may be contained in a vehicle. The point cloud data may be further processed in the vehicle, e.g., by a computing unit. Such further processing may include, for example, further processing of the point cloud and/or its use by functions for autonomous or semi-autonomous driving.

Die Objektdetektion umfasst das Identifizieren und Lokalisieren von Objekten in den ersten und zweiten optischen Daten. Die Objekte können zusammen mit den zweiten optischen Daten auf eine grafische Art und Weise ausgegeben werden, die den Ort, die Form usw. des Objekts im passiven Bild der Umgebung des Detektionsbereichs visualisiert. Die Objektidentifikation kann einen Merkmalsextraktionsschritt umfassen. In diesem Schritt werden relevante Merkmale, die bei der Identifizierung von Objekten helfen können, aus den optischen Daten extrahiert. Solche extrahierten Merkmale können lokale geometrische Merkmale wie Normalen und/oder Krümmungen beinhalten.Object detection involves identifying and locating objects in the first and second optical data. The objects, along with the second optical data, can be output in a graphical manner that visualizes the location, shape, etc., of the object in the passive image of the surroundings of the detection area. Object identification may include a feature extraction step. In this step, relevant features that can assist in identifying objects are extracted from the optical data. Such extracted features may include local geometric features such as normals and/or curvatures.

In einer Ausführungsform des Verfahrens können die detektierten Objekte als eine Liste ausgegeben werden - optional zusammen mit den zweiten optischen Daten. Die Liste von detektierten Objekten kann ferner durch andere Algorithmen verwendet werden, um Aufgaben wie z. B. Funktionen für autonomes oder teilautonomes Fahren durchzuführen.In one embodiment of the method, the detected objects can be output as a list—optionally together with the second optical data. The list of detected objects can further be used by other algorithms to perform tasks such as functions for autonomous or semi-autonomous driving.

In einer Ausführungsform des Verfahrens umfasst die Objektdetektion ferner das Durchführen von Clustering, Kantendetektion und/oder Segmentierung an den ersten optischen Daten und separat an den zweiten optischen Daten. Die Segmentierung und/oder das Clustering der optischen Daten in Cluster und/oder Segmente, die potenziell individuelle Objekte oder Teile von Objekten repräsentieren, werden separat an den ersten und zweiten optischen Daten durchgeführt. Die Ausgabe der jeweiligen separaten Schritte kann dann verwendet werden, um die Ausgabe des jeweiligen anderen Schritts zu prüfen und/oder zu verbessern und/oder zu korrigieren.In one embodiment of the method, object detection further comprises performing clustering, edge detection, and/or segmentation on the first optical data and separately on the second optical data. The segmentation and/or clustering of the optical data into clusters and/or segments, potentially representing individual objects or parts of objects, is performed separately on the first and second optical data. The output of the respective separate steps can then be used to check and/or enhance and/or correct the output of the respective other step.

In einer Ausführungsform des Verfahrens umfasst die Objektdetektion unter Verwendung der ersten optischen Daten einen Klassifikationsschritt unter Verwendung künstlicher Intelligenz. Die Klassifikation kann einen Merkmalsextraktionsschritt umfassen, bei dem signifikante und informative Attribute der ersten optischen Daten identifiziert und extrahiert werden. Diese Merkmale könnten sich auf die Form, die Textur oder geometrische Eigenschaften von Objekten in den ersten optischen Daten beziehen. In einigen Ansätzen können Deep-Learning-Modelle verwendet werden, um diese Merkmale direkt aus den Daten automatisch zu lernen und zu extrahieren, ohne die Notwendigkeit für ein manuelles Merkmalsdesign. Wenn die Merkmale extrahiert sind, wird ein Klassifikationsmodell, z. B. neuronales Netzwerk, im nächsten Schritt trainiert. Sobald es trainiert ist, kann das Modell die Klassifikation durchführen.In one embodiment of the method, object detection using the first optical data comprises a classification step using artificial intelligence. The classification may include a feature extraction step in which significant and informative attributes of the first optical data are identified and extracted. These features could relate to the shape, texture, or geometric properties of objects in the first optical data. In some approaches, deep learning models can be used to automatically learn and extract these features directly from the data, without the need for manual feature design. Once the features are extracted, a classification model, e.g., a neural network, is trained in the next step. Once trained, the model can perform the classification.

In einer Ausführungsform des Verfahrens umfasst die Objektdetektion unter Verwendung der zweiten optischen Daten eine Bildsignalverarbeitung. Die Bildsignalverarbeitung (ISP) kann eine Reihe von Schritten einbeziehen, um die zweiten optischen Daten umzuwandeln, die durch den optischen Empfangssensor erfasst werden. Beispiele können Filterung, Demosaicing, Interpolation, Farbkorrektur, Rauschminderung, Scharfzeichnen, Linsenverzerrungskorrektur, Korrektur der chromatischen Aberration, Farbraumkorrektur und/oder Komprimierung einschließen. Diese Schritte können in verschiedenen Reihenfolgen und Kombinationen implementiert werden.In one embodiment of the method, object detection using the second optical data comprises image signal processing. Image signal processing (ISP) may involve a series of steps to transform the second optical data acquired by the optical receiving sensor. Examples may include filtering, demosaicing, interpolation, color correction, noise reduction, sharpening, lens distortion correction, chromatic aberration correction, color space correction, and/or compression. These steps may be implemented in various orders and combinations.

In Ausführungsformen des Verfahrens umfasst die Objektdetektion unter Verwendung der ersten optischen Daten das Erzeugen mindestens einer Liste von Kandidatenobjekten unter Verwendung der ersten optischen Daten. Die Ausgabe des Objektdetektionsschritts oder -algorithmus kann somit eine Liste von Kandidatenobjekten sein, die in den ersten optischen Daten, die aktive Bilddaten umfassen, identifiziert wurden.In embodiments of the method, object detection using the first optical data comprises generating at least one list of candidate objects using the first optical data. The output of the object detection step or algorithm can thus be a list of candidate objects identified in the first optical data, which includes active image data.

In Ausführungsformen des Verfahrens umfasst die mindestens eine Liste von Kandidatenobjekten eine Liste von dynamischen Kandidatenobjekten und eine Liste von statischen Kandidatenobjekten. Es kann eine Liste von statischen Kandidatenobjekten geben, die unter Verwendung der ersten optischen Daten erzeugt wird, und es kann eine Liste von dynamischen Kandidatenobjekten geben, die unter Verwendung der ersten optischen Daten erzeugt wird. Dynamische Objekte sind Objekte, die sich bewegen. Die Objektdetektion, die zum Detektieren der Objekte in den ersten optischen Daten verwendet wird, kann zusätzlich in der Lage sein, zu detektieren, ob das Objekt statisch oder dynamisch ist.In embodiments of the method, the at least one list of candidate objects comprises a list of dynamic candidate objects and a list of static candidate objects. There may be a list of static candidate objects that are generated using of the first optical data, and there may be a list of dynamic candidate objects generated using the first optical data. Dynamic objects are objects that move. The object detection used to detect the objects in the first optical data may additionally be capable of detecting whether the object is static or dynamic.

In Ausführungsformen des Verfahrens umfasst die Objektdetektion unter Verwendung der zweiten optischen Daten mindestens eine weitere Liste von Kandidatenobjekten unter Verwendung der zweiten optischen Daten. Die Ausgabe des Objektdetektionsschritts oder -algorithmus kann somit eine weitere Liste von Kandidatenobjekten sein, die in den zweiten optischen Daten, die passive Bilddaten umfassen, identifiziert wurden.In embodiments of the method, object detection using the second optical data comprises at least one further list of candidate objects using the second optical data. The output of the object detection step or algorithm can thus be a further list of candidate objects identified in the second optical data, which comprises passive image data.

In Ausführungsformen des Verfahrens umfasst die mindestens eine weitere Liste von Kandidatenobjekten eine weitere Liste von dynamischen Kandidatenobjekten und eine weitere Liste von statischen Kandidatenobjekten. Es kann eine weitere Liste von statischen Kandidatenobjekten geben, die unter Verwendung der zweiten optischen Daten erzeugt wird, und es kann eine weitere Liste von dynamischen Kandidatenobjekten geben, die unter Verwendung der zweiten optischen Daten erzeugt wird. Die Objektdetektion, die zum Detektieren der Objekte in den zweiten optischen Daten verwendet wird, kann zusätzlich in der Lage sein, zu detektieren, ob das Objekt statisch oder dynamisch ist.In embodiments of the method, the at least one further list of candidate objects comprises a further list of dynamic candidate objects and a further list of static candidate objects. There may be a further list of static candidate objects generated using the second optical data, and there may be a further list of dynamic candidate objects generated using the second optical data. The object detection used to detect the objects in the second optical data may additionally be capable of detecting whether the object is static or dynamic.

Aus der mindestens einen Liste von Kandidatenobjekten und der mindestens einen weiteren Liste von Kandidatenobjekten kann die Liste von Objekten erzeugt werden. Die Liste von Objekten umfasst die Objekte, die durch das beschriebene Verfahren zur Objektdetektion identifiziert wurden. Die Liste von Objekten kann dann ausgegeben werden.The list of objects can be generated from the at least one list of candidate objects and the at least one further list of candidate objects. The list of objects includes the objects identified by the described object detection method. The list of objects can then be output.

In einer Ausführungsform des Verfahrens wird ein Konfidenzmaß unter Verwendung der mindestens einen Liste von Kandidatenobjekten und der mindestens einen weiteren Liste von Kandidatenobjekten berechnet. Das Konfidenzmaß wird dann zusammen mit der Objektliste ausgegeben. Die Verwendung der Objektliste bei Weiterverarbeitungsschritten kann somit durch das Konfidenzmaß gesteuert werden. Falls das Konfidenzmaß zu niedrig ist, kann dies zum Beispiel für die Weiterverarbeitungsschritte berücksichtigt werden, insbesondere, falls die Sicherheit auf dem Spiel steht. Beispielsweise kann das Konfidenzmaß die Trajektorieplannung und/oder die Handhabung bei Notbremsungen durch eine Fahrfunktion im Fahrzeug beeinflussen.In one embodiment of the method, a confidence measure is calculated using the at least one list of candidate objects and the at least one further list of candidate objects. The confidence measure is then output together with the object list. The use of the object list in further processing steps can thus be controlled by the confidence measure. If the confidence measure is too low, this can be taken into account, for example, for the further processing steps, especially if safety is at stake. For example, the confidence measure can influence trajectory planning and/or emergency braking handling by a driving function in the vehicle.

Ein optisches Detektionssystem umfasst den optischen Empfangssensor. Der optische Empfangssensor umfasst eine Vielzahl von Pixeln, wobei die Pixel dazu ausgelegt sind, die ersten und die zweiten optischen Daten des Detektionsbereichs bereitzustellen. Die ersten optischen Daten umfassen aktive Bilddaten, die zweiten optischen Daten umfassen passive Bilddaten. Das optische Detektionssystem umfasst ferner einen Prozessor, der dazu ausgelegt ist, eine Objektdetektion im Detektionsbereich unter Verwendung der ersten und zweiten optischen Daten durchzuführen.An optical detection system comprises the optical receiving sensor. The optical receiving sensor comprises a plurality of pixels, wherein the pixels are configured to provide the first and second optical data of the detection area. The first optical data comprises active image data, and the second optical data comprises passive image data. The optical detection system further comprises a processor configured to perform object detection in the detection area using the first and second optical data.

Das Verwenden der ersten und zweiten optischen Daten, die durch dieselben optischen Empfangssensoren bereitgestellt werden, ermöglicht die Verbesserung der Qualität der Objektdetektion des optischen Detektionssystems. Die ersten und zweiten optischen Daten beziehen sich auf denselben Detektionsbereich, der durch den optischen Empfangssensor abgedeckt wird. Die Verarbeitungsgeschwindigkeit kann schnell sein, da die Verarbeitung durchgeführt werden kann, wenn die ersten und zweiten optischen Daten durch die optischen Empfangssensor erzeugt werden. Using the first and second optical data provided by the same optical receiving sensors enables the quality of object detection of the optical detection system to be improved. The first and second optical data refer to the same detection area covered by the optical receiving sensor. The processing speed can be fast because the processing can be performed when the first and second optical data are generated by the optical receiving sensors.

Das optische Detektionssystem kann ferner eine optische Quelle umfassen, die zum Erhalten der aktiven Bilddaten verwendet wird, wobei der optische Empfangssensor und die optische Quelle in einer Echtzeitumgebung enthalten sind. Die Echtzeitumgebung ist so konfiguriert, dass sie die Echtzeitverarbeitung innerhalb enger Zeitbeschränkungen ermöglicht, wie durch Echtzeitanwendungen benötigt. Durch das Platzieren des optischen Empfangssensors und der optischen Quelle in dieselbe Echtzeitverarbeitungsumgebung kann die Objektdetektion mit solch hoher Geschwindigkeit durchgeführt werden, dass sie bei Funktionen mit engen Zeitbeschränkungen und der Notwendigkeit für hochgenaue und zeitnahe Daten angewendet werden kann.The optical detection system may further comprise an optical source used to obtain the active image data, wherein the optical receiving sensor and the optical source are contained in a real-time environment. The real-time environment is configured to enable real-time processing within tight time constraints, as required by real-time applications. By placing the optical receiving sensor and the optical source in the same real-time processing environment, object detection can be performed at such high speed that it can be applied to functions with tight time constraints and the need for highly accurate and timely data.

In Ausführungsformen des optischen Detektionssystems sind der optische Empfangssensor und die optische Quelle auf einem einzelnen Chip angeordnet. Dies kann ferner eine schnelle Verarbeitung unter engen Zeitbeschränkungen gewährleisten.In embodiments of the optical detection system, the optical receiving sensor and the optical source are arranged on a single chip. This can further ensure fast processing under tight time constraints.

In einer Ausführungsform des optischen Detektionssystems ist der Prozessor dazu ausgelegt, die Schritte des beschriebenen Verfahrens zur Objektdetektion durchzuführen.In one embodiment of the optical detection system, the processor is designed to perform the steps of the described method for object detection.

Das optische Detektionssystem kann in einem Fahrzeug enthalten sein. Die Ausgabe des optischen Detektionssystems, z. B. die erzeugten optischen Daten und/oder die Liste von detektierten Objekten, kann z. B. durch eine Recheneinheit im Fahrzeug weiterverarbeitet werden.The optical detection system can be incorporated into a vehicle. The output of the optical detection system, e.g., the generated optical data and/or the list of detected objects, can be further processed, for example, by a computing unit in the vehicle.

Kurze Beschreibung der FigurenShort description of the characters

Ausführungsformen werden nun unter Bezugnahme auf die angehängten Zeichnungsfiguren nur beispielhaft beschrieben. Es werden durchgängig ähnliche Bezugsziffern verwendet, um auf ähnliche Elemente Bezug zu nehmen. Die veranschaulichten Strukturen und Vorrichtungen sind nicht notwendigerweise maßstabsgetreu gezeichnet.

  • 1 veranschaulicht schematisch ein Verfahren zur Objektdetektion unter Verwendung erster und zweiter optischer Daten.
  • 2 veranschaulicht schematisch ein Fahrzeug mit einem optischen Detektionssystem.
  • 3 veranschaulicht schematisch Listen von Kandidatenobjekten.
  • 4 veranschaulicht schematisch weitere Listen von Kandidatenobjekten.
  • 5 veranschaulicht schematisch eine Liste von Objekten.
  • 6 veranschaulicht schematisch ein optisches Detektionssystem.
Embodiments will now be described, by way of example only, with reference to the attached drawing figures. Similar reference numerals are used throughout to refer to similar elements. The illustrated structures and devices are not necessarily drawn to scale.
  • 1 schematically illustrates a method for object detection using first and second optical data.
  • 2 schematically illustrates a vehicle with an optical detection system.
  • 3 schematically illustrates lists of candidate objects.
  • 4 schematically illustrates further lists of candidate objects.
  • 5 schematically illustrates a list of objects.
  • 6 schematically illustrates an optical detection system.

Ausführliche BeschreibungDetailed description

1 veranschaulicht schematisch ein Verfahren zur Objektdetektion, das erste optische Daten 21 und zweite optische Daten 22 eines Detektionsbereichs 32 verwendet. Die ersten optischen Daten 21 umfassen aktive Bilddaten, und die zweiten optischen Daten 22 umfassen passive Bilddaten. 1 schematically illustrates a method for object detection using first optical data 21 and second optical data 22 of a detection area 32. The first optical data 21 comprise active image data, and the second optical data 22 comprise passive image data.

In 100 werden die ersten und zweiten optischen Daten 21, 22 von einem optischen Empfangssensor 12 empfangen. Der optische Empfangssensor 12 umfasst eine Vielzahl von Pixeln, wobei die Pixel dazu ausgelegt sind, die ersten und zweiten optischen Daten 21, 22 des Detektionsbereichs (32) bereitzustellen.In 100, the first and second optical data 21, 22 are received by an optical receiving sensor 12. The optical receiving sensor 12 comprises a plurality of pixels, wherein the pixels are configured to provide the first and second optical data 21, 22 of the detection area (32).

In 102 wird die Objektdetektion im Detektionsbereich 32 unter Verwendung der ersten optischen Daten 21 durchgeführt.In 102, the object detection in the detection area 32 is carried out using the first optical data 21.

In 104 wird die Objektdetektion im Detektionsbereich 32 unter Verwendung der zweiten optischen Daten 22 durchgeführt.In 104, the object detection in the detection area 32 is carried out using the second optical data 22.

In 106 werden die in 102 und 104 erhaltenen Informationen fusioniert.In 106 the information obtained in 102 and 104 is merged.

In 108 werden die in 106 erhaltenen Informationen validiert.In 108 the information obtained in 106 is validated.

In 110 werden die in 108 erhaltenen Informationen ausgegeben.In 110 the information received in 108 is output.

2 veranschaulicht schematisch ein Fahrzeug 30, zum Beispiel einen Personenkraftwagen. Das Fahrzeug 30 umfasst ein optisches Detektionssystem 10. Das optische Detektionssystem 10 ist in einem vorderen Bereich des Fahrzeugs 30 angeordnet. Es umfasst einen Prozessor 20 und eine Echtzeitumgebung 16, z. B. einen Echtzeit-Chip. Die Echtzeitumgebung 16 umfasst eine optische Quelle 14 und einen optischen Empfangssensor 12. Die optische Quelle 14 ist dazu ausgelegt, optische Signale 36 in den Detektionsbereich 32 zu übertragen. Nach der Reflexion im Detektionsbereich 36, z. B. an einem Objekt O, werden die optischen Signale 36 durch den optischen Empfangssensor 12 empfangen. 2 schematically illustrates a vehicle 30, for example, a passenger car. The vehicle 30 includes an optical detection system 10. The optical detection system 10 is arranged in a front region of the vehicle 30. It includes a processor 20 and a real-time environment 16, e.g., a real-time chip. The real-time environment 16 includes an optical source 14 and an optical receiving sensor 12. The optical source 14 is designed to transmit optical signals 36 into the detection region 32. After reflection in the detection region 36, e.g., from an object O, the optical signals 36 are received by the optical receiving sensor 12.

Das optische Detektionssystem 10 kann optional eine optische Ablenkungsvorrichtung umfassen, die derart angeordnet sein kann, dass sie das optische Signal 36, das durch die optische Quelle 14 gesendet wird und durch den optischen Empfangssensor 12 empfangen werden soll, ablenkt. Die optische Ablenkungsvorrichtung kann derart gesteuert werden, dass das optische Signal L eine Scanbewegung über den Detektionsbereich 32 durchführt. Die optische Ablenkungsvorrichtung kann zum Beispiel einen Drehspiegel umfassen, der eine Drehbewegung durchführt, um das optische Signal 36 so abzulenken, dass die Scanbewegung durch das optische Signal 36 durchgeführt wird.The optical detection system 10 may optionally include an optical deflection device that may be arranged to deflect the optical signal 36 transmitted by the optical source 14 and to be received by the optical receiving sensor 12. The optical deflection device may be controlled such that the optical signal L performs a scanning movement across the detection area 32. The optical deflection device may, for example, comprise a rotating mirror that performs a rotating movement to deflect the optical signal 36 such that the scanning movement is performed by the optical signal 36.

Das optische Detektionssystem 10 ist zum Beispiel ein Lidar-System, das die Fähigkeit hat, die zweiten optischen Daten, die die passiven Bilddaten 22 umfassen, und die ersten optischen Daten, die die aktiven Bilddaten 21 umfassen, mit einem einzelnen optischen Empfangssensor 12 zu erfassen, der sich in der Echtzeitumgebung 16 befindet, z. B. auf einem einzelnen Echtzeit-Chip.The optical detection system 10 is, for example, a lidar system that has the capability of detecting the second optical data comprising the passive image data 22 and the first optical data comprising the active image data 21 with a single optical receiving sensor 12 located in the real-time environment 16, e.g., on a single real-time chip.

Die zweiten optischen Daten 22, die die passiven Bilddaten umfassen, werden durch den optischen Empfangssensor 12 durch das Erfassen von Umgebungslicht erfasst, ähnlich wie eine Kamera.The second optical data 22, which comprises the passive image data, is captured by the optical receiving sensor 12 by detecting ambient light, similar to a camera.

Die ersten optischen Daten 21, die die aktiven Bilddaten umfassen, werden durch das optische Detektionssystem 10 durch das Aussenden des optischen Signals 36 unter Verwendung der optischen Quelle 14 und Erfassen des optischen Signals 36, das im Detektionsbereich 32 reflektiert wird, erzeugt.The first optical data 21, which comprises the active image data, is generated by the optical detection system 10 by emitting the optical signal 36 using the optical source 14 and detecting the optical signal 36 reflected in the detection area 32.

Der Prozessor 20 kann den Übertragungs- und Empfangsprozess des optischen Signals 36 und den Empfang der zweiten optischen Daten 22, die die passiven Bilddaten umfassen, steuern.The processor 20 can control the transmission and reception process of the optical signal 36 and the reception of the second optical data 22 comprising the passive image data.

Im Prozessor 20 können die übertragenen und empfangenen optischen Signale 36 ausgewertet werden, beispielsweise unter Verwendung von Laufzeitmessungen, um die ersten optischen Daten 21 zu erhalten. Die ersten optischen Daten 21 enthalten die Sammlung von Messdaten für die verschiedenen Reflexionspunkte des optischen Signals 36 im Abdeckungsbereich 32. Beispielsweise kann jeder Lichtimpuls des optischen Signals 36 einen Datenpunkt bereitstellen.In the processor 20, the transmitted and received optical signals 36 can be evaluated, for example using run time measurements to obtain the first optical data 21. The first optical data 21 contains the collection of measurement data for the various reflection points of the optical signal 36 in the coverage area 32. For example, each light pulse of the optical signal 36 can provide one data point.

Die zweiten optischen Daten 22 enthalten die Sammlung von empfangenen passiven Bilddaten des Detektionsbereichs 32. Diese Daten können verwendet werden, um die ersten optischen Daten 21 zu verbessern und zu verifizieren.The second optical data 22 contains the collection of received passive image data of the detection area 32. This data can be used to enhance and verify the first optical data 21.

Eine Objektdetektion im Detektionsbereich 32 wird dann durch den Prozessor 20 unter Verwendung der ersten und zweiten optischen Daten 21, 22 durchgeführt. Object detection in the detection area 32 is then performed by the processor 20 using the first and second optical data 21, 22.

Die auf diese Weise erzeugten Daten können vom Prozessor 20 an eine Recheneinheit 34 des Fahrzeugs 30 übermittelt werden.The data generated in this way can be transmitted from the processor 20 to a computing unit 34 of the vehicle 30.

Das optische Detektionssystem 10 kann zum Beispiel an der Vorderseite des Fahrzeugs 30 platziert oder integriert sein. Dementsprechend kann ein Bereich in Fahrtrichtung vor dem Fahrzeug 30 durch das optische Detektionssystem 10 überwacht werden. Detektionssysteme 10 können an anderen Teilen des Fahrzeugs 30 platziert werden, z. B. für Rundumsichtfunktionen, wie etwa die Seiten und/oder das Heck des Fahrzeugs 30. Es ist auch möglich, Detektionssysteme und/oder andere Sensoren wie Radar, Ultraschall usw. am Fahrzeug 30, auch in Eckbereichen des Fahrzeugs 30, anzuordnen. Sensorfusion kann dann unter Verwendung der Sensordaten der verschiedenen Sensoren durchgeführt werden.The optical detection system 10 can, for example, be placed or integrated at the front of the vehicle 30. Accordingly, an area in the direction of travel in front of the vehicle 30 can be monitored by the optical detection system 10. Detection systems 10 can be placed on other parts of the vehicle 30, e.g., for all-round visibility functions, such as the sides and/or rear of the vehicle 30. It is also possible to arrange detection systems and/or other sensors such as radar, ultrasound, etc. on the vehicle 30, even in corner areas of the vehicle 30. Sensor fusion can then be performed using the sensor data from the various sensors.

Das optische Detektionssystem 10 kann verwendet werden, um Merkmale der Umgebung zu detektieren. Die Merkmale können stationäre oder sich bewegende Objekte in der Umgebung sein. Merkmale können Fahrzeuge, Personen, Tiere, Pflanzen, Hindernisse, Fahrbahnunebenheiten, insbesondere Schlaglöcher oder Steine, Fahrbahnbegrenzungen, Verkehrsschilder, Freiflächen, insbesondere Parkplätze, Niederschlag oder dergleichen umfassen.The optical detection system 10 can be used to detect features of the environment. The features can be stationary or moving objects in the environment. Features can include vehicles, people, animals, plants, obstacles, road surface irregularities, especially potholes or stones, road markings, traffic signs, open spaces, especially parking lots, precipitation, or the like.

Das optische Detektionssystem 10 kann eine genaue, dichte und zuverlässige Punktwolke des Detektionsbereichs 32 bereitstellen. Die Punktwolke kann die Kontur von Objekten und/oder andere Merkmale zeigen. Die Daten wurden durch das Fusionieren der ersten optischen Daten mit den zweiten optischen Daten verifiziert, wodurch die Daten zuverlässiger und genauer gemacht werden. Außerdem kann ein Konfidenzmaß erzeugt werden, um eine Angabe über die Qualität der Daten anzugeben.The optical detection system 10 can provide an accurate, dense, and reliable point cloud of the detection area 32. The point cloud can show the contours of objects and/or other features. The data has been verified by fusing the first optical data with the second optical data, making the data more reliable and accurate. Furthermore, a confidence measure can be generated to provide an indication of the quality of the data.

Die Recheneinheit 34 kann als ein zentraler Fahrzeugcomputer des Fahrzeugs 30 konzipiert sein, in dem Daten von mehreren Detektionssystemen des Fahrzeugs 30 empfangen, ausgewertet und/oder weiterverarbeitet werden können. Die Recheneinheit 34 kann zum Beispiel verwendet werden, um autonome oder teilautonome Fahrfunktionen zu implementieren.The computing unit 34 can be designed as a central vehicle computer of the vehicle 30, in which data from multiple detection systems of the vehicle 30 can be received, evaluated, and/or further processed. The computing unit 34 can be used, for example, to implement autonomous or semi-autonomous driving functions.

3 veranschaulicht schematisch Listen von Kandidatenobjekten LS-21, LD-21, die unter Verwendung der ersten optischen Daten 21 erzeugt wurden. 3 schematically illustrates lists of candidate objects LS-21, LD-21 generated using the first optical data 21.

Eine erste Liste von Kandidatenobjekten LS-21 umfasst statische Kandidatenobjekte SOA-1, SOA-2, ..., SOA-n1, die in den ersten optischen Daten 21 detektiert wurden. Eine zweite Liste von Kandidatenobjekten LD-21 umfasst dynamische Kandidatenobjekte DOA-1, DOA-2, ..., DOA-m1, die in den ersten optischen Daten 21 detektiert wurden.A first list of candidate objects LS-21 includes static candidate objects SOA-1, SOA-2, ..., SOA-n1 detected in the first optical data 21. A second list of candidate objects LD-21 includes dynamic candidate objects DOA-1, DOA-2, ..., DOA-m1 detected in the first optical data 21.

Die Listen von Kandidatenobjekten LS-21, LD-21 werden durch den Prozessor 20 durch das Verarbeiten der ersten optischen Daten 21 unter Verwendung eines Klassifikationsalgorithmus basierend auf künstlicher Intelligenz, z. B. eines trainierten neuronalen Netzwerks, erzeugt. Der Klassifikationsalgorithmus ermöglicht die Detektion der dynamischen und statischen Objekte DO-1, DO-2, ..., DO-m, SO-1, SO-2, ..., SO-n im Detektionsbereich 32.The lists of candidate objects LS-21, LD-21 are generated by the processor 20 by processing the first optical data 21 using a classification algorithm based on artificial intelligence, e.g., a trained neural network. The classification algorithm enables the detection of the dynamic and static objects DO-1, DO-2, ..., DO-m, SO-1, SO-2, ..., SO-n in the detection area 32.

4 veranschaulicht schematisch weitere Listen von Kandidatenobjekten LS-22, LD-22, die unter Verwendung der zweiten optischen Daten 22 erzeugt wurden. 4 schematically illustrates further lists of candidate objects LS-22, LD-22 generated using the second optical data 22.

Eine erste weitere Liste von Kandidatenobjekten LS-22 umfasst statische Kandidatenobjekte SOP-1, SOP-2, ..., SOP-n2, die in den zweiten optischen Daten 22 detektiert wurden. Eine zweite weitere Liste von Kandidatenobjekten LD-22 umfasst dynamische Kandidatenobjekte DOP-1, DOP-2, ..., DOP-m2, die in den zweiten optischen Daten 22 detektiert wurden.A first further list of candidate objects LS-22 comprises static candidate objects SOP-1, SOP-2, ..., SOP-n2, which were detected in the second optical data 22. A second further list of candidate objects LD-22 comprises dynamic candidate objects DOP-1, DOP-2, ..., DOP-m2, which were detected in the second optical data 22.

Die weiteren Listen von Kandidatenobjekten LS-22, LD-22 werden durch den Prozessor 20 durch das Verarbeiten der zweiten optischen Daten 22 unter Verwendung von Bildsignalverarbeitung erzeugt. Die Bildsignalverarbeitung ermöglicht die Detektion der dynamischen und statischen Objekte DO-1, DO-2, ..., DO-m, SO-1, SO-2, ..., SO-n im Detektionsbereich 32.The further lists of candidate objects LS-22, LD-22 are generated by the processor 20 by processing the second optical data 22 using image signal processing. The image signal processing enables the detection of the dynamic and static objects DO-1, DO-2, ..., DO-m, SO-1, SO-2, ..., SO-n in the detection area 32.

5 veranschaulicht schematisch die Liste von Objekten OL im Detektionsbereich 32. Sie umfasst eine Liste SOL mit statischen Objekten und eine Liste DOL mit dynamischen Objekten. Die Liste DOL mit dynamischen Objekten umfasst die dynamischen Objekte DO-1, DO-2, ..., DO-m im Detektionsbereich 32. Die Liste SOL mit statischen Objekten umfasst die statischen Objekte SO-1, SO-2, ..., SOn im Detektionsbereich 32. 5 schematically illustrates the list of objects OL in the detection area 32. It includes a list SOL with static objects and a list DOL with dynamic objects. The list DOL with dynamic objects includes the dynamic static objects DO-1, DO-2, ..., DO-m in detection area 32. The list SOL with static objects includes the static objects SO-1, SO-2, ..., SOn in detection area 32.

Für jedes Objekt wird definiert, ob es in den ersten optischen Daten 21 und/oder in den zweiten optischen Daten 22 detektiert wurde. Ein identifiziertes Objekt wird mit einem „+“ markiert. Ein unidentifiziertes Objekt wird mit einem „-“ markiert. Durch die Verwendung dieser Liste OL für den Vergleich kann die Objektdetektion durch Gegenkontrolle verbessert werden. Beispielsweise könnten nur Objekte, die in sowohl den ersten als auch zweiten optischen Daten 21, 22 detektiert werden, als ein verifiziertes Objekt angesehen werden. Außerdem könnte ein Konfidenzmaß aus der Liste DOL mit dynamischen Objekten und der Liste SOL mit statischen Objekten erzeugt werden.For each object, it is defined whether it was detected in the first optical data 21 and/or in the second optical data 22. An identified object is marked with a "+." An unidentified object is marked with a "-." By using this list OL for comparison, object detection can be improved through cross-checking. For example, only objects detected in both the first and second optical data 21, 22 could be considered a verified object. Furthermore, a confidence measure could be generated from the DOL list with dynamic objects and the SOL list with static objects.

Während des Echtzeitbetriebs der optischen Quelle 14 und des optischen Empfangssensors 12 muss in Echtzeit über die Zuverlässigkeit der Objektdetektion entschieden werden. Die Verwendung der ersten und zweiten optischen Daten 21, 22 kann die Beurteilung dieser Frage unterstützen und ermöglicht die Beurteilung der Zuverlässigkeit und Konfidenz der durch das optische Detektionssystem 10 bereitgestellten Informationen. Dies unterstützt die Beurteilung der Zuverlässigkeit der Objektinformationen, indem eine Qualifizierung und Validierung der erzeugten Objektlisten LS-21, LD-21, LS-22, LD-22 ermöglicht werden. Die Qualifizierung und Validierung können intern im Prozessor 20 durchgeführt werden.During real-time operation of the optical source 14 and the optical receiver sensor 12, a decision regarding the reliability of object detection must be made in real time. The use of the first and second optical data 21, 22 can support the assessment of this question and enables the assessment of the reliability and confidence of the information provided by the optical detection system 10. This supports the assessment of the reliability of the object information by enabling qualification and validation of the generated object lists LS-21, LD-21, LS-22, LD-22. The qualification and validation can be performed internally in the processor 20.

6 veranschaulicht schematisch ein optisches Detektionssystem 10, das das beschriebene Verfahren zur Objektdetektion, das Selbstvalidierung umfasst, durchführt. 6 schematically illustrates an optical detection system 10 that carries out the described method for object detection, which includes self-validation.

Der optische Empfangssensor 12 ist dazu ausgelegt, sowohl aktive als auch passive Erfassung in Echtzeit durchzuführen. Der optische Empfangssensor 12 ist in der Echtzeitumgebung 16 enthalten. Die Echtzeitumgebung umfasst auch die optische Quelle 14. Die Echtzeitumgebung 16 kann auf einem einzelnen Chip realisiert werden und kann dem Prozessor 20 ermöglichen, die Objektdetektion einschließlich der Selbstvalidierung in z. B. Nanosekunden durchzuführen.The optical receiving sensor 12 is designed to perform both active and passive sensing in real time. The optical receiving sensor 12 is included in the real-time environment 16. The real-time environment also includes the optical source 14. The real-time environment 16 can be implemented on a single chip and can enable the processor 20 to perform object detection, including self-validation, in, for example, nanoseconds.

Der optische Empfangssensor 16 gibt die detektierten ersten und zweiten optischen Daten 21, 22 an den Prozessor 20 als Punktwolkendaten 18 aus. Die Punktwolkendaten 18 umfassen die ersten optischen Daten 21 und die zweiten optischen Daten 22.The optical receiving sensor 16 outputs the detected first and second optical data 21, 22 to the processor 20 as point cloud data 18. The point cloud data 18 includes the first optical data 21 and the second optical data 22.

In den nächsten Schritten werden die ersten optischen Daten 21, die aktive Bilddaten, z. B. Lidar-Daten, umfassen, separat von den zweiten optischen Daten 22 verarbeitet, die passive Bilddaten, z. B. Graustufenbild, umfassen.In the next steps, the first optical data 21, which comprises active image data, e.g., lidar data, are processed separately from the second optical data 22, which comprises passive image data, e.g., grayscale image.

In Schritt 102 wird die Objektdetektion im Detektionsbereich 32 unter Verwendung der ersten optischen Daten 21 durchgeführt.In step 102, the object detection in the detection area 32 is carried out using the first optical data 21.

In 102.1 wird eine Vorverarbeitung an den ersten optischen Daten 21 durchgeführt. Die Vorverarbeitung umfasst Datensäuberung zum Entfernen von Rauschen und Ausreißern, um die Qualität der Daten für die Objektdetektion zu verbessern. Die Vorverarbeitung umfasst ferner das Downsampling zum Reduzieren der Größe des Datensatzes, um die Verarbeitung überschaubarer zu machen, unter Verwendung von Techniken wie z. B. Voxel-Gitter-Downsampling.In 102.1, preprocessing is performed on the first optical data 21. Preprocessing includes data cleaning to remove noise and outliers to improve the quality of the data for object detection. Preprocessing further includes downsampling to reduce the size of the data set to make processing more manageable, using techniques such as voxel grid downsampling.

In 102.2 werden Clustering und Merkmalsextraktion wie Kantendetektion an der Ausgabe von 102.1 durchgeführt. Clustering umfasst die Gruppierung von Punkten gemäß Ähnlichkeit, und Merkmalsextraktion transformiert die Punktdateninformationen in Merkmalsinformationen. Merkmale können Kanten, Ecken, Texturen oder ähnliches sein.In 102.2, clustering and feature extraction, such as edge detection, are performed on the output of 102.1. Clustering involves grouping points according to similarity, and feature extraction transforms the point data information into feature information. Features can be edges, corners, textures, or similar.

In 102.3 wird Segmentierung an der Ausgabe von 102.2 durchgeführt. Segmentierung umfasst die Partitionierung der Bilddaten in mehrere Segmente, die potenziell Objekte repräsentieren. Bei der Ausgabe von 102.3 handelt es sich um die Kandidatenobjektlisten LS-21, LD-21.In 102.3, segmentation is performed on the output of 102.2. Segmentation involves partitioning the image data into multiple segments that potentially represent objects. The output of 102.3 is the candidate object lists LS-21 and LD-21.

In 104 wird die Objektdetektion im Detektionsbereich 32 unter Verwendung der zweiten optischen Daten 22 durchgeführt.In 104, the object detection in the detection area 32 is carried out using the second optical data 22.

In 104.1 wird eine Bildsignalverarbeitung an den zweiten optischen Daten 22 durchgeführt.In 104.1, image signal processing is performed on the second optical data 22.

In 104.2 werden Clustering und Merkmalsextraktion wie Kantendetektion an der Ausgabe von 104.1 durchgeführt. Clustering umfasst die Gruppierung von Punkten gemäß Ähnlichkeit, und Merkmalsextraktion transformiert die Punktdateninformationen in Merkmalsinformationen. Merkmale können Kanten, Ecken, Texturen oder ähnliches sein.In 104.2, clustering and feature extraction, such as edge detection, are performed on the output of 104.1. Clustering involves grouping points according to similarity, and feature extraction transforms the point data information into feature information. Features can be edges, corners, textures, or similar.

In 104.3 wird Segmentierung an der Ausgabe von 104.2 durchgeführt. Segmentierung umfasst die Partitionierung der Bilddaten in mehrere Segmente, die potenziell Objekte repräsentieren. Bei der Ausgabe von 104.3 handelt es sich um die Kandidatenobjektlisten LS-22, LD-22.In 104.3, segmentation is performed on the output of 104.2. Segmentation involves partitioning the image data into multiple segments that potentially represent objects. The output of 104.3 is the candidate object lists LS-22 and LD-22.

In 106 werden die in 102 und 104 erhaltenen Informationen fusioniert. Der Fusionsschritt 106 kombiniert die Listen LS-21, LD-21, LS-22, LD-22, die mit Bezug auf 3 und 4 beschrieben sind. In 108 werden die in 106 erhaltenen Informationen validiert. Der Validierungsschritt 108 wurde mit Bezug auf 5 beschrieben. Bei der Ausgabe von 108 handelt es sich um die Liste von detektierten und validierten Objekten OL. Zusammen mit der Liste von detektierten und validierten Objekten OL können die zweiten optischen Daten 22 ausgegeben werden. In 106, the information obtained in 102 and 104 is merged. The fusion step 106 combines the lists LS-21, LD-21, LS-22, LD-22, which are related to 3 and 4 In 108, the information obtained in 106 is validated. The validation step 108 was carried out with reference to 5 described. The output of 108 is the list of detected and validated objects OL. The second optical data 22 can be output together with the list of detected and validated objects OL.

Das beschriebene Verfahren und das beschriebene optische Detektionssystem 10 ermöglichen die Verbesserung der Zuverlässigkeit der Liste von detektierten Objekten OL. Ferner kann die Leistung durch das Reduzieren von Falsch-Positiven verbessert werden. Ferner ist es möglich, die Objektdetektion qualitativ und quantitativ zu beurteilen, z. B. durch das Bestimmen eines Konfidenzmaßes, wie z. B. eines positiven Vorhersagewerts (PPV) oder ähnliches.The described method and the described optical detection system 10 enable the reliability of the list of detected objects OL to be improved. Furthermore, performance can be improved by reducing false positives. Furthermore, it is possible to assess object detection qualitatively and quantitatively, e.g., by determining a confidence measure, such as a positive predictive value (PPV) or similar.

Insbesondere können Phantomobjekte unter Verwendung des beschriebenen Verfahrens identifiziert werden. Phantomobjekte sind Objekte, die in den Bilddaten erscheinen, aber in der Realität nicht existieren.In particular, phantom objects can be identified using the described method. Phantom objects are objects that appear in the image data but do not exist in reality.

Die Qualität der Objektdetektion kann durch das Anwenden eines Pixel-zu-Pixel-Qualitätsvergleichs weiter verbessert werden. Beispielsweise sollte dasselbe Objekt in sowohl den ersten als auch zweiten optischen Daten 21, 22 die gleiche Pixelgröße aufweisen. Falls ein Objekt O zum Beispiel eine Größe von 24 x 30 Pixel im passiven Bild aufweist, sollte das Objekte O im aktiven Bild auch 24 x 30 Pixel groß sein. Jegliche Artefakte, die diesen Pixelbereich mit der realen Größe umgeben, können dann als Rauschen identifiziert werden. Er kann dann gefiltert werden, und die Leistung und Qualität der Objektdetektion können verbessert werden.The quality of object detection can be further improved by applying a pixel-to-pixel quality comparison. For example, the same object should have the same pixel size in both the first and second optical data 21, 22. For example, if an object O has a size of 24 x 30 pixels in the passive image, the object O in the active image should also be 24 x 30 pixels. Any artifacts surrounding this pixel area with the real size can then be identified as noise. This can then be filtered, and the performance and quality of object detection can be improved.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES CONTAINED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents submitted by the applicant was generated automatically and is included solely for the convenience of the reader. This list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • US 2016/0054434 [0006]US 2016/0054434 [0006]
  • US 2019/0353791A1 [0007]US 2019/0353791A1 [0007]

Claims (14)

Verfahren zur Objektdetektion unter Verwendung erster und zweiter optischer Daten (21, 22) eines Detektionsbereichs (32), wobei die ersten optischen Daten (21) aktive Bilddaten umfassen und die zweiten optischen Daten (22) passive Bilddaten umfassen, wobei das Verfahren umfasst: Empfangen der ersten und zweiten optischen Daten (21, 22) von einem optischen Empfangssensor (12), wobei der optische Empfangssensor (12) eine Vielzahl von Pixeln umfasst, wobei die Pixel dazu ausgelegt sind, die ersten und zweiten optischen Daten (21, 22) des Detektionsbereichs (32) bereitzustellen, Durchführen einer Objektdetektion im Detektionsbereich (32) unter Verwendung der ersten und zweiten optischen Daten (21, 22).A method for object detection using first and second optical data (21, 22) of a detection area (32), wherein the first optical data (21) comprises active image data and the second optical data (22) comprises passive image data, the method comprising: receiving the first and second optical data (21, 22) from an optical receiving sensor (12), wherein the optical receiving sensor (12) comprises a plurality of pixels, the pixels being configured to provide the first and second optical data (21, 22) of the detection area (32); performing an object detection in the detection area (32) using the first and second optical data (21, 22). Verfahren nach Anspruch 1, ferner umfassend Ausgeben einer Liste von detektierten Objekten (OL) und der zweiten optischen Daten (22).Procedure according to Claim 1 , further comprising outputting a list of detected objects (OL) and the second optical data (22). Verfahren nach Anspruch 1 oder 2, wobei die Objektdetektion ferner das Durchführen von Clustering, Kantendetektion und/oder Segmentierung an den ersten optischen Daten (21) und separat an den zweiten optischen Daten (22) umfasst.Procedure according to Claim 1 or 2 , wherein the object detection further comprises performing clustering, edge detection and/or segmentation on the first optical data (21) and separately on the second optical data (22). Verfahren nach einem der vorstehenden Ansprüche, wobei die Objektdetektion unter Verwendung der ersten optischen Daten (21) einen Klassifikationsschritt unter Verwendung künstlicher Intelligenz umfasst.Method according to one of the preceding claims, wherein the object detection using the first optical data (21) comprises a classification step using artificial intelligence. Verfahren nach einem der vorstehenden Ansprüche, wobei die Objektdetektion unter Verwendung der zweiten optischen Daten (22) eine Bildsignalverarbeitung umfasst.Method according to one of the preceding claims, wherein the object detection using the second optical data (22) comprises image signal processing. Verfahren nach einem der vorstehenden Ansprüche, wobei die Objektdetektion unter Verwendung der ersten optischen Daten (21) das Erzeugen mindestens einer Liste von Kandidatenobjekten (LS-21, LD-21) unter Verwendung der ersten optischen Daten (21) umfasst, und/oder die Objektdetektion unter Verwendung der zweiten optischen Daten (22) mindestens eine weitere Liste von Kandidatenobjekten (LS-22, LD-22) unter Verwendung der zweiten optischen Daten (22) umfasst.Method according to one of the preceding claims, wherein the object detection using the first optical data (21) comprises generating at least one list of candidate objects (LS-21, LD-21) using the first optical data (21), and/or the object detection using the second optical data (22) comprises at least one further list of candidate objects (LS-22, LD-22) using the second optical data (22). Verfahren nach Anspruch 6, wobei die mindestens eine Liste von Kandidatenobjekten (LS-21, LD-21) eine Liste von dynamischen Kandidatenobjekten (LD-21) und eine Liste von statischen Kandidatenobjekten (LS-21) umfasst und/oder die mindestens eine weitere Liste von Kandidatenobjekten (LS-22, LD-22) eine weitere Liste von dynamischen Kandidatenobjekten (LD-22) und eine weitere Liste von statischen Kandidatenobjekten (LS-22) umfasst.Procedure according to Claim 6 , wherein the at least one list of candidate objects (LS-21, LD-21) comprises a list of dynamic candidate objects (LD-21) and a list of static candidate objects (LS-21) and/or the at least one further list of candidate objects (LS-22, LD-22) comprises a further list of dynamic candidate objects (LD-22) and a further list of static candidate objects (LS-22). Verfahren nach Anspruch 6 oder 7, wobei die Liste von Objekten (OL) unter Verwendung der mindestens einen Liste von Kandidatenobjekten (LS-21, LD-21) und der mindestens einen weiteren Liste von Kandidatenobjekten (LS-22, LD-22) erzeugt wird.Procedure according to Claim 6 or 7 , wherein the list of objects (OL) is generated using the at least one list of candidate objects (LS-21, LD-21) and the at least one further list of candidate objects (LS-22, LD-22). Verfahren nach einem der Ansprüche 6 bis 8, wobei ein Konfidenzmaß unter Verwendung der mindestens einen Liste von Kandidatenobjekten (LS-21, LD-21) und der mindestens einen weiteren Liste von Kandidatenobjekten (LS-22, LD-22) berechnet und ausgegeben wird.Method according to one of the Claims 6 until 8 , wherein a confidence measure is calculated and output using the at least one list of candidate objects (LS-21, LD-21) and the at least one further list of candidate objects (LS-22, LD-22). Optisches Detektionssystem (10), das einen optischen Empfangssensor (12) umfasst, wobei der optische Empfangssensor (12) eine Vielzahl von Pixeln umfasst, wobei die Pixel dazu ausgelegt sind, erste und zweite optische Daten (21, 22) eines Detektionsbereichs (32) bereitzustellen, wobei die ersten optischen Daten (21) aktive Bilddaten umfassen, wobei die zweiten optischen Daten (22) passive Bilddaten umfassen, wobei das optische Detektionssystem (10) ferner einen Prozessor (20) umfasst, der dazu ausgelegt ist, eine Objektdetektion im Detektionsbereich (32) unter Verwendung der ersten und zweiten optischen Daten (21, 22) durchzuführen.An optical detection system (10) comprising an optical receiving sensor (12), wherein the optical receiving sensor (12) comprises a plurality of pixels, the pixels being configured to provide first and second optical data (21, 22) of a detection area (32), wherein the first optical data (21) comprises active image data, wherein the second optical data (22) comprises passive image data, wherein the optical detection system (10) further comprises a processor (20) configured to perform object detection in the detection area (32) using the first and second optical data (21, 22). Optisches Detektionssystem nach Anspruch 10, ferner umfassend eine optische Quelle (14), die zum Erhalten der aktiven Bilddaten verwendet wird, wobei der optische Empfangssensor (12) und die optische Quelle (14) in einer Echtzeitumgebung enthalten sind.Optical detection system according to Claim 10 , further comprising an optical source (14) used to obtain the active image data, wherein the optical receive sensor (12) and the optical source (14) are contained in a real-time environment. Optisches Detektionssystem nach Anspruch 10 oder 11, wobei der optische Empfangssensor (12) und die optische Quelle (14) auf einem einzelnen Chip angeordnet sind.Optical detection system according to Claim 10 or 11 , wherein the optical receiving sensor (12) and the optical source (14) are arranged on a single chip. Optisches Detektionssystem nach einem der Ansprüche 10 bis 12, wobei der Prozessor (20) dazu ausgelegt ist, die Schritte des Verfahrens nach einem der Ansprüche 1 bis 9 durchzuführen.Optical detection system according to one of the Claims 10 until 12 , wherein the processor (20) is designed to carry out the steps of the method according to one of the Claims 1 until 9 to carry out. Fahrzeug (30), das das optische Detektionssystem (10) nach einem der Ansprüche 10 bis 13 umfasst.Vehicle (30) comprising the optical detection system (10) according to one of the Claims 10 until 13 includes.
DE102024107607.0A 2024-03-18 2024-03-18 OBJECT DETECTION METHOD AND OPTICAL DETECTION SYSTEM Pending DE102024107607A1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE102024107607.0A DE102024107607A1 (en) 2024-03-18 2024-03-18 OBJECT DETECTION METHOD AND OPTICAL DETECTION SYSTEM
PCT/EP2025/055820 WO2025195761A1 (en) 2024-03-18 2025-03-04 Method for object detection and optical detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102024107607.0A DE102024107607A1 (en) 2024-03-18 2024-03-18 OBJECT DETECTION METHOD AND OPTICAL DETECTION SYSTEM

Publications (1)

Publication Number Publication Date
DE102024107607A1 true DE102024107607A1 (en) 2025-09-18

Family

ID=94924919

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102024107607.0A Pending DE102024107607A1 (en) 2024-03-18 2024-03-18 OBJECT DETECTION METHOD AND OPTICAL DETECTION SYSTEM

Country Status (2)

Country Link
DE (1) DE102024107607A1 (en)
WO (1) WO2025195761A1 (en)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7417717B2 (en) * 2005-10-05 2008-08-26 Utah State University System and method for improving lidar data fidelity using pixel-aligned lidar/electro-optic data
US9810777B2 (en) 2014-08-22 2017-11-07 Voxtel, Inc. Asynchronous LADAR and imaging array
US11774554B2 (en) 2016-12-20 2023-10-03 Toyota Motor Europe Electronic device, system and method for augmenting image data of a passive optical sensor
US12118800B2 (en) * 2021-02-15 2024-10-15 Aptiv Technologies AG Multiple hypothesis-based fusion of sensor data

Also Published As

Publication number Publication date
WO2025195761A1 (en) 2025-09-25

Similar Documents

Publication Publication Date Title
DE102008003948B4 (en) An apparatus for determining the presence of fog using an image obtained by a vehicle-mounted imaging device
DE102011106050B4 (en) Shadow removal in an image captured by a vehicle-based camera for detection of a clear path
DE112021005357T5 (en) System and method for alignment of three-dimensional scanning
DE102009050505A1 (en) Clear path detecting method for vehicle i.e. motor vehicle such as car, involves modifying clear path based upon analysis of road geometry data, and utilizing clear path in navigation of vehicle
EP1589484A1 (en) Method for detecting and/or tracking objects
DE102020129096A1 (en) GENERATION OF THREE-DIMENSIONAL POINT CLOUDS USING A POLARIMETRIC CAMERA IN A VEHICLE EQUIPPED WITH A DRIVING ASSISTANT SYSTEM
DE102018121008B4 (en) SYSTEM FOR DRIVING AN AUTONOMOUS VEHICLE AND VEHICLE EQUIPPED THEREFROM
DE102018133441A1 (en) Method and system for determining landmarks in the surroundings of a vehicle
DE102018132805A1 (en) Procedure for improved object detection
DE112020002567T5 (en) IMAGE RECOGNITION DEVICE AND IMAGE RECOGNITION METHOD
EP1460454A2 (en) Method for combined processing of high resolution images and video images
DE102019127283A1 (en) System and method for detecting an object in a three-dimensional environment of a carrier vehicle
CN117471463B (en) Obstacle detection method based on 4D radar and image recognition fusion
DE112022005081T5 (en) VALIDATION OF AN SFM MAP USING LIDAR POINT CLOUDS
EP3885787B1 (en) Detection of distance measurement data
DE102024110677A1 (en) OPERATING A DEVICE SUCH AS A VEHICLE USING MACHINE LEARNING
DE102024107607A1 (en) OBJECT DETECTION METHOD AND OPTICAL DETECTION SYSTEM
DE102019107650A1 (en) Object shape detection based on two types of environmental sensors
DE102019107396A1 (en) Detection and classification of raised road markings using LIDAR
DE102018131495B4 (en) Method for providing a 3-dimensional data field of a distance sensor from the perspective of an optical sensor and driving support system for carrying out the method
DE102023127698A1 (en) Method and processor for detecting a stationary traffic sign
DE102023117112A1 (en) METHOD FOR IDENTIFYING AT LEAST ONE AREA IN OPTICAL IMAGE INFORMATION, OPTICAL DETECTION SYSTEM AND VEHICLE
DE102024104422A1 (en) METHOD FOR CALIBRATING AN OPTICAL SENSOR SYSTEM AND OPTICAL SENSOR SYSTEM
DE102023117171A1 (en) MOTION BLUR CORRECTION METHOD AND LIDAR SYSTEM
DE102023110728A1 (en) LIDAR SYSTEM AND METHOD FOR ENVIRONMENTAL SENSING