[go: up one dir, main page]

DE102019101037A1 - Driver assistance method and driver assistance system - Google Patents

Driver assistance method and driver assistance system Download PDF

Info

Publication number
DE102019101037A1
DE102019101037A1 DE102019101037.3A DE102019101037A DE102019101037A1 DE 102019101037 A1 DE102019101037 A1 DE 102019101037A1 DE 102019101037 A DE102019101037 A DE 102019101037A DE 102019101037 A1 DE102019101037 A1 DE 102019101037A1
Authority
DE
Germany
Prior art keywords
camera
vehicle
driving support
surroundings
procedure according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE102019101037.3A
Other languages
German (de)
Inventor
Marwa Alshafey
Ahmed Ghazal
Nourhan Alkomy
Amr Ali
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Valeo Schalter und Sensoren GmbH
Original Assignee
Valeo Schalter und Sensoren GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Valeo Schalter und Sensoren GmbH filed Critical Valeo Schalter und Sensoren GmbH
Priority to DE102019101037.3A priority Critical patent/DE102019101037A1/en
Publication of DE102019101037A1 publication Critical patent/DE102019101037A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095Predicting travel path or likelihood of collision
    • B60W30/0956Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/18Propelling the vehicle
    • B60W30/18009Propelling the vehicle related to particular drive situations
    • B60W30/18163Lane change; Overtaking manoeuvres
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • B60W60/0015Planning or execution of driving tasks specially adapted for safety
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146Display means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/53Road markings, e.g. lane marker or crosswalk
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00Input parameters relating to objects
    • B60W2554/40Dynamic objects, e.g. animals, windblown objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

Die vorliegende Erfindung betrifft eine Fahrunterstützungsverfahren, wobei das Fahrunterstützungsverfahren ein Kameraüberwachungssystem eines Fahrzeugs (10) verwendet, und wobei das Verfahren die Schritte umfasst:a) Erfassen der Umgebung des Fahrzeugs (10) mit mindestens einer Kamera (16) des Kameraüberwachungssystems, wobei kamerabasierte Umgebungsdaten erzeugt werden;b) Übertragen der kamerabasierten Umgebungsdaten an eine Steuereinheit eines Fahrunterstützungssystems (11); undc) Durchführen einer aktiven Fahrunterstützung unter Verwendung der kamerabasierten Umgebungsdaten.The invention relates to a driving support method, the driving support method using a camera monitoring system of a vehicle (10), and the method comprising the steps of: a) capturing the surroundings of the vehicle (10) with at least one camera (16) of the camera monitoring system, with camera-based surroundings data b) transmitting the camera-based environmental data to a control unit of a driving support system (11); andc) performing active driving support using the camera-based environment data.

Description

Die vorliegende Erfindung bezieht sich auf ein Fahrunterstützungsverfahren. Die vorliegende Erfindung bezieht sich insbesondere auf ein Fahrunterstützungsverfahren, das ein Kameraüberwachungssystem zur Verbesserung des Sicherheitsverhaltens verwendet. Abgesehen davon bezieht sich das vorliegende Verfahren auf ein Fahrunterstützungssystem, das in der Lage ist, ein solches Verfahren durchzuführen.The present invention relates to a driving support method. The present invention relates in particular to a driving support method that uses a camera monitoring system to improve safety behavior. Apart from this, the present method relates to a driving support system that is capable of performing such a method.

Mehrere Fahrunterstützungssysteme und Fahrunterstützungsverfahren sind im Stand der Technik bekannt. Insbesondere Technologien zur Verbesserung der Fahrzeugsicherheit sind für Autoproduzenten von zunehmendem Interesse, vor allem mit der kontinuierlichen Durchsetzung neuer Gesetze, wie z.B. von der NHTSA und der Europäischen Kommission. Die meisten High-End- und Medium-End-Fahrzeuge implementieren Sicherheitsfunktionen, die einige der Technologien wie das Warnen vor dem Verlassen der Fahrspur (Spurhalteassistent, lane keeping assistance), Spurwechselassistent (Tote-Winkel-Überwachung, blind spot monitoring) oder Vorwärtskollisionswarnung (FCW) oder eine Variation davon umfassen. Das Ziel solcher Technologien ist es, Gefahren in der Umgebung des Fahrzeugs zu erkennen und den Fahrer des Fahrzeugs zu warnen, um letztendlich einen Unfall zu verhindern.Several driving support systems and driving support methods are known in the art. Technologies to improve vehicle safety in particular are of increasing interest for car manufacturers, especially with the continuous enforcement of new laws, such as by the NHTSA and the European Commission. Most high-end and medium-end vehicles implement safety functions that include some of the technologies, such as warning of leaving the lane (lane keeping assistance), lane change assistant (blind spot monitoring) or forward collision warning ( FCW) or a variation thereof. The aim of such technologies is to recognize dangers in the surroundings of the vehicle and to warn the driver of the vehicle in order to ultimately prevent an accident.

DE 10 2012 012 783 A1 bezieht sich auf ein Kameraüberwachungssystem zur Überwachung des toten Winkels oder der Umgebung von Kraftfahrzeugen. Das Kameraüberwachungssystem umfasst ein einstückiges oder zweistückiges System, in dem ein Kameramodul mit dem Monitor an einem geeigneter Winkel zum Straßenrand integriert ist. Das zweiteilige System besteht aus einer Spiegelfläche und zusätzlich einem Display auf einer Glasfläche. Die Rückansicht erfolgt durch die Spiegelfläche und die Rückseitenansicht durch das Display. Im einteiligen Überwachungssystem ist ein großes Display in einem rechteckigen Rahmen als Ersatz für die Außenspiegel an der linken und rechten Fahrzeugaußenseite vorgesehen, das für die Seiten- und Rücksicht des Fahrzeugs verwendet wird. Für die komplexe Lösung der definierten Toten-Winkelbereiche, sind die rückseitigen, seitigen und vorderseitigen Kameras mit dem Kameraüberwachungssystem verbunden, an das die Übertragung von Videobildern mit und ohne Kabel möglich ist. Dieses Dokument betrifft somit die Tote-Winkel-Detektion. DE 10 2012 012 783 A1 relates to a camera monitoring system for monitoring the blind spot or the surroundings of motor vehicles. The camera monitoring system comprises a one-piece or two-piece system in which a camera module with the monitor is integrated at a suitable angle to the roadside. The two-part system consists of a mirror surface and an additional display on a glass surface. The rear view takes place through the mirror surface and the rear side view through the display. In the one-piece monitoring system, a large display in a rectangular frame is provided as a replacement for the exterior mirrors on the left and right vehicle exterior, which is used for the side and rear view of the vehicle. For the complex solution of the defined blind spot angle ranges, the rear, side and front cameras are connected to the camera surveillance system, to which the transmission of video images with and without cables is possible. This document therefore relates to blind spot detection.

US 2005/0146607 A1 beschreibt grundsätzlich Strukturelemente und Vorteile von kamerabasierten Sicherheitssystemen und konzentriert sich dabei hauptsächlich auf die Funktionen zur Vermeidung von toten Winkeln. US 2005/0146607 A1 basically describes structural elements and advantages of camera-based security systems and focuses mainly on the functions for avoiding blind spots.

US 2017/0120841 A1 beschreibt ein Kamerasystem mit rückwärtiger Sicht mit einem Fahrzeug mit einer Zündung. Das Fahrzeug hat eine erste Seitenseite, eine zweite Seitenseite und eine Rückseite. Ein Paar Kameras ist vorgesehen und jede der Kameras ist mit dem Fahrzeug gekoppelt. Jede der Kameras ist auf einer zugeordneten der ersten seitlichen Seite und der zweiten seitlichen Seite positioniert. Jede der Kameras ist so ausgerichtet, dass sie der Rückseite zugewandt ist. Somit kann jede der Kameras einen zugeordneten toten Winkel eines Paars an toten Winkeln in Bezug auf das Fahrzeug überwachen. Ein Monitor ist im Fahrzeug positioniert und der Monitor kann beobachtet werden, während das Fahrzeug gefahren wird. Der Monitor ist mit jeder der Kameras in Verbindung. Somit kann der Monitor jeden der beiden toten Winkel anzeigen, wodurch eine Verbesserung des sicheren Betriebs des Fahrzeugs möglich ist. US 2017/0120841 A1 describes a rear view camera system with a vehicle with an ignition. The vehicle has a first side, a second side and a rear. A pair of cameras are provided and each of the cameras is coupled to the vehicle. Each of the cameras is positioned on an associated one of the first side and the second side. Each of the cameras is oriented so that it faces the back. Thus, each of the cameras can monitor an associated blind spot of a pair of blind spots with respect to the vehicle. A monitor is positioned in the vehicle and the monitor can be observed while the vehicle is being driven. The monitor is connected to each of the cameras. Thus, the monitor can display each of the two blind spots, which can improve the safe operation of the vehicle.

Es ist Gegenstand der vorliegenden Erfindung, wenigstens einen Nachteil des Stands der Technik zu überwinden. Es ist insbesondere eine Aufgabe des Stands der Technik, mindestens eine Fahrunterstützungs-Funktionalität zu verbessern.It is an object of the present invention to overcome at least one disadvantage of the prior art. It is a particular object of the prior art to improve at least one driving support functionality.

Diese Aufgabe wird zumindest teilweise durch ein Fahrunterstützungsverfahren mit den Merkmalen des unabhängigen Anspruchs 1 gelöst. Diese Aufgabe wird ferner zumindest teilweise durch ein Fahrunterstützungssystem mit den Merkmalen des unabhängigen Anspruchs 10 gelöst. Vorteilhafte Ausführungsformen sind in den abhängigen Ansprüchen, in der weiteren Beschreibung sowie in den Figuren angegeben, wobei die beschriebenen Ausführungsformen allein oder in einer beliebigen Kombination der jeweiligen Ausführungsformen ein Merkmal der vorliegenden Erfindung darstellen können, sofern dies nicht eindeutig ausgeschlossen sind.This object is at least partially achieved by a driving support method with the features of independent claim 1. This object is further at least partially achieved by a driving support system with the features of independent claim 10. Advantageous embodiments are specified in the dependent claims, in the further description and in the figures, wherein the described embodiments, alone or in any combination of the respective embodiments, can represent a feature of the present invention, unless this is clearly excluded.

Insbesondere stellt die vorliegende Erfindung ein Fahrunterstützungsverfahren bereit, wobei das Fahrunterstützungsverfahren ein Kameraüberwachungssystem (camera monitoring system, CMS) eines Fahrzeugs verwendet, und wobei das Verfahren die Schritte umfasst:

  1. a) Erfassen der Umgebung des Fahrzeugs mit mindestens einer Kamera des Kameraüberwachungssystems, wobei kamerabasierte Umgebungsdaten erzeugt werden;
  2. b) Übertragen der kamerabasierten Umgebungsdaten an eine Steuereinheit eines Fahrunterstützungssystems; und
  3. c) Durchführen einer aktiven Fahrunterstützung unter Verwendung der kamerabasierten Umgebungsdaten.
In particular, the present invention provides a driving support method, the driving support method using a vehicle camera monitoring system (CMS), and the method comprising the steps of:
  1. a) capturing the surroundings of the vehicle with at least one camera of the camera surveillance system, camera-based surroundings data being generated;
  2. b) transmitting the camera-based environmental data to a control unit of a driving support system; and
  3. c) performing active driving support using the camera-based environment data.

Ein solches Verfahren kann eine wirksame Maßnahme darstellen, um eine besonders sichere Fahrunterstützung in verschiedenen Funktionalitäten zu ermöglichen.Such a procedure can be an effective measure to ensure a particularly safe To enable driving support in various functionalities.

Das Fahrzeug, das mit einem entsprechenden System zur Durchführung des Verfahrens ausgestattet ist, ist wird als Ego-Fahrzeug bezeichnet, falls es von anderen Fahrzeugen unterschieden werden muss.The vehicle that is equipped with a corresponding system for carrying out the method is referred to as an ego vehicle if it must be distinguished from other vehicles.

Insbesondere verwendet das vorliegende Verfahren ein Kameraüberwachungssystem zur Bereitstellung von aktiver Fahrunterstützung und ist damit den Lösungen des Standes der Technik deutlich überlegen. Diesbezüglich fokussiert sich der Stand der Technik, der sich mit dem Kameraüberwachungssystem befasst, im Wesentlichen auf Tote-Winkel-Überwachung und beschreibt weiterhin einfach die Überwachung der Umgebung einschließlich der toten Winkel. Die aktive Nutzung der von dem Kameraüberwachungssystem bereitgestellten Informationen zur Fahrunterstützung ist jedoch im Stand der Technik kein Thema. In anderen Worten, die Verwendung der kamerabasierten Umgebungsdaten, um dem Fahrer Informationen zu geben, die über die reine Wiedergabe der Umgebung hinausgehen, ist im der Stand der Technik, welche sich auf Kameraüberwachungssysteme bezieht, kein Thema.In particular, the present method uses a camera monitoring system to provide active driving support and is therefore clearly superior to the solutions of the prior art. In this regard, the prior art that deals with the camera surveillance system essentially focuses on blind spot surveillance and continues to simply describe the surveillance of the environment including blind spots. However, active use of the information provided by the camera monitoring system for driving support is not an issue in the prior art. In other words, the use of the camera-based environment data to provide the driver with information that goes beyond the mere reproduction of the environment is not an issue in the prior art relating to camera surveillance systems.

Wie im Folgenden näher beschrieben, befasst sich die vorliegende Erfindung mit der Verwendung von Umgebungsdaten, die von dem Kameraüberwachungssystemen bereitgestellt wurden, und verwendet diese Information zum aktiven Bereitstellen von F ah ru nterstützu ng.As described in more detail below, the present invention is concerned with the use of environmental data provided by the camera surveillance system and uses this information to actively provide driving support.

In diesem Zusammenhang soll das aktive Bereitstellen von Fahrunterstützung im Sinne der vorliegenden Erfindung insbesondere bedeuten nicht nur die Darstellung der Umgebung, sondern auch die Nutzung der Daten, die vom Kameraüberwachungssystem bereitgestellt werden, und die Verarbeitung der Daten zur Unterstützung des Fahrers, z.B. durch autonomes Fahren oder durch das Geben von Benachrichtigungen an den Fahrer, um unterschiedliche Fahrfunktionalitäten zu ermöglichen oder zu verhindern und damit aktive Unterstützung zu geben, die über die reine Reproduktion der Umgebung hinausgeht.In this context, the active provision of driving support within the meaning of the present invention should not only mean the representation of the environment, but also the use of the data provided by the camera monitoring system and the processing of the data to support the driver, e.g. through autonomous driving or by giving notifications to the driver to enable or prevent different driving functionalities and thus to give active support that goes beyond the mere reproduction of the environment.

Es wird somit deutlich, dass das vorliegende Verfahren durchgeführt werden kann, ausgehend von der Ausgabe von Informationen an einen Fahrer, bis zur Durchführung eines völlig autonomen Fahrens, ohne den Sinn der vorliegenden Erfindung zu verlasen.It is thus clear that the present method can be carried out, starting from the output of information to a driver, up to the implementation of a completely autonomous driving, without departing from the meaning of the present invention.

Wie im Folgenden näher beschrieben, kann jedoch im Allgemeinen und unabhängig von der spezifischen Ausführungsform vorgesehen sein, dass ein Kameraüberwachungssystem nur verwendet wird, um neben dem Ego-Fahrzeug weitere Fahrzeuge zu erkennen. Die Erkennung kann realisiert werden am Heck und an den Seiten des Ego-Fahrzeugs innerhalb eines Sichtfeldes, das insbesondere durch die Kameras bereitgestellt wird. Ein solches Sichtfeld ist typischerweise größer als das Sichtfeld von den meisten herkömmlichen Spiegeln von Fahrzeugen, wie beispielsweise Autospiegeln. Dies ermöglicht das Erzeugen eines Systems zur Erkennung von Gefahren (Hazard Aware System).As described in more detail below, however, it can generally be provided, regardless of the specific embodiment, that a camera surveillance system is only used to detect other vehicles in addition to the ego vehicle. The detection can be realized on the rear and on the sides of the ego vehicle within a field of view, which is provided in particular by the cameras. Such a field of view is typically larger than the field of view of most conventional vehicle mirrors, such as car mirrors. This enables a hazard detection system to be created.

Wie oben erwähnt, wird das vorliegende Verfahren unter Verwendung eines Kameraüberwachungssystems (CMS) eines Fahrzeugs durchgeführt. Diesbezüglich ist ein Kameraüberwachungssystem insbesondere ein System, das mindestens eine Kamera umfasst und insbesondere eine Vielzahl von Kameras umfasst zur Beobachtung der Umgebung des Fahrzeugs. In diesem Zusammenhang ist es oft so, dass das Kameraüberwachungssystem Kameras umfasst, die zumindest teilweise die Rückspiegel eines Fahrzeugs ersetzen und damit die Rückspiegel, die an der Außenseite des Fahrzeugs auf der linken Seite und auf der rechten Seite des Fahrzeugs angeordnet sind, und/oder den Rückspiegel, der im Inneren des Fahrzeugs angeordnet ist. Deshalb ist ein Kameraüberwachungssystem in der Lage, ein vollständiges Bild zu liefern, insbesondere von dem Bereich hinter dem Fahrzeug und kann insbesondere dieses Bild ohne toten Winkel in dem gewünschten Sichtfeld bereitstellen.As mentioned above, the present method is carried out using a camera surveillance system (CMS) of a vehicle. In this regard, a camera monitoring system is, in particular, a system which comprises at least one camera and in particular comprises a plurality of cameras for observing the surroundings of the vehicle. In this context, it is often the case that the camera monitoring system comprises cameras that at least partially replace the rear-view mirrors of a vehicle and thus the rear-view mirrors that are arranged on the outside of the vehicle on the left side and on the right side of the vehicle, and / or the rearview mirror, which is arranged inside the vehicle. A camera surveillance system is therefore able to provide a complete picture, in particular of the area behind the vehicle, and in particular can provide this picture without a blind spot in the desired field of view.

Weiter und neben der mindestens einen Kamera umfasst ein Kameraüberwachungssystem mindestens ein Display und vorzugsweise eine Vielzahl von Displays, auf denen das Sichtfeld des der mindestens eine Kamera zumindest teilweise dargestellt werden kann. So kann es beispielsweise bevorzugt sein, dass für jede vorgesehene Kamera ein entsprechendes Display vorgesehen ist. In diesem Zusammenhang, insbesondere, falls das Kameraüberwachungssystem die herkömmlichen Rückspiegel ersetzt, sollte das rückwärtige Sichtfeld dem Fahrer des Fahrzeugs angezeigt werden. Dies ist problemlos und sehr effektiv möglich durch die Verwendung eines Displays für jede Kameraansicht. Diese können dann an die gewünschten Bedürfnisse angepasst werden, wie etwa in Bezug auf ihre Größe und ihre Position am Fahrzeug beziehungsweise im Fahrzeug.Furthermore and in addition to the at least one camera, a camera monitoring system comprises at least one display and preferably a plurality of displays on which the field of view of the at least one camera can be at least partially shown. For example, it can be preferred that a corresponding display is provided for each camera provided. In this context, especially if the camera monitoring system replaces the conventional rear view mirror, the rear field of vision should be displayed to the driver of the vehicle. This can be done easily and very effectively by using a display for each camera view. These can then be adapted to the desired needs, such as in terms of their size and their position on the vehicle or in the vehicle.

Es ist weiterhin zu beachten, dass die Displays neben der Darstellung der rückseitigen Sicht der Kameras verwendet werden können, um etwa den Fahrer zu informieren und so beispielsweise für das Bereitstellen von Warnsymbolen oder Warnmeldungen, wie im Folgenden näher beschrieben.It should also be noted that the displays can be used in addition to showing the rear view of the cameras, for example to inform the driver and, for example, to provide warning symbols or warning messages, as described in more detail below.

Um eine wirksame Maßnahme zum Erlauben einer sicheren Fahrunterstützung bei verschiedenen Funktionalitäten wie vorstehend beschrieben bereitzustellen, umfasst das beschriebene Verfahren die folgenden Schritte. In diesem Zusammenhang ist zu beachten, dass die definierten Schritte durchgeführt werden können streng in der beschriebenen Reihenfolge oder in einer abweichenden Reihenfolge oder zwei oder mehr Schritte können zumindest teilweise zur gleichen Zeit durchgeführt werden, ohne den Umfang der vorliegenden Erfindung zu verlassen.To be an effective measure to allow safe driving support for various To provide functionalities as described above, the described method comprises the following steps. In this connection it should be noted that the defined steps can be carried out strictly in the order described or in a different order or two or more steps can be carried out at least partially at the same time without leaving the scope of the present invention.

Gemäß Verfahrensschritt a) umfasst das beschriebene Verfahren den Schritt des Erfassens der Umgebung des Fahrzeugs mit mindestens einer Kamera des Kameraüberwachungssystems, wobei kamerabasierte Umgebungsdaten erzeugt werden. Gemäß diesem Schritt wird die Umgebung des Fahrzeugs von mindestens einer Kamera und bevorzugt von einer Mehrzahl von Kameras erfasst. In diesem Zusammenhang kann vorgesehen werden, dass die Umgebung derart erfasst wird, dass ein Bild der Umgebung mit einem vergrößerten Sichtfeld erreicht werden kann, wobei sich dies insbesondere auf die Tatsache bezieht, dass tote Winkel deutlich reduziert werden können.According to method step a), the method described comprises the step of capturing the surroundings of the vehicle with at least one camera of the camera monitoring system, camera-based surroundings data being generated. According to this step, the surroundings of the vehicle are captured by at least one camera and preferably by a plurality of cameras. In this context it can be provided that the surroundings are captured in such a way that an image of the surroundings can be achieved with an enlarged field of view, this relating in particular to the fact that blind spots can be significantly reduced.

Gemäß dem weiteren Verfahrensschritt b) umfasst das Verfahren den weiteren Schritt des Übertragens der kamerabasierten Umgebungsdaten an eine Steuereinheit eines Fahrunterstützungssystems. In diesem Zusammenhang kann vorgesehen werden, dass die Steuereinheit von dem Kameraüberwachungssystem umfasst ist oder ein von dem Kameraüberwachungssystem getrenntes Teil ist. In diesem Zusammenhang können die Umgebungsdaten vom Steuersystem verwendet werden, um eine Fahrunterstützung durchzuführen, wie dies nachfolgend beschrieben ist. Um dies zu erreichen, können die Umgebungsdaten entweder in einem Zustand, in dem sie durch die wenigstens eine Kamera erzeugt sind, an die Steuereinheit übertragen werden, oder sie können beispielsweise von der Kamera vor der Übertragung an die Steuereinheit verarbeitet werden. Darüber hinaus kann es vorgesehen sein, dass die Umgebungsdaten über entsprechende physikalische Datenverbindungen übertragen werden, d.h. mittels Kabel, oder es kann vorgesehen sein, dass die Daten von der Kamera an die Steuereinheit übertragen werden mittels einer drahtlosen Datenverbindung.According to the further method step b), the method comprises the further step of transmitting the camera-based environmental data to a control unit of a driving support system. In this context it can be provided that the control unit is included in the camera monitoring system or is a part separate from the camera monitoring system. In this context, the environmental data can be used by the control system to provide driving assistance as described below. To achieve this, the environmental data can either be transmitted to the control unit in a state in which they are generated by the at least one camera, or they can be processed, for example, by the camera before the transmission to the control unit. In addition, it can be provided that the environmental data are transmitted via corresponding physical data connections, i.e. by cable, or it can be provided that the data is transmitted from the camera to the control unit by means of a wireless data connection.

Gemäß dem weiteren Verfahrensschritt c) umfasst das vorliegende Verfahren den weiteren Schritt des Durchführens einer aktiven Fahrunterstützung unter Verwendung der kamerabasierten Umgebungsdaten. Diesbezüglich ist die hier verwendete spezifische Fahrunterstützung nicht eingeschränkt, solange es eine aktive Fahrunterstützung ist, wie oben beschrieben. Diese Fahrunterstützung kann zu einer erheblichen Verbesserung des Sicherheitsverhaltens führen, wenn das Fahrzeug gefahren wird.According to the further method step c), the present method comprises the further step of performing active driving support using the camera-based environment data. In this regard, the specific driving assistance used here is not limited as long as it is an active driving assistance as described above. This driving support can lead to a significant improvement in safety behavior when the vehicle is being driven.

Ein solches Verfahren kann erhebliche Vorteile gegenüber dem Stand der Technik bieten.Such a method can offer considerable advantages over the prior art.

In diesem Zusammenhang wird es durch den Einsatz entsprechender Kameras eines Kameraüberwachungssystems, wie z.B. durch Weitwinkelkameras anstelle von Spiegeln, möglich, tote Winkel zu reduzieren, die mit den meisten Außenspiegeln vorhanden sind. Ein Kameraüberwachungssystem kann ausreichend sein, um Fahrzeuge im toten Winkel von Spiegeln oder im erweiterten Sichtfeld zuverlässig zu erkennen, wie zum Beispiel von Seitenspiegeln, z.B. wenn keine zusätzlichen Sensoren, wie Infrarotsensoren, Radarsensoren, Ultraschallsensoren oder Laserscanner eingesetzt werden. Daher kann die Durchführung der Fahrunterstützung basierend auf den Kameradaten sehr sicher und zuverlässig sein.In this context, the use of appropriate cameras from a camera surveillance system, such as wide-angle cameras instead of mirrors make it possible to reduce blind spots that are present with most exterior mirrors. A camera surveillance system may be sufficient to reliably detect vehicles in the blind spot of mirrors or in the extended field of view, such as side mirrors, e.g. if no additional sensors, such as infrared sensors, radar sensors, ultrasonic sensors or laser scanners are used. Therefore, performing the driving support based on the camera data can be very safe and reliable.

Letzteres ist dabei ohne eine komplexe Peripherie möglich. Dies wiederum ermöglicht die Durchführung des beschriebenen Verfahrens in einer kostensparenden Weise und kann in bestehende Systeme, insbesondere in bestehenden Kameraüberwachungssystemen, problemlos implementiert werden.The latter is possible without a complex periphery. This in turn enables the described method to be carried out in a cost-saving manner and can be easily implemented in existing systems, in particular in existing camera surveillance systems.

Gleiches gilt für die Identifizierung potenzieller Risiken auf der Straße und damit in der Umgebung des Fahrzeugs. In diesem Zusammenhang ermöglicht das Verfahren die Identifizierung tatsächlicher Risiken auf der Straße im Gegensatz zu einem Standard-Spurwechsel-Warnsystem (lane departure warning system). Allerdings sind Standard-Fahrspurwarnsysteme des Stands der Technik unwissend betreffend die Anwesenheit von Fahrzeugen und betreffend ihre Geschwindigkeit oder ihre Nähe. Letzteres ist jedoch problemlos und sehr zuverlässig möglich unter Verwendung des Verfahrens nach der Erfindung.The same applies to the identification of potential risks on the road and therefore in the area surrounding the vehicle. In this context, the method enables the identification of actual risks on the road, in contrast to a standard lane departure warning system. However, prior art standard lane warning systems are ignorant of the presence of vehicles and their speed or proximity. However, the latter is possible without problems and very reliably using the method according to the invention.

Damit eliminiert das beschriebene System insbesondere die Limitierung eines Standard-Fahrspurwarnsystems, welches auf schlecht markierten Straßen nur eine eingeschränkte Funktionalität aufweist.The system described thereby in particular eliminates the limitation of a standard lane warning system which has only limited functionality on poorly marked roads.

Darüber hinaus können durch den Einsatz eines Kameraüberwachungssystems Warnungen klassifiziert werden in rechte und linke visuelle Hinweise, die über der jeweiligen Kameraansicht angezeigt werden. Daher ist die Warninformation, beispielsweise, gut sichtbar und kann dem jeweiligen Bereich für den Fahrer in jeder Situation zugeordnet werden, was wiederum eine besonders hohe Sicherheit und Zuverlässigkeit bietet.In addition, by using a camera surveillance system, warnings can be classified into right and left visual cues that are displayed above the respective camera view. Therefore, the warning information, for example, is clearly visible and can be assigned to the respective area for the driver in any situation, which in turn offers a particularly high level of safety and reliability.

Abgesehen davon bietet ein Verfahren, das insbesondere ein Verfahren zur Erkennung von Gefährdungen ist, wie hier beschrieben, Funktionen wie oben und nachstehend beschrieben, wobei es möglich sein kann, nur ein Kameraüberwachungssystem als sensorische Peripherie zu verwenden. Dies ist jedenfalls kostengünstiger als ein System, das eine Kombination von Lasersensoren, Ultraschallsensoren und Radarsensoren verwendet, wie aus dem Stand der Technik bekannt.Apart from this, a method, which is in particular a method for recognizing hazards as described here, offers functions as described above and below, wherein it it may be possible to use only one camera surveillance system as the sensory periphery. In any case, this is less expensive than a system using a combination of laser sensors, ultrasonic sensors and radar sensors, as is known from the prior art.

Daher kann die Verwendung eines Kameraüberwachungssystems, wie vorstehend beschrieben, eine variierende Erfassung der Umgebung des Fahrzeugs bereitstellen, wie beispielsweise das Erfassen der Position und/oder der Geschwindigkeit von Fahrzeugen, die sich in der Umgebung des Ego-Fahrzeugs befinden. Ferner kann das Ergebnis mit einer begrenzten sensorische Peripherie erreicht werden.Therefore, the use of a camera monitoring system, as described above, can provide a varying detection of the surroundings of the vehicle, such as detection of the position and / or speed of vehicles that are in the vicinity of the ego vehicle. Furthermore, the result can be achieved with a limited sensory periphery.

Im Hinblick auf die Fahrunterstützung kann es besonders vorteilhaft sein, dass die Fahrunterstützung mindestens eines aus Spurhalteunterstützung, Spurwechselunterstützung, Kollisionswarnung und Geschwindigkeitserfassung von benachbarten Fahrzeugen und damit von Fahrzeugen, die im Sichtfeld wenigstens einer Kamera vorhanden sind, umfasst. Es wurde festgestellt, dass insbesondere solche Fahrunterstützungs-Funktionalitäten sehr wichtig sind, um die Sicherheit des Fahrens zu verbessern. Daher sind diese Funktionalitäten von großer Bedeutung für die Fahrunterstützung, sowohl nur für die Bereitstellung von Informationen an einen Fahrer oder in Bezug auf die Bereitstellung von autonomem Fahren, wie beispielsweise völlig autonomem Fahren.With regard to driving support, it can be particularly advantageous that the driving support comprises at least one of lane keeping support, lane change support, collision warning and speed detection of neighboring vehicles and thus of vehicles that are present in the field of view of at least one camera. It was found that such driving support functionalities in particular are very important in order to improve driving safety. Therefore, these functionalities are of great importance for driving support, both only for the provision of information to a driver or in relation to the provision of autonomous driving, such as, for example, fully autonomous driving.

Abgesehen davon beruhen solche Funktionalitäten auf dem Schritt der Erfassung der Umgebung, was bestenfalls mit reduzierten toten Winkeln und mit einem erweiterten Sichtfeld durchgeführt wird, um besonders zuverlässig zu sein. Daher kann das Ergebnis des Verfahrens insbesondere durch den Einsatz eines Kameraüberwachungssystems besonders zuverlässig sein, und somit kann Fahrunterstützung besonders sicher sein.Apart from this, such functionalities are based on the step of capturing the surroundings, which is carried out at best with reduced blind spots and with an enlarged field of view in order to be particularly reliable. Therefore, the result of the method can be particularly reliable, in particular through the use of a camera monitoring system, and thus driving support can be particularly safe.

Im Hinblick auf die Funktionalität der Erfassung der Geschwindigkeit eines benachbarten Fahrzeugs und insbesondere hinsichtlich des Anzeigens dieser in dem Display des Kameraüberwachungssystems, kann die Geschwindigkeit der Ziele, die detektiert werden, durch die Verwendung eines Kameraüberwachungssystems und im Detail durch die Verwendung von einem Fahrzeugerkennungs-Algorithmus wie unten beschrieben auf jeder Seite des Fahrzeug berechnet werden aus den relativen Positionen in Bezug auf das Ego-Fahrzeug. Das Urteil des Fahrers über das umgebende Fahrzeug kann deutlich verbessert werden durch den Einsatz von visuellen Hinweisen, beispielsweise. Weiterhin, wenn der Fahrer des Fahrzeugs oder bei autonomem Fahren das Fahrzeug als solches sich stets der Geschwindigkeit des benachbarten Fahrzeugs bewusst ist, können Gefahren sehr schnell erkannt werden, was wiederum ermöglicht, dass wahrscheinliche Unfälle vermieden werden. Daher kann die Funktionalität der Erfassung der Geschwindigkeit eines Nachbarfahrzeugs alleine oder zusätzlich in Kombination mit einer Spurwechselunterstützung und einer Kollisionswarnung, wie beschrieben, eingesetzt werden.With regard to the functionality of the detection of the speed of an adjacent vehicle and in particular with regard to the display of this on the display of the camera monitoring system, the speed of the targets that are detected can be determined by using a camera monitoring system and in detail by using a vehicle detection algorithm as described below on each side of the vehicle are calculated from the relative positions with respect to the ego vehicle. The driver's judgment about the surrounding vehicle can be significantly improved by using visual cues, for example. Furthermore, if the driver of the vehicle or, in the case of autonomous driving, the vehicle as such is always aware of the speed of the neighboring vehicle, dangers can be recognized very quickly, which in turn enables probable accidents to be avoided. Therefore, the functionality of the detection of the speed of a neighboring vehicle can be used alone or additionally in combination with a lane change support and a collision warning, as described.

Weiterhin und in Bezug auf die Funktionalität, nach der eine Spurwechselunterstützung oder eine Spurwechselwarnung erfolgt, kann folgendes festgestellt werden. Eine Spurwechselunterstützung, die durch die Verwendung eines Kameraüberwachungssystems erfolgt, ist nicht auf die folgenden Punkte beschränkt, kann aber vorzugsweise unter Verwendung der Geschwindigkeit und der Position von umliegenden Fahrzeugen beziehungsweise von Fahrzeugen, die zu dem Ego-Fahrzeug benachbart sind, durchgeführt werden, um zu bestimmen, ob es für das Fahrzeug sicher ist, einen Spurwechsel durchzuführen.Furthermore, and in relation to the functionality according to which a lane change support or a lane change warning is given, the following can be determined. Lane changing support provided by using a camera monitoring system is not limited to the following points, but can preferably be performed using the speed and position of surrounding vehicles or vehicles adjacent to the ego vehicle to do so determine whether it is safe for the vehicle to change lanes.

Ein Spurwechselassistent beziehungsweise eine Tote-Winkel-Überwachung erkennt so Fahrzeuge im Bereich der toten Winkel oder im weiteren Sichtfeld unter Verwendung des Kameraüberwachungssystems und kann beispielsweise den Fahrer warnen, wenn der Blinker aktiviert wurde. Die Warnung kann ausgestaltet sein in Form eines Geräusches, einer Vibration des Lenkrads oder des Autositzes, oder eines Warnzeichens, das auf dem Hauptgerät angezeigt wird und/oder die Warnung kann in einer Anzeige angezeigt werden wie oben beschrieben.A lane change assistant or blind spot monitoring thus detects vehicles in the blind spot area or in the wider field of vision using the camera monitoring system and can, for example, warn the driver when the turn signal has been activated. The warning may be in the form of a noise, vibration of the steering wheel or the car seat, or a warning sign that is displayed on the main unit and / or the warning may be shown on a display as described above.

Auf der anderen Seite trägt eine Spurhaltevorrichtung wesentlich dazu bei, das Fahrzeug sicher innerhalb der Fahrspur zu halten, um kritische Situationen zu vermeiden. In diesem Zusammenhang kann eine solche Funktionalität hauptsächlich eine Frontkamera verwenden, indem sie einen entsprechenden Algorithmus zur Interpretation der kamerabasierten Sensordaten verwendet, der in der Lage ist, Fahrbahnmarkierungen auf der Straße zu verfolgen. Der Algorithmus erkennt, wenn das Fahrzeug von seiner Fahrspur abweicht und der Blinker nicht betätigt wurde. Die Funktionalität kann den Fahrer warnen, wenn er außerhalb des Kurses steuert und möglicherweise eine elektronische Lenkunterstützung verwenden, um das Fahrzeug zurück auf die Straße zu lenken. Die Funktionalität wie beschrieben ist auch für autonome Fahrzeuge verwendbar.On the other hand, a lane keeping device contributes significantly to keeping the vehicle safely in the lane in order to avoid critical situations. In this context, such functionality can mainly be used by a front camera by using an appropriate algorithm for interpreting the camera-based sensor data, which is able to track road markings on the road. The algorithm detects when the vehicle deviates from its lane and the turn signal has not been activated. The functionality can warn the driver if he is steering off course and may use electronic steering assistance to steer the vehicle back onto the road. The functionality as described can also be used for autonomous vehicles.

Im Hinblick auf eine Kollisionswarnung kann es besonders vorteilhaft sein, wenn die Umgebung mit Bezug auf entsprechende Objekte abgetastet wird. Nachdem die Umgebung abgetastet ist und insbesondere wenn Objekte erkannt sind, wie etwa unter Verwendung geeigneter Algorithmen, kann der Fahrer beispielsweise gewarnt werden, wenn er zu nahe ist oder ein hohes Kollisionsrisiko besteht, wenn die Fahrunterstützung das Warnen eines Fahrers umfasst.With regard to a collision warning, it can be particularly advantageous if the surroundings are scanned with reference to corresponding objects. After the surroundings have been scanned and in particular when objects are recognized, such as using suitable algorithms, the driver can be warned, for example, if he is too close or there is a high risk of collision if the Driver assistance includes warning a driver.

Um zuverlässige Ergebnisse zu erzielen, kann vorgesehen werden, dass eine vorwärts gerichtete Kollisionswarnung (FCW) eine Frontkamera verwendet und dass eine rückwärts gerichtete Kollisionswarnung eine Rückkamera verwendet.To achieve reliable results, it can be provided that a forward collision warning (FCW) uses a front camera and that a rearward collision warning uses a rear camera.

Es ist jedoch allgemein vorgesehen, dass das Verfahren vordere Kollisionen (front-end-collisions), rückwärtige Kollisionen (rear-end-collisions) als auch seitliche Kollisionen antizipieren kann und das Risiko für solche Kollisionen durch das Bereitstellen entsprechender Warnhinweise, beispielsweise, reduzieren kann.However, it is generally contemplated that the method can anticipate front-end collisions, rear-end collisions, as well as side collisions and can reduce the risk of such collisions by providing appropriate warnings, for example .

Weiterhin und im Hinblick auf die Erfassung der Umgebung, insbesondere gemäß Schritt a), kann es vorgesehen sein, dass bezüglich des Abtastens der Umgebung mehrere Möglichkeiten vorgesehen sein können, um jeweilige Objekte zu erkennen, was für die Bereitstellung der Fahrunterstützung, wie oben beschrieben, wichtig sein kann. In diesem Zusammenhang kann es daher bevorzugt sein, dass das Verfahren den weiteren Schritt d) umfasst, das Erfassen mindestens eines Objekts in der Umgebung des Fahrzeugs basierend auf den kamerabasierten Umgebungsdaten. Es kann besonders vorteilhaft sein, dass dieser Schritt vor Schritt c) durchgeführt wird, so dass eine Fahrunterstützung auf der Grundlage erkannter Objekte realisiert werden kann. Dieser Schritt basiert hauptsächlich auf der Tatsache, dass das Geben von Fahrunterstützung besonders effektiv ist, wenn entsprechende Objekte detektiert sind und somit bekannt ist, welche Art der Objekte vorhanden sind und insbesondere an welcher Stelle.Furthermore, and with regard to the detection of the surroundings, in particular according to step a), it can be provided that with respect to the scanning of the surroundings, several options can be provided in order to recognize respective objects, which is necessary for providing the driving support, as described above. can be important. In this context, it can therefore be preferred that the method comprises the further step d), the detection of at least one object in the surroundings of the vehicle based on the camera-based surroundings data. It can be particularly advantageous that this step is carried out before step c), so that driving support can be implemented on the basis of recognized objects. This step is mainly based on the fact that the giving of driving support is particularly effective if corresponding objects are detected and it is therefore known what type of objects are present and in particular at which point.

In diesem Zusammenhang kann vorgesehen sein, dass die Methode unter Verwendung eines Objekterkennungs-Algorithmus durchgeführt wird. Es kann insbesondere bevorzugt sein, dass Schritt d) wie zuvor beschrieben durchgeführt wird unter Verwendung eines Objekterkennungs-Algorithmus. Ein solcher Algorithmus kann in einer dem Fachmann nach dem Fachgebiet bekannten Weise generiert werden, beispielsweise durch Verwendung von entsprechenden kamerabasierte Erfahrungsdaten, um die jeweiligen kamerabasierten Daten einem entsprechenden Objekt zuzuordnen. In diesem Zusammenhang ist das zu erkennende Objekt und damit das Objekt, an das der Objekterkennungs-Algorithmus angepasst ist, im Allgemeinen nicht eingeschränkt. Es kann ferner vorgesehen sein, dass eine Vielzahl von Objekten erfasst werden soll durch unter Verwendung eines oder mehrerer Algorithmen.In this connection it can be provided that the method is carried out using an object recognition algorithm. It can be particularly preferred that step d) is carried out as described above using an object detection algorithm. Such an algorithm can be generated in a manner known to the person skilled in the art, for example by using corresponding camera-based experience data in order to assign the respective camera-based data to a corresponding object. In this context, the object to be recognized and thus the object to which the object recognition algorithm is adapted are generally not restricted. It can further be provided that a multiplicity of objects is to be acquired using one or more algorithms.

Beispielsweise und im Hinblick auf den Objekterkennungs-Algorithmus kann es bevorzugt sein, dass der Objekterkennungs-Algorithmus einen Fahrzeugerkennungs-Algorithmus umfasst. In diesem Zusammenhang und wie oben beschrieben, kann es besonders bevorzugt sein, dass das Objekt ein Fahrzeug sein kann, wie beispielsweise ein Auto, das sich hinter dem Fahrzeug oder neben dem Ego-Fahrzeug befindet. Dies kann darauf zurückzuführen sein, dass die beschriebene Fahrunterstützung, die im Rahmen des vorliegenden Verfahrens verwendet wird, besonders wirksam sein kann, wenn Fahrzeuge berücksichtigt werden. Daher kann die Ausführungsform, nach der der Objekterkennungs-Algorithmus einen Fahrzeugerkennungs-Algorithmus umfasst, von erheblicher Bedeutung für die Durchführung beides einer Spurwechsel-Unterstützung (lane change support) und einer Kollisionswarnung, beispielsweise, sein.For example, and with regard to the object detection algorithm, it may be preferred that the object detection algorithm comprises a vehicle detection algorithm. In this context and as described above, it can be particularly preferred that the object can be a vehicle, such as a car, for example, which is located behind the vehicle or next to the ego vehicle. This can be due to the fact that the described driving support, which is used in the context of the present method, can be particularly effective if vehicles are taken into account. Therefore, the embodiment according to which the object detection algorithm comprises a vehicle detection algorithm can be of considerable importance for performing both lane change support and a collision warning, for example.

Zusätzlich oder alternativ und wiederum in Bezug auf den Objekterkennungs-Algorithmus kann es ferner bevorzugt sein, dass der Objekterkennungs-Algorithmus ein Algorithmus zur Erkennung von Fahrbahnmarkierungen umfasst. Daher sollten nach dieser Ausführungsform Fahrbahnmarkierungen besonders zuverlässig erkannt werden. Solche Objekte können helfen zu beurteilen, an welcher Position sich das Ego-Fahrzeug auf der Straße bzw. auf der Fahrspur befindet. Daher kann diese Ausführungsform eine Spurhalteunterstützung oder Spurwechselunterstützung, beispielsweise, deutlich verbessern, da sehr sicher bewertet werden kann, ob das Fahrzeug sicher innerhalb der Fahrspur fährt oder ob das Fahrzeug in der Nähe der Fahrbahnmarkierung fährt, was zu einer kritischen Situation führen kann, in Abhängigkeit der Position eines weiteren Fahrzeugs in einer benachbarten Fahrspur. Es kann beispielsweise vorgesehen sein, dass diese Ausführungsform durch Verwendung einer Frontkamera des Kameraüberwachungssystems realisiert wird, oder durch eine Kamera, deren Sichtfeld vor dem Fahrzeug liegt, oder eine rückseitige Kamera, oder eine Kamera, deren Sichtfeld hinten im Fahrzeug liegt.Additionally or alternatively and again in relation to the object recognition algorithm, it can further be preferred that the object recognition algorithm comprises an algorithm for recognizing road markings. Therefore, according to this embodiment, road markings should be recognized particularly reliably. Such objects can help assess the position of the ego vehicle on the road or in the lane. Therefore, this embodiment can significantly improve lane keeping support or lane change support, for example, since it can be judged very reliably depending on whether the vehicle is traveling safely within the lane or whether the vehicle is traveling near the lane marking, which can lead to a critical situation the position of another vehicle in an adjacent lane. For example, it can be provided that this embodiment is implemented by using a front camera of the camera monitoring system, or by a camera whose field of vision is in front of the vehicle, or a rear camera, or a camera whose field of vision is in the rear of the vehicle.

Es kann ferner vorgesehen sein, dass das Verfahren durchgeführt wird, wenn das Fahrzeug eine Geschwindigkeit aufweist, die gleich oder schneller als 30 km/h ist, wie beispielsweise gleich oder schneller als 40 km/h. Diese Ausführungsform zeigt insbesondere, dass die Verwendung eines Kameraüberwachungssystems in herkömmlichen Fahrsituationen ausgeführt werden kann, wie beispielsweise in einer Stadt oder auch außerhalb einer Stadt oder auf einer Autobahn. Somit ist das vorliegende Verfahren in keiner Weise auf Situationen beschränkt, in denen das Fahrzeug stillsteht oder mit reduzierter Geschwindigkeit fährt, wie es beispielsweise in Bezug auf ein Surround-View-System bekannt ist. Ein solches System ist auch im Stand der Technik bekannt und wird hauptsächlich eingesetzt zum Bereitstellen eines Sichtfeldes, das auf die nahe Umgebung des Fahrzeugs beschränkt ist, wodurch sich das Sichtfeld deutlich von einem Kameraüberwachungssystem unterscheidet. Bildverarbeitungsanwendungen eines Surround-View-Systems laufen hauptsächlich bei niedrigen Geschwindigkeiten, wie beispielsweise Wiedergaben aus der Vogelperspektive, automatisches Parken, Fußgängererkennung etc. Allerdings werden solche Anwendungen überwiegend mit sehr niedrigen Geschwindigkeiten bereitgestellt, wobei die vorliegende Erfindung auch hilfreich und wertvoll ist bei der Verwendung höherer Geschwindigkeiten, z.B. wenn das Fahrzeug eine Geschwindigkeit aufweist, die gleich oder schneller als 30 km/h ist.It can further be provided that the method is carried out when the vehicle has a speed that is equal to or faster than 30 km / h, such as, for example, equal to or faster than 40 km / h. This embodiment shows in particular that the use of a camera monitoring system can be carried out in conventional driving situations, such as, for example, in a city or outside a city or on a freeway. Thus, the present method is in no way restricted to situations in which the vehicle is stationary or is traveling at a reduced speed, as is known, for example, in relation to a surround view system. Such a system is also known in the prior art and is mainly used to provide a field of view that is limited to the immediate vicinity of the vehicle, which makes it Field of vision clearly different from a camera surveillance system. Image processing applications of a surround view system mainly run at low speeds, such as, for example, bird's-eye views, automatic parking, pedestrian detection, etc. However, such applications are predominantly provided at very low speeds, and the present invention is also helpful and valuable in using higher speeds Speeds, for example if the vehicle has a speed that is equal to or faster than 30 km / h.

Im Hinblick auf weitere Vorteile und technische Merkmale des Verfahrens wird auf das Fahrunterstützungssystem, die Figuren und die weitere Beschreibung verwiesen.With regard to further advantages and technical features of the method, reference is made to the driving support system, the figures and the further description.

Die vorliegende Erfindung betrifft ferner ein Fahrunterstützungssystem für ein Fahrzeug, umfassend ein Kameraüberwachungssystem mit mindestens einer Kamera zum Abtasten der Umgebung des Fahrzeugs und umfassend eine Steuereinheit zum Empfangen und Verarbeiten von kamerabasierten Umgebungsdaten, die von der mindestens einen Kamera an das Steuergerät übertragbar sind. Das Fahrunterstützungssystem ist dadurch gekennzeichnet, dass die Steuereinheit für das Durchführen eines Verfahrens, wie es zuvor ausführlich beschrieben wurde, ausgerichtet ist.The present invention further relates to a driving support system for a vehicle, comprising a camera monitoring system with at least one camera for scanning the surroundings of the vehicle and comprising a control unit for receiving and processing camera-based environmental data that can be transmitted from the at least one camera to the control unit. The driving support system is characterized in that the control unit is designed to carry out a method as described in detail above.

Ein solches Fahrunterstützungssystem ist somit mit einem Kameraüberwachungssystem ausgestattet, das mindestens eine und vorzugsweise eine Vielzahl von Kameras zum Abtasten der Umgebung des Fahrzeugs umfasst. Umfasst von dem Kameraüberwachungssystem oder getrennt davon ist eine Steuereinheit, die zum Empfangen von Sensordaten eingerichtet ist, die von der mindestens einen Kamera bereitgestellt werden. In diesem Zusammenhang kann die Steuereinheit mit der mindestens einen Kamera verbunden sein über eine drahtgebundene Verbindung oder über eine drahtlose Verbindung.Such a driving support system is therefore equipped with a camera monitoring system which comprises at least one and preferably a plurality of cameras for scanning the surroundings of the vehicle. A camera, which is set up to receive sensor data provided by the at least one camera, is included in or separately from the camera monitoring system. In this context, the control unit can be connected to the at least one camera via a wired connection or via a wireless connection.

Die Steuereinheit kann mit einem Objekterkennungs-Algorithmus ausgestattet sein, beispielsweise mit einem Algorithmus zur Erkennung von Fahrbahnmarkierungen und/oder mit einem Fahrzeugerkennungs-Algorithmus.The control unit can be equipped with an object recognition algorithm, for example with an algorithm for recognizing road markings and / or with a vehicle recognition algorithm.

Weiterhin umfasst das Kameraüberwachungssystem mindestens ein Display und vorzugsweise eine Mehrzahl an Displays, in denen das Sichtfeld der mindestens einen Kamera zumindest teilweise dargestellt werden kann. So kann es beispielsweise bevorzugt sein, dass für jede vorgesehene Kamera ein entsprechendes Display vorgesehen ist. Diesbezüglich, insbesondere wenn das Kameraüberwachungssystem die herkömmlichen Rückspiegel ersetzt, muss das rückwärtige Sichtfeld dem Fahrer des Fahrzeugs angezeigt werden. Dies ist ohne Probleme und sehr effektiv möglich durch den Einsatz entsprechender Displays. Diese können dann an die gewünschten Anforderungen angepasst werden, wie beispielsweise in Bezug auf ihre Größe und ihre Position am Fahrzeug beziehungsweise im Fahrzeug.Furthermore, the camera monitoring system comprises at least one display and preferably a plurality of displays in which the field of view of the at least one camera can be at least partially shown. For example, it can be preferred that a corresponding display is provided for each camera provided. In this regard, especially when the camera monitoring system replaces the conventional rear view mirror, the rear field of vision must be displayed to the driver of the vehicle. This is possible without problems and very effectively by using appropriate displays. These can then be adapted to the desired requirements, for example in relation to their size and their position on the vehicle or in the vehicle.

Es kann weiterhin beachtet werden, dass die Displays neben der Darstellung der rückwärtigen Sicht der Kameras dazu verwendet werden können, um beispielsweise den Fahrer zu informieren und so, beispielsweise, für die Bereitstellung von Warnsymbolen oder Warnmeldungen, wie im Folgenden näher beschrieben. Dies ermöglicht zum einen die Darstellung der Umgebung.It can also be noted that the displays can be used in addition to the representation of the rear view of the cameras, for example to inform the driver and thus, for example, to provide warning symbols or warning messages, as described in more detail below. On the one hand, this enables the environment to be displayed.

Daher ist das Fahrunterstützungssystem in der Lage, zuverlässige und sichere Fahrunterstützung zu geben, wie insbesondere umfassend mindestens eines von Spurwechselunterstützung, Spurhalteunterstützung, Kollisionswarnung und Geschwindigkeitserkennung benachbarter Fahrzeuge, sei es durch das Bereitstellen von autonomem Fahren oder durch das Ausgeben entsprechender Informationen oder Warn-Benachrichtigungen. Ein solches System kann erhebliche Vorteile gegenüber herkömmlichen Kameraüberwachungssystemen geben, wie dies mit Bezug auf das korrespondierende Verfahren in größerem Detail beschrieben ist.The driving support system is therefore able to provide reliable and safe driving support, such as, in particular, comprising at least one of lane change support, lane keeping support, collision warning and speed detection of neighboring vehicles, whether by providing autonomous driving or by issuing corresponding information or warning notifications. Such a system can offer considerable advantages over conventional camera surveillance systems, as is described in greater detail with reference to the corresponding method.

Im Hinblick auf weitere Vorteile und technische Merkmale des Fahrunterstützungssystems wird auf das Verfahren, die Figuren und die weitere Beschreibung verwiesen.With regard to further advantages and technical features of the driving support system, reference is made to the method, the figures and the further description.

Diese und andere Aspekte der Erfindung werden erkennbar aus und erklärt mit Bezug auf die im Folgenden beschriebenen Ausführungsformen. Einzelne Merkmale, die im Rahmen der Ausführungsformen beschrieben sind, können allein oder in Kombination einen Aspekt der vorliegenden Erfindung bilden. Merkmale der verschiedenen Ausführungsformen können von einer Ausführungsform auf eine andere übertragen werden.These and other aspects of the invention will become apparent from and will be explained with reference to the embodiments described below. Individual features that are described in the context of the embodiments may form an aspect of the present invention, alone or in combination. Features of the various embodiments can be transferred from one embodiment to another.

In den Figuren:

  • 1 zeigt eine schematische Ansicht des Innenraums eines Fahrzeugs umfassend ein Fahrunterstützungssystem gemäß der Erfindung;
  • 2 zeigt eine Draufsicht auf das Fahrzeug gemäß 1 in einer ersten Situation;
  • 3 zeigt eine Draufsicht auf das Fahrzeug gemäß 1 in einer zweiten Situation; und
  • 4 zeigt eine Draufsicht auf das Fahrzeug gemäß 1 in einer dritten Situation.
In the figures:
  • 1 shows a schematic view of the interior of a vehicle comprising a driving support system according to the invention;
  • 2nd shows a plan view of the vehicle according to 1 in a first situation;
  • 3rd shows a plan view of the vehicle according to 1 in a second situation; and
  • 4th shows a plan view of the vehicle according to 1 in a third situation.

1 zeigt ein Fahrzeug 10 und im Detail den Innenraum 12 des Fahrzeugs 10, das ein Ego-Fahrzeug sein soll und ein Verfahren wie beschrieben durchführen soll. Solch ein Fahrzeug 10 umfasst zunächst ein Armaturenbrett 14 im Innenraum 12, das eine derartige Ausstattung umfasst, wie im Stand der Technik allgemein bekannt ist und die hier nicht näher beschrieben wird. 1 shows a vehicle 10th and in detail the interior 12th of the vehicle 10th that an ego Should be vehicle and should perform a procedure as described. Such a vehicle 10th initially includes a dashboard 14 in the interior 12th , which comprises such equipment, as is generally known in the prior art and which is not described here.

Es ist ferner vorgesehen, dass das Fahrzeug 10 mit einem Fahrunterstützungssystem 11 ausgestattet ist, das wiederum ein Kameraüberwachungssystem umfasst. Ein solches Kameraüberwachungssystem umfasst mindestens eine Kamera 16, die in 1 als die rechte Kamera 16 dargestellt ist, und die sich an der Position eines herkömmlichen rechten Rückspiegels befindet. Allerdings ist es bevorzugt, dass das Kameraüberwachungssystem mehr als eine Kamera 16 umfasst, was eine 360°-Ansicht um das Fahrzeug 10 herum bereitstellen kann. Insbesondere umfasst das Kameraüberwachungssystem mindestens zwei Kameras 16, die auf jeder Seite des Fahrzeugs 10 anstelle von herkömmlichen Rückspiegeln montiert sind.It is also contemplated that the vehicle 10th with a driving support system 11 is equipped, which in turn comprises a camera surveillance system. Such a camera surveillance system comprises at least one camera 16 , in the 1 than the right camera 16 and which is in the position of a conventional right rearview mirror. However, it is preferred that the camera surveillance system have more than one camera 16 includes what a 360 ° view around the vehicle 10th can deploy around. In particular, the camera monitoring system comprises at least two cameras 16 that are on each side of the vehicle 10th instead of conventional rear-view mirrors.

Um einem Fahrer des Fahrzeugs 10 das Sichtfeld der jeweiligen Kamera 16 zu zeigen, sind eine oder mehrere Displays 18, 20, 22 vorgesehen, die beispielsweise als LCD-Displays ausgebildet sein können. In diesem Zusammenhang ist ein Display 18 gezeigt, das mit einer linksseitigen rückwärtigen Kamera verbunden ist, wobei die Kamera nicht dargestellt wird, und ein weiteres Display 20 ist gezeigt, das mit der Kamera 16 verbunden ist. Das Sichtfeld der Kamera 16 ist die auf die Rückseite des Fahrzeugs 10 gerichtet. Daher kann die Umgebung, wie sie durch die Kamera 16 erfasst wird, in der Anzeige 20 angezeigt werden. Weiterhin kann das Display 18, 20, 22 dazu verwendet werden, um einem Fahrer des Fahrzeugs 10 Information zur Verfügung zu stellen, und insbesondere, um den Fahrer des Fahrzeugs 10, wie im Folgenden näher beschrieben, zu warnen. In anderen Worten werden die Kameraaufnahmen auf den jeweiligen Displays 18, 20, 22 angezeigt.To a driver of the vehicle 10th the field of view of the respective camera 16 one or more displays are to be shown 18th , 20 , 22 provided, which can be designed for example as LCD displays. In this context is a display 18th shown, which is connected to a left rear camera, the camera is not shown, and another display 20 is shown this with the camera 16 connected is. The field of view of the camera 16 is the one on the back of the vehicle 10th directed. Therefore, the environment as seen by the camera 16 is captured in the ad 20 are displayed. Furthermore, the display 18th , 20 , 22 used to be a driver of the vehicle 10th To provide information, and in particular, to the driver of the vehicle 10th as described in more detail below. In other words, the camera shots are on the respective displays 18th , 20 , 22 displayed.

Eine weitere Kamera kann im Heck des Fahrzeugs platziert werden, um die Rückansicht zu erfassen, welche zu dem Display 22 geleitet wird, das anstelle eines Innenrückspiegels positioniert ist angrenzend an die Oberseite der Windschutzscheibe.Another camera can be placed in the rear of the vehicle to capture the rear view leading to the display 22 is directed, which is positioned instead of an interior rear-view mirror adjacent to the top of the windshield.

Das Fahrunterstützungssystem 11 kann eine aktive Fahrunterstützung basierend auf den Daten, die von der mindestens einen Kamera 16 bereitgestellt werden, bereitstellen. Um dies zu erreichen, verwendet das Kameraüberwachungssystem beispielsweise einen Fahrzeugerkennungs-Algorithmus, um weitere Fahrzeuge 24 zu identifizieren, die in der Umgebung des Fahrzeugs 10 positioniert sind und somit insbesondere im Sichtfeld der Kamera 16, beispielsweise, wie nachstehend in größerem Detail beschrieben.The driving support system 11 can provide active driving support based on the data from the at least one camera 16 be made available. To achieve this, the camera monitoring system uses, for example, a vehicle detection algorithm for other vehicles 24th identify those around the vehicle 10th are positioned and thus particularly in the field of view of the camera 16 , for example, as described in more detail below.

Dies ermöglicht es, das im Sichtfeld der Kamera erkannte Fahrzeug 24 durch den Algorithmus entdeckt wird und die nächstgelegene auf jeder Seite wird durch das Zeichnen einer Einblendung hervorgehoben, die das Ziel in der Anzeige 18, 20, 22 umgibt.This enables the vehicle recognized in the field of view of the camera 24th is discovered by the algorithm and the closest on each page is highlighted by drawing an overlay that shows the target in the ad 18th , 20 , 22 surrounds.

Dies ermöglicht die Durchführung eines Fahrunterstützungsverfahrens, wobei das Fahrunterstützungsverfahren das Kameraüberwachungssystem (CMS) des Fahrzeugs 10 verwendet und wobei die Verfahren die Schritte umfasst:

  1. a) Erfassen der Umgebung des Fahrzeugs 10 mit mindestens einer Kamera 16 des Kameraüberwachungssystems, wobei kamerabasierte Umgebungsdaten erzeugt werden;
  2. b) Übertragen der kamerabasierten Umgebungsdaten an eine Steuereinheit eines Fahrunterstützungssystems 11; und
  3. c) Durchführen einer aktiven Fahrunterstützung unter Verwendung der kamerabasierten Umgebungsdaten.
This enables a driving support method to be carried out, the driving support method being the camera monitoring system (CMS) of the vehicle 10th used and the method comprising the steps of:
  1. a) Detect the surroundings of the vehicle 10th with at least one camera 16 the camera surveillance system, generating camera-based environmental data;
  2. b) transmitting the camera-based environmental data to a control unit of a driving support system 11 ; and
  3. c) performing active driving support using the camera-based environment data.

In diesem Zusammenhang nutzt beispielsweise eine Spurwechselunterstützung, eine Kollisionswarnunterstützung oder eine Unfall-Vermeidungsunterstützung das Kameraüberwachungssystem und bedient sich des gleichen Algorithmus wie zuvor beschrieben, um Informationen über die Geschwindigkeit, Nähe, Trajektorie und Beschleunigung oder Verzögerung von Fahrzeugen 24 zu extrahieren, die im Bereich der Umgebung des Fahrzeugs 10 detektiert sind, um zu bestimmen, ob es für das Fahrzeug 10 sicher ist, einen Spurwechsel jederzeit durchzuführen und/oder um ein Risiko durch Kollisionen hervorzuheben bedingt durch einen Spurwechsel oder aus weiteren Gründen.In this context, for example, a lane change support, a collision warning support or an accident avoidance support uses the camera monitoring system and uses the same algorithm as described above for information about the speed, proximity, trajectory and acceleration or deceleration of vehicles 24th to extract that in the area surrounding the vehicle 10th are detected to determine if it is for the vehicle 10th it is safe to change lanes at any time and / or to highlight a risk from collisions caused by changing lanes or for other reasons.

Es kann daher im Allgemeinen unabhängig von der spezifischen Ausführungsform vorgesehen sein, ein Kameraüberwachungssystem nur zum Erkennen weiterer Fahrzeuge 24 außer dem Ego-Fahrzeug 10 rückwärtig und an den Seiten des Ego-Fahrzeugs 10 innerhalb eines Sichtfeldes zu detektieren, das insbesondere bereitgestellt wird von der Kamera 16 des Kameraüberwachungssystems und das typischerweise größer ist, als das Sichtfeld der meisten herkömmlichen Spiegel von Fahrzeugen 10, wie beispielsweise Autospiegel, und ein System zu schaffen, das vor Gefahren informiert.In general, regardless of the specific embodiment, it can therefore be provided that a camera surveillance system only for the detection of other vehicles 24th except the ego vehicle 10th rearward and on the sides of the ego vehicle 10th to be detected within a field of view, which is in particular provided by the camera 16 of the camera surveillance system and which is typically larger than the field of view of most conventional vehicle mirrors 10th , such as car mirrors, and to create a system that informs of dangers.

Eine Funktionalität eines solchen Systems bzw. Verfahrens, insbesondere in Bezug auf eine Spurwechselunterstützung ist in Bezug auf 2 dargestellt und beschrieben.A functionality of such a system or method, in particular in relation to a lane change support, is in relation to 2nd shown and described.

2 zeigt das Ego-Fahrzeug 10, das auf einer Fahrspur 30 einer Straße 26 fährt. Die Fahrspur 30 ist zwischen weiteren Fahrspuren 28, 32, 34 positioniert, wobei weiterhin gezeigt wird, dass ein weiteres Fahrzeug 24 auf einer benachbarten Fahrspur 32 in die gleiche Richtung fährt, wie das Ego-Fahrzeug 10. Die jeweiligen Fahrspuren 28, 30, 32, 34 werden durch die jeweiligen Fahrbahnmarkierungen 36 geteilt. Das Fahrzeug 24 ist hinter dem Ego-Fahrzeug 10 positioniert. Bei einer solchen Situation ist das weitere Fahrzeug 24 oft schwer zu erkennen und für einen Fahrer unter Verwendung konventioneller Spiegel, wie beispielsweise Seitenspiegel, schwer zu erkennen. 2nd shows the ego vehicle 10th that in a lane 30th a street 26 moves. The lane 30th is between further lanes 28 , 32 , 34 positioned, further showing that another vehicle 24th on an adjacent lane 32 drives in the same direction as the ego vehicle 10th . The respective lanes 28 , 30th , 32 , 34 are indicated by the respective lane markings 36 divided. The vehicle 24th is behind the ego vehicle 10th positioned. In such a situation, the other vehicle is 24th often difficult to see and difficult for a driver to use using conventional mirrors such as side mirrors.

Weiterhin stellen die gestrichelten Linien 38 das Sichtfeld 40 der rechten Kamera 16 dar, deren Bild in dem rechten Display 20 angezeigt wird, wie mit Bezug auf 1 beschrieben. Es ist zu erkennen, dass das Fahrzeug 24 vollständig im Sichtfeld 40 der rechten Kamera 16 positioniert ist, so dass es vom Fahrunterstützungssystem 11 erkannt werden kann. In dieser Hinsicht verwendet das Kameraüberwachungssystem oder ganz allgemein das Fahrunterstützungssystem 11 einen Fahrzeugerkennungs- Algorithmus und erkennt das Fahrzeug 24 in der rechten Nachbarspur 32 des Ego-Fahrzeugs 10.The dashed lines also represent 38 the field of view 40 the right camera 16 the picture in the right display 20 is displayed as with reference to 1 described. It can be seen that the vehicle 24th completely in view 40 the right camera 16 is positioned so that it is from the driving support system 11 can be recognized. In this regard, the camera surveillance system or more generally uses the driving support system 11 a vehicle detection algorithm and recognizes the vehicle 24th in the right neighboring lane 32 of the ego vehicle 10th .

Wenn beispielsweise ein Fahrer seinen rechten Fahrtrichtungsanzeiger einschaltet oder ein Signal, das einen Spurwechsel anzeigt, wird ein Versuch eines Spurwechsels durchgeführt. In keiner Weise beschränkt, sondern exemplarisch als Reaktion auf diesen Schritt kann eine Bewertung der Situation erfolgen. Im Detail kann vorgesehen sein, dass insbesondere bei Kenntnis der Position und der Geschwindigkeit des erfassten Fahrzeugs 24 in Bezug auf das Ego-Fahrzeug 10, die Trajektorie der Fahrt abgeschätzt wird und ferner das Risiko, das bei einem Fahrspurwechsel entsteht, evaluiert wird. Es kann besonders vorteilhaft sein, wenn diese Bewertung auf der Grundlage der Anforderungen erfolgt, wie in ISO 17387 beschrieben.For example, when a driver turns on his right turn signal or a signal indicating a lane change, a lane change attempt is attempted. The situation cannot be assessed in any way, but as an example in response to this step. In detail it can be provided that in particular when the position and the speed of the detected vehicle are known 24th in terms of the ego vehicle 10th , the trajectory of the journey is estimated and the risk that arises when changing lanes is evaluated. It can be particularly advantageous if this assessment is based on the requirements as described in ISO 17387.

Nach Durchführung einer solchen Bewertung kann es vorgesehen sein, in dem Beispiel des Vorsehens von Fahrunterstützung durch das Ausgeben von Information beziehungsweise einer Warnung, dass ein Warnsymbol in dem jeweiligen Display 20 angezeigt wird. Dies ist in 1 dargestellt, in der in dem rechten Display 20 eine Warnmeldung angezeigt wird, die den Fahrer darüber informiert, dass ein Spurwechsel nicht sicher ist, insbesondere aufgrund der Position und der Geschwindigkeit des Fahrzeugs 24 in Bezug auf das Ego-Fahrzeug 10.After carrying out such an assessment, it can be provided, in the example of providing driving assistance by outputting information or a warning, that a warning symbol appears in the respective display 20 is shown. This is in 1 shown in the right display 20 a warning message is displayed informing the driver that changing lanes is not safe, particularly due to the position and speed of the vehicle 24th in terms of the ego vehicle 10th .

3 zeigt eine weitere Situation des Fahrzeugs 10, in der eine Funktionalität einer Kollisionswarnung gezeigt ist. Gemäß fährt das Ego-Fahrzeug 10 wiederum auf der Fahrspur 30 der Straße 26. Weiterhin fährt das Fahrzeug 24 auf der gleichen Fahrspur 30 direkt hinter dem Ego-Fahrzeug 10, wobei das Fahrzeug 24 zu nah ist und eine Kollision verursachen könnte. 3rd shows another situation of the vehicle 10th , in which a functionality of a collision warning is shown. According to drives the ego vehicle 10th again in the lane 30th the street 26 . The vehicle continues to drive 24th in the same lane 30th right behind the ego vehicle 10th , the vehicle 24th is too close and could cause a collision.

Bei einer solchen Situation sind Kenntnisse über die Position und Geschwindigkeit des umliegenden Fahrzeugs 24 wiederum die Basis für Kollisionswarnsysteme, die nach den Vorgaben von ISO 15623 realisiert werden können. Obwohl die meisten bekannten Systeme das Wissen nutzen, um eine Frontalkollision zu verhindern, kann ein Kameraüberwachungssystem auch verwendet werden, um potenzielle rückseitige und seitige Kollisionen zu identifizieren, wobei das gleiche Prinzip verwendet wird. Für Fahrzeuge, die sich vom hinteren Ende nähern, wie in 3 dargestellt, basiert die Entscheidung, beispielsweise den Fahrer des Fahrzeugs 10 zu alarmieren, auf der Grundlage der gleichen Kriterien wie z.B. in ISO I5623:20I3 beschrieben. Das Risiko einer Kollision wird identifiziert unter Verwendung von Informationen über die Relativgeschwindigkeit des Fahrzeugs 24 und den Abstand, also den Abstand zwischen dem Ego-Fahrzeug 10 und dem Fahrzeug 24 und der Trajektorie der Fahrt des Fahrzeugs 24. Alle diese Informationen können aus aufeinanderfolgenden Videobildern von erkannten Fahrzeugen 24 erhalten werden, die von der rückwärtigen Kamera des Kameraüberwachungssystems erfasst wurden.In such a situation there is knowledge of the position and speed of the surrounding vehicle 24th again the basis for collision warning systems that can be implemented according to the specifications of ISO 15623. Although most known systems use the knowledge to prevent a frontal collision, a camera surveillance system can also be used to identify potential rear and side collisions using the same principle. For vehicles approaching from the rear end, as in 3rd shown, the decision is based, for example, on the driver of the vehicle 10th alarm, based on the same criteria as described in ISO I5623: 20I3. The risk of a collision is identified using information about the relative speed of the vehicle 24th and the distance, i.e. the distance between the ego vehicle 10th and the vehicle 24th and the trajectory of the vehicle's travel 24th . All of this information can be obtained from successive video images of recognized vehicles 24th obtained by the rear camera of the camera surveillance system.

Eine vergleichbare Situation ist in 4 dargestellt, in der wiederum eine Kollisionswarnfunktionalität gezeigt ist. Gemäß 4 fährt das Ego-Fahrzeug 10 wiederum auf der Fahrspur 30 der Straße 26. Das weitere Fahrzeug 24 fährt auf der angrenzenden Fahrspur 32 direkt hinter dem Ego-Fahrzeug. 10. Weiterhin wird gezeigt, dass das Fahrzeug 24 einen Spurwechsel durchführen will, der möglicherweise zu einer Kollision führen kann.A comparable situation is in 4th shown, which in turn shows a collision warning functionality. According to 4th drives the ego vehicle 10th again in the lane 30th the street 26 . The other vehicle 24th drives in the adjacent lane 32 right behind the ego vehicle. 10. It is also shown that the vehicle 24th want to make a lane change that could possibly lead to a collision.

In diesem Zusammenhang und für Fahrzeuge 24, die sich von der Seite nähern, kann ISO 15623 verwendet werden als Grundlage für Anforderungen. Dieser Standard kann erweitert werden, um ein breiteres Spektrum abzudecken, dabei auch enthaltend die Vermeidung von Seitenkollisionen. Die zugrunde liegende Mathematik kann leicht variieren zu ISO I5623:20I3, aber es gelten die gleichen Prinzipien. In jeder Situationen ist ein rechtzeitiger Einsatz von Warnung auf dem entsprechenden Display 18, 20, 22 des Kameraüberwachungssystems umfasst, um auf eine potenzielle Gefahr hinzuweisen, die es dem Fahrer ermöglicht, richtige Maßnahmen zu ergreifen durch Beschleunigung, Verlangsamen oder Durchführen eines Spurwechsels, wenn möglich. Alle erforderlichen Informationen können wiederum von aufeinanderfolgenden Videobildern mit erkannten Fahrzeugen 24, die durch die rückseitige Kamera des Kameraüberwachungssystem erfasst werden, erhalten werden.In this context and for vehicles 24th Approaching from the side, ISO 15623 can be used as the basis for requirements. This standard can be expanded to cover a broader spectrum, including the avoidance of side collisions. The underlying math may vary slightly from ISO I5623: 20I3, but the same principles apply. In any situation, timely use of warning is on the corresponding display 18th , 20 , 22 of the camera monitoring system to indicate a potential hazard that enables the driver to take corrective action by accelerating, decelerating, or changing lanes if possible. In turn, all required information can be obtained from successive video images with recognized vehicles 24th obtained by the rear camera of the camera surveillance system can be obtained.

Bezugszeichenliste Reference list

1010th
Fahrzeugvehicle
1111
FahrunterstützungssystemDriving support system
1212th
das Innerethe inner
1414
Armaturenbrettdashboard
1616
Kameracamera
1818th
DisplayDisplay
2020
DisplayDisplay
2222
DisplayDisplay
2424th
DisplayDisplay
2626
StraßeStreet
2828
Fahrspurlane
3030th
Fahrspurlane
3232
Fahrspurlane
3434
Fahrspurlane
3636
StraßenmarkierungRoad marking
3838
Linieline
4040
SichtbereichField of view

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents listed by the applicant has been generated automatically and is only included for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent literature cited

  • DE 102012012783 A1 [0003]DE 102012012783 A1 [0003]
  • US 2005/0146607 A1 [0004]US 2005/0146607 A1 [0004]
  • US 2017/0120841 A1 [0005]US 2017/0120841 A1 [0005]

Claims (10)

Fahrunterstützungsverfahren, wobei das Fahrunterstützungsverfahren ein Kameraüberwachungssystem eines Fahrzeugs (10) verwendet, und wobei das Verfahren die Schritte umfasst: a) Erfassen der Umgebung des Fahrzeugs (10) mit mindestens einer Kamera (16) des Kameraüberwachungssystems, wobei kamerabasierte Umgebungsdaten erzeugt werden; b) Übertragen der kamerabasierten Umgebungsdaten an eine Steuereinheit eines Fahrunterstützungssystems (11); und c) Durchführen einer aktiven Fahrunterstützung unter Verwendung der kamerabasierten Umgebungsdaten.Driving assistance method, the driving assistance method using a camera monitoring system of a vehicle (10), the method comprising the steps of: a) capturing the surroundings of the vehicle (10) with at least one camera (16) of the camera surveillance system, camera-based surroundings data being generated; b) transmitting the camera-based environmental data to a control unit of a driving support system (11); and c) performing active driving support using the camera-based environment data. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die Fahrunterstützung mindestens eines aus einer Spurhalteunterstützung, Spurwechselunterstützung, Kollisionswarnung und Geschwindigkeitserfassung von benachbarten Fahrzeugen (24) umfasst.Procedure according to Claim 1 , characterized in that the driving support comprises at least one of lane keeping support, lane change support, collision warning and speed detection of neighboring vehicles (24). Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass das Verfahren den weiteren Schritt d) umfasst: Erfassen mindestens eines Objekts in der Umgebung des Fahrzeugs (10) basierend auf den kamerabasierten Umgebungsdaten.Procedure according to one of the Claims 1 or 2nd , characterized in that the method comprises the further step d): detecting at least one object in the surroundings of the vehicle (10) based on the camera-based surroundings data. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass das Verfahren unter Verwendung eines Objekterkennungs-Algorithmus durchgeführt wird.Procedure according to one of the Claims 1 to 3rd , characterized in that the method is carried out using an object detection algorithm. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der Objekterkennungs-Algorithmus in Schritt d) verwendet wird.Procedure according to Claim 4 , characterized in that the object detection algorithm is used in step d). Verfahren nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass der Objekterkennungs-Algorithmus wenigstens eines von einem Fahrzeugerkennungs-Algorithmus und einem Algorithmus zur Erkennung von Fahrbahnmarkierungen umfasst.Procedure according to Claim 4 or 5 , characterized in that the object recognition algorithm comprises at least one of a vehicle recognition algorithm and an algorithm for recognizing road markings. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass das Verfahren durchgeführt wird, wenn das Fahrzeug (10) eine Geschwindigkeit aufweist, die gleich oder schneller als 30 km/h ist.Procedure according to one of the Claims 1 to 6 , characterized in that the method is carried out when the vehicle (10) has a speed which is equal to or faster than 30 km / h. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Verfahren ausgeführt wird unter Verwendung des Schrittes des Bereitstellens von Informationen an einen Fahrer des Fahrzeugs (10).Procedure according to one of the Claims 1 to 7 , characterized in that the method is carried out using the step of providing information to a driver of the vehicle (10). Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, dass das Verfahren ausgeführt wird unter Verwendung von autonomem Fahren.Procedure according to one of the Claims 1 to 8th , characterized in that the method is carried out using autonomous driving. Fahrunterstützungssystem für ein Fahrzeug, umfassend ein Kameraüberwachungssystem mit mindestens einer Kamera (16) zum Abtasten der Umgebung des Fahrzeugs (10) und umfassend eine Steuereinheit zum Empfangen und Verarbeiten von kamerabasierten Umgebungsdaten, die von der mindestens einen Kamera (16) an das Steuergerät übertragbar sind, dadurch gekennzeichnet, dass die Steuereinheit dazu ausgestaltet ist, ein Verfahrens nach einem der Ansprüche 1 bis 9 auszuführen.Driving support system for a vehicle, comprising a camera monitoring system with at least one camera (16) for scanning the surroundings of the vehicle (10) and comprising a control unit for receiving and processing camera-based surroundings data which can be transmitted from the at least one camera (16) to the control device , characterized in that the control unit is designed to carry out a method according to one of the Claims 1 to 9 to execute.
DE102019101037.3A 2019-01-16 2019-01-16 Driver assistance method and driver assistance system Pending DE102019101037A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102019101037.3A DE102019101037A1 (en) 2019-01-16 2019-01-16 Driver assistance method and driver assistance system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102019101037.3A DE102019101037A1 (en) 2019-01-16 2019-01-16 Driver assistance method and driver assistance system

Publications (1)

Publication Number Publication Date
DE102019101037A1 true DE102019101037A1 (en) 2020-07-16

Family

ID=71131804

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102019101037.3A Pending DE102019101037A1 (en) 2019-01-16 2019-01-16 Driver assistance method and driver assistance system

Country Status (1)

Country Link
DE (1) DE102019101037A1 (en)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050146607A1 (en) 2004-01-06 2005-07-07 Romeo Linn Object Approaching Detection Anti Blind e-Mirrors System
DE102006010275A1 (en) * 2005-03-03 2006-12-14 Continental Teves Ag & Co. Ohg Method and device for avoiding a collision during a lane change of a vehicle
DE102012012783A1 (en) 2012-06-22 2013-12-24 Jong-Ho Ham Camera monitor system for monitoring blind spot and environment of e.g. passenger car, has camera module that is provided for detecting image, and color monitoring unit that is set with video and audio output unit for displaying image
DE102014116225A1 (en) * 2014-01-03 2015-09-10 Hyundai Mobis Co., Ltd. Lane change assistance apparatus and method of operation therefor
DE102015203208A1 (en) * 2015-02-23 2016-08-25 Bayerische Motoren Werke Aktiengesellschaft Lane change assistance system for a motor vehicle
DE102015214282A1 (en) * 2015-07-28 2017-02-02 Mando Corporation DEVICE AND METHOD FOR RECOGNIZING A VEHICLE CHANGING THE ROAD TRAIL BY DETECTING THE ADJACENT TRACK
US20170120841A1 (en) 2015-10-29 2017-05-04 Terry Knoblock Rear View Camera System

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050146607A1 (en) 2004-01-06 2005-07-07 Romeo Linn Object Approaching Detection Anti Blind e-Mirrors System
DE102006010275A1 (en) * 2005-03-03 2006-12-14 Continental Teves Ag & Co. Ohg Method and device for avoiding a collision during a lane change of a vehicle
DE102012012783A1 (en) 2012-06-22 2013-12-24 Jong-Ho Ham Camera monitor system for monitoring blind spot and environment of e.g. passenger car, has camera module that is provided for detecting image, and color monitoring unit that is set with video and audio output unit for displaying image
DE102014116225A1 (en) * 2014-01-03 2015-09-10 Hyundai Mobis Co., Ltd. Lane change assistance apparatus and method of operation therefor
DE102015203208A1 (en) * 2015-02-23 2016-08-25 Bayerische Motoren Werke Aktiengesellschaft Lane change assistance system for a motor vehicle
DE102015214282A1 (en) * 2015-07-28 2017-02-02 Mando Corporation DEVICE AND METHOD FOR RECOGNIZING A VEHICLE CHANGING THE ROAD TRAIL BY DETECTING THE ADJACENT TRACK
US20170120841A1 (en) 2015-10-29 2017-05-04 Terry Knoblock Rear View Camera System

Similar Documents

Publication Publication Date Title
EP2603413B1 (en) Method for supporting a parking procedure of a motor vehicle, driver assistance system, and motor vehicle
DE102015210645A1 (en) Safety confirmation support system for driver and associated method
DE102017100004A1 (en) Method for providing at least one information from a surrounding area of a motor vehicle, display system for a motor vehicle, driver assistance system for a motor vehicle and motor vehicle
EP2400473A1 (en) Method and device for supporting a driver of a vehicle
DE102011083770A1 (en) Method for the computer-aided processing of the near field of a vehicle
EP3488607B1 (en) Camera device for recording an environmental area of a vehicle, and method for providing a driver assistance function
DE102005054972A1 (en) Motor vehicle`s dead angle monitoring method, involves accomplishing checking of whether lanes change is accomplished based on infrastructure of traffic before warning, where driver warning is omitted if result of checking is not possible
DE102016122301A1 (en) Monitoring a blind spot area of a team
WO2010025792A1 (en) Method and device for monitoring an environment of a vehicle
DE102017122261A1 (en) Method for monitoring a surrounding area of a motor vehicle and camera system
WO2013083384A1 (en) Method and vehicle assistance system for active warning and/or for navigation aid for preventing a collision of a vehicle body part and/or a vehicle wheel with an object
DE102013005404A1 (en) Method for supporting driver during driving of motor car in three-lane road surface, involves optically marking detected area to be occupied by vehicle during lane changing and/or sudden approach in environment of other vehicle
DE102018128634A1 (en) Method for providing visual information about at least part of an environment, computer program product, mobile communication device and communication system
DE102015224364A1 (en) Method for adapting a driver assistance system for operation with a trailer or rear carrier
DE102019216598A1 (en) Method for monitoring the surroundings of a vehicle and system for monitoring the surroundings of a vehicle
EP3583488B1 (en) Automated activation of a vision support system
DE102017223439B4 (en) Warning device against dangerous situations for a motor vehicle
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle
DE102006044864A1 (en) Computerized image processing method for night vision system of e.g. passenger car, involves processing detected night vision image for displaying on display unit, where processing takes place depending on image processing criteria
DE102018009563A1 (en) A method for displaying an environment of a motor vehicle, computer program product and motor vehicle
DE102015121114A1 (en) Optical feedback device for a motor vehicle, driver assistance system and motor vehicle
DE102019219658A1 (en) System and method for displaying a view obscured by an object for a road user
DE102023003826A1 (en) Method for displaying hidden road users and vehicles
DE102015007179A1 (en) Environment detection device for a motor vehicle
DE102022127433A1 (en) COLLISION WARNING SYSTEM FOR A MOTOR VEHICLE WITH AN AUGMENTED REALITY HEAD-UP DISPLAY

Legal Events

Date Code Title Description
R163 Identified publications notified