CN105892471B - 汽车自动驾驶方法和装置 - Google Patents
汽车自动驾驶方法和装置 Download PDFInfo
- Publication number
- CN105892471B CN105892471B CN201610515191.4A CN201610515191A CN105892471B CN 105892471 B CN105892471 B CN 105892471B CN 201610515191 A CN201610515191 A CN 201610515191A CN 105892471 B CN105892471 B CN 105892471B
- Authority
- CN
- China
- Prior art keywords
- information
- training
- field
- testing
- driver operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 38
- 238000012549 training Methods 0.000 claims description 120
- 238000012360 testing method Methods 0.000 claims description 83
- 238000013136 deep learning model Methods 0.000 claims description 59
- 230000008447 perception Effects 0.000 claims description 40
- 230000006399 behavior Effects 0.000 claims description 28
- 230000003068 static effect Effects 0.000 claims description 27
- 238000005381 potential energy Methods 0.000 claims description 26
- 230000007613 environmental effect Effects 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 230000001133 acceleration Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000001514 detection method Methods 0.000 description 4
- 238000005290 field theory Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010998 test method Methods 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000007500 overflow downdraw method Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002349 favourable effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012502 risk assessment Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
- G05D1/0221—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving a learning process
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Electromagnetism (AREA)
- Traffic Control Systems (AREA)
Abstract
本发明公开了一种汽车自动驾驶方法和装置，涉及车辆智能控制技术领域。本发明基于场的理论建立车辆行驶环境的风险模型，从而利用行驶环境风险场全面的反映车辆的驾驶环境，有利于实现不同道路环境下的自动驾驶。并且根据行驶环境风险场和驾驶员操作对车辆自动驾驶模型进行训练，以学习优秀人类驾驶员的经验，实现拟人化自动驾驶。
Description
技术领域
本发明涉及车辆智能控制技术领域，特别是涉及一种汽车自动驾驶方法和装置。
背景技术
近年例如自适应巡航系统、车道保持系统等汽车驾驶辅助系统迅速发展，改善了道路交通安全状况。
目前人们正在研究汽车自动驾驶技术。其中一种基于分布式处理方法实现汽车自动驾驶的技术，该技术将一个大的系统分为多个子系统，每个子系统具有清楚的语义信息。例如，自动驾驶系统划分为基于视觉的车道线识别、基于雷达的车辆识别、行人检测、车辆控制等子系统。其中的每个子系统负责设定的一项或多项任务。例如，负责环境感知的不同子系统分别输出特定的环境感知信息，如分别输出车道线、车辆、行人等。车辆控制子系统根据这些环境感知信息做出运动决策，输出车辆控制指令。
然而，这些特定的环境感知信息一般是事先设定的，如车道线偏移量及夹角、车辆距离及速度等，在复杂的道路环境中并不能全面的反映车辆的驾驶环境，例如，道路环境中可能出现非常见的障碍物等，这会导致车辆控制子系统的失效。另外，传统的分布式处理方式决定了自动驾驶系统的感知和驾驶方式不能很好的学习优秀人类驾驶员的经验，无法做到拟人化自动驾驶。
发明内容
本发明要解决的其中一个技术问题是，如何全面的反映车辆的驾驶环境，实现拟人化自动驾驶。
为实现上述目的，本发明提供一种汽车自动驾驶方法，包括：根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将所述车辆自动驾驶数据库划分为训练集和测试集；根据所述训练集中的环境感知信息建立训练用的行驶环境风险场，根据所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息对所述深度学习模型进行训练；根据所述测试集中的环境感知信息建立测试用的行驶环境风险场，将所述测试用的行驶环境风险场输入所述深度学习模型，输出预测的车辆控制变量，通过比较预测的车辆控制变量和所述测试集中的驾驶员操作信息对所述深度学习模型进行测试。
其中，训练用或者测试用的行驶环境风险场采用以下方法建立：根据静止物体形成的势能场信息、运动物体形成的动能场信息以及驾驶员形成的行为场信息建立行驶环境风险场；其中，
对于训练用的行驶环境风险场，静止物体形成的势能场信息和运动物体形成的动能场信息根据所述训练集中的环境感知信息确定，驾驶员形成的行为场信息根据所述训练集中的驾驶员操作信息确定；
对于测试用的行驶环境风险场，静止物体形成的势能场信息和运动物体形成的动能场信息根据所述测试集中的环境感知信息确定，驾驶员形成的行为场信息根据所述测试集中的驾驶员操作信息确定。
在一个实施例中，静止物体形成的势能场信息根据静止物体的属性和道路条件确定；运动物体形成的动能场信息根据运动物体的属性、运动状态和道路条件确定。
在环境感知信息由多个传感器采集得到的情况下，该方法还包括：
对多个传感器的坐标系进行转换，以形成统一的坐标系；
和/或
使用目标的马氏距离关联不同传感器观测的同一目标，对不同传感器观测的同一目标按发生概率进行加权平均，作为该同一目标的发生概率。
在一个实施例中，根据所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息对所述深度学习模型进行训练包括：将所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息输入深度学习模型，输出预测的车辆控制变量和驾驶员操作信息的损失信息；根据所述驾驶员操作信息的损失信息修正所述深度学习模型中车辆控制变量的参数。
为实现上述目的，本发明提供一种汽车自动驾驶装置，包括：样本形成模块，用于根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将所述车辆自动驾驶数据库划分为训练集和测试集；模型训练模块，用于根据所述训练集中的环境感知信息建立训练用的行驶环境风险场，根据所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息对所述深度学习模型进行训练；模型测试模块，用于根据所述测试集中的环境感知信息建立测试用的行驶环境风险场，将所述测试用的行驶环境风险场输入所述深度学习模型，输出预测的车辆控制变量，通过比较预测的车辆控制变量和所述测试集中的驾驶员操作信息对所述深度学习模型进行测试。
所述模型训练模块包括第一风险场建立单元，用于根据静止物体形成的势能场信息、运动物体形成的动能场信息以及驾驶员形成的行为场信息建立训练用的行驶环境风险场；其中，静止物体形成的势能场信息和运动物体形成的动能场信息根据所述训练集中的环境感知信息确定，驾驶员形成的行为场信息根据所述训练集中的驾驶员操作信息确定；
所述模型测试模块包括第二风险场建立单元，用于根据静止物体形成的势能场信息、运动物体形成的动能场信息以及驾驶员形成的行为场信息建立测试用的行驶环境风险场；其中，静止物体形成的势能场信息和运动物体形成的动能场信息根据所述测试集中的环境感知信息确定，驾驶员形成的行为场信息根据所述测试集中的驾驶员操作信息确定。
其中，静止物体形成的势能场信息根据静止物体的属性和道路条件确定；运动物体形成的动能场信息根据运动物体的属性、运动状态和道路条件确定。
在环境感知信息由多个传感器采集得到的情况下，所述样本形成模块包括：数据处理单元和样本形成单元；
所述数据处理单元，用于
对多个传感器的坐标系进行转换，以形成统一的坐标系；
和/或
使用目标的马氏距离关联不同传感器观测的同一目标，对不同传感器观测的同一目标按发生概率进行加权平均，作为该同一目标的发生概率；
所述样本形成单元，用于根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将所述车辆自动驾驶数据库划分为训练集和测试集。
所述模型训练模块包括模型训练单元，用于将所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息输入深度学习模型，输出预测的车辆控制变量和驾驶员操作信息的损失信息；根据所述驾驶员操作信息的损失信息修正所述深度学习模型中车辆控制变量的参数。
本发明基于场的理论建立车辆行驶环境的风险模型，从而利用行驶环境风险场全面的反映车辆的驾驶环境，有利于实现不同道路环境下的自动驾驶。并且根据行驶环境风险场和驾驶员操作对车辆自动驾驶模型进行训练，以学习优秀人类驾驶员的经验，实现拟人化自动驾驶。
附图说明
图1是本发明汽车自动驾驶方法一个实施例的流程示意图。
图2是本发明对深度学习模型进行训练的一个实施例的流程图。
图3示出本发明一典型道路环境下的行驶环境风险场的示意图。
图4是本发明对深度学习模型进行测试的一个实施例的流程图。
图5是本发明汽车自动驾驶装置一个实施例的结构示意图。
图6是本发明汽车自动驾驶装置再一个实施例的结构示意图。
具体实施方式
本发明提出了一种汽车自动驾驶方法,该方法利用采集的环境感知信息建立行驶环境风险场，根据行驶环境风险场和驾驶员操作训练深度学习模型，可实现车辆的自动驾驶，降低了车辆自动驾驶模型(简称模型)的训练难度。
图1是本发明汽车自动驾驶方法一个实施例的流程示意图。如图1所示，该方法包括以下步骤：
步骤S102，根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将车辆自动驾驶数据库划分为训练集和测试集，以形成样本。训练集用来训练模型，在模型训练阶段使用；测试集用来验证模型的可用性，在模型测试阶段使用。
其中，环境感知信息是由至少一种传感器采集的环境数据。例如，车载摄像机采集的图像，激光雷达的点云信息和毫米波雷达的目标信息等，但不限于所举示例。
其中，驾驶员操作信息包括车辆转向角、车辆加/减速度等信息。为了获取丰富多样的驾驶数据，可以选用不同驾驶员的驾驶数据。例如，使用的数据库采样频率为10赫兹，选用不同驾驶员两小时的驾驶数据作为训练集，共计72000帧，选用不同驾驶员半小时的驾驶数据作为测试集，共计18000帧。通过学习不同驾驶员的驾驶行为，可以实现车辆的拟人化自动驾驶。
步骤S104，根据训练集中的环境感知信息建立训练用的行驶环境风险场，根据训练用的行驶环境风险场和训练集中的驾驶员操作信息对深度学习模型进行训练。
在一个实施例中，对深度学习模型进行训练包括：将训练用的行驶环境风险场和训练集中的驾驶员操作信息输入深度学习模型，输出预测的车辆控制变量，例如车辆转向角、车辆加/减速度等，根据预测的车辆控制变量和期望的车辆控制变量(根据驾驶员操作信息确定期望的车辆控制变量)确定驾驶员操作信息的损失信息，根据驾驶员操作信息的损失信息修正深度学习模型中车辆控制变量的参数。经过一定次数的迭代，得到符合要求的深度学习模型。其中，深度学习模型例如可以为深度卷积神经网络模型。
行驶环境风险场可以全面地描述行驶环境，有利于实现不同道路环境下的自动驾驶。
步骤S106，根据测试集中的环境感知信息建立测试用的行驶环境风险场，将测试用的行驶环境风险场输入深度学习模型，输出预测的车辆控制变量，通过比较预测的车辆控制变量和测试集中的驾驶员操作信息对深度学习模型进行测试。
一种示例性的测试方法描述如下，如果预测的车辆控制变量和测试集中的驾驶员操作信息之间的差距小于预设值，也即，二者的一致性较好，则可以确定深度学习模型可用。其中，车辆控制变量例如包括车辆转向角、车辆加/减速度等。
然而，本领域技术人员可以理解，上述测试方法并非唯一的。例如，将预测的车辆控制变量用于对车辆进行控制，观察车辆能否正常行驶，如果可以正常行驶，则确定深度学习模型可用。
上述实施例本发明基于场的理论建立车辆行驶环境的风险模型，从而利用行驶环境风险场全面的反映车辆的驾驶环境，有利于实现不同道路环境下的自动驾驶。并且根据行驶环境风险场和驾驶员操作对车辆自动驾驶模型进行训练，以学习优秀人类驾驶员的经验，实现拟人化自动驾驶。此外，相对于直接利用环境感知信息对车辆自动驾驶模型进行训练，降低了车辆自动驾驶模型的训练难度。
本发明还提供了一种对深度学习模型进行训练的方法。参见图2所示的对深度学习模型进行训练的流程图，针对训练集中的数据，训练过程如下：
步骤S202，对训练集中由至少一个传感器采集的环境感知信息进行识别，识别出例如静止物体、运动物体、道路等驾驶环境信息。
下面以摄像机、激光雷达、毫米波雷达等为例描述识别过程。
根据摄像机采集的图像，识别出车道线及车辆等目标。其中，可以使用图像处理方法识别图像中的车道线。该方法通过图像自适应阈值分割、车道标记线特征点提取、特征点聚类与拟合、车道线匹配与跟踪等步骤，实现车道线的准确识别与稳定跟踪。其中，可以使用机器学习的方法识别图像中的车辆目标。该方法使用HOG(Histogram of OrientedGradient，方向梯度直方图)特征及AdaBoost(一种迭代算法)级联分类器训练车辆检测模型，进而使用车辆检测模型实现车辆目标的准确检测。本领域技术人员可以理解，对于行人、骑车人、道路、路标等目标可以参考前述的车道线及车辆目标的识别方法，这里不再赘述。
此外，激光雷达可获得道路上障碍物及路面的点云信息(即空间坐标信息)。毫米波雷达可获得障碍物(如车辆、围栏等目标)的位置与速度等信息。
步骤S204，可选的，在多个传感器采集环境感知信息的情况下，还可以进行坐标转换和/或数据融合。
其中，坐标转换是指对多个传感器的坐标系进行转换，以形成统一的坐标系，使后续的数据融合更容易。一种坐标转换的方法例如可以是，将图像坐标系转换为摄像机坐标，再将摄像机坐标及其他传感器的坐标系转换到统一的车辆坐标系(例如固联于自车的坐标系，坐标原点在车辆质心)，实现不同传感器感知信息的坐标转换。
其中，由于不同传感器感知信息的属性不同，如毫米波雷达横向分辨率低、视觉传感器测距精度差等，本发明使用目标的马氏距离关联不同传感器观测的同一目标，进一步为了融合不同传感器观测值，对不同传感器观测的同一目标按发生概率进行加权平均，作为该同一目标的发生概率，从而实现多传感器信息的融合及观测值真实状态的有效估计。其中，例如可以使用联合概率数据关联(JPDA，Joint Probability Data Association)方法对不同传感器观测的同一目标按发生概率进行加权平均。
通过上述坐标转换或数据融合，可以更准确地识别道路环境信息。
步骤S206，根据训练集中的环境感知信息建立训练用的行驶环境风险场。
本发明提供了一种能够全面的反映车辆行驶环境的风险程度的风险场建立方法。即，根据静止物体(如停靠的车辆等)形成的势能场信息、运动物体(如运动的车辆和行人)形成的动能场信息以及驾驶员形成的行为场信息建立行驶环境风险场，公式表示如下：
Es＝Er+Ev+Ed (1)
其中，Es表示行驶环境风险场，Er表示静止物体形成的势能场信息，Ev表示运动物体形成的动能场信息,Ed表示驾驶员形成的行为场信息。
对于训练用的行驶环境风险场，静止物体形成的势能场信息和运动物体形成的动能场信息根据训练集中的环境感知信息确定，驾驶员形成的行为场信息根据训练集中的驾驶员操作信息确定。具体来说，势能场表征道路上静止物体对行车安全影响的物理场，势能场场强的大小和方向主要由静止物体属性和道路条件决定。动能场是表征道路上运动物体对行车安全影响的物理场，动能场场强的大小和方向主要由运动物体的属性、运动状态及道路条件决定。行为场是表征驾驶员行为特性对行车安全影响的物理场，行为场场强的大小主要由驾驶员的行为特性决定的。相同条件下，激进型的驾驶员常常比保守型驾驶员造成的行车风险大，其行为场场强就大；驾驶技能低的驾驶员通常比驾驶技能高的驾驶员行为场场强大。
图3示出一典型道路环境下的行驶环境风险场的示意图。为方便深度学习的训练过程，可将风险场离散化并投影到二维的图像上。其中，风险场图像的横坐标表示车辆的横向方向，纵坐标表示车辆的纵向方向，图像像素值表示风险程度(例如可以量化到0到255)。在本实施例中例如可以考虑车辆左右20米、前100米、后50米的范围，每个像素代表0.5米的长度，故生成的风险场灰度图像大小为300x80。
步骤S208，将训练用的行驶环境风险场和训练集中的驾驶员操作信息(即监督信息)输入深度学习模型，输出预测的车辆控制变量。
其中，驾驶员操作信息包括车辆转向角、车辆加/减速度等信息。为了获取丰富多样的驾驶数据，可以选用不同驾驶员的驾驶数据。
其中，深度学习模型例如可以是深度卷积神经网络模型，该模型包括五层卷积层和两层全连接层，最后一层输出二维的车辆控制量。
步骤S210，根据预测的车辆控制变量和期望的车辆控制变量(根据驾驶员操作信息确定)确定驾驶员操作信息的损失信息，例如用L2损失函数，根据驾驶员操作信息的损失信息修正深度学习模型中车辆控制变量的参数。
经过一定次数(例如10万次)的迭代，可以得到符合要求的深度学习模型，从而完成对深度学习模型的训练过程。
上述实施例，基于场的理论建立车辆行驶环境的风险评估模型，融合多种传感器信息输入，建立全面的行驶环境描述体系，有利于实现不同道路环境下的自动驾驶。结合车辆行驶环境及驾驶员相应的车辆操作输出，基于深度学习方法学习车辆的自动驾驶模型，可实现车辆的自动驾驶。通过学习不同驾驶员的驾驶行为，可实现车辆的拟人化自动驾驶。
本发明还提供了一种对深度学习模型进行测试的方法。参见图4所示的对深度学习模型进行测试的流程图，针对测试集中的数据，测试过程如下：
步骤S402，对测试集中由至少一个传感器采集的环境感知信息进行识别，识别出例如静止物体、运动物体、道路等驾驶环境信息。
其中，对测试集中的环境感知信息的识别方法可以参考对训练集中的环境感知信息的识别方法(即参考步骤S202)，这里不再赘述。
步骤S404，可选的，在多个传感器采集环境感知信息的情况下，还可以进行坐标转换和/或数据融合。
其中，对测试集中的环境感知信息的坐标转换和/或数据融合方法可以参考对训练集中的环境感知信息的坐标转换和/或数据融合方法(即参考步骤S204)，这里不再赘述。
步骤S406，根据测试集中的环境感知信息建立测试用的行驶环境风险场。
其中，测试用的行驶环境风险场的建立方法可以参考训练用的行驶环境风险场的建立方法(即参考步骤S206)，这里不再赘述。
步骤S408，将测试用的行驶环境风险场输入训练得到的深度学习模型，即使用训练的深度学习模型处理输入的行驶环境风险场，输出预测的车辆控制变量。
例如，将生成的大小为300x80的风险场灰度图像输入到训练得到的深度卷积神经网络模型，通过回归得到二维的车辆控制量，例如车辆转向角、加/减速度等信息。
步骤S410，通过比较预测的车辆控制变量和测试集中的驾驶员操作信息对深度学习模型进行测试。
一种示例性的测试方法描述如下，如果预测的车辆控制变量和测试集中的驾驶员操作信息之间的差距小于预设值，也即，二者的一致性较好，则可以确定深度学习模型可用。其中，车辆控制变量例如包括车辆转向角、车辆加/减速度等。
如果深度学习模型可用，则可以根据深度学习模型输出的车辆控制量(如车辆转向角、加/减速度等)，使用PID(比例积分微分)控制实现对车辆的有效控制。
本发明还提供了一种汽车自动驾驶装置，参考图5，该装置包括：
样本形成模块502，用于根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将车辆自动驾驶数据库划分为训练集和测试集；
模型训练模块504，用于根据训练集中的环境感知信息建立训练用的行驶环境风险场，根据训练用的行驶环境风险场和训练集中的驾驶员操作信息对深度学习模型进行训练；
模型测试模块506，用于根据测试集中的环境感知信息建立测试用的行驶环境风险场，将测试用的行驶环境风险场输入深度学习模型，输出预测的车辆控制变量，通过比较预测的车辆控制变量和测试集中的驾驶员操作信息对深度学习模型进行测试。
参考图6，在环境感知信息由多个传感器采集得到的情况下，样本形成模块502包括：数据处理单元5022和样本形成单元5024；
数据处理单元5022，用于对多个传感器的坐标系进行转换，以形成统一的坐标系；和/或，使用目标的马氏距离关联不同传感器观测的同一目标，对不同传感器观测的同一目标按发生概率进行加权平均，作为该同一目标的发生概率。
样本形成单元5024，用于根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将车辆自动驾驶数据库划分为训练集和测试集。
其中，模型训练模块504包括第一风险场建立单元5042，用于根据静止物体形成的势能场信息、运动物体形成的动能场信息以及驾驶员形成的行为场信息建立训练用的行驶环境风险场；其中，静止物体形成的势能场信息和运动物体形成的动能场信息根据训练集中的环境感知信息确定，驾驶员形成的行为场信息根据训练集中的驾驶员操作信息确定。
其中，模型训练模块504包括模型训练单元5044，用于将训练用的行驶环境风险场和训练集中的驾驶员操作信息输入深度学习模型，输出预测的车辆控制变量和驾驶员操作信息的损失信息；根据驾驶员操作信息的损失信息修正深度学习模型中车辆控制变量的参数。
其中，模型测试模块506包括第二风险场建立单元5062，用于根据静止物体形成的势能场信息、运动物体形成的动能场信息以及驾驶员形成的行为场信息建立测试用的行驶环境风险场；其中，静止物体形成的势能场信息和运动物体形成的动能场信息根据测试集中的环境感知信息确定，驾驶员形成的行为场信息根据测试集中的驾驶员操作信息确定。
其中，静止物体形成的势能场信息根据静止物体的属性和道路条件确定；运动物体形成的动能场信息根据运动物体的属性、运动状态和道路条件确定。
其中，模型测试模块506包括模型测试单元5064，用于将测试用的行驶环境风险场输入深度学习模型，输出预测的车辆控制变量，通过比较预测的车辆控制变量和测试集中的驾驶员操作信息对深度学习模型进行测试。
本发明基于场的理论建立车辆行驶环境的风险模型，从而利用行驶环境风险场全面的反映车辆的驾驶环境，有利于实现不同道路环境下的自动驾驶。并且根据行驶环境风险场和驾驶员操作对车辆自动驾驶模型进行训练，以学习优秀人类驾驶员的经验，实现拟人化自动驾驶。此外，相对于直接利用环境感知信息对车辆自动驾驶模型进行训练，降低了车辆自动驾驶模型的训练难度。
最后需要指出的是：以上实施例仅用以说明本发明的技术方案，而非对其限制。本领域的普通技术人员应当理解：可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种汽车自动驾驶方法，其特征在于，包括：
根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将所述车辆自动驾驶数据库划分为训练集和测试集；
根据所述训练集中的环境感知信息建立训练用的行驶环境风险场，根据所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息对深度学习模型进行训练；
根据所述测试集中的环境感知信息建立测试用的行驶环境风险场，将所述测试用的行驶环境风险场输入所述深度学习模型，输出预测的车辆控制变量，通过比较预测的车辆控制变量和所述测试集中的驾驶员操作信息对所述深度学习模型进行测试。
2.如权利要求1所述的方法，其特征在于，其中，训练用或者测试用的行驶环境风险场采用以下方法建立：
根据静止物体形成的势能场信息、运动物体形成的动能场信息以及驾驶员形成的行为场信息建立行驶环境风险场；
其中，
对于训练用的行驶环境风险场，静止物体形成的势能场信息和运动物体形成的动能场信息根据所述训练集中的环境感知信息确定，驾驶员形成的行为场信息根据所述训练集中的驾驶员操作信息确定；
对于测试用的行驶环境风险场，静止物体形成的势能场信息和运动物体形成的动能场信息根据所述测试集中的环境感知信息确定，驾驶员形成的行为场信息根据所述测试集中的驾驶员操作信息确定。
3.如权利要求2所述的方法，其特征在于，
静止物体形成的势能场信息根据静止物体的属性和道路条件确定；
运动物体形成的动能场信息根据运动物体的属性、运动状态和道路条件确定。
4.如权利要求1所述的方法，其特征在于，在环境感知信息由多个传感器采集得到的情况下，还包括：
对多个传感器的坐标系进行转换，以形成统一的坐标系；
或
使用目标的马氏距离关联不同传感器观测的同一目标，对不同传感器观测的同一目标按发生概率进行加权平均，作为该同一目标的发生概率。
5.如权利要求1所述的方法，其特征在于，根据所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息对所述深度学习模型进行训练包括：
将所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息输入深度学习模型，输出预测的车辆控制变量和驾驶员操作信息的损失信息；
根据所述驾驶员操作信息的损失信息修正所述深度学习模型中车辆控制变量的参数。
6.一种汽车自动驾驶装置，其特征在于，包括：
样本形成模块，用于根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将所述车辆自动驾驶数据库划分为训练集和测试集；
模型训练模块，用于根据所述训练集中的环境感知信息建立训练用的行驶环境风险场，根据所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息对深度学习模型进行训练；
模型测试模块，用于根据所述测试集中的环境感知信息建立测试用的行驶环境风险场，将所述测试用的行驶环境风险场输入所述深度学习模型，输出预测的车辆控制变量，通过比较预测的车辆控制变量和所述测试集中的驾驶员操作信息对所述深度学习模型进行测试。
7.如权利要求6所述的装置，其特征在于，
所述模型训练模块包括第一风险场建立单元，用于根据静止物体形成的势能场信息、运动物体形成的动能场信息以及驾驶员形成的行为场信息建立训练用的行驶环境风险场；其中，静止物体形成的势能场信息和运动物体形成的动能场信息根据所述训练集中的环境感知信息确定，驾驶员形成的行为场信息根据所述训练集中的驾驶员操作信息确定；
所述模型测试模块包括第二风险场建立单元，用于根据静止物体形成的势能场信息、运动物体形成的动能场信息以及驾驶员形成的行为场信息建立测试用的行驶环境风险场；其中，静止物体形成的势能场信息和运动物体形成的动能场信息根据所述测试集中的环境感知信息确定，驾驶员形成的行为场信息根据所述测试集中的驾驶员操作信息确定。
8.如权利要求7所述的装置，其特征在于，
静止物体形成的势能场信息根据静止物体的属性和道路条件确定；
运动物体形成的动能场信息根据运动物体的属性、运动状态和道路条件确定。
9.如权利要求6所述的装置，其特征在于，在环境感知信息由多个传感器采集得到的情况下，所述样本形成模块包括：数据处理单元和样本形成单元；
所述数据处理单元，用于
对多个传感器的坐标系进行转换，以形成统一的坐标系；
或
使用目标的马氏距离关联不同传感器观测的同一目标，对不同传感器观测的同一目标按发生概率进行加权平均，作为该同一目标的发生概率；
所述样本形成单元，用于根据采集的环境感知信息和驾驶员操作信息建立车辆自动驾驶数据库，并将所述车辆自动驾驶数据库划分为训练集和测试集。
10.如权利要求6所述的装置，其特征在于，
所述模型训练模块包括模型训练单元，用于将所述训练用的行驶环境风险场和所述训练集中的驾驶员操作信息输入深度学习模型，输出预测的车辆控制变量和驾驶员操作信息的损失信息；根据所述驾驶员操作信息的损失信息修正所述深度学习模型中车辆控制变量的参数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610515191.4A CN105892471B (zh) | 2016-07-01 | 2016-07-01 | 汽车自动驾驶方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610515191.4A CN105892471B (zh) | 2016-07-01 | 2016-07-01 | 汽车自动驾驶方法和装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN105892471A CN105892471A (zh) | 2016-08-24 |
| CN105892471B true CN105892471B (zh) | 2019-01-29 |
Family
ID=56718584
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610515191.4A Active CN105892471B (zh) | 2016-07-01 | 2016-07-01 | 汽车自动驾驶方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN105892471B (zh) |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108773373B (zh) * | 2016-09-14 | 2020-04-24 | 北京百度网讯科技有限公司 | 用于操作自动驾驶车辆的方法和装置 |
| CN106340205A (zh) * | 2016-09-30 | 2017-01-18 | 广东中星微电子有限公司 | 交通监控方法及交通监控装置 |
| CN106394559A (zh) * | 2016-11-17 | 2017-02-15 | 吉林大学 | 基于环境感知信息的多目标评判驾驶行为分析方法 |
| CN106556518B (zh) * | 2016-11-25 | 2020-03-31 | 特路（北京）科技有限公司 | 自动驾驶车辆通过视觉干扰区的能力的测试方法及测试场 |
| CN108205922A (zh) * | 2016-12-19 | 2018-06-26 | 乐视汽车（北京）有限公司 | 一种自动驾驶决策方法及系统 |
| JPWO2018123019A1 (ja) * | 2016-12-28 | 2019-07-18 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
| CN106844949B (zh) * | 2017-01-18 | 2020-01-10 | 清华大学 | 一种用于实现机车节能操纵的双向lstm模型的训练方法 |
| US20180217603A1 (en) * | 2017-01-31 | 2018-08-02 | GM Global Technology Operations LLC | Efficient situational awareness from perception streams in autonomous driving systems |
| US10752239B2 (en) | 2017-02-22 | 2020-08-25 | International Business Machines Corporation | Training a self-driving vehicle |
| KR102406507B1 (ko) | 2017-03-27 | 2022-06-10 | 현대자동차주식회사 | 딥러닝 기반 자율주행 차량 제어 장치, 그를 포함한 시스템 및 그 방법 |
| CN115855022A (zh) | 2017-04-07 | 2023-03-28 | 辉达公司 | 使用深度神经网络执行自主路径导航 |
| US10705525B2 (en) * | 2017-04-07 | 2020-07-07 | Nvidia Corporation | Performing autonomous path navigation using deep neural networks |
| CN107150691B (zh) * | 2017-04-21 | 2022-03-25 | 百度在线网络技术（北京）有限公司 | 无人驾驶车辆特技表演方法、装置、设备及存储介质 |
| CN110663073B (zh) * | 2017-06-02 | 2022-02-11 | 本田技研工业株式会社 | 策略生成装置及车辆 |
| CN110692094B (zh) * | 2017-06-02 | 2022-02-01 | 本田技研工业株式会社 | 用于自动驾驶车的控制的车辆控制装置及方法 |
| CN110678914A (zh) | 2017-06-02 | 2020-01-10 | 本田技研工业株式会社 | 用于自动驾驶车的控制的车辆控制装置及方法 |
| CN106990714A (zh) * | 2017-06-05 | 2017-07-28 | 李德毅 | 基于深度学习的适配控制方法与装置 |
| CN107918392B (zh) * | 2017-06-26 | 2021-10-22 | 深圳瑞尔图像技术有限公司 | 一种自动驾驶车辆个性化行车及获取行车执照的方法 |
| WO2019000391A1 (zh) * | 2017-06-30 | 2019-01-03 | 华为技术有限公司 | 车辆的控制方法、装置及设备 |
| KR102342143B1 (ko) * | 2017-08-08 | 2021-12-23 | 주식회사 만도모빌리티솔루션즈 | 딥 러닝 기반 자율 주행 차량, 딥 러닝 기반 자율 주행 제어 장치 및 딥 러닝 기반 자율 주행 제어 방법 |
| CN107491073B (zh) * | 2017-09-05 | 2021-04-02 | 百度在线网络技术（北京）有限公司 | 无人驾驶车辆的数据训练方法和装置 |
| CN107783943A (zh) * | 2017-09-05 | 2018-03-09 | 百度在线网络技术（北京）有限公司 | 一种端到端自动驾驶系统的纵向控制模型的评估方法及装置 |
| CN107745711B (zh) * | 2017-09-05 | 2021-01-05 | 百度在线网络技术（北京）有限公司 | 一种在自动驾驶模式下确定路线的方法和装置 |
| CN107564363B (zh) * | 2017-09-05 | 2019-11-05 | 百度在线网络技术（北京）有限公司 | 一种用于驾驶模式切换的方法和装置 |
| CN109543497A (zh) * | 2017-09-20 | 2019-03-29 | 顾泽苍 | 一种适于自动驾驶的多目的控制机器学习模型的构建方法 |
| CN109670597A (zh) * | 2017-09-20 | 2019-04-23 | 顾泽苍 | 一种自动驾驶的机器学习多目的控制方法 |
| US10860034B1 (en) | 2017-09-27 | 2020-12-08 | Apple Inc. | Barrier detection |
| CN111201554B (zh) * | 2017-10-17 | 2022-04-08 | 本田技研工业株式会社 | 行驶模型生成系统、行驶模型生成系统中的车辆、处理方法以及存储介质 |
| CN114924556A (zh) * | 2017-10-22 | 2022-08-19 | 深圳瑞尔图像技术有限公司 | 一种自动驾驶车辆的方法和系统 |
| CN107845159B (zh) * | 2017-10-30 | 2021-05-28 | 青岛慧拓智能机器有限公司 | 一种自动驾驶车辆测评系统运行监测系统 |
| CN107826105B (zh) * | 2017-10-31 | 2019-07-02 | 清华大学 | 半透明自动驾驶人工智能系统及车辆 |
| US10591914B2 (en) * | 2017-11-08 | 2020-03-17 | GM Global Technology Operations LLC | Systems and methods for autonomous vehicle behavior control |
| CN109835410B (zh) * | 2017-11-28 | 2022-02-01 | 湖南中车时代电动汽车股份有限公司 | 一种车辆行驶的经验数据提取方法及相关装置 |
| JP6917878B2 (ja) * | 2017-12-18 | 2021-08-11 | 日立Astemo株式会社 | 移動体挙動予測装置 |
| CN108829083A (zh) * | 2018-06-04 | 2018-11-16 | 北京智行者科技有限公司 | 车辆控制单元 |
| US11120688B2 (en) * | 2018-06-29 | 2021-09-14 | Nissan North America, Inc. | Orientation-adjust actions for autonomous vehicle operational management |
| CN108983787B (zh) * | 2018-08-09 | 2021-09-10 | 北京智行者科技有限公司 | 道路行驶方法 |
| WO2020073272A1 (en) * | 2018-10-11 | 2020-04-16 | Bayerische Motoren Werke Aktiengesellschaft | Snapshot image to train an event detector |
| US11260872B2 (en) * | 2018-10-12 | 2022-03-01 | Honda Motor Co., Ltd. | System and method for utilizing a temporal recurrent network for online action detection |
| CN111409648B (zh) * | 2019-01-08 | 2021-08-20 | 上海汽车集团股份有限公司 | 一种驾驶行为分析方法及装置 |
| CN109801534A (zh) * | 2019-02-19 | 2019-05-24 | 上海思致汽车工程技术有限公司 | 基于自动驾驶模拟器的驾驶行为硬件在环仿真测试系统 |
| CN109895777A (zh) * | 2019-03-11 | 2019-06-18 | 汉腾汽车有限公司 | 一种共享自动驾驶汽车系统 |
| CN110007675B (zh) * | 2019-04-12 | 2021-01-15 | 北京航空航天大学 | 一种基于行车态势图的车辆自动驾驶决策系统及基于无人机的训练集制备方法 |
| US20200379471A1 (en) * | 2019-06-03 | 2020-12-03 | Byton North America Corporation | Traffic blocking detection |
| CN110602393B (zh) * | 2019-09-04 | 2020-06-05 | 南京博润智能科技有限公司 | 一种基于图像内容理解的视频防抖方法 |
| KR102854806B1 (ko) * | 2019-09-16 | 2025-09-05 | 현대자동차주식회사 | 자율주행차량의 거동 제어 장치 및 그 방법 |
| CN110703732B (zh) * | 2019-10-21 | 2021-04-13 | 北京百度网讯科技有限公司 | 相关性检测方法、装置、设备及计算机可读存储介质 |
| CN112698578B (zh) * | 2019-10-22 | 2023-11-14 | 北京车和家信息技术有限公司 | 一种自动驾驶模型的训练方法及相关设备 |
| CN110968839B (zh) * | 2019-12-05 | 2024-07-05 | 深圳鼎然信息科技有限公司 | 驾驶风险评估方法、装置、设备及存储介质 |
| CN111204336B (zh) * | 2020-01-10 | 2021-04-30 | 清华大学 | 一种车辆行车风险的评估方法及设备 |
| CN111653125B (zh) * | 2020-05-28 | 2021-09-28 | 长安大学 | 一种无人驾驶汽车斑马线礼让行人模式的确定方法 |
| CN111717221B (zh) * | 2020-05-29 | 2022-11-11 | 重庆大学 | 自动驾驶接管风险评估和人机友好预警方法及预警系统 |
| CN111984018A (zh) * | 2020-09-25 | 2020-11-24 | 斑马网络技术有限公司 | 自动驾驶方法及装置 |
| CN112232254B (zh) * | 2020-10-26 | 2021-04-30 | 清华大学 | 一种考虑行人激进度的行人风险评估方法 |
| WO2022141914A1 (zh) * | 2021-01-01 | 2022-07-07 | 杜豫川 | 一种基于雷视融合的多目标车辆检测及重识别方法 |
| CN112896185A (zh) * | 2021-01-25 | 2021-06-04 | 北京理工大学 | 一种面向车路协同的智能驾驶行为决策规划方法及系统 |
| CN115605777A (zh) * | 2021-03-01 | 2023-01-13 | 杜豫川（Cn） | 一种基于路侧感知单元的动态目标点云快速识别及点云分割方法 |
| CN113548047B (zh) * | 2021-06-08 | 2022-11-11 | 重庆大学 | 一种基于深度学习的个性化车道保持辅助方法及装置 |
| CN116861958A (zh) * | 2023-07-26 | 2023-10-10 | 中国科学技术大学 | 类人加速/制动的速度调节自学习方法及系统 |
| CN117690107B (zh) * | 2023-12-15 | 2024-04-26 | 上海保隆汽车科技(武汉)有限公司 | 一种车道边线识别方法和装置 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE202005001254U1 (de) * | 2005-01-26 | 2006-06-08 | Conrad, Michael | Miniaturfahrzeug |
| CN102030007A (zh) * | 2010-11-26 | 2011-04-27 | 清华大学 | 独立驱动-独立转向车辆整车动力学控制量的获得方法 |
| CN102171084A (zh) * | 2008-09-30 | 2011-08-31 | 日产自动车株式会社 | 配置有用于辅助系统操作员的辅助控制器的系统、控制操作辅助装置、控制操作辅助方法、驾驶操作辅助装置和驾驶操作辅助方法 |
| CN105303197A (zh) * | 2015-11-11 | 2016-02-03 | 江苏省邮电规划设计院有限责任公司 | 一种基于机器学习的车辆跟车安全自动评估方法 |
| EP2993544A1 (en) * | 2013-05-01 | 2016-03-09 | Murata Machinery, Ltd. | Autonomous moving body |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100076599A1 (en) * | 2008-09-20 | 2010-03-25 | Steven Jacobs | Manually driven determination of a region of interest (roi) or a path of interest (poi) for a robotic device |
-
2016
- 2016-07-01 CN CN201610515191.4A patent/CN105892471B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE202005001254U1 (de) * | 2005-01-26 | 2006-06-08 | Conrad, Michael | Miniaturfahrzeug |
| CN102171084A (zh) * | 2008-09-30 | 2011-08-31 | 日产自动车株式会社 | 配置有用于辅助系统操作员的辅助控制器的系统、控制操作辅助装置、控制操作辅助方法、驾驶操作辅助装置和驾驶操作辅助方法 |
| CN102030007A (zh) * | 2010-11-26 | 2011-04-27 | 清华大学 | 独立驱动-独立转向车辆整车动力学控制量的获得方法 |
| EP2993544A1 (en) * | 2013-05-01 | 2016-03-09 | Murata Machinery, Ltd. | Autonomous moving body |
| CN105303197A (zh) * | 2015-11-11 | 2016-02-03 | 江苏省邮电规划设计院有限责任公司 | 一种基于机器学习的车辆跟车安全自动评估方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN105892471A (zh) | 2016-08-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105892471B (zh) | 汽车自动驾驶方法和装置 | |
| US20210232147A1 (en) | Trajectory representation in behavior prediction systems | |
| Rawashdeh et al. | Collaborative automated driving: A machine learning-based method to enhance the accuracy of shared information | |
| CN112650220B (zh) | 一种车辆自动驾驶方法、车载控制器及系统 | |
| US12373984B2 (en) | Multi-modal 3-D pose estimation | |
| Beck et al. | Automated vehicle data pipeline for accident reconstruction: New insights from LiDAR, camera, and radar data | |
| US10552982B2 (en) | Method for automatically establishing extrinsic parameters of a camera of a vehicle | |
| US20170300763A1 (en) | Road feature detection using a vehicle camera system | |
| Jeong et al. | Bidirectional long shot-term memory-based interactive motion prediction of cut-in vehicles in urban environments | |
| CN114495064B (zh) | 一种基于单目深度估计的车辆周围障碍物预警方法 | |
| CN112348848A (zh) | 一种交通参与者的信息生成方法及系统 | |
| CN113611008B (zh) | 一种车辆行驶场景采集方法、装置、设备及介质 | |
| CN111612818A (zh) | 新型双目视觉多目标跟踪方法及系统 | |
| CN112446466A (zh) | 在深度神经网络中测量置信度 | |
| Kotur et al. | Camera and LiDAR sensor fusion for 3d object tracking in a collision avoidance system | |
| Aron et al. | Current Approaches in Traffic Lane Detection: a minireview | |
| Guo et al. | Road environment perception for safe and comfortable driving | |
| US11823465B2 (en) | Neural network object identification | |
| Liu et al. | Research on security of key algorithms in intelligent driving system | |
| Kelkar et al. | Revolutionizing the Driving Experience: Enhancing Safety and Comfort Using ADAS | |
| Beresnev et al. | Automated Driving System based on Roadway and Traffic Conditions Monitoring. | |
| CN118251638A (zh) | 辅助或自动车辆导引方法 | |
| Ariche et al. | Object detection and distance estimation via lidar and camera fusion for autonomous driving | |
| Ravishankaran | Impact on how AI in automobile industry has affected the type approval process at RDW | |
| Murase | Image recognition for driver assistance in intelligent vehicles |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| CB02 | Change of applicant information |
Address after: 102208 Beijing City, Changping District Huilongguan East Street No. 338 hit off the square B4-006 Applicant after: Beijing Idriverplus Technology Co.,Ltd. Address before: 102206 Changping road Beijing Changping District city Shahe Town, No. 97 Xinyuan Science Park A block 511 Applicant before: Beijing Idriverplus Technology Co.,Ltd. |
|
| COR | Change of bibliographic data | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CP03 | Change of name, title or address |
Address after: Building C-3, Northern Territory, Zhongguancun Dongsheng Science Park, 66 Xixiaokou Road, Haidian District, Beijing, 100176 Patentee after: Beijing Idriverplus Technology Co.,Ltd. Address before: B4-006, maker Plaza, 338 East Street, Huilongguan town, Changping District, Beijing 102208 Patentee before: Beijing Idriverplus Technology Co.,Ltd. |
|
| CP03 | Change of name, title or address |