CN109901595A - 一种基于单目摄像头和树莓派的自动驾驶系统及方法 - Google Patents
一种基于单目摄像头和树莓派的自动驾驶系统及方法 Download PDFInfo
- Publication number
- CN109901595A CN109901595A CN201910303324.5A CN201910303324A CN109901595A CN 109901595 A CN109901595 A CN 109901595A CN 201910303324 A CN201910303324 A CN 201910303324A CN 109901595 A CN109901595 A CN 109901595A
- Authority
- CN
- China
- Prior art keywords
- model
- model car
- road conditions
- convolutional neural
- raspberry pie
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 235000011034 Rubus glaucus Nutrition 0.000 claims abstract description 45
- 235000009122 Rubus idaeus Nutrition 0.000 claims abstract description 45
- 240000007651 Rubus glaucus Species 0.000 claims abstract description 44
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 18
- 238000007781 pre-processing Methods 0.000 claims abstract description 16
- 238000013480 data collection Methods 0.000 claims abstract description 9
- 230000001537 neural effect Effects 0.000 claims abstract description 5
- 230000008569 process Effects 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 7
- 238000005520 cutting process Methods 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 230000009467 reduction Effects 0.000 claims description 5
- 239000000203 mixture Substances 0.000 claims description 3
- 238000003860 storage Methods 0.000 claims description 3
- 230000001133 acceleration Effects 0.000 claims 1
- 230000000007 visual effect Effects 0.000 abstract description 2
- 230000004927 fusion Effects 0.000 abstract 1
- 230000004913 activation Effects 0.000 description 18
- 210000002569 neuron Anatomy 0.000 description 8
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000005452 bending Methods 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000035800 maturation Effects 0.000 description 2
- 244000235659 Rubus idaeus Species 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000003475 lamination Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000005036 nerve Anatomy 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本发明涉及一种基于单目摄像头和树莓派的自动驾驶系统及方法，包括依次连接的数据收集单元、数据预处理单元、深度卷积神经网络、控制单元；数据收集单元用于收集数据集；数据预处理单元用于对收集到的数据集进行预处理；深度卷积神经网络用于训练预处理后的数据集，得到成熟模型；控制单元用于训练得到的成熟模型，使模型车在模型车道上进行自动驾驶。本发明摒弃了复杂的深层网络模型和雷达等昂贵硬件，实现了在较小的计算能力和较差的硬件条件下的自动驾驶，使得可以以较小的成本和代价，即在仅使用单目摄像头和树莓派的情况下，依靠单纯视觉识别使用端对端的神经网络实现了无人驾驶。
Description
技术领域
本发明属于图像处理的技术领域，具体涉及一种在树莓派上运行的基于单目摄像头的深度卷积神经网络的自动驾驶系统及方法。
背景技术
目前，自动驾驶技术快速发展，一般都是基于多目摄像头或者激光雷达，并且需要在高配置的服务器上运行，但是，传统的树莓派提供的计算能力较小，无法提供传统无人驾驶技术所需的计算能力，当硬件并不丰富的情况下，即只提供一个单目摄像头的情况下，由于单目摄像头在模型车行驶中无法提供较为详细的路况信息，因此，想要实现自动驾驶就需要更为复杂的神经网络来处理单目摄像头拍摄的图像，但是，正如上文所说树莓派提供的计算能力是有限的，因此，较为复杂的神经网络无法在树莓派上运行，目前没有合适的神经网络模型可以实现二者的平衡，在已有的网络模型中一般使用双目摄像头或者三目摄像头、使用雷达等其他辅助设备等方式辅助以简单的多层卷积神经网络，来实现在树莓派计算能力上的自动驾驶，但是这样增加了硬件成本，故而在单目摄像头和树莓派的硬件基础上现阶段无法实现自动驾驶。
因此，急需一种能够在简易环境下实现自动驾驶的方案。
发明内容
针对现有技术的不足，本发明提供了一种基于单目摄像头和树莓派的自动驾驶系统，本发明还提供了一种基于单目摄像头和树莓派的自动驾驶方法；
术语解释：
OpenCV，是一个基于BSD许可(开源)发行的跨平台计算机视觉库，可以运行在Linux、Windows、Android和Mac OS操作系统上。它轻量级而且高效--由一系列C函数和少量C++类构成，同时提供了Python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。
本发明的技术方案为：
一种基于单目摄像头和树莓派的自动驾驶系统，包括依次连接的数据收集单元、数据预处理单元、深度卷积神经网络、控制单元；
所述数据收集单元用于获取模型车(该模型车为设置有单目摄像头和树莓派的4WD智能模型车)运行时的路况信息，路况信息是指路况图片，并将获取的路况信息发送至数据预处理单元；所述数据预处理单元用于对接收到的路况图片进行预处理，是指依次进行灰度化、降噪、二值化、字符切分和归一化处理；所述深度卷积神经网络在训练中用于训练预处理后的多张路况图片组成的数据集，得到成熟的深度卷积神经网络，在模型车运行过程中，输入上述预处理后的多张路况图片，得到模型车的控制信息，模型车的控制信息包括转向方向(左转或右转)、转向角度(左转或右转多少度)、油门大小；所述控制单元将模型车的控制信息传递给模型车，完成模型车自动驾驶。
根据本发明优选的，所述数据收集单元是指设置有单目摄像头和树莓派的4WD智能模型车，单目摄像头用于拍摄获取路况图片。
根据本发明优选的，获取的路况信息通过opencv以字节流的格式传递到数据预处理单元。
根据本发明优选的，树莓派模型车提供了硬件方面的模型车控制接口，通过python编写接口，将模型车的控制信息传递给模型车的硬件接口，完成模型车的控制信息的传递。
一种基于单目摄像头和树莓派的自动驾驶方法，用于实现模型车在模型车道上自动驾驶，包括步骤如下：
(1)收集数据集；数据集包括大量路况图片；
(2)数据集预处理；
(3)使用步骤(2)预处理后的数据集训练深度卷积神经网络，经过训练得到成熟的深度卷积神经网络；成熟的深度卷积神经网络输入拍摄的路况图片，输出模型车的控制信息，模型车的控制信息包括转向方向(左转或右转)、转向角度(左转或右转多少度)、油门大小；
(4)使用步骤(3)训练得到的成熟的深度卷积神经网络，使模型车在模型车道上进行自动驾驶。
根据本发明优选的，所述步骤(1)，收集数据集，是指：设置有单目摄像头和树莓派的4WD智能模型车实时拍摄路况，得到大量路况图片。
根据本发明优选的，所述步骤(2)，数据预处理，包括：
A、在获取路况图片时，实时记录此时模型车的速度、油门大小、转向方向、转向角度(模型车此时偏离前进方向的角度大小)，标注每张路况图片的名称、存放位置、油门大小、速度、转向角度和转向方向作为一个记录，将所有记录放在同一个.csv文件中；
B、对步骤A处理后的路况图片依次进行灰度化、降噪、二值化、字符切分以及归一化处理。
根据本发明优选的，深度卷积神经网络结构如下：依次包括一层图像归一化层、四层5x5的卷积层、两层3x3的卷积层和四层全连接层；
Image normalization
Convolution:5x5,filter:12,strides:2x2,activation:ELU
Convolution:5x5,filter:24,strides:2x2,activation:ELU
Convolution:5x5,filter:36,strides:2x2,activation:ELU
Convolution:5x5,filter:48,strides:2x2,activation:ELU
Convolution:3x3,filter:64,strides:1x1,activation:ELU
Convolution:3x3,filter:64,strides:1x1,activation:ELU
Drop out(0.5)
Fully connected:neurons:100,activation:ELU
Fully connected:neurons:50,activation:ELU
Fully connected:neurons:10,activation:ELU
Fully connected:neurons:1(output)
该深度卷积神经网络是端到端的卷积神经网络，整个深度卷积神经网络当作黑盒，输入路况图片后，首先，经过第一层图像归一化层(Image normalization层)进行图像预处理，然后，经过四层的5x5卷积层和两层的3x3卷积层后，图片变成高维度特征图，通过6层的卷积，完成了对路况图片的特征提取，即提取图像中的局部特征比，例如提取到车道线的弯曲方向和程度，最后，经过四层的全连接层，输出最后的偏转比例，偏转比例是预测模型车接下来要偏离的角度除以90度所得到的值，该值正数代表向左转，负数代表向右转，大小代表偏离目前行驶方向的角度大小除以90度，全连接层相当于将卷积提取的特征进行总结，并预测出接下来的转向角度。
根据本发明优选的，所述步骤(4)，使用步骤(3)训练得到的成熟的深度卷积神经网络，使模型车在模型车道上进行自动驾驶，是指：
C、模型车运行过程中将单目摄像头拍摄的路况图片传入成熟的深度卷积神经网络；
D、成熟的深度卷积神经网络完成推断过程，输出偏转比例，偏转比例是预测模型车接下来要偏离的角度除以90度所得到的值，该值正数代表向左转，负数代表向右转，大小代表偏离目前行驶方向的角度大小除以90度；
E、得到偏转比例后，经过计算获得油门大小；模型车过弯时要通过刹车和松开油门降低速度，然后调整角度之后再调整油门通过路口，因此转向角度和油门息息相关，当转向角度很大时油门必须松开降低速度来通过弯道，反之亦然。那么当预测出偏向角度后可以通过计算得到油门大小(该大小为百分比数值)，计算公式为：a＝1.0-t^2-(v1÷v2)^2，a是指油门大小，t是指偏转比例，v1是指速度，v2是指限制速度，当模型车当前速度v1大于允许的最大速度(该速度为人工设置)时，限制速度v2为允许的最小速度(该速度为人工设置)，否则，限制速度v2为允许的最大速度；
F、将获得的油门大小和偏转比例传递给树莓派模型车，进而控制模型车的转向和加速减速，将得到的油门大小和偏向角度，通过python代码传递到树莓派模型车的硬件接口，该硬件接口得到油门大小和偏向角度后，调节模型车的速度和方向，实现模型车自动驾驶。
本发明的有益效果为：
本发明与目前传统自动驾驶算法相比摒弃了复杂的深层网络模型和雷达等昂贵硬件，实现了在较小的计算能力和较差的硬件条件下的自动驾驶，使得可以以较小的成本和代价，即在仅使用单目摄像头和树莓派的情况下，依靠单纯视觉识别使用端对端的神经网络实现了无人驾驶。
附图说明
图1为基于单目摄像头和树莓派的自动驾驶系统的结构框图；
图2为本发明基于单目摄像头和树莓派的自动驾驶方法的流程示意图；
具体实施方式
下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。
实施例1
一种基于单目摄像头和树莓派的自动驾驶系统，如图1所示，包括依次连接的数据收集单元、数据预处理单元、深度卷积神经网络、控制单元；
数据收集单元用于获取模型车(该模型车为设置有单目摄像头和树莓派的4WD智能模型车)运行时的路况信息，路况信息是指路况图片，并将获取的路况信息发送至数据预处理单元；数据预处理单元用于对接收到的路况图片进行预处理，是指依次进行灰度化、降噪、二值化、字符切分和归一化处理；深度卷积神经网络在训练中用于训练预处理后的多张路况图片组成的数据集，得到成熟的深度卷积神经网络，在模型车运行过程中，输入上述预处理后的多张路况图片，得到模型车的控制信息，模型车的控制信息包括转向方向(左转或右转)、转向角度(左转或右转多少度)、油门大小；控制单元将模型车的控制信息传递给模型车，完成模型车自动驾驶。
数据收集单元是指设置有单目摄像头和树莓派的4WD智能模型车，单目摄像头用于拍摄获取路况图片。
获取的路况信息通过opencv以字节流的格式传递到数据预处理单元。
树莓派模型车提供了硬件方面的模型车控制接口，通过python编写接口，将模型车的控制信息传递给模型车的硬件接口，完成模型车的控制信息的传递。
深度卷积神经网络结构如下：依次包括一层图像归一化层、四层5x5的卷积层、两层3x3的卷积层和四层全连接层；
Image normalization
Convolution:5x5,filter:12,strides:2x2,activation:ELU
Convolution:5x5,filter:24,strides:2x2,activation:ELU
Convolution:5x5,filter:36,strides:2x2,activation:ELU
Convolution:5x5,filter:48,strides:2x2,activation:ELU
Convolution:3x3,filter:64,strides:1x1,activation:ELU
Convolution:3x3,filter:64,strides:1x1,activation:ELU
Drop out(0.5)
Fully connected:neurons:100,activation:ELU
Fully connected:neurons:50,activation:ELU
Fully connected:neurons:10,activation:ELU
Fully connected:neurons:1(output)
该深度卷积神经网络是端到端的卷积神经网络，整个深度卷积神经网络当作黑盒，兼顾了树莓派的计算能力和模型的精确度；输入路况图片后，首先，经过第一层图像归一化层(Image
normalization层)进行图像预处理，然后，经过四层的5x5卷积层和两层的3x3卷积层后，图片变成高维度特征图，通过6层的卷积，完成了对路况图片的特征提取，即提取图像中的局部特征比，例如提取到车道线的弯曲方向和程度，最后，经过四层的全连接层，输出最后的偏转比例，偏转比例是预测模型车接下来要偏离的角度除以90度所得到的值，该值正数代表向左转，负数代表向右转，大小代表偏离目前行驶方向的角度大小除以90度，全连接层相当于将卷积提取的特征进行总结，并预测出接下来的转向角度。
实施例2
一种基于单目摄像头和树莓派的自动驾驶方法，如图2所示，用于实现模型车在模型车道上自动驾驶，包括步骤如下：
(1)收集数据集；数据集包括大约10万张左右的路况图片；
(2)数据集预处理；
(3)使用步骤(2)预处理后的数据集训练深度卷积神经网络，经过训练得到成熟的深度卷积神经网络；成熟的深度卷积神经网络输入拍摄的路况图片，输出模型车的控制信息，模型车的控制信息包括转向方向(左转或右转)、转向角度(左转或右转多少度)、油门大小；
(4)使用步骤(3)训练得到的成熟的深度卷积神经网络，使模型车在模型车道上进行自动驾驶。
步骤(1)，收集数据集，是指：设置有单目摄像头和树莓派的4WD智能模型车实时拍摄路况，得到大量路况图片。
步骤(2)，数据预处理，包括：
A、在获取路况图片时，实时记录此时模型车的速度、油门大小、转向方向、转向角度(模型车此时偏离前进方向的角度大小)，标注每张路况图片的名称、存放位置、油门大小、速度、转向角度和转向方向作为一个记录，将所有记录放在同一个.csv文件中；
B、对步骤A处理后的路况图片依次进行灰度化、降噪、二值化、字符切分以及归一化处理。
步骤(4)，使用步骤(3)训练得到的成熟的深度卷积神经网络，使模型车在模型车道上进行自动驾驶，是指：
C、模型车运行过程中将单目摄像头拍摄的路况图片传入成熟的深度卷积神经网络；
D、成熟的深度卷积神经网络完成推断过程，输出偏转比例，偏转比例是预测模型车接下来要偏离的角度除以90度所得到的值，该值正数代表向左转，负数代表向右转，大小代表偏离目前行驶方向的角度大小除以90度；
E、得到偏转比例后，经过计算获得油门大小；模型车过弯时要通过刹车和松开油门降低速度，然后调整角度之后再调整油门通过路口，因此转向角度和油门息息相关，当转向角度很大时油门必须松开降低速度来通过弯道，反之亦然。那么当预测出偏向角度后可以通过计算得到油门大小(该大小为百分比数值)，计算公式为：a＝1.0-t^2-(v1÷v2)^2，a是指油门大小，t是指偏转比例，v1是指速度，v2是指限制速度，当模型车当前速度v1大于允许的最大速度(该速度为人工设置)时，限制速度v2为允许的最小速度(该速度为人工设置)，否则，限制速度v2为允许的最大速度；
F、将获得的油门大小和偏转比例传递给树莓派模型车，进而控制模型车的转向和加速减速，将得到的油门大小和偏向角度，通过python代码传递到树莓派模型车的硬件接口，该硬件接口得到油门大小和偏向角度后，调节模型车的速度和方向，实现模型车自动驾驶。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
本发明主要目标是在单目摄像头和较低计算能力的树莓派上完成自动驾驶，因此本实验采用简单的端对端的多层卷积神经网络来处理单目摄像头拍摄的路况信息，从而得到模型车的转向角度信息，在此基础上通过相关计算得到模型车的油门大小预测值和速度预测值，最后将模型车控制信息传递到模型车控制模块，控制模型车的加速减速和转弯。
Claims (9)
1.一种基于单目摄像头和树莓派的自动驾驶系统，其特征在于，包括依次连接的数据收集单元、数据预处理单元、深度卷积神经网络、控制单元；
所述数据收集单元用于获取模型车运行时的路况信息，路况信息是指路况图片，并将获取的路况信息发送至数据预处理单元；所述数据预处理单元用于对接收到的路况图片进行预处理，是指依次进行灰度化、降噪、二值化、字符切分和归一化处理；所述深度卷积神经网络在训练中用于训练预处理后的多张路况图片组成的数据集，得到成熟的深度卷积神经网络，在模型车运行过程中，输入上述预处理后的多张路况图片，得到模型车的控制信息，模型车的控制信息包括转向方向、转向角度、油门大小；所述控制单元将模型车的控制信息传递给模型车，完成模型车自动驾驶。
2.根据权利要求1所述的一种基于单目摄像头和树莓派的自动驾驶系统，其特征在于，所述数据收集单元是指设置有单目摄像头和树莓派的4WD智能模型车，单目摄像头用于拍摄获取路况图片。
3.根据权利要求1所述的一种基于单目摄像头和树莓派的自动驾驶系统，其特征在于，所述深度卷积神经网络依次包括一层图像归一化层、四层5x5的卷积层、两层3x3的卷积层和四层全连接层；
输入路况图片后，首先，经过第一层图像归一化层进行图像预处理，然后，经过四层的5x5卷积层和两层的3x3卷积层后，图片变成高维度特征图，通过6层的卷积，完成了对路况图片的特征提取，即提取图像中的局部特征比，最后，经过四层的全连接层，输出最后的偏转比例，偏转比例是预测模型车接下来要偏离的角度除以90度所得到的值，该值正数代表向左转，负数代表向右转，大小代表偏离目前行驶方向的角度大小除以90度，全连接层相当于将卷积提取的特征进行总结，并预测出接下来的转向角度。
4.根据权利要求1所述的一种基于单目摄像头和树莓派的自动驾驶系统，其特征在于，获取的路况信息通过opencv以字节流的格式传递到所述数据预处理单元。
5.根据权利要求1所述的一种基于单目摄像头和树莓派的自动驾驶系统，其特征在于，通过python编写接口，将模型车的控制信息传递给模型车的硬件接口，完成模型车的控制信息的传递。
6.一种基于单目摄像头和树莓派的自动驾驶方法，用于实现模型车在模型车道上自动驾驶，其特征在于，包括步骤如下：
(1)收集数据集；数据集包括大量路况图片；
(2)数据集预处理；
(3)使用步骤(2)预处理后的数据集训练深度卷积神经网络，经过训练得到成熟的深度卷积神经网络；成熟的深度卷积神经网络输入拍摄的路况图片，输出模型车的控制信息，模型车的控制信息包括转向方向、转向角度、油门大小；
(4)使用步骤(3)训练得到的成熟的深度卷积神经网络，使模型车在模型车道上进行自动驾驶。
7.根据权利要求6所述的一种基于单目摄像头和树莓派的自动驾驶方法，其特征在于，所述步骤(1)，收集数据集，是指：设置有单目摄像头和树莓派的4WD智能模型车实时拍摄路况，得到大量路况图片。
8.根据权利要求7所述的一种基于单目摄像头和树莓派的自动驾驶方法，其特征在于，所述步骤(2)，数据预处理，包括：
A、在获取路况图片时，实时记录此时模型车的速度、油门大小、转向方向、转向角度，标注每张路况图片的名称、存放位置、油门大小、速度、转向角度和转向方向作为一个记录，将所有记录放在同一个.csv文件中；
B、对步骤A处理后的路况图片依次进行灰度化、降噪、二值化、字符切分以及归一化处理。
9.根据权利要求7或8所述的一种基于单目摄像头和树莓派的自动驾驶方法，其特征在于，所述步骤(4)，使用步骤(3)训练得到的成熟的深度卷积神经网络，使模型车在模型车道上进行自动驾驶，是指：
C、模型车运行过程中将单目摄像头拍摄的路况图片传入成熟的深度卷积神经网络；
D、成熟的深度卷积神经网络完成推断过程，输出偏转比例，偏转比例是预测模型车接下来要偏离的角度除以90度所得到的值，该值正数代表向左转，负数代表向右转，大小代表偏离目前行驶方向的角度大小除以90度；
E、得到偏转比例后，经过计算获得油门大小；计算公式为：a＝1.0-t^2-(v1÷v2)^2，a是指油门大小，t是指偏转比例，v1是指速度，v2是指限制速度，当模型车当前速度v1大于允许的最大速度时，限制速度v2为允许的最小速度，否则，限制速度v2为允许的最大速度；
F、将获得的油门大小和偏转比例传递给树莓派模型车，进而控制模型车的转向和加速减速，将得到的油门大小和偏向角度，通过python代码传递到树莓派模型车的硬件接口，该硬件接口得到油门大小和偏向角度后，调节模型车的速度和方向，实现模型车自动驾驶。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910303324.5A CN109901595A (zh) | 2019-04-16 | 2019-04-16 | 一种基于单目摄像头和树莓派的自动驾驶系统及方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201910303324.5A CN109901595A (zh) | 2019-04-16 | 2019-04-16 | 一种基于单目摄像头和树莓派的自动驾驶系统及方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN109901595A true CN109901595A (zh) | 2019-06-18 |
Family
ID=66954899
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201910303324.5A Pending CN109901595A (zh) | 2019-04-16 | 2019-04-16 | 一种基于单目摄像头和树莓派的自动驾驶系统及方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN109901595A (zh) |
Cited By (27)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110244734A (zh) * | 2019-06-20 | 2019-09-17 | 中山大学 | 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法 |
| CN110534009A (zh) * | 2019-09-05 | 2019-12-03 | 北京青橙创客教育科技有限公司 | 一种人工智能无人驾驶课程教具 |
| CN111142519A (zh) * | 2019-12-17 | 2020-05-12 | 西安工业大学 | 基于计算机视觉和超声波雷达冗余的自动驾驶系统及其控制方法 |
| CN111488418A (zh) * | 2020-03-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 车辆位姿矫正方法、装置、设备及存储介质 |
| CN111506067A (zh) * | 2020-04-20 | 2020-08-07 | 上海电子信息职业技术学院 | 智能模型车 |
| CN112785466A (zh) * | 2020-12-31 | 2021-05-11 | 科大讯飞股份有限公司 | 一种硬件的ai赋能方法、装置、存储介质及设备 |
| CN112966653A (zh) * | 2021-03-29 | 2021-06-15 | 深圳市优必选科技股份有限公司 | 一种巡线模型的训练方法、巡线方法及巡线系统 |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US12307350B2 (en) | 2018-01-04 | 2025-05-20 | Tesla, Inc. | Systems and methods for hardware-based pooling |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015138981A1 (en) * | 2014-03-14 | 2015-09-17 | ElectroCore, LLC | Devices and methods for treating medical disorders with evoked potentials and vagus nerve stimulation |
| EP2942855A1 (en) * | 2014-05-08 | 2015-11-11 | Rheinisch-Westfälisch-Technische Hochschule Aachen | Method and system for monitoring distribution systems |
| CN107167580A (zh) * | 2016-12-17 | 2017-09-15 | 重庆大学 | 基于加速度传感器和机器学习的路面坑洼检测方法 |
| CN108438004A (zh) * | 2018-03-05 | 2018-08-24 | 长安大学 | 基于单目视觉的车道偏离预警系统 |
| CN108620950A (zh) * | 2018-05-08 | 2018-10-09 | 华中科技大学无锡研究院 | 一种车削刀具加工状态监测方法及系统 |
| CN108664028A (zh) * | 2018-05-21 | 2018-10-16 | 南昌航空大学 | 便于二次开发的全向视觉智能小车 |
| CN108830171A (zh) * | 2018-05-24 | 2018-11-16 | 中山大学 | 一种基于深度学习的智能物流仓库引导线视觉检测方法 |
| CN108960308A (zh) * | 2018-06-25 | 2018-12-07 | 中国科学院自动化研究所 | 交通标志识别方法、装置、车载终端及车辆 |
| CN109446919A (zh) * | 2018-09-30 | 2019-03-08 | 贵州大学 | 一种基于端到端学习的视觉车道保持方法 |
| CN109459037A (zh) * | 2018-12-29 | 2019-03-12 | 南京师范大学镇江创新发展研究院 | 一种基于slam智能载体的环境信息采集方法及系统 |
| CN109471732A (zh) * | 2018-11-22 | 2019-03-15 | 山东大学 | 一种面向cpu-fpga异构多核系统的数据分配方法 |
-
2019
- 2019-04-16 CN CN201910303324.5A patent/CN109901595A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015138981A1 (en) * | 2014-03-14 | 2015-09-17 | ElectroCore, LLC | Devices and methods for treating medical disorders with evoked potentials and vagus nerve stimulation |
| EP2942855A1 (en) * | 2014-05-08 | 2015-11-11 | Rheinisch-Westfälisch-Technische Hochschule Aachen | Method and system for monitoring distribution systems |
| CN107167580A (zh) * | 2016-12-17 | 2017-09-15 | 重庆大学 | 基于加速度传感器和机器学习的路面坑洼检测方法 |
| CN108438004A (zh) * | 2018-03-05 | 2018-08-24 | 长安大学 | 基于单目视觉的车道偏离预警系统 |
| CN108620950A (zh) * | 2018-05-08 | 2018-10-09 | 华中科技大学无锡研究院 | 一种车削刀具加工状态监测方法及系统 |
| CN108664028A (zh) * | 2018-05-21 | 2018-10-16 | 南昌航空大学 | 便于二次开发的全向视觉智能小车 |
| CN108830171A (zh) * | 2018-05-24 | 2018-11-16 | 中山大学 | 一种基于深度学习的智能物流仓库引导线视觉检测方法 |
| CN108960308A (zh) * | 2018-06-25 | 2018-12-07 | 中国科学院自动化研究所 | 交通标志识别方法、装置、车载终端及车辆 |
| CN109446919A (zh) * | 2018-09-30 | 2019-03-08 | 贵州大学 | 一种基于端到端学习的视觉车道保持方法 |
| CN109471732A (zh) * | 2018-11-22 | 2019-03-15 | 山东大学 | 一种面向cpu-fpga异构多核系统的数据分配方法 |
| CN109459037A (zh) * | 2018-12-29 | 2019-03-12 | 南京师范大学镇江创新发展研究院 | 一种基于slam智能载体的环境信息采集方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| MICHAEL G. BECHTEL，等: "A Low-cost Deep Neural Network-based Autonomous Car", 《2018 IEEE 24TH INTERNATIONAL CONFERENCE ON EMBEDDED AND REAL-TIME COMPUTING SYSTEMS AND APPLICATIONS》 * |
| 李云伍，等: "丘陵山区田间道路自主行驶转运车及其视觉导航系统研制", 《农业工程学报》 * |
Cited By (43)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11487288B2 (en) | 2017-03-23 | 2022-11-01 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US12020476B2 (en) | 2017-03-23 | 2024-06-25 | Tesla, Inc. | Data synthesis for autonomous control systems |
| US11403069B2 (en) | 2017-07-24 | 2022-08-02 | Tesla, Inc. | Accelerated mathematical engine |
| US12216610B2 (en) | 2017-07-24 | 2025-02-04 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US11893393B2 (en) | 2017-07-24 | 2024-02-06 | Tesla, Inc. | Computational array microprocessor system with hardware arbiter managing memory requests |
| US11409692B2 (en) | 2017-07-24 | 2022-08-09 | Tesla, Inc. | Vector computational unit |
| US12086097B2 (en) | 2017-07-24 | 2024-09-10 | Tesla, Inc. | Vector computational unit |
| US11681649B2 (en) | 2017-07-24 | 2023-06-20 | Tesla, Inc. | Computational array microprocessor system using non-consecutive data formatting |
| US12307350B2 (en) | 2018-01-04 | 2025-05-20 | Tesla, Inc. | Systems and methods for hardware-based pooling |
| US11797304B2 (en) | 2018-02-01 | 2023-10-24 | Tesla, Inc. | Instruction set architecture for a vector computational unit |
| US11561791B2 (en) | 2018-02-01 | 2023-01-24 | Tesla, Inc. | Vector computational unit receiving data elements in parallel from a last row of a computational array |
| US11734562B2 (en) | 2018-06-20 | 2023-08-22 | Tesla, Inc. | Data pipeline and deep learning system for autonomous driving |
| US11841434B2 (en) | 2018-07-20 | 2023-12-12 | Tesla, Inc. | Annotation cross-labeling for autonomous control systems |
| US11636333B2 (en) | 2018-07-26 | 2023-04-25 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US12079723B2 (en) | 2018-07-26 | 2024-09-03 | Tesla, Inc. | Optimizing neural network structures for embedded systems |
| US11562231B2 (en) | 2018-09-03 | 2023-01-24 | Tesla, Inc. | Neural networks for embedded devices |
| US11983630B2 (en) | 2018-09-03 | 2024-05-14 | Tesla, Inc. | Neural networks for embedded devices |
| US12346816B2 (en) | 2018-09-03 | 2025-07-01 | Tesla, Inc. | Neural networks for embedded devices |
| US11893774B2 (en) | 2018-10-11 | 2024-02-06 | Tesla, Inc. | Systems and methods for training machine models with augmented data |
| US11665108B2 (en) | 2018-10-25 | 2023-05-30 | Tesla, Inc. | QoS manager for system on a chip communications |
| US11816585B2 (en) | 2018-12-03 | 2023-11-14 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US12367405B2 (en) | 2018-12-03 | 2025-07-22 | Tesla, Inc. | Machine learning models operating at different frequencies for autonomous vehicles |
| US11537811B2 (en) | 2018-12-04 | 2022-12-27 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US12198396B2 (en) | 2018-12-04 | 2025-01-14 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11908171B2 (en) | 2018-12-04 | 2024-02-20 | Tesla, Inc. | Enhanced object detection for autonomous vehicles based on field view |
| US11610117B2 (en) | 2018-12-27 | 2023-03-21 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US12136030B2 (en) | 2018-12-27 | 2024-11-05 | Tesla, Inc. | System and method for adapting a neural network model on a hardware platform |
| US11748620B2 (en) | 2019-02-01 | 2023-09-05 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US12014553B2 (en) | 2019-02-01 | 2024-06-18 | Tesla, Inc. | Predicting three-dimensional features for autonomous driving |
| US12223428B2 (en) | 2019-02-01 | 2025-02-11 | Tesla, Inc. | Generating ground truth for machine learning from time series elements |
| US11567514B2 (en) | 2019-02-11 | 2023-01-31 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US12164310B2 (en) | 2019-02-11 | 2024-12-10 | Tesla, Inc. | Autonomous and user controlled vehicle summon to a target |
| US12236689B2 (en) | 2019-02-19 | 2025-02-25 | Tesla, Inc. | Estimating object properties using visual image data |
| US11790664B2 (en) | 2019-02-19 | 2023-10-17 | Tesla, Inc. | Estimating object properties using visual image data |
| CN110244734A (zh) * | 2019-06-20 | 2019-09-17 | 中山大学 | 一种基于深度卷积神经网络的自动驾驶车辆路径规划方法 |
| CN110534009A (zh) * | 2019-09-05 | 2019-12-03 | 北京青橙创客教育科技有限公司 | 一种人工智能无人驾驶课程教具 |
| CN111142519A (zh) * | 2019-12-17 | 2020-05-12 | 西安工业大学 | 基于计算机视觉和超声波雷达冗余的自动驾驶系统及其控制方法 |
| CN111488418B (zh) * | 2020-03-09 | 2023-07-28 | 阿波罗智能技术(北京)有限公司 | 车辆位姿矫正方法、装置、设备及存储介质 |
| CN111488418A (zh) * | 2020-03-09 | 2020-08-04 | 北京百度网讯科技有限公司 | 车辆位姿矫正方法、装置、设备及存储介质 |
| CN111506067A (zh) * | 2020-04-20 | 2020-08-07 | 上海电子信息职业技术学院 | 智能模型车 |
| CN112785466A (zh) * | 2020-12-31 | 2021-05-11 | 科大讯飞股份有限公司 | 一种硬件的ai赋能方法、装置、存储介质及设备 |
| CN112966653B (zh) * | 2021-03-29 | 2023-12-19 | 深圳市优必选科技股份有限公司 | 一种巡线模型的训练方法、巡线方法及巡线系统 |
| CN112966653A (zh) * | 2021-03-29 | 2021-06-15 | 深圳市优必选科技股份有限公司 | 一种巡线模型的训练方法、巡线方法及巡线系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109901595A (zh) | 一种基于单目摄像头和树莓派的自动驾驶系统及方法 | |
| CN114820702B (zh) | 一种基于yolov5的Deepsort无人机视角行人多目标跟踪方法 | |
| CN110924340B (zh) | 一种用于智能捡垃圾的移动机器人系统与实现方法 | |
| CN114723955A (zh) | 图像处理方法、装置、设备和计算机可读存储介质 | |
| CN110874578A (zh) | 一种基于强化学习的无人机视角车辆识别追踪方法 | |
| CN107351080B (zh) | 一种基于相机单元阵列的混合智能研究系统及控制方法 | |
| CN205693767U (zh) | 无人机系统 | |
| CN112078593A (zh) | 基于多种网络协同模型的自动驾驶系统及方法 | |
| CN102945554A (zh) | 基于学习和加速鲁棒surf特征的目标跟踪方法 | |
| CN110022422B (zh) | 一种基于密集连接网络的视频帧序列生成方法 | |
| Hua et al. | Light-weight UAV object tracking network based on strategy gradient and attention mechanism | |
| CN110232361A (zh) | 基于三维残差稠密网络的人体行为意图识别方法与系统 | |
| CN118254827A (zh) | 新能源无人车道路安全应急响应系统 | |
| CN109584299A (zh) | 一种定位方法、定位装置、终端及存储介质 | |
| CN116453020A (zh) | 一种双目识别方法及系统、设备及介质 | |
| CN109299656A (zh) | 一种车载视觉系统场景视深确定方法 | |
| CN114326821A (zh) | 基于深度强化学习的无人机自主避障系统及方法 | |
| CN108921044A (zh) | 基于深度卷积神经网络的驾驶员决策特征提取方法 | |
| CN112785564B (zh) | 一种基于机械臂的行人检测跟踪系统与方法 | |
| CN109919107B (zh) | 一种基于深度学习的交警手势识别方法及无人车 | |
| Wang et al. | End-to-end driving simulation via angle branched network | |
| US12094221B2 (en) | Embedded deep learning multi-scale object detection model using real-time distant region locating device and method thereof | |
| CN119975377A (zh) | 一种驾驶员异常行为下的车辆应急控制方法和系统 | |
| Schenkel et al. | Domain adaptation for semantic segmentation using convolutional neural networks | |
| CN119598140A (zh) | 一种大小模型协同的无人机目标跟踪方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| WD01 | Invention patent application deemed withdrawn after publication | ||
| WD01 | Invention patent application deemed withdrawn after publication |
Application publication date: 20190618 |