[go: up one dir, main page]

CN110132306B - 车辆定位误差的纠正方法及系统 - Google Patents

车辆定位误差的纠正方法及系统 Download PDF

Info

Publication number
CN110132306B
CN110132306B CN201910421222.3A CN201910421222A CN110132306B CN 110132306 B CN110132306 B CN 110132306B CN 201910421222 A CN201910421222 A CN 201910421222A CN 110132306 B CN110132306 B CN 110132306B
Authority
CN
China
Prior art keywords
pose
visual
vehicle
loop
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910421222.3A
Other languages
English (en)
Other versions
CN110132306A (zh
Inventor
周建
潘力澜
李良
柴文楠
刘中元
林光模
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangzhou Xiaopeng Motors Technology Co Ltd
Original Assignee
Guangzhou Xiaopeng Motors Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangzhou Xiaopeng Motors Technology Co Ltd filed Critical Guangzhou Xiaopeng Motors Technology Co Ltd
Priority to CN201910421222.3A priority Critical patent/CN110132306B/zh
Publication of CN110132306A publication Critical patent/CN110132306A/zh
Application granted granted Critical
Publication of CN110132306B publication Critical patent/CN110132306B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/005—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 with correlation of navigation data from several sources, e.g. map or contour matching
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G01C21/32—Structuring or formatting of map data
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Navigation (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及车辆技术领域，公开一种车辆定位误差的纠正方法及系统，包括：当检测到当前车辆在行驶过程中出现回环现象时，将与回环现象匹配的回环视觉位姿以及与回环现象匹配的车身位姿进行融合，以生成全局融合地图，其中，回环视觉位姿通过当前车辆的视觉传感器采集，车身位姿通过当前车辆的IMU采集；基于全局融合地图固定回环视觉位姿中包含的所有关键帧，并对从关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧；对目标关键帧进行回环检测，得到第一回环检测结果；将第一回环检测结果反馈至IMU，以使IMU对车身位姿进行误差纠正。实施本发明实施例，能够提升车辆定位功能的准确性。

Description

车辆定位误差的纠正方法及系统
技术领域
本发明涉及车辆技术领域，具体涉及一种车辆定位误差的纠正方法及系统。
背景技术
随着自动驾驶汽车的快速发展，定位功能几乎成为了自动驾驶汽车的必备功能。当前，有些自动驾驶汽车会依据车辆上设置的传感器采集到的数据构建车辆周围环境的SLAM地图(Simultaneous Localization And Mapping，即时定位与构建地图)，此后，自动驾驶汽车可以通过车辆自身的惯性测量单元(Inertial Measurement Unit，IMU)在预先构建的SLAM地图中进行定位。
然而，在实践中发现，车辆通常使用IMU采集的数据在SLAM地图中进行定位的，由于IMU中包含的测量仪器可能存在误差，因此IMU采集到的数据通常也存在误差，从而导致自动驾驶汽车的定位功能的准确性较差。
发明内容
本发明实施例公开一种车辆定位误差的纠正方法及系统，能够提升车辆定位功能的准确性。
本发明实施例第一方面公开一种车辆定位误差的纠正方法，所述方法包括：
当检测到当前车辆在行驶过程中出现回环现象时，将与所述回环现象匹配的回环视觉位姿以及与所述回环现象匹配的车身位姿进行融合，以生成全局融合地图，其中，所述回环视觉位姿通过所述当前车辆的视觉传感器采集，所述车身位姿通过所述当前车辆的IMU采集；
基于所述全局融合地图固定所述回环视觉位姿中的关键帧，并对从所述关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧；
对所述目标关键帧进行回环检测，得到第一回环检测结果；
将所述第一回环检测结果反馈至所述IMU，以使所述IMU对所述车身位姿进行误差纠正。
作为一种可选的实施方式，在本发明实施例第一方面中，所述方法还包括：
当所述当前车辆处于行驶状态时，获取所述视觉传感器采集的当前视觉位姿；
对所述当前视觉位姿进行全局优化，得到当前视觉优化位姿；
当检测到所述当前视觉优化位姿指示所述当前车辆在行驶过程中出现回环现象时，对所述当前视觉优化位姿进行回环检测，得到第二回环检测结果；
将所述第二回环检测结果反馈至所述IMU，以纠正所述IMU运行中的误差。
作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述当前视觉位姿进行全局优化，得到当前视觉优化位姿，包括：
通过全局优化固定所述当前视觉位姿中的当前关键帧；
优化所述当前关键帧中的视觉特征点，以得到优化后的当前视觉优化位姿。
作为一种可选的实施方式，在本发明实施例第一方面中，所述对所述目标关键帧进行回环检测，得到第一回环检测结果，包括：
获取与所述目标关键帧匹配的若干个历史关键帧；
计算所述目标关键帧与各个所述历史关键帧的误差；
根据各个所述误差计算得到总误差，并将所述总误差确定为第一回环检测结果。
作为一种可选的实施方式，在本发明实施例第一方面中，所述当检测到当前车辆在行驶过程中出现回环现象时，将与所述回环现象匹配的回环视觉位姿以及与所述回环现象匹配的车身位姿进行融合，以生成全局融合地图之前，所述方法还包括：
通过所述视觉传感器采集所述当前车辆在行驶过程中的环境视觉位姿；
当检测到所述视觉传感器采集的当前环境视觉位姿与任意一个所述环境视觉位姿相似时，确定所述当前车辆在行驶过程中出现回环现象。
本发明实施例第二方面公开另一种车辆定位误差的纠正方法，所述方法包括：
当车辆处于行驶状态时，获取所述车辆的视觉传感器采集的目标视觉位姿；
通过全局优化固定所述目标视觉位姿中的关键帧；
优化所述关键帧中的视觉特征点，以得到优化后的目标视觉优化位姿；
当检测到所述目标视觉优化位姿指示所述车辆在行驶过程中出现回环现象时，对所述目标视觉优化位姿进行回环检测，得到第三回环结果；
将所述第三回环结果反馈至所述车辆的IMU，以纠正所述IMU运行中的误差。
本发明实施例第三方面公开一种车辆定位误差的纠正系统，包括：
关联单元，用于当检测到当前车辆在行驶过程中出现回环现象时，将与所述回环现象匹配的回环视觉位姿以及与所述回环现象匹配的车身位姿进行融合，以生成全局融合地图，其中，所述回环视觉位姿通过所述当前车辆的视觉传感器采集，所述车身位姿通过所述当前车辆的IMU采集；
第一优化单元，用于基于所述全局融合地图固定所述回环视觉位姿中的关键帧，并对从所述关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧；
第一检测单元，用于对所述目标关键帧进行回环检测，得到第一回环检测结果；
第一反馈单元，用于将所述第一回环检测结果反馈至所述IMU，以使所述IMU对所述车身位姿进行误差纠正。
作为一种可选的实施方式，在本发明实施例第三方面中，所述系统还包括：
第一获取单元，用于当所述当前车辆处于行驶状态时，获取所述视觉传感器采集的当前视觉位姿；
第二优化单元，用于对所述当前视觉位姿进行全局优化，得到当前视觉优化位姿；
第二检测单元，用于当检测到所述当前视觉优化位姿指示所述当前车辆在行驶过程中出现回环现象时，对所述当前视觉优化位姿进行回环检测，得到第二回环检测结果；
第二反馈单元，用于将所述第二回环检测结果反馈至所述IMU，以纠正所述IMU运行中的误差。
作为一种可选的实施方式，在本发明实施例第三方面中，所述第二优化单元包括：
固定子单元，用于通过全局优化固定所述当前视觉位姿中的当前关键帧；
优化子单元，用于优化所述当前关键帧中的视觉特征点，以得到优化后的当前视觉优化位姿。
作为一种可选的实施方式，在本发明实施例第三方面中，所述第一检测单元包括：
获取子单元，用于获取与所述目标关键帧匹配的若干个历史关键帧；
计算子单元，用于计算所述目标关键帧与各个所述历史关键帧的误差；
确定子单元，用于根据各个所述误差计算得到总误差，并将所述总误差确定为第一回环检测结果。
作为一种可选的实施方式，在本发明实施例第三方面中，所述系统还包括：
采集单元，用于在所述关联单元将与所述回环现象匹配的回环视觉位姿以及与所述回环现象匹配的车身位姿进行融合，以生成全局融合地图之前，通过所述视觉传感器采集所述当前车辆在行驶过程中的环境视觉位姿；
确定单元，用于当检测到所述视觉传感器采集的当前环境视觉位姿与任意一个所述环境视觉位姿相似时，确定所述当前车辆在行驶过程中出现回环现象。
本发明实施例第四方面公开另一种车辆定位误差的纠正系统，包括：
第二获取单元，用于当车辆处于行驶状态时，获取所述车辆的视觉传感器采集的目标视觉位姿；
固定单元，用于通过全局优化固定所述目标视觉位姿中的关键帧；
第三优化单元，用于优化所述关键帧中的视觉特征点，以得到优化后的目标视觉优化位姿；
第三检测单元，用于当检测到所述目标视觉优化位姿指示所述车辆在行驶过程中出现回环现象时，对所述目标视觉优化位姿进行回环检测，得到第三回环结果；
第三反馈单元，用于将所述第三回环结果反馈至所述车辆的IMU，以纠正所述IMU运行中的误差。
本发明实施例第五方面公开一种车载电子设备，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第一方面公开的车辆定位误差的纠正方法的部分或全部步骤的指令；
或者，所述处理器调用所述存储器中存储的所述可执行程序代码，执行本发明实施例第二方面公开的车辆定位误差的纠正方法的部分或全部步骤的指令。
本发明实施例第六方面公开一种车辆，所述车辆包括本发明实施例第五方面公开的车载电子设备。
本发明实施例第七方面公开一种计算机可读存储介质，所述计算机可读存储介质存储了程序代码，其中，所述程序代码包括用于执行第一方面和第二方面的任意一种方法的部分或全部步骤的指令。
本发明实施例第八方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面和第二方面的任意一种方法的部分或全部步骤。
本发明实施例第九方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行第一方面和第二方面的任意一种方法的部分或全部步骤。
与现有技术相比，本发明实施例具有以下有益效果：
本发明实施例中，当检测到当前车辆在行驶过程中出现回环现象时，将与回环现象匹配的回环视觉位姿以及与回环现象匹配的车身位姿进行关联，其中，回环视觉位姿通过当前车辆的视觉传感器采集，车身位姿通过当前车辆的IMU采集；固定回环视觉位姿中的关键帧，并对从关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧；对目标关键帧进行回环检测，得到第一回环检测结果；将第一回环检测结果反馈至IMU，以使IMU对车身位姿进行误差纠正。可见，实施本发明实施例，能够在检测到车辆行驶过程中的回环现象时，将回环现象对应的回环视觉位姿与车身位姿进行关联，进而根据回环视觉位姿计算得到的回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例公开的一种车辆定位误差的纠正方法的流程示意图；
图2是本发明实施例公开的另一种车辆定位误差的纠正方法的流程示意图；
图3是本发明实施例公开的又一种车辆定位误差的纠正方法的流程示意图；
图4是本发明实施例公开的再一种车辆定位误差的纠正方法的流程示意图；
图5是本发明实施例公开的一种车辆定位误差的纠正系统的结构示意图；
图6是本发明实施例公开的另一种车辆定位误差的纠正系统的结构示意图；
图7是本发明实施例公开的又一种车辆定位误差的纠正系统的结构示意图；
图8是本发明实施例公开的再一种车辆定位误差的纠正系统的结构示意图；
图9是本发明实施例公开的一种车载电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明的是，本发明实施例及附图中的术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
本发明实施例公开一种车辆定位误差的纠正方法及系统，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。以下分别进行详细说明。
实施例一
请参阅图1，图1是本发明实施例公开的一种车辆定位误差的纠正方法的流程示意图。如图1所示，该车辆定位误差的纠正方法可以包括以下步骤：
101、当检测到当前车辆在行驶过程中出现回环现象时，车载电子设备将与回环现象匹配的回环视觉位姿以及与回环现象匹配的车身位姿进行融合，以生成全局融合地图，其中，该回环视觉位姿通过当前车辆的视觉传感器采集，该车身位姿通过当前车辆的IMU采集。
本发明实施例中，回环现象可以为车辆在行驶一段时间后再次回到了以往行驶经过的地点。当前车辆的视觉传感器和IMU可以是以预先构建的SLAM为基础运行的。当前车辆的视觉传感器可以包含图像采集设备(如摄像机等)和视觉里程计(Visual Odometry，VO)，图像采集设备可以采集当前车辆在行驶过程中的图像，视觉里程计可以基于SLAM地图估算相邻图像之间运动关系，进而得到图像采集设备的运动状态，从而使得视觉里程计可以根据图像采集设备的运动状态确定当前车辆的视觉位姿，且当车辆在行驶过程中出现回环现象时，可以将该视觉位姿确定为回环视觉位姿。此外，可以在预先构建的SLAM地图中将回环视觉位姿以及与回环现象匹配的车身位姿进行关联，以生成以预先构建的SLAM地图为基础的全局融合地图。
本发明实施例中，当前车辆可以通过IMU获取到当前车辆的行驶速度、行驶方向、加速度以及角速度等信息，车载电子设备可以根据IMU获取的当前车辆的行驶状态信息计算得到当前车辆的车身位姿。
102、车载电子设备基于全局融合地图固定回环视觉位姿中的关键帧，并对从关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧。
本发明实施例中，车载电子设备可以通过位姿图(Pose Graph，PG)的方式从回环视觉位姿中固定出所有的关键帧，进而可以使用全局光束法平差(Global BundleAdjustment，GBA)对所有的关键帧进行优化，以得到目标关键帧。其中，车载电子设备采集到的回环视觉位姿中可以包含图像采集设备采集到的若干帧图像，因此车载电子设备可以通过PG的方式从若干帧图像中确定出目标图像，并且可以将该目标图像确定为关键帧。
103、车载电子设备对目标关键帧进行回环检测，得到第一回环检测结果。
本发明实施例中，当检测到车辆出现回环现象时，可以认为车辆不是第一次行驶至当前位置，即可以认为车辆多次经过当前位置，进而可以认为车辆采集到多个当前位置对应的视觉位姿。此外，车载电子设备可以通过视觉回环和尺度重优化对目标关键帧进行回环检测，进而依据本次的回环检测对全局融合地图进行全局优化，以使得到的回环检测结果更加准确。
作为一种可选的实施方式，车载电子设备对目标关键帧进行回环检测，得到第一回环检测结果的方式可以包含以下步骤：
车载电子设备从采集的当前位置对应的视觉位姿中选取初次采集的初始视觉位姿，并且可以从该初始视觉位姿中确定出初始关键帧；
车载电子设备可以从目标关键帧中确定出目标视觉特征点，还可以从初始关键帧中确定出初始视觉特征点，其中，视觉特征点可以由关键点(Key-point)和描述子(Descriptor)两部分组成；
车载电子设备可以获取到目标视觉特征点中的目标关键点和目标描述子，并且可以获取到初始视觉特征点中的初始关键点和初始描述子；
车载电子设备可以对比目标关键点与初始关键点之间的第一差异，还可以对比目标描述子与初始描述子之间的第二差异；
车载电子设备可以生成包含第一差异和第二差异的第一回环检测结果。
其中，实施这种实施方式，可以将当前采集到的目标关键帧与以往采集的初始视觉位姿的初始视觉特征点进行对比，从而得到本次回环检测的第一回环检测结果，从而提高了输出第一回环检测结果的准确性。
本发明实施例中，关键点中可以包含若干像素点，车载电子设备可以确定各个像素点的颜色，也可以确定关键点中各个像素点的布局即确定关键点中的各个像素点之间的位置关系，进而可以通过车载电子设备对比目标关键点与初始关键点之间像素点的颜色差异以及各个像素点之间的布局差异，从而得到包含颜色差异以及布局差异的第一差异；此外，车载电子设备可以从特征点周围获取若干个区域块，并计算各个区域块以及特征点的Harr小波特征，从根据若干个Harr小波特征得到特征点所在区域的主方向，进而车载电子设备可以计算特征点对应的关键点相对于主方向的水平方向值、垂直方向值、水平方向绝对值以及垂直方向绝对值，并且可以确定包含水平方向值、垂直方向值、水平方向绝对值以及垂直方向绝对值的描述子，可见，车载电子设备可以将目标描述子的水平方向值与初始描述子的水平方向值进行对比得到水平方向值差异，将目标描述子的垂直方向值与初始描述子的垂直方向值进行对比得到垂直方向值差异，将目标描述子的水平方向绝对值与初始描述子的水平方向绝对值进行对比得到水平方向绝对值差异，将目标描述子的垂直方向绝对值与初始描述子的垂直方向绝对值进行对比得到垂直方向绝对值差异，从而得到包含水平方向值差异、垂直方向值差异、水平方向绝对值差异以及垂直方向绝对值差异的第二差异。
104、车载电子设备将第一回环检测结果反馈至IMU，以使IMU对车身位姿进行误差纠正。
作为一种可选的实施方式，车载电子设备将第一回环检测结果反馈至IMU，以使IMU对车身位姿进行误差纠正的方式可以包含以下步骤：
车载电子设备获取与第一回环检测结果对应的定位信息；
车载电子设备获取该定位信息匹配的标准车身位姿；
车载电子设备分析IMU采集的车身位姿与该标准车身位姿的车身位姿误差；
车载电子设备将该车身位姿误差反馈至IMU，以使IMU对车身位姿进行误差纠正。
其中，实施这种实施方式，可以使车载电子设备根据第一回环检测结果对视觉传感器进行误差纠正，以得到当前车辆所处位置的标准视觉位姿，进而可以从SLAM地图中获取到与标准视觉位姿对应的当前车辆在该SLAM地图中的定位信息，以使车载电子设备可以获取到与该定位信息匹配的标准车身位姿，由于车载电子设备的IMU在定位过程中可能存在误差累积的情况，因此可以将标准车身位姿与当前车辆的IMU采集到的车身位姿进行对比，得到IMU采集的车身位姿的车身位姿误差，进而可以向IMU反馈该车身位姿误差，以使IMU以车身位姿误差为依据消除IMU在定位过程中出现的误差累积。
在图1所描述的方法中，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。此外，实施图1所描述的方法，提高了输出第一回环检测结果的准确性。此外，实施图1所描述的方法，可以向IMU反馈该车身位姿误差，以使IMU以车身位姿误差为依据消除IMU在定位过程中出现的误差累积。
实施例二
请参阅图2，图2是本发明实施例公开的另一种车辆定位误差的纠正方法的流程示意图。与实施例一相比，本发明实施例增加了车辆的IMU根据回环检测的结果对IMU中存在的误差进行纠正的方法，以及更加详细的说明了对当前视觉位姿进行全局优化的方法，既提升了纠正IMU误差的准确性，又可以提高对当前视觉优化位姿的优化效果。如图2所示，该车辆定位误差的纠正方法可以包括以下步骤：
步骤201～步骤204与步骤101～步骤104相同，以下内容不再赘述。
205、当当前车辆处于行驶状态时，车载电子设备获取视觉传感器采集的当前视觉位姿。
本发明实施例中，由于车辆处于静止状态时车辆的视觉传感器采集到的视觉位姿未发生改变，因此，车辆可以只采集车辆处于行驶状态时的当前视觉位姿。
206、车载电子设备对当前视觉位姿进行全局优化，得到当前视觉优化位姿。
本发明实施例中，全局优化可以为GBA优化，车载电子设备可以通过GBA对当前视觉位姿进行优化，即可以对当前视觉位姿中的当前关键帧进行优化，以得到优化了当前关键帧的当前视觉优化位姿。
作为一种可选的实施方式，车载电子设备对当前视觉位姿进行全局优化，得到当前视觉优化位姿的方式可以包含以下步骤：
车载电子设备通过全局优化固定当前视觉位姿中的当前关键帧；
车载电子设备优化当前关键帧中的视觉特征点，以得到优化后的当前视觉优化位姿。
其中，实施这种实施方式，可以通过全局优化的方式固定当前视觉位姿中的关键帧，并且优化该关键帧中的视觉特征点，从而得到优化后的当前视觉优化位姿，以提高对当前视觉优化位姿的优化效果。
本发明实施例中，当前关键帧可以为从当前视觉位姿中获取到的关键帧，由于车辆的视觉传感器采集到的当前视觉位姿中可以包含若干关键帧，因此车载电子设备可以从若干关键帧中固定任意一帧当前关键帧，进而可以使用GBA对当前关键帧进行优化，以得到当前关键帧中的优化的视觉特征点，车载电子设备可以将包含优化的视觉特征点的当前关键帧对应的位姿确定为当前视觉优化位姿。
207、当检测到当前视觉优化位姿指示当前车辆在行驶过程中出现回环现象时，车载电子设备对当前视觉优化位姿进行回环检测，得到第二回环检测结果。
本发明实施例中，当前车辆的车载电子设备可以先对视觉传感器采集到的当前视觉位姿进行优化，以使车载电子设备可以以优化后的当前视觉优化位姿为依据，对车辆的回环现象进行检测，车载电子设备可以获取以往采集到的当前视觉优化位姿对应的位置的历史视觉位姿，并且可以从该历史视觉位姿中确定出历史关键帧；车载电子设备可以从历史关键帧中确定出历史视觉特征点；车载电子设备还可以获取到历史视觉特征点中的历史关键点和历史描述子，并且可以获取到当前关键帧的视觉特征点中的当前关键点和当前描述子；车载电子设备可以对比历史关键点与当前关键点之间的第三差异，还可以对比历史描述子与当前描述子之间的第四差异；车载电子设备可以生成包含第三差异和第四差异的第二回环检测结果。
208、车载电子设备将第二回环检测结果反馈至IMU，以纠正IMU运行中的误差。
本发明实施例中，实施上述的步骤205～步骤208，可以在车辆处于行驶状态时，对视觉传感器获取到的当前视觉位姿进行优化，进而通过优化后的当前视觉优化位姿检测车辆当前是否存在回环现象，并在检测出回环现象后对当前视觉优化位姿进行回环检测，并将回环检测的结果反馈至车辆的IMU，以使车辆的IMU根据回环检测的结果对IMU中存在的误差进行纠正，从而提高了回环现象检测的准确性，进而可以提升纠正IMU误差的准确性。
本发明实施例中，步骤205～步骤208在步骤201～步骤204中的任意步骤的之前或之后执行对本发明实施例不造成影响。
在图2所描述的方法中，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。此外，实施图2所描述的方法，提高对当前视觉优化位姿的优化效果。此外，实施图2所描述的方法，提高了回环现象检测的准确性，进而可以提升纠正IMU误差的准确性。
实施例三
请参阅图3，图3是本发明实施例公开的又一种车辆定位误差的纠正方法的流程示意图。与实施例一相比，本发明实施例增加了回环现象检测的方法，以及更加详细的说明了第一回环结果的计算方法方法，既提高了对于车辆回环现象检测的准确性，又可以提高回环检测结果的精确度。如图3所示，该车辆定位误差的纠正方法可以包括以下步骤：
301、车载电子设备通过视觉传感器采集当前车辆在行驶过程中的环境视觉位姿。
本发明实施例中，车辆的视觉传感器可以包含图像采集设备和视觉里程计，车载电子设备可以控制图像采集设备采集车辆在行驶过程中的若干张图像，视觉里程计可以基于SLAM地图估算任意相邻图像之间运动关系，进而根据运动关系分析得到图像采集设备的运动状态，以使视觉里程计可以根据图像采集设备的运动状态确定车辆在行驶过程中的环境视觉位姿。
302、当检测到视觉传感器采集的当前环境视觉位姿与任意一个环境视觉位姿相似时，车载电子设备确定当前车辆在行驶过程中出现回环现象。
本发明实施例中，车辆可以在行驶过程中多次经过同一位置，因此可以认为车辆可以采集到多个当前位置对应的视觉位姿，车载电子设备可以将当前采集到的当前环境视觉位姿与以往采集到的环境位姿进行相似度的计算，从而根据相似度确定车辆是否出现回环现象。
本发明实施例中，可以通过词袋模型(Bag-of-words Model)的方式将当前环境视觉位姿和当前环境视觉位姿对应的视觉位姿中包含的各个视觉特征点确定为单词(Word)，进而生成包含所有单词的字典(Dictionary)；此外，由于不同的单词(即视觉特征点)对于不同关键帧的相似度判断贡献不同，因此不同的单词应该具有不同的权重；该权重可以通过两个量来描述：逆文档频率(Inverse Document Frequency，IDF)和译频率(TermFrequency，TF)，其中，IDF描述单词在构建字典时出现的频率，IDF越低越具有代表性；TF描述单词在单帧图像中出现的频率，TF越高越具有代表性；任意一帧视觉位姿中包含的视觉特征点的数量可以为N个，且可以预先对各个视觉特征点进行排序，以使各个视觉特征点都可以对应唯一的序号i。
其中，IDF的计算公式可以为：
Figure BDA0002064868330000141
上述公式中n可以表示将各个单词在字典中出现的次数相加，得到的各个单词出现次数总和，i可以表示当前计算IDF的单词的序号(如1、2、3等)，因此，ni可以表示序号为i的单词在字典中出现的次数；
此外，TF的计算公式可以为：
Figure BDA0002064868330000142
上述公式中n、i以及ni与IDF的计算公式中的n、i以及ni表达的含义相同；因此计算序号为i的单词的权重ηi的计算公式可以为：
ηi＝TFi×IDFi
因此，一帧关键帧A由单词ni以及单词对应的权重η组成的词袋模型可以为：
Figure BDA0002064868330000143
其中，υA为单个向量，由于单词的数量为N个，因此i可以为1～N中的任意数字；同时，还可以将一帧关键帧中的所有权重归一化：
Figure BDA0002064868330000144
当计算两帧关键帧之间的差异时，可以通过比较对应的权重得到相似度，当两帧关键帧之间的相似度较高时，可以认为上述两帧为回环。
本发明实施例中，实施上述的步骤301～步骤302，可以对车辆的视觉传感器采集的当前环境视觉位姿与以往采集到的环境视觉位姿进行对比，以判断车辆当前行驶到的位置是否为之前行驶过的位置，如果是，可以认为车辆在当前的行驶过程中出现回环现象，从而提高对于车辆回环现象检测的准确性。
303、当检测到当前车辆在行驶过程中出现回环现象时，车载电子设备将与回环现象匹配的回环视觉位姿以及与回环现象匹配的车身位姿进行融合，以生成全局融合地图，其中，该回环视觉位姿通过当前车辆的视觉传感器采集，该车身位姿通过当前车辆的IMU采集。
304、车载电子设备基于全局融合地图固定回环视觉位姿中的关键帧，并对从关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧。
305、车载电子设备获取与目标关键帧匹配的若干个历史关键帧。
306、车载电子设备计算目标关键帧与各个历史关键帧的误差。
本发明实施例中，可以基于PG、g2o原生位姿图或者李代数上的位姿图对目标关键帧与各个历史关键帧的误差进行计算，可以计算得到基于SLAM地图的目标关键帧与各个历史关键帧之间误差。
307、车载电子设备根据各个误差计算得到总误差，并将总误差确定为第一回环检测结果。
本发明实施例中，实施上述的步骤305～步骤307，可以计算目标关键帧与各个历史关键帧之间的误差，并且根据各个误差进一步可以计算得到总误差，得到的总误差就可以确定为回环检测的结果，从而可以提高通过目标关键帧与若干个历史关键帧之间的若干个误差得到的回环检测结果的精确度。
308、车载电子设备将第一回环检测结果反馈至IMU，以使IMU对车身位姿进行误差纠正。
在图3所描述的方法中，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。此外，实施图3所描述的方法，提高对于车辆回环现象检测的准确性。此外，实施图3所描述的方法，可以提高通过目标关键帧与若干个历史关键帧之间的若干个误差得到的回环检测结果的精确度。
实施例四
请参阅图4，图4是本发明实施例公开的再一种车辆定位误差的纠正方法的流程示意图。如图4所示，该车辆定位误差的纠正方法可以包括以下步骤：
401、当车辆处于行驶状态时，车载电子设备获取车辆的视觉传感器采集的目标视觉位姿。
本发明实施例中，车辆的视觉传感器可以是以预先构建的SLAM为基础运行的。车辆的视觉传感器可以包含图像采集设备(如摄像机等)和视觉里程计，图像采集设备可以采集车辆在行驶过程中的图像，视觉里程计可以基于SLAM地图估算相邻图像之间运动关系，进而得到图像采集设备的运动状态，从而使得视觉里程计可以根据图像采集设备的运动状态确定车辆的目标视觉位姿。此外，车载电子设备可以是车载电脑等电子设备，可以通过车载电子设备与服务器进行数据交互，也可以通过车载电子设备将采集到的数据进行运算，从而实现车载电子设备的正常运行。
402、车载电子设备通过全局优化固定目标视觉位姿中的关键帧。
本发明实施例中，全局优化可以为PG的方式的优化，车载电子设备可以通过PG的方式从目标视觉位姿中固定出任意一帧关键帧，以使车载电子设备后续对该关键帧进行优化。
403、车载电子设备优化关键帧中的视觉特征点，以得到优化后的目标视觉优化位姿。
本发明实施例中，车载电子设备可以使用GBA对目标视觉位姿中固定的关键帧进行优化，以得到该关键帧中的优化的目标视觉特征点，车载电子设备可以将包含优化的目标视觉特征点对应的目标视觉位姿确定为目标视觉优化位姿。
404、当检测到目标视觉优化位姿指示车辆在行驶过程中出现回环现象时，车载电子设备对目标视觉优化位姿进行回环检测，得到第三回环结果。
本发明实施例中，可以在车辆行驶过程中实时采集目标视觉位姿，并对采集的目标视觉位姿进行检测，如果检测到车辆出现回环现象，就可以根据该目标视觉位姿进行回环检测，并及时的在车辆运行过程中对车辆的IMU进行误差纠正，以使车辆在运行过程中可以随时进行回环检测，并随时对IMU进行误差纠正，提高了误差纠正的及时性。
405、车载电子设备将第三回环结果反馈至车辆的IMU，以纠正IMU运行中的误差。
在图4所描述的方法中，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。
实施例五
请参阅图5，图5是本发明实施例公开的一种车辆定位误差的纠正系统的结构示意图。如图5所示，该车辆定位误差的纠正系统可以包括：
关联单元501，用于当检测到当前车辆在行驶过程中出现回环现象时，将与回环现象匹配的回环视觉位姿以及与回环现象匹配的车身位姿进行融合，以生成全局融合地图，其中，回环视觉位姿通过当前车辆的视觉传感器采集，车身位姿通过当前车辆的IMU采集。
第一优化单元502，用于基于关联单元501生成的全局融合地图固定回环视觉位姿中的关键帧，并对从关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧。
第一检测单元503，用于对第一优化单元502得到的目标关键帧进行回环检测，得到第一回环检测结果。
作为一种可选的实施方式，第一检测单元503对目标关键帧进行回环检测，得到第一回环检测结果的方式具体可以为：
从采集的当前位置对应的视觉位姿中选取初次采集的初始视觉位姿，并且可以从该初始视觉位姿中确定出初始关键帧；
从目标关键帧中确定出目标视觉特征点，还可以从初始关键帧中确定出初始视觉特征点；
获取到目标视觉特征点中的目标关键点和目标描述子，并且可以获取到初始视觉特征点中的初始关键点和初始描述子；
对比目标关键点与初始关键点之间的第一差异，还可以对比目标描述子与初始描述子之间的第二差异；
生成包含第一差异和第二差异的第一回环检测结果。
其中，实施这种实施方式，可以将当前采集到的目标关键帧与以往采集的初始视觉位姿的初始视觉特征点进行对比，从而得到本次回环检测的第一回环检测结果，从而提高了输出第一回环检测结果的准确性。
第一反馈单元504，用于将第一检测单元503得到的第一回环检测结果反馈至IMU，以使IMU对车身位姿进行误差纠正。
作为一种可选的实施方式，第一反馈单元504将第一回环检测结果反馈至IMU，以使IMU对车身位姿进行误差纠正的方式具体可以为：
获取与第一回环检测结果对应的定位信息；
获取该定位信息匹配的标准车身位姿；
分析IMU采集的车身位姿与该标准车身位姿的车身位姿误差；
将该车身位姿误差反馈至IMU，以使IMU对车身位姿进行误差纠正。
其中，实施这种实施方式，可以根据第一回环检测结果对视觉传感器进行误差纠正，以得到当前车辆所处位置的标准视觉位姿，进而可以从SLAM地图中获取到与标准视觉位姿对应的当前车辆在该SLAM地图中的定位信息，以获取到与该定位信息匹配的标准车身位姿，由于车辆的IMU在定位过程中可能存在误差累积的情况，因此可以将标准车身位姿与当前车辆的IMU采集到的车身位姿进行对比，得到IMU采集的车身位姿的车身位姿误差，进而可以向IMU反馈该车身位姿误差，以使IMU以车身位姿误差为依据消除IMU在定位过程中出现的误差累积。
可见，实施图5所描述的车辆定位误差的纠正系统，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。此外，实施图5所描述的车辆定位误差的纠正系统，提高了输出第一回环检测结果的准确性。此外，实施图5所描述的车辆定位误差的纠正系统，可以向IMU反馈该车身位姿误差，以使IMU以车身位姿误差为依据消除IMU在定位过程中出现的误差累积。
实施例六
请参阅图6，图6是本发明实施例公开的另一种车辆定位误差的纠正系统的结构示意图。其中，图6所示的车辆定位误差的纠正系统是由图5所示的车辆定位误差的纠正系统进行优化得到的。与图5所示的车辆定位误差的纠正系统相比，图6所示的车辆定位误差的纠正系统进一步增加了车辆的IMU根据回环检测的结果对IMU中存在的误差进行纠正的方法，以及更加详细的说明了对当前视觉位姿进行全局优化的方法，既提升了纠正IMU误差的准确性，又可以提高对当前视觉优化位姿的优化效果，图6所示的车辆定位误差的纠正系统还可以包括：
第一获取单元505，用于当当前车辆处于行驶状态时，获取视觉传感器采集的当前视觉位姿。
第二优化单元506，用于对第一获取单元505获取的当前视觉位姿进行全局优化，得到当前视觉优化位姿。
第二检测单元507，用于当检测到第二优化单元506得到的当前视觉优化位姿指示当前车辆在行驶过程中出现回环现象时，对当前视觉优化位姿进行回环检测，得到第二回环检测结果。
第二反馈单元508，用于将第二检测单元507得到的第二回环检测结果反馈至IMU，以纠正IMU运行中的误差。
本发明实施例中，可以在车辆处于行驶状态时，对视觉传感器获取到的当前视觉位姿进行优化，进而通过优化后的当前视觉优化位姿检测车辆当前是否存在回环现象，并在检测出回环现象后对当前视觉优化位姿进行回环检测，并将回环检测的结果反馈至车辆的IMU，以使车辆的IMU根据回环检测的结果对IMU中存在的误差进行纠正，从而提高了回环现象检测的准确性，进而可以提升纠正IMU误差的准确性。
作为一种可选的实施方式，图6所示的车辆定位误差的纠正系统的第二优化单元506可以包括：
固定子单元5061，用于通过全局优化固定第一获取单元505获取的当前视觉位姿中的当前关键帧；
优化子单元5062，用于优化固定子单元5061固定的当前关键帧中的视觉特征点，以得到优化后的当前视觉优化位姿。
其中，实施这种实施方式，可以通过全局优化的方式固定当前视觉位姿中的关键帧，并且优化该关键帧中的视觉特征点，从而得到优化后的当前视觉优化位姿，以提高对当前视觉优化位姿的优化效果。
可见，实施图6所描述的车辆定位误差的纠正系统，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。此外，实施图6所描述的车辆定位误差的纠正系统，提高对当前视觉优化位姿的优化效果。此外，实施图6所描述的车辆定位误差的纠正系统，提高了回环现象检测的准确性，进而可以提升纠正IMU误差的准确性。
实施例七
请参阅图7，图7是本发明实施例公开的又一种车辆定位误差的纠正系统的结构示意图。其中，图7所示的车辆定位误差的纠正系统是由图6所示的车辆定位误差的纠正系统进行优化得到的。与图6所示的车辆定位误差的纠正系统相比，图7所示的车辆定位误差的纠正系统进一步增加了回环现象检测的方法，以及更加详细的说明了第一回环结果的计算方法方法，既提高了对于车辆回环现象检测的准确性，又可以提高回环检测结果的精确度，图7所示的车辆定位误差的纠正系统的第一检测单元503可以包括：
获取子单元5031，用于获取与第一优化单元502得到的目标关键帧匹配的若干个历史关键帧。
计算子单元5032，用于计算第一优化单元502得到的目标关键帧与获取子单元5031获取的各个历史关键帧的误差。
确定子单元5033，用于根据计算子单元5032得到的各个误差计算得到总误差，并将总误差确定为第一回环检测结果。
本发明实施例中，可以计算目标关键帧与各个历史关键帧之间的误差，并且根据各个误差进一步可以计算得到总误差，得到的总误差就可以确定为回环检测的结果，从而可以提高通过目标关键帧与若干个历史关键帧之间的若干个误差得到的回环检测结果的精确度。
作为一种可选的实施方式，图7所示的车辆定位误差的纠正系统还可以包括：
采集单元509，用于在关联单元501将与回环现象匹配的回环视觉位姿以及与回环现象匹配的车身位姿进行融合，以生成全局融合地图之前，通过视觉传感器采集当前车辆在行驶过程中的环境视觉位姿；
确定单元510，用于当检测到视觉传感器采集的当前环境视觉位姿与任意一个采集单元509采集的环境视觉位姿相似时，确定当前车辆在行驶过程中出现回环现象。
其中，实施这种实施方式，可以对车辆的视觉传感器采集的当前环境视觉位姿与以往采集到的环境视觉位姿进行对比，以判断车辆当前行驶到的位置是否为之前行驶过的位置，如果是，可以认为车辆在当前的行驶过程中出现回环现象，从而提高对于车辆回环现象检测的准确性。
可见，实施图7所描述的车辆定位误差的纠正系统，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。此外，实施图7所描述的车辆定位误差的纠正系统，提高对于车辆回环现象检测的准确性。此外，实施图7所描述的车辆定位误差的纠正系统，可以提高通过目标关键帧与若干个历史关键帧之间的若干个误差得到的回环检测结果的精确度。
实施例八
请参阅图8，图8是本发明实施例公开的再一种车辆定位误差的纠正系统的结构示意图。如图8所示，该车辆定位误差的纠正系统可以包括：
第二获取单元801，用于当车辆处于行驶状态时，获取车辆的视觉传感器采集的目标视觉位姿。
固定单元802，用于通过全局优化固定第二获取单元801获取的目标视觉位姿中的关键帧。
第三优化单元803，用于优化固定单元802固定的关键帧中的视觉特征点，以得到优化后的目标视觉优化位姿。
第三检测单元804，用于当检测到第三优化单元803得到的目标视觉优化位姿指示车辆在行驶过程中出现回环现象时，对目标视觉优化位姿进行回环检测，得到第三回环结果。
第三反馈单元805，用于将第三检测单元804得到的第三回环结果反馈至车辆的IMU，以纠正IMU运行中的误差。
可见，实施图8所描述的车辆定位误差的纠正系统，能够根据回环检测结果对采集到的车身位姿进行误差纠正，以消除车身位姿存在的误差，从而提升了车辆定位功能的准确性。
实施例九
请参阅图9，图9是本发明实施例公开的一种车载电子设备的结构示意图。如图9所示，该车载电子设备可以包括：
存储有可执行程序代码的存储器901；
与存储器901耦合的处理器902；
其中，处理器902调用存储器901中存储的可执行程序代码，执行以上方法实施例一～方法实施例三中的方法的部分或全部步骤；
或者，处理器902调用存储器901中存储的可执行程序代码，执行以上方法实施例四中的方法的部分或全部步骤。
本发明实施例还公开一种车辆，其中，该车辆包括实施例九中的车载电子设备。
本发明实施例还公开一种计算机可读存储介质，其中，计算机可读存储介质存储了程序代码，其中，程序代码包括用于执行以上各方法实施例中的方法的部分或全部步骤的指令。
本发明实施例还公开一种计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
本发明实施例还公开一种应用发布平台，其中，应用发布平台用于发布计算机程序产品，其中，当计算机程序产品在计算机上运行时，使得计算机执行如以上各方法实施例中的方法的部分或全部步骤。
应理解，说明书通篇中提到的“本发明实施例”意味着与实施例有关的特定特征、结构或特性包括在本发明的至少一个实施例中。因此，在整个说明书各处出现的“在本发明实施例中”未必一定指相同的实施例。此外，这些特定特征、结构或特性可以以任意适合的方式结合在一个或多个实施例中。本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。
在本发明的各种实施例中，应理解，上述各过程的序号的大小并不意味着执行顺序的必然先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
另外，本文中术语“系统”和“网络”在本文中常可互换使用。应理解，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如A和/或B，可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
在本发明所提供的实施例中，应理解，“与A对应的B”表示B与A相关联，根据A可以确定B。但还应理解，根据A确定B并不意味着仅仅根据A确定B，还可以根据A和/或其他信息确定B。
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质包括只读存储器(Read-Only Memory，ROM)、随机存储器(Random Access Memory，RAM)、可编程只读存储器(Programmable Read-only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read Only Memory，EPROM)、一次可编程只读存储器(One-time Programmable Read-Only Memory，OTPROM)、电子抹除式可复写只读存储器(Electrically-Erasable Programmable Read-Only Memory，EEPROM)、只读光盘(CompactDisc Read-Only Memory，CD-ROM)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可位于一个地方，或者也可以分布到多个网络单元上。可根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
上述集成的单元若以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可获取的存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或者部分，可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干请求用以使得一台计算机设备(可以为个人计算机、服务器或者网络设备等，具体可以是计算机设备中的处理器)执行本发明的各个实施例上述方法的部分或全部步骤。
以上对本发明实施例公开的一种车辆定位误差的纠正方法及系统进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (14)

1.一种车辆定位误差的纠正方法，其特征在于，所述方法包括：
当检测到当前车辆在行驶过程中出现回环现象时，将与所述回环现象匹配的回环视觉位姿以及与所述回环现象匹配的车身位姿进行融合，以生成全局融合地图，其中，所述回环视觉位姿通过所述当前车辆的视觉传感器采集，所述车身位姿通过所述当前车辆的IMU采集；
基于所述全局融合地图固定所述回环视觉位姿中的关键帧，并对从所述关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧；
对所述目标关键帧进行回环检测，得到第一回环检测结果；
将所述第一回环检测结果反馈至所述IMU，以使所述IMU对所述车身位姿进行误差纠正；
所述对所述目标关键帧进行回环检测，得到第一回环检测结果，包括：
从采集的当前位置对应的视觉位姿中选取初次采集的初始视觉位姿，并从所述初始视觉位姿中确定出初始关键帧；
从所述目标关键帧中确定出目标视觉特征点，从所述初始关键帧中确定出初始视觉特征点，其中，视觉特征点由关键点和描述子两部分组成；
获取到所述目标视觉特征点中的目标关键点和目标描述子，获取到所述初始视觉特征点中的初始关键点和初始描述子；
对比所述目标关键点与所述初始关键点之间的第一差异，对比所述目标描述子与所述初始描述子之间的第二差异；
生成包含所述第一差异和所述第二差异的第一回环检测结果。
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
当所述当前车辆处于行驶状态时，获取所述视觉传感器采集的当前视觉位姿；
对所述当前视觉位姿进行全局优化，得到当前视觉优化位姿；
当检测到所述当前视觉优化位姿指示所述当前车辆在行驶过程中出现回环现象时，对所述当前视觉优化位姿进行回环检测，得到第二回环检测结果；
将所述第二回环检测结果反馈至所述IMU，以纠正所述IMU运行中的误差。
3.根据权利要求2所述的方法，其特征在于，所述对所述当前视觉位姿进行全局优化，得到当前视觉优化位姿，包括：
通过全局优化固定所述当前视觉位姿中的当前关键帧；
优化所述当前关键帧中的视觉特征点，以得到优化后的当前视觉优化位姿。
4.根据权利要求1～3任一项所述的方法，其特征在于，所述对所述目标关键帧进行回环检测，得到第一回环检测结果，包括：
获取与所述目标关键帧匹配的若干个历史关键帧；
计算所述目标关键帧与各个所述历史关键帧的误差；
根据各个所述误差计算得到总误差，并将所述总误差确定为第一回环检测结果。
5.根据权利要求4所述的方法，其特征在于，所述当检测到当前车辆在行驶过程中出现回环现象时，将与所述回环现象匹配的回环视觉位姿以及与所述回环现象匹配的车身位姿进行融合，以生成全局融合地图之前，所述方法还包括：
通过所述视觉传感器采集所述当前车辆在行驶过程中的环境视觉位姿；
当检测到所述视觉传感器采集的当前环境视觉位姿与任意一个所述环境视觉位姿相似时，确定所述当前车辆在行驶过程中出现回环现象。
6.一种车辆定位误差的纠正方法，其特征在于，所述方法包括：
当车辆处于行驶状态时，获取所述车辆的视觉传感器采集的目标视觉位姿；
通过全局优化固定所述目标视觉位姿中的关键帧；
优化所述关键帧中的视觉特征点，以得到优化后的目标视觉优化位姿；
当检测到所述目标视觉优化位姿指示所述车辆在行驶过程中出现回环现象时，对所述目标视觉优化位姿进行回环检测，得到第三回环结果；
将所述第三回环结果反馈至所述车辆的IMU，以纠正所述IMU运行中的误差；
所述对所述目标视觉优化位姿进行回环检测，得到第三回环结果，包括：
获取以往采集到的所述目标视觉优化位姿对应的位置的历史视觉位姿，从所述历史视觉位姿中确定出历史关键帧；
从所述历史关键帧中确定出历史视觉特征点，获取所述历史视觉特征点中的历史关键点和历史描述子，获取所述关键帧视觉特征点中的关键点和描述子；
获得包含对比所述历史关键点与所述关键点之间的差异、以及对比所述历史描述子与所述描述子之间的差异的第三回环结果。
7.一种车辆定位误差的纠正系统，其特征在于，包括：
关联单元，用于当检测到当前车辆在行驶过程中出现回环现象时，将与所述回环现象匹配的回环视觉位姿以及与所述回环现象匹配的车身位姿进行融合，以生成全局融合地图，其中，所述回环视觉位姿通过所述当前车辆的视觉传感器采集，所述车身位姿通过所述当前车辆的IMU采集；
第一优化单元，用于基于所述全局融合地图固定所述回环视觉位姿中的关键帧，并对从所述关键帧中确定的视觉特征点进行优化，得到优化后的目标关键帧；
第一检测单元，用于对所述目标关键帧进行回环检测，得到第一回环检测结果；
第一反馈单元，用于将所述第一回环检测结果反馈至所述IMU，以使所述IMU对所述车身位姿进行误差纠正；
所述第一检测单元用于对所述目标关键帧进行回环检测，得到第一回环检测结果的方式具体为：
从采集的当前位置对应的视觉位姿中选取初次采集的初始视觉位姿，并从所述初始视觉位姿中确定出初始关键帧；以及，从所述目标关键帧中确定出目标视觉特征点，从所述初始关键帧中确定出初始视觉特征点，其中，视觉特征点由关键点和描述子两部分组成；以及，获取到所述目标视觉特征点中的目标关键点和目标描述子，获取到所述初始视觉特征点中的初始关键点和初始描述子；以及，对比所述目标关键点与所述初始关键点之间的第一差异，对比所述目标描述子与所述初始描述子之间的第二差异；以及，生成包含所述第一差异和所述第二差异的第一回环检测结果。
8.根据权利要求7所述的系统，其特征在于，所述系统还包括：
第一获取单元，用于当所述当前车辆处于行驶状态时，获取所述视觉传感器采集的当前视觉位姿；
第二优化单元，用于对所述当前视觉位姿进行全局优化，得到当前视觉优化位姿；
第二检测单元，用于当检测到所述当前视觉优化位姿指示所述当前车辆在行驶过程中出现回环现象时，对所述当前视觉优化位姿进行回环检测，得到第二回环检测结果；
第二反馈单元，用于将所述第二回环检测结果反馈至所述IMU，以纠正所述IMU运行中的误差。
9.根据权利要求8所述的系统，其特征在于，所述第二优化单元包括：
固定子单元，用于通过全局优化固定所述当前视觉位姿中的当前关键帧；
优化子单元，用于优化所述当前关键帧中的视觉特征点，以得到优化后的当前视觉优化位姿。
10.根据权利要求7～9任一项所述的系统，其特征在于，所述第一检测单元包括：
获取子单元，用于获取与所述目标关键帧匹配的若干个历史关键帧；
计算子单元，用于计算所述目标关键帧与各个所述历史关键帧的误差；
确定子单元，用于根据各个所述误差计算得到总误差，并将所述总误差确定为第一回环检测结果。
11.根据权利要求10所述的系统，其特征在于，所述系统还包括：
采集单元，用于在所述关联单元将与所述回环现象匹配的回环视觉位姿以及与所述回环现象匹配的车身位姿进行融合，以生成全局融合地图之前，通过所述视觉传感器采集所述当前车辆在行驶过程中的环境视觉位姿；
确定单元，用于当检测到所述视觉传感器采集的当前环境视觉位姿与任意一个所述环境视觉位姿相似时，确定所述当前车辆在行驶过程中出现回环现象。
12.一种车辆定位误差的纠正系统，其特征在于，包括：
第二获取单元，用于当车辆处于行驶状态时，获取所述车辆的视觉传感器采集的目标视觉位姿；
固定单元，用于通过全局优化固定所述目标视觉位姿中的关键帧；
第三优化单元，用于优化所述关键帧中的视觉特征点，以得到优化后的目标视觉优化位姿；
第三检测单元，用于当检测到所述目标视觉优化位姿指示所述车辆在行驶过程中出现回环现象时，对所述目标视觉优化位姿进行回环检测，得到第三回环结果；
第三反馈单元，用于将所述第三回环结果反馈至所述车辆的IMU，以纠正所述IMU运行中的误差；
所述第三检测单元用于对所述目标视觉优化位姿进行回环检测，得到第三回环结果的方式具体为：
获取以往采集到的所述目标视觉优化位姿对应的位置的历史视觉位姿，从所述历史视觉位姿中确定出历史关键帧；以及，从所述历史关键帧中确定出历史视觉特征点，获取所述历史视觉特征点中的历史关键点和历史描述子，获取所述关键帧视觉特征点中的关键点和描述子；以及，获得包含对比所述历史关键点与所述关键点之间的差异、以及对比所述历史描述子与所述描述子之间的差异的第三回环结果。
13.一种车载电子设备，其特征在于，包括：
存储有可执行程序代码的存储器；
与所述存储器耦合的处理器；
所述处理器调用所述存储器中存储的所述可执行程序代码，执行权利要求1～5任一项所述的车辆定位误差的纠正方法的全部步骤的指令；
或者，所述处理器调用所述存储器中存储的所述可执行程序代码，执行权利要求6所述的车辆定位误差的纠正方法的全部步骤的指令。
14.一种车辆，其特征在于，所述车辆包括权利要求13所述的车载电子设备。
CN201910421222.3A 2019-05-20 2019-05-20 车辆定位误差的纠正方法及系统 Active CN110132306B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910421222.3A CN110132306B (zh) 2019-05-20 2019-05-20 车辆定位误差的纠正方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910421222.3A CN110132306B (zh) 2019-05-20 2019-05-20 车辆定位误差的纠正方法及系统

Publications (2)

Publication Number Publication Date
CN110132306A CN110132306A (zh) 2019-08-16
CN110132306B true CN110132306B (zh) 2021-02-19

Family

ID=67571804

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910421222.3A Active CN110132306B (zh) 2019-05-20 2019-05-20 车辆定位误差的纠正方法及系统

Country Status (1)

Country Link
CN (1) CN110132306B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110967038B (zh) * 2019-11-25 2021-08-27 广州小鹏自动驾驶科技有限公司 车辆定位方法、车辆定位装置和车辆
CN111145634B (zh) * 2019-12-31 2022-02-22 深圳市优必选科技股份有限公司 一种校正地图的方法及装置
CN113543014A (zh) * 2020-03-31 2021-10-22 北京慧行实达科技有限公司 一种车辆卫星定位数据聚合优化系统及其方法
CN111539305B (zh) * 2020-04-20 2024-03-12 肇庆小鹏汽车有限公司 一种地图构建方法及系统、车辆及存储介质
CN112596691B (zh) * 2020-09-02 2021-10-15 禾多科技（北京）有限公司 信息推送方法、装置、电子设备和计算机可读介质

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107160395A (zh) * 2017-06-07 2017-09-15 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制系统
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
WO2018140701A1 (en) * 2017-01-27 2018-08-02 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微系统与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10203209B2 (en) * 2016-05-25 2019-02-12 Regents Of The University Of Minnesota Resource-aware large-scale cooperative 3D mapping using multiple mobile devices

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018140701A1 (en) * 2017-01-27 2018-08-02 Kaarta, Inc. Laser scanner with real-time, online ego-motion estimation
CN107193279A (zh) * 2017-05-09 2017-09-22 复旦大学 基于单目视觉和imu信息的机器人定位与地图构建系统
CN107160395A (zh) * 2017-06-07 2017-09-15 中国人民解放军装甲兵工程学院 地图构建方法及机器人控制系统
CN107869989A (zh) * 2017-11-06 2018-04-03 东北大学 一种基于视觉惯导信息融合的定位方法及系统
CN108447097A (zh) * 2018-03-05 2018-08-24 清华-伯克利深圳学院筹备办公室 深度相机标定方法、装置、电子设备及存储介质
CN109307508A (zh) * 2018-08-29 2019-02-05 中国科学院合肥物质科学研究院 一种基于多关键帧的全景惯导slam方法
CN109341706A (zh) * 2018-10-17 2019-02-15 张亮 一种面向无人驾驶汽车的多特征融合地图的制作方法
CN109579840A (zh) * 2018-10-25 2019-04-05 中国科学院上海微系统与信息技术研究所 一种点线特征融合的紧耦合双目视觉惯性slam方法

Also Published As

Publication number Publication date
CN110132306A (zh) 2019-08-16

Similar Documents

Publication Publication Date Title
CN110132306B (zh) 车辆定位误差的纠正方法及系统
CN109540148B (zh) 基于slam地图的定位方法及系统
CN110954112B (zh) 一种导航地图与感知图像匹配关系的更新方法和装置
CN110136199B (zh) 一种基于摄像头的车辆定位、建图的方法和装置
CN109949609B (zh) 一种车辆的定位修正方法及系统、车辆
CN110136058B (zh) 一种基于俯视拼接图的建图方法及车载终端
CN110146096B (zh) 一种基于图像感知的车辆定位方法及装置
US8315798B2 (en) Navigation device, and method for updating map data and navigation
CN111750882B (zh) 一种导航地图在初始化时车辆位姿的修正方法和装置
CN111750881A (zh) 一种基于路灯杆的车辆位姿的修正方法和装置
CN110501036A (zh) 传感器参数的标定检查方法及装置
WO2020168667A1 (zh) 基于共享slam地图的高精度定位方法及系统
CN110207715B (zh) 车辆定位的修正方法及修正系统
CN112556692A (zh) 一种基于注意力机制的视觉和惯性里程计方法和系统
CN110440797A (zh) 车辆姿态估计方法及系统
CN107816998A (zh) 信息处理方法及装置
US20170241792A1 (en) Route aquisition system, method, and program
CN111351497B (zh) 一种车辆的定位方法、装置、地图的构建方法和装置
CN110470296A (zh) 一种定位方法、定位机器人及计算机存储介质
CN112363196B (zh) 车辆属性确定方法、装置、存储介质和电子设备
CN113959433A (zh) 一种组合导航方法及装置
CN111829552B (zh) 一种视觉惯性系统的误差修正方法和装置
CN115661798B (zh) 确定目标区域的方法、装置、车辆及存储介质
US11195287B2 (en) Method and device for checking the plausibility of a flow vector hypothesis
CN117893634A (zh) 一种同时定位与地图构建方法及相关设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CB02 Change of applicant information

Address after: 510000 No.8 Songgang street, Cencun, Tianhe District, Guangzhou City, Guangdong Province

Applicant after: GUANGZHOU XPENG AUTOMOBILE TECHNOLOGY Co.,Ltd.

Address before: Room 245, No. 333, jiufo Jianshe Road, Zhongxin Guangzhou Knowledge City, Guangzhou City, Guangdong Province

Applicant before: GUANGZHOU XPENG AUTOMOBILE TECHNOLOGY Co.,Ltd.

CB02 Change of applicant information