CN111344647B - 具有低延时运动规划更新的智能激光雷达系统 - Google Patents

Abstract

公开了用于车辆运动规划的系统和方法，其中使用诸如激光雷达系统等传感器来检测所述传感器的视野内的威胁或异常状况，使得可以以低延时将关于这类状况的优先级警告数据插入车辆的运动规划计算机系统的运动规划循环中。本文还公开了一种激光雷达系统，其包括激光雷达发射器、激光雷达接收器和相机，其中所述相机与所述激光雷达接收器同孔定位，所述相机被配置成生成对应于所述激光雷达接收器的视野的图像数据。还公开了这样的技术，其中激光雷达系统可以使用紧密的激光雷达脉冲簇来估计所述激光雷达系统的视野内的对象的帧内运动。更进一步，公开了一种激光雷达发射器，其可以基于多个限定的发射列表帧中的任一个被控制为瞄准范围点。处理器可以处理关于所述视野的数据，诸如距离数据和/或相机数据，以做出关于针对给定的激光雷达数据帧应该选择哪些限定的发射列表帧的选择。

Description

具有低延时运动规划更新的智能激光雷达系统

相关专利申请的交叉引用和优先权要求

本专利申请要求于2018年7月2日提交的且题为“具有低延时运动规划更新的智能激光雷达系统(Intelligent Ladar System with Low Latency Motion PlanningUpdates)”的美国临时专利申请62/693,078的优先权，该临时专利申请的全部公开内容以引用方式并入本文中。

本专利申请还要求于2017年9月15日提交的且题为“具有低延时运动规划更新的智能激光雷达系统(Intelligent Ladar System with Low Latency Motion PlanningUpdates)”的美国临时专利申请62/558,937的优先权，该临时专利申请的全部公开内容以引用方式并入本文中。

背景技术

无论是在空中、在地面还是在海上，车辆的安全自主都依赖于对动态障碍物的快速精确的表征以及对动态障碍物的快速响应。图1示出了用于进行移动车辆的自主障碍物检测和运动规划的常规方法。与车辆一起使用的系统100包括与传感器106的套件104结合的运动规划系统102。套件104中的传感器106向运动规划系统102提供传感器数据120，以用于障碍物检测和运动规划过程。运动规划系统102内的传感器数据摄取接口108从传感器106接收传感器数据120，并且将传感器数据120存储在传感器数据存储库130中，传感器数据120将在传感器数据存储库130中等待处理。运动规划系统102内的运动规划智能装置110向传感器数据存储库130发出读取或查询命令124，并接收所请求的传感器数据作为对查询124的响应126。所述智能装置110然后分析该检索到的传感器数据，以做出关于车辆运动的决策128，所述决策128被传达给一个或多个其他车辆子系统。运动规划智能装置110还可以向传感器106发出任务分配命令122，以对传感器数据采集进行控制。

图1的系统100以主从分层关系有效地组织运动规划系统102和传感器套件104，这给运动规划系统102带来了很大的负担。这些处理负担导致运动决策延迟，这是由于运动规划系统102摄取、存储、检索和分析传感器数据所需的时间量引起。

发明内容

作为本领域的技术改进，发明人公开了一种在一个或多个传感器106和运动规划系统102之间的更协作的决策模型，由此，关于对象和异常检测的一些智能装置被移动到一个或多个传感器106中。在智能传感器根据传感器数据检测到关注对象的情况下，智能传感器可以经由优先级消息传递或某种其他“快速路径”通知来通知运动规划系统102。该优先级消息传递可以用作中断运动规划系统102的向量中断，以允许运动规划系统102快速关注智能传感器发现的新检测到的威胁。因此，与图1所示的主从关系不同，用于基于传感器进行运动规划的新的更快速方法的示例性实施方案可以更多地采用对等模型来进行异常检测，所述检测结合一个或多个智能传感器向运动规划系统发出优先级消息/中断的能力。使用此模型，可以将由智能传感器检测到的威胁推送到运动规划系统102正在考虑的数据堆栈的顶部。

发明人还公开了用于传感器任务分配的“快速路径”，其中智能传感器进行的威胁检测可以触发智能传感器将新的发射请求插入运动规划系统所请求的一连串的传感器发射中。这使智能传感器可以快速获得关于新检测到的威胁的额外数据，而不必等待运动规划系统将产生的较慢决策。

此外，在示例性实施方案中，发明人公开了智能传感器可以是采用压缩感测以减少捕获传感器数据帧所需的激光雷达(ladar)发射数量的激光雷达系统。当这种激光雷达系统与协作/共享模型结合以进行威胁检测时，其中所述激光雷达系统可以向运动规划系统发出关于可能的威胁的“快速路径”优先级消息，从而进一步降低延时。如本文所用，术语“激光雷达”是指并且包括激光雷达、激光探测和测距以及光探测和测距(“光雷达(lidar)”)中的任何一种。

更进一步，发明人公开了其中相机与激光雷达接收器同孔定位以提供对激光雷达系统的视野中的对象的低延时检测的示例性实施方案。可以将基于频率的分束器定位成促进激光雷达接收器和相机共享相同的视野。

此外，发明人还公开了其中采用紧密的重叠的激光雷达脉冲发射簇来促进基于帧内计算对象的运动数据的示例性实施方案。这允许在低延时的基础上开发视野中的对象的稳健的运动学模型。

此外，发明人还公开了用于从多个限定的发射列表帧中选择限定的发射列表帧以由激光雷达发射器用来识别将在何处相对于给定帧瞄准激光雷达脉冲的技术。可以基于表示激光雷达系统的视野的一个或多个特征的经处理的数据来进行这些选择，并且发射列表帧的选择可能因帧而异。

在下文中，将向本领域的一般技术人员描述本发明的这些以及其他特征和优点。

附图说明

图1公开了一种用于车辆自主的常规运动规划系统。

图2公开了根据示例性实施方案的用于车辆自主的运动规划系统，所述运动规划系统包括来自智能激光雷达系统的关于威胁检测的快速路径通知。

图3A公开了可以提供关于威胁检测的快速路径通知的智能激光雷达系统的示例性实施方案。

图3B公开了可以提供关于威胁检测的快速路径通知的智能激光雷达系统的另一个示例性实施方案。

图4公开了在诸如图3A或图3B所示的智能激光雷达系统中使用的激光雷达发射器子系统的示例性实施方案。

图5A公开了在诸如图3A或图3B所示的智能激光雷达系统中使用的激光雷达接收器子系统的示例性实施方案。

图5B公开了在诸如图3A或图3B所示的智能激光雷达系统中使用的激光雷达接收器子系统的另一个示例性实施方案。

图6A至图6C示出了“快速路径”激光雷达任务分配的示例。

图7示出了示例性实施方案的运动规划操作的示例性序列以及相对于常规系统的比较性时序示例。

图8公开了用于协同检测各种威胁的示例性处理流程。

图9公开了用于保护免受高能干扰的示例性保护电路。

图10A至图10D示出了其中同孔定位的相机帮助激光雷达接收器改善处理激光雷达数据的延时的示例性实施方案。

图11A和图11B示出了其中使用紧密的激光雷达发射簇来促进目标的帧内运动数据的计算的示例性处理流程。

图12A示出了用于促进帧内运动计算的激光雷达发射的示例性簇模式。

图12B示出了用于束簇和速度估计的示例性数据表。

图13A示出了用于激光雷达系统的发射列表帧的逐帧选择的示例性处理流程。

图13B至图13I示出了可以由图13A的处理流程支持的不同类型的发射列表帧的示例。

图14示出了其中低延时威胁检测可能是有利的示例性场景。

具体实施方式

图2公开了用于车辆自主的关于运动规划的示例性系统200。在该示例中，运动规划系统202以智能激光雷达系统206能够提供关于检测到的威胁的快速路径通知的方式与诸如智能激光雷达系统206等传感器交互。与运动规划系统和传感器之间的常规主从分层关系不同，图2的示例性实施方案在智能激光雷达系统206和运动规划系统202之间采用了协作性决策模型，由此一些关于对象和异常检测的智能装置位于智能激光雷达系统206中。而且，应当理解，系统200可以包括除了智能激光雷达系统206以外的传感器(例如，一个或多个相机、一个或多个雷达、一个或多个声音传感器、一个或多个车辆远程信息处理传感器(例如，可以检测到锁死制动的制动传感器；可以检测到漏气轮胎的轮胎传感器等))，所述传感器向运动规划系统202提供信息，但是为便于说明，图2中省略了这类其他传感器。应当理解，如果从业者需要的话，一个或多个这样的其他传感器也可以可选地采用本文公开的协作性决策技术。

智能激光雷达系统206向运动规划系统202提供激光雷达帧220以用于障碍物检测和运动规划过程。响应于激光雷达系统向所瞄准的范围点射出激光雷达脉冲260以及然后接收和处理反射的激光雷达脉冲262而生成这些激光雷达帧220。可以用于支持智能激光雷达系统206的激光雷达发射和接收功能的激光雷达系统的示例性实施方案在美国专利申请序列号62/038,065(2014年8月15日申请)和美国专利申请公开2016/0047895、2016/0047896、2016/0047897、2016/0047898、2016/0047899、2016/0047903,2016/0047900、2017/0242108、2017/0242105、2017/0242106、2017/0242103、2017/0242104和2017/0307876中进行了描述，其中每一者的全部公开内容以引用方式并入本文中。

运动规划系统202内的传感器数据摄取接口208从智能激光雷达系统206接收激光雷达帧数据220，并将激光雷达帧数据220存储在传感器数据存储库230中，激光雷达帧数据220将在传感器数据存储库230中等待处理。运动规划系统202内的运动规划智能装置210向传感器数据存储库230发出读取或查询命令224，并接收所请求的传感器数据作为对查询224的响应226。智能装置210然后分析该检索到的传感器数据，以做出关于车辆运动的决策228，所述决策228被传达给一个或多个其他车辆子系统232。运动规划智能装置210还可以向智能激光雷达系统206发出发射列表任务分配命令222，以对激光雷达脉冲260在何时何地被瞄准进行控制。

作为对常规运动规划系统的改进，智能激光雷达系统206还向传感器数据摄取接口208提供通知，从而向运动规划系统202通知检测到的威胁或其他异常。该通知可以采取随附于激光雷达帧数据220的优先级标志250的形式。优先级标志250和激光雷达帧数据220可以一起用作对运动规划智能装置210的“快速”路径通知252。这与“慢速”路径254相反，在慢速路径254中，运动规划智能装置仅在新的激光雷达帧数据220已被摄取并存储在传感器数据存储库230中并由运动规划智能装置210检索/处理之后才做出决策228。如果智能激光雷达系统206内的智能装置确定在激光雷达帧数据220内可能存在威胁，则智能激光雷达系统206可以将优先级标志250设置为“高”等等，因此运动规划系统能够快速确定随附于该优先级标志250的激光雷达帧数据220将被快速评估。因此，优先级标志250可以用作向量中断，所述向量中断中断运动规划智能装置210的正常处理队列。

优先级标志250可以采用多种形式中的任何一种。例如，优先级标志可以是简单的位值，其在智能激光雷达系统206检测到威胁时被断言为“高”，而在未检测到威胁时被断言为“低”。“高”优先级标志250将向传感器数据摄取接口208和运动规划智能装置210通知优先(例如，立即、作为要考虑的下一个或多个帧等等)考虑随附于“高”优先级标志250的激光雷达帧数据220。优先级标志250可以作为单独的信号提供给运动规划系统202，所述信号与激光雷达帧数据220相对应地被定时，或者其可以嵌入在激光雷达帧数据220本身内。例如，当智能激光雷达系统206将激光雷达帧数据220传送到运动规划系统202时，智能激光雷达系统206可以包括带有激光雷达数据帧的头部或包装器。该头部/包装器数据可以包括优先级标志250。所述头部/包装器可以根据在智能激光雷达系统206和运动规划系统202之间共享的通信协议来进行构建，以允许两者之间的有效数据通信。

更进一步，从业者可以选择实施优先级标志250，所述优先级标志250不仅仅传达优先级事件的存在。优先级标志250也可以被配置成对优先级事件的类型进行编码。例如，如果智能激光雷达系统206能够检测和区分不同类型的威胁/异常，则智能激光雷达系统206可以以多位优先级标志250对检测到的威胁/异常类型进行编码。例如，如果智能激光雷达系统206能够识别4种不同类型的威胁/异常，则优先级标志250可以由2位表示。然后，运动规划智能装置210可以使用关于威胁/异常的类型的该信息来进一步增强和/或加速其决策。

传感器数据摄取接口208因此可以被配置成(1)经由“慢速”路径254将激光雷达帧220存储在传感器数据存储库230中(以使存储库230保持最新状态)，并且(2)经由“快速”路径252将激光雷达帧220直接传递到运动规划智能装置210中(如果优先级标志250指示是这样的)。为此，所述接口208可以包括从智能激光雷达系统206读取传入的优先级标志250的逻辑。如果优先级标志设置了一个(或多个)适当的位，则传感器数据摄取接口208将随附的激光雷达帧220传递到运动规划智能装置210。当优先级标志250为高时，优先级标志250(或从优先级标志250导出的信号)也可以由传感器数据摄取接口208传递到运动规划智能装置210。

运动规划智能装置210可以包括用于在断言优先级标志250时调整其处理的逻辑。例如，运动规划智能装置210可以包括缓冲器，所述缓冲器用于保持处理状态并允许由于优先级标志250而响应于向量中断而进行上下文切换。为了促进这样的处理，运动规划智能装置210可以包括线程堆栈管理器，所述线程堆栈管理器允许在不同的处理线程之间进行切换(或者同时进行线程处理)，以允许运动规划智能装置210快速关注新检测到的威胁或异常。

图3A描绘了智能激光雷达系统206的示例性实施方案。智能激光雷达系统206可以包括激光雷达发射器302、激光雷达接收器304以及激光雷达系统接口和控件306。激光雷达系统206还可以包括环境感测系统320，诸如相机。在上面引用并结合的专利申请中公开了具有这种架构的合适的激光雷达系统的示例。

激光雷达发射器304可以被配置成朝向多个范围点310发射多个激光雷达脉冲260(为了便于说明，图3A中示出了单个这种范围点310)。

在示例性实施方案中，激光雷达发射器302可以采取包括扫描镜的激光雷达发射器的形式。此外，在示例性实施方案中，激光雷达发射器302使用范围点向下选择算法来支持预扫描压缩(在本文中可以称为“压缩感测”)。这样的实施方案还可以包括环境感测系统320，所述环境感测系统320向激光雷达发射器302提供环境场景数据以支持范围点向下选择(参见来自图3A所示的环境感测系统320的输出的虚线)。控制指令将指示激光雷达发射器302内的激光源何时射出，并且将指示发射器镜指向何处。这样的激光雷达发射器设计的示例性实施方案可以在上面参考和并入的专利申请中找到。通过使用预扫描压缩，这种激光雷达发射器302可以通过智能范围点目标选择来更好地管理带宽。此外，相对于传统的激光雷达系统，此预扫描压缩还有助于减少关于威胁检测的延时，因为为形成场景的“图片”需要瞄准和发射的范围点更少，这转变为减少了需要形成“图片”并采取相应行动所需的时间量。

系统接口和控件306内的激光雷达任务分配接口354可以从运动规划系统202接收发射列表任务分配222。该发射列表任务分配222可以限定发射列表以供激光雷达发射器302使用以将激光雷达脉冲260朝扫描区域内的多个范围点310瞄准。而且，运动规划智能装置210(见图2)可以从一个或多个车辆子系统232接收反馈234，以用于障碍物检测和运动规划过程。智能装置210可以使用此反馈234来帮助将查询224的公式引导到智能激光雷达系统206的传感器数据存储库230和/或发射列表任务分配222中。此外，车辆子系统232可以向运动规划智能装置210提供故障安全发射列表238，以传递到智能激光雷达系统206。发射列表任务分配222和故障安全发射列表238可以一起用作智能激光雷达系统206的“紧急”通知路径236。这与查询224相反，在查询224中，运动规划智能装置210发送车辆子系统232数据并将其存储在传感器数据存储库230中。例如，车辆子系统自我诊断故障可能会引发故障安全发射。例如，如果用于车辆的GPS读数是错误的，或者里程表发生故障，则可以使用激光雷达系统206来重新校准和/或假定用于车辆的速度和位置供应，直到其可以自己安全地从交通中提取为止。故障安全发射的另一个示例可能是来自经历大扭矩的减震器。发射列表可以提供对因短暂性道路凹陷而经历的俯仰横摆和侧倾的独立评估。

激光雷达接收器304从范围点310接收该激光雷达脉冲的反射262。激光雷达接收器304可以被配置成接收和处理反射的激光雷达脉冲262以支持对范围点距离[深度]和强度信息的确定。另外，接收器304可以通过(i)对发射脉冲时序的先验知识和(ii)用于确定到达角的多个检测器的任意组合来确定空间位置信息[相对于发射平面在水平和竖直取向]。激光雷达接收器304的示例性实施方案可以在以上参考和并入的专利申请中找到。

可以将由激光雷达接收器304生成的范围点数据传达到帧处理逻辑350。该帧处理逻辑350可以被配置成由范围点数据(诸如由视野的采样区域中的一组范围点的返回)构建激光雷达帧220。可以根据历史点云信息使用诸如帧差分之类的技术。沿此路径生成的帧可能非常稀疏，因为其目的是检测威胁。例如，如果当前的任务是确保十字路口处没人违反红灯(例如，在装备有激光雷达的汽车前的十字路口移动)，则帧可以简单地作为设置为感测通往十字路口的道路上的运动的范围点绊网。

作为示例，图3A示出了存在于系统接口和控件306内的帧处理逻辑350。然而，应当理解，该帧处理逻辑350可以部署在其他地方，诸如部署在激光雷达接收器304自身内。

帧处理逻辑350还可以包括威胁检测逻辑，以便向激光雷达系统206提供足够的智能，以与运动规划系统202就潜在的威胁/异常进行协作。作为此威胁检测的一部分，帧处理逻辑350可以由从激光雷达接收器304接收的范围点数据构建点云352。点云352可以是空间中的点的集合，表示为角度、距离和强度的函数，所述点在关注的框式视野内被时间戳记、被历史存储并且被跟踪。因此，点云352可以包括历史数据(诸如先前的范围点返回的几何位置、强度、距离范围、宽度和速度)和传感器数据(以及从中导出的对象数据)。使用点云352来感知威胁的示例将是查看点云对象的时间历史。例如，不规则地迂回的车辆是通过查看代表所述车辆的对象周围的点云“摆动”而被最好地揭示的威胁。只要回到车辆的激光雷达视野与过去收集的数据相交时，就可以查询点云352。因此，点云352可以用作传感器数据的本地存储库，激光雷达系统206可以利用所述传感器数据来评估潜在的威胁/异常。此外，点云352还可以存储从除激光雷达以外的传感器(例如，相机)获得的信息。

威胁检测智能装置可以被配置成利用点云352和任何新传入的范围点数据(和/或其他传感器数据)来确定由激光雷达系统206(和/或其他传感器)检测到的视野是否包括任何威胁或异常。为了执行该处理，所述威胁检测智能装置可以使用状态机，所述状态机随时间跟踪场景中的各种对象，以评估位置和外观(例如，形状、色彩等)随时间如何变化。基于这种跟踪，威胁检测智能装置可以做出关于优先级标志250应该被设置为“高”还是“低”的决策。下面结合图8描述了各种类型的这种威胁检测的示例。

图4描绘了激光雷达发射器302的示例性实施方案。激光雷达发射器302可以包括与激光雷达光学器件404、光束扫描器406和透射光学器件408光学对准的激光源402。这些部件可以容纳在封装中，所述封装提供适合的形状占地面积以用于期望的应用中。例如，对于其中激光源402是光纤激光器或光纤耦合激光器的实施方案，可以将激光光学器件404、光束扫描器406和任何接收器部件一起容纳在不包括激光源402的第一封装中。激光源402可以容纳在第二封装中，并且光纤可以用于将第一封装与第二封装连接在一起。由于没有激光源402，这种布置允许第一封装更小且更紧凑。此外，由于激光源402可以经由光纤连接而定位成远离第一封装，因此这种布置为从业者提供了关于系统占地面积的更大灵活性。

基于控制指令，诸如从系统控件306接收的发射列表400，光束扫描器控制器410可以被配置成控制光束扫描器406执行的扫描的性质以及控制激光源402的发射。可以关于光束扫描器406和光束扫描器控制器410采用闭环反馈系统412，使得可以精细地控制光束扫描器406的扫描位置，如在以上参考和并入的专利申请中所解释的。

激光源402可以是适用于如本文所述的激光雷达脉冲发射的多种激光类型中的任何一种。

例如，激光源402可以是脉冲光纤激光器。脉冲光纤激光器可以采用约1-4ns的脉冲持续时间和约0.1-100μJ/脉冲的能量含量。脉冲激光光纤的重复率可以在kHz范围内(例如，约1-500kHz)。此外，脉冲光纤激光器可以采用单脉冲方案和/或多脉冲方案，如以上参考的并结合的专利申请中所述。但是，应当理解，可以使用这些激光特性的其他值。例如，可以采用较低或较高的能量脉冲。作为另一个示例，重复率可以更高，例如在10MHz等级范围内(但是预期如此高的重复率在当前市场定价下将需要使用相对昂贵的激光源)。

作为另一个示例，激光源402可以是脉冲IR二极管激光器(具有或不具有光纤耦合)。脉冲IR二极管激光器可以采用约1-4ns的脉冲持续时间和约0.01-10μJ/脉冲的能量含量。脉冲IR二极管光纤的重复率可以在kHz或MHz范围内(例如，约1kHz-5 MHz)。此外，脉冲IR二极管激光器可以采用如以上参考的并结合的专利申请中所述的单脉冲方案和/或多脉冲方案。

激光光学器件404可以包括望远镜，所述望远镜用于准直由激光源402产生的激光束。激光光学器件可以被配置成提供期望的光束发散度和光束质量。例如，根据从业者的需要，可以采用二极管到镜的耦合光学器件、二极管到光纤的耦合光学器件以及光纤到镜的耦合光学器件。

光束扫描器406是为激光雷达发射器302提供扫描能力使得可以用激光雷达脉冲260瞄准期望的范围点的部件。光束扫描器406(通过激光光学器件404)从激光源402接收传入的激光雷达脉冲，并经由来自可移动镜的反射将该激光雷达脉冲引导到期望的向下范围位置(诸如发射列表上的范围点)。可以通过从光束扫描器控制器410接收的一个或多个驱动电压波形416来控制镜的移动。光束扫描器406可以采用多种配置中的任何一种。例如，光束扫描器可以包括双微机电系统(MEMS)镜、与旋转多面镜结合的MEMS镜或其他布置。合适的MEMS镜的一个示例是单表面尖端/倾斜/活塞MEMS镜。通过其他示例，在示例性双MEMS镜实施方案中，可以使用单表面尖端MEMS镜和单表面倾斜MEMS镜。然而，应当理解，也可以采用这些MEMS镜的阵列。而且，双MEMS镜可以在多个频率中的任何一个下操作，其示例在以上参考和并入的专利申请中进行了描述，下面将讨论另外的示例。作为其他布置的另一示例，可以将微型检流计镜用作快轴扫描镜。作为另一个示例，可以将声光偏转镜用作慢轴扫描镜。此外，对于采用螺旋动态扫描模式的示例性实施方案，所述镜可以是谐振检流计镜。可以从多种来源中的任何一种获得这种替代镜，诸如纽约的光电产品公司(Electro-OpticalProducts Corporation)。作为另一个示例，可以将诸如从科罗拉多州的VescentPhotonics购得的光子束转向装置用作慢轴扫描镜。作为又一个示例，可以使用诸如由DARPA SWEEPER程序开发的相控阵装置来代替快轴镜和/或慢轴镜。最近，可以考虑使用诸如由Boulder Nonlinear Systems公司、Meadowlark公司和Beamco公司提供的液晶空间光调制器(SLM)。此外，最近还提出了量子点SLM(参见德累斯顿工业大学，2011年IEEE激光与 光电大会)，当在示例性实施方案中使用时，其有望实现更快的切换时间。

而且，在光束扫描器406包括双镜的示例性实施方案中，光束扫描器406可以包括在第一镜和第二镜之间的中继成像光学器件，这将允许使用两个小的快轴镜(例如，两个小的快轴镜，而不是一个小的快轴镜和一个长的慢轴镜)。

透射光学器件408被配置成通过光圈将光束扫描器406所瞄准的激光雷达脉冲透射到期望的位置。取决于从业者的需求，透射光学器件408可以具有多种配置中的任何一种。例如，可以使用二向色分束器作为透射光学器件408的一部分，将环境感测系统320和发射器302光学组合为一条路径。作为另一个示例，透射光学器件可以包括如以上参考和并入的专利申请中所描述的放大光学器件或覆盖[例如，广角]光学器件。更进一步，可以包括对准拾取分束器作为透射光学器件408的一部分。

图5A描绘了激光雷达接收器304的示例性实施方案。激光雷达接收器304内的读出电路可以采用多路复用器504，以选择将检测器阵列500中的哪些传感器502传递到信号处理电路506。在示例性实施方案中，传感器502可以包括耦合到前置放大器的光电检测器。在示例性实施方案中，光电检测器可以是PIN光电二极管，而相关联的前置放大器可以是跨阻放大器(TIA)。在图5A所示的示例性实施方案中，包括多个可单独寻址的光传感器502的检测器阵列500用于感测激光雷达脉冲反射262。每个光传感器502可以被表征为阵列500的像素，并且每个光传感器502将响应于入射光而生成其自己的传感器信号510。因此，阵列500可以包括具有检测区域的光电检测器，所述检测区域包括多个光电检测器像素。图5A的实施方案采用多路复用器504，所述多路复用器504隔离在给定时间传递到信号处理电路506的传入的传感器信号510。这样做时，图5A的实施方案相对于诸如由USPN 8,081,301(其中未公开用于选择性地隔离传感器读出的能力)公开的那些激光雷达接收器设计提供了更好的接收SNR，尤其是针对环境被动光。因此，信号处理电路506可以一次对单个传入传感器信号510(或者传入传感器信号510的一些子集)进行操作。

多路复用器504可以是任何多路复用器芯片或电路，所述芯片或电路提供了足够高的切换速率以满足检测反射的激光雷达脉冲的需要。在示例性实施方案中，多路复用器504多路传输由检测器阵列500的传感器502生成的光电流信号。然而，应当理解，可以采用其他实施方案，其中多路复用器504多路传输由检测器阵列500的传感器502生成的合成电压信号。此外，在其中图5A的激光雷达接收器304与采用预扫描压缩感测的扫描激光雷达发射器302配对的示例性实施方案(诸如采用在上文和以上参考和并入的专利申请中描述的范围点向下选择的示例性实施方案)中，由激光雷达发射器302提供的范围点的选择性瞄准与由多路复用器504提供的选择性读出良好地配对，使得接收器304可以将检测器读出与感兴趣的像素隔离，以试图改进SNR。

控制电路508可以被配置成生成控制信号512，所述控制信号512控制哪些传入传感器信号510被传递到信号处理电路506。在其中激光雷达接收器304与根据扫描模式采用预扫描压缩感测的扫描激光雷达发射器302配对的示例性实施方案中，控制信号512可以引起多路复用器504以遵循发射器的发射列表的模式选择性地连接到各个光传感器502(可以由这种发射器302采用的发射列表的示例在以上参考和并入的专利申请中进行描述)。控制信号512可以以遵循经由发射列表的范围点的瞄准的模式来选择阵列500内的传感器502。因此，如果发射器302用激光雷达脉冲260瞄准扫描区域内的像素x,y，则多路复用器504可以生成控制信号512，所述控制信号512引起从检测器阵列500读出像素x,y。

应当理解，控制信号512可以有效地一次选择单个传感器502，或者其可以有效地一次选择多个传感器502，在这种情况下，多路复用器504将选择传入传感器信号的子集510，以便由信号处理电路506进行进一步处理。这种多个传感器可以被称为复合像素(或超像素)。例如，阵列500可以被划分为复合像素的JxK网格，其中每个复合像素由X个单独传感器502组成。加法器电路可以定位在检测器阵列500与多路复用器504之间，其中每个加法器电路对应于单个复合像素，并且被配置成对来自构成所述对应复合像素的像素的读出(传感器信号510)进行求和。

还应当理解，如果需要，从业者可以选择在检测器阵列500与多路复用器504之间包括一些预放大电路。

如果从业者需要，可以包括上面讨论的威胁检测智能装置和点云352作为信号处理电路506的一部分。在这种情况下，信号处理电路506可以生成帧数据220和对应的优先级标志250。

在图5B的示例中，信号处理电路506包括放大器550，所述放大器550放大选定的传感器信号；模数转换器(ADC)552，所述模数转换器552将放大的信号转换为多个数字样本；以及现场可编程门阵列(FPGA)554，所述现场可编程门阵列554被配置成对数字样本执行多个处理操作以生成经处理的信号数据。应当理解，信号处理电路506不必包括FPGA 554；信号处理电路506的处理能力可以部署在适合于执行本文所述的操作的任何处理器中，诸如中央处理单元(CPU)、微控制器单元(MCU)、图形处理单元(GPU)、数字信号处理器(DSP)和/或专用集成电路(ASIC)等。然而，发明人注意到，预期FPGA 554提供适当的高性能和低处理延时，这将有利地有助于低延时威胁检测。

放大器550可以采用低噪声放大器的形式，诸如低噪声RF放大器或低噪声运算放大器。ADC 552可以采用N沟道ADC的形式。

FPGA 554包括硬件逻辑，所述硬件逻辑被配置成处理数字样本并且最终基于反射的激光雷达脉冲返回关于范围点的距离和/或强度的信息。在示例性实施方案中，FPGA 554可以被配置成对由ADC 552产生的数字样本执行峰值检测。在示例性实施方案中，这种峰值检测可以有效地计算+/-10cm内的距离信息。FPGA 554还可以被配置成对数字样本进行插值，其中样本曲线拟合到多项式上以支持插值，所述插值更精确地识别检测到的峰值在曲线上拟合的位置。在示例性实施方案中，这种插值可以有效地计算+/-5mm内的距离信息。

此外，FPGA 554还可以实施上面讨论的威胁检测智能装置，使得信号处理电路506可以将帧数据220和优先级标志250提供给运动规划系统202。

当采用诸如图5B所示的信号处理电路506的接收器304与采用如上文和在以上参考和并入的专利申请中描述的压缩感测的激光雷达发射器302配对时，接收器304将有更多时间来对所检测到的脉冲执行信号处理，因为激光雷达发射器与常规发射器相比将在空气中放入每帧更少的激光雷达脉冲，这减少了置于信号处理电路506上的处理负担。此外，为了进一步提高处理性能，FPGA 554可以被设计成利用FPGA的并行硬件逻辑资源，使得检测信号的不同部分同时由FPGA的不同硬件逻辑资源来处理，从而进一步减少计算每个范围点的准确距离和/或强度信息所需的时间。

此外，图5B的信号处理电路能够与由于FPGA 554可以对信号数据施加的信号处理而展现低SNR的传入信号一起工作，以便最大化检测。通过改变发射脉冲的持续时间，可以进一步提高SNR。例如，如果信号处理电路在范围点处显露出比通常的簇更高的噪声(或存在其他激光干扰物)，则该信息可以在下次发射器检查该范围点时馈送回给发射器。具有恒定峰值功率但扩展了G倍的脉冲将具有G倍之多的能量。同时，其将拥有G倍之少的带宽。因此，如果我们以数字方式进行低通滤波，则预期SNR增加G^1/2，并且预期固定反射率的检测范围增加G^1/4。预期这种改进将适用于所有目标外部噪声源：热电流噪声(也称为约翰逊噪声)、暗电流噪声和背景噪声，因为它们全部随而变化。上面的讨论需要扩大发射脉冲。由于环境影响，有时可能会拉长脉冲。例如，具有在光束衍射极限内的投影距离范围的目标将拉长返回脉冲。预期数字低通滤波通过以下方式提高SNR：而无需修改发射脉冲。发射脉冲的持续时间也可以缩短，以便减少由环境引起的脉冲拉长。如果可实现峰值功率增加，则在固定脉冲能量的情况下缩短脉冲也会提高SNR。上面的分析假设白噪声，但是从业人员将认识到扩展到其他噪声频谱很简单。

尽管在以上参考和并入的专利申请中公开了用于激光雷达发射器302和激光雷达接收器304的合适设计的示例，但是发明人进一步注意到，如果需要，从业者可以选择与智能激光雷达系统206一起使用的激光雷达发射器和激光雷达接收器的替代设计。

图3B公开了智能激光雷达系统206的另一个示例性实施方案。在图3B的示例中，激光雷达系统206还包括用于发射列表任务分配的“快速”路径360。如上所述，威胁检测智能装置350可以被配置成检测视野内与潜在威胁或异常对应的区域。为了从该关注区域获得更多信息，期望将激光雷达发射器302瞄准该区域并且朝该区域发射额外的激光雷达脉冲260。然而，如果运动规划系统202是做出关于将激光雷达发射器302瞄准何处的决策的实体，则发明人注意到，相当长的延时将被引入到激光雷达发射器302的瞄准中，因为激光雷达发射器将需要在运动规划系统202可以做出关于激光雷达发射器302应该瞄准哪个或哪些区域的决策之前，等待信息被传达给运动规划系统202、被运动规划系统202摄取和被运动规划系统202考虑。更进一步，在激光雷达发射器等待来自运动规划系统202的这些瞄准指令的发射时，将增加延时。图3B所示的快速路径360绕过了该较长的决策路径。

结合图3B，当帧处理逻辑350内的威胁检测智能装置检测到与扫描区域/视野有关的区域时，威胁检测智能装置可以通过经由快速路径360识别与激光雷达任务分配接口354有关的区域来对激光雷达发射器302重新分配任务。这样直接馈送到激光雷达任务分配接口354中，使得激光任务分配接口354可以将新的发射快速插入流水线发射列表400，所述列表400用于控制激光雷达发射器302的瞄准。如何可能获得新的范围发射的示例可为如下：假设在足够接近车辆规划路径的区域中由摄像机或由激光雷达点云感测到运动将成为威胁。然后，可以将新的发射识别为一组体素，它们既(i)接近感测到的运动的几何位置；(ii)沿着车辆的规划轨迹，又(iii)可能分辨了感测到的运动的性质。该最后一项(iii)最好是在检测到动物穿过马路时考虑：其是叶子运动还是经过的动物的运动？动物和分散植被运动的运动模型可以用于评估分离这些假设的最佳发射位置。

关于系统可以如何分配新发射的两个示例可以包括：(1)在350内的威胁检测告诉任务系统瞄准整个关注区域，并且任务系统限定探测发射以建立场景(例如，来自雷达的模糊斑点检测可能会触发一系列探测发射以建立威胁)，并且(2)威胁智能装置从给出威胁的更多清晰性的源接收特定数据集以便决定一组特定的范围点(例如，相机提供对比度信息或检测边缘，其中高对比度和/或边缘像素将对应于新发射的特定范围点)。

图6A至图6C描绘了可以如何经由快速路径360将新发射插入发射列表400中的示例。图6A示出了调度器600如何使用发射列表400来经由扫描镜602和604来控制范围点的瞄准(参见图6A中的星形，其表示所瞄准的范围点)。发射列表400包括要由激光雷达发射器302发射的发射序列。可以通过针对所瞄准的范围点的扫描区域内的坐标或用于通知激光雷达发射器要瞄准哪些范围点的其他合适的机制(例如，图像中的边缘检测)来识别发射列表上的每个发射。例如，一种机制可能具有标准的扫描模式以在感知到的非威胁条件下维持对环境的概要了解，并且发射列表400可以代表这些发射。例如，可以使用光栅扫描或偏斜模式来探测场景，以便检测隐藏的威胁。为了使来自发射列表400的发射1瞄准，使激光源402在定位了扫描镜602和604时射出，使得激光雷达脉冲将朝发射1的所瞄准的范围点投射。然后，激光雷达脉冲将撞击范围点并反射回在检测器阵列500上(经由接收器透镜610等)。然后，阵列500的一个或多个传感器502将产生信号510(例如读出电流)，所述信号510可以被处理以学习关于所瞄准的范围点的信息。

图6B示出了可以如何利用该信号510来经由快速路径360控制激光雷达发射器302的重新分配任务。对于图6B，来自发射列表400的发射2用于控制激光雷达发射器302的瞄准和发射。同时，如果威胁检测智能装置确定需要新的激光雷达发射来获得有关潜在威胁/异常的更多信息，则激光雷达任务分配接口354可以生成一个或多个激光雷达发射插入650。然后可以将这些发射列表插入650插入发射列表400中，作为激光雷达发射器302要进行的下一序列的发射(参见图6C)。因此，可以将激光雷达发射器302快速地重新分配任务来瞄准由激光雷达系统206的威胁检测智能装置所发现的感兴趣的区域。运动规划器本身也可以查询激光雷达系统，从业者可以选择将其限定为超驰由激光雷达系统自行生成的中断。例如，车辆俯仰或横摆变化可能会提示与确定的运动方向相对应的偏斜扫描。

图7示出了示例性实施方案的运动规划操作的示例性序列以及相对于常规系统的比较性时序示例。

当前的常规激光雷达系统采用光栅扫描，所述光栅扫描以批量处理模式生成点云，并且存在高延时(就像隔开的摄像机一样)。图7示出了一个场景，其中相对于使用关于制动响应时间的美国运输部数据的以每小时100公里(kph)的速度移动的车辆，来自光栅扫描激光雷达系统的常规运动规划器将场景数据解释延迟60英尺以上的关闭时间，即使有足够的假设也是如此，而本文中公开的智能激光雷达和运动规划系统的示例性实施方案被预期具有小于一英尺位置的延时。换句话说，预期使用本文所述的发明技术的运动规划器在处于潜在威胁场景中的对象已经向车辆移近仅一英尺(而同样的情况下常规运动规划系统会是60英尺以上)时获得关于所述对象的行为信息。图7公开了运动规划操作中的各个步骤，并且图7的下部公开了有关常规光栅扫描激光雷达方法(标记为“旧”)和本文所述的发明技术(标记为“新”)的每个序列步骤(其中所呈现的数字是就累积时间和距离而言)所需的延时和距离的估计。因此，图7公开了预期本发明的示例性实施方案如何提供与运动规划的毫秒响应时间更新相对应的微秒探测和利用，这是自主车辆能够抵抗罕见但可能致命的出现的障碍物(诸如横穿的鹿、闯红灯违章者和摩托车通过)的重要能力。如果要可靠且明确地避免发生事故，所有这三种情况可能或将需要毫秒时间级别的运动规划更新。

Luminar的最新发展已经表明，如果设计合理，即使在200m以上的范围内，即使对弱的10％反射率目标，激光雷达也可以实现检测范围。这有助于提供响应时间并挽救生命。例如，考虑在200m处检测到的摩托车。该检测范围是有用的，但是即使在适度的交通中，摩托车也可能在接近或经过车辆之前的某个时间被遮挡。例如，假设摩托车在200m处被看见，然后被摩托车和装备有激光雷达的车辆之间的汽车挡住。接下来，假设摩托车就在经过另一辆车时再次出现，而没有意识到其正处于与装备有激光雷达的车辆在100m范围内发生碰撞的过程中。如果其和装备有激光雷达的车辆都以60mph(约100kph)的速度移动，则接近速度为约50m/s。在200m处检测到摩托车将帮助点云开发者在摩托车重新出现时重新确认其存在，但是延时如何呢？如果需要2秒钟的碰撞警告来更新运动规划并挽救生命，那么就没有多余的时间了，每一毫秒都很重要。

需要两次或更多次扫描来确认检测并以100毫秒速率更新的激光雷达系统将需要1/5秒来收集数据，那更不用说感测、评估和响应[运动规划修改]了。这是所公开的发明的示例性实施方案可以在本领域中提供重大技术进步的地方。通过示例性实施方案，发明人预期将“从感测到规划的修改”阶段降低到约10毫秒(参见图7)。这种改进的价值在于，现在装备有雷达的车辆可以在30至50m的范围内用一秒钟或更长时间来响应不规则的行为和不可预测的事件(例如未注意到的小巷行人)，以执行避让操纵。1/2秒的响应时间(这是常规流水线光栅扫描系统的典型响应时间)下，该距离扩展到50m-70m，这是成问题的，因为离目标越远，目标被阻挡的可能性就越大，或者在低反射率下，其根本不会被检测到。

考虑第二种情况，在这种情况下，鹿、骑自行车的人或车辆在没有警告的情况下在装备有激光雷达的车辆前方穿过街道而遮挡了装备有激光雷达的车辆。每200ms扫描并确认一次的系统很可能无法检测到此类遮挡事件，更不用说及时检测到该事件以进行运动更新来避免碰撞。因此，由所公开的发明的示例性实施方案提供的速度优势远远大于线性增益，这是因为随着给予更少的警告时间，无论是由人还是由动物引起的遮挡碰撞的可能性都增加了。

因此，发明人相信，本领域中迫切需要一种能够在200ms或更短时间内(包括处理器延时)进行运动规划更新的系统，并且出于讨论目的，发明人从“传感器到运动规划更新”中选择了标称的10毫秒延迟作为基准。

图7的序列开始于用于智能传感器的调度器600，所述智能传感器在步骤702处检测到可能影响运动路径的障碍物。所述智能传感器可以是诸如智能激光雷达系统206等宽视野传感器，其提供这样的提示：在环境中存在潜在但未经核实的危险。如果传感器是另一种异构传感器，而不是激光雷达系统本身，则在示例性实施方案中，该过程200可以按两种情况进行。

第一种情况是所谓的“选择性感测”，其中调度器600引导激光雷达源402，诸如上述直接探测情况。在这种情况下，当传感器是诸如相机[红外或视觉]等等之物时，激光雷达系统206用于获得更详细的信息，诸如距离、速度或仅仅是更好的照明。在上文中，我们假定已识别了对象，并且使用了激光雷达系统来改进对有关该对象的了解。换句话说，基于提示，为激光雷达系统选择感测发射以返回有关对象的其他信息。在另一调度实施方案的“比较性”感测中，情况更加细微。通过比较性感测，仅在获得激光雷达数据和视频对象之后才推断出对象的存在或不存在。这是因为视频中的更改可能会或可能不会与任何一个对象相关联。光的闪烁可能是由于处于不同距离(例如，没有威胁)的各种静态对象引起的，或者是由于诸如经过的动物的外皮上的反射之类的东西(例如，有威胁)引起的。例如，图像逐帧的变化将快速指示运动，但是运动会使图像模糊，因此难以评估移动对象的形式和形状。激光雷达系统206可以补足被动图像传感器。通过选择模糊区域来进行进一步感测，激光雷达系统206可以探测并确定清晰的3D图像。这是因为图像将针对10Hz左右的运动而模糊，而激光雷达系统206可以在几百纳秒内采样整个场景，因此不会模糊。可以对激光雷达后图像形成执行比较，以评估激光雷达返回是否对应于模糊区域或静态背景。

作为另一个示例，两个传感器(诸如激光雷达系统和提示传感器)之间的双向反馈回路可以基于平衡数据的检查和验证的固有性质为运动规划提供必要的信息。

传感器的自提示也可以产生选择性和比较性感测。对于选择性示例，请考虑以下内容。用激光雷达系统206检测对象运动，然后可以对所述激光雷达系统分配任务(如果其具有经由压缩感测等的智能范围点能力)以用一系列的激光雷达发射包围感兴趣的对象/区域，以进一步表征对象。对于比较性示例，请考虑重访在先前帧中检测到对象的路段。如果距离或强度返回发生变化(根据定义，这是比较的行为)，则这可以称为比较性感测。一旦检测到了对象，在将可靠的中断提供给汽车远程信息处理控制子系统之前，就需要一个较高的感知层，其可以被称为“客观”感测。理想的是，激光雷达系统206具有低延时，以能够将其光束快速地转到被提示的对象上。这需要快速扫描(其中一个示例在图6A至图6C中示出为一对万向架的方位角和仰角扫描镜602和604)。也可以使用二维光学相控阵激光雷达，并且万向架可以用任何形式的微机械扫描镜代替。MEMS系统(进行机械扫描)的示例是使用液晶(诸如由Boulder Nonlinear Systems公司和Beamco公司提供的)的空间光调制器。

返回图7，步骤700利用随后的传感器解释来检测潜在威胁。解释可能是从路边到路中的突然运动(例如，树枝、良性动物(benign)或在装备有激光雷达的汽车前跳跃的鹿、威胁物)。这里可以使用一种从变化检测中感测运动的简单的视频开发工具；可用的算法选项非常广泛，并且正在迅速扩展，开源项目(诸如open CV)主导了这一潮流。许多供应商都销售高分辨率相机，其像素超过一百万，每秒能够拍摄一百帧以上。仅需几帧，就可以检测到沿着车辆规划路径的整体运动，因此提示可能会非常迅速地发生。第一向量中断702可以到达激光雷达系统206本身。在该示例性实施方案中，在步骤700处请求询问由传感器观察到的对象的情况下，中断和覆盖激光雷达调度器704(步骤706)。在该示例中，假定激光器是孔定位的。由于没有视差，因此可以将坐标从相机快速传输到激光器。接下来，如果需要，向扫描器602和604发出命令，并由扫描器602和604执行命令，以将激光器定向成发射在感兴趣的物品上(步骤708)。然后发出一组激光雷达发射(步骤710)(例如，通过激光雷达发射器302)，并且在光电检测器中收集返回脉冲(步骤712)并对其进行分析(例如，通过激光雷达接收器304)。为了进一步减少延时，采用了可选择的焦平面，因此仅(例如，经由多路复用器504)询问所接收的焦平面的期望小区(步骤714)。这样简化了将激光雷达数据从光学检测器传递出来并传递到数字存储器中以进行分析时的读取时间。当激光雷达系统206本身是原始提示的源时，这可以被称为自提示，其与交叉提示不同，其中一个传感器提示另一个传感器。

接下来，在步骤718处对单个范围点脉冲回波(参见716)进行数字化和分析，以确定峰值、第一个回波和最后一个回波。该操作可以利用点云352来同样考虑先前的一个或多个范围点脉冲回波。根据需要重复此过程，直到已经以足够的保真度对候选威胁对象进行询问以做出向量中断决策为止。如果认为中断720是必要的，则通知运动规划系统202，这导致运动规划系统202的流水线队列722被中断，并且新的路径规划(和相关联的必要运动)可以插入在堆栈的顶部处(步骤724)。

以100m作为我们的方案的标称参考点，从步骤710处的脉冲发射到完成距离曲线(参见716)所需的时间为约600纳秒，因为

图7的下部示出了关于本文公开的示例性实施方案的该过程的每个阶段以及常规光栅扫描系统的大致类似的阶段的预期比较性时序和距离(累积地)。区别是惊人的，其中预期示例性发明实施方案要求障碍物运动少于1英尺，而常规系统要求68英尺。图7的这一部分包括星号，以指示作为延时的主要来源的阶段。

在图7的处理链中的每个阶段探索延时节省的来源都是很有启发性的。

传感器处理链中的延时的第一阶段是从提示传感器接收到来自威胁物品的原始波前时到激光雷达系统控制器确定激光雷达发射器应指向以找到该威胁物品的方向时的时间。由于预期我们将需要来自提示传感器的若干帧来检测威胁，因此此处的时间延迟由提示传感器的帧时间决定。常规上，这涉及标称值为20Hz的更新速率，但是对于快速帧视频，可以将其降低到100Hz，其中重点是呈现碰撞可能性的区域。例如，对于碰撞评估，预期45度扫描体积仅需要大约30％的像素检查。在当前可用的嵌入式处理器在100GOP范围内运行(每秒数十亿次操作)的情况下，在计算执行时间时可以忽略用于异常检测的图像分析阶段，因此相机收集时间占主导地位。

可观的延时的下一个阶段是通过中断来规划一次激光雷达发射(例如，经由快速路径激光雷达发射重新分配任务)。将新的发射置于调度堆栈顶部的延时主要由激光器402的最小空间重复率决定。空间重复由重新访问场景中的点所需的最短时间定义。对于当前的常规扫描激光雷达系统，此时间轴为大约10Hz或100毫秒周期。对于智能范围点，例如具有压缩感测的扫描雷达，最小空间重复率由扫描速度决定。这受到MEMS装置的机械转换率(或热控制电扫描的等效机械迟滞)的限制。5KHz是所需时间轴的相当保守的估计。与预期的示例性发明实施方案的小于1英尺的另外距离相比，该阶段使我们现在期望的目标是通过常规方法移动了约13英尺的另外距离。下一步是计算对激光雷达发射器的命令和激光发射的设置时间的执行。我们认为该时间很小，并且对于传统方法和发明方法都是可比较的，为大约100KHz速率。这与大多数汽车激光雷达系统的发射时间相对应。

运动规划传感器流水线中可观的延时的下一个阶段是发射激光雷达脉冲并收集返回值。由于飞行时间可以忽略不计(根据上述分析，为约600纳秒)，因此此阶段在时间上主要取决于两次发射之间所需的时间。由于预计需要多次观察以建立对激光雷达报告的信心，因此该阶段可能会占主导地位。实际上，对于具有10Hz空间重访的当前激光器，5个发射(预计这是可靠地用于安全中断所需的最小发射次数)会导致1/2秒的延时。使用具有专用注视能力的激光器，可以在激光器的重新发射速率内发射5个发射(其中约200微秒的重新发射时间可以用作保守值)。在射出脉冲之后，开发之前的额外延时很小，并且由激光雷达返回的内存分页决定。确切的时序取决于从业者使用的电子设备，但是对于当前的SDRAM，典型的数量为大约一微秒。最终，需要进行开发阶段，以将激光雷达和相机图像转换为中断运动规划器的决定(并且如果是，则决定将哪些信息传递给规划器)。使用智能测距激光雷达系统可以使该阶段非常短。对于常规的流水线激光雷达系统，预计延时为大约固定帧，标称值为10Hz。

最后，干扰是激光雷达系统以及雷达和其他主动成像器(例如超声)中延时的来源。原因是可以使用数据挖掘、机器学习和推理来查探此类噪声。为了实现低延时，运动规划可以用于跨步干扰缓解。一种这样的方法是使用如在2017年2月17日提交的题为“用于激光雷达脉冲冲突消除的方法和系统(Method and System for Ladar PulseDeconfliction)”的美国专利申请序列号62/460,520中所公开的脉冲编码的使用，该专利申请的全部内容以引用的方式并入本文中。此处提出了其他方法。一种零星干扰源是接收器的饱和，这归因于“自己”的激光雷达系统因强回波引起的饱和或其他雷达系统的饱和。可以通过保护电路来克服这种饱和，所述保护电路防止电流尖峰进入雷达接收器的光电检测器电路中的放大器。可以将这种保护电路制造为金属化层，所述金属化层可以在制造过程中被选择性地添加或丢弃，这取决于从业者的权衡敏感性相对于由饱和引起的延时的需求。这样的保护电路可以被设计为进行如下操作：当电流尖峰超过某个值时，反馈电路扼止输出；这样以降低的灵敏度(例如，增加噪声等效功率)为代价来保护光电二极管。图9示出了这样的保护电路的示例性实施方案，其中使用保护二极管920，使得当超过(例如)第一跨阻放大器的输出处的电压910时，二极管920被激活。在激活二极管920时，电流流动，并且能量从后续的检测电路930转移。

图8公开了用于协同检测各种威胁的示例性处理流程。图8中的不同列示出了可以通过结合在智能传感器中的威胁检测智能装置检测到的不同类型的威胁。在此示例中，可以检测到的威胁类型包括“迂回”800、“微光”810和“闪亮对象”820。应当理解，这些威胁类型仅是示例，并且如果从业者需要，则威胁检测智能装置也可以被配置成检测不同和/或另外的威胁。

图8的行指示可以在协作模型中使用系统的哪些元件或阶段来执行各种操作。第一行对应于传感器提示操作。第二行对应于激光雷达系统或其他传感器智能装置(诸如相机智能装置)的点云开发。通常，用于点云开发的信号处理将在FPGA或定制处理器中执行，以将延时降低到传感器采集时间而非处理为限制因素的水平。第三行对应于运动规划系统202执行的中断操作。

雷达自提示802可以用于检测迂回事件。通过迂回威胁检测，激光雷达系统获得指示装备有激光雷达的车辆的车道内的进入车辆和/或不规则移动的进入车辆的激光雷达帧数据。激光雷达系统可以在整个感兴趣区域内采用光栅扫描。该感兴趣区域可以是例如装备有激光雷达的车辆所居中、在地平线处观察到、首先将检测到进入车辆的道路。在这种情况下，我们可能拥有一种根据不同扫描表现出不规则行为的车辆。这可能是(i)车辆正在驶入和驶出车道，如检测到的方位角波束变化所表明的；(ii)车辆从错误的车道驶近，可能是因为其正在超越另一辆车，或者(iii)车辆以明显高于或低于路况和标志警告是安全的速度移动。可以在一帧或几帧数据中识别所有这三个条件(参见步骤804)。

在步骤804处，经由帧数据220例行更新点云352并将其发布到运动规划系统202。在后台模式下，激光雷达系统206(例如，FPGA)内的威胁检测智能装置跟踪区域内的各个对象。非线性距离变化率或角速率可以揭示对象的轨迹是否是不规则的或指示车道变更。如果对象运动被认为是有威胁的，则可以向运动规划器发出中断(例如，经由优先级标志250)。

在步骤806处，经由中断通知运动规划器存在由于检测到的迂回状况(例如，车头对车头碰撞的威胁或仅仅是车辆对车辆的碰撞的威胁)而引起的危险的进入交通。

如步骤812所示，“微光”检测810的示例性处理流程可以涉及来自另一个传感器的交叉提示。此处，示出了一个实施方案，其中沿着装备有激光雷达的车辆的路径，在一簇相机像素中检测到变化。这种变化可能是由于汽车在森林区域中行驶时树叶闪烁引起，也可能是由于鹿跳到道路上引起。然后可以使用此相机检测来提示激光雷达系统以进行其他探测。

激光雷达系统可以在步骤814处感测两个发射内的运动，并且通过几个发射，其也可以确定移动对象的大小。仅使用被动相机，这种学习就需要更长的时间。因此，当相机检测到指示微光的变化时，这可以提示激光雷达系统将激光发射朝向微光区域瞄准。处理激光雷达返回的智能装置可以创建斑点运动模型，并且可以对这些斑点运动模型进行分析以确定是否需要进行运动规划中断。

在步骤816处，经由中断通知运动规划器存在障碍物(先前的点云帧可能不存在障碍物)，并且该障碍物可能处于在与车辆的碰撞过程中。

威胁检测处理流程的第三示例是针对闪亮对象820，其可以是另一个交叉提示示例(请参阅822)。在步骤824处，在单个相机帧中观察对象，其中该对象具有在最近预先存在的帧中不存在的色彩。认为这不可能是从自然秩序中获得的，因此被认为是人为产物。可以在色彩直方图中标记点云的这种色彩变化。被分配任务的激光雷达发射可以经由与车辆的运动路径进行比较，快速确定该对象的位置，并确定其是一小块碎片还是正在移动且可能的潜在威胁对象的一部分。如果色彩变化对象被视为威胁(因此可以执行步骤816)，则可以发出中断。

在图8的示例中，预计计算复杂度将较低，大约为每个发射几十个操作，发明人认为这适合低延时解决方案。

图10A至图10D的示例示出了将相机与激光雷达接收器同孔定位可以如何改善激光雷达数据处理的延时。在常规的激光雷达系统中，相机定位在激光雷达系统的外部。为了使相机图像与激光器重新对准，该布置需要计算密集型任务(并因此引起延时)。具有外部相机的常规激光雷达系统的这种重新对准过程被称为视差消除。为了避免这种视差消除任务，图10A至图10D描述了一个示例性实施方案，其中相机和激光雷达收发器是普通光学引擎的一部分。例如，图10A至图10C示出了其中相机1002与激光雷达接收器的光电检测器500同孔定位的示例。相机1002可以是摄像机，但是不必如此。图10A至图10C的示例与图6A至图6C的示例相似，除了同孔定位的相机1002。

透镜610将接收器与外部环境分开，并且被配置成其接收可见光和激光器波段的光。为了实现同孔定位，光学系统包括镜1000，所述镜1000光学地定位在透镜610和光电检测器500之间，以及光学地定位在透镜610和相机1002之间。镜1000、光电检测器500和相机1002可以通常被容纳在与集成激光雷达系统相同的外壳或壳体中。镜1000可以是二向色镜，使得其反射性质基于入射光的频率或波长而变化。在示例性实施方案中，二向色镜1000被配置成(1)经由路径1004将来自透镜610的第一光谱(例如，可见光谱、红外(IR)光谱等)中的入射光引导到相机1002，并且(2)经由路径1006将来自透镜610的第二光谱(例如，将包括激光雷达脉冲反射的激光光谱)中的入射光引导到光电检测器500。例如，镜1000可以将第一光谱中的光朝向相机1002反射(参见路径1004)，并且将第二光谱中的光朝向光电检测器500传递(参见路径1006)。因为光电检测器500和相机1002由于同孔定位而将共享相同的视野，所以这极大地简化了来自相机1002的图像数据与从光电检测器500导出的范围点数据的融合，特别是在立体系统中。即，来自相机1002的图像数据可以与从光电检测器500导出的计算出的范围点数据在空间上对准，而无需本领域的常规系统所需的计算密集型视差消除任务。例如，尽管由于配准误差而导致了敏锐度的损失，典型的高帧率立体视频流仍需要几十千兆次的处理才能将视频与激光雷达数据对准。可以使用同孔定位相机1002来避免这些情况。与采用千兆次的处理来对准视频和激光雷达不同，使用同孔定位的相机可以允许使用不太复杂的技术进行对准。例如，为在工厂组装站进行校准，人们可以使用激光雷达系统和相机来捕获棋盘图案的图像。然后可以观察到相机图像和激光雷达图像之间的任何不一致，并且然后可以通过硬接线读出代码的对准来消除这些不一致。预计对于商业级激光雷达系统和相机，这些不一致将很少发生。例如，假设相机和激光雷达系统都具有100x100像素的x-y像素网格。然后，将激光雷达系统和相机图像都对准100x100黑白棋盘。在此示例中，结果可能是：除了相机图像的右上角像素100,100偏离网格之外，像素全部对准，并且相机图像的像素99,100位于棋盘边缘，而激光雷达图像具有指向角落的两个像素99,100和100,100。然后对准可以简单地如下：

1)将以x和y表示的相机像素分别定义为i和j，其中范围为i,j＝1,…,100，并且激光雷达表示为k和l，再者k,l＝1,..,100。

2)基于与相机图像的像素配准对激光雷达进行编索引(融合/对准)。例如，假设检查了相机像素(例如12,23)。现在假设我们想要同样检查其雷达激光对应对象。为此，系统重新调用(例如，从存储器中获取)激光雷达数据中的像素12,23。对于上面的示例，如果相机像素是除99,100或100,100以外的任何像素，则重新调用的激光雷达像素与相机像素相同；并且如果我们正在访问相机中的像素99,100，则我们在激光雷达图像中选择像素99,100和100,100的聚集；并且如果相机图像的像素为100,100，则我们不访问任何激光雷达图像。

3)对激光雷达提示相机以类似但相反方向重复此操作。

请注意，执行此对准不需要任何复杂的操作。取而代之的是，每个数据查询只需要一个简单的小的逻辑表即可，通常为几kB。相比之下，非孔定位对准需要许多GB。

图10D描绘了示例性处理流程，所述示例性处理流程示出了如何在系统中有利地使用同孔定位相机1002。在步骤1050处，接收光。如上所讨论的，该接收到的光可以包括一个或多个激光雷达脉冲反射。透镜610可以执行步骤1050。在步骤1052处，将第一光谱中的接收光的部分导向相机1002，并且将第二光谱中的接收光的部分导向光电检测器500。如上所述，第二光谱包括激光雷达脉冲和激光雷达脉冲反射的光谱。该步骤可以由镜1000执行。

在步骤1054处，光电检测器1054检测由镜1000引导到其的激光雷达脉冲反射。在步骤1056处，基于检测到的激光雷达脉冲反射来计算范围点数据。可以使用如上所讨论的信号处理电路和处理器来执行步骤1056。

同时，在步骤1058处，相机1002基于由镜1000导向的光生成图像数据。此后，处理器可以将来自步骤1056的计算出的范围点数据与来自步骤1058的图像数据在空间上对准(参见步骤1060)。接下来，激光雷达系统和/或运动规划系统可以基于空间对准的范围点和图像数据做出关于激光雷达瞄准和/或车辆运动的决策。例如，如图10B至图10C所示，此决策可能导致在发射列表400中插入新发射。更进一步，运动规划系统202可以基于空间对准的范围点和图像数据的内容选择以某种方式改变车辆运动。

应当理解，图10A至图10C示出了示例性实施方案，并且从业者可以选择在系统中包括更多的光学元件。例如，在通过镜1000分离之后，光学路径中可以包括另外的光学元件，诸如在镜1000和相机1002之间的光学路径1004中和/或在镜1000和光电检测器500之间的光学路径1006中。此外，相机1002的波长可以是可见色彩光谱、灰度光谱、被动IR光谱、高光谱，并且具有或不具有缩放倍率。而且，激光雷达系统的焦平面可能具有足够的接收波长，以用作组合的主动(激光雷达)和被动(视频)焦平面。

减少延时的另一个优点是能够基于单个激光雷达数据帧内的数据计算有关对象的运动数据。例如，可以从单个激光雷达发射帧的发射内的激光雷达数据计算出(3D)速度和加速度的真实估计。这是由于与光纤或二极管激光雷达系统相关联的短脉冲持续时间引起，这允许在短时间轴内进行多个目标测量。速度估计允许去除静止对象(如果装备有激光雷达的车辆在运动中，则静止对象将具有接近速度)。速度估计还允许减少检测发生后启动轨道时出现的噪声量。例如，在没有速度的情况下，在100m和10mrad光束下，可能需要3m的范围关联窗口，对于3ns的脉冲，其对应于18x,y分辨率噪声暴露仓(距脉冲宽度1/2m，并且距光束发散1m)。相比之下，如果除了3m关联之外，两个维度上都存在3m/s的速度滤波器，则在标称10Hz帧率下，噪声暴露的程度降低到2至4个仓。基于帧内计算关于对象的运动数据的能力允许以低延时创建对象的稳健的运动学模型。

图11A示出了根据示例性实施方案的用于计算帧内运动数据的示例性处理流程。在步骤1100处，激光雷达发射器302向单个激光雷达帧内的目标射出重叠的激光雷达脉冲发射簇。簇中的激光雷达脉冲在短持续时间内在时间上间隔开(例如，在激光雷达系统采用MEMS扫描镜的实施方案中，对于典型MEMS谐振速度是约5微秒至约80微秒)。束簇可以在所有三个维度(方位角、仰角和距离)上提供重叠。这可以通过注意到每个激光雷达脉冲在脉冲的飞行时间内切出一个光锥来可视化。在任何时间点，人们都可以从镜位置计算出该圆锥在空间中将位于何处。该信息可以用于选择调度器中的脉冲发射时间，以确保在所有三个维度上都重叠。通过有效地使用不同的视角(视差)提取有关场景的信息，此重叠提供了有关场景的唯一信息源。

当与如上面参考和并入的专利和专利申请中所描述的采用压缩感测的动态激光雷达系统组合使用时，可以将用于运动估计的这种聚类方法的延时优势放大。利用这种动态激光雷达系统，激光雷达控制器以每个脉冲(即，每个发射)为基础，对激光雷达传输施加影响。相比之下，常规的激光雷达系统限定了在发射模式重复时开始和停止的固定帧。即，帧内的发射模式固定在帧的开始处，并且不动态地在帧内进行调适。使用采用压缩感测的动态激光雷达系统，发射模式可以在帧内动态变化(例如，帧内动态)，也就是说，第i次发射的发射模式可以取决于发射i-1的即时结果。

典型的固定帧激光雷达系统具有由FOV限定的帧。FOV被逐个发射地扫描；当FOV被完全询问后，该过程重复。因此，虽然采用压缩感测的动态激光雷达系统调适其发射选择的能力以微秒为单位进行了测量；但是常规固定帧激光雷达系统调适其发射选择的能力以几百毫秒为单位进行测量；或慢100,000倍。因此，预计使用帧内激光雷达脉冲的动态选择的紧密簇来帮助估计运动数据的能力将相对于对象运动估计产生显著的延时改善。

返回图11A，同时，在步骤1102处，激光雷达接收器304接收并处理来自激光雷达脉冲簇的反射回波。作为该处理的一部分，激光雷达接收器304可以计算目标的帧内运动数据。对于来自由紧密簇瞄准的范围点的反射回波，可以基于距离和强度的变化来计算该运动数据。例如，可以基于这些反射回波来估计目标的速度和加速度。通过在帧内基础上计算这类运动数据，就可以关于为视野中的一个或多个目标的运动建模实现延时的显著减少，这继而通过运动规划系统转变成更快的决策。

图11B示出了用于实施来自图11A的步骤1100和1102的示例性处理流程。图12A示出了参考图11B的激光雷达脉冲束的示例性簇。图11B从步骤1110开始，在步骤1110处，检测到感兴趣的目标。可以使用多种技术中的任何一种来执行目标检测。例如，可以在步骤1110处处理激光数据和/或视频数据以检测目标。此外，可以处理软件定义的帧(下面讨论其示例)以检测感兴趣的目标。作为一个示例，可以在步骤1110处选择随机帧，可以将目标声明为其范围未映射到来自高分辨率映射图的固定点的返回值。但是，应该理解，可以采用其他用于目标检测的技术。

在步骤1112处，可以相对于彼此正交的两个轴线定义检测到的目标的坐标。为了便于参考，这些坐标可以被称为X和Y。在示例性实施方案中，X可以指代沿着水平(方位角)轴线的坐标，而Y可以指代沿着竖直(仰角)轴线的坐标。

在步骤1114处，激光雷达发射器302向目标发射激光雷达发射B和C，其中激光雷达发射B和C共享相同的水平坐标X但具有不同的竖直坐标，使得激光雷达发射B和C在视野中的指定距离处具有重叠的光束。图12A示出了用于激光雷达发射B和C的可能放置的示例。应当理解，光束的半径将取决于光学器件(发散)和到目标的距离两者。

在步骤1116处，激光雷达接收器304接收并处理来自激光雷达发射B和C的回波。处理这些反射回波以计算估计的目标仰角Yt。为此，可以比较来自B和C的回波的发射能量。例如，如果两个回波的能量相等，则可以认为目标存在于B和C的中心之间的线的中点。如果B回波中的能量超过C回波中的能量，则可以认为目标存在于高出该中点某个量处，所述量对应于所述B和C回波的能量比(例如，相对于C回波，B回波中的对应的能量更大，成比例地更靠近B中心)。如果C回波中的能量超过B回波中的能量，则可以认为目标存在于低于该中点某个量处，所述量对应于所述B和C回波的能量比(例如，相对于B回波，C回波中的对应的能量更大，成比例地更靠近C中心)。

在步骤1118处，限定新的激光雷达发射B'以瞄准在竖直坐标Yt和水平坐标X处的范围点。接下来，在步骤1120处，限定新的激光雷达发射A以瞄准竖直坐标Yt和水平坐标X’处的范围点，其中X和X'之间的偏移足够大以允许估计横向距离目标位置，但足够小以避免错过B'或A的目标。即，B'和A中的至少一者将击中检测到的目标。X'的选择将取决于到被表征对象的距离和尺寸以及激光雷达束的发散度(使用数学方法)。例如，对于10mrad的光束，100m范围和1m宽的车辆(例如摩托车)，从后方观察时，X'的值可以限定为1/2米。

在步骤1122处，激光雷达发射器302向激光发射B'和A各自的所瞄准的范围点射出激光发射B'和A。然后，激光雷达接收器304接收并处理B'和A的反射回波以计算B'和A的距离和强度数据(步骤1124)。具体而言，可以通过采用标准激光雷达距离方程式，输入固定的激光雷达系统参数以及计算要实现所测量的信号脉冲能量所必需的目标反射率。可以使用飞行时间技术来评估距离。距离可以用距离(B')和距离(A)表示。强度可以用强度(B')和强度(A)表示。然后，在步骤1126处，处理器基于距离(B')、距离(A)、强度(B')和强度(A)来计算目标的横向距离和距离质心。可以通过计算距离(飞行时间)(用r表示)、方位角θ(根据发射射出时间和镜的位置)以及评估极转换rsin(θ)来找到横向距离。用I(i)表示强度，并且进行多次测量，发现距离质心为：

而横向距离质心是

随着在经过足够长的时间段以允许感兴趣的对象移动至少几毫米或几厘米后收集新数据，可以从头开始重复该过程，并且可以使用质心的位置变化来估计目标的速度和加速度。

图12A示出了激光雷达发射簇的视野内的示例性光束布局，其帮助示出了关于图11B的操作原理。图12A示出了询问目标的光束位置A、B、C(1200)。这些光束在全宽半峰或1/e²水平处重叠。为了讨论和教学论证的目的，将假定(i)有效目标位于这些光束A、B和C的并集之内，并且(ii)A、B和B、C是共面的。在这种情况下，如果存在一个成对的配对，且它们接合的共线视线方向正交，则将三个光束定义为共面。在图12A中，可以看出是这种情况，因为A、B水平对准并且B、C竖直对准。请注意，我们不要求中心轴线(相位中心)重合。真实目标位于视野内的1201处。如所指出的，图11B的处理流程可以允许对方位角和仰角进行插值以获得在某个时间点的目标位置的精确估计。以该精确估计为中心(或在其附近)的激光雷达束可以被表示为A'(1202)。实际上，A'很少会完全以1201为中心，因为(i)由于噪声，我们仅以质心来近似1201的真实值，并且(ii)如果并非总是如此，软件通常将限于一组量化的可选位置。一旦创建了光束A'，系统还可以创建共线重叠的激光雷达束B'和C'(为便于说明未在图12A中示出)。经由这些光束进行询问和分析的结果将是图12B所示的速度表。据此，所述系统可以产生目标的距离和角度位置的精确估计，但是出于讨论目的，将知识视为光束发散度(角度位置)的显著减小部分就足够了，距离情况类似。此精度允许查看角度和距离的成对变化，以提取目标的速度和加速度信息。因此，图11B的处理流程可以用于跟踪目标的横向运动。

图12B示出了根据图11B的示例性处理流程的用于目标跟踪的示例性时间轴，并且这些时间轴示出了用于计算帧内运动数据的聚类技术优于如下所讨论的常规方法。此外，时间轴足够短，而不会妨碍扫描镜的速度，这可以有助于保持较大的视野，同时还可以实现低的运动规划延时。

为了提供样本的现实情况，并与现有相干FMCW(频率调制连续波)激光器进行速度提取比较，我们假设3ns脉冲，100m目标，25米/秒的接近目标速度以及整体速度向量的10％非径向速度。我们还假设加速度的相称比率，其中加速度为1/ms²(约为标准重力g力的10％)。我们假设有能力测量光束和距离仓中不确定度的低至20％，这是在全宽半峰(FWHM)水平下限定的。我们使用15KHz快速扫描轴假设，这继而导致标称值为30微秒重访率。作为比较的基础，我们可以考虑美国专利9,735,885和9,310,471中公开的FMCW激光器，所述美国专利描述了一种基于多普勒提取的激光雷达系统，并且停留时间不少于500纳秒。这样做的缺点是，光束在这段时间内会大量摆动，这可以通过光子控制来克服；但是对于多普勒切除对高占空比和时间积分的需求限制了可实现的脉冲窄度。图12B的当前比较是基于提取非径向速度的能力。

在图12B中，我们看到对于位置精度精化的两次发射之间的时间是在30微秒和2,000微秒之间(在图12B中示出为2ms)。上限是距离漂移之前的时间，使得我们将距离与距离变化率合并。为了估计距离变化率，我们要等到目标移动了可以可靠估计的量为止。那会是约3mm(对于10cm持续时间[～3.3ns]，SNR～60)。因此，在25m/s的速度下，对于5m/s的运动，我们可以以20％的增量检测运动，其用1ms更新转变为5mm。我们得出的结论是，如图12B所示，1m/s是距离变化率更新的一个很好的下限。对于角度目标转变，对于1m/s/s/5或20cm/s/s的运动，加速度是无法识别的，因此速度不会模糊。对于10％的偏移量，其变为2cm/s。在100m处，偏移量为3mrad，我们获得了约30cm的横向距离范围，或300mm，在5:1分离后变为60kμm。因此，在1毫秒的时间内，以5:1分离为20μm。为了使我们的角束变成5:1，我们将其增加了3,000。我们得出结论，停留在角空间中的限制因素是速度光束移动而不是加速度。此处，我们看到我们移动了6cm光束的1/5，因此在我们指定的25m/s偏航的10％时，我们得到2.5m/s或2.5mm/ms。然后约10毫秒左右，我们开始变得模糊。我们在上限距离变化和下限距离变化率之间提供了标称值为50％的余量。我们没有在图12B中包括加速度，因为可靠的位置梯度总是涉及地形和运动学约束，使得需要更复杂的辐射度和自我运动建模。软件工具可获自Mathworks、MathCAD、Ansys，并且其他工具也可以协助这一尝试。

加速度通常会在5ms内使速度模糊5mm/s。为检测以上段落中的规格5m/s，在这种模糊率下，我们将有10倍的余量。由于每个连续的微分算子都会累积误差，因此应谨慎考虑这种余量，并且因此对于真实速度，我们将5ms用作样本之间的最大持续时间。边信息可以极大地扩展这一范围，几乎没有旋转系统常见的10-20Hz附近的频率。

在图12B中，发射时(发射列表)的角束位置用大写字母表示，并且脉冲发射时的的角束位置用小写字母表示。我们示出了用于在所有三个(极)坐标中获得距离和距离变化率的数据配对的示例。然后映射到标准欧几里得单位向量是简单的。

尽管使用单帧(帧内)获得改进的测距、速度和加速度的能力导致改进的激光雷达度量(诸如有效的SNR和测定)，但应当理解，当将此功能与帧内通信结合时还会产生其他好处，所述帧内通信诸如与从相机等获得的图像数据的通信，如下所讨论的。

一旦在帧间建立了激光雷达系统和相机之间的通信，就可以进一步实现延时的减少。为了促进额外的延时减少，示例性实施方案采用软件定义的帧(SDF)。SDF是激光雷达帧的发射列表，其标识一组或一系列预先指定的激光发射模式，可以针对激光雷达系统逐帧选择所述激光发射模式。选择过程可以通过有关视野的数据(诸如运动规划系统和/或激光雷达系统可访问的感知堆栈)或最终用户来辅助。激光雷达系统中的处理智能装置可以帮助选择SDF，或者所述选择可以基于机器学习、来自相机的帧数据、或甚至地图数据。

例如，如果进入车辆正处于通过其前方车辆的中间，从而在碰撞时迅速驶向(潜在)头部，则SDF堆栈可以选择进入的威胁车辆周围的感兴趣区域来进行更密切的监控。除此之外，可以在各种车辆或固定对象周围建立多个感兴趣的区域，以使用运动结构进行精确定位。这些经由激光雷达脉冲询问的感兴趣区域可以由SDF限定；并且作为示例，SDF可以是固定网格、随机网格或“偏斜”网格，在所需的“固定点”周围具有密集的发射模式，而在其他地方则较为稀疏地采样。在预测到潜在碰撞的情况下，可以终止并重置激光雷达帧。利用模拟现有的固定激光雷达系统(诸如旋转激光雷达系统)的激光雷达/相机视觉软件可能会带来很大的好处。因此，对于从业者来说有价值的是，在SDF套件中包括用于固定激光雷达扫描器的仿真模式，以便利用这种软件。例如，可以配置偏斜SDF，从而使装备有雷达的车辆进入的路段具有较高的发射密度，可能在检测范围和/或地理范围内具有最高的密度，从而使天空和其他非道路段的发射更加稀疏。

图13A公开了由处理器执行以基于在激光雷达系统的视野中观察到的特性来选择用于激光雷达系统的SDF的示例性处理流程。这允许在逐帧的基础上对激光雷达发射进行低延时调适。

在步骤1300处，处理器检查是否要开始新的激光雷达帧。如果是这样，则处理流程前进到步骤1302。在步骤1302处，处理器处理代表激光雷达系统的视野的一个或多个特性的数据。该经处理的数据可以包括以下各者中的一者或多者：激光雷达数据(例如，来自先前的激光雷达发射的距离信息)、图像数据(例如，来自摄像机等的图像)和/或地图数据(例如，关于根据现有地图信息得知的在道路中或道路附近的对象的数据)。基于该经处理的数据，处理器可以判断视野，并且从适于视野的观察到的特性的SDF库中选择适当的SDF(步骤1304)。SDF库可以存储在处理器可访问的存储器中，并且每个SDF可以包括一个或多个参数，所述参数允许进一步调整该SDF的特定激光雷达发射以最适合观察到的情况。例如，这些参数可以包括一个或多个变量，所述变量控制SDF的激光雷达脉冲之间的间隔、由SDF的激光雷达脉冲限定的模式(例如，偏斜SDF的水平线或其他特征所处的位置，如下所讨论的)以及通过SDF的激光雷达脉冲进行瞄准的特定坐标中的至少一者。在步骤1306处，处理器基于其参数化实例化所选择的SDF。这导致SDF专门识别多个范围点以在给定的激光雷达帧中以激光雷达脉冲瞄准。在步骤1308处，激光雷达发射器然后根据实例化的SDF发射激光雷达脉冲。在SDF完成时(或者可能响应于对象激光雷达帧的中断)，处理流程返回到下一帧的步骤1300。

图13B至图13I示出了可以由激光雷达系统用作图13A的示例性实施方案的一部分的不同类型的SDF的示例，其中图13B至图13I的示例中的各种线和其他图案示出了激光雷达脉冲在何处将在视野中被瞄准。

图13B示出了示例性光栅仿真SDF。由该SDF限定的光栅图案对应于许多激光雷达系统使用的标准扫描模式。为了保持敏捷性，理想的是，激光雷达系统仿真任何现有的激光雷达系统，这允许所述激光雷达系统利用现有的激光雷达开发软件。

图13C至图13D示出了偏斜SDF的示例。使用偏斜SDF，可以将激光雷达聚集在被认为是潜在威胁区域或其他感兴趣区域的区域中，以允许快速威胁响应。视野中潜在威胁区域的一个示例将是装备有激光雷达的车辆行驶的车道。偏斜可以基于多种模式而变化。例如，图13C示出了立面(或竖直)偏斜SDF。应注意，将偏斜定义为需要稀疏化(更低和更高密度)的轴线。这与对称轴相反，即(均匀地)密集地施加发射的轴线。在图13C的示例中，偏斜集中于视野中的特定仰角，但是扫描了所有地平线。期望的仰角选择是地球地平线与装备有激光雷达的车辆行驶的车道的相交点。我们可能还想要水平扫描车道，以查看是否有即将到来的与车辆驶入或驶出的相交。在仰角中，取决于所需的稀疏程度，发射密度在此地平线区域最高，并且在较高或较低的仰角处较低，或者在所有其他仰角下较低。另一个可能的偏斜模式是方位(或水平)偏斜SDF，在该情况下，较高的发射密度将对应于沿水平轴线的某个限定位置处的竖直线(方位稀疏且竖直对称)。另一个示例是质心偏斜SDF，图13D示出了其一个示例。在图13D的示例中，偏斜沿着指定的竖直和水平坐标集中，这导致在此仰角/方位角相交点处激光雷达发射的质心高密度。偏斜SDF的参数化可以限定这些高密度的激光雷达发射的位置(以及这类发射在SDF中的密度)。

图13E示出了随机SDF的示例，其中基于位置的随机采样，将激光雷达散布在整个视野中。随机SDF可以通过启用歧义抑制功能帮助支持快速威胁检测。可以对随机SDF进行参数化以控制视野内的随机程度和随机发射的间距。例如，可以可控地限定随机SDF中的激光雷达发射的随机列表，使得任何潜在目标在被激光雷达系统检测到之前不能移动超过10英尺。

图13F示出了关注区域SDF的示例。作为一个示例，关注区域SDF可以限定关注区域以用于在给定的激光雷达帧内用激光雷达发射进行瞄准。图13F所示的示例包括车辆可能会进出其中的固定区域，诸如绊网(请参见图13F中的十字路口处的细线)和/或边界框(请参见图13F的左车道中的汽车后面的矩形框)。该示例示出了可能在激光雷达系统前面的感兴趣区域，一个非常感兴趣的区域。可以从先前的激光雷达扫描和/或机器视觉(例如，经由处理相机图像数据)获得边界框，并且边界框使系统能够保留对先前检测到的目标的监管。这样的目标的示例可以包括经由机器视觉检测到的行人、经由机器视觉检测到的摩托车、以及经由机器视觉检测到的路牌(或其他固定基准)。

图13G示出了示例性图像提示的SDF。提示此类SDF的图像可以是被动相机图像或从激光雷达数据渲染的图像。作为一个示例，图像提示的SDF可以基于在图像中观察到的边缘，其中检测到的边缘可以用于形成帧，以供激光雷达系统随后查询。作为另一个示例，图像提示的SDF可以基于在图像中观察到的阴影，其中检测到的阴影可以用于形成帧，以供激光雷达系统随后查询。另一个示例将是从边界框提示激光雷达，以增强纯视频系统的深度感测。例如，如本文公开的专用范围点选择可以利用Magic Leap在2018年年底Arxiv上发布的“通过RGB和稀疏感测来估计深度(Estimating Depth from RGB and Sparse Sensing)”中描述的技术。

图13H示出了示例性地图提示的SDF。地图提示的SDF对于敏捷的激光雷达系统可能是一种强大的操作模式，因为帧是基于自己的汽车感测而不是基于先前收集的地图数据。例如，地图数据可以用于检测十字路口，并且地图提示的SDF可以操作以在到达十字路口之前用激光雷达发射查询十字路口。十字路口的位置在图13H中以块点示出，而白点对应于进入交叉路口的装备有激光雷达的车辆。

使用单帧提示辅助了激光雷达数据和相机数据两者。相机可以从SDF套件中引导帧选择。同样，通过在两个对象不明确地关联(导致不希望的、高的混淆矩阵得分)时建立更高的置信度，可以使用激光雷达数据来增强视频机器学习。该示例示出了如何通过帧内(即子帧)视频/激光雷达融合轻松调适和增强现有软件。例如，标准的旋转激光雷达系统可能具有10Hz的帧率。许多相机允许帧率在100Hz左右，而常规的激光雷达帧率通常为约10Hz，或比相机帧率低10倍。因此，通过在融合相机数据之前等待激光雷达完成，可以看出在系统等待激光雷达完成时涉及延时。因此，应当理解，这样的子帧处理加快了延时，并且使得能够在没有建立时间或帧间延时的情况下逐帧更新SDF。

图13I示出了相机-激光雷达交叉提示的一个特别引人注目的用例。图13I的左侧示出了视野的激光雷达地图，并且图13I的右侧示出了覆盖有该激光雷达地图的视野的相机图像(其中该示例是使用AEYE JO-G激光雷达单元产生)。从图13I的右侧可以看到，车辆从形成激光雷达地图时就已经移动了，并且这可以通过检查彩色相机图像中的视觉边缘并将其与激光雷达图像中的边缘进行比较来检测。这种类型的交叉提示速度非常快，并且与尝试在相机或激光雷达图像中单独从帧到帧连接边缘相比，出错的可能性要小得多。在完成激光雷达帧之后，确定车辆方向和速度所需的时间就是拍摄一个相机图像的时间(大约10毫秒)，然后是相机图像中的边缘检测(其可以使用免费提供的Open CV软件执行)，其需要大约10万次操作的时间，与仅对光学相机图像预计的千兆操作相比，这是一个重大改进。

图14示出了详细说明上面讨论的几个帧的细节的示例性实施方案。首先，考虑摄像机中的阴影，附图标记10017示出了照明源(例如，太阳、路灯、前灯等)，而附图标记10018示出了遮挡光的障碍物，从而投射具有由射线10019和10020限定的边界的阴影。在该示例中，所有目标10004和某些目标10003对相机而言都是不可见的，但是大多数阴影区域可经由使用阴影提示的SDF使用激光雷达10001和10002来恢复。

我们观察到车辆10003阻挡更远的第二车辆10004的情况。例如，这可以对应于车辆10004是正在超越车辆10003的摩托车的场景。这是一种危险情况，因为尽管道路上摩托车很少，但许多事故都涉及摩托车。在该示例中，我们将考虑在某个时间段内，摩托车将在装备有雷达的车辆10008的车道上保持至少一段时间。在我们的场景中，车辆10008具有两个传感器头，每个传感器头都包括激光雷达和视频传感器(10001和10002)。阴影提示的SDF对于每个激光雷达头会有所不同。应注意，图14的草图未按比例绘制，车辆10008上的传感器之间的间距通常为2米左右，并且从车辆10008到车辆10004的距离可能为100米等级。车辆的长宽比也不正确，但是形状因数简化了叙述，并且更容易说明要点。

这两个三角形具有在10001和10002处的顶点，并且分别包含阴影区域10005、10007和10006、10007，其示出了激光雷达和同孔定位相机的视野。传感器10001具有从10003投射的阴影，所述阴影被示出为阴影区域10006。应注意，这包括车辆10004，因此激光雷达和相机都看不到车辆10004。传感器10002也是如此。应注意，来自传感器10002的阴影是从车辆的后部投射的，而传感器10001的阴影是从前部右侧投射的，而10003的前部左侧是两个阴影的顶点。所构建的纹理区域10005示出了传感器10002的阴影，所述阴影尚未从传感器10001中被遮蔽。运动产生的立体结构将为传感器10001、10002产生边界框，其中这类边界框分别由车辆10003上的10011、10012标识；其为每个激光雷达限定新的(感兴趣区域)软件帧10013，以跟踪车辆10003。对于给定的净误报率，使用紧密的ROI帧允许降低SNR，并且因此减少再充电时间，从而减少延时。

应注意，如果不存在车辆10003，则两个相机都可以从不同角度看到车辆10004。从业人员将注意到，这使摄像机能够从运动中获得结构，特别是从角度差推断距离。当然，这些激光雷达直接给出距离。由于降噪是通过平均传感器的输出而产生的，因此可以观察到，当对象未被遮挡时，我们可以获得更精确的定位，并且因此获得速度和运动预测，从而又进一步扩大范围。这在图14中由参考数字10014、10015[请参见黑点]示出，其是所构建运动的位置，车辆10003的前部估计位于该位置。通过使用一个或两个激光雷达的测距，我们可以获得更精确的距离，用更精确的位置10016[参见白点]代替两个不同的且略有错误的目标位置10014)、10015。使用距离d、10009和角度偏移10010的多边来改善定位，会立即导致较小的估计目标体积10013；这继而通过如前面在速度估计叙述中所讨论的减少噪声暴露来提高有效SNR。

下面逐项列出了示例性用例，其中可以从运动学模型(诸如3D速度和加速度)中提取运动规划值。在这些示例中，所检测和跟踪的目标可以是在装备有雷达的车辆的传感器范围内的其他车辆。然后，将这些其他车辆的运动数据单独或整体地(诸如交通密度)用于计算装备有雷达的车辆的预期行为，或用于提取环境条件。这些示例展示了与本文所述的短脉冲速度激光雷达一起使用的3D速度和加速度估计的强大功能。此外，尽管这些用例可以通过任何激光雷达系统来解决，无论它们是否相干，但是如本文所述以及在以上参考和并入的专利和专利申请中所描述的相干的随机访问的激光雷达系统非常适合于动态重访时间和选择性探测(例如，可变发射列表)，如图12A和图12B所示。此外，如果相机能够以比视频帧率更快的速度将信息反馈给激光雷达传感器，则所有这些用例都会得到增强。例如，我们之前讨论过，激光雷达系统可以用60微秒或更少来采样给定位置，而视频帧通常为大约5-10毫秒(对于200-100fps相机)，通常牺牲FOV。因此，如果相机可以每行将数据呈现回给激光雷达系统，则这可以显著减少延时。例如，具有3k x 3k像素(现代标准)的相机每行读取一次，将使延时减少3,000。因此，即使将整个9M像素的更新速率限制为20Hz，如果我们将读数从一帧拖放到一行，我们也可以匹配激光雷达的重访。由于视频开发是一个比激光雷达更发达的领域，因此可以使用多种软件工具和产品(诸如Open CV)来解决以下情况。

虽然上文已经关于本发明的示例性实施方案对本发明进行了描述，但是可以对其进行各种修改，这些修改仍然落入本发明的范围内。在审阅本文的教导之后，可以想到对本发明的此类修改。

Claims (26)

1.一种用于车辆运动规划的系统，所述系统包括：

传感器，其中所述传感器包括激光雷达系统，所述激光雷达系统配置成产生激光雷达帧；以及

运动规划计算机系统，其与所述传感器通信；

其中所述传感器具有视野并且被配置成(i)给运动规划计算机系统提供激光雷达帧数据以及(ii)检测所述视野中的威胁或异常状况；

其中所述运动规划计算机系统被配置有运动规划循环；并且

其中所述传感器和所述运动规划计算机系统被配置成协作，使得所述传感器被配置成将指示所述检测到的状况的通知中断所述运动规划循环，其中所述通知包括随附激光雷达帧数据的优先级标志，并且此时，所述运动规划计算机系统被配置成确定随附于所述优先级标志的激光雷达帧数据将被快速评估，以做出关于车辆运动的决策。

2.如权利要求1所述的系统，其中所述激光雷达系统包括激光雷达发射器，所述激光雷达发射器被配置有关于范围点瞄准的压缩感测能力。

3.如权利要求1至2中任一项所述的系统，其中所述激光雷达系统被配置成基于所述检测到的状况来重新分配其瞄准范围点的任务。

4.如权利要求1至2中任一项所述的系统，其中所述激光雷达系统包括用于存储范围点返回数据的点云的存储器，并且其中所述激光雷达系统还被配置成利用所述点云来检测所述状况。

5.如权利要求1至2中任一项所述的系统，其中所述激光雷达发射器包括用于使所述激光雷达发射器瞄准的多个可扫描镜。

6.如权利要求1至2中任一项所述的系统，其中所述激光雷达系统包括激光雷达接收器，所述激光雷达接收器被配置有基于范围点瞄准的来自检测器阵列的选择性读出。

7.如权利要求1至2中任一项所述的系统，其中所述传感器还包括相机。

8.如权利要求7所述的系统，其中所述相机相对于所述激光雷达系统同孔定位。

9.如权利要求7所述的系统，其中所述相机包括视频控制器，所述视频控制器被配置成：(1)读出对应于所述相机的视野的至少一部分的图像数据，并且(2)基于所读出的图像数据检测在所述视野内的运动。

10.如权利要求7所述的系统，其中所述相机被配置成将潜在的微光事件检测为所述检测到的状况。

11.如权利要求7所述的系统，其中所述相机被配置成将潜在的闪亮对象事件检测为所述检测到的状况。

12.如权利要求7所述的系统，其中所述激光雷达系统和所述相机被配置成经由交叉提示而协作。

13.如权利要求12所述的系统，其中所述相机被配置成响应于所述检测到的状况而生成供所述激光雷达系统使用的发射列表。

14.如权利要求1至2中任一项所述的系统，其中所述传感器还包括雷达。

15.如权利要求1至2中任一项所述的系统，其中所述传感器还包括声音传感器。

16.如权利要求1至2中任一项所述的系统，其中所述传感器还包括车辆远程信息处理传感器。

17.如权利要求1至2中任一项所述的系统，其中所述传感器被配置成经由比较性感测、选择性感测和/或客观感测中的至少一者来检测所述状况。

18.如权利要求1至2中任一项所述的系统，其中所述激光雷达系统包括激光雷达接收器，所述激光雷达接收器是包括被配置成减小高能干扰引起的饱和的保护电路。

19.如权利要求18所述的系统，其中所述保护电路包括金属化层，所述金属化层允许在制造时定制所述保护电路。

20.如权利要求1至2中任一项所述的系统，其中所述运动规划计算机系统被配置成将所述优先级标志视为向量中断，所述向量中断改变用于通过所述运动规划循环进行决策的数据堆栈。

21.如权利要求1至2中任一项所述的系统，其中所述传感器包括现场可编程门阵列FPGA，所述FPGA被配置成检测所述状况。

22.一种车辆运动规划方法，其包括：

激光雷达系统检测视野内的威胁或异常状况；

所述激光雷达系统基于所述检测到的状况而中断运动规划计算机系统的运动规划循环，其中所述中断包括：所述激光雷达系统断言优先级标志，结合随附于所述优先级标志的激光雷达帧数据，以由所述运动规划计算机系统接收；以及

所述运动规划计算机系统响应于所述中断做出关于车辆运动的决策。

23.如权利要求22所述的方法，其还包括：

所述激光雷达系统执行压缩感测，以用多个激光雷达脉冲瞄准所述视野。

24.如权利要求22所述的方法，其还包括：所述激光雷达系统重新分配自身的任务，以用多个激光雷达脉冲探测所述视野内对应于所述检测到的状况的区域。

25.一种车辆运动规划方法，包括：

传感器检测视野内的威胁或异常状况；

所述传感器基于所述检测到的状况而中断运动规划计算机系统的运动规划循环；

所述运动规划计算机系统基于响应于所述中断做出关于车辆运动的决策，其中传感器与运动规划计算机系统通信连接，从而在传感器检测到威胁或异常状况时，能够接收由传感器断言的优先级标志以及随附于所述优先级标志的激光雷达帧数据；并且

其中所述检测和所述中断在小于一毫秒内执行。

26.如权利要求25所述的方法，其中所述传感器包括激光雷达系统。