[go: up one dir, main page]

CN113158976B - 地面箭头的识别方法、系统、终端及计算机可读存储介质 - Google Patents

地面箭头的识别方法、系统、终端及计算机可读存储介质 Download PDF

Info

Publication number
CN113158976B
CN113158976B CN202110523788.4A CN202110523788A CN113158976B CN 113158976 B CN113158976 B CN 113158976B CN 202110523788 A CN202110523788 A CN 202110523788A CN 113158976 B CN113158976 B CN 113158976B
Authority
CN
China
Prior art keywords
arrow
ground
steering
matching
template
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110523788.4A
Other languages
English (en)
Other versions
CN113158976A (zh
Inventor
宋京
吴子章
王凡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zongmu Technology Shanghai Co Ltd
Original Assignee
Beijing Zongmu Anchi Intelligent Technology Co ltd
Zongmu Technology Shanghai Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Zongmu Anchi Intelligent Technology Co ltd, Zongmu Technology Shanghai Co Ltd filed Critical Beijing Zongmu Anchi Intelligent Technology Co ltd
Priority to CN202110523788.4A priority Critical patent/CN113158976B/zh
Publication of CN113158976A publication Critical patent/CN113158976A/zh
Application granted granted Critical
Publication of CN113158976B publication Critical patent/CN113158976B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种地面箭头的识别方法、系统、终端及计算机可读存储介质，识别方法包括：提取地面箭头和车道线，并将地面箭头中转向箭头作为转向箭头初始模板；对提取地面箭头和车道线后的图片进行像素级行遍历，检测地面箭头中直向箭头；并将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板；对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头；将识别出的直向箭头和转向箭头进行合并，以输出地面箭头。本发明不需要大量的训练集以及像素级别的标注，减少了很大的工作量，提高了对箭头的识别率，且大大降低了CPU占用率。

Description

地面箭头的识别方法、系统、终端及计算机可读存储介质
技术领域
本发明属于图像处理技术领域，涉及一种识别方法和系统，特别是涉及一种地面箭头的识别方法、系统、终端及计算机可读存储介质。
背景技术
路面标志是汽车驾驶过程中必须要遵守的交通规则之一，能为道路使用者提供关键信息，帮助驾驶员正确、安全地行驶，同时也能维持道路交通的顺畅。但是，在驾驶过程中，往往会因为某些原因没有注意到路面上的标识，或者有时候驾驶员不知道某个标识的具体含义，这就会影响正常的交通秩序，而且容易发生交通事故。利用现有的技术对道路上的标识进行自动提取和识别能够更好地辅助驾驶员正确地行驶。
城市交通事故大都发生在交通路口附近，路面交通标志识别技术作为高级驾驶辅助系统的重要研究分支，主要用于提供道路信息，在行车安全方面有不可替代的作用。传统的路面交通标志自动分割大都基于多种图像预处理技术。城市交通事故大都发生在交通路口附近，路面交通标志识别技术作为高级驾驶辅助系统的重要研究分支，主要用于提供道路信息，在行车安全方面有不可替代的作用。传统的路面交通标志自动分割大都基于多种图像预处理技术，例如FoucherP等提出一种可以识别人行横道、箭头标志和其它几种标志的方法，该方法主要分为两步：提取路面交通标志要素和基于单模式，或重复矩形模式连接标志各组件。还有利用神经网络模型，但是大部分神经网络模型是对大量数据进行训练验证以及优化。对于有监督地训练模型这个过程是需要大量的地面箭头的数据，并对这些数据进行像素级别的标注，而标注过程需要花费大量人力。而在对网络模型进行优化时，神经网络相当于一个黑盒，可能这次优化对于当前测试数据是有改善的，但是也有可能对之前的数据存在检测干扰，即只是局部优化，并非全局优化。在CPU的占用率方面，利用神经网络模型对地面箭头识别过程的CPU占用率是传统特征匹配算法来说高至3到7倍。
因此，如何提供一种地面箭头的识别方法、系统、终端及计算机可读存储介质，以解决现有技术需对大量地面箭头数据进行的像素级别标注，标注过程需要花费大量人力，且存在地面箭头识别过程中箭头识别率低、CPU占用率过大等缺陷，实已成为本领域技术人员亟待解决的技术问题。
发明内容
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种地面箭头的识别方法、系统、终端及计算机可读存储介质，用于解决现有技术需对大量地面箭头数据进行的像素级别标注，标注过程需要花费大量人力，且存在地面箭头识别过程中箭头识别率低、CPU占用率过大的问题。
为实现上述目的及其他相关目的，本发明一方面提供一种地面箭头的识别方法，包括：获取地面环视图；从所述地面环视图中提取地面箭头和车道线，并将所述地面箭头中转向箭头作为转向箭头初始模板；对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头；并将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板；对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头；将识别出的直向箭头和转向箭头进行合并，以输出所述地面环视图中的地面箭头。
于本发明的一实施例中，所述对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头，以检测出直向箭头的步骤包括：对提取地面箭头和车道线后的图片进行像素级行遍历，保存每一行箭头所在的中心位置及行宽；若判定出存在箭头的行宽连续递变，则确定每一行箭头所在的中心点是否可以进行直线拟合；若是，则确定该箭头为直向箭头；若否，则确定该箭头非直向箭头。
于本发明的一实施例中，所述确定每一行箭头所在的中心点是否可以进行直线拟合的步骤包括：在每一行箭头的行宽连续递变的基础下，计算连续的若干中心点中每两个点构成的直线之间的夹角；判断该夹角是否大于夹角阈值；若是，则表示连续的若干中心点无法拟合成直线，该箭头为非直向箭头；若否，则表示连续的若干中心点可拟合成直线，该箭头为直向箭头。
于本发明的一实施例中，在将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板之前，所述地面箭头的识别方法还包括：对提取地面箭头和车道线后的图片进行像素级行遍历，对连续两行的中心点计算车道线的斜率夹角；剔除所有斜率夹角的最大夹角和最小夹角，计算剩余斜率夹角的平均夹角；根据平均夹角，计算车身航向角；将该车身航向角定义为转向箭头初始模板旋转的固定角度。
于本发明的一实施例中，所述车身航向角的计算方式为：θ'＝π/2-θ；其中，θ'为车身航向角，θ为平均夹角。
于本发明的一实施例中，所述对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头的步骤包括：对提取地面箭头和车道线后的图片进行像素级列遍历，保存箭头每一列的中心点位置；于所述中心点位置处放缩生成多个大小不同的候选框；对不同的候选框进行插值，使其大小与转向箭头初始模板的大小相同；计算插值后的候选框与转向箭头初始模板之间的模板匹配度，剔除匹配度小于匹配度阈值的候选框，保存最大匹配度的候选框及其箭头类型和当前位置。
于本发明的一实施例中，所述对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头的步骤还包括：利用中心点位置之间的距离，对每列所有模板匹配后的结果进行转向箭头的位置分类；遍历所有模板匹配的结果中心点位置，并计算两两之间的距离；若该距离小于距离阈值，则认为这两个模板匹配的结果为同一转向箭头下匹配的结果，并将两个模板匹配的结果归于一元组；若该距离大于或等于距离阈值，则认为这两个模板匹配的结果为另一个转向箭头下匹配的结果，并将两个模板匹配的结果归于另一元组；从所述元组中选取最大匹配度所对应的箭头类型作为该位置下的转向箭头的类型。
本发明另一方面提供一种地面箭头的识别系统，包括：获取模块，用于获取地面环视图；提取模块，用于从所述地面环视图中提取地面箭头和车道线，并将所述地面箭头中转向箭头作为转向箭头初始模板；检测模块，用于对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头；旋转模块，用于将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板；识别模块，用于对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头；输出模块，用于将识别出的直向箭头和转向箭头进行合并，以输出所述地面环视图中的地面箭头。
本发明又一方面提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述地面箭头的识别方法。
本发明最后一方面提供一种地面箭头的识别终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述识别终端执行所述地面箭头的识别方法。
于本发明的一实施例中，所述地面箭头的识别终端包括车载终端。
如上所述，本发明所述的地面箭头的识别方法、系统、终端及计算机可读存储介质，具有以下有益效果：
第一，本发明使用三角形特征检测以及模板匹配对箭头进行识别，并未使用神经网络模型，因此不需要大量的训练集以及像素级别的标注，减少了很大的工作量。
第二，本发明提高了对箭头的识别率，在时空复杂度方面算法均是线性的，且大大降低了CPU占用率。
第三，本发明在处理多箭头，箭头磨损，形变的情况下，也具有较好的识别率。
附图说明
图1显示为本发明的地面箭头的识别方法于一实施例中的流程示意图。
图2显示为本发明的转向箭头初始模板的示例图。
图3显示为本发明语义分割后的地面环视图示例图。
图4显示为本发明提取到的地面箭头和车道线示例图
图5显示为本发明的转向箭头初始模板旋转固定角度的示例图。
图6显示为本发明的S15的实施流程图。
图7A显示为本发明的最终地面箭头的识别效果示意图。
图7B显示为本发明的最终地面箭头的识别效果示意图。
图7C显示为本发明的最终地面箭头的识别效果示意图。
图8显示为本发明的地面箭头的识别系统于一实施例中的流程示意图。
元件标号说明
8 地面箭头的识别系统
81 获取模块
82 提取模块
83 检测模块
84 旋转模块
85 识别模块
86 输出模块
S11～S16 步骤
S151～S159 步骤
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
实施例一
本实施例提供一种地面箭头的识别方法，其特征在于，包括：
获取地面环视图；
从所述地面环视图中提取地面箭头和车道线，并将所述地面箭头中转向箭头作为转向箭头初始模板；
对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头；并将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板；
对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头；
将识别出的直向箭头和转向箭头进行合并，以输出所述地面环视图中的地面箭头。
以下将结合图示对本实施例所提供的地面箭头的识别方法进行详细描述。请参阅图1，显示为地面箭头的识别方法于一实施例中的流程示意图。如图1所示，所述地面箭头的识别方法具体包括以下步骤：
S11，获取地面环视图。
具体地，所述S11包括获取通过四路(前后左右)鱼眼摄像头所采集的四路的地面图片，将四路的地面图片进行拼接，以形成地面环视图。
S12，从所述地面环视图中提取地面箭头和车道线，并提取所述地面箭头中转向箭头，以作为转向箭头初始模板。请参阅图2，显示为转向箭头初始模板的示例图。如图2中包括多个转向箭头初始模板。
于本实施例中，通过FCN网络对所述地面环视图进行语义分割(参阅图3，显示为语义分割后的地面环视图示例图)，对语义分割后的地面环视图中的地面箭头和车道线进行提取(参阅图4，显示为提取到的地面箭头和车道线示例图)。在本实施例中，凡是能分割地面环视图，产生如图3所示分割结果的分割方法都适用于本发明。
具体地，提取的地面箭头的RGB值为(255，255，255)及车道线的RGB值为(0，0，255)。
S13，对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头。
在本实施例中，所述S13包括：
对提取地面箭头和车道线后的图片进行像素级行遍历(例如，以3为步长进行行遍历)，保存每一行箭头所在的中心位置及行宽。具体地，本步骤为保存每一行所有点RGB值为(255,255,255)的坐标，并计算这些点的平均值，并统计每一行箭头的像素行宽。
判断是否存在箭头的行宽连续递变，若是，则确定每一行箭头所在的中心点是否可以进行直线拟合；若可以进行直线拟合，则确定该箭头为直向箭头；若不可以进行直线拟合，则确定该箭头非直向箭头。若否，确定该箭头非直向箭头。
在本实施例中，箭头的行宽存在连续递变包括连续递增t个值或连续递减t个值。
理论上，直向箭头遍历的每行中心点是在一直线上，但是，实际上是存在偏差的。因此，本实施例中，通过连续递变的三个中心点中计算连续两点组成的直线夹角差值来判断是否可以直线拟合。如果夹角差值Δθ(|θ(Li)-θ(Li+1)|)大于一角度阈值θ，则认为不可以拟合成直线，确定该箭头为直向箭头；若夹角差值Δθ小于或等于一角度阈值θ，则认为可以拟合成直线，确定该箭头非直向箭头。
S14，计算所述转向箭头初始模板需旋转的固定角度，并将转向箭头初始模板按固定角度旋转，形成转向箭头匹配模板。
在本实施例中，所述计算所述转向箭头初始模板需旋转的固定角度的步骤包括：
对提取地面箭头和车道线后的图片进行像素级行遍历(例如，以17为步长进行行遍历)，保存每行车道线RGB值为(0,0,255)的坐标，并计算这些点的中心位置，即图5中所示p1(x,y)…pn(x,y)。
对连续两行的中心点计算车道线的斜率夹角；
剔除所有斜率夹角的最大夹角和最小夹角，计算剩余斜率夹角的平均夹角；
根据平均夹角，计算车身航向角，将该车身航向角定义为转向箭头初始模板旋转的固定角度。
在本实施例中，所述车身航向角的计算方式为：θ'＝π/2-θ；其中，θ'为车身航向角，θ为平均夹角。
在本实施例中，S13和S14为如图1所示的并列运行。于实际应用中，S13和S14可并行，也可以分先后顺序执行。
S15，对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头。请参阅图6，显示为S15的实施流程图。如图5所示，所述S15具体包括以下步骤：
S151，对提取地面箭头和车道线后的图片进行像素级列遍历(例如，以3为步长进行列遍历)，保存箭头每一列的中心点位置。
具体地，保存该列所有点RGB值为(255,255,255)的坐标，再计算这些点的中心点位置。
S152，于所述中心点位置处放缩生成多个大小不同的候选框。
在本实施例中，由于确定分割后转向箭头大小可能不同，考虑到在不同环境还有箭头与车距离影响下，因此生成5个大小不同的候选框。
S153，对不同的候选框进行插值，使其大小与转向箭头初始模板的大小相同。
在本实施例中，对不同的候选框采用双线性插值。
S154，计算插值后的候选框与转向箭头初始模板之间的模板匹配度，剔除匹配度小于匹配度阈值的候选框，保存该列中5个候选框中最大匹配度的候选框及其箭头类型和当前位置，即confidence，class，(x,y,)。
在实际应用中，凡是可以计算得到匹配度的匹配算法都可以应用于本发明中。例如，本实施例采用相关系数模板匹配算法计算插值后的候选框与转向箭头初始模板(如图2中每个初始模版)之间的模板匹配度。
S155，利用中心点位置之间的距离，对每列所有模板匹配后的结果进行转向箭头的位置分类。
S156，遍历所有模板匹配的结果中心点位置，并计算两两之间的距离；
两两中心点位置之间的距离计算公式如下：
d＝(xi-xi+1)2+(yi-yi+1)2；
S157，若该距离小于距离阈值，则认为这两个模板匹配的结果为同一转向箭头下匹配的结果，并将两个模板匹配的结果归于一元组。
S158，若该距离大于或等于距离阈值，则认为这两个模板匹配的结果为另一个转向箭头下匹配的结果，并将两个模板匹配的结果归于另一元组；
S159，从所述元组中选取最大匹配度所对应的箭头类型作为该位置下的转向箭头的类型。
S16，将识别出的直向箭头和转向箭头进行合并，以输出所述地面环视图中的地面箭头。请参阅图7A，图7B及图7C分别显示为最终地面箭头的识别效果示意图。
本实施例所述地面箭头的识别方法具有以下有益效果：
第一，本实施例所述地面箭头的识别方法使用三角形特征检测以及模板匹配对箭头进行识别，并未使用神经网络模型，因此不需要大量的训练集以及像素级别的标注，减少了很大的工作量。
第二，本实施例所述地面箭头的识别方法提高了对箭头的识别率，在时空复杂度方面算法均是线性的，且大大降低了CPU占用率。
第三，本实施例所述地面箭头的识别方法在处理多箭头，箭头磨损，形变的情况下，也具有较好的识别率。
本实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如图1所述的识别方法。
在任何可能的技术细节结合层面，本申请可以是系统、方法和/或计算机程序产品。计算机程序产品可以包括计算机可读存储介质，其上载有用于使处理器实现本申请的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是(但不限于)电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。用于执行本申请操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路配置数据或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本申请的各个方面。
实施例二
本实施例提供一种地面箭头的识别系统，包括：
获取模块，用于获取地面环视图；
提取模块，用于从所述地面环视图中提取地面箭头和车道线，并将所述地面箭头中转向箭头作为转向箭头初始模板；
检测模块，用于对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头；
旋转模块，用于将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板；
识别模块，用于对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头；
输出模块，用于将识别出的直向箭头和转向箭头进行合并，以输出所述地面环视图中的地面箭头。
以下将结合图示对本实施例所提供的地面箭头的识别系统进行详细描述。请参阅图8，显示为地面箭头的识别系统于一实施例中的原理结构示意图。如图8所示，所述地面箭头的识别系统8包括获取模块81、提取模块82、检测模块83、旋转模块84、识别模块85及输出模块86。
所述获取模块81用于获取地面环视图。
具体地，所述获取模块81获取通过四路(前后左右)鱼眼摄像头所采集的四路的地面图片，将四路的地面图片进行拼接，以形成地面环视图。
所述提取模块82用于从所述地面环视图中提取地面箭头和车道线，并提取所述地面箭头中转向箭头，以作为转向箭头初始模板。
于本实施例中，所述提取模块82通过FCN网络对所述地面环视图进行语义分割，对语义分割后的地面环视图中的地面箭头和车道线进行提取。
具体地，所述提取模块82提取的地面箭头的RGB值为(255，255，255)及车道线的RGB值为(0，0，255)。
所述检测模块83用于对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头。
在本实施例中，所述检测模块83的检测过程如下：
对提取地面箭头和车道线后的图片进行像素级行遍历(例如，以3为步长进行行遍历)，保存每一行箭头所在的中心位置及行宽。具体地，本步骤为保存每一行所有点RGB值为(255,255,255)的坐标，并计算这些点的平均值，并统计每一行箭头的像素行宽。
判断是否存在箭头的行宽连续递变，若是，则确定每一行箭头所在的中心点是否可以进行直线拟合；若可以进行直线拟合，则确定该箭头为直向箭头；若不可以进行直线拟合，则确定该箭头非直向箭头。若否，确定该箭头非直向箭头。
在本实施例中，箭头的行宽存在连续递变包括连续递增t个值或连续递减t个值。
理论上，直向箭头遍历的每行中心点是在一直线上，但是，实际上是存在偏差的。因此，本实施例中，通过连续递变的三个中心点中计算连续两点组成的直线夹角差值来判断是否可以直线拟合。如果夹角差值Δθ(|θ(Li)-θ(Li+1)|)大于一角度阈值θ，则认为不可以拟合成直线，确定该箭头为直向箭头；若夹角差值Δθ小于或等于一角度阈值θ，则认为可以拟合成直线，确定该箭头非直向箭头。
所述旋转模块84用于计算所述转向箭头初始模板需旋转的固定角度，并将转向箭头初始模板按固定角度旋转，形成转向箭头匹配模板。
在本实施例中，所述旋转模块84计算所述转向箭头初始模板需旋转的固定角度的过程如下：
对提取地面箭头和车道线后的图片进行像素级行遍历(例如，以17为步长进行行遍历)，保存每行车道线RGB值为(0,0,255)的坐标，并计算这些点的中心位置，即图5中所示p1(x,y)…pn(x,y)。
对连续两行的中心点计算车道线的斜率夹角；
剔除所有斜率夹角的最大夹角和最小夹角，计算剩余斜率夹角的平均夹角；
根据平均夹角，计算车身航向角，将该车身航向角定义为转向箭头初始模板旋转的固定角度。
在本实施例中，所述车身航向角的计算方式为：θ'＝π/2-θ；其中，θ'为车身航向角，θ为平均夹角。
所述识别模块85用于对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头。
具体地，所述识别模块85的识别过程如下：
对提取地面箭头和车道线后的图片进行像素级列遍历(例如，以3为步长进行列遍历)，保存箭头每一列的中心点位置；于所述中心点位置处放缩生成多个大小不同的候选框；对不同的候选框进行插值，使其大小与转向箭头初始模板的大小相同；计算插值后的候选框与转向箭头初始模板之间的模板匹配度，剔除匹配度小于匹配度阈值的候选框，保存该列中5个候选框中最大匹配度的候选框及其箭头类型和当前位置，即confidence，class，(x,y,)。利用中心点位置之间的距离，对每列所有模板匹配后的结果进行转向箭头的位置分类；遍历所有模板匹配的结果中心点位置，并计算两两之间的距离；若该距离小于距离阈值，则认为这两个模板匹配的结果为同一转向箭头下匹配的结果，并将两个模板匹配的结果归于一元组。若该距离大于或等于距离阈值，则认为这两个模板匹配的结果为另一个转向箭头下匹配的结果，并将两个模板匹配的结果归于另一元组；从所述元组中选取最大匹配度所对应的箭头类型作为该位置下的转向箭头的类型。
所述输出模块86用于将识别出的直向箭头和转向箭头进行合并，以输出所述地面环视图中的地面箭头。
需要说明的是，应理解以上系统的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现，也可以全部以硬件的形式实现，还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如：x模块可以为单独设立的处理元件，也可以集成在上述系统的某一个芯片中实现。此外，x模块也可以以程序代码的形式存储于上述系统的存储器中，由上述系统的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(Application Specific Integrated Circuit，简称ASIC)，一个或多个微处理器(Digital Singnal Processor，简称DSP)，一个或者多个现场可编程门阵列(Field Programmable Gate Array，简称FPGA)等。当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，如中央处理器(CentralProcessing Unit，简称CPU)或其它可以调用程序代码的处理器。这些模块可以集成在一起，以片上系统(System-on-a-chip，简称SOC)的形式实现。
实施例三
本实施例提供一种地面箭头的识别终端，该识别终端，包括：处理器、存储器、收发器、通信接口或/和系统总线；存储器和通信接口通过系统总线与处理器和收发器连接并完成相互间的通信，存储器用于存储计算机程序，通信接口用于和其他设备进行通信，处理器和收发器用于运行计算机程序，使识别终端执行如上地面箭头的识别方法的各个步骤。在本实施例汇总，所述地面箭头的识别终端包括车载终端。
上述提到的系统总线可以是外设部件互连标准(Peripheral ComponentInterconnect，简称PCI)总线或扩展工业标准结构(Extended Industry StandardArchitecture，简称EISA)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(Random Access Memory，简称RAM)，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(Digital Signal Processing，简称DSP)、专用集成电路(Application SpecificIntegrated Circuit，简称ASIC)、现场可编程门阵列(Field Programmable Gate Array，简称FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
本发明所述的地面箭头的识别方法的保护范围不限于本实施例列举的步骤执行顺序，凡是根据本发明的原理所做的现有技术的步骤增减、步骤替换所实现的方案都包括在本发明的保护范围内。
本发明还提供一种地面箭头的识别系统，所述地面箭头的识别系统可以实现本发明所述的地面箭头的识别方法，但本发明所述的地面箭头的识别方法的实现装置包括但不限于本实施例列举的地面箭头的识别系统的结构，凡是根据本发明的原理所做的现有技术的结构变形和替换，都包括在本发明的保护范围内。
综上所述，本发明所述地面箭头的识别方法、系统、终端及计算机可读存储介质具有以下有益效果：
第一，本发明使用三角形特征检测以及模板匹配对箭头进行识别，并未使用神经网络模型，因此不需要大量的训练集以及像素级别的标注，减少了很大的工作量。
第二，本发明提高了对箭头的识别率，在时空复杂度方面算法均是线性的，且大大降低了CPU占用率。
第三，本发明在处理多箭头，箭头磨损，形变的情况下，也具有较好的识别率。本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (9)

1.一种地面箭头的识别方法，其特征在于，包括：
获取地面环视图；
从所述地面环视图中提取地面箭头和车道线，并将所述地面箭头中转向箭头作为转向箭头初始模板；
对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头；对提取地面箭头和车道线后的图片进行像素级行遍历，保存每一行箭头所在的中心位置及行宽；若判定出存在箭头的行宽连续递变，则确定每一行箭头所在的中心点是否可以进行直线拟合；若是，则确定该箭头为直向箭头；若否，则确定该箭头非直向箭头；并将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板；
对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头；利用中心点位置之间的距离，对每列所有模板匹配后的结果进行转向箭头的位置分类；遍历所有模板匹配的结果中心点位置，并计算两两之间的距离；若该距离小于距离阈值，则认为这两个模板匹配的结果为同一转向箭头下匹配的结果，并将两个模板匹配的结果归于一元组；若该距离大于或等于距离阈值，则认为这两个模板匹配的结果为另一个转向箭头下匹配的结果，并将两个模板匹配的结果归于另一元组；从所述元组中选取最大匹配度所对应的箭头类型作为该位置下的转向箭头的类型；
将识别出的直向箭头和转向箭头进行合并，以输出所述地面环视图中的地面箭头。
2.根据权利要求1所述的地面箭头的识别方法，其特征在于，所述确定每一行箭头所在的中心点是否可以进行直线拟合的步骤包括：
在每一行箭头的行宽连续递变的基础下，计算连续的若干中心点中每两个点构成的直线之间的夹角；
判断该夹角是否大于夹角阈值；若是，则表示连续的若干中心点无法拟合成直线，该箭头为非直向箭头；若否，则表示连续的若干中心点可拟合成直线，该箭头为直向箭头。
3.根据权利要求2所述的地面箭头的识别方法，其特征在于，在将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板之前，所述地面箭头的识别方法还包括：
对提取地面箭头和车道线后的图片进行像素级行遍历，对连续两行的中心点计算车道线的斜率夹角；
剔除所有斜率夹角的最大夹角和最小夹角，计算剩余斜率夹角的平均夹角；
根据平均夹角，计算车身航向角；
将该车身航向角定义为转向箭头初始模板旋转的固定角度。
4.根据权利要求3所述的地面箭头的识别方法，其特征在于，所述车身航向角的计算方式为：
θ'＝π/2-θ；
其中，θ'为车身航向角，θ为平均夹角。
5.根据权利要求3所述的地面箭头的识别方法，其特征在于，所述对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头的步骤包括：
对提取地面箭头和车道线后的图片进行像素级列遍历，保存箭头每一列的中心点位置；
于所述中心点位置处放缩生成多个大小不同的候选框；
对不同的候选框进行插值，使其大小与转向箭头初始模板的大小相同；
计算插值后的候选框与转向箭头初始模板之间的模板匹配度，剔除匹配度小于匹配度阈值的候选框，保存最大匹配度的候选框及其箭头类型和当前位置。
6.一种地面箭头的识别系统，其特征在于，包括：
获取模块，用于获取地面环视图；
提取模块，用于从所述地面环视图中提取地面箭头和车道线，并将所述地面箭头中转向箭头作为转向箭头初始模板；
检测模块，用于对提取地面箭头和车道线后的图片进行像素级行遍历，检测所述地面箭头中所有直向箭头；对提取地面箭头和车道线后的图片进行像素级行遍历，保存每一行箭头所在的中心位置及行宽；若判定出存在箭头的行宽连续递变，则确定每一行箭头所在的中心点是否可以进行直线拟合；若是，则确定该箭头为直向箭头；若否，则确定该箭头非直向箭头；
旋转模块，用于将转向箭头初始模板旋转一固定角度，形成转向箭头匹配模板；
识别模块，用于对提取地面箭头和车道线后的图片进行像素级列遍历，对转向箭头放缩产生大小不同的候选框后与转向箭头匹配模板进行模板匹配、位置聚类及转向箭头类型识别，以识别出转向箭头；利用中心点位置之间的距离，对每列所有模板匹配后的结果进行转向箭头的位置分类；遍历所有模板匹配的结果中心点位置，并计算两两之间的距离；若该距离小于距离阈值，则认为这两个模板匹配的结果为同一转向箭头下匹配的结果，并将两个模板匹配的结果归于一元组；若该距离大于或等于距离阈值，则认为这两个模板匹配的结果为另一个转向箭头下匹配的结果，并将两个模板匹配的结果归于另一元组；从所述元组中选取最大匹配度所对应的箭头类型作为该位置下的转向箭头的类型；
输出模块，用于将识别出的直向箭头和转向箭头进行合并，以输出所述地面环视图中的地面箭头。
7.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至5中任一项所述地面箭头的识别方法。
8.一种地面箭头的识别终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述识别终端执行如权利要求1至5中任一项所述地面箭头的识别方法。
9.根据权利要求8所述的地面箭头的识别终端，其特征在于，所述地面箭头的识别终端包括车载终端。
CN202110523788.4A 2021-05-13 2021-05-13 地面箭头的识别方法、系统、终端及计算机可读存储介质 Active CN113158976B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110523788.4A CN113158976B (zh) 2021-05-13 2021-05-13 地面箭头的识别方法、系统、终端及计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110523788.4A CN113158976B (zh) 2021-05-13 2021-05-13 地面箭头的识别方法、系统、终端及计算机可读存储介质

Publications (2)

Publication Number Publication Date
CN113158976A CN113158976A (zh) 2021-07-23
CN113158976B true CN113158976B (zh) 2024-04-02

Family

ID=76875258

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110523788.4A Active CN113158976B (zh) 2021-05-13 2021-05-13 地面箭头的识别方法、系统、终端及计算机可读存储介质

Country Status (1)

Country Link
CN (1) CN113158976B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114187573A (zh) * 2021-12-08 2022-03-15 武汉中海庭数据技术有限公司 一种车道箭头旋转目标检测模型构建方法及装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013113011A1 (en) * 2012-01-26 2013-08-01 Telecommunication Systems, Inc. Natural navigational guidance
CN105825203A (zh) * 2016-03-30 2016-08-03 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN105913041A (zh) * 2016-04-27 2016-08-31 浙江工业大学 一种基于预先标定的信号灯识别方法
CN109948630A (zh) * 2019-03-19 2019-06-28 深圳初影科技有限公司 靶纸图像的识别方法、装置、系统和存储介质
CN111414826A (zh) * 2020-03-13 2020-07-14 腾讯科技（深圳）有限公司 一种地标箭头的识别方法、设备及存储介质
CN111476157A (zh) * 2020-04-07 2020-07-31 南京慧视领航信息技术有限公司 一种路口监控环境下的车道导向箭头识别方法
CN112131963A (zh) * 2020-08-31 2020-12-25 青岛秀山移动测量有限公司 一种基于行驶方向结构特征约束的道路标识线提取方法
CN112183427A (zh) * 2020-10-10 2021-01-05 厦门理工学院 一种箭形交通信号灯候选图像区域的快速提取方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013113011A1 (en) * 2012-01-26 2013-08-01 Telecommunication Systems, Inc. Natural navigational guidance
CN105825203A (zh) * 2016-03-30 2016-08-03 大连理工大学 基于点对匹配和几何结构匹配的地面箭头标志检测与识别方法
CN105913041A (zh) * 2016-04-27 2016-08-31 浙江工业大学 一种基于预先标定的信号灯识别方法
CN109948630A (zh) * 2019-03-19 2019-06-28 深圳初影科技有限公司 靶纸图像的识别方法、装置、系统和存储介质
CN111414826A (zh) * 2020-03-13 2020-07-14 腾讯科技（深圳）有限公司 一种地标箭头的识别方法、设备及存储介质
CN111476157A (zh) * 2020-04-07 2020-07-31 南京慧视领航信息技术有限公司 一种路口监控环境下的车道导向箭头识别方法
CN112131963A (zh) * 2020-08-31 2020-12-25 青岛秀山移动测量有限公司 一种基于行驶方向结构特征约束的道路标识线提取方法
CN112183427A (zh) * 2020-10-10 2021-01-05 厦门理工学院 一种箭形交通信号灯候选图像区域的快速提取方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"道路箭头标志检测与识别算法研究";魏瑾瑜;《中国优秀硕士学位论文全文数据库工程科技Ⅱ辑》;第C034-967页 *

Also Published As

Publication number Publication date
CN113158976A (zh) 2021-07-23

Similar Documents

Publication Publication Date Title
Ghanem et al. Lane detection under artificial colored light in tunnels and on highways: an IoT-based framework for smart city infrastructure
Alam et al. Indian traffic sign detection and recognition
KR101596299B1 (ko) 교통 표지판 인식 방법 및 장치
CN112016605B (zh) 一种基于边界框角点对齐和边界匹配的目标检测方法
WO2019228211A1 (zh) 基于车道线的智能驾驶控制方法和装置、电子设备
Ye et al. A two-stage real-time YOLOv2-based road marking detector with lightweight spatial transformation-invariant classification
An et al. Real-time lane departure warning system based on a single FPGA
CN112733885A (zh) 点云识别模型的确定方法、点云识别的方法及装置
CN112997190A (zh) 车牌识别方法、装置及电子设备
CN109271842B (zh) 一种基于关键点回归的通用物体检测方法、系统、终端和存储介质
Li et al. A robust lane detection method based on hyperbolic model
CN111753858B (zh) 一种点云匹配方法、装置和重定位系统
Wang et al. Fast vanishing point detection method based on road border region estimation
Li et al. Multi‐lane detection based on omnidirectional camera using anisotropic steerable filters
CN113158976B (zh) 地面箭头的识别方法、系统、终端及计算机可读存储介质
Ding et al. Efficient vanishing point detection method in unstructured road environments based on dark channel prior
Fan et al. Road vanishing point detection using weber adaptive local filter and salient‐block‐wise weighted soft voting
CN113807293B (zh) 减速带的检测方法、系统、设备及计算机可读存储介质
CN113449647B (zh) 弯曲车道线的拟合方法、系统、设备及计算机可读存储介质
CN114694121A (zh) 车道线矫正方法、装置、电子设备、存储介质和程序产品
CN112101139B (zh) 人形检测方法、装置、设备及存储介质
Al Mamun et al. Efficient lane marking detection using deep learning technique with differential and cross-entropy loss.
CN117218622A (zh) 路况检测方法、电子设备及存储介质
CN113392762B (zh) 路口的检测方法、系统、终端及计算机可读存储介质
CN112434591B (zh) 车道线确定方法、装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB03 Change of inventor or designer information

Inventor after: Song Jing

Inventor after: Wu Zizhang

Inventor after: Wang Fan

Inventor before: Song Jing

Inventor before: Xiang Weixing

Inventor before: Wu Zizhang

Inventor before: Wang Fan

CB03 Change of inventor or designer information
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240918

Address after: 201203 Shanghai Pudong New Area China (Shanghai) Pilot Free Trade Zone, No. 366 Shangke Road and No. 10, Lane 55, Chuanhe Road

Patentee after: ZONGMU TECHNOLOGY (SHANGHAI) Co.,Ltd.

Country or region after: China

Address before: 102300 room a-4653, building 20, Yong'an Road, Shilong Economic Development Zone, Mentougou District, Beijing

Patentee before: BEIJING ZONGMU ANCHI INTELLIGENT TECHNOLOGY CO.,LTD.

Country or region before: China

Patentee before: ZONGMU TECHNOLOGY (SHANGHAI) Co.,Ltd.

TR01 Transfer of patent right