CN111709434B

CN111709434B - 一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法

Info

Publication number: CN111709434B
Application number: CN202010597667.XA
Authority: CN
Inventors: 杨宪强; 张智浩
Original assignee: Harbin Institute of Technology Shenzhen
Current assignee: Harbin Institute of Technology Shenzhen
Priority date: 2020-06-28
Filing date: 2020-06-28
Publication date: 2022-10-04
Anticipated expiration: 2040-06-28
Also published as: CN111709434A

Abstract

一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法，属于计算机视觉、图像处理领域，解决了现有的基于最邻近点匹配的方法存在，检测目标出现较大尺度缩放时检测准确度不够的问题。本发明通过对模板图像和被搜索图像的像素点提取特征；对像素点间进行最近邻特征匹配；根据初步匹配的相关性系数初步筛选搜索位置；对不同尺度，所有初步筛选搜索位置进行模板匹配相关性计算，并获得最优匹配结果。本发明适用于图像匹配使用。

Description

一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法

技术领域

本发明属于计算机视觉、图像处理领域，

背景技术

模板匹配是一种模式识别方法，通过模板在被搜索图像上的平移，并计算模板图像与覆盖的被搜索图像区域的相似度来识别目标。常用的模板匹配方法往往预先假定了模板与目标间的变换关系，如平移、旋转、缩放、仿射等，然后搜索获得最优的变换关系。但是在现实场景拍摄的图像中，会出现遮挡、模糊或复杂形变等情况，模板与目标间的变换关系不能用简单的模型表达。

近年学者们提出基于最近邻点匹配的方法，提高了对复杂形变情况的鲁棒性，但是一般均假定了搜索窗口与模板大小相同，在检测目标出现较大尺度缩放时检测准确度不够的问题。

发明内容

本发明目的是为了解决现有的基于最邻近点匹配的方法存在，检测目标出现较大尺度缩放时检测准确度不够的问题，提供了一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法。

本发明所述一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法，该方法具体包括：

步骤一、对模板图像T和被搜索图像S分别进行像素特征提取，获取模板特征集F_T和目标特征集F_S；

步骤二、在模板特征集F_T中搜索目标特征集F_S中的每个目标特征的最邻近特征，获取每个目标特征在模板特征集F_T中的最邻近特征；

步骤三、利用目标特征集F_S中每个目标特征的最邻近特征，计算被搜索图像S中每个像素点与模板图像T的初始匹配相关系数；

步骤四、利用步骤三所述的初始匹配相关系数，对被搜索图像S中的像素点进行筛选，获取匹配像素点坐标集；

步骤五、对被搜索图像S的尺寸进行缩放，计算不同尺寸下匹配像素点坐标集中每个像素点的相关系数，获取相关系数最大的像素点的坐标及对应的缩放尺寸，将所述相关系数最大的像素点的坐标及对应的缩放尺寸作为模板匹配最优的检测结果，完成一次图像匹配。

进一步地，本发明中，模板特征集F_T和被搜索图像S的特征为颜色特征或深度特征。

进一步地，本发明中，像素点的深度特征的提取采用VGG19神经网络模型实现。

进一步地，本发明中，步骤二中获取每个目标特征在模板特征集F_T中的最邻近特征的方法为FLANN快速最近邻搜索库方法。

进一步地，本发明中，步骤三中所述计算被搜索图像S中每个像素点与模板图像T的初始匹配相关系数的具体方法为：

通过公式：

计算获得搜索位置坐标点(i_s,j_s)的初始匹配相关系数为C₀(i_s,j_s)，其中|{}|为计算集合中点的个数，(nn_x(i″_s,j″_s),nn_y(i″_s,j″_s))为特征f_s(i″_s,j″_s)在F_T中最近邻特征的像素坐标，(i″_t,j″_t)为模板图像的像素点集P中的点；

P＝{(i″_t,j″_t),i″_t＝0,1,...,w-1,j″_t＝0,1,...,h-1}，

Q为被搜索图像重叠区域的像素点集，

Q＝{(i″_s,j″_s),i″_s＝i″_sl,i″_sl+1,...,i″_sr,j″_s＝j″_sl,j″_sl+1,...,j″_sr}，

i″_sl＝max(i_s-w₂,0)，

i″_sr＝min(i_s+w-1-w₂,W-1)，

j″_sl＝max(j_s-h₂,0)，

j″_sr＝min(j_s+h-1-h₂,H-1)，

(i_s,j_s)为搜索位置坐标点，w是模板图像宽度，当w为偶数，w₂＝w/2，当w为奇数，w₂＝(w-1)/2，当h为偶数，h₂＝h/2，当h为奇数，h₂＝(h-1)/2，W为被搜索图像S的宽度，H为被搜索图像S的高度。

进一步地，本发明中，步骤四中利用步骤三所述的初始匹配相关系数，对被搜索图像S中的像素点进行筛选的具体方法为：

S′＝{(i′_s,j′_s),C₀(i′_s,j′_s)≥0.7×C_0m}

其中，C_0m为所有初始搜索位置相关系数的最大值，C₀(i′_s,j′_s)为坐标点(i′_s,j′_s)的初始匹配相关系数，(i′_s,j′_s)为搜索位置坐标点。

进一步地，本发明中，步骤五中所述计算不同尺寸下匹配像素点坐标集中每个像素点的相关系数的具体方法为：

通过公式：

计算获得尺度为α，搜索位置坐标点为(i′_s,j′_s)时模板匹配相关系数C(α,i′_s,j′_s)，其中，尺度α的选取范围为0.5到2，步长为0.1，其中，Q′为被搜索图像重叠区域的像素点集；

Q′＝{(i″′_s,j″′_s),i″′_s＝i″′_sl,i″′_sl+1,...,i″′_sr,j″′_s＝j″′_sl,j″′_sl+1,...,j″′_sr}，

i″′_sl＝max(i′_s-w₁,0)，

j″′_sl＝max(j_s-h₁,0)，

为向下取整函数，

Ι[]为指示函数。

本发明主要用于当对象物存在复杂形变和较大尺度缩放时，实现用模板在被搜索图像中搜寻目标。本方法是通过对模板图像和被搜索图像的像素点提取特征；对像素点间进行最近邻特征匹配；根据初步匹配的相关性系数初步筛选搜索位置；对不同尺度，所有初步筛选搜索位置进行模板匹配相关性计算，并获得最优匹配结果。本发明能够提高现实场景图像中目标存在复杂形变和较大尺度缩放时模板匹配的准确度。

附图说明

图1为本发明所述方法的流程图；

图2为现实场景中拍摄的图像，绿色矩形框区域为模板图像；

图3为现实场景中拍摄的图像，绿色矩形框区域为目标的真实区域，红色矩形框区域为该方法的模板匹配结果；

图4为模板图像与搜索覆盖子图的相关性分数热度图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

具体实施方式一：下面结合图1说明本实施方式，本实施方式所述一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法，该方法具体包括：

进一步地，本实施方式中，步骤一所述的像素特征为颜色特征或深度特征。

进一步地，本实施方式中，深度特征的提取采用VGG19神经网络模型实现。

实施方式采用的VGG19网络是一个经典的神经网络模型，在ImageNet数据集上预训练获得参数后，进行提取图像特征。它相比于传统特征提取方法更能获得图像的高层语义。

进一步地，本实施方式中，步骤二中获取每个目标特征在模板特征集F_T中的最邻近特征的方法为FLANN快速最近邻搜索库方法。

进一步地，本实施方式中，步骤三中所述计算被搜索图像S中每个像素点与模板图像T的初始匹配相关系数的具体方法为：

通过公式：

P＝{(i″_t,j″_t),i″_t＝0,1,...,w-1,j″_t＝0,1,...,h-1}，

Q为被搜索图像重叠区域的像素点集，

i″_sl＝max(i_s-w₂,0)，

i″_sr＝min(i_s+w-1-w₂,W-1)，

j″_sl＝max(j_s-h₂,0)，

j″_sr＝min(j_s+h-1-h₂,H-1)，

进一步地，本实施方式中，步骤四中利用步骤三所述的初始匹配相关系数，对被搜索图像S中的像素点进行筛选的具体方法为：

S′＝{(i′_s,j′_s),C₀(i′_s,j′_s)≥0.7×C_0m}

进一步地，本实施方式中，步骤五中所述计算不同尺寸下匹配像素点坐标集中每个像素点的相关系数的具体方法为：

通过公式：

i″′_sl＝max(i′_s-w₁,0)，

j″′_sl＝max(j_s-h₁,0)，

为向下取整函数，

Ι[]为指示函数。

本发明中在具体实施时，如图2至4所示，先分别对模板图像T和被搜索图像S中的每个像素点提取特征，

获得特征集合：

F_T＝{f_t(i_t,j_t),i_t＝0,1,...,w-1,j_t＝0,1,...,h-1}

F_S＝{f_s(i_s,j_s),i_s＝0,1,...,W-1,j_s＝0,1,...,H-1}

其中，模板图像T为宽度w，高度h的三通道图像，被搜索图像S为宽度W，高度H的三通道图像，f_t(i_t,j_t)为模板图像坐标点(i_t,j_t)处提取的特征，f_s(i_s,j_s)为被搜索图像坐标点(i_s,j_s)处提取的特征。特征可以是颜色特征或深度特征，其中，像素点的颜色特征为以该像素点为中心的3×3图像块的RGB颜色值所排列成的27维向量，像素点的深度特征通过VGG19神经网络模型的网络层conv1_2和conv3_4连接获得，VGG19网络模型参数是在ImageNet数据集上预训练获得。

然后，对特征集合F_S中的每个特征，在特征集合F_T中搜索获得其最近邻的特征，其中特征f_s(i_s,j_s)在F_T中最近邻特征的像素坐标为(nn_x(i_s,j_s),nn_y(i_s,j_s))。

最近邻特征搜索方法采用FLANN快速最近邻搜索库。

再后，将被搜索图像S中每个坐标点作为初始搜索位置，对每个初始搜索位置，计算初始匹配相关系数，其中搜索位置坐标点(i_s,j_s)的初始匹配相关系数为C₀(i_s,j_s)，并计算所有初始搜索位置相关系数的最大值C_0m；然后筛选模板匹配搜索位置，筛选后的搜索位置坐标集合为S′＝{(i′_s,j′_s),C₀(i′_s,j′_s)≥0.7×C_0m}。

最后，对不同尺度，计算所有筛选后的搜索位置的模板匹配的相关系数，其中尺度为α时，搜索位置坐标点(i′_s,j′_s)的模板匹配相关系数为C(α,i′_s,j′_s)，尺度α的选取范围从0.5到2，步长0.1；然后模板匹配相关系数的最大值对应的尺度α_m和坐标(i_sm,j_sm)即为模板匹配最优的检测结果，即

虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

Claims

1.一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法，其特征在于，该方法具体包括：

步骤五、对被搜索图像S的尺寸进行缩放，计算不同尺寸下匹配像素点坐标集中每个像素点的相关系数，获取相关系数最大的像素点的坐标及对应的缩放尺寸，将所述相关系数最大的像素点的坐标及对应的缩放尺寸作为模板匹配最优的检测结果，完成一次图像匹配；

步骤三中所述计算被搜索图像S中每个像素点与模板图像T的初始匹配相关系数的具体方法为：

通过公式：

P＝{(i″_t,j″_t),i″_t＝0,1,…,w-1,j″_t＝0,1,…,h-1}，

Q为被搜索图像重叠区域的像素点集，

Q＝{(i″_s,j″_s),i″_s＝i″_sl,i″_sl+1,…,i″_sr,j_s″＝j″_sl,j″_sl+1,…,j″_sr}，

i″_sl＝max(i_s-w₂,0)，

i″_sr＝min(i_s+w-1-w₂,W-1)，

j″_sl＝max(j_s-h₂,0)，

j″_sr＝min(j_s+h-1-h₂,H-1)，

(i_s,j_s)为搜索位置坐标点，w是模板图像宽度，当w为偶数，w₂＝w/2，当w为奇数，w₂＝(w-1)/2，当h为偶数，h₂＝h/2，当h为奇数，h₂＝(h-1)/2，W为被搜索图像S的宽度，H为被搜索图像S的高度；

步骤四中利用步骤三所述的初始匹配相关系数，对被搜索图像S中的像素点进行筛选的具体方法为：

S′＝{(i′_s,j′_s),C₀(i′_s,j′_s)≥0.7×C_0m}

计算实现，其中，S′为匹配像素点坐标集，C_0m为所有初始搜索位置相关系数的最大值，C₀(i′_s,j′_s)为坐标点(i′_s,j′_s)的初始匹配相关系数，(i′_s,j′_s)为搜索位置坐标点；

步骤五中所述计算不同尺寸下匹配像素点坐标集中每个像素点的相关系数的具体方法为：

通过公式：

计算获得尺度为α搜索位置坐标点为(i′_s,j′_s)时模板匹配相关系数C(α,i′_s,j′_s)，其中，尺度α的选取范围为0.5到2，步长为0.1，其中，Q′为被搜索图像重叠区域的像素点集；

Q′＝{(i″′_s,j″′_s),i″′_s＝i″′_sl,i″′_sl+1,…,i″′_sr,j″′_s＝j″′_sl,j″′_sl+1,…,j″′_sr}，

i″′_sl＝max(i′_s-w₁,0)，

j″′_sl＝max(j_s-h₁,0)，

为向下取整函数，

Ι[]为指示函数。

2.根据权利要求1所述的一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法，其特征在于，步骤一所述的像素特征为颜色特征或深度特征。

3.根据权利要求2所述的一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法，其特征在于，深度特征的提取采用VGG19神经网络模型实现。

4.根据权利要求1所述的一种鲁棒的基于最近邻特征点匹配的多尺度模板匹配方法，其特征在于，步骤二中获取每个目标特征在模板特征集F_T中的最邻近特征的方法为FLANN快速最近邻搜索库方法。