CN101785028B - 图像处理装置和图像处理方法 - Google Patents

Abstract

公开了对低画质或小尺寸的图像也能够高速且正确地进行形状检测或形状跟踪的图像处理装置。图像处理装置(100)包括：采样点设定单元(102)，在搜索区域内设定多个采样点；候选形状生成单元(103)，设定与目标形状对应的多个指定方向，从各个采样点沿着多个指定方向搜索图像的边缘点，并生成由通过检测出的边缘点的直线构成的候选形状；投票图生成单元(104)，生成由各个候选形状投票给各个候选形状的特征点的位置的投票图；以及形状特征点检测单元(105)，基于对投票图中的特征点的投票结果，确定目标形状的特征点。

Description

图像处理装置和图像处理方法

技术领域

本发明涉及从拍摄图像高速地检测或跟踪特定形状的图像处理装置和方法。特别涉及从拍摄图像检测或跟踪如交通标志那样的轮廓形状固定的特定形状的装置和方法。 

背景技术

以往，广泛利用从拍摄图像检测或跟踪特定形状的图像处理装置。例如，在用于工厂自动化(FA)的图像处理装置中，通过连续检测零件形状，实现对拿错零件或零件缺陷进行识别。另外，对最近的机器人导航中的诱导标志的识别或遥感(remote sensing)中的建筑物的识别，也利用特定形状的检测和跟踪。 

另外，存在以下的装置，即，为了补助驾驶，识别交通标志，并将该识别的标志信息通知给驾驶员，或者将该标志信息用于车辆控制。在标志识别装置中，利用摄像机(camera)拍摄前方，从该拍摄图像中提取标志所使用的包含特定形状的候选区域图像，并利用该提取出的候选区域图像和标志图像的模板(template)进行模式对照(pattern matching)处理来识别标志。交通标志的自动识别处理为ITS系统的重要的结构部分。通过正确地识别交通标志，有助于降低交通事故发生率、以及提高汽车的安全性。另外，通过交通标志的识别，能够向驾驶员提供更多的信息，其结果，能够减轻驾驶的疲劳，提供舒适的驾驶环境。 

这样，特定形状的检测和跟踪在多个领域中成为重要的技术，提出了用于高速且高精度地进行特定形状的检测和跟踪的各种装置和方法。 

例如，在专利文献1和专利文献2中，提出了特别在进行形状跟踪时，利用粒子滤波(particle filter)的技术。在专利文献1中，首先在搜索范围内，基于一定的分散度，随机生成多个矩形块。然后，利用颜色直方图(colorhistogram)等特征，将各个块与搜索对象的模型(model)进行对照，并计算 各个块成为跟踪对象的几率作为对照几率。然后，基于计算出的多个对照几率的重心，估计对象位置。 

另外，在专利文献3中，公开了利用边缘对照来跟踪形状的技术。在专利文献3中，首先计算对象的边缘模型，并将其投影到输入图像。然后，在边缘模型的投影处的局部区域中，搜索输入图像的边缘点，并使其组织化。然后，利用组织化的参数，计算作为跟踪对象的似然，并组合计算出的多个似然，估计跟踪形状的位置。 

另外，在专利文献4中，公开了通过来自图像的边缘点的投票来检测形状的方法。在专利文献4中，对位于图像的所有的边缘点与边缘方向垂直的方向的线段进行投票，生成投票图(vote map)。然后，通过对投票点的峰值位置以及投票到该位置的边缘点的方向进行分类，检测多边形等。 

专利文献1：特开第2005-149509号公报 

专利文献2：特开第2005-70043号公报 

专利文献3：特开第2006-285358号公报 

专利文献4：国际公开第2008/010488号小册子(WO，A1) 

非专利文献1：崔屹编著“图像处理与分析一数学形态学方法及应用”(中国、科学出版社、2000年出版) 

发明内容

发明需要解决的问题 

另外，由于专利文献1和专利文献2的公开技术利用多个块，所以适合于具有明确的组件(component)结构的图像，但难以应用于交通标识或小尺寸的图像。另外，利用颜色直方图等局部积分型的块特征，所以难以检测和跟踪轮廓。 

另外，专利文献3的公开技术以高画质边缘图像的存在为前提，所以难以应用于低画质图像。另外，在跟踪对象的边缘模型的投影位置和输入图像的边缘分布之间需要密接的对应关系，但在车载摄像机视频的情况下，道路状况和运行状态等产生变化，所以无法保证该对应关系。另外，似然的计算对非刚体有优点，但在如标志那样的刚体的情况下，局部边缘特征较少，所以难以进行正确的似然的计算。 

专利文献4的公开技术由于从所有的边缘点进行投票，所以有可能检测出实际不存在的特定形状。另外，来自所有的边缘的投票以及投票数的最大值的搜索等操作较为耗时，所以算法的执行速度有可能降低。因此，难以实现高速化。 

尤其在图像的跟踪处理中，期望进一步的高速化。另外，尤其在车辆用的图像跟踪处理中，期望即使对低画质或小尺寸的图像，也能够高速地进行图像的跟踪处理的装置和方法。 

本发明是为了解决上述问题而提出的，并且本发明提供即使对低画质或小尺寸的图像，也能够高速且正确地进行形状检测或形状跟踪的图像处理装置和图像处理方法。 

解决问题的方案 

本发明的图像处理装置的一个形态所采用的结构，包括：搜索区域设定单元，从拍摄图像设定搜索区域；采样点设定单元，在所述搜索区域内设定多个采样点；候选形状生成单元，设定与目标形状对应的多个指定方向，从各个采样点沿着所述多个指定方向搜索图像的边缘点，并生成由通过检测出的边缘点的直线构成的候选形状；投票图生成单元，生成由各个候选形状投票给各个候选形状的特征点的位置的投票图；以及形状特征点检测单元，基于所述投票图中的对所述特征点的投票结果，确定所述目标形状的特征点。 

本发明的图像处理装置的另一个形态所采用的结构，包括：搜索区域设定单元，从拍摄图像设定搜索区域；形状分解单元，将目标形状分解为由所述目标形状的一部分的边构成的部分形状，采样点设定单元，在所述搜索区域内设定多个采样点；候选形状生成单元，设定与所述部分形状对应的多个指定方向，从各个采样点沿着所述多个指定方向搜索图像的边缘点，并生成由通过检测出的边缘点的直线构成的部分形状的候选形状，投票图生成单元，生成由各个候选形状投票给各个候选形状的特征点的位置的投票图；形状特征点检测单元，基于所述投票图中的对所述部分形状的所述特征点的投票结果，确定所述部分形状的特征点，以及目标形状确定单元，基于能够确定的特征点的数以及各个部分的特征点的相对位置关系，对目标形状进行检测。 

发明的效果 

根据本发明，即使对低画质或小尺寸的图像，也能够高速且正确地进行形状检测或形状跟踪。 

附图说明

图1是表示本发明实施方式1的图像处理装置的结构的方框图。 

图2A是用于说明搜索区域的图，图2B是用于说明采样点(sample point)的图，图2C是用于说明指定方向(搜索方向)的图，图2D是用于说明候选形状的图，图2E是用于说明候选形状的特征点的图。 

图3是用于说明实施方式1的动作的流程图。 

图4A是例示具有三边各自平行的内外两个三角形的交通标志的图，图4B是表示具有三边各自平行的内外两个三角形的交通标志的重心的图。 

图5是用于说明实施方式2的图，图5A是表示搜索区域和目标(target)的四边形的图，图5B是用于说明沿着指定方向的边缘点的搜索以及候选形状的生成的图，图5C是用于说明候选形状的特征点(对角线交点)的图。 

图6是用于说明实施方式3的图，图6A和图6B是用于说明指定方向(搜索方向)的图，图6C是用于说明边缘点的搜索、边缘方向和中心候选的图。 

图7是用于说明实施方式4的图，图7A是用于说明将目标形状分解为部分形状的处理的图，图7B是表示各个部分形状的特征点(内接圆(inscribed circle)的中心点)的图。 

图8A和图8B是分别表示一例骨架(skeleton)的图。 

图9是表示实施方式4的处理步骤的流程图。 

图10是表示用于实现实施方式4的处理的结构的方框图。 

具体实施方式

本发明提供从图像检测或跟踪由线段的组合构成的形状的装置和方法。线段的组合是指，检测对象的图像的轮廓包含一个以上的线段。轮廓既可以是开放形状，也可以是封闭形状。本发明能够适用于形状的检测和跟踪的两者，尤其由于能够实现高速的处理，所以能够适合于要求高速的处理的形状跟踪。 

以下，参照附图详细地说明本发明的实施方式。 

(实施方式1) 

为了简化说明，以正三角形的检测和跟踪为例进行记述。另外，假定正三角形的一边处于上方且位于水平位置。 

图1表示本实施方式的图像处理装置的结构。在图1中，图像处理装置100将帧图像作为输入图像输入搜索区域设定单元101。 

搜索区域设定单元101将输入图像的规定区域设定为搜索区域。在搜索区域设定单元101进行形状检测时，即在当前帧之前的帧未检测目标形状的位置时，将所有画面设定为搜索区域。另一方面，在搜索区域设定单元101进行形状跟踪时，即在先前帧检测出目标形状的位置时，将包含该检测位置的周边设定为搜索区域。在进行形状跟踪时，搜索区域设定单元101基于形状特征点检测单元105的输出，设定搜索区域。 

例如，如图2A所示，在时刻t的帧中检测出“暂时停车”的标志时，搜索区域设定单元101将包含检测出“暂时停车”的标志的位置的周边区域R设定为t+1的帧中的搜索区域R。这里，搜索区域R表示目标形状的大致的存在范围，无需明示目标形状的移动模式(pattern)或几率分布等。另外，优选考虑目标形状的移动方向和速度来决定搜索区域R的大小。另外，搜索区域R的大小影响后述的采样点的数、形状检测的计算时间以及形状跟踪的计算时间，所以可以考虑这些来设定搜索区域R的大小。另外，在该图中，搜索区域R为矩形，但搜索区域R也可以为矩形以外的形状。另外，时刻t+1的帧和时刻t的帧的图像也可以为同一图像。 

采样点设定单元102从搜索区域内存在的像素点中选择多个采样点，设定该多个采样点。图2B表示采样点的情形。在图2B中，仅以符号p表示一个采样点，但在图2B所示的所有的点都可以为采样点p。例如，也可以将以图2B的点表示的搜索区域R内的所有像素点都设定为采样点p。另外，采样点并不限于像素点，只要是搜索区域内的点即可。采样点p的间隔既可以为等间隔，也可以为非等间隔。 

候选形状生成单元103从采样点设定单元102输入采样点的位置信息，并且输入目标形状信息。目标形状信息为目标形状存储器106所存储的与特定形状有关的信息。在本实施方式的情况下，在目标形状存储器106中存储多个交通标志的信息作为目标信息，采样点设定单元102从多个交通标志中读出目标形状信息。例如，在已决定要检测或跟踪的形状时，读 出检测或跟踪对象的目标形状信息。另一方面，在未决定要检测或跟踪的形状时，从多个交通标志中依序读出目标形状信息即可。 

候选形状生成单元103首先基于目标形状信息，设定用于检测边缘的指定方向。然后，候选形状生成单元103以采样点为起点沿着指定方向搜索图像的边缘点。 

图2C表示具体例。候选形状生成单元103从采样点p沿着三个指定方向la、lb和lc搜索边缘点。搜索范围是由搜索区域设定单元101设定的搜索区域R。在本实施方式的情况下，指定方向被设定为与要检测或跟踪的目标形状的边垂直的方向。例如，在目标形状为如图2A所示的“暂时停车”那样的正三角形时，从内部垂直通过正三角形的三边的三个方向、即90度(la)、210度(lb)和330度(lc)的方向被设定为指定方向。候选形状生成单元103以采样点p为起点，沿着方向la、方向lb和方向lc搜索边缘点。 

接着，候选形状生成单元103基于检测出的边缘点生成候选形状。图2D表示具体例。在以方向la检测出边缘点A、以方向lb检测出边缘点B、以及以方向lc检测出边缘点C1和C2时，候选形状生成单元103生成由通过检测出的边缘点的直线构成的形状作为目标形状的候选形状。在图2D的例子时，目标形状为正三角形，而且指定方向为从内部垂直通过正三角形的三边的三个方向，所以候选形状生成单元103生成由通过检测出的边缘点且与指定方向垂直的多个直线构成的形状作为候选形状。在图2D的例子时，生成三角形XY1Z1和三角形XY2Z2作为候选形状。 

候选形状生成单元103对所有的采样点进行这样的候选形状的生成处理。 

投票图生成单元104求候选形状的特征点，还通过使用投票的方法，生成表示多个候选形状所支持的程度的投票图。特征点优选为对目标形状具有唯一性的点。在三角形的情况下，重心或垂心等为具有唯一性的点，所以可以求重心或垂心作为特征点。这里，投票图生成单元104所生成的投票图为所有的候选形状对各自的特征点投一票的图形。例如，如图2E所示，由作为候选形状的三角形XY1Z1对自身的重心F1投一票，由作为候选形状的三角形XY2Z2对自身的重心F2投一票。 

投票图生成单元104基于采样点设定单元102所设定的所有的采样点，统计候选形状生成单元103所生成的来自所有候选形状的投票结果。 具体而言，例如，将特征点的可存在位置限定为像素位置，合计各个像素所获得的投票数，由此计算各个像素位置的票数。 

形状特征点检测单元105基于投票图的统计结果，确定要检测或跟踪的形状的特征点。具体而言，形状特征点检测单元105从投票图中检测获得了票数的局部峰值(local peak)(投票数峰值)的像素位置(特征点位置)，在该像素位置的票数大于规定的阈值Th时，将该像素位置确定为目标形状的特征点位置。 

另外，也可以在形状特征点检测单元105的后级设定形状确定单元，所述形状确定单元基于形状特征点检测单元105检测出的特征点的位置，确定目标形状的位置。如上所述，特征点为重心或垂心等具有唯一性的点，并且目标形状已决定，所以形状确定单元能够基于这些，确定目标形状的位置。 

这里，也可以如下检测所述投票数峰值。例如，在投票阈值为Th，采样点为等间隔的情况下，投了票的采样数大于Th^*a时，将其作为峰值而进行检测。其中，a取决于画质。由仿真的结果，可知若设定为0.4＜a＜＝0.8，则能够兼顾处理速度和处理精度。 

另外，候选形状生成单元103所生成的各个候选形状的位置通常具有多样性，所以各个候选形状的特征点位置不同。但是，在基于要检测的目标三角形的内部中的采样点而生成的候选形状中，通常包含多个形成该三角形的正确的边缘点的形状，其结果，对于形成正确的边缘点的候选形状的特征点的投票数成为局部峰值。因此，能够基于该局部峰值求目标三角形的特征点的位置，也能够基于该特征点的位置确定目标三角形的位置。 

另一方面，在搜索区域R中不存在目标形状时，边缘点的分布或候选三角形的位置是随机的，所以不形成投票数的局部峰值。换言之，在不形成投票数的峰值时，意味着在搜索区域R中不存在目标形状。 

接着，使用图3说明本实施方式的图像处理装置100的动作。 

图像处理装置100输入图像后，通过搜索区域设定单元101设定搜索区域(步骤ST1)。接着，采样点设定单元102确定采样点(步骤ST2)。 

接着，候选形状生成单元103基于目标形状信息，确定用于搜索边缘的搜索方向(指定方向)(步骤ST3)。接着，候选形状生成单元103沿着指定方向搜索图像的边缘点，确定边缘点(步骤ST4)。接着，候选形状生成单元103生成由通过确定的边缘点的直线构成的形状作为目标形状的候选形状(步骤ST5)。 

接着，投票图生成单元104求候选形状的特征点，还生成投票给各个候选形状的特征点的投票图(步骤ST6)。 

接着，图像处理装置100对搜索区域内的指定方向的所有边缘点判断是否完成候选形状生成处理和投票处理(步骤ST7)，在未完成时返回到步骤ST5，在完成时进入步骤ST8。 

在步骤ST8中，图像处理装置100判断对搜索区域内设定的所有的采样点的处理是否完成，在未完成时返回到步骤ST2而对下一个采样点进行步骤ST2至ST7的处理，在完成时进入步骤ST9。 

在步骤ST9中，投票图生成单元104进行对从所有采样点和所有候选形状获得的特征点的投票结果的统计，形状特征点检测单元105检测投票数的峰值。 

接着，在步骤ST10中，形状特征点检测单元105对投票数的峰值进行阈值判定，在峰值的投票数大于规定的阈值时，判断为获得了峰值的特征点是目标形状的特征点。由此，确定在搜索区域内存在目标形状，还能够基于获得了峰值的特征点的位置，确定目标形状的位置。 

图像处理装置100将由此确定的目标形状的特征点的位置信息或目标形状的位置信息，输出到设置在形状特征点检测单元105的后级侧的、例如车辆的自动控制装置或警报装置等。 

如上说明，根据本实施方式，图像处理装置100包括：采样点设定单元102，在搜索区域内设定多个采样点；候选形状生成单元103，设定与目标形状对应的多个指定方向，从各个采样点沿着多个指定方向搜索图像的边缘点，并生成由通过检测出的边缘点的直线构成的候选形状；投票图生成单元104，生成由各个候选形状投票给各个候选形状的特征点的位置的投票图；以及形状特征点检测单元105，基于对投票图中的特征点的投票结果，确定目标形状的特征点。 

由此，对低画质或小尺寸的图像也能够高速地进行形状检测或形状跟踪。也就是说，基于图像的形状(边缘)而检测目标形状，所以只要边缘出现，即使对低画质或小尺寸的图像也能够进行检测和跟踪。另外，即使对低帧频(frame rate)的图像、即先前帧与当前帧之间目标形状的移动较大的图像，也能够实现良好的形状跟踪。 

另外，仅对与目标形状对应的方向进行边缘点的检测，所以用于边缘点检测的处理量较少。因此，能够高速地进行形状检测或形状跟踪。也就是说，在通常的情况下，综合水平方向的边缘强度和垂直方向的边缘强度来求边缘点，在本发明中，限定于指定方向来求边缘点，所以尤其在搜索区域R较大时，能够大幅度地削减计算量。 

这里，在本实施方式的图像处理装置100中，直接利用亮度图像的采样点即像素点，所以无需对所有图像或搜索区域进行预处理。另外，对所有的采样点进行完全相同的处理，所以算法较为简单。本实施方式的执行速度取决于采样点的数。另外，在本实施方式的结构中，通过适宜地设定搜索区域和投票阈值，能够控制系统的效率。根据实验的结果，通过车载摄像机拍摄日本的“暂时停车”(日文的“止まれ”)的交通标志，利用CPU频率为1.8[GHz]、存储器容量为512[MB]的个人电脑，将采样点设定为600个点至1000个点之间时，一个帧的跟踪时间大致为15[msec]，能够实时地实现交通标志的检测和跟踪。 

另外，在上述的实施方式中，作为一例，说明了目标形状为正三角形的情况，但本发明并不限于此，能够适用于任意三角形。在任意三角形时，例如三边的方向分别为θ1、θ2、θ3时，也可以将采样点对边缘点进行搜索的方向设定为θ1-90°、θ2-90°和θ3-90°、即与三边垂直的方向。上述角度通常为边或其延长线与水平方向所成的角度。 

另外，在上述的实施方式中，主要说明了直至目标形状的特征点的检测为止，但以下说明考虑到目标形状的特征点和目标形状之间的关系的处理。 

如图4A所示的“暂时停车”的标志那样，也存在三边各自平行的内外两个三角形110和111的情况。此时，如图4B所示，两个三角形110和111的重心F1和F2重叠(处于同一位置)。在检测标志时，应该一并考虑两个三角形而不对其进行区分，所以如上述的实施方式那样，对目标形状的检测或跟踪而言，优选使用重心作为特征点，对重心进行检测或跟踪。另一方面，也存在要对两个三角形110和111进行区分，对各自进行检测或跟踪的情况。此时，投票图生成单元104也可以在投票给特征点时，存储进行投票的边缘点(候选形状)与被投票的特征点之间的距离，形状特征 点检测单元105考虑上述距离而因距离而异地决定特征点。也就是说，检测出图4B的重心(特征点)F1和重心(特征点)F2作为不同距离的形状特征点。因此，也能够分别对两个三角形110和111进行检测或跟踪。如上所述的基于形状特征点来求形状的处理既可以通过形状特征点检测单元105来进行，也可以在形状特征点检测单元105的后级追加形状确定单元来进行。 

(实施方式2) 

在实施方式1中，说明了目标形状为三角形时的检测或跟踪，但在本实施方式中，使用图5说明目标形状为四边形时的检测或跟踪。 

图5A表示搜索区域R和要检测的四边形S。为了检测四边形S，候选形状生成单元103首先以采样点p为起点，沿着四个方向即图5B所示的方向la、lb、lc和ld搜索边缘点。 

方向la、lb、lc和ld为从内部点垂直通过四边形S的边的方向。通常，若四边形的四个边的方向为θ1、θ2、θ3和θ4，则将la、lb、lc和ld的方向分别指定为θ1-90°、θ2-90°、θ3-90°和θ4-90°。 

在从四个指定方向检测出边缘点A、B、C1、C2和D时，候选形成生成单元103利用向上述的指定方向垂直通过检测出的边缘点A、B、C1、C2和D的直线，生成候选四边形。在图5B的情况下，生成四边形XY1Z1W和四边形XY2Z2W作为候选四边形。 

接着，如图5C所示，在投票图生成单元104中，四边形XY1Z1W和四边形XY2Z2W分别投票给自身的对角线交点F1和F2。其后的处理与实施方式1相同，通过基于采样点设定单元102所设定的所有采样点，统计候选形状生成单元103所生成的来自所有候选形状的投票点，确定目标形状的特征点(对角线的交点)位置。最后，根据需要，利用确定了的交点与边缘点之间的距离，确定作为目标形状的四边形的位置。 

(实施方式3) 

在本实施方式中，使用图6说明目标形状为圆时的检测和跟踪。 

候选形状生成单元103首先将搜索边缘点的指定方向设定为多个固定方向。指定方向通常优选为等分360度而获得的方向。例如，选择图6A所示的四个方向(0°、90°、180°和270°)或图6B所示的八个方向(0°、 45°、90°、135°、180°、225°、270°和315°)。另外，也可以指定更多的方向，例如16个方向。 

接着，候选形状生成单元103从两个相反方向同时搜索边缘点。例如，如图6C所示，以采样点p为起点，沿着指定方向la和指定方向lb搜索边缘。候选形状生成单元103在从指定方向la和指定方向lb检测出边缘点A和边缘点B时，利用边缘点A的边缘方向u和边缘点B的边缘方向v进行验证。若将边缘方向u与指定方向la所成的角度表记为a，将边缘方向v与指定方向lb所成的角度表记为b，在角度a与角度b之差大于规定的阈值时，则边缘点A和边缘点B不会同时成为圆的边缘点。在角度a与角度b之差为阈值以下时，候选形状生成单元103计算通过边缘点A且与边缘方向u垂直的直线以及通过边缘点B且与边缘方向v垂直的直线之间的交点F，将交点F作为圆的中心点候选，将交点FA或FB作为圆的半径候选。 

投票图生成单元104生成从所有采样点投票给中心点候选和半径候选的投票图，形状特征点检测单元105基于投票图中的、对中心点候选和半径候选的投票结果，确定要检测或跟踪的圆的中心点和半径。 

另外，也可以校正角度a与角度b之差。例如，计算角度a和角度b的平均，使边缘方向u和边缘方向v旋转以使其为平均值，基于该平均值，进行交点F的计算和其他的处理。 

(实施方式4) 

在本实施方式中，说明任意多边形的检测和跟踪的方法。使用图7进行说明。 

在图7所示的检测五边形时，需要与上述实施方式不同的方法。源于两个理由。第一个理由为，需要从五个指定方向搜索边缘点，所以计算量增加，并且即使从目标形状内部的采样点沿着指定方向搜索边缘点，也有可能不与目标形状的边交叉。也就是说，无法从指定方向搜索正确的边缘点，所以无法生成正确的候选形状。将这样的采样点称为无效采样点。第二个理由为，若多边形的边增加，则通常上述无效采样点的数也陡然增加。 

说明图7A所示的检测五边形ABCDE的情况。首先，将五个边分解为多个组(部分形状)。例如，将AE、DE和CD分类为第一组，将AB、  BC和CD分类为第二组，将AB、AE和CD分类为第三组。若检测这些三个组，而且三个组的特征点位置处于规定的相对关系，则能够确定五边形。 

作为将五边形分组的方法，利用专利文献4中记载的内接圆的方法即可。也就是说，组AE-DE-CD利用上述的实施方式1和实施方式3的方法，投票给三边的内接圆的中心点(特征点)，基于该投票结果，检测组AE-DE-CD中心点的位置和内接圆的半径。同样地，组AB-BC-CD和组AB-AE-CD也检测各自的内接圆中心点和半径。其结果，如图7B所示，能够检测三个中心点O1、O2和O3(特征点)。根据O1、O2和O3的相对位置或其对应的半径，能够判断是否为五边形ABCDE。为五边形时，基于内接圆的中心点O1、O2、O3和半径，确定五边形的位置即可。 

对五边形以外的任意形状，与上述同样地，以内接圆为基准，分为多个组即可。而且，在通过投票的方法检测出各个组的内接圆的中心点和半径后，基于组间的内接圆的相对位置或其对应的大小，判断是否为原来的形状(目标形状)。在为目标形状时，基于内接圆的中心点和半径，确定目标形状的位置即可。 

更详细地进行说明。在实施方式1至4中，记述了三角形、四边形、五边形和圆等形状的检测和跟踪的处理。通常在边数为5以下时，搜索边缘点的方向分别与各个边垂直，所以搜索的方向的数与边数相等。 

但是，如上所述，若对边数较多的多边形单纯地以与边垂直的方向搜索边缘点，有时出现效率较差的情况。也就是说，若无效采样点增加而投票用的有效采样点数减少，则需要在本实施方式中说明过的方法。 

也就是说，将多边形分解为多个部分，首先对各个部分的特征点进行检测或跟踪。然后，基于能够确定的特征点的数以及各个部分的特征点的相对位置关系，对形状整体进行检测或跟踪。作为将形状分解为部分的方法，也可以将具有共用的内接圆的多个边分类为一个部分。此时，内接圆的中心点为投票对象的特征点。 

以往，在图像处理的领域中已知骨架提取技术。例如在非专利文献1中记载了骨架提取技术。具体而言，骨架由形状的最大内接圆的中心点构成。最大内接圆是指，完全包含在形状内，与形状的至少两边接触，并且 不包含在其他的内接圆的内接圆。骨架为形状的基本特征之一。图8表示两个形状的骨架(细线)。相对于由直线形成的封闭形状，以存在于骨架中的交点、例如图8A和图8B的点T1和T2为中心点的内接圆与形状的边接触最多(至少三边)，所以可以考虑这些点包含较多的目标形状的几何信息。因此，适合将骨架的交点所对应的内接圆用做本实施方式的内接圆。 

在本实施方式中记述了的处理能够适用于任意多边形的检测或跟踪。另外，也能够适用于组合形状、例如由弧线和多边形的组合构成的形状。 

图9表示本实施方式的检测或跟踪任意多边形时的步骤。首先，对目标的多边形进行分解(步骤ST21)。例如，分为直线的部分和曲线的部分。接着，确定与直线的部分对应的内接圆，确定该内接圆与曲线的部分的几何关系(步骤ST22)。接着，设定采样点(步骤ST23)。接着，从采样点沿着指定方向搜索边缘点，并基于检测出的边缘点，生成目标形状的候选形状(或者与候选形状对应的特征点)(步骤ST24)。接着，从基于所有的采样点而生成的候选形状或候选形状的特征点进行投票(步骤ST25)。接着，统计多个投票结果，检测投票的局部峰值(步骤ST26)。接着，基于投票峰值，检测部分形状，并在具有多个部分形状时，确定多个投票结果的峰值位置的相对关系(步骤ST27)。另外，在步骤ST27中，基于所确定的直线的部分以及直线的部分与曲线的部分的几何关系，验证曲线部分的存在，判别有无目标形状，从而确定其位置。 

这里，只要利用图10所示的结构，就能够实现本实施方式的处理。在对与图1对应的部分附上相同的标号表示的图10中，图像处理装置200包括：形状分解单元201、以及目标形状确定单元202。图像处理装置200在形状分解单元201中进行步骤ST21和ST22的处理。另外，在采样点设定单元102中进行步骤ST23的处理。在候选形状生成单元103中进行步骤ST24。在投票图生成单元104中进行步骤ST25。在形状特征点检测单元105中进行步骤ST26。在目标形状确定单元202中进行步骤ST27。 

另外，搜索边缘点的方向和数既可以与目标形状的边的方向和数一致，也可以不一致。但是，可以考虑使搜索的方向和数与目标形状的方向和数一致的情况比不一致的情况，能够良好地进行多边形的检测或跟踪。也就是说，检测三角形时搜索方向为三个，在检测四边形时搜索方向为四 个。另外，各自的搜索方向优选为与多边形的边垂直的方向。为了对应任意多边形，可以如上所述地将多边形以内接圆为基准进行分解，并投票给骨架的交点。 

在使搜索边缘点的方向和数与目标形状的边的方向和数一致时，确定适用对象，所以通用性较差，但相反地，确定搜索方向，所以计算简单，执行速度较快。另一方面，在不使搜索边缘点的方向和数与目标形状的边的方向和数一致时(例如，将搜索方向固定为特定的10个方向时)，虽然具有通用性，但对于特定对象的精度较低，计算量也较多。 

如上说明，根据本发明，检测一次目标形状后，能够限定该形状的搜索范围而实现跟踪。即使在仅以一部分的采样点才能够检测边缘点时(只有一部分能够正确地进行投票时)，也能够利用本发明的方法和装置，所以对包含遮挡、噪音或者模糊边缘的图像(即低画质或小尺寸的图像)具有较强的鲁棒性。 

另外，本发明能够直接处理亮度图像，所以无需对图像整体或搜索区域进行画质改善、噪音削除或边缘处理。另外，仅计算来自采样点的指定方向上存在的边缘点，所以具有较快的计算速度和较强的鲁棒性。 

另外，本发明仅将基于目标形状的边的指定方向的边缘点作为对象，所以能够适宜地选择边缘计算用的过滤(filter)。另外，通常从一个采样点求至少三个方向上的边缘点而形成候选形状，所以起因于正确的形状以外的边缘点的误测较少。 

另外，用于说明上述的各个实施方式的各个功能模块，典型的被实现为由集成电路构成的LSI(大规模集成电路)。另外，也可以由计算机程序来进行上述各个功能块。 

2007年9月11日提交的第200710148756.0号的中国专利申请所包含的说明书、附图以及说明书摘要的公开内容全部引用在本申请。 

工业实用性 

本发明的图像处理装置和图像处理方法具有即使从低画质或小尺寸的图像也能够高速地进行形状检测或形状跟踪的效果，能够广泛适用于例如车辆的交通标志识别系统、机器人导航、遥感的建筑物检测装置等。 

Claims (9)

1.图像处理装置，包括：

搜索区域设定单元，从拍摄图像设定搜索区域；

采样点设定单元，在所述搜索区域内设定多个采样点；

候选形状生成单元，设定与目标形状对应的多个指定方向，从各个采样点沿着所述多个指定方向搜索图像的边缘点，并生成由通过检测出的边缘点的直线构成的候选形状；

投票图生成单元，生成由各个候选形状投票给各个候选形状的特征点的位置的投票图；以及

形状特征点检测单元，基于所述投票图中的对所述特征点的投票结果，确定所述目标形状的特征点。

2.如权利要求1所述的图像处理装置，

由所述候选形状生成单元设定的所述多个指定方向为与所述目标形状的边垂直的方向。

3.如权利要求1所述的图像处理装置，

由所述候选形状生成单元设定的所述多个指定方向为将360度等间隔地分割所得的方向。

4.如权利要求1所述的图像处理装置，

在所述目标形状为三角形时，所述特征点为三角形的重心或垂心。

5.如权利要求1所述的图像处理装置，

在所述目标形状为凸四边形时，所述特征点为凸四边形的对角线的交点。

6.如权利要求1所述的图像处理装置，

还包括：

形状确定单元，基于所述形状特征点检测单元所确定的所述特征点，确定所述拍摄图像内的所述目标形状的位置。

7.图像处理装置，

包括：

搜索区域设定单元，从拍摄图像设定搜索区域；

形状分解单元，将目标形状分解为由所述目标形状的一部分的边构成的部分形状，

采样点设定单元，在所述搜索区域内设定多个采样点；

候选形状生成单元，设定与所述部分形状对应的多个指定方向，从各个采样点沿着所述多个指定方向搜索图像的边缘点，并生成由通过检测出的边缘点的直线构成的部分形状的候选形状，

投票图生成单元，生成由各个候选形状投票给各个候选形状的特征点的位置的投票图；

形状特征点检测单元，基于所述投票图中的对所述部分形状的所述特征点的投票结果，确定所述部分形状的特征点，以及

目标形状确定单元，基于能够确定的特征点的数以及各个部分的特征点的相对位置关系，对目标形状进行检测。

8.如权利要求7所述的图像处理装置，

还包括：

形状确定单元，基于所述形状特征点检测单元对每个部分形状所确定的所述特征点，确定所述拍摄图像内的所述目标形状的位置。

9.图像处理方法，包括以下的步骤：

从拍摄图像设定搜索区域；

在所述搜索区域内设定多个采样点；

设定与目标形状对应的多个指定方向；

从各个采样点沿着所述多个指定方向搜索图像的边缘点；

生成由通过检测出的边缘点的直线构成的候选形状；

生成由各个候选形状投票给各个候选形状的特征点的位置的投票图；以及

基于所述投票图中的对所述特征点的投票结果，确定所述目标形状的特征点。

Images