[go: up one dir, main page]

CN110264445B - 分块模板匹配结合形态学处理的电池丝印质量检测方法 - Google Patents

分块模板匹配结合形态学处理的电池丝印质量检测方法 Download PDF

Info

Publication number
CN110264445B
CN110264445B CN201910460803.8A CN201910460803A CN110264445B CN 110264445 B CN110264445 B CN 110264445B CN 201910460803 A CN201910460803 A CN 201910460803A CN 110264445 B CN110264445 B CN 110264445B
Authority
CN
China
Prior art keywords
template
difference
region
battery
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910460803.8A
Other languages
English (en)
Other versions
CN110264445A (zh
Inventor
李兵
张少杰
赵�卓
高飞
刘桐坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Huansheng Precision Alloy Material Co ltd
Original Assignee
Xian Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xian Jiaotong University filed Critical Xian Jiaotong University
Priority to CN201910460803.8A priority Critical patent/CN110264445B/zh
Publication of CN110264445A publication Critical patent/CN110264445A/zh
Application granted granted Critical
Publication of CN110264445B publication Critical patent/CN110264445B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • G06T7/0006Industrial image inspection using a design-rule based approach
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/136Segmentation; Edge detection involving thresholding
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/155Segmentation; Edge detection involving morphological operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30144Printing quality

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种分块模板匹配结合形态学处理的电池丝印质量检测方法,基于形态学的模板匹配方法建立文字部分模板;应用阈值分割和形态学腐蚀提取电池区域;采用求解电池区域最小外接矩形的方式确定倾斜角度,采用等间隔旋转搜索算法寻找最小外接矩形作为最终结果,利用仿射变换对偏转角度进行反向旋转进行电池校正及裁减;采用差影方法识别插画部分缺陷检测;然后依次屏蔽插画,文字分割,文字提取及校正,文字重组,待检文字骨架提取,再采用差影方法识别文字部分缺陷,采用可疑区域平移作差检测和可疑区域微量旋转作差检测进行缺陷检测。准确率高,成本较低,对国内电池丝印质量自动化检测领域有一定程度的推动作用。

Description

分块模板匹配结合形态学处理的电池丝印质量检测方法
技术领域
本发明属于机器视觉自动化表面检测技术领域,具体涉及一种分块模板匹配结合形态学处理的电池丝印质量检测方法。
背景技术
电池丝印内容包含插画、中文、英文、韩文、数字以及条码等多种复杂图样,涵盖包括产地、型号、规格、警告和使用禁忌等大量重要信息,以上内容一般均通过丝网印刷的方式印刷到电池表面,所以丝印质量极其重要。由于设备、工艺及人员等因素影响,会导致丝印印刷缺陷,主要缺陷表现为缺损、歪斜、模糊、重影、脏污、色差和位置异常等。传统的外观检测方法主要为依靠肉眼和放大镜进行人工检测,由于不可避免地受人类情绪、周边环境噪声、工作专注度等因素影响,难以保证检测结果的准确性和实时性,因此开发一套检测算法和自动化检测系统迫在眉睫。
为了实现对丝印质量的自动化检测,国内外学者进行了大量研究,涌现出了许多经典方法,如全局模板匹配法、基于逐像素分层检测法、神经网络算法,小波变换检测方法、Gabor变换算法、特征提取法等等。但以上方法主要存在两个问题:
1)算法过于复杂,检测耗时长,不适合工厂应用于生产线上检测;
2)应用对象特点比较单一,方法的通用性和对复杂对象的检测能力有待加强。
本发明检测的电池丝印类型众多,每种图案或文字适用的方法也不同。丝印中插画部分和文字部分特点明显不同,插画部分线条简单,且更宽更粗,而文字部分线条精细复杂,需要更高的处理精度。运用以往经典方法均无法取得良好效果。
发明内容
本发明所要解决的技术问题在于针对上述现有技术中的不足,提供一种分块模板匹配结合形态学处理的电池丝印质量检测方法,突破以往全局模板匹配的模式,将电池丝印分为文字部分和插画部分,针对两部分特点分别设计两种类型的子方法,最终有机结合。应用本方法可以快速、准确地完成对丝印质量的检测。
本发明采用以下技术方案:
分块模板匹配结合形态学处理的电池丝印质量检测方法,包括以下步骤:
S1、以每个插画为单位,采用分块模板匹配方式建立插画部分模板,基于形态学的模板匹配方法建立文字部分模板;
S2、应用阈值分割和形态学腐蚀提取电池区域;
S3、采用求解电池区域最小外接矩形的方式确定其倾斜角度,采用等间隔旋转搜索算法,通过设置旋转步长,自水平方向等间隔旋转,在每个角度下寻找最小外接矩形,外接矩形面积最小者即为最终结果,对应的旋转角度即为电池的偏转角度,利用仿射变换对偏转角度进行反向旋转,进行电池校正及裁减;
S4、通过丝印版本识别,插画裁减提取及校正,采用差影方法识别插画部分缺陷检测;然后依次屏蔽插画,文字分割,文字提取及校正,文字重组,待检文字骨架提取,再采用差影方法识别文字部分缺陷,采用可疑区域平移作差检测和可疑区域微量旋转作差检测进行缺陷检测。
具体的,步骤S1中,将每种类型的丝印中插画部分的分块信息以数据文件的形式存放在数据库中,每个插画对应一个子模板ID,按照试验得出的子模板几何尺寸信息对图像进行裁剪,然后建立子模板数据,插画部分模板建立具体为:
S1011、假设S是m×n的搜索图,T是P×Q的模板图,Si,j是搜索图中的一个子图,定义绝对误差:
Figure GDA0003113262260000031
Figure GDA0003113262260000032
Figure GDA0003113262260000033
其中,ε(i,j,s,t)为绝对误差定义式,T(s,t)为模板图在(s,t)位置上的像素值,
Figure GDA0003113262260000034
Figure GDA0003113262260000035
分别表示子图、模板的均值,E为均值,绝对误差是子图与模板各自去掉其均值后,对应位置之差的绝对值,Si,j(s,t)为左上角坐标为(i,j)的子图在坐标(i+s,j+t)位置上的像素值。
S1012、设定误差阈值Th,用来与S1013误差累计值作比较;
S1013、在模板图中随机选取不重复的像素点,计算与当前子图的绝对误差,将误差累加,当误差累加值超过了Th时,记下累加次数H,所有子图的累加次数H用一个表R统计。
进一步的,左上角坐标为(i,j)的子图S(i,j)的累加次数R(i,j)为:
Figure GDA0003113262260000036
其中,R(i,j)即为左上角坐标为(i,j)的子图S(i,j)的累加次数。
具体的,文字部分模板建立具体为:
S1021、根据插画部分形状匹配的结果,将丝印中所有插画使用矩形屏蔽窗屏蔽掉,使原区域灰度值与背景灰度相同,排除插画冗余干扰,对于原图中的条码,利用解码算法对其进行定位解码,解码后会返回条码的位置尺寸信息,将条码同样用矩形窗屏蔽掉;
S1022、利用数学形态学中的膨胀操作按照列对文字进行分割;
S1023、对S1022所得矩形进行排序,排序后用矩形区域与模板图像依次作差就可以得到每行文字,然后利用自适应阈值分割法,将每行文字提取出来;
S1024、对模板文字区域进行平移,将之平移到指定位置上,并记录每行或者每列的平移数据。
具体的,步骤S3具体为:
S301、设定初始角度α0=0°,旋转角度步长为θ,面积数组Area[];
S302、计算当前角度α0=0°下轮廓区域的最小外接矩形,获取轮廓所有点的坐标信息,以当前角度平行方向为标准筛选出最远点和最近点,求取两点距离d1,以当前角度的垂直方向为标准再次筛选出最远点和最近点,求取两点距离d2,d1和d2即为外接矩形的长和宽,筛选出的4个特征点即可构成外接矩形四条边,对d1、d2以及面积Area[0]进行记录;
S303、对轮廓区域依次旋转i次,此时角度αi=α0+i×θ,按照S302求取旋转后的最小外接矩形,并依次记录旋转后的长、宽和面积Area[i];
S304、当α=90°后,终止旋转,求取面积数组Area[]中最小元素值Area[j]及其对应角度αj=α+j×θ,该角度即为最小外接矩形的方向。
具体的,步骤S4中,采用差影方法识别插画部分缺陷检测具体为:
定义运算形式为:
C=A-B
其中,C为作差后的差区域,则用集合符号可表示为C=A-A∩B,A表示目标集合,B表示结构元素;假设模板区域为M,待检区域为T,对区域M进行腐蚀得M1,膨胀得M2;对区域T进行腐蚀得T1,膨胀得T2,则待检丝印缺失部分表示为M1-T2,待检丝印多印部分表示为T1-M2,作差结果可消除轮廓伪缺陷。
具体的,步骤S4中,待检文字骨架提取具体为:
采用基于最大圆盘的骨架抽取算法,设A表示目标集合,B表示结构元素,形态学骨架计算可由下式给出:
Figure GDA0003113262260000051
其中,集合A的骨架S(A)是由骨架子集Sk(A)的并集构成,骨架子集Sk(A)定义在腐蚀和开运算组合形式的基础上,其计算式为:
Sk(A)=(AokB)-(AokB)oB
其中,k=0,1,...,K,AokB表示结构元素B对集合A的连续k次腐蚀,表示为:
AokB=(Ao(k-1)B)oB=(...((AoB)oB)o...)oB
Figure GDA0003113262260000052
其中,K表示结构元素B将集合A腐蚀成为空集之前的最大迭代次数,超过K次迭代,结构元素B将集合A腐蚀成为空集。
具体的,步骤S4中,差影方法识别文字缺陷具体为:
分别提取待测区域T和M,提取区域T骨架T_skeleton,膨胀骨架得T_skeldilation,膨胀区域T得到T_dilation;提取区域M骨架M_skeleton,膨胀骨架得M_skeldilation,膨胀区域M得到M_dilation;然后进行图像作差,统计缺陷数量N1,若N1不为0,进行可疑区域平移作差检测。
进一步的,可疑区域平移作差检测具体为:
将待检区域T进行上下左右四个方向平移,得到平移过后的四个区域T_01、T_02、T_03和T_04,四个区域依次与文字模板M作差,得到四个差区域,将这四个差区域与差影方法识别缺陷所得差区域进行交运算,得到交区域I1;然后用同样的缺陷分析方法从I1中筛选得到缺陷区域,并统计缺陷数量N2,若N2不为0,进行可疑区域微量旋转作差检测。
更进一步的,可疑区域微量旋转作差检测具体为:
对所得缺陷区域对应的行或列进行微量旋转变换,得到两个区域Rotate_01和Rotate_02,依次与文字模板M作差,得到的差区域与I1再次进行交运算,得到最终的交区域I2,对此区域进行缺陷分析,得到一系列缺陷区域,记录其数量N3,N3为缺陷最终数量。
与现有技术相比,本发明至少具有以下有益效果:
本发明分块模板匹配结合形态学处理的电池丝印质量检测方法,可以有效地对不同类型丝印内容进行检测,准确率高,实时性好。
进一步的,建立分块模板的目的在于准确匹配各插画,解决了全局匹配的配准精度不足问题;序贯相似性匹配检测计算复杂度度低,匹配精度高。
进一步的,文字模板建立的优点在于实现了单行文字分割重组,提高了模板文字和待检文字的配准精度。
进一步的,利用最小外接矩形算法巧妙获取了电池偏转角度,实现其校正方便后续检测。
进一步的,差影法识别插画缺陷的优势在于可适用于各种复杂图案;对模板区域和插画区域的预处理可消除轮廓伪缺陷的干扰。
进一步的,文字骨架提取可以获取文字拓扑结构,使文字缺陷检测不受丝印线条粗细不均的干扰。
进一步的,差影法识别文字缺陷步骤中,通过对骨架进行形态学处理,可以准确识别文字缺陷而不产生误报。
进一步的,可疑区域平移作差检测可消除工艺误差的干扰,防止配准精度不足带来误报。
进一步的,可疑区域微量旋转作差可弥补文字倾斜校正时仿射变换精度不足的问题,进一步消除误报。
综上所述,本发明可以很好得完成对电池复杂丝印的检测,实时性满足工厂生产要求,准确率高,成本较低,对国内电池丝印质量自动化检测领域有一定程度的推动作用。
下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
图1为电池原始图像;
图2为丝印分块模板图;
图3为匹配示意图;
图4为SSDA算法流程图;
图5为插画屏蔽示意图;
图6为文字分割示意图,其中,(a)为文字二值化示意图,(b)为形状转换示意图;
图7为文字重组图;
图8为原始图像;
图9为作差示意图;
图10为插画检测流程图;
图11为文字检测流程图;
图12为差影准备示意图;
图13为差影图;
图14为改进方法示意图;
图15为硬件原理图;
图16为检测流程图;
图17为系统架构图。
具体实施方式
本发明提供了一种分块模板匹配结合形态学处理的电池丝印质量检测方法,将电池丝印分为文字部分和插画部分,针对两部分特点分别设计两种类型的方法,最终有机结合,应用本方法可以快速、准确地完成对丝印质量的检测。
本发明一种分块模板匹配结合形态学处理的电池丝印质量检测方法,包括以下步骤:
S1、建立模板数据及相应参数配置文件
S101、插画部分模板建立
对于插画部分采用分块模板匹配的方式,故以每个插画为单位建立模板。由于需要检测的电池丝印类型众多,所以需要将每种类型的丝印中插画部分的分块信息以数据文件的形式存放在数据库中,每个插画对应一个子模板ID。
请参阅图2,作为模板的图像是印刷质量良好,字迹清晰,没有任何瑕疵的图像。按照试验得出的子模板几何尺寸信息对图像进行裁剪,然后建立子模板数据。本发明采用的模板匹配方法是基于灰度信息的序贯相似性算法(Sequential Similiarity DetectionAlgorithm,SSDA)。
算法原理如下:
假设S是m×n的搜索图,T是P×Q的模板图,Si,j是搜索图中的一个子图(左上角起始位置为(i,j)),显然,1≤i≤m-P-1,1≤j≤n-Q-1,如图3所示。
S1011、定义绝对误差:
Figure GDA0003113262260000081
Figure GDA0003113262260000082
Figure GDA0003113262260000083
其中,ε(i,j,s,t)为绝对误差定义式,T(s,t)为模板图在位置(s,t)处的像素值,
Figure GDA0003113262260000084
Figure GDA0003113262260000085
分别表示子图、模板的均值,E为均值,绝对误差是子图与模板各自去掉其均值后,对应位置之差的绝对值,Si,j(s,t)为左上角坐标为(i,j)的子图在坐标(i+s,j+t)位置上的像素值。
S1012、设定误差阈值Th,用来与第三步误差累计值作比较。此阈值根据多次匹配效果选取最佳值;
S1013、在模板图中随机选取不重复的像素点,计算与当前子图的绝对误差,将误差累加,当误差累加值超过了Th时,记下累加次数H,所有子图的累加次数H用一个表R统计。
左上角坐标为(i,j)的子图S(i,j)的累加次数R(i,j)为:
Figure GDA0003113262260000091
其中,R(i,j)即为左上角坐标为(i,j)的子图S(i,j)的累加次数。分析定义可知,越偏离模板的子图,其误差累加速度越快,会在更小的累加次数H下达到阈值Th,反之则越缓慢。
请参阅图4,在计算过程中,随机点的累加误差和超过了阈值(记录累加次数H)后,则放弃当前子图转而对下一个子图进行计算。遍历完所有子图后,选取最大R值所对应的(i,j)子图作为匹配图像。作为极特殊情况,若R存在多个最大值,则取累加误差最小的作为匹配图像。
应用上述算法,可以准确地完成模板匹配功能,效果良好。
S102、文字部分模板建立
提出了一种基于形态学的模板匹配方法,无需进行大量运算,可完成对复杂精细图案的配准,模板建立过程如下:
S1021、屏蔽插画
请参阅图5,根据插画部分形状匹配的结果,将丝印中所有插画使用矩形屏蔽窗屏蔽掉,使原区域灰度值与背景灰度相同,排除插画的冗余干扰。对于原图中的条码,利用解码算法对其进行定位解码,解码后会返回条码的位置尺寸信息,利用这些信息将条码同样用矩形窗屏蔽掉,下图即为屏蔽插画和条码后的图像;
S1022、文字分割
文字一般均为方块字,观察丝印布局可知,文字列与列之间保持了较大距离的空间分离,所以本文按照列来对文字进行分割。利用数学形态学中的膨胀操作可以达到这一目的。
膨胀属于数学形态学图像处理的基本运算。本文中采用了膨胀、腐蚀和骨架抽取三种基本运算。形态学膨胀的原理简言之是图像局部最大值,使目标边界向外部扩张,可以用来填补目标区域中,某些空洞及消除包含在目标区域中的小颗粒噪声。
根据形态学膨胀原理,用与文字形状相似的结构元素膨胀效果最佳,所以选择矩形结构元素。若想整列提取,则需对竖直方向进行较大程度膨胀以使文字粘连成列;水平方向应避免不同列文字粘连导致无法提取,故对水平方向进行轻微膨胀。综合以上考虑和实验测试结果,采取了宽为4像素,长为50像素的矩形元素,可以达到最好的分割效果。同理,对于横排走向文字,采用宽为50像素,长为4像素的矩形膨胀效果最佳。
此时每行或每列文字已经粘连,成为条带区域。然后采用形态学形状转换算法,对条带区域进行形状转换,使其转换成为规则矩形,这样产生的每个矩形区域都包含了对应行或列文字的位置信息,实现了文字的分割,如图6所示。
利用形状转化算法将不规则区域转化成规则区域,比如矩形、椭圆、外接圆等。本发明中利用了矩形转换算法,即求得每个条带区域呈竖直方向的最小外接矩形,如图6(b)所示。
S1023、文字提取及校正
按照一定规则对上步所得矩形进行排序,排序后用矩形区域与模板图像依次作差就可以得到每行文字,然后利用自适应阈值分割法,将每行文字提取出来。由于文字部分比较复杂精细,细微偏差可能就会导致缺陷误报,所以需要模板文字与待测文字的精确配准。因此对提取出来的文字利用仿射变换进行倾斜校正,使文字处于严格水平(0度)或者竖直(90度)的位置,方便后续检测。
S1024、文字平移重组
校正后的模板文字仍然基本处于原来的位置上,由于印刷误差的存在,文字位置并不稳定,直接比对检测效果不甚理想,本文对模板文字区域进行平移,将之平移到指定位置上,并记录每行或者每列的平移数据,方便后续缺陷标记。至此文字模板也制作完成,如图7所示。
S2、电池区域提取
请参阅图8,原始图像视场内容包括背景载物台和金属电极片两个干扰区域,在实际检测过程中,电池由机械臂抓取,由于控制精度和振动等因素影响,电池每次检测放置的位置和角度不尽相同,其中,黑色背景即是载物台,红色圆圈标记部分即是金属极片,这两部分均属于与检测无关的区域,应用阈值分割和形态学腐蚀等可实现电池区域的提取。
S3、电池校正及裁减
电池校正指的是电池区域,因此需要获得当前图片倾斜角度。由于电芯区域形状类似矩形,采用求解电池区域最小外接矩形的方式来确定其倾斜角度。这里采用的是等间隔旋转搜索算法,通过设置旋转步长,自水平方向等间隔旋转,在每个角度下寻找最小外接矩形,众多外接矩形面积最小者即为最终结果,该旋转角度即为电池的偏转角度。
具体步骤如下:
S301、设定初始角度α0=0°,旋转角度步长为θ,面积数组Area[];
S302、计算当前角度α0=0°下轮廓区域的最小外接矩形,具体为:获取轮廓所有点的坐标信息,以当前角度平行方向为标准筛选出最远点和最近点(距原点),求取两点距离d1,以当前角度的垂直方向为标准再次筛选出最远点和最近点,求取两点距离d2,d1和d2即为外接矩形的长和宽,筛选出的4个特征点即可构成外接矩形四条边。对d1、d2以及面积Area[0]进行记录;
S303、对轮廓区域依次旋转i次,此时角度αi=α0+i×θ,按照第二步方法求取旋转后的最小外接矩形,并依次记录旋转后的长、宽和面积Area[i];
S304、当α=90°后,终止旋转。求取面积数组Area[]中最小元素值Area[j]及其对应角度αj=α+j×θ,该角度即为最小外接矩形的方向。
得到的外接矩形方向即为电池的偏转角度,利用仿射变换对其进行反向旋转-αj,这样就实现了电池校正。电池丝印区域四周仍然存在无关区域,所以通过设置适当几何参数对电池丝印区域进行裁减提取,减少冗余。
S4、缺陷检测,先插画后文字
S401、插画检测
请参阅图10,包括以下步骤:
S4011、丝印版本识别
电池丝印版本众多,并且存在丝印条码ID和丝印内容不匹配的情况,所以需要在检测前进行版本识别,具体方法是利用分块模板进行匹配,可在待测图像中找到与模板图案相同的图案,同时得到一组数据:匹配图案的中心坐标、偏转角度以及匹配分数。根据匹配分数的高低来确定模板和待测丝印版本是否相匹配,分数高者为正确版本;
S4012、插画裁减提取及校正
在进行模板匹配后,得到待测图像上各个插画的中心坐标及偏转角度,利用这些数据将插画用矩形框裁出来。接着用阈值分割的方法提取插画区域。根据上面的偏转角度利用仿射变换对插画区域进行倾斜校正,得到了规范角度的插画区域,可以用来进一步检测;
S4013、差影方法识别缺陷
差影方法的核心是图像作差运算,这种差运算应用于二值图像或者轮廓区域。
请参阅图9,定义运算形式为:
C=A-B
其中,C为作差后的差区域,则用集合符号可表示为C=A-A∩B,A表示目标集合,B表示结构元素;
假设模板图像为M,待测图像为T,则丝印缺失部分可表示为M-T,丝印多印部分可表示为T-M。
通过对作差后的结果进行分析,确定有无缺陷;若直接作差,会产生许多伪缺陷区域,这是因为丝印不均匀不准确,线条粗细有差别所致,称为轮廓伪缺陷,所以在多印检测(T-M)时,对T区域进行腐蚀,对M区域进行膨胀;在漏印检测(M-T)时,对M区域进行腐蚀,对T区域进行膨胀。接着对作差后的差区域利用区域连通算法进行区域连通,设定合理面积阈值(以不引起视觉明显缺陷为标准),超出阈值的区域即为缺陷区域。此处区域提取采用的是自适应阈值分割法,对不同光照情况具有一定适应性,可以保证检测的准确度。
S402、文字缺陷检测
请参阅图11,包括以下步骤:
S4021、屏蔽插画
用矩形屏蔽窗屏蔽掉匹配出来的插画,排除干扰;
S4022、文字分割
与模板制作做法相同;
S4023、文字提取及校正
与模板制作做法相同;
S4024、文字重组
与模板制作做法相同;
S4025、待检文字骨架提取
由于文字内容复杂,细节较多,笔画粗细不一,且几何尺寸很小,使用普通的形态学腐蚀易将完整字体破坏,形成缺损导致误判,所以对文字利用骨架提取算法提取其骨架轮廓。既保证了字体完整轮廓,又使得检测不受字体粗细的影响,大大提高了检测准确率。
骨架是指在不改变目标拓扑结构的条件下,利用单像素宽的细线表示目标。目标的骨架与目标本身具有相同数量的连通分量和孔洞,简言之,骨架保持了目标的欧拉数。目前已有多种不同的骨架定义以及骨架提取算法,本发明采用的是基于最大圆盘的骨架抽取算法。设A表示目标集合,B表示结构元素,这种形态学骨架计算可由下式给出:
Figure GDA0003113262260000141
上式表明,集合A的骨架S(A)是由骨架子集Sk(A)的并集构成。骨架子集Sk(A)定义在腐蚀和开运算组合形式的基础上,其计算式为:
Sk(A)=(AokB)-(AokB)oB
其中,k=0,1,...,K,AokB表示结构元素B对集合A的连续k次腐蚀,可表示为:
AokB=(Ao(k-1)B)oB=(...((AoB)oB)o...)oB
K为骨架子集的计算次数,其数学表达式为:
Figure GDA0003113262260000142
其中,K表示结构元素B将集合A腐蚀成为空集之前的最大迭代次数,超过K次迭代,结构元素B将集合A腐蚀成为空集。
通过应用上述算法,可以准确提取出待检文字的形态学骨架。
S4026、差影方法识别缺陷
此时需要一系列预处理操作以获得将要作差的两部分区域,请参阅图12,为差影检测准备阶段流程图,分别提取待测区域T和M,得到了图像作差所需的四个区域:M_skeldilation、M_dilation、T_skeldilation、T_dilation;对骨架进行膨胀的原因是骨架区域均为单像素宽度,面积过小不易检测;然后进行图像作差;请参阅图13,其中缺陷分析方法与插画部分相同,此处不再重复。统计缺陷数量N1,若N1不为0,则进行S4027。
S4027、可疑区域平移作差检测
由于丝印工艺误差,需对S4026疑似缺陷的行或列进行重点检测,经过大量实验可知,配准之后的文字区域仍可能存在位置误差,大约1~3个像素的偏差,为防止误报,需设计算法解决这种问题。
将待检区域T进行上下左右四个方向平移,得到平移过后的四个区域T_01、T_02、T_03和T_04,这里推荐平移距离为两个像素左右,具体数值由实验效果确定。这四个区域依次与文字模板M作差,得到四个差区域,将这四个差区域与第6步所得差区域进行交运算,得到交区域I1。然后用同样的缺陷分析方法从I1中筛选得到缺陷区域,并统计缺陷数量N2。如图14所示,若N2不为0,则进行S4028。
S4028、可疑区域微量旋转作差检测。
观察大量试验结果可知,经过上述误差分析后仍有较少数的误报。分析原因为待测区域与模板区域存在微量角度旋转误差,这一误差来源于仿射变换校正精度不足。为了使检测结果达到最准确的程度,对S4027所得缺陷区域对应的行或列进行微量旋转变换,例如角度0.6度,具体数值由该种类型丝印实验效果确定,方向为顺时针和逆时针两个方向。
得到两个区域Rotate_01和Rotate_02,依次与文字模板M作差,得到的差区域与I1再次进行交运算,得到最终的交区域I2,如图14所示。对此区域进行缺陷分析,可得到一系列缺陷区域,记录其数量N3,N3为缺陷最终数量。
此时的检测结果已达到最佳状态,既无漏报,也无误报。本方法利用分级检测的思想,只对可疑区域进行多次校对,既提高了算法的准确率,又保证了实时性。以上以多印缺陷检测为例进行示意,漏印缺陷检测遵循同样方法即可。
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。通常在此处附图中的描述和所示的本发明实施例的组件可以通过各种不同的配置来布置和设计。因此,以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围,而是仅仅表示本发明的选定实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
请参阅图15,平台硬件包括工控机、PLC装置、机械手、送料及分拣装置、光源、光源控制器、相机设备和通信线路;共控机通过光源控制器与光源连接,连接相机设备,工控机通过PLC装置分别与送料带、机械手、良品运输带和次品运输带连接,机械手用于检测电池。
请参阅图16,本发明一种分块模板匹配结合形态学处理的电池丝印质量检测方法,应用于工厂流水线生产,具体步骤如下:
第1步:启动检测系统
第2步:初始化参数配置
对检测系统参数根据电池类型进行初始化,参数包括模板ID、阈值参数、检测算法参数等诸多信息;
第3步:抓取送料
检测软件发出送料命令Cmd1,PLC接收命令,从送料区抓取待测电池移动至待检区,等待检测;
第4步:缺陷检测
按照算法依次对电池插画和文字进行检测,对缺陷进行标记,将检测结果返回给检测软件数据库进行保存;
第5步:电池分拣
检测软件根据检测数据确定电池是否为良品。若为良品,则对PLC发出良品分拣命令Cmd2;若不是良品,则对PLC发出次品分拣命令Cmd3,并给主机返回分拣完成命令。
第6步:PLC复位
主机收到分拣完成命令后,发出PLC复位命令Cmd4,指挥抓取装置回到送料区初始位置,并给主机返回复位完成命令;
第7步:下一周期检测
主机收到复位完成命令后,对PLC装置发出送料命令,设备开始下一周期检测,重复第3步至第7步。
请参阅图17,本发明对应的检测系统包括四部分,分别为:
1)用户信息管理
内容包括普通用户登录信息、管理员登陆信息、用户数据库、项目历史数据库;
2)核心检测算法
将第3部分中详述的检测算法集成嵌入到了软件当中,包括插画检测算法和文字检测算法;
3)系统参数配置
这些参数包括检测模式(离线检测或者在线检测)、通信方式、检测参数、模板参数、图像采集设备参数等大量关键参数;
4)结果显示及输出
这部分内容主要是缺陷统计、缺陷可视化显示、检测结果数据的存储以及流水线上相关实时数据的生成等,用来直观地在软件界面上显示缺陷位置、数量和检测进度等,方便工作人员的查看。
以上内容仅为说明本发明的技术思想,不能以此限定本发明的保护范围,凡是按照本发明提出的技术思想,在技术方案基础上所做的任何改动,均落入本发明权利要求书的保护范围之内。

Claims (8)

1.分块模板匹配结合形态学处理的电池丝印质量检测方法,其特征在于,包括以下步骤:
S1、以每个插画为单位,采用分块模板匹配方式建立插画部分模板,基于形态学的模板匹配方法建立文字部分模板,将每种类型的丝印中插画部分的分块信息以数据文件的形式存放在数据库中,每个插画对应一个子模板ID,按照试验得出的子模板几何尺寸信息对图像进行裁剪,然后建立子模板数据,插画部分模板建立具体为:
S1011、假设S是m×n的搜索图,T是P×Q的模板图,Si,j是搜索图中的一个子图,定义绝对误差:
Figure FDA0003089623550000011
Figure FDA0003089623550000012
Figure FDA0003089623550000013
其中,ε(i,j,s,t)为绝对误差定义式,T(s,t)为模板图在(s,t)位置上的像素值,
Figure FDA0003089623550000014
Figure FDA0003089623550000015
分别表示子图、模板的均值,E为均值,绝对误差是子图与模板各自去掉其均值后,对应位置之差的绝对值,Si,j(s,t)为左上角坐标为(i,j)的子图在坐标(i+s,j+t)位置上的像素值;
S1012、设定误差阈值Th,用来与S1013误差累计值作比较;
S1013、在模板图中随机选取不重复的像素点,计算与当前子图的绝对误差,将误差累加,当误差累加值超过了Th时,记下累加次数H,所有子图的累加次数H用一个表R统计;
左上角坐标为(i,j)的子图S(i,j)的累加次数R(i,j)为:
Figure FDA0003089623550000016
其中,Th为阈值参数;
S2、应用阈值分割和形态学腐蚀提取电池区域;
S3、采用求解电池区域最小外接矩形的方式确定其倾斜角度,采用等间隔旋转搜索算法,通过设置旋转步长,自水平方向等间隔旋转,在每个角度下寻找最小外接矩形,外接矩形面积最小者即为最终结果,对应的旋转角度即为电池的偏转角度,利用仿射变换对偏转角度进行反向旋转,进行电池校正及裁减;
S4、通过丝印版本识别,插画裁减提取及校正,采用差影方法识别插画部分缺陷检测;然后依次屏蔽插画,文字分割,文字提取及校正,文字重组,待检文字骨架提取,再采用差影方法识别文字部分缺陷,采用可疑区域平移作差检测和可疑区域微量旋转作差检测进行缺陷检测。
2.根据权利要求1所述的分块模板匹配结合形态学处理的电池丝印质量检测方法,其特征在于,文字部分模板建立具体为:
S1021、根据插画部分形状匹配的结果,将丝印中所有插画使用矩形屏蔽窗屏蔽掉,使原区域灰度值与背景灰度相同,排除插画冗余干扰,对于原图中的条码,利用解码算法对其进行定位解码,解码后会返回条码的位置尺寸信息,将条码同样用矩形窗屏蔽掉;
S1022、利用数学形态学中的膨胀操作按照列对文字进行分割;
S1023、对S1022所得矩形进行排序,排序后用矩形区域与模板图像依次作差就可以得到每行文字,然后利用自适应阈值分割法,将每行文字提取出来;
S1024、对模板文字区域进行平移,将之平移到指定位置上,并记录每行或者每列的平移数据。
3.根据权利要求1所述的分块模板匹配结合形态学处理的电池丝印质量检测方法,其特征在于,步骤S3具体为:
S301、设定初始角度α0=0°,旋转角度步长为θ,面积数组Area[];
S302、计算当前角度α0=0°下轮廓区域的最小外接矩形,获取轮廓所有点的坐标信息,以当前角度平行方向为标准筛选出最远点和最近点,求取两点距离d1,以当前角度的垂直方向为标准再次筛选出最远点和最近点,求取两点距离d2,d1和d2即为外接矩形的长和宽,筛选出的4个特征点即可构成外接矩形四条边,对d1、d2以及面积Area[0]进行记录;
S303、对轮廓区域依次旋转i次,此时角度αi=α0+i×θ,按照S302求取旋转后的最小外接矩形,并依次记录旋转后的长、宽和面积Area[i];
S304、当α=90°后,终止旋转,求取面积数组Area[]中最小元素值Area[j]及其对应角度αj=α+j×θ,该角度即为最小外接矩形的方向。
4.根据权利要求1所述的分块模板匹配结合形态学处理的电池丝印质量检测方法,其特征在于,步骤S4中,采用差影方法识别插画部分缺陷检测具体为:
定义运算形式为:
C=A-B
其中,C为作差后的差区域,则用集合符号可表示为C=A-A∩B;假设模板区域为M,待检区域为T,对区域M进行腐蚀得M1,膨胀得M2;对区域T进行腐蚀得T1,膨胀得T2,则待检丝印缺失部分表示为M1-T2,待检丝印多印部分表示为T1-M2,作差结果可消除轮廓伪缺陷,A表示目标集合,B表示结构元素。
5.根据权利要求1所述的分块模板匹配结合形态学处理的电池丝印质量检测方法,其特征在于,步骤S4中,待检文字骨架提取具体为:
采用基于最大圆盘的骨架抽取算法,设A表示目标集合,B表示结构元素,形态学骨架计算可由下式给出:
Figure FDA0003089623550000031
其中,集合A的骨架S(A)是由骨架子集Sk(A)的并集构成,骨架子集Sk(A)定义在腐蚀和开运算组合形式的基础上,其计算式为:
Sk(A)=(AοkB)-(AοkB)οB
其中,k=0,1,...,K,AοkB表示结构元素B对集合A的连续k次腐蚀,表示为:
AοkB=(Aο(k-1)B)οB=(...((AοB)οB)ο...)οB
Figure FDA0003089623550000041
其中,K表示结构元素B将集合A腐蚀成为空集之前的最大迭代次数,超过K次迭代,结构元素B将集合A腐蚀成为空集。
6.根据权利要求1所述的分块模板匹配结合形态学处理的电池丝印质量检测方法,其特征在于,步骤S4中,差影方法识别文字缺陷具体为:
分别提取待测区域T和M,提取区域T骨架T_skeleton,膨胀骨架得T_skeldilation,膨胀区域T得到T_dilation;提取区域M骨架M_skeleton,膨胀骨架得M_skeldilation,膨胀区域M得到M_dilation;然后进行图像作差,统计缺陷数量N1,若N1不为0,进行可疑区域平移作差检测。
7.根据权利要求6所述的分块模板匹配结合形态学处理的电池丝印质量检测方法,其特征在于,可疑区域平移作差检测具体为:
将待检区域T进行上下左右四个方向平移,得到平移过后的四个区域T_01、T_02、T_03和T_04,四个区域依次与文字模板M作差,得到四个差区域,将这四个差区域与差影方法识别缺陷所得差区域进行交运算,得到交区域I1;然后用同样的缺陷分析方法从I1中筛选得到缺陷区域,并统计缺陷数量N2,若N2不为0,进行可疑区域微量旋转作差检测。
8.根据权利要求7所述的分块模板匹配结合形态学处理的电池丝印质量检测方法,其特征在于,可疑区域微量旋转作差检测具体为:
对所得缺陷区域对应的行或列进行微量旋转变换,得到两个区域Rotate_01和Rotate_02,依次与文字模板M作差,得到的差区域与I1再次进行交运算,得到最终的交区域I2,对此区域进行缺陷分析,得到一系列缺陷区域,记录其数量N3,N3为缺陷最终数量。
CN201910460803.8A 2019-05-30 2019-05-30 分块模板匹配结合形态学处理的电池丝印质量检测方法 Active CN110264445B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910460803.8A CN110264445B (zh) 2019-05-30 2019-05-30 分块模板匹配结合形态学处理的电池丝印质量检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910460803.8A CN110264445B (zh) 2019-05-30 2019-05-30 分块模板匹配结合形态学处理的电池丝印质量检测方法

Publications (2)

Publication Number Publication Date
CN110264445A CN110264445A (zh) 2019-09-20
CN110264445B true CN110264445B (zh) 2021-09-07

Family

ID=67915972

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910460803.8A Active CN110264445B (zh) 2019-05-30 2019-05-30 分块模板匹配结合形态学处理的电池丝印质量检测方法

Country Status (1)

Country Link
CN (1) CN110264445B (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111275697B (zh) * 2020-02-10 2022-04-22 西安交通大学 一种基于orb特征匹配和lk光流法的电池丝印质量检测方法
CN111652287A (zh) * 2020-05-11 2020-09-11 重庆大学 基于卷积深度神经网络的ad量表手绘交叉五边形分类方法
CN111986190B (zh) * 2020-08-28 2022-03-18 哈尔滨工业大学(深圳) 一种基于伪影剔除的印刷品缺陷检测方法及装置
CN112926438B (zh) * 2021-02-22 2024-04-05 深圳中科飞测科技股份有限公司 检测方法及装置、检测设备和存储介质
CN113109348B (zh) * 2021-03-12 2022-03-29 华南理工大学 一种基于机器视觉的桨影移印缺陷识别方法
CN113111868B (zh) * 2021-03-16 2023-08-18 广州大学 一种字符缺陷检测方法、系统、装置及存储介质
CN113189505B (zh) * 2021-03-26 2022-06-28 深圳市磐锋精密技术有限公司 一种基于大数据的手机电池状态监测系统
CN113888487B (zh) * 2021-09-23 2025-08-08 南昌莘黎科技有限公司 一种多表柔印标签设计稿与印刷首稿的匹配方法
CN113933817B (zh) * 2021-09-30 2025-08-08 洛伦兹(北京)科技有限公司 车厢点云姿态的校正方法及装置
CN114964388B (zh) * 2022-08-02 2022-10-21 托伦斯半导体设备启东有限公司 基于光学技术的渣浆泵外壳材料缺陷检测方法
CN115063421B (zh) * 2022-08-16 2022-10-28 成都数联云算科技有限公司 极片区域检测方法及系统及装置及介质及缺陷检测方法
CN115423783A (zh) * 2022-09-13 2022-12-02 优层智能科技(上海)有限公司 一种用于光伏组件边框及接线盒灌胶的质检方法和装置
CN116958137B (zh) * 2023-09-19 2023-12-12 易启科技(吉林省)有限公司 一种新能源电池表面缺陷检测方法及装置
CN117095009B (zh) * 2023-10-20 2024-01-12 山东绿康装饰材料有限公司 一种基于图像处理的pvc装饰板缺陷检测方法
CN118072319B (zh) * 2024-01-12 2024-08-23 人民教育出版社有限公司 一种基于机器视觉的图文印刷质量分析系统
CN118379279B (zh) * 2024-06-21 2024-11-08 杭州汇萃智能科技有限公司 印刷图案缺陷检测方法、系统和可读存储介质
CN118429353A (zh) * 2024-07-05 2024-08-02 浙江赫宇包装科技有限公司 一种印刷标签缺陷检测方法及系统
CN119151962A (zh) * 2024-11-13 2024-12-17 中油(新疆)石油工程有限公司 基于骨架提取的x射线焊缝伪缺陷分割方法、装置、存储介质及电子设备

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103363893B (zh) * 2012-03-26 2016-03-30 新疆农业大学 一种红富士苹果尺寸大小检测方法
CN103617627A (zh) * 2013-12-11 2014-03-05 天津工业大学 基于差影技术的继电器上印刷文字缺陷的检测方法
CN108355987B (zh) * 2018-01-08 2019-10-11 西安交通大学 一种基于分块模板匹配的电池丝印质量检测方法

Also Published As

Publication number Publication date
CN110264445A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110264445B (zh) 分块模板匹配结合形态学处理的电池丝印质量检测方法
CN108596066B (zh) 一种基于卷积神经网络的字符识别方法
CN108918536B (zh) 轮胎模具表面字符缺陷检测方法、装置、设备及存储介质
CN101408937B (zh) 一种字符行定位的方法及装置
CN103198476B (zh) 一种粗线型十字圆环标记的图像检测方法
CN113689429B (zh) 一种基于计算机视觉的木板缺陷检测方法
CN111738252B (zh) 图像中的文本行检测方法、装置及计算机系统
CN112364834A (zh) 一种基于深度学习和图像处理的表格识别的还原方法
JP2000011089A (ja) 光学式文字認識システムの2値化方法
JP2021527256A (ja) ビジョンシステムで画像内のパターンを検出及び分類するためのシステム及び方法
CN113063802A (zh) 一种印刷标签缺陷检测方法及其装置
CN114820681B (zh) 一种基于rgb相机的库位检测方法及系统
WO2021190155A1 (zh) 文本行中的空格识别方法、装置、电子设备及存储介质
CN111915593A (zh) 模型建立方法、装置、电子设备及存储介质
CN109472257B (zh) 一种字符版面确定方法及装置
CN119851022A (zh) 一种光伏板图像分割与异常识别方法
CN119445600A (zh) 图像中表格的识别方法、装置、计算机设备和可读存储介质
JP4492258B2 (ja) 文字・図形の認識方法および検査方法
CN119067956A (zh) 一种基于DD-Net架构的回收再流通书籍表面缺陷检测方法
Boussellaa et al. Unsupervised block covering analysis for text-line segmentation of Arabic ancient handwritten document images
CN117173724A (zh) 一种基于语义分割网络的复杂表格识别方法、系统、设备及介质
CN108985294A (zh) 一种轮胎模具图片的定位方法、装置、设备及存储介质
CN116664533A (zh) 一种缝合缺陷检测方法、装置、设备及存储介质
CN112434543B (zh) 一种针对畸变彩色直接部件标记的图像重构方法及系统
Villegas-Jaramillo et al. An inexactly supervised methodology based on multiple instance learning, convolutional neural networks, and dissimilarities for interpretable defect detection and Localization on textured surfaces

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20240207

Address after: No. 2 Xiangsheng Road, Zone B, Dacheng Industrial Park, Anzhen Street, Xishan District, Wuxi City, Jiangsu Province, 214105

Patentee after: Wuxi Huansheng precision alloy material Co.,Ltd.

Country or region after: China

Address before: 710049 No. 28 West Xianning Road, Shaanxi, Xi'an

Patentee before: XI'AN JIAOTONG University

Country or region before: China