[go: up one dir, main page]

CN113240614B - 一种适用于k-tig焊超强弧光场景的高动态图像融合方法 - Google Patents

一种适用于k-tig焊超强弧光场景的高动态图像融合方法 Download PDF

Info

Publication number
CN113240614B
CN113240614B CN202110376562.6A CN202110376562A CN113240614B CN 113240614 B CN113240614 B CN 113240614B CN 202110376562 A CN202110376562 A CN 202110376562A CN 113240614 B CN113240614 B CN 113240614B
Authority
CN
China
Prior art keywords
image
exposure time
pixel
sequence
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110376562.6A
Other languages
English (en)
Other versions
CN113240614A (zh
Inventor
石永华
王子顺
陈熙引
王劲一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202110376562.6A priority Critical patent/CN113240614B/zh
Publication of CN113240614A publication Critical patent/CN113240614A/zh
Application granted granted Critical
Publication of CN113240614B publication Critical patent/CN113240614B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • G06T5/30Erosion or dilatation, e.g. thinning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30152Solder

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

本发明公开了一种适用于K‑TIG焊超强弧光场景的高动态图像融合方法,将普通工业相机采集到的锁孔TIG焊焊接状态低动态范围图像(LDR)序列进行融合,生成能够同时获取熔池、锁孔、电弧以及焊缝信息的高动态范围(HDR)图像,过程如下:利用自动曝光方法得到一定数量的合适曝光时间集,并输入工业相机采集LDR图像序列{A};利用整体曝光量比值方法计算图像序列{A}中较大曝光时间所采集图像与最低曝光时间所采集图像的整体曝光量比值序列{B};利用HDR融合方法根据整体曝光量比值序列{B}计算图像序列{A}中各图像相对亮度值,通过加权平均得到焊接状态的HDR图像C;利用色调重映射方法将图像C压缩至8位图像。

Description

一种适用于K-TIG焊超强弧光场景的高动态图像融合方法
技术领域
本发明涉及焊接监测和图像处理技术领域,具体涉及一种适用于K-TIG焊超强弧光场景的高动态图像融合方法。
背景技术
锁孔深熔TIG焊(K-TIG焊)是一种在焊接过程中利用锁孔(keyhole)效应实现大熔深的新型高效焊接方法,可以实现不开坡口一道焊透、单面焊双面成型并且双面焊缝成形好,焊接质量高,在中厚板材的焊接场景中有着很大的应用前景。K-TIG焊主要的缺陷为未焊透或过熔透,且K-TIG焊比较稳定,没有飞溅,但由于焊接过程弧光亮度非常高,相对地,熔池以及母材亮度较低,这阻碍了窄动态范围的普通工业相机在K-TIG焊监测方面的高效使用。其中,动态范围是指图像或相机能够保留场景亮度信息的能力。此外,确保焊枪紧跟焊缝中线的焊缝跟踪技术需要同时获取锁孔入口和母材焊缝的信息。虽然窄动态范围的普通工业相机无法同时获取弧光、锁孔、熔池以及焊缝信息,但其存在价格低廉、体积小利于安装的优势,相对于市面的高动态工业相机,普通工业相机的价格低于其1/10。
发明专利CN108668093A公开了一种HDR图像的生成方法及装置,其主要通过将低曝光和高曝光的图像与中曝光的图像做比较,得到运动区域,以其获得更优化的权值以融合HDR图像。但其主要用于刚体运动的场景,不适用于K-TIG这种流体运动的场景。
发明专利CN108629739B公开了一种HDR图像的生成方法、装置及移动终端。其主要使用拉普拉斯金字塔对以获取的图像进行融合,并以此结果调整权值系数。该发明没有对需要融合的序列进行优化,且对于K-TIG焊超广的亮度范围无法较完美融合,会产生较大的鬼影缺陷。
发明专利CN106162131A公开了一种实时图像处理方法,使用在现场可编程门阵列(FPGA)实现了优化后的HDR技术,其速度较快,但需要重新制造相机,且简单以因子2倍增曝光时间以获取低动态图像序列,对于K-TIG焊这种高频变化的场景效果较差。
为了克服K-TIG焊过程中强光的干扰,实现K-TIG焊实时监测,弥补目前的普通工业相机动态范围较窄,无法直接获取电弧、熔池以及母材的信息的缺点。目前亟需设计一种能够提升普通工业相机的HDR融合图像方法及装置。
发明内容
本发明的目的是为了解决现有的低成本工业相机,由于动态范围低而无法同时观测K-TIG焊的电弧、熔池、锁孔以及焊缝的问题,提供一种适用于K-TIG焊超强弧光场景的高动态图像融合方法及装置。
本发明的目的可以通过采取如下技术方案达到:
一种适用于K-TIG焊超强弧光场景的高动态图像融合方法,所述高动态图像融合方法包括以下步骤:
S1、通过工业相机拍摄K-TIG焊的焊接场景图像,使用随机搜索方法搜寻焊接场景图像中第一帧的合适曝光时间,并根据直方图生成下一帧的合适曝光时间,直到生成3个曝光时间集,并将曝光时间集输入工业相机采集3张低动态范围图像序列{A};
S2、将得到的图像序列{A}中最低曝光时间图像作为基准,通过掩膜的方式获取图像序列{A}中较高曝光时间图像相对于最低曝光时间图像的整体曝光量比值序列{B};
S3、使用整体曝光量比值中得到的比值序列{B}对图像序列{A}的像素恢复相对亮度值,求取图像序列{A}中各像素位置相对亮度值的加权平均得到高动态范围图像C;
S4、将得到的高动态范围图像C进行色调重映射,对高动态范围图像C进行gamma变换,得到可在显示器显示的8位图像D。
进一步地,所述步骤S1中生成曝光时间集合的过程如下:
S11、若曝光时间集不为空,通过检测曝光过程,判断是否需要重新生成曝光时间集,若不需要则直接由已得到的曝光时间集采集得到图像序列{A};若曝光时间集为空或者经判断需要重新生成曝光时间集则执行下一步骤S12;
S12、通过随机搜索生成第一帧合适曝光时间,采集第一帧合适曝光时间的图像;
S13、通过直方图推理得到第二帧和第三帧合适曝光时间图像组成图像序列{A}。
进一步地,所述步骤S11中通过检测曝光过程,判断是否需要重新生成曝光时间集的过程如下:
采集曝光时间集中第一帧曝光时间图像,统计像素值在255到240之间的像素量,并除以总像素量得到像素占比r1,其中,总像素量是指图像分辨率,将其与曝光时间集首次产生或重新产生后首次采集图像时的第一帧相对应的像素占比r求差并取绝对值r2,若r2大于0.2%,则需要重新生成曝光时间集,否则继续使用该曝光时间集得到图像序列{A}。
进一步地,所述步骤S12中通过随机搜索生成第一帧合适曝光时间的过程如下:
S121、通过工业相机采集曝光时间为100微秒的焊接图像;
S122、从像素值为255开始,统计各像素值的像素量占总像素量比值之和,得到占总像素量0.1%的像素值p1;
S123、将p1与100和250相比较,若低于100则跳至步骤S114,若大于250则跳至步骤S115,若p1大于100且小于250,则通过公式:
t′=240t/p1
其中,t′为第一帧合适的曝光时间,t为当前图像的曝光时间,并跳至步骤S126;
S124、判断上一次循环曝光时间t是否回缩,是则将上次回缩的一半增至当前的曝光时间,否则将曝光时间乘以2,得到下一次循环的曝光时间t,通过工业相机采集曝光时间t的图像并回到步骤S122;
S125判断当前曝光时间是否为100微秒,若为100微秒,则将t′=100微秒作为第一帧合适的曝光时间并跳至步骤S126;否则将曝光时间回缩到上次增加的一半,得到下一次循环的曝光时间t,通过工业相机采集曝光时间t的图像并回到步骤S122;
S126、得到第一帧合适曝光时间t′并将其放入曝光时间集中,得到第一帧曝光时间图像,统计像素值在255到240之间的像素量,并除以总像素量得到像素占比r,结束随机搜寻过程。
进一步地,所述步骤S13中直方图推理的过程如下:
S131、通过工业相机采集曝光时间为t的焊接图像;
S132、从像素值为240开始,统计各像素值的像素量占总像素量比值之和,得到占总像素量30%的像素值p2;
S133、通过公式:t′=240t/p2,判断t′是否大于8倍t,其中t′为下一帧合适的曝光时间,t为当前曝光时间,若是则将8t赋值给t′,否则不做修改,将t′放入曝光时间集中,判断集合中的曝光时间数量是否为3,若小于3则回到步骤S131,否则结束直方图推理过程,并以曝光时间集采集图像得到图像序列{A}。
进一步地,所述步骤S2中整体曝光量比值的计算过程如下:
以图像序列{A}中最低曝光时间图像作为基准,k1=1,通过掩膜的方式获取图像序列{A}较大曝光时间图像过曝边缘的平均像素值avg1,其中,过曝是指像素值为255的像素,过曝边缘指邻近过曝的像素位置的像素,并求取最低曝光时间图像相同位置范围的平均像素值avg2,通过公式:
Figure BDA0003009072220000051
计算得到较大曝光时间图像与最小曝光时间图像的整体曝光量比值k2
通过掩膜的方式获取图像序列{A}最大曝光时间图像过曝边缘的平均像素值avg1,并求取较低曝光时间图像相同位置范围的平均像素值avg2,通过公式:
Figure BDA0003009072220000052
计算得到最大曝光时间图像与较低曝光时间图像的整体曝光量比值k3
将k3与k2的乘积赋给k3,得到以最低曝光时间图像为基准的整体曝光量比值序列{B}。
进一步地,所述通过掩膜的方式获取图像序列{A}最大曝光时间图像过曝边缘的平均像素值avg1的过程如下:
针对图像序列{A}中最低曝光时间图像和较大曝光时间,求取较大曝光时间图像的掩膜如下:
通过公式生成
Figure BDA0003009072220000053
其中,Ij为掩膜图像中第j个位置的像素值,pj为较大曝光时间图像在第j个位置的像素值;
由于焊接过程电磁干扰较为严重,相机包含许多椒盐噪声,因此对掩膜图像进行形态学膨胀处理,通过公式
Figure BDA0003009072220000054
进行形态学膨胀处理,其中I′为形态学处理后掩膜图像,I为处理前掩膜图像,⊙表示膨胀处理;
将膨胀后的掩膜图像减去膨胀前的掩膜图像,即得到较大曝光时间图像过曝边缘位置:Imask=I′-I,将掩膜分别与较大曝光时间图像和最低曝光时间图像做点乘操作,求和后除以非零像素个数得到过曝边缘的像素值均值。
进一步地,所述步骤S3的过程如下:
根据整体曝光量比值序列{B},对图像序列{A}的每一张图像的各像素位置通过公式
Figure BDA0003009072220000061
计算得到Ej,Ej为图像第j个像素位置所恢复的相对亮度值,进而得到高动态范围图像C,其中,Pij为图像序列{A}中第i张图像中第j个像素位置的像素值,ki为整体曝光量比值序列{B}中的第i个比值,wi(`)为第i张图像对应的权值函数,权值函数由以下公式给出:
Figure BDA0003009072220000062
Figure BDA0003009072220000063
Figure BDA0003009072220000064
其中,p为像素值,w1(p)、w2(p)和w3(p)分别为图像序列{A}中第一张、第二张、第三张图像的权值函数。
进一步地,所述步骤S4中色调重映射的过程如下:
将高动态图像C的各个像素位置的相对亮度值Ej进行gamma变换,gamma变换计算公式如下:
Figure BDA0003009072220000065
其中,p′j为gamma变换后的像素值,γ为gamma变换因子,在K-TIG焊监测中取值范围为0.1到0.5;
然后通过公式
Figure BDA0003009072220000066
得到8位高动态图像D,其中,p″j为拉伸后的像素值,p′max和p′min分别为p′j的最大值和最小值。
进一步地,所述步骤S1中在得到第一个曝光时间集后,需要先进行曝光判断,判断是否需要重新产生曝光时间集。
本发明相对于现有技术具有如下的优点及效果:
1)本发明方法适用于K-TIG焊超强弧光干扰的工业监测场景,具有实时性高、鬼影少和信息丰富的优点。
2)本发明方法无需更换现有的监测工业相机即可实现HDR功能,可在原有监控系统中附加计算和控制单元,甚至可以直接使用工业计算机实现,方便快捷,低成本。
3)本发明方法可自动根据场景的亮度范围选择合适的曝光时间,同时利用曝光量比值进行线性合成,可避免焊接高速变化的亮度导致高动态图像产生的鬼影。
附图说明
图1是本发明公开的适用于K-TIG焊超强弧光场景的高动态图像融合方法的流程图;
图2是本发明实施例中适用于K-TIG焊超强弧光场景的高动态图像融合装置的硬件框图;
图3是本发明实施例中FPGA模块电路图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
实施例一
本实施例公开的一种适用于K-TIG焊超强弧光场景的高动态图像融合方法,用于K-TIG焊焊接监测的高动态图像生成,包括以下步骤:
S1、通过工业相机拍摄K-TIG焊的焊接场景图像,使用随机搜索方法搜寻焊接场景图像中第一帧的合适曝光时间,并根据直方图生成下一帧的合适曝光时间,直到生成3个曝光时间集,并将曝光时间集输入工业相机采集3张低动态范围图像序列{A},在得到第一个曝光时间集后,需要先进行曝光判断,判断是否需要重新产生曝光时间集;
其中,生成曝光时间的集合和低动态范围图像序列{A}包括曝光判断、随机搜索和直方图推理。曝光判断目的在于避免频繁计算曝光时间集带来的计算冗余和时间浪费,对于K-TIG焊来说,熔池振荡频率较高,超过30Hz,频繁的曝光时间集计算无法实现对熔池实时监测的效果;对比发明专利CN106162131A简单使用因子为2倍增曝光时间来生成图像序列,这样的图像序列信息冗余度高,计算量大,本方法使用随机搜索方法允许第一帧包含0.1%的像素量处于过曝状态,最大化利用8位图像的信息空间,同时使用直方图推理的方法使得信息冗余度在30%左右,可有效实现对K-TIG焊接状态的实时监测。
该步骤过程如下:
S11、若曝光时间集不为空,通过检测曝光过程,判断是否需要重新生成曝光时间集,若不需要则直接由已得到的曝光时间集采集得到图像序列{A};若曝光时间集为空或者经判断需要重新生成曝光时间集则执行下一步骤S12;
具体实施如下:采集曝光时间集中第一帧曝光时间图像,统计像素值在255到240之间的像素量,并除以总像素量得到像素占比r1,其中,总像素量是指图像分辨率,将其与曝光时间集首次产生或重新产生后首次采集图像时的第一帧相对应的像素占比r求差并取绝对值r2,若r2大于0.2%,则需要重新生成曝光时间集,否则继续使用该曝光时间集得到图像序列{A}。
S12、通过随机搜索生成第一帧合适曝光时间,采集第一帧合适曝光时间的图像;具体实施如下:
S121、通过工业相机采集曝光时间为100微秒的焊接图像;
S122、从像素值为255开始,统计各像素值的像素量占总像素量比值之和,得到占总像素量0.1%的像素值p1;
S123、将p1与100和250相比较,若低于100则跳至步骤S114,若大于250则跳至步骤S115,若p1大于100且小于250,则通过公式:
t′=240t/p1
其中,t′为第一帧合适的曝光时间,t为当前图像的曝光时间。并跳至步骤S126;
S124、判断上一次循环曝光时间t是否回缩,是则将上次回缩的一半增至当前的曝光时间,否则将曝光时间乘以2,得到下一次循环的曝光时间t,通过工业相机采集曝光时间t的图像并回到步骤S122;
S125判断当前曝光时间是否为100微秒,若为100微秒,则将t′=100微秒作为第一帧合适的曝光时间并跳至步骤S126;否则将曝光时间回缩到上次增加的一半,得到下一次循环的曝光时间t,通过工业相机采集曝光时间t的图像并回到步骤S122;
S126、得到第一帧合适的曝光时间t′并将其放入曝光时间集中,得到第一帧曝光时间图像,统计像素值在255到240之间的像素量,并除以总像素量得到像素占比r,结束随机搜寻过程。
S13、通过直方图推理得到第二帧和第三帧合适曝光时间图像组成图像序列{A};具体实施如下:
S131、通过工业相机采集曝光时间为t的焊接图像;
S132、从像素值为240开始,统计各像素值的像素量占总像素量比值之和,得到占总像素量30%的像素值p2;
S133、通过公式:t′=240t/p2
其中t′为下一帧合适的曝光时间,t为当前曝光时间,判断t′是否大于8倍t,若是则将8t赋值给t′,否则不做修改,将t′放入曝光时间集中,判断集合中的曝光时间数量是否为3,若小于3则回到步骤S131,否则结束直方图推理过程,并以曝光时间集采集图像得到图像序列{A}。
S2、将得到的图像序列{A}中最低曝光时间图像作为基准,通过掩膜的方式获取图像序列{A}中较高曝光时间图像相对于最低曝光时间图像的整体曝光量比值序列{B};该步骤的目的在于,图像序列冗余度降低后,会加强噪声对融合图像的影响,传统使用曝光时间集计算曝光量比值的方法会导致严重的鬼影,给后续图像处理增加了不必要的麻烦,使用掩膜方式计算整体曝光量比值可有效去除鬼影,实现融合高动态图像光滑过渡。具体为:
以图像序列{A}中最低曝光时间图像作为基准,k1=1,通过掩膜的方式获取图像序列{A}较大曝光时间图像过曝边缘的平均像素值avg1,其中,过曝是指像素值为255的像素,过曝边缘指邻近过曝的像素位置的像素,并求取最低曝光时间图像相同位置范围的平均像素值avg2,通过公式:
Figure BDA0003009072220000101
得到较大曝光时间图像与最小曝光时间图像的整体曝光量比值k2;再通过掩膜的方式获取图像序列{A}最大曝光时间图像过曝边缘的平均像素值avg1,并求取较低曝光时间图像相同位置范围的平均像素值avg2,通过公式:
Figure BDA0003009072220000102
得到最大曝光时间图像与较低曝光时间图像的整体曝光量比值k3;然后将k3与k2的乘积赋给k3,得到以最低曝光时间图像为基准的整体曝光量比值序列{B}。
具体的掩膜方式为:以图像序列{A}中最低曝光时间图像和较大曝光时间为例,求取较大曝光时间图像的掩膜,通过公式:
Figure BDA0003009072220000103
生成,其中,Ij为掩膜图像中第j个位置的像素值,pj为较大曝光时间图像在第j个位置的像素值。由于焊接过程电磁干扰较为严重,相机包含许多椒盐噪声,因此对掩膜图像进行形态学膨胀处理,具体通过公式:
Figure BDA0003009072220000104
Figure BDA0003009072220000111
实现,其中I′为形态学处理后掩膜图像,I为处理前掩膜图像,⊙表示膨胀处理。得到膨胀后的掩膜图像减去膨胀前的掩膜图像,即得到较大曝光时间图像过曝边缘位置:Imask=I′-I。将该掩膜分别与较大曝光时间图像和最低曝光时间图像做点乘操作,求和后除以非零像素个数得到过曝边缘的像素值均值。
S3、使用整体曝光量比值中得到的比值序列{B}对图像序列{A}的像素恢复相对亮度值,求取图像序列{A}中各像素位置相对亮度值的加权平均得到高动态范围图像C;与发明专利CN108668093A和发明专利CN108629739B对比,这两项发明使用图像信息生成权重图进而对图像序列加权合成,对于信息冗余度较低的图像序列,丢失细节严重,且这两项发明均针对刚体,而焊接熔池属于流体,这导致鬼影缺陷严重;与发明专利CN106162131A对比,本方法使用线性计算,避免需要提供相机响应函数繁琐的操作,同时避免进行复杂的运算,保证监测的实时性。该步骤具体为:
根据整体曝光量比值序列{B},对图像序列{A}的每一张图像的各像素位置通过公式:
Figure BDA0003009072220000112
其中,Pij为图像序列{A}中第i张图像中第j个像素位置的像素值,ki为整体曝光量比值序列{B}中的第i个比值,wi(`)为第i张图像对应的权值函数,Ej为图像第j个像素位置所恢复的相对亮度值,得到高动态范围图像C。
其中,权值函数是为了评估各图像中不同像素值的置信度,在K-TIG焊中,由于亮度差异巨大,在第一帧图像中,容易出现明显的像素值断层,即较高像素值向较低像素值过渡时,出现数量断崖式减少,而第一帧主要采集电弧的信息,因此从像素值为128权重逐渐增加,而在0-128之间权值最小;在第二帧中,主要采集熔池和锁孔入口信息,因此权值函数以128为对称轴呈三角形分布;在第三帧中,主要采集焊缝信息,由于K-TIG的强弧光,此时焊缝信息仍处于较低像素值区域,因此在0-128之间的像素值权重最高,从128开始逐渐下降。具体由以下公式给出:
Figure BDA0003009072220000121
Figure BDA0003009072220000122
Figure BDA0003009072220000123
其中,p为像素值,w1(p)、w2(p)和w3(p)分别为图像序列{A}中第一张、第二张、第三张图像的权值函数。
S4、将得到的高动态范围图像C进行色调重映射,对高动态范围图像C进行gamma变换,得到可在显示器显示的8位图像D,具体为:
将高动态图像C的各个像素位置的相对亮度值Ej进行gamma变换,通过公式实现:
Figure BDA0003009072220000124
其中,p′j为gamma变换后的像素值,γ为gamma变换因子,在K-TIG焊中取值范围为0.1到0.5。然后通过公式
Figure BDA0003009072220000125
其中,p″j为拉伸后的像素值,p′max和p′min分别为p′j的最大值和最小值,得到8位高动态图像D。
实施例二
本实施例公开了一种适用于K-TIG焊超强弧光场景的高动态图像融合方法具体实施方法,融合算法步骤如图1所示。
在实现K-TIG焊自动化过程中,视觉技术作为一种直观、信息丰富的传感技术是不可或缺的。K-TIG焊工作过程中,超强弧光会导致普通工业相机处于过曝状态,无法稳定采集包含弧光、锁孔、熔池以及焊缝的信息,这阻碍了普通工业相机在焊接工业上的应用。高动态图像技术可以帮助提升工业相机的动态范围,突破这一阻碍。
在现有的相机监测系统不改变的情况下,在相机与工控机之间增加FPGA数据处理模块和MCU控制模块。如图2所示为模块之间的系统框图。为避免K-TIG焊的电磁辐射干扰,在不破坏原有工业相机的屏蔽干扰的前提下,将该系统集成于相机外部。其中,一种适用于K-TIG焊超强弧光场景的高动态图像融合方法中的各步骤设计图像处理运算的,包括统计直方图、形态学处理、恢复相对亮度并融合以及色调重映射等步骤均在FPGA图像处理模块实现。如图3所示,图像通过通信模块进入缓存电路,具体进入哪个功能模块由MCU控制。除了控制图像进入FPGA图像处理模块的哪个模块进行运算之外,MCU还负责将计算得到的曝光时间输入工业相机,并控制工业相机进行采集图像。最终由FPGA图像处理模块输出至工控机进行焊接图像特征提取、分析以及显示。
上述实施例为本发明较佳的实施方式,但本发明的实施方式并不受上述实施例的限制,其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化,均应为等效的置换方式,都包含在本发明的保护范围之内。

Claims (6)

1.一种适用于K-TIG焊超强弧光场景的高动态图像融合方法,其特征在于,所述高动态图像融合方法包括以下步骤:
S1、通过工业相机拍摄K-TIG焊的焊接场景图像,使用随机搜索方法搜寻焊接场景图像中第一帧的合适曝光时间,并根据直方图生成下一帧的合适曝光时间,直到生成3个曝光时间集,并将曝光时间集输入工业相机采集3张低动态范围图像序列{A};其中,生成曝光时间集合的过程如下:
S11、若曝光时间集不为空,通过检测曝光过程,判断是否需要重新生成曝光时间集,若不需要则直接由已得到的曝光时间集采集得到图像序列{A};若曝光时间集为空或者经判断需要重新生成曝光时间集则执行下一步骤S12;
其中,通过检测曝光过程,判断是否需要重新生成曝光时间集的过程如下:
采集曝光时间集中第一帧曝光时间图像,统计像素值在255到240之间的像素量,并除以总像素量得到像素占比r1,其中,总像素量是指图像分辨率,将其与曝光时间集首次产生或重新产生后首次采集图像时的第一帧相对应的像素占比r求差并取绝对值r2,若r2大于0.2%,则需要重新生成曝光时间集,否则继续使用该曝光时间集得到图像序列{A};
S12、通过随机搜索生成第一帧合适曝光时间,采集第一帧合适曝光时间的图像;
S13、通过直方图推理得到第二帧和第三帧合适曝光时间图像组成图像序列{A};
S2、将得到的图像序列{A}中最低曝光时间图像作为基准,通过掩膜的方式获取图像序列{A}中较高曝光时间图像相对于最低曝光时间图像的整体曝光量比值序列{B};所述步骤S2中整体曝光量比值的计算过程如下:
以图像序列{A}中最低曝光时间图像作为基准,k1=1,通过掩膜的方式获取图像序列{A}较大曝光时间图像过曝边缘的平均像素值avg1,其中,过曝是指像素值为255的像素,过曝边缘指邻近过曝的像素位置的像素,并求取最低曝光时间图像相同位置范围的平均像素值avg2,通过公式:
Figure FDA0003859485620000021
计算得到较大曝光时间图像与最小曝光时间图像的整体曝光量比值k2
通过掩膜的方式获取图像序列{A}最大曝光时间图像过曝边缘的平均像素值avg1,并求取较低曝光时间图像相同位置范围的平均像素值avg2,通过公式:
Figure FDA0003859485620000022
计算得到最大曝光时间图像与较低曝光时间图像的整体曝光量比值k3
将k3与k2的乘积赋给k3,得到以最低曝光时间图像为基准的整体曝光量比值序列{B};
所述通过掩膜的方式获取图像序列{A}最大曝光时间图像过曝边缘的平均像素值avg1的过程如下:
针对图像序列{A}中最低曝光时间图像和较大曝光时间,求取较大曝光时间图像的掩膜如下:
通过公式生成
Figure FDA0003859485620000023
其中,Ij为掩膜图像中第j个位置的像素值,pj为较大曝光时间图像在第j个位置的像素值;
由于焊接过程电磁干扰较为严重,相机包含许多椒盐噪声,因此对掩膜图像进行形态学膨胀处理,通过公式
Figure FDA0003859485620000024
进行形态学膨胀处理,其中I′为形态学处理后掩膜图像,I为处理前掩膜图像,⊙表示膨胀处理;
将膨胀后的掩膜图像减去膨胀前的掩膜图像,即得到较大曝光时间图像过曝边缘位置:Imask=I′-I,将掩膜分别与较大曝光时间图像和最低曝光时间图像做点乘操作,求和后除以非零像素个数得到过曝边缘的像素值均值;
S3、使用整体曝光量比值中得到的比值序列{B}对图像序列{A}的像素恢复相对亮度值,求取图像序列{A}中各像素位置相对亮度值的加权平均得到高动态范围图像C;
S4、将得到的高动态范围图像C进行色调重映射,对高动态范围图像C进行gamma变换,得到可在显示器显示的8位图像D。
2.根据权利要求1所述的一种适用于K-TIG焊超强弧光场景的高动态图像融合方法,其特征在于,所述步骤S12中通过随机搜索生成第一帧合适曝光时间的过程如下:
S121、通过工业相机采集曝光时间为100微秒的焊接图像;
S122、从像素值为255开始,统计各像素值的像素量占总像素量比值之和,得到占总像素量0.1%的像素值p1;
S123、将p1与100和250相比较,若低于100则跳至步骤S114,若大于250则跳至步骤S115,若p1大于100且小于250,则通过公式:
t′=240t/p1
其中,t′为第一帧合适的曝光时间,t为当前图像的曝光时间,并跳至步骤S126;
S124、判断上一次循环曝光时间t是否回缩,是则将上次回缩的一半增至当前的曝光时间,否则将曝光时间乘以2,得到下一次循环的曝光时间t,通过工业相机采集曝光时间t的图像并回到步骤S122;
S125判断当前曝光时间是否为100微秒,若为100微秒,则将t′=100微秒作为第一帧合适的曝光时间并跳至步骤S126;否则将曝光时间回缩到上次增加的一半,得到下一次循环的曝光时间t,通过工业相机采集曝光时间t的图像并回到步骤S122;
S126、得到第一帧合适曝光时间t′并将其放入曝光时间集中,得到第一帧曝光时间图像,统计像素值在255到240之间的像素量,并除以总像素量得到像素占比r,结束随机搜寻过程。
3.根据权利要求1所述的一种适用于K-TIG焊超强弧光场景的高动态图像融合方法,其特征在于,所述步骤S13中直方图推理的过程如下:
S131、通过工业相机采集曝光时间为t的焊接图像;
S132、从像素值为240开始,统计各像素值的像素量占总像素量比值之和,得到占总像素量30%的像素值p2;
S133、通过公式:t′=240t/p2,判断t′是否大于8倍t,其中t′为下一帧合适的曝光时间,t为当前曝光时间,若是则将8t赋值给t′,否则不做修改,将t′放入曝光时间集中,判断集合中的曝光时间数量是否为3,若小于3则回到步骤S131,否则结束直方图推理过程,并以曝光时间集采集图像得到图像序列{A}。
4.根据权利要求1所述的一种适用于K-TIG焊超强弧光场景的高动态图像融合方法,其特征在于,所述步骤S3的过程如下:
根据整体曝光量比值序列{B},对图像序列{A}的每一张图像的各像素位置通过公式
Figure FDA0003859485620000041
计算得到Ej,Ej为图像第j个像素位置所恢复的相对亮度值,进而得到高动态范围图像C,其中,Pij为图像序列{A}中第i张图像中第j个像素位置的像素值,ki为整体曝光量比值序列{B}中的第i个比值,wi(`)为第i张图像对应的权值函数,权值函数由以下公式给出:
Figure FDA0003859485620000051
Figure FDA0003859485620000052
Figure FDA0003859485620000053
其中,p为像素值,w1(p)、w2(p)和w3(p)分别为图像序列{A}中第一张、第二张、第三张图像的权值函数。
5.根据权利要求1所述的一种适用于K-TIG焊超强弧光场景的高动态图像融合方法,其特征在于,所述步骤S4中色调重映射的过程如下:
将高动态图像C的各个像素位置的相对亮度值Ej进行gamma变换,gamma变换计算公式如下:
Figure FDA0003859485620000054
其中,p′j为gamma变换后的像素值,γ为gamma变换因子,在K-TIG焊监测中取值范围为0.1到0.5;
然后通过公式
Figure FDA0003859485620000055
得到8位高动态图像D,其中,p″j为拉伸后的像素值,p′max和p′min分别为p′j的最大值和最小值。
6.根据权利要求1所述的一种适用于K-TIG焊超强弧光场景的高动态图像融合方法,其特征在于,所述步骤S1中在得到第一个曝光时间集后,需要先进行曝光判断,判断是否需要重新产生曝光时间集。
CN202110376562.6A 2021-04-07 2021-04-07 一种适用于k-tig焊超强弧光场景的高动态图像融合方法 Active CN113240614B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110376562.6A CN113240614B (zh) 2021-04-07 2021-04-07 一种适用于k-tig焊超强弧光场景的高动态图像融合方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110376562.6A CN113240614B (zh) 2021-04-07 2021-04-07 一种适用于k-tig焊超强弧光场景的高动态图像融合方法

Publications (2)

Publication Number Publication Date
CN113240614A CN113240614A (zh) 2021-08-10
CN113240614B true CN113240614B (zh) 2023-02-10

Family

ID=77131169

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110376562.6A Active CN113240614B (zh) 2021-04-07 2021-04-07 一种适用于k-tig焊超强弧光场景的高动态图像融合方法

Country Status (1)

Country Link
CN (1) CN113240614B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114549397B (zh) * 2021-12-29 2025-08-01 安脉时代智能制造(宁德)有限公司 一种基于图像处理技术的焊印识别检测长宽的方法
CN116208860B (zh) * 2023-02-22 2024-08-13 华南理工大学 适用于k-tig焊超强弧光场景的图像融合方法及相机
CN117961223B (zh) * 2024-01-10 2024-09-24 重庆交通大学 一种基于视觉反馈的大跨拱桥焊缝跟踪装置及方法
CN118714464B (zh) * 2024-08-29 2024-11-12 南昌工程学院 一种cmt焊接场景的高动态范围图像在线合成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826066A (zh) * 2014-02-26 2014-05-28 芯原微电子(上海)有限公司 一种自动曝光调整方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10131897A1 (de) * 2001-07-04 2003-01-16 Leica Microsystems Verfahren und Messvorrichtung zum Detektieren eines Objekts
US8933985B1 (en) * 2011-06-06 2015-01-13 Qualcomm Technologies, Inc. Method, apparatus, and manufacture for on-camera HDR panorama
CN106162131B (zh) * 2015-04-28 2018-08-28 深圳市易瞳科技有限公司 一种实时图像处理方法
US10523874B2 (en) * 2016-02-16 2019-12-31 Sony Corporation Image processing apparatus, image processing method, and program
JP2017184094A (ja) * 2016-03-31 2017-10-05 ソニー株式会社 撮像制御装置、撮像制御方法、コンピュータプログラム及び電子機器
CN108629739B (zh) * 2017-03-23 2020-08-11 展讯通信(上海)有限公司 Hdr图像的生成方法、装置及移动终端
CN108668093B (zh) * 2017-03-31 2020-08-14 华为技术有限公司 Hdr图像的生成方法及装置
US11128809B2 (en) * 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103826066A (zh) * 2014-02-26 2014-05-28 芯原微电子(上海)有限公司 一种自动曝光调整方法及系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A high dynamic range SPAD pixel for time of flight imaging;Francescopaolo Mattioli Della Rocca1 et al;《https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8234049》;20171101;第1-3页 *
机器人K-TIG焊接旋转电弧磁场控制器及焊接质量研究;钟少涛 等;《自动化与仪器仪表》;20190725(第7期);第137-140页 *

Also Published As

Publication number Publication date
CN113240614A (zh) 2021-08-10

Similar Documents

Publication Publication Date Title
CN113240614B (zh) 一种适用于k-tig焊超强弧光场景的高动态图像融合方法
US20220232181A1 (en) Methods and apparatus for true high dynamic range imaging
KR101743861B1 (ko) 이미지 안정화를 위한 이미지 융합 방법
CN101930610A (zh) 使用适应性背景模型的移动物体侦测方法
CN116208860B (zh) 适用于k-tig焊超强弧光场景的图像融合方法及相机
CN112288642A (zh) 鬼影检测方法、图像融合方法及对应装置
US20240335910A1 (en) Welding phenomenon behavior measuring method, measuring device, welding system, and program
US20130044964A1 (en) Image processing device, image processing method and program
US20150086075A1 (en) System and method for face tracking
CN116935290B (zh) 机场场景下高分辨率阵列摄像机异构目标检测方法及系统
JP2023103226A (ja) 画像における複数の光源のフリッカ現象の低減
CN120387950B (zh) 一种融合成像协同的区域分割降噪方法、系统、终端及介质
WO2024071347A1 (ja) 物体検出装置、物体検出方法、及びプログラム
CN113129207B (zh) 一种图片的背景虚化方法及装置、计算机设备、存储介质
CN105338221A (zh) 一种图像处理方法及电子设备
WO2025107973A1 (zh) 运动轨迹图像生成方法、装置、存储介质及电子设备
Wang et al. An exposure fusion approach without ghost for dynamic scenes
CN111383260B (zh) 应用于可见光模态的自适应激光信息高速检测处理方法
WO2024094222A1 (zh) 一种基于图像区域有效性的多曝光图像融合方法及系统
CN118196117A (zh) 基于前景区域提取与语义分割的可燃气体泄露检测方法
JP5955466B2 (ja) 撮像装置
Saha et al. Low dynamic range image set generation from single image
Qin et al. Welding splash and arc noise reduction imaging model based on computationally efficient pairwise response serving welding process library
JP4628851B2 (ja) 物体検出方法および物体検出装置
JP3298355B2 (ja) 目標物検出装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant