CN101630405B - 一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法 - Google Patents

Abstract

本发明公开了一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法，首先，将源图像进行图像块分割，计算每个图像块的清晰度特征；再将源图像的部分区域作为训练样本，经训练后获得核Fisher分类器的各项参数；然后利用已知的核Fisher分类器获得初步融合图像；最后，利用冗余小波变换与空间相关系数对位于源图像清晰与模糊区域交界处的图像块进行融合处理，得到最终融合图像。本发明具有较好的图像融合性能，其融合结果中无明显的块效应与伪影，在有效提高图像融合质量与减少计算量之间获得了较好的折衷，可用于后续的图像处理与显示之中。当选用较少的小波分解层数时，本发明更适合于实时性要求较高的场合。

Description

一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法

技术领域

本发明属于图像融合领域，具体涉及一种多聚焦图像融合方法，本方法利用核Fisher分类与冗余小波变换对同一场景具有不同聚焦景物的图像进行融合处理，得到一幅处处聚焦的清晰图像。

背景技术

图像融合是当前图像处理界的研究热点之一，它已广泛应用于遥感，机器视觉，医学，军事，司法与制造业等领域。在采用CCD或CMOS等图像传感器获取影像的时候，由于镜头景深的原因，位于聚焦平面上的景物在图像上可获得清晰的投影，而其他位置的景物在图像上受到不同程度的模糊。一幅处处聚焦的图像是许多后续处理的前提条件，解决这一问题的主要方法就是多聚焦图像融合技术，即采用不同的焦距设置拍摄一系列图像，然后将这些图像进行融合处理，获得一幅处处清晰的融合图像。多聚焦源图像通常可以分为清晰区域、模糊区域以及两者之间的交界区域三个部分。多聚焦图像融合的目的就是找出源图像中的清晰区域，然后组合成一幅所有景物皆清晰的合成图像。

目前，常用的多聚焦图像融合方法主要分为变换域与空间域两大类方法。基于变换域的常用图像融合方法主要采用拉普拉斯(Laplacian)金字塔、小波变换、曲波(Curvelet)变换、轮廓波(Contourlet)变换等。这类方法的整体融合效果较好，无明显的块效应，但融合图像中易出现伪影等失真现象，且计算量与内存占用通常较大，尤其是采用非抽样的多分辨率分析方法时。近年来，有研究者提出了一些基于Contourlet、Curvelet等新型多分辨率分析的图像融合方法，这些融合方法大多是将基于小波变换的融合规则移植到新型多分辨率分析的高频与低频系数的融合中，且这些方法往往需要较高的计算量，融合效果提高有限。空间域融合方法可分为以像素、图像块与区域为单位的三种融合方式。在以像素为基础进行多聚焦图像融合时，通常需要判断每个像素是否聚焦，其缺点为计算量与误差均较大。基于图像块的多聚焦图像融合方法计算效率较高，但如何选取合适的图像块大小有待进一步的研究。基于区域的多聚焦图像融合方法由于首先必须进行图像分割处理，从而增加了计算量，且融合效果很大程度上取决于图像分割的质量。这三种方法中，基于图像块的融合技术具有较好的计算效率，若能解决源图像中清晰与模糊区域交界处图像块融合的问题，可进一步提高融合效果。

近年来，模式分类方法被广泛的引入到图像融合领域中，有学者分别提出了基于神经网络、支持向量机与支持向量聚类的融合策略。但现有文献没有充分考虑到源图像中清晰与模糊区域分界处图像块融合的特殊情况。也有文献提出采用离散余弦变换对位于源图像清晰与模糊区域交界处的图像块进行融合处理，但该方法需要运用支持向量机进行两次分类，且离散余弦变换的融合效果相比基于多分辨率分析的融合方法仍有一定差距。还有一些文献提出的融合方法以多分辨率系数为研究对象，计算量相对较大。

发明内容

针对现有多聚焦图像融合方法的不足，本发明的目的是提供一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法，本方法计算量小，图像融合质量高。

本发明的目的是这样实现的：首先，将源图像分别进行图像块分割，计算每个图像块的清晰度特征；再将源图像的部分区域作为训练样本，经训练后获得核Fisher分类器的各项参数；然后利用已知的核Fisher分类器获得初步融合图像；最后，利用冗余小波变换与空间相关系数对位于源图像清晰与模糊区域交界处的图像块进行融合处理，得到最终融合图像。

其具体融合方法为：

(1)将大小为M×N的源图像A、B分为若干大小为d×d的图像块。定义Sign(m，n)为对应于最终融合图像F的每个图像块的标志矩阵，其中0≤m≤(M/d-1)，0≤n≤(N/d-1)。

(2)分别计算每个图像块的三个清晰度特征：改进的拉普拉斯能量和SML、空间频率SF、以及图像梯度能量EOG，定义对应源图像块A_h与B_h的特征向量分别为

与

(3)在源图像中选取合适的区域作为训练集，训练核Fisher分类器来判断源图像块A_h、B_h中哪个更清晰。归一化后的差值向量作为输入，当源图像块A_h比B_h更清晰时，输出为1，否则输出为0。

(4)利用前一步骤获得的核Fisher分类器对所有源图像块对进行分类。如果源图像块A_h较B_h更清晰，Sign(m，n)的值为1，否则为0。

(5)利用多数滤波器对已得到的标志矩阵Sign(m，n)进行一致性校验，即每个融合图像块应与以其为中心的校验窗口中的大多数图像块来自同一源图像。本发明选用的校验窗口大小为3×3。这样根据校验后的标志矩阵Sign(m，n)，可以得到初步融合图像Z，即

$Z(i,j)=\left\{\begin{array}{cc}A(i,j)& \mathrm{Sign}(m,n)=1\\ B(i,j)& \mathrm{Sign}(m,n)=0\end{array}\right.$

其中，(m-1)×d+1≤i≤m×d，(n-1)×d+1≤j≤n×d。

(6)找出位于源图像的清晰与模糊区域交界处的图像块。根据已完成一致性校验的标志矩阵Sign(m，n)，若某个图像块来自一幅源图像，而其在3×3的邻域中存在来自另外一幅源图像的图像块，则可以认为该图像块位于源图像的清晰与模糊区域的交界处。对于这一类图像块，本发明给出了如下的融合策略，即

①对位于清晰与模糊区域交界处的源图像块X_e与Y_e采用冗余小波变换(RWT)分解L层，即

$X_e=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{H}_X^l+\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{V}_X^l+\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{D}_X^l+A_X^L$

$Y_e=\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{H}_Y^l+\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{V}_Y^l+\underset{l=1}{\overset{L}{\mathrm{\Σ}}}{D}_Y^l+A_Y^L$

其中，H_X ^l、V_X ^l、D_X ^l与H_Y ^l、V_Y ^l、D_Y ^l分别为源图像块X_e与Y_e经冗余小波变换分解后得到的位于l层表征水平、垂直与对角方向的高频子图，A_X ^L与A_Y ^L分别为源图像块X_e与Y_e经冗余小波变换分解后得到的低频子图。

②对RWT分解得到的高频系数选择绝对值大者为融合后的高频系数，即

$H_F^l(i,j)=\left\{\begin{array}{cc}{H}_X^l(i,j)& \left|H_X^l(i,j)\right|\&GreaterEqual;\left|H_Y^l(i,j)\right|\\ H_Y^l(i,j)& \left|H_X^l(i,j)\right|<\left|H_Y^l(i,j)\right|\end{array}\right.$

$V_F^l(i,j)=\left\{\begin{array}{cc}{V}_X^l(i,j)& \left|V_X^l(i,j)\right|\&GreaterEqual;\left|V_Y^l(i,j)\right|\\ V_Y^l(i,j)& \left|V_X^l(i,j)\right|<\left|V_Y^l(i,j)\right|\end{array}\right.$

$D_F^l(i,j)=\left\{\begin{array}{cc}{D}_X^l(i,j)& \left|D_X^l(i,j)\right|\&GreaterEqual;\left|D_Y^l(i,j)\right|\\ D_Y^l(i,j)& \left|D_X^l(i,j)\right|<\left|D_Y^l(i,j)\right|\end{array}\right.$

其中，H_F ^l(i，j)、V_F ^l(i，j)、D_F ^l(i，j)分别为融合图像块F_e在l层表征水平、垂直与对角方向的高频子图中(i，j)处的高频系数。

③选择RWT分解得到的低频系数中改进的拉普拉斯能量(ML)值大者为融合后的低频系数，即

$A_F^L(i,j)=\left\{\begin{array}{cc}{A}_X^L(i,j)& {\mathrm{ML}}_X^L(i,j)\&GreaterEqual;{\mathrm{ML}}_Y^L(i,j)\\ A_Y^L(i,j)& {\mathrm{ML}}_X^L(i,j)<{\mathrm{ML}}_Y^L(i,j)\end{array}\right.$

其中，ML_X ^L(i，j)与ML_Y ^L(i，j)分别为源图像块X_e与Y_e中(i，j)处的ML值，A_X ^L(i，j)、A_Y ^L(i，j)与A_F ^L(i，j)分别为源图像块X_e、Y_e以及融合图像块F_e位于(i，j)处的低频系数。

④在对融合后的高、低频系数进行一致性校验后，利用冗余小波逆变换得到融合后的图像块F_e，即

$F_e=\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{H}_F^l+\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{V}_F^l+\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{D}_F^l+A_F^L$

⑤融合图像块F_e的清晰程度介于源图像块的清晰与模糊区域之间，但更接近于清晰区域。对此，本发明利用这一特性，将这类图像块类型进一步细化，给出了一种判别源图像块是否同时包含源图像的清晰与模糊区域的方法，如下：

首先分别计算源图像块X_e、Y_e与融合图像块F_e的空间相关系数(sCC)，即

若

或则

$\mathrm{sCC}(F_e^{\&prime;},X_e^{\&prime;})=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[F_e^{\&prime;}(i,j)-\stackrel{\&OverBar;}{F_e^{\&prime;}}][X_e^{\&prime;}(i,j)-{\stackrel{\&OverBar;}{X^{\&prime;}}}_e]}{\sqrt{\left\{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{[F_e^{\&prime;}(i,j)-\stackrel{\&OverBar;}{F_e^{\&prime;}}]}^2\right\}\left\{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{[X_e^{\&prime;}(i,j)-{\stackrel{\&OverBar;}{X^{\&prime;}}}_e]}^2\right\}}}$

$\mathrm{sCC}(F_e^{\&prime;},Y_e^{\&prime;})=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[F_e^{\&prime;}(i,j)-\stackrel{\&OverBar;}{F_e^{\&prime;}}][Y_e^{\&prime;}(i,j)-{\stackrel{\&OverBar;}{Y^{\&prime;}}}_e]}{\sqrt{\left\{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{[F_e^{\&prime;}(i,j)-\stackrel{\&OverBar;}{F_e^{\&prime;}}]}^2\right\}\left\{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{[Y_e^{\&prime;}(i,j)-{\stackrel{\&OverBar;}{Y^{\&prime;}}}_e]}^2\right\}}}$

(m-1)×d+1≤i≤m×d，(n-1)×d+1≤j≤n×d

上式中，X′_e、Y′_e与F′_e分别为源图像块X_e、Y_e与融合图像块F_e经高通滤波后得到的图像块，X′_e、Y′_e与F′_e分别为图像块X′_e、Y′_e与F′_e的像素灰度均值，Q为3×3的邻域，“^”为逻辑“与”运算。这里采用拉普拉斯模板进行高通滤波处理，即

$\left|\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right|$

对位于源图像清晰与模糊区域交界处的图像块采用如下的融合策略：

若

或

则

$F(i,j)=\left\{\begin{array}{cc}{F}_e(i,j)& |\mathrm{sCC}(F_e^{\&prime;},X_e^{\&prime;})-\mathrm{sCC}(F_e^{\&prime;},Y_e^{\&prime;})|<\mathrm{\&beta;}\\ [F_e(i,j)+Z(i,j)]/2& |\mathrm{sCC}(F_e^{\&prime;},X_e^{\&prime;})-\mathrm{sCC}(F_e^{\&prime;},Y_e^{\&prime;})|\&GreaterEqual;\mathrm{\&beta;}\end{array}\right.$

(m-1)d+1≤i≤m×d，(n-1)d+1≤j≤n×d

其中，β为依据Sign(m，n)计算所有这类图像块的|sCC(F′_e，X′_e)-sCC(F′_e，Y′_e)|值，然后统计得到的中值。在对标志矩阵Sign(m，n)中所有满足

或

条件的对应图像块进行以上操作后，可得到完整的最终融合图像F。

本发明利用核Fisher分类与冗余小波变换实现多聚焦图像融合，核Fisher分类又称为核Fisher判别分析，它是在Fisher线性判别基础上提出的一种非线性分类方法，它不依赖于对模型的选择，也不存在采用神经网络进行分类处理中易出现的维数灾难与局部极小点问题。相比支持向量机，核Fisher分类具有两个优点：一是没有支持向量的概念，其复杂性与训练样本的数目成比例，而支持向量机的复杂度与支持向量的个数密切相关；二是核Fisher分类器的性能在某些方向优于支持向量机，其主要原因是前者的训练依赖于全部训练样本，而后者主要依靠支持向量。本发明借助核Fisher分类进行多聚焦图像融合。

相比现有技术，本发明具有如下效果：

1)相比传统的基于小波变换以及其他新型多分辨率分析的多聚焦图像融合方法，本发明具有较好融合的性能。其主要原因在于，通过这些常用方法获得的多分辨率融合金字塔中的高、低系数是按一定融合规则得到的，通常不完全来自源图像的清晰区域，这就造成了融合图像的清晰程度介于源图像的清晰与模糊区域之间。而本发明的大部分图像区域完全来自源图像中对应的清晰区域。此外，由于本发明无需对整幅图像进行多分辨率分解与重构运算，其计算效率要优于采用非抽样多分辨率分析的融合方法。

2)相比传统的基于图像块分割的多聚焦图像融合方法，本发明具有更好的目视效果。采用图像块的常用融合方法往往没有考虑到同时包含源图像中清晰与模糊区域的图像块，这就使得融合图像易出现锯齿现象或存在明显模糊区域的情况。而本发明对位于源图像清晰与模糊区域分界线附近的图像块利用冗余小波变换按一定的融合规则进行了处理，改善了融合质量。

3)本发明综合了基于多分辨率分析与基于图像块的常用融合方法各自的优点，在提高图像融合质量与减少计算量之间得到了较好的折衷。

附图说明

图1为基于图像块分割的多聚焦图像融合示意图，图中的虚曲线表示源图像中清晰与模糊区域的分界线。

图2为本发明提出的图像融合方法过程图，图中的虚曲线表示源图像中清晰与模糊区域的分界线。

图3为本发明对于源图像对Disk的仿真结果，其中3(a)、(b)分别为聚焦到不同景物的源图像，其中白色方框内的区域为训练集，3(c)为处处聚焦的参考图像，3(d)为本发明采用线性核函数与三层小波分解得到的融合图像，3(e)为本发明采用径向基核函数与三层小波分解得到的融合图像，3(f)为本发明采用线性核函数与一层小波分解得到的融合图像，3(g)为本发明采用径向基核函数与一层小波分解得到的融合图像，3(h)为DWT-1方法的融合图像，3(i)为DWT-2方法的融合图像，3(j)为RWT-1方法的融合图像，3(k)为RWT-2方法的融合图像，3(l)为RWT-3方法的融合图像。

图4为本发明对于源图像对Lab的仿真结果，其中4(a)、(b)分别为聚焦到不同景物的源图像，4(c)为处处聚焦的参考图像，4(d)为本发明采用线性核函数与三层小波分解得到的融合图像，4(e)为本发明采用径向基核函数与三层小波分解得到的融合图像，4(f)为本发明采用线性核函数与一层小波分解得到的融合图像，4(g)为本发明采用径向基核函数与一层小波分解得到的融合图像，4(h)为DWT-1方法的融合图像，4(i)为DWT-2方法的融合图像，4(j)为RWT-1方法的融合图像，4(k)为RWT-2方法的融合图像，4(l)为RWT-3方法的融合图像。

图5为本发明对于源图像对Pepsi的仿真结果，其中5(a)、(b)分别为聚焦到不同景物的源图像，5(c)为处处聚焦的参考图像，5(d)为本发明采用线性核函数与三层小波分解得到的融合图像，5(e)为本发明采用径向基核函数与三层小波分解得到的融合图像，5(f)为本发明采用线性核函数与一层小波分解得到的融合图像，5(g)为本发明采用径向基核函数与一层小波分解得到的融合图像，5(h)为DWT-1方法的融合图像，5(i)为DWT-2方法的融合图像，5(j)为RWT-1方法的融合图像，5(k)为RWT-2方法的融合图像，5(l)为RWT-3方法的融合图像。

具体实施方式

下面结合附图对本发明作进一步的说明。

本发明将用到以下三个清晰度特征，即

1)改进的拉普拉斯能量和(SML)

ML(x，y)＝|2I(x，y)-I(x-step，y)-I(x+step，y)|+|2I(x，y)-I(x，y-step)-I(x，y+step)|上式中，step表示系数之间的距离，本发明中step取为1。I(x，y)为源图像中(x，y)处的像素灰度值。

$\mathrm{SML}=\underset{x=1}{\overset{d}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{d}{\mathrm{\&Sigma;}}}{\left[\mathrm{ML}(x,y)\right]}^2$

不同源图像中同一位置图像块的SML值越大，其对应的图像块越清晰。

2)空间频率(SF)

空间频率反映了一幅图像空间的总体活跃程度，它包括行频率(Row Frequency，RF)和列频率(Column Frequency，CF)。大小为d×d的图像块空间频率定义如下：

$\mathrm{RF}=\sqrt{\frac{1}{d\&times;d}\underset{x=1}{\overset{d}{\mathrm{\&Sigma;}}}\underset{y=2}{\overset{d}{\mathrm{\&Sigma;}}}{[I(x,y)-I(x,y-1)]}^2}$

$\mathrm{CF}=\sqrt{\frac{1}{d\&times;d}\underset{x=2}{\overset{d}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{d}{\mathrm{\&Sigma;}}}{[I(x,y)-I(x-1,y)]}^2}$

总体的空间频率值取RF和CF的均方根，即

$\mathrm{SF}=\sqrt{{\mathrm{RF}}^2+{\mathrm{CF}}^2}$

空间频率越大，其所对应的图像块越清晰。

3)图像梯度能量(EOG)

图像梯度能量反映了图像的梯度信息，在一定程度上表征了图像的聚焦特性与清晰度，其值越大，所对应的图像块越清楚。大小为d×d的图像块梯度能量定义为：

$\mathrm{EOG}=\underset{x=1}{\overset{d}{\mathrm{\&Sigma;}}}\underset{y=1}{\overset{d}{\mathrm{\&Sigma;}}}[G_x^2(x,y)+G_y^2(x,y)]$

其中，G_x＝I(x，y)-I(x-1，y)，G_y＝I(x，y)-I(x，y-1)。

本发明首先将源图像进行图像块分割，计算每个图像块的上述三个清晰度特征；再将源图像的部分区域作为训练样本，经训练后获得核Fisher分类器的各项参数；然后利用已知的核Fisher分类器获得初步融合图像；最后，利用冗余小波变换与空间相关系数对位于源图像清晰与模糊区域交界处的图像块进行融合处理，得到最终融合图像。

本发明的具体步骤如下：

(1)将大小为M×N的源图像A、B分为若干大小为d×d的图像块。本发明算法选用16×16大小的图像块。定义Sign(m，n)为对应于最终融合图像F的每个图像块的标志矩阵，其中0≤m≤(M/d-1)，0≤n≤(N/d-1)。

(2)分别计算每个图像块的三个清晰度特征：改进的拉普拉斯能量和SML、空间频率SF、以及图像梯度能量EOG，定义对应源图像块A_h与B_h的特征向量分别为与

(3)在源图像中选取合适的区域作为训练集，训练核Fisher分类器来判断源图像块A_h、B_h中哪个更清晰。归一化后的差值向量作为输入，当源图像块A_h比B_h更清晰时，输出为1，否则输出为0。

(4)利用前一步骤获得的核Fisher分类器对所有源图像块对进行分类。如果源图像块A_h较B_h更清晰，Sign(m，n)的值为1，否则为0。

(5)利用多数滤波器对已得到的标志矩阵Sign(m，n)进行一致性校验，即每个融合图像块应与以其为中心的校验窗口中的大多数图像块来自同一源图像。本发明选用的校验窗口大小为3×3。这样根据校验后的标志矩阵Sign(m，n)，可以得到初步融合图像Z，即

$Z(i,j)=\left\{\begin{array}{cc}A(i,j)& \mathrm{Sign}(m,n)=1\\ B(i,j)& \mathrm{Sign}(m,n)=0\end{array}\right.$

其中，(m-1)×d+1≤i≤m×d，(n-1)×d+1≤j≤n×d。

(6)找出位于源图像的清晰与模糊区域交界处的图像块。图1给出了基于图像块分割的多聚焦图像融合示意图，其中，“1”表示该图像块来自源图像A，“0”表示该图像块来自源图像B，图中的虚曲线表示源图像中清晰与模糊区域的分界线。根据已完成一致性校验的标志矩阵Sign(m，n)，若某个图像块来自一幅源图像，而其在3×3的邻域中存在来自另外一幅源图像的图像块，则可以认为该图像块位于源图像的清晰与模糊区域的交界处。

对于这一类图像块，本发明给出了如下的融合策略，即

①对位于清晰与模糊区域交界处的源图像块X_e与Y_e采用冗余小波变换(RWT)分解L层，即

$X_e=\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{H}_X^l+\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{V}_X^l+\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{D}_X^l+A_X^L$

$Y_e=\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{H}_Y^l+\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{V}_Y^l+\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{D}_Y^l+A_Y^L$

其中，H_X ^l、V_X ^l、D_X ^l与H_Y ^l、V_Y ^l、D_Y ^l分别为源图像块X_e与Y_e经冗余小波变换分解后得到的位于l层表征水平、垂直与对角方向的高频子图，A_X ^L与A_Y ^L分别为源图像块X_e与Y_e经冗余小波变换分解后得到的低频子图。这里采用RWT的原因主要有两个：一是RWT具有时移不变性，可有效改善抽样小波变换易造成的吉布斯现象；二是由于图像块通常较小，抽样小波变换分解得到的高、低频子图所能提供的信息有限，而冗余小波变换分解后得到的高、低频子图大小与源图像相同。

②对RWT分解得到的高频系数选择绝对值大者为融合后的高频系数，即

$H_F^l(i,j)=\left\{\begin{array}{cc}{H}_X^l(i,j)& \left|H_X^l(i,j)\right|\&GreaterEqual;\left|H_Y^l(i,j)\right|\\ H_Y^l(i,j)& \left|H_X^l(i,j)\right|<\left|H_Y^l(i,j)\right|\end{array}\right.$

$V_F^l(i,j)=\left\{\begin{array}{cc}{V}_X^l(i,j)& \left|V_X^l(i,j)\right|\&GreaterEqual;\left|V_Y^l(i,j)\right|\\ V_Y^l(i,j)& \left|V_X^l(i,j)\right|<\left|V_Y^l(i,j)\right|\end{array}\right.$

$D_F^l(i,j)=\left\{\begin{array}{cc}{D}_X^l(i,j)& \left|D_X^l(i,j)\right|\&GreaterEqual;\left|D_Y^l(i,j)\right|\\ D_Y^l(i,j)& \left|D_X^l(i,j)\right|<\left|D_Y^l(i,j)\right|\end{array}\right.$

其中，H_F ^l(i，j)、V_F ^l(i，j)、D_F ^l(i，j)分别为融合图像块F_e在l层表征水平、垂直与对角方向的高频子图中(i，j)处的高频系数。

③选择RWT分解得到的低频系数中改进的拉普拉斯能量(ML)值大者为融合后的低频系数，即

$A_F^L(i,j)=\left\{\begin{array}{cc}{A}_X^L(i,j)& {\mathrm{ML}}_X^L(i,j)\&GreaterEqual;{\mathrm{ML}}_Y^L(i,j)\\ A_Y^L(i,j)& {\mathrm{ML}}_X^L(i,j)<{\mathrm{ML}}_Y^L(i,j)\end{array}\right.$

其中，ML_X ^L(i，j)与ML_Y ^L(i，j)分别为源图像块X_e与Y_e在(i，j)处的ML值，A_X ^L(i，j)、A_Y ^L(i，j)与A_F ^L(i，j)分别为源图像块X_e、Y_e以及融合图像块F_e中位于(i，j)处的低频系数。

④在对融合后的高、低频系数进行一致性校验后，利用冗余小波逆变换得到融合后的图像块F_e，即

$F_e=\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{H}_F^l+\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{V}_F^l+\underset{l=1}{\overset{L}{\mathrm{\&Sigma;}}}{D}_F^l+A_F^L$

⑤多聚焦图像融合中，并非所有位于清晰与模糊区域交界处的源图像块都同时包含源图像的清晰与模糊区域。这部分图像块约占采用本发明的步骤(6)判定的位于源图像清晰与模糊区域的图像块总数的一半，见图1。图像块F_e的清晰程度介于源图像块的清晰与模糊区域之间，但更接近于清晰区域。对此，本发明利用这一特性，将图像块类型进一步细化，给出了一种判别源图像块是否同时包含源图像的清晰与模糊区域的方法，如下：

首先分别计算源图像块X_e、Y_e与融合图像块F_e的空间相关系数(sCC)，即

若

或

则

$\mathrm{sCC}(F_e^{\&prime;},X_e^{\&prime;})=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[F_e^{\&prime;}(i,j)-\stackrel{\&OverBar;}{F_e^{\&prime;}}][X_e^{\&prime;}(i,j)-{\stackrel{\&OverBar;}{X^{\&prime;}}}_e]}{\sqrt{\left\{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{[F_e^{\&prime;}(i,j)-\stackrel{\&OverBar;}{F_e^{\&prime;}}]}^2\right\}\left\{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{[X_e^{\&prime;}(i,j)-{\stackrel{\&OverBar;}{X^{\&prime;}}}_e]}^2\right\}}}$

$\mathrm{sCC}(F_e^{\&prime;},Y_e^{\&prime;})=\frac{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}[F_e^{\&prime;}(i,j)-\stackrel{\&OverBar;}{F_e^{\&prime;}}][Y_e^{\&prime;}(i,j)-{\stackrel{\&OverBar;}{Y^{\&prime;}}}_e]}{\sqrt{\left\{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{[F_e^{\&prime;}(i,j)-\stackrel{\&OverBar;}{F_e^{\&prime;}}]}^2\right\}\left\{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{[Y_e^{\&prime;}(i,j)-{\stackrel{\&OverBar;}{Y^{\&prime;}}}_e]}^2\right\}}}$

(m-1)×d+1≤i≤m×d，(n-1)×d+1≤j≤n×d

上式中，X′_e、Y′_e与F′_e分别为源图像块X_e、Y_e与融合图像块F_e经高通滤波后得到的图像块，X′_e、Y′_e与F′_e分别为图像块X′_e、Y′_e与F′_e的像素灰度均值，Q为3×3的邻域，“^”为逻辑“与”运算。这里采用拉普拉斯模板进行高通滤波处理，即

$\left|\begin{array}{ccc}-1& -1& -1\\ -1& 8& -1\\ -1& -1& -1\end{array}\right|$

由多聚焦图像融合的性质可知，若采用小波变换融合后得到的图像块F_e完全可用源图像中对应的清晰图像块X_e替代，则F_e与X_e的空间细节非常接近，两者之间的sCC值较大，此时F_e与Y_e的空间细节相差较大，两者之间的sCC值较小，那么sCC(F′_e，X′_e)-sCC(F′_e，Y′_e)的值较大。当源图像中对应的清晰图像块为Y_e时，sCC(F′_e，Y′_e)-sCC(F′_e，X′_e)的值较大。由此可知，当|sCC(F′_e，X′_e)-sCC(F′_e，Y′_e)|的值较大时，F_e通常没有同时包括源图像的清晰与模糊区域。因此依据Sign(m，n)计算所有这类图像块的|sCC(F′_e，X′_e)-sCC(F′_e，Y′_e)|值，然后统计得到中值β。这样的图像块约占采用本发明算法步骤(6)判定的位于源图像清晰与模糊区域交界处的图像块总数的一半。因此，可以判定当|sCC(F′_e，X′_e)-sCC(F′_e，Y′_e)|的值大于β时，可以认为该图像块未同时包括源图像的清晰与模糊区域，反之则认为该图像块同时包括源图像的清晰与模糊区域。

对位于源图像清晰与模糊区域交界处的图像块采用如下的融合策略：

若

或

则

$F(i,j)=\left\{\begin{array}{cc}{F}_e(i,j)& |\mathrm{sCC}(F_e^{\&prime;},X_e^{\&prime;})-\mathrm{sCC}(F_e^{\&prime;},Y_e^{\&prime;})|<\mathrm{\&beta;}\\ [F_e(i,j)+Z(i,j)]/2& |\mathrm{sCC}(F_e^{\&prime;},X_e^{\&prime;})-\mathrm{sCC}(F_e^{\&prime;},Y_e^{\&prime;})|\&GreaterEqual;\mathrm{\&beta;}\end{array}\right.$

(m-1)d+1≤i≤m×d，(n-1)d+1≤j≤n×d

上式中，为了获得更好的视觉效果，对|sCC(F′_e，X′_e)-sCC(F′_e，Y′_e)|的值大于β的图像块采用多分辨率融合图像块与核Fisher分类器判别得到的清晰源图像块取平均值的办法来获得最终融合图像块。在对标志矩阵Sign(m，n)中所有满足上述条件的对应图像块进行以上操作后，可得到完整的最终融合图像F。图2为本发明提出的图像融合方法过程图。

为了验证本发明的正确性与有效性，我们选用三组灰度级为256的源图像对Disk(大小为480×640)、Lab(大小为480×640)与Pepsi(大小为512×512)进行实验。这里，通过剪贴两幅源图像的清晰部分，人工合成一幅处处都聚焦的理想融合图像，即参考图像。仿真实验选择配置为Intel酷睿2双核E7400中央处理器(主频2.80GHz)，内存为3GB的台式电脑，利用Matlab 7.1软件在Windows XP操作系统下进行仿真实验。实验采用融合图像与参考图像之间的峰值信噪比(PSNR)与互信息(MI)作为客观评价标准。PSNR与互信息的值越大，则图像融合的质量越好。

峰值信噪比(PSNR)定义为：

$\mathrm{PSNR}=\frac{{255}^{2}M\&times;N}{\underset{i=1}{\overset{M}{\mathrm{\&Sigma;}}}\underset{j=1}{\overset{N}{\mathrm{\&Sigma;}}}{|R(i,j)-F(i,j)|}^2}$

上式中，F为融合图像，R为参考图像，它们的大小皆为M×N。

互信息(MI)的定义为：

${\mathrm{MI}}_{\mathrm{FR}}=\underset{f=0}{\overset{J-1}{\mathrm{\&Sigma;}}}\underset{r=0}{\overset{J-1}{\mathrm{\&Sigma;}}}{p}_{\mathrm{FR}}(f,r){\log }_2\frac{p_{\mathrm{FR}}(f,r)}{p_F\left(f\right)p_R\left(r\right)}$

上式中，p_FR(f，r)为融合图像F与参考图像R的联合概率密度，p_F(f)为融合图像F的概率密度，p_R(r)为参考图像R的概率密度，J为图像的灰度级。

仿真实验还采用了基于抽样小波变换(DWT)与冗余小波变换(RWT)的常用融合方法进行多聚焦图像融合，其中DWT-1为高频系数取绝对值大者，低频系数取平均值的融合方法，DWT-2为高、低频系数均采用局部方差最大者的融合方法，RWT-1为高频系数取绝对值大者，低频系数取平均值的融合方法，RWT-2为高、低频系数均采用局部方差最大者，RWT-3为高、低频系数均采用文献“一种基于小波变换的图像融合算法”(电子学报，2004，32(5)：750-753)提出的局部能量最大规则进行融合处理。值得一提的是，实验中涉及到小波变换时，皆采用“db8”小波基，且均对高、低频系数进行了一致性校验。实验中，常用融合方法采用三层小波分解，本发明分别采用一层与三层小波分解。

实验仅对核Fisher分类器进行一次训练，源图像对Disk中一对含有5×5图像块的区域被用来提取训练模式，整个训练集有50个训练模式，如图3(a)、(b)所示。仿真实验在进行核Fisher分类时分别选用线性与径向基核函数，正则化参数λ设置为0.01，一维线性支持向量机(SVM)的惩罚参数值C为100。

表1本发明的融合效果

表1分别给出本发明采用线性核函数与径向基核函数分别在小波分解一层与三层时获得的融合效果。表2为常用融合方法得到的融合效果。由表1、2的数据可知，对比线性核函数与径向基核函数的融合结果，在采用相同小波分解层数时，对于Disk，前者的融合效果要优于后者；对于Lab来讲，前者的PSNR上优于后者，前者的MI值要略少于后者；对于Pepsi来讲，前者的PSNR值要略逊于后者，而MI值要优于后者。总的来讲，采用这两种不同的核函数获得的融合结果相差不大。相比而言，线性核函数具有较好的鲁棒性，选用不同的惩罚参数值C获得的融合效果变化不大，因此在实际应用中，建议选用线性核函数。当本发明使用一层小波分解的融合效果略低于三层小波分解的结果，但仍高于其他几种常用融合方法的效果。由表2的数据可知，基于小波变换的常用融合方法中，在采用相同的融合规则时，冗余小波变换的融合效果通常要优于抽样小波变换。几种常用融合方法中，RWT-3方法获得的融合效果最好。

表2常用融合算法的效果评价

表3本发明与常用算法的运行时间(秒)

表3给出了仿真实验中所有算法的运行时间。由表3的数据可知，冗余小波变换的运行时间远多于其他几种融合方法，且融合规则越复杂，计算量越大。本发明分别采用线性与径向基核函数时的运行时间差别不大，一层小波分解时的计算量最小。本发明三层小波分解时的计算量仅略高于采用抽样小波变换的常用融合方法，远低于基于冗余小波变换的常用融合方法。因此在实时性要求较高的场合可选用一层小波分解的本发明，对融合质量要求较高的场合可选用三层小波分解的本发明。

图3～5分别给出了源图像对Disk、Lab与Pepsi及其融合效果。从图3～5可知，本发明获得的融合效果非常自然，无明显的块效应与伪影。常用方法的融合图像中存在着不同程度的伪影，整体效果不如本发明清晰，例如图3中部白色书籍附近，图4中人物的头部附近，图5右上角的文字附近等。总的来说，本发明的融合效果明显优于常用融合方法。

本发明的融合方法可用于两幅及其以上源图像的融合，当进行两幅以上源图像的融合时，可以先对其中两幅源图像进行融合，得到一幅融合图像，再将该融合图像作为新的源图像，与剩下未参与融合的其中一幅源图像进行融合，再次得到一幅新的融合图像，再将该融合图像作为新的源图像，与剩下未参与融合的其中一幅源图像进行融合，再得到一幅融合图像......依此类推，直到将所有的源图像融合完毕。

Claims (2)

1.一种利用核Fisher分类与冗余小波变换的多聚焦图像融合方法，其特征在于：它包括如下步骤：首先，将源图像分别进行图像块分割，计算每个图像块的清晰度特征；再将源图像的部分区域作为训练样本，经训练后获得核Fisher分类器的各项参数；然后利用已知的核Fisher分类器获得初步融合图像；最后，利用冗余小波变换与空间相关系数对位于源图像清晰与模糊区域交界处的图像块进行融合处理，得到最终融合图像；

所述利用核Fisher分类与冗余小波变换的多聚焦图像融合方法的具体融合步骤为：

(1)将大小均为M×N的源图像A、B分为若干大小为d×d的图像块，定义Sign(m，n)为对应于最终融合图像F的每个图像块的标志矩阵，其中0≤m≤(M/d-1)，0≤n≤(N/d-1)；

(2)分别计算每个图像块的三个清晰度特征：改进的拉普拉斯能量和SML、空间频率SF和图像梯度能量EOG；

(3)在源图像中选取作为训练样本的那部分区域作为训练集，训练核Fisher分类器来判断源图像块A_h、B_h中哪个更清晰，经训练后获得核Fisher分类器的各项参数；

(4)利用前一步骤获得的核Fisher分类器对所有源图像块对进行分类，若源图像块A_h较B_h更清晰，Sign(m，n)的值为1，否则为0；

(5)利用多数滤波器对已得到的标志矩阵Sign(m，n)进行一致性校验，根据校验后的标志矩阵Sign(m，n)，得到初步融合图像Z，即

其中，(m-1)×d+1≤i≤m×d，(n-1)×d+1≤j≤n×d；

(6)对初步融合图像Z中对应源图像的清晰与模糊区域交界处的图像块按下述方法融合：

①对源图像中位于清晰与模糊区域交界处的图像块X_e与Y_e采用冗余小波变换分解L层，即

其中， 

与 

分别为源图像块X_e与Y_e经冗余小波变换分解后得到的位于l层表征水平、垂直与对角方向的高频子图， 

与 

分别为源图像块X_e与Y_e经冗余小波变换分解后得到的低频子图；

②对冗余小波变换RWT分解得到的高频系数选择绝对值大者为融合后的高频系数， 即

其中， 

分别为融合图像块F_e在l层表征水平、垂直与对角方向的高频子图中(i，j)处的高频系数；

③选择冗余小波变换分解得到的低频系数中改进的拉普拉斯能量值大者为融合后的低频系数，即

其中， 

与 

分别为源图像块X_e与Y_e中(i，j)处的改进的拉普拉斯能量ML值， 

与 

分别为源图像块X_e、Y_e 以及融合图像块F_e位于(i，j)处的低频系数；

④再对融合后的高、低频系数进行一致性校验后，利用冗余小波逆变换得到融合后的图像块F_e，即

初步融合图像Z中对应源图像的清晰与模糊区域交界处的图像块由图像块F_e代替后即得到最终融合图像；

对位于源图像清晰与模糊区域交界处的图像块进一步采用如下的融合方法：

首先分别计算位于源图像清晰与模糊区域交界处的图像块X_e、Y_e与融合图像块F_e的空间相关系数(sCC)，即

若 

或 

则

(m-1)×d+1≤i≤m×d，(n-1)×d+1≤j≤n×d

上式中，X′_e、Y′_e与F′_e分别为源图像块X_e、Y_e与融合图像块F_e经高通滤波后得到的图像块， 

与 

分别为图像块X′_e、Y′_e与F′_e的像素灰度均值，Q为3×3的邻域，“∧”为逻辑“与”运算；

对位于源图像清晰与模糊区域交界处的图像块采用如下的融合方法：

若 

或 

则

(m-1)d+1≤i≤m×d，(n-1)d+1≤j≤n×d

其中，β为依据Sign(m，n)计算所有这类图像块的|sCC(F′_e，X′_e)-sCC(F′_e，Y′_e)|值，然后统计得到的中值；在对标志矩阵Sign(m，n)中所有满足 

或 

条件的对应图像块进行以上操作后，即得到完整的最终融合图像F。

2.根据权利要求1所述的利用核Fisher分类与冗余小波变换的多聚焦图像融合方法，其特征在于：初步融合图像Z的某图像块是否来自源图像清晰与模糊区域交界处的判别方法为：根据已完成一致性校验的标志矩阵Sign(m，n)，若初步融合图像Z中某个图像块来自一幅源图像，而其在3×3的邻域中存在来自另外一幅源图像的图像块，则认为该图像块位于源图像的清晰与模糊区域的交界处。 

Images