CN101320423A - 基于高频超分辨率的低分辨率步态识别方法 - Google Patents

Abstract

本发明属于图像处理技术领域，具体为一种基于高频超分辨率的低分辨率步态识别方法。本发明方法中，首先，将训练图像进行子采样，与原图像进行相减，获得他们的高频部分；其次，使用低分辨率的测试图像在子采样获得的低分辨率训练图像中进行邻域嵌入，获得对测试图像的高分辨率的高频部分；然后，使用插值获得高分辨率的中低频部分，相加得到测试高分辨率的图像；最后，使用得到的测试高分辨率图像作为步态识别的输入图像，进行步态识别。本发明可从远距离的低分辨率图像中恢复出高分辨率图像，从而提高步态识别的精度和扩大频态识别的距离。

Description

基于高频超分辨率的低分辨率步态识别方法

技术领域

本发明属于图像处理技术领域，具体涉及一种低分辨率的步态识别方法。

背景技术

步态识别技术是目前唯一的能够进行远程识别生物特征的认证技术，在社会安全领域里有着很大的应用前景。相比于其他生物特征认证技术，步态识别最大的优势就是能够进行远程(＞5m)识别。步态识别新近的一些方法中基于步态能量图(Gait Energy Image，GEI)的方法具有一定的优势【8】。他能够避免步态周期不易确定的特点，能够通过平均的方法消除存在于单帧图像上的噪声。

基于超分辨率的步态识别技术，是新近提出来的一项技术。它的意义在于，当摄像设备获得的测试图像的分辨率不足或者不够清晰时，以及目标离摄像设备较远时，利用超分辨率技术来处理这些测试图像将它们转化为清晰的高分辨率的图像，再提供给步态识别。这样能够保证步态识别在图像不够清晰的情况下仍然能够有足够的识别准确率。

基于超分辨率的步态识别技术的研究，涉及到模式识别，人工智能，机器学习，机器视觉等热门领域。进行这个方面的研究能够促进上述科研方向的发展。另外，基于超分辨率的步态识别技术为建立一个实用的步态识别系统提供了基础，具有很高的实用价值。

下面列出一些相关的研究文献：

1、陈德铭，张军平，基于残差邻域嵌入的超分辨率算法，广西师范大学学报，24卷4期(2006/12211-214)

2、YuetingZhuang，Jian Zhang，FeiWu，Hallucinating faces：LPHsuper-resolution and neighbor reconstruction forresidue compensation.PatternRecognition 40(2007)3178-3194

3、浦剑，张军平，超分辨率研究综述，大海海事大学学报，待发表，2008

4、S.T.Roweis，L.K.Saul，“Nonlinear Dimensionality Reduction by LocallyLinear Embedding，”Science，2000，vol.290，no.5500，pp.2323-2326.

5、Sam T.Roweis，Lawrence K.Saul，Nonlinear DimensionalityReductionbyLocally Linear Embedding

6、Liang Wang，Tieniu Tan，Senior Member，IEEE，WeimingHu，and HuazhongNing.Automatic Gait Recognition.Based on Statistical Shape Analysis.IEEE Transactionson Image Processing，2003，12(9)：1120～1131

7、Wang Liang，HuWeiming，Tan Tieniu.Gait-Based Human Identification.CHINESE JOURNAL OF COMPUTERS，2003，26(3)：353-360

8、Z.Liu and S.Sarkar，Simplest representation yet for gait recognition：Averaged silhouette，″in Proc.IEEE International Conference on PatternRecognition，2004，vol.4，pp.211-214.

9、H.Chang，D.Y.Yeung，Y.Xiong，Super-resolution through neighborembedding，″in：Proceedings of the IEEE Computer Society Conference onComputer Vision and Pattern Recognition(CVPR)1，2004，pp.275-282.

10、W.T.Freeman，E.C.Pasztor，O.T.Carmichael，Learning Low-Level Vision，″International Journal of Computer Vision，2000，vol.40，no.1，pp.25-47.

发明内容

本发明针对步态识别中需要提高识别距离的问题，提出了一种超分辨率方法，以提高步态识别的有效距离和准确率。

在实际步态识别中，由于种种限制，图像的质量很难得到足够的保证，我们得到的可能是由于距离太远而产生的分辨率较低的图像，另外还可能因为气候等原因是我们得到的是模糊的图像。在这样的情况下，图像往往只包含了真实图像的中频和低频部分，高频的信息被丢失了，这将导致步态识别准确性的降低。针对这样的情况，我们想到了使用超分辨率技术来还原图像高频部分。如果图像的高频部分能够被准确地还原的话，远距离步态识别的准确性就有了保障。

基于超分辨率的步态识别方法主要分为三个部分：第一、利用插值技术从水平和竖直两个方向对扩大后新的像素点进行插值。由于基于插值超分辨率方法，存在丢失高频信息的问题。插值获得重构的图像，与原图像之间的差别就是一幅图像在插值过程中所丢失的高频部分。我们就可以使用先子采样再插值，得到结果之后与原图像进行相减的办法来得到一幅图像的高频部分，我们可以称之为插值的残差。用这种方法我们可以得到训练样本中高分辨图像的高频部分和对应的低分辨率图像的高频部分对，以及测试低分辨率图像的高频部分。第二、通过邻域嵌入技术来获得测试低分辨率残差块在训练集合的低分辨率残差块中的k个近邻，和相应的权重。利用邻域中的k个训练的低分辨率残差块所对应的高分辨率残差块以及相应的重构权重就可以重构测试样本的高分辨率残差块。将残差块组合起来形成残差图像。再将残差图像与插值重构图像相加就得到了测试图像的高分辨率结果。第三、将得到的具备了高频信息的高分辨率的测试图像作为步态识别的输入进行识别。

具体步骤可参见流程图1。

本发明的主要贡献有：(1)、本发明是将超分辨率技术结合到步态识别问题。(2)、本发明提供了一种新的针对步态识别的超分辨率方法。(3)、提供了一种通过步态识别的识别率来对超分辨率技术进行定量分析的手段。(4)、结合超分辨率技术之后，步态识别的有效距离得到了扩大，从原来的5m至少提高到20m。

本发明方法具体介绍如下：

1、图像的插值重构

本发明可以结合各种插值技术，作为扩大图像时获取高分辨率图像的中低频信息的手段。

双线性插值(bilinear interpolation)的计算方法如下：

双线性插值使用了一个二次曲面拟合插入点附近的区域，再在这个曲面上计算插入点对应的像素值。在进行基于双线性插值的超分辨率时，如果要求在点f(i，j)，f(i+1，j)，f(i，j+1)，f(i+1，j+1)之间插入新的点f(i+u，j+v)(u，v∈[0，1])的话，使用如下公式进行计算：

f(i+u，j+v)＝(1-u)(1-v)f(i，j)++(1-u)vf(i，j+1)+u(1-v)f(i+1，j)+uvf(i+1，j+1)

                                         (1)

得到的f(i+u，j+v)的值作为插入点的值。

双三次插值(bicubic interpolation)和最近邻插值(nearest interpolation)的计算

双三次插值与双线性插值技术类似，都是使用一个曲面来拟合插值点的周围。但是双三次插值使用的是一个三次曲面来进行拟合的。

最近邻插值认为高分辨率图像中需要插入的点的灰度值，与和它最近的在原来低分辨率图像中的点的灰度值相同。

基于插值的超分辨率技术的优缺点

基于插值的超分辨率技术的优点是计算代价小，能够很快地得到结果。基于插值的超分辨率技术能够在高分辨率图像中还原出图像的中低频信息，但是会丢失图像的高频部分。这样的结果不适合步态识别。于是我们将在基于插值的超分辨率的基础上设计能够还原高频部分的超分辨率方法，以适应步态识别的需要。

2、步态识别所使用的图像(步态能量图，Gait Energy Image，GEI)

由于步态能量图能够简单而方便的得到，所以它提出之后被认为是很适合步态识别所使用的图像【8】。步态能量图的定义如下：

如果B₁，B₂，B₃，……，B_n∈R^m是一个步态序列中的一个周期。那么这个周期的步态能量图M是【8】：

$M=\frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{B}_i---\left(2\right)$

其实它等同于：

$M={\arg }_X\min \frac{1}{n}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{\left|\right|B_i-X\left|\right|}^2$

$={\arg }_X\min \frac{1}{n}{\mathrm{\Σ}}_{i=1}^n{(B_i-X)}^T(B_i-X)---\left(3\right)$

步态能量图GEI其实就是使用一个均值最小化对所有帧的误差的结果。图4是一些步态能量图的例子。

3、图像的残差(基于插值的重构所丢失的高频部分)

对于一幅图像G，我们对它进行缩小b倍的子采样，获得了一幅更小的图像GL。

针对GL使用插值技术进行扩大b倍的重构，得到GB。由于插值技术会丢失高频信息，所以GB只包含了G的中低频部分。

本发明将G和GB相减，得到了他们的残差GR，这个残差就是G的高频部分。图像的许多重要信息是包含在高频部分的，通过残差的计算，本可以将图像的高频部分提取出来，单独的针对高频部分进行处理。这部分的过程可以参看图2。

在本发明方法中，如果需要进行s倍的扩大，那么对训练高分辨率图像TRH进行如下处理：第一、进行s倍的子采样，获得低分辨率图像TRL。第二、使用TRL进行扩大s倍的插值重构得到TRHB。第三、计算残差，得到TRH的训练高分辨图像的高频部分TRHR。第四、对TRL进行b倍子采样，得到TRLL。第五、使用TRLL进行扩大b倍的插值重构，得到对TRL插值的估计TRLB。第六、计算残差，得到TRL的高频部分TRLR。注意上述S和b的区分。

通过这样的处理，可得到高分辨率残差和低分辨率残差形成的残差对。可以参看图3。

本发明对测试低分辨率图像TEL进行如下处理：第一、进行b倍的子采样，获得TELL。第二、使用TELL进行扩大b倍的插值重构，得到对TEL的估计TELB。第三、计算残差，得到TEL的高频分量TELR。

4、分块

为了后面的邻域嵌入的处理，我们将低分辨率残差图像分成3×3的小块。如果图像需要扩大的倍数是s倍的话，那么他们对应在高分辨率的残差图像中是3s×3s大小的块。根据这个道理，将训练残差图像进行切割，就成了一组组的3×3块——3S×3S块对。而对测试低分辨率残差图像进行同样的分割之后，测试残差图像也成为了3×3的图像块的组合。

注意我们在进行切割的时候，低分辨率的3×3的小块之间是有重叠部分的，我们将重叠区域设定成2×3的区域。也就是说每两个相邻的小块实际上有2×3的区域是重复的。这样做的好处是能够保证小块在图像上的整体位置和周边状况的信息在生成高分辨率图像时起到作用。与分辨率的图像的切割方法对应，高分辨率的3s×3s的块之间有2s×3s的重叠部分。

我们想通过对每个测试的3×3的小块的基于学习的超分辨率处理，得到对它所对应的在高分辨率残差图像中的3s×3s的块的估计。再将这些预测的大分块组合起来，形成对整个测试低分辨率残差图像的高分辨率的估计。

而如果直接用没有重叠的分块的话，将不能够表现原本相邻的分块的相似性，或者说是图像分块在整个图像中的位置信息。这样形成的高分辨率的残差图像将会在分块的边缘形成不连续的边缘，影响生成的高分辨率残差图像的质量和生成的高分辨率图像的质量。所以我们采用了有重叠的切割的方法。

5、线性邻域嵌入技术

线性邻域嵌入技术(LLE)，有一个作为根本的假设，就是特征空间的邻域关系在低分辨率图像块转化成高分辨率图像块的过程中是保持不变的【9】。但是同SRNE【9】方法不同的是，我们将低分辨率的残差图像上的像素值作为特征提取，而不是同SRNE一样提取一阶或者二阶梯度值作为特征。

本发明用X_t ^q来表示测试图像中一个低分辨率残差块的特征，用X_s ^p来表示训练集合中的一个低分辨率残差块的特征。对X_t ^q的邻域嵌入需要通过局部线性嵌入(Locally LinearEmbedding，LLE)的方法来获得一个嵌入权值向量W_q。LLE的过程中需要满足下面的重构误差最小：

${\mathrm{\ϵ}}^q={\left|\right|X_t^q-{\mathrm{\Σ}}_{X_s^p\∈N_q}{W}_{\mathrm{qp}}{X}_s^p\left|\right|}^2---\left(4\right)$

其中N_q是指X_t ^q的邻域，即在训练低分辨率块中与X_t ^q最近的k个块(k是一个可以设定的参数，称之为邻域因子)。通过最小化重构误差ε^q我们可以解到W_q。需要注意的是有下面的限制条件：

(1)当X_s ^p不在X_t ^q的邻域内时，W_qp＝0。

(2)而且 ${\mathrm{\Σ}}_{X_s^p\∈N_q}$ W_qp＝1。

通过最小化ε^q的最小二乘问题，可以得到最优的W_q，也就是得到对X_t ^q的线性邻域嵌入的权值。另外存在下面的方法来解这个问题【4】：

$W_q=\frac{G_q^{-1}1}{1^T{G}_q^{-1}1}---\left(5\right)$

其中：

$G_q={(X_t^q{1}^T-X)}^T(X_t^q{1}^T-X)---\left(6\right)$

其中1代表的是一个全为1的列向量，而X是一个D×K(D：维数，K是邻域因子)的矩阵，矩阵中的每一列都是X_t ^q的近邻向量。

计算得到W_q之后对应于测试低分辨率块的高分辨率块y_t ^q可以通过下面方法计算：

$y_t^q={\mathrm{\Σ}}_{X_s^p\∈N_q}{W}_{\mathrm{qp}}{y}_s^p---\left(7\right)$

其中y_s ^p是对应于X_s ^p的高分辨率块的特征，图5是获得y_t ^q的过程。

6产生测试高分辨率GEI图像

将所有得到的y_t ^q进行组合得到测试图像的高分辨率的高频残差图像TEHR。组合过程中注意重合部分采取的是取所有重合像素值的平均值的方法，这样可以降低块之间边缘的不连续性。

将相应的插值技术，应用到测试GEI图像TEL上扩大s倍得到TEHB。TEHB其实之包含了THE的中低频信息，需要补上高频信息TEHR来得到THE。这个过程参看图6，计算式如下：

TEH＝TEHB+TEHR    (8)

7步态识别方法

与【8】中基于步态能量图的步态识别方法相同，我们使用最近邻方法对超分辨率所得到的步态图像进行步态识别。

本发明方法的具体步骤归纳如下：

(1)将步态帧图像转换为步态能量图(GEI)，对这些步态能量图进行下述处理。

(2)对训练高分辨率图像TRH进行如下处理：第一、进行s倍的子采样，获得低分辨率图像TRL。第二、使用TRL进行扩大s倍的插值重构得到训练高分辨率插值图像TRHB。第三、计算残差，得到TRH的训练高分辨图像的高频部分TRHR。第四、对TRL进行b倍子采样，得到训练低分辨率子采样图像TRLL。第五、使用TRLL进行扩大b倍的插值重构，得到对TRL插值的估计训练低分辨率残差图像TRLB。第六、计算残差，得到TRL的高频部分TRLR。

这里S可取2、4或8，b可取2ⁿ，n＝1、2、3、4或5。

(3)将测试图像TEL进行b倍子采样，得到训练低分辨率子采样图像TELL，对其进行线性插值，并计算b倍残差得到低分辨率测试图像的高频部分TELR。

(4)将训练残差图像TRHR和TRLR对进行切割，将TRLR切成3×3的图像块TRLRp，将TRHR切成3s×3s的图像块TRHRp。这样就形成了多组TRLRp_j和TRHRp_j的图像对。同样对测试残差图像TELR进行切割，将TELR切成3×3的图像块TELRp_i。

(5)通过局部线性邻域插值(Locally Linear Embedding，LLE)寻找每个TELRp_i在所有TRLRp_j形成的空间中的邻域嵌入，得到TELRp_i的K(可取4-10的整数)个近邻TRLRp_ij，和相应的嵌入权重W_ij。(j＝1，2，...，K，i＝TELR分割得到的图像块数)。

(6)将K个近邻TRLRp_j所对应的TRHRp_j乘以权值后形成对TELRp_i所对应的高分辨率残差块的估计值TEHRp_i：

${\mathrm{TEHRp}}_i={\mathrm{\Σ}}_{j=1}^K{W}_{\mathrm{ij}}\mathrm{TRHR}{p}_{\mathrm{ij}}---\left(9\right)$

将每个TELRp_i进行这样的处理之后就得到了所有的TEHRp_i，再将这些高分辨率残差块按顺序拼在一起得到整个测试高分辨率残差图像的估计TEHR。

(7)使用TEL进行s倍的插值，得到TEHB，最终的对TEL对应的超分辨率处理结果是TEH＝TEHB+TEHR。

(8)用最近邻方法，使用超分辨率结果进行步态识别。

上面的处理流程可以参见附图1。

本发明的优点

本发明采用超分辨率技术来恢复步态能量图放大分辨率后丢失的高频部分信息，进而进行步态识别。一方面，本发明是步态识别的有效距离得到扩大，实验表明至少可以扩大到原来距离的4倍，这在视频监控里是非常有意以的。另一方面，通过对步态能量图的高频信息的恢复，增加了分类的判别能力，甚至使超分辨率后的步态能量图获得了更好的特征描述，增加了分类性能。

附图说明

图1、本发明方法流程。

图2、步态能量图残差的计算示意图。

图3、计算得到训练残差对。

图4、一些步态能量图的例子。

图5、获得测试高分辨率残差示意图。

图6、结合插值结果和邻域嵌入获得的高分辨率高频部分得到高分辨率图像。

图7、中科院CASIA步态数据库中的部分图像。

具体实施方式

本发明从提高现有的步态识别方法的有效距离和识别率的角度出发，研究和设计了新的步态识别方法，可以用在步态识别系统上，作为对检测图像的前期处理。将摄像头获得的监视图像作为我们的超分辨率方法的输入，将输出的高分辨率结果作为步态识别系统的输入，这样能够有效的提高步态识别的距离和准确率。

根据本发明方案，我们进行了实验，检验中发明对提高步态识别的有效距离和识别正确率的作用。

本实验使用的数据是中科院提供的CASIA Gait Database数据库，这个数据库是20个人分别从0°，45°，90°向摄像机走来和走去，各两遍，获得总共6×2×20共240组数据。参看图7。

将每组数据都转换成如图3一样的步态能量图。

将每个人的12张GEI图像分成两组，一组作为步态识别的训练图像，另外一组作为步态识别的测试图像。

本发明的超分辨率算法中选用了步态识别的训练集合中的一号人物的全部6张图片。

实验的放大倍数是2倍，4倍，8倍，16倍和32倍，也就是相当于在步态识别的最大距离的2倍，4倍，8倍，16倍和32倍上观察被测试者。我们采用的步态识别方法是基于步态能量图的步态识别方法【4】。为了引入超分辨率算法的比较，我们选取了SRNE算法和几种插值算法作为比较。使用本发明方法时，可以选取三种插值方式作为基本的插值方法来提取图像高频部分，而提取时的倍数可以选取2倍或者4倍，于是本发明方法其实有6种参数，下面包括了全部的实验结果：

表中-2，-4分别表示低分辨率图像提取残差时使用的倍数。

从实验结果来看，本发明方法都能够获得最高的识别率，如放大倍数为4时，本发明方法在bilinear-2，bilinear-4和bicubic-4上都获得了最高的识别率。另外从2倍到32倍，所有的最大识别率都出现在本发明方法的结果中。而且可以看到在扩大倍数为4时，本发明方法相比于基本插值方法有很打大的提高。

可以看到本发明方法在扩大倍数为2时的nearest-2，4倍时的bilinear-2，4倍时的bilinear-4，4倍时的bicubic-4上都得到了比直接使用原高分辨率图像更高的识别准确率。分析整个实验的过程，可以分析到出现这样结果的原因。是因为本发明在子采样获得低分辨率的图像时去除了存在于原图像中的噪声的影响，而在恢复的过程中并没有引入新的噪声。可以说本发明恢复得到的图像其实是更干净的图像，更适合步态识别。

通过实验证明了本发明方法的有效性。

Claims (2)

1、一种基于高频超分辨的低分辨率步态识别方法，其特征在于具体步骤如下：

(1)将步态帧图像转换为步态能量图GEI，对这些步态能量图进行下述处理；

(2)对训练高分辨率图像TRH进行如下处理：第一、进行s倍的子采样，获得低分辨率图像TRL。第二、使用TRL进行扩大s倍的插值重构得到训练高分辨率插值图像TRHB；第三、计算残差，得到TRH的训练高分辨图像的高频部分TRHR；第四、对TRL进行b倍子采样，得到训练低分辨率子采样图像TRLL；第五、使用TRLL进行扩大b倍的插值重构，得到对TRL插值的估计训练低分辨率残差图像TRLB；第六、计算残差，得到TRL的高频部分TRLR；

这里S取2、4或8，b取2ⁿ，n＝1、2、3、4或5；

(3)将测试图像TEL进行b倍子采样，得到测试低分辨率子采样图像TELL，对其进行线性插值，并计算b倍残差得到低分辨率测试图像的高频部分TELR；

(4)将训练残差图像TRHR和TRLR对进行切割，将TRLR切成3×3的图像块TRLRp，将TRHR切成3s×3s的图像块TRHRp；形成多组TRLRp_j和TRHRp_j的图像对；同样对测试残差图像TELR进行切割，将TELR切成3×3的图像块TELRp_i；

(5)通过线性邻域插值寻找每个TELRp_i在所有TRLRp_j形成的空间中的邻域嵌入，得到TELRp_i的K个近邻TRLRp_ij，和相应的嵌入权重W_ij、j＝1，2，...，K，i＝TELR分割得到的图像块数，取4-10的整数；

(6)将K个近邻TRLRp_j所对应的TRHRp_j乘以权值后形成对TELRp_i所对应的高分辨率残差块的估计值TEHRp_i：

${\mathrm{TEHRp}}_i={\mathrm{\Σ}}_{j=1}^K{W}_{\mathrm{ij}}\mathrm{TRHR}{p}_{\mathrm{ij}}---\left(9\right)$

将每个TELRp_i进行这样的处理之后就得到所有的TEHRp_i，再将这些高分辨率残差块按顺序拼在一起得到整个测试高分辨率残差图像的估计TEHR；

(7)使用TEL进行s倍的插值，得到TEHB，最终的对TEL对应的超分辨率处理结果是TEH＝TEHB+TEHR；

(8)用最近邻方法，使用超分辨率结果进行步态识别。

2、根据权利要求1所述的方法，其特征在于步骤(2)中所述的插值方法为下述之一种：双线性插值、双三次插值或最邻近插值。

Images