CN114549332B - 一种基于人体解析先验支持下的卷积神经网络肤质处理方法及处理装置 - Google Patents

Abstract

本发明公开了一种基于人体解析先验支持下的卷积神经网络肤质处理方法，包括以下步骤：A、构建人体皮肤解析模型，获得人体解析图；B、构建用于人像皮肤处理的卷积神经网络模型；C、引入人体皮肤解析信息，构建人体皮肤解析信息编码模型指导人像皮肤处理模型对人像的不同语义区域做不同处理。本发明还公开了基于人体解析先验支持下的卷积神经网络肤质处理装置。本发明利用卷积神经网络建模原始人像和修图师处理后的人像之间复杂的像素映射关系，并且引入人体解析信息作为卷积神经网络的先验信息，指导模型对人体的各个部位做对应的处理，特别是区分脸部和身体皮肤的处理，使得不同区域有不同的处理效果，处理效果更佳。

Description

一种基于人体解析先验支持下的卷积神经网络肤质处理方法 及处理装置

技术领域

本发明属于图像处理领域，尤其是涉及一种对数码单反相机成像的人体皮肤处理技术，应用于手机、数码单反相机等设备生成照片中人像的肤质处理，具体是涉及一种基于人体解析先验支持下的卷积神经网络肤质处理方法及处理装置。

背景技术

人像皮肤的处理如今已经成为日常生活中十分常见的图像处理需求，近些年各种磨皮软件层出不穷，但是在要求较高的商业级的人像修图场景，如婚纱摄影、广告海报等场景下，仍需要专业的修图师借助PhotoShop等软件进行人工处理，通过我们的调研，修图师处理一张专业相机拍摄的两千万像素的人像平均需要30分钟左右，这样的效率使得发展更接近人修效果的计算机视觉技术显得尤为重要。目前人像皮肤的处理技术主要包括：

1)利用高斯模糊、双边滤波等滤波技术实现磨皮效果，该方法磨皮效果明显，执行效率高，但是通过该方法处理后的图像往往存在模糊的问题，而且皮肤整体的质感会显著降低，显得扁平，没有立体感。此外，该方法还存在的一个问题在于其无法选择性地作用于图像的指定区域，这会使得除了人像之外的背景也被处理，使得图像整体的清晰度大大降低；

2)利用图像修复技术实现脸部的斑痘等暗部瑕疵的处理。该方法首先需要找到皮肤上的瑕疵区域，然后通过图像修复技术利用该瑕疵周围的像素进行填补，这种方法虽然能保证整体图像的清晰度，但被修复的局部像素区域仍存在不同程度的皮肤纹理丢失的问题。

从原理上，以上方法均很难在保证能兼容处理各种复杂的皮肤问题的同时还能保持自然、细腻的商业级人像处理效果。此外，以上两种方法的使用还需要借助相应的人脸五官定位技术或者皮肤识别技术来避免皮肤之外的区域的误处理，更为棘手的是在真实场景中修图师处理人像的过程中，人体不同区域的处理方式和效果均存在较大的差异，如人脸更注重皮肤纹理的保留，而身体皮肤更注重整体的干净程度。

发明内容

为了克服现有技术的不足，本发明提供一种基于人体解析先验支持下的卷积神经网络肤质处理方法及处理装置，其引入人体解析信息作为卷积神经网络的先验信息，指导模型对人体的不同部位做对应的处理，处理结果更加真实、清晰。

本发明解决其技术问题所采用的技术方案是：一种基于人体解析先验支持下的卷积神经网络肤质处理方法，包括以下步骤：

A、构建人体皮肤解析模型，获得人体解析图；

B、构建用于人像皮肤处理的卷积神经网络模型；

C、引入人体皮肤解析信息，构建人体皮肤解析信息编码模型指导步骤B构建的人像皮肤处理模型对人像的不同语义区域做不同处理。

进一步的，所述步骤A中基于CHIP人体解析数据集和DeepLab-V3结构构建人体皮肤解析模型。

进一步的，所述步骤B中基于UNet结构构建用于人像皮肤处理的卷积神经网络模型。

进一步的，所述步骤B中每个下采样和上采样之间嵌入多尺度稠密卷积模块。以增加对应层的感受野，使得皮肤上面积偏大的瑕疵更容易被处理。

进一步的，所述步骤C中基于HRNet构建人体皮肤解析信息编码模型。

进一步的，所述步骤C中引入人体皮肤解析信息指导模型对不同人像区域做不同处理时，为构建的卷积神经网络模型引入了人体解析作为先验信息，引导模型能够至少识别脸部、身体、背景三个需要被区分的区域。

进一步的，包括以下步骤：

S1、基于CIHP人体解析数据集和DeepLab-V3结构构建人体皮肤解析模型；

S2、构造训练样本集D＝{(x_i，y_i，m_i)|x_i∈X^N，y_i∈Y^N，i＝1，2，...N}，x_i为人像原图，y_i为专业的修图师人工处理得到的对应修图，m_i为x_i对应的人体解析图，其中人体解析图由1)中构建的人体皮肤解析模型推理获得；

S3、构建用于人像皮肤处理的卷积神经网络模型，模型的输入为x_i和m_i，模型输出为预测的修图

S4、构建模型损失，其公式如式1所示：

其中，φ(y_i)＝∑_{layer＝(relu2_2，relu3_3，relu4_3)}w_layerVGG_layer(y_i) (2)

其中，φ如(2)式所示，表示预训练的VGG-16模型relu2_2，relu3_3，relu4_3层输出加权；

S5、训练卷积神经网络模型。

作为优选，所述步骤S5中使用Adam优化器，学习率设置为1e-4。本发明还公开了一种基于人体解析先验支持下的卷积神经网络肤质处理装置，包括：

人体皮肤解析模型，基于CHIP人体解析数据集和DeepLab-V3结构构建，用于获得人体皮肤解析图；

卷积神经网络模型，基于UNet结构构建，用于人像皮肤处理；

人体解析信息指导模型，基于HRNet构建，用于引入人体皮肤解析信息，构建人体皮肤解析信息编码模型指导人像皮肤处理模型对人像的不同语义区域做不同处理。

本发明通过卷积神经网络来建模所有复杂的皮肤瑕疵，卷积神经网络通过高阶的非线性映射能够根据不同瑕疵的颜色和纹理上的区分，作出针对性的处理，无需根据不同的瑕疵繁琐地设计对应的定位和处理方法。

本发明引入人体皮肤解析信息指导模型对不同人像区域做不同的针对性处理。通过实验发现，单纯通过卷积神经网络技术来处理人像皮肤，会出现1)模型输出的人像修图的脸部皮肤被身体皮肤效果影响，使得人脸部分的某些阴影和纹理被修掉，脸部丢失了一定程度的立体感；2)某些肤色或纹理与皮肤相近的图像背景区域也出现的不可预测的被处理，如某些凳子的木纹被修掉、粗糙的粉色背景墙被抹平等。为了解决上诉问题，本发明方法为构建的卷积神经网络模型引入了人体解析作为先验信息，引导模型能够更好地识别脸部、身体、背景三个需要被区分的区域。

本发明的有益效果是：本发明利用卷积神经网络建模原始人像和修图师处理后的人像之间复杂的像素映射关系，并且引入人体解析信息作为卷积神经网络的先验信息，指导模型对人体的各个部位做对应的处理，特别是区分脸部和身体皮肤的处理，使得不同区域有不同的处理效果，处理效果更佳。

附图说明

图1为本发明的方法流程图。

图2为本发明方法的网络示意图

图3为本发明方法处理前后的效果对比图。

图4为本发明方法构建的人体解析图。

图5-1为未处理的真实照片原图。

图5-2为原图经过滤波磨皮方法处理后得到的最终图像。

图5-3为原图经过污点修复方法处理后得到的最终图像。

图5-4为原图经过本发明处理后得到的最终图像。

具体实施方式

为了使本技术领域的人员更好的理解本发明方案，下面将结合本发明实施例中的附图，对发明实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

一种基于人体解析先验支持下的卷积神经网络肤质处理方法，包括以下步骤：

A、构建人体皮肤解析模型，获得人体皮肤解析图；

具体的，基于CHIP人体解析数据集和DeepLab-V3结构构建人体皮肤解析模型，获得人体皮肤解析图；

人体解析旨在将图像中的人解析成多个语义上一致的区域，如身体的各个部分，全身的衣服构成等；

CHIP人体解析数据集是人体解析中一个重要公开数据集，其囊括了3万张人体标注样本，并将人体的语义区域定义为20类(背景、帽子、头发、手套、魔镜、上装、连衣裙、外套、短袜、短裤、身体、围巾、裙子、脸、左/右臂、左/右腿、左/右鞋)；

DeeplabV3由谷歌针对语义解析开源(Rethinking Atrous Convolution forSemantic Image Segmentation，2017)，其特点在于多尺度(multiple scales)解析物体，设计了串行和并行的带孔卷积模块，采用多种不同的atrous rates来获取多尺度的内容信息；并提出Atrous Spatial Pyramid Pooling(ASPP)模块,挖掘不同尺度的卷积特征，以及编码了全局内容信息的图像层特征，提升解析效果；

B、构建用于人像皮肤处理的卷神经网络模型；

具体是基于UNet结构(U-Net:Convolutional Networks for Biomedical ImageSegmentation)构建用于人像皮肤处理的卷积神经网络模型；

针对原始基础的UNet结构，进行以下优化；

如图2所示，每个下采样和上采样之间嵌入一个多尺度稠密卷积模块，该模块同时借鉴了稠密卷积(Densely Connected Convolutional Networks，2017)鼓励特征重用带来的特征高度有效性和ASPP模块能够挖掘多尺度特征的优势，并且在原尺寸嵌入1个该模块，第一次下采样后嵌入2个该模块、第二次下采样后嵌入3个该模块，上采样部分均嵌入1个该模块。从实验结果上来看，该模块的注入使得整个网络和不同尺度下单层的感受野均被放大，皮肤上面积较大的区域，如较大的痣、块状的疤痕等更容易被处理。

C、引入人体皮肤解析信息，基于HRNet构建构建人体解析信息编码模型指导步骤B构建的人像皮肤处理模型对人像的不同语义区域做不同处理；

上述步骤中引入人体解析信息指导模型对不同人像区域做不同处理时，为构建的卷积神经网络模型引入了人体解析作为先验信息，引导模型能够至少识别脸部、身体、背景三个需要被区分的区域；

本发明发现直接将语义解析图和原始图像合并从网络开始输入会导致图像边缘和解析图边缘难以自然相融，因此我们基于HRNet(Deep High-ResolutionRepresentation Learning for Human Pose Estimation，2019，该模型提出是用于解决人体姿势估计)单独构建了一个信息编码网络来消除或磨平解析图和真实图像之间存在的“本质性隔离”，我们并没有对原始的HRNet做太多的改动，但是我们做了大量的实验来确定针对我们的应用场景如何使用它，具体地说，该网络编码的信息到底在步骤B构建的主网络中的哪一层注入有更好的效果，最终我们选择在主网络完成所有下采样后进行第一次进行上采样的位置注入，如图2所示。

更为具体的，一种基于人体解析先验支持下的卷积神经网络肤质处理方法，包括以下步骤：

S1、基于CIHP人体解析数据集和DeepLab-V3结构构建人体皮肤解析模型；

S2、构造训练样本集

D＝{(x_i，y_i，m_i)|x_i∈X^N，y_i∈Y^N，i＝1，2，...N}，x_i为人像原图，y_i为专业的修图师人工处理得到的对应修图，m_i为x_i对应的人体解析图，该图由1)中构建的人体皮肤解析模型推理获得；

如图3所示，该人体解析图由白色的人脸区域、灰色的身体区域和黑色的背景区域三部分组成。

S3、构建用于人像皮肤处理的卷积神经网络模型，模型的输入为x_i和m_i，模型输出为预测的修图

S4、构建模型损失，其公式如式1所示：

其中，φ(y_i)＝∑_{layer＝(relu2_2，relu3_3，relu4_3)}w_layerVGG_layer(y_i) (2)

其中，φ如(2)式所示，表示预训练的VGG-16模型relu2_2，relu3_3，relu4_3层输出加权；

S5、训练卷积神经网络模型，本发明方法使用Adam优化器，学习率设置为1e-4。

如图3所示，左边图为输入人像原图，右边图为本发明方法生成的效果图，右图中人体脸部、身体和背景分别处理得到不同的结果。对人像的脸部和身体皮肤的瑕疵进行美化，包括痣、斑、痘印、皱纹等，使得照片中的人像的肤质自然、细腻。引入了人体解析作为先验信息，引导模型能够更好地识别脸部、身体、背景三个需要被区分的区域，在人体解析中，涉及三个色彩，白色-人脸，灰色-人体，背景-黑色，使得模型网络输出能保持背景不变，只对白色和灰色区域做处理，相较于不区分背景和皮肤，某些和皮肤的肤色或者纹理相近的背景会被误处理。

图5-1为未处理的真实照片原图，图5-2为利用现有技术滤波磨皮方法处理后得到的图像，图5-3为利用现有技术污点修复方法处理后得到的图像，图5-4为利用本发明的方法处理后得到的图像，从图中可以明显看出，滤波磨皮方法使得图像清晰度明显下降，污点修复方法破坏了被修复部位的皮肤纹理，而本发明可选择性地对真实照片的指定区域-人像部分进行处理，处理后得到的图像无论从清晰度还是皮肤纹理上，都得到了保证，最终处理效果自然优雅。

一种基于人体解析先验支持下的卷积神经网络肤质处理装置，其特征在于包括：

人体皮肤解析模型，基于CHIP人体解析数据集和DeepLab-V3结构构建，用于获得人体皮肤解析图；

卷积神经网络模型，基于UNet结构构建，用于人像皮肤处理；

人体解析信息指导模型，基于HRNet构建，用于引入人体皮肤解析信息，构建人体解析信息编码模型指导人像皮肤处理模型对人像的不同语义区域做不同处理。

上述具体实施方式用来解释说明本发明，而不是对本发明进行限制，在本发明的精神和权利要求的保护范围内，对本发明作出的任何修改和改变，都落入本发明的保护范围。

Claims (8)

1.一种基于人体解析先验支持下的卷积神经网络肤质处理方法，其特征在于包括以下步骤：

A、构建人体皮肤解析模型，获得人体解析图；

B、构建用于人像皮肤处理的卷积神经网络模型；

C、引入人体皮肤解析信息，构建人体皮肤解析信息编码模型，指导步骤B构建的人像皮肤处理模型对人像的不同语义区域做不同处理；具体的，

S1、基于CIHP人体解析数据集和DeepLab-V3结构构建人体皮肤解析模型；

S2、构造训练样本集D＝{(x_i，y_i，m_i)|x_i∈X^N，y_i∈Y^N，i＝1，2，...N}，x_i为人像原图，y_i为专业的修图师人工处理得到的对应修图，m_i为x_i对应的人体解析图，其中人体解析图由S1中构建的人体皮肤解析模型推理获得；

S3、构建用于人像皮肤处理的卷积神经网络模型，模型的输入为x_i和m_i，模型输出为预测的修图

S4、构建模型损失，其公式如式1所示：

其中，φ(y_i)＝∑_{layer＝(relu2_2，relu3_3，relu4_3)}w_layerVGG_layer(y_i) (2)

其中，φ如(2)式所示，表示预训练的VGG-16模型relu2_2，relu33，rel_u43层输出加权；

S5、训练卷积神经网络模型。

2.根据权利要求1所述的基于人体解析先验支持下的卷积神经网络肤质处理方法，其特征在于：所述步骤A中基于CIHP人体解析数据集和DeepLab-V3结构构建人体皮肤解析模型。

3.根据权利要求1或2所述的基于人体解析先验支持下的卷积神经网络肤质处理方法，其特征在于：所述步骤B中基于UNet结构构建用于人像皮肤处理的卷积神经网络模型。

4.根据权利要求3所述的基于人体解析先验支持下的卷积神经网络肤质处理方法，其特征在于：所述步骤B中每个下采样和上采样之间嵌入多尺度稠密卷积模块。

5.根据权利要求3所述的基于人体解析先验支持下的卷积神经网络肤质处理方法，其特征在于：所述步骤C中基于HRNet构建人体皮肤解析信息编码模型。

6.根据权利要求1所述的基于人体解析先验支持下的卷积神经网络肤质处理方法，其特征在于：所述步骤C中引入人体皮肤解析信息指导模型对不同人像区域做不同处理时，为构建的卷积神经网络模型引入了人体解析作为先验信息，指导模型能够至少识别脸部、身体、背景三个需要被区分的区域。

7.根据权利要求1所述的基于人体解析先验支持下的卷积神经网络肤质处理方法，其特征在于：所述步骤S5中使用Adam优化器，学习率设置为1e-4。

8.一种基于人体解析先验支持下的卷积神经网络肤质处理装置，用于实现如权利要求1-7中任一项所述的基于人体解析先验支持下的卷积神经网络肤质处理方法，其特征在于包括：

人体皮肤解析模型，基于CIHP人体解析数据集和DeepLab-V3结构构建，用于获得人体皮肤解析图；

卷积神经网络模型，基于UNet结构构建，用于人像皮肤处理；

人体解析信息指导模型，基于HRNet构建，用于引入人体皮肤解析信息，构建人体皮肤解析信息编码模型指导人像皮肤处理模型对人像的不同语义区域做不同处理。