CN106023276B - 基于图像处理的铅笔画绘制方法及装置 - Google Patents

Abstract

本发明实施例提出一种基于图像处理的铅笔画绘制方法及装置，所述方法包括：对输入图像进行图像处理获得所述输入图像的轮廓图；将所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，生成匹配后的色调图，由所述匹配后的色调图生成对应的噪声图，将所述噪声图分割成多个区域，在所述多个区域上分别形成不同方向的纹理，由所述多个区域的纹理构成所述输入图像的纹理图；根据所述轮廓图及所述纹理图得到所述输入图像对应的铅笔画。本发明实施例生成的铅笔画更加接近现实中的手工铅笔画，提高了用户体验。

Description

基于图像处理的铅笔画绘制方法及装置

技术领域

本发明涉及图像处理技术领域，具体而言，涉及一种将输入图像转化为铅笔画的铅笔画绘制方法及装置。

背景技术

铅笔画的绘制是非真实感绘制领域一个具有实际应用价值的技术方向，可以通过归纳学习画家绘制铅笔画的实际步骤，构建利用计算机模拟生成铅笔画的技术。画家在绘制铅笔画时首先确定好构图思路，并经过反复推敲使得构图得当、均衡。其次，在规划好轮廓的形状、比例、结构等信息的情况下画出物体的轮廓。再次，依据物体的明暗信息从整体到局部的进行塑造、填充，使画面饱满圆润。最后，进行色调、空间、质感、主次等整体调整，得到成型的铅笔画。

现有技术中，虽然提出了很多铅笔画绘制的方法，但在铅笔画的色调及纹理处理方面存在缺陷，导致生成的铅笔画的纹理效果不自然，影响生成铅笔画的整体效果。

发明内容

有鉴于此，本发明实施例的目的在于提供一种改善铅笔画纹理的铅笔画绘制方法，应用于用户终端，所述铅笔画绘制方法包括：

对输入图像进行图像处理获得所述输入图像的轮廓图；

将所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，生成匹配后的色调图，由所述匹配后的色调图生成对应的噪声图，将所述噪声图分割成多个区域，在所述多个区域上分别形成不同方向的纹理，由所述多个区域的纹理构成所述输入图像的纹理图；

根据所述轮廓图及所述纹理图得到所述输入图像对应的铅笔画。

本发明另一较佳实施例还提供一种铅笔画绘制装置，应用于用户终端，所述铅笔画绘制装置包括：

轮廓图获取模块，用于对输入图像进行图像处理获得所述输入图像的轮廓图；

纹理图获取模块，用于将所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，生成匹配后的色调图，由所述匹配后的色调图生成对应的噪声图，将所述噪声图分割成多个区域，在所述多个区域上分别形成不同方向的纹理，由所述多个区域的纹理构成所述输入图像的纹理图；

铅笔画绘制模块，用于根据所述轮廓图及所述纹理图得到所述输入图像对应的铅笔画。

与现有技术相比，本发明实施例提供的铅笔画绘制方法及装置，根据输入图像对应的类型所述对应的色调图指导噪声图的生成，对噪声图进行分区域处理并在不同区域上得到方向不同的纹理。采用上述方式得到的纹理图与现实生活中画家绘制的铅笔画色调更加一致，生成的铅笔画更加接近现实中的手工铅笔画，提高了用户体验。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1是本发明第一实施例提供的铅笔画绘制方法的流程示意图。

图2是图1所示流程图中步骤S110的子步骤示意图。

图3是本发明第一实施例提供的不同类型铅笔画及该类型铅笔画对应的色调直方图。

图4是本发明第一实施例提供的在不同控制系数下的生成的具有不同明暗程度的噪声图。

图5是本发明第一实施例提供的Graph Cuts算法分割图像为5个区域示意图和带方向的纹理图。

图6是本发明第一实施例提供的生成彩色铅笔画的方法的流程示意图。

图7是本发明第二实施例提供的一种铅笔画绘制装置的结构功能框图。

图8是本发明第二实施例提供的另一种铅笔画绘制装置的结构功能框图。

主要元件符号说明

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

第一实施例

请参照图1，图1是本发明较佳实施例提供的铅笔画绘制方法的流程图，所述铅笔画绘制方法包括以下步骤。

步骤S110，对输入图像进行图像处理获得所述输入图像的轮廓图。

在本实施例中，所述铅笔画绘制方法应用于用户终端上，所述用户终端可以包括，但不限于，智能手机、个人电脑(personal computer，PC)、平板电脑、个人数字助理(personal digital assistant，PDA)、移动上网设备(mobile Internet device，MID)等。

请参照图2，在本实施例中，所述步骤S110可以包括以下子步骤。

子步骤S111，对所述输入图像进行平滑处理。

具体地，在实现铅笔画的模拟绘制之前对图像进行L0平滑预处理，其中L0平滑预处理是一种有效的对图像进行平滑处理的滤波方法，该方法不仅能有效剔除不必要的低幅值细节信息，而且能够使图像的边缘信息得到比较完整的保留。经过L0处理后的图像在进行铅笔画轮廓线提取及绘制时，可以得到更加清晰流畅的轮廓，且画图会更干净。

子步骤S112，对平滑处理后的所述输入图像求梯度，得到所述输入图像对应的梯度图。

具体地，为更好的提取边缘，绘制具有铅笔风格轮廓，本文轮廓边缘的提取在图像的梯度图上进行，梯度图反映了图像中变化较大的区域，往往包含边缘。梯度图的提取，采用二向sobel算子实现，其计算公式如下所示

其中，G_x与G_y分别是对输入图像水平方向、垂直方向的梯度。

子步骤S113，对所述梯度图进行两次卷积得到所述轮廓图。

首先，对梯度图分别进行0度、22.5度、45度、67.5度、90度、112.5度、135度、157.5度的8个方向上的卷积，形成8个方向上的响应图。

R_i＝L_i*G (i＝1,2,……,8)

其中，{L_i}(i＝1,2,…,8)为8个方向上的卷积算子,卷积算子的长度宽度都可以调节。{R_i}(i＝1,2,…,8)为8个方向上的响应图。

接着，选取每个方向卷积结果最大值方向上的梯度值作为当前值，如下面公式所示，从而形成当前方向上的最大响应图。

其中，M_i(P)即为p点像素最大响应值，G_(P)即为p点像素的梯度值，R_i(P)为卷积响应图，i即为第i个方向。

最后，对新形成的最大响应图再次进行8个方向上的卷积得到线条图。进行两次卷积的目的是通过卷积拉长边缘线条，形成交叉感效果。通过再次卷积后的结果累加取反得到铅笔画轮廓图S。

S＝1-S'

步骤S120，将所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，生成匹配后的色调图，由所述匹配后的色调图生成对应的噪声图，将所述噪声图分割成多个区域，在所述多个区域上分别形成不同方向的纹理，由所述多个区域的纹理构成所述输入图像的纹理图。

在本实施例中，通过输入自然图像的色调图与画家所绘制的铅笔画的作品相比较发现两者的色调有很大差别。而且不同内容的铅笔画色调图的分布也不同。对此本实施例采取分类绘制的方式形成铅笔画的色调图。具体地，对不同内容的铅笔画分类进行统计，分类绘制出对应的色调拟合曲线图，通过输入图像的色调图与当前类的色调拟合曲线进行直方图匹配后，形成适合当前类图片的色调图。此方法使最后生成的铅笔画图像与画家们所绘制的铅笔画在色调上十分的接近。在本实施例中，所述铅笔画的分类可以包括风景类、建筑类及人物类。

请参照图3，图3所示为所示的风景类、建筑类、人物类铅笔画图片，分别对每一类中的每幅图片进行色调直方图绘制并求平均，然后进行直方图曲线的拟合，得到拟合曲线。

(1)风景类拟合曲线

拟合曲线可以看作是分阶段的高斯分布，均匀分布，指数分布三个方程式的衔接组合，分别是：

第一阶段方程：

第二阶段方程：

第三阶段方程：

曲线的公式为：

经过MATLAB拟合，得到符合上述曲线的参数值如表1所示。

(2)建筑类拟合曲线

拟合曲线可以看作是分阶段的高斯分布，均匀分布，转换形式的泊松分布函数三个方程式的衔接组合，分别是：

第一阶段方程：

第二阶段方程：

第三阶段方程：可以看成将泊松分布关于纵轴反转，并延水平方向平移255个单位得到。

曲线的公式为：

经过MATLAB拟合，得到符合上述曲线的参数值列在表1中。

(3)人物类拟合曲线

拟合曲线方程与建筑类相同，只是参数设置不同，如表1所示。

表1不同内容铅笔画拟合曲线方程参数

在本实施例中，步骤S120包括噪声图的生成及对噪声图进行处理得到纹理图。

在本实施例中，采用输入图像的色调图来指导生成所述噪声图。具体地，生成一幅与所述输入图像大小尺寸相同的随机噪声图R_noise，通过随机噪声图R_noise中每个像素的β次方来拟合贴近直方图匹配后的色调图J，达到色调图指导噪声图生成的目的。具体地，使用如下的指数方程式来实现。

R_noise^β≈J

其中，R_noise是灰度值在0～1之间的噪声图，J为进行直方图匹配后形成的与画家所画铅笔画明暗程度匹配的色调图。

R_noise^β≈J转化为对数形式则为

β_(i)lnR_noise(i)≈lnJ(i)

其中i为当前像素。

可以把上式进行优化得到

其中，的为了保持整个画面的平滑，没有突变。依据经验值λ设置为0.2。可以转成标准线性方程，然后利用共轭梯度法对标准线性方程进行求解。求出β”之后，经过上式得到最终的噪声图，整幅噪声图与β”的关系不可分割，而β”最主要由色调图J求得，因此达到了色调图指导噪声场的形成的目的。所述噪声图的计算公式可以表示为

noise_map＝R_noise^β”

噪声图的产生对最终形成的铅笔画的纹理至关重要，一个符合原输入图像的噪声场的形成会使铅笔画的纹理生动许多，更加的贴近画家所画铅笔画纹理。

为了更加灵活的控制噪声图的整体深浅程度，本实施例还设置了控制系数α，则噪声图可用下面的表达式计算：

noise_map＝R_noise^αβ”

请参照图4，图4显示了不同控制系数α生成的深浅不同的噪声图，图中α取值从左到右从上到下分别为0.3、0.8、1.0、2.0，α的取值范围可以为(0,+∞]。虽然原则上随着控制系数α的增大，色调也变得越来越深，但α的取值还需适当，取值太大的话也没有什么意义。

在本实施例中通过对获得的噪声图处理得到所述纹理图。

在本实施例中，使用Graph Cuts算法把图像分割成合适的区域(一般分成5个区域)，针对每个区域形成不同的纹理方向。本文对噪声图利用LIC线积分卷积算法分别形成单个纹理方向图，纹理线条的角度选取0度、30度、-30度、60度、90度。

请参照图5，为利用Graph Cuts算法分割图像为5个区域示意图和最后的带方向纹理图结果。从图中可以看出对应区域分配了不同方向的纹理，纹理效果比较自然。

步骤S130，根据所述轮廓图及所述纹理图得到所述输入图像对应的铅笔画。

具体地，获得铅笔画的方式可以是直接将所述轮廓图与所述纹理图进行叠加，当然，获得铅笔画的方式还可以是将所述轮廓图与所述纹理图进行加权后进行叠加。

请参照图6，在本具体实施例中，所述铅笔画绘制方法还可以利用得到的铅笔画得到彩色铅笔画，形成所述彩色铅笔画的步骤包括：

步骤S140，将输入图像转化到YUV空间中。

步骤S150，将所述输入图像对应的铅笔画替代所述输入图像在YUV空间中的Y分量。

步骤S160，将替换后的输入图像转化到RGB空间得到彩色铅笔画。

第二实施例

请参照图7，图7是本发明实施例提供铅笔画绘制装置200的功能模块示意图。所述铅笔画绘制装置200包括轮廓图获取模块210、纹理图获取模块220及铅笔画绘制模块230。

所述轮廓图获取模块210，用于对输入图像进行图像处理获得所述输入图像的轮廓图。

所述纹理图获取模块220，用于将所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，生成匹配后的色调图，由所述匹配后的色调图生成对应的噪声图，将所述噪声图分割成多个区域，在所述多个区域上分别形成不同方向的纹理，由所述多个区域的纹理构成所述输入图像的纹理图。

在本实施例中，所述纹理图获取模块220可以包括：

生成子模块221，用于生成一幅与所述输入图像大小尺寸相同的随机噪声图。

计算子模块222，用于根据所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，得到与所述输入图像的类别对应铅笔画明暗程度匹配的色调图，由所述匹配后的色调图计算得到所述随机噪声图对应的次方数。

获得子模块223，用于对随机噪声图进行所述次方数的幂运算获得所述噪声图。

分割子模块224，用于采用图像分割算法把所述噪声图分割成多个区域。

纹理获得子模块225，用对所述多个区域中的每个区域采用线积分卷积算法计算得到每个区域的单个方向的纹理。

纹理图生成子模块226，用于由所述多个区域的纹理构成所述输入图像的纹理图。

所述铅笔画绘制模块230，用于根据所述轮廓图及所述纹理图得到所述输入图像对应的铅笔画。

在本实施例中，所述铅笔画绘制装置还可以用于绘制彩色的铅笔画。在绘制彩色的铅笔画时，请参照图8，所述铅笔画绘制装置200还可以包括：

色彩空间转化模块240，用于将输入图像转化到YUV空间中。

铅笔画替代亮度通道模块250，用于将所述输入图像对应的铅笔画替代所述输入图像在YUV空间中的Y分量。

彩色铅笔画生成模块260，用于将替换后的输入图像转化到RGB空间得到彩色铅笔画。

综上所述，本发明实施例提供的铅笔画绘制方法及装置，根据输入图像对应的类型所述对应的色调图指导噪声图的生成，对噪声图进行分区域处理并在不同区域上得到方向不同的纹理。采用上述方式得到的纹理图与现实生活中画家绘制的铅笔画色调更加一致，生成的铅笔画更加接近现实中的手工铅笔画，提高了用户体验。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，也可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的设备、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种基于图像处理的铅笔画绘制方法，其特征在于，所述方法包括：

对输入图像进行图像处理获得所述输入图像的轮廓图；

将所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，生成匹配后的色调图，由所述匹配后的色调图生成对应的噪声图，将所述噪声图分割成多个区域，在所述多个区域上分别形成不同方向的纹理，由所述多个区域的纹理构成所述输入图像的纹理图，其中，所述输入图像所在类包括风景类、建筑类及人物类；

根据所述轮廓图及所述纹理图得到所述输入图像对应的铅笔画。

2.如权利要求1所述的铅笔画绘制方法，其特征在于，所述将所述输入图像的色调图与所述输入图像所在类的色调拟合曲线进行直方图匹配，生成匹配后的色调图，由所述匹配后的色调图生成对应的噪声图的步骤包括：

生成与所述输入图像大小尺寸相同的随机噪声图；

根据所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，得到与所述输入图像类别对应的铅笔画明暗变化程度匹配的色调图，由所述匹配后的色调图计算得到所述随机噪声图每个像素对应的次方数；

对随机噪声图每个像素进行所述次方数的幂运算获得所述噪声图。

3.如权利要求2所述的铅笔画绘制方法，其特征在于，所述对随机噪声图每个像素进行所述次方数的幂运算得到所述噪声图的步骤还包括：

采用非负的控制系数对所述次方数进行整体控制，获取灰度值可以整体调整的所述噪声图。

4.如权利要求1所述的铅笔画绘制方法，其特征在于，在所述多个区域上分别形成不同方向的纹理，由所述多个区域的纹理构成所述输入图像的纹理图的步骤，包括：

采用图像分割算法，基于输入图像把所述噪声图分割成多个区域；

对所述多个区域中的每个区域采用线积分卷积算法计算得到每个区域的单方向纹理；

由所述多个区域的纹理构成所述输入图像的纹理图。

5.如权利要求1所述的铅笔画绘制方法，其特征在于：

风景类对应色调拟合曲线为其中， t₁＝0.012，t₂＝0.42，t₃＝0.52，μ_d＝60，σ_d＝3，u_a＝62，u_b＝249，σ_b＝2；

建筑类对应色调拟合曲线为其中， t₁＝0.02，t₂＝0.42，t₃＝0.51，μ_d＝20，σ_d＝21，u_a＝26，u_b＝235，λ＝15；

人物类对应色调拟合曲线为其中， t₁＝0.01，t₂＝0.42，t₃＝0.55，μ_d＝39，σ_d＝21，u_a＝38，u_b＝245，λ＝8。

6.如权利要求1所述的铅笔画绘制方法，其特征在于，所述方法还包括：

将输入图像转化到YUV空间中；

将所述输入图像对应的铅笔画替代所述输入图像在YUV空间中的Y分量；

将替换后的输入图像转化到RGB空间得到彩色铅笔画。

7.一种基于图像处理的铅笔画绘制装置，其特征在于，所述装置包括：

轮廓图获取模块，用于对输入图像进行图像处理获得所述输入图像的轮廓图；

纹理图获取模块，用于将所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，生成匹配后的色调图，由所述匹配后的色调图生成对应的噪声图，将所述噪声图分割成多个区域，在所述多个区域上分别形成不同方向的纹理，由所述多个区域的纹理构成所述输入图像的纹理图，其中，所述输入图像所在类包括风景类、建筑类及人物类；

铅笔画绘制模块，用于根据所述轮廓图及所述纹理图得到所述输入图像对应的铅笔画。

8.如权利要求7所述的铅笔画绘制装置，其特征在于，所述纹理图获取模块包括：

生成子模块，用于生成一幅与所述输入图像大小尺寸相同的随机噪声图；

计算子模块，用于根据所述输入图像的色调图与所述输入图像所在类的铅笔画的色调拟合曲线进行直方图匹配，得到与所述输入图像的类别对应的铅笔画明暗变化程度匹配的色调图，由所述匹配后的色调图计算得到所述随机噪声图每个像素对应的次方数；

获得子模块，用于对随机噪声图每个像素进行所述次方数的幂运算获得所述噪声图。

9.如权利要求8所述的铅笔画绘制装置，其特征在于，所述纹理图获取模块还包括：

分割子模块，用于采用图像分割算法基于输入图像把所述噪声图分割成多个区域；

纹理获得子模块，用对所述多个区域中的每个区域采用线积分卷积算法计算得到每个区域的单方向的纹理；

纹理图生成子模块，用于由所述多个区域的纹理构成所述输入图像的纹理图。

10.如权利要求7所述的铅笔画绘制装置，其特征在于，所述装置还包括：

色彩空间转化模块，用于将输入图像转化到YUV空间中；

铅笔画替代亮度通道模块，用于将所述输入图像对应的铅笔画替代所述输入图像在YUV空间中的Y分量；

彩色铅笔画生成模块，用于将替换后的输入图像转化到RGB空间得到彩色铅笔画。