CN114764753B - 图像处理方法、图像处理系统、电子设备及存储介质 - Google Patents

Abstract

图像处理方法、图像处理系统、电子设备及存储介质，所述方法包括：将获取的原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据；对所述第一通道原始数据进行超分辨率处理，得到第一通道放大数据；对所述原始图像进行区域分割，并基于得到的区域信息和分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据；对所述第二通道修正数据和所述第三通道修正数据进行放大处理，并与所述第一通道放大数据进行合并，得到增强图像。采用上述方案，能够对图像进行适应性地增强，具有较强的普适性和可调整性，在减少数据运算量的情况下能够实现工业级的图像增强应用。

Description

图像处理方法、图像处理系统、电子设备及存储介质

技术领域

本说明书实施例涉及数据处理技术领域，尤其涉及一种图像处理方法、图像处理系统、电子设备及存储介质。

背景技术

在日常生活和生产活动中，图像是十分重要的信息传递媒介。然而，在采集、传输图像的过程中，存在影响成像的不利因素，如环境光照、噪声干扰、硬件不支持、压缩过度等，从而导致数据质量变差，使得图像中的有用信息无法被正常读取和识别。基于此，诞生了图像增强技术。图像增强技术通过突出图像中感兴趣部分的数据，以及减弱或去除图像中不感兴趣部分的数据，从而突显图像中的有用信息，得到更适合分析处理的图像。

目前，传统的图像增强技术采用频率域法和空间域法。此外，随着深度学习(DeepLearning，DL)研究取得了重大进展，本领域技术人员将深度学习应用于图像增强方法中，希望能够提升性能。

然而，目前的图像增强技术都是根据单一的图像增强需求进行算法架构设计，针对性强，增强效果简单，存在应用局限，并不能满足越来越复杂多变的图像增强需求。

发明内容

有鉴于此，本说明书实施例提供一种图像处理方法、图像处理系统、电子设备及存储介质，能够针对各种图像进行适应性地增强，具有较强的普适性和可调整性，且在减少数据运算量的情况下能够实现工业级的图像增强应用。

本说明书实施例提供了一种图像处理方法，包括：

获取原始图像；

将所述原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据；

对所述第一通道原始数据进行超分辨率处理，得到第一通道放大数据；

对所述原始图像进行区域分割，得到区域信息和所述区域信息对应的分类信息；

基于所述区域信息和所述分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据；

对所述第二通道修正数据和所述第三通道修正数据进行放大处理，得到第二通道放大数据和第三通道放大数据；

将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，得到增强图像。

进一步地，所述对所述原始图像进行区域分割，得到区域信息和所述区域信息对应的分类信息，包括：

将所述原始图像输入预设的第一深度神经网络模型中，以对所述原始图像进行区域分割预测，得到预测标签集，其中，所述预测标签集包括：所述区域信息和所述区域信息对应的分类信息。

进一步地，所述对所述第二通道原始数据和所述第三通道原始数据进行修正处理，包括以下任意一种：

对所述第二通道数据和所述第三通道原始数据进行对比度调整；

对所述第二通道原始数据和所述第三通道原始数据进行颜色调整；

按照预设的调整顺序，对所述第二通道原始数据和所述第三通道原始数据进行对比度调整和颜色调整。

进一步地，所述基于所述区域信息和所述分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据，包括：

将所述第二通道原始数据、所述第三通道原始数据、所述区域信息和所述分类信息输入预设的第二深度神经网络模型中，以对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到所述第二通道修正数据和所述第三通道修正数据。

进一步地，所述对所述第二通道修正数据和所述第三通道修正数据进行放大处理，得到第二通道放大数据和第三通道放大数据，包括：

将所述第二通道修正数据的尺寸放大至与所述第一通道放大数据的尺寸一致，以及将所述第三通道修正数据的尺寸放大至与所述第一通道放大数据的尺寸一致，得到所述第二通道放大数据和所述第三通道放大数据。

进一步地，所述将所述原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据，包括以下任意一种：

基于频段类型和通道类型，将所述原始图像拆分为亮度通道高频段原始数据、亮度通道低频段原始数据以及所述第三通道原始数据，其中，所述亮度通道高频段原始数据作为所述第一通道原始数据，所述亮度通道低频段原始数据作为所述第二通道原始数据；

基于频段类型和通道类型，将所述原始图像拆分为亮度通道高频段原始数据、亮度通道原始数据以及所述第三通道原始数据，其中，所述亮度通道高频段原始数据作为所述第一通道原始数据，所述亮度通道原始数据作为所述第二通道原始数据。

进一步地，在所述将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并之前，还包括：

对所述第一通道放大数据进行第一校正处理，所述第一校正处理包括：增益校正、偏移校正、曲线映射校正中至少一种。

进一步地，所述将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，包括：

将所述第一通道放大数据和所述第二通道放大数据进行合并，得到第四通道放大数据；

将所述第四通道放大数据和所述第三通道放大数据进行合并，得到所述增强图像。

进一步地，所述图像处理方法还包括：

对所述增强图像进行第二校正处理，所述第二校正处理包括：瞬态校正、多波段校正、伪影校正中至少一种。

进一步地，在所述将所述原始图像进行拆分之前，还包括：

判断所述原始图像是否采用预设图像格式，并在确定所述原始图像未采用所述预设图像格式时，将所述原始图像的图像格式转换为所述预设图像格式。

进一步地，所述获取原始图像包括：

从视频流中获取视频帧作为所述原始图像。

本说明书实施例还提供了一种图像处理系统，包括：

图像获取单元，适于获取原始图像；

图像拆分单元，适于将所述原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据；

第一处理单元，适于对所述第一通道原始数据进行超分辨率处理，得到第一通道放大数据；

区域分割单元，适于对所述原始图像进行区域分割，得到区域信息和所述区域信息对应的分类信息；

第二处理单元，适于根据所述区域信息和所述分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据；

第三处理单元，适于对所述第二通道修正数据和所述第三通道修正数据进行放大处理，得到第二通道放大数据和第三通道放大数据；

合并单元，适于将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，得到增强图像。

可选地，所述区域分割单元包括第一深度神经网络模型，所述第一深度神经网络模型适于对所述原始图像进行区域分割预测，输出预测标签集，其中，所述预测标签集包括：所述区域信息和所述区域信息对应的分类信息。

可选地，所述第二处理单元包括第二深度神经网络模型，所述第二深度神经网络模型适于对所述第二通道原始数据和第三通道原始数据进行修正处理。

可选地，所述第二深度神经网络模型包括第一子模型，适于对所述第二通道原始数据进行对比度调整和颜色调整中至少一种，以及对所述第三通道原始数据进行对比度调整和颜色调整中至少一种；

或者，所述第二深度神经网络模型包括第二子模型和第三子模型，所述第二子模型和所述第三子模型按照预设顺序连接，其中：

所述第二子模型，适于对输入其中的数据进行对比度调整，所述第二子模型的输入数据包括：所述第二通道原始数据、所述第三通道原始数据和所述第三子模型输出的数据中至少一种；

所述第三子模型，适于对输入其中数据进行颜色调整，所述第三子模型的输入数据包括：所述第二通道原始数据、所述第三通道原始数据和所述第二子模型输出的数据中至少一种。

本说明书实施例还提供了一种电子设备，用于实现图像处理，所述电子设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机指令，其中，所述处理器运行所述计算机指令时执行上述任一实施例所述方法的步骤。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，其中，所述计算机指令运行时执行上述任一实施例所述方法的步骤。

采用本说明书实施例提供的图像处理方法，通过拆分所述原始图像，可以得到第一通道原始数据、第二通道原始数据和第三通道原始数据，对所述第一通道原始数据进行超分辨率处理，可以得到细节加强的第一通道放大数据；基于对所述原始图像区域分割得到的区域信息和分类信息，可以对所述第二通道原始数据和所述第三通道原始数据进行选择性的修正处理，得到第二通道修正数据和第三通道修正数据，然后，将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，能够得到增强图像。由上可知，在本说明书提供的算法架构并不完全依赖于深度学习，而是将深度神经网络作为一个可选方案与传统的处理方法结合，减少算法架构的复杂程度和数据量，实现轻量级的运算，提高处理效率，并且，区域分割可以增加修正过程的灵活度，从而能够针对各种图像进行适应性地增强，故本说明书提供的图像处理方法具有较强的普适性和可调整性，且在减少数据运算量的情况下有效保障了图像增强的效果，能够实现工业级的应用。

附图说明

为了更清楚地说明本说明书实施例的技术方案，下面将对本说明书实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面所描述的附图仅仅是本说明书的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本说明书实施例中一种图像处理方法的流程图；

图2是本说明书实施例中一种原始图像的拆分过程示意图；

图3是本说明书实施例中另一种原始图像的拆分过程示意图；

图4是本说明书实施例中一种超分辨率处理过程的示意图；

图5是本说明书实施例中一种放大处理过程的示意图；

图6是本说明书实施例中一种修正处理过程的示意图；

图7是本说明书实施例中另一种修正处理过程的示意图；

图8是本说明书实施例中一种图像处理方法的流程框图；

图9是本说明书实施例中一种图像处理系统的结构框图。

具体实施方式

如背景技术所述，无论是传统的图像增强技术还是基于深度学习的图像增强技术，都是根据单一的图像增强需求进行算法架构设计，针对性强，增强效果简单，存在应用局限。随着图像增强需求越来越复杂多变，算法架构也相应越来越庞杂，数据量逐渐增加，并且随着图像增强需求的改变或增加，还要花费大量时间和人力调整架构，因此，目前的图像增强技术仍旧存在较大的局限性。

为了解决现有图像增强技术存在的技术问题，本说明书实施例提供了一种图像处理方案，在获得原始图像后，将原始图像拆分为多个通道原始数据，并基于原始图像的区域信息和分类信息，对部分通道原始数据进行适应性地增强，加强算法架构的普适性和可调整性，并通过修正数据有效增强有用信息，由此得到增强效果较好的图像。

为使本领域技术人员更加清楚地了解及实施本说明书实施例的构思、实现方案及优点，以下参照附图，通过具体应用场景进行详细说明。

参照图1所示的本说明书实施例中一种图像处理方法的流程图，在本说明书实施例中，所述方法可以包括以下步骤：

S11，获取原始图像。

在具体实施中，可以从图像采集设备采集的图像中获取原始图像，也可以从视频采集设备采集的视频流中获取原始图像，还可以从可读存储介质存储的图像文件或视频文件中获取原始图像。

其中，可以通过截取视频帧的方式或者截图的方式从视频流中获取原始图像。

此外，图像采集设备可以是相机、手机、航拍器等设备，视频采集设备可以是摄像机、手机等设备。可以理解的是，本说明书对于原始图像的来源和获取方式、获取途径等均不做具体限制。

S12，将所述原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据。

在具体实施中，可以根据预设的拆分方式，对原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据。

在一可实现示例中，可以根据预设的图像通道拆分方式，对所述原始图像进行通道拆分。其中，图像通道拆分方式可以根据实际需求的通道类型进行设定，例如，可以将原始图像拆分为R(红色)通道原始数据，G(绿色)通道原始数据和B(蓝色)通道原始数据。又例如，可以将原始图像拆分为Y(亮度)通道原始数据，U(第一色度)通道原始数据和V(第二色度)通道原始数据。还例如，可以将原始图像拆分为亮度通道原始数据和色度通道原始数据，其中，色度通道原始数据可以包括：U(第一色度)通道原始数据和V(第二色度)通道原始数据。

在另一可实现示例中，可以根据预设的图像频段拆分方式，对原始图像进行频段拆分。其中，图像频段拆分方式可以根据实际需求的频段类型进行设定，例如，将原始图像进行高通滤波，可以得到图像高频段原始数据；将原始图像进行低通滤波，可以得到图像低频段原始数据。其中，滤波得到的频段与滤波强度相关，而滤波强度可以根据实际使用场景进行设定。

在实际应用中，根据具体场景的需求，可以选取或结合上述方式对所述原始图像进行拆分，然后，根据预设的配置方式，将拆分得到的数据设置为第一通道原始数据、第二通道原始数据和第三通道原始数据中一种。

例如，如图2所示，为一种原始图像的拆分过程示意图，对原始图像进行通道拆分，可以得到亮度通道原始数据Y和色度通道原始数据UV，将亮度通道原始数据Y进行低通滤波后，可以得到亮度通道低频段原始数据LFY，将亮度通道低频段原始数据LFY与亮度通道原始数据Y相减，即从亮度通道原始数据Y中去除亮度通道低频段原始数据LFY，可以得到亮度通道高频段原始数据HFY。根据预设的配置方式，可以将亮度通道高频段原始数据HFY设置为第一通道原始数据，将亮度通道低频段原始数据LFY设置为第二通道原始数据，即所述第一通道原始数据和第二通道原始数据为亮度通道原始数据的两个分量；以及，可以将色度通道原始数据UV设置为第三通道原始数据。

又例如，如图3所示，为另一种原始图像的拆分过程示意图，对原始图像进行通道拆分，可以得到亮度通道原始数据Y和色度通道原始数据UV，将亮度通道原始数据Y进行高通滤波后，可以得到亮度通道高频段原始数据HFY。根据预设的配置方式，可以将亮度通道高频段原始数据HFY设置为第一通道原始数据，将亮度通道原始数据Y设置为第二通道原始数据，即所述第一通道原始数据为所述亮度通道原始数据的分量；以及，可以将色度通道原始数据UV设置为第三通道原始数据。

可以理解的是，上述示例仅为示意说明，在实际应用中，原始图像的拆分方式和通道设置可以根据实际需求进行设定，本说明书对此均不作限制。

需要说明的是，在一些应用中，可以对拆分得到的通道原始数据有不同的称呼，例如，将亮度通道原始数据称为亮度通道原始图像等，本说明书对拆分结果的名称不做限制。

S13，对所述第一通道原始数据进行超分辨率处理，得到第一通道放大数据。

在具体实施中，由于环境光照、噪声干扰、硬件不支持、压缩过度等原因，会造成各通道的原始数据采集不充分或者采集错误，得到模糊不清的图像。对第一通道原始数据进行超分辨率(Super-Resolution,SR)处理，可以构建出更多的相应通道的像素，在对第一通道原始数据进行尺寸放大的同时，丰富了第一通道原始数据的细节信息，从而提高第一通道原始数据的分辨率，保障了第一通道原始数据的成像质量。

进一步地，可以采用基于深度神经网络(Deep Neural Networks，DNN)构建得到的模型(即DNN超分辨率模型)对第一通道原始数据进行超分辨率处理，以提高第一通道原始数据的分辨率。如图4所示，为一种超分辨率处理过程的示意图，DNN超分辨率模型对a*b尺寸大小的第一通道原始数据P1进行超分辨率处理后，将第一通道原始数据的尺寸放大为(a*N)*(b*N)，并且提高了第一通道原始数据P1的分辨率，得到第一通道放大数据P2。其中，放大倍数N由DNN超分辨率模型的参数决定。

S14，对所述原始图像进行区域分割，得到区域信息和所述区域信息对应的分类信息。

在具体实施中，对所述原始图像进行区域分割，可以针对原始图像中的不同区域进行标注，例如，对原始图像中的皮肤、草、天空、高光线和低光线等区域进行标注。

具体地，可以通过传统的区域分割方法或者基于DNN的区域分割方法识别原始图像中的区域，并进行分割和标注。其中，传统的区域分割方法可以包括直方图法、轮廓拟合法、区域生长法和分裂合并混合法等，基于DNN的区域分割方法可以采用各种DNN区域分割模型，如FCN(Fully Convolutional Networks，完全卷积网络)模型、DeepLab(一种语义分割神经网络)模型等。

在一可实现示例中，将所述原始图像输入预设的第一深度神经网络模型中，以对所述原始图像进行区域分割预测，得到预测标签集，其中，第一深度神经网络模型可以包括一种或多种DNN区域分割模型，所述预测标签集由预测标签组成，预测标签用以表征预测得到的区域信息和所述区域信息对应的分类信息。

S15，基于所述区域信息和所述分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据。

在具体实施中，根据所述区域信息和所述分类信息，可以确定第二通道原始数据中相应区域的类型，以及可以确定第三通道原始数据中相应区域的类型；然后，根据区域的类型，可以对第二通道原始数据中相应区域进行对应类型的修正处理，以及对第三通道原始数据中相应区域进行对应类型的修正处理。由此，数据的修正方式可以通过分类信息进行调整，修正处理过程更加灵活多变，从而适应更多不同种类的图像。

例如，根据所述区域信息和所述分类信息，可以确定第二通道原始数据中区域X为树木，则可以对第二通道原始数据中区域X进行树木相关的修正处理。

又例如，根据所述区域信息和所述分类信息，可以确定第三通道原始数据中区域Y为人类，则可以对第二通道原始数据中区域X进行人类相关的修正处理。

S16，对所述第二通道修正数据和所述第三通道修正数据进行放大处理，得到第二通道放大数据和第三通道放大数据。

在具体实施中，可以将所述第二通道修正数据的尺寸放大至与所述第一通道放大数据的尺寸一致，以及将所述第三通道修正数据的尺寸放大至与所述第一通道放大数据的尺寸一致，得到所述第二通道放大数据和所述第三通道放大数据。

例如，如图5所示，为一种放大处理过程的示意图，结合参考图4，通过预设的放大方法，对第二通道修正数据P3进行放大处理，将第二通道修正数据P3的尺寸放大N*N倍，得到的第二通道放大数据P4的尺寸为(a*N)*(b*N)，与所述第一通道放大数据P2的尺寸一致。

其中，可以采用双线性差值、双三次差值等至少一种上采样方法，实现所述第二通道修正数据和所述第三通道修正数据的尺寸放大。

可以理解的是，放大处理用于将数据的尺寸进行放大，可以不涉及提高数据分辨率的功能，与超分辨率处理相比，放大处理采用的方法较为简单，所需参数相对较少，处理过程相对简单，处理效率更快。

经过放大处理，所述第二通道放大数据、所述第三通道放大数据和第一通道放大数据的尺寸一致，便于后续进行数据合并。

S17，将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，得到增强图像。

由上可知，本说明书提供的算法架构并不完全依赖于深度学习，而是将深度神经网络作为一个可选方案与传统的处理方法结合，减少算法架构的复杂程度和数据量，实现轻量级的运算，提高处理效率，并且，区域分割可以增加修正过程的灵活度，从而能够针对各种图像进行适应性地增强，故本说明书提供的图像处理方法具有较强的普适性和可调整性，且在减少数据运算量的情况下有效保障了图像增强的效果，能够实现工业级的应用。

需要说明的是，上述实施例中一些步骤之间不存在必然的先后顺序，在不产生矛盾的前提下可以同步执行，也可以按照顺序执行，并且顺序可以进行调换。举例而言，在实际执行本说明提供的图像处理方法的步骤时，仅需设置步骤S14在步骤S11之后且在步骤S15之前执行，步骤S14可以与其他步骤同步执行，如步骤S14可以与步骤S12同步执行；步骤S14也可以按照设定的先后顺序执行，如步骤S14可以在步骤S12之后执行。本说明书实施例对步骤顺序不做具体限制。

在具体实施中，可能存在原始图像的图像格式与预设的图像通道拆分方式不匹配的情况，例如，原始图像采用RGB格式，而预设的图像通道拆分方式为将原始图像拆分为亮度通道原始数据和色度通道原始数据，则可以将原始图像的图像格式从RGB格式转换为YUV格式。为此，可以将原始图像的图像格式转换为与图像通道拆分方式匹配的图像格式，从而确保原始图像可以进行准确的通道拆分。

进一步地，为了确定是否需要进行图像格式转换，在所述将所述原始图像进行拆分之前，可以对所述原始图像采用的图像格式进行判断，并在确定所述原始图像未采用预设图像格式时，将所述原始图像的图像格式转换为预设图像格式，从而将原始图像的图像格式转换为与图像通道拆分方式匹配的图像格式。

例如，在获取原始图像之后，判断所述原始图像是否采用YUV格式，如果是，则继续进行图像拆分的操作，否则，将所述原始图像的图像格式转换为YUV格式后，再进行图像拆分的操作。

在具体实施中，图像的亮度跳变比颜色跳变更能反映真实边界，而图像频率可以表征图像中灰度变化的剧烈程度，高频段对应图像中变化剧烈的部分，即原始图像的边缘(轮廓)以及细节等部分，由此，可以将亮度通道高频段原始数据从原始图像中拆分出来，作为第一通道原始数据进行超分辨率处理，从而可以有效增强图像中的细节和边缘。

在具体实施中，为了减少数据量，提高数据处理效率，可以先合并所述第二通道原始数据和所述第三通道原始数据，再进行修正处理，修正处理结果包括第二通道修正数据和第三通道修正数据。然后，对修正处理结果进行放大处理，在完成放大处理后，将放大处理结果拆分为第二通道放大数据和第三通道放大数据。

在具体实施中，所述修正处理可以包括对比度调整和颜色调整中至少一种，相应地，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，可以包括以下任意一种：

1)对所述第二通道数据和所述第三通道原始数据进行对比度调整；

2)对所述第二通道原始数据和所述第三通道原始数据进行颜色调整；

3)按照预设的调整顺序，对所述第二通道原始数据和所述第三通道原始数据进行对比度调整和颜色调整。例如，对所述第二通道原始数据和所述第三通道原始数据先进行对比度调整，再进行颜色调整；又例如，对所述第二通道原始数据和所述第三通道原始数据先进行颜色调整，再进行对比度调整。

在具体实施中，可以将所述第二通道原始数据、所述第三通道原始数据、所述区域信息和所述分类信息输入预设的第二深度神经网络模型(即基于DNN构建的模型)中，以对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到所述第二通道修正数据和所述第三通道修正数据。

在一可选示例中，所述第二深度神经网络模型可以包括一个子模型，即第一子模型，通过一个第一子模型即可对所述第二通道原始数据进行对比度调整和颜色调整中至少一种，以及对所述第三通道原始数据进行对比度调整和颜色调整中至少一种。

例如，如图6所示，为一种修正处理过程的示意图，将第二通道原始数据P5输入第二深度神经网络模型中，通过第一子模型对所述第二通道原始数据进行对比度调整和颜色调整，得到第二通道修正数据P6。

在另一可选示例中，所述第二深度神经网络模型可以包括两个子模型，即第二子模型和第三子模型，通过所述第二子模型，可以进行对比度调整，通过所述第三子模型可以进行颜色调整。

根据第二子模型和第三子模型的连接关系(如串联或并联等)，所述第二子模型的输入数据可以包括：所述第二通道原始数据、所述第三通道原始数据和所述第三子模型输出的数据中至少一种。相应地，所述第三子模型的输入数据可以包括：所述第二通道原始数据、所述第三通道原始数据和所述第二子模型输出的数据中至少一种。

例如，如图7所示，为另一种修正处理过程的示意图，将第三通道原始数据P7输入第二深度神经网络模型中，通过第二子模型对所述第三通道原始数据进行对比度调整，通过第三子模型对第二子模型输出的结果进行颜色调整，得到第三通道修正数据P8。

在具体实施中，图像的动态范围可以分为标准动态范围(Standard DynamicRange，SDR)和高动态范围(High Dynamic Range，HDR)，根据不同的动态范围需求，可以选择不同的对比度调整方法和颜色调整方法。其中，HDR比SDR要求更多的动态范围和图像细节，因此，为了满足HDR的需求，可以采用深度学习来提升对比度调整效果和颜色调整效果，例如，可以采用基于DNN的标准动态范围转换至高动态范围(SDR2HDR)模型来实现对比度调整，采用基于DNN的色域映射(Gamut Mapping Algorithm，GMA)模型来实现颜色调整。

在具体实施中，在所述将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并之前，还可以包括：对所述第一通道放大数据进行第一校正处理，所述第一校正处理包括：增益校正、偏移校正、曲线映射校正中至少一种。由此，可以满足用户的使用需求。

在具体实施中，所述将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，具体可以包括：将所述第一通道放大数据和所述第二通道放大数据进行合并，得到第四通道放大数据；将所述第四通道放大数据和所述第三通道放大数据进行合并，得到所述增强图像。

在具体实施中，所述图像处理方法还可以包括：对所述增强图像进行第二校正处理，得到校正后的增强图像。

其中，所述第二校正处理包括：瞬态校正、多波段校正、伪影校正中至少一种。这些处理可以增强多波段的可视性、改善色度瞬态和降低伪影，提高了数据质量，从而可以提升图像或视频帧的清晰度。

为使本领域技术人员更加清楚地了解及实施本说明书实施例的构思、实现方案及优点，以下参照附图，通过实施例进行详细说明。

在本发明一实施例中，如图8所示，为一种图像处理方法的流程框图，在获取原始图像后，将所述原始图像进行拆分，得到第一通道原始数据A1、第二通道原始数据A2和第三通道原始数据A3，以及对所述原始图像进行区域分割，得到预测标签集A4，其中，预测标签集A4包括：预测得到的区域信息和所述区域信息对应的分类信息。

在第一支路Z1中，对所述第一通道原始数据A1进行超分辨率处理，得到第一通道放大数据B1，再对所述第一通道放大数据B1进行第一校正处理，得到校正后的第一通道放大数据C1。

在第二支路Z2中，基于所述区域信息和所述分类信息，对所述第二通道原始数据A2和所述第三通道原始数据A3进行修正处理，得到第二通道修正数据B2和第三通道修正数据B3，再对第二通道修正数据B2和第三通道修正数据B3进行放大处理，得到第二通道放大数据C2和第三通道放大数据C3。

然后，将校正后的第一通道放大数据C1和第二通道放大数据C2进行合并，得到第四通道放大数据C4，在将所述第四通道放大数据C4和第三通道放大数据C3进行合并，得到增强图像。

在一可选示例中，如图8所示，在得到增强图像后，可以对所述增强图像进行第二校正处理，得到校正后的增强图像。所述第二校正处理包括：瞬态校正、多波段校正、伪影校正中至少一种。

可以理解的是，上文描述了本说明书实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本说明书披露、公开的实施例方案。

本说明书还提供了与上述图像处理方法对应的图像处理系统，以下参照附图，通过具体实施例进行详细介绍。需要知道的是，下文描述的图像处理系统可以认为是为实现本说明书提供的图像处理方法所需设置的功能模块；下文描述的图像处理系统的内容，可与上文描述的图像处理方法的内容相互对应参照。

参照图9所示的本说明书实施例中一种图像处理系统的结构框图，在本说明书实施例中，所述图像处理系统M0可以包括：

图像获取单元M1，适于获取原始图像；

图像拆分单元M2，适于将所述原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据；

第一处理单元M3，适于对所述第一通道原始数据进行超分辨率处理，得到第一通道放大数据；

区域分割单元M4，适于对所述原始图像进行区域分割，得到区域信息和所述区域信息对应的分类信息；

第二处理单元M5，适于根据所述区域信息和所述分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据；

第三处理单元M6，适于对所述第二通道修正数据和所述第三通道修正数据进行放大处理，得到第二通道放大数据和第三通道放大数据；

合并单元M7，适于将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，得到增强图像。

由上可知，在本说明书提供的算法架构并不完全依赖于深度学习，而是将深度神经网络作为一个可选方案与传统的处理方法结合，减少算法架构的复杂程度和数据量，实现轻量级的运算，提高处理效率，并且，区域分割可以增加修正过程的灵活度，从而能够针对各种图像进行适应性地增强，故本说明书提供的图像处理方法具有较强的普适性和可调整性，且在减少数据运算量的情况下有效保障了图像增强的效果，能够实现工业级的应用。

在具体实施中，所述区域分割单元M4可以包括第一深度神经网络模型M41，所述第一深度神经网络模型M41适于对所述原始图像进行区域分割预测，输出预测标签集，其中，所述预测标签集可以包括：所述区域信息和所述区域信息对应的分类信息。

在具体实施中，所述第二处理单元M5包括第二深度神经网络模型M51，所述第二深度神经网络模型M51适于对所述第二通道原始数据和第三通道原始数据进行修正处理。

在一可实现实施例中，结合参考图9和图6，所述第二深度神经网络模型M51可以包括第一子模型，适于对所述第二通道原始数据进行对比度调整和颜色调整中至少一种，以及对所述第三通道原始数据进行对比度调整和颜色调整中至少一种。

在另一可实现实施例中，结合参考图9和图7，所述第二深度神经网络模型M51可以包括第二子模型和第三子模型，所述第二子模型和所述第三子模型按照预设顺序连接，其中：

所述第二子模型，适于对输入其中的数据进行对比度调整，所述第二子模型的输入数据包括：所述第二通道原始数据、所述第三通道原始数据和所述第三子模型输出的数据中至少一种。

所述第三子模型，适于对输入其中数据进行颜色调整，所述第三子模型的输入数据包括：所述第二通道原始数据、所述第三通道原始数据和所述第二子模型输出的数据中至少一种。

在具体实施中，所述图像处理系统M0还可以包括：

第四处理单元M8，位于所述第一处理单元M3和所述合并单元M7之间，适于对所述第一通道放大数据进行第一校正处理，并将第一校正处理结果作为第一通道放大数据发送至合并单元M7，所述第一校正处理包括：增益校正、偏移校正、曲线映射校正中至少一种。

在具体实施中，所述合并单元M7包括：

第一合并子单元M71，适于将所述第一通道放大数据和所述第二通道放大数据进行合并，得到第四通道放大数据；

第二合并子单元M72，适于第二将所述第四通道放大数据和所述第三通道放大数据进行合并，得到所述增强图像。

在具体实施中，所述图像处理系统M0还可以包括：

校正单元M9，适于对所述增强图像进行第二校正处理，所述第二校正处理包括：瞬态校正、多波段校正、伪影校正中至少一种。

可以理解的是，上文描述了本说明书实施例提供的多个实施例方案，各实施例方案介绍的各可选方式可在不冲突的情况下相互结合、交叉引用，从而延伸出多种可能的实施例方案，这些均可认为是本说明书披露、公开的实施例方案。

本说明书实施例还提供了一种电子设备，用于实现图像处理，所述电子设备可以包括存储器和处理器，所述存储器适于存储一条或多条能在所述处理器上运行的计算机指令，所述处理器运行所述计算机指令时执行前述任一实施例所述图像处理方的步骤。具体步骤可以参照前述实施例，此处不再赘述。

可选地，所述处理器可以通过中央处理器(Central Processing Unit，CPU)、图形处理器(Graphics Processing Unit，GPU)、现场可编程逻辑门阵列(Field ProgrammableGate Array，FPGA)等处理芯片实现，也可以通过特定集成电路(Application SpecificIntegrated Circuit，ASIC)或者是被配置成实施本说明书实施例的一个或多个集成电路实现。

可选地，所述存储器可以包含随机存取存储器(Random Access Memory，RAM)存储器，也可以还包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。

在具体实施中，所述数据处理设备还可以包括扩展接口，适于与其他设备进行连接，实现数据交互。如所述电子设备可以和显示设备连接，以播放增强图像或包含增强图像的视频流。

本说明书实施例还提供了一种计算机可读存储介质，其上存储有计算机指令，所述计算机指令运行时可以执行本说明书上述任一实施例所述图像处理方法的步骤。其中，所述计算机可读存储介质可以是光盘、机械硬盘、固态硬盘等各种适当的可读存储介质。所述计算机可读存储介质上存储的指令执行上述任一实施例所述的图像处理方法的步骤，具体可参照上述实施例，不再赘述。

所述计算机可读存储介质可以包括例如任何合适类型的存储器单元、存储器设备、存储器物品、存储器介质、存储设备、存储物品、存储介质和/或存储单元，例如，存储器、可移除的或不可移除的介质、可擦除或不可擦除介质、可写或可重写介质、数字或模拟介质、硬盘、软盘、光盘只读存储器(CD-ROM)、可刻录光盘(CD-R)、可重写光盘(CD-RW)、光盘、磁介质、磁光介质、可移动存储卡或磁盘、各种类型的数字通用光盘(DVD)、磁带、盒式磁带等。

计算机指令可以包括通过使用任何合适的高级、低级、面向对象的、可视化的、编译的和/或解释的编程语言来实现的任何合适类型的代码，例如，源代码、编译代码、解释代码、可执行代码、静态代码、动态代码、加密代码等。

需要说明的是，本说明书实施例中的术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含的包括一个或者更多个该特征。而且，术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以使这里描述的本说明书的实施例能够以除了在这里图示或描述的那些以外的顺序实施。

虽然本说明书实施例披露如上，但本说明书实施例并非限定于此。任何本领域技术人员，在不脱离本说明书实施例的精神和范围内，均可作各种更动与修改，因此本说明书实施例的保护范围应当以权利要求所限定的范围为准。

Claims (17)

1.一种图像处理方法，其特征在于，包括：

获取原始图像；

将所述原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据；

对所述第一通道原始数据进行超分辨率处理，得到第一通道放大数据；

对所述原始图像进行区域分割，得到区域信息和所述区域信息对应的分类信息；

基于所述区域信息和所述分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据；

对所述第二通道修正数据和所述第三通道修正数据进行放大处理，得到第二通道放大数据和第三通道放大数据；

将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，得到增强图像。

2.根据权利要求1所述的图像处理方法，其特征在于，所述对所述原始图像进行区域分割，得到区域信息和所述区域信息对应的分类信息，包括：

将所述原始图像输入预设的第一深度神经网络模型中，以对所述原始图像进行区域分割预测，得到预测标签集，其中，所述预测标签集包括：所述区域信息和所述区域信息对应的分类信息。

3.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第二通道原始数据和所述第三通道原始数据进行修正处理，包括以下任意一种：

对所述第二通道原始数据和所述第三通道原始数据进行对比度调整；

对所述第二通道原始数据和所述第三通道原始数据进行颜色调整；

按照预设的调整顺序，对所述第二通道原始数据和所述第三通道原始数据进行对比度调整和颜色调整。

4.根据权利要求1所述的图像处理方法，其特征在于，所述基于所述区域信息和所述分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据，包括：

将所述第二通道原始数据、所述第三通道原始数据、所述区域信息和所述分类信息输入预设的第二深度神经网络模型中，以对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到所述第二通道修正数据和所述第三通道修正数据。

5.根据权利要求1所述的图像处理方法，其特征在于，所述对所述第二通道修正数据和所述第三通道修正数据进行放大处理，得到第二通道放大数据和第三通道放大数据，包括：

将所述第二通道修正数据的尺寸放大至与所述第一通道放大数据的尺寸一致，以及将所述第三通道修正数据的尺寸放大至与所述第一通道放大数据的尺寸一致，得到所述第二通道放大数据和所述第三通道放大数据。

6.根据权利要求1所述的图像处理方法，其特征在于，所述将所述原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据，包括以下任意一种：

基于频段类型和通道类型，将所述原始图像拆分为亮度通道高频段原始数据、亮度通道低频段原始数据以及所述第三通道原始数据，其中，所述亮度通道高频段原始数据作为所述第一通道原始数据，所述亮度通道低频段原始数据作为所述第二通道原始数据；

基于频段类型和通道类型，将所述原始图像拆分为亮度通道高频段原始数据、亮度通道原始数据以及所述第三通道原始数据，其中，所述亮度通道高频段原始数据作为所述第一通道原始数据，所述亮度通道原始数据作为所述第二通道原始数据。

7.根据权利要求1所述的图像处理方法，其特征在于，在所述将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并之前，还包括：

对所述第一通道放大数据进行第一校正处理，所述第一校正处理包括：增益校正、偏移校正、曲线映射校正中至少一种。

8.根据权利要求1所述的图像处理方法，其特征在于，所述将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，包括：

将所述第一通道放大数据和所述第二通道放大数据进行合并，得到第四通道放大数据；

将所述第四通道放大数据和所述第三通道放大数据进行合并，得到所述增强图像。

9.根据权利要求8所述的图像处理方法，其特征在于，还包括：

对所述增强图像进行第二校正处理，所述第二校正处理包括：瞬态校正、多波段校正、伪影校正中至少一种。

10.根据权利要求1所述的图像处理方法，其特征在于，在所述将所述原始图像进行拆分之前，还包括：

判断所述原始图像是否采用预设图像格式，并在确定所述原始图像未采用所述预设图像格式时，将所述原始图像的图像格式转换为所述预设图像格式。

11.根据权利要求1所述的图像处理方法，其特征在于，所述获取原始图像包括：

从视频流中获取视频帧作为所述原始图像。

12.一种图像处理系统，其特征在于，包括：

图像获取单元，适于获取原始图像；

图像拆分单元，适于将所述原始图像进行拆分，得到第一通道原始数据、第二通道原始数据和第三通道原始数据；

第一处理单元，适于对所述第一通道原始数据进行超分辨率处理，得到第一通道放大数据；

区域分割单元，适于对所述原始图像进行区域分割，得到区域信息和所述区域信息对应的分类信息；

第二处理单元，适于根据所述区域信息和所述分类信息，对所述第二通道原始数据和所述第三通道原始数据进行修正处理，得到第二通道修正数据和第三通道修正数据；

第三处理单元，适于对所述第二通道修正数据和所述第三通道修正数据进行放大处理，得到第二通道放大数据和第三通道放大数据；

合并单元，适于将所述第一通道放大数据、所述第二通道放大数据和所述第三通道放大数据进行合并，得到增强图像。

13.根据权利要求12所述的图像处理系统，其特征在于，所述区域分割单元包括第一深度神经网络模型，所述第一深度神经网络模型适于对所述原始图像进行区域分割预测，输出预测标签集，其中，所述预测标签集包括：所述区域信息和所述区域信息对应的分类信息。

14.根据权利要求12所述的图像处理系统，其特征在于，所述第二处理单元包括第二深度神经网络模型，所述第二深度神经网络模型适于对所述第二通道原始数据和第三通道原始数据进行修正处理。

15.根据权利要求14所述的图像处理系统，其特征在于，所述第二深度神经网络模型包括第一子模型，适于对所述第二通道原始数据进行对比度调整和颜色调整中至少一种，以及对所述第三通道原始数据进行对比度调整和颜色调整中至少一种；

或者，所述第二深度神经网络模型包括第二子模型和第三子模型，所述第二子模型和所述第三子模型按照预设顺序连接，其中：

所述第二子模型，适于对输入其中的数据进行对比度调整，所述第二子模型的输入数据包括：所述第二通道原始数据、所述第三通道原始数据和所述第三子模型输出的数据中至少一种；

所述第三子模型，适于对输入其中数据进行颜色调整，所述第三子模型的输入数据包括：所述第二通道原始数据、所述第三通道原始数据和所述第二子模型输出的数据中至少一种。

16.一种电子设备，用于实现图像处理，所述电子设备包括存储器和处理器，所述存储器上存储有能在所述处理器上运行的计算机指令，其特征在于，所述处理器运行所述计算机指令时执行权利要求1至11任一项所述方法的步骤。

17.一种计算机可读存储介质，其上存储有计算机指令，其特征在于，所述计算机指令运行时执行权利要求1至11任一项所述方法的步骤。