[go: up one dir, main page]

CN112689850A - 图像处理方法、装置、成像设备、可移动载体及存储介质 - Google Patents

图像处理方法、装置、成像设备、可移动载体及存储介质 Download PDF

Info

Publication number
CN112689850A
CN112689850A CN202080005077.1A CN202080005077A CN112689850A CN 112689850 A CN112689850 A CN 112689850A CN 202080005077 A CN202080005077 A CN 202080005077A CN 112689850 A CN112689850 A CN 112689850A
Authority
CN
China
Prior art keywords
images
group
image
panoramic image
feature points
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080005077.1A
Other languages
English (en)
Inventor
李广
朱传杰
李静
郭浩铭
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SZ DJI Technology Co Ltd
Original Assignee
SZ DJI Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SZ DJI Technology Co Ltd filed Critical SZ DJI Technology Co Ltd
Publication of CN112689850A publication Critical patent/CN112689850A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)

Abstract

一种图像处理方法、装置、成像设备、可移动载体及存储介质。所述方法包括：获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到，根据所述第一组图像中各图像的特征点确定所述第二组图像各图像的特征点；基于所述第二组图像各图像的特征点对所述第二组图像进行拼接，得到第二全景图像。通过细节更加丰富、更易提取特征点的图像来指导细节缺失严重的图像来提取特征点，可以使细节缺失严重的图像提取出更多特征点，从而实现细节缺失严重的图像的拼接，提高拼接后的图像的质量。

Description

图像处理方法、装置、成像设备、可移动载体及存储介质
技术领域
本申请涉及图像处理技术领域，具体而言，涉及一种图像处理方法、装置、成像设备、可移动载体及存储介质。
背景技术
通常可以将传感器在不同角度采集的多张图像进行拼接，得到一张大视角或者360度全视角的全景图像。在对多张图像进行拼接时，需要从各图像中提取特征点，然后进行特征点的配准，基于配准结果对图像进行融合，得到拼接后的大视角图像。准确地提取特征点是保证拼接后的大视角图像的质量的前提。
但是，对于有些传感器，其采集的图像细节信息较少，分辨率较低或者噪声比较严重，比如，红外、紫外等灰度图像，因而可以提取到的特征点很少，如果仍按照传统的方式进行图像拼接，拼接后的图像效果较差。因此，有必要对图像拼接的方法加以改进，以用于细节信息缺失严重的图像的拼接。
发明内容
有鉴于此，本申请提供一种图像处理方法、装置、成像设备、可移动载体及存储介质。
根据本申请的第一方面，提供一种图像处理方法，所述方法包括：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中各图像进行拼接，得到第二全景图像。
根据本申请的第二方面，提供一种图像处理方法，所述方法包括：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
分别将所述第一组图像融合于所述第二组图像，得到第三组图像；
根据所述第一组图像的特征点确定所述第三组图像的特征点；
基于所述第三组图像的特征点对所述第三组图像中的各图像进行拼接，得到第四全景图像。
根据本申请的第三方面，提供一种图像处理装置，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
根据本申请的第四方面，提供一种图像处理装置，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
分别将所述第一组图像融合于所述第二组图像，得到第三组图像；
根据所述第一组图像的特征点确定所述第三组图像的特征点；
基于所述第三组图像的特征点对所述第三组图像中的各图像进行拼接，得到第三全景图像。
根据本申请的第五方面，提供一种成像设备，所述成像设备包括第一图像传感器、第二图像传感器以及图像处理装置，所述第一图像传感器和第二图像传感器连接至所述图像处理装置，所述第一图像传感器和第二图像相对位置固定，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像通过第一传感器采集得到和所述第二组图像通过第二传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
根据本申请的第六方面，提供一种可移动载体，所述可移动载体包括机身和成像设备，所述成像设备安装于所述机身，所述成像设备包括第一图像传感器、第二图像传感器以及图像处理装置，所述第一图像传感器和第二图像传感器连接至所述图像处理装置，所述第一图像传感器和第二图像相对位置固定，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像通过第一传感器采集得到，所述第二组图像通过第二传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
根据本申请的第七方面，提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现本申请任一项所述的图像处理方法。
本申请通过相对位置固定的两个传感器分别采集得到两组图像，并且通过第一组图像的特征点来确定第二组图像的特征点，以便第二组图像可以根据特征点实现图像的拼接，通过细节更加丰富、更易提取特征点的图像来指导细节缺失严重的图像来提取特征点，可以使细节缺失严重的图像提取出更多特征点，从而实现细节缺失严重的图像的拼接，提高拼接后的图像的质量。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请一个实施例提供的一种图像拼接的示意图。
图2是本申请一个实施例提供的一种图像处理方法流程图。
图3是本申请一个实施例提供的一种图像处理方法流程图。
图4是本申请一个实施例提供的一种图像拼接并融合的示意图。
图5是本申请另一个实施例提供的一种图像拼接并融合的示意图。
图6是本申请一个实施例提供的一种图像处理装置的逻辑结构框图。
图7是本申请一个实施例提供的一种成像设备的逻辑结构框图。
图8是本申请一个实施例提供的一种可移动载体的示意图。
图9是本申请一个实施例提供的一种可移动载体的逻辑结构框图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
全景图像是指大视角或者360°全视角的图像。通常，全景图像可以根据传感器在不同角度采集的多张图像拼接得到。不同角度采集的多张图像会存在相同的区域，需要将相同区域找出并匹配，然后相同区域进行图像的融合，得到全景图像。通常，图像拼接采用的一种方式是：从一张图像中提取特征点，其中，特征点一般为图像中像素值与周围像素点差异较大的像素点，比如三维物体的角点、拐点、边界点等对应的像素点。然后，在另一张图像中找到这些特征点的匹配特征点，即进行特征点的配准，基于特征点和匹配特征点确定两张图像之间的空间几何关系，即一张图像的像素点坐标与另一张图像上匹配像素点坐标之间的对应关系，基于空间几何关系对两张图像进行融合，得到拼接图像。如图1所示，图像1和图像2为不同角度采集得到的两张图像，图像1中提取出的特征点为A1、B1、C1、D1，因而需要在图像2中找到A1的匹配特征点A2，B1的匹配特征点B2，C1的匹配特征点C2，D1的匹配特征点D2，然后基于A1、B1、C1、D1和A2、B2、C2、D2确定两张图像之间的空间几何关系，基于空间几何关系将图像1和图像2进行融合，得到拼接图像。当然，在实际的图像拼接过程，为了达到更好的拼接效果，需要提取出大量的特征点，特征点的准确提取和配准是保证拼接后的全景图像的质量的前提。
但是，对于有些传感器，由于其自身的特性或者成像原理等各种因素，导致采集的图像细节信息较少、分辨率较低或者存在大量的噪声，对于这种图像，往往很难准确地提取出特征点，并且特征点的数量很少，很难准确地对图像进行拼接。举个例子，灰度图像，特别是红外图像是通过红外传感器检测物体辐射的红外线生成的图像，由于其成像原理的特性，导致红外图像的细节信息严重缺失，且分辨率比较低，存在大量的噪声，并且红外图像的视场角往往较小，如果要得到大视角的图像，需要进行图像拼接得到，但是由于图像缺乏细节，在进行特征点提取时，检测到的特征点很少甚至检测不到，因而无法通过传统的方式进行红外图像的准确拼接。
为了解决上述问题，本申请提供了一种图像处理方法，具体的，如图2所示，所述方法可以包括以下步骤：
S202、获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
S204、根据所述第一组图像的特征点确定所述第二组图像的特征点；
S206、基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
本申请可以通过两个相对位置固定的传感器从不同的角度分别采集两组图像，以下称为第一组图像和第二组图像，其中，第一组图像相比于第二组图像，细节信息更加丰富、更加容易检测和提取特征点。比如，在某些实施例中，第一组图像的分辨率高于第二组图像，或者第一组图像的噪声比第二组图像少，且细节信息更加丰富。
本申请中的两组图像可以是不同类型的两种图像传感器采集的两组图像，比如，可以是红外传感器、可见光传感器、TOF(time-of-flight：飞行时间)传感器、紫外传感器等传感器采集的图像。在某些实施例中，第一组图像可以是可见光图像，第二组图像可以是红外图像，可见光图像相比于红外图像，细节更加丰富、噪声更少、画质更清晰，因而更容易从图像中提取特征点。当然，在某些实施例中，第一组图像可以是可见光图像，第二组图像可以是紫外图像或者TOF图像。只要第一组图像相比于第二组图像更易提取特征点即可，本申请不作限制。
本申请的图像处理方法可以用于具有图像采集功能的设备，该设备可以是具有两个相对位置固定的传感器的设备，比如可以是一个同时具备红外传感器和可见光传感器的相机。当然，也可以是两个具有不同传感器的设备组合得到的设备，比如，可以是一个红外相机和一个可见光相机组合得到的设备，两个相机的位置相对固定，比如两个相机分别固定于同一个云台。当然，本申请的图像处理方法也可以用于专门进行图像处理而不具备图像采集功能的图像处理设备，该设备可以是手机、平板、笔记本电脑或者云端服务器，通过从图像采集设备接收到第一组图像和第二组图像后再进行后期处理。
当然，需要指出的是，本申请只是列举了两个传感器采集两组图像的情况，对于三个传感器或者更多个传感器的情况同样适用，其具体实现过程和两个传感器的一致。
对于第二组图像，由于其细节信息较少，在提取特征点时，检测到的特征点数量有限，甚至无法检测到特征点，因而无法实现图像拼接或者拼接得到的图像效果较差。因此，本申请通过细节信息更加丰富的第一组图像来指导第二组图像来完成图像的拼接。首先，可以从第一组图像中各图像提取特征点，其中，特征点多为三维物体的角点、边界、棱、拐点对应的像素点，特征点的提取可以采用通用的特征点检测算法，比如SIFT(Scale-invariant feature transform：尺度不变特征转换算法)算法、SURF(Speeded-Up RobustFeatures：加速鲁棒性特征算法)算法、ORB(Oriented FAST and Rotated BRIEF)算法，目前，特征点提取技术已经比较成熟，在此不再详细介绍。确定第一组图像中各图像的特征点后，可以根据第一组图像的特征点确定第二组图像的特征点。由于两组图像是通过相对位置固定的传感器采集得到，因而可以根据两个传感器的空间位置关系确定第一组图像上的特征点在第二组图像上的映射点，作为第二组图像的特征点。
在某些实施例中，根据第一组图像的特征点确定第二组图像的特征点时，可以先确定第一组图像中的某一帧图像在第二组图像的对应图像，然后根据第一组图像中的该帧图像的特征点以及第一组图像与第二组图像的映射关系确定该帧图像在第二组图像的对应图像的特征点。第一组图像中的各图像在第二组图像的对应图像为两个传感器所在设备，或固定两个传感器的设备在某个位置时，两个传感器分别采集的图像。以两个传感器固定于同一云台为例，假设第一组图像的第一图像F1在第二组图像的对应图像为第二图像F2，则第一图像F1和第二图像F2为云台转动至某个位置时，两个传感器分别采集的图像。当然，第一图像F1和第二图像F2可以是两个传感器同时采集得到，也可以是两个传感器在一定时间间隔采集得到。
其中，第一组图像与第二组图像之间的映射关系可以根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数。比如、可以根据两个传感器各自的内参数以及两个传感器各自的外参数确定。两个传感器各自的内参数和外参数可以预先标定好，比如，可以在两个传感器出厂时则预先标定好，传感器内参数以及外参数的标定可以采用现有的一些标定方法，比如张正友标定法。第一组图像和第二组图像的映射关系可以预先标定，也可以在需要使用时由进行图像处理的设备根据预先标定的内参数和外参数临时计算。举个例子，如果两个传感器为同一个设备的传感器，则可以在该设备出厂时就预先标定两个传感器采集的两组图像之间的映射关系，当然，如果两个传感器为两个独立的设备，两个设备通过某种方式固定，保持相对位置不变，比如固定在同一个云台，则可以由图像处理设备临时计算两个传感器采集的两组图像之间的映射关系。
映射关系表示第一组图像中的第一图像F1的像素点与在第二组图像中第二图像F2的对应像素点的对应关系，假设两个传感器固定于同一云台，第一图像F1和第二图像F2为云台转动至某个位置时，两个传感器分别采集的图像。当然，第一图像F1和第二图像F2可以是云台转动至某个位置时，两个传感器同时采集得到，这样可以保证图像采集时的环境条件(例如光线因素，温湿度等)较为一致，也能够降低物距变化对于红外传感器或紫外传感器所摄图像的影响；此外，第一图像F1和第二图像F2可以在一定的时间间隔内采集得到，比如间隔1秒采集得到，这样仍然可以通过换算得出其对应像素点的对应关系。当然，间隔时间太久可能导致第一图像F1和第二图像F2的拍摄环境及拍摄视差较大，进而导致确定的特征点的不准确，但不同时间内采集得到的第一图像F1和第二图像F2仍然可以通过若干次换算得到其映射关系。
在某些实施例中，映射关系可以通过单应性矩阵和/或仿射矩阵表征。其中，单应性矩阵可以通过两个传感器各自的内参矩阵以及一个传感器的坐标系相对于另一个传感器的坐标系的变换矩阵确定。
在某些实施例中，可以在第一组图像中确定与所述第二组图像中的第二图像同时采集的第一图像，然后根据两组图像之间的映射关系确定第一图像的特征点在第二图像中的映射点，将所述映射点作为所述第二图像的特征点。比如，在确定映射关系后，可以在第一组图像中确定与第二组图像中的第二图像同时采集的第一图像，比如，在某些实施例中，假设两个传感器固定于同一云台，云台每转动至某个角度时，两个传感器可以同时各采集一张图像，即两组图像在采集时间上是一一对应的，这时可以在第一组图像中确定与第二组图像中的第二图像同时采集的第一图像，然后根据确定的映射关系确定第一图像的特征点在第二图像中的映射点，并将该映射点作为第二图像的特征点。举个例子，假设有两个相对位置固定的传感器，第一传感器和第二传感器，第一组图像通过第一传感器采集得到，第二组图像通过第二传感器采集得到，第一传感器在时间T采集的图像为第一图像，第二传感器在时间T采集的图像为第二图像，在第一图像上提取到一特征点P1，可以根据单应性矩阵H确定P1在第二图像上对应的特征点点P2，其中，单应性矩阵H可以根据公式(1)得到，P2的像素坐标可以根据公式(2)得到：
Figure BDA0002970777180000091
P2＝HP1 (公式2)
其中，K1表示第一传感器的内参矩阵；
K2表示第二传感器的内参矩阵；
R表示第二传感器坐标系到第一传感器坐标系的旋转矩阵；
H表示第一传感器坐标系到第二传感器坐标系的单应性矩阵；
P1表示第一图像的某特征点的坐标；
P2表示P1在第二图像上的对应点；
通过这种方式，可以确定第二组图像中各图像的特征点，然后可以根据第二组图像中各图像的特征点对第二组图像的各图像进行拼接，得到拼接后的全景图像，以下统称第二全景图像。
在某些实施例中，根据第二组图像中各图像的特征点对第二组图像的各图像进行拼接，得到第二全景图像时，可以先基于第二组图像中各图像的特征点对第二组图像中的各图像进行配准，然后根据配准结果对第二组图像中各图像进行合成，得到第二全景图像。其中，由于第二组图像是传感器在不同角度采集得到的多张图像，同一个三维物体在不同的图像中会被检测到，因而根据一张图像的特征点，确定该特征点在另一张图像的匹配特征点，其中，特征点的配准技术已经比较成熟，可以采用通用的特征点匹配算法确定一张图像的特征点在另一张图像的匹配特征点，比如，SIFT算法、SURF算法、ORB算法等，然后根据特征点和匹配特征点可以确定出两张图像在空间几何的对应关系，并且可以基于两两图像之间的空间几何关系进行全局优化，优化两张图像之间的空间几何关系，得到最终的配准结果。然后基于配准结果可以确定多张图像之间的配准区域(例如重叠区域)，并对配准区域进行图像合成，得到拼接后的第二全景图像。其中，对图像合成也可以采用传统的图像合成方法，主要是对图像进行曝光补偿以及对两张图像的拼接缝处进行图像合成，具体细节可参考传统的图像合成技术，在此不再详述。
在某些实施例中，还可以根据第一组图像中各图像的特征点对第一组图像中各图像进行拼接，得到第一全景图像。
由于第二组图像是细节信息缺失比较严重的图像，以红外图像为例，由于细节信息较少，即便拼接的到全景图像，也仅是增大了图像的视角，其细节信息还是比较少，不够丰富，限制了全景图像的应用。为了解决这个问题，在对图像进行拼接后，还可以进一步利用第一组图像丰富的细节信息来对第二组图像的细节信息进行增强，使得第二组图像的细节信息更加的丰富。
因而，在某些实施例中，为了对拼接得到的第二全景图像进行细节增强，可以将第一组图像拼接得到的第一全景图像与第二组图像拼接得到的第二全景图像进行融合，得到细节信息更加丰富的第三全景图像。
由于第一组图像和第二组图像是由两个不同的传感器采集得到，两组图像对应不同的坐标系，因而在融合之前，可以先根据第一组图像和第二组图像的映射关系将第一组图像和第二组图像映射到指定坐标系。其中，指定坐标系可以是第一组图像对应的坐标系，也可以是第二组图像对应的坐标系，当然，还可以是其他的坐标系，只要将两组图像的坐标系统一即可，本申请不作限制。其中，具体的映射方式与特征点的映射相似，以将第一组图像映射到第二组图像对应的坐标系为例，可以根据第一组图像映射到第二组图像的单应性矩阵，确定第一组图像中各图像的像素点的坐标映射到第二组图像的坐标系的对应坐标，得到映射后的图像。当然，在某些实例中，特征点的提取步骤可以在对两组图像进行映射之前执行，也可以在对两组图像进行映射之后执行，先提取特征点再进行图像的映射能够提取到更多的特征点，使得配准将更准确，而先进行图像的映射再提取特征点能够减少运算时间和运算资源的消耗，提高图像处理速率，所以可以根据实际需求确定先执行哪个步骤。将两组图像映射到同一个坐标系后，再进行拼接，得到第一全景图像和第二全景图像，然后再将第一全景图像和第二全景图像进行过融合。当然，在某些实施例中，也可以在拼接得到第一全景图像和第二全景图像后，采用类似的方式将第一全景图像和第二全景图像映射到同一坐标系，然后再进行图像融合。
当然，在某些实施例中，两个传感器的视场角可能不一样，比如红外传感器的视场角往往会小于可见光图像的视场角，为了使图像融合时两组图像的视场角一致，因此，在将第一组图像和第二组图像映射到指定坐标系后，还可以对第一组图像或第二组图像进行裁剪，以使述第一组图像的视场角与第二组图像的视场角一致。比如，第一组图像的视场角大于第二组图像的视场角，因而可以对第一组图像的各图像进行裁剪，使得各图像的视场角与第二组图像的对应图像一致。此外，在将第一组图像和第二组图像映射到指定坐标系后，对第一组图像或第二组图像进行裁剪还可进一步降低后续图像处理的运算量，并减少冗余输出，提高图像的呈现效果。
在某些实施例中，在将第一全景图像和第二全景图像进行融合时，可以从第一全景图像中提取第一分量，然后将第一全景图像的第一分量融合到第二全景图像当中。以第一组图像为可见图像，第二组图像为红外图像为例，第一全景图像为拼接得到的可见光图像，可见光图像可以用YUV分量表示，其中，Y分量表示图像的亮度，UV分量表示图像的色度。由于某些灰度图像中包括亮度值，因而可以提取第一全景图像的Y分量融合到第二全景图像当中。
将第一全景图像融合到第二全景图像时，可以根据实际需求控制融合的范围和融合的强度。比如，融合过程中，可以只将第一全景图像的边缘像素点融合到第二全景图像，也可以将整张图像融合到第二全景图像，可以根据实际需求设置。在某些实施例中，为了控制融合范围，第一全景图像的第一分量的提取阈值可调，比如，可以将第一分量大于预设阈值的像素点提取出来，然后将这部分像素点与第二全景图像的对应像素点进行融合。举个例子，通常可见光图像的边缘像素点的亮度值往往较高，如果只需将第一全景图像的边缘像素点融合到第二全景图像，以增加第二全景图像的边缘的细节，这时可以将亮度值大于一定阈值的像素点确定出来，然后根据这部分像素点的Y分量与第二全景图像中与这部分像素点对应的像素点的Y分量得到融合后的图像对应像素点的Y分量。其中，在某些实施例中，融合过程中也可以控制融合的强度，比如，可以将第一全景图像的第一分量按第一权重融合于述第二全景图像的第一分量，得到所述第三全景图像的第一分量，其中第一权重的大小可以根据需求自行设置。如果要得到比较强的融合效果，使得融合后的图像的细节信息更丰富，比如使得融合后的第二全景图像的边缘更加明显，亮度更强，很容易区分出物体的边界，则可以将第一权重设置的大一些，如果融合的效果不需要太强，则可以将第一权重设置的小一些，具体可以根据实际需求灵活设置。
在某些实施例中，将第一全景图像的第一分量按第一权重融合到第二全景图像，得到第三全景图像的第一分量后，还可以通过将第一全景图像的第二分量和增益系数获得第三全景图像的第二分量。以可见光为例，第一分量可以是Y分量，第二分量可以是U、V分量或两者的结合。其中，在某些实施例中，增益系数可以通过第三全景图像的第一分量与第二全景图像的第一分量得到，当然，也可以通过自行设置得到，本申请不作限制。以第一全景图像为可见光图像，第二全景图像为红外图像为例，可以将可见光图像的Y分量按照第一权重融合到红外图像中，得到融合后的图像的Y分量，然后再根据可见光图像的UV分量和增益系数得到融合后的图像的UV分量。具体的，融合后的图像的Y分量Yb可以通过公式(3)确定，公式(3)如下：
Yb＝wY2+(1-w)Y1 (公式3)
增益系数ratio可以根据公式(4)得到，公式(4)如下：
ratio＝Yb/Y2 (公式4)
融合后的图像的U分量Ub和V分量Vb可以分别根据公式(5)和公式(6)得到，公式
Ub＝ratio*U2 (公式5)
Vb＝ratio*V2 (公式6)
其中，
Y1表示红外图像的Y分量；
Y2、U2、V2分别表示可见光图像的Y、U、V分量；
Yb、Ub、Vb分别表示融合后的图像的Y、U、V分量；
w表示第一权重
ratio表示表示增益系数
当然，在某些实施例中，也可以直接将第一全景图像按照第二权重融合到第二全景图像，得到第三全景图像，比如将第一全景图像各像素点的像素值与第二全景图像各像素点的像素值融合，其中第一全景图像的各像素点的像素值的权重为第二权重。当然，以上只是示例性的实施例，现有的各种图像融合技术在本申请中均适用。
在某些实施例中，在对细节信息严重缺失的图像进行拼接时，为了得到不仅视角更大、并且细节信息更加丰富的全景图像，也可以先将第一组图像中的各图像融合于第二组图像中的各图像，对第二组图像的细节信息进行增强后，再进行拼接。基于此，本申请还提供了另一种图像处理方法，如图3所示，所述方法包括以下步骤：
S302、获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
S304、分别将所述第一组图像中各图像融合于所述第二组图像的各图像，得到第三组图像；
S306、根据所述第一组图像的特征点确定所述第三组图像的特征点；
S308、基于所述第三组图像的特征点对所述第三组图像的各图像进行拼接，得到第四全景图像。
其中，可以先将第一组图像中的各图像融合于第二组图像中与该图像对应的图像。以两个传感器固定于同一个云台为例，进行融合的两张图像为云台转动到某个位置时，两个传感器分别采集的两张图像，两张图像可以同时采集，也可以在一定的时间间隔内采集。
在某些实施例中，在对两组图像进行融合之前，可以先根据第一组图像和第二组图像的映射关系，将两组图像映射到指定坐标系，该指定坐标系可以是第一组图像对应的坐标系，也可以是第二组图像对应的坐标系。
当然，在某些实施例中，如果两组图像的视场角不一样，在对两组图像进行融合之前，还可以先对视场角较大的一组图像进行裁剪，使其与另一组图像的视场角一致。
在通过第一组图像和第二组图像融合得到第三组图像后，则可以通过第一组图像的特征点确定第三组图像的特征点，然后基于第三组图像的特征点对第三组图像中的各图像进行拼接，得到第四全景图像。其中，具体的拼接过程可参考上述图像处理方法中的描述，在此不再赘述。
为了进一步解释本申请的图像处理方法，以下以一个具体的实施例加以解释。
红外图像由于其成像原理，导致红外图像的细节信息缺失严重，分辨率较低，且存在较多的噪声。但是红外图像视场角比较小，要获的大视角的图像的话，需要对不同角度采集的多张图像进行拼接得到。由于红外图像细节信息缺失严重，因而提取的特征点非常有限，甚至提取不到特征点，所以没法完成红外图像的拼接。为了解决上述问题，本申请通过固定于同一云台且相对位置固定的一个可见光传感器和一个红外传感器分别采集一组可见光图像和一组红外图像，通过细节较丰富，分辨率较高的可见光图像来指导红外图像进行特征点的提取，以实现红外图像的拼接，得到红外全景图像。当然，为了使得红外全景图像的细节更加丰富，还可以利用可见光图像对红外图像进行细节增强处理，使得红外全景图像的细节更加丰富。
为了得到细节增强的红外全景图像，可以采取两种方式，第一种方式如图4所示，先用可见光图像指导红外图像提取特征点，完成红外图像的拼接，得到红外全景图像，然后再用可见光图像拼接得到可见光全景图像，再用可见光全景图像融合到红外图像进行增强，得到增强红外全景图像。具体实现过程如下：
1、图像获取
通过固定于云台的红外传感器和可见光传感器获取云台转动至多个角度下的可见光图像和红外图像。同一个角度下的两张图片在同一时间获取，以尽量减少曝光等差异。
2、特征点检测
检测可见光图像的特征点，检测方法不限制，可以是任意特征点检测方法，包括但不限于SIFT算法、SURF算法、ORB算法等。
3、特征点映射
将步骤2中检测到的可见光图像的特征点映射到红外图像上，可见光传感器和红外传感器的映射关系可以预先标定相机的内参数、外参数得到，使用的映射方法包括但不限于单应性矩阵(Homograph matrix，H矩阵)，仿射矩阵(Affine matrix)等。这一步骤实施后即可得到红外图像的特征点。下面是利用H距阵进行映射的公式(假设物距为无穷远)，根据公式(1)可得到H矩阵，根据公式(2)可得到红外图像上的的特征点的坐标：
Figure BDA0002970777180000161
P2＝HP1 (公式2)
其中，
K1表示可见光相机的内参矩阵；
K2表示红外相机的内参矩阵；
R表示红外相机坐标系到可见光相机坐标系的旋转矩阵；
H表示可见光相机坐标系到红外相机坐标系的单应性矩阵；
P1表示可见光图像的某一点的坐标；
P2表示P1在红外图像上的对应点；
4、图像映射
该步骤将可见光图像映射到红外图像坐标系下，当然，也可以将可将光图像映射到红外图像坐标系下，目的是让两组图像的坐标系统一，便于进行后续的图像融合。映射关系同步骤3。图像映射可采用后向映射和插值的方法得到，同时会将映射后的可见光图像裁剪和红外图像FOV(Field of Vision，视场角)一致。该步骤为后续做可见光图像和红外图像的融合做准备。需要指出的是，图像映射和特征点检测两个步骤的顺序可以调换，可以先进行特征点检测，也可以先进行图像映射。
5、图像配准
该步骤可以采用传统的特征点匹配算法，如SIFT算法、SURF算法、ORB算法等，传感器在拍摄各角度的图像时检测、映射并匹配特征点，同时求取两张图像间的空间几何关系，并全局优化图像两两间的几何关系，得到最终的配准结果。这一步骤实施之后即可的得到多幅红外图像之间的配准关系以及映射后的多幅可见光图像之间的配准关系。
6、图像合成
该步骤可采用传统的图像合成技术，主要是对图像进行曝光补偿以及对拼接缝处的图像进行融合等。现有的用于曝光补偿和拼接缝融合的算法均可用于该步骤，此处不做详述，经过该步骤，得到拼接好的可见光全景图像和红外全景图像。
7、图像融合
图像融合(Image Fusion)的过程可采用现有的图像融合技术，将可见光全景图和红外全景图进行融合，以提升红外全景图像的细节信息，用户可以控制融合的范围和强度。例如提取可见光图像的边缘或者整张图像细节信息对红外图像进行融合，融合过程可见光图像所占的权重也可以根据实际需求自行设置。理论上，在各颜色空间里的边缘检测或者图像融合方法均适用本实施例。以下介绍一种经过调色板调色之后的红外图像与可见光图像在YUV颜色空间下的融合方法。融合过程如下：从可见光图像中提取Y分量大于预设阈值的像素点，将这些像素点与红外图像中的对应像素点进行融合，其中，融合时，可见光图像的Y分量所占的权重为w，融合后的图像的Y分量Yb可通过公式3计算得到：
Yb＝wY2+(1-w)Y1 (公式3)
融合后的图像U分量可以根据可见光图像的U分量和V分量以及增益系数得到，其中增益系数可以根据公式(4)计算得到：
ratio＝Yb/Y2 (公式4)
融合后的图像U分量可以根据可见光的U分量和V分量可以分表根据公式(5)和公式(6)得到：
Ub＝ratio*U2 (公式5)
Vb＝ratio*V2 (公式6)
其中，
Y1表示红外图像的Y分量；
Y2、U2、V2分别表示可见光图像的Y、U、V分量；
Yb、Ub、Vb分别表示融合后图像的Y、U、V分量；
w表示可见光图像的Y分量融合权重；
ratio表示增益系数；
第二种方式如图5所示，可以先将可见光图像对红外图像进行融合，得到多张增强图像，然后用可见光图像指导多张增强图像的特征点提取，并基于提取的特征点对多张增强图像进行拼接，得到增强红外全景图像。这种方式只是在融合和拼接的顺序上进行了调整，具体的实现细节可参考第一种方式，在此不再赘述。
另外，本申请还提供了一种图像处理装置，如图6所示，所述图像处理装置包括处理器61、用于存储所述处理器可执行的计算机指令的存储器62，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
在某些实施例中，所述第一组图像的分辨率高于所述第二组图像。
在某些实施例中，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中各图像进行拼接，得到全景图像时，包括：
基于所述第二组图像的特征点对所述第二组图像中的各图像进行配准；
基于配准结果对所述第二组图像中各图像进行合成，得到所述全景图像。
在某些实施例中，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接之前，还用于：
根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数。
在某些实施例中，所述指定坐标系包括：所述第一组图像的坐标系和/或所述第二组图像的坐标系。
在某些实施例中，所述处理器用于根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系之后，还用于：
对所述第一组图像或所述第二组图像进行裁剪，以使所述第一组图像的视场角与所述第二组图像的视场角一致。
在某些实施例中，所述处理器还用于：
基于所述第一组图像的特征点对所述第一组图像中的各图像进行拼接，得到第一全景图像。
在某些实施例中，所述处理器还用于：
融合所述第一全景图像和所述第二全景图像，得到第三全景图像。
在某些实施例中，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：
提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像。
在某些实施例中，所述处理器用于提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像时，包括：
将所述第一全景图像的第一分量按第一权重融合于所述第二全景图像的第一分量，得到所述第三全景图像的第一分量。
在某些实施例中，所述第一全景图像的第一分量的提取阈值可调。
在某些实施例中，所述第三全景图像的第二分量由第二全景图像的第二分量按增益系数获得。
在某些实施例中，所述增益系数由第三全景图像的第一分量与所述第二全景图像的第一分量得到。
在某些实施例中，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：
将所述第一全景图像按第二权重融合于所述第二全景图像。
在某些实施例中，所述处理器用于根据所述第一组图像的特征点确定所述第二组图像的特征点时，包括：
在所述第一组图像中确定与所述第二组图像中的第二图像同时采集的第一图像；
根据所述第一组图像与所述第二组图像之间映射关系确定所述第一图像的特征点在所述第二图像中的映射点，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数；
将所述映射点作为所述第二图像的特征点。
在某些实施例中，所述映射关系通过单应性矩阵和/或仿射矩阵表征。
在某些实施例中，所述单应性矩阵通过所述两个传感器的内参矩阵、以及所述两个传感器中的一个传感器的坐标系相对于第二另一个传感器的坐标系的变换矩阵确定。
在某些实施例中，所述第一组图像为可见光图像，所述第二组图像为红外图像。
本申请还提供了另一种图像处理装置，如图6所示，所述图像处理装置包括处理器62、用于存储所述处理器可执行的计算机指令的存储器61，所述处理器执行所述计算机指令还可以实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
分别将所述第一组图像中各图像融合于所述第二组图像的各图像，得到第三组图像；
根据所述第一组图像的特征点确定所述第三组图像的特征点；
基于所述第三组图像的特征点对所述第三组图像中的各图像进行拼接，得到第四全景图像。
本申请还提供了一种成像设备，如图7所示，所述成像设备包括第一图像传感器71、第二图像传感器72以及图像处理装置73，所述第一图像传感器和第二图像传感器连接至所述图像处理装置，所述第一图像传感器和第二图像相对位置固定，所述图像处理装置包括处理器732、用于存储所述处理器可执行的计算机指令的存储器731，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像通过第一传感器采集得到，所述第二组图像通过第二传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
在某些实施例中，所述第一组图像的分辨率高于所述第二组图像。
在某些实施例中，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到全景图像时，包括：
基于所述第二组图像的特征点对所述第二组图像中的各图像进行配准；
基于配准结果对所述第二组图像中各图像进行合成，得到所述全景图像。
在某些实施例中，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接之前，还用于：
根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数。
在某些实施例中，所述指定坐标系包括：所述第一组图像的坐标系和/或所述第二组图像的坐标系。
在某些实施例中，所述处理器用于根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系之后，还用于：
对所述第一组图像或所述第二组图像进行裁剪，以使所述第一组图像的视场角与所述第二组图像的视场角一致。
在某些实施例中，所述处理器还用于：
基于所述第一组图像的特征点对所述第一组图像中的各特征点进行拼接，得到第一全景图像。
在某些实施例中，所述处理器还用于：
融合所述第一全景图像和所述第二全景图像，得到第三全景图像。
在某些实施例中，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：
提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像。
在某些实施例中，所述处理器用于提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像时，包括：
将所述第一全景图像的第一分量按第一权重融合于所述第二全景图像的第一分量，得到所述第三全景图像的第一分量。
在某些实施例中，所述第一全景图像的第一分量的提取阈值可调。
在某些实施例中，所述第三全景图像的第二分量由第二全景图像的第二分量按增益系数获得。
在某些实施例中，所述增益系数由第三全景图像的第一分量与所述第二全景图像的第一分量得到。
在某些实施例中，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：
将所述第一全景图像按第二权重融合于所述第二全景图像。
在某些实施例中，所述处理器用于根据所述第一组图像的特征点确定所述第二组图像的特征点时，包括：
在所述第一组图像中确定与所述第二组图像中的第二图像同时采集的第一图像；
根据所述第一传感器和所述第二传感器的映射关系确定所述第一图像的特征点在所述第二图像中的映射点，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数；
将所述映射点作为所述第二图像的特征点。
在某些实施例中，所述映射关系通过单应性矩阵和/或仿射矩阵表征。
在某些实施例中，所述单应性矩阵通过所述第一传感器的内参矩阵、所述第二传感器的内参矩阵以及所述第一传感器的坐标系相对于第二传感器的坐标系的变换矩阵确定。
在某些实施例中，所述第一组图像为可见光图像，所述第二组图像为红外图像。
所述成像设备各种具有两个图像传感器的终端设备，比如红外相机、手机等等。
本申请还提供一种可移动载体，其中，所述可移动载体可以是无人机、无人船、移动终端、可移动小车或者是可移动机器人。如图8所示，为可移动载体为无人机的示意图，包括无人机机身81和成像设备82。如图9所示，为可移动载体的逻辑结构框图，所述可移动载体包括机身91和成像设备92，所述成像设备安装于所述机身，所述成像设备包括第一图像传感器921、第二图像传感器922以及图像处理装置923，所述第一图像传感器和第二图像传感器连接至所述图像处理装置，所述第一图像传感器和第二图像相对位置固定，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像通过第一传感器采集得到，所述第二组图像第二传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
相应地，本说明书实施例还提供一种计算机存储介质，所述存储介质中存储有程序，所述程序被处理器执行时实现上述任一实施例中图像处理方法。
本说明书实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明实施例所提供的方法和装置进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims (59)

1.一种图像处理方法，其特征在于，所述方法包括：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像的各图像进行拼接，得到第二全景图像。
2.根据权利要求1所述的图像处理方法，其特征在于，所述第一组图像的分辨率高于所述第二组图像。
3.根据权利要求1所述的图像处理方法，其特征在于，基于所述第二组图像的特征点对所述第二组图像的各图像进行拼接，得到全景图像，包括：
基于所述第二组图像的特征点对所述第二组图像中的各图像进行配准；
基于配准结果对所述第二组图像中各图像进行合成，得到所述全景图像。
4.根据权利要求1所述的图像处理方法，其特征在于，基于所述第二组图像的特征点对所述第二组图像进行拼接之前，还包括：
根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系，其中，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数。
5.根据权利要求4所述的图像处理方法，其特征在于，所述指定坐标系包括：所述第一组图像的坐标系和/或所述第二组图像的坐标系。
6.根据权利要求4所述的图像处理方法，其特征在于，根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系之后，还包括：
对所述第一组图像或所述第二组图像进行裁剪，以使所述第一组图像的视场角与所述第二组图像的视场角一致。
7.根据权利要求1所述的图像处理方法，其特征在于，所述方法还包括：
基于所述第一组图像的特征点对所述第一组图像中的各图像进行拼接，得到第一全景图像。
8.根据权利要求7所述的图像处理方法，其特征在于，所述方法还包括：
融合所述第一全景图像和所述第二全景图像，得到第三全景图像。
9.根据权利要求8所述的图像处理方法，其特征在于，所述融合所述第一全景图像和所述第二全景图像，包括：
提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像。
10.根据权利要求9所述的图像处理方法，其特征在于，所述提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像，包括：
将所述第一全景图像的第一分量按第一权重融合于所述第二全景图像的第一分量，得到所述第三全景图像的第一分量。
11.根据权利要求9所述的图像处理方法，其特征在于，所述第一全景图像的第一分量的提取阈值可调。
12.根据权利要求10所述的图像处理方法，其特征在于，所述第三全景图像的第二分量由第二全景图像的第二分量按增益系数获得。
13.根据权利要求12所述的图像处理方法，其特征在于，所述增益系数由第三全景图像的第一分量与所述第二全景图像的第一分量得到。
14.根据权利要求10所述的图像处理方法，所述融合所述第一全景图像和所述第二全景图像，包括：
将所述第一全景图像按第二权重融合于所述第二全景图像。
15.根据权利要求1所述的图像处理方法，其特征在于，根据所述第一组图像的特征点确定所述第二组图像的特征点，包括：
在所述第一组图像中确定与所述第二组图像中的第二图像同时采集的第一图像；
根据所述第一组图像与所述第二组图像之间的映射关系确定所述第一图像的特征点在所述第二图像中的映射点，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数；
将所述映射点作为所述第二图像的特征点。
16.根据权利要求15所述的图像处理方法，其特征在于，所述映射关系通过单应性矩阵和/或仿射矩阵表征。
17.根据权利要求15所述的图像处理方法，其特征在于，所述单应性矩阵通过所述两个传感器的内参矩阵以及所述两个传感器中的一个传感器的坐标系相对于另一个传感器的坐标系的变换矩阵确定。
18.根据权利要求1-17任一项所述的图像处理方法，其特征在于，所述第一组图像为可见光图像，所述第二组图像为红外图像。
19.一种图像处理方法，其特征在于，所述方法包括：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像通过相对位置固定的两个传感器采集得到；
分别将所述第一组图像融合于所述第二组图像，得到第三组图像；
根据所述第一组图像特征点确定所述第三组图像的特征点；
基于所述第三组图像的特征点对所述第三组图像中的各图像进行拼接，得到第四全景图像。
20.根据权利要求19所述的图像处理方法，其特征在于，所述第一组图像的分辨率大于所述第二组图像。
21.一种图像处理装置，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像分别通过相对位置固定的两个传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中各图像进行拼接，得到第二全景图像。
22.根据权利要求21所述的图像处理装置，其特征在于，所述第一组图像的分辨率高于所述第二组图像。
23.根据权利要求21所述的图像处理装置，其特征在于，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到全景图像时，包括：
基于所述第二组图像的特征点对所述第二组图像中的各图像进行配准；
基于配准结果对所述第二组图像中各图像进行合成，得到所述全景图像。
24.根据权利要求21所述的图像处理装置，其特征在于，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接之前，还用于：
根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数。
25.根据权利要求24所述的图像处理装置，其特征在于，所述指定坐标系包括：所述第一组图像的坐标系和/或所述第二组图像的坐标系。
26.根据权利要求24所述的图像处理装置，其特征在于，所述处理器用于根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系之后，还用于：
对所述第一组图像或所述第二组图像进行裁剪，以使所述第一组图像的视场角与所述第二组图像的视场角一致。
27.根据权利要求24所述的图像处理装置，其特征在于，所述处理器还用于：
基于所述第一组图像的特征点对所述第一组图像中各图像进行拼接，得到第一全景图像。
28.根据权利要求27所述的图像处理装置，其特征在于，所述处理器还用于：
融合所述第一全景图像和所述第二全景图像，得到第三全景图像。
29.根据权利要求28所述的图像处理装置，其特征在于，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：
提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像。
30.根据权利要求29所述的图像处理装置，其特征在于，所述处理器用于提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像时，包括：
将所述第一全景图像的第一分量按第一权重融合于所述第二全景图像的第一分量，得到所述第三全景图像的第一分量。
31.根据权利要求29所述的图像处理装置，其特征在于，所述第一全景图像的第一分量的提取阈值可调。
32.根据权利要求30所述的图像处理装置，其特征在于，所述第三全景图像的第二分量由第二全景图像的第二分量按增益系数获得。
33.根据权利要求32所述的图像处理装置，其特征在于，所述增益系数由第三全景图像的第一分量与所述第二全景图像的第一分量得到。
34.根据权利要求28所述的图像处理装置，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：
将所述第一全景图像按第二权重融合于所述第二全景图像。
35.根据权利要求21所述的图像处理装置，其特征在于，所述处理器用于根据所述第一组图像的特征点确定所述第二组图像各图像的特征点时，包括：
在所述第一组图像中确定与所述第二组图像中的第二图像同时采集的第一图像；
根据所述第一组图像与所述第二组图像之间的映射关系确定所述第一图像的特征点在所述第二图像中的映射点，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数；
将所述映射点作为所述第二图像的特征点。
36.根据权利要求35所述的图像处理装置，其特征在于，所述映射关系通过单应性矩阵和/或仿射矩阵表征。
37.根据权利要求35所述的图像处理装置，其特征在于，所述单应性矩阵通过所述两个传感器的内参矩阵以及所述两个传感器中的一个传感器的坐标系相对于另一个传感器的坐标系的变换矩阵确定。
38.根据权利要求21-37任一项所述的图像处理装置，其特征在于，所述第一组图像为可见光图像，所述第二组图像为红外图像。
39.一种图像处理装置，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像通过相对位置固定的两个传感器采集得到；
分别将所述第一组图像融合于所述第二组图像，得到第三组图像；
根据所述第一组图像的特征点确定所述第三组图像的特征点；
基于所述第三组图像的特征点对所述第三组图像中的各图像进行拼接，得到第三全景图像。
40.一种成像设备，所述成像设备包括第一图像传感器、第二图像传感器以及图像处理装置，所述第一图像传感器和第二图像传感器连接至所述图像处理装置，所述第一图像传感器和第二图像相对位置固定，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像和所述第二组图像通过相对位置固定的传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到第二全景图像。
41.根据权利要求40所述的成像设备，其特征在于，所述第一组图像的分辨率高于所述第二组图像。
42.根据权利要求40所述的成像设备，其特征在于，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接，得到全景图像时，包括：
基于所述第二组图像的特征点对所述第二组图像中的各图像进行配准；
基于配准结果对所述第二组图像中各图像进行合成，得到所述全景图像。
43.根据权利要求40所述的成像设备，其特征在于，所述处理器用于基于所述第二组图像的特征点对所述第二组图像中的各图像进行拼接之前，还用于：
根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数。
44.根据权利要求40所述的成像设备，其特征在于，所述指定坐标系包括：所述第一组图像的坐标系和/或所述第二组图像的坐标系。
45.根据权利要求43所述的成像设备，其特征在于，所述处理器用于根据所述第一组图像和所述第二组图像的映射关系，将所述第一组图像和所述第二组图像映射到指定坐标系之后，还用于：
对所述第一组图像或所述第二组图像进行裁剪，以使所述第一组图像的视场角与所述第二组图像的视场角一致。
46.根据权利要求40所述的成像设备，其特征在于，所述处理器还用于：
基于所述第一组图像的特征点对所述第一组图像中各图像进行拼接，得到第一全景图像。
47.根据权利要求46所述的成像设备，其特征在于，所述处理器还用于：
融合所述第一全景图像和所述第二全景图像，得到第三全景图像。
48.根据权利要求47所述的成像设备，其特征在于，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：
提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像。
49.根据权利要求48所述的成像设备，其特征在于，所述处理器用于提取所述第一全景图像的第一分量，将所述第一全景图像的第一分量融合于所述第二全景图像时，包括：
将所述第一全景图像的第一分量按第一权重融合于所述第二全景图像的第一分量，得到所述第三全景图像的第一分量。
50.根据权利要求49所述的成像设备，其特征在于，所述第一全景图像的第一分量的提取阈值可调。
51.根据权利要求49所述的成像设备，其特征在于，所述第三全景图像的第二分量由第二全景图像的第二分量按增益系数获得。
52.根据权利要求51所述的成像设备，其特征在于，所述增益系数由第三全景图像的第一分量与所述第二全景图像的第一分量得到。
53.根据权利要求47所述的成像设备，所述处理器用于融合所述第一全景图像和所述第二全景图像时，包括：
将所述第一全景图像按第二权重融合于所述第二全景图像。
54.根据权利要求40所述的成像设备，其特征在于，所述处理器用于根据所述第一组图像的特征点确定所述第二组图像的特征点时，包括：
根据所述第一传感器和所述第二传感器的内参数以及外参数确定所述第一组图像与所述第二组图像之间的映射关系；
在所述第一组图像中确定与所述第二组图像中的第二图像同时采集的第一图像；
根据所述第一传感器和所述第二传感器的映射关系确定所述第一图像的特征点在所述第二图像中的映射点，所述映射关系根据以下的至少一个确定：各传感器的内参数以及各传感器的外参数；
将所述映射点作为所述第二图像的特征点。
55.根据权利要求54所述的成像设备，其特征在于，所述映射关系通过单应性矩阵和/或仿射矩阵表征。
56.根据权利要求55所述的成像设备，其特征在于，所述单应性矩阵通过所述第一传感器的内参矩阵、所述第二传感器的内参矩阵以及所述第一传感器的坐标系相对于第二传感器的坐标系的变换矩阵确定。
57.根据权利要求40-56任一项所述的成像设备，其特征在于，所述第一组图像为可见光图像，所述第二组图像为红外图像。
58.一种可移动载体，所述可移动载体包括机身和成像设备，所述成像设备安装于所述机身，所述成像设备包括第一图像传感器、第二图像传感器以及图像处理装置，所述第一图像传感器和第二图像传感器连接至所述图像处理装置，所述第一图像传感器和第二图像相对位置固定，所述图像处理装置包括处理器、用于存储所述处理器可执行的计算机指令的存储器，所述处理器执行所述计算机指令可实现以下方法：
获取第一组图像和第二组图像，其中，所述第一组图像通过第一传感采集得到，所述第二组图像通过第二传感器采集得到；
根据所述第一组图像的特征点确定所述第二组图像的特征点；
基于所述第二组图像的特征点对所述第二组图像中各图像进行拼接，得到第二全景图像。
59.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时使所述处理器实现如权利要求1-20任一项所述的图像处理方法。
CN202080005077.1A 2020-03-19 2020-03-19 图像处理方法、装置、成像设备、可移动载体及存储介质 Pending CN112689850A (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2020/080219 WO2021184302A1 (zh) 2020-03-19 2020-03-19 图像处理方法、装置、成像设备、可移动载体及存储介质

Publications (1)

Publication Number Publication Date
CN112689850A true CN112689850A (zh) 2021-04-20

Family

ID=75457727

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080005077.1A Pending CN112689850A (zh) 2020-03-19 2020-03-19 图像处理方法、装置、成像设备、可移动载体及存储介质

Country Status (2)

Country Link
CN (1) CN112689850A (zh)
WO (1) WO2021184302A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022570A (zh) * 2022-01-05 2022-02-08 荣耀终端有限公司 相机间外参的标定方法及电子设备
CN115100038A (zh) * 2022-06-22 2022-09-23 北京华力兴科技发展有限责任公司 一种基于静止门架的车辆红外成像装置及方法
CN116016816A (zh) * 2022-12-13 2023-04-25 之江实验室 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114418941B (zh) * 2021-12-10 2024-05-10 国网浙江省电力有限公司宁波供电公司 一种基于电力巡检设备检测数据的缺陷诊断方法及系统
CN114529592A (zh) * 2021-12-30 2022-05-24 河南中光学集团有限公司 一种图像融合时图像配准错位的自适应配准方法
CN114500949B (zh) * 2022-01-26 2025-02-18 赫千汽车科技(深圳)有限公司 一种应用于无人机母车停机场的监控方法
CN115619782B (zh) * 2022-12-15 2023-04-07 常州海图信息科技股份有限公司 基于机器视觉的井筒360全景拼接检测系统及方法
CN117094895B (zh) * 2023-09-05 2024-03-26 杭州一隅千象科技有限公司 图像全景拼接方法及其系统
CN117745537B (zh) * 2024-02-21 2024-05-17 微牌科技(浙江)有限公司 隧道设备温度检测方法、装置、计算机设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106384383A (zh) * 2016-09-08 2017-02-08 哈尔滨工程大学 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法
CN106683043A (zh) * 2015-11-10 2017-05-17 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种多通道光学探测系统的并行图像拼接方法、装置
CN107292860A (zh) * 2017-07-26 2017-10-24 武汉鸿瑞达信息技术有限公司 一种图像处理的方法及装置
CN109360150A (zh) * 2018-09-27 2019-02-19 轻客小觅智能科技（北京）有限公司 一种基于深度相机的全景深度图的拼接方法及装置
CN109360145A (zh) * 2018-10-30 2019-02-19 电子科技大学 一种基于涡流脉冲红外热图像拼接方法
CN109886878A (zh) * 2019-03-20 2019-06-14 中南大学 一种基于由粗到精配准的红外图像拼接方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170025058A (ko) * 2015-08-27 2017-03-08 삼성전자주식회사 영상 처리 장치 및 이를 포함하는 전자 시스템
CN107154014B (zh) * 2017-04-27 2020-06-26 上海大学 一种实时彩色及深度全景图像拼接方法
US20180343432A1 (en) * 2017-05-23 2018-11-29 Microsoft Technology Licensing, Llc Reducing Blur in a Depth Camera System

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683043A (zh) * 2015-11-10 2017-05-17 中国航天科工集团第四研究院指挥自动化技术研发与应用中心 一种多通道光学探测系统的并行图像拼接方法、装置
CN106384383A (zh) * 2016-09-08 2017-02-08 哈尔滨工程大学 一种基于fast和freak特征匹配算法的rgb‑d和slam场景重建方法
CN107292860A (zh) * 2017-07-26 2017-10-24 武汉鸿瑞达信息技术有限公司 一种图像处理的方法及装置
CN109360150A (zh) * 2018-09-27 2019-02-19 轻客小觅智能科技（北京）有限公司 一种基于深度相机的全景深度图的拼接方法及装置
CN109360145A (zh) * 2018-10-30 2019-02-19 电子科技大学 一种基于涡流脉冲红外热图像拼接方法
CN109886878A (zh) * 2019-03-20 2019-06-14 中南大学 一种基于由粗到精配准的红外图像拼接方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114022570A (zh) * 2022-01-05 2022-02-08 荣耀终端有限公司 相机间外参的标定方法及电子设备
CN114022570B (zh) * 2022-01-05 2022-06-17 荣耀终端有限公司 相机间外参的标定方法及电子设备
CN115100038A (zh) * 2022-06-22 2022-09-23 北京华力兴科技发展有限责任公司 一种基于静止门架的车辆红外成像装置及方法
CN116016816A (zh) * 2022-12-13 2023-04-25 之江实验室 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统
CN116016816B (zh) * 2022-12-13 2024-03-29 之江实验室 一种改进l-orb算法的嵌入式gpu零拷贝全景图像拼接方法和系统

Also Published As

Publication number Publication date
WO2021184302A1 (zh) 2021-09-23

Similar Documents

Publication Publication Date Title
CN112689850A (zh) 图像处理方法、装置、成像设备、可移动载体及存储介质
US10462384B2 (en) Apparatus and methods for the storage of overlapping regions of imaging data for the generation of optimized stitched images
US10540806B2 (en) Systems and methods for depth-assisted perspective distortion correction
US10389948B2 (en) Depth-based zoom function using multiple cameras
WO2021227359A1 (zh) 一种无人机投影方法、装置、设备及存储介质
US9325899B1 (en) Image capturing device and digital zooming method thereof
CN111915483B (zh) 图像拼接方法、装置、计算机设备和存储介质
CN106683071B (zh) 图像的拼接方法和装置
CN109474780B (zh) 一种用于图像处理的方法和装置
WO2018214365A1 (zh) 图像校正方法、装置、设备、系统及摄像设备和显示设备
WO2020007320A1 (zh) 多视角图像的融合方法、装置、计算机设备和存储介质
CN106157304A (zh) 一种基于多个相机的全景图拼接方法及系统
CN103150715A (zh) 图像拼接处理方法及装置
CN111582022A (zh) 一种移动视频与地理场景的融合方法、系统及电子设备
CN111866523B (zh) 全景视频合成方法、装置、电子设备和计算机存储介质
US11734877B2 (en) Method and device for restoring image obtained from array camera
CN105578023A (zh) 一种快速拍摄图像方法及装置
CN107633497A (zh) 一种图像景深渲染方法、系统及终端
WO2013149866A2 (en) Method and device for transforming an image
CN113159229B (zh) 图像融合方法、电子设备及相关产品
CN118071977A (zh) 目标定位方法、装置及电子设备、计算机可读存储介质
US12374045B2 (en) Efficient texture mapping of a 3-D mesh
CN119693823A (zh) 基于视觉大模型的全场景地物分割的处理方法及系统
CN106131498B (zh) 全景视频拼接方法及装置
CN111699511A (zh) 图像处理方法、装置及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20210420

WD01 Invention patent application deemed withdrawn after publication