CN119723218A - 异物识别方法、装置、设备及存储介质 - Google Patents

Abstract

本发明提供一种异物识别方法、装置、设备及存储介质，涉及图像处理领域，方法包括：获取目标物的光谱数据，再基于光谱数据提取得到目标物的光谱特征和形态特征，由于光谱数据包括目标物丰富的光谱信息，通过对光谱数据进行特征提取，再计算得到光谱特征与预设光谱库中参考光谱之间的相似度特征；再基于该相似度特征、降维处理之后的光谱特征以及形态特征，得到目标物的类别信息，进而基于类别信息，确定目标物是否属于异物或者目标物是否包括异物。这个过程充分利用了光谱库中已知的参考光谱，有利于排除干扰，更精准地聚焦于目标物与参考光谱之间的差异，更好的捕捉目标物的本质特征，提高了对异物识别的效率和准确性。

Description

异物识别方法、装置、设备及存储介质

技术领域

本发明涉及图像处理领域，尤其涉及一种异物识别方法、装置、设备及存储介质。

背景技术

在货物生产和运输的过程中，经常会有货物之外的异物混入其中，造成货物整体质量下降，甚至会给进口货物带来疫情风险，无法正常靠岸卸货，因此，对货物进行异物识别十分重要。

现有的异物识别方式主要包括两种，第一种是进行人工识别，第二种是通过可见光图像识别算法识别异物。

然而，人工识别的方式存在工作量大、主观性强、效率低、专业经验要求高、危害人体健康等缺点；通过可见光图像识别算法识别异物虽然能区分颜色明显不同的异物，但如果有异物与正常货物颜色相近，识别的准确性会降低，容易出现漏报。

发明内容

本发明实施例提供了一种异物识别方法、装置、设备及存储介质，以解决异物识别效率低、准确性低的问题。

第一方面，本发明实施例提供了一种异物识别方法，包括：

获取目标物的光谱数据，并基于所述光谱数据提取得到所述目标物的光谱特征和形态特征；

计算得到所述光谱特征与预设光谱库中参考光谱之间的相似度特征；其中，所述预设光谱库中包括多个类别样本对应的参考光谱；

对所述光谱特征进行特征降维处理，并根据降维处理之后的光谱特征、所述形态特征以及所述相似度特征，得到所述目标物的类别信息；

基于所述类别信息，确定所述目标物是否属于异物，或者，基于所述类别信息，确定所述目标物是否包括异物。

在一种可能的实现方式中，所述根据降维处理之后的光谱特征、所述形态特征以及所述相似度特征，得到所述目标物的类别信息，包括：

基于预设权重矩阵，对所述降维处理之后的光谱特征、所述形态特征以及所述相似度特征进行加权融合处理，得到综合特征；其中，所述预设权重矩阵用于指示降维处理之后的光谱特征、所述形态特征以及所述相似度特征在所述综合特征中的权重占比；

将所述综合特征输入到训练好的分类模型中，得到所述目标物的类别信息；其中，所述分类模型基于多个综合特征和每一综合特征对应的类别标签训练得到。

在一种可能的实现方式中，所述计算得到所述光谱特征与预设光谱库中参考光谱之间的相似度特征，包括：

对所述光谱特征以及所述预设光谱库中每一类别样本对应的参考光谱进行标准化处理，得到标准化处理后的光谱特征和各个参考光谱；其中，标准化处理后的光谱特征和各个参考光谱均为概率分布形式；

计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息；

根据各个相似度信息，得到所述相似度特征。

在一种可能的实现方式中，所述计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息，包括：

根据，计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息；

其中，为标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息，为标准化处理后的光谱特征，为标准化处理后的光谱特征的第i个分量，为标准化处理后参考光谱，为标准化处理后的参考光谱的第j个分量，i为非零整数，i=1...n，n表示标准化处理后的光谱特征所包括的分量的总数量；j为非零整数，j=1...m，m表示标准化处理后的参考光谱所包括的分量的总数量。

在一种可能的实现方式中，所述基于所述光谱数据提取得到所述目标物的光谱特征和形态特征，包括：

对所述光谱数据进行数据转化处理，得到所述目标物对应的伪彩色图像；

对所述伪彩色图像进行预处理，并基于预处理之后的伪彩色图像，得到所述目标物的轮廓信息；其中，所述预处理包括灰度化处理、高斯滤波去噪处理、二值化处理以及形态学处理中的一种或者多种；

根据所述轮廓信息，提取得到所述光谱特征和所述形态特征；其中，所述形态特征包括面积特征、周长特征以及形状因子信息。

在一种可能的实现方式中，所述获取目标物的光谱数据，包括：

利用高光谱相机以外置推扫的方式采集获得所述光谱数据；其中，所述高光谱相机安装于无人机装备，所述目标物为固定目标物；

或者，利用高光谱相机以外置推扫的方式采集获得传送带上的所述目标物的所述光谱数据；其中，所述高光谱相机搭载于线式台架；

或者，利用高光谱相机以内置推扫的方式采集获得所述目标物的所述光谱数据；其中，所述高光谱相机安装于固定式台架，所述目标物为固定目标物。

在一种可能的实现方式中，基于所述类别信息，确定所述目标物是否属于异物，包括：

获取所述目标物的可见光数据和所述目标物的红外数据；

根据所述类别信息、所述可见光数据以及所述红外数据，确定所述目标物是否属于异物，或者，确定目标物是否包括异物。

第二方面，本发明实施例提供了一种异物识别装置，所述装置包括：

第一处理单元，用于获取目标物的光谱数据，并基于所述光谱数据提取得到所述目标物的光谱特征和形态特征；

计算单元，用于计算得到所述光谱特征与预设光谱库中参考光谱之间的相似度特征；其中，所述预设光谱库中包括多个类别样本对应的参考光谱；

第二处理单元，用于对所述光谱特征进行特征降维处理，并根据降维处理之后的光谱特征、所述形态特征以及所述相似度特征，得到所述目标物的类别信息；

判别单元，用于基于所述类别信息，确定所述目标物是否属于异物，或者，用于基于所述类别信息，确定所述目标物是否包括异物。

第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

第四方面，本申请实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上第一方面或第一方面的任一种可能的实现方式所述方法的步骤。

本发明实施例提供一种异物识别方法、装置、设备及存储介质，首先获取目标物的光谱数据，这个过程无需直接接触目标物，可以避免对目标物的破坏和污染；再基于光谱数据提取得到目标物的光谱特征和形态特征，由于光谱数据包括目标物丰富的光谱信息，通过对光谱数据进行特征提取，可以得到丰富准确的光谱特征和形态特征，进而可以提高异物识别的准确性；再计算得到光谱特征与预设光谱库中参考光谱之间的相似度特征；再基于该相似度特征、降维处理之后的光谱特征以及形态特征，得到目标物的类别信息，进而基于类别信息，确定目标物是否属于异物或者目标物是否包括异物。这个过程充分利用了光谱库中已知的参考光谱，有利于排除干扰，更精准地聚焦于目标物与参考光谱之间的差异，更好的捕捉目标物的本质特征，提高了对异物识别的效率和准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种异物识别方法的实现流程图；

图2是本发明实施例提供的另一种异物识别方法的实现流程图；

图3是本发明实施例提供的异物识别装置的结构示意图；

图4是本发明实施例提供的电子设备的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

发明概述

在货物生产和运输的过程中，经常会有货物之外的异物混入其中，例如粮食、矿石等货物中混入的异物可能会造成货物整体质量下降，对于进口货物甚至会导致货物有疫情风险，无法正常靠岸卸货。因此，对货物进行异物识别十分重要。

现有的异物识别方式主要包括两种，第一种是进行人工识别。然而，人工识别的方式存在工作量大、主观性强、效率低、专业经验要求高、危害人体健康等缺点；第二种是通过可见光图像识别算法识别异物，这种方法虽然能区分颜色明显不同的异物，但如果有异物与正常货物颜色相近，识别的准确性会降低，容易出现漏报。

出于提高异物识别效率和准确性的想法，本发明的实施方式中，首先获取目标物的光谱数据，这个过程无需直接接触目标物，可以避免对目标物的破坏和污染；再基于光谱数据提取得到目标物的光谱特征和形态特征，由于光谱数据包括目标物丰富的光谱信息，通过对光谱数据进行特征提取，可以得到丰富准确的光谱特征和形态特征，进而可以提高异物识别的准确性；再计算得到光谱特征与预设光谱库中参考光谱之间的相似度特征；再基于该相似度特征、降维处理之后的光谱特征以及形态特征，得到目标物的类别信息，进而基于类别信息，确定目标物是否属于异物或者是否包括异物。这个过程充分利用了光谱库中已知的参考光谱，有利于排除干扰，更精准地聚焦于目标物与参考光谱之间的差异，更好的捕捉目标物的本质特征，提高了对异物识别的效率和准确性。

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图通过具体实施例来进行说明。

图1为本发明实施例提供的一种异物识别方法的实现流程图，详述如下：

步骤101，获取目标物的光谱数据，并基于光谱数据提取得到目标物的光谱特征和形态特征。

示例性地，本实施例可以基于光谱成像设备获取目标物的光谱数据，包括例如，反射光谱数据、吸收光谱数据、发射光谱数据以及透过光谱数据等；在得到光谱数据之后，本实施例基于该光谱数据进行特征提取，得到目标物的光谱特征，包括例如，光谱峰值特征、光谱谷值特征、光谱斜率特征、光谱波段比值特征等；形态特征，包括例如形状特征、轮廓形状、大小特征以及纹理特征等。

本实施例对光谱数据的形状、峰值、谷值等特征进行提取和量化，以及对不同波段的光谱信息进行综合分析，这些光谱特征的光谱信息包括各个光谱波段的反射率、辐射强度等参数，它们能够反映出目标物在光谱上的独特性质。

一个示例中，目标物可以是对货物取样得到的样本，也可以是生产或者运输过程中的货物。

步骤102，计算得到光谱特征与预设光谱库中参考光谱之间的相似度特征；其中，预设光谱库中包括多个类别样本对应的参考光谱。

其中，本实施例预先构建有预设光谱库，预设光谱库中每个类别的样本都有其对应的参考光谱，参考光谱可以通过测量多个同类样本的平均光谱获得。

示例性地，本实施例在得到目标物的光谱特征之后，计算得到光谱特征与预设光谱库中全部参考光谱之间的相似度特征；或者，计算得到光谱特征与预设光谱库中部分参考光谱之间的相似度特征。

一种可行的实施方式中，本实施例通过计算光谱特征与预设光谱库中各个参考光谱之间的相似度，再将各个相似度进行融合得到光谱特征与预设光谱库中参考光谱之间的相似度特征。

另一种可行的实施方式中，本实施例可以基于目标物的参照品类信息，确定预设光谱库与该品类信息具有关联关系的一个或者多个类别样本，计算光谱特征与预设光谱库存储的这一个或者多个类别样本对应的参考光谱之间的相似度，再将各个相似度进行融合得到光谱特征与预设光谱库中参考光谱之间的相似度特征。

步骤103，对光谱特征进行特征降维处理，并根据降维处理之后的光谱特征、形态特征以及相似度特征，得到目标物的类别信息。

示例性地，本实施例可以采用主成分分析法（Principal Component Analysis，PCA）、线性判别分析对光谱特征进行特征降维处理，降低光谱特征的维度，去除冗余，得到降维处理之后的光谱特征。进而，将降维处理之后的光谱特征、形态特征以及相似度特征进行特征融合处理，得到综合特征，再基于综合特征进行特征识别得到目标物的类别信息。

一种可行的实施方式中，本实施例将降维处理之后的光谱特征、形态特征以及相似度特征进行特征相加处理，得到综合特征；或者，将降维处理之后的光谱特征、形态特征以及相似度特征进行加权融合处理，得到综合特征。

在得到综合特征之后，本实施例可以将综合特征输入到预先训练好的模型中，得到模型输出的目标物的类别信息。

步骤104，基于类别信息，确定目标物是否属于异物，或者，基于类别信息，确定目标物是否包括异物。

一个示例中，本实施例根据得到的类别信息，以及目标物所属的货物信息、货物类别，判定目标物是否属于异物，或者，目标物中是否包括异物。

例如，若目标物的类别信息与目标物所属的货物的货物类别信息不一致，则判定目标物属于异物；若目标物的类别信息与目标物所属的货物的货物类别信息一致，则判定目标物不属于异物。

或者，若目标物的类别信息包括除货物以外其他物品的类别信息，则确定目标物中包括异物；若目标物的类别信息不包括除货物以外其他物品的类别信息，则确定目标物中不包括异物。

综上，本发明实施例提供一种异物识别方法、装置、设备及存储介质，首先获取目标物的光谱数据，这个过程无需直接接触目标物，可以避免对目标物的破坏和污染；再基于光谱数据提取得到目标物的光谱特征和形态特征，由于光谱数据包括目标物丰富的光谱信息，通过对光谱数据进行特征提取，可以得到丰富准确的光谱特征和形态特征，进而可以提高异物识别的准确性；再计算得到光谱特征与预设光谱库中参考光谱之间的相似度特征；再基于该相似度特征、降维处理之后的光谱特征以及形态特征，得到目标物的类别信息，进而基于类别信息，确定目标物是否属于异物或者是否包括异物。这个过程充分利用了光谱库中已知的参考光谱，有利于排除干扰，更精准地聚焦于目标物与参考光谱之间的差异，更好的捕捉目标物的本质特征，提高了对异物识别的效率和准确性。

为了实现目标物的光谱数据的自动化的高效的获取，本实施例针对不同的场景，将高光谱相机进行不同的安装设置，再基于高光谱相机实现目标物光谱数据的采集；另外，本实施例首先对光谱数据进行数据转化以及预处理，以有效地提高数据质量，便于后续的分析和识别，进而基于得到的目标物的轮廓信息得到光谱特征和形态特征；另外，本实施例先对光谱特征以及参考光谱进行标准化处理，再进行相似度计算，可以有效提高相似度计算的效率以及准确性；除此之外，本实施例还基于预设权重矩阵，对降维处理之后的光谱特征、形态特征以及相似度特征进行加权融合处理，得到综合特征，该综合特征可以综合了不同特征，可以弥补单一数据源可能存在的信息不足或噪声干扰的问题，更加真实的反映目标物的特征，进而，将该综合特征输入到训练好的分类模型中，可以实现高效的、准确的、自动化的异物识别。

图2为本发明实施例提供的另一种异物识别方法的实现流程图，详述如下：

步骤201，获取目标物的光谱数据，并基于光谱数据提取得到目标物的光谱特征和形态特征。

一个示例中，步骤201包括以下三种实现方式：

第一种实现方式、利用高光谱相机以外置推扫的方式采集获得光谱数据；其中，高光谱相机安装于无人机装备，目标物为固定目标物。

第二种实现方式、利用高光谱相机以外置推扫的方式采集获得传送带上的目标物的光谱数据；其中，高光谱相机搭载于线式台架。

第三种实现方式、利用高光谱相机以内置推扫的方式采集获得目标物的光谱数据；其中，高光谱相机安装于固定式台架，目标物为固定目标物。

一种可行的实施方式中，步骤201包括以下步骤：

对光谱数据进行数据转化处理，得到目标物对应的伪彩色图像。

对伪彩色图像进行预处理，并基于预处理之后的伪彩色图像，得到目标物的轮廓信息；其中，预处理包括灰度化处理、高斯滤波去噪处理、二值化处理以及形态学处理中的一种或者多种。

根据轮廓信息，提取得到光谱特征和形态特征；其中，形态特征包括面积特征、周长特征以及形状因子信息。

示例性地，本实施例可以使用无人机搭载高光谱相机，在一定高度下以恒定速度往返飞行，采集光谱数据。高光谱相机以外置推扫的方式采集数据，每帧获取一列像素点的光谱数据，通过无人机搭载高光谱相机在一条直线上运动，采集到视角范围宽度与飞行距离的乘积大小相等的面积内的高光谱图像数据。例如在粮食异物检测中，无人机搭载高光谱可以飞到距离粮食表面5米（m）高度，以5米每秒（m/s）的速度，对2m宽的视角范围进行高分辨扫描，按照矩形长边的直线飞行10m，完成一个2*10m的矩形表面的数据采集。

本实施例还可以在传送带上放设置台架，在台架上搭载高光谱相机采集传送带上运送的货物的数据。高光谱相机以外置推扫的方式采集数据，每帧获取一列像素点的光谱数据，高光谱相机只扫描与视角范围宽度相同的一条线，传送带在下方匀速运动，传送带运动速度与采集时间的乘积为图像采集范围的实际长度。从而在采集图像数据时，可以获取到该长度与视角范围宽度围成的图像采集范围内的高光谱图像数据。例如在粮食异物检测中，通过在传送带粮食表面正上方1m搭载高光谱相机，在传送带上视角范围宽度1.4m，传送带速度5m/s，每次采集1s，可以实现5*1*1.4m的矩形范围内的数据采集。

本实施例还可以在在固定式台架上搭载高光谱相机，高光谱相机以内置推扫的方式采集数据，每帧获取一列像素点的光谱数据，高光谱相机内部镜头在相机内电机控制下匀速运动采集光谱数据，数据采集范围与电机运动速度、相机高度和镜头焦距有关。例如在粮食异物检测中，将高光谱相机放置在固定式台架上距离数据采集范围30厘米（cm）高度处时，数据采集范围为8cm*7cm的矩形。

另外，本实施例利用高光谱相机获取目标物的光谱数据，捕捉每个像素在多个波长上的光谱信息。每个光谱数据形成一个三维数据立方体，其中和表示空间坐标，表示波长。然后将光谱数据转换为光谱RGB图像，选择适当的波长生成伪彩色图像。

在得到目标物对应的伪彩色图像之后，本实施例根据将伪彩色图像转换为灰度图像，以简化图像信息，降低计算复杂度；其中，表示转换后的灰度图像，代表红色（Red）通道的值，代表绿色（Green）通道的值，代表蓝色（Blue）通道的值。

再对灰度图像进行高斯滤波处理，使用高斯核，去除图像中的噪声，增强图像的平滑性；其中，表示高斯滤波器在坐标处的值，是高斯函数的标准差。

对去噪后的灰度图像进行二值化处理，使用阈值将图像转换为二值图像；再采用形态学操作（如膨胀、腐蚀等）对二值图像进行处理，修复噪声引起的小孔洞，增强目标区域的连通性。其中，表示经过二值化处理后的图像在坐标处的像素值，是阈值，为灰度图像转换为二值图像的临界值。

在预处理之后，本实施例基于边界跟踪算法对预处理后的图像进行轮廓提取，识别出目标物的轮廓信息，再根据轮廓信息，提取得到光谱特征和形态特征；其中，形态特征包括面积特征、周长特征以及形状因子信息。

步骤202，对光谱特征以及预设光谱库中每一类别样本对应的参考光谱进行标准化处理，得到标准化处理后的光谱特征和各个参考光谱；其中，标准化处理后的光谱特征和各个参考光谱均为概率分布形式，预设光谱库中包括多个类别样本对应的参考光谱。

示例性地，本实施例预先构建参考光谱库，即预设光谱库，预设光谱库中每个类别的样本都有其对应的参考光谱。参考光谱可以通过测量多个同类样本的平均光谱来获得。例如有个类别，每个类别的参考光谱通过对该类别内个样本的光谱取平均得到：

其中，表示类别中第个样本的光谱向量。

本实施例对光谱特征以及预设光谱库中每一类别样本对应的参考光谱进行标准化处理，将目标物的光谱特征和参考光谱标准化为概率分布：

其中，和分别是光谱向量的第个分量，为标准化处理后的光谱特征，为标准化处理后的参考光谱。

步骤203，计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息。

一种可行的实施方式中，步骤203包括以下步骤：

根据，计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息。

其中，为标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息，为标准化处理后的光谱特征，为标准化处理后的光谱特征的第i个分量，为标准化处理后参考光谱，为标准化处理后的参考光谱的第j个分量，i为非零整数，i=1...n，n表示标准化处理后的光谱特征所包括的分量的总数量；j为非零整数，j=1...m，m表示标准化处理后的参考光谱所包括的分量的总数量。

步骤204，根据各个相似度信息，得到相似度特征。

示例性地，本实施例将各个相似度信息进行组合，得到相似度特征：。

步骤205，对光谱特征进行特征降维处理，基于预设权重矩阵，对降维处理之后的光谱特征、形态特征以及相似度特征进行加权融合处理，得到综合特征；其中，预设权重矩阵用于指示降维处理之后的光谱特征、形态特征以及相似度特征在综合特征中的权重占比。

示例性地，本实施例先对光谱特征进行PCA处理，降维去冗余。其中，PCA通过计算特征向量和特征值，将数据投影到主成分轴上，保留主要的特征信息。假设光谱特征的矩阵为，PCA的计算过程如下：

其中，是降维后的光谱特征，是前个主成分的特征向量，为均值向量，通过对按列计算均值得到，是中心化后的数据矩阵，为协方差矩阵，是通过对协方差矩阵进行特征分解得到的结果，eig表示特征分解，是由特征向量矩阵，为特征值对角矩阵。

在得到降维处理之后的光谱特征之后，本实施例将PCA处理后的光谱特征、形态特征，例如如面积、周长、形状因子等，与相似度特征进行特征融合，组合成一个融合特征向量：

其中，本实施例还可以通过调整特征权重来平衡不同特征对分类结果的影响。预设权重矩阵为，综合特征向量表示可以为：，其中表示按元素乘积。

步骤206，将综合特征输入到训练好的分类模型中，得到目标物的类别信息；其中，分类模型基于多个综合特征和每一综合特征对应的类别标签训练得到。

示例性地，本实施例选择线性判别分析（Linear Discriminant Analysis，LDA）分类器作为分类模型。将综合特征输入到训练好的分类模型中，得到目标物的类别信息。

其中，LDA通过最大化类间方差与类内方差的比值来找到最优投影方向。本实施例利用已有的标注数据进行监督学习，将多个综合特征作为自变量，每一综合特征对应的类别标签作为因变量输入到模型中，训练LDA分类模型。

步骤207，基于类别信息，确定目标物是否属于异物，或者，基于类别信息，确定目标物是否包括异物。

一个示例中，步骤207包括以下步骤：

获取目标物的可见光数据和目标物的红外数据。

根据类别信息、可见光数据以及红外数据，确定目标物是否属于异物，或者，确定目标物是否包括异物。

示例性地，本实施例可以基于模型输出的类别信息，确定目标物是否属于异物，或者，确定目标物是否包括异物。

一个示例中，本实施例根据模型输出的类别信息，以及目标物所属的货物信息，判定目标物是否属于异物，或者目标物中是否包括异物。

一种可行的实施方式中，本实施例还可以根据基于光谱数据得到的类别信息、可见光数据以及红外数据，确定目标物是否属于异物，或者目标物中是否包括异物。例如，根据可见光数据以及红外数据对模型输出的类别信息进行双重判定。

另一种可行的实施方式中，本实施例还可以通过可见光相机和红外光谱仪同步获取目标物的可见光数据和红外数据，进而，基于光谱数据、可见光数据以及红外数据，分析得到目标物的类别信息，进而判定目标物是否属于异物，或者目标物中是否包括异物。

可见光相机用于捕捉目标物的形态特征，如形状、大小、颜色等。这些特征信息对于初步筛选和识别异物至关重要。本实施例可以使用可见光相机和红外光谱仪提取出目标物的形态特征、红外光谱特征等。再通过图像处理技术，可以对可见光图像进行提取，获取目标物的轮廓、纹理等关键特征。

例如，本实施例使用高分辨率的可见光相机拍摄目标物，确保图像清晰、细节丰富。通过图像处理算法，如边缘检测如坎尼（Canny）算子、轮廓追踪等，提取出目标物的轮廓特征。并对提取出的轮廓进行平滑处理，去除噪声和冗余信息，提高轮廓的准确性和可读性。本实施例还可以通过灰度共生矩阵、局部二值模式等方法进行纹理特征的提取。提取出的纹理特征可以包括对比度、粗糙度、方向性等，这些特征能够反映目标物表面的细微差异。

其次，本实施例通过红外光谱仪提取目标物的红外光谱特征，以反映目标物的化学组成和物理状态。本实施例通过红外光谱仪的扫描，可以获得目标物在红外波段的光谱信息，进而分析其化学结构和成分，其中，红外光谱仪可以使用波段包含红外波段的高光谱相机进行替代。

预设光谱库中还可以预先存储多种类别样本的形态特征、红外光谱特征等特征信息，计算目标物的形态特征、红外光谱特征以及光谱特征与预设光谱库中各个类别样本的相似度，得到目标物的相似度特征，再将相似度特征、形态特征、红外光谱特征以及光谱特征相融合得到综合特征输入到分类模型中，得到模型输出的目标物的类别信息。达到提升类别信息输出的准确度的效果。对应的，在训练分类模型时，也使用相似度特征、形态特征、红外光谱特征以及光谱特征相融合得到的综合特征训练分类模型。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

以下为本发明的装置实施例，对于其中未详尽描述的细节，可以参考上述对应的方法实施例。

图3示出了本发明实施例提供的异物识别装置的结构示意图，为了便于说明，仅示出了与本发明实施例相关的部分，详述如下：

如图3所示，异物识别装置300包括：

第一处理单元301，用于获取目标物的光谱数据，并基于光谱数据提取得到目标物的光谱特征和形态特征。

计算单元302，用于计算得到光谱特征与预设光谱库中参考光谱之间的相似度特征；其中，预设光谱库中包括多个类别样本对应的参考光谱。

第二处理单元303，用于对光谱特征进行特征降维处理，并根据降维处理之后的光谱特征、形态特征以及相似度特征，得到目标物的类别信息。

判别单元304，用于基于类别信息，确定目标物是否属于异物，或者，基于类别信息，确定目标物是否包括异物。

一种可能的实现方式中，第二处理单元303具体用于：

基于预设权重矩阵，对降维处理之后的光谱特征、形态特征以及相似度特征进行加权融合处理，得到综合特征；其中，预设权重矩阵用于指示降维处理之后的光谱特征、形态特征以及相似度特征在综合特征中的权重占比。

将综合特征输入到训练好的分类模型中，得到目标物的类别信息；其中，分类模型基于多个综合特征和每一综合特征对应的类别标签训练得到。

一种可能的实现方式中，计算单元302具体用于：

对光谱特征以及预设光谱库中每一类别样本对应的参考光谱进行标准化处理，得到标准化处理后的光谱特征和各个参考光谱；其中，标准化处理后的光谱特征和各个参考光谱均为概率分布形式。

计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息。

根据各个相似度信息，得到相似度特征。

一种可能的实现方式中，计算单元302具体还用于：

根据，计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息。

其中，为标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息，为标准化处理后的光谱特征，为标准化处理后的光谱特征的第i个分量，为标准化处理后参考光谱，为标准化处理后的参考光谱的第j个分量，i为非零整数，i=1...n，n表示标准化处理后的光谱特征所包括的分量的总数量；j为非零整数，j=1...m，m表示标准化处理后的参考光谱所包括的分量的总数量。

一种可能的实现方式中，第一处理单元301具体用于：

对光谱数据进行数据转化处理，得到目标物对应的伪彩色图像。

对伪彩色图像进行预处理，并基于预处理之后的伪彩色图像，得到目标物的轮廓信息；其中，预处理包括灰度化处理、高斯滤波去噪处理、二值化处理以及形态学处理中的一种或者多种。

根据轮廓信息，提取得到光谱特征和形态特征；其中，形态特征包括面积特征、周长特征以及形状因子信息。

一种可能的实现方式中，第一处理单元301具体还用于：

利用高光谱相机以外置推扫的方式采集获得光谱数据；其中，高光谱相机安装于无人机装备，目标物为固定目标物。

或者，利用高光谱相机以外置推扫的方式采集获得传送带上的目标物的光谱数据；其中，高光谱相机搭载于线式台架。

或者，利用高光谱相机以内置推扫的方式采集获得目标物的光谱数据；其中，高光谱相机安装于固定式台架，目标物为固定目标物。

一种可能的实现方式中，判别单元304具体用于：

获取目标物的可见光数据和目标物的红外数据。

根据类别信息、可见光数据以及红外数据，确定目标物是否属于异物，或者，确定目标物是否包括异物。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

图4是本发明实施例提供的电子设备的结构示意图。如图4所示，该实施例的电子设备4包括：处理器40和存储器41。存储器41用于存储计算机程序42，处理器40用于调用并运行存储器41中存储的计算机程序42，执行上述各个异物识别方法实施例中的步骤，例如图1所示的步骤101至步骤104。或者，处理器40用于调用并运行存储器41中存储的计算机程序42，实现上述各装置实施例中各模块/单元的功能，例如图3所示各个单元的功能。

示例性的，计算机程序42可以被分割成一个或多个模块/单元，一个或者多个模块/单元被存储在存储器41中，并由处理器40执行，以完成本申请。一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述计算机程序42在电子设备4中的执行过程。例如，计算机程序42可以被分割成图3所示的各个单元。

电子设备4可包括，但不仅限于，处理器40、存储器41。本领域技术人员可以理解，图4仅仅是电子设备4的示例，并不构成对电子设备4的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如电子设备还可以包括输入输出设备、网络接入设备、总线等。

所称处理器40可以是中央处理单元(Central Processing Unit，CPU)，还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列 (Field-Programmable Gate Array，FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器41可以是电子设备4的内部存储单元，例如电子设备4的硬盘或内存。存储器41也可以是电子设备4的外部存储设备，例如电子设备4上配备的插接式硬盘，智能存储卡（Smart Media Card，SMC），安全数字（Secure Digital，SD）卡，闪存卡（Flash Card）等。进一步地，存储器41还可以既包括电子设备4的内部存储单元也包括外部存储设备。存储器41用于存储计算机程序以及电子设备所需的其他程序和数据。存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。

在本申请所提供的实施例中，应该理解到，所揭露的装置/电子设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/电子设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器（Read-Only Memory，ROM）、随机存取存储器（Random Access Memory，RAM）、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。

以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。

Claims (10)

1.一种异物识别方法，其特征在于，所述方法包括：

获取目标物的光谱数据，并基于所述光谱数据提取得到所述目标物的光谱特征和形态特征；

计算得到所述光谱特征与预设光谱库中参考光谱之间的相似度特征；其中，所述预设光谱库中包括多个类别样本对应的参考光谱；

对所述光谱特征进行特征降维处理，并根据降维处理之后的光谱特征、所述形态特征以及所述相似度特征，得到所述目标物的类别信息；

基于所述类别信息，确定所述目标物是否属于异物，或者，基于所述类别信息，确定所述目标物是否包括异物。

2.根据权利要求1所述的异物识别方法，其特征在于，所述根据降维处理之后的光谱特征、所述形态特征以及所述相似度特征，得到所述目标物的类别信息，包括：

基于预设权重矩阵，对所述降维处理之后的光谱特征、所述形态特征以及所述相似度特征进行加权融合处理，得到综合特征；其中，所述预设权重矩阵用于指示降维处理之后的光谱特征、所述形态特征以及所述相似度特征在所述综合特征中的权重占比；

将所述综合特征输入到训练好的分类模型中，得到所述目标物的类别信息；其中，所述分类模型基于多个综合特征和每一综合特征对应的类别标签训练得到。

3.根据权利要求1所述的异物识别方法，其特征在于，所述计算得到所述光谱特征与预设光谱库中参考光谱之间的相似度特征，包括：

对所述光谱特征以及所述预设光谱库中每一类别样本对应的参考光谱进行标准化处理，得到标准化处理后的光谱特征和各个参考光谱；其中，标准化处理后的光谱特征和各个参考光谱均为概率分布形式；

计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息；

根据各个相似度信息，得到所述相似度特征。

4.根据权利要求3所述的异物识别方法，其特征在于，所述计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息，包括：

根据，计算标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息；

其中，为标准化处理后的光谱特征与每一标准化处理后参考光谱之间的相似度信息，为标准化处理后的光谱特征，为标准化处理后的光谱特征的第i个分量，为标准化处理后参考光谱，为标准化处理后的参考光谱的第j个分量，i为非零整数，i=1...n，n表示标准化处理后的光谱特征所包括的分量的总数量；j为非零整数，j=1...m，m表示标准化处理后的参考光谱所包括的分量的总数量。

5.根据权利要求1-4中任一项所述的异物识别方法，其特征在于，所述基于所述光谱数据提取得到所述目标物的光谱特征和形态特征，包括：

对所述光谱数据进行数据转化处理，得到所述目标物对应的伪彩色图像；

对所述伪彩色图像进行预处理，并基于预处理之后的伪彩色图像，得到所述目标物的轮廓信息；其中，所述预处理包括灰度化处理、高斯滤波去噪处理、二值化处理以及形态学处理中的一种或者多种；

根据所述轮廓信息，提取得到所述光谱特征和所述形态特征；其中，所述形态特征包括面积特征、周长特征以及形状因子信息。

6.根据权利要求1-4中任一项所述的异物识别方法，其特征在于，所述获取目标物的光谱数据，包括：

利用高光谱相机以外置推扫的方式采集获得所述光谱数据；其中，所述高光谱相机安装于无人机装备，所述目标物为固定目标物；

或者，利用高光谱相机以外置推扫的方式采集获得传送带上的所述目标物的所述光谱数据；其中，所述高光谱相机搭载于线式台架；

或者，利用高光谱相机以内置推扫的方式采集获得所述目标物的所述光谱数据；其中，所述高光谱相机安装于固定式台架，所述目标物为固定目标物。

7.根据权利要求1-4中任一项所述的异物识别方法，其特征在于，基于所述类别信息，确定所述目标物是否属于异物，包括：

获取所述目标物的可见光数据和所述目标物的红外数据；

根据所述类别信息、所述可见光数据以及所述红外数据，确定所述目标物是否属于异物，或者，确定所述目标物是否包括异物。

8.一种异物识别装置，其特征在于，所述装置包括：

第一处理单元，用于获取目标物的光谱数据，并基于所述光谱数据提取得到所述目标物的光谱特征和形态特征；

计算单元，用于计算得到所述光谱特征与预设光谱库中参考光谱之间的相似度特征；其中，所述预设光谱库中包括多个类别样本对应的参考光谱；

第二处理单元，用于对所述光谱特征进行特征降维处理，并根据降维处理之后的光谱特征、所述形态特征以及所述相似度特征，得到所述目标物的类别信息；

判别单元，用于基于所述类别信息，确定所述目标物是否属于异物，或者，用于基于所述类别信息，确定所述目标物是否包括异物。

9.一种电子设备，其特征在于，包括处理器和存储器，所述存储器用于存储计算机程序，所述处理器用于调用并运行所述存储器中存储的计算机程序，执行如权利要求1至7中任一项所述的异物识别方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的异物识别方法。