[go: up one dir, main page]

CN118052967B - 林火智能识别方法以及相关装置 - Google Patents

林火智能识别方法以及相关装置 Download PDF

Info

Publication number
CN118052967B
CN118052967B CN202410445961.7A CN202410445961A CN118052967B CN 118052967 B CN118052967 B CN 118052967B CN 202410445961 A CN202410445961 A CN 202410445961A CN 118052967 B CN118052967 B CN 118052967B
Authority
CN
China
Prior art keywords
image
shadow
region
visible light
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202410445961.7A
Other languages
English (en)
Other versions
CN118052967A (zh
Inventor
柯人元
岑夏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianxin Zhuhai Chip Technology Co ltd
Original Assignee
Tianxin Zhuhai Chip Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianxin Zhuhai Chip Technology Co ltd filed Critical Tianxin Zhuhai Chip Technology Co ltd
Priority to CN202410445961.7A priority Critical patent/CN118052967B/zh
Publication of CN118052967A publication Critical patent/CN118052967A/zh
Application granted granted Critical
Publication of CN118052967B publication Critical patent/CN118052967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/16Image acquisition using multiple overlapping images; Image stitching
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/54Extraction of image or video features relating to texture
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
    • Y02A40/28Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture specially adapted for farming

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Processing (AREA)

Abstract

本发明实施例提供一种林火智能识别方法以及相关装置,属于智慧林业技术领域。该方法包括:获得第一可见光图像和第一红外图像;对第一可见光图像进行阴影识别获得阴影区域,以及根据阴影区域确定第一可见光图像的亮度区域;对阴影区域进行纹理特征提取获得第一纹理特征和对亮度区域进行纹理特征提取获得第二纹理特征;根据第一纹理特征和第二纹理特征确定阴影区域在亮度区域中的匹配区域;根据匹配区域对第一可见光图像中的阴影区域进行光影去除,获得第二可见光图像;对第二可见光图像和第一红外图像进行图像融合获得目标图像;根据目标图像进行林火识别获得识别结果;将识别结果发送至监控系统,以使得监控系统根据识别结果执行对应的处理策略。

Description

林火智能识别方法以及相关装置
技术领域
本发明涉及智慧林业技术领域,尤其涉及一种林火智能识别方法以及相关装置。
背景技术
智慧林业是指利用先进的信息技术、传感器技术、人工智能、大数据分析等手段,对林木资源进行全面监测、管理和利用的一种林业管理模式。智慧林业将数字林业中的关键技术与人工智能、物联网、大数据、云计算和移动互联网等新一代信息技术及林业智能装备跨学科深度融合,形成面向林业生产和管理及林业资源开发利用全过程的立体感知、精准培育、实时监测、智慧管理和智能决策等林业信息化发展新模式。
在智慧林业的发展下,可通过传感器或者监控系统实时监控森林是否出现火灾情况,监控系统可根据传感器采集到的森林图片进行图像识别从而判断森林中是否出现火灾,但是相关技术中在利用森林图片进行图像识别时可能会由于采集图像的分辨率不一致或者采集图像中存在阴影导致多源图像进行融合时融合结果较差,从而导致火灾识别出现误报或者漏报的情况,影响火灾的及时处理。
发明内容
本发明实施例的主要目的在于提供一种林火智能识别方法以及相关装置,旨在解决相关技术中在利用森林图片进行图像识别时可能会由于采集图像的分辨率不一致或者采集图像中存在阴影导致多源图像进行融合时融合结果较差,从而导致火灾识别出现误报或者漏报的情况,影响火灾的及时处理问题。
第一方面,本发明实施例提供一种林火智能识别方法,包括:
获得根据监控系统对待监控森林区域进行图像采集的第一可见光图像和第一红外图像;
对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,以及根据所述阴影区域确定所述第一可见光图像对应的亮度区域;
对所述阴影区域进行纹理特征提取获得所述阴影区域对应的第一纹理特征,和对所述亮度区域进行纹理特征提取获得所述亮度区域对应的第二纹理特征;
根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域;
根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像;
利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像;
根据所述目标图像进行林火识别,获得所述待监控森林区域对应的识别结果;
将所述识别结果发送至所述监控系统,以使得所述监控系统根据所述识别结果执行对应的处理策略。
第二方面,本发明提供一种林火智能识别装置,包括:
数据获取模块,用于获得根据监控系统对待监控森林区域进行图像采集的第一可见光图像和第一红外图像;
区域识别模块,用于对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,以及根据所述阴影区域确定所述第一可见光图像对应的亮度区域;
特征识别模块,用于对所述阴影区域进行纹理特征提取获得所述阴影区域对应的第一纹理特征,和对所述亮度区域进行纹理特征提取获得所述亮度区域对应的第二纹理特征;
区域匹配模块,用于根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域;
阴影去除模块,用于根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像;
图像融合模块,用于利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像;
林火识别模块,用于根据所述目标图像进行林火识别,获得所述待监控森林区域对应的识别结果;
数据传输模块,用于将所述识别结果发送至所述监控系统,以使得所述监控系统根据所述识别结果执行对应的处理策略。
第三方面,本发明实施例还提供一种终端设备,所述终端设备包括处理器、存储器、存储在所述存储器上并可被所述处理器执行的计算机程序以及用于实现所述处理器和所述存储器之间的连接通信的数据总线,其中所述计算机程序被所述处理器执行时,实现如本发明说明书提供的任一项林火智能识别方法的步骤。
第四方面,本发明实施例还提供一种存储介质,用于计算机可读存储,其特征在于,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明说明书提供的任一项林火智能识别方法的步骤。
本发明实施例提供一种林火智能识别方法以及相关装置,该方法包括获得根据监控系统对待监控森林区域进行图像采集的第一可见光图像和第一红外图像;对第一可见光图像进行阴影识别获得第一可见光图像对应的阴影区域,以及根据阴影区域确定第一可见光图像对应的亮度区域;对阴影区域进行纹理特征提取获得阴影区域对应的第一纹理特征,和对亮度区域进行纹理特征提取获得亮度区域对应的第二纹理特征;根据第一纹理特征和第二纹理特征确定阴影区域在亮度区域中对应的匹配区域;根据匹配区域对第一可见光图像中的阴影区域进行光影去除,获得第二可见光图像;利用图像融合模型对第二可见光图像和第一红外图像进行图像融合,获得待监控森林区域对应的目标图像;根据目标图像进行林火识别,获得待监控森林区域对应的识别结果;将识别结果发送至监控系统,以使得监控系统根据识别结果执行对应的处理策略。该方法通过对可见光图像进行阴影识别,然后根据纹理特征确定阴影区域在亮度区域中的匹配区域,可以有效去除光影对图像的干扰,提高图像的质量和清晰度。进而利用图像融合模型将第二可见光图像与第一红外图像进行融合,可以充分利用两种不同波段的信息,提高目标检测和识别的准确性。从而利用目标图像进行林火识别可以及时发现监控森林区域内的火情,有助于及早采取应急措施进行火灾扑救,减少火灾造成的损失。最后,将识别结果发送至监控系统,并执行相应的处理策略,实现了对火情的自动化监测和响应,提高了监控系统的效率和及时性。该方法通过图像处理和分析技术,结合监控系统实现了对待监控森林区域的火情监测和处理,具有较高的实用价值和效果。也解决了相关技术中在利用森林图片进行图像识别时可能会由于采集图像的分辨率不一致或者采集图像中存在阴影导致多源图像进行融合时融合结果较差,从而导致火灾识别出现误报或者漏报的情况,影响火灾的及时处理问题。
附图说明
为了更清楚地说明本申请实施例技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种林火智能识别方法的流程示意图;
图2为本发明实施例提供的一种林火智能识别方法的模块结构示意图;
图3为本发明实施例提供的一种终端设备的结构示意框图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
附图中所示的流程图仅是示例说明,不是必须包括所有的内容和操作/步骤,也不是必须按所描述的顺序执行。例如,有的操作/步骤还可以分解、组合或部分合并,因此实际执行的顺序有可能根据实际情况改变。
应当理解,在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。
本发明实施例提供一种林火智能识别方法以及相关装置。其中,该林火智能识别方法可应用于终端设备中,该终端设备可以是平板电脑、笔记本电脑、台式电脑、个人数字助理和穿戴式设备等电子设备。该终端设备可以为服务器,也可以为服务器集群。
下面结合附图,对本发明的一些实施例作详细说明。在不冲突的情况下,下述的实施例及实施例中的特征可以相互组合。
请参照图1,图1为本发明实施例提供的一种林火智能识别方法的流程示意图。
如图1所示,该林火智能识别方法包括步骤S101至步骤S108。
步骤S101、获得根据监控系统对待监控森林区域进行图像采集的第一可见光图像和第一红外图像。
示例性地,设置监控系统,该监控系统包括在待监控森林区域部署的可见光和红外摄像设备。这些设备可以是摄像头、红外传感器等,并且确保这些可见光和红外摄像设备能够捕获待监控森林区域的图像信息,进而通过可见光摄像设备采集待监控森林区域对应的第一可见光图像和通过红外摄像设备采集待监控森林区域对应的第一红外图像。
步骤S102、对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,以及根据所述阴影区域确定所述第一可见光图像对应的亮度区域。
示例性地,对第一可见光图像进行预处理,包括去噪、灰度化、边缘检测等,以便后续的分析和处理。使用图像处理技术,如基于像素值的方法或基于纹理特征的方法来检测第一可见光图像中的阴影区域。
示例性地,获得第一可见光图像对应的阴影区域之后,将第一可见光图像中的阴影区域进行剔除,将剩余的区域确定为第一可见光图像对应的亮度区域。
在一些实施方式中,所述对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,包括:对所述第一可见光图像进行灰度化和对比度加强处理,获得所述第一可见光图像对应的可见光处理图像;对所述可见光处理图像进行二值化处理,获得所述可见光处理图像对应的二值化图像;根据所述二值化图像进行亮度平均值计算,确定所述第一可见光图像对应的阴影中心;根据所述阴影中心在所述第一可见光图像中利用区域生长算法进行区域扩充,获得所述第一可见光图像对应的所述阴影区域。
示例性地,将第一可见光图像转换为灰度图像,并通过对灰度图像进行线性或非线性变换实现对比度增强处理,获得可见光处理图像,进而通过灰度化和对比度加强处理以增强第一可见光图像的整体对比度和清晰度。
示例性地,对经过灰度化和对比度增强处理后的可见光处理图像使用阈值处理或者自适应阈值处理等方法进行二值化处理,获得可见光处理图像对应的二值化图像,以便后续的阴影中心计算和区域生长算法的应用。
示例性地,根据二值化图像,通过计算所有白色像素的坐标平均值计算图像中白色像素(表示亮度较高的区域)的平均位置,以确定阴影中心的大致位置。
示例性地,在确定的阴影中心位置周围,应用区域生长算法进行阴影区域的扩充。区域生长算法根据像素之间的相似性将相邻的像素组合成区域,直到满足特定的停止条件为止。在这里,可以将阴影中心作为种子点,通过像素的相似性判断来扩展阴影区域的范围,进而获得第一可见光图像对应的阴影区域。
例如,把当前阴影中心的位置信息存储到container种子容器中,(1)设定搜索初始点为nstart=0,容器终止点为nend=0,设定当前种子点为阴影中心处;(2)在条件满足nstart小于或者等于nend时,可以开始寻找当前种子点的邻近点,如上下左右相邻的点。遍历毗邻点时,若毗邻点和当前种子点上的像素相差少于10,即表明该毗邻点是连接的,则将该毗邻点的位置信息存储在container种子载体中,且nend加1,在最后必须将该毗邻点标注为已经处理过,防止在下一次进行又一次的运算,从而影响算法效果;(3)对当前种子点的邻近点检索成功后,再跳转至(2);(4)当步骤(2)的要求不达标时,则连通区域已生长完毕,且所有生长点的定位信息都已储存在container种子容器中。进而根据container种子容器获得阴影区域。此外还可将得到的阴影区域进行去噪操作和边缘膨胀处理,就可以将阴影区域中的高频噪声全部去除,同时因为去噪造成的阴影区域缩小的边界也恢复正常,这样就得到了更加完整的阴影区域。
具体地,实现对第一可见光图像的处理,获得对应的阴影区域。这些步骤有助于准确地识别和提取出图像中的阴影部分,为后续的光影去除和林火识别提供了基础。
步骤S103、对所述阴影区域进行纹理特征提取获得所述阴影区域对应的第一纹理特征,和对所述亮度区域进行纹理特征提取获得所述亮度区域对应的第二纹理特征。
示例性地,使用纹理特征提取方法,如灰度共生矩阵(GLCM)、局部二值模式(LBP)、方向梯度直方图(HOG)等,来描述阴影区域的纹理特征,进而可以帮助捕获阴影区域内部的纹理变化和结构信息,从而获得阴影区域对应的第一纹理特征。
示例性地,同样可以利用上述提到的纹理特征提取方法,如灰度共生矩阵(GLCM)、局部二值模式(LBP)、方向梯度直方图(HOG)等,对亮度区域进行纹理特征的提取,获得亮度区域对应的第二纹理特征。与阴影区域不同,亮度区域可能表现出不同的纹理特征,例如更加明显的边缘或更加均匀的纹理等。
可选地,在选择纹理特征提取方法时,需要根据具体的应用场景和对纹理特征的需求来进行选择。不同的方法可能适用于不同的情况,也可能具有不同的计算复杂度和特征表达能力。本申请不做具体限制,用户可根据实际需求自行选择。
步骤S104、根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域。
示例性地,使用特征匹配算法(如特征点匹配、特征向量匹配等),根据特征之间的相似性或距离将阴影区域的第一纹理特征和亮度区域的第二纹理特征进行匹配。
示例性地,对于每个阴影区域中的纹理特征,找到其在亮度区域中的最佳匹配后,可以计算它们之间的相似度或距离。这可以使用各种距离度量方法,如欧氏距离、余弦相似度等。进而基于相似度度量的结果,可以确定阴影区域在亮度区域中的匹配区域。具体而言,可以选择与每个阴影区域特征最相似的亮度区域作为其匹配区域,或者根据相似度的阈值来判断匹配关系。
此外,还可以考虑使用更高级的匹配算法或结合机器学习方法来提高匹配的准确性和鲁棒性。例如,可以利用支持向量机(SVM)、神经网络等进行特征匹配和区域分类。进而实现根据第一纹理特征和第二纹理特征确定阴影区域在亮度区域中对应的匹配区域。这有助于理解图像中不同区域之间的关系,并为后续的图像分析和处理提供更加准确和可靠的基础。
在一些实施方式中,所述根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域,包括:区域在所述亮度区域中对应的所述匹配区域。根据所述第一纹理特征对所述阴影区域进行区域分割,获得所述阴影区域对应的阴影子区域;根据所述第二纹理特征对所述亮度区域进行区域分割,获得所述亮度区域对应的亮度子区域;计算所述阴影子区域和所述亮度子区域之间的空间距离和相似距离;根据所述空间距离和所述相似距离确定所述阴影子区域在所述亮度区域中对应的所述匹配区域。
示例性地,使用第一纹理特征对阴影区域进行分割,将阴影区域分成不同的子区域。这可以使用各种图像分割算法,如基于区域的分割、边缘检测、聚类等方法来实现。同样地,使用第二纹理特征对亮度区域进行分割,将亮度区域分成不同的子区域。
示例性地,对于每个阴影子区域和每个亮度子区域,计算它们之间的空间距离和相似距离。空间距离可以是欧氏距离、曼哈顿距离等,用来衡量阴影子区域和亮度子区域在图像中的位置关系。相似距离可以是纹理特征之间的距离或相似度,用来衡量阴影子区域和亮度子区域在纹理特征空间中的相似程度。
示例性地,计算得到空间距离和相似距离后,综合考虑空间距离和相似距离的权重,得到根据权重加权后地匹配值,进而将匹配值最大的亮度子区域为确定对应阴影子区域在亮度区域中的匹配区域。
此外,还可以对匹配区域进行优化和调整,例如基于邻近关系或全局一致性来调整匹配区域,以确保匹配的准确性和连贯性。
具体地,实现阴影区域和亮度区域之间的匹配,并确定阴影区域在亮度区域中对应的匹配区域,进而为后续去除第一可见光图像中的阴影区域提供良好的支撑。
步骤S105、根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像。
示例性地,从第一可见光图像中提取出阴影区域对应的匹配区域后,利用匹配区域对阴影区域进行光影去除。光影去除是一种图像处理技术,旨在消除图像中的阴影和光照变化,以使图像更加清晰和自然。
示例性地,通过图像合成或者像素级别的操作将匹配区域和阴影区域进行融合或替换,以生成第二可见光图像。
在一些实施方式中,所述根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像,包括:确定光衰减因子;获得所述匹配区域对应的第一平均像素值和所述阴影区域对应的第二平均像素值;根据所述光衰减因子、所述第一平均像素值和所述第二平均像素值确定所述阴影区域需要进行补光的光照信息;根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像:其中,根据下列公式获得所述光照信息:
A表示所述光照信息,表示所述阴影区域Y对应的所述第二平均像素值;表示所述匹配区域L对应的所述第一平均像素值,r表示所述光衰减因子,可根据所述阴影区域Y对应的亮度的第一标准差和所述匹配区域L对应的亮度的第二标准差之间的比值获得。
示例性地,光衰减因子是指光线在穿过介质时逐渐减弱的程度。可以通过环境光照度测量、摄像机参数和场景信息等来确定。通常情况下,可以根据场景中的光源和相机设置来估计光衰减因子。光衰减因子可根据专家经验进行设置, 也可根据阴影区域对应的亮度的第一标准差和匹配区域对应的亮度的第二标准差之间的比值获得。
示例性地,获得匹配区域在第一可见光图像中的像素值进行取平均,从而获得匹配区域对应的第一平均像素值。以及获得阴影区域在第一可见光图像中的像素值进行取平均,从而获得阴影区域对应的第二平均像素值。
示例性地,基于光衰减因子、匹配区域对应的第一平均像素值和阴影区域对应的第二平均像素值,可以计算出阴影区域需要进行补光的光照信息,以补偿阴影区域的光照不足。其中,根据下列公式获得光照信息:
A表示光照信息,表示阴影区域Y对应的第二平均像素值;表示匹配区域L对应的第一平均像素值,r表示光衰减因子,可根据阴影区域Y对应的亮度的第一标准差和匹配区域L对应的亮度的第二标准差之间的比值获得。
示例性地,确定的光照信息和光衰减因子后,利用光照信息和光衰减因子调整阴影区域的像素值,使其与周围区域的光照保持一致,从而消除阴影效果,达到对阴影区域进行光影去除的目的。从而将经过光影去除处理后的阴影区域与第一可见光图像进行融合,以生成第二可见光图像。
具体地,实现根据光衰减因子和匹配区域的信息,对阴影区域进行光影去除,从而获得第二可见光图像。这有助于改善图像的视觉效果,并提供更清晰和自然的图像数据,适合后续的分析和应用。
在一些实施方式中,所述根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像,包括:获得所述阴影区域中所有像素对应的像素均值;根据所述像素均值对所述阴影区域中每个像素位置下对应像素的所述光照信息进行调整,获得所述阴影区域中每个像素位置对应的自适应参数;根据所述自适应参数和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像;其中,根据下列公式获得所述自适应参数:
表示所述自适应参数,A表示所述光照信息,表示所述阴影区域中水平位置x和水平位置y下对应的像素值,表示所述像素均值。
示例性地,由于第一可见光图像中阴影区域的每个像素对应的光照信息在调整时,应该是存在不同的偏差,为提高去除阴影区域的质量,还可对阴影区域中的每个像素对应的光照信息进行有差别调整,以获得第一可见光图像中阴影区域的每个像素对应的光照信息的自适应参数。
示例性地,对于给定的阴影区域,在第一可见光图像中获得阴影区域对应的像素值,并计算所有阴影区域的像素值的平均值作为阴影区域的像素均值。进而根据阴影区域中每个像素位置下对应的光照信息,利用阴影区域的像素均值对光照信息进行调整,获得阴影区域中每个像素对应的自适应参数。其中,根据下列公式获得自适应参数:
表示自适应参数,A表示光照信息,表示阴影区域中水平位置x和水平位置y下对应的像素值,表示像素均值。
示例性地,利用获得的自适应参数和光衰减因子,对阴影区域进行光影去除。可以根据自适应参数调整阴影区域中的像素值,以补偿光照不足或者调整光照不均匀的情况。进而将经过光影去除处理后的阴影区域与第一可见光图像进行融合,以生成第二可见光图像。这可以通过像素级别的操作或者图像合成技术来完成。
具体地,获取阴影区域中每个像素对应的自适应参数对阴影区域进行光影去除,可以根据每个像素位置的具体情况进行调整,因此能够更好地适应不同位置的光照变化和阴影强度,提高处理的灵活性和适应性。并且通过根据像素均值计算自适应参数,可以更准确地补偿光照不足或调整光照不均匀的情况,从而提高光影去除的精准度和准确性。此外,自适应参数的使用可以避免在光影去除过程中出现过度处理的情况,因为它能够根据像素的实际光照情况进行调整,而不是一概而论地应用相同的处理方法。也可使得在保持图像细节和纹理的同时进行光影去除,因此能够更好地保留图像的信息,使处理后的图像更加自然和真实。从而改善图像的视觉效果,使其更加清晰、明亮和具有可视性。
步骤S106、利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像。
示例性地,对第一红外图像图像进行预处理,如调整大小以确保第二可见光图像和第一红外图像具有相同的空间分辨率,并且对应的像素位置是对齐的。进而选择适当的图像融合模型,例如基于像素级别的融合方法(如加权平均、拉普拉斯金字塔融合等)、基于特征级别的融合方法(如特征提取和融合)或者基于深度学习的融合方法(如卷积神经网络)。选择合适的模型可以根据具体需求和数据特征来决定,本申请不做具体限制。
示例性地,根据选择的图像融合模型,将第二可见光图像和第一红外图像输入到模型中进行融合,从而获得待监控森林区域对应的目标图像。
在一些实施方式中,所述图像融合模型包括分辨率重建网络、线性注意力网络、图像融合网络,所述利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像,包括:获得所述第二可见光图像对应的图像分辨率;利用所述分辨率重建网络根据所述图像分辨率对所述第一红外图像进行超分辨率重建,获得第二红外图像;利用所述线性注意力网络,学习所述第二可见光图像和所述第二红外图像在特征空间位置间的非线性关系,获得所述第二可见光图像对应的第一图像向量和所述第二红外图像对应的第二图像向量;根据所述图像融合网络对所述第一图像向量和所述第二图像向量进行互补信息融合,获得所述待监控森林区域对应的所述目标图像。
示例性地,图像融合模型包括分辨率重建网络、线性注意力网络、图像融合网络。
示例性地,通过读取第二可见光图像的宽度和高度来获取第二可见光图像的图像分辨率。进而使用分辨率重建网络,例如超分辨率神经网络,对第一红外图像进行重建,使其分辨率与第二可见光图像相匹配,从而获得第二红外图像。这可以通过训练一个神经网络来实现,该网络接受低分辨率图像作为输入,并输出高分辨率图像。
示例性地,使用线性注意力网络来学习第二可见光图像和第二红外图像在特征空间位置之间的非线性关系。线性注意力网络是一种神经网络结构,能够有效地学习输入之间的相关性和关联性。通过训练这样的网络,可以获得第二可见光图像对应的第一图像向量和第二红外图像对应的第二图像向量。
示例性地,构建一个图像融合网络,该网络接受第一图像向量和第二图像向量作为输入,并输出待监控森林区域对应的目标图像。在网络中,可以使用适当的结构来融合两个图像向量,例如残差连接、注意力机制等,以获取互补的信息并生成最终的目标图像。
具体地,本申请可充分利用两种不同波段的信息,并结合深度学习模型来实现图像融合,从而提高对待监控森林区域的监控效果和准确性。
在一些实施方式中,所述分辨率重建网络为多层感知器网络,所述利用所述分辨率重建网络根据所述图像分辨率对所述第一红外图像进行超分辨率重建,获得第二红外图像,包括:根据双线性插值算法利用所述图像分辨率对所述第一红外图像进行像素增加,获得所述第一红外图像对应的第三红外图像;利用所述多层感知器网络中的非线性关系对所述第三红外图像进行超分辨率重建,获得所述第二红外图像。
示例性地,使用双线性插值算法,根据第一红外图像的图像分辨率进行像素增加,从而获得第三红外图像。双线性插值是一种常用的图像插值方法,能够根据已知像素点的灰度值,推算出新像素点的灰度值,以填补图像的空白部分或增加像素点。
示例性地,建立一个多层感知器(MLP)网络,用于学习第三红外图像与第二红外图像之间的非线性关系。MLP是一种常见的前馈神经网络结构,通过多个全连接层来学习输入与输出之间的映射关系。通过训练MLP网络,可以将第三红外图像转换为与第二红外图像具有相似特征的高分辨率图像,实现超分辨率重建。
具体地,通过双线性插值算法增加像素和MLP网络的超分辨率重建,可以提高第一红外图像的分辨率,从而提高整体图像质量。此外,超分辨率重建可以增强图像的细节和清晰度,使得监测到的目标更加清晰可见,有助于提高监控和分析的准确性。
步骤S107、根据所述目标图像进行林火识别,获得所述待监控森林区域对应的识别结果。
示例性地,确定林火识别模型,可以是基于传统图像处理方法的模型,也可以是基于深度学习的模型,如卷积神经网络(CNN)或循环神经网络(RNN)等。选择合适的模型取决于目标图像的特征、规模以及对于识别准确度和实时性的要求。如果选择基于深度学习的模型,需要对选定的模型进行训练。这需要一个标注良好的数据集,其中包含了已知是否发生林火的图像,并且模型需要通过这些数据来学习林火的特征。
示例性地,将目标图像输入到训练好的林火识别模型中,以获取识别结果。这可能包括林火的位置、大小、强度等信息,或者是简单的二元分类结果(发生林火/未发生林火)。
步骤S108、将所述识别结果发送至所述监控系统,以使得所述监控系统根据所述识别结果执行对应的处理策略。
示例性地,通过应用接口将识别结果发送至监控系统,当监控系统接收到识别结果后,分析识别结果,确定根据需要采取的下一步行动。如果检测到了林火,可能需要及时通知相关部门进行处理。如果未检测到林火,也要对结果进行验证和反馈,以改进识别模型的准确性和鲁棒性。进而将识别结果发送至监控系统,以使得监控系统根据识别结果执行对应的处理策略。这有助于及时响应进而采取有效的措施应对林火等森林区域的问题,保障森林资源和人员安全。
请参阅图2,图2为本申请实施例提供的一种林火智能识别装置200,该林火智能识别装置200包括数据获取模块201、区域识别模块202、特征识别模块203、区域匹配模块204、阴影去除模块205、图像融合模块206、林火识别模块207、数据传输模块208,其中,数据获取模块201,用于获得根据监控系统对待监控森林区域进行图像采集的第一可见光图像和第一红外图像;区域识别模块202,用于对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,以及根据所述阴影区域确定所述第一可见光图像对应的亮度区域;特征识别模块203,用于对所述阴影区域进行纹理特征提取获得所述阴影区域对应的第一纹理特征,和对所述亮度区域进行纹理特征提取获得所述亮度区域对应的第二纹理特征;区域匹配模块204,用于根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域;阴影去除模块205,用于根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像;图像融合模块206,用于利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像;林火识别模块207,用于根据所述目标图像进行林火识别,获得所述待监控森林区域对应的识别结果;数据传输模块208,用于将所述识别结果发送至所述监控系统,以使得所述监控系统根据所述识别结果执行对应的处理策略。
在一些实施方式中,区域识别模块202在所述对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域过程中,执行:
对所述第一可见光图像进行灰度化和对比度加强处理,获得所述第一可见光图像对应的可见光处理图像;
对所述可见光处理图像进行二值化处理,获得所述可见光处理图像对应的二值化图像;
根据所述二值化图像进行亮度平均值计算,确定所述第一可见光图像对应的阴影中心;
根据所述阴影中心在所述第一可见光图像中利用区域生长算法进行区域扩充,获得所述第一可见光图像对应的所述阴影区域。
在一些实施方式中,特征识别模块203在所述根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域过程中,执行:
根据所述第一纹理特征对所述阴影区域进行区域分割,获得所述阴影区域对应的阴影子区域;
根据所述第二纹理特征对所述亮度区域进行区域分割,获得所述亮度区域对应的亮度子区域;
计算所述阴影子区域和所述亮度子区域之间的空间距离和相似距离;
根据所述空间距离和所述相似距离确定所述阴影子区域在所述亮度区域中对应的所述匹配区域。
在一些实施方式中,阴影去除模块205在所述根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像过程中,执行:
确定光衰减因子;
获得所述匹配区域对应的第一平均像素值和所述阴影区域对应的第二平均像素值;
根据所述光衰减因子、所述第一平均像素值和所述第二平均像素值确定所述阴影区域需要进行补光的光照信息;
根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像:
其中,根据下列公式获得所述光照信息:
A表示所述光照信息,表示所述阴影区域Y对应的所述第二平均像素值;表示所述匹配区域L对应的所述第一平均像素值,r表示所述光衰减因子,可根据所述阴影区域Y对应的亮度的第一标准差和所述匹配区域L对应的亮度的第二标准差之间的比值获得。
在一些实施方式中,阴影去除模块205在所述根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像过程中,执行:
获得所述阴影区域中所有像素对应的像素均值;
根据所述像素均值对所述阴影区域中每个像素位置下对应像素的所述光照信息进行调整,获得所述阴影区域中每个像素位置对应的自适应参数;
根据所述自适应参数和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像;
其中,根据下列公式获得所述自适应参数:
表示所述自适应参数,A表示所述光照信息,表示所述阴影区域中水平位置x和水平位置y下对应的像素值,表示所述像素均值。
在一些实施方式中,所述图像融合模型包括分辨率重建网络、线性注意力网络、图像融合网络,图像融合模块206在所述利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像过程中,执行:
获得所述第二可见光图像对应的图像分辨率;
利用所述分辨率重建网络根据所述图像分辨率对所述第一红外图像进行超分辨率重建,获得第二红外图像;
利用所述线性注意力网络,学习所述第二可见光图像和所述第二红外图像在特征空间位置间的非线性关系,获得所述第二可见光图像对应的第一图像向量和所述第二红外图像对应的第二图像向量;
根据所述图像融合网络对所述第一图像向量和所述第二图像向量进行互补信息融合,获得所述待监控森林区域对应的所述目标图像。
在一些实施方式中,所述分辨率重建网络为多层感知器网络,图像融合模块206在所述利用所述分辨率重建网络根据所述图像分辨率对所述第一红外图像进行超分辨率重建,获得第二红外图像过程中,执行:
根据双线性插值算法利用所述图像分辨率对所述第一红外图像进行像素增加,获得所述第一红外图像对应的第三红外图像;
利用所述多层感知器网络中的非线性关系对所述第三红外图像进行超分辨率重建,获得所述第二红外图像。
在一些实施方式中,林火智能识别装置200可应用于终端设备。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的林火智能识别装置200的具体工作过程,可以参考前述林火智能识别方法实施例中的对应过程,在此不再赘述。
请参阅图3,图3为本发明实施例提供的一种终端设备的结构示意性框图。
如图3所示,终端设备300包括处理器301和存储器302,处理器301和存储器302通过总线303连接,该总线比如为I2C(Inter-integrated Circuit)总线。
具体地,处理器301用于提供计算和控制能力,支撑整个终端设备的运行。处理器301可以是中央处理单元 (Central Processing Unit,CPU),该处理器301还可以是其他通用处理器、数字信号处理器 (Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列 (Field-Programmable Gate Array,FPGA) 或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中,通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
具体地,存储器302可以是Flash芯片、只读存储器 (ROM,Read-Only Memory)磁盘、光盘、U盘或移动硬盘等。
本领域技术人员可以理解,图3中示出的结构,仅仅是与本发明实施例方案相关的部分结构的框图,并不构成对本发明实施例方案所应用于其上的终端设备的限定,具体的服务器可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
其中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现本发明实施例提供的任意一种所述的林火智能识别方法。
在一实施例中,所述处理器用于运行存储在存储器中的计算机程序,并在执行所述计算机程序时实现如下步骤:
获得根据监控系统对待监控森林区域进行图像采集的第一可见光图像和第一红外图像;
对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,以及根据所述阴影区域确定所述第一可见光图像对应的亮度区域;
对所述阴影区域进行纹理特征提取获得所述阴影区域对应的第一纹理特征,和对所述亮度区域进行纹理特征提取获得所述亮度区域对应的第二纹理特征;
根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域;
根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像;
利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像;
根据所述目标图像进行林火识别,获得所述待监控森林区域对应的识别结果;
将所述识别结果发送至所述监控系统,以使得所述监控系统根据所述识别结果执行对应的处理策略。
在一些实施方式中,处理器301在所述对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域过程中,执行:
对所述第一可见光图像进行灰度化和对比度加强处理,获得所述第一可见光图像对应的可见光处理图像;
对所述可见光处理图像进行二值化处理,获得所述可见光处理图像对应的二值化图像;
根据所述二值化图像进行亮度平均值计算,确定所述第一可见光图像对应的阴影中心;
根据所述阴影中心在所述第一可见光图像中利用区域生长算法进行区域扩充,获得所述第一可见光图像对应的所述阴影区域。
在一些实施方式中,处理器301在所述根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域过程中,执行:
根据所述第一纹理特征对所述阴影区域进行区域分割,获得所述阴影区域对应的阴影子区域;
根据所述第二纹理特征对所述亮度区域进行区域分割,获得所述亮度区域对应的亮度子区域;
计算所述阴影子区域和所述亮度子区域之间的空间距离和相似距离;
根据所述空间距离和所述相似距离确定所述阴影子区域在所述亮度区域中对应的所述匹配区域。
在一些实施方式中,处理器301在所述根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像过程中,执行:
确定光衰减因子;
获得所述匹配区域对应的第一平均像素值和所述阴影区域对应的第二平均像素值;
根据所述光衰减因子、所述第一平均像素值和所述第二平均像素值确定所述阴影区域需要进行补光的光照信息;
根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像:
其中,根据下列公式获得所述光照信息:
A表示所述光照信息,表示所述阴影区域Y对应的所述第二平均像素值;表示所述匹配区域L对应的所述第一平均像素值,r表示所述光衰减因子,可根据所述阴影区域Y对应的亮度的第一标准差和所述匹配区域L对应的亮度的第二标准差之间的比值获得。
在一些实施方式中,处理器301在所述根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像过程中,执行:
获得所述阴影区域中所有像素对应的像素均值;
根据所述像素均值对所述阴影区域中每个像素位置下对应像素的所述光照信息进行调整,获得所述阴影区域中每个像素位置对应的自适应参数;
根据所述自适应参数和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像;
其中,根据下列公式获得所述自适应参数:
表示所述自适应参数,A表示所述光照信息,表示所述阴影区域中水平位置x和水平位置y下对应的像素值,表示所述像素均值。
在一些实施方式中,所述图像融合模型包括分辨率重建网络、线性注意力网络、图像融合网络,处理器301在所述利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像过程中,执行:
获得所述第二可见光图像对应的图像分辨率;
利用所述分辨率重建网络根据所述图像分辨率对所述第一红外图像进行超分辨率重建,获得第二红外图像;
利用所述线性注意力网络,学习所述第二可见光图像和所述第二红外图像在特征空间位置间的非线性关系,获得所述第二可见光图像对应的第一图像向量和所述第二红外图像对应的第二图像向量;
根据所述图像融合网络对所述第一图像向量和所述第二图像向量进行互补信息融合,获得所述待监控森林区域对应的所述目标图像。
在一些实施方式中,所述分辨率重建网络为多层感知器网络,处理器301在所述利用所述分辨率重建网络根据所述图像分辨率对所述第一红外图像进行超分辨率重建,获得第二红外图像过程中,执行:
根据双线性插值算法利用所述图像分辨率对所述第一红外图像进行像素增加,获得所述第一红外图像对应的第三红外图像;
利用所述多层感知器网络中的非线性关系对所述第三红外图像进行超分辨率重建,获得所述第二红外图像。
需要说明的是,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的终端设备的具体工作过程,可以参考前述林火智能识别方法实施例中的对应过程,在此不再赘述。
本发明实施例还提供一种存储介质,用于计算机可读存储,所述存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现如本发明实施例说明书提供的任一项林火智能识别方法的步骤。
其中,所述存储介质可以是前述实施例所述的终端设备的内部存储单元,例如所述终端设备的硬盘或内存。所述存储介质也可以是所述终端设备的外部存储设备,例如所述终端设备上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(SecureDigital,SD)卡,闪存卡(Flash Card)等。
本领域普通技术人员可以理解,上文中所公开方法中的全部或某些步骤、系统、装置中的功能模块/单元可以被实施为软件、固件、硬件及其适当的组合。在硬件实施例中,在以上描述中提及的功能模块/单元之间的划分不一定对应于物理组件的划分;例如,一个物理组件可以具有多个功能,或者一个功能或步骤可以由若干物理组件合作执行。某些物理组件或所有物理组件可以被实施为由处理器,如中央处理器、数字信号处理器或微处理器执行的软件,或者被实施为硬件,或者被实施为集成电路,如专用集成电路。这样的软件可以分布在计算机可读介质上,计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的,术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于RAM、ROM、EEPROM、闪存或其他存储器技术、CD-ROM、数字多功能盘(DVD)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外,本领域普通技术人员公知的是,通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据,并且可包括任何信息递送介质。
应当理解,在本发明说明书和所附权利要求书中使用的术语“和/ 或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。以上所述,仅为本发明的具体实施例,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应以权利要求的保护范围为准。

Claims (8)

1.一种林火智能识别方法,其特征在于,所述方法包括:
获得根据监控系统对待监控森林区域进行图像采集的第一可见光图像和第一红外图像;
对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,以及根据所述阴影区域确定所述第一可见光图像对应的亮度区域;
对所述阴影区域进行纹理特征提取获得所述阴影区域对应的第一纹理特征,和对所述亮度区域进行纹理特征提取获得所述亮度区域对应的第二纹理特征;
根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域;
根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像;
利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像;
根据所述目标图像进行林火识别,获得所述待监控森林区域对应的识别结果;
将所述识别结果发送至所述监控系统,以使得所述监控系统根据所述识别结果执行对应的处理策略;
所述根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像,包括:
确定光衰减因子;
获得所述匹配区域对应的第一平均像素值和所述阴影区域对应的第二平均像素值;
根据所述光衰减因子、所述第一平均像素值和所述第二平均像素值确定所述阴影区域需要进行补光的光照信息;
根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像:
其中,根据下列公式获得所述光照信息:
A表示所述光照信息,表示所述阴影区域Y对应的所述第二平均像素值;表示所述匹配区域L对应的所述第一平均像素值,r表示所述光衰减因子,可根据所述阴影区域Y对应的亮度的第一标准差和所述匹配区域L对应的亮度的第二标准差之间的比值获得;
所述根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像,包括:
获得所述阴影区域中所有像素对应的像素均值;
根据所述像素均值对所述阴影区域中每个像素位置下对应像素的所述光照信息进行调整,获得所述阴影区域中每个像素位置对应的自适应参数;
根据所述自适应参数和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像;
其中,根据下列公式获得所述自适应参数:
表示所述自适应参数,A表示所述光照信息,表示所述阴影区域中水平位置x和水平位置y下对应的像素值,表示所述像素均值。
2.根据权利要求1所述的方法,其特征在于,所述对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,包括:
对所述第一可见光图像进行灰度化和对比度加强处理,获得所述第一可见光图像对应的可见光处理图像;
对所述可见光处理图像进行二值化处理,获得所述可见光处理图像对应的二值化图像;
根据所述二值化图像进行亮度平均值计算,确定所述第一可见光图像对应的阴影中心;
根据所述阴影中心在所述第一可见光图像中利用区域生长算法进行区域扩充,获得所述第一可见光图像对应的所述阴影区域。
3.根据权利要求1所述的方法,其特征在于,所述根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域,包括:
根据所述第一纹理特征对所述阴影区域进行区域分割,获得所述阴影区域对应的阴影子区域;
根据所述第二纹理特征对所述亮度区域进行区域分割,获得所述亮度区域对应的亮度子区域;
计算所述阴影子区域和所述亮度子区域之间的空间距离和相似距离;
根据所述空间距离和所述相似距离确定所述阴影子区域在所述亮度区域中对应的所述匹配区域。
4.根据权利要求1所述的方法,其特征在于,所述图像融合模型包括分辨率重建网络、线性注意力网络、图像融合网络,所述利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像,包括:
获得所述第二可见光图像对应的图像分辨率;
利用所述分辨率重建网络根据所述图像分辨率对所述第一红外图像进行超分辨率重建,获得第二红外图像;
利用所述线性注意力网络,学习所述第二可见光图像和所述第二红外图像在特征空间位置间的非线性关系,获得所述第二可见光图像对应的第一图像向量和所述第二红外图像对应的第二图像向量;
根据所述图像融合网络对所述第一图像向量和所述第二图像向量进行互补信息融合,获得所述待监控森林区域对应的所述目标图像。
5.根据权利要求4中所述的方法,其特征在于,所述分辨率重建网络为多层感知器网络,所述利用所述分辨率重建网络根据所述图像分辨率对所述第一红外图像进行超分辨率重建,获得第二红外图像,包括:
根据双线性插值算法利用所述图像分辨率对所述第一红外图像进行像素增加,获得所述第一红外图像对应的第三红外图像;
利用所述多层感知器网络中的非线性关系对所述第三红外图像进行超分辨率重建,获得所述第二红外图像。
6.一种林火智能识别装置,其特征在于,包括:
数据获取模块,用于获得根据监控系统对待监控森林区域进行图像采集的第一可见光图像和第一红外图像;
区域识别模块,用于对所述第一可见光图像进行阴影识别,获得所述第一可见光图像对应的阴影区域,以及根据所述阴影区域确定所述第一可见光图像对应的亮度区域;
特征识别模块,用于对所述阴影区域进行纹理特征提取获得所述阴影区域对应的第一纹理特征,和对所述亮度区域进行纹理特征提取获得所述亮度区域对应的第二纹理特征;
区域匹配模块,用于根据所述第一纹理特征和所述第二纹理特征确定所述阴影区域在所述亮度区域中对应的匹配区域;
阴影去除模块,用于根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像;
图像融合模块,用于利用图像融合模型对所述第二可见光图像和所述第一红外图像进行图像融合,获得所述待监控森林区域对应的目标图像;
林火识别模块,用于根据所述目标图像进行林火识别,获得所述待监控森林区域对应的识别结果;
数据传输模块,用于将所述识别结果发送至所述监控系统,以使得所述监控系统根据所述识别结果执行对应的处理策略;
所述根据所述匹配区域对所述第一可见光图像中的所述阴影区域进行光影去除,获得第二可见光图像,包括:
确定光衰减因子;
获得所述匹配区域对应的第一平均像素值和所述阴影区域对应的第二平均像素值;
根据所述光衰减因子、所述第一平均像素值和所述第二平均像素值确定所述阴影区域需要进行补光的光照信息;
根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像:
其中,根据下列公式获得所述光照信息:
A表示所述光照信息,表示所述阴影区域Y对应的所述第二平均像素值;表示所述匹配区域L对应的所述第一平均像素值,r表示所述光衰减因子,可根据所述阴影区域Y对应的亮度的第一标准差和所述匹配区域L对应的亮度的第二标准差之间的比值获得;
所述根据所述光照信息和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像,包括:
获得所述阴影区域中所有像素对应的像素均值;
根据所述像素均值对所述阴影区域中每个像素位置下对应像素的所述光照信息进行调整,获得所述阴影区域中每个像素位置对应的自适应参数;
根据所述自适应参数和所述光衰减因子对所述阴影区域进行光影去除,获得所述第二可见光图像;
其中,根据下列公式获得所述自适应参数:
表示所述自适应参数,A表示所述光照信息,表示所述阴影区域中水平位置x和水平位置y下对应的像素值,表示所述像素均值。
7.一种终端设备,其特征在于,所述终端设备包括处理器、存储器;
所述存储器用于存储计算机程序;
所述处理器用于执行所述计算机程序并在执行所述计算机程序时实现如权利要求1至5中任一项所述的林火智能识别方法。
8.一种计算机存储介质,用于计算机存储,其特征在于,所述计算机存储介质存储有一个或者多个程序,所述一个或者多个程序可被一个或者多个处理器执行,以实现权利要求1至5中任一项所述的林火智能识别方法的步骤。
CN202410445961.7A 2024-04-15 2024-04-15 林火智能识别方法以及相关装置 Active CN118052967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202410445961.7A CN118052967B (zh) 2024-04-15 2024-04-15 林火智能识别方法以及相关装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202410445961.7A CN118052967B (zh) 2024-04-15 2024-04-15 林火智能识别方法以及相关装置

Publications (2)

Publication Number Publication Date
CN118052967A CN118052967A (zh) 2024-05-17
CN118052967B true CN118052967B (zh) 2024-06-18

Family

ID=91052238

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202410445961.7A Active CN118052967B (zh) 2024-04-15 2024-04-15 林火智能识别方法以及相关装置

Country Status (1)

Country Link
CN (1) CN118052967B (zh)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108665487B (zh) * 2017-10-17 2022-12-13 国网河南省电力公司郑州供电公司 基于红外和可见光融合的变电站作业对象和目标定位方法
US11232628B1 (en) * 2020-11-10 2022-01-25 Weta Digital Limited Method for processing image data to provide for soft shadow effects using shadow depth information

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103778618A (zh) * 2013-11-04 2014-05-07 国家电网公司 一种可见光图像和红外图像的融合方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于可见光和红外图像的矿井外因火灾识别方法;孙继平;孙雁宇;范伟强;;工矿自动化;20190516(05);第4-8页 *

Also Published As

Publication number Publication date
CN118052967A (zh) 2024-05-17

Similar Documents

Publication Publication Date Title
US11574187B2 (en) Pedestrian attribute identification and positioning method and convolutional neural network system
EP3440428B1 (en) Remote determination of quantity stored in containers in geographical region
CN108197546B (zh) 人脸识别中光照处理方法、装置、计算机设备及存储介质
JP6497579B2 (ja) 画像合成システム、画像合成方法、画像合成プログラム
US20200320682A1 (en) System and Method for Detecting Plant Diseases
US9367762B2 (en) Image processing device and method, and computer readable medium
CN111626163B (zh) 一种人脸活体检测方法、装置及计算机设备
CN112465735B (zh) 行人检测方法、装置及计算机可读存储介质
CN108229418B (zh) 人体关键点检测方法和装置、电子设备、存储介质和程序
WO2016165064A1 (zh) 基于多视角学习的鲁棒性前景检测方法
US11605220B2 (en) Systems and methods for video surveillance
CN117557565B (zh) 一种锂电池极片的检测方法及其装置
US20240188688A1 (en) Mehtod and apparatus for processing foot information
CN117853942A (zh) 用于云雾的识别方法、云雾识别装置及云雾识别系统
CN118262258B (zh) 一种地面环境图像差异性检测方法和系统
KR102665603B1 (ko) 스테레오 매칭을 위한 하드웨어 디스패러티 평가
CN118052967B (zh) 林火智能识别方法以及相关装置
CN108805033A (zh) 基于局部梯度分布的拍摄图像优选方法及装置
CN116994049A (zh) 全自动针织横机及其方法
Singh et al. A Review on Computational Low-Light Image Enhancement Models: Challenges, Benchmarks, and Perspectives
Lin et al. Foreground object detection in highly dynamic scenes using saliency
KR101031369B1 (ko) 얼굴 인식 장치 및 그 방법
Zhang et al. A unified saliency detection framework for visible and infrared images
CN120338719B (zh) 涉密档案密集架监控管理方法、装置、电子设备及介质
CN118570569B (zh) 一种基于卷积神经网络的蚊虫识别方法及识别系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant