[go: up one dir, main page]

CN112123338A - 一种支持深度学习加速的变电站智能巡检机器人系统 - Google Patents

一种支持深度学习加速的变电站智能巡检机器人系统 Download PDF

Info

Publication number
CN112123338A
CN112123338A CN202011030797.1A CN202011030797A CN112123338A CN 112123338 A CN112123338 A CN 112123338A CN 202011030797 A CN202011030797 A CN 202011030797A CN 112123338 A CN112123338 A CN 112123338A
Authority
CN
China
Prior art keywords
module
main controller
visible light
picture
deep learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202011030797.1A
Other languages
English (en)
Inventor
苏磊
孙沛
魏晓川
冯建峰
汪昀
卢文联
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
State Grid Shanghai Electric Power Co Ltd
Original Assignee
State Grid Shanghai Electric Power Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by State Grid Shanghai Electric Power Co Ltd filed Critical State Grid Shanghai Electric Power Co Ltd
Priority to CN202011030797.1A priority Critical patent/CN112123338A/zh
Publication of CN112123338A publication Critical patent/CN112123338A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697—Vision controlled systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Robotics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Testing Or Calibration Of Command Recording Devices (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

本发明公开了一种支持深度学习加速的变电站智能巡检机器人系统，所述智能巡检机器人系统包含电源模块、传感器模块、运动模块、主控制器模块和加速器模块。运动模块负责控制机器人的移动、转向和云台姿态。主控制器负责接收操作员指令，接收传感器模块数据，进行行为决策，控制运动模块，将需要加速处理的数据发送到加速器模块，并接收加速器模块返回结果，另外还要对数据本地存储和远程传输到后台。加速器模块负责接收主控制器命令和数据，进行深度学习模型的加速运算，并返回运算结果给主控制器。本发明提供的一种支持深度学习加速的变电站智能巡检机器人系统为深度学习在电力巡检中的应用提供了基础，提高了电力设备巡检的智能化程度。

Description

一种支持深度学习加速的变电站智能巡检机器人系统
技术领域
本发明涉及电力设备巡检技术领域，具体为一种支持深度学习加速的变电站智能巡检机器人系统。
背景技术
电力巡检机器人带有多种激光雷达、超声波、可见光图像、红外图像等传感器，能够自动巡视检查电力设备，在变电站广泛应用，节约了很多人力物力。近年来，以深度卷积神经网络为代表的深度学习技术迅速发展，在物体识别、目标检测、故障诊断等领域得到广泛应用。将深度学习技术和巡检机器人结合来提高巡检效率，提升自动化水平也成为发展趋势。然而深度学习的运算量大，涉及大量的乘加操作，常规巡检机器人的软硬件配置难以满足要求。为了将深度学习技术应用到巡检机器人上，需要能够支持深度学习加速的低功耗嵌入式架构。为此我们提出一种支持深度学习加速的变电站智能巡检机器人系统用于解决上述问题。
发明内容
本发明的目的在于提供一种支持深度学习加速的变电站智能巡检机器人系统，以解决上述背景技术中提出的问题。
为实现上述目的，本发明提供如下技术方案：一种支持深度学习加速的变电站智能巡检机器人系统，包括包含电源模块、传感器模块、运动模块、主控制器模块和加速器模块。
所述电源模块内包括电池、电量监测、变换器、功率匹配。
所述传感器模块包括激光雷达、惯性测量单元、超声波传感器、旋转编码器、红外图像传感器、可见光图像传感器。
所述运动模块包括云台、驱动器和电机。
所述主控制器模块包括处理器、内存、硬盘、通信接口。
所述加速器模块包括专用加速处理器、存储器、通信接口。
所述电源模块为整个机器人系统提供可靠的供电。
所述传感器模块采集各种类型的数据，用于决策和控制。
所述运动模块负责控制机器人的移动、转向和云台姿态。
所述主控制器负责接收操作员指令，接收传感器模块数据，进行行为决策，控制运动模块，将需要加速处理的数据发送到加速器模块，并接收加速器模块返回结果，另外还要对数据本地存储和远程传输到后台。
所述加速器模块负责接收主控制器命令和数据，进行深度学习模型的加速运算，并返回运算结果给主控制器。
所述电源模块与其他模块通过电源管理接口连接；所述传感器模块、运动模块通过以太网、CAN、USB等接口连接到所述主控制器模块；所述加速器模块和主控制器模块通过以太网连接。
本发明提供的一种支持深度学习加速的变电站智能巡检机器人系统应用方法包括目标检测和红外故障诊断。目标检测包括如下步骤：
1、主控制器模块控制运动模块使机器人移动到指定地点，并调整好云台姿态。
2、所述传感器模块，通过可见光传感器为目标设备拍摄可见光图片，通过红外传感器为目标设备拍摄与可见光图片相对应的红外图片，所述主控制器模块对拍摄的可见光图片和相应的红外图片做像素级对齐。然后主控制器模块将获取到的可见光图片和红外图片输入加速器模块。
3、加速器模块接收来自主控制器模块的可见光图片，运行深度学习算法检测出图片中存在的电力设备，并将检测结果返回给主控制器模块。
4、主控制器模块将检测结果进行本地存储，或同时发送到远程服务器，并利用结果进行进一步的决策和诊断。
红外故障诊断包括如下步骤：
1、主控制器模块控制运动模块使机器人移动到指定地点，并调整好云台姿态。
2、所述传感器模块，通过可见光传感器为目标设备拍摄可见光图片，通过红外传感器为目标设备拍摄与可见光图片相对应的红外图片，所述主控制器模块对拍摄的可见光图片和相应的红外图片做像素级对齐。然后主控制器模块将获取到的可见光图片和红外图片输入加速器模块。
3、加速器模块接收来自主控制器模块的可见光图片和红外图片，运行深度学习算法检测出可见光图片中存在的电力设备。再将检测出的结果用于从红外图片提取出对应设备区域的温度分布图，温度分布图输入卷积神经网络分类器，输出故障诊断结果。加速器模块返回诊断结果到主控制器模块。
4、主控制器模块将诊断结果进行本地存储，或同时发送到远程服务器，并利用结果进行进一步的决策和诊断。
附图说明
图1为一种支持深度学习加速的变电站智能巡检机器人系统的示意图；
图2为基于深度学习加速的变电站智能巡检机器人的电力设备目标检测流程的示意图。
图3为基于深度学习加速的变电站智能巡检机器人的电力设备红外故障诊断流程的示意图。
附图中：1电源模块、2传感器模块、3运动模块、4主控制器模块、5加速器模块。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
如图1所示，本发明提供的一种支持深度学习加速的变电站智能巡检机器人系统包含电源模块1、传感器模块2、运动模块3、主控制器模块4和加速器模块5。
在本发明优选地实施例中，主控制器模块4采用工控机，加速器模块5采用JetsonTX2嵌入式模块。
如图2所示，本发明提供的一种支持深度学习加速的变电站智能巡检机器人系统的电力设备目标检测流程，包括如下步骤：
1、主控制器模块4控制运动模块3使机器人移动到指定地点，并调整好云台姿态。
2、所述传感器模块2，通过可见光传感器为目标设备拍摄可见光图片，通过红外传感器为目标设备拍摄与可见光图片相对应的红外图片，所述主控制器模块4对拍摄的可见光图片和相应的红外图片做像素级对齐。然后主控制器模块4将获取到的可见光图片和红外图片输入加速器模块5。
3、加速器模块5接收来自主控制器模块4的可见光图片，运行深度学习算法检测出图片中存在的电力设备，并将检测结果返回给主控制器模块4。在本发明优选地实施例中，所述加速器模块5运行了深度学习算法Mask-RCNN用于检测图片中存在的设备。
4、主控制器模块4将检测结果进行本地存储，或同时发送到远程服务器，并利用结果进行进一步的决策和诊断。
如图3所示，本发明提供的一种支持深度学习加速的变电站智能巡检机器人系统的电力设备红外故障诊断流程，包括如下步骤：
1、主控制器模块4控制运动模块3使机器人移动到指定地点，并调整好云台姿态。
2、所述传感器模块2，通过可见光传感器为目标设备拍摄可见光图片，通过红外传感器为目标设备拍摄与可见光图片相对应的红外图片，所述主控制器模块4对拍摄的可见光图片和相应的红外图片做像素级对齐。然后主控制器模块4将获取到的可见光图片和红外图片输入加速器模块5。
3、加速器模块5接收来自主控制器模块4的可见光图片和红外图片，运行深度学习算法检测出可见光图片中存在的电力设备。在本发明优选地实施例中，所述加速器模块5运行了深度学习算法Mask-RCNN用于检测可见光图片中存在的设备。再将检测出的结果用于从红外图片提取出对应设备区域的温度分布图，温度分布图输入卷积神经网络分类器，输出故障诊断结果。加速器模块5返回诊断结果到主控制器模块4。
4、主控制器模块4将诊断结果进行本地存储，或同时发送到远程服务器，并利用结果进行进一步的决策和诊断。
本发明提供的一种支持深度学习加速的变电站智能巡检机器人系统，其益处在于，在传统的巡检机器人架构上增加一个低功耗专用加速模块，能够对深度学习算法进行加速，使得机器人能够实时的在边缘利用性能强大的深度学习算法来进行智能判断，提升电力设备巡检效率。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (4)

1.一种支持深度学习加速的变电站智能巡检机器人系统，适用于电力设备巡检，其特征在于，包括：
电源模块，为整个机器人系统供电；
传感器模块，采集各种类型的数据，用于决策和控制；
运动模块，控制机器人的移动、转向和云台姿态；
主控制器模块，接收操作员指令，接收传感器模块数据，进行行为决策；
控制运动模块，将需要加速处理的数据发送到加速器模块，并接收加速器模块返回结果；
对数据本地存储和远程传输到后台和加速器模块；
加速器模块，接收主控制器命令和数据，进行深度学习模型的加速运算，并返回运算结果给主控制器模块。
2.根据权利要求1所述的一种支持深度学习加速的变电站智能巡检机器人系统，其特征在于：
所述电源模块内包括电池、电量监测、变换器、功率匹配；
所述传感器模块包括激光雷达、惯性测量单元、超声波传感器、旋转编码器、红外图像传感器、可见光图像传感器；
所述运动模块包括云台、驱动器和电机；所述主控制器模块包括处理器、内存、硬盘、通信接口；
所述加速器模块包括专用加速处理器、存储器、通信接口。
3.根据权利要求1或2所述的一种支持深度学习加速的变电站智能巡检机器人系统的应用方法，包括目标检测，其特征在于，所述目标检测包括以下步骤：
S1.1:主控制器模块控制运动模块使机器人移动到指定地点，并调整好云台姿态；
S1.2:传感器模块通过可见光传感器为目标设备拍摄可见光图片，通过红外传感器为目标设备拍摄与可见光图片相对应的红外图片，所述主控制器模块对拍摄的可见光图片和相应的红外图片做像素级对齐；
S1.3:主控制器模块将获取到的可见光图片和红外图片输入加速器模块；
S1.4:加速器模块接收来自主控制器模块的可见光图片，运行深度学习算法检测出图片中存在的电力设备，并将检测结果返回给主控制器模块；
S1.5:主控制器模块将检测结果进行本地存储，或同时发送到远程服务器，并利用结果进行进一步的决策和诊断。
4.根据权利要求1或2所述的一种支持深度学习加速的变电站智能巡检机器人系统的应用方法，包括红外故障诊断，其特征在于，所述红外故障诊断包括以下步骤：
S2.1:主控制器模块控制运动模块使机器人移动到指定地点，并调整好云台姿态
S2.2:传感器模块，通过可见光传感器为目标设备拍摄可见光图片，通过红外传感器为目标设备拍摄与可见光图片相对应的红外图片，所述主控制器模块对拍摄的可见光图片和相应的红外图片做像素级对齐；
S2.3:主控制器模块将获取到的可见光图片和红外图片输入加速器模块；
S2.4:加速器模块接收来自主控制器模块的可见光图片和红外图片，运行深度学习算法检测出可见光图片中存在的电力设备，再将检测出的结果用于从红外图片提取出对应设备区域的温度分布图，温度分布图输入卷积神经网络分类器，输出故障诊断结果，加速器模块返回诊断结果到主控制器模块；
S2.5:主控制器模块将诊断结果进行本地存储，或同时发送到远程服务器，并利用结果进行进一步的决策和诊断。
CN202011030797.1A 2020-09-27 2020-09-27 一种支持深度学习加速的变电站智能巡检机器人系统 Pending CN112123338A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011030797.1A CN112123338A (zh) 2020-09-27 2020-09-27 一种支持深度学习加速的变电站智能巡检机器人系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011030797.1A CN112123338A (zh) 2020-09-27 2020-09-27 一种支持深度学习加速的变电站智能巡检机器人系统

Publications (1)

Publication Number Publication Date
CN112123338A true CN112123338A (zh) 2020-12-25

Family

ID=73840523

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011030797.1A Pending CN112123338A (zh) 2020-09-27 2020-09-27 一种支持深度学习加速的变电站智能巡检机器人系统

Country Status (1)

Country Link
CN (1) CN112123338A (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749309A (zh) * 2021-01-19 2021-05-04 上海茵罗智能科技有限公司 一种ai智能机器人数据收集方法
CN113220628A (zh) * 2021-04-29 2021-08-06 深圳供电局有限公司 面向电网异常检测的处理器和边缘计算装置
CN115346034A (zh) * 2022-10-17 2022-11-15 山东德晟机器人股份有限公司 一种基于5g网络的机器人远程诊断与维护方法及系统

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039977A (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 공항용 보조 로봇 및 그의 동작 방법
CN207327003U (zh) * 2017-08-08 2018-05-08 王天辰 电力设备智能巡检机器人系统
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110850723A (zh) * 2019-12-02 2020-02-28 西安科技大学 一种基于变电站巡检机器人系统的故障诊断及定位方法
CN111611855A (zh) * 2020-04-17 2020-09-01 广东电网有限责任公司 一种变电站三维可视化机器人智能巡检系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180039977A (ko) * 2016-10-11 2018-04-19 엘지전자 주식회사 공항용 보조 로봇 및 그의 동작 방법
CN207327003U (zh) * 2017-08-08 2018-05-08 王天辰 电力设备智能巡检机器人系统
CN110614638A (zh) * 2019-09-19 2019-12-27 国网山东省电力公司电力科学研究院 一种变电站巡检机器人自主采集方法及系统
CN110850723A (zh) * 2019-12-02 2020-02-28 西安科技大学 一种基于变电站巡检机器人系统的故障诊断及定位方法
CN111611855A (zh) * 2020-04-17 2020-09-01 广东电网有限责任公司 一种变电站三维可视化机器人智能巡检系统

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112749309A (zh) * 2021-01-19 2021-05-04 上海茵罗智能科技有限公司 一种ai智能机器人数据收集方法
CN113220628A (zh) * 2021-04-29 2021-08-06 深圳供电局有限公司 面向电网异常检测的处理器和边缘计算装置
CN115346034A (zh) * 2022-10-17 2022-11-15 山东德晟机器人股份有限公司 一种基于5g网络的机器人远程诊断与维护方法及系统

Similar Documents

Publication Publication Date Title
CN112123338A (zh) 一种支持深度学习加速的变电站智能巡检机器人系统
CN112775970A (zh) 一种巡检机器人多传感器系统及巡检方法
CN103235562A (zh) 变电站基于巡检机器人的综合参数检测系统及巡检方法
CN112056301A (zh) 一种变电站自主侦测驱鸟系统
CN116494201A (zh) 一种监控一体化的电力机房巡检机器人及无人巡检方法
CN111668927A (zh) 一种基于泛在电力物联网的变电站智能巡检系统及其控制方法
Cheng et al. The design and application of a track-type autonomous inspection robot for electrical distribution room
WO2019094177A1 (en) Systems and method for human-assisted robotic industrial inspection
Mahaadevan et al. AViTRoN: Advanced vision track routing and navigation for autonomous charging of electric vehicles
CN112702570A (zh) 一种基于多维行为识别的安防管理系统
Ferbin et al. Power Transmission Line Inspection Using Unmanned Aerial Vehicle-A Review
CN119919855A (zh) 一种风电场智能视频监控与异常行为识别系统、方法、设备及介质
CN110244188A (zh) 一种电网故障诊断方法、装置及配电开关监控终端
Park et al. Hand-monitoring system using cutmix-based synthetic augmentation for safety in factories
Rymarczyk et al. Tomographic ultrasonic sensors in industrial applications
Wei et al. Design of deep learning algorithm in the control system of intelligent inspection robot of substation
Tenguria et al. Design framework for general purpose object recognition on a robotic platform
Li et al. Intelligent control method of live working robot based on cloud and edge computing terminal
CN209046786U (zh) 一种加强对目标监控的室内智能监控设备
CN208323396U (zh) 一种智能机器人的硬件平台
Jin et al. Exploration of Key Technologies of Intelligent Inspection Robots in the Application of Automatic Energy Meter Verification Line
Liu et al. Design of a garbage sorting robot based on machine vision
CN113516122A (zh) 面向配电房智能值守作业的机器人视觉系统和方法
Oliveira et al. Sliding mode control of uncertain multivariable nonlinear systems applied to uncalibrated robotics visual servoing
Lu et al. Design and implement of control system for power substation equipment inspection robot

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20201225