CN113001569A - 一种基于vr技术的带电作业机械臂遥操系统和人机交互方法 - Google Patents

Abstract

本发明公开了一种基于VR技术的带电作业机械臂遥操系统，包括机械臂作业平台嵌入式控制系统与增强现实监控及操作系统，机械臂作业平台嵌入式控制系统包括嵌入式控制单元、传感器输入单元、执行器控制单元、电源管理单元和无线通信单元；增强现实监控及操作系统包括高性能运算主机、人机交互设备和无线通信设备，人机交互设备包括头戴式显示器、左右机械臂关节检测设备、左右机械抓手体感手套和键盘鼠标输入设备，该系统可以通过人机交互方式进行对机械臂和机械抓手的控制，上述设备配合本发明的人机交互方法能够使得作业人员直观的对于电力施工用工器具进行远距离体感操作。

Description

一种基于VR技术的带电作业机械臂遥操系统和人机交互方法

技术领域

本发明涉及一种用于电力施工作业领域的基于VR技术的带电作业机械臂遥操系统和人机交互方法。

背景技术

电力行业是关系到国计民生的重要行业,倘若配电线路在运行过程中出现损坏,将会导致大面积供电中断问题,对居民个人生活产生很大程度影响。带电作业是一种在高压电器设备上不停电进行维修、构件更换和测试的一线特殊的工程技术。为减少停电时间、提升供电可靠性和服务水平，带电作业已经成为最直接、最有效的重要手段，其重要性日益突出。

目前，在我国人工带电作业是一直被采用的带电作业方式。为解决操作人员处于高空、露天、高压及高电磁辐射的环境中工作，跌落或高压触电等伤亡事故的发生，带电作业机器人受到国内外许多专家的关注，日本等国家对带电作业机器人研究起步较早，第三代带电作业机器人具备对环境进行三维识别，有了决策和控制能力。而国内对于带电作业机器人的研究起步比较晚，目前采用主手操作杆和手持终端实现对机械臂两种方式的人工控制系统，当机械臂与作业对象之间的距离比较远时，采用主从控制；当距离较近时采用自主控制。通过了液压驱动，采取多级绝缘防护措施。

由于现有国内高压带电作业机器人的主要作业方式是操作人员与作业机械臂共同处于高空作业平台内，操作人员通过操作作业机械臂的主手来控制从手进行作业，虽然作业效率比较高，但没有使操作人员完全脱离电磁辐射和高空作业时的危险，因此，发展了一种操作人员位于地面或移动汽车上安装的操作室，通过机器人的视觉系统提供的数据为作业机械臂进行遥控操作以完成作业的工作方式。这种作业方式能够使操作人员以更安全的方式完成作业，但是由于作业人员不能直接近距离观察到作业对象，操作机械作业动作和空间感易产生偏差，影响了作业效率。

发明内容

本发明的目的是为了克服现有技术的不足，提供一种基于VR技术的带电作业机械臂遥操系统和人机交互方法，能够使得作业人员直观的对于电力施工用工器具进行远距离体感操作。

实现上述目的的一种技术方案是：一种基于VR技术的带电作业机械臂遥操系统，包括机械臂作业平台嵌入式控制系统与增强现实监控及操作系统；

所述机械臂作业平台嵌入式控制系统包括嵌入式控制单元、传感器输入单元、执行器控制单元、电源管理单元和无线通信单元；嵌入式控制单元负责指令收发、传感器采集处理和逻辑运算；传感器输入单元外接全景相机、PTZ监控相机、薄膜压力传感器组、姿态传感器组，负责视觉反馈、姿态感知和操作力反馈；执行器控制单元负责工业级六自由度机械臂的关节、机械抓手的关节、PTZ云台的运动驱动；电源管理单元负责充放电管理和稳压电源输出；无线通信单元负责数据解析、编码、压缩和传输。

增强现实监控及操作系统包括高性能运算主机、人机交互设备和无线通信设备，人机交互设备包括头戴式显示器、左右机械臂关节检测设备、左右机械抓手体感手套和键盘鼠标输入设备，该系统可以通过人机交互方式进行对机械臂和机械抓手的控制。

进一步的，所述增强现实监控及操作系统具备数据存储、视频存储、安全管理、网络通信的功能，能够实时记录操作数据和系统状态，在作业过程中，也会实时存储全景相机和监控相机的视频流数据，用于后续操作回放和故障复查。

进一步的，所述增强现实监控及操作系统设有安全管理单元，其限制机械臂的运动范围，避免两个机械臂之间以及与包括摄像头在内的自身设备发生干涉。

进一步的，机械臂前段夹持装置外部包裹绝缘层，避免在操作过程中两个机械臂之间的误触或相间放电。

进一步的，机械臂的底盘进行全向绝缘包覆，避免高压线与地面之间形成回路。

进一步的，系统采用电池组进行供电，机械臂作业平台嵌入式控制系统与增强现实监控及操作系统的两套系统通过两套供电系统进行分别供电，两套系统间采用无线通信进行信号连接，实现电气物理隔离，避免机械臂与操控舱之间产生电气连接。

采用上述基于VR技术的带电作业机械臂遥操系统的一种人机交互方法，包括如下步骤：

S1、通过头戴式显示器加载全景相机以及PTZ监控相机采集的立体图像及机械平台状态信息；

S2、转动头部显示器控制全景相机及PTZ监控相机拍摄角度；

S3、通过机械臂关节检测设备检测操作人员手臂姿态和运动速度，从而控制机械臂臂型，以达到亲自操作机械臂的效果；

S4、通过机械手体感手套检测操作人员的手部姿态，用于控制仿真机械抓手抓取工具或线缆，也可以实现握持剪线工具完成对线缆的修剪操作。

本发明的一种基于VR技术的带电作业机械臂遥操系统和人机交互方法，通过全景相机等监控设备监控带电作业现场，并利用增强现实技术构建立体图像，操作人员针对作业任务于远程利用遥操作技术，通过人机交互设备控制带电作业机械臂及机械手，从而达到完成高效可靠的带电作业以及电气隔离的目的。

附图说明

图1为本发明的一种基于VR技术的带电作业机械臂遥操系统的结构示意图；

图2为本发明的一种基于VR技术的带电作业机械臂遥操系统的系统架构示意图；

图3为本发明的一种基于VR技术的带电作业机械臂遥操系统的机械臂作业平台嵌入式控制系统的布局结构示意图。

具体实施方式

为了能更好地对本发明的技术方案进行理解，下面通过具体地实施例进行详细地说明：

请参阅图1，本发明的一种基于VR技术的带电作业机械臂遥操系统，包括机械臂作业平台嵌入式控制系统1与增强现实监控及操作系统2。

机械臂作业平台嵌入式控制系统1安装于斗臂车吊臂前部，配备两个六自由度机械臂和多路高清视觉反馈系统，能够向监控端实时反馈操作端高清图像，为了避免与操控舱之间有电气连接，机械臂自动化作业平台配备锂电池组进行供电，实现电气物理隔离。针对10KV及其以下的配电线路，机械臂可携带多种电工工具完成线缆切割，拉闸等常见的电工作业操作。

增强现实监控及操作系统2安装于斗臂车移动平台操控舱内，能够直接控制作业平台上的机械臂，机械臂自动化作业平台与虚拟现实监控系统之间通过低延迟高速无线链路进行通信，避免高压经控制线路对操作人员产生伤害。增强现实监控及操作系统包括高性能运算主机、人机交互设备和无线通信设备，人机交互设备包括头戴式显示器、左右机械臂关节检测设备、左右机械抓手体感手套和键盘鼠标输入设备，该系统可以通过人机交互方式进行对机械臂和机械抓手的控制。

图2为本发明的基于VR技术的带电作业机械臂遥操系统的组成，包括机械臂自动化作业平台嵌入式控制单元3、传感器输入单元4、执行器控制单元5、电源管理单元6、无线通信单元7、高性能工业计算主机8以及人机交互设备9。电源管理单元6通过其配置的锂电池单独向机械臂作业平台供电，进行电气隔离。传感器输入单元4通过配置的全景相机、两个PTZ监控相机以及压力传感器组，可以采集机械臂前方200°的广角视野，并且可以避免造成视野盲区，同时可以采集机械手中检测0-10kg的压力变化，并将视频以及压力信息编码压缩传输给机械臂自动化作业平台嵌入式控制单元3，信息经处理后通过无线通信单元7发送给高性能工业计算主机8。

高性能工业计算主机8包括操控IO接口单元、头部姿态解算单元、VR图像运算单元、安全管理单元和人机交互界面。VR图像运算单元将经过无线通信单元7传输的数据进行解码，并将图像及机械平台状态信息加载到头戴式显示器中形成由立体图像及机械平台状态信息组成的交互界面；操作人员根据交互界面和实际工作任务操作人机交互设备9：头戴式显示器检测头部转动幅度，通过头部姿态结算单元结算编码发出全景相机以及PTZ监控相机的转向信号，通过机械臂关节检测设备检测操作人员手臂姿态和运动速度，发出两个六自由度机械臂的关节控制信号。通过可穿戴体感手套检测操作人员的手部姿态，发出两个仿真机械爪的关节控制信号。控制信号通过IO接口单元发送给高性能工业计算主机8；安全管理模块可以限制机械臂的运动范围，避免两个机械臂之间以及与摄像头等自身设备发生干涉，保护设备安全。

高性能工业计算机6将控制信号编码压缩通过无线通信单元5传输给机械臂自动化作业平台嵌入式控制单元3，将经解码后控制信息发送给执行器控制单元5，通过执行器控制单元5的机械臂运动控制模块、机械手运动控制模块控制左右机械臂电机组以及左右机械手，从而达到遥操作机械臂的目的，完成抓取工具或线缆等物体，也可以完成握持剪线工具对线缆的修剪操作。

图3为机械臂作业平台嵌入式控制系统1的布局，主要包括作业平台10、护栏11、斗臂12、机械臂嵌入式控制箱13、左机械臂14、右机械臂15、全景相机16以及PTZ监控相机17。平台10、护栏11、斗臂12提供保护和支撑作用；机械臂嵌入式控制箱13接收控制信息，控制左机械臂14以及右机械臂15的关节转角；全景相机16可以实现200°的广角视野，但是由于安装位置在机械臂之间，因此某些角度会被机械臂遮挡造成视野盲区，为了消除视野盲区，在作业平台两侧安装有两个PTZ高清相机17，并具备云台控制和焦距调整等功能。

本发明的基于VR技术的带电作业机械臂遥操系统具备三个维度的电气隔离方式：

(1)机械臂上考虑喷涂绝缘涂层，机械臂前段夹持装置外部包裹绝缘层，避免在操作过程中两个机械臂之间的误触或相间放电；

(2)机械臂底盘采用绝缘设计，避免高压线与地面之间形成回路；

(3)为了避免机械臂端与操控舱之间有电气连接，机械臂自动化作业平台配备锂电池组进行供电，两个控制系统间采用无线通信，实现电气物理隔离，避免高压经控制线路对操作人员产生伤害。

采用上述基于VR技术的带电作业机械臂遥操系统的一种人机交互方法，包括如下步骤：

S1、通过头戴式显示器加载全景相机以及PTZ监控相机采集的立体图像及机械平台状态信息；

S2、转动头部显示器控制全景相机及PTZ监控相机拍摄角度；

S3、通过机械臂关节检测设备检测操作人员手臂姿态和运动速度，从而控制机械臂臂型，以达到亲自操作机械臂的效果；

S4、通过机械手体感手套检测操作人员的手部姿态，用于控制仿真机械抓手抓取工具或线缆，也可以实现握持剪线工具完成对线缆的修剪操作。

本技术领域中的普通技术人员应当认识到，以上的实施例仅是用来说明本发明，而并非用作为对本发明的限定，只要在本发明的实质精神范围内，对以上所述实施例的变化、变型都将落在本发明的权利要求书范围内。

Claims (7)

1.一种基于VR技术的带电作业机械臂遥操系统，包括机械臂作业平台嵌入式控制系统与增强现实监控及操作系统，其特征在于：

机械臂作业平台嵌入式控制系统包括嵌入式控制单元、传感器输入单元、执行器控制单元、电源管理单元和无线通信单元；嵌入式控制单元负责指令收发、传感器采集处理和逻辑运算；传感器输入单元外接全景相机、PTZ监控相机、薄膜压力传感器组、姿态传感器组，负责视觉反馈、姿态感知和操作力反馈；执行器控制单元负责工业级六自由度机械臂的关节、机械抓手的关节、PTZ云台的运动驱动；电源管理单元负责充放电管理和稳压电源输出；无线通信单元负责数据解析、编码、压缩和传输；

增强现实监控及操作系统包括高性能运算主机、人机交互设备和无线通信设备，人机交互设备包括头戴式显示器、左右机械臂关节检测设备、左右机械抓手体感手套和键盘鼠标输入设备，该系统可以通过人机交互方式进行对机械臂和机械抓手的控制。

2.根据权利要求1所述的一种基于VR技术的带电作业机械臂遥操系统，其特征在于，所述增强现实监控及操作系统具备数据存储、视频存储、安全管理、网络通信的功能，能够实时记录操作数据和系统状态，在作业过程中，也会实时存储全景相机和监控相机的视频流数据，用于后续操作回放和故障复查。

3.根据权利要求1所述的一种基于VR技术的带电作业机械臂遥操系统，其特征在于，所述增强现实监控及操作系统设有安全管理单元，其限制机械臂的运动范围，避免两个机械臂之间以及与包括摄像头在内的自身设备发生干涉。

4.根据权利要求1所述的一种基于VR技术的带电作业机械臂遥操系统，其特征在于，机械臂前段夹持装置外部包裹绝缘层，避免在操作过程中两个机械臂之间的误触或相间放电。

5.根据权利要求1所述的一种基于VR技术的带电作业机械臂遥操系统，其特征在于，机械臂的底盘进行全向绝缘包覆，避免高压线与地面之间形成回路。

6.根据权利要求1所述的一种基于VR技术的带电作业机械臂遥操系统，其特征在于，系统采用电池组进行供电，机械臂作业平台嵌入式控制系统与增强现实监控及操作系统的两套系统通过两套供电系统进行分别供电，两套系统间采用无线通信进行信号连接，实现电气物理隔离，避免机械臂与操控舱之间产生电气连接。

7.采用上述基于VR技术的带电作业机械臂遥操系统的一种人机交互方法，其特征在于，包括如下步骤：

S1、通过头戴式显示器加载全景相机以及PTZ监控相机采集的立体图像及机械平台状态信息；

S2、转动头部显示器控制全景相机及PTZ监控相机拍摄角度；

S3、通过机械臂关节检测设备检测操作人员手臂姿态和运动速度，从而控制机械臂臂型，以达到亲自操作机械臂的效果；

S4、通过机械手体感手套检测操作人员的手部姿态，用于控制仿真机械抓手抓取工具或线缆，也可以实现握持剪线工具完成对线缆的修剪操作。

Images