CN111121749B

CN111121749B - 一种基于神经网络的3d音效增强现实盲人导航系统的导航方法

Info

Publication number: CN111121749B
Application number: CN201911362212.3A
Authority: CN
Inventors: 邱赛; 张霖原; 孙孟莉; 张文宣; 韩可
Original assignee: Individual
Current assignee: Individual
Priority date: 2019-12-26
Filing date: 2019-12-26
Publication date: 2023-05-23
Anticipated expiration: 2039-12-26
Also published as: CN111121749A

Abstract

本发明提供的基于神经网络的3D音效增强现实盲人导航系统及导航方法中，景物识别模块用于识别物体种类、大小；空间位置测量模块用于测量物体空间位置，其中双目相机测量位置和超声波传感器测量位置相互印证，更有效的获取物体位置；虚拟声音源生成模块是在物体对应的虚拟空间位置生成一个匹配的声音源，并在盲人耳机扬声器中形成3D立体音；盲人通过分辨声音源种类和位置来感知世界，能有效的探知障碍物的位置；采用3D立体音的方式，可以使盲人获得更好的空间感，直接、简便的获得物体位置，更有利于盲人适应复杂路况；该盲人导航系统是实时测量并即时转换的，盲人可以实时获取周围物体的信息，给盲人带来极大的空间体验感和更高的安全感。

Description

一种基于神经网络的3D音效增强现实盲人导航系统的导航方法

技术领域

本发明涉及一种基于神经网络的3D音效增强现实盲人导航系统及导航方法，属于盲人导航领域。

背景技术

盲人在日常生活中存在诸多不便，在出行时需要借助必要的工具，目前盲人的导航工具有手杖和导航犬等，即使这样也很不能方便、实时的引导盲人安全出行。虽然盲人的眼睛失明了，但是盲人的耳朵是正常的，耳朵可以听声辨位，盲人可以根据声音信号的情况探知物体的位置。因此，一些具有语音播报功能的导航系统应运而生，但是语音播报无法给盲人产生立体空间感，盲人在对语音播报分析时，需要耗费的精力和时间也比较多，反应也就比较迟缓。

增强现实技术是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息、声音、味道、触觉等)通过电脑等科学技术，模拟仿真后叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验，即将真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。目前采用增强现实技术的盲人导航系统需要在相应的区域布置增强现实标记才能为盲人提供导航信息，存在一定的局限性；而且只有摄像头可以识别物体位置，精度有待提高，对盲人来说存在一定的安全隐患。

发明内容

本发明的目的在于解决现有技术的不足，并提供一种直接简便、无需记忆播报内容、有效探知障碍物位置的基于神经网络的3D音效增强现实盲人导航系统及导航方法。

实现本发明目的所采用的技术方案是：该基于神经网络的3D音效增强现实盲人导航系统，包括超声波传感器、中央处理器、系统支架和耳机，双目相机的两个摄像头通过系统支架相连，双目相机、超声波传感器和耳机均通过导线与中央处理器建立通信连接；双目相机和中央处理器组成用于识别物体种类和大小的景物识别模块；双目相机、超声波传感器和中央处理器组成用于测量物体空间位置的空间位置测量模块；中央处理器和耳机组成虚拟声音源生成模块，虚拟声音源生成模块用于在物体对应的虚拟空间位置生成一个匹配的声音源，并形成盲人耳机扬声器中的3D立体音。

本发明同时提供了一种基于神经网络的3D音效增强现实盲人导航系统的导航方法，具体方法如下：

双目相机用于实时采集现实世界中盲人周围的景物图片，并将图片传输给中央处理器，中央处理器通过景物识别算法识别采集到的图片中物体的种类、大小，并将其内部存储的已采集完成的自然界声音源与该物体匹配，找出物体对应的声音源，供放置虚拟声音源使用，景物识别算法如下:

通过卷积神经网络训练后，获得卷积核模型W1、W5和WO，其中，W1是n个并行的卷积核的统称，n≥3，将W1、W5和WO的固定数值用于景物识别算法，双目相机采集到的图像X与卷积核W1进行卷积得到结果Y1：

Y1＝W1*X；

Y1通过ReLU函数处理得到结果Y2：

Y2＝ReLU(Y1)；

Y2经过4X4池化作用得到结果Y3，所用池化规则为平均值函数：

Y3＝avr(Y2)_4X4；

Y3为多维矩阵形式，对矩阵进行顺序展开，得一维数列Y4；

Y4与卷积核W5卷积得到结果V5：

V5＝Y4*W5；

V5经过ReLU函数处理得到结果Y5：

Y5＝ReLU(V5)；

Y5与卷积核WO卷积得到结果V：

V＝Y5*WO；

V经过Softmax函数处理得结果Y：

Y＝Softmax(V)；

将Y值与图像X对应的声音源标签库中所有声音源D做方差，找到最小方差对应的声音源，即为图像X对应的声音源；

双目相机还通过采集到的同一物体的不同角度的两张照片，实时获得物体的位置，超声波传感器通过分析发射超声波和接收超声波两者之间的时间差，实时获得物体位置，双目相机和超声波传感器都将获得的物体的位置信息传递给中央处理器，将物体位置转换为以盲人为原点的虚拟空间的坐标；最后在物体对应的虚拟空间位置生成一个匹配的声音源，当所有的物体对应的声音源完全生成后，将这些声音源即时转换成盲人耳机扬声器中的3D立体音。

所述每种声音源对应的景物图片至少采集5万张，多个声音源之间的的对应关系需人工设定后，输入卷积神经网络模型中进行训练，获得卷积核模型W1、W5和WO。

所述双目相机与超声波传感器同时用于测量同一物体的位置。

所述双目相机朝向与人脸方向一致。

所述声音源为采集到的自然界物体发出的声音，声音源均同时播放。

所述虚拟空间是指盲人通过声音源在两耳的耳机扬声器产生的立体音中获得的空间感。

所述虚拟空间与真实空间对应重合，声音源的位置即为探测到的物体位置。

由上述技术方案可知，本发明提供的基于神经网络的3D音效增强现实盲人导航系统，包括景物识别模块、空间位置测量模块和虚拟声音源生成模块，景物识别模块具有识别物体种类、大小的功能；空间位置测量模块具有测量物体空间位置的功能；虚拟声音源生成模块是根据景物识别模块匹配出的声音源和空间位置测量模块计算出的物体的空间位置，由中央处理器在物体对应的虚拟空间位置生成一个匹配的声音源，并在盲人耳机扬声器中形成3D立体音；基于神经网络的3D音效增强现实盲人导航系统的导航方法中，双目相机测量的物体位置和超声波传感器测量的物体位置相互印证，能够更有效的获取物体的空间位置；盲人通过分辨声音源种类和声音源的位置来感知世界，能有效的探知障碍物的位置；而且采用3D立体音的方式，不仅可以使盲人获得更好的空间感，还可使盲人更直接、简便的获得物体位置，更有利于盲人适应复杂路况；该盲人导航系统及方法是实时测量并即时转换的，盲人可以实时获取周围物体的信息，并作出相应的反应措施，给盲人带来极大的空间体验感和更高的安全感。

综上，本发明技术方案所具有的有益效果在于：

(1)本发明提供的基于神经网络的3D音效增强现实盲人导航系统，通过景物识别模块识别物体种类、大小，空间位置测量模块测量物体的空间位置，虚拟声音源生成模块根据景物识别模块匹配出的声音源和空间位置测量模块计算出的物体的空间位置，在物体对应的虚拟空间位置生成一个匹配的声音源，声音源的位置即为探测到的物体位置，实现了虚拟空间与真实空间的对应重合。

(2)双目相机测量的物体位置和超声波传感器测量的物体位置相互印证，更有效的获取物体的空间位置。

(3)通过在盲人耳机扬声器中形成3D立体音的方式，使盲人获得更好的空间感，无需记忆播报内容，还可使盲人更直接、简便的获得物体位置，更有利于盲人适应复杂路况。

(4)该盲人导航系统及导航方法采用实时测量并即时转换的方式，使得盲人可以实时获取周围物体的信息，并作出相应的反应措施，给盲人带来极大的空间体验感和更高的安全感。

(5)不同声音源的位置和类别不同，可以忽略声音之间相互干扰，因此盲人通过分辨声音源和声音源位置感知世界，更有效的探知障碍物的位置。

附图说明

图1为该基于神经网络的3D音效增强现实盲人导航系统及导航方法的应用示意图。

图2为本发明景物识别算法中的卷积神经网络模型图。

图中：1.超声波传感器，2.系统支架，3.中央处理器，4.双目相机，5.耳机，6.盲人，7.道路，8.垃圾箱，9.树木，10.声音源发出的声波。

具体实施方式

结合附图和实施例对本发明作进一步说明。

图1为该基于神经网络的3D音效增强现实盲人导航系统及导航方法的应用示意图。参照图1，该基于神经网络的3D音效增强现实盲人导航系统由超声波传感器1、系统支架2、中央处理器3、双目相机4和耳机5构成，双目相机4的两个摄像头通过系统支架2相连，双目相机朝向与人脸方向一致。双目相机4和超声波传感器1均通过导线与中央处理器3建立通信连接，中央处理器3通过导线与耳机5建立通信连接。双目相机4和中央处理器3组成景物识别模块，双目相机4、超声波传感器1和中央处理器3组成空间位置测量模块，中央处理器3和耳机5组成虚拟声音源生成模块。声音源均为采集自然界物体的声音。树在平时不会发出声音，盲人无法探知，本发明采集风吹过树叶产生的沙沙响的声音作为树的声音源，经图像识别后，添加风吹过树叶产生的沙沙响的声音在树的位置，盲人即可探知树的位置；盲人前方有水坑，水坑没有声音，盲人无法探知，本发明采集水流动的声音为水坑的声音源，经图像识别后，添加水流动的声音在水坑位置，盲人即可探知水坑位置。诸如此类声音源采集方法，盲人可以通过分辨这些声音源和声音源位置来感知这个世界，比语音播报更加高效。

本发明中，每种声音源对应的景物图片至少采集5万张，多个声音源的对应关系需人工设定之后，输入到卷积神经网络模型中进行训练，训练成功后，获得最优的卷积核模型W1、W5和WO，其中W1是n个并行的卷积核的统称，n≥3。本发明中景物识别算法中的卷积神经网络模型图如图2所示，参照图2具体训练过程如下：

(1)正向传播训练阶段：

输入：双目相机中的一个采集到的图像X，以及图像X已知对应的声音源D，图像X与W1进行卷积得到结果Y1：

Y1＝W1*X；

Y1经过ReLU函数处理得到结果Y2：

Y2＝ReLU(Y1)；

Y2经过4X4池化作用得到结果Y3，本发明所用池化规则为平均值函数：

Y3＝avr(Y2)_4X4；

所得到的Y3为多维矩阵形式，对矩阵进行顺序展开，得一维数列Y4

Y4与卷积核W5卷积得到结果V5：

V5＝Y4*W5；

V5经过ReLU函数处理得到结果Y5：

Y5＝ReLU(V5)；

Y5与卷积核WO卷积得到结果V：

V＝Y5*WO；

V经过Softmax函数处理得到结果Y：

Y＝Softmax(V)；

由于W1是n个并行的卷积核模型的统称，所以每次运算获得的结果Y不相同，当输入图像X为树枝时，获得结果Y(Y为n行1列的矩阵)，此时Y不是最优结果，与D的差别还很大，需经过反向传播训练对神经网络进行修正。

(2)反向传播训练阶段：

将图像X对应的声音源D与Y作差得到结果E：

E＝D-Y；

E经过Softmax的反函数Softmax^-1处理得到结果dWO：

dWO＝Softmax^-1(E)；

dWO与WO的转置矩阵WO’卷积得结果E5：

E5＝WO’*dWO；

E5经过ReLU反函数ReLU^-1处理得到结果Δ5：

Δ5＝ReLU^-1(E5)；

Δ5与W5转置矩阵W5’卷积得到结果E4：

E4＝W5’*Δ5；

E4为一维数列，为对应卷积神经网络中的多维矩阵，需将一维数列E4反整形为多维矩阵E3。

E3经过反池化处理的E2，由于池化规则是4X4矩阵内多数相加求平均值，因此反池化为E3一个数值e3(1,1)扩展为4X4矩阵，且矩阵值均为e3(1,1)E2经过ReLU反函数ReLU^-1处理得到结果Δ2:

Δ2＝ReLU^-1(E2)；

卷积核W1的增量d W1＝Δ2，卷积核W5的增量d W5＝Δ5*Y4’

卷积核WO的增量d WO＝E*Y5’

卷积核经过一次训练的最终值为：

W1＝W1+d W1

W5＝W5+d W5

WO＝WO+d WO

卷积核需经过上万次训练，每次训练期间都会输出一个Y值，将输出的Y与D做方差，设置一个阈值Ymin当方差var(D-Y)<Ymin时，即可停止迭代训练，这个过程一般需要有数万次训练才可完成，获得最优的卷积核模型。此时输入X图像，得到的输出Y才能与事先标定好的标签D的方差达到最小。

将此时的神经网络中的所有参数保存下来。用于识别过程。

该基于神经网络的3D音效增强现实盲人导航系统的导航方法中，双目相机4用于采集现实世界中盲人周围的景物图片，并将图片传输给中央处理器3，中央处理器3通过景物识别算法识别采集到的图片中物体的种类、大小，并将其内部存储的已采集完成的自然界声音源与该物体匹配，找出物体对应的声音源，供放置虚拟声音源使用，景物识别算法如下:

通过卷积神经网络训练后，将获得的最优的卷积核模型W1、W5和WO的固定数值用于景物识别算法，双目相机采集到的图像X与卷积核W1进行卷积得到结果Y1：

Y1＝W1*X；

Y1通过ReLU函数处理得到结果Y2：

Y2＝ReLU(Y1)；

Y2经过4X4池化作用得到结果Y3，所用池化规则为平均值函数：

Y3＝avr(Y2)_4X4；

Y3为多维矩阵形式，对矩阵进行顺序展开，得一维数列Y4；

Y4与卷积核W5卷积得到结果V5：

V5＝Y4*W5；

V5经过ReLU函数处理得到结果Y5：

Y5＝ReLU(V5)；

Y5与卷积核WO卷积得到结果V：

V＝Y5*WO；

V经过Softmax函数处理得结果Y：

Y＝Softmax(V)；

将Y值与图像X已知对应的声音源D进行比对，找到声音源；

当图像X为树枝时，其对应的树枝响声的声音源D一共有n(n为当前录入的声音源的总数量)种情况，树枝响声的声音源D为(0,0，…，1，…，0,0)，此为n行1列的矩阵，对声音源进行编号，即1-n。当树枝响声对应声音源编号为m时，则n行1列的矩阵m位为1，其余位为0，此即为树枝响声对应的D的具体数值。进行识别时，所有参数都已经训练完毕，不再更改，W1，W5，W0均固定，输入图像X后，输出一个Y，将Y与声音源标签库所有声音源D做方差，找出最小方差D对应的声音源，即为图像X对应的声音源。

双目相机4中的双目测距模块可以通过两个摄像头采集到的同一物体的不同角度的两张照片，获得物体空间位置，并将物体位置传递给中央处理器3，由中央处理器3转为换相应的以盲人为原点的虚拟空间的坐标。超声波传感器1通过分析发射超声波和接收超声波两者之间的时间差，获得物体位置，并传递给中央处理器3，由中央处理器3转换为相应的以盲人为原点的虚拟空间的坐标。双目相机4测量的物体位置和超声波传感器1测量的物体位置相互印证，更有效的获取物体的空间位置。虚拟声音源生成模块根据景物识别模块匹配出的声音源和空间位置测量模块计算出的物体的空间位置，由中央处理器3在物体对应的虚拟空间位置生成一个匹配的声音源，当所有的物体对应的声音源完全生成后，中央处理器3经过处理后在盲人耳机5扬声器中形成3D立体音，给盲人6带来声音立体感。耳机5有两个扬声器，左右耳朵各一个，用来产生3D立体音，通过声音的立体感，使盲人获得更好的空间感，无需记忆播报内容，还可使盲人更直接、简便的获得物体位置，更有利于盲人适应复杂路况。

当盲人6穿戴好本系统，走在道路7上面时，双目相机4连续采集垃圾箱8和树木9的图片，双目相机4中的双目测距模块通过采集到的同一物体的不同角度的两张照片，获得物体空间位置。超声波传感器1通过超声波探测垃圾箱8和树木9的空间位置。双目相机4和超声波传感器1获取的物体信息都传送给中央处理器3进行处理，中央处理器3通过景物识别算法识别采集到的图片中物体的种类、大小，将已采集完成的自然界声音源与该物体匹配，找出物体对应的声音源，供放置虚拟声音源使用；中央处理器3还将物体的位置转换为相应的以盲人为原点的虚拟空间的坐标，并在相应的虚拟空间位置中生成一个对应的声音源，众多的声音源产生的虚拟音波10经过中央处理器3处理后形成盲人双耳的耳机5扬声器中的立体音。声音源均同时播放，由于声音源的位置和类别不同，因此声音之间的相互干扰可以忽略。盲人根据双耳听到的两个扬声器产生的各种立体音感知周围的声音源分布情况，获取物体的空间位置。

该基于神经网络的3D音效增强现实盲人导航系统及导航方法是实时测量并即时转换的，因此盲人可以实时获取周围的物体信息，并作出相应的反应措施，给盲人带来极大的空间体验感，给盲人更高的安全感。

Claims

1.一种基于神经网络的3D音效增强现实盲人导航系统的导航方法，其特征在于：

导航系统包括超声波传感器、中央处理器、系统支架和耳机；双目相机的两个摄像头通过系统支架相连，双目相机、超声波传感器和耳机均通过导线与中央处理器建立通信连接；双目相机和中央处理器组成用于识别物体种类和大小的景物识别模块；双目相机、超声波传感器和中央处理器组成用于测量物体空间位置的空间位置测量模块；中央处理器和耳机组成虚拟声音源生成模块，虚拟声音源生成模块用于在物体对应的虚拟空间位置生成一个匹配的声音源，并形成盲人耳机扬声器中的3D立体音；

具体方法如下:双目相机用于实时采集现实世界中盲人周围的景物图片，并将图片传输给中央处理器，中央处理器通过景物识别算法识别采集到的图片中物体的种类、大小，并将其内部存储的已采集完成的自然界声音源与该物体匹配，找出物体对应的声音源，供放置虚拟声音源使用，景物识别算法如下:

Y1＝W1*X；

Y1通过ReLU函数处理得到结果Y2：

Y2＝ReLU(Y1)；

Y2经过4X4池化作用得到结果Y3，所用池化规则为平均值函数：

Y3＝avr(Y2)_4X4；

Y3为多维矩阵形式，对矩阵进行顺序展开，得一维数列Y4；

Y4与卷积核W5卷积得到结果V5：

V5＝Y4*W5；

V5经过ReLU函数处理得到结果Y5：

Y5＝ReLU(V5)；

Y5与卷积核WO卷积得到结果V：

V＝Y5*WO；

V经过Softmax函数处理得结果Y：

Y＝Softmax(V)；

2.根据权利要求1所述导航方法，其特征在于：每种声音源对应的景物图片至少采集5万张，多个声音源之间的的对应关系需人工设定后，输入卷积神经网络模型中进行训练，获得卷积核模型W1、W5和WO。

3.根据权利要求1所述导航方法，其特征在于：双目相机与超声波传感器同时用于测量同一物体的位置。

4.根据权利要求1所述导航方法，其特征在于：双目相机朝向与人脸方向一致。

5.根据权利要求1所述导航方法，其特征在于：声音源为采集到的自然界物体发出的声音，声音源均同时播放。

6.根据权利要求1所述导航方法，其特征在于：虚拟空间是指盲人通过声音源在两耳的耳机扬声器产生的立体音中获得的空间感。

7.根据权利要求1所述导航方法，其特征在于：虚拟空间与真实空间对应重合，声音源的位置即为探测到的物体位置。