CN110010138B - 头戴式显示器及其控制方法 - Google Patents

Abstract

本发明提供一种头戴式显示器及其控制方法，能够实现头戴式显示器的佩戴者和外部的人能够相互确认双方意图的程度的顺畅交流。头戴式显示器(10)具备：收音部(11)，收音来自特定方向的声音；语音检测部(14)，从由收音部(11)收音到的声音中检测语音；头部动作检测部(15)，检测头戴式显示器(10)的佩戴者的头部的动作；外部显示器(16)，显示能够从外部视觉确认的信息；以及应答检测部(17)，在由语音检测部(14)检测到语音、且由头部动作检测部(15)检测到佩戴者的头部朝向特定方向的动作的情况下，将表示配戴者应答了语音的信息显示在外部显示器(16)上。

Description

头戴式显示器及其控制方法

技术领域

本发明涉及头戴式显示器及其控制方法。

背景技术

佩戴了头戴式显示器的用户(以下，也称为“佩戴者”)能够专心于影像以及语音，但另一方面，难以取得与外部的人的交流。

因此，以往提出了使头戴式显示器的佩戴者与外部的人的交流变得容易的技术(参照专利文献1)。

专利文献1：国际公开第2014/156388号

发明内容

但是，在专利文献1的技术中，虽然头戴式显示器的佩戴者与外部的人的交流在某种程度上变得容易，但是存在无法实现相互确认双方意图的程度的顺畅交流的问题。

因此，本发明提供一种头戴式显示器及其控制方法，能够实现头戴式显示器的佩戴者和外部的人能够相互确认双方意图的程度的顺畅交流。

本发明的一个方式的头戴式显示器是呈现影像的头戴式显示器，具备：收音部，收音来自特定方向的声音；语音检测部，从由所述收音部收音到的声音中检测语音；头部动作检测部，检测所述头戴式显示器的佩戴者的头部的动作；外部显示器，显示能够从外部视觉确认的信息；以及应答检测部，在由所述语音检测部检测到语音、且由所述头部动作检测部检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

本发明的一个方式的头戴式显示器的控制方法是呈现影像的头戴式显示器的控制方法，包括：收音步骤，收音来自特定方向的声音；语音检测步骤，从由所述收音步骤中收音到的声音中检测语音；头部动作检测步骤，检测所述头戴式显示器的佩戴者的头部的动作；以及应答检测步骤，在由所述语音检测步骤检测到语音、且由所述头部动作检测步骤检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。

本发明的一个方式的头戴式显示器是呈现影像的头戴式显示器，具备：收音部，收音来自特定方向的声音；语音检测部，从由所述收音部收音到的声音中检测语音；身体动作检测部，检测所述头戴式显示器的佩戴者的身体的朝向；外部显示器，显示能够从外部视觉确认的信息；以及应答检测部，在由所述语音检测部检测到语音、且由所述身体动作检测部检测到所述佩戴者的身体朝向所述特定方向的动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

本发明的一个方式的头戴式显示器的控制方法是呈现影像的头戴式显示器的控制方法，包括：收音步骤，收音来自特定方向的声音；语音检测步骤，从由所述收音步骤中收音到的声音中检测语音；身体动作检测步骤，检测所述头戴式显示器的佩戴者的身体的朝向；以及应答检测步骤，在由所述语音检测步骤检测到语音、且由所述身体动作检测步骤检测到所述佩戴者的身体朝向所述特定方向的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。

本发明的一个方式的头戴式显示器是呈现影像的头戴式显示器，具备：收音部，收音来自特定方向的声音；语音检测部，从由所述收音部收音到的声音中检测语音；手腕动作检测部，检测所述头戴式显示器的佩戴者的手或手臂的动作；外部显示器，显示能够从外部视觉确认的信息；以及应答检测部，在由所述语音检测部检测到语音、且由所述手腕动作检测部检测到所述佩戴者的手或手臂的规定动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

本发明的一个方式的头戴式显示器的控制方法是呈现影像的头戴式显示器的控制方法，包括：收音步骤，收音来自特定方向的声音；语音检测步骤，从由所述收音步骤中收音到的声音中检测语音；手腕动作检测步骤，检测所述头戴式显示器的佩戴者的手或手臂的动作；以及应答检测步骤，在由所述语音检测步骤检测到语音、且由所述手腕动作检测步骤检测到所述佩戴者的手或手臂的规定动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。

另外，这些总括性或具体的形式可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD-ROM等存储介质来实现，也可以通过系统、方法、集成电路、计算机程序以及存储介质的任意组合来实现。

【发明效果】

根据本发明，提供一种头戴式显示器及其控制方法，能够实现头戴式显示器的佩戴者和外部的人能够相互确认双方意图的程度的顺畅交流。

附图说明

图1是实施方式的头戴式显示器的外观图。

图2是表示图1所示的头戴式显示器的结构的框图。

图3是表示实施方式的头戴式显示器的动作的流程图。

图4是表示实施方式的变形例1的头戴式显示器的结构的框图。

图5是表示实施方式的变形例1的头戴式显示器的动作的流程图。

图6是表示实施方式的变形例2的头戴式显示器的结构的框图。

图7是表示实施方式的变形例2的头戴式显示器的动作的流程图。

图8是表示实施方式的变形例3的头戴式显示器的结构的框图。

图9是表示实施方式的变形例3的头戴式显示器的动作的流程图。

图10A是构成实施方式的变形例4的远程操纵系统的驾驶装置的外观图。

图10B是构成实施方式的变形例4的远程操纵系统的汽车的外观图。

图11是表示实施方式的变形例4的远程操纵系统的主要结构的框图。

图12是表示实施方式的变形例5的头戴式显示器的结构的框图。

图13是表示实施方式的变形例5的头戴式显示器的动作的流程图。

图14是表示实施方式的变形例6的头戴式显示器的结构的框图。

图15是表示实施方式的变形例6的头戴式显示器的动作的流程图。

图16是表示实施方式的变形例6的头戴式显示器的外部显示器中的显示例的图。

图17是表示实施方式的变形例7的头戴式显示器的结构的框图。

图18是表示实施方式的变形例7的头戴式显示器的动作的流程图。

图19是表示实施方式的变形例8的头戴式显示器的结构的框图。

图20是表示实施方式的变形例8的头戴式显示器的动作的流程图。

【附图标记说明】

10、10a～10g 头戴式显示器

11、11a、11b 收音部

12a～12d 麦克风

13、13a、13b 指向性处理部

14 语音检测部

15 头部动作检测部

15A 身体动作检测部

15B 手腕动作检测部

16 外部显示器

17、17a～17c 应答检测部

18 说话者识别部

19 声源探测部

20 语音重叠部

30 影像再现部

31 内容存储部

34 内部显示器

35 头戴式耳机

36 扬声器

37 声音放大器

40 远程操纵系统

41 驾驶装置

45 汽车

46 自行车

具体实施方式

(成为本发明的基础的见解)

近年来，头戴式显示器作为佩戴于用户的头部、使用户视听影像以及语音的显示器装置正在普及。作为头戴式显示器的用途，例如，也出现了航空公司向乘客提供使用了头戴式显示器的机内娱乐作为飞机的机内服务。

佩戴了头戴式显示器的乘客能够专心于影像以及语音中，但另一方面，存在难以取得与外部的人的交流这样的课题。例如，客舱乘务员即使对乘客发出声音，也无法识别该乘客是否注意到自己。

因此，希望乘客在佩戴了头戴式显示器的状态下识别接近自己的客舱乘务员，尽量不卸下头戴式显示器而在视听内容的状态下与客舱乘务员取得简易的交流。另外，客舱乘务员希望知道佩戴了头戴式显示器的乘客是否注意到自己。

在此，作为使头戴式显示器的佩戴者与外部的人的交流变得容易的技术，提出了专利文献1所公开的技术。在该技术中，在进行了向头戴式显示器的佩戴者的通知(基于影像以及语音的通知)之后，在头戴式显示器的外侧显示该意思。通过该显示，外部的人能够知道进行了向佩戴者的通知。

但是，在专利文献1的技术中，将对头戴式显示器的佩戴者进行了通知的意思显示在头戴式显示器的外侧，并不一定将头戴式显示器的佩戴者注意到该通知的意思显示在头戴式显示器的外侧。例如，在通过语音通知了佩戴者的情况下，在由头戴式显示器再现的内容的音量大时，佩戴者注意不到该通知。在专利文献1的技术中，即使在这样的情况下也在头戴式显示器的外侧显示已通知给佩戴者的意思。即，在专利文献1的技术中，外部的人不知道佩戴者是否注意到通知。

另外，专利文献1的技术以头戴式显示器的佩戴者必须注意到通知为前提。为了确保该情况，在向佩戴者的通知是基于影像的通知的情况下，显示佩戴者容易注意到的影像。因此，头戴式显示器的内容视听会被妨碍。另一方面，在向佩戴者的通知是基于语音的通知的情况下，为了提供佩戴者容易注意到的语音，需要暂时停止或者减小由头戴式显示器再现的内容的语音等处理。因此，头戴式显示器的内容视听仍然被干扰。

进而，在专利文献1的技术中，头戴式显示器的佩戴者的意图，即，是否想要取得与外部的人的交流没有反映在头戴式显示器的外侧的显示中。

这样，根据专利文献1的技术，存在虽然头戴式显示器的佩戴者能够与外部的人进行某种程度的交流，但是无法实现相互确认双方意图的程度的顺畅交流的问题。

因此，本发明提供一种头戴式显示器及其控制方法，能够实现头戴式显示器的佩戴者和外部的人能够相互确认双方意图的程度的顺畅交流。

因此，在本发明的一个方式的头戴式显示器中，预先确定对头戴式显示器的佩戴者发出声音的外部的人的位置(声音坐标)。然后，在检测到头戴式显示器的佩戴者向该声音坐标的方向移动了头、身体、手或手臂的情况下，判断为头戴式显示器的佩戴者对外部的声音产生了反应，在头戴式显示器的外侧显示该意思。

由此，能够从外部识别头戴式显示器的佩戴者注意到通知这一情况。因此，对于头戴式显示器的佩戴者，能够进行不妨碍内容的通知，即，能够在视听内容的同时进行自然的通知。另外，头戴式显示器的佩戴者的意图、即是否想要取得与外部的交流反映到头戴式显示器的外侧的显示中。

即，通过本发明，实现了能够实现头戴式显示器的佩戴者和外部的人能够相互确认双方意图的程度的顺畅交流的头戴式显示器。

更具体地，本发明的一个方式的头戴式显示器是呈现影像的头戴式显示器，具备：收音部，收音来自特定方向的声音；语音检测部，从由所述收音收音到的声音中检测语音；头部动作检测部，检测所述头戴式显示器的佩戴者的头部的动作；外部显示器，显示能够从外部视觉确认的信息；以及应答检测部，在由所述语音检测部检测到语音、且由所述头部动作检测部检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

由此，在检测到头戴式显示器的佩戴者的头部朝向设定于外部的人发出的语音的声源方向上的特定方向的情况下，表示佩戴者对语音进行了应答的信息显示于外部显示器。因此，在佩戴者表示了对外部的人的语音进行应答的意图的情况下，由于该意思显示于外部显示器，所以能够进行佩戴者和外部的人相互确认双方意图的程度的顺畅交流。

在此，所述头戴式显示器还可以具备说话者识别部，所述说话者识别部判定由所述语音检测部检测出的语音是否为预先决定的人的语音，所述应答检测部在由所述说话者识别部判定所述语音是预先决定的人的语音、且在由所述头部动作检测部检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，将所述信息显示于所述外部显示器。

由此，在头戴式显示器的佩戴者表示了对来自预先决定的人的语音进行应答的意图的情况下，该意思显示于外部显示器。由此，抑制误识别为佩戴者应答了作为影响佩戴者的噪声的无关的人的语音，提高头戴式显示器的应答精度。

另外，所述头戴式显示器还可以具备探测声源的声源探测部，所述收音部将由所述声源探测部探测到的声源的方向的声音作为来自所述特定方向的声音进行收音。

由此，声源的方向由声源探测部探测，因此不需要将外部的人的语音固定于来自特定方向的语音。即，在佩戴者对来自所有方向的语音进行了应答的情况下，该意思显示于外部显示器，提高头戴式显示器的便利性。

另外，所述头戴式显示器还可以具备头戴式耳机和语音重叠部，所述头戴式耳机将伴随所述影像的声音提供给所述佩戴者，所述声音重叠部使由所述语音检测部检测到的语音重叠在伴随所述影像的声音上而向所述头戴式耳机输出。

由此，由于外部的人的语音重叠在伴随影像的声音上而从头戴式耳机输出，所以头戴式显示器的佩戴者能够一边视听正在再现的内容的语音，一边还听到外部的人的语音。因此，能够在佩戴者与外部的人之间进行更顺畅的交流。

此外，所述语音重叠部在以使由所述语音检测部检测到的语音从与所述特定方向对应的方向被听到的方式进行声像定位之后，重叠于伴随所述影像的声音。

由此，通过声像定位，由于从现实的声源方向或者与其对应的声源方向听到外部的人的语音，因此与未佩戴头戴式显示器时同样地，头戴式显示器的佩戴者能够容易地察觉发出语音的外部的人所在的方向。

另外，所述头戴式显示器还可以具备将伴随所述影像的声音提供给所述佩戴者的头戴式耳机，在所述应答检测部将所述信息显示于所述外部显示器时，降低提供给所述头戴式耳机的声音的音量。

由此，在外部的人朝向佩戴者发出语音时，提供给头戴式耳机的声音的音量降低。因此，头戴式显示器的佩戴者能够在佩戴了头戴式显示器的状态下听到外部的人的语音。

另外，所述应答检测部也可以在由所述语音检测部检测出语音、且由所述头部动作检测部检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，进行以对所述佩戴者发出的语音进行收音的方式使所述收音部收音的方向变更的控制。

由此，在佩戴者进行了将脸部朝向来自外部的人的语音的应答之后，变更收音方向以便对来自佩戴者的语音进行收音，因此，持续对佩戴者发出的语音进行收音。因此，能够在佩戴者与外部的人之间进行更顺畅的交流。

另外，本发明的其他方式是头戴式显示器的控制方法。该控制方法是呈现影像的头戴式显示器的控制方法，包括：收音步骤，收音来自特定方向的声音；语音检测步骤，从由所述收音步骤收音到的声音中检测出语音；头部动作检测步骤，检测所述头戴式显示器的佩戴者的头部的动作；以及应答检测步骤，在由所述语音检测步骤检测出语音、且由所述头部动作检测步骤检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。

此外，本发明的一个方式的头戴式显示器是呈现影像的头戴式显示器，具备：收音部，收音来自特定方向的声音；语音检测部，从由所述收音部收音到的声音中检测语音；身体动作检测部，检测所述头戴式显示器的佩戴者的身体的朝向；外部显示器，显示从外部能够视觉确认的信息；以及应答检测部，在由所述语音检测部检测到语音、且由所述身体动作检测部检测到所述佩戴者的身体朝向所述特定方向的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

由此，在检测到头戴式显示器的佩戴者的身体朝向设定于外部的人发出的语音的声源方向的特定方向的情况下，表示佩戴者对语音进行了应答的信息显示于外部显示器。因此，在佩戴者表示了对外部的人的语音进行应答的意图的情况下，由于该意思显示在外部显示器上，所以能够进行佩戴者和外部的人相互确认双方意图的程度的顺畅交流。

另外，本发明的另一方式是头戴式显示器的控制方法。该控制方法是呈现影像的头戴式显示器的控制方法，包括：收音步骤，收音来自特定方向的声音；语音检测步骤，从由所述收音步骤收音到的声音中检测语音；身体动作检测步骤，检测所述头戴式显示器的佩戴者的身体的朝向的动作；以及应答检测步骤，在由所述语音检测步骤检测出语音、且由所述身体动作检测步骤检测到所述佩戴者的身体朝向所述特定方向的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。

此外，本发明的一个方式的头戴式显示器是呈现影像的头戴式显示器，具备：收音部，收音来自特定方向的声音；语音检测部，从由所述收音部收音到的声音中检测语音；手腕动作检测部，检测所述头戴式显示器的佩戴者的手或手臂的动作；外部显示器，显示从外部能够视觉确认的信息；以及应答检测部，在由所述语音检测部检测到语音、且由所述手腕动作检测部检测到所述佩戴者的手或手臂的规定动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

由此，在检测到头戴式显示器的佩戴者的手或手臂的规定动作的情况下，表示佩戴者对语音进行了应答的信息显示于外部显示器。因此，在佩戴者表示了对外部的人的语音进行应答的意图的情况下，由于该情况显示于外部显示器，所以能够进行佩戴者和外部的人相互确认双方意图的程度的顺畅交流。

另外，本发明的另一方式是头戴式显示器的控制方法。该控制方法是呈现影像的头戴式显示器的控制方法，包括：收音步骤，收音来自特定方向的声音；语音检测步骤，从由所述收音步骤收音到的声音中检测语音；手腕动作检测步骤，检测所述头戴式显示器的佩戴者的手或手臂的动作；以及应答检测步骤，在由所述语音检测步骤检测出语音、且由所述手腕动作检测步骤检测到所述佩戴者的手或手臂的规定动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。

另外，本发明的另一方式是由CPU、处理器或计算机执行的程序或存储有程序的能够被计算机读取的盘或半导体存储器等存储介质。在该程序中包括构成上述头戴式显示器的控制方法的步骤。

以下，使用附图对实施方式进行详细说明。另外，以下说明的实施方式均表示本发明的总括性或具体的例子。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置以及连接方式、步骤、步骤的顺序等是一个例子，并不是限定本发明的主旨。另外，关于以下的实施方式中的构成要素中的、表示本发明的最上位概念的独立权利要求中没有记载的构成要素，作为任意的构成要素进行说明。另外，各图不一定是严密示出的图。在各图中，对实质上相同的结构标注相同的附图标记，并省略或简化重复的说明。

(实施方式)

图1是实施方式的头戴式显示器10的外观图。该头戴式显示器10是在头戴式显示器10的佩戴者佩戴了头戴式显示器10的状态下能够实现与外部的人相互确认双方意图的程度的顺畅交流的头戴式显示器。在该头戴式显示器10中，作为能够从外部看到的构成要素，具备麦克风12a～12d、外部显示器16以及头戴式耳机35。

麦克风12a～12d是检测从头戴式显示器10的前方发出的声音的声源方向的麦克风，设置在头戴式显示器10的前面的上下左右的四个部位。此外，未必需要在头戴式显示器10上设置四个麦克风，例如，也可以仅在上下方向、或者仅在左右方向上分离地设置两个麦克风。

外部显示器16是显示能够从外部视觉确认的信息的显示器，例如是LED等灯、LCD等二维显示器。另外，所谓“能够从外部视觉确认的信息”可以是单纯的灯的点亮、文字、记号、图标、图像，以及它们中的至少两种的混合中的任一种。

头戴式耳机35是向佩戴者提供伴随头戴式显示器10提供的影像的声音的头戴式耳机，是开放式或封闭式的头戴式耳机。在本实施方式中，优选头戴式耳机35是开放式的头戴式耳机，以便与输出伴随由头戴式显示器10再现的影像的声音一起，使外部的人的语音也被头戴式显示器10的佩戴者听到。

图2是表示图1所示的头戴式显示器10的结构的框图。头戴式显示器10具备收音部11、语音检测部14、头部动作检测部15、外部显示器16、应答检测部17、影像再现部30、内部显示器34以及头戴式耳机35。

收音部11是收音来自特定方向的声音的处理部，由四个麦克风12a～12d以及指向性处理部13构成。指向性处理部13通过对来自四个麦克风12a～12d的声音信号实施信号处理，仅收音来自特定方向的声音。作为信号处理，有通过使来自四个麦克风12a～12d的声音信号的延迟错开来强调特定方向的声音的延迟型波束成形法，或者通过延迟型生成特定方向的声音和除此以外的不需要方向的声音，并从特定方向的声音中去除不需要方向的声音的自适应波束成形方法。或者，有利用一个单一指向性麦克风来收音特定方向的声音的方法。或者，有准备收音不同方向的声音的多个单一指向性麦克风并且仅选择与特定方向对应的单一指向性麦克风的方法等。

另外，所谓“特定方向”，是指在头戴式显示器10的佩戴者和与该佩戴者说话的外部的人的位置关系确定了一定程度的情况下，例如，在限定于在飞机内佩戴了头戴式显示器10的乘客和客舱乘务员的情形的情况下，预先确定的固定方向(例如，靠近通道的斜前上方向)。但是，“特定方向”不限于固定的方向，也可以是由外部指示的动态变化的方向。

此外，构成收音部11的麦克风的数量不限于四个。例如，收音部11可以由三个或更多个麦克风构成，只要该麦克风是在特定方向上收音即可。

语音检测部14是从由收音部11收音到的声音中检测语音的处理部，例如，在从收音部11输出的信号中语音的频带中的功率超过一定时间、阈值的情况下，将从收音部11输出的信号判断为语音，将检测到语音的情况通知给应答检测部17。

头部动作检测部15是对头戴式显示器10的佩戴者的头部的动作进行检测并将表示检测出的结果的信号输出至应答检测部17的传感器，例如为陀螺仪传感器以及加速度传感器中的至少一个。另外，头部动作检测部15也可以通过使用摄像机等检测佩戴者的视线来检测头部的动作。

应答检测部17是在由语音检测部14检测到语音、且由头部动作检测部15检测到佩戴者的头部朝向收音部11所收音的特定方向的动作的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16的处理部。另外，“佩戴者的头部朝向特定方向”是指“佩戴者的脸朝向特定方向”。

内部显示器34是向头戴式显示器10的佩戴者呈现影像的显示器，例如是3D用影像面板。

影像再现部30具有存储内容的内容存储部31，是按照佩戴者通过遥控器(未图示)等进行的指示，从内容存储部31读出内容并再现内容，将影像信号输出到内部显示器34并且将伴随影像的声音信号输出到头戴式耳机35的处理部，例如由影像解码器以及具有程序的处理器等构成。

另外，典型地，指向性处理部13、语音检测部14以及应答检测部17通过由保持程序的ROM、RAM、执行程序的处理器以及用于与周边电路连接的输入输出电路等构成的系统电路或者微型计算机而以软件方式实现。但是，这些也可以通过实现各自的处理的ASIC、门阵列等专用的逻辑电路而以硬件方式实现。

接着，对如上构成的本实施方式的头戴式显示器10的动作进行说明。

图3是表示本实施方式的头戴式显示器10的动作(即，头戴式显示器10的控制方法)的流程图。这里，假设飞机上的乘客以坐在椅子上的状态佩戴头戴式显示器10并再现内容的情形。

首先，收音部11收音来自特定方向的声音(收音步骤S10)。具体而言，指向性处理部13通过对来自四个麦克风12a～12d的声音信号实施延迟型波束成形法等信号处理，仅收音来自特定方向(在此为斜前上方向)的声音。

接着，语音检测部14从由收音部11收音到的声音中检测语音(语音检测步骤S11)。具体而言，语音检测部14在从收音部11输出的信号中，在语音的频带中的功率超过一定时间、阈值的情况下，将从收音部11输出的信号判断为语音，并将检测到语音的情况通知给应答检测部17。由此，应答检测部17判断是否检测到来自斜前上方的语音，即，判断客舱乘务员是否与头戴式显示器10的佩戴者搭话。

应答检测部17在由语音检测部14检测到语音的情况下(S11中“是”)，进入步骤S12以后的处理，否则(S11中“否”)，结束处理。

在头部动作检测部15中，检测头戴式显示器10的佩戴者的头部的动作，将表示检测出的结果的信号输出到应答检测部17(头部动作检测步骤S12)。

应答检测部17通过分析从头部动作检测部15输出的信号，判断头戴式显示器10的佩戴者(在此为乘客)是否对来自客舱乘务员的搭话进行了应答(S13)。

具体而言，应答检测部17在由头部动作检测部15检测到佩戴者的头部朝向收音部11所收音的特定方向的动作的情况下(S13中“是”)，判断为佩戴者对来自客舱乘务员的搭话进行了应答，将表示佩戴者对语音进行了应答的信息显示于外部显示器16(应答检测步骤S14)。

之后，应答检测部17判断是否满足处理的结束条件(S15)，直到满足为止，将表示佩戴者对语音进行了应答的信息持续显示于外部显示器16。另外，“处理的结束条件”是指佩戴者不再应答语音的情况，例如，由头部动作检测部15检测不到佩戴者的头部朝向收音部11所收音的特定方向的动作。

另一方面，应答检测部17在由头部动作检测部15检测不到佩戴者的头部朝向收音部11所收音的特定方向的动作的情况下(S13中“否”)，判断为佩戴者未应答来自客舱乘务员的搭话，结束处理。

这样，本实施方式的头戴式显示器10是呈现影像的头戴式显示器，具备：收音部11，收音来自特定方向的声音；语音检测部14，从由收音部11收音到的声音中检测语音；头部动作检测部15，检测头戴式显示器10的佩戴者的头部的动作；外部显示器16，显示能够从外部视觉确认的信息；以及应答检测部17，在由语音检测部14检测到语音、且由头部动作检测部15检测到佩戴者的头部朝向特定方向的动作的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16。

另外，本实施方式的头戴式显示器10的控制方法是呈现影像的头戴式显示器10的控制方法，包括：收音步骤S10，收音来自特定方向的声音；语音检测步骤S11，从由收音步骤S10中收音到的声音中检测语音；头部动作检测步骤S12，检测头戴式显示器10的佩戴者的头部的动作；以及应答检测步骤S14，在由语音检测步骤S11检测到语音、且由头部动作检测步骤S12检测到佩戴者的头部朝向特定方向的动作的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16，该外部显示器16显示能够从外部视觉确认的信息。

由此，在检测到头戴式显示器10的佩戴者的脸朝向设定于外部的人发出的语音的声源方向的特定方向的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16。因此，在佩戴者表示了对外部的人的语音进行应答的意图的情况下，由于该意思显示于外部显示器16，所以能够进行佩戴者和外部的人能够相互确认双方意图的程度的顺畅交流。

另外，在本实施方式中，在图3的流程图中，在指向性处理(S10)以及语音检测(S11)之后进行了头部动作的检测(S12)，但并不限定于这样的顺序。指向性处理(S10)及语音检测(S11)和头部动作的检测(S12)可以调换顺序，也可以并行进行。

(变形例1)

接着，对实施方式的变形例1的头戴式显示器进行说明。

图4是表示实施方式的变形例1的头戴式显示器10a的结构的框图。头戴式显示器10a是具有识别说话者的功能的头戴式显示器，具备收音部11、语音检测部14、说话者识别部18、头部动作检测部15、外部显示器16、应答检测部17a、影像再现部30、内部显示器34以及头戴式耳机35。

本变形例的头戴式显示器10a具备基本上与实施方式的头戴式显示器10相同的结构，但在具备作为新的构成要素的说话者识别部18这一点以及具备变形例的应答检测部17a这一点上，与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

说话者识别部18是判定由语音检测部14检测出的语音是否是预先决定的人的语音，并将该判定结果通知给应答检测部17a的处理部。在本变形例中，说话者识别部18具有预先登记了客舱乘务员们的语音的存储部，判断由语音检测部14检测到的语音是否与登记在存储部中的语音中的某一个一致。

例如，说话者识别部18使用i-vector来提取说话者的特征量，识别说话者(非专利文献1：辻川美沙贵等，《基于i-vector的短发声的说话者识别的研究》，信学技报，vol.115，no.99，SP2015-12，pp.65-70，2015年6月)。即，在说话者识别部18中，语音被转换为多维的特征量向量。新输入的语音也被转换为特征量向量，按照是否与已登录的特征量向量中的某一个接近，判定所输入的语音是否为客舱乘务员的语音。

此外，典型地，说话者识别部18通过由保持程序的ROM、RAM、执行程序的处理器、以及用于与周边电路连接的输入输出电路等构成的系统电路或微型计算机而以软件方式实现。但是，这些也可以通过实现各自的处理的ASIC、门阵列等专用的逻辑电路而以硬件方式实现。

应答检测部17a具有基本上与实施方式的应答检测部17相同的功能，在本变形例中，在由说话者识别部18判定为语音是预先决定的人的语音、且由头部动作检测部15检测到佩戴者的头部朝向特定方向的动作的情况下，将佩戴者对语音进行了应答的信息显示于外部显示器16。

图5是表示本变形例的头戴式显示器10a的动作(即，头戴式显示器10a的控制方法)的流程图。该动作基本上与实施方式的图3所示的流程图相同，但在追加了步骤S20这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

当由语音检测部14检测到语音时(S11中“是”)，说话者识别部18判定由语音检测部14检测出的语音是否为预先决定的人的语音，并将该判定结果通知给应答检测部17a(S20)。具体而言，说话者识别部18判定经由语音检测部14输入的语音的特征量向量是否接近预先登记的客舱乘务员们的语音的特征量向量中的某一个，将该判定结果通知给应答检测部17a。

应答检测部17a在从说话者识别部18接收到所输入的语音是预先决定的人(在此为客舱乘务员)的语音的通知的情况下(S20中“是”)，进入步骤S12以后的处理，否则(S20中“否”)，结束处理。

在步骤S12以后，应答检测部17a在由头部动作检测部15检测到佩戴者的头部朝向收音部11所收音的特定方向的动作的情况下(S13中“是”)，判断为佩戴者对来自客舱乘务员的搭话进行了应答，将表示佩戴者对语音进行了应答的信息显示于外部显示器16(应答检测步骤S14)，这一点与实施方式相同。

这样，本变形例的头戴式显示器10a除了实施方式的结构以外，还具备说话者识别部18，所述说话者识别部18判定由语音检测部14检测出的语音是否为预先决定的人的语音。应答检测部17a在由说话者识别部18判定为语音是预先决定的人的语音(S20)且由头部动作检测部15检测到佩戴者的头部朝向特定方向的动作的情况下(S13)，将表示佩戴者对语音进行了应答的信息显示于外部显示器16。

由此，在头戴式显示器10a的佩戴者表示了对来自预先决定的人的语音进行应答的意图的情况下，将该意思显示于外部显示器16。因此，能够抑制误识别为佩戴者对作为突然影响佩戴者的噪声的来自无关的人的语音进行了应答，提高头戴式显示器10a的应答精度。

(变形例2)

接着，对实施方式的变形例2的头戴式显示器进行说明。

图6是表示实施方式的变形例2的头戴式显示器10b的结构的框图。头戴式显示器10b是具有探测声源的功能的头戴式显示器，具备收音部11a、语音检测部14、头部动作检测部15、外部显示器16、应答检测部17、声源探测部19、影像再现部30、内部显示器34以及头戴式耳机35。

本变形例的头戴式显示器10b具备基本上与实施方式的头戴式显示器10相同的结构，但在具备声源探测部19作为新的构成要素这一点以及具备变形例的收音部11a这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

声源探测部19是探测声源的处理部。具体而言，声源探测部19使用四个麦克风12a～12d探测在周围产生的语音的方向或位置(三维空间中的坐标)。例如，声源探测部19基于同一语音分别到达隔开距离设置的两个麦克风的时间差，确定在包括两个麦克风的平面中的声源方向。或者，声源探测部19将隔开距离设置的两个麦克风作为一对，通过使用在不同的方向上排列的两对麦克风，将两个声源方向的交点确定为声源的位置。

另外，典型地，声源探测部19通过由保持程序的ROM、RAM、执行程序的处理器以及用于与周边电路连接的输入输出电路等构成的系统电路或者微型计算机而以软件方式实现。但是，这些也可以通过实现各自的处理的ASIC、门阵列等专用的逻辑电路而以硬件方式实现。

收音部11a将由声源探测部19探测到的声源的方向的声音作为来自特定方向的声音予以收音。具体而言，构成收音部11a的指向性处理部13a通过对来自四个麦克风12a～12d的声音信号实施用于仅收音来自由声源探测部19探测出的声源方向的声音的信号处理，仅收音来自由声源探测部19探测出的声源的方向的声音。信号处理例如与实施方式的收音部11相同。

图7是表示本变形例的头戴式显示器10b的动作(即，头戴式显示器10b的控制方法)的流程图。该动作基本上与实施方式的图3所示的流程图相同，但在追加了步骤S22这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

声源探测部19在由指向性处理部13a进行的指向性处理(S10)之前，探测声源(S22)。例如，声源探测部19使用四个麦克风12a～12d探测声源的位置(三维空间中的坐标)。另外，在探测不到声源的情况下(S22中“否”)，结束处理。

另一方面，在探测到声源的情况下(S22中“是”)，收音部11a的指向性处理部13a将朝向由声源探测部19探测出的声源的位置的方向的声音作为来自特定方向的声音进行收音(S10)。具体而言，指向性处理部13a通过对来自四个麦克风12a～12d的声音信号实施用于仅收音来自由声源探测部19探测出的声源的方向的声音的信号处理，仅收音来自由声源探测部19探测出的声源的方向的声音。以后的处理(S11～)与实施方式相同。

这样，本变形例的头戴式显示器10b除了实施方式的结构以外，还具备探测声源的声源探测部19。收音部11a收音由声源探测部19探测到的声源的方向的声音作为来自特定方向的声音。

由此，声源探测部19探测声源的方向，因此外部的人的语音不需要固定于来自特定方向的语音。即，在佩戴者对来自所有方向的语音进行了应答的情况下，该意思显示于外部显示器16，提高头戴式显示器10b的便利性。

(变形例3)

接着，对实施方式的变形例3的头戴式显示器进行说明。

图8是表示实施方式的变形例3的头戴式显示器10c的结构的框图。头戴式显示器10c是具有使来自外部的人的语音重叠于伴随着影像再现的声音并向头戴式耳机35输出的功能的头戴式显示器，具备收音部11a、语音检测部14、声源探测部19、语音重叠部20、头部动作检测部15、外部显示器16、应答检测部17、影像再现部30、内部显示器34以及头戴式耳机35。

本变形例的头戴式显示器10c具备基本上与实施方式的变形例2的头戴式显示器10b相同的结构，但在具备语音重叠部20作为新的构成要素这一点上与实施方式的变形例2不同。以下，以与实施方式的变形例2的不同点为中心进行说明。

语音重叠部20是将由语音检测部14检测到的语音重叠于伴随影像的声音上并向头戴式耳机35输出的处理部。此时，语音重叠部20执行声像定位，使得由语音检测部14检测到的语音从与特定方向相对应的方向被听到，在此基础上重叠于伴随图像的声音。具体而言，语音重叠部20对语音检测部14检测到的语音实施声像定位的信号处理，以使得该语音被立体地(即，从由声源探测部19探测的方向)听到，在此基础上分配给头戴式耳机35的再现信道并且输出。例如，考虑人的头部的形状(即，使用头部传递函数)，语音重叠部20通过对由语音检测部14检测到的语音实施声像定位的信号处理，即使头戴式耳机35是2ch，也能够立体地听到外部的人的语音。

另外，在本变形例中，由于外部的人的语音被头戴式显示器10c的佩戴者听到，所以头戴式耳机35也可以是封闭式的头戴式耳机。

另外，典型地，语音重叠部20通过由保持程序的ROM、RAM、执行程序的处理器以及用于与周边电路连接的输入输出电路等构成的系统电路或微型计算机以软件方式实现。但是，这些也可以通过实现各自的处理的ASIC、门阵列等专用的逻辑电路而以硬件方式实现。

图9是表示本变形例的头戴式显示器10c的动作(即，头戴式显示器10c的控制方法)的流程图。该动作基本上与实施方式的变形例2的图7所示的流程图相同，但在追加了步骤S24以及S26这一点上与实施方式的变形例2不同。以下，以与实施方式的变形例2的不同点为中心进行说明。

在本变形例中，当由语音检测部14检测到语音时(S11中“是”)，语音重叠部20对由语音检测部14检测出的语音实施声像定位的信号处理(S24)，以使得该语音从由声源探测部19所探测的方向被听到，在重叠于由影像再现部30再现的声音的基础上，输出到头戴式耳机35(S26)。

以后的处理(S13～)与实施方式相同。

这样，本变形例的头戴式显示器10c除了实施方式的结构以外，还具备将由语音检测部14检测到的语音重叠于伴随影像的声音并向头戴式耳机35输出的语音重叠部20。

由此，由于外部的人(例如，客舱乘务员)的语音重叠于伴随影像的声音而从头戴式耳机35输出，所以头戴式显示器10c的佩戴者能够一边视听正在再现的内容的语音，一边还听到外部的人的语音。因此，能够在佩戴者与外部的人之间进行更顺畅的交流。

此外，语音重叠部20执行声像定位，以使得语音检测部14检测到的语音从与特定方向相对应的方向被听到，在此基础上重叠于伴随图像的声音。

由此，通过声像定位，头戴式显示器10c的佩戴者从现实的声源方向或者与其对应的声源方向听到外部的人(例如，客舱乘务员)的语音，所以与未佩戴头戴式显示器10c时同样，能够容易地察觉发出语音的外部的人所在的方向。

另外，在本变形例中，在图9的流程图中，在头部动作的检测(S12)之后，进行了声像定位重叠(S24)以及再现(S26)，但并不限定于该顺序。头部动作的检测(S12)和声像定位重叠(S24)以及再现(S26)可以调换顺序，也可以并行进行。

(变形例4)

接着，作为实施方式的变形例4，对将本发明的头戴式显示器应用于汽车的远程操纵系统的例子进行说明。远程操纵系统由用于远程操纵汽车的驾驶装置和汽车构成，该汽车通过无线通信与驾驶装置连接，并由驾驶装置进行远程操纵。

图10A是构成实施方式的变形例4的远程操纵系统40的驾驶装置41的外观图。图10B是构成实施方式的变形例4的遥控操纵系统40的汽车45的外观图。

如图10A所示，驾驶装置41设置于屋内等，是模拟汽车45的驾驶席的装置。驾驶装置41由用于远程操纵汽车45的方向盘、油门、制动器等构成。

在驾驶装置41的前面设置有相当于实施方式的头戴式显示器的内部显示器34的显示器(在此记作内部显示器34)。在本变形例中，在该内部显示器34上显示从设置在汽车45上对汽车45的前方进行拍摄的摄像机发送来的影像。另外，在驾驶装置41中设置有相当于实施方式的头戴式显示器的头戴式耳机的扬声器36。在本变形例中，扬声器36利用多声道扬声器再现由安装在汽车45的前面的麦克风12a～12d收音的声音。

如图10B所示，汽车45被驾驶装置41远程操纵，能够无人行驶。在汽车45的前面的四个部位安装有相当于实施方式的头戴式显示器的麦克风12a～12d的部位(在此记作麦克风12a～12d)。另外，汽车45的前挡风玻璃的前面设置有相当于实施方式的头戴式显示器的外部显示器16的装置(在此，记为外部显示器16)。

图11是表示本变形例的远程操纵系统40的主要结构的框图。在此，仅表示远程操纵系统40的构成要素中应用了实施方式的头戴式显示器的部位的构成要素。

远程操纵系统40具备收音部11a、语音检测部14、声源探测部19、语音重叠部20、头部动作检测部15、外部显示器16、应答检测部17、影像再现部30、内部显示器34以及扬声器36。该结构相当于将图8所示的实施方式的变形例3的头戴式显示器10c中的头戴式耳机35置换为扬声器36的结构。但是，在本变形例中，影像再现部30是设置在汽车45上的上述摄像机。另外，语音检测部14检测作为预知图10B所示的自行车46的制动音等危险的声音而预先登记的车辆周围声音。另外，头部动作检测部15是对安装于在驾驶装置41进行操纵的远程操纵者的头部的加速度传感器或对远程操纵人员的头部的动作进行拍摄并检测的摄像机等。另外，典型地，收音部11a、影像再现部30以及外部显示器16设置于汽车45，其他构成要素设于驾驶装置41，或者安装于远程操纵者。

如上述那样，该远程操纵系统40具备与实施方式的变形例3的头戴式显示器10c相同的结构作为基本的功能，因此能够起到与实施方式的变形例3相同的效果。即，在远程操纵系统40中设置有语音重叠部20，该语音重叠部20对由语音检测部14检测出的自行车46的制动音等车辆周围声音进行声像定位，从而从接近现实的声源方向的方向听到预知危险的声音。因此，在远程操纵者的头部朝向自行车46的制动音等车辆周围声音的声源方向的情况下，如图10B所示，在汽车45的外部显示器16上显示远程操纵者注意到车辆周围声音的意思。

此时，汽车45的外部显示器16也观察到自行车46的驾驶员以外。为了将表示注意到自行车46的驾驶员的显示直观地向自行车46的驾驶员表示，外部显示器16的显示进行诸如以下方式的显示：在接近自行车46的位置显示，或者在自行车46的方向上显示箭头或眼球图标，或者对由摄像机拍摄自行车46的影像进行镜面显示等。

由此，自行车46的驾驶员能够通过目视知道接近自己的汽车45注意到自己的自行车46的制动音。因此，根据应用了这样的头戴式显示器的远程操纵系统40，尽管远程操纵者与汽车及其周围的距离较远，但在远程操纵者和外部的人(在此为自行车46的驾驶员)之间能够进行顺畅的交流。

(变形例5)

接着，对实施方式的变形例5的头戴式显示器进行说明。

图12是表示实施方式的变形例5的头戴式显示器10d的结构的框图。头戴式显示器10d是具有自动降低提供给头戴式耳机的声音的音量的功能的头戴式显示器，具备收音部11、语音检测部14、头部动作检测部15、外部显示器16、应答检测部17b、影像再现部30、内部显示器34、头戴式耳机35以及和声音放大器37。

本变形例的头戴式显示器10d具备基本上与实施方式的头戴式显示器10相同的结构，但在具备声音放大器37作为新的构成要素这一点以及具备变形例的应答检测部17b这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

声音放大器37是按照来自应答检测部17b的控制指示使从影像再现部30输出的声音信号放大或衰减并向头戴式耳机35输出的音量调整器，例如由可变增益放大器构成。

应答检测部17b具有基本上与实施方式的应答检测部17相同的功能，在本变形例中，在将表示佩戴者对语音进行了应答的信息显示于外部显示器16时，以降低提供给头戴式耳机35的声音的音量的方式控制声音放大器37。

图13是表示本变形例的头戴式显示器10d的动作(即，头戴式显示器10d的控制方法)的流程图。该动作基本上与实施方式的图3所示的流程图相同，但在追加了步骤S28这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

应答检测部17b在由头部动作检测部15检测到佩戴者的头部朝向收音部11所收音的特定方向的动作的情况下(S13中“是”)，在控制声音放大器37以降低向头戴式耳机35提供的声音的音量的基础上(S28)，将表示佩戴者对语音进行了应答的信息显示于外部显示器16(应答检测步骤S14)。

这样，本变形例的头戴式显示器10d在实施方式的结构的基础上，还具备对从影像再现部30输出的声音的音量进行调整的声音放大器37。应答检测部17b在将表示佩戴者对语音进行了应答的信息显示于外部显示器16时，以降低提供给头戴式耳机35的声音的音量的方式控制声音放大器37。

由此，当外部的人朝向佩戴者发出语音时，提供给头戴式耳机35的声音的音量降低。因此，头戴式显示器10d的佩戴者能够在佩戴了头戴式显示器10d的状态下，听取外部的人的语音。

(变形例6)

接着，对实施方式的变形例6的头戴式显示器进行说明。

图14是表示实施方式的变形例6的头戴式显示器10e的结构的框图。头戴式显示器10e是具有不仅对外部的人还对佩戴者发出的语音进行收音的功能的头戴式显示器，具备收音部11b、语音检测部14、头部动作检测部15、外部显示器16、应答检测部17c、影像再现部30、内部显示器34以及头戴式耳机35。

本变形例的头戴式显示器10e具备基本上与实施方式的头戴式显示器10相同的结构，但在具备变形例的收音部11b以及应答检测部17c这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

收音部11b具有基本上与实施方式的收音部11相同的功能，但在本变形例中，具有变形例的指向性处理部13b。指向性处理部13b与实施方式的指向性处理部13相同，具有通过对来自四个麦克风12a～12d的声音信号实施信号处理而仅收音来自特定方向的声音的功能，但在本变形例中，还具有按照来自应答检测部17c的控制指示而变更收音的方向的功能，以便收音佩戴者发出的语音。具体而言，指向性处理部13b按照来自应答检测部17c的控制指示，作为信号处理进行如下的延迟型波束成形法等，即，通过使来自四个麦克风12a～12d的声音信号的延迟错开而对来自预先决定的特定方向、或者来自佩戴者的方向的声音进行强调的延迟型波束成形法等。

应答检测部17c具有基本上与实施方式的应答检测部17相同的功能，在本变形例中，还进行如下控制：在由语音检测部14检测到语音、且由头部动作检测部15检测到佩戴者的头部朝向特定方向的动作的情况下，使收音部11b收音的方向变更，以便收音佩戴者发出的语音。

图15是表示本变形例的头戴式显示器10e的动作(即，头戴式显示器10e的控制方法)的流程图。图16是表示本变形例的头戴式显示器10e的外部显示器16的显示例的图。

图15所示的动作基本上与实施方式的图3所示的流程图相同，但在对外部显示器16的显示(S30、S33、S35)、以及追加对收音部11b的控制(S31、S32)等这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

当语音检测部14检测到语音时(S11中“是”)，应答检测部17c如图16的(b)的显示例那样，在外部显示器16上显示表示由语音检测部14检测到语音的图像，即，表示客舱乘务员呼叫头戴式显示器10e的佩戴者时麦克风12a～12d发挥功能的图像(在此为表示麦克风等的图像)(S30)。由此，外部显示器16从平常时的显示状态(在此为图16的(a)所示的无显示)，变化为表示麦克风12a～12d发挥功能的图像(图16的(b))。因此，客舱乘务员能够知道自己的呼叫被头戴式显示器10e的麦克风12a～12d检测到。

接着，当检测到佩戴者的头部朝向收音部11b所收音的特定方向的动作时(S13中“是”)，应答检测部17c进行使收音部11b收音的方向变更的控制，以便收音佩戴者发出的语音(S31)。结果，收音部11b进行指向性处理，以收音佩戴者的语音(S32)。

然后，应答检测部17c如图16的(c)的显示例那样，在外部显示器16上显示表示配戴者应答了的图像(在此为问号)(S33)。由此，客舱乘务员能够知道头戴式显示器10e的佩戴者注意到自己的呼叫。

之后，应答检测部17c判断是否满足处理的结束条件(S15)，在不满足的情况下(S15中“否”)，经由收音部11b及语音检测部14判断是否检测到佩戴者的语音(S34)，在检测不到佩戴者的语音的情况下(S34中“否”)，反复进行应答显示(S33)和结束判定(S15)。

另一方面，在检测到佩戴者的语音的情况下(S34中“是”)，应答检测部17c如图16的(d)的显示例那样，在外部显示器16上显示表示佩戴者发声的情况，即佩戴者对客舱乘务员的呼叫进行了回应的图像(在此是感叹号)(S33)。由此，客舱乘务员能够知道头戴式显示器10e的佩戴者对自己的呼叫进行了回应。

另外，应答检测部17c在进行了图16的(d)所示的显示之后，视为头戴式显示器10e的佩戴者对来自客舱乘务员的呼叫进行了回应的一连串的会话结束，如图16的(e)的显示例那样，将外部显示器16返回到与图16的(a)相同的平常时的显示状态，结束处理。

这样，在本变形例的头戴式显示器10e中，应答检测部17c在由语音检测部14检测到语音、且由头部动作检测部15检测到佩戴者的头部朝向特定方向的动作的情况下，进行使收音部11b收音的方向变更的控制，以便收音佩戴者发出的语音。

由此，在佩戴者将脸部朝向来自外部的人的语音的应答之后，以对来自佩戴者的语音进行收音的方式变更收音方向，因此接着对佩戴者发出的语音进行收音。因此，能够在佩戴者与外部的人之间进行更顺畅的交流。

(变形例7)

接着，对实施方式的变形例7的头戴式显示器进行说明。

图17是表示实施方式的变形例7的头戴式显示器10f的结构的框图。头戴式显示器10f是能够在佩戴者佩戴了头戴式显示器10f的状态下实现与外部的人相互确认双方意图的程度的顺畅交流的头戴式显示器，具备收音部11、语音检测部14、身体动作检测部15A、外部显示器16、应答检测部17、影像再现部30、内部显示器34以及头戴式耳机35。

本变形例的头戴式显示器10f具备基本上与实施方式的头戴式显示器10相同的结构，但取代头部动作检测部15而具备身体动作检测部15A作为新的构成要素这一点与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

身体动作检测部15A检测身体的朝向来判断对语音的应答。作为检测身体的朝向的机构，有利用朝向头戴式显示器10f的佩戴者的摄像机的图像来进行图像识别的机构、在头戴式显示器10f的佩戴者的身体上安装加速度传感器或陀螺仪传感器的机构。另外，在手上具有遥控器的情况下，能够利用搭载于遥控器内的加速度传感器或陀螺仪传感器。由身体动作检测部15A通过身体朝向了特定方向的情况判断对语音进行了应答。

图18是表示本变形例的头戴式显示器10f的动作(即，头戴式显示器10f的控制方法)的流程图。该动作基本上与实施方式的图3所示的流程图相同，但在步骤S12变更为S12A这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

应答检测部17在由语音检测部14检测到语音的情况下(S11中“是”)，进入步骤S12A以后的处理，否则(S11中“否”)，结束处理。

在身体动作检测部15A中，检测头戴式显示器10f的佩戴者的身体的动作，将表示检测出的结果的信号输出到应答检测部17(身体动作检测步骤S12A)。

应答检测部17通过对从身体动作检测部15A输出的信号进行解析，来判断头戴式显示器10的佩戴者(在此为乘客)是否对来自客舱乘务员的搭话进行了应答(S13)。

具体而言，应答检测部17在由身体动作检测部15A检测到佩戴者的身体朝向收音部11所收音的特定方向的情况下(S13中“是”)，判断为佩戴者对来自客舱乘务员的搭话进行了应答，将表示佩戴者对语音进行了应答的信息显示于外部显示器16(应答检测步骤S14)。

之后，应答检测部17判断是否满足处理的结束条件(S15)，直到满足为止，将表示佩戴者对语音进行了应答的信息持续显示于外部显示器16。另外，“处理的结束条件”是指佩带者不再应答语音的情况，例如，通过身体动作检测部15A，检测不到佩戴者的身体朝向收音部11所收音的特定方向的动作。

另一方面，应答检测部17在由身体动作检测部15A检测不到佩戴者的身体朝向收音部11所收音的特定方向的动作的情况下(S13中“否”)，判断为佩戴者不对来自客舱乘务员的搭话进行应答，结束处理。

这样，本实施方式的头戴式显示器10f是呈现影像的头戴式显示器，具备：收音部11，收音来自特定方向的声音；语音检测部14，从由收音部11收音到的声音中检测语音；身体动作检测部15A，检测头戴式显示器10f的佩戴者的身体的朝向；外部显示器16，显示能够从外部视觉确认的信息；以及应答检测部17，在由语音检测部14检测到语音、且由身体动作检测部15A检测到佩戴者的身体朝向特定方向的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16。

另外，本变形例的头戴式显示器10f的控制方法是呈现影像的头戴式显示器10f的控制方法，包括：收音步骤S10，收音来自特定方向的声音；语音检测步骤S11，从由收音步骤S10中收音到的声音中检测语音；身体动作检测步骤S12A，检测头戴式显示器10f的佩戴者的身体的朝向；以及应答检测步骤S14，在由语音检测步骤S11检测到语音、且由身体动作检测步骤S12检测到佩戴者的身体朝向所述特定方向的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16，该外部显示器16显示能够从外部视觉确认的信息。

由此，在检测到头戴式显示器10f的佩戴者的身体朝向设定于外部的人发出的语音的声源方向上的特定方向的情况下，表示佩戴者对语音进行了应答的信息显示于外部显示器16。因此，在佩戴者表示了对外部的人的语音进行应答的意图的情况下，由于该情况显示于外部显示器16，所以能够进行佩戴者和外部的人能够相互确认双方意图的程度的顺畅交流。

另外，在本变形例中，在图18的流程图中，在指向性处理(S10)以及语音检测(S11)之后进行了身体动作的检测(S12A)，但并不限定于这样的顺序。指向性处理(S10)以及语音检测(S11)和身体动作的检测(S12A)可以调换顺序，也可以并行进行。

(变形例8)

接着，对实施方式的变形例8的头戴式显示器进行说明。

图19是表示实施方式的变形例8的头戴式显示器10g的结构的框图。头戴式显示器10g是在佩戴者佩戴了头戴式显示器10g的状态下能够实现与外部的人相互确认双方意图的程度的顺畅交流的头戴式显示器，具备收音部11、语音检测部14、手腕动作检测部15B、外部显示器16、应答检测部17、影像再现部30、内部显示器34以及头戴式耳机35。

本变形例的头戴式显示器10g具备基本上与实施方式的头戴式显示器10相同的结构，但取代头部动作检测部15而具备手腕动作检测部15B作为新的构成要素这一点与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

手腕动作检测部15B检测手或手臂的动作来判断对语音的应答。作为检测手或手臂的动作的机构，有利用朝向头戴式显示器10g的佩戴者的摄像机的图像进行图像识别的机构、在头戴式显示器10g的佩戴者的身体上安装加速度传感器或陀螺仪传感器的机构。另外，在手上具有遥控器的情况下，能够利用搭载于遥控器内的加速度传感器或陀螺仪传感器。通过由手腕动作检测部15B进行手或手臂的规定动作(例如向上举起手等)来判断对语音进行了应答。

图20是表示本变形例的头戴式显示器10g的动作(即，头戴式显示器10g的控制方法)的流程图。该动作基本上与实施方式的图3所示的流程图相同，但在步骤S12变更为S12B这一点上与实施方式不同。以下，以与实施方式的不同点为中心进行说明。

应答检测部17在由语音检测部14检测到语音的情况下(S11中“是”)，进入步骤S12B以后的处理，否则(S11中“否”)，结束处理。

在手腕动作检测部15B中，检测头戴式显示器10g的佩戴者的手腕的动作，将表示检测出的结果的信号输出到应答检测部17(手腕动作检测步骤S12B)。

应答检测部17通过分析从手腕动作检测部15B输出的信号，判断头戴式显示器10g的佩戴者(在此为乘客)是否对来自客舱乘务员的搭话进行了应答(S13)。

具体而言，应答检测部17在由手腕动作检测部15B在收音部11所收音的特定方向上检测到佩戴者的手或手臂的规定动作的情况下(S13中“是”)，判断为佩戴者对来自客舱乘务员的搭话进行了应答，将表示佩戴者对语音进行了应答的信息显示于外部显示器16(应答检测步骤S14)。

之后，应答检测部17判断是否满足处理的结束条件(S15)，直到满足为止，将表示佩戴者对语音进行了应答的信息持续显示于外部显示器16。另外，“处理的结束条件”是指佩戴者不再应答语音，例如，通过手腕动作检测部15B检测不到佩戴者的手或手臂的规定动作。

另一方面，应答检测部17在由手腕动作检测部15B检测不到佩戴者的手或手臂的规定动作的情况下(S13中“否”)，判断为佩戴者不应答来自客舱乘务员的搭话，结束处理。

这样，本变形例的头戴式显示器10g是呈现影像的头戴式显示器，具备：收音部11，收音来自特定方向的声音；语音检测部14，从由收音部11收音到的声音中检测语音；手腕动作检测部15B，检测头戴式显示器10g的佩戴者的手或手臂的动作；外部显示器16，显示能够从外部视觉确认的信息；以及应答检测部17，在由语音检测部14检测到语音、且由手腕动作检测部15B检测到佩戴者的手或手臂的规定动作的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16。

另外，本变形例的头戴式显示器10g的控制方法是呈现影像的头戴式显示器10的控制方法，包括：收音步骤S10，收音来自特定方向的声音；语音检测步骤S11，从由收音步骤S10中收音到的声音中检测语音；手腕动作检测步骤S12B，检测头戴式显示器10g的佩戴者的手或手臂的动作；以及应答检测步骤S14，在由语音检测步骤S11检测到语音、且由手腕动作检测步骤S12B检测到佩戴者的手或手臂的规定动作的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16。

由此，在检测到头戴式显示器10g的佩戴者的手或手臂朝向设定于外部的人发出的语音的声源方向上的特定方向的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16。因此，在佩戴者表示对外部的人的语音进行了应答的意图的情况下，由于该情况显示于外部显示器16，所以能够进行佩戴者和外部的人能够相互确认双方意图的程度的顺畅交流。

另外，在本变形例中，在图20的流程图中，在指向性处理(S10)以及语音检测(S11)之后进行了手腕动作的检测(S12B)，但并不限定于这样的顺序。指向性处理(S10)以及语音检测(S11)与手腕动作的检测(S12B)的顺序可以调换，也可以并行进行。

以上，基于实施方式以及变形例对本发明的头戴式显示器及其控制方法进行了说明，但本发明并不限定于这些实施方式以及变形例。只要不脱离本发明的主旨，将本领域技术人员想到的各种变形应用于实施方式以及变形例，或者将实施方式以及变形例中的一部分构成要素组合而构筑的其他方式也包括在本发明的范围内。

例如，也可以对实施方式的变形例1的头戴式显示器10a追加变形例2的声源探测部19、变形例3的语音重叠部20、变形例5的声音放大器37，从而应答检测部具备这些变形例的功能。由此，实现得到各变形例的效果的高功能的头戴式显示器。

另外，在实施方式以及变形例中，各构成要素可以通过由专用的硬件构成，也可以执行适合于各构成要素的软件程序来实现。各构成要素也可以通过CPU或处理器等的程序执行部将存储在硬盘或半导体存储器等存储介质中的软件程序读出并执行来实现。在此，实现实施方式以及变形例的头戴式显示器等的软件是如下的程序。

即，该程序是使计算机执行呈现影像的头戴式显示器的控制方法的程序。该控制方法是呈现影像的头戴式显示器10的控制方法，包括：收音步骤S10，收音来自特定方向的声音；语音检测步骤S11，从由收音步骤S10中收音到的声音中检测语音；头部动作检测步骤S12，检测头戴式显示器10的佩戴者的头部的动作；以及应答检测步骤S14，在由语音检测步骤S11检测到语音、且由头部动作检测步骤S12检测到佩戴者的头部朝向特定方向的动作的情况下，将表示佩戴者对语音进行了应答的信息显示于外部显示器16，该外部显示器16显示能够从外部视觉确认的信息。

另外，该程序除了检测头戴式显示器10的佩戴者的头部的动作的头部动作检测步骤S12以外，还可以利用检测头戴式显示器10f的佩戴者的身体的朝向的身体动作检测步骤S12A、或者检测头戴式显示器10g的佩戴者的手或手臂的规定动作的手腕动作检测步骤S12B。

【产业上的可利用性】

本发明作为头戴式显示器以及远程操纵系统，尤其能够利用作为能够实现头戴式显示器的佩戴者与外部的人相互确认双方意图的程度的顺畅交流的头戴式显示器以及远程操纵系统。

Claims (13)

1.一种呈现影像的头戴式显示器，其中，

具备：

收音部，收音来自特定方向的声音；

语音检测部，从由所述收音部收音到的声音中检测语音；

头部动作检测部，检测所述头戴式显示器的佩戴者的头部的动作；

外部显示器，显示能够从外部视觉确认的信息；以及

应答检测部，在由所述语音检测部检测到语音、且由所述头部动作检测部检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

2.根据权利要求1所述的头戴式显示器，其中，

还具备说话者识别部，所述说话者识别部判定由所述语音检测部检测出的语音是否为预先决定的人的语音，

所述应答检测部在由所述说话者识别部判定为所述语音是预先决定的人的语音、且由所述头部动作检测部检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，将所述信息显示于所述外部显示器。

3.根据权利要求1所述的头戴式显示器，其中，

还具备探测声源的声源探测部，

所述收音部将由所述声源探测部探测到的声源的方向的声音作为来自所述特定方向的声音进行收音。

4.根据权利要求1所述的头戴式显示器，其中，

还具有：

头戴式耳机，将伴随所述影像的声音提供给所述佩戴者；以及

语音重叠部，使由所述语音检测部检测到的语音重叠于伴随所述影像的声音并输出到所述头戴式耳机。

5.根据权利要求4所述的头戴式显示器，其中，

所述语音重叠部在以使由所述语音检测部检测到的语音从与所述特定方向对应的方向被听到的方式进行声像定位之后，重叠于伴随所述影像的声音。

6.根据权利要求1所述的头戴式显示器，其中，

还具备头戴式耳机，所述头戴式耳机将伴随所述影像的声音提供给所述佩戴者，

当所述信息被显示在所述外部显示器上时，所述应答检测部降低提供给所述头戴式耳机的声音的音量。

7.根据权利要求1至6中任一项所述的头戴式显示器，其中，

所述应答检测部在由所述语音检测部检测到语音、且由所述头部动作检测部检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，进行以对所述佩戴者发出的语音进行收音的方式使所述收音部收音的方向变更的控制。

8.一种呈现影像的头戴式显示器的控制方法，其中，

包括：

收音步骤，收音来自特定方向的声音；

语音检测步骤，从在所述收音步骤中收音到的声音中检测语音；

头部动作检测步骤，检测所述头戴式显示器的佩戴者的头部的动作；以及

应答检测步骤，在由所述语音检测步骤检测出语音、且由所述头部动作检测步骤检测到所述佩戴者的头部朝向所述特定方向的动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。

9.一种存储介质，存储有使计算机执行权利要求8所述的控制方法中包括的步骤的程序。

10.一种呈现影像的头戴式显示器，其中，

具备：

收音部，收音来自特定方向的声音；

语音检测部，从由所述收音部收音到的声音中检测语音；

身体动作检测部，检测所述头戴式显示器的佩戴者的身体的朝向；

外部显示器，显示能够从外部视觉确认的信息；以及

应答检测部，在由所述语音检测部检测到语音、且由所述身体动作检测部检测到所述佩戴者的身体朝向所述特定方向的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

11.一种呈现影像的头戴式显示器的控制方法，其中，

包括：

收音步骤，收音来自特定方向的声音；

语音检测步骤，从由所述收音步骤收音到的声音中检测语音；

身体动作检测步骤，检测所述头戴式显示器的佩戴者的身体的朝向；以及

应答检测步骤，在由所述语音检测步骤检测到语音、且由所述身体动作检测步骤检测到所述佩戴者的身体朝向所述特定方向的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。

12.一种呈现影像的头戴式显示器，其中，

具备：

收音部，收音来自特定方向的声音；

语音检测部，从由所述收音部收音到的声音中检测语音；

手腕动作检测部，检测所述头戴式显示器的佩戴者的手或手臂的动作；

外部显示器，显示能够从外部视觉确认的信息；以及

应答检测部，在由所述语音检测部检测出语音、且由所述手腕动作检测部检测到所述佩戴者的手或手臂的规定动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于所述外部显示器。

13.一种呈现影像的头戴式显示器的控制方法，其中，

包括：

收音步骤，收音来自特定方向的声音；

语音检测步骤，从由所述收音步骤收音到的声音中检测语音；

手腕动作检测步骤，检测所述头戴式显示器的佩戴者的手或手臂的动作；以及

应答检测步骤，在由所述语音检测步骤检测到声音、且由所述手腕动作检测部检测到所述佩戴者的手或手臂的规定动作的情况下，将表示所述佩戴者对所述语音进行了应答的信息显示于外部显示器，该外部显示器显示能够从外部视觉确认的信息。