CN105425970B - 一种人机互动的方法、装置及机器人 - Google Patents

Abstract

本发明提供了一种人机互动的方法、装置及机器人，其中，该方法包括：采集用户的多媒体信息，其中，多媒体信息包括：用户图像信息和/或用户语音信息；根据预设的数据库中存储的多媒体信息和采集到的多媒体信息确定用户的身份和交互方式；其中，交互方式包括：语音交互和/或动作交互；按照确定的交互方式调取与用户的身份对应的互动内容与用户进行互动。本发明实施例根据识别出的用户身份调取与其相匹配的互动内容，进而与用户进行互动，实现了人机互动的多样性，以及实现了有针对性地进行人机互动的方式。

Description

一种人机互动的方法、装置及机器人

技术领域

本发明涉及机器人技术领域，具体而言，涉及一种人机互动的方法、装置及机器人。

背景技术

随着信息技术的飞速发展，特别是互联网的发展，数据信息化的不断深入。越来越多的事务，可以通过智能机器人来完成，目前智能机器人已经在日常生活中扮演着多种角色，因此，智能服务类机器人必定成为将来的主流，用来代替人工服务，从而对于公司而言，利用智能机器人扮演前台角色也将是未来的发展趋势。

目前，相关技术中提供了各种类型的机器人，例如：迎宾机器人主要是当识别出有宾客经过时，迎宾机器人会主动打招呼"您好！欢迎您光临"，当识别出有宾客离开时，迎宾机器人会说"您好，欢迎下次光临"，打招呼的方式比较单一；又如：陪护型机器人主要是根据使用者的语言信息执行相应的动作，如当使用者在起床之前说一声"扶我起床！"，陪护型机器人将用双手把人从床上扶起来，并帮助老人坐到轮椅上去。

然而，在实现本发明的过程中，发明人发现相关技术中至少存在以下问题：目前大多数机器人主要实现问好或者引导功能，其功能比较单一，且智能度不高。

发明内容

有鉴于此，本发明实施例的目的在于提供一种人机互动的方法、装置及机器人，以解决上述问题。

第一方面，本发明实施例提供了一种人机互动的方法，包括：

采集用户的多媒体信息，其中，所述多媒体信息包括：用户图像信息和/或用户语音信息；

根据预设的数据库中存储的多媒体信息和采集到的所述多媒体信息确定所述用户的身份和交互方式；其中，所述交互方式包括：语音交互和/或动作交互；

按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，上述采集用户的多媒体信息包括：

当监测到用户进入图像采集区域内时，自动采集所述用户的多媒体信息；

或者，当监测到用户触发采集选项功能时，采集所述用户的多媒体信息。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，上述采集用户的多媒体信息包括：当识别出有电话铃声时，自动接听电话，并采集通话中用户的语音信息；

所述根据预设的数据库中存储的多媒体信息和采集到的所述多媒体信息确定所述用户的身份和交互方式包括：根据采集到的所述通话中用户的语音信息识别语音关键词；根据所述语音关键词和预设的数据库中存储的语音识别信息确定所述用户的身份和当前交互方式为动作交互，其中，所述语音关键词包括所述用户的姓名和/或所述用户需要连电的人员姓名；

所述按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动包括：调取与所述用户的身份对应的电话转接号码，将所述通话转接至所述电话转接号码对应的终端。

结合第一方面至第一方面的第二种可能的实施方式中任一中可能，本发明实施例提供了第一方面的第三种可能的实施方式，其中，上述按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动包括：

根据用户的语音信息识别语音所对应的语言类型，按照确定的交互方式和识别出的语言类型调取与所述用户的身份对应的互动内容与所述用户进行互动。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，上述人机互动的方法还包括：当识别出有门铃声音时，启动自动门打开。

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，上述按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动包括：

按照确定的交互方式从预设的数据库中查找与所述用户的身份对应的互动内容，其中，所述数据库中预先存储有以下中的一种或多种：来访客户的信息以及对应的互动内容，预提示员工的信息以及对应的提示指令，已识别出的陌生人的身份以及对应的图像信息；

调取查找到的所述互动内容，并与所述用户进行互动。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，上述人机互动的方法还包括：

采集巡检过程中的多媒体信息时，对采集到的所述多媒体信息进行异常状况判断；

当识别出所述多媒体信息为突发或者异常情况时，进行报警，其中，所述报警至少包括以下之一：现场语音或者灯光报警，致电客服中心或相关人员报警。

第二方面，本发明实施例还提供了一种人机互动的方法装置，该装置包括：

信息采集模块，用于采集用户的多媒体信息，其中，所述多媒体信息包括：用户图像信息和/或用户语音信息；

身份与交互确定模块，用于根据预设的数据库中存储的多媒体信息和采集到的所述多媒体信息确定所述用户的身份和交互方式；其中，所述交互方式包括：语音交互和/或动作交互；

互动内容调取模块，用于按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动。

结合第二方面，本发明实施例提供了第二方面的第一种可能的实施方式，其中，上述信息采集模块包括：

第一采集单元，用于当监测到用户进入图像采集区域内时，自动采集所述用户的多媒体信息；或者，

第二采集单元，用于当监测到用户触发采集选项功能时，采集所述用户的多媒体信息。

结合第二方面，本发明实施例提供了第二方面的第二种可能的实施方式，其中，上述信息采集模块包括：

通话语音采集单元，用于当识别出有电话铃声时，自动接听电话，并采集通话中用户的语音信息；

所述身份与交互确定模块包括：

关键词识别单元，用于根据采集到的所述通话中用户的语音信息识别语音关键词；

用户的身份确定单元，用于根据所述语音关键词和预设的数据库中存储的语音识别信息确定所述用户的身份和当前交互方式为动作交互，其中，所述语音关键词包括所述用户的姓名和/或所述用户需要连电的人员姓名；

所述互动内容调取模块包括：

转接号码调取单元，用于调取与所述用户的身份对应的电话转接号码，将所述通话转接至所述电话转接号码对应的终端。

结合第二方面至第二方面的第二种可能的实施方式中任一中可能，本发明实施例提供了第二方面的第三种可能的实施方式，其中，上述互动内容调取模块包括：

语言类型识别单元，用于根据用户的语音信息识别语音所对应的语言类型；

第一互动内容调取单元，用于按照确定的交互方式和识别出的语言类型调取与所述用户的身份对应的互动内容与所述用户进行互动。

结合第二方面，本发明实施例提供了第二方面的第四种可能的实施方式，其中，上述人机互动的装置还包括：

自动门启动模块，用于当识别出有门铃声音时，启动自动门打开。

结合第二方面，本发明实施例提供了第二方面的第五种可能的实施方式，其中，上述互动内容调取模块包括：

互动内容查找单元，用于按照确定的交互方式从预设的数据库中查找与所述用户的身份对应的互动内容，其中，所述数据库中预先存储有以下中的一种或多种：来访客户的信息以及对应的互动内容，预提示员工的信息以及对应的提示指令，已识别出的陌生人的身份以及对应的图像信息；

第二互动内容调取单元，用于调取查找到的所述互动内容，并与所述用户进行互动。

结合第二方面，本发明实施例提供了第二方面的第六种可能的实施方式，其中，上述人机互动的装置还包括：

异常状况判断模块，用于采集巡检过程中的多媒体信息时，对采集到的所述多媒体信息进行异常状况判断；

报警模块，用于当识别出所述多媒体信息为突发或者异常情况时，进行报警，其中，所述报警至少包括以下之一：现场语音或者灯光报警，致电客服中心或相关人员报警。

第三方面，本发明实施例还提供了一种机器人，该机器人包括：上述人机互动的装置。

在本发明实施例提供的人机互动的方法及装置中，首先，采集用户的多媒体信息，其中，多媒体信息包括：用户图像信息和/或用户语音信息；然后，根据预设的数据库中存储的多媒体信息和采集到的多媒体信息确定用户的身份和交互方式；其中，交互方式包括：语音交互和/或动作交互；最后，按照确定的交互方式调取与用户的身份对应的互动内容与用户进行互动，通过根据识别出的用户身份调取与其相匹配的互动内容，进而与用户进行互动，实现了人机互动的多样性，以及实现了有针对性地进行人机互动的方式。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例所提供的人机互动方法的流程图；

图2示出了本发明实施例所提供的另一种人机互动方法的流程图；

图3示出了本发明实施例所提供的一种人机互动装置的结构示意图；

图4示出了本发明实施例所提供的另一种人机互动装置的结构示意图；

图5示出了本发明实施例所提供的又一种人机互动装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到目前大多数机器人主要实现问好或者引导功能，其功能比较单一，且智能度不高，从而导致人机互动效果不佳。基于此，本发明实施例提供了一种人机互动的方法、装置及机器人，下面通过实施例进行描述。

如图1所示，本发明实施例提供了一种人机互动的方法，该方法包括步骤S102-S106，具体如下：

步骤S102：采集用户的多媒体信息，其中，上述多媒体信息可以是用户图像信息，也可以是用户语音信息，还可以是用户图像信息和用户语音信息同时采集；

其中，可以通过如下方式采集用户的多媒体信息，具体为：

一种方式是实时监控主动采集进入图像采集区的用户的多媒体信息，即当监测到用户进入图像采集区域内时，自动采集上述用户的多媒体信息；

另一种方式是被动采集进入图像采集区的用户的多媒体信息，即当监测到用户触发采集选项功能时，采集上述用户的多媒体信息，如检测到有用户按下采集按键或者是点击触摸屏上复选框时，开始执行采集动作。

步骤S104：根据预设的数据库中存储的多媒体信息和采集到的上述多媒体信息确定上述用户的身份和交互方式；其中，上述交互方式包括：语音交互和/或动作交互；

具体的，将步骤S102中采集到的用户图像信息与预设的数据库中存储的图像信息进行比对，进而判断用户的身份；同时，根据采集到的用户语音信息识别关键词，根据识别到的关键词确定交互方式，如当识别出用户为来访客人且需要找公司XXX员工时，此时交互方式为动作交互和语音交互，然后通过下述步骤S106调取相应的互动内容并进行互动：首先以接待客人的方式进行问好，然后将该用户引导到达公司XXX员工的工位上。

步骤S106：按照确定的交互方式调取与上述用户的身份对应的互动内容与上述用户进行互动。

通过步骤S104确定用户的身份和交互方式后，执行步骤S106根据用户的身份和交互方式调取相应的互动内容并进行互动，即根据识别出的用户的身份和确定的交互方式，在预设的数据库中调取与该用户身份相对应的互动内容进行交流，如：若判断出用户为公司员工，则进行问好“XXX早上好/中午好”；若未识别出身份，则可认为其为来访客人，则进行问好“欢迎光临XXX公司，请问您有什么需要帮助的吗”；然后，根据用户的语音信息识别出关键词，并从预设的数据库中检索相关的答案，与用户进行交流、互动，另外，当未检索到匹配的答案的情况下，将转至客服中心，由人工服务继续为来访客人服务或者电话中的人员服务，同时通过视频通话的方式实现面对面的交流、互动。

在本发明实施例提供的人机互动的方法中，首先，采集用户的多媒体信息，其中，多媒体信息包括：用户图像信息和/或用户语音信息；然后，根据预设的数据库中存储的多媒体信息和采集到的多媒体信息确定用户的身份和交互方式；其中，交互方式包括：语音交互和/或动作交互；最后，按照确定的交互方式调取与用户的身份对应的互动内容与用户进行互动，在本发明实施例中通过利用人脸识别技术识别出用户的身份，并根据识别出的用户身份调取与其相匹配的互动内容，同时通过利用语音关键字识别技术识别出关键字，并根据关键词和用户身份确定互动内容，进而与用户进行互动，实现了人机互动的多样性，提高了人机互动的灵活性，以及针对不同的用户调取不同的互动内容，实现了有针对性地进行人机互动的方式。

进一步的，考虑到上班时间或者下班时间随时可能有客人打进公司的电话，基于此，如图2示出了人机交互方法的另一种流程图，具体如下：

步骤S202：当识别出有电话铃声时，自动接听电话，并采集通话中用户的语音信息；

步骤S204：根据采集到的上述通话中用户的语音信息识别语音关键词；

步骤S206：根据上述语音关键词和预设的数据库中存储的语音识别信息确定上述用户的身份和当前交互方式为动作交互，其中，上述语音关键词包括上述用户的姓名和/或上述用户需要连电的人员姓名；

步骤S208：调取与上述用户的身份对应的电话转接号码，将上述通话转接至上述电话转接号码对应的终端。

其中，上述与用户的身份对应的电话转接号码可以包括被叫的手机号，也可以包括分机号，还可以包括客服中心号码，如果上述用户的身份为需要联系公司员工张XX，则将张XX电话作为电话转接号码，若预设数据库中没有查询到公司员工张XX电话，则调取客服中心号码作为电话转接号码。

另外，接听电话过程还可以与通话中用户进行互动，直接回答用户的咨询问题，具体的，当识别出有电话时，可以自动接听电话，并根据通话中用户的语音识别出关键词，然后从预设的数据库中检索相关的答案，与通话中用户进行交流、互动，此外，当未检索到匹配的答案的情况下，将转至客服中心，由人工服务继续为电话中人员服务。

在本发明实施例中，通过设置自动接听电话的功能，并结合语音关键字识别技术，即可以输出与用户身份相对应的互动内容，又可以自动将电话转接至通话中用户需要的电话转接号码上，进一步实现了人机互动的多样性，提高了人机互动的灵活性。

进一步的，由于考虑到采集到的用户的语言类型可能有多种，为了更好的提高用户体验度，基于此，按照确定的交互方式调取与上述用户的身份对应的互动内容与上述用户进行互动包括：

根据用户的语音信息识别语音所对应的语言类型，按照确定的交互方式和识别出的语言类型调取与上述用户的身份对应的互动内容与上述用户进行互动。

其中，也可以是根据用户的图像信息识别用户的外貌特征，按照确定的交互方式和识别出的外貌特征所对应的语言类型调取与上述用户的身份对应的互动内容与上述用户进行互动，以上两种方式都能够确定语言类型，而如果同时采用这两种方式，则能够使确定出的语言类型更加准确，无论是根据用户的语音信息识别语音所对应的语言类型，还是根据用户的图像信息识别用户的外貌特征，再根据外貌特征确定语言类型，上述两种根据用户的多媒体信息确定语言类型，以实现多语言环境交流的方式均在本发明的保护范围内。

在本发明实施例中，根据采集到的用户的语言信息识别出语音所对应的语言类型或者根据采集到的用户的图像信息识别出用户的外貌特征，再根据外貌特征确定语言类型，采用相应的语言类型与来访客人进行交流、互动，通过采用多语言环境的交流方式，进一步增加人机互动的灵活性，提高来访客人的体验度。

进一步的，上述方法还包括：当识别出有门铃声音时，启动自动门打开。

在本发明实施例中，可以实现自动打开自动门，具体包括：当识别出有门铃声音时，自动打开自动门并将采集到的用户的图像信息进行记录及并采用有针对性的互动方式，便于实时监管及后续追踪。

为了进一步增加人机互动的灵活性，上述按照确定的交互方式调取与上述用户的身份对应的互动内容与上述用户进行互动包括：

按照确定的交互方式从预设的数据库中查找与上述用户的身份对应的互动内容，其中，上述数据库中预先存储有以下中的一种或多种：来访客户的信息以及对应的互动内容，预提示员工的信息以及对应的提示指令，已识别出的陌生人的身份以及对应的图像信息；

调取查找到的上述互动内容，并与上述用户进行互动。

具体的，可以在预设的数据库中预先存储来访客户的信息以及对应的互动内容，例如：当近期可能会有某位领导视察时，则可临时添加该领导的身份识别数据(人脸图像和/或声音信息)，并在机器人添加对应的身份识别方式(人脸识别/或者声音识别)，并添加与之相应的人机互动方式(如针对而专门设置的欢迎方式)；若判断出用户为预先存储的莅临指导的专家/教授，则进行问好“热烈欢迎XXX专家/教授前来XXX公司指导工作”；由此，可以控制机器人进行一些特殊的互动方式，进一步增加人机互动的灵活性和实用性；

还可以在预设的数据库中预先存储预提示员工的信息以及对应的提示指令，例如，对于内部员工，可以在机器人上设置自己所需的互动服务，在识别出该员工的身份后，可以针对该身份的员工提供一些相应的互动方式，如内部员工第二天需要XX时间开会，则可以提前在机器人上设置开会提醒服务，机器人保存了该设置后，可以在第二天识别出该员工后，执行设定的用于提醒的人机互动操作；又如，提醒操作还可以是提醒是否带工牌，或者根据当前时间提醒是否迟到等，通过将身份识别与设定人机互动方式进行结合，可以进一步增强人机交互的灵活性和实用性；

也可以在预设的数据库中实时存储已识别出的陌生人的身份以及对应的图像信息，具体包括：对首次进入公司的人员进行图像记录并保存其身份，该人员再次进入公司可以自动识别出其身份，根据已存储的所述人员的身份确定输出交流语句，并进行与该人员身份相对应的交流、互动，例如：通过第一次交流识别出人员身份为快递员，该快递员第二次来公司主动按与快递员的问好方式进行问好。

在本发明实施例中，通过在预设的数据库中预先设置用户信息及对应的互动内容，采用这种灵活设置人机互动的方式，同时增加人脸身份记忆功能，进一步增加了人机互动的灵活性，提高了用户的体验度。

另外，上述方法还包括：采集巡检过程中的多媒体信息时，对采集到的上述多媒体信息进行异常状况判断；

当识别出上述多媒体信息为突发或者异常情况时，进行报警，其中，上述报警至少包括以下之一：现场语音或者灯光报警，致电客服中心或相关人员报警。

具体的，当识别出存在突发或者异常情况时，可通过报警模块进行报警，其中报警方式可以是现场语音警报报警，也可以灯光闪烁报警，还可以是转接到客服中心，或者转接到预设的手机上，从而通过机器人上的摄像采集装置进行实时监控，实现了24小时昼夜监控，如上班时间外有人闯入可及时触发报警系统，可推送至公司前台系统和APP上，及时通知大厦物业保安，免于公司财物遭受损失；同时，将监控数据存储到云服务器上，该云服务器通过无线通讯方式与客户端进行通讯，相应客户端上的用户可以随时从云服务器上获取所需的信息。

综上所述，在本发明实施例提供的人机互动的方法中，首先，采集用户的多媒体信息，其中，该多媒体信息包括：用户图像信息和/或用户语音信息；然后，根据预设的数据库中存储的多媒体信息和采集到的多媒体信息确定用户的身份和交互方式；其中，该交互方式包括：语音交互和/或动作交互；最后，按照确定的交互方式调取与用户的身份对应的互动内容与用户进行互动，本发明实施例通过利用人脸识别技术识别出用户的身份，并根据识别出的用户身份调取与其相匹配的互动内容，同时通过利用语音关键字识别技术识别出关键字，并根据关键词和用户身份确定互动内容，进而与用户进行互动，实现了人机互动的多样性，提高了人机互动的灵活性，以及针对不同的用户调取不同的互动内容，实现了有针对性地进行人机互动的方式；进一步的，通过设置自动接听电话的功能，并结合语音关键字识别技术，即可以输出与用户身份相对应的互动内容，又可以自动将电话转接至通话中用户需要的电话转接号码上，进一步实现了人机互动的多样性，提高了人机互动的灵活性；又进一步的，根据采集到的用户的语言信息识别出语音所对应的语言类型或者根据采集到的用户的图像信息识别出用户的外貌特征，再根据外貌特征确定语言类型，采用相应的语言类型与来访客人进行交流、互动，通过采用多语言环境的交流方式，进一步增加人机互动的灵活性，提高来访客人的体验度；更进一步的，通过在预设的数据库中预先设置用户信息及对应的互动内容，采用这种灵活设置人机互动的方式，同时增加人脸身份记忆功能，进一步增加了人机互动的灵活性，提高了用户的体验度。

如图3所示，本发明实施例提供了一种人机互动的装置，该装置包括：

信息采集模块402，用于采集用户的多媒体信息，其中，上述多媒体信息包括：用户图像信息和/或用户语音信息；

身份与交互确定模块404，用于根据预设的数据库中存储的多媒体信息和采集到的上述多媒体信息确定上述用户的身份和交互方式；其中，上述交互方式包括：语音交互和/或动作交互；

互动内容调取模块406，用于按照确定的交互方式调取与上述用户的身份对应的互动内容与上述用户进行互动。

进一步的，上述信息采集模块402包括：

第一采集单元，用于当监测到用户进入图像采集区域内时，自动采集上述用户的多媒体信息；或者，

第二采集单元，用于当监测到用户触发采集选项功能时，采集上述用户的多媒体信息。

进一步的，如图4所示，上述信息采集模块402包括：

通话语音采集单元4021，用于当识别出有电话铃声时，自动接听电话，并采集通话中用户的语音信息；

上述身份与交互确定模块404包括：

关键词识别单元4041，用于根据采集到的上述通话中用户的语音信息识别语音关键词；

用户的身份确定单元4042，用于根据上述语音关键词和预设的数据库中存储的语音识别信息确定上述用户的身份和当前交互方式为动作交互，其中，上述语音关键词包括上述用户的姓名和/或上述用户需要连电的人员姓名；

上述互动内容调取模块406包括：

转接号码调取单元4061，用于调取与上述用户的身份对应的电话转接号码，将上述通话转接至上述电话转接号码对应的终端。

进一步的，如图5所示，上述互动内容调取模块406包括：

语言类型识别单元4062，用于根据用户的语音信息识别语音所对应的语言类型；

第一互动内容调取单元4063，用于按照确定的交互方式和识别出的语言类型调取与上述用户的身份对应的互动内容与上述用户进行互动。

进一步的，上述人机互动装置还包括：

自动门启动模块，用于当识别出有门铃声音时，启动自动门打开。

进一步的，上述互动内容调取模块406包括：

互动内容查找单元，用于按照确定的交互方式从预设的数据库中查找与上述用户的身份对应的互动内容，其中，上述数据库中预先存储有以下中的一种或多种：来访客户的信息以及对应的互动内容，预提示员工的信息以及对应的提示指令，已识别出的陌生人的身份以及对应的图像信息；

第二互动内容调取单元，用于调取查找到的上述互动内容，并与上述用户进行互动。

进一步的，上述人机互动装置还包括：

异常状况判断模块，用于采集巡检过程中的多媒体信息时，对采集到的上述多媒体信息进行异常状况判断；

报警模块，用于当识别出上述多媒体信息为突发或者异常情况时，进行报警，其中，上述报警至少包括以下之一：现场语音或者灯光报警，致电客服中心或相关人员报警。

本发明实施例中还提供一种机器人，该机器人包括：上述人机互动的装置。

由于考虑到目前大多数机器人主要实现问好或者引导功能，其功能比较单一，且智能度不高，现有机器人所能实现的功能不足以满足前台工作监管的需求，无法替代前台人员完成前台的相关工作，在本发明实施例提供的机器人中嵌入人脸识别功能，通过采集进入公司的人员的图像信息，然后与预先存储在数据库中的图像信息进行比对，进而判断该人员的身份，使用预设的交流方式进行交流，同时嵌入语音关键字识别功能，通过采集进入公司的人员的语音信息，然后识别出关键字，根据关键字和人员身份调取互动内容，本发明实施例提供的机器人可以用来替代前台人员与来访客人进行精准地交流、互动，可以更好满足应用于前台机器人的实际需求；还可以应用其他要求人机互动多样性、灵活性的场景。

进一步的，在上述机器人中还可以嵌入打卡系统，并且自动生成考勤记录，具体包括：通过识别进出人员图像，对员工进出公司时间进行记录，并生成考勤记录列表，该记录项目包括日期、上班时间、下班时间，上班时间出入公司也可以进行记录。

进一步的，在上述机器人中还可以嵌入预定模块：如会议室预定等等。

进一步的，在上述机器人中还可以嵌入声源定位功能，可根据声源位置及时调整转向，始终正对人脸。

基于上述分析可知，与相关技术中的机器人相比，在本发明实施例提供的人机互动的装置及机器人首先，采集用户的多媒体信息，其中，该多媒体信息包括：用户图像信息和/或用户语音信息；然后，根据预设的数据库中存储的多媒体信息和采集到的多媒体信息确定用户的身份和交互方式；其中，该交互方式包括：语音交互和/或动作交互；最后，按照确定的交互方式调取与用户的身份对应的互动内容与用户进行互动，本发明实施例通过利用人脸识别技术识别出用户的身份，并根据识别出的用户身份调取与其相匹配的互动内容，同时通过利用语音关键字识别技术识别出关键字，并根据关键词和用户身份确定互动内容，进而与用户进行互动，实现了人机互动的多样性，提高了人机互动的灵活性，以及针对不同的用户调取不同的互动内容，实现了有针对性地进行人机互动的方式；进一步的，通过设置自动接听电话的功能，并结合语音关键字识别技术，即可以输出与用户身份相对应的互动内容，又可以自动将电话转接至通话中用户需要的电话转接号码上，进一步实现了人机互动的多样性，提高了人机互动的灵活性；又进一步的，根据采集到的用户的语言信息识别出语音所对应的语言类型或者根据采集到的用户的图像信息识别出用户的外貌特征，再根据外貌特征确定语言类型，采用相应的语言类型与来访客人进行交流、互动，通过采用多语言环境的交流方式，进一步增加人机互动的灵活性，提高来访客人的体验度；更进一步的，通过在预设的数据库中预先设置用户信息及对应的互动内容，采用这种灵活设置人机互动的方式，同时增加人脸身份记忆功能，进一步增加了人机互动的灵活性，提高了用户的体验度。

本发明实施例所提供的人机互动的装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (11)

1.一种人机互动的方法，其特征在于，包括：

采集用户的多媒体信息，其中，所述多媒体信息包括：用户图像信息和/或用户语音信息；

根据预设的数据库中存储的多媒体信息和采集到的所述多媒体信息确定所述用户的身份和交互方式；其中，所述交互方式包括：语音交互和/或动作交互；

按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动；

采集巡检过程中的多媒体信息时，对采集到的所述多媒体信息进行异常状况判断；

当识别出所述多媒体信息为突发或者异常情况时，进行报警，其中，所述报警至少包括以下之一：现场语音或者灯光报警，致电客服中心或相关人员报警；

所述采集用户的多媒体信息包括：当识别出有电话铃声时，自动接听电话，并采集通话中用户的语音信息；

所述根据预设的数据库中存储的多媒体信息和采集到的所述多媒体信息确定所述用户的身份和交互方式包括：根据采集到的所述通话中用户的语音信息识别语音关键词；根据所述语音关键词和预设的数据库中存储的语音识别信息确定所述用户的身份和当前交互方式，其中，所述语音关键词包括所述用户的姓名和/或所述用户需要连电的人员姓名；

所述按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动包括：调取与所述用户的身份对应的电话转接号码，将所述通话转接至所述电话转接号码对应的终端。

2.根据权利要求1所述的人机互动的方法，其特征在于，所述采集用户的多媒体信息包括：

当监测到用户进入图像采集区域内时，自动采集所述用户的多媒体信息；

或者，当监测到用户触发采集选项功能时，采集所述用户的多媒体信息。

3.根据权利要求1-2任一项所述的人机互动的方法，其特征在于，所述按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动包括：

根据用户的语音信息识别语音所对应的语言类型，按照确定的交互方式和识别出的语言类型调取与所述用户的身份对应的互动内容与所述用户进行互动。

4.根据权利要求1所述的人机互动的方法，其特征在于，还包括：当识别出有门铃声音时，启动自动门打开。

5.根据权利要求1所述的人机互动的方法，其特征在于，所述按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动包括：

按照确定的交互方式从预设的数据库中查找与所述用户的身份对应的互动内容，其中，所述数据库中预先存储有以下中的一种或多种：来访客户的信息以及对应的互动内容，预提示员工的信息以及对应的提示指令，已识别出的陌生人的身份以及对应的图像信息；

调取查找到的所述互动内容，并与所述用户进行互动。

6.一种人机互动的装置，其特征在于，包括：

信息采集模块，用于采集用户的多媒体信息，其中，所述多媒体信息包括：用户图像信息和/或用户语音信息；

身份与交互确定模块，用于根据预设的数据库中存储的多媒体信息和采集到的所述多媒体信息确定所述用户的身份和交互方式；其中，所述交互方式包括：语音交互和/或动作交互；

互动内容调取模块，用于按照确定的交互方式调取与所述用户的身份对应的互动内容与所述用户进行互动；

异常状况判断模块，用于采集巡检过程中的多媒体信息时，对采集到的所述多媒体信息进行异常状况判断；

报警模块，用于当识别出所述多媒体信息为突发或者异常情况时，进行报警，其中，所述报警至少包括以下之一：现场语音或者灯光报警，致电客服中心或相关人员报警；

所述信息采集模块包括：

通话语音采集单元，用于当识别出有电话铃声时，自动接听电话，并采集通话中用户的语音信息；

所述身份与交互确定模块包括：

关键词识别单元，用于根据采集到的所述通话中用户的语音信息识别语音关键词；

用户的身份确定单元，用于根据所述语音关键词和预设的数据库中存储的语音识别信息确定所述用户的身份和当前交互方式，其中，所述语音关键词包括所述用户的姓名和/或所述用户需要连电的人员姓名；

所述互动内容调取模块包括：

转接号码调取单元，用于调取与所述用户的身份对应的电话转接号码，将所述通话转接至所述电话转接号码对应的终端。

7.根据权利要求6所述的人机互动的装置，其特征在于，所述信息采集模块包括：

第一采集单元，用于当监测到用户进入图像采集区域内时，自动采集所述用户的多媒体信息；或者，

第二采集单元，用于当监测到用户触发采集选项功能时，采集所述用户的多媒体信息。

8.根据权利要求6或7所述的人机互动的装置，其特征在于，所述互动内容调取模块包括：

语言类型识别单元，用于根据用户的语音信息识别语音所对应的语言类型；

第一互动内容调取单元，用于按照确定的交互方式和识别出的语言类型调取与所述用户的身份对应的互动内容与所述用户进行互动。

9.根据权利要求6所述的人机互动的装置，其特征在于，还包括：

自动门启动模块，用于当识别出有门铃声音时，启动自动门打开。

10.根据权利要求6所述的人机互动的装置，其特征在于，所述互动内容调取模块包括：

互动内容查找单元，用于按照确定的交互方式从预设的数据库中查找与所述用户的身份对应的互动内容，其中，所述数据库中预先存储有以下中的一种或多种：来访客户的信息以及对应的互动内容，预提示员工的信息以及对应的提示指令，已识别出的陌生人的身份以及对应的图像信息；

第二互动内容调取单元，用于调取查找到的所述互动内容，并与所述用户进行互动。

11.一种机器人，其特征在于，包括：如权利要求6-10任一项所述的人机互动的装置。