[go: up one dir, main page]

CN110990594A - 一种基于自然语言交互的机器人空间认知方法及系统 - Google Patents

一种基于自然语言交互的机器人空间认知方法及系统 Download PDF

Info

Publication number
CN110990594A
CN110990594A CN201911207208.XA CN201911207208A CN110990594A CN 110990594 A CN110990594 A CN 110990594A CN 201911207208 A CN201911207208 A CN 201911207208A CN 110990594 A CN110990594 A CN 110990594A
Authority
CN
China
Prior art keywords
distance
target
point
relationship
target object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911207208.XA
Other languages
English (en)
Other versions
CN110990594B (zh
Inventor
付艳
邱侃
李世其
王峻峰
程力
王晓怡
谭杰
李雪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huazhong University of Science and Technology
Original Assignee
Huazhong University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huazhong University of Science and Technology filed Critical Huazhong University of Science and Technology
Priority to CN201911207208.XA priority Critical patent/CN110990594B/zh
Publication of CN110990594A publication Critical patent/CN110990594A/zh
Application granted granted Critical
Publication of CN110990594B publication Critical patent/CN110990594B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/38Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/387Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Library & Information Science (AREA)
  • Artificial Intelligence (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Manipulator (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

本发明公开一种基于自然语言交互的机器人空间认知方法及系统,包括:建立基于自然语言表达的空间信息语料库,包括:目标属性特征描述语料和目标位置特征描述语料;根据预设的语法规则将目标属性特征描述语料和目标位置特征描述语料转化成关键词数组;根据关键词数组中包含的物体相关特征,判断目标物、参照物所属类别和空间位置计算关系,空间位置计算关系包括如下关系中的至少一种:目标物相对参照物的方向关系、目标物相对参照物的距离关系以及目标物相对至少两个参照物的拓扑关系;根据目标物、参照物所属类别和空间位置计算关系,确定目标物的坐标范围,以便后续进行目标物搜索。本发明能够降低人和机器人之间的交互频次,提升人机交互效率。

Description

一种基于自然语言交互的机器人空间认知方法及系统
技术领域
本发明涉及人机交互技术领域,更具体地,涉及一种基于自然语言交互的机器人空间认知方法及系统。
背景技术
星球探测、野外救援等非结构化环境下,机器人无法理解全部的环境信息,独立完成任务的难度和效率仍然存在很大的问题。人在综合感知、预测判断、空间推理等方面的能力优势可较好地弥补这种不足,人机协同是执行任务的有效方法。人机交互方式是人机协同过程的关键点之一,自然友好的人机交互方式能够有效提升交互水平。自然语言作为自然交互方式的一种,具备“非受限性”,人无需扭曲自然的思维和行为方式去适应机器人的要求,同时对环境和设备的要求不高,较为适用于非结构化环境,在移动机器人领域得到了广泛应用。
人机协同完成任务的过程中涉及空间信息的加工,即空间认知。由于人机间的空间认知机制存在巨大的差异,机器人难以理解基于自然语言表达的空间信息,只能接收单向结构化的控制指令,频繁低速的交互极大地影响了作业效率。要解决这一问题,重点在于机器人如何能够理解人对于空间信息的认知表达。现有技术基于认知理论框架实现了对人类认知过程的模拟,即通过实验获取人类语言命令和交流中的空间参考框架选用和空间推理特征,试图为机器人构建空间认知与推理模块,但上述任务只涉及近距离的目标定位,场景较为单一,不包括复杂任务下的空间表达,具备一定的局限性。在面向人机协同的空间信息交互领域,亟待一种满足自然语言交互的机器人空间认知方法。
发明内容
针对现有技术的缺陷,本发明的目的在于解决人机间的空间认知机制存在巨大的差异,机器人难以理解基于自然语言表达的空间信息,只能接收单向结构化的控制指令,频繁低速的交互极大地影响了作业效率的技术问题。
为实现上述目的,第一方面,本发明提供一种基于自然语言交互的机器人空间认知方法,包括以下步骤:
建立基于自然语言表达的空间信息语料库,包括:目标属性特征描述语料和目标位置特征描述语料;
根据预设的语法规则将所述目标属性特征描述语料和目标位置特征描述语料转化成关键词数组;所述关键词包括:目标物名称、参照物名称、方向关系以及距离关系;
根据所述关键词数组中包含的物体相关特征,判断目标物、参照物所属类别和空间位置计算关系,所述类别包括点状物和面状物,所述空间位置计算关系包括如下关系中的至少一种:目标物相对参照物的方向关系、目标物相对参照物的距离关系以及目标物相对至少两个参照物的拓扑关系;
根据目标物、参照物所属类别和所述空间位置计算关系,确定目标物的坐标范围,以便后续进行目标物搜索。
可选地,物体所属类别,通过如下方式判断:
若待判断类别的物体是独立的物体,将其抽象为点状物体或者是面状物体都不影响自身或者除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为点状物;
若待判断类别的物体面积占比大于预设值,将其抽象为点状物体时影响其自身或除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为面状物。
可选地,根据目标物相对参照物的方向关系,通过如下步骤求解目标物的坐标范围:
当参照物为点状物时,采用八方向锥形模型,将整个二维的空间平面分成带有方向性的八个部分,每两个方向的间隔为45度;设点状参照物位于坐标系原点,对于空间中任意一点状目标物,根据预设的多条直线约束,得到点状目标物相对于点状参照物在不同方向下的坐标位置集合;
当参照物为面状参照物时,使用最小边界矩形模型,确定面状参照物及其最小外接矩形,将所述最小外接矩形的四条矩形边所在直线作为各个方向的分界线;根据所述各个方向的分界线确定点状目标物相对于面状参照物在不同方向下的坐标位置集合;
若有两个参照物,则只需根据不同的参照物方位描述分别确定目标物坐标位置范围,然后求两者范围交集。
可选地,根据目标物相对参照物的距离关系,所述距离关系包括:定量距离、定性距离或时间距离;通过如下步骤求解目标物的坐标范围:
当距离关系为定量距离,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定量距离以及误差距离范围区域;
当距离关系为定性距离,为不同粒度级的距离预设不同的距离阈值,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定性距离范围区域;
当距离关系为时间距离,将时间距离转化成定量距离之后,再确定点状参照物的坐标范围;
当使用目标物与两个参照物的距离关系来描述目标物位置时,需根据不同的参照物距离描述分别确定目标物体的坐标范围,两者求交集确定最终的目标物坐标范围。
可选地,根据目标物相对参照物的距离关系和方向关系,通过如下步骤求解目标物的坐标范围:
分别按照目标物相对参照物的距离关系和方向关系两个约束条件求解目标物的坐标范围,最后求两个坐标范围的交集,确定最终的目标物坐标范围。
可选地,根据目标物相对至少两个参照物的拓扑关系,通过如下步骤求解目标物的坐标范围:
若所述拓扑关系为目标物在两个参照物之间:
当两个参照物均为点状参照物时,目标物在两个参照物连成的线段及距离线段为预设距离的区域范围内;
当两个参照物为面状参照物时,目标物的范围根据两个面状参照物最小外接矩形的矩形边确定;
当两个参照物分别为点状参照物和面状参照物时,目标物的范围根据点状参照物的坐标和面状参照物最小外接矩形的矩形边确定。
第二方面,本发明提供一种基于自然语言交互的机器人空间认知系统,包括:
语料库建立单元,用于建立基于自然语言表达的空间信息语料库,包括:目标属性特征描述语料和目标位置特征描述语料;
关键词确定单元,用于根据预设的语法规则将所述目标属性特征描述语料和目标位置特征描述语料转化成关键词数组;所述关键词包括:目标物名称、参照物名称、方向关系以及距离关系;
特征判断单元,用于根据所述关键词数组中包含的物体相关特征,判断目标物、参照物所属类别和空间位置计算关系,所述类别包括点状物和面状物,所述空间位置计算关系包括如下关系中的至少一种:目标物相对参照物的方向关系、目标物相对参照物的距离关系以及目标物相对至少两个参照物的拓扑关系;
目标物坐标确定单元,用于根据目标物、参照物所属类别和所述空间位置计算关系,确定目标物的坐标范围,以便后续进行目标物搜索。
可选地,关键词确定单元通过如下方式判断物体所属类别:若待判断类别的物体是独立的物体,将其抽象为点状物体或者是面状物体都不影响自身或者除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为点状物;若待判断类别的物体面积占比大于预设值,将其抽象为点状物体时影响其自身或除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为面状物。
可选地,根据目标物相对参照物的方向关系,目标物坐标确定单元通过如下步骤求解目标物的坐标范围:当参照物为点状物时,采用八方向锥形模型,将整个二维的空间平面分成带有方向性的八个部分,每两个方向的间隔为45度;设点状参照物位于坐标系原点,对于空间中任意一点状目标物,根据预设的多条直线约束,得到点状目标物相对于点状参照物在不同方向下的坐标位置集合;当参照物为面状参照物时,使用最小边界矩形模型,确定面状参照物及其最小外接矩形,将所述最小外接矩形的四条矩形边所在直线作为各个方向的分界线;根据所述各个方向的分界线确定点状目标物相对于面状参照物在不同方向下的坐标位置集合;若有两个参照物,则只需根据不同的参照物方位描述分别确定目标物坐标位置范围,然后求两者范围交集。
可选地,根据目标物相对参照物的距离关系,所述距离关系包括:定量距离、定性距离或时间距离;目标物坐标确定单元通过如下步骤求解目标物的坐标范围:当距离关系为定量距离,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定量距离以及误差距离范围区域;当距离关系为定性距离,为不同粒度级的距离预设不同的距离阈值,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定性距离范围区域;当距离关系为时间距离,将时间距离转化成定量距离之后,再确定点状参照物的坐标范围;当使用目标物与两个参照物的距离关系来描述目标物位置时,需根据不同的参照物距离描述分别确定目标物的坐标范围,两者求交集确定最终的目标物坐标范围。
总体而言,通过本发明所构思的以上技术方案与现有技术相比,具有以下有益效果:
本发明提供的基于自然语言交互的机器人空间认知方法及系统,相较于传统机器人以接收单向结构化控制指令为主的空间认知方式,本发明通过增加机器人对自然语言的认知,通过找出自然语言指令中的关键词,并从关键词中确定目标物的坐标范围,便于机器人认知自然语言,能够降低人和机器人之间的交互频次,提升人机交互效率。
本发明提供的基于自然语言交互的机器人空间认知方法及系统,相较于传统机器人空间认知方式下人主要发送结构化的控制指令,需要学习大量的表达规则,本发明下人只需使用自然的语言表达方式表达空间信息,认知负荷有所降低。
附图说明
图1为本发明提供的基于自然语言交互的机器人空间认知方法流程示意图;
图2为本发明提供的八方向锥形模型示意图;
图3为本发明提供的最小外接矩形(MBR)模型示意图;
图4为本发明提供的坐标系转换示意图;
图5为本发明提供的距离关系描述示意图;
图6为本发明提供的仅拓扑关系描述的点状参照物描述示意图;
图7为本发明提供的仅拓扑关系描述的面状参照物描述示意图;
图8为本发明提供的仅拓扑关系描述的“点状+面状”参照物描述示意图;
图9为本发明提供的基于自然语言交互的机器人空间认知系统架构图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。此外,下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
为了解决上述现有技术的不足,即为了解决较为复杂的任务场景下,机器人对于基于自然语言表达的空间信息认知与理解困难的问题,本发明提供了一种满足自然语言交互的机器人空间认知方法,机器人能够理解基于自然语言表达的目标描述与定位等较为复杂的空间信息。具体的技术路线如下:
本机器人空间认知方法包括自然语言处理模块和空间认知模块两个模块,分为五个主要步骤。
(1)面向任务场景,建立相应的空间信息表达语料库,包括目标物体属性特征描述和目标位置描述语料。
(2)自然语言处理模块根据语法规则与步骤1中的语料库将基于自然语言表达的空间信息转化成相关的关键词数组,包括目标物体名称、目标物体各维度属性、目标物体类型、参照物体名称等。
(3)空间认知模块根据关键词数组储存与物体特征相关的知识,并判断物体所属类别与空间位置计算类型。物体所属类别包括点状物体与面状物体,空间位置计算类型包括单(两)个参照物+方向关系、单(两)个参照物+距离关系、单(两)个参照物+方向关系+距离关系、两个参照物+仅拓扑关系。
(4)空间认知模块根据不同类型的空间关系进行空间位置的计算。
(5)空间认知模块完成目标物体特征与目标物体坐标的匹配。
如图1所示,展示了本机器人空间认知方法的技术路线示意图。共分为自然语言处理模块和空间认知模块两个主要的部分。所述自然语言处理模块包括空间信息语料库,处理自然语言表达的空间信息,并解析出对应的关键词。所述空间认知模块完成空间位置的计算推理功能。在接收关键词后,根据关键词数组储存与物体特征相关的知识,并判断参照物体所属类别和目标物体所涉及的空间位置计算类型,并根据不同类型进行空间位置的推理计算,最终完成目标物体特征与目标物体坐标的匹配。具体内容详细阐述如下:
1、语料库的建立和自然语言解析
根据任务场景,通过实验收集大量空间信息表达的语料后,形成空间信息语料库,并获得对应的自然语言表达规则,并从中提取重要的关键词,包括:目标物名称、参照物名称、方位关系、距离关系等。在此基础上,编写覆盖本任务过程的语料库就能实现对于自然语言的解析。如自然语言表达“红旗在石头左边5米。”基于表达规则可解析为“目标物名称:红旗,参照物:石头,方位关系:左边,距离关系:5米”,表1展示了部分语法规则。
表1语法规则举例表
Figure BDA0002297173670000081
表1中,“{}”表示的是关键词,“[]”表示的是辅助用词,“|”表示的是或的关系。
2、物体类别及空间关系计算类型的判断。
由于人对于目标物体的位置描述与物体本身的性质特点有关,故参考地理学中的相关概念,将进行空间认知任务中的物体分为点状物体和面状物体两类。若该物体是独立的物体,面积占比属于不重要的属性,即将其抽象为点状物体或者是面状物体都不影响自身或者其他物体的空间位置表达时,可以将该物体视为点状物体;若该物体面积占比较大,将其抽象为点状物体时极大影响其自身或其他物体的空间位置表达时,视为面状物体。
考虑到空间认知场景,一般将需要定位的目标物体视为点状物体,参照物体可能是点状或面状物体。物体所属类别的判断主要依赖于机器人先验知识库,通过将关键词数组中目标物体或者参照物体的名称与知识库进行匹配,得到该物体所属的类别。
对于目标物体的位置描述是一种对不同物体空间关系的表达,即物体位置由目标物、参照物、空间关系所共同表征。
参照物主要可分为单个参照物和两个参照物。空间关系包括拓扑关系、方向关系、距离关系。
拓扑关系是指在不考虑具体位置的情况下,各空间元素相互之间的连接、相离、相邻等关系。人在使用自然语言描述物体位置时,主要涉及的是相离关系的描述,基本没有相交、包含等拓扑关系,一般默认为相离关系。
方向关系指的是在空间中,一个物体相对于另外一个或多个物体的位置。在进行方向关系的描述时,一般至少需要三个元素,分别是目标物体、参照物体和使用的参考框架。根据使用的参考框架进行划分,可将方向关系分为绝对方向关系和相对方向关系。绝对方向关系指的是在进行方向关系描述时,所采用的是世界坐标系,而相对方向关系指的是在进行方向关系描述时,采用相对坐标系。
距离关系反映的是不同空间物体之间的几何接近程度,日常生活中较常使用的是定量距离,即采用数值所描述的距离,一般以人为设定的度量系统作为基础。
定性主要可分为两类,一类是采用如大约5米等“程度副词+定量距离”进行描述;另一种是只采用很近等程度副词进行描述。
时间距离的表示形式为“移动方式+时间”。
综合上述所得,将空间位置的计算类型分为以下几类:(1)单(两)个参照物+方向关系;(2)单(两)个参照物+距离关系;(3)单(两)个参照物+方向关系+距离关系;(4)两个参照物+仅拓扑关系。
3、空间位置的计算
(1)单(两)个参照物+方向关系
方向关系可分为绝对方向关系和相对方向关系。在使用绝对方向关系的前提下:当参照物为点状参照物时,通常采用八方向锥形模型,如图2所示,该模型将整个二维的空间平面分成带有方向性的八个部分,每两个方向的间隔为45度。
为准确描述空间物体的方向关系,建立如图2所示坐标系。假设点状参照物A位于坐标系原点O,那么对于空间中任意一点状物目标B,根据L1、L2、L3、L4直线约束,可以得到其相对于点状参照物A在不同方向下的坐标集合,如表2所示。
表2点状参照物的空间关系计算示意表
Figure BDA0002297173670000101
当参照物为面状参照物时,使用最小边界矩形(MBR)模型,如图3所示。图3中阴影部分为面状参照物,可设为A,矩形abcd为其最小外接矩形,那么ab、ac、bc、bd四条矩形边所在的直线边可以作为各个方向的分界线。
建立如图3所示坐标系。面状参照物A的最小外接矩形abcd的四个顶点分别是a(x1,y1),b(x1,y2),c(x2,y2),d(x2,y1),对于空间中任意一点状物目标B,根据L1、L2、L3、L4直线方程的约束,可以得到其相对于面状参照物A在不同方向下的坐标集合,如表3所示,其中,表3中Dir()表示其方位。若使用的是相对方向关系,需转换成绝对方向关系。即完成从相对坐标系到世界坐标系下的转换。
表3面状参照物的空间计算示意表
Figure BDA0002297173670000111
以机器人起始点为世界坐标系的原点,以正东方向为x轴正方向、正北方向为y轴正方向建立坐标系。假设在t时刻机器人的位置为(xt,yt),偏转角度为θ(相对于x轴正方向),如图4所示。
物体P所在位置为机器人的右前方,在以机器人为中心的坐标系下其坐标为p'(xp',yp'),现在需转换到世界坐标系下的坐标,假设为P(xp,yp),根据几何关系推导可得到两者的转换公式为:
Figure BDA0002297173670000121
同理可得,在确定相对坐标系的原点坐标(a,b),相对坐标系相对于世界坐标系的偏向角度θ,点P在相对坐标系下的位置坐标(xp',yp')后,便可以转换得到点P在世界坐标系下的坐标P(xp,yp),为:
Figure BDA0002297173670000122
若有两个参照物,则只需根据不同的参照物方位描述分别确定物体坐标位置,然后求两者范围交集。
(2)单(两)个参照物+距离关系
距离关系包括定量距离、定性距离和时间距离。由于距离关系更多地用来描述点状参照物,因此做简化处理,考虑与距离关系有关的描述均为点状参照物。定量距离是一种通过数值描述的距离,一般以人为设定的度量系统作为基础。但是由于人对于空间的认知能力并不完全相同,部分定量距离的描述存在较大的偏差,因此在进行距离关系的位置计算时,需引入误差参数d。自然语言描述中,点状目标物体A与点状参照物B的距离为D时,其实际距离D1=D±d。根据现有技术的相关结论,可近似认为:
d=k×D (3)
式(3)中k为误差比例系数。
如图5所示,A为点状参照物,若点状目标物B被认为与A的距离为D,灰色区域范围即为B的实际所在区域。
定性距离可大致分为使用“程度副词+定量距离”进行描述和只采用程度副词进行描述,如“球在小车很近的地方”。
针对第一种情况,可以直接采用定量距离的计算方式,因为本身使用定量距离进行位置计算时,已经考虑到误差情况,无需再计算误差;针对第二种情况,采用定性距离描述框架的概念,可根据不同的研究任务,在不同的粒度级上来进行距离关系划分。
引入四种定性距离关系的粒度级,分别是很近、近、远和很远,对不同的定性距离关系进行量化处理,设定为定量距离,如表4所示:
表4定性距离关系对应表
Figure BDA0002297173670000131
时间距离需转化成定量距离才能进行计算。设时间距离为L,速度为v,耗时为t,则有距离关系:
L=vt (4)
引入机器人的移动速度v=2m/s参与计算,将时间距离关系定量化。
使用两个参照物的距离关系来描述目标物体位置时,需根据不同的参照物距离描述分别确定目标物体的坐标范围,两者求交集。
(3)单(两)个参照物+方向关系+距离关系
在前述模型中,相对方向关系可以转化成绝对方向关系,定性距离关系和时间距离关系可以转化成定量距离关系,因此不同类型的“方向关系+距离关系”最终都需转化成“绝对方向关系+定量距离关系”进行位置计算。
如若目标物M位于点状参照物A(0,0)东方向5米处,则M的坐标约束为:
Figure BDA0002297173670000132
其中,x,y分别表示目标物M的横、纵坐标值。
使用两个参照物的方向关系+距离关系进行描述时,分别转换成“绝对方向关系+定量距离关系”,并计算两个参照物分别的约束条件,求两者的交集。
(4)两个参照物+仅拓扑关系
还有一些其他的空间关系并没有归类到方向关系和距离关系中去,空间关系表达中只使用了拓扑关系进行描述,如“球在你和小车之间”,作如下讨论。
若两个参照物均为点状参照物时,设两个点状参照物分别为A和B,如图6所示,以线段AB作为中轴线,则目标物体可能的位置在线段AB周围,为了将其定量计算,引入误差参数d,即目标物体在离线段AB距离为d的区域里。
由于直线AB的斜率k取值不同,所形成的区域的表达方式也有所不同,如图6所示。分别计算不同斜率下目标物M坐标范围集合。
在图6中(a),有A(xA,yA),B(xA,yB)。M坐标范围是:
Figure BDA0002297173670000141
在图6中(b),有A(xA,yA),B(xB,yA)。M坐标范围是:
Figure BDA0002297173670000142
在图6中(c),有A(xA,yA),B(xB,yB)。M坐标范围是:
Figure BDA0002297173670000143
其中,xM,yM分别表示目标物M的横、纵坐标值,θ表示机器人相对于世界坐标系的偏转角度。
若两个参照物均为面状参照物时,如图7所示,目标物为M,A、B为两个面状参照物,矩形abcd、efgh分别为A、B的最小外接矩形,图中灰色区域则为目标物M的位置区域。
分别计算在不同情况下M的位置区域。
在图7中(a),有a(xa,ya),b(xb,ya),c(xb,yc),d(xa,yc),e(xe,ye),f(xf,yf),g(xg,yg),h(xh,yh)。M坐标范围是:
Figure BDA0002297173670000151
在图7中(b),有a(xa,ya),b(xb,ya),c(xb,yc),d(xa,yc),e(xe,ye),f(xf,yf),g(xg,yg),h(xh,yh)。M坐标范围是:
Figure BDA0002297173670000152
当两个参照物分别为点状参照物和面状参照物时,如图8所示,目标物M,点状参照物为A、面状参照物为B,矩形abcd为B的最小外接矩形。根据A与B的相对方向不同可以分为图8中两种情况,图中灰色区域为M范围。
有a(xa,ya),b(xb,ya),c(xb,yc),d(xa,yc),A(xA,yA),分别计算不同情况下目标物M的位置区域。
在图8中(a),有M坐标范围是:
Figure BDA0002297173670000153
在图8中(b),有M坐标范围是:
Figure BDA0002297173670000154
4、物体特征匹配
空间认知模块将目标物体的名称、属性特征和经过计算得到的物体坐标约束范围进行匹配综合。假设物体A的属性集合为N,则有:
N={名称、颜色、大小、形状、坐标}
考虑到机器人进行路径规划的需求,选择该坐标范围内距离自身最短的一点作为终点进行路径规划、移动等过程,并按照坐标范围进行后续物体搜索等相关操作。
图9为本发明提供的基于自然语言交互的机器人空间认知系统架构图,如图9所示,该系统包括:语料库建立单元910、关键词确定单元920、特征判断单元930以及目标物坐标确定单元940。
语料库建立单元910,用于建立基于自然语言表达的空间信息语料库,包括:目标属性特征描述语料和目标位置特征描述语料;
关键词确定单元920,用于根据预设的语法规则将所述目标属性特征描述语料和目标位置特征描述语料转化成关键词数组;所述关键词包括:目标物名称、参照物名称、方向关系以及距离关系;
特征判断单元930,用于根据所述关键词数组中包含的物体相关特征,判断目标物、参照物所属类别和空间位置计算关系,所述类别包括点状物和面状物,所述空间位置计算关系包括如下关系中的至少一种:目标物相对参照物的方向关系、目标物相对参照物的距离关系以及目标物相对至少两个参照物的拓扑关系;
目标物坐标确定单元940,用于根据目标物、参照物所属类别和所述空间位置计算关系,确定目标物的坐标范围,以便后续进行目标物搜索。
可选地,关键词确定单元920通过如下方式判断物体所属类别:若待判断类别的物体是独立的物体,将其抽象为点状物体或者是面状物体都不影响自身或者除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为点状物;若待判断类别的物体面积占比大于预设值,将其抽象为点状物体时影响其自身或除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为面状物。
可选地,根据目标物相对参照物的方向关系,目标物坐标确定单元通过如下步骤求解目标物的坐标范围:当参照物为点状物时,采用八方向锥形模型,将整个二维的空间平面分成带有方向性的八个部分,每两个方向的间隔为45度;设点状参照物位于坐标系原点,对于空间中任意一点状目标物,根据预设的多条直线约束,得到点状目标物相对于点状参照物在不同方向下的坐标位置集合;当参照物为面状参照物时,使用最小边界矩形模型,确定面状参照物及其最小外接矩形,将所述最小外接矩形的四条矩形边所在直线作为各个方向的分界线;根据所述各个方向的分界线确定点状目标物相对于面状参照物在不同方向下的坐标位置集合;若有两个参照物,则只需根据不同的参照物方位描述分别确定目标物坐标位置范围,然后求两者范围交集。
可选地,根据目标物相对参照物的距离关系,所述距离关系包括:定量距离、定性距离或时间距离;目标物坐标确定单元通过如下步骤求解目标物的坐标范围:当距离关系为定量距离,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定量距离以及误差距离范围区域;当距离关系为定性距离,为不同粒度级的距离预设不同的距离阈值,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定性距离范围区域;当距离关系为时间距离,将时间距离转化成定量距离之后,再确定点状参照物的坐标范围;当使用目标物与两个参照物的距离关系来描述目标物位置时,需根据不同的参照物距离描述分别确定目标物的坐标范围,两者求交集确定最终的目标物坐标范围。
本领域的技术人员容易理解,以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于自然语言交互的机器人空间认知方法,其特征在于,包括以下步骤:
建立基于自然语言表达的空间信息语料库,包括:目标属性特征描述语料和目标位置特征描述语料;
根据预设的语法规则将所述目标属性特征描述语料和目标位置特征描述语料转化成关键词数组;所述关键词包括:目标物名称、参照物名称、方向关系以及距离关系;
根据所述关键词数组中包含的物体相关特征,判断目标物、参照物所属类别和空间位置计算关系,所述类别包括点状物和面状物,所述空间位置计算关系包括如下关系中的至少一种:目标物相对参照物的方向关系、目标物相对参照物的距离关系以及目标物相对至少两个参照物的拓扑关系;
根据目标物、参照物所属类别和所述空间位置计算关系,确定目标物的坐标范围,以便后续进行目标物搜索。
2.根据权利要求1所述的基于自然语言交互的机器人空间认知方法,其特征在于,物体所属类别,通过如下方式判断:
若待判断类别的物体是独立的物体,将其抽象为点状物体或者是面状物体都不影响自身或者除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为点状物;
若待判断类别的物体面积占比大于预设值,将其抽象为点状物体时影响其自身或除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为面状物。
3.根据权利要求2所述的基于自然语言交互的机器人空间认知方法,其特征在于,根据目标物相对参照物的方向关系,通过如下步骤求解目标物的坐标范围:
当参照物为点状物时,采用八方向锥形模型,将整个二维的空间平面分成带有方向性的八个部分,每两个方向的间隔为45度;设点状参照物位于坐标系原点,对于空间中任意一点状目标物,根据预设的多条直线约束,得到点状目标物相对于点状参照物在不同方向下的坐标位置集合;
当参照物为面状参照物时,使用最小边界矩形模型,确定面状参照物及其最小外接矩形,将所述最小外接矩形的四条矩形边所在直线作为各个方向的分界线;根据所述各个方向的分界线确定点状目标物相对于面状参照物在不同方向下的坐标位置集合;
若有两个参照物,则只需根据不同的参照物方位描述分别确定目标物坐标位置范围,然后求两者范围交集。
4.根据权利要求3所述的基于自然语言交互的机器人空间认知方法,其特征在于,根据目标物相对参照物的距离关系,所述距离关系包括:定量距离、定性距离或时间距离;通过如下步骤求解目标物的坐标范围:
当距离关系为定量距离,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定量距离以及误差距离范围区域;
当距离关系为定性距离,为不同粒度级的距离预设不同的距离阈值,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定性距离范围区域;
当距离关系为时间距离,将时间距离转化成定量距离之后,再确定点状参照物的坐标范围;
当使用目标物与两个参照物的距离关系来描述目标物位置时,需根据不同的参照物距离描述分别确定目标物体的坐标范围,两者求交集确定最终的目标物坐标范围。
5.根据权利要求4所述的基于自然语言交互的机器人空间认知方法,其特征在于,根据目标物相对参照物的距离关系和方向关系,通过如下步骤求解目标物的坐标范围:
分别按照目标物相对参照物的距离关系和方向关系两个约束条件求解目标物的坐标范围,最后求两个坐标范围的交集,确定最终的目标物坐标范围。
6.根据权利要求1至5任一项所述的基于自然语言交互的机器人空间认知方法,其特征在于,根据目标物相对至少两个参照物的拓扑关系,通过如下步骤求解目标物的坐标范围:
若所述拓扑关系为目标物在两个参照物之间:
当两个参照物均为点状参照物时,目标物在两个参照物连成的线段及距离线段为预设距离的区域范围内;
当两个参照物为面状参照物时,目标物的范围根据两个面状参照物最小外接矩形的矩形边确定;
当两个参照物分别为点状参照物和面状参照物时,目标物的范围根据点状参照物的坐标和面状参照物最小外接矩形的矩形边确定。
7.一种基于自然语言交互的机器人空间认知系统,其特征在于,包括:
语料库建立单元,用于建立基于自然语言表达的空间信息语料库,包括:目标属性特征描述语料和目标位置特征描述语料;
关键词确定单元,用于根据预设的语法规则将所述目标属性特征描述语料和目标位置特征描述语料转化成关键词数组;所述关键词包括:目标物名称、参照物名称、方向关系以及距离关系;
特征判断单元,用于根据所述关键词数组中包含的物体相关特征,判断目标物、参照物所属类别和空间位置计算关系,所述类别包括点状物和面状物,所述空间位置计算关系包括如下关系中的至少一种:目标物相对参照物的方向关系、目标物相对参照物的距离关系以及目标物相对至少两个参照物的拓扑关系;
目标物坐标确定单元,用于根据目标物、参照物所属类别和所述空间位置计算关系,确定目标物的坐标范围,以便后续进行目标物搜索。
8.根据权利要求7所述的基于自然语言交互的机器人空间认知系统,其特征在于,关键词确定单元通过如下方式判断物体所属类别:若待判断类别的物体是独立的物体,将其抽象为点状物体或者是面状物体都不影响自身或者除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为点状物;若待判断类别的物体面积占比大于预设值,将其抽象为点状物体时影响其自身或除待判断类别物体以外的其他物体的空间位置表达时,将该物体视为面状物。
9.根据权利要求8所述的基于自然语言交互的机器人空间认知系统,其特征在于,根据目标物相对参照物的方向关系,目标物坐标确定单元通过如下步骤求解目标物的坐标范围:当参照物为点状物时,采用八方向锥形模型,将整个二维的空间平面分成带有方向性的八个部分,每两个方向的间隔为45度;设点状参照物位于坐标系原点,对于空间中任意一点状目标物,根据预设的多条直线约束,得到点状目标物相对于点状参照物在不同方向下的坐标位置集合;当参照物为面状参照物时,使用最小边界矩形模型,确定面状参照物及其最小外接矩形,将所述最小外接矩形的四条矩形边所在直线作为各个方向的分界线;根据所述各个方向的分界线确定点状目标物相对于面状参照物在不同方向下的坐标位置集合;若有两个参照物,则只需根据不同的参照物方位描述分别确定目标物坐标位置范围,然后求两者范围交集。
10.根据权利要求9所述的基于自然语言交互的机器人空间认知系统,其特征在于,根据目标物相对参照物的距离关系,所述距离关系包括:定量距离、定性距离或时间距离;目标物坐标确定单元通过如下步骤求解目标物的坐标范围:当距离关系为定量距离,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定量距离以及误差距离范围区域;当距离关系为定性距离,为不同粒度级的距离预设不同的距离阈值,若参照物为点状参照物,点状目标物在距离点状参照物的距离为定性距离范围区域;当距离关系为时间距离,将时间距离转化成定量距离之后,再确定点状参照物的坐标范围;当使用目标物与两个参照物的距离关系来描述目标物位置时,需根据不同的参照物距离描述分别确定目标物的坐标范围,两者求交集确定最终的目标物坐标范围。
CN201911207208.XA 2019-11-29 2019-11-29 一种基于自然语言交互的机器人空间认知方法及系统 Active CN110990594B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911207208.XA CN110990594B (zh) 2019-11-29 2019-11-29 一种基于自然语言交互的机器人空间认知方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911207208.XA CN110990594B (zh) 2019-11-29 2019-11-29 一种基于自然语言交互的机器人空间认知方法及系统

Publications (2)

Publication Number Publication Date
CN110990594A true CN110990594A (zh) 2020-04-10
CN110990594B CN110990594B (zh) 2023-07-04

Family

ID=70088801

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911207208.XA Active CN110990594B (zh) 2019-11-29 2019-11-29 一种基于自然语言交互的机器人空间认知方法及系统

Country Status (1)

Country Link
CN (1) CN110990594B (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114064940A (zh) * 2021-11-12 2022-02-18 南京师范大学 基于超赋值语义的模糊位置描述定位方法
CN114139069A (zh) * 2021-11-05 2022-03-04 深圳职业技术学院 一种基于语音交互的室内定位方法、系统及电子设备
CN116448051A (zh) * 2023-02-08 2023-07-18 中国人民解放军战略支援部队信息工程大学 一种地理实体间方向关系的判断方法

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090192647A1 (en) * 2008-01-29 2009-07-30 Manabu Nishiyama Object search apparatus and method
CN102915039A (zh) * 2012-11-09 2013-02-06 河海大学常州校区 一种仿动物空间认知的多机器人联合目标搜寻方法
CN108377467A (zh) * 2016-11-21 2018-08-07 深圳光启合众科技有限公司 目标对象的室内定位及互动方法、装置和系统
CN108680163A (zh) * 2018-04-25 2018-10-19 武汉理工大学 一种基于拓扑地图的无人艇路径搜索系统及方法
WO2018191970A1 (zh) * 2017-04-21 2018-10-25 深圳前海达闼云端智能科技有限公司 一种机器人控制方法、机器人装置及机器人设备
CN109614550A (zh) * 2018-12-11 2019-04-12 平安科技(深圳)有限公司 舆情监控方法、装置、计算机设备及存储介质
CN109670262A (zh) * 2018-12-28 2019-04-23 江苏艾佳家居用品有限公司 一种计算机辅助家居布局优化方法及系统
US20190122552A1 (en) * 2017-06-19 2019-04-25 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for displaying a movement of a vehicle on a map
CN110019863A (zh) * 2017-12-26 2019-07-16 深圳市优必选科技有限公司 一种物体查找方法、装置、终端设备和存储介质
CN110110823A (zh) * 2019-04-25 2019-08-09 浙江工业大学之江学院 基于rfid和图像识别的物体辅助识别系统及方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090192647A1 (en) * 2008-01-29 2009-07-30 Manabu Nishiyama Object search apparatus and method
CN102915039A (zh) * 2012-11-09 2013-02-06 河海大学常州校区 一种仿动物空间认知的多机器人联合目标搜寻方法
CN108377467A (zh) * 2016-11-21 2018-08-07 深圳光启合众科技有限公司 目标对象的室内定位及互动方法、装置和系统
WO2018191970A1 (zh) * 2017-04-21 2018-10-25 深圳前海达闼云端智能科技有限公司 一种机器人控制方法、机器人装置及机器人设备
US20190122552A1 (en) * 2017-06-19 2019-04-25 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for displaying a movement of a vehicle on a map
CN110019863A (zh) * 2017-12-26 2019-07-16 深圳市优必选科技有限公司 一种物体查找方法、装置、终端设备和存储介质
CN108680163A (zh) * 2018-04-25 2018-10-19 武汉理工大学 一种基于拓扑地图的无人艇路径搜索系统及方法
CN109614550A (zh) * 2018-12-11 2019-04-12 平安科技(深圳)有限公司 舆情监控方法、装置、计算机设备及存储介质
CN109670262A (zh) * 2018-12-28 2019-04-23 江苏艾佳家居用品有限公司 一种计算机辅助家居布局优化方法及系统
CN110110823A (zh) * 2019-04-25 2019-08-09 浙江工业大学之江学院 基于rfid和图像识别的物体辅助识别系统及方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
R MORATZ: "Intuitive Linguistic Joint Object Reference in Human-Robot Interaction" *
李敏等: "基于四层树状语义模型的场景语义识别方法" *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114139069A (zh) * 2021-11-05 2022-03-04 深圳职业技术学院 一种基于语音交互的室内定位方法、系统及电子设备
CN114064940A (zh) * 2021-11-12 2022-02-18 南京师范大学 基于超赋值语义的模糊位置描述定位方法
CN114064940B (zh) * 2021-11-12 2023-07-11 南京师范大学 基于超赋值语义的模糊位置描述定位方法
CN116448051A (zh) * 2023-02-08 2023-07-18 中国人民解放军战略支援部队信息工程大学 一种地理实体间方向关系的判断方法

Also Published As

Publication number Publication date
CN110990594B (zh) 2023-07-04

Similar Documents

Publication Publication Date Title
Yao et al. Fuzzy critical path method based on signed distance ranking of fuzzy numbers
CN110990594A (zh) 一种基于自然语言交互的机器人空间认知方法及系统
Liu et al. Target localization in local dense mapping using RGBD SLAM and object detection
Ioannidis et al. A path planning method based on cellular automata for cooperative robots
US20040186604A1 (en) Analytical shell-model producing apparatus
CN114509085A (zh) 一种结合栅格和拓扑地图的快速路径搜索方法
CN116342899A (zh) 一种目标检测定位方法、装置、设备及存储介质
Chen Leveraging Scalable Cloud Infrastructure for Autonomous Driving Data Lakes and Real-Time Decision Making
CN117007046A (zh) 一种电力巡检机器人路径规划方法及系统
CN118674752B (zh) 一种基于孪生网络的实时目标跟踪方法及嵌入式设备
Li et al. Inferring user intent to interact with a public service robot using bimodal information analysis
CN118548870A (zh) 一种基于slam和红外成像技术的机器人定位映射方法
Wang et al. Bibliometric review of visual computing in the construction industry
CN112596659B (zh) 一种基于智能语音和图像处理的绘画方法和装置
CN111445125B (zh) 农业机器人计算任务协同方法、系统、介质和设备
Shen et al. Robot collaborative interactive artistic design for digital art using embedded systems
Ma et al. A Systematic Review on Vision-Based Proactive Human Assembly Intention Recognition for Human-Centric Smart Manufacturing in Industry 5.0
CN115096333B (zh) 用于人机交互服务机器人性能测试的自动评估方法及系统
An et al. Path planning algorithm of power inspection UAV based on multi-modal data
CN120269582B (zh) 基于端侧模型的移动机器人控制系统、方法及介质
Zheng “Cognitive Computing of Visual and Auditory Information”: State of the Art
CN119077730B (zh) 基于多模态大模型的腿足机器人自主行为控制方法及系统
CN116088536B (zh) 面向野外恶劣环境下的机器人自主可通过方法及机器人
CN119516196A (zh) 用于人机互助的异构常识性场景图生成方法及系统
Yan Implementation and Analysis of Path Planning Based on A* Algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant