CN111241233B - 基于关键动词特征全密度传递的服务机器人指令解析方法 - Google Patents
基于关键动词特征全密度传递的服务机器人指令解析方法 Download PDFInfo
- Publication number
- CN111241233B CN111241233B CN201911347575.XA CN201911347575A CN111241233B CN 111241233 B CN111241233 B CN 111241233B CN 201911347575 A CN201911347575 A CN 201911347575A CN 111241233 B CN111241233 B CN 111241233B
- Authority
- CN
- China
- Prior art keywords
- service
- instruction
- term memory
- word
- short term
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/3332—Query translation
- G06F16/3335—Syntactic pre-processing, e.g. stopword elimination, stemming
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- General Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biomedical Technology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Abstract
本发明公开了一种基于关键动词特征全密度传递的服务机器人指令解析方法。在已知应用环境下工作,构建服务机器人的各种候选服务下的各种服务指令文本的数据库,对服务指令文本进行预处理;将数据库划分为训练集和验证集;采用斯坦福文本分析工具对每条服务指令文本进行分词,获得关键动词的上下文特征;搭建全密度双向长短期记忆网络模型,用训练集训练模型参数,验证集进行超参数调试;针对待测的一段文本指令处理提取获得候选服务的类型及其候选服务下的指令语义。本发明将服务指令解析任务转化为框架分类及框架填充两个子任务,通过精准地捕捉提取到带有冗余信息的服务指令文本中的核心要素,用于辅助机器人理解复杂的指令意图。
Description
技术领域
本发明涉及属于机器人控制领域的一种机器人指令解析方法,尤其是一种基于关键动词特征全密度传递的服务机器人指令解析方法。
背景技术
在人与智能服务机器人交互过程中,采用自然语言的表达形式有利于用户下达任务指令。由于用户任务描述中常常存在冗余信息或者存在表达不足的情况,机器人需要进行任务理解,即将开放式的复杂指令解析为一种结构化的内部表示以便后续的执行。框架语义表示法是一种可靠的机器内部表示方法,它通过构造覆盖任务内容的框架结构将指令解析任务转换为框架分类与框架填充两个子任务。
目前将自然语言指令解析为框架表示的两类主要方法是基于词典的关键词匹配方法与基于词向量的神经网络方法。但面对机器人服务指令领域的文本,现有方法的解析效果不足。关键词匹配方法需要构建一个覆盖所有用户描述的领域词典,通常存在遗漏与歧义的问题。神经网络方法仅依赖词向量特征进行语义解析,忽略了整体任务意图对不同词向量的依赖差异,造成了神经网络难以聚焦于包含核心任务信息的关键动词。
发明内容
为了克服解决现有技术的不足,本发明提出一种基于关键动词特征全密度传递的服务机器人指令解析方法,将自然语言描述的指令文本解析为对应任务框架。
为了实现这一目的,本发明采用的技术方案步骤如下:
第一步,服务机器人在已知应用环境下工作,例如室内陪护、物流配送、工业辅助等场景。构建服务机器人的各种候选服务下的各种服务指令文本的数据库,每个服务指令文本中均已标注有指令语义,并对服务指令文本中的每个字进行独热编码表示获得每个字的独热编码字向量,利用停用词表采用去停用词方法对服务指令文本进行预处理,去除语气助词等常见的冗余词汇,避免后续模型处理过拟合;
服务指令文本是输入到服务机器人的输入控制指令,可以是文字打字输入也可以是语音输入转换为文字获得,具体实施可采用BIO标注方法对服务指令文本进行处理获得每个服务指令文本的指令语义。
第二步,将数据库划分为训练集和验证集;
第三步,采用斯坦福文本分析工具对每条服务指令文本进行分词,以每个词作为节点并额外建立虚拟根节点,虚拟根节点为独立于词的节点之外的节点,虚拟根节点和词的节点均为节点,解析每条服务指令文本中各词的词性与各节点间的依存关系,提取到虚拟根节点距离最远的动词作为关键动词,关键动词结合自身在服务指令文本的上下文信息构造特征作为关键动词的上下文特征xkverb,作为全密度双向长短期记忆网络模型的输入之一;
所述的距离为两个节点之间的具有依存关系的总数;
第四步,搭建全密度双向长短期记忆网络模型,用训练集训练模型参数,验证集进行超参数调试;
以服务指令文本其对应的候选服务类型和各个指令语义,作为全密度双向长短期记忆网络模型的预测标签。
第五步,采用训练好的全密度双向长短期记忆网络模型针对待测的一段文本指令处理提取获得候选服务的类型及其候选服务下的服务对象、目标对象、移动动作终点等指令语义,完成解析。
具体实施在第一步中,候选服务F的类型根据候选服务对应的机器人动作性质分为“携带”、“切割”、“倾倒”、“获取”、“给予”、“抓取”、“研磨”、“放置”、“清洗”、“聊天”、“安装”、“移除”等。
所述第三步中,所发明的关键动词上下文特征xkverb包括关键动词的独热编码词向量xkey、关键动词上下文相邻词xcontext、区域标记xmark的三部分;关键动词的独热编码词向量是由词中所包含的每个字的独热编码字向量连接构成,关键动词上下文相邻词xcontext为与关键动词相邻且在一个字邻域内的各词的独热编码词向量的矢量和,区域标记xmark表示每个字与关键动词的远近依赖关系;如果字在关键动词的一个字邻域内,则区域标记xmark=1,否则区域标记xmark=0。
所述第四步中,所述的全密度双向长短期记忆网络模型包含依次连接的四层双向长短期记忆网络(BiLSTM),相邻层双向长短期记忆网络之间除了常规的依次连接以外还采用特殊设计的全密度高速通道方式进行依存连接,使得四层双向长短期记忆网络形成堆叠结构,具体表示如下:
h1=BiLSTM(x)
其中,hi表示第i层双向长短期记忆网络层的输出,i=1、2、3、4;σ为Sigmoid函数,和分别表示全密度双向长短期记忆网络模型第i层的全密度高速通道的第j个训练矩阵参数和训练向量参数,i=2、3、4,j=1、2、…、i;x表示全密度双向长短期记忆网络模型的输入;
第四层双向长短期记忆网络的输出h4经过线性维度转换和softmax操作处理后得到每个字对应的指令语义的概率分布:
yS=softmax(WSh4+bS)
其中,WS表示为第四层双向长短期记忆网络针对候选服务的训练矩阵参数,bS表示为第四层双向长短期记忆网络针对候选服务的训练向量参数;
第四层双向长短期记忆网络最后一个单元的单独输出hT 4经过线性维度转换和softmax操作处理后得到服务指令文本对应的候选服务的概率分布:
其中,WI表示为第四层双向长短期记忆网络最后一个单元针对候选服务的训练矩阵参数,bI表示为第四层双向长短期记忆网络最后一个单元针对候选服务的训练向量参数;hT 4表示第四层双向长短期记忆网络最后一个单元的输出。
所述第四步中,训练时,以服务指令文本及其独热编码词向量xword与关键动词上下文特征xkverb拼接后结果作为输入特征,以服务指令文本其对应的候选服务类型和各个指令语义,作为全密度双向长短期记忆网络模型的预测标签,输入全密度双向长短期记忆网络模型进行训练。
所述的候选服务包含有机器人对象、服务对象、目标对象、目标对象位置、移动路径终点、移动路径经过点、服务时间、使用工具、执行速度、执行频率等指令语义。
本发明将服务指令解析任务转化为框架分类及框架填充两个子任务,通过精准地捕捉解析出带有冗余信息的服务指令文本中的核心要素,能够用于辅助机器人理解复杂的指令意图。
本发明的有益效果是:
本发明方法能准确有效解析获得服务机器人的服务指令文本。
针对自然语言指令中关键动词包含核心任务意图的特点,本发明基于依存关系路径构建了关键动词上下文特征,使网络模型聚焦于学习各字词与关键动词之间的依赖关系,提高指令语义的解析效果。
此外本发明设计采用了全密度双向长短期记忆网络通过稠密的高速通道结构,缓解了多层双向长短期记忆网络训练时存在的梯度消失问题。该机制使模型训练时的梯度信息多通道回流,提升了深层网络的拟合能力,强化了指令解析的效果。
附图说明
图1是本发明方法的流程图。
图2是本发明中提取关键动词所使用的依存句法分析实例图
图3是本发明构建的关键动词上下文特征示意图
图4是本发明使用的全密度高速通道机制示意图。
图5是本发明使用的全密度双向长短期记忆网络示意图。
图6是本发明得到的指令解析结果实例图。
具体实施方式
以下结合附图对本发明作进一步的详细描述。
如图1所示,本发明的实施例及其实施过程如下:
第一步,服务机器人在已知应用环境下工作,例如室内陪护、物流配送、工业辅助等场景。构建服务机器人的各种候选服务下的各种服务指令文本的数据库,每个服务指令文本中均已标注有指令语义,并对服务指令文本中的每个字进行独热编码表示获得每个字的独热编码字向量,利用停用词表采用去停用词方法对服务指令文本进行预处理;
具体实施在第一步中,候选服务F的类型根据候选服务对应的机器人动作性质分为“携带”、“切割”、“倾倒”、“获取”、“给予”、“抓取”、“研磨”、“放置”、“清洗”、“聊天”、“安装”、“移除”等。
第二步,将数据库划分为训练集和验证集;
第三步,采用斯坦福文本分析工具对每条服务指令文本进行分词,以每个词作为节点并额外建立虚拟根节点,虚拟根节点为独立于词的节点之外的节点,虚拟根节点和词的节点均为节点,解析每条服务指令文本中各词的词性与各节点间的依存关系,提取到虚拟根节点距离最远的动词作为关键动词,关键动词结合自身在服务指令文本的上下文信息构造特征作为关键动词的上下文特征xkverb;
距离为两个节点之间的具有依存关系的总数;
如图2所示,第三步中,对例句“我需要你去帮我拿这本书到卧室”采用斯坦福文本分析工具解析出的依存关系包括“拿”和“书”之间的直接宾语关系(dobj)、“帮”和“拿”之间的从句补充关系(ccomp)、“需要”和“帮”之间的开放从句补充关系(xcomp)等。例句中动词节点包括“需要”、“帮”和“拿”。由于“拿”为动词中到虚拟根节点的距离最远的节点,为三个依存关系,因此“拿”为例句中的关键动词。
如图3所示,关键动词上下文特征xkverb包括关键动词的独热编码词向量xkey、关键动词上下文相邻词xcontext、区域标记xmark的三部分;关键动词的独热编码词向量是由词中所包含的每个字的独热编码字向量连接构成,关键动词上下文相邻词xcontext为与关键动词相邻且在一个字邻域内的各词的独热编码词向量的矢量和,区域标记xmark表示每个字与关键动词的远近依赖关系;如果字在关键动词的一个字邻域内,则区域标记xmark=1,否则区域标记xmark=0
第四步,搭建全密度双向长短期记忆网络模型,用训练集训练模型参数,验证集进行超参数调试;
如图4所示,全密度双向长短期记忆网络模型包含依次连接的四层双向长短期记忆网络(BiLSTM),相邻层双向长短期记忆网络之间除了依次连接以外还采用全密度高速通道方式进行依存连接,使得四层双向长短期记忆网络形成堆叠结构,具体表示如下:
h1=BiLSTM(x)
如图5所示,第四层双向长短期记忆网络的输出h4经过线性维度转换和softmax操作处理后得到每个字对应的指令语义的概率分布:
yS=softmax(WSh4+bS)
第四层双向长短期记忆网络最后一个单元的单独输出hT 4经过线性维度转换和softmax操作处理后得到服务指令文本对应的候选服务的概率分布:
训练时,以服务指令文本及其独热编码词向量xword与关键动词上下文特征xkverb拼接后结果作为输入特征,以服务指令文本其对应的候选服务类型和各个指令语义,作为全密度双向长短期记忆网络模型的预测标签,输入全密度双向长短期记忆网络模型进行训练。在模型训练过程中批处理数目为16,长短期记忆单元的隐藏向量大小为64,优化器为adam,并使用提前停止策略。为了减轻梯度爆炸现象,需在训练过程中使用梯度裁剪技术,并将裁剪范数设置为5。为防止过度拟合,输入层和输出层的丢弃率均设为0.5。
第五步,采用训练好的全密度双向长短期记忆网络模型针对待测的一段文本指令处理提取获得候选服务的类型及其候选服务下的服务对象、目标对象、移动动作终点等指令语义,完成解析。
如图6所示,模型的最终输出结果为一个附带具体指令语义的候选服务意图。对例句“我需要你去帮我拿这本书到卧室”,模型的最终输出结果是此指令的候选服务为携带,指令中提及的“我”为携带的服务对象,“这本书”为携带的目标对象,“卧室”为携带的移动路径终点。
Claims (4)
1.一种基于关键动词特征的服务机器人指令解析方法,其特征在于该方法步骤如下:
第一步,服务机器人在已知应用环境下工作,构建服务机器人的各种候选服务下的各种服务指令文本的数据库,每个服务指令文本中均已标注有指令语义,并对服务指令文本中的每个字进行独热编码表示获得每个字的独热编码字向量,利用停用词表采用去停用词方法对服务指令文本进行预处理;
第二步,将数据库划分为训练集和验证集;
第三步,采用斯坦福文本分析工具对每条服务指令文本进行分词,以每个词作为节点并额外建立虚拟根节点,解析每条服务指令文本中各词的词性与各节点间的依存关系,提取到虚拟根节点距离最远的动词作为关键动词,关键动词结合自身在服务指令文本的上下文信息构造特征作为关键动词的上下文特征xkverb;
第四步,搭建双向长短期记忆网络模型,用训练集训练模型参数,验证集进行超参数调试;
第五步,采用训练好的双向长短期记忆网络模型针对待测的一段文本指令处理提取获得候选服务的类型及其候选服务下的服务对象、目标对象、移动动作终点,完成解析;
所述第四步中,所述的双向长短期记忆网络模型包含依次连接的四层双向长短期记忆网络,相邻层双向长短期记忆网络之间除了依次连接以外还采用高速通道方式进行依存连接,使得四层双向长短期记忆网络形成堆叠结构,具体表示如下:
h1=BiLSTM(x)
其中,hi表示第i层双向长短期记忆网络层的输出,i=1、2、3、4;σ为Sigmoid函数,和分别表示双向长短期记忆网络模型第i层的高速通道的第j个训练矩阵参数和训练向量参数,i=2、3、4,j=1、2、…、i;x表示双向长短期记忆网络模型的输入;
第四层双向长短期记忆网络的输出h4经过线性维度转换和softmax操作处理后得到每个字对应的指令语义的概率分布:
yS=soft max(WSh4+bS)
其中,WS表示为第四层双向长短期记忆网络针对候选服务的训练矩阵参数,bS表示为第四层双向长短期记忆网络针对候选服务的训练向量参数;
2.根据权利要求1所述的一种基于关键动词特征的服务机器人指令解析方法,其特征在于:所述第三步中,所发明的关键动词上下文特征xkverb包括关键动词的独热编码词向量xkey、关键动词上下文相邻词xcontext、区域标记xmark的三部分;关键动词的独热编码词向量是由词中所包含的每个字的独热编码字向量连接构成,关键动词上下文相邻词xcontext为与关键动词相邻且在一个字邻域内的各词的独热编码词向量的矢量和,区域标记xmark表示每个字与关键动词的远近依赖关系。
3.根据权利要求1所述的一种基于关键动词特征的服务机器人指令解析方法,其特征在于:所述第四步中,训练时,以服务指令文本及其独热编码词向量xword与关键动词上下文特征xkverb拼接后结果作为输入特征,以服务指令文本其对应的候选服务类型和各个指令语义,作为双向长短期记忆网络模型的预测标签,输入双向长短期记忆网络模型进行训练。
4.根据权利要求1所述的一种基于关键动词特征的服务机器人指令解析方法,其特征在于:所述的候选服务包含有机器人对象、服务对象、目标对象、目标对象位置、移动路径终点、移动路径经过点、服务时间、使用工具、执行速度、执行频率。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347575.XA CN111241233B (zh) | 2019-12-24 | 2019-12-24 | 基于关键动词特征全密度传递的服务机器人指令解析方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201911347575.XA CN111241233B (zh) | 2019-12-24 | 2019-12-24 | 基于关键动词特征全密度传递的服务机器人指令解析方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111241233A CN111241233A (zh) | 2020-06-05 |
| CN111241233B true CN111241233B (zh) | 2022-04-29 |
Family
ID=70864912
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201911347575.XA Active CN111241233B (zh) | 2019-12-24 | 2019-12-24 | 基于关键动词特征全密度传递的服务机器人指令解析方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111241233B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112069816A (zh) * | 2020-09-14 | 2020-12-11 | 深圳市北科瑞声科技股份有限公司 | 中文标点符号添加方法和系统及设备 |
| CN120002669B (zh) * | 2025-04-15 | 2025-08-15 | 上海傅利叶智能科技有限公司 | 机器人动作生成方法、装置、机器人、介质和程序产品 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887030A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 基于cad稀疏模板的无纹理金属零件图像位姿检测方法 |
| CN110232308A (zh) * | 2019-04-17 | 2019-09-13 | 浙江大学 | 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10268679B2 (en) * | 2016-12-02 | 2019-04-23 | Microsoft Technology Licensing, Llc | Joint language understanding and dialogue management using binary classification based on forward and backward recurrent neural network |
| US10255269B2 (en) * | 2016-12-30 | 2019-04-09 | Microsoft Technology Licensing, Llc | Graph long short term memory for syntactic relationship discovery |
-
2019
- 2019-12-24 CN CN201911347575.XA patent/CN111241233B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109887030A (zh) * | 2019-01-23 | 2019-06-14 | 浙江大学 | 基于cad稀疏模板的无纹理金属零件图像位姿检测方法 |
| CN110232308A (zh) * | 2019-04-17 | 2019-09-13 | 浙江大学 | 基于手部速度与轨迹分布的跟随机器人手势轨迹识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 基于BiLSTM-CRF的关键词自动抽取;陈伟等;《计算机科学》;20180615;全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111241233A (zh) | 2020-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN111382565B (zh) | 基于多标签的情绪-原因对抽取方法及系统 | |
| CN110321563B (zh) | 基于混合监督模型的文本情感分析方法 | |
| CN112989796A (zh) | 一种基于句法指导的文本命名实体信息识别方法 | |
| CN112163429B (zh) | 结合循环网络及bert的句子相关度获取方法、系统及介质 | |
| CN112966525B (zh) | 一种基于预训练模型和卷积神经网络算法的法律领域事件抽取方法 | |
| CN113901191A (zh) | 问答模型的训练方法及装置 | |
| CN113535904A (zh) | 一种基于图神经网络的方面级情感分析方法 | |
| CN114881042B (zh) | 基于图卷积网络融合句法依存与词性的中文情感分析方法 | |
| CN110781290A (zh) | 一种长篇章结构化文本摘要提取方法 | |
| CN110852040B (zh) | 一种标点预测模型训练方法及文本标点确定方法 | |
| CN115169285B (zh) | 一种基于图解析的事件抽取方法及系统 | |
| CN113657123A (zh) | 基于目标模板指导和关系头编码的蒙语方面级情感分析方法 | |
| CN114818717A (zh) | 融合词汇和句法信息的中文命名实体识别方法及系统 | |
| CN111241233B (zh) | 基于关键动词特征全密度传递的服务机器人指令解析方法 | |
| CN115510230A (zh) | 一种基于多维特征融合与比较增强学习机制的蒙古语情感分析方法 | |
| CN108536781B (zh) | 一种社交网络情绪焦点的挖掘方法及系统 | |
| Chen | Neural language models in natural language processing | |
| CN119293246A (zh) | 一种基于语义增强的热点言论检测方法、程序、设备及存储介质 | |
| CN118296135A (zh) | 面向跨域迁移的方面级情感三元组抽取方法 | |
| CN116861908A (zh) | 一种基于细粒度悬浮标记和嵌套实体图的实体识别方法 | |
| CN116644757A (zh) | 一种融合句法和语义表示的属性抽取方法 | |
| Chowanda et al. | Generative Indonesian conversation model using recurrent neural network with attention mechanism | |
| CN112131879A (zh) | 一种关系抽取系统、方法和装置 | |
| CN113239694B (zh) | 一种基于论元短语的论元角色识别的方法 | |
| CN113297374A (zh) | 一种基于bert和字词特征融合的文本分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |