KR101186192B1 - Apparatus and method for recognizing sensor information using sensor scripts, and its robot - Google Patents
Apparatus and method for recognizing sensor information using sensor scripts, and its robot Download PDFInfo
- Publication number
- KR101186192B1 KR101186192B1 KR1020080124235A KR20080124235A KR101186192B1 KR 101186192 B1 KR101186192 B1 KR 101186192B1 KR 1020080124235 A KR1020080124235 A KR 1020080124235A KR 20080124235 A KR20080124235 A KR 20080124235A KR 101186192 B1 KR101186192 B1 KR 101186192B1
- Authority
- KR
- South Korea
- Prior art keywords
- sensor
- information
- unit
- sensor information
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J13/00—Controls for manipulators
- B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J11/00—Manipulators not otherwise provided for
- B25J11/008—Manipulators for service tasks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Human Computer Interaction (AREA)
- Manipulator (AREA)
Abstract
본 발명은 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과 그를 이용한 로봇 및 서비스 에이전트 시스템에 관한 것으로, 센서 스크립트를 사용하여 단위 센서 정보와 단위 인지 정보 간 매칭을 통해 센서 정보 인식을 손쉽게 할 수 있는, 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과 그를 이용한 로봇 및 서비스 에이전트 시스템을 제공하고자 한다.The present invention relates to an apparatus and method for recognizing sensor information using a sensor script, and a robot and a service agent system using the same. The sensor script can easily recognize sensor information through matching between sensor information and unit recognition information. To provide a sensor information recognition apparatus using a sensor script, a method thereof, and a robot and a service agent system using the same.
이를 위하여, 본 발명은 센서 정보 인식 방법에 있어서, 외부의 센싱 수단으로부터 전달받은 단위 센서 정보를 사용하는 인지 정보 생성 함수를 조회하는 조회 단계; 상기 조회된 인지 정보 생성 함수의 실행을 위하여 필요한 센서 정보를 추출하는 추출 단계; 및 상기 조회된 인지 정보 생성 함수를 실행하여 단위 인지 정보를 생성하는 생성 단계를 포함한다.To this end, the present invention provides a sensor information recognition method comprising: an inquiry step of querying a cognitive information generating function using unit sensor information received from an external sensing means; An extraction step of extracting sensor information necessary for executing the inquired cognitive information generating function; And a generation step of generating unit recognition information by executing the inquired recognition information generating function.
서비스 에이전트, 로봇, 센서 정보, 인지 정보, 센서 정보 인식 장치, 인지 정보 생성부, 센서 스크립트 Service Agent, Robot, Sensor Information, Cognitive Information, Sensor Information Recognition Device, Cognitive Information Generator, Sensor Script
Description
본 발명은 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과 그를 이용한 로봇 및 서비스 에이전트 시스템에 관한 것으로, 더욱 상세하게는 서비스 에이전트가 로봇의 특정 센서 정보를 인식하는데 있어서, 상기 로봇이 외부 환경 혹은 사용자에 의해 입력된 단위 센서 정보를 센서 정보 인식 장치로 전달하고, 상기 센서 정보 인식 장치가 로봇으로부터 전달받은 단위 센서 정보에 해당되는 센서 스크립트의 내용에 따라 인지 정보를 생성하여 서비스 에이전트로 전달하는, 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과 그를 이용한 로봇 및 서비스 에이전트 시스템에 관한 것이다.The present invention relates to an apparatus and method for recognizing sensor information using a sensor script, and a robot and a service agent system using the same. More particularly, in the service agent recognizing specific sensor information of a robot, the robot is an external environment or a user. Transmitting unit sensor information input by the sensor to the sensor information recognition device, the sensor information recognition device generates recognition information according to the content of the sensor script corresponding to the unit sensor information received from the robot, and delivers to the service agent, the sensor An apparatus and method for recognizing sensor information using a script, and a robot and a service agent system using the same.
그리고 본 발명에 따른 이하의 일실시예에서는 로봇을 예를 들어 설명하나, 본 발명이 이에 한정되는 것은 아님을 미리 밝혀둔다.In the following embodiment according to the present invention will be described with an example of the robot, but the present invention is not limited thereto.
최근에 지능형 로봇[일명 "URC(Ubiquitous Robotic Companion) 로봇"이라고도 함]의 기술 발전에 힘입어 네트워크를 통해 원격의 사용자가 댁내의 로봇에게 특정 동작 서비스 수행 명령을 내려서, 해당 로봇의 행동을 제어하거나 로봇으로부터 인식된 주변 환경에 대한 정보를 전달받을 수 있다.Recently, with the development of intelligent robots (also known as "URCs (Ubiquitous Robotic Companion robots)"), a remote user can control the behavior of the robots by remote users from the network by ordering them to perform specific motion services. The robot can receive information about the recognized environment.
종래 기술에 따른 주변 환경 인식은 로봇에 부착된 하드웨어 센서를 이용하여 제한적인 상황 정보만을 인식할 수 있으며, 특히 로봇마다 고유의 고정된 상황 정보만을 인식할 수 있다. 여러 하드웨어 센서 정보를 이용하여 좀 더 다양한 인지 정보를 생성할 수 있도록, 여러 센서 정보를 조합하는 센서 퓨전 기술이 사용되기도 한다.Recognition of the surrounding environment according to the prior art may recognize only limited situation information by using a hardware sensor attached to the robot, and in particular, may recognize only fixed situation information unique to each robot. In order to generate more diverse cognitive information using various hardware sensor information, sensor fusion technology that combines various sensor information is also used.
그런데, 상기와 같은 종래 기술에서는 원격지의 서비스 에이전트가 센서 정보 인식을 위해 제어 대상인 로봇에 구비된 소프트웨어, 하드웨어에 대한 모든 정보를 알고 있어야 하며, 이러한 로봇의 모든 정보를 참조해야지만 해당 로봇 및 주변 환경 정보를 인식할 수 있다.However, in the prior art as described above, the remote service agent should know all the information about the software and hardware provided in the robot to be controlled for sensor information recognition, and should refer to all the information of the robot, but the robot and the surrounding environment. Recognize information.
즉, 현재 지능형 URC 로봇에 관한 통신 프로토콜의 표준화가 이루어지지 않은 점, 로봇 제조사에 의해 기존 또는 신규 출시된 각 로봇이 이기종 스펙[로봇의 사양, 기능, 센서 인식 방식, 및 그 형상이 모두 제각각]으로 구성되는 점을 고려하면, 상기 서비스 에이전트에 모든 로봇의 정보를 모두 반영하기는 매우 어려운 형편이다.In other words, the communication protocol for the intelligent URC robot is not standardized, and each robot existing or newly released by the robot manufacturer has a heterogeneous specification [the robot's specifications, functions, sensor recognition methods, and shapes thereof are different from each other]. Considering the configuration, it is very difficult to reflect all the information of all the robot in the service agent.
따라서 상기와 같은 종래 기술은 하나의 서비스 에이전트에서 이기종 스펙을 갖는 여러 로봇의 주변 환경 정보를 인식하기 어려운 문제점이 있으며, 이러한 문제점을 해결하고자 하는 것이 본 발명의 과제이다.Therefore, the prior art as described above has a problem that it is difficult to recognize the surrounding environment information of several robots having heterogeneous specifications in one service agent, it is a problem of the present invention to solve this problem.
본 발명은 센서에서 생성되는 센서 정보와 서비스 에이전트에 필요한 인지 정보를 분리하되, 센서 스크립트를 이용하여 단위 센서 정보를 단위 인지 정보로 변환하기 위한, 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과 그를 이용한 로봇 및 서비스 에이전트 시스템을 제공하는데 그 목적이 있다.The present invention separates sensor information generated from a sensor and recognition information required for a service agent, and converts unit sensor information into unit recognition information using a sensor script, and an apparatus and method for recognizing sensor information using the sensor script and a method thereof The purpose is to provide a robot and service agent system used.
즉, 본 발명은 센서 스크립트를 사용하여 단위 센서 정보와 단위 인지 정보 간 매칭을 통해 센서 정보 인식을 손쉽게 할 수 있는, 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과 그를 이용한 로봇 및 서비스 에이전트 시스템을 제공하는데 그 목적이 있다.That is, the present invention provides a sensor information recognizing apparatus and method using the sensor script, and a robot and service agent system using the same, which can easily recognize the sensor information through matching between the unit sensor information and the unit recognition information using the sensor script. The purpose is to provide.
다시 말하면, 본 발명은 서비스 에이전트가 로봇의 특정 센서 정보를 인식하는데 있어서, 상기 로봇이 외부 환경 혹은 사용자에 의해 입력된 단위 센서 정보를 센서 정보 인식 장치로 전달하고, 상기 센서 정보 인식 장치가 로봇으로부터 전달받은 단위 센서 정보에 해당되는 센서 스크립트의 내용에 따라 인지 정보를 생성하여 서비스 에이전트로 전달하는, 센서 스크립트를 이용한 센서 정보 인식 장치 및 그 방법과 그를 이용한 로봇 및 서비스 에이전트 시스템을 제공하는데 그 목적이 있다.In other words, in the present invention, when a service agent recognizes specific sensor information of a robot, the robot transmits unit sensor information input by an external environment or a user to a sensor information recognizing device, and the sensor information recognizing device is determined from the robot. The object of the present invention is to provide a sensor information recognition apparatus using the sensor script, a method and a robot and a service agent system using the same, which generate cognitive information according to the contents of the sensor script corresponding to the received unit sensor information, and transmit the recognition information to the service agent. have.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.
상기 목적을 달성하기 위한 본 발명의 장치는, 로봇에 있어서, 정보를 센싱하여 적어도 하나의 단위 센서 정보를 전송하기 위한 센싱 수단; 및 상기 센싱 수단으로부터 전달받은 단위 센서 정보에 해당하는 센서 스크립트의 내용에 따라 단위 인지 정보를 생성하여 서비스 에이전트로 전송하기 위한 센서 정보 인식 수단을 포함한다.An apparatus of the present invention for achieving the above object, in the robot, sensing means for transmitting at least one unit sensor information by sensing information; And sensor information recognition means for generating unit recognition information according to the content of the sensor script corresponding to the unit sensor information received from the sensing means and transmitting the generated unit recognition information to the service agent.
또한, 상기 본 발명의 장치는, 상기 센서 정보 인식 수단으로부터 전달받은 단위 인지 정보를 사용하여 서비스를 결정하여 제공하기 위한 상기 서비스 에이전트를 더 포함한다.The apparatus of the present invention may further include the service agent for determining and providing a service using unit recognition information received from the sensor information recognizing means.
한편, 상기 목적을 달성하기 위한 본 발명의 시스템은, 서비스 에이전트 시스템에 있어서, 외부의 센싱 수단으로부터 전달받은 단위 센서 정보에 해당하는 센서 스크립트의 내용에 따라 단위 인지 정보를 생성하여 전송하기 위한 센서 정보 인식 수단; 및 상기 센서 정보 인식 수단으로부터 전달받은 단위 인지 정보를 사용하여 서비스를 결정하여 제공하기 위한 서비스 에이전트를 포함한다.On the other hand, the system of the present invention for achieving the above object, in the service agent system, the sensor information for generating and transmitting the unit recognition information according to the content of the sensor script corresponding to the unit sensor information received from the external sensing means Recognition means; And a service agent for determining and providing a service using unit recognition information received from the sensor information recognizing means.
한편, 상기 목적을 달성하기 위한 본 발명의 다른 장치는, 센서 정보 인식 장치에 있어서, 외부의 센싱 수단으로부터 전달받은 단위 센서 정보들을 저장하기 위한 센서 정보 저장소; 단위 센서 정보와 상응하는 센서 스크립트를 저장하고 있는 센서 스크립트 저장소; 및 상기 외부의 센싱 수단으로부터 전달받은 단위 센서 정보에 해당하는 센서 스크립트를 상기 센서 스크립트 저장소에서 추출한 후에, 상기 추출한 센서 스크립트와 상기 센서 정보 저장소의 단위 센서 정보 및 상기 전달받은 단위 센서 정보를 사용하여 단위 인지 정보를 생성하여 서비스 에이전트로 전송하기 위한 인지 정보 생성부를 포함한다.On the other hand, another apparatus of the present invention for achieving the above object, the sensor information recognizing apparatus, the sensor information storage for storing the unit sensor information received from the external sensing means; A sensor script storage storing sensor script corresponding to the unit sensor information; And extracting the sensor script corresponding to the unit sensor information received from the external sensing means in the sensor script repository, and then using the extracted sensor script and unit sensor information of the sensor information repository and the received unit sensor information. A cognitive information generator for generating cognitive information and transmitting it to the service agent.
한편, 상기 목적을 달성하기 위한 본 발명의 방법은, 센서 정보 인식 방법에 있어서, 외부의 센싱 수단으로부터 전달받은 단위 센서 정보를 사용하는 인지 정보 생성 함수를 조회하는 조회 단계; 상기 조회된 인지 정보 생성 함수의 실행을 위하여 필요한 센서 정보를 추출하는 추출 단계; 상기 조회된 인지 정보 생성 함수를 실행하여 단위 인지 정보를 생성하는 생성 단계; 및 상기 생성된 단위 인지 정보를 서비스 에이전트로 전송하는 전송 단계를 포함한다.On the other hand, the method of the present invention for achieving the above object, the sensor information recognition method, querying step for inquiring the recognition information generation function using the unit sensor information received from the external sensing means; An extraction step of extracting sensor information necessary for executing the inquired cognitive information generating function; A generation step of generating unit recognition information by executing the inquired recognition information generating function; And a transmitting step of transmitting the generated unit recognition information to a service agent.
삭제delete
상기와 같은 본 발명은, 센서 스크립트를 사용하여 단위 센서 정보와 단위 인지 정보 간 매칭을 통해 로봇 센서 정보 인식을 손쉽게 할 수 있는 효과가 있다.As described above, the present invention has an effect of easily recognizing robot sensor information through matching between unit sensor information and unit recognition information using a sensor script.
또한, 본 발명은 이기종 스펙을 갖는 어떠한 로봇에 대해서도 하나의 서비스 에이전트를 사용하여 그 센서 정보를 인식할 수 있는 효과가 있다.In addition, the present invention has the effect that can recognize the sensor information by using a single service agent for any robot having a heterogeneous specification.
또한, 본 발명은 센서 정보 인식 대상 로봇의 하드웨어 추가/변경/제거가 이루어지더라도 서비스 에이전트의 프로세스를 변경하지 않아도 되기 때문에 서비스 에이전트와 로봇 간의 상호 독립성을 보장할 수 있는 효과가 있다.In addition, the present invention has the effect of ensuring the mutual independence between the service agent and the robot because it does not need to change the process of the service agent even if hardware addition / change / removal of the sensor information recognition target robot is made.
부가적으로, 본 발명은 복수 개의 센서를 조합하여 하나 혹은 그 이상의 인지 정보를 재생산하는 과정을 자연스럽게 구현할 수 있는 장점이 있다.In addition, the present invention has the advantage of naturally implementing a process of reproducing one or more cognitive information by combining a plurality of sensors.
상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features and advantages of the present invention will become more apparent from the following detailed description of the present invention when taken in conjunction with the accompanying drawings, It can be easily carried out. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 센서 스크립트를 이용한 센서 정보 인식 장치 및 그를 이용한 로봇에 대한 일실시예 구성도이다.1 is a block diagram of an embodiment of a sensor information recognition apparatus using a sensor script and a robot using the same according to the present invention.
도 1에 도시된 바와 같이, 본 발명에 따른 센서 스크립트를 이용한 로봇은 서비스 에이전트(10), 센서 정보 인식 장치(20), 및 로봇에 구비된 각종 센서(30) 등을 포함한다. 그리고 상기 센서 스크립트를 이용한 센서 정보 인식 장치(20)는 인지 정보 생성부(21), 센서 스크립트 저장소(22), 및 센서 정보 저장소(23) 등을 포함한다.As shown in FIG. 1, the robot using the sensor script according to the present invention includes a
한편, 본 발명은 상기 서비스 에이전트(10), 센서 정보 인식 장치(20), 및 로봇에 구비된 각종 센서(30) 등의 각 구성 요소가 모두 하나의 하드웨어 로봇에 실장되어 구현될 수 있다.Meanwhile, in the present invention, each component such as the
또는, 본 발명은 각종 센서(30)는 로봇에 구비되고, 센서 정보 인식 장치(20)와 서비스 에이전트(10)는 네트워크(예 : 인터넷 등)를 통해 로봇과 연결되어 원격에 위치하되, 센서 정보 인식 장치(20)가 서비스 에이전트(10) 측에 실장되어 구현될 수도 있다.Alternatively, in the present invention,
또는, 본 발명은 각종 센서(30)와 센서 정보 인식 장치(20)는 로봇에 구비되고, 서비스 에이전트(10)는 네트워크(예 : 인터넷 등)를 통해 로봇과 연결되어 원격에 위치하도록 구현될 수도 있다.Alternatively, the present invention may be implemented such that the
또는, 본 발명은 각종 센서(30)는 로봇에 구비되고, 센서 정보 인식 장치(20)와 서비스 에이전트(10)는 네트워크(예 : 인터넷 등)를 통해 로봇과 연결되어 원격에 위치하되, 센서 정보 인식 장치(20)와 서비스 에이전트(10)가 하나의 시스템으로 구현되는 것이 아니라 각각의 장치로 구현될 수도 있다. 즉, 서비스 에이전트(10), 센서 정보 인식 장치(20), 및 로봇에 구비된 각종 센서(30)와 같은 각 구성 요소가 각각 구현되어 네트워크(예 : 인터넷 등)를 통해 연결될 수도 있다.Alternatively, in the present invention,
그리고 전술한 연결 방식 외에도 다양한 연결 방식으로 본 발명을 구현할 수 있음은 당업자에게 당연하다고 할 것이다. 따라서 본 발명이 반드시 전술한 연결 방식만으로 한정되는 것이 아님을 미리 밝혀둔다. 그리고 어느 하나의 연결 방식에 따른 실시예만을 설명하여도 그 외의 연결 방식에 따른 실시예는 당업자가 쉽게 이해할 수 있음으로, 이하의 도 1의 일실시예에서는 서비스 에이전트(10), 센서 정보 인식 장치(20), 및 로봇에 구비된 각종 센서(30) 등의 각 구성 요소가 모두 하나의 하드웨어 로봇에 실장되어 구현된 경우를 예로 들어 설명하기로 한다.And it will be obvious to those skilled in the art that the present invention can be implemented in various connection methods in addition to the above-described connection method. Therefore, it should be noted that the present invention is not necessarily limited to the above-described connection method alone. Since only one embodiment according to one connection method is described, an embodiment according to another connection method can be easily understood by a person skilled in the art. In the following embodiment of FIG. 1, the
먼저, 본 발명의 이해를 돕기 위하여 본 발명의 기술 요지를 간략하게 살펴보면, 본 발명에 따른 센서 스크립트를 이용한 로봇에서는, 각종 센서(30)가 센싱한 단위 센서 정보를 센서 정보 인식 장치(20)로 전달하고, 상기 센서 정보 인식 장치(20)의 인지 정보 생성부(21)가 상기 단위 센서 정보와 관련된 센서 스크립트의 내용에 따라 인지 정보를 생성하여 서비스 에이전트(10)로 전달한다. 이때, 상기 센서 정보 인식 장치(20)의 인지 정보 생성부(21)에서는 인지 정보 생성 시에 센서 스크립트 저장소(22)와 센서 정보 저장소(23)를 이용한다. 이를 도 1을 참조하여 좀 더 상세히 살펴보면 다음과 같다.First, to briefly understand the technical gist of the present invention to help understand the present invention, in the robot using the sensor script according to the present invention, the unit sensor information sensed by the
도 1에 도시된 바와 같이, 본 발명에 따른 센서 스크립트를 이용한 로봇은, 외부로부터 입력되는 각종 정보를 센싱하여 적어도 하나의 단위 센서 정보를 센서 정보 인식 장치(20)로 전송하기 위한 다수의 각종 센서(30), 상기 각종 센서(30)로부터 전달받은 각각의 단위 센서 정보에 해당하는 센서 스크립트의 내용에 따라 단위 인지 정보를 생성하여 서비스 에이전트(10)로 전송하기 위한 센서 정보 인식 장 치(20), 및 상기 센서 정보 인식 장치(20)로부터 전달받은 단위 인지 정보를 사용하여 서비스를 결정하여 제공하기 위한 서비스 에이전트(10)를 포함한다.As shown in FIG. 1, a robot using a sensor script according to the present invention senses various types of information input from the outside and transmits at least one unit sensor information to the sensor
여기서, 상기 단위 센서 정보는, 센서 이름 및 센서 정보를 포함하여 이루어진다.Here, the unit sensor information includes a sensor name and sensor information.
또한, 상기 센서 스크립트는, 센서 이름, 인지 정보 생성 함수, 및 인지 정보 생성 방법을 포함하여 이루어진다.The sensor script may include a sensor name, a cognitive information generating function, and a cognitive information generating method.
그리고 상기 센서 정보 인식 장치(20)는 상기 각종 센서(30)로부터 전달받은 각각의 단위 센서 정보를 센서 스크립트 저장소(22)에 저장되어 있는 센서 스크립트를 사용하여 단위 인지 정보로 전환한 후에 해당 단위 인지 정보를 서비스 에이전트(10)로 전송한다.The sensor
즉, 상기 센서 정보 인식 장치(20)는 상기 각종 센서(30)로부터 적어도 하나의 단위 센서 정보를 전달받음에 따라 상기 전달받은 단위 센서 정보에 해당하는 센서 스크립트를 센서 스크립트 저장소(22)에서 추출하고(이때, 복수 개의 스크립트가 추출될 수도 있음), 상기 추출한 센서 스크립트와 센서 정보 저장소(23)의 단위 센서 정보 및 상기 전달받은 단위 센서 정보를 사용하여 적어도 하나의 단위 인지 정보를 생성하며, 상기 생성한 각각의 단위 인지 정보를 순차적으로 상기 서비스 에이전트(10)로 전송한다. 이를 위한 각 구성 요소를 좀 더 상세히 살펴보면 다음과 같다.That is, the sensor
상기 센서 정보 인식 장치(20)는, 인지 정보 생성에 활용하기 위해, 상기 각종 센서(30)로부터 전달받은 최근의 단위 센서 정보들 또는 이전의 모든 단위 센서 정보들을 저장하기 위한 센서 정보 저장소(23), 인지 정보 생성에 활용하기 위해, 단위 센서 정보와 상응하는 센서 스크립트를 저장하고 있는 센서 스크립트 저장소(22), 및 상기 각종 센서(30)로부터 전달받은 단위 센서 정보에 해당하는 센서 스크립트를 상기 센서 스크립트 저장소(22)에서 추출한 후에, 상기 추출한 센서 스크립트와 상기 센서 정보 저장소(23)의 단위 센서 정보 및 상기 전달받은 단위 센서 정보를 사용하여 단위 인지 정보를 생성하여 순차적으로 상기 서비스 에이전트(10)로 전송하기 위한 인지 정보 생성부(21)를 포함한다.The sensor
그러면, 상기 서비스 에이전트(10)는 상기 센서 정보 인식 장치(20)로부터 전달받은 단위 인지 정보를 활용하여 자신의 행동을 결정하여 해당하는 서비스를 제공한다.Then, the
여기서, 센서 정보 저장소(23)는 상기 각종 센서(30)로부터 전달받은 단위 센서 정보를 시간 순서로 저장하는 저장소(데이터베이스)로서, 상기 인지 정보 생성부(21)가 상기 각종 센서(30)로부터 새로운 단위 센서 정보를 전달받을 때마다 그 단위 센서 정보가 추가되어 저장된다. 이렇게 저장된 센서 정보는 이후에 상기 인지 정보 생성부(21)가 센서 스크립트를 사용하여 인지 정보를 생성하는 과정에 활용된다.Here, the
여기서, 센서 정보 저장소(23)는, 상기 인지 정보 생성부(21)가 보다 복잡한 인지 정보까지 생성할 수 있도록 지원하기 위하여, 최근의 센서 정보뿐만 아니라 시간에 따른 센서 정보를 모두 저장하도록 구현할 수 있다. 다만, 센서 정보 저장소(23)의 물리적인 저장 공간을 고려하여 센서 정보가 일정 개수(예 : 만개)를 초과하거나 센서 정보가 저장된 후 일정 시간(예 : 한 달)이 경과되면, 먼저 저장된 센서 정보를 삭제하고 최근의 센서 정보만을 저장하도록 구현할 수도 있다.Here, the
도 2a 및 도 2b는 본 발명에 따른 센서 스크립트에 대한 일예시도로서, 센서 이름과 인지 정보 생성 함수의 관계, 그리고 상기 인지 정보 생성 함수에 따른 인지 정보 생성 방법을 나타내고 있다.2A and 2B illustrate an example of a sensor script according to the present invention, and show a relationship between a sensor name and a cognitive information generating function, and a cognitive information generating method according to the cognitive information generating function.
도 2a 및 도 2b에 도시된 바와 같이, 본 발명에 따른 센서 스크립트는, 센서 이름과 해당 센서 이름을 사용하는 인지 정보 생성 함수의 관계(도 2a), 및 상기 인지 정보 생성 함수와 그에 따른 인지 정보 생성 방법의 관계(도 2b)를 포함하며, 센서 스크립트 저장소(22)에 저장되어 있다.As shown in FIGS. 2A and 2B, the sensor script according to the present invention includes a relationship between a sensor name and a cognitive information generating function using the sensor name (FIG. 2A), and the cognitive information generating function and corresponding cognitive information. The relationship of the generation method (FIG. 2B) is included and stored in the
다음으로, 상기 센서 스크립트에 대해 좀 더 구체적으로 설명하면 다음과 같다.Next, the sensor script will be described in more detail as follows.
본 발명에서는 이기종 로봇에 대해 통합된 센서 스크립트를 생성하는 방식을 사용하는 것이 아니라, 일예로 각 이기종 로봇에 대하여 각각 서로 다른 센서 스크립트를 생성하는 방식을 사용한다. 예를 들어, 서비스 대상 로봇이 A 로봇에서 B 로봇으로 변경될 경우, 이전에 사용하고 있는 A 로봇용 센서 스크립트를 새로운 B 로봇용 센서 스크립트로 변경함으로써, 서비스 애플리케이션(서비스 에이전트)을 변경 없이 그대로(독립적으로) 사용할 수 있다. 이때, 각 이기종 로봇에 설치된 각각의 센서에 맞게 센서 스크립트가 작성되어야 하며, 단순히 센서가 추가되는 경우에는 해당 센서 스크립트를 수정만 하면 된다.In the present invention, instead of using a method of generating an integrated sensor script for heterogeneous robots, for example, a method of generating a different sensor script for each heterogeneous robot is used. For example, if the robot to be serviced is changed from robot A to robot B, the previously used sensor script for robot A is changed to the new sensor script for robot B so that the service application (service agent) remains unchanged ( Independently). At this time, a sensor script should be created for each sensor installed in each heterogeneous robot, and if a sensor is simply added, the sensor script needs to be modified.
여기서, 센서 스크립트 저장소(22)의 센서 이름은 하나의 센서값을 생성하는 독립된 하드웨어 센서를 나타내며, 인지 정보 생성 함수와 그에 따른 인지 정보 생성 방법은 서비스 에이전트(10)가 주변 환경을 인식할 수 있도록 단위 센서 정보를 가공하여 단위 인지 정보를 생성한다.Herein, the sensor name of the
이러한 단위 인지 정보들은 하나 이상의 센서값을 이용하여 생성된다. 도 2a는 그에 따른 센서 이름과 해당 센서 이름을 사용하는 인지 정보 생성 함수의 관계를 표현한 일실시예 도면이고, 이와 같이 센서 이름과 해당 센서 이름을 사용하는 인지 정보 생성 함수의 관계들은 센서 스크립트 저장소(22)에 저장된다.Such unit recognition information is generated using one or more sensor values. FIG. 2A is a diagram illustrating a relationship between a sensor name and a cognitive information generation function using the corresponding sensor name. The relationship between the sensor name and the cognition information generation function using the corresponding sensor name is described in the sensor script storage ( 22).
상기 인지 정보 생성 함수는 인지 정보 생성 방법을 통해 센서값을 단위 인지 정보로 가공한다. 여기서, 상기 인지 정보 생성 방법은 센서값을 어떻게 단위 인지 정보로 가공할 것인지를 실시간으로 해석 및 실행 가능한 언어로 표현한다. 이때, 본 발명에서 사용하는 언어는 어떠한 공지 기술 언어를 사용해도 무방하기에 이에 대한 상세한 설명은 생략하기로 한다. 이러한 이유로 본 발명의 일실시예에서는 일반적인 형태의 의사 코드(Pseudo code)를 사용하여 표기하기로 한다.The cognitive information generating function processes the sensor value into unit cognitive information through a cognitive information generating method. Here, the method of generating cognitive information expresses how to process the sensor value into unit recognition information in a language that can be interpreted and executed in real time. At this time, the language used in the present invention may be any known technical language, so a detailed description thereof will be omitted. For this reason, an embodiment of the present invention will be described using a pseudo code of a general form.
예를 들어, 로봇이 넘어졌는지를 판단하기 위해서는 기울기 센서와 바닥감지 센서로부터 받은 센서 정보들이 필요하다. 이러한 로봇 넘어짐 판단을 하는 인지 정보 생성 함수를 "Fall-down"이라 정의하고, 로봇이 30°이상이 기울어지고 바닥이 감지되지 않을 경우 넘어졌다고 판단하도록 코드로 구현할 수 있다(도 2b). 인지 정보 함수는 "Fall-down"처럼 단순히 트루(TRUE) 또는 폴즈(FALSE) 값을 결과로 가질 수도 있지만, 경우에 따라서는 실수 형태가 될 수도 있으며, 여러 개의 값으 로 나타내어질 수도 있다. 예를 들어, "Hit" 함수의 경우 구현 방식에 따라 트루(TRUE) 또는 폴즈(FALSE)의 결과를 가질 수도 있지만, 트루(TRUE)의 경우 맞은 강도를 추가적인 실수값으로 가질 수도 있다.For example, in order to determine whether the robot has fallen down, sensor information received from an inclination sensor and a floor detection sensor is required. The cognitive information generating function for determining the robot fall may be defined as “Fall-down”, and the robot may be implemented to determine that the robot falls down when it is tilted more than 30 ° and the floor is not detected (FIG. 2B). Cognitive information functions may simply result in true or false values, such as "Fall-down," but in some cases may be real or may be represented by multiple values. For example, the "Hit" function may have a result of true (UE) or false (FALSE) depending on the implementation method, but the value of true may have an additional real value in the case of true (UE).
이와 같은 방법으로 사용자 얼굴 인식과 같은 복잡한 인지 정보 생성 방법도 상기 언어로 표현되어 인지 정보를 생성하는데 사용될 수 있다.In this way, complex cognitive information generation methods such as user face recognition can also be expressed in the language and used to generate cognitive information.
도 3은 본 발명에 따른 센서 스크립트를 이용한 센서 정보 인식 방법에 대한 일실시예 흐름도이다.3 is a flowchart illustrating a method for recognizing sensor information using a sensor script according to the present invention.
이하의 도 3의 일실시예에서는 서비스 에이전트(10), 센서 정보 인식 장치(20), 및 로봇에 구비된 각종 센서(30)와 같은 각 구성 요소가 각각 구현되어 네트워크(예 : 인터넷 등)를 통해 연결된 경우를 예로 들어 설명하기로 한다.In the following embodiment of FIG. 3, each component such as a
본 발명에 따른 센서 스크립트를 이용한 센서 정보 인식 방법에 대한 처리 과정 중에서, 로봇의 각종 센서(30)에서 이루어지는 과정을 먼저 설명하기로 한다.In the processing of the sensor information recognition method using the sensor script according to the present invention, a process performed in
먼저, 로봇에 구비된 다수의 각종 센서(30)가 주변 환경이나 사용자로부터 입력되는 각종 정보를 센싱한다(301).First, a plurality of
이후에, 상기 센싱된 센서값(센서 정보)과 해당 센서의 이름을 하나의 단위 센서 정보로 하여 센서 정보 인식 장치(20)로 전송한다(302).Thereafter, the sensed sensor value (sensor information) and the name of the corresponding sensor are transmitted as the sensor
다음으로, 상기 센서 정보 인식 장치(20)에서 이루어지는 과정을 설명하기로 한다.Next, a process performed by the sensor
먼저, 센서 정보 인식 장치(20)는 로봇 측으로부터 전달받은 단위 센서 정보 의 센서 이름과 센서값을 이용하여 센서 스크립트 저장소(22)를 탐색하여 해당 센서값들을 이용하는 인지 정보 생성 함수를 조회한다(303).First, the sensor
이후, 상기 조회된 인지 정보 생성 함수를 실행하기 위해 추가로 필요한 단위 센서 정보(센서값)를 센서 정보 저장소(23)를 통해 추출한다(304).Thereafter, unit sensor information (sensor value), which is additionally required to execute the inquired cognitive information generating function, is extracted through the sensor information storage 23 (304).
이후, 해당 센서값들(상기 전달받은 단위 센서 정보 및 상기 추출한 단위 센서 정보)을 취합하여 상기 조회된 인지 정보 생성 함수를 실행하여 단위 인지 정보를 생성한다(305).Thereafter, corresponding sensor values (the received unit sensor information and the extracted unit sensor information) are collected and the unit recognition information generating function is executed to generate unit recognition information (305).
이후, 상기 생성된 단위 인지 정보를 서비스 에이전트(10)로 전송한다(306).Thereafter, the generated unit recognition information is transmitted to the service agent 10 (306).
예를 들어, 몸터치 센서값이 입력될 경우, 도 2a에서와 같이 몸터치 센서 정보가 사용되는 인지 정보 생성 함수가 "Lift" 함수와 "Hit" 함수임을 알 수 있다. 또한, 도 2b에서와 같이 "Lift" 함수를 수행하는 데에는 바닥감지 센서가 추가로 필요하다는 사실을 알 수 있다. 몸터치 센서값과 바닥감지 센서값을 이용하여 "Lift" 함수를 실행하고, 몸터치 센서값을 이용하여 "Hit" 함수를 실행하여 단위 인지 정보를 생성할 수 있다. 이렇게 인지 정보 생성 함수를 통해 가공된 단위 인지 정보는 서비스 에이전트(10)로 전송된다. 이때, 최근의 센서 정보들은 센서 정보 저장소(23)에 기록되어 이후의 인지 정보 생성에 활용된다.For example, when the body touch sensor value is input, it can be seen that the cognitive information generating functions using the body touch sensor information are “Lift” function and “Hit” function as shown in FIG. 2A. In addition, it can be seen that an additional floor sensor is required to perform the "Lift" function as shown in FIG. 2B. The unit recognition information may be generated by executing the "Lift" function using the body touch sensor value and the floor sensing sensor value, and executing the "Hit" function using the body touch sensor value. The unit recognition information processed through the recognition information generation function is transmitted to the
다음으로, 서비스 에이전트(10)는 상기 센서 정보 인식 장치(20)로부터 전달받은 단위 인지 정보를 사용하여 서비스를 결정하여 제공한다(307).Next, the
..
한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능 하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.On the other hand, the method of the present invention as described above can be written in a computer program. And the code and code segments constituting the program can be easily deduced by a computer programmer in the field. In addition, the written program is stored in a computer-readable recording medium (information storage medium), and read and executed by a computer to implement the method of the present invention. The recording medium may include any type of computer readable recording medium.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
본 발명은 센서 정보 인식 기술 분야나 그를 이용한 지능형 로봇 등에 이용될 수 있다.The present invention can be used in the field of sensor information recognition technology or an intelligent robot using the same.
도 1은 본 발명에 따른 센서 스크립트를 이용한 센서 정보 인식 장치 및 그를 구비한 로봇에 대한 일실시예 구성도이고,1 is a configuration diagram of an embodiment of a sensor information recognizing apparatus using a sensor script and a robot having the same according to the present invention;
도 2a 및 도 2b는 본 발명에 따른 센서 스크립트에 대한 일예시도이며,2A and 2B are exemplary views of a sensor script according to the present invention.
도 3은 본 발명에 따른 센서 스크립트를 이용한 센서 정보 인식 방법에 대한 일실시예 흐름도이다.3 is a flowchart illustrating a method for recognizing sensor information using a sensor script according to the present invention.
* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing
10 : 서비스 에이전트 20 : 센서 정보 인식 장치10: service agent 20: sensor information recognition device
21 : 인지 정보 생성부 22 : 센서 스크립트 저장소21: recognition information generation unit 22: sensor script repository
23 : 센서 정보 저장소 30 : 센서23: sensor information store 30: sensor
Claims (17)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080124235A KR101186192B1 (en) | 2008-12-08 | 2008-12-08 | Apparatus and method for recognizing sensor information using sensor scripts, and its robot |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080124235A KR101186192B1 (en) | 2008-12-08 | 2008-12-08 | Apparatus and method for recognizing sensor information using sensor scripts, and its robot |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20100065735A KR20100065735A (en) | 2010-06-17 |
| KR101186192B1 true KR101186192B1 (en) | 2012-10-08 |
Family
ID=42364933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080124235A Active KR101186192B1 (en) | 2008-12-08 | 2008-12-08 | Apparatus and method for recognizing sensor information using sensor scripts, and its robot |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101186192B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101390204B1 (en) | 2012-12-20 | 2014-04-29 | (주)라스테크 | System and method for cooperative control of a intelligent mobile robot based multi-agent |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203264A (en) * | 1997-11-17 | 1999-07-30 | Fujitsu Ltd | Data processing method, data processing device, device operation method, device operation device, and program storage medium for handling data with terminology |
| JP2005199373A (en) * | 2004-01-14 | 2005-07-28 | Toshiba Corp | Communication apparatus and communication method |
-
2008
- 2008-12-08 KR KR1020080124235A patent/KR101186192B1/en active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11203264A (en) * | 1997-11-17 | 1999-07-30 | Fujitsu Ltd | Data processing method, data processing device, device operation method, device operation device, and program storage medium for handling data with terminology |
| JP2005199373A (en) * | 2004-01-14 | 2005-07-28 | Toshiba Corp | Communication apparatus and communication method |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101390204B1 (en) | 2012-12-20 | 2014-04-29 | (주)라스테크 | System and method for cooperative control of a intelligent mobile robot based multi-agent |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20100065735A (en) | 2010-06-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102429260B1 (en) | Apparatus and method for processing control command based on voice agent, agent apparatus | |
| KR100941638B1 (en) | Contact Behavior Recognition System and Method | |
| EP2499844B1 (en) | A mobile device controlled by context awareness | |
| KR100793057B1 (en) | KS middleware apparatus and method thereof for generating information service based on heterogeneous sensor network, and information service providing system using same | |
| JP6249919B2 (en) | Operation input device | |
| US20140176309A1 (en) | Remote control system using a handheld electronic device for remotely controlling electrical appliances | |
| CN103021410A (en) | Information processing apparatus, information processing method, and computer readable medium | |
| US20130067497A1 (en) | Apparatus and method for setting a user-defined pattern for an application | |
| CN111785003A (en) | Voice transmission control method, voice remote controller, terminal device and storage medium | |
| KR100927950B1 (en) | Robot behavior control system using robot script and its robot | |
| CN105931044A (en) | Mobile payment activation method and device | |
| KR101186192B1 (en) | Apparatus and method for recognizing sensor information using sensor scripts, and its robot | |
| KR102402044B1 (en) | Electronic apparatus and service providing method thereof | |
| CN103793536A (en) | Intelligent platform obtaining method and device | |
| KR20100125794A (en) | Method and device for performing service of robot | |
| KR20110080894A (en) | Multi-touch input processing method and device | |
| CN113970971A (en) | Data processing method and device based on touch control pen | |
| US20130095867A1 (en) | Method and apparatus for managing wireless sensor network | |
| KR20180087033A (en) | System and method for gesture based controlling home appliances, recording medium for performing the method | |
| KR101723172B1 (en) | IoT(Internet of Thing) Service Offering Method | |
| KR20220148579A (en) | An apparatus for automatically generating custom designed user interfaces of input interfaces and a method for operating it | |
| KR102466837B1 (en) | An electronic device and Method for controlling the electronic device thereof | |
| KR102685531B1 (en) | Method identifying external device by registering feature of electromagnetic signal and electronic device appling the method | |
| KR100656372B1 (en) | Robot service availability evaluation method and system | |
| KR20090084495A (en) | How to Provide Network Robot Service |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| A201 | Request for examination | ||
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-3-3-R10-R13-asn-PN2301 St.27 status event code: A-3-3-R10-R11-asn-PN2301 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-3-3-R10-R18-oth-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20160908 Year of fee payment: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20170904 Year of fee payment: 6 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20180903 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20190807 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 10 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 11 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 12 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 13 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 14 |