[go: up one dir, main page]

KR101580052B1 - Apparatus and method for determining user using mobile terminal and depth camera - Google Patents

Apparatus and method for determining user using mobile terminal and depth camera Download PDF

Info

Publication number
KR101580052B1
KR101580052B1 KR1020140101209A KR20140101209A KR101580052B1 KR 101580052 B1 KR101580052 B1 KR 101580052B1 KR 1020140101209 A KR1020140101209 A KR 1020140101209A KR 20140101209 A KR20140101209 A KR 20140101209A KR 101580052 B1 KR101580052 B1 KR 101580052B1
Authority
KR
South Korea
Prior art keywords
user
gesture
mobile terminal
determining
users
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020140101209A
Other languages
Korean (ko)
Inventor
이수빈
김상태
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020140101209A priority Critical patent/KR101580052B1/en
Application granted granted Critical
Publication of KR101580052B1 publication Critical patent/KR101580052B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

Disclosed are an apparatus and a method for determining a user by using a depth camera and a mobile terminal. The user determining apparatus comprises: an information receiving unit for receiving a gesture of a user determined on the basis of the movement of the user, from a mobile terminal; and a user determining unit for determining a user having the mobile terminal from at least one user among the users around, based on a gesture of the peripheral user determined by a depth camera, and the gesture of the user.

Description

깊이 카메라와 이동 단말을 이용하여 사용자를 결정하는 장치 및 방법{APPARATUS AND METHOD FOR DETERMINING USER USING MOBILE TERMINAL AND DEPTH CAMERA}[0001] APPARATUS AND METHOD FOR DETERMINING USER MOBILE TERMINAL AND DEPTH CAMERA [0002]

본 발명의 실시예들은 이동 단말의 가속도 센서와 깊이 카메라를 이용하여 이동 단말을 소지한 사용자를 인식하는 기술에 관한 것이다.Embodiments of the present invention relate to a technique of recognizing a user having a mobile terminal using an acceleration sensor and a depth camera of a mobile terminal.

일반적으로, 오프라인 환경에서 단말 간 개체를 인식하기 위해서 사용되는 기술로는 카메라 기반의 마커 인식 기술(QR 코드), NFC(Near Field Communication) 기술 등이 있다.In general, there are camera-based marker recognition technology (QR code) and Near Field Communication (NFC) technology, which are used to recognize an inter-terminal entity in an offline environment.

마커 인식 기술은 사용자가 이동 단말의 카메라를 이용하여 타겟 마커를 촬영하면, 촬영된 타겟 마커에 기초하여 단말을 인식한다. 이처럼, 마커 인식 기술은 사용자 인식을 위해 사용자로 하여금 타겟 마커를 촬영하게 하는 불편함이 존재한다. The marker recognition technology recognizes the terminal based on the photographed target marker when the user shoots the target marker using the camera of the mobile terminal. As described above, the marker recognition technology inconveniences the user to shoot the target marker for user recognition.

더욱이, 마커 인식 기술의 경우, 타겟 마커 인식을 위해 단말의 백그라운드에서 인식 알고리즘이 계속 구동되어야 하므로, 단말의 리소스(resource) 소모가 매우 크다. 이러한 리소스 소모를 고려하여 평소에는 마커 인식을 위한 설정 기능을 비활성화 하고 있으나, 매번 필요 시 마다 사용자가 마커 인식을 위한 설정 기능을 활성화해야 하는 번거로움이 존재한다.Furthermore, in the case of the marker recognition technology, since the recognition algorithm must be continuously driven in the background of the terminal in order to recognize the target marker, resource consumption of the terminal is very large. In consideration of such resource consumption, the setting function for recognizing the marker is normally disabled, but the user has to activate the setting function for recognizing the marker whenever necessary.

NFC 기술의 경우, 저전력으로 사용자의 인위적인 조작 없이도 단말 주변에 위치하는 개체를 인식이 가능하다.  In the case of NFC technology, it is possible to recognize an entity located in the vicinity of a terminal without requiring a user's artificial operation at a low power.

그러나, NFC 기술의 경우, 개체 인식을 위해 개체에 닿을 정도로 개체에 근접해야지만 인식이 가능하다. 다시 말해, NFC 기술은 인식 거리가 매우 짧아 이용 범위에 제한이 있다.However, in the case of NFC technology, it is necessary to approach the object so as to reach the object to recognize the object, but it is recognizable. In other words, NFC technology has a very limited recognition range, which limits its range of use.

따라서, 개체 인식을 위한 기능을 사용자가 수동으로 활성화시키거나, 개체 인식을 위해 별도의 촬영을 하지 않더라도 자동으로 인식이 가능할 뿐만 아니라, NFC 보다 넓은 인식 가능 거리를 제공하는 기술이 요구된다. Accordingly, there is a need for a technique that not only automatically recognizes the function for recognizing an object manually, but also recognizes the object even if the photographer does not take a separate photograph to recognize the object, and provides a larger recognizable distance than the NFC.

본 발명은 이동 단말을 소지한 사용자를 인식하기 위한 것으로서, 이동 단말의 가속도 센서와 깊이 카메라를 이용하여 사용자의 제스쳐를 결정하고, 결정된 사용자의 제스쳐를 이용하여 주변 사용자들 중에서 사용자 결정 장치를 지나가는 사용자를 자동으로 결정하기 위한 것이다.The present invention relates to a method for determining a user's gesture using an acceleration sensor and a depth camera of a mobile terminal and recognizing a user passing through a user decision device among surrounding users using the determined user gesture, Is automatically determined.

또한, 사용자 결정 장치에 탈부착 가능한 깊이 카메라와 이동 단말, 그리고 사용자 결정 장치가 무선으로 상호 통신을 수행하여 사용자를 결정함에 따라 NFC보다 넓은 인식 가능 거리를 제공하기 위한 것이다.In addition, a depth camera, a mobile terminal, and a user deciding device that can be detachably attached to the user determining device wirelessly communicate with each other to determine a user, thereby providing a larger recognizable distance than the NFC.

본 발명의 일실시예에 따른 사용자 결정 장치는, 사용자의 움직임에 기초하여 결정된 사용자의 제스쳐(gesture)를 이동 단말로부터 수신하는 정보 수신부, 및 깊이 카메라를 이용하여 결정된 적어도 하나의 주변 사용자의 제스쳐와 상기 사용자의 제스쳐에 기초하여, 적어도 하나의 주변 사용자 중에서 상기 이동 단말을 소지한 사용자를 결정하는 사용자 결정부를 포함할 수 있다.The user determination apparatus according to an embodiment of the present invention includes an information receiving unit that receives a gesture of a user determined based on a motion of a user from a mobile terminal and a gesture of at least one surrounding user determined using a depth camera And a user determination unit for determining, based on the gesture of the user, a user having the mobile terminal among at least one neighboring user.

일측면에 따르면, 상기 사용자 결정부는, 상기 적어도 하나의 주변 사용자의 제스쳐 중 상기 사용자의 제스쳐와 매칭하는 제스쳐를 결정하고, 상기 매칭하는 제스쳐를 전송한 이동 단말의 사용자를 상기 이동 단말을 소지한 사용자로 결정할 수 있다.According to an aspect of the present invention, the user determination unit determines a gesture that matches the gesture of the user among the gestures of the at least one neighboring user, and determines a user of the mobile terminal that transmits the matching gesture to a user .

다른 측면에 따르면, 상기 이동 단말은, 가속도 센서를 이용하여 측정된 사용자의 움직임 패턴 분석에 기초하여 상기 사용자의 제스쳐를 결정할 수 있다.According to another aspect, the mobile terminal can determine the gesture of the user based on the movement pattern analysis of the user measured using the acceleration sensor.

또 다른 측면에 따르면, 상기 깊이 카메라는, 상기 사용자 결정 장치 주변에 위치하는 적어도 하나의 주변 사용자의 움직임을 감지하고, 뼈대 분석 알고리즘(skeleton joint algorithm)에 기초하여 상기 감지된 주변 사용자의 움직임을 분석함에 따라 상기 적어도 하나의 주변 사용자의 제스쳐를 결정할 수 있다.According to another aspect, the depth camera is configured to detect movement of at least one peripheral user located around the user determination device and to analyze the detected motion of the surrounding user based on a skeleton joint algorithm The gesture of the at least one neighboring user can be determined.

또 다른 측면에 따르면, 상기 이동 단말은, 사용자의 신체에 착용 가능한 웨어러블 디바이스(Wearable Device)일 수 있다.According to another aspect, the mobile terminal may be a wearable device that can be worn on the user's body.

본 발명의 일실시예에 따른 사용자 결정 방법은, 사용자의 움직임에 기초하여 결정된 사용자의 제스쳐(gesture)를 이동 단말로부터 수신하는 단계, 적어도 하나의 주변 사용자의 움직임에 기초하여 결정된 적어도 하나의 주변 사용자의 제스쳐를 깊이 카메라로부터 수신하는 단계, 및 상기 적어도 하나의 주변 사용자의 제스쳐와 상기 사용자의 제스쳐에 기초하여, 적어도 하나의 주변 사용자 중에서 상기 이동 단말을 소지한 사용자를 결정하는 단계 를 포함할 수 있다.A method of determining a user according to an embodiment of the present invention includes receiving a gesture of a user determined based on a movement of a user from a mobile terminal, determining at least one neighboring user determined based on movement of the at least one neighboring user, Receiving a gesture of the at least one peripheral user from a depth camera and determining a user having the mobile terminal among at least one peripheral user based on the gesture of the at least one peripheral user and the gesture of the user .

일측면에 따르면, 상기 이동 단말을 소지한 사용자로 결정하는 단계는, 상기 적어도 하나의 주변 사용자의 제스쳐 중 상기 사용자의 제스쳐와 매칭하는 제스쳐를 결정하는 단계, 및 상기 매칭하는 제스쳐를 전송한 이동 단말의 사용자를 상기 이동 단말을 소지한 사용자로 결정하는 단계를 포함할 수 있다.According to an aspect of the present invention, the step of determining the user having the mobile terminal includes the steps of: determining a gesture matching the user's gesture among the gestures of the at least one neighboring user; And determining the user of the mobile terminal as the user having the mobile terminal.

다른 측면에 따르면, 상기 이동 단말은, 가속도 센서를 이용하여 측정된 사용자의 움직임 패턴 분석에 기초하여 상기 사용자의 제스쳐를 결정할 수 있다.According to another aspect, the mobile terminal can determine the gesture of the user based on the movement pattern analysis of the user measured using the acceleration sensor.

또 다른 측면에 따르면, 상기 깊이 카메라는, 상기 사용자 결정 장치 주변에 위치하는 적어도 하나의 주변 사용자의 움직임을 감지하고, 뼈대 분석 알고리즘(skeleton joint algorithm)에 기초하여 상기 감지된 주변 사용자의 움직임을 분석함에 따라 상기 적어도 하나의 주변 사용자의 제스쳐를 결정할 수 있다.According to another aspect, the depth camera is configured to detect movement of at least one peripheral user located around the user determination device and to analyze the detected motion of the surrounding user based on a skeleton joint algorithm The gesture of the at least one neighboring user can be determined.

본 발명의 일실시예에 따른 사용자 인식 시스템은, 가속도 센서를 이용하여 감지된 사용자의 움직임에 기초하여 사용자의 제스쳐를 결정하는 이동 단말, 적어도 하나의 주변 사용자의 움직임에 기초하여 적어도 하나의 주변 사용자의 제스쳐를 결정하는 깊이 카메라, 및 상기 사용자의 제스쳐와 상기 적어도 하나의 주변 사용자의 제스쳐를 비교하여 적어도 하나의 주변 사용자 중에서 상기 이동 단말을 소지한 사용자를 결정하는 사용자 결정 장치를 포함할 수 있다.A user recognition system according to an embodiment of the present invention includes a mobile terminal for determining a gesture of a user based on a motion of a user sensed using an acceleration sensor, And a user determination device for determining a user having the mobile terminal among at least one neighboring user by comparing the gesture of the user with the gesture of the at least one neighboring user.

본 발명에 의하면, 이동 단말의 가속도 센서와 깊이 카메라를 이용하여 사용자의 제스쳐를 결정하고, 결정된 사용자의 제스쳐를 이용하여 주변 사용자들 중에서 사용자 결정 장치를 지나가는 사용자를 자동으로 결정할 수 있다.According to the present invention, a gesture of a user can be determined using an acceleration sensor and a depth camera of a mobile terminal, and a user passing through a user determination device among peripheral users can be automatically determined using a determined user gesture.

또한, 사용자 결정 장치에 탈부착 가능한 깊이 카메라, 이동 단말, 그리고 사용자 결정 장치가 무선으로 상호 통신을 수행하여 사용자를 결정함에 따라, NFC보다 넓은 인식 가능 거리를 제공할 수 있다.Further, the depth camera, the mobile terminal, and the user decision device that can be detachably attached to the user determination device wirelessly communicate with each other to determine the user, thereby providing a wider recognition distance than the NFC.

도 1은 본 발명의 일실시예에 따른 사용자 인식 시스템을 도시한 블록도이다.
도 2는 본 발명의 일실시예에 있어서, 이동 단말의 세부 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 있어서, 깊이 카메라의 세부 구성을 도시한 블록도이다.
도 4는 본 발명의 일실시예에 있어서, 사용자 결정 장치의 세부 구성을 도시한 블록도이다.
도 5는 본 발명의 일실시예에 있어서, 뼈대 분석 알고리즘 및 패턴 분석 알고리즘을 이용하여 사용자의 제스쳐를 결정하는 동작을 설명하기 위해 제공되는 도면이다.
도 6은 본 발명의 일실시예에 있어서, 이동 단말에서 사용자의 제스쳐를 결정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 7은, 본 발명의 일실시예에 있어서, 깊이 카메라에서 적어도 하나의 주변 사용자들의 제스쳐를 결정하는 방법을 설명하기 위해 제공되는 흐름도이다.
도 8은 본 발명의 일실시예에 있어서, 사용자 결정 장치가 수행하는 사용자 결정 방법을 설명하기 위해 제공되는 흐름도이다.1 is a block diagram illustrating a user recognition system in accordance with an embodiment of the present invention.
2 is a block diagram showing a detailed configuration of a mobile terminal according to an embodiment of the present invention.
3 is a block diagram showing a detailed configuration of a depth camera according to an embodiment of the present invention.
FIG. 4 is a block diagram showing a detailed configuration of a user determination device in an embodiment of the present invention.
FIG. 5 is a diagram for explaining an operation of determining a user's gesture using a skeletal analysis algorithm and a pattern analysis algorithm, according to an embodiment of the present invention.
6 is a flowchart illustrating a method of determining a user's gesture in a mobile terminal according to an exemplary embodiment of the present invention.
Figure 7 is a flow chart provided to illustrate a method for determining a gesture of at least one peripheral user in a depth camera in an embodiment of the present invention.
FIG. 8 is a flowchart illustrating a method of determining a user performed by a user determining apparatus according to an exemplary embodiment of the present invention. Referring to FIG.

이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 사용자 인식 시스템을 도시한 블록도이다.1 is a block diagram illustrating a user recognition system in accordance with an embodiment of the present invention.

도 1에 따르면, 사용자 인식 시스템(100)은 이동 단말(110), 깊이 카메라(120), 및 사용자 결정 장치(130)를 포함할 수 있다. 1, the user recognition system 100 may include a mobile terminal 110, a depth camera 120, and a user determination device 130. [

도 1에서는, 예로서 인식하고자 하는 하나의 이동 단말(110), 하나의 깊이 카메라(120), 및 하나의 사용자 결정 장치(130)를 도시하고 있으나, 사용자 결정 장치(130) 주변에는 복수의 이동 단말들이 존재할 수 있으며, 이동 단말(110) 주변에는 복수의 사용자 결정 장치들이 의치할 수 있다. 그리고, 깊이 카메라(120)는 복수의 사용자 결정 장치들 각각에 부착되거나, 내장되어 있을 수 있다.1 illustrates a single mobile terminal 110, a single depth camera 120 and a single user determination device 130 to be recognized as an example. However, in the vicinity of the user determination device 130, And a plurality of user decision devices can be dubbed around the mobile terminal 110. [ The depth camera 120 may be attached to or embedded in each of a plurality of user determination devices.

이동 단말(110)은, 이동 단말에 구비된 움직임 감지 센서를 이용하여 이동 단말을 소지한 사용자의 움직임을 감지할 수 있다. 그리고, 이동 단말(110)은 기정의된 패턴 인식 알고리즘을 이용하여 사용자의 움직임을 패턴 분석함에 따라, 사용자의 움직임에 해당하는 제스쳐를 결정할 수 있다. 예를 들어, 이동 단말(110)은 사용자의 움직임이 걸음, 팔흔듬, 점프, 고개 돌림, 인사, 손목 회전 등의 제스쳐 중 어느 제스쳐에 해당하는지를 결정할 수 있다. The mobile terminal 110 can detect the movement of the user who has the mobile terminal by using the motion detection sensor provided in the mobile terminal. Then, the mobile terminal 110 can determine a gesture corresponding to the movement of the user by pattern analyzing the movement of the user using the predetermined pattern recognition algorithm. For example, the mobile terminal 110 may determine which gesture the user's movement corresponds to, such as a gait, a gesture, an arm gesture, a jump, a head turn, a greeting, or a wrist rotation.

그리고, 이동 단말(110)은 결정된 사용자의 제스쳐를 유선 또는 무선 네트워크를 통해 사용자 결정 장치(130)로 전송할 수 있다. 예를 들어, 이동 단말(110)은 스마트폰, 스마트 워치(smart watch), 안경식 스마트폰, 웹북 등의 웨어러블 디바이스(wearable device)를 포함될 수 있다. The mobile terminal 110 may transmit the determined gesture to the user decision unit 130 through a wired or wireless network. For example, the mobile terminal 110 may include a wearable device such as a smart phone, a smart watch, a smartphone, a web browser, and the like.

깊이 카메라(120)는 사용자 결정 장치(130)를 지나가거나, 사용자 결정 장치(130) 주변에 위치하는 사용자를 인식하기 위해, 사용자 결정 장치(130)에 탈부착되거나, 내장될 수 있다. The depth camera 120 may be detached or embedded in the user determination device 130 to pass through the user determination device 130 or to recognize a user located around the user determination device 130.

이때, 깊이 카메라(120)는 3D(dimension) 깊이 카메라로서, 기설정된 인식 범위 내에 위치하는 적어도 하나의 주변 사용자의 움직임을 감지할 수 있다. 그리고, 깊이 카메라(120)는 뼈대 분석 알고리즘(skeleton joint algorithm)에 기초하여 상기 감지된 주변 사용자의 움직임을 분석함에 따라 적어도 하나의 주변 사용자 각각에 해당하는 제스쳐를 결정할 수 있다. 그러면, 깊이 카메라(120)는 탈부착된 자신의 사용자 결정 장치(130)로 결정된 적어도 하나의 주변 사용자의 제스쳐를 유선 또는 무선 네트워크를 통해 전송할 수 있다.At this time, the depth camera 120 is a 3D depth camera, and can detect movement of at least one surrounding user located within a predetermined recognition range. The depth camera 120 may then determine a gesture corresponding to each of the at least one neighboring user as the detected motion of the surrounding user is analyzed based on a skeleton joint algorithm. The depth camera 120 may then transmit the gesture of at least one peripheral user determined by the detachable user determination device 130 over a wired or wireless network.

사용자 결정 장치(130)는 깊이 카메라(120)로부터 수신된 적어도 하나의 주변 사용자들의 제스쳐와 이동 단말(110)로부터 수신된 사용자의 제스쳐를 비교하여 적어도 하나의 주변 사용자들 중에서 타겟 사용자를 결정할 수 있다. 다시 말해, 사용자 결정 장치(130)는 사용자 결정 장치(130) 주변에 위치하는 주변 사용자들 중에서 어느 하나를 상기 사용자의 제스쳐를 전송한 이동 단말을 소지한 사용자로 수신할 수 있다.The user determination device 130 may determine a target user among at least one neighboring user by comparing the gesture of the at least one neighboring user received from the depth camera 120 with the gesture of the user received from the mobile terminal 110 . In other words, the user decision unit 130 may receive any one of peripheral users located in the vicinity of the user decision unit 130 as a user having a mobile terminal that has transmitted the gesture of the user.

예를 들어, 사용자 결정 장치(130)로는 스크린(Screen), TV, PC, 노트북 등과 같이 이동 단말(110) 주변에서 쉽게 접할 수 있는 전자 장치를 포함할 수 있다.For example, the user decision unit 130 may include an electronic device such as a screen, a TV, a PC, a notebook computer, etc., which can be easily contacted around the mobile terminal 110.

도 2는 본 발명의 일실시예에 있어서, 이동 단말의 세부 구성을 도시한 블록도이다.2 is a block diagram showing a detailed configuration of a mobile terminal according to an embodiment of the present invention.

도 2에 따르면, 이동 단말(200)은, 움직임 감지부(201), 제스쳐 결정부(202), 및 정보 전송부(203)를 포함할 수 있다. 도 2에서, 이동 단말(200)은 도 1의 이동 단말(110)에 해당하므로, 중복되는 설명은 생략하기로 한다. 이동 단말(110)의 예로는 스마트폰, 스마트 워치(smart watch), 안경식 스마트폰, 웹북 등의 웨어러블 디바이스(wearable device)가 포함될 수 있다.2, the mobile terminal 200 may include a motion detection unit 201, a gesture determination unit 202, and an information transmission unit 203. In FIG. 2, since the mobile terminal 200 corresponds to the mobile terminal 110 of FIG. 1, redundant description will be omitted. Examples of the mobile terminal 110 may include a wearable device such as a smart phone, a smart watch, a smartphone, a web browser, and the like.

움직임 감지부(201)는 이동 단말에 구비된 움직임 감지 센서를 이용하여 이동 단말을 소지한 사용자의 움직임을 감지할 수 있다. The motion detection unit 201 can detect a motion of a user holding the mobile terminal by using a motion detection sensor provided in the mobile terminal.

예를 들어, 움직임 감지부(201)는 가속도 센서(3축 가속도 센서) 등을 이용하여 시간에 따라 순차적으로 사용자의 움직임을 감지할 수 있다. 그러면, 센서를 통해 감지된 사용자의 움직임은, 3차원 좌표값을 포함할 수 있다. For example, the motion sensing unit 201 can sequentially detect movement of the user by using an acceleration sensor (three-axis acceleration sensor) or the like. Then, the movement of the user detected through the sensor may include a three-dimensional coordinate value.

제스쳐 결정부(202)는 기정의된 패턴 인식 알고리즘을 이용하여 사용자의 움직임을 패턴 분석할 수 있다. 그리고, 제스쳐 결정부(202)는 패턴 분석을 통해 사용자의 움직임에 해당하는 제스쳐를 결정할 수 있다. 예를 들어, 제스쳐 결정부(202)는 시간 구간 T0에서 Tn에 감지된 사용자의 움직임을 패턴 분석함에 따라 해당 움직임이 걸음, 팔흔듬, 점프, 고개 돌림, 인사, 손목 회전 등의 제스쳐 중 어느 제스쳐에 해당하는지를 결정할 수 있다. 여기서, 사용자의 움직임을 나타내는 패턴에 해당하는 사용자의 제스쳐(gesture)는 패턴 별로 이동 단말(200)의 저장 장치(미도시)에 미리 저장되어 있을 수 있다.The gesture determining unit 202 can analyze the movement of the user using a predetermined pattern recognition algorithm. Then, the gesture determining unit 202 can determine a gesture corresponding to the movement of the user through pattern analysis. For example, a gesture such as a gesture determination unit (202) that moves the step, the arm heundeum, jumping, head turning, HR, wrist rotation, as analysis pattern for the user's motion is detected in T n in the time interval T 0 of the It can be determined which gesture corresponds. Here, the gesture of the user corresponding to the pattern indicating the movement of the user may be stored in advance in a storage device (not shown) of the mobile terminal 200 by pattern.

이때, 제스쳐 결정부(202)는 이동 단말의 착용 위치를 고려하여 움직임 패턴을 분석할 수도 있다. 예를 들어, 이동 단말이 스마트 워치인 경우, 제스쳐 결정부(202)는 양쪽 손목의 움직임 패턴을 분석하여 해당하는 제스쳐를 결정할 수 있다. 이동 단말이 안경식 스마트폰인 경우, 제스쳐 결정부(202)는 머리의 움직임 패턴을 분석하여 해당하는 제스쳐를 결정할 수 있다. At this time, the gesture determining unit 202 may analyze the movement pattern considering the wearing position of the mobile terminal. For example, when the mobile terminal is a smart watch, the gesture determiner 202 may analyze a movement pattern of both wrists to determine a corresponding gesture. If the mobile terminal is a spectacular smartphone, the gesture determiner 202 can determine a corresponding gesture by analyzing the movement pattern of the head.

정보 전송부(203)는 결정된 사용자의 제스쳐를 유선 또는 무선 네트워크를 통해 사용자 결정 장치(210)로 전송할 수 있다. The information transmitting unit 203 may transmit the determined user's gesture to the user determining apparatus 210 through a wired or wireless network.

일례로, 정보 전송부(203)는 이동 단말(200) 주변에 위치하는 복수의 사용자 결정 장치들 중 이동 단말(200)과 거리가 가장 가까운 사용자 결정 장치에 상기 결정된 사용자의 제스쳐를 전송할 수 있다. For example, the information transmitting unit 203 may transmit the determined user's gesture to a user determining apparatus that is closest to the mobile terminal 200 among a plurality of user determining apparatuses located in the vicinity of the mobile terminal 200.

다른 예로, 정보 전송부(203)는 이동 단말(200) 주변에 위치하는 복수의 사용자 결정 장치들 중 기설정된 기준 거리 내에 위치하는 적어도 하나의 사용자 결정 장치에 사용자의 제스쳐를 전송할 수 있다.As another example, the information transmitting unit 203 may transmit the gesture of the user to at least one user determining apparatus located within a predetermined reference distance among the plurality of user determining apparatuses located around the mobile terminal 200.

또 다른 예로, 정보 전송부(203)는 이동 단말(200) 주변에 위치하는 모든 사용자 결정 장치들에 상기 결정된 사용자의 제스쳐를 전송할 수 잇다.As another example, the information transmission unit 203 may transmit the determined user's gesture to all user determination devices located in the vicinity of the mobile terminal 200.

도 3은 본 발명의 일실시예에 있어서, 깊이 카메라의 세부 구성을 도시한 블록도이다.3 is a block diagram showing a detailed configuration of a depth camera according to an embodiment of the present invention.

도 3에 따르면, 깊이 카메라(300)는, 움직임 감지부(201), 제스쳐 결정부(202), 및 정보 전송부(203)를 포함할 수 있다. 도 3에서, 깊이 카메라(300)는 도 1의 깊이 카메라(120)에 해당하므로, 중복되는 설명은 생략하기로 한다. 예를 들어, 깊이 카메라(300)는 3D 깊이 카메라로서, 사용자 결정 장치(310)를 지나가거나, 사용자 결정 장치(310) 주변에 위치하는 사용자를 인식하기 위해, 사용자 결정 장치(310)에 탈부착되거나, 내장될 수 있다. 3, the depth camera 300 may include a motion detection unit 201, a gesture determination unit 202, and an information transmission unit 203. In FIG. 3, the depth camera 300 corresponds to the depth camera 120 of FIG. 1, and a duplicate description will be omitted. For example, the depth camera 300 may be a 3D depth camera, which may be attached to or detached from the user determination device 310 to pass through the user determination device 310, or to recognize a user located around the user determination device 310 , And can be embedded.

움직임 감지부(301)는 기설정된 인식 범위 내에 위치하는 적어도 하나의 주변 사용자의 움직임을 감지할 수 있다. 이때, 움직임 감지부(301)는 시간 별로 적어도 하나의 주변 사용자의 움직임을 감지하여 주변 사용자 별로 3D 영상을 생성할 수 있다. 예를 들어, 시간 T0, T1, ...,Tn에 따라 변화하는 주변 사용자의 움직임을 감지할 수 있다. The motion detection unit 301 may detect motion of at least one neighboring user located within a predetermined recognition range. At this time, the motion sensing unit 301 may detect the motion of at least one neighboring user for each time and generate a 3D image for each user. For example, it is possible to detect movement of a surrounding user that changes according to time T0, T1, ..., Tn.

그러면, 제스쳐 결정부(302)는 뼈대 분석 알고리즘(skeleton joint algorithm)에 기초하여 상기 감지된 주변 사용자의 움직임을 분석함에 따라 적어도 하나의 주변 사용자 각각에 해당하는 제스쳐를 결정할 수 있다.Then, the gesture determiner 302 may determine a gesture corresponding to each of at least one neighboring user by analyzing the motion of the detected neighboring user based on a skeleton joint algorithm.

일례로, 제스쳐 결정부(302)는 뼈대 분석 알고리즘을 이용하여 각 주변 사용자에 해당하는 3D 영상에서 주변 사용자의 골격 정보를 추출할 수 있다. 여기서, 추출된 골격 정보는 3차원 좌표값을 포함할 수 있다. 예를 들어, 제스쳐 결정부(302)는 뼈대 분석 알고리즘을 이용하여 3D 영상에서 주요 골격을 나타내는 3차원 좌표값으로 구성된 골격 정보를 추출할 수 있다. 여기서, 주요 골격은, 머리, 몸통, 목, 어깨, 양팔, 팔꿈치, 손목, 골반, 무릎, 발목 등으로 기저장될 수 있다.For example, the gesture determining unit 302 may extract skeleton information of a neighboring user from a 3D image corresponding to each user using a skeleton analysis algorithm. Here, the extracted skeleton information may include a three-dimensional coordinate value. For example, the gesture determining unit 302 may extract skeleton information composed of three-dimensional coordinate values representing a main skeleton in a 3D image using a skeletal analysis algorithm. Here, the main skeleton may be stored in the head, torso, neck, shoulder, arms, elbow, wrist, pelvis, knee, ankle,

이때, 웨어러블 디바이스의 경우, 이동 단말(320)을 손에 쥐고 있거나, 목에 걸고 있거나, 팔목에 차거나, 안경으로 쓰고 있는 경우가 대부분이다. 이에 따라, 제스쳐 결정부(302)는 각 주변 사용자의 3D 영상에서 모든 주요 골격을 추출하지 않고, 상반신에 해당하는 머리, 몸통, 목, 어깨, 양팔, 손목, 팔꿈치로 이루어진 골격 정보를 추출할 수도 있다.At this time, in the case of the wearable device, most cases are those holding the mobile terminal 320 in the hand, hanging on the neck, kicking the wrist, or wearing glasses. Accordingly, the gesture determining unit 302 may extract the skeleton information composed of the head, the trunk, the neck, the shoulder, the arms, the wrists, and the elbows corresponding to the upper body without extracting all the main skeletons from the 3D images of the surrounding users have.

이어, 제스쳐 결정부(302)는 추출된 시간에 따른 골격 정보에 기초하여 시간에 따라 변화하는 주변 사용자의 움직임을 나타내는 제스쳐를 결정할 수 있다. Then, the gesture determining unit 302 can determine a gesture indicating movement of the surrounding user that changes with time based on skeleton information according to the extracted time.

예를 들어, 제스쳐 결정부(302)는 3차원 좌표값으로 이루어진 골격 정보를 기정의된 패턴 인식 알고리즘에 기초하여 패턴 분석함에 따라, 주변 사용자의 제스쳐를 결정할 수 있다. 여기서, 3차원 좌표값 및 패턴 인식 알고리즘에 기초하여 제스쳐를 결정하는 동작은 이동 단말에서 3차원 좌표값으로 구성된 사용자의 움직임을 패턴 인식 알고리즘에 기초하여 제스쳐를 결정하는 동작과 동일하므로, 중복되는 설명은 생략하기로 한다.For example, the gesture determiner 302 may determine a gesture of a neighboring user by analyzing skeleton information composed of three-dimensional coordinate values based on a predetermined pattern recognition algorithm. Here, the operation of determining the gesture based on the three-dimensional coordinate value and the pattern recognition algorithm is the same as the operation of determining the gesture based on the pattern recognition algorithm based on the motion of the user composed of the three-dimensional coordinate values in the mobile terminal, Is omitted.

이처럼, 제스쳐 결정부(302)는 3D 영상을 구성하는 모든 3차원 좌표값을 이용하는 대신 주요 골격, 또는 주요 골격 중 상반신 골격을 나타내는 3차원 좌표값만을 이용하여 사용자의 제스쳐를 결정함에 따라, 시스템 부하를 감소시킬 수 있을 뿐만 아니라, 사용자 결정 장치(310)에서 보다 빠르게 사용자를 인식할 수 있도록 한다. As such, the gesture determining unit 302 determines the gesture of the user using only the three-dimensional coordinate values representing the main skeleton or the upper half skeleton of the main skeleton instead of using all the three-dimensional coordinate values constituting the 3D image, Not only can the user determination device 310 recognize the user more quickly.

정보 전송부(303)는 결정된 적어도 하나의 주변 사용자의 제스쳐를 사용자 결정 장치(310)로 전송할 수 있다. The information transmitting unit 303 may transmit the determined gesture of the at least one neighboring user to the user determining apparatus 310. [

예를 들어, 깊이 카메라(300)가 사용자 결정 장치(310)에 탈부착된 경우, 정보 전송부(303)는 주변 사용자의 제스쳐를 유선 또는 무선 네트워크를 통해 사용자 결정 장치(310)로 전송할 수 있다. 깊이 카메라(300)가 사용자 결정 장치(310)에 내장된 경우, 정보 전송부(303)는 내부 회선을 통해 연결된 사용자 결정 장치(310)로 주변 사용자의 제스쳐를 전송할 수 있다.For example, when the depth camera 300 is detachably attached to the user determining apparatus 310, the information transmitting unit 303 may transmit the gesture of the surrounding user to the user determining apparatus 310 via a wired or wireless network. When the depth camera 300 is embedded in the user determination device 310, the information transmission unit 303 can transmit the gesture of the surrounding user to the user determination device 310 connected via the internal line.

도 4는 본 발명의 일실시예에 있어서, 사용자 결정 장치의 세부 구성을 도시한 블록도이다.FIG. 4 is a block diagram showing a detailed configuration of a user determination device in an embodiment of the present invention.

도 4에 따르면, 사용자 결정 장치(400)는 정보 수신부(401), 및 사용자 결정부(402)를 포함할 수 있다. 도 4의 사용자 결정 장치(400)는 도 1의 사용자 결정 장치(130)에 해당하므로, 중복되는 설명은 생략하기로 한다. 4, the user determining apparatus 400 may include an information receiving unit 401 and a user determining unit 402. [ Since the user determination device 400 of FIG. 4 corresponds to the user determination device 130 of FIG. 1, a duplicate description will be omitted.

정보 수신부(401)는 사용자 결정 장치(400) 주변에 위치하거나, 또는 사용자 결정 장치(400) 주변을 지나가는 적어도 하나의 이동 단말들로부터 사용자의 제스쳐를 수신할 수 있다. The information receiving unit 401 can receive the user's gesture from at least one mobile terminal located around the user determining apparatus 400 or passing around the user determining apparatus 400. [

예를 들어, 정보 수신부(401)는 기설정된 센싱 거리 내에 위치하는 적어도 하나의 이동 단말들로부터 유선 또는 무선 네트워크를 통해 사용자의 제스쳐를 수신할 수 있다.For example, the information receiving unit 401 may receive the user's gesture from the at least one mobile terminal located within a predetermined sensing distance through a wired or wireless network.

그리고, 정보 수신부(401)는 사용자 결정 장치(400)에 탈부착되거나, 또는 내장된 깊이 카메라(420)로부터 주변 사용자들의 제스쳐를 수신할 수 있다. The information receiving unit 401 may be detachably attached to the user determining apparatus 400 or may receive the gestures of the surrounding users from the built-in depth camera 420. [

사용자 결정부(402)는 적어도 하나의 주변 사용자들의 제스쳐와 이동 단말(410)로부터 수신된 사용자의 제스쳐에 기초하여 최종적으로 타겟 사용자를 결정할 수 있다. 다시 말해, 사용자 결정부(402)는 적어도 하의 주변 사용자들 중에서 이동 단말(410)을 소지한 사용자를 결정할 수 있다.The user determination unit 402 may finally determine the target user based on the gesture of at least one of the surrounding users and the gesture of the user received from the mobile terminal 410. [ In other words, the user determination unit 402 can determine a user having the mobile terminal 410 among at least the peripheral users.

일례로, 사용자 결정부(402)는 적어도 하나의 주변 사용자들의 제스쳐 중에서 사용자의 제스쳐와 매칭하는 제스쳐가 존재하는지 여부를 결정할 수 있다. 이때, 존재하는 경우, 사용자 결정부(402)는 매칭하는 제스쳐를 전송한 이동 단말의 사용자를 타겟 사용자로 결정할 수 있다. 다시 말해, 사용자 결정부(402)는 타겟 사용자가 사용자 결정 장치(400) 주변에 위치하거나, 사용자 결정 장치(400) 주변을 지나가고 있음을 자동으로 인식할 수 있다. 이처럼, 사용자 결정부(402)는 사용자가 이동 단말을 인식시키기 위한 특정 기능을 설정하지 않더라도 자동으로 사용자를 인식할 수 있다. 그리고, 사용자 결정부(402)는 매칭하지 않는 나머지 주변 사용자들의 제스쳐는 폐기할 수 있다.In one example, the user determination unit 402 may determine whether there is a gesture matching the user's gesture among the gestures of the at least one peripheral users. If so, the user determination unit 402 may determine the user of the mobile terminal that transmitted the matching gesture to be the target user. In other words, the user determining unit 402 can automatically recognize that the target user is located around the user determining apparatus 400 or passing around the user determining apparatus 400. As described above, the user determination unit 402 can automatically recognize the user even if the user does not set a specific function for recognizing the mobile terminal. Then, the user decision unit 402 may discard the gesture of remaining non-matching neighboring users.

사용자 결정부(402)는 결정된 사용자의 이동 단말(420)에 회의 내용, 광고, 공지 사항, 이벤트 정보 등과 같이 기설정된 타겟 정보들을 제공할 수 있다. 그러면, 이동 단말(420)은 타겟 정보를 디스플레이(미도시)에 표시할 수 있다.The user determination unit 402 may provide predetermined target information such as conference contents, advertisements, announcements, event information, and the like to the determined mobile terminal 420. Then, the mobile terminal 420 may display the target information on a display (not shown).

한편, 매칭하는 사용자가 존재하지 않는 경우, 사용자 결정 장치(400)는 주변 사용자들의 제스쳐를 폐기할 수 있다. On the other hand, if there is no matching user, the user determining apparatus 400 may discard the gesture of the surrounding users.

이상에서 설명한 바와 같이, 사용자 결정 장치(400)는 깊이 카메라와 이동 단말의 가속도 센서를 이용함에 따라, 설정 기능을 활성화하는 별도의 동작이나, 인식 가능 장치에 닿을 정도로 이동 단말이 가까이 가지 않더라도 이동 단말을 소지한 사용자를 자동으로 인식할 수 있다. 다시 말해, 사용자 결정 장치(400)는 인식 가능 거리를 넓힐 수 있다.As described above, the user determining apparatus 400 may be a separate operation for activating the setting function by using the depth camera and the acceleration sensor of the mobile terminal, or may be a separate operation for activating the setting function, The user can be automatically recognized. In other words, the user determining apparatus 400 can broaden the recognizable distance.

또한, 사용자 및 주변 사용자의 제스쳐를 결정하는 연산을 이동 단말(410) 및 깊이 카메라(420) 각각에서 수행됨에 따라, 사용자 결정 장치(400)에서 최종적으로 사용자 인식을 위한 연산 부담이 감소될 수 있다.In addition, as the operation for determining the gesture of the user and the surrounding user is performed in each of the mobile terminal 410 and the depth camera 420, the calculation burden for finally recognizing the user in the user determining apparatus 400 may be reduced .

또한, 사용자의 제스쳐 결정, 주변 사용자의 제스쳐 결정, 최종적으로 타겟 사용자 인식이 이동 단말(410), 깊이 카메라(420), 사용자 결정 장치(400) 각각에서 분담되어 처리됨에 따라, 어느 하나의 장치에 부하가 집중되지 않고, 분산되어 보다 신속하게 사용자를 인식할 수 있다.In addition, as the gesture determination of the user, the determination of the gesture of the surrounding user, and finally the recognition of the target user are performed in the mobile terminal 410, the depth camera 420, and the user determination apparatus 400, The load is not concentrated, the user can be dispersed and recognized more quickly.

도 5는 본 발명의 일실시예에 있어서, 뼈대 분석 알고리즘 및 패턴 분석 알고리즘을 이용하여 사용자의 제스쳐를 결정하는 동작을 설명하기 위해 제공되는 도면이다.FIG. 5 is a diagram for explaining an operation of determining a user's gesture using a skeletal analysis algorithm and a pattern analysis algorithm, according to an embodiment of the present invention.

도 5에서, 사용자의 제스쳐를 결정하는 동작은 앞의 도 3에서 설명한 깊이 카메라(300)에 의해 수행될 수 있다.도 5를 참고하면, 깊이 카메라(500)는 사용자 결정 장치 주변에 위치하는 적어도 하나의 주변 사용자들의 움직임을 감지하여 3D 영상(501)을 생성할 수 있다. 그리고, 깊이 카메라(500)는 뼈대 분석 알고리즘에 기초하여 3D 영상(501)으로부터 사용자의 골격 정보(502)를 추출할 수 있다. 5, the operation of determining the user's gesture can be performed by the depth camera 300 described above with reference to FIG. 3. Referring to FIG. 5, the depth camera 500 includes at least The 3D image 501 can be generated by sensing motion of one peripheral user. Then, the depth camera 500 can extract the skeleton information 502 of the user from the 3D image 501 based on the skeleton analysis algorithm.

일례로, 깊이 카메라(500)는 머리, 몸통, 목, 어깨, 팔, 손목, 팔꿈치, 발목, 무릎, 골반 등의 주요 골격을 골격 정보로 추출할 수도 있고, 주요 골격 중 일부인 상반신에 해당하는 골격들, 또는 주요 골격 중 적어도 하나를 골격 정보로 추출할 수도 있다. 여기서, 추출된 골격 정보는, 시간에 따른 순차적인 3차원 좌표 집합을 포함할 수 있다.For example, the depth camera 500 may extract the main skeleton of the head, the trunk, the neck, the shoulder, the arm, the wrist, the elbow, the ankle, the knee and the pelvis as skeleton information, Or at least one of the main skeleton may be extracted as skeleton information. Here, the extracted skeleton information may include a sequential three-dimensional coordinate set according to time.

예를 들어, 깊이 카메라(500)는 3D 영상으로부터 사용자의 손목(503)을 나타내는 3차원 좌표값을 골격 정보로서 추출할 수 있다. 이때, 시간에 따라 변화하는 손목을 나타내는 3차원 좌표값이 추출됨에 따라, 골격 정보는 시간에 따른 3차원 좌표 집합(T0(X0,Y0,Z0), ...,Tn(Xn,Yn,Zn))을 포함할 수 있다. 그리고, 깊이 카메라(500)는 패턴 분석 알고리즘에 기초하여 기설정된 시간 구간에서 3차원 좌표값의 변화를 분석함에 따라 사용자의 손목이 나타내는 제스쳐를 결정할 수 있다. 예를 들어, 깊이 카메라(500)는 시간 구간 T0 내지 T5에서 3차원 좌표값의 변화를 분석하여 손목을 꺽고 있는지, 손을 흔들고 있는지, 손목을 회전하고 있는지 등의 제스쳐를 결정할 수 있다.For example, the depth camera 500 may extract a three-dimensional coordinate value representing the user's wrist 503 from the 3D image as skeleton information. At this time, as the three-dimensional coordinate values representing the wrist varying with time are extracted, the skeleton information is divided into three-dimensional coordinate sets (T 0 (X 0 , Y 0 , Z 0 ), ..., T n X n , Y n , Z n )). Then, the depth camera 500 can determine the gesture represented by the user's wrist by analyzing the change of the three-dimensional coordinate value in a predetermined time interval based on the pattern analysis algorithm. For example, the depth camera 500 may analyze the change of the three-dimensional coordinate value in the time period T 0 to T 5 to determine a gesture such as whether the wrist is being bent, waving the hand, or rotating the wrist.

이외에, 깊이 카메라(500)는 머리, 목 등의 주요 골격 각각의 패턴을 분석하여 제스쳐를 결정할 수도 있고, 주요 골격 중 둘 이상의 골격 정보를 기초로 패턴을 분석하여 제스쳐를 결정할 수도 있다. 예를 들어, 깊이 카메라(500)는 머리와 목의 3차원 좌표값 변화를 분석하여 머리를 좌우로 흔들고 있는지, 목을 돌리고 있는지 등의 제스쳐를 결정할 수 있다.In addition, the depth camera 500 may determine a gesture by analyzing a pattern of each main skeleton such as a head or a neck, or may analyze a pattern based on two or more skeleton information of main skeletons to determine a gesture. For example, the depth camera 500 can analyze the change in the three-dimensional coordinate values of the head and neck to determine gestures such as shaking the head to the left or right or turning the neck.

도 6은 본 발명의 일실시예에 있어서, 이동 단말에서 사용자의 제스쳐를 결정하는 방법을 설명하기 위해 제공되는 흐름도이다.6 is a flowchart illustrating a method of determining a user's gesture in a mobile terminal according to an exemplary embodiment of the present invention.

도 6에서, 사용자의 제스쳐를 결정하는 방법은 도 2의 이동 단말에 의해 수행될 수 있다.In Fig. 6, a method of determining the gesture of the user can be performed by the mobile terminal of Fig.

601 단계에서, 이동 단말(200)은 이동 단말에 구비된 가속도 센서를 이용하여 이동 단말을 소지한 사용자의 움직임을 감지할 수 있다. 이때, 감지된 사용자의 움직임은 3차원 좌표값을 포함할 수 있다.In step 601, the mobile terminal 200 may detect the motion of the user holding the mobile terminal using the acceleration sensor provided in the mobile terminal. At this time, the motion of the sensed user may include a three-dimensional coordinate value.

602 단계에서, 이동 단말(200)은 감지된 사용자의 움직임 및 패턴 분석 알고리즘에 기초하여 사용자의 제스쳐를 결정할 수 있다. 다시 말해, 이동 단말(200)은 3차원 좌표값의 시간에 따른 패턴을 분석함으로써 사용자의 제스쳐를 결정할 수 있다.In step 602, the mobile terminal 200 may determine the user's gesture based on the sensed motion of the user and the pattern analysis algorithm. In other words, the mobile terminal 200 can determine the gesture of the user by analyzing the pattern according to time of the three-dimensional coordinate value.

일례로, 이동 단말(200)은 패턴 분석 알고리즘에 기초하여 기설정된 시간 구간에서 시간에 따른 사용자의 움직임 변화를 나타내는 패턴을 분석할 수 있다. 그리고, 이동 단말(200)은 분석된 패턴에 해당하는 사용자의 제스쳐를 결정할 수 있다. 예를 들어, 이동 단말(200)은 사용자의 제스쳐가 걸음, 팔흔듬, 점프, 고개 돌림 등 중 어느 하나에 해당하는지 여부를 결정할 수 있다. For example, the mobile terminal 200 may analyze a pattern representing a user's motion change over time in a predetermined time interval based on a pattern analysis algorithm. Then, the mobile terminal 200 can determine the gesture of the user corresponding to the analyzed pattern. For example, the mobile terminal 200 can determine whether the gesture of the user corresponds to one of walking, arm pausing, jumping, turning the head.

이때, 이동 단말(200)은 이동 단말의 착용 위치를 고려하여 패패턴 분석을 수행하여 제스쳐를 결정할 수도 있다. 예를 들어, 이동 단말(200)은 얼굴 또는 손목 등의 착용 위치를 고려하여, 머리의 움직임 또는 손목의 움직임 패턴을 분석하여 제스쳐를 결정할 수도 있다.At this time, the mobile terminal 200 may determine the gesture by performing the L-pattern analysis in consideration of the wearing position of the mobile terminal. For example, the mobile terminal 200 may determine the gesture by analyzing the movement of the head or the movement pattern of the wrist in consideration of the wearing position of the face or the wrist.

여기서, 제스쳐를 결정하는 구체적인 동작은 위의 도 2에서 상세히 설명하였으므로, 중복되는 설명은 생략하기로 한다.603 단계에서, 이동 단말(200)은 결정된 사용자의 제스쳐를 주변에 위치하는 적어도 하나의 사용자 결정 장치로 전송할 수 있다.The specific operation for determining the gesture has been described in detail with reference to FIG. 2. Therefore, a duplicate description will be omitted. In step 603, the mobile terminal 200 transmits the determined user's gesture to at least one user To the decision device.

도 7은, 본 발명의 일실시예에 있어서, 깊이 카메라에서 적어도 하나의 주변 사용자들의 제스쳐를 결정하는 방법을 설명하기 위해 제공되는 흐름도이다.Figure 7 is a flow chart provided to illustrate a method for determining a gesture of at least one peripheral user in a depth camera in an embodiment of the present invention.

도 7에서, 사용자의 제스쳐를 결정하는 방법은 도 3의 깊이 카메라에 의해 수행될 수 있다.In Fig. 7, a method of determining a user's gesture may be performed by the depth camera of Fig.

701 단계에서, 깊이 카메라(300)는 사용자 결정 장치(400)에 탈부착되어 사용자 결정 장치(400) 주변에 위치하거나, 지나가는 적어도 하나의 주변 사용자의 움직임을 감지할 수 있다. 예를 들어, 깊이 카메라(300)는 기설정된 인식 범위 내에 위치하는 적어도 하나의 주변 사용자의 움직임을 감지할 수 있다. 이때, 깊이 카메라(300)는 시간 별로 적어도 하나의 주변 사용자의 움직임을 감지하여 주변 사용자 별로 3D 영상을 생성할 수 있다. In step 701, the depth camera 300 may be attached to and detached from the user determination apparatus 400 to detect movement of at least one surrounding user passing around or passing through the user determination apparatus 400. For example, the depth camera 300 may sense movement of at least one surrounding user located within a predetermined recognition range. At this time, the depth camera 300 can detect the movement of at least one peripheral user for each time and generate a 3D image for each peripheral user.

702 단계에서, 깊이 카메라(300)는, 뼈대 분석 알고리즘(skeleton joint algorithm)에 기초하여 상기 감지된 주변 사용자의 움직임을 분석함에 따라 적어도 하나의 주변 사용자 각각에 해당하는 제스쳐를 결정할 수 있다.In step 702, the depth camera 300 may determine a gesture corresponding to each of the at least one neighboring user by analyzing the detected motion of the surrounding user based on a skeleton joint algorithm.

예를 들어, 깊이 카메라(300)는 각 주변 사용자의 3D 영상으로부터 골격 정보를 추출할 수 있다. 그리고, 깊이 카메라(300)는 패턴 인식 알고리즘에 기초하여 시간에 따른 골격 정보의 변화를 분석함에 따라 주변 사용자의 제스쳐를 각각 결정할 수 있다. 여기서, 제스쳐를 결정하는 구체적인 동작은 위의 도 3 및 도 5에서 상세히 설명하였으므로, 중복되는 설명은 생략하기로 한다.For example, the depth camera 300 may extract skeleton information from 3D images of each neighboring user. Then, the depth camera 300 can determine the gesture of the surrounding users according to the analysis of the skeleton information change over time based on the pattern recognition algorithm. Here, the specific operation for determining the gesture has been described in detail with reference to FIG. 3 and FIG. 5, so that a duplicate description will be omitted.

703 단계에서, 깊이 카메라(300)는, 결정된 적어도 하나의 주변 사용자의 제스쳐를 사용자 결정 장치(400)로 전송할 수 있다.In step 703, the depth camera 300 may transmit the determined gesture of the at least one neighboring user to the user determination apparatus 400.

도 8은 본 발명의 일실시예에 있어서, 사용자 결정 장치가 수행하는 사용자 결정 방법을 설명하기 위해 제공되는 흐름도이다.FIG. 8 is a flowchart illustrating a method of determining a user performed by a user determining apparatus according to an exemplary embodiment of the present invention. Referring to FIG.

도 8에서, 사용자 결정 방법은 도 4의 사용자 결정 장치에 의해 수행될 수 있다.In Fig. 8, the user determination method can be performed by the user determination apparatus of Fig.

801 단계에서, 사용자 결정 장치(400)는 이동 단말(200)로부터 사용자의 제스쳐를 수신할 수 있다.In step 801, the user determination apparatus 400 may receive the user's gesture from the mobile terminal 200. [

802 단계에서, 사용자 결정 장치(400)는 깊이 카메라(300)로부터 적어도 하나의 주변 사용자의 제스쳐를 수신할 수 있다. 이때, 사용자 결정 장치(400)는 사용자의 제스쳐와 주변 사용자의 제스쳐를 동시에 수신할 수도 있고, 어느 하나를 먼저 수신할 수도 있다.In step 802, the user determination apparatus 400 may receive a gesture of at least one peripheral user from the depth camera 300. [ At this time, the user determining apparatus 400 may receive the gesture of the user and the gesture of the surrounding user at the same time, or may receive the gesture of the user at the same time.

803 단계에서, 사용자 결정 장치(400)는 사용자의 제스쳐와 적어도 하나의 주변 사용자의 제스쳐에 기초하여, 적어도 하나의 주변 사용자 중에서 타겟 사용자를 결정할 수 있다.In step 803, the user determination device 400 may determine a target user among at least one neighboring user based on the gesture of the user and the gesture of the at least one neighboring user.

예를 들어, 사용자 결정 장치(400)는 적어도 하나의 주변 사용자의 제스쳐와 사용자의 제스쳐를 비교하여 매칭하는 제스쳐를 결정할 수 있다. 그리고, 사용자 결정 장치(400)는 매칭하는 제스쳐를 전송한 이동 단말의 사용자를 타겟 사용자로 결정할 수 있다. 다시 말해, 사용자 결정 장치(400)는 타겟 사용자가 사용자 결정 장치(400) 주변에 위치하거나, 또는 지나가고 있음을 자동으로 인식할 수 있다. 여기서, 타겟 사용자는, 상기 사용자의 제스쳐를 전송한 이동 단말을 소지한 사용자를 나타낼 수 있다. 이때, 사용자 결정 장치(400)는 매칭하지 않는 주변 사용자들의 제스쳐는 폐기할 수 있다.For example, the user determination apparatus 400 may compare a gesture of at least one peripheral user with a gesture of a user to determine a matching gesture. The user determination apparatus 400 may determine the user of the mobile terminal that transmitted the matching gesture to be the target user. In other words, the user determining apparatus 400 can automatically recognize that the target user is located around or passing around the user determining apparatus 400. [ Here, the target user may indicate the user who has the mobile terminal that transmitted the gesture of the user. At this time, the user decision unit 400 may discard gestures of neighboring users that do not match.

그리고, 사용자 결정 장치(400)는 자동으로 인식된 사용자의 이동 단말(200)에 회의 내용, 공지 사항, 광고, 이벤트 정보 등의 기저장된 타겟 정보를 제공할 수 있다.Then, the user decision unit 400 may provide previously stored target information such as conference contents, announcements, advertisements, and event information to the mobile terminal 200 of the automatically recognized user.

일례로, 회의실 내에 사용자 인식 시스템이 구축된 경우, 사용자 결정 장치(400)는 이동 단말로부터 수신된 참석자의 제스쳐 및 깊이 카메라로부터 수신된 적어도 하나의 회의 참석자들의 제스쳐에 기초하여 타겟 참석자를 결정할 수 있다. 그리고, 사용자 결정 장치(400)는 결정된 타겟 참석자에게 타겟 정보를 제공할 수 있다. 예를 들어, 사용자 결정 장치(400)는 회의 참석자 중 어느 하나가 발표, 질의 등을 위해 이동 단말을 흔들었거나, 자료 요청을 위해 팔을 드는 등의 기약속된 제스쳐에 기초하여 해당하는 회의 자료, 질의에 대한 답변 등과 같은 타겟 정보를 제공할 수 있다. 이외에, 사용자 결정 장치(400)는 인식된 참석자에게 발언권을 제공할 수도 있다.For example, if a user recognition system is built in the conference room, the user determination device 400 may determine the target attendee based on the gesture of the attendee received from the mobile terminal and the gesture of at least one meeting attendee received from the depth camera . Then, the user determination apparatus 400 may provide target information to the determined target attendee. For example, the user decision unit 400 may determine whether a conference participant is a member of a conference based on the promised gesture, such as waving the mobile terminal for presentation, query, etc., , An answer to a query, and the like. In addition, the user decision device 400 may provide a floor to the recognized attendee.

이상의 도 6 내지 도 8에서 생략된 내용은 도 1 내지 도 5를 참조할 수 있다.The contents omitted in FIGS. 6 to 8 can be referred to FIG. 1 to FIG.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다.　 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (10)

사용자의 움직임에 기초하여 결정된 사용자의 제스쳐(gesture)를 이동 단말로부터 수신하는 정보 수신부; 및
깊이 카메라를 이용하여 결정된 주변 사용자들의 제스쳐와 상기 사용자의 제스쳐에 기초하여, 주변 사용자들 중에서 상기 이동 단말을 소지한 사용자를 결정하는 사용자 결정부
를 포함하고,
상기 이동 단말은,
사용자의 신체에 착용 가능한 웨어러블 디바이스(Wearable Device)이고,
상기 사용자의 제스쳐는,
상기 사용자의 신체에 착용된 이동 단말의 착용 위치에 기초하여, 상기 이동 단말에 구비된 센서를 통해 감지된 상기 이동 단말이 착용된 신체 부위의 움직임을 패턴 분석함에 따라 결정되고,
상기 사용자 결정부는,
상기 주변 사용자들의 제스쳐 중 상기 사용자의 제스쳐와 매칭하는 제스쳐를 결정하는 것
을 특징으로 하는 사용자 결정 장치.An information receiving unit for receiving a gesture of a user determined based on a movement of a user from a mobile terminal; And
Determining a user having the mobile terminal among peripheral users based on the gesture of the surrounding users determined using the depth camera and the gesture of the user,
Lt; / RTI >
The mobile terminal,
A wearable device that can be worn on the wearer's body,
The gesture of the user,
And determining a movement pattern of the body part based on the movement pattern of the body part worn by the mobile terminal sensed by the sensor provided in the mobile terminal, based on the wearing position of the mobile terminal worn on the body of the user,
The user determination unit may determine,
Determining a gesture matching the user's gesture among the gestures of the nearby users
And a user decision unit. 제1항에 있어서,
상기 사용자 결정부는,
상기 매칭하는 제스쳐를 전송한 이동 단말의 사용자를 상기 이동 단말을 소지한 사용자로 결정하는 것을 특징으로 하는 사용자 결정 장치.The method according to claim 1,
The user determination unit may determine,
And determines a user of the mobile terminal that transmitted the matching gesture as a user having the mobile terminal. 제1항에 있어서,
상기 이동 단말은,
가속도 센서를 이용하여 측정된 사용자의 움직임 패턴 분석에 기초하여 상기 사용자의 제스쳐를 결정하는 것을 특징으로 하는 사용자 결정 장치.The method according to claim 1,
The mobile terminal,
Wherein the gesture determination unit determines the gesture of the user based on the movement pattern analysis of the user measured using the acceleration sensor. 제1항에 있어서,
상기 깊이 카메라는,
상기 사용자 결정 장치 주변에 위치하는 주변 사용자들의 움직임을 감지하고, 뼈대 분석 알고리즘(skeleton joint algorithm)에 기초하여 상기 감지된 주변 사용자들의 움직임을 분석함에 따라 상기 주변 사용자들의 제스쳐를 결정하는 것을 특징으로 하는 사용자 결정 장치.The method according to claim 1,
The depth camera comprises:
Wherein the gesture detection unit determines the gesture of the peripheral users by detecting movement of peripheral users located around the user determination apparatus and analyzing the motion of the detected peripheral users based on a skeleton joint algorithm, User determination device. 삭제delete 사용자의 움직임에 기초하여 결정된 사용자의 제스쳐(gesture)를 이동 단말로부터 수신하는 단계;
주변 사용자들의 움직임에 기초하여 결정된 주변 사용자들의 제스쳐를 깊이 카메라로부터 수신하는 단계; 및
상기 주변 사용자들의 제스쳐와 상기 사용자의 제스쳐에 기초하여, 주변 사용자들 중에서 상기 이동 단말을 소지한 사용자를 결정하는 단계
를 포함하고,
상기 이동 단말은,
사용자의 신체에 착용 가능한 웨어러블 디바이스(Wearable Device)이고,
상기 사용자의 제스쳐는,
상기 사용자의 신체에 착용된 이동 단말의 착용 위치에 기초하여, 상기 이동 단말에 구비된 센서를 통해 감지된 상기 이동 단말이 착용된 신체 부위의 움직임을 패턴 분석함에 따라 결정되고,
상기 이동 단말을 소지한 사용자를 결정하는 단계는,
상기 주변 사용자들의 제스쳐 중 상기 사용자의 제스쳐와 매칭하는 제스쳐를 결정하는 것
을 특징으로 하는 사용자 결정 방법.Receiving from the mobile terminal a gesture of the user determined based on the movement of the user;
Receiving from the depth camera a gesture of peripheral users determined based on movement of nearby users; And
Determining a user having the mobile terminal among peripheral users based on the gesture of the peripheral users and the gesture of the user
Lt; / RTI >
The mobile terminal,
A wearable device that can be worn on the wearer's body,
The gesture of the user,
And determining a movement pattern of the body part based on the movement pattern of the body part worn by the mobile terminal sensed by the sensor provided in the mobile terminal, based on the wearing position of the mobile terminal worn on the body of the user,
Wherein the step of determining a user possessing the mobile terminal comprises:
Determining a gesture matching the user's gesture among the gestures of the nearby users
Lt; / RTI > 제6항에 있어서,
상기 이동 단말을 소지한 사용자를 결정하는 단계는,
상기 매칭하는 제스쳐를 전송한 이동 단말의 사용자를 상기 이동 단말을 소지한 사용자로 결정하는 것을 특징으로 하는 사용자 결정 방법.The method according to claim 6,
Wherein the step of determining a user possessing the mobile terminal comprises:
And determining a user of the mobile terminal that transmitted the matching gesture as a user having the mobile terminal. 제6항에 있어서,
상기 이동 단말은,
가속도 센서를 이용하여 측정된 사용자의 움직임 패턴 분석에 기초하여 상기 사용자의 제스쳐를 결정하는 것을 특징으로 하는 사용자 결정 방법.The method according to claim 6,
The mobile terminal,
Wherein the gesture of the user is determined based on the movement pattern analysis of the user measured using the acceleration sensor. 제6항에 있어서,
상기 깊이 카메라는,
사용자 결정 장치 주변에 위치하는 주변 사용자들의 움직임을 감지하고, 뼈대 분석 알고리즘(skeleton joint algorithm)에 기초하여 상기 감지된 주변 사용자들의 움직임을 분석함에 따라 상기 주변 사용자들의 제스쳐를 결정하는 것을 특징으로 하는 사용자 결정 방법.The method according to claim 6,
The depth camera comprises:
Wherein the gesture detection unit determines the gesture of the peripheral users by detecting movement of peripheral users located in the vicinity of the user determination apparatus and analyzing the motion of the detected peripheral users based on a skeleton joint algorithm. Determination method. 가속도 센서를 이용하여 감지된 사용자의 움직임에 기초하여 사용자의 제스쳐를 결정하는 이동 단말;
주변 사용자들의 움직임에 기초하여 주변 사용자들의 제스쳐를 결정하는 깊이 카메라; 및
상기 사용자의 제스쳐와 상기 주변 사용자들의 제스쳐를 비교하여 주변 사용자들 중에서 상기 이동 단말을 소지한 사용자를 결정하는 사용자 결정 장치
를 포함하고,
상기 이동 단말은,
사용자의 신체에 착용 가능한 웨어러블 디바이스(Wearable Device)이고,
상기 사용자의 신체에 착용된 이동 단말의 착용 위치에 기초하여, 상기 이동 단말에 구비된 상기 가속도 센서를 통해 감지된 상기 이동 단말이 착용된 신체 부위의 움직임을 패턴 분석함에 따라 사용자의 제스쳐를 결정하고,
상기 사용자 결정 장치는,
상기 주변 사용자들의 제스쳐 중 상기 사용자의 제스쳐와 매칭하는 제스쳐를 결정하는 것
을 특징으로 하는 사용자 인식 시스템.A mobile terminal for determining a gesture of a user based on a motion of a user sensed using an acceleration sensor;
A depth camera that determines a gesture of surrounding users based on movement of nearby users; And
A user decision unit for comparing a gesture of the user with a gesture of the peripheral users to determine a user possessing the mobile station among peripheral users,
Lt; / RTI >
The mobile terminal,
A wearable device that can be worn on the wearer's body,
The gesture of the user is determined by analyzing the pattern of the movement of the body part worn by the mobile terminal sensed by the acceleration sensor provided in the mobile terminal, based on the wearing position of the mobile terminal worn on the body of the user ,
The user determination apparatus includes:
Determining a gesture matching the user's gesture among the gestures of the nearby users
The user recognition system comprising:
KR1020140101209A 2014-08-06 2014-08-06 Apparatus and method for determining user using mobile terminal and depth camera Expired - Fee Related KR101580052B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140101209A KR101580052B1 (en) 2014-08-06 2014-08-06 Apparatus and method for determining user using mobile terminal and depth camera

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140101209A KR101580052B1 (en) 2014-08-06 2014-08-06 Apparatus and method for determining user using mobile terminal and depth camera

Publications (1)

Publication Number Publication Date
KR101580052B1 true KR101580052B1 (en) 2015-12-24

Family

ID=55084372

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140101209A Expired - Fee Related KR101580052B1 (en) 2014-08-06 2014-08-06 Apparatus and method for determining user using mobile terminal and depth camera

Country Status (1)

Country Link
KR (1) KR101580052B1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274101A (en) * 2003-03-05 2004-09-30 Shigeo Kaneda Mobile object identification system
KR20120074471A (en) * 2010-12-28 2012-07-06 네무스텍(주) Method of testing motion recognition algorithm for multi sensor mobile device
KR20130110441A (en) * 2012-03-29 2013-10-10 한국과학기술원 Body gesture recognition method and apparatus

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004274101A (en) * 2003-03-05 2004-09-30 Shigeo Kaneda Mobile object identification system
KR20120074471A (en) * 2010-12-28 2012-07-06 네무스텍(주) Method of testing motion recognition algorithm for multi sensor mobile device
KR20130110441A (en) * 2012-03-29 2013-10-10 한국과학기술원 Body gesture recognition method and apparatus

Similar Documents

Publication Publication Date Title
EP3340177B1 (en) Method and system for creating virtual message onto a moving object and searching the same
US9671873B2 (en) Device interaction with spatially aware gestures
JP2019169202A (en) User-directed personal information assistant
US9690998B2 (en) Facial spoofing detection in image based biometrics
US11601806B2 (en) Device, computer program and method
US10733798B2 (en) In situ creation of planar natural feature targets
US20160171773A1 (en) Display control method, information processing apparatus, and storage medium
US20150077329A1 (en) Eye tracking-based user interface method and apparatus
US11436866B2 (en) System and method for eye-tracking
JP2016502712A (en) Fast initialization for monocular visual SLAM
US11514600B2 (en) Information processing device and information processing method
JP2018061114A (en) Monitoring device and monitoring method
KR20210130953A (en) Method and system for creating virtual image based deep-learning
KR102363435B1 (en) Apparatus and method for providing feedback on golf swing motion
WO2019000817A1 (en) Control method and electronic equipment for hand gesture recognition
KR20170083415A (en) Image processing apparatus and control method thereof
KR102688664B1 (en) Method and system for virtual fitting based on video meeting program
KR20210062375A (en) Method and Apparatus for detecting abnormal behavior based on psychological state
US20150185851A1 (en) Device Interaction with Self-Referential Gestures
WO2020144835A1 (en) Information processing device and information processing method
Wolf et al. PickRing: seamless interaction through pick-up detection
KR20210070119A (en) Meditation guide system using smartphone front camera and ai posture analysis
KR102263695B1 (en) Apparatus and control method for mobile device using multiple cameras
KR101580052B1 (en) Apparatus and method for determining user using mobile terminal and depth camera
US11715332B2 (en) System and method for eye-tracking

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20181203

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20191218

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20191218

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000