[go: up one dir, main page]

KR20140011921A - Apparatus and method for controlling operation mode of device using gesture cognition - Google Patents

Apparatus and method for controlling operation mode of device using gesture cognition Download PDF

Info

Publication number
KR20140011921A
KR20140011921A KR1020130051855A KR20130051855A KR20140011921A KR 20140011921 A KR20140011921 A KR 20140011921A KR 1020130051855 A KR1020130051855 A KR 1020130051855A KR 20130051855 A KR20130051855 A KR 20130051855A KR 20140011921 A KR20140011921 A KR 20140011921A
Authority
KR
South Korea
Prior art keywords
light
amount
recognizing
shape
operation pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020130051855A
Other languages
Korean (ko)
Inventor
이준행
이규빈
델브럭 토비
버너 라파엘
류현석
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US13/944,189 priority Critical patent/US20140022158A1/en
Priority to EP13176990.3A priority patent/EP2687948A3/en
Publication of KR20140011921A publication Critical patent/KR20140011921A/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3231—Monitoring the presence, absence or movement of users
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

Disclosed are an apparatus and a method for controlling an operation mode of a device using gesture recognition. The device for controlling the operation mode may comprise a light amount change sensing unit for sensing light amount change related to the gesture of an objective; a gesture pattern recognition unit for recognizing the gesture pattern of the objective using the light amount change; and a gesture mode control unit for controlling the gesture mode of the device based on the gesture pattern. [Reference numerals] (100) Device; (110) Light quantity sensing unit; (120) Gesture pattern recognition unit; (130) Gesture mode control unit

Description

동작 인식을 사용하여 디바이스의 동작 모드를 제어하는 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING OPERATION MODE OF DEVICE USING GESTURE COGNITION}Apparatus and method for controlling the operation mode of a device using gesture recognition {APPARATUS AND METHOD FOR CONTROLLING OPERATION MODE OF DEVICE USING GESTURE COGNITION}

이하의 일실시예들은 동작 인식을 사용하여 디바이스의 동작 모드를 제어하는 장치 및 방법에 관한 것으로 오브젝트의 동작과 관련된 광량의 시간적 변화를 감지하여 사용자의 동작을 인식하고, 인식한 동작에 따라 디바이스의 동작 모드를 제어하는 장치 및 방법에 관한 것이다.One embodiment of the present invention relates to an apparatus and a method for controlling an operation mode of a device by using motion recognition. An apparatus and method for controlling an operation mode.

동작 인식 기술은 사용자의 동작을 인식하여 장치의 입력으로 사용하는 기술이다.Motion recognition technology is a technology that recognizes a user's motion to use as an input of the device.

사용자의 접촉을 인식하는 터치 기술에서 시작한 동작 인식 기술은 접촉 없이 원거리에서 사용자의 동작을 인식하는 단계까지 발전하였다.Motion recognition technology, which started with touch technology for recognizing user's touch, has advanced to the stage of recognizing user's motion from a distance without contact.

종래의 원거리에서 사용자의 동작을 인식하는 기술은 광원의 출력광이 사용자에게 반사된 반사광을 사용하여 사용자의 신체 각 부분과 장치 간의 거리를 측정함으로써, 사용자의 동작을 인식하였다.Conventional technology for recognizing a user's motion at a distance has recognized the user's motion by measuring the distance between each part of the user's body and the device by using the reflected light reflected by the output light of the light source.

즉, 종래의 동작 인식 기술은 사용자의 동작을 인식하기 위하여 광원을 사용하므로, 전력 소모를 최소화하는 절전 모드에서는 사용하기 어려운 점이 있었다.That is, the conventional motion recognition technology uses a light source to recognize a user's motion, which makes it difficult to use in a power saving mode that minimizes power consumption.

일실시예에 따른 디바이스는 오브젝트의 동작과 관련된 광량의 시간적 변화를 감지하는 광량 변화 감지부; 상기 광량의 시간적 변화를 사용하여 오브젝트의 동작 패턴을 인식하는 동작 패턴 인식부; 및 상기 동작 패턴에 기초하여 디바이스의 동작 모드를 제어하는 동작 모드 제어부를 포함할 수 있다.According to an embodiment, a device may include a light amount change detector configured to detect a temporal change in light amount associated with an operation of an object; An operation pattern recognition unit recognizing an operation pattern of an object by using the temporal change of the amount of light; And an operation mode controller configured to control an operation mode of the device based on the operation pattern.

일실시예에 따른 디바이스의 동작 패턴 인식부는 광량의 시간적 변화에 기초한 이벤트들의 발생 횟수를 이용하여 오브젝트의 동작 패턴을 인식할 수 있다.The operation pattern recognition unit of the device according to an embodiment may recognize the operation pattern of the object by using the number of occurrences of events based on a temporal change in the amount of light.

일실시예에 따른 디바이스의 동작 패턴 인식부는 광량의 시간적 변화에 기초한 이벤트들의 발생 간격을 이용하여 오브젝트의 동작 패턴을 인식할 수 있다.An operation pattern recognition unit of the device may recognize an operation pattern of an object by using an occurrence interval of events based on a temporal change in light quantity.

일실시예에 따른 디바이스의 동작 패턴 인식부는 이벤트들의 발생 횟수가 기준값을 초과한 횟수를 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스.An operation pattern recognition unit of a device, according to an embodiment, recognizes an operation pattern of an object by using a number of occurrences of events exceeding a reference value.

일실시예에 따른 디바이스의 동작 패턴 인식부는 이벤트들의 발생 횟수가 기준값을 초과한 시간의 간격을 이용하여 오브젝트의 동작 패턴을 인식할 수 있다.The operation pattern recognition unit of the device according to an embodiment may recognize the operation pattern of the object by using a time interval in which the occurrence number of events exceeds a reference value.

일실시예에 따른 디바이스의 동작 패턴 인식부는 광량의 시간적 변화에 기초한 이벤트들의 발생 방향을 이용하여 오브젝트의 동작 패턴을 인식할 수 있다.The operation pattern recognition unit of the device according to an embodiment may recognize the operation pattern of the object by using the generation direction of the events based on the temporal change of the amount of light.

일실시예에 따른 디바이스의 동작 패턴 인식부는 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 오브젝트의 동작 패턴을 인식할 수 있다.The operation pattern recognition unit of the device may recognize the operation pattern of the object by using the type of events based on the temporal change of the amount of light.

일실시예에 따른 디바이스는 영상의 픽셀들 각각에서 오브젝트와 관련된 광량의 시간적 변화를 감지하는 광량 변화 감지부; 상기 광량의 시간적 변화를 사용하여 오브젝트의 형상을 인식하는 형상 인식부; 및 상기 오브젝트의 형상에 기초하여 디바이스의 동작 모드를 제어하는 동작 모드 제어부를 포함할 수 있다.According to an embodiment, a device may include a light amount change detector configured to detect a temporal change in light amount associated with an object in each of pixels of an image; A shape recognizing unit which recognizes a shape of an object by using the temporal change of the amount of light; And an operation mode controller configured to control an operation mode of the device based on the shape of the object.

일실시예에 따른 디바이스의 형상 인식부는 광량의 시간적 변화를 사용하여 오브젝트의 종류를 식별하고, 식별한 오브젝트의 종류를 사용하여 오브젝트의 형상을 인식할 수 있다.According to an exemplary embodiment, the shape recognition unit of the device may identify a type of an object using a temporal change in the amount of light, and may recognize a shape of the object using the identified object type.

일실시예에 따른 디바이스의 형상 인식부는 광량의 시각적 변화를 감지한 픽셀들 각각의 위치를 이용하여 오브젝트에서 형상이 변화된 위치를 인식할 수 있다.According to an exemplary embodiment, the shape recognition unit of the device may recognize a position where a shape is changed in an object by using positions of pixels that detect a visual change in the amount of light.

일실시예에 따른 디바이스의 형상 인식부는 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 오브젝트의 형상을 인식할 수 있다.According to an embodiment, the shape recognition unit of the device may recognize a shape of an object by using a type of events based on a temporal change in light quantity.

일실시예에 따른 디바이스의 형상 인식부는 이벤트가 상기 광량의 증가와 관련된 이벤트인 경우, 오브젝트의 형상에서 이벤트에 대응하는 형상을 삭제할 수 있다.According to an embodiment, when the event is an event related to the increase in the amount of light, the shape recognition unit of the device may delete a shape corresponding to the event from the shape of the object.

일실시예에 따른 디바이스의 형상 인식부는 이벤트가 상기 광량의 감소와 관련된 이벤트인 경우, 오브젝트에 이벤트에 대응하는 형상을 추가할 수 있다.According to an embodiment, when the event is an event related to the reduction of the amount of light, the shape recognition unit of the device may add a shape corresponding to the event to the object.

일실시예에 따른 디바이스의 동작 방법은 오브젝트의 동작과 관련된 광량의 시간적 변화를 감지하는 단계; 상기 광량의 시간적 변화를 사용하여 오브젝트의 동작 패턴을 인식하는 단계; 및 상기 동작 패턴에 기초하여 디바이스의 동작 모드를 제어하는 단계를 포함할 수 있다.According to an embodiment, there is provided a method of operating a device, the method comprising: detecting a temporal change in light quantity associated with an operation of an object; Recognizing an operation pattern of an object using the temporal change of the amount of light; And controlling an operation mode of the device based on the operation pattern.

일실시예에 따른 디바이스의 동작 방법은 영상의 픽셀들 각각에서 오브젝트와 관련된 광량의 시간적 변화를 감지하는 단계; 상기 광량의 시간적 변화를 사용하여 오브젝트의 형상을 인식하는 단계; 및 상기 오브젝트의 형상에 기초하여 디바이스 동작 방법의 동작 모드를 제어하는 단계를 포함할 수 있다.According to an embodiment, there is provided a method of operating a device, the method comprising: detecting a temporal change in light quantity associated with an object in each of pixels of an image; Recognizing a shape of an object using the temporal change of the amount of light; And controlling an operation mode of a device operating method based on the shape of the object.

도 1은 일실시예에 따른 디바이스의 구조를 도시한 도면이다.
도 2는 일실시예에 따른 광량 변화 감지부가 출력한 이벤트들의 일례이다.
도 3은 일실시예에 따라 광량 변화 감지부가 출력한 이벤트들의 개수를 이용하여 오브젝트의 동작 패턴을 인식하는 과정의 일례이다.
도 4는 일실시예에 따라 광량 변화 감지부가 출력한 이벤트들의 방향을 이용하여 오브젝트의 동작 패턴을 인식하는 과정의 일례이다.
도 5는 일실시예에 따라 광량 변화 감지부가 출력한 이벤트들의 종류를 이용하여 오브젝트의 동작 패턴을 인식하는 과정의 일례이다.
도 6은 일실시예에 따른 디바이스의 구조를 도시한 도면이다.
도 7은 일실시예에 따라 오브젝트의 형상을 인식하는 과정의 일례이다.
도 8는 일실시예에 따른 디바이스의 동작 방법을 도시한 도면이다.
도 9는 일실시예에 따른 디바이스의 동작 방법을 도시한 도면이다.1 is a diagram illustrating a structure of a device according to an embodiment.
2 illustrates an example of events output by a light amount change detector, according to an exemplary embodiment.
3 is an example of a process of recognizing an operation pattern of an object by using the number of events output by the light quantity change detection unit, according to an exemplary embodiment.
4 is an example of a process of recognizing an operation pattern of an object using a direction of events output by a light quantity change detector, according to an exemplary embodiment.
FIG. 5 is an example of a process of recognizing an operation pattern of an object by using types of events output by a light quantity change detector, according to an exemplary embodiment.
6 is a diagram illustrating a structure of a device according to an embodiment.
7 is an example of a process of recognizing a shape of an object, according to an exemplary embodiment.
8 is a diagram illustrating a method of operating a device, according to an exemplary embodiment.
9 is a diagram illustrating a method of operating a device, according to an exemplary embodiment.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. Hereinafter, embodiments will be described in detail with reference to the accompanying drawings.

도 1은 일실시예에 따른 디바이스의 구조를 도시한 도면이다.1 is a diagram illustrating a structure of a device according to an embodiment.

일실시예에 따른 디바이스(100)는 사용자의 동작을 인식하여 디바이스(1100)의 동작 모드를 제어할 수 있다.The device 100 may recognize an operation of a user and control an operation mode of the device 1100.

이때, 디바이스(100)는 휴대폰과 같은 모바일 기기, 테블릿 PC, 노트북, 데스크 탑 PC, 및 동작 모드를 변경할 수 있는 모든 기기 중 하나일 수 있다.In this case, the device 100 may be one of a mobile device such as a mobile phone, a tablet PC, a notebook computer, a desktop PC, and any device capable of changing an operation mode.

또한, 동작 모드는 기기의 기능 중 일부를 정지하여 전력 소모를 절감하는 절전 모드 및 절전 모드를 해제하여 기기의 기능을 모두 활성화하는 정상 모드를 포함할 수 있다.In addition, the operation mode may include a power saving mode for reducing power consumption by stopping some of the functions of the device and a normal mode for releasing the power saving mode to activate all the functions of the device.

도 1을 참고하면, 디바이스(100)는 광량 변화 감지부(110)와 동작 패턴 인식부(120), 및 동작 모드 제어부(130)를 포함할 수 있다.Referring to FIG. 1, the device 100 may include a light amount change detector 110, an operation pattern recognizer 120, and an operation mode controller 130.

광량 변화 감지부(110)는 오브젝트(101)의 동작과 관련된 광량의 시간적 변화를 감지할 수 있다. 이때, 오브젝트(101)는 손과 같은 사용자의 신체 또는 사용자가 제어하는 물체 중 하나일 수 있다.The light quantity change detection unit 110 may detect a temporal change of light quantity related to the operation of the object 101. In this case, the object 101 may be one of a user's body such as a hand or an object controlled by the user.

여기서, 광량은 오브젝트(101)의 동작으로 인해서 영상의 픽셀에 입사되는 광이 증가하거나 또는 감소하는 것을 판단하기 위한 기준을 의미할 수 있다.　 Here, the amount of light may refer to a criterion for determining that the light incident on the pixel of the image increases or decreases due to the operation of the object 101.

예를 들어, 오브젝트가 A위치에서 B위치로 이동하는 경우, B위치로 이동한 오브젝트에 의해 수신하는 광이 가려질 수 있다.　 따라서, B위치의 픽셀에 입사되는 광량은 감소할 수 있다.　 또한, 오브젝트가 B위치에서 A위치로 이동하는 경우, B위치에는 오브젝트가 존재하지 않는다.　 따라서, B위치의 픽셀에 입사되는 광량은 증가할 수 있다. 즉, 영상의 픽셀들이 수신하는 광량은 오브젝트의 동작에 따라 시간적으로 변경될 수 있다.For example, when the object moves from the A position to the B position, the light received by the object moved to the B position may be blocked. Therefore, the amount of light incident on the pixel at position B can be reduced. In addition, when the object moves from the B position to the A position, the object does not exist at the B position. Therefore, the amount of light incident on the pixel at position B can increase. That is, the amount of light received by the pixels of the image may change in time according to the operation of the object.

또한, 광량 변화 감지부(110)는 영상의 픽셀에 입사되는 광량의 시간적 변화를 검출하여 이벤트를 출력하는 템퍼럴 컨트라스트(temporal contrast) 감지 광 센서일 수 있다. 이때, 광량의 시간적 변화는 시간의 흐름에 따른 광량의 변화 여부, 또는 시간의 흐름에 따른 광량의 변화값 중 적어도 하나일 수 있다. Also, the light amount change detection unit 110 may be a temporal contrast sensing optical sensor that detects a temporal change in the amount of light incident on a pixel of an image and outputs an event. In this case, the temporal change in the amount of light may be at least one of whether the amount of light changes with time, or a change value of the amount of light with time.

이때, 템퍼럴 컨트라스트 감지 광 센서는 영상의 픽셀에 입사되는 광량이 증가하는 경우 온(on) 이벤트를 출력하고, 영상의 픽셀에 입사되는 광량이 감소하는 경우 오프(off) 이벤트를 출력할 수 있다. 또한, 템퍼럴 컨트라스트 감지 광 센서는 프레임 없이 비동기로 동작하며 10 us(micro second) 미만의 시간 해상도를 가질 수 있다.In this case, the temporal contrast sensing optical sensor may output an on event when the amount of light incident on the pixel of the image increases, and output an off event when the amount of light incident on the pixel of the image decreases. . In addition, the temporal contrast sensing optical sensor operates asynchronously without a frame and may have a time resolution of less than 10 us (micro second).

동작 패턴 인식부(120)는 광량 변화 감지부(110)가 감지한 광량의 시간적 변화를 사용하여 오브젝트(101)의 동작 패턴을 인식할 수 있다. 이때, 오브젝트(101)의 동작 패턴은 오브젝트(101)가 광량 변화 감지부(110)의 감지 범위 안에서 이동한 횟수, 및 이동 방향 중 적어도 하나일 수 있다.The operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by using the temporal change of the amount of light detected by the light amount change detection unit 110. In this case, the operation pattern of the object 101 may be at least one of the number of times the object 101 moves within the detection range of the light quantity change detection unit 110 and the moving direction.

이때, 동작 패턴 인식부(120)는 광량 변화 감지부(110)가 출력한 이벤트들의 개수를 이용하여 오브젝트(101)의 동작 패턴을 인식할 수 있다. 이때, 광량 변화 감지부(110)가 출력한 이벤트들의 개수는 광량의 시간적 변화에 기초한 이벤트들의 발생 횟수일 수 있다. 또한, 광량 변화 감지부(110)가 출력한 이벤트들의 개수는 광량 변화 감지부(110)의 감지 범위 안에서 오브젝트(101)가 이동한 횟수일 수 있다.In this case, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by using the number of events output from the light quantity change detection unit 110. In this case, the number of events output by the light quantity change detecting unit 110 may be the number of occurrences of the events based on the temporal change of the light quantity. In addition, the number of events output by the light quantity change detection unit 110 may be the number of times the object 101 has moved within the detection range of the light quantity change detection unit 110.

또한, 동작 패턴 인식부(120)는 광량 변화 감지부(110)가 출력한 이벤트들의 개수가 기준값을 초과한 횟수를 이용하여 오브젝트(101)의 동작 패턴을 인식할 수도 있다. In addition, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by using the number of times that the number of events output from the light quantity change detection unit 110 exceeds a reference value.

예를 들어 사용자가 디바이스(100)를 주머니나 가방에 넣는 경우, 광량이 변화하므로 사용자가 의도하지 않은 이벤트가 발생할 수 있다. 이때, 발생하는 이벤트는 사용자가 디바이스(100)의 동작 모드를 제어하기 위하여 의도적으로 발생 시킨 이벤트가 아닐 수 있다. 따라서, 동작 패턴 인식부(120)는 일정 기간 동안 광량 변화 감지부(110)가 출력한 이벤트들의 개수가 기준값을 초과하는 경우, 해당 이벤트들을 사용자가 의도적으로 입력한 이벤트로 판단하고, 해당 이벤트들을 사용하여 오브젝트(101)의 동작 패턴을 인식할 수 있다. For example, when the user puts the device 100 in a pocket or bag, since the amount of light changes, an event not intended by the user may occur. In this case, the generated event may not be an event intentionally generated by the user in order to control the operation mode of the device 100. Therefore, when the number of events output from the light quantity change detection unit 110 exceeds a reference value for a predetermined period of time, the operation pattern recognition unit 120 determines the corresponding events as events intentionally input by the user, and identifies the corresponding events. The operation pattern of the object 101 can be recognized.

이때, 기준값은 광량 변화 감지부(110)가 출력한 이벤트가 사용자가 의도에 따라 발생한 이벤트인지 여부를 판단하기 위한 횟수일 수 있다. 그러므로, 기준값은 동작 모드에 대응하는 동작 패턴에 따라 결정될 수 있다.In this case, the reference value may be a number of times for determining whether the event output from the light quantity change detection unit 110 is an event generated according to the intention of the user. Therefore, the reference value may be determined according to the operation pattern corresponding to the operation mode.

예를 들어, 동작 모드 제어부(130)가 일정 기간 동안 이벤트가 5회 발생하면 동작 모드를 변경하는 경우, 5회 이하의 이벤트 발생은 동작 모드의 제어에 영향을 줄 수 없다. 따라서, 동작 패턴 인식부(120)는 기준 값을 5회 이상으로 설정함으로써, 동작 모드의 제어에 영향을 주는 이벤트 중에서 사용자가 의도한 이벤트를 식별할 수 있다.For example, when the operation mode control unit 130 changes the operation mode when an event occurs five times during a predetermined period, occurrence of five or less events may not affect the control of the operation mode. Accordingly, the operation pattern recognition unit 120 may identify the event intended by the user from among the events affecting the control of the operation mode by setting the reference value to five or more times.

그리고, 동작 패턴 인식부(120)는 일정 기간 동안 광량 변화 감지부(110)가 출력한 이벤트들의 개수가 기준값을 초과하는 경우, 초과 횟수를 카운트 하고, 초과 횟수를 사용하여 오브젝트(101)의 동작 패턴을 인식할 수도 있다.When the number of events output from the light quantity change detector 110 exceeds a reference value for a predetermined period of time, the operation pattern recognition unit 120 counts an excess number of times, and operates the object 101 using the excess number. You can also recognize patterns.

동작 패턴 인식부(120)가 광량 변화 감지부(110)가 출력한 이벤트들의 개수를 이용하여 오브젝트(101)의 동작 패턴을 인식하는 과정은 이하 도 3을 참조하여 상세히 설명한다.A process of the operation pattern recognition unit 120 recognizing the operation pattern of the object 101 by using the number of events output from the light quantity change detection unit 110 will be described in detail with reference to FIG. 3.

그리고, 동작 패턴 인식부(120)는 광량의 시간적 변화에 기초한 이벤트들의 발생 간격을 이용하여 오브젝트(101)의 동작 패턴을 인식할 수 있다. 이때, 광량의 시간적 변화에 기초한 이벤트들의 발생 간격은 광량 변화 감지부(110)가 이벤트를 출력하는 시간 간격일 수 있다. 또한, 동작 패턴 인식부(120)는 광량 변화 감지부(110)가 출력한 이벤트들의 개수가 기준값을 초과한 시간들의 간격을 이용하여 오브젝트(101)의 동작 패턴을 인식할 수도 있다.In addition, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by using an interval of occurrence of events based on a temporal change in the amount of light. At this time, the occurrence interval of the events based on the temporal change of the amount of light may be a time interval in which the light amount change detection unit 110 outputs the event. In addition, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 using an interval of times when the number of events output from the light quantity change detection unit 110 exceeds a reference value.

예를 들어, 사용자가 일정 패턴으로 오브젝트(101)를 이동할 경우, 광량 변화 감지부(110)가 이벤트를 출력하는 시간 간격도 일정한 패턴을 형성할 수 있다. 따라서, 동작 패턴 인식부(120)는 광량 변화 감지부(110)가 이벤트를 출력하는 시간 간격을 이용하여 사용자가 오브젝트(101)를 이동한 리듬이나 간격을 식별함으로써, 오브젝트(101)의 동작 패턴을 인식할 수 있다.For example, when the user moves the object 101 in a predetermined pattern, a time interval at which the light quantity change detection unit 110 outputs an event may also form a constant pattern. Accordingly, the operation pattern recognition unit 120 identifies the rhythm or the interval at which the user moves the object 101 by using the time interval at which the light quantity change detection unit 110 outputs an event, thereby operating the pattern of the object 101. Can be recognized.

그리고, 동작 패턴 인식부(120)는 광량의 시간적 변화에 기초한 이벤트들의 방향을 이용하여 오브젝트(101)의 동작 패턴을 인식할 수도 있다. 구체적으로, 동작 패턴 인식부(120)는 연속된 영상의 픽셀들 중에서 광량 변화 감지부(110)가 광량의 시간적 변화를 감지한 픽셀들의 위치 또는 이동 방향을 사용하여 오브젝트(101)의 동작 방향을 인식할 수 있다.In addition, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 using the direction of the events based on the temporal change in the amount of light. In detail, the operation pattern recognition unit 120 determines the operation direction of the object 101 by using the position or the moving direction of the pixels in which the light quantity change detection unit 110 detects a temporal change in the light quantity among the pixels of the continuous image. I can recognize it.

예를 들어, 동작 패턴 인식부(120)는 광량 변화 감지부(110)가 출력한 이벤트들의 개수가 기준값을 초과한 경우, 연속된 영상에서 해당 이벤트들의 위치가 변화하는 방향을 기초로 오브젝트(101)의 동작 방향을 인식할 수 있다.For example, when the number of events output from the light quantity change detection unit 110 exceeds a reference value, the operation pattern recognition unit 120 based on the direction in which the positions of the corresponding events change in the continuous image 101. Can recognize the direction of movement.

동작 패턴 인식부(120)가 이벤트들의 방향을 이용하여 오브젝트(101)의 동작 패턴을 인식하는 과정은 이하 도 4를 참조하여 상세히 설명한다.The operation pattern recognition unit 120 recognizes the operation pattern of the object 101 by using the direction of the event will be described in detail with reference to FIG.

또한, 동작 패턴 인식부(120)는 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 오브젝트(101)의 동작 패턴을 인식할 수 있다. 구체적으로 광량 변화 감지부(110)는 영상의 픽셀에 입사되는 광량이 증가하면 해당 픽셀에 대응하는 온(on) 이벤트를 출력하고, 영상의 픽셀에 입사되는 광량이 감소하면 해당 픽셀에 대응하는 오프(off) 이벤트를 출력할 수 있다. In addition, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by using the type of events based on the temporal change in the amount of light. In detail, the light quantity change detection unit 110 outputs an on event corresponding to the pixel when the amount of light incident on the pixel of the image is increased, and off corresponding to the pixel when the amount of light incident on the pixel of the image is decreased. (off) Can output an event.

예를 들어, 오브젝트(101)가 광량 변화 감지부(110)에 근접하는 경우, 오브젝트(101)가 광량 변화 감지부(110)에 입사되는 광을 차단하는 범위가 증가하므로, 광량이 감소하는 픽셀들의 수가 증가할 수 있다. 즉, 오브젝트(101)가 근접하는 경우, 광량 변화 감지부(110)가 오프(off) 이벤트를 출력하도록 하는 픽셀의 수가 증가하므로 광량 변화 감지부(110)는 출력하는 오프(off) 이벤트들의 개수를 증가할 수 있다.For example, when the object 101 is close to the light quantity change detecting unit 110, since the range in which the object 101 blocks light incident on the light quantity changing detecting unit 110 increases, the pixel in which the light quantity decreases is increased. The number of people may increase. That is, when the object 101 is close, the number of pixels for causing the light quantity change detector 110 to output an off event increases, so the light quantity change detector 110 outputs the number of off events. Can be increased.

또한, 오브젝트(101)가 광량 변화 감지부(110)에서 멀어지는 경우, 오브젝트(101)가 광량 변화 감지부(110)에 입사되는 광을 차단하는 범위가 감소하므로, 광량이 증가하는 픽셀들의 수가 증가할 수 있다. 즉, 오브젝트(101)가 멀어지는 경우, 광량 변화 감지부(110)가 온(on) 이벤트를 출력하도록 하는 픽셀의 수가 증가하므로 광량 변화 감지부(110)는 출력하는 온(on) 이벤트들의 개수를 증가할 수 있다.In addition, when the object 101 moves away from the light quantity change detecting unit 110, since the range of blocking the light incident to the light quantity change detecting unit 110 decreases, the number of pixels with increasing light quantity increases. can do. That is, when the object 101 moves away, the number of pixels for causing the light quantity change detector 110 to output an on event increases, so the light quantity change detector 110 outputs the number of on events that are output. Can increase.

그러므로, 광량 변화 감지부(110)가 출력하는 이벤트 중에서 오프(off) 이벤트들의 개수가 증가하는 경우, 동작 패턴 인식부(120)는 오브젝트(101)가 디바이스(100)에 근접하는 동작 패턴을 가진 것으로 인식할 수 있다. 또한, 광량 변화 감지부(110)가 출력하는 이벤트 중에서 온(on) 이벤트들의 개수가 증가하는 경우, 동작 패턴 인식부(120)는 오브젝트(101)가 디바이스(100)에서 멀어지는 동작 패턴을 가진 것으로 인식할 수 있다. Therefore, when the number of off events among the events output by the light quantity change detection unit 110 increases, the operation pattern recognition unit 120 may have an operation pattern in which the object 101 approaches the device 100. It can be recognized as. In addition, when the number of on events among the events output from the light quantity change detection unit 110 increases, the operation pattern recognition unit 120 has an operation pattern in which the object 101 moves away from the device 100. I can recognize it.

동작 패턴 인식부(120)가 이벤트들의 종류를 이용하여 오브젝트(101)의 동작 패턴을 인식하는 과정은 이하 도 5를 참조하여 상세히 설명한다.A process of the operation pattern recognition unit 120 recognizing the operation pattern of the object 101 using the types of events will be described in detail with reference to FIG. 5.

그리고, 동작 패턴 인식부(120)는 온(on) 이벤트와 오프(off) 이벤트들의 출력 위치에 따라 오브젝트(101)의 동작 패턴을 인식할 수 있다. 구체적으로 동작 패턴 인식부(120)는 오브젝트(101)가 온(on) 이벤트가 출력된 위치에서 오프(off) 이벤트가 출력된 위치로 이동하는 것으로 오브젝트(101)의 동작 패턴을 인식할 수 있다.The operation pattern recognition unit 120 may recognize the operation pattern of the object 101 according to the output position of the on event and the off event. In more detail, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by moving the object 101 from the position at which the on event is output to the position at which the off event is output. .

오브젝트(101)와 온(on) 이벤트가 출력된 위치 및 오프(off) 이벤트가 출력된 위치 간의 관계는 이하 도 2를 참조하여 상세히 설명한다.The relationship between the object 101 and the position at which the on event is output and the position at which the off event is output will be described in detail with reference to FIG. 2.

동작 모드 제어부(130)는 동작 패턴 인식부(120)가 인식한 동작 패턴에 기초하여 디바이스(100)의 동작 모드를 제어할 수 있다. 구체적으로 동작 모드 제어부(130)는 절전 모드에 대응하는 동작 패턴 또는 정상 모드에 대응하는 동작 패턴 중에서 동작 패턴 인식부(120)가 인식한 동작 패턴과 관련성이 높은 동작 패턴을 식별하고, 식별한 동작 패턴에 대응하는 동작 모드를 실행할 수 있다.The operation mode controller 130 may control the operation mode of the device 100 based on the operation pattern recognized by the operation pattern recognition unit 120. In more detail, the operation mode controller 130 identifies an operation pattern that is highly related to the operation pattern recognized by the operation pattern recognition unit 120 among the operation pattern corresponding to the power saving mode or the normal mode, and identifies the operation pattern. An operation mode corresponding to the pattern can be executed.

예를 들어 동작 모드 제어부(130)는 동작 패턴 인식부(120)가 인식한 동작 패턴이 정상 모드에 대응하는 동작 패턴과 관련성이 높고, 디바이스(100)가 절전 모드인 경우, 절전 모드를 해체하여 정상 모드로 변환할 수 있다. 또한, 동작 모드 제어부(130)는 동작 패턴 인식부(120)가 인식한 동작 패턴이 정상 모드에 대응하는 동작 패턴과 관련성이 높고, 디바이스(100)가 정상 모드인 경우, 디바이스(100)가 이미 정상 모드이므로 동작 모드를 변환하지 않을 수 있다.
For example, when the operation pattern recognized by the operation pattern recognition unit 120 is highly related to the operation pattern corresponding to the normal mode, and the device 100 is in the power saving mode, the operation mode controller 130 disassembles the power saving mode. You can switch to normal mode. In addition, when the operation pattern recognized by the operation pattern recognition unit 120 is highly related to the operation pattern corresponding to the normal mode, and the device 100 is in the normal mode, the operation mode controller 130 may have already Since it is a normal mode, the operation mode may not be changed.

도 2는 일실시예에 따른 광량 변화 감지부가 출력한 이벤트들의 일례이다.2 illustrates an example of events output by a light amount change detector, according to an exemplary embodiment.

일실시예에 따른 광량 변화 감지부(110)는 광량의 시간적 변화를 감지함으로써, 오브젝트(101)의 동작과 관련된 이벤트들을 출력할 수 있다.The light amount change detection unit 110 may output events related to the operation of the object 101 by detecting a temporal change in the light amount.

예를 들어 사용자의 오른손이 A위치에서 B위치로 이동하는 경우, A 위치의 픽셀에 입사되는 광량이 증가하고, 이에 따라 광량 변화 감지부(110)는 A 위치에 온(on) 이벤트를 출력할 수 있다. 또한, B위치의 픽셀에 입사되는 광량은 사용자의 오른손에 의해 감소하므로, 광량 변화 감지부(110)는 B위치에 오프(off) 이벤트를 출력할 수 있다.For example, when the user's right hand moves from the A position to the B position, the amount of light incident on the pixel at the A position increases, and accordingly, the light quantity change detection unit 110 outputs an on event at the A position. Can be. In addition, since the amount of light incident on the pixel at the B position is reduced by the user's right hand, the light amount change detection unit 110 may output an off event to the B position.

즉, 광량 변화 감지부(110)는 오브젝트(101)의 이동에 따라 광량이 증가하는 위치와 감소하는 위치를 도 2에 도시된 바와 같이 출력함으로써, 동작 패턴 인식부(120)가 오브젝트(101)의 이동 여부와 오브젝트(101)의 이동 방향을 인식하도록 할 수 있다.
That is, the light quantity change detection unit 110 outputs a position where the amount of light increases and decreases as the object 101 moves as shown in FIG. 2, so that the operation pattern recognition unit 120 outputs the object 101. The movement direction of the object 101 and the movement of the object 101 may be recognized.

도 3은 일실시예에 따라 광량 변화 감지부가 출력한 이벤트들의 개수를 이용하여 오브젝트의 동작 패턴을 인식하는 과정의 일례이다.3 is an example of a process of recognizing an operation pattern of an object by using the number of events output by the light quantity change detection unit, according to an exemplary embodiment.

광량 변화 감지부(110)는 광량이 변화할 경우에만 이벤트를 출력할 수 있다. 따라서, 오브젝트(101)가 동작할 경우, 광량의 시간적 변화가 많이 발생하므로 광량 변화 감지부(110)가 이벤트를 출력하는 횟수가 증가할 수 있다.The light quantity change detection unit 110 may output an event only when the light quantity changes. Therefore, when the object 101 operates, a large amount of temporal change in the amount of light occurs, so that the number of times that the light amount change detection unit 110 outputs an event may increase.

이때, 광량 변화 감지부(110)가 출력한 이벤트들의 개수가 기준값(300)을 초과한 경우, 동작 패턴 인식부(120)는 해당 이벤트들(310)을 이용하여 오브젝트(101)의 동작 패턴을 인식할 수도 있다. 구체적으로 이벤트들의 개수가 기준값(300)을 초과한 경우, 동작 패턴 인식부(120)는 해당 이벤트들(310)의 횟수를 이용하여 오브젝트(101)의 동작 패턴을 인식할 수도 있다.In this case, when the number of events output from the light quantity change detection unit 110 exceeds the reference value 300, the operation pattern recognition unit 120 may determine the operation pattern of the object 101 using the corresponding events 310. It can also be recognized. In detail, when the number of events exceeds the reference value 300, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by using the number of the corresponding events 310.

또한, 광량 변화 감지부(110)가 출력한 이벤트들의 개수가 기준값(300) 이하인 경우, 동작 패턴 인식부(120)는 해당 이벤트(320)를 사용자가 의도하지 않은 동작으로 발생한 이벤트로 판단하고, 동작 패턴에 추가하지 않을 수 있다.In addition, when the number of events output from the light quantity change detection unit 110 is less than or equal to the reference value 300, the operation pattern recognition unit 120 determines that the event 320 is an event that is caused by an operation not intended by the user. It may not be added to the operation pattern.

또한, 동작 패턴 인식부(120)는 광량의 시간적 변화에 기초한 이벤트들의 발생 간격을 이용하여 오브젝트(101)의 동작 패턴을 인식할 수 있다. 구체적으로 이벤트들의 개수가 기준값(300)을 초과한 경우, 동작 패턴 인식부(120)는 해당 이벤트들(310)들이 발생한 시간들 간의 간격을 오브젝트(101)의 동작 패턴으로 저장할 수 있다. 이때, 동작 모드 제어부(130)는 저장된 시간들 간의 간격을 동작 모드를 변경하기 위한 시간 간격과 비교하여 동작 모드의 변경여부를 결정할 수 있다.
In addition, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by using the interval of occurrence of events based on the temporal change of the amount of light. In detail, when the number of events exceeds the reference value 300, the operation pattern recognition unit 120 may store the interval between the times when the corresponding events 310 occur as the operation pattern of the object 101. In this case, the operation mode controller 130 may determine whether the operation mode is changed by comparing the interval between the stored times with the time interval for changing the operation mode.

도 4는 일실시예에 따라 광량 변화 감지부가 출력한 이벤트들의 방향을 이용하여 오브젝트의 동작 패턴을 인식하는 과정의 일례이다.4 is an example of a process of recognizing an operation pattern of an object using a direction of events output by a light quantity change detector, according to an exemplary embodiment.

이벤트들의 개수가 기준값(300)을 초과한 경우, 동작 패턴 인식부(120)는 해당 이벤트들(310)들의 방향을 이용하여 오브젝트(101)의 동작 패턴을 인식할 수도 있다.When the number of events exceeds the reference value 300, the motion pattern recognition unit 120 may recognize the motion pattern of the object 101 using the directions of the corresponding events 310.

예를 들어, 아래쪽에 위치하던 오브젝트(101)가 위쪽으로 이동하는 경우(410), 광량 변화 감지부(110)의 첫 번째 출력(411)에 포함된 이벤트들의 위치에 비해 두 번째 출력(412)에 포함된 이벤트들의 위치가 위쪽으로 이동한다. 따라서 동작 패턴 인식부(120)는 첫번째 출력(411)에 포함된 이벤트들의 위치에서 마지막 출력(412)에 포함된 이벤트들의 위치로 이동하는 방향을 오브젝트의 동작 방향으로 인식할 수 있다. For example, when the object 101 located at the bottom moves upward (410), the second output 412 compared to the position of the events included in the first output 411 of the light quantity change detection unit 110 The locations of the events included in the file move upwards. Accordingly, the operation pattern recognition unit 120 may recognize a direction of moving from the position of the events included in the first output 411 to the position of the events included in the last output 412 as the operation direction of the object.

그리고, 위쪽에 위치하던 오브젝트(101)가 아래쪽으로 이동하는 경우(420), 광량 변화 감지부(110)의 첫 번째 출력(421)에 포함된 이벤트들의 위치에 비해 두 번째 출력(422)에 포함된 이벤트들의 위치가 아래쪽으로 이동한다. 따라서 동작 패턴 인식부(120)는 첫번째 출력(421)에 포함된 이벤트들의 위치에서 마지막 출력(422)에 포함된 이벤트들의 위치로 이동하는 방향을 오브젝트의 동작 방향으로 인식할 수 있다. In addition, when the object 101 located above is moved downward (420), compared to the position of the events included in the first output 421 of the light quantity change detection unit 110 included in the second output 422 The location of the events will move downward. Accordingly, the operation pattern recognition unit 120 may recognize a direction of moving from the position of the events included in the first output 421 to the position of the events included in the last output 422 as the operation direction of the object.

또한, 오른쪽에 위치하던 오브젝트(101)가 왼쪽으로 이동하는 경우(430), 광량 변화 감지부(110)의 첫 번째 출력(431)에 포함된 이벤트들의 위치에 비해 두 번째 출력(432)에 포함된 이벤트들의 위치가 왼쪽으로 이동한다. 따라서 동작 패턴 인식부(120)는 첫번째 출력(431)에 포함된 이벤트들의 위치에서 마지막 출력(432)에 포함된 이벤트들의 위치로 이동하는 방향을 오브젝트의 동작 방향으로 인식할 수 있다. In addition, when the object 101 located on the right moves to the left (430), the second output 432 is included in the second output 432 compared to the position of the events included in the first output 431 of the light quantity change detection unit 110. The location of the events will move to the left. Accordingly, the operation pattern recognition unit 120 may recognize a direction of moving from the positions of the events included in the first output 431 to the positions of the events included in the last output 432 as the operation direction of the object.

마지막으로, 왼쪽에 위치하던 오브젝트(101)가 오른쪽으로 이동하는 경우(440), 광량 변화 감지부(110)의 첫 번째 출력(441)에 포함된 이벤트들의 위치에 비해 두 번째 출력(442)에 포함된 이벤트들의 위치가 오른쪽으로 이동한다. 따라서 동작 패턴 인식부(120)는 첫번째 출력(441)에 포함된 이벤트들의 위치에서 마지막 출력(442)에 포함된 이벤트들의 위치로 이동하는 방향을 오브젝트의 동작 방향으로 인식할 수 있다.
Finally, when the object 101 located on the left moves to the right (440), compared to the position of the events included in the first output 441 of the light quantity change detection unit 110 to the second output (442) The location of the included events moves to the right. Accordingly, the operation pattern recognition unit 120 may recognize a direction of moving from the position of the events included in the first output 441 to the position of the events included in the last output 442 as the operation direction of the object.

도 5는 일실시예에 따라 광량 변화 감지부가 출력한 이벤트들의 종류를 이용하여 오브젝트의 동작 패턴을 인식하는 과정의 일례이다.FIG. 5 is an example of a process of recognizing an operation pattern of an object by using types of events output by a light quantity change detector, according to an exemplary embodiment.

광량 변화 감지부(110)는 영상의 픽셀에 입사되는 광량이 감소하면 오프(off) 이벤트(510)를 출력하고, 영상의 픽셀에 입사되는 광량이 증가하면 온(on) 이벤트(520)를 출력할 수 있다. The light quantity change detection unit 110 outputs an off event 510 when the amount of light incident on the pixel of the image decreases and outputs an on event 520 when the amount of light incident on the pixel of the image increases. can do.

그리고, 오브젝트(101)가 광량 변화 감지부(110)에 근접하는 경우, 오브젝트(101)가 광량 변화 감지부(110)에 입사되는 광을 차단하는 범위가 증가하므로, 광량이 감소하는 픽셀들의 수가 증가할 수 있다. 즉, 오브젝트(101)가 근접하는 경우, 광량 변화 감지부(110)가 오프(off) 이벤트를 출력하도록 하는 픽셀의 수가 증가하므로 광량 변화 감지부(110)는 출력하는 오프(off) 이벤트들의 개수를 증가할 수 있다. 따라서, 동작 패턴 인식부(120)는 광량 변화 감지부(110)가 출력하는 오프(off) 이벤트(510)의 개수가 기준값(300)을 초과하는 경우, 오브젝트(101)가 디바이스(100)에 근접하는 동작 패턴을 가진 것으로 인식할 수 있다. In addition, when the object 101 is close to the light quantity change detecting unit 110, since the range of blocking the light incident to the light quantity change detecting unit 110 increases, the number of pixels in which the light quantity decreases is increased. Can increase. That is, when the object 101 is close, the number of pixels for causing the light quantity change detector 110 to output an off event increases, so the light quantity change detector 110 outputs the number of off events. Can be increased. Accordingly, when the number of off events 510 output by the light quantity change detection unit 110 exceeds the reference value 300, the operation pattern recognition unit 120 transmits the object 101 to the device 100. It can be recognized as having a near motion pattern.

또한, 오브젝트(101)가 광량 변화 감지부(110)에서 멀어지는 경우, 오브젝트(101)가 광량 변화 감지부(110)에 입사되는 광을 차단하는 범위가 감소하므로, 광량이 증가하는 픽셀들의 수가 증가할 수 있다. 즉, 오브젝트(101)가 멀어지는 경우, 광량 변화 감지부(110)가 온(on) 이벤트를 출력하도록 하는 픽셀의 수가 증가하므로 광량 변화 감지부(110)는 출력하는 온(on) 이벤트들의 개수를 증가할 수 있다. 따라서, 동작 패턴 인식부(120)는 광량 변화 감지부(110)가 출력하는 온(on) 이벤트(520)가 기준값(300)을 초과하는 경우, 오브젝트(101)가 디바이스(100)에서 멀어지는 동작 패턴을 가진 것으로 인식할 수 있다.
In addition, when the object 101 moves away from the light quantity change detecting unit 110, since the range of blocking the light incident to the light quantity change detecting unit 110 decreases, the number of pixels with increasing light quantity increases. can do. That is, when the object 101 moves away, the number of pixels for causing the light quantity change detector 110 to output an on event increases, so the light quantity change detector 110 outputs the number of on events that are output. Can increase. Therefore, when the on event 520 output by the light quantity change detection unit 110 exceeds the reference value 300, the operation pattern recognition unit 120 moves the object 101 away from the device 100. It can be recognized as having a pattern.

도 6은 일실시예에 따른 디바이스의 구조를 도시한 도면이다.6 is a diagram illustrating a structure of a device according to an embodiment.

도 6의 디바이스(600)은 사용자의 동작에 따라 오브젝트(610)의 형상이 변화하는 것을 인식하여 디바이스(600)의 동작 모드를 제어할 수 있다. 이때, 디바이스(600)는 사용자가 손가락을 접었다 펴는 동작을 사용하여 사용자의 손 형상을 인식할 수 있다.The device 600 of FIG. 6 may recognize that the shape of the object 610 changes according to the user's operation and control the operation mode of the device 600. In this case, the device 600 may recognize the shape of the user's hand by using a user's folding and extending of the finger.

예를 들어 디바이스(600)는 사용자가 손가락 5개를 다 폈다가 다시 쥐는 경우, 손가락 형상 5개가 움직이는 동작을 인식할 수 있다. 이때, 디바이스(600)는 사용자가 손가락 5개를 다 펴는 동작에서 오브젝트(601)가 사용자의 손이라는 것을 식별할 수 있으며, 사용자가 손가락 5개를 다시 쥐는 동작에서 사용자가 주먹을 쥔 상태라는 것을 식별할 수 있다.For example, the device 600 may recognize an operation of moving five finger shapes when the user removes five fingers and grabs them again. In this case, the device 600 may identify that the object 601 is the user's hand in an operation in which the user opens all five fingers, and the user holds a fist in the operation of holding the user's five fingers again. Can be identified.

도 6을 참고하면, 디바이스(600)는 광량 변화 감지부(610)와 형상 인식부(620), 및 동작 모드 제어부(630)를 포함한다.Referring to FIG. 6, the device 600 includes a light amount change detector 610, a shape recognizer 620, and an operation mode controller 630.

광량 변화 감지부(610)는 영상의 픽셀들 각각에서 오브젝트(601)의 동작과 관련된 광량의 시간적 변화를 감지할 수 있다. 예를 들어, 광량 변화 감지부(610)는 영상의 픽셀에 입사되는 광량의 시간적 변화를 검출하여 이벤트를 출력하는 템퍼럴 컨트라스트(temporal contrast) 감지 광 센서일 수 있다. The light amount change detector 610 may detect a temporal change in light amount related to the operation of the object 601 in each of the pixels of the image. For example, the light amount change detector 610 may be a temporal contrast sensing optical sensor that detects a temporal change in the amount of light incident on a pixel of an image and outputs an event.

형상 인식부(620)는 광량 변화 감지부(610)가 감지한 광량의 시간적 변화를 사용하여 오브젝트(601)의 형상을 인식할 수 있다. 구체적으로, 형상 인식부(620)는 광량 변화 감지부(610)가 감지한 광량의 시간적 변화를 사용하여 오브젝트(601)의 종류를 식별하고, 식별한 오브젝트의 종류를 사용하여 오브젝트(601)의 형상을 인식할 수 있다.The shape recognizing unit 620 may recognize the shape of the object 601 using the temporal change of the amount of light detected by the light quantity change detecting unit 610. In detail, the shape recognizing unit 620 identifies the type of the object 601 using the temporal change of the amount of light detected by the light quantity change detecting unit 610, and uses the type of the identified object to determine the type of the object 601. The shape can be recognized.

예를 들어, 사용자가 손가락 5개를 다 폈다가 다시 쥐는 경우, 형상 인식부(620)는 손가락의 동작에 따라 5개의 오브젝트를 인식할 수 있다. 이때, 형상 인식부(620)는 인식한 오브젝트들의 크기와 형상을 기초로 인식한 오브젝트가 손가락이라는 것을 추정할 수 있다. 다음으로, 형상 인식부(620)는 손가락의 위치와 동작을 기초로 손바닥의 위치를 추정하여 오브젝트(601)의 형상에 대응하는 손의 형상을 인식할 수 있다.For example, when the user removes five fingers and grabs them again, the shape recognition unit 620 may recognize five objects according to the movement of the finger. In this case, the shape recognition unit 620 may estimate that the recognized object is a finger based on the size and shape of the recognized objects. Next, the shape recognition unit 620 may recognize the shape of the hand corresponding to the shape of the object 601 by estimating the position of the palm based on the position and the motion of the finger.

또한, 형상 인식부(620)는 광량 변화 감지부(610)가 광량의 시각적 변화를 감지한 픽셀들 각각의 위치를 이용하여 오브젝트(601)에서 형상이 변화된 위치를 인식할 수 있다. In addition, the shape recognition unit 620 may recognize a position where the shape is changed in the object 601 by using the position of each pixel in which the light amount change detection unit 610 detects a visual change in the light amount.

그리고, 형상 인식부(620)는 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 오브젝트(601)의 형상을 인식할 수 있다. 구체적으로, 이벤트가 광량의 증가와 관련된 이벤트인 경우, 형상 인식부(620)는 오브젝트(601)의 형상에서 이벤트에 대응하는 형상을 삭제할 수 있다. 예를 들어, 형상 인식부(620)는 손가락과 관련된 이벤트가 온(on) 이벤트인 경우, 사용자가 손가락을 쥠으로써 광량이 증가한 것으로 판단하고, 손의 형상에서 손가락을 삭제하여 주먹 쥔 형상으로 인식할 수 있다.The shape recognizing unit 620 may recognize the shape of the object 601 by using the type of events based on the temporal change of the amount of light. In detail, when the event is an event related to the increase in the amount of light, the shape recognition unit 620 may delete a shape corresponding to the event from the shape of the object 601. For example, when the event related to the finger is an on event, the shape recognizing unit 620 determines that the amount of light is increased by the user releasing the finger, and the shape recognition unit 620 deletes the finger from the shape of the hand and recognizes the shape as a clenched fist. can do.

또한, 형상 인식부(620)는 이벤트가 광량의 감소와 관련된 이벤트인 경우, 오브젝트에 이벤트에 대응하는 형상을 추가된 것으로 인식할 수 있다. 예를 들어, 손가락과 관련된 이벤트가 오프(off) 이벤트인 경우, 형상 인식부(620)는 사용자가 손가락을 폄으로써 광량이 감소한 것으로 판단하고, 사용자의 손 바닥에 손가락 형상을 추가하여 손을 편 형상으로 인식할 수 있다.In addition, when the event is an event related to a reduction in the amount of light, the shape recognition unit 620 may recognize that the shape corresponding to the event is added to the object. For example, when an event related to a finger is an off event, the shape recognizing unit 620 determines that the amount of light is reduced by lifting a finger, and adds a finger shape to the bottom of the user's hand to fold the hand. It can be recognized as a shape.

동작 모드 제어부(630)는 형상 인식부(620)가 인식한 오브젝트의 형상에 기초하여 디바이스(600)의 동작 모드를 제어할 수 있다.The operation mode controller 630 may control an operation mode of the device 600 based on the shape of the object recognized by the shape recognition unit 620.

구체적으로 동작 모드 제어부(630)는 절전 모드에 대응하는 오브젝트의 형상 또는 정상 모드에 대응하는 오브젝트의 형상 중에서 오브젝트의 형상 인식부(620)가 인식한 오브젝트의 형상과 관련성이 높은 오브젝트의 형상을 식별하고, 식별한 오브젝트의 형상에 대응하는 동작 모드를 실행할 수 있다.
In detail, the operation mode controller 630 identifies a shape of an object having a high relation with the shape of the object recognized by the shape recognition unit 620 of the object among the shape of the object corresponding to the power saving mode or the shape of the object corresponding to the normal mode. Then, the operation mode corresponding to the shape of the identified object can be executed.

도 7은 일실시예에 따라 오브젝트의 형상을 인식하는 과정의 일례이다.7 is an example of a process of recognizing a shape of an object, according to an exemplary embodiment.

사용자가 손가락 5개를 모두 쥐는 경우, 광량 변화 감지부(610)는 케이스(case) 1과 같이 손가락의 위치에 대응하는 온(on) 이벤트(710)들을 출력할 수 있다.When the user grips all five fingers, the light quantity change detection unit 610 may output on events 710 corresponding to the position of the finger as in case 1.

이때, 형상 인식부(620)는 온(on) 이벤트(710)들의 크기와 형상을 기초로 인식한 오브젝트가 손가락이라는 것을 추정할 수 있다. 다음으로, 형상 인식부(620)는 손가락의 위치와 동작을 기초로 손바닥의 위치를 추정하여 오브젝트의 형상에 대응하는 손의 형상을 인식할 수 있다.In this case, the shape recognition unit 620 may estimate that the object recognized based on the size and shape of the on events 710 is a finger. Next, the shape recognition unit 620 may recognize the shape of the hand corresponding to the shape of the object by estimating the position of the palm based on the position and the motion of the finger.

또한, 형상 인식부(620)는 광량 변화 감지부(610)가 출력한 이벤트가 온(on) 이벤트(710)들이므로 손의 형상에서 손가락을 삭제하여 주먹 쥔 형상을 인식할 수 있다.In addition, the shape recognition unit 620 may recognize the shape of the fist by removing a finger from the shape of the hand since the events output by the light quantity change detection unit 610 are on events 710.

또한, 사용자가 손가락 5개를 모두 펴는 경우, 광량 변화 감지부(610)는 케이스(case) 2와 같이 손가락의 위치에 대응하는 오프(off) 이벤트(720)들을 출력할 수 있다.In addition, when the user stretches all five fingers, the light amount change detection unit 610 may output off events 720 corresponding to the position of the finger as in case 2.

이때, 형상 인식부(620)는 오프(off) 이벤트(720)들의 크기와 형상을 기초로 인식한 오브젝트가 손가락이라는 것을 추정할 수 있다. 다음으로, 형상 인식부(620)는 손가락의 위치와 동작을 기초로 손바닥의 위치를 추정하여 오브젝트의 형상에 대응하는 손의 형상을 인식할 수 있다.In this case, the shape recognition unit 620 may estimate that the object recognized based on the size and shape of the off events 720 is a finger. Next, the shape recognition unit 620 may recognize the shape of the hand corresponding to the shape of the object by estimating the position of the palm based on the position and the motion of the finger.

또한, 형상 인식부(620)는 광량 변화 감지부(610)가 출력한 이벤트가 오프(off) 이벤트(720)들이므로 사용자의 손 바닥에 손가락 형상을 추가하여 손을 편 형상으로 인식할 수 있다.
In addition, the shape recognition unit 620 may recognize the hand as a flat shape by adding a finger shape to the bottom of the user's hand because the events output by the light quantity change detection unit 610 are off events 720. .

도 8는 일실시예에 따른 디바이스의 동작 방법을 도시한 도면이다.8 is a diagram illustrating a method of operating a device, according to an exemplary embodiment.

단계(810)에서 광량 변화 감지부(110)는 오브젝트(101)의 동작과 관련된 광량의 시간적 변화를 감지할 수 있다. 예를 들어, 오브젝트(101)가 광량 변화 감지부(110)의 감지 범위 안으로 이동하는 경우, 광량 변화 감지부(110)로 입사되던 광이 오브젝트(101)에 의하여 차단되면서 오브젝트(101)의 위치에 대응하는 픽셀에 입사되는 광량이 감소할 수 있다. 또한, 오브젝트(101)가 광량 변화 감지부(110)의 감지 범위 안에서 이동하는 경우, 오브젝트(101)에 의하여 차단되었던 광이 광량 변화 감지부(110)에 입사될 수 있다. 따라서, 오브젝트(101)가 위치하였던 픽셀에 입사되는 광량이 증가할 수 있다.In operation 810, the light quantity change detection unit 110 may detect a temporal change in light quantity related to the operation of the object 101. For example, when the object 101 moves into the detection range of the light amount change detecting unit 110, the light incident to the light amount change detecting unit 110 is blocked by the object 101, and thus the position of the object 101 is blocked. The amount of light incident on the pixel corresponding to may decrease. In addition, when the object 101 moves within the detection range of the light amount change detector 110, the light blocked by the object 101 may be incident on the light amount change detector 110. Therefore, the amount of light incident on the pixel where the object 101 is located may increase.

단계(820)에서 동작 패턴 인식부(120)는 단계(810)에서 감지한 광량의 시간적 변화를 사용하여 오브젝트(101)의 동작 패턴을 인식할 수 있다. In operation 820, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 using the temporal change of the amount of light detected in operation 810.

이때, 동작 패턴 인식부(120)는 광량 변화 감지부(110)가 출력한 이벤트들의 개수, 발생 간격, 방향, 및 종류 중 적어도 하나를 이용하여 오브젝트(101)의 동작 패턴을 인식할 수 있다.In this case, the operation pattern recognition unit 120 may recognize the operation pattern of the object 101 by using at least one of the number, occurrence interval, direction, and type of the events output from the light quantity change detection unit 110.

단계(830)에서 동작 모드 제어부(130)는 단계(820)에서 인식한 동작 패턴에 기초하여 디바이스(100)의 동작 모드를 제어할 수 있다.In operation 830, the operation mode controller 130 may control an operation mode of the device 100 based on the operation pattern recognized in operation 820.

구체적으로 동작 모드 제어부(130)는 절전 모드에 대응하는 동작 패턴 또는 정상 모드에 대응하는 동작 패턴 중에서 동작 패턴 인식부(120)가 인식한 동작 패턴과 관련성이 높은 동작 패턴을 식별하고, 식별한 동작 패턴에 대응하는 동작 모드를 실행할 수 있다.
In more detail, the operation mode controller 130 identifies an operation pattern that is highly related to the operation pattern recognized by the operation pattern recognition unit 120 among the operation pattern corresponding to the power saving mode or the normal mode, and identifies the operation pattern. An operation mode corresponding to the pattern can be executed.

도 9는 일실시예에 따른 디바이스의 동작 방법을 도시한 도면이다.9 is a diagram illustrating a method of operating a device, according to an exemplary embodiment.

단계(910)에서 광량 변화 감지부(610)는 영상의 픽셀들 각각에서 오브젝트(601)의 동작과 관련된 광량의 시간적 변화를 감지할 수 있다. In operation 910, the light amount change detection unit 610 may detect a temporal change in light amount related to the operation of the object 601 in each of the pixels of the image.

단계(920)에서 형상 인식부(620)는 단계(910)에서 감지한 광량의 시간적 변화를 사용하여 오브젝트(601)의 형상을 인식할 수 있다. In operation 920, the shape recognition unit 620 may recognize the shape of the object 601 using the temporal change of the amount of light detected in operation 910.

구체적으로, 형상 인식부(620)는 광량 변화 감지부(610)가 감지한 광량의 시간적 변화를 사용하여 오브젝트(601)의 종류를 식별하고, 식별한 오브젝트의 종류를 사용하여 오브젝트(601)의 형상을 인식할 수 있다.In detail, the shape recognizing unit 620 identifies the type of the object 601 using the temporal change of the amount of light detected by the light quantity change detecting unit 610, and uses the type of the identified object to determine the type of the object 601. The shape can be recognized.

또한, 형상 인식부(620)는 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 변화된 오브젝트(601)의 형상을 인식할 수 있다.Also, the shape recognizing unit 620 may recognize the changed shape of the object 601 by using the type of events based on the temporal change of the amount of light.

구체적으로, 형상 인식부(620)는 이벤트가 광량의 증가와 관련된 이벤트인 경우, 오브젝트(601)의 형상에서 이벤트에 대응하는 형상을 삭제할 수 있다. 예를 들어, 형상 인식부(620)는 손가락과 관련된 이벤트가 온(on) 이벤트인 경우, 사용자가 손가락을 쥠으로써 광량이 증가한 것으로 판단하고, 손의 형상에서 손가락을 삭제하여 주먹 쥔 형상으로 인식할 수 있다.In detail, when the event is an event related to an increase in the amount of light, the shape recognition unit 620 may delete a shape corresponding to the event from the shape of the object 601. For example, when the event related to the finger is an on event, the shape recognizing unit 620 determines that the amount of light is increased by the user releasing the finger, and the shape recognition unit 620 deletes the finger from the shape of the hand and recognizes the shape as a clenched fist. can do.

단계(930)에서 동작 모드 제어부(630)는 단계(920)에서 인식한 오브젝트의 형상에 기초하여 디바이스(600)의 동작 모드를 제어할 수 있다.In operation 930, the operation mode controller 630 may control an operation mode of the device 600 based on the shape of the object recognized in operation 920.

구체적으로 동작 모드 제어부(630)는 절전 모드에 대응하는 오브젝트의 형상 또는 정상 모드에 대응하는 오브젝트의 형상 중에서 오브젝트의 형상 인식부(620)가 인식한 오브젝트의 형상과 관련성이 높은 오브젝트의 형상을 식별하고, 식별한 오브젝트의 형상에 대응하는 동작 모드를 실행할 수 있다.
In more detail, the operation mode controller 630 identifies a shape of an object having a high relation with the shape of the object recognized by the shape recognition unit 620 of the object among the shape of the object corresponding to the power saving mode or the shape of the object corresponding to the normal mode. Then, the operation mode corresponding to the shape of the identified object can be executed.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

　

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

　

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

100: 디바이스
110: 광량 변화 감지부
120: 동작 패턴 인식부
130: 동작 모드 제어부100: device
110: light amount change detection unit
120: motion pattern recognition unit
130: operation mode control unit

Claims (27)

오브젝트의 동작과 관련된 광량의 시간적 변화를 감지하는 광량 변화 감지부;
상기 광량의 시간적 변화를 사용하여 오브젝트의 동작 패턴을 인식하는 동작 패턴 인식부; 및
상기 동작 패턴에 기초하여 디바이스의 동작 모드를 제어하는 동작 모드 제어부
를 포함하는 디바이스.A light amount change detector configured to detect a temporal change in light amount related to the operation of the object;
An operation pattern recognition unit recognizing an operation pattern of an object by using the temporal change of the amount of light; And
An operation mode controller configured to control an operation mode of the device based on the operation pattern;
/ RTI > 제1항에 있어서,
상기 동작 패턴 인식부는,
상기 광량의 시간적 변화에 기초한 이벤트들의 발생 횟수를 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스.The method of claim 1,
The operation pattern recognition unit,
And recognizing an operation pattern of the object by using a number of occurrences of events based on a temporal change in the amount of light. 제1항에 있어서,
상기 동작 패턴 인식부는,
상기 광량의 시간적 변화에 기초한 이벤트들의 발생 간격을 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스.The method of claim 1,
The operation pattern recognition unit,
And recognizing an operation pattern of the object by using an interval of occurrence of events based on the temporal change of the amount of light. 제1항에 있어서,
상기 동작 패턴 인식부는,
상기 이벤트들의 발생 횟수가 기준값을 초과한 횟수를 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스.The method of claim 1,
The operation pattern recognition unit,
And recognizing an operation pattern of the object by using the number of occurrences of the events exceeding a reference value. 제1항에 있어서,
상기 동작 패턴 인식부는,
상기 이벤트들의 발생 횟수가 기준값을 초과한 시간의 간격을 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스.The method of claim 1,
The operation pattern recognition unit,
And recognizing an operation pattern of the object by using an interval of time when the number of occurrences of the events exceeds a reference value. 제1항에 있어서,
상기 동작 패턴 인식부는,
상기 광량의 시간적 변화에 기초한 이벤트들의 발생 방향을 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스.The method of claim 1,
The operation pattern recognition unit,
And recognizing an operation pattern of the object by using a generation direction of events based on the temporal change of the amount of light. 제1항에 있어서,
상기 동작 패턴 인식부는,
상기 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스.The method of claim 1,
The operation pattern recognition unit,
And recognizing an operation pattern of the object by using a type of events based on the temporal change of the amount of light. 영상의 픽셀들 각각에서 오브젝트와 관련된 광량의 시간적 변화를 감지하는 광량 변화 감지부;
상기 광량의 시간적 변화를 사용하여 오브젝트의 형상을 인식하는 형상 인식부; 및
상기 오브젝트의 형상에 기초하여 디바이스의 동작 모드를 제어하는 동작 모드 제어부
를 포함하는 디바이스.A light amount change detector configured to detect a temporal change in the amount of light associated with the object in each of the pixels of the image;
A shape recognizing unit which recognizes a shape of an object by using the temporal change of the amount of light; And
An operation mode controller configured to control an operation mode of the device based on the shape of the object
/ RTI > 제8항에 있어서,
상기 형상 인식부는,
상기 광량의 시간적 변화를 사용하여 오브젝트의 종류를 식별하고, 식별한 오브젝트의 종류를 사용하여 오브젝트의 형상을 인식하는 디바이스.9. The method of claim 8,
The shape recognition unit
And identifying the type of the object using the temporal change of the amount of light, and recognizing the shape of the object using the identified type of the object. 제8항에 있어서,
상기 형상 인식부는,
상기 광량의 시각적 변화를 감지한 픽셀들 각각의 위치를 이용하여 오브젝트에서 형상이 변화된 위치를 인식하는 디바이스.9. The method of claim 8,
The shape recognition unit
And recognizing a position where the shape of the object is changed by using a position of each pixel that senses a visual change in the amount of light. 제10항에 있어서,
상기 형상 인식부는,
상기 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 오브젝트의 형상을 인식하는 디바이스.The method of claim 10,
The shape recognition unit
And recognizing a shape of an object using a type of events based on a temporal change in the amount of light. 제11항에 있어서,
상기 형상 인식부는,
상기 이벤트가 상기 광량의 증가와 관련된 이벤트인 경우, 오브젝트의 형상에서 이벤트에 대응하는 형상을 삭제하는 디바이스.12. The method of claim 11,
The shape recognition unit
And deleting the shape corresponding to the event from the shape of the object when the event is an event related to the increase in the amount of light. 제11항에 있어서,
상기 형상 인식부는,
상기 이벤트가 상기 광량의 감소와 관련된 이벤트인 경우, 오브젝트에 이벤트에 대응하는 형상을 추가하는 디바이스.12. The method of claim 11,
The shape recognition unit
And if the event is an event related to the reduction of the amount of light, adding a shape corresponding to the event to the object. 오브젝트의 동작과 관련된 광량의 시간적 변화를 감지하는 단계;
상기 광량의 시간적 변화를 사용하여 오브젝트의 동작 패턴을 인식하는 단계; 및
상기 동작 패턴에 기초하여 디바이스의 동작 모드를 제어하는 단계
를 포함하는 디바이스 동작 방법.Detecting a temporal change in the amount of light associated with the operation of the object;
Recognizing an operation pattern of an object using the temporal change of the amount of light; And
Controlling an operation mode of a device based on the operation pattern
Device operating method comprising a. 제14항에 있어서,
상기 동작 패턴을 인식하는 단계는,
상기 광량의 시간적 변화에 기초한 이벤트들의 발생 횟수를 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스 동작 방법.15. The method of claim 14,
Recognizing the operation pattern,
And a method of operating an object based on a number of occurrences of events based on a temporal change in the amount of light. 제14항에 있어서,
상기 동작 패턴을 인식하는 단계는,
상기 광량의 시간적 변화에 기초한 이벤트들의 발생 간격을 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스 동작 방법.15. The method of claim 14,
Recognizing the operation pattern,
Device operation method of recognizing an operation pattern of an object by using an interval of occurrence of events based on a temporal change in the amount of light. 제14항에 있어서,
상기 동작 패턴을 인식하는 단계는,
상기 이벤트들의 발생 횟수가 사용자의 고의성을 확인하기 위한 기준값을 초과한 횟수를 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스 동작 방법.15. The method of claim 14,
Recognizing the operation pattern,
And recognizing an operation pattern of the object by using the number of occurrences of the events exceeding a reference value for confirming the intention of the user. 제14항에 있어서,
상기 동작 패턴을 인식하는 단계는,
상기 이벤트들의 발생 횟수가 사용자의 고의성을 확인하기 위한 기준값을 초과한 시간의 간격을 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스 동작 방법.15. The method of claim 14,
Recognizing the operation pattern,
And recognizing an operation pattern of an object using a time interval in which the occurrence number of the events exceeds a reference value for confirming the intention of the user. 제14항에 있어서,
상기 동작 패턴을 인식하는 단계는,
상기 광량의 시간적 변화에 기초한 이벤트들의 발생 방향을 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스 동작 방법.15. The method of claim 14,
Recognizing the operation pattern,
And recognizing a motion pattern of an object by using a generation direction of events based on the temporal change of the amount of light. 제14항에 있어서,
상기 동작 패턴을 인식하는 단계는,
상기 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 오브젝트의 동작 패턴을 인식하는 디바이스 동작 방법.15. The method of claim 14,
Recognizing the operation pattern,
Device operation method for recognizing an operation pattern of an object using a type of events based on a temporal change in the amount of light. 영상의 픽셀들 각각에서 오브젝트와 관련된 광량의 시간적 변화를 감지하는 단계;
상기 광량의 시간적 변화를 사용하여 오브젝트의 형상을 인식하는 단계; 및
상기 오브젝트의 형상에 기초하여 디바이스 동작 방법의 동작 모드를 제어하는 단계
를 포함하는 디바이스 동작 방법.Detecting a temporal change in the amount of light associated with the object in each of the pixels of the image;
Recognizing a shape of an object using the temporal change of the amount of light; And
Controlling an operation mode of a device operating method based on a shape of the object
Device operating method comprising a. 제21항에 있어서,
상기 오브젝트의 형상을 인식하는 단계는,
상기 광량의 시간적 변화를 사용하여 오브젝트의 종류를 식별하고, 식별한 오브젝트의 종류를 사용하여 오브젝트의 형상을 인식하는 디바이스 동작 방법.The method of claim 21,
Recognizing the shape of the object,
And identifying the type of the object using the temporal change in the amount of light, and recognizing the shape of the object using the identified type of the object. 제21항에 있어서,
상기 오브젝트의 형상을 인식하는 단계는,
상기 광량의 시각적 변화를 감지한 픽셀들 각각의 위치를 이용하여 오브젝트에서 형상이 변화된 위치를 인식하는 디바이스 동작 방법.The method of claim 21,
Recognizing the shape of the object,
And recognizing a position where a shape is changed in an object by using a position of each pixel that senses a visual change in the amount of light. 제23항에 있어서,
상기 오브젝트의 형상을 인식하는 단계는,
상기 광량의 시간적 변화에 기초한 이벤트들의 종류를 이용하여 오브젝트의 형상을 인식하는 디바이스 동작 방법.24. The method of claim 23,
Recognizing the shape of the object,
And recognizing a shape of an object using a type of events based on a temporal change in the amount of light. 제24항에 있어서,
상기 오브젝트의 형상을 인식하는 단계는,
상기 이벤트가 상기 광량의 증가와 관련된 이벤트인 경우, 오브젝트의 형상에서 이벤트에 대응하는 형상을 삭제하는 디바이스 동작 방법.25. The method of claim 24,
Recognizing the shape of the object,
And deleting the shape corresponding to the event from the shape of the object when the event is an event related to the increase in the amount of light. 제24항에 있어서,
상기 오브젝트의 형상을 인식하는 단계는,
상기 이벤트가 상기 광량의 감소와 관련된 이벤트인 경우, 오브젝트에 이벤트에 대응하는 형상을 추가하는 디바이스 동작 방법.25. The method of claim 24,
Recognizing the shape of the object,
And adding a shape corresponding to the event to the object when the event is an event related to the reduction of the amount of light. 제14항 내지 제26항 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 컴퓨터에서 판독 가능한 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method of any one of claims 14 to 26.
KR1020130051855A 2012-07-18 2013-05-08 Apparatus and method for controlling operation mode of device using gesture cognition Withdrawn KR20140011921A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/944,189 US20140022158A1 (en) 2012-07-18 2013-07-17 Apparatus and method for controlling operation mode of device using gesture recognition
EP13176990.3A EP2687948A3 (en) 2012-07-18 2013-07-18 Apparatus and method for controlling operation mode of device using gesture recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20120078409 2012-07-18
KR1020120078409 2012-07-18

Publications (1)

Publication Number Publication Date
KR20140011921A true KR20140011921A (en) 2014-01-29

Family

ID=50143980

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130051855A Withdrawn KR20140011921A (en) 2012-07-18 2013-05-08 Apparatus and method for controlling operation mode of device using gesture cognition

Country Status (1)

Country Link
KR (1) KR20140011921A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020175A (en) * 2014-08-13 2016-02-23 가온미디어 주식회사 doppler shift based method for providing power management, and computer-readable recording medium for the same
KR20160058449A (en) * 2014-11-17 2016-05-25 삼성전자주식회사 Method and device to detect movement of object based on event
KR20160058427A (en) * 2014-11-17 2016-05-25 삼성전자주식회사 Method and device for analyzing motion

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160020175A (en) * 2014-08-13 2016-02-23 가온미디어 주식회사 doppler shift based method for providing power management, and computer-readable recording medium for the same
KR20160058449A (en) * 2014-11-17 2016-05-25 삼성전자주식회사 Method and device to detect movement of object based on event
KR20160058427A (en) * 2014-11-17 2016-05-25 삼성전자주식회사 Method and device for analyzing motion

Similar Documents

Publication Publication Date Title
CN105308538B (en) Systems and methods for performing device actions based on detected gestures
CN104007814B (en) For using sensor identification close to the device and method of movement
JP5336713B2 (en) Multi-contact position change sensing device, method, and mobile device using the same
EP2839357B1 (en) Rapid gesture re-engagement
US9122347B2 (en) Information processing apparatus, information processing method, and program storage medium
JP6144759B2 (en) High-speed pause detector
TWI659331B (en) Screen capture method and device for smart terminal
TWI514248B (en) Method for preventing from accidentally triggering edge swipe gesture and gesture triggering
US20120256963A1 (en) Information processing apparatus, information processing method, and computer-readable storage medium
US9746929B2 (en) Gesture recognition using gesture elements
KR101257303B1 (en) Method and apparatus of recognizing gesture with untouched way
CN105849673A (en) Human-to-computer natural three-dimensional hand gesture based navigation method
KR20120058996A (en) Apparatus and Method for Controlling Object
JP5639489B2 (en) Information processing apparatus, control method therefor, program, and storage medium
JP2015022624A (en) Information processing apparatus, control method thereof, computer program, and storage medium
US10088943B2 (en) Touch control device and operating method thereof
KR20140011921A (en) Apparatus and method for controlling operation mode of device using gesture cognition
JP5486977B2 (en) Coordinate input device and program
WO2013114499A1 (en) Input device, input control method, and input control program
EP2687948A2 (en) Apparatus and method for controlling operation mode of device using gesture recognition
TWI390437B (en) Method for executing instructions in a capacitive touch panel
KR101468970B1 (en) Method and apparatus for sliding objects across a touch-screen display
KR101496017B1 (en) Touch screen controlling method in mobile device, and mobile device threof
KR20140080814A (en) System and Method for controlling user terminal using magnetic field, means and user terminal for the same
CN104679230A (en) Non-contact information inputting method and terminal

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20130508

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid