[go: up one dir, main page]

KR101429581B1 - 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말 - Google Patents

사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말 Download PDF

Info

Publication number
KR101429581B1
KR101429581B1 KR1020120042719A KR20120042719A KR101429581B1 KR 101429581 B1 KR101429581 B1 KR 101429581B1 KR 1020120042719 A KR1020120042719 A KR 1020120042719A KR 20120042719 A KR20120042719 A KR 20120042719A KR 101429581 B1 KR101429581 B1 KR 101429581B1
Authority
KR
South Korea
Prior art keywords
displacement
input signal
pointing device
screen
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020120042719A
Other languages
English (en)
Other versions
KR20130119709A (ko
Inventor
박승용
서종철
조성미
김태기
한풍석
Original Assignee
크루셜텍 (주)
크루셜소프트 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 크루셜텍 (주), 크루셜소프트 주식회사 filed Critical 크루셜텍 (주)
Priority to KR1020120042719A priority Critical patent/KR101429581B1/ko
Publication of KR20130119709A publication Critical patent/KR20130119709A/ko
Application granted granted Critical
Publication of KR101429581B1 publication Critical patent/KR101429581B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0308—Detection arrangements using opto-electronic means comprising a plurality of distinctive and separately oriented light emitters or reflectors associated to the pointing device, e.g. remote cursor controller with distinct and separately oriented LEDs at the tip whose radiations are captured by a photo-detector associated to the screen
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04806—Zoom, i.e. interaction techniques or interactors for controlling the zooming operation

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

본 발명의 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법은, 사용자 제스쳐를 검출하는 하나 이상의 입력 장치로부터 화면을 제어하기 위한 제1입력 신호와 제2입력 신호를 입력받는 단계; 및 상기 제1입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제1변위로 연산하고, 상기 제2입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제2변위로 연산하는 단계; 및 상기 제1변위와 상기 제2변위의 조합에 근거하여 기 정의된 화면 제어 기능을 실행하는 단계를 포함한다.

Description

사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말{User interface controlling method by detecting user's gesture and terminal therefor}
본 발명은 사용자 인터페이스를 제어하기 위한 방법에 관한 것이다. 보다 상세하게는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말에 관한 것이다.
일반적인 휴대용 전자기기의 편리한 사용을 위해 마우스 등과 같은 포인팅 장치가 사용자 인터페이스로 적용되고 있으며, 근래에는 감지광을 출사하고 피사체인 손가락의 움직임에 따라 변화되는 광 신호를 감지함으로써 화면상의 포인터를 움직이거나 사용자가 원하는 정보 또는 명령을 입력받는 포인팅 장치가 개발되어 많은 휴대용 전자기기에 적용되고 있다.
한편, 현재 출시되고 있는 대부분의 노트북에는 데스크탑 PC와 동일한 마우스 환경을 사용자에게 제공하기 위해 자판의 하단부에 터치패드(18)가 탑재된다(도 1 참조).
근래 출시되는 노트북에 탑재된 터치패드들은 포인팅 기능뿐만 아니라, 사용자가 멀티터치를 통해 다양한 방식으로 화면을 제어할 수 있는 기능들을 제공하고 있다. 예를 들어, 태블릿 PC에서와 같이 두 손가락을 이용하여 모니터에 표시된 화면을 확대 또는 축소시킬 수 있게 하거나, 페이지를 상하 스크롤(Scroll)할 수 있게 하는 기능들을 제공하고 있다.
종래 멀티 터치 기능을 제공하는 터치패드의 경우 사용자로 하여금 다양한 화면 제어를 손가락을 이용하여 손쉽게 직관적으로 수행할 수 있도록 한다는 점에서 이점이 있다.
하지만, 터치패드의 사이즈로 인해, 노트북 상에 일정면적 이상의 탑재 공간을 필요로 할 뿐만 아니라, 단말의 형태나 사용자의 사용 행태 등을 고려한 위치에 적응적으로 탑재하는데 제약이 따른다.
또한, 터치패드의 크기로 인해 대부분 키보드 하단에 위치할 수밖에 없고, 이로 인해 키보드 위주의 작업을 하던 중 터치패드를 사용하기 위해서는 손이 반복적으로 키보드 하단으로 내려가야 하는 불편함이 따른다.
본 발명은 상기한 바와 같은 문제점을 해결하기 위한 것으로서,
사용자가 복수 개의 포인팅 디바이스를 이용하여 화면 상의 사용자 인터페이스(User Interface)를 보다 편리하게 제어할 수 있도록 하는 것을 목적으로 한다.
나아가, 복수 개의 포인팅 디바이스를 키보드 중앙부에 배치해줌으로써, 사용자가 키보드를 사용하다가 터치패드를 사용하기 위해 손을 키보드 하단부로 반복적으로 이동하는데 따른 불편함을 해소하는 것을 목적으로 한다.
본 발명의 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법은, 사용자 제스쳐를 검출하는 하나 이상의 입력 장치로부터 화면을 제어하기 위한 제1입력 신호와 제2입력 신호를 입력받는 단계; 상기 제1입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제1변위로 연산하고, 상기 제2입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제2변위로 연산하는 단계; 및 상기 제1변위와 상기 제2변위의 조합에 근거하여 기 정의된 화면 제어 기능을 실행하는 단계를 포함한다.
본 발명은 다음과 같은 효과가 있다.
종래 멀티 터치 기능을 제공하는 터치패드와 기본적으로 동일한 사용자 인터페이스 제어 기능을 소형화된 사이즈를 갖는 복수 개의 포인팅 디바이스를 이용하여 구현할 수가 있다.
때문에, 종래 터치패드와 같이 탑재 공간에 크게 구애를 받지 않을 뿐만 아니라, 단말의 종류, 형태, 사용자의 사용 행태 등에 따라 위치를 달리하여 적응적으로 탑재하는 것이 가능하다.
또한, 터치패드와 비교하여 상대적으로 적은 비용으로 동일한 입력 인터페이스를 구현할 수 있는 효과가 있다.
또한, 사용자는 복수 개의 포인팅 디바이스를 이용해 프로그램 전환, 프로그램 제어, 화면 확대/축소, 영역 지정 등 화면 상에 표시되는 사용자 인터페이스를 편리하게 제어할 수 있는 효과가 있다.
도 1은 종래 노트북에 터치패드가 장착된 일 예를 나타낸 예시도이다.
도 2는 본 발명의 실시예에 따른 단말을 설명하기 위한 예시도이다.
도 3은 본 발명의 실시예에 따른 단말의 구성을 설명하기 위한 블럭도이다.
도 4는 본 발명의 일 실시예에 따른 사용자 인터페이스 제어 방법을 설명하기 위한 흐름도이다.
도 5 내지 도 11은 본 발명의 실시예에 따른 사용자 인터페이스 제어 방법을 설명하기 위한 예시도이다.
도 12 내지 도 14는 본 발명의 다른 실시예에 따른 사용자 인터페이스 제어 방법을 설명하기 위한 예시도이다.
도 15 내지 도 18은 본 발명의 또 다른 실시예에 따른 사용자 인터페이스 제어하는 방법을 설명하기 위한 예시도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 그 중간에 다른 시스템을 두고 연결되어 있는 경우도 포함한다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다.
도 2는 본 발명의 실시예에 따른 단말을 설명하기 위한 예시도이고, 도 3은 본 발명의 실시예에 따른 단말의 구성을 설명하기 위한 블럭도이다. 본 발명에 따른 단말은 노트북, 태블릿 PC, 스마트폰, E-Book 등이 될 수 있다.
도 2및 도 3을 참조하면, 본 발명에 따른 휴대 단말(100)은 제1포인팅 디바이스(101), 제2포인팅 디바이스(103), 통신부(105), 표시부(107), 메모리(109), 및 제어부(111)를 구비한다.
제1포인팅 디바이스(101)는 휴대 단말의 화면 상의 커서(cursor) 또는 포인터(Pointer)를 손가락의 움직임을 통해 생성 및 이동시켜 PC(Personal Computer)에서와 동일한 포인팅 기술이 구현되도록 한다. 또한, 제1포인팅 디바이스(101)는 화면 상에 표시된 내용이 상하 또는 좌우로 움직일 수 있게 하는 스크롤 기능이 구현되도록 한다.
예를 들어, 사용자가 제1포인팅 디바이스(101) 위에 손가락을 올린 후 손가락을 움직이면 움직인 방향에 따라 화면 상의 커서(또는 포인터)가 이동한다. 이때, 제1포인팅 디바이스(101)는 손가락의 물리적 접촉을 감지하거나 손가락에 반사되는 광을 감지할 수 있으며, 그에 따른 움직임 감지신호를 생성할 수 있다.
여기서, '손가락'은 신체 다른 부위로 이해될 수 있으며, 굳이 신체가 아니라도 제1포인팅 디바이스(101)가 움직임을 파악 가능하게 할 수 있는 다른 대체 가능한 물체가 될 수 있다.
이때, 제1포인팅 디바이스(101)는 광학 트랙 패드(OTP, Optical Track Pad)로 구현될 수 있으나, 그 밖에 광 조이스틱(Optical Joystick), 홀 센서, 지문인식 센서, 압력 센서 등을 포함하는 형태로 다양하게 구현될 수 있으며, 사용자의 손가락 누름 동작을 감지할 수 있는 돔 클릭 스위치(Dome click S/W)를 구비할 수 있다.
여기서, 광학 트랙 패드(OTP)는 휴대 단말용 광학 마우스로서, 개인용 컴퓨터에서 쓰는 광 마우스 기능을 모바일 기기에서 구현한 광 포인팅 장치이다. 이러한 광학 터치 패드(OTP)에 대한 기술은 공개된 기술로서, 그에 대한 자세한 설명은 생략하기로 한다.
제2포인팅 디바이스(103)는 제1포인팅 디바이스(101)와 물리적으로 분리된 별도의 입력장치로서, 상기한 제1포인팅 디바이스(101)와 동일한 기능을 수행하는 동일한 구성의 입력 장치이다. 따라서, 이하 중복되는 설명을 생략하기 위해 제2포인팅 디바이스(103)에 대한 상세한 설명은 생략하기로 한다.
한편, 도 2에서는 단말(100)의 키보드 상에 제1포인팅 디바이스(101)가 왼쪽에 위치하고, 제2포인팅 디바이스(103)가 오른쪽에 위치하는 것으로 도시하였지만, 이에 국한되는 것은 아니다.
통신부(105)는 휴대 단말(100)과 기지국 사이의 통신 채널을 형성하고, 필요한 신호를 송수신하는 일련의 통신을 담당한다. 또한, 통신부(105)는 송신되는 신호의 주파수를 상승변환 및 증폭하는 RF 송신부와 수신되는 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신부 등을 포함할 수 있다. 특히, 통신부(105)는 무선 인터넷을 통해 웹 사이트에 접속할 경우 휴대 단말(100)과 기지국과의 통신을 담당한다.
표시부(107)는 LCD, OLED, LED 등의 디스플레이 장치로 구성될 수 있다.
표시부(107)는 휴대 단말(100)에서 이루어지는 일련의 동작상태, 동작결과 및 다수의 정보를 표시하도록 제어부(111)의 제어를 받는다.
메모리(109)는 본 발명의 구현하기 위해 필요한 데이터 및 프로그램을 저장한다.
제어부(111)는 표시부(107)에 표시되는 화면을 제어하기 위해 제1포인팅 디바이스(101)로부터 제1입력 신호와 제2포인팅 디바이스(103)로부터 제2입력 신호가 입력되는 지를 감지한다.
제어부(111)는 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 입력 신호가 감지된 경우, 감지된 입력 신호를 이용하여 기 정의된 화면 제어 기능을 실행한다. 이때, 입력 신호는 손가락 움직임에 대응하는 변위 신호이거나 돔 클릭 스위치의 눌림에 의해 발생된 돔 클릭(Dome click) 신호일 수 있다.
보다 상세하게는, 제어부(111)는 제 1 포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 제1입력 신호와 제2입력 신호가 동시에 감지되는 경우(이때, 제1입력 신호와 제2입력 신호는 변위 신호), 제어부(111)는 제1입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제1변위로 연산하고, 제2입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제2변위로 연산한다. 그리고, 제어부(111)는 상기한 제1변위와 제2변위의 조합에 근거하여 기 정의된 화면 제어 기능을 실행한다.
예를 들어, 제어부(111)는 화면 전환, 홈 페이지 이동, 페이지 스크롤, 줌 인, 줌 아웃, 이전 프로그램 이동, 다음 프로그램 이동, 객체(Object)의 시계방향 회전, 및 객체(Object)의 반시계 방향 회전 중 어느 하나의 화면 제어 기능을 수행한다.
그리고, 제어부(111)는 제 1 포인팅 디바이스(101)로부터 제1입력 신호가 감지된 상태에서 제2포인팅 디바이스(103)로부터 제2입력 신호가 감지되는 경우, 제어부(111)는 상기한 제1변위와 제2변위의 조합에 근거하여 기 정의된 화면 제어 기능을 실행한다. 예를 들어, 제어부(111)는 텍스트 선택, 아이콘 복수 선택, 창 이동 등의 기능을 수행한다.
각각의 화면 제어 기능에 대해서는 후술하는 설명을 통해 보다 상세하게 설명하기로 한다.
한편, 전술한 제어부(111)에서의 화면 제어 기능은 일정시간 동안의 제1변와과 제2변위의 절대값이 각각 설정된 임계변위를 초과하는 경우에만 실행되는 것이 바람직하다. 제1변위와 제2변위가 해당 임계변위를 초과하지 않는 경우, 기 정의된 화면 제어 기능이 수행되지 않도록 해줌으로써, 사용자의 미세한 손가락 움직임으로 인해 오조작이 일어나는 것을 최소화할 수 있다. 즉, 임계변위 이하의 값이 감지될 경우에는 이를 무시함으로써 사용자의 의도와 상관없이 화면 제어가 실행되는 것을 방지할 수 있다.
도 4는 본 발명에 따른 복수의 포인팅 디바이스를 이용하여 화면을 제어하는 방법을 설명하기 위한 흐름도로서, 제1포인팅 디바이스와 제2포인팅 디바이스로부터 제1입력 신호와 제2입력 신호가 감지된 경우를 설명하기 위한 도면이다.
도 4를 참조하면, 제어부는 제1포인팅 디바이스와 제2포인팅 디바이스로부터 제1입력 신호와 제2입력 신호가 동시에 감지되는 지를 판단한다(S110).
S110 단계의 판단 결과, 제1입력 신호와 제2입력 신호가 동시에 감지된 경우, 제어부는 제1입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제1변위로 연산한다(S120). 그리고, 제어부는 제2입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제2변위로 연산한다(S130).
상기한 S120단계와 S130단계는 동시에 수행될 수 있다.
S120단계를 예로 들어 설명하면, 제어부는 제1포인팅 디바이스로부터 제1입력 신호(Δx, Δy)를 일정시간 동안 수신하고, 일정시간 동안 수신한 Δx의 합(절대값)과 Δy의 합(절대값) 중 큰 쪽을 선택하여, 제1포인팅 디바이스에서의 손가락 움직임이 X축 방향인지 Y축 방향인지를 결정한다. 축 방향이 결정되면, 선택된 값이 해당 축 방향의 양의 방향인지 음의 방향인지를 판단하여 제1변위를 산출한다.
S130단계에서는 S120단계와 동일한 방법으로 제2변위를 산출한다.
S120단계와 S130단계를 통해 제1변위와 제2변위가 산출되면, 제어부는 산출된 제1변위와 제2변위가 각각 임계변위를 초과하는 지를 판단한다(S140). 임계변위 이하의 값이 감지될 경우에는 이를 무시함으로써 사용자의 의도와 상관없이 화면 제어가 실행되는 것을 방지할 수 있다.
S140단계에서의 판단 결과, 제1변위와 제2변위가 각각 임계변위를 초과하는 경우에는, 제어부는 제1변위가 제2변위를 이용하여 기 정의된 화면 제어 기능을 수행한다(S150).
이하에서는 도 5 내지 도 11을 참조하여 S150단계에서 수행될 수 있는 화면 제어 기능의 예를 설명하기로 한다.
먼저, 도 5를 참조하면, 화면에 두 개 이상의 프로그램 창(예컨대, 인터넷 브라우져 창과 오피스 프로그램 창)이 실행되고 있다는 가정 하에, 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 동시에 Z축 방향에 대한 변위가 감지[예컨대, 제1포인팅 디바이스와 제2포인팅 디바이스로부터 돔 클릭(Dome click) 신호가 동시에 감지되는 경우]된 상태에서, 제1포인팅 디바이스(101)로부터 X축 음의 방향에 대한 변위가 감지되고 제2포인팅 디바이스(103)로부터 동시에 X축 양의 방향에 대한 변위가 감지되면, 제어부는 화면을 동일한 비율로 나누어 현재 실행 중인 두 개의 창을 화면 상에 표시한다(도 5 참조). 즉, 사용자가 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)를 손가락으로 클릭한 상태에서 상태에서, 양 손가락을 바깥쪽으로 스와이프(Swipe)하는 경우, 화면 분할하여 동일한 크기의 프로그램 창이 표시된다.
다음으로, 도 6을 참조하면, 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 X축 방향에 대해 서로 반대 방향의 변위가 동시에 감지되는 경우, 제어부는 활성화 또는 선택된 객체(이미지, 웹 페이지, 영상, 프로그램 페이지 등)를 해당 변위에 따라 확대 또는 축소시킨다.
예를 들어, 제1포인팅 디바이스(101)로부터 X축 양의 방향에 대한 변위가 감지되고 제2포인팅 디바이스(103)로부터 X축 음의 방향에 대한 변위가 감지되는 경우에는 선택된 객체가 축소되고, 제1포인팅 디바이스(101)로부터 X축 음의 방향에 대한 변위가 감지되고 제2포인팅 디바이스(103)로부터 X축 양의 방향에 대한 변위가 감지되는 경우에는 선택된 객체가 확대된다(도 7 내지 도 9 참조).
그리고, 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 Y축 방향에 대해 서로 반대 방향의 변위가 동시에 감지되는 경우, 제어부는 활성화 또는 선택된 객체(이미지, 웹 페이지, 영상, 프로그램 페이지 등)가 해당 변위에 따라 시계방향 회전 또는 반시계방향 회전하도록 한다.
예를 들어, 제1포인팅 디바이스(101)로부터 Y축 양의 방향에 대한 변위가 감지되고 제2포인팅 디바이스(103)로부터 Y축 음의 방향에 대한 변위가 감지되는 경우에는 선택 또는 활성화된 객체의 시계방향 회전이 수행되고, 제1포인팅 디바이스(101)로부터 Y축 음의 방향에 대한 변위가 감지되고 제2포인팅 디바이스(103)로부터 Y축 양의 방향에 대한 변위가 감지되는 경우에는 선택 또는 활성화된 객체가 반시계방향 회전한다.
다음으로, 도 10을 참조하면, 제어부(111)는 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)으로부터 동시에 X축 음의 방향에 대한 변위가 감지되거나 동시에 X축 양의 방향에 대한 변위가 감지되는 경우, 이전 또는 다음 응용 프로그램으로의 이동이 수행되도록 한다.
예를 들어, 'A','B','C' 응용 프로그램이 현재 실행 중이며, 이중 'A' 응용 프로그램이 활성화되어 있는 상태라고 가정 하에, 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 동시에 X축 음의 방향에 대한 변위가 감지되면, 이전 응용 프로그램('C')으로의 이동이 수행되고, 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 동시에 X축 양의 방향에 대한 변위가 감지되는 경우에는 다음 응용 프로그램('B')으로의 이동이 수행된다.
다음으로, 도 11을 참조하면, 도 11은 마이크로소프트(MS)사의 운영체제인 'Windows 8'에 본 발명이 적용된 경우를 예로 들어 설명하기 위한 도면이다. 운영체제 'Windows 8'은 크게 [Start화면], [All Apps화면], [Desktop 화면]으로 구성된다.
Window 8 운영체제 환경하에서, 제어부(111)는 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)으로부터 동시에 Y축 음의 방향에 대한 변위가 감지되거나 동시에 Y축 양의 방향에 대한 변위가 감지되는 경우, 화면 전환이 순차적으로 수행되도록 한다.
예를 들어, 전환 가능한 화면으로[Start화면-All Apps화면-Desktop화면]이 존재하고, 이중 [Start화면]이 표시된 상태라는 가정하에, 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 동시에 Y축 양의 방향에 대한 변위가 감지되면, 제어부(111)는 [Start화면]에서 [Desktop화면]으로 화면을 전환하고, 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)로부터 동시에 Y축 음의 방향에 대한 변위가 감지되면, 제어부(111)는 [Start화면]에서 [All Apps화면]으로 화면을 전환한다.
한편, 전술한 S120 단계 및 S130단계가 상기한 방식에 국한되는 것은 아니다.
다른 예로, 제1입력 신호(Δx1,Δy1)와 제2입력 신호(Δx2,Δy2)를 각각 벡터로 계산한 값이 이용될 수도 있고, 제1입력 신호(Δx1,Δy1)와 제2입력 신호(Δx2,Δy2)를 각각 특정 좌표값으로 계산한 값이 이용될 수도 있다.
이하에서는, 도 12 내지 도 14을 참조하여 본 발명의 다른 실시예에 따른 화면 제어 방법을 설명하기로 한다. 본 발명의 다른 실시예에서 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)는 PC의 마우스 환경과 동일하게 왼쪽 버튼 클릭과 오른쪽 버튼 클릭을 지원하며, 이를 위해, 제1포인팅 디바이스(101)과 제2포인팅 디바이스(103)는 사용자의 손가락 누름 동작을 감지할 수 있는 돔 클릭 스위치(Dome click S/W)를 각각 구비한다.
먼저, 도 12를 참조하면, 워드 프로그램 또는 텍스트가 표시된 웹 페이지와 같이 선택 가능한 텍스트가 표시된 화면에서, 제어부(111)는, 제1포인팅 디바이스(101)로부터 Z축 방향에 대한 변위가 감지된 상태[즉, 제1포인팅 디바이스(101)가 돔 클릭(Dome click)을 유지하고 있는 상태]에서, 제2포인팅 디바이스(103)로부터 제2입력 신호가 감지되는 경우(이때, 제2입력 신호는 손가락의 Swipe 움직임에 의해 발생된 변위 신호임), 제어부(111)는 제1포인팅 디바이스(101)가 클릭된 화면 상의 지점을 기준으로 제2포인팅 디바이스(103)로부터의 제2입력 신호에 따라, 도 12에서와 같이, 텍스트 영역이 선택되도록 한다. 즉, 제어부(111)는 제1포인팅 디바이스(101)로부터의 돔 클릭 신호에 따라 텍스트 영역의 시작점을 지정하고, 제2포인팅 디바이스(103)로부터의 변위 신호에 따라 상기한 영역을 확대 또는 축소시킨다. 이것은 PC의 마우스 왼쪽 버튼을 클릭한 상태에서, 마우스를 움직여 텍스트를 선택하는 것과 동일한 개념이다.
다음으로, 도 13을 참조하면, 다수 개의 선택 가능한 아이콘이 표시된 바탕화면에서, 제어부(111)는, 제1포인팅 디바이스(101)가 돔 클릭(Dome click)을 유지하고 있는 상태에서, 제2포인팅 디바이스(103)로부터 제2입력 신호가 감지되는 경우(이때, 제2입력 신호는 손가락의 Swipe 움직임에 의해 발생된 변위 신호임), 제어부(111)는 제1포인팅 디바이스(101)가 클릭된 화면 상의 지점을 기준으로 제2포인팅 디바이스(103)로부터의 제2입력 신호에 따라, 도 11에서와 같이, 복수 개의 아이콘들이 선택되도록 한다. 즉, 제어부(111)는 제1포인팅 디바이스(101)로부터의 돔 클릭 신호에 따라 아이콘 선택을 위한 영역의 시작점을 지정하고, 제2포인팅 디바이스(103)로부터의 변위 신호에 따라 상기한 영역을 확대 또는 축소시킨다. 이것은 PC의 마우스 왼쪽 버튼을 클릭한 상태에서, 마우스를 움직여 복수 개의 아이콘들을 선택하는 것과 동일한 개념이다.
다음으로, 도 14를 참조하면, 하나 이상의 프로그램 창이 표시된 화면에서, 제어부(111)는, 화면에 표시된 프로그램 창의 상단부 일정영역에 포인터가 위치한 상태에서 제1포인팅 디바이스(101)로부터 돔 클릭(Dome click) 신호가 감지되면, 제1포인팅 디바이스가 돔 클릭을 유지하고 있는 상태에서 제2포인팅 디바이스(103)로부터 제2입력 신호가 감지되는 지를 판단한다. 제2포인팅 디바이스로부터 제2입력 신호가 감지되면, 제어부(111)는 제2포인팅 디바이스(103)로부터의 제2입력 신호에 따라, 화면 상에 표시된 프로그램 창의 위치를 변경한다. 이것은 프로그램 창의 상단부에 포인터를 위치시킨 다음 PC의 마우스 외쪽 버튼을 클릭한 상태에서, 마우스를 움직여 프로그램 창의 위치를 이동시키는 것과 동일한 개념이다.
도 15 내지 도 18은 제1포인팅 디바이스(101)와 제2포인팅 디바이스(103)를 각각 개별적으로 이용하여 화면 상에 표시된 UI를 제어하는 방법을 설명하기 위한 예시도이다.
먼저, 도 15를 참조하면, 다수 개의 선택 가능한 아이콘이 표시된 바탕화면에서, 제어부(111)는, 제1포인팅 디바이스(101)로부터 입력되는 제1입력 신호에 따라 화면에 표시된 포인터의 위치를 변경시키거나 특정 아이콘에 위치한 아이콘을 선택한다. 즉, 제어부(111)는 제1입력 신호가 변위 신호인 경우에는 그 변위 신호에 따라 화면 상의 포인터를 이동시키고, 제1입력 신호가 돔 클릭 신호인 경우에는 포인터가 위치해 있는 지점의 아이콘을 선택 또는 실행시킨다. 그리고, 제어부(111)는 화면 상의 특정 아이콘이 선택된 상태에서, 제2포인팅 디바이스(103)로부터 돔 클릭 신호가 감지를 되는지를 판단하고, 돔 클릭 신호가 감지될 경우 해당 아이콘을 제어할 수 있는 옵션 창 (PC환경에서 특정 아이콘에 대해 마우스의 오른쪽 버튼 클릭했을 때와 동일)을 화면 상에 표시한다. 이때, 옵션 창이 화면 상에 표시된 상태에서, 사용자는 제2포인팅 디바이스(103)를 상하방향으로 스와이프하여 옵션 창 상에 표시된 제어항목들을 선택적으로 활성화시킬 수 있다.
다음으로, 도 16을 참조하면, 웹 페이지가 표시된 화면에서, 제어부(111)는, 제1포인팅 디바이스(101)로부터 입력되는 제1입력 신호에 따라 화면에 표시된 포인터의 위치를 변경시키거나 실행 가능한 항목을 선택적으로 실행시킨다. 그리고, 제어부(111)는 제2포인팅 디바이스(103)로부터 변위 신호가 감지를 되는지를 판단하고, 변위 신호가 감지될 경우 그 변위 신호에 따라 웹 페이지에 표시된 내용이 상하 또는 좌우로 움직일 수 있게 하는 페이지 스크롤 기능이 구현되도록 한다(PC환경에서 마우스의 휠을 조작했을 때와 동일). 여기서, 페이지 스크롤은 표시부에 표시된 페이지나 데이터를 상하로 이동시키는 행위를 의미한다.
한편, 도 16에서는 웹 페이지 화면을 예로 들어 설명하였으나, 이에 국한되는 것은 아니며, 상하 또는 좌우 스크롤이 가능한 창 또는 프레임을 갖는 다른 어플리케이션 프로그램(예, 오피스 프로그램, 이미지 편집 프로그램 등)에 적용할 수 있음이 자명하다.
다음으로, 도 17을 참조하면, 미디어 재생 프로그램이 실행되고 있는 화면에서, 제어부(111)는 제2포인팅 디바이스(103)로부터 변위 신호가 감지를 되는지를 판단하고, 변위 신호가 감지될 경우 그 변위 신호에 따라 볼륨(Volume)을 증가시키거나 감소시킨다.
다음으로, 도 17을 참조하면, 미디어 재생 프로그램이 실행되고 있는 화면에서, 제어부(111)는 제2포인팅 디바이스(103)로부터 변위 신호가 감지를 되는지를 판단하고, 변위 신호가 감지될 경우 그 변위 신호에 따라 볼륨(Volume)을 증가시키거나 감소시킨다.
다음으로, 도 18을 참조하면, 도 18은 마이크로소프트(MS)사의 운영체제 'Windows 8'의 [Start화면]의 일예이다. 'Windows 8'의 [Start화면]은 서로 다른 색의 타일(Tile) 형태의 메뉴 항목들로 구성되는데, 일반적으로 PC의 마우스 환경에서는 각 메뉴 항목에 포인터를 위치시킨 다음 마우스의 오른쪽 버튼을 클릭하게 되면, 해당 메뉴 항목을 제어할 수 있는 옵션 창(Unpin from Start, Unistall, Smaller 등)이 화면의 하단부에 나타난다.
Windows 8 운영체제 환경하에서, 제어부(111)는 제1포인팅 디바이스(101)로부터 입력되는 제1입력 신호에 따라 화면에 표시된 포인터의 위치를 변경시킨다. 이때, 제어부(111)는, 포인터가 타일 형태의 메뉴 항목을 나타내는 이미지 영역으로 진입하는 경우(즉, 포인터가 상기 이미지 영역 내부에 위치하게 되는 경우) '활성화 모드'로 자동 전환시키고, 포인터가 타일 형태의 메뉴 항목을 나타내는 이미지 영역 외부에 위치하는 경우에만 제1입력 신호에 따라 화면에 표시된 포인터의 위치를 변경시킨다. 여기서, '활성화 모드'는 해당 메뉴 항목이 선택된 상태(즉, 활성화 상태)를 의미하며, 일반적으로 선택된 메뉴 항목은 다른 메뉴 항목과 차별화되어 표시된다. 이때, 특정 메뉴 항목이 활성화되어 있는 상태에서 제2포인팅 디바이스(103)로부터 돔 클릭 신호가 감지되면, 제어부(111)는 해당 메뉴 항목을 제어할 수 있는 옵션 창(Unpin from Start, Uninstall, Smaller 등)이 화면의 하단부에 나타나도록 제어한다.
본 개시의 일 실시예는 컴퓨터 또는 컴퓨터와 같이 CPU, 기록 매체 및 입출력 장치를 포함하는 스마트 통신 장치에 의해 실행가능한 명령어를 프로그램이 기록된 기록 매체의 형태로 제공될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 또는 상기 스마트 장치에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 개시의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍처를 갖는 컴퓨터 또는 스마트 통신 장치를 사용하여 구현될 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 보호 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 휴대 단말 101: 제1포인팅 디바이스
103: 제2포인팅 디바이스 105: 통신부
107: 표시부 109: 메모리
111: 제어부

Claims (12)

  1. 휴대 단말이 사용자 인터페이스를 제어하는 방법에 있어서,
    상기 휴대 단말이, 사용자 제스쳐를 검출하는 하나 이상의 입력 장치로부터 사용자 인터페이스를 제어하기 위한 제1입력 신호와 제2입력 신호를 입력받는 단계;
    상기 휴대 단말이, 상기 제1입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제1변위로 연산하고, 상기 제2입력 신호를 둘 이상의 서로 다른 축 방향 중 어느 한 방향에 대한 제2변위로 연산하는 단계; 및
    상기 휴대 단말이, 상기 제1변위와 상기 제2변위의 조합에 근거하여 기 정의된 화면 제어 기능을 실행하는 단계를 포함하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  2. 청구항 1에 있어서,
    상기 실행하는 단계는,
    상기 제1입력 신호와 상기 제2입력 신호가 동시에 감지된 경우, 상기 화면 제어 기능을 실행하는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  3. 청구항 2에 있어서,
    상기 화면 제어 기능은,
    상기 제1변위와 상기 제2변위의 절대값이 각각 임계변위를 초과하는 경우 실행되는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  4. 청구항 3에 있어서,
    상기 화면 제어 기능은,
    화면 전환, 홈 페이지 이동, 페이지 스크롤, 줌 인, 줌 아웃, 이전 프로그램 이동, 다음 프로그램 이동, 객체의 시계방향 회전, 및 객체의 반시계방향 회전 중 어느 하나인 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  5. 청구항 4에 있어서,
    상기 홈 페이지 이동은,
    상기 제1변위와 상기 제2변위가 모두 z축 음의 방향에 대한 변위인 경우 실행되는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  6. 청구항 4에 있어서,
    상기 페이지 스크롤은,
    상기 제1변위와 상기 제2변위가 모두 y축 양의 방향에 대한 변위이거나 상기 제1변위 및 상기 제2변위가 모두 y축 음의 방향에 대한 변위인 경우 실행되는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  7. 청구항 4에 있어서,
    상기 줌 인 또는 상기 줌 아웃은,
    상기 제1변위와 상기 제2변위가 x축 선상에서 서로 반대 방향의 변위인 경우 실행되는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  8. 청구항 4에 있어서,
    상기 이전 프로그램 이동 또는 상기 다음 프로그램 이동은,
    상기 제1변위와 상기 제2변위가 모두 x축 양의 방향에 대한 변위이거나 상기 제1변위 및 상기 제2변위가 모두 x축 음의 방향에 대한 변위인 경우 실행되는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  9. 청구항 4에 있어서,
    상기 객체의 시계방향 회전 또는 상기 객체의 반시계방향 회전은,
    상기 제1변위와 상기 제2변위가 y축 선상에서 서로 반대 방향의 변위인 경우 실행되는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  10. 청구항 1에 있어서,
    상기 실행하는 단계는,
    상기 제1입력 신호가 감지된 후 기 설정된 시간 내에 상기 제2입력 신호가 감지되는 경우, 상기 화면 제어 기능을 실행하는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  11. 청구항 10에 있어서,
    상기 화면 제어 기능은,
    이전 페이지 이동 또는 다음 페이지 이동 중 어느 하나인 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
  12. 청구항 11에 있어서,
    상기 이전 페이지 이동 또는 다음 페이지 이동은,
    상기 제1변위와 상기 제2변위가 모두 x축 양의 방향에 대한 변위이거나 상기 제1변위 및 상기 제2변위가 모두 x축 음의 방향에 대한 변위인 경우 실행되는 것을 특징으로 하는, 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법.
KR1020120042719A 2012-04-24 2012-04-24 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말 Expired - Fee Related KR101429581B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120042719A KR101429581B1 (ko) 2012-04-24 2012-04-24 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120042719A KR101429581B1 (ko) 2012-04-24 2012-04-24 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말

Publications (2)

Publication Number Publication Date
KR20130119709A KR20130119709A (ko) 2013-11-01
KR101429581B1 true KR101429581B1 (ko) 2014-08-27

Family

ID=49850636

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120042719A Expired - Fee Related KR101429581B1 (ko) 2012-04-24 2012-04-24 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말

Country Status (1)

Country Link
KR (1) KR101429581B1 (ko)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302162A (ja) * 1994-03-10 1995-11-14 Fujitsu Ltd ポインティングデバイス
KR20070064994A (ko) * 2005-12-19 2007-06-22 삼성전자주식회사 컴퓨터 및 그 제어방법
KR20080006493A (ko) * 2006-07-11 2008-01-16 박태운 포인팅 장치를 구비한 키보드
KR20080033824A (ko) * 2006-10-14 2008-04-17 심상정 인체공학적인 포인팅장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07302162A (ja) * 1994-03-10 1995-11-14 Fujitsu Ltd ポインティングデバイス
KR20070064994A (ko) * 2005-12-19 2007-06-22 삼성전자주식회사 컴퓨터 및 그 제어방법
KR20080006493A (ko) * 2006-07-11 2008-01-16 박태운 포인팅 장치를 구비한 키보드
KR20080033824A (ko) * 2006-10-14 2008-04-17 심상정 인체공학적인 포인팅장치

Also Published As

Publication number Publication date
KR20130119709A (ko) 2013-11-01

Similar Documents

Publication Publication Date Title
US8599163B2 (en) Electronic device with dynamically adjusted touch area
KR102120930B1 (ko) 포터블 디바이스의 사용자 입력 방법 및 상기 사용자 입력 방법이 수행되는 포터블 디바이스
EP2533146B1 (en) Apparatus and method for providing web browser interface using gesture in device
AU2010235941B2 (en) Interpreting touch contacts on a touch surface
US9035883B2 (en) Systems and methods for modifying virtual keyboards on a user interface
US8370772B2 (en) Touchpad controlling method and touch device using such method
US9459704B2 (en) Method and apparatus for providing one-handed user interface in mobile device having touch screen
US8456433B2 (en) Signal processing apparatus, signal processing method and selection method of user interface icon for multi-touch panel
KR20120109464A (ko) 사용자 인터페이스
KR101504310B1 (ko) 사용자 단말 및 이의 인터페이싱 방법
CN102253744A (zh) 触控板的控制方法以及应用该方法的触控装置
CN107438817B (zh) 避免接触触控板的表面时的意外指针移动
KR20090015259A (ko) 단말 및 그의 기능 수행 방법
US20100271300A1 (en) Multi-Touch Pad Control Method
EP3433713B1 (en) Selecting first digital input behavior based on presence of a second, concurrent, input
CN105892918A (zh) 一种具有触摸屏的移动终端及其控制方法
KR101429581B1 (ko) 사용자 제스쳐를 검출하여 사용자 인터페이스를 제어하는 방법 및 그 단말
US20130300685A1 (en) Operation method of touch panel
KR101165387B1 (ko) 터치 스크린 및 포인팅 디바이스가 구비된 단말장치의 화면 제어 방법
AU2017219061A1 (en) Interpreting touch contacts on a touch surface
KR20130061871A (ko) 복수의 포인팅 디바이스를 이용하여 화면을 제어하는 방법 및 그 단말기
JP5777934B2 (ja) 情報処理装置、情報処理装置の制御方法、及び制御プログラム
KR20140011611A (ko) 복수의 포인팅 디바이스를 이용하여 화면을 제어하는 방법 및 그 단말기
KR20100083580A (ko) 독립적으로 구동하는 터치스크린과 모니터를 이용한 모바일기기 구동 시스템 및 그 방법
KR20120134469A (ko) 움직임 감지장치를 이용한 휴대 단말의 포토 앨범 이미지 표시 방법 및 장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20170621

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20220807

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20220807

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000