[go: up one dir, main page]

KR101533320B1 - 포인터가 불필요한 3차원 객체 정보 획득 장치 - Google Patents

포인터가 불필요한 3차원 객체 정보 획득 장치 Download PDF

Info

Publication number
KR101533320B1
KR101533320B1 KR1020120042232A KR20120042232A KR101533320B1 KR 101533320 B1 KR101533320 B1 KR 101533320B1 KR 1020120042232 A KR1020120042232 A KR 1020120042232A KR 20120042232 A KR20120042232 A KR 20120042232A KR 101533320 B1 KR101533320 B1 KR 101533320B1
Authority
KR
South Korea
Prior art keywords
dimensional
user
information
coordinate
virtual object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020120042232A
Other languages
English (en)
Other versions
KR20130119233A (ko
Inventor
김석중
Original Assignee
주식회사 브이터치
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 브이터치 filed Critical 주식회사 브이터치
Priority to KR1020120042232A priority Critical patent/KR101533320B1/ko
Priority to CN201380021523.8A priority patent/CN104620201A/zh
Priority to US14/396,384 priority patent/US20150135144A1/en
Priority to PCT/KR2013/003420 priority patent/WO2013162235A1/ko
Publication of KR20130119233A publication Critical patent/KR20130119233A/ko
Application granted granted Critical
Publication of KR101533320B1 publication Critical patent/KR101533320B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 가상터치 장치가 구비된 장소에서 3차원 입체건물과 닿는 면에 위치한 공간상의 좌표에 매칭되어 있는 정보를 획득할 수 있는 가상터치를 이용한 3차원 가상 객체 정보의 획득 장치를 제공하기 위한 것으로서, 3차원 지도 정보와 GPS를 통한 위치 정보를 이용하는 3차원 객체정보 획득 장치에 있어서, 사용자 신체의 3차원 좌표 데이터를 산출하여 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와, 상기 3차원 지도 정보 및 상기 GPS를 통한 위치 정보를 상기 3차원 좌표 산출부로부터 추출한 제 1 공간좌표 및 제 2 공간좌표와 매칭시켜, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 가상 객체 접점 좌표 데이터에 속하는 가상 객체(위치)을 추출하고, 추출된 가상 객체 관련 정보를 사용자 단말기 또는 상기 3차원 가상 객체 정보 획득장치의 디스플레이부로 제공하는 공간 위치 매칭부를 포함하여 구성되는데 있다.

Description

포인터가 불필요한 3차원 객체 정보 획득 장치{Apparatus for acquiring 3 dimension object information without pointer}
본 발명은 3차원 공간상의 좌표에 매칭되어 있는 3차원 가상 객체 정보를 획득하는 장치에 관한 것으로, 특히 포인터가 불필요한 가상 터치 방식을 이용하여 3차원 객체 정보를 획득할 수 있는 장치에 관한 것이다.
본 발명은 종래 터치패널 기술(무포인터)과 디스플레이의 포인터 기술(유포인터)의 비교에서 출발한다. 일반적으로 사용되는 전자기기의 사용수단중의 하나로 터치패널 기술이 많이 사용되고 있다. 이러한 터치패널 기술은 기존 마우스로 조작 가능한 컴퓨터, 스마트TV 등의 전자기기와 비교할 때, 디스플레이에 포인터를 표시할 필요가 없다는 장점이 있다. 즉, 사용자는 전자기기 조작을 위해 포인터(컴퓨터의 커서)를 해당 위치(예, 프로그램 아이콘)까지 이동시킬 필요 없이, 손가락을 직접 아이콘 위로 이동한 후 터치하여 동작을 수행한다. 즉, 이러한 터치패널 기술에서는 기존 전자기기 제어수단으로 필수적인 "포인터 생성 및 이동단계"가 생략되어 전자기기의 빠르고 직관적인 조작이 가능하다.
본 발명은 위와 같은 터치패널 기술의 효과(직관적인 인터페이스)를 원격에서도 구현할 수 있는 "눈과 손끝을 이용한 터치(이하 "가상터치"라고 함)" 방식에 기반을 두고 있으며, "눈과 손끝을 이용한 터치" 방식을 채택하여 3차원 가상 객체 정보를 획득하는 장치에 대한 것이다. 최근 통신기술과 IT기술의 발달로 고속 및 대용량의 데이터 전송이 유선 뿐만 아니라 무선통신에서도 가능해지고 있다.
이와 같은 이동통신 단말기는 세대를 거듭할수록 많은 정보량을 더 짧은 시간에 송수신할 수 있고, 다양한 기능이 부가되고 있다. 더욱이 UI(User Interface) 기능은 사용자 중심의 편의성을 향상시키고 있다. 또한, 스마트폰(Smart Phone)이나 태블릿 PC(휴대용 단말기)가 대세로 자리매김하고 있어 더더욱 사용자 중심의 편의성 위주로 다가가고 있는 실정이다. 따라서 이러한 휴대용 단말기의 다양한 콘텐츠(Contents)의 제공은 사용자 요구 및 수요에 부합하여 많은 개발과 적용이 이루어지고 있다. 그리고 최근에는 휴대용 단말기를 통해 지역의 정보를 얻을 수 있는 주변 상점정보 모바일 서비스를 개발하여 적용되고 있다. 이는 휴대용 단말기 등 다양한 모바일 기기들을 통해 받을 수 있는 서비스이다. 그 대표적으로는 지역 상점을 대상으로 상점 입구에 태그를 설치하고, 사용자들은 태그에 휴대전화를 대면 상점의 판매 물품 및 음식, 가격 등 다양한 정보를 모바일 서비스 받을 수 있도록 제공하거나, 또는 사용자가 거리를 이동하면서 상점의 간판이나 건물 등을 촬영하면, 촬영된 영상 정보 및 휴대용 단말기에 구성된 GPS를 통한 현재의 위치정보를 통해 해당 건물이나 상점을 파악하여 이에 따른 다양한 정보를 받을 수 있도록 제공한다.
그러나 이러한 모바일 서비스의 경우는 사용자가 반드시 해당 상점이나 건물로 이동하여야만 하며, 또한 상점에 설치되어 있는 태그를 읽거나, 또는 해당 상점이나 건물을 촬영하여야만 이에 상응하는 다양한 정보를 제공하는 모바일 서비스를 제공받을 수 있게 된다. 따라서 사용자는 자신이 원하는 상점이나 건물의 정보를 획득하기 위해서는 반드시 그 상점이나 건물의 근처까지 접근해야만 할 뿐만 아니라 태그를 읽거나 카메라를 통해 촬영을 해야만 하는 번거로움이 발생되는 문제점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위해 안출한 것으로서, 눈과 손끝을 이용한 터치 장치가 구비된 장소에서 원격에 떨어져 있는 3차원 입체건물과 닿는 면에 위치한 공간상의 좌표에 매칭되어 있는 가상 객체 정보를 획득할 수 있는 눈과 손끝을 이용한 터치를 이용한 3차원 객체 정보의 획득 장치를 제공하는데 그 목적이 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 3차원 객체 정보의 획득 장치의 특징은 3차원 지도 정보와 GPS를 통한 위치 정보를 이용하는 3차원 가상 객체 정보 획득 장치에 있어서, 사용자 신체의 3차원 좌표 데이터를 산출하여 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와, 상기 3차원 지도 정보 및 상기 GPS를 통한 위치 정보를 상기 3차원 좌표 산출부로부터 추출한 제 1 공간좌표 및 제 2 공간좌표와 매칭시켜, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출하는 터치 위치 산출부와, 상기 터치 위치 산출부에서 산출된 가상 객체 접점 좌표 데이터에 속하는 가상 객체(위치)을 추출하고, 추출된 가상 객체 관련 정보를 사용자 단말기 또는 상기 3차원 가상 객체 정보 획득장치의 디스플레이부로 제공하는 공간 위치 매칭부를 포함하여 구성되는데 있다.
바람직하게 상기 3차원 지도 정보는 유, 무선 네트워크로 연결되는 외부의 3차원 지리 정보 제공 서버로부터 제공되는 것을 특징으로 한다.
바람직하게 상기 3차원 지도 정보는 3차원 가상 객체 정보 획득 장치 내부에 저장되어 있는 것을 특징으로 한다.
바람직하게 상기 가상 객체 관련 정보는 건물명, 지번, 상호, 홍보 문구, 서비스 문구, 링크 중 적어도 하나 이상을 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와, 상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 광원과 산광기로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리와, 이미지센서 및 렌즈로 구성되어, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부와, 상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 한다.
바람직하게 상기 3차원 좌표 산출부는 2개 이상으로 서로 다른 위치에 배치되도록 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.
바람직하게 상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락 끝의 3차원 좌표들이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 한다.
이상에서 설명한 바와 같은 본 발명에 따른 포인터가 불필요한 3차원 객체 정보 획득 장치는 다음과 같은 효과가 있다.
첫째, 가상 터치 장치 설치 장소로부터 원격에 떨어져 있는 3차원 공간에 위치하는 물건, 건물 및 상점의 선택이 가능하다. 이에 따라 사용자는 해당 상점이나 건물에 접근할 필요 없이 원격에서 편리하게 해당 상점이나 건물 관련 가상 객체 정보를 획득할 수 있는 효과가 있다.
둘째, 가상터치 장치가 구비된 가상 터치 장치 설치 장소라면 실내외를 막론하고 3차원 가상 객체 정보 획득 장치의 사용이 가능하다. 도 1에서는 가상 터치 장치 설치 장소로서 실내의 공간을 도시하고 있으나 본 발명의 3차원 가상 객체 정보 획득 장치는 놀이공원, 동물원, 식물원 등 실외에서도 가상터치 장치를 설치할 수 있는 곳이라면 어디에서든 구현이 가능하다.
셋째, 본 발명은 광고분야 및 교육분야에 적용이 가능하다. 본 발명에서 3차원 지도 정보의 3차원 좌표에 대응되는 3차원 가상 객체 정보의 내용은 광고가 될 수 있다. 따라서 가상 객체에 대응되도록 해당 상점의 광고를 게재하는 방법으로 사용자에게 광고를 제공할 수 있다. 또한, 본 발명은 교육분야에 적용할 수도 있다. 예를 들어 가상 터치 장치가 구비된 박물관의 전시실에 전시중인 3차원 좌표를 가지는 유물(가상 객체)을 사용자가 선택할 경우 해당 유물 관련 정보(가상 객체 정보)를 사용자 단말기 또는 3차원 가상 객체 정보 획득 장치의 디스플레이에 표시할 수 있어 교육적 효과를 가져올 수 있다. 이외에도 다양한 분야에서의 적용이 가능하다.
도 1 은 본 발명의 실시예에 따른 가상터치를 이용한 3차원 객체 정보 획득 장치를 나타낸 구성도
도 2 는 도 1에서 3차원 좌표 추출 방법 중 광학식 삼각측량법을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도
도 3 은 도 1에서 3차원 좌표 추출 방법 중 구조광 방식을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도
도 4 는 본 발명의 실시예에 따른 포인터가 불필요한 3차원 가상 객체 정보 획득 방법을 설명하기 위한 흐름도
본 발명의 다른 목적, 특성 및 이점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
본 발명에 따른 포인터가 불필요한 3차원 객체 정보 획득 장치의 바람직한 실시예에 대하여 첨부한 도면을 참조하여 설명하면 다음과 같다. 그러나 본 발명은 이하에서 개시되는 실시예에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예는 본 발명의 개시가 완전하도록하며 통상의 지식을 가진자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 실시예에 따른 포인터가 불필요한 3차원 객체 정보 획득 장치를 나타낸 구성도이다.
도 1과 같이, 3차원 객체정보 획득 장치는 카메라(10)를 통해 촬영된 영상의 사용자 신체를 이용하여 3차원 좌표 데이터를 산출하고 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부(100)와, 3차원 지도 정보 및 GPS(Global Positioning System)를 통한 위치 정보를 3차원 좌표 산출부(100)로부터 추출한 제 1 공간좌표(B) 및 제 2 공간좌표(A)와 매칭시켜, 상기 제 1 공간좌표(B) 및 제 2 공간좌표(A)를 서로 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터(C)를 산출하는 터치 위치 산출부(200)와, 터치 위치 산출부(200)에서 산출된 가상 객체 접점 좌표 데이터(C)가 속하는 가상 객체(예: A건물 301호에 입주한 업체)을 추출하고, 추출된 가상 객체에 부여된 해당 가상 객체 관련 정보를 사용자 단말기(20) 또는 상기 3차원 객체정보 획득장치의 디스플레이부(미도시)로 제공하는 공간 위치 매칭부(300)를 포함한다. 즉, 상기 사용자 단말기(20)로는 사용자가 소지하는 휴대전화가 일반적이다. 본 발명의 일 실시예에서는 상기 3차원 가상 객체 정보 획득 장치 자체에 구비된 디스플레이부(미도시)로 관련 정보를 제공할 수도 있다.
여기서 "가상 객체"으로는 건물 전체, 건물에 위치한 회사나 상점 등이 될 것이나 특정한 공간을 차지하는 물건도 가상 객체의 대상이 될 수 있다. 예를 들면 미리 입력된 3차원 지도 정보 및 GPS 위치 정보를 가지는 물건으로 박물관의 유물이나 전시실의 작품들은 가상 객체이 될 수 있다. 따라서 사용자가 포인팅하는 유물이나 작품들에 대한 가상 객체 관련 정보를 사용자에게 제공할 수 있다.
또한, "가상 객체 관련 정보"는 "가상 객체"에 부여된 정보를 말한다. 가상 객체에 가상 객체 관련 정보를 부여하는 방법은 일반적인 데이터베이스 관련 기술로 본 발명이 속하는 기술분야의 당업자가 용이하게 알 수 있고 구현이 가능한 것들이므로 이에 대한 설명은 생략하기로 한다. 가상 객체 관련 정보는 회사의 상호, 회사 주소, 업종 등이 될 수도 있고, 회사의 광고가 실릴 수 있다. 따라서 본 발명에 따르는 3차원 가상 객체 정보 획득 장치는 광고 시스템으로 사용될 수 있는 것이다.
이때, 3차원 지도 정보는 유, 무선 네트워크로 연결되는 외부의 3차원 지도 정보 제공 서버(400)로부터 제공되거나, 또는 3차원 객체정보 획득 장치 내부의 저장부(미도시)에 저장되어 있다. 또한 상기 저장부(미도시)는 3차원 지도 및 가상 객체 관련 정보와, 카메라를 통해 촬영된 촬영영상 정보와, GPS를 통해 검출된 위치정보와, 사용자 단말기(20) 정보 등을 저장한다.
상기 3차원 좌표 산출부(100)는 사용자가 원격에서 가상터치를 이용하여 선택 조작을 수행하면, 카메라에서 촬영된 사용자의 영상을 기반으로 3차원 좌표 추출 방법을 이용하여 사용자 신체의 적어도 2개의 공간 좌표(A, B)를 산출한다. 이때, 상기 3차원 좌표 추출 방법으로는 광학적 삼각측량법, 구조광 방식, 시간지연측정법(Time of Flight) 등 다수 있으며(현재 3차원 좌표 산출방식과 관련하여 정확한 분류 방식이 확립되어 있지 않아 서로 중복되어 포함되는 방식이 있을 수 있음), 사용자 신체의 3차원 좌표를 추출할 수 있는 어떠한 방식 또는 장치도 적용이 가능하다.
도 2 는 도 1에서 3차원 좌표 추출 방법 중 광학식 삼각측량법을 위한 3차원 좌표 산출부의 구성을 나타낸 블록도이다. 도 2와 같이, 광학식 삼각측량법을 위한 3차원 좌표 산출부(100)는 영상 획득부(110)와, 공간좌표 산출부(120)를 포함한다.
상기 영상 획득부(110)는 일종의 카메라 모듈로서, 영상을 검출하여 전기적인 이미지 신호로 변환하는 CCD 또는 CMOS와 같은 서로 다른 위치에 배치되는 2개 이상의 이미지 센서(111)(112)로 구성되어 각기 다른 각도에서 사용자 신체를 촬영한다. 그리고 상기 공간좌표 산출부(120)는 영상 획득부(110)로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출한다.
이처럼, 광학식 삼각측량법은 촬영한 영상 간에 대응되는 특징점들에 광학적인 삼각 측량법을 적용하여 3차원 정보를 획득할 수 있다. 삼각법을 적용하여 3차원 좌표를 추출하는 각종 관련 기법으로 카메라 자동보정(camera self calibration) 기법, Harris의 코너 추출 방법, SIFT 기법, RANSAC 기법, Tsai 기법 등이 흔히 채용된다.
도 3 은 또 다른 실시예로서 구조광 방식을 채용하는 3차원 좌표 산출부의 구성을 나타낸 블록도이다. 도 3과 같이, 구조광 방식을 위한 3차원 좌표 산출부(100)는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 방법으로, 광원(131)과 산광기(132)로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리(130)와, 이미지센서(121) 및 렌즈(122)로 구성되어, 상기 조명어셈블리(130)에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부(140)와, 상기 영상 획득부(140)에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부(150)를 포함한다.
3차원 좌표 산출 기법들은 기존에 다양하게 존재하고, 본 발명이 속하는 기술분야의 당업자에게는 용이하게 구현이 가능하므로 이 부분에 대한 설명은 생략한다.
한편, 상기 터치 위치 산출부(200)는 3차원 좌표 산출부(100)에서 추출한 제 1 공간좌표(손가락)와 제 2 공간좌표(눈)를 이용하여 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출하는 역할을 수행한다.
이때, 상기 제 1 공간좌표(B)로는 손가락을 이용한다. 즉, 사람의 신체 중에서 손가락은 정교하고 섬세한 조작이 가능한 유일한 부분이다. 특히, 손가락 중에서도 엄지 또는 집게손가락 중에서 어느 하나를 사용하거나 두 손가락을 함께 사용할 경우 정교한 포인팅을 수행할 수 있다. 이에 따라, 본 발명에서 제 1 공간좌표(B)로서 엄지 및/또는 집게손가락의 끝부분을 사용하는 것이 매우 효과적이다. 또한 같은 맥락에서 상기 제 1 공간좌표(B)의 역할을 하는 손가락의 끝부분을 대신하여 손가락으로 파지하고 있는 끝이 뾰족한 포인터(예, 펜끝)를 사용할 수도 있다.
또한 상기 제 2 공간좌표(A)로는 사용자의 한쪽 눈의 중심점을 이용한다. 예를 들어 사용자가 두 눈 앞에 집게손가락을 배치시켜 쳐다보면 상기 집게손가락은 2개로 보일 것이다. 이는 사용자 양안이 각각 바라보는 집게손가락의 형상이 서로 다르기 때문에 이와 같은 현상이 발생한다(양안의 각도차에 의한 것임). 그러나 만약 한쪽 눈으로만 집게손가락을 바라본다면 집게손가락이 명확하게 보일 것이다. 또한 굳이 한쪽 눈을 감지 않더라도 의식적으로 한쪽 눈으로만 바라보더라도 집게손가락은 뚜렷하게 볼 수 있다. 사격, 양궁 등과 같이 조준에 있어 고도의 정확성을 요구하는 스포츠 종목의 경우 대부분 한쪽 눈을 감고 조준하는 것도 이와 같은 원리에 따른 것이다.
본 발명에서는 한쪽 눈(제 2 공간좌표)으로만 손가락 끝(제 1 공간좌표)을 바라보았을 때 손가락 끝의 형태를 뚜렷하게 파악할 수 있다는 원리를 채용하는 것이다. 이와 같이 사용자가 제 1 공간좌표를 정확히 볼 수 있어야 제 1 공간좌표와 일치되는 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 포인팅 할 수 있다.
한편, 본 발명에서 1인 사용자가 손가락 중 어느 하나를 사용하는 경우, 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 제 2 공간좌표는 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표가 될 것이다. 또한 1인 사용자가 손가락 중 2개 이상을 사용하는 경우, 상기 제 1 공간좌표는 상기 사용자 손가락 중 2개 이상의 손가락의 끝이 3차원 좌표들이 될 것이다.
그리고 상기 터치 위치 산출부(200)는 초기 가상 객체 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 가상 객체 접점 좌표 데이터의 변동이 없으면, 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출한다.
또한 상기 터치 위치 산출부(200)는 초기 가상 객체 접점 좌표 데이터가 산출된 시간으로부터 설정 시간 이상 상기 가상 객체 접점 좌표 데이터의 변동이 있는지를 판단하여 설정 시간 이상 상기 접점 좌표 데이터의 변동이 없으면, 제 1 공간좌표와 제 2 공간좌표 사이에 설정거리 이상의 거리 변화 발생 유무를 판단하여 설정 거리 이상의 거리 변화가 발생한 경우에 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출한다.
한편, 상기 가상 객체 접점 좌표 데이터의 변동이 설정영역 범위 내인 것으로 판단되면 상기 가상 객체 접점 좌표 데이터들의 변동이 없는 것으로 간주되도록 형성될 수 있다. 즉, 사용자가 손가락 끝 또는 포인터의 끝으로 포인팅 할 때, 신체 특성상 신체 또는 손가락의 당연히 약간의 움직임 또는 떨림이 있으므로 사용자가 접점 좌표를 그대로 유지하는 것은 매우 어렵다. 따라서 상기 가상 객체 접점 좌표 데이터 값이 미리 정의된 설정영역 범위 안에 존재할 때는 상기 가상 객체 접점 좌표 데이터의 변동이 없는 것으로 간주한다.
이와 같이 구성된 본 발명에 따른 3차원 객체정보의 획득 장치의 동작을 첨부한 도면을 참조하여 상세히 설명하면 다음과 같다. 도 1 내지 도 3과 동일한 참조부호는 동일한 기능을 수행하는 동일한 부재를 지칭한다.
도 4는 본 발명의 실시예에 따른 3차원 가상 객체 정보의 획득 방법을 설명하기 위한 흐름도이다.
도 4를 참조하여 설명하면, 먼저 사용자가 원격에서 가상터치를 이용하여 선택 조작을 수행하면, 3차원 좌표 산출부(100)는 카메라를 통해 촬영된 영상 정보를 이용하여 사용자 신체의 적어도 2개 이상의 공간 좌표를 각각 추출한다. 이때, 상기 3차원 좌표 데이터는 광학식 3차원 좌표 산출 방법(삼각측량 기법, 구조광방식, 시간지연측정법 등 다수 존재함)을 이용하여 사용자 신체의 3차원 공간좌표를 기반으로 제 1 공간좌표 및 제 2 공간좌표를 산출하여 산출된 상기 제 1 공간좌표와 제 2 공간좌표를 연결하는 직선을 추출한다(S10). 상기 제 1 공간좌표는 사용자 손가락 중 어느 하나 손가락의 끝, 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고, 상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표인 것이 바람직하다.
이어 터치 위치 산출부(200)는 GPS를 통한 현재 위치정보 및 3차원 지도정보 제공서버(400)로부터 건물 또는 위치 등이 3차원으로 제공되는 3차원 지도정보를 제공받아 저장부(310)에 저장한다. 이어 상기 저장부(310)에 저장되어 있는 위치정보 및 3차원 지도정보를 상기 3차원 좌표 추출부(100)에서 추출된 적어도 2개의 공간 좌표(A, B)와 결합하여, 상기 공간 좌표(A, B)의 직선을 연장하였을 때, 첫 번째로 마주하는 건물 및 위치와 닿는 면(C)의 접점 좌표 데이터를 산출한다(S20). 이때, 마주하는 건물 및 위치의 정의는 사용자에 의해 임의로 설정될 수 있으나, 통상적으로 첫 번째로 마주하는 건물 및 위치로 정의하는 것이 바람직하다.
한편, 상기 건물 및 위치와 닿는 면(C)의 접점 좌표 데이터를 산출하는 방법으로는 절대좌표방법, 상대 좌표방법 및 조작자 선택방법으로 구할 수 있다.
첫 번째인 절대좌표방법은 3차원 지도정보와 투영된 화면을 매칭하는 시점을 역산하여 공간 좌표의 절대좌표를 얻는 방식이다. 즉, 이 방법은 GPS, 자이로센서, 나침반, 또는 기지국 정보 등 취득 가능한 다양한 경로의 위치 데이터를 통하여 카메라 화면과 매칭할 대상을 한정하여 빠른 결과물을 얻어낼 수 있다.
두 번째인 상대좌표 방법은 공간에 고정된 절대좌표를 가진 카메라가 조작자의 상대좌표의 절대좌표로의 전환을 돕는 방식이다. 즉, 이 방법은 절대좌표를 가진 카메라가 손과 눈을 읽는 경우는 공간형에 해당하며, 여기서의 기술은 개인형의 절대 좌표가 되는 한 점을 공간형이 제공하는 형태를 말한다.
마지막 세 번째인 조작자 선택방법은 현재의 스마트폰 AR 서비스와 같이 취득 가능한 정보를 기반으로 해당 범위의 선택메뉴를 디스플레이하고, 사용자에 의한 선택의 방식을 통하여 정확한 절대좌표 없이 오차범위를 포함할 수 있는 선택 메뉴를 디스플레이 한 뒤 선택하여 사용자가 스스로 오차를 배제하도록 하여 결과물을 얻게 된다.
참고로, 상기 공간 좌표(A, B)와 닿는 면을 여기서는 3차원 지도정보를 통해 건물이나 위치로 한정하여 설명하고 있으나, 이는 바람직한 일 실시예일 뿐 저장되는 3차원 지도정보가 박물관이나 미술관 등과 같이 특정 영역에 한정되는 경우에는 미술품이나 수집품 등과 같은 작품으로 정의될 수 있다. 이처럼, 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다.
다음으로, 공간 위치 매칭부(300)는 상기 산출된 가상 객체 접점 좌표 데이터에 속하는 가상 객체(위치)을 추출하고(S30), 추출된 가상 객체에 관련된 건물명, 지번, 상호, 홍보 문구, 서비스 문구, 링크(다른 네트워크 또는 사이트로의 이동을 가능하게 하는 링크) 등과 같은 가상 객체 관련 정보를 검출하여 저장한다(S40).
그리고 공간 위치 매칭부(300)는 상기 저장되어 있는 추출된 가상 객체에 관련된 건물명, 지번, 상호, 홍보 문구, 서비스 문구 등과 같은 가상 객체 관련 정보를 사용자 단말기(20) 또는 가상 객체 정보 획득 장치의 디스플레이부(미도시)로 전송하여 표시한다(S50).
상기에서 설명한 본 발명의 기술적 사상은 바람직한 실시예에서 구체적으로 기술되었으나, 상기한 실시예는 그 설명을 위한 것이며 그 제한을 위한 것이 아님을 주의하여야 한다. 또한, 본 발명의 기술적 분야의 통상의 지식을 가진자라면 본 발명의 기술적 사상의 범위 내에서 다양한 실시예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (10)

  1. 3차원 지도 정보와 GPS를 통한 위치 정보를 이용하는 3차원 객체정보 획득 장치에 있어서,
    사용자 신체의 3차원 좌표 데이터를 산출하여 제 1 공간좌표 및 제 2 공간좌표를 추출하는 3차원 좌표 산출부와,
    상기 3차원 지도 정보 및 상기 GPS를 통한 위치 정보를 상기 3차원 좌표 산출부로부터 추출한 제 1 공간좌표 및 제 2 공간좌표와 매칭시켜, 상기 제 1 공간좌표 및 제 2 공간좌표를 연결하는 직선이 상기 3차원 지도 정보를 통해 마주하게 되는 건물과 닿는 면의 가상 객체 접점 좌표 데이터를 산출하는 터치 위치 산출부와,
    상기 터치 위치 산출부에서 산출된 가상 객체 접점 좌표 데이터에 속하는 가상 객체(위치)을 추출하고, 추출된 가상 객체 관련 정보를 사용자 단말기 또는 상기 3차원 객체정보 획득장치의 디스플레이부로 제공하는 공간 위치 매칭부를 포함하여 구성되며,
    상기 3차원 지도 정보는 상기 3차원 객체정보 획득 장치 내부에 저장되어 있거나 유, 무선 네트워크로 연결되는 외부의 3차원 지리 정보 제공 서버로부터 제공되며,
    상기 가상 객체 관련 정보는 건물명, 지번, 상호, 홍보 문구, 서비스 문구, 링크 중 적어도 하나 이상을 포함하며,
    상기 제 1 공간좌표는 상기 사용자 손가락 중 어느 한 손가락의 끝, 상기 사용자가 손가락으로 파지하고 있는 포인터의 끝 중 어느 하나의 3차원 좌표이고,
    상기 제 2 공간좌표는 상기 사용자의 어느 한쪽 눈의 중심점의 3차원 좌표로 구성되는 것을 특징으로 하는 포인터가 불필요한 3차원 객체 정보 획득 장치.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서, 상기 3차원 좌표 산출부는
    서로 다른 위치에 배치되는 2개 이상의 이미지 센서로 구성되어 각기 다른 각도에서 사용자 신체를 촬영하는 영상 획득부와,
    상기 영상 획득부로부터 수신한 각기 다른 각도에서 촬영된 영상을 기반으로 광학적인 삼각 측량법을 이용하여 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터가 불필요한 3차원 객체 정보 획득 장치.
  6. 제 1 항에 있어서,
    상기 3차원 좌표 산출부는 사용자에게 코드화된 패턴영상을 투영하고 구조광이 투영된 장면의 영상을 처리하는 방법으로 상기 3차원 좌표 데이터를 획득하도록 구성하는 것을 특징으로 하는 포인터가 불필요한 3차원 객체 정보 획득 장치.
  7. 제 6 항에 있어서, 상기 3차원 좌표 산출부는
    광원과 산광기로 구성되어, 사용자 신체에 스페클 패턴을 투영하는 조명어셈블리와,
    이미지센서 및 렌즈로 구성되어, 상기 조명어셈블리에 의해 투영된 상기 사용자 신체상의 스페클 패턴을 캡처하는 영상 획득부와,
    상기 영상 획득부에서 캡처한 스페클 패턴을 기반으로 사용자 신체의 3차원 좌표 데이터를 산출하는 공간좌표 산출부를 포함하는 것을 특징으로 하는 포인터가 불필요한 3차원 객체 정보 획득 장치.
  8. 제 6 항에 있어서,
    상기 3차원 좌표 산출부는 2개 이상으로 서로 다른 위치에 배치되도록 구성되는 것을 특징으로 하는 포인터가 불필요한 3차원 객체 정보 획득 장치.
  9. 삭제
  10. 삭제
KR1020120042232A 2012-04-23 2012-04-23 포인터가 불필요한 3차원 객체 정보 획득 장치 Active KR101533320B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020120042232A KR101533320B1 (ko) 2012-04-23 2012-04-23 포인터가 불필요한 3차원 객체 정보 획득 장치
CN201380021523.8A CN104620201A (zh) 2012-04-23 2013-04-22 不需要指针的三维虚拟对象信息获得装置
US14/396,384 US20150135144A1 (en) 2012-04-23 2013-04-22 Apparatus for obtaining virtual 3d object information without requiring pointer
PCT/KR2013/003420 WO2013162235A1 (ko) 2012-04-23 2013-04-22 포인터가 불필요한 3차원 가상 객체 정보 획득 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120042232A KR101533320B1 (ko) 2012-04-23 2012-04-23 포인터가 불필요한 3차원 객체 정보 획득 장치

Publications (2)

Publication Number Publication Date
KR20130119233A KR20130119233A (ko) 2013-10-31
KR101533320B1 true KR101533320B1 (ko) 2015-07-03

Family

ID=49483466

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120042232A Active KR101533320B1 (ko) 2012-04-23 2012-04-23 포인터가 불필요한 3차원 객체 정보 획득 장치

Country Status (4)

Country Link
US (1) US20150135144A1 (ko)
KR (1) KR101533320B1 (ko)
CN (1) CN104620201A (ko)
WO (1) WO2013162235A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060197A (ko) 2017-11-24 2019-06-03 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10070172B2 (en) 2014-07-01 2018-09-04 Lg Electronics Inc. Method and apparatus for processing broadcast data by using external device
US9823764B2 (en) * 2014-12-03 2017-11-21 Microsoft Technology Licensing, Llc Pointer projection for natural user input
US10679511B2 (en) 2016-09-30 2020-06-09 Sony Interactive Entertainment Inc. Collision detection and avoidance
US11125561B2 (en) 2016-09-30 2021-09-21 Sony Interactive Entertainment Inc. Steering assist
US10410320B2 (en) 2016-09-30 2019-09-10 Sony Interactive Entertainment Inc. Course profiling and sharing
US10850838B2 (en) 2016-09-30 2020-12-01 Sony Interactive Entertainment Inc. UAV battery form factor and insertion/ejection methodologies
KR101937823B1 (ko) * 2016-10-24 2019-01-14 주식회사 브이터치 객체 제어를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
RU2675057C1 (ru) * 2017-08-15 2018-12-14 Общество с ограниченной ответственностью "Инжиниринговая Компания "Пульсар Ойл" Способ идентификации и визуализации инженерных коммуникаций в пространстве
US10706300B2 (en) * 2018-01-23 2020-07-07 Toyota Research Institute, Inc. Vehicle systems and methods for determining a target based on a virtual eye position and a pointing direction
US10817068B2 (en) * 2018-01-23 2020-10-27 Toyota Research Institute, Inc. Vehicle systems and methods for determining target based on selecting a virtual eye position or a pointing direction
US10853674B2 (en) 2018-01-23 2020-12-01 Toyota Research Institute, Inc. Vehicle systems and methods for determining a gaze target based on a virtual eye position
CN114442888B (zh) * 2022-02-08 2024-07-23 联想(北京)有限公司 对象确定方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060038476A (ko) * 2003-05-01 2006-05-03 톰슨 라이센싱 멀티미디어 유저 인터페이스
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
KR20110038980A (ko) * 2009-10-09 2011-04-15 엘지전자 주식회사 이동 단말기 및 그 제어방법

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6176782B1 (en) * 1997-12-22 2001-01-23 Philips Electronics North America Corp. Motion-based command generation technology
JP3795647B2 (ja) * 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
US6173239B1 (en) * 1998-09-30 2001-01-09 Geo Vector Corporation Apparatus and methods for presentation of information relating to objects being addressed
JP2002132806A (ja) * 2000-10-18 2002-05-10 Fujitsu Ltd サーバシステム及び情報提供サービスシステム並びに情報提供サービス方法
US6600475B2 (en) * 2001-01-22 2003-07-29 Koninklijke Philips Electronics N.V. Single camera system for gesture-based input and target indication
US7031875B2 (en) * 2001-01-24 2006-04-18 Geo Vector Corporation Pointing systems for addressing objects
US8300042B2 (en) * 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7348963B2 (en) * 2002-05-28 2008-03-25 Reactrix Systems, Inc. Interactive video display system
US7893920B2 (en) * 2004-05-06 2011-02-22 Alpine Electronics, Inc. Operation input device and method of operation input
JP4274997B2 (ja) * 2004-05-06 2009-06-10 アルパイン株式会社 操作入力装置および操作入力方法
US7885145B2 (en) * 2007-10-26 2011-02-08 Samsung Electronics Co. Ltd. System and method for selection of an object of interest during physical browsing by finger pointing and snapping
US8149210B2 (en) * 2007-12-31 2012-04-03 Microsoft International Holdings B.V. Pointing device and method
KR101651568B1 (ko) * 2009-10-27 2016-09-06 삼성전자주식회사 3차원 공간 인터페이스 장치 및 방법
JP5799521B2 (ja) * 2011-02-15 2015-10-28 ソニー株式会社 情報処理装置、オーサリング方法及びプログラム
US9525964B2 (en) * 2012-02-02 2016-12-20 Nokia Technologies Oy Methods, apparatuses, and computer-readable storage media for providing interactive navigational assistance using movable guidance markers
US8933882B2 (en) * 2012-12-31 2015-01-13 Intentive Inc. User centric interface for interaction with visual display that recognizes user intentions

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060038476A (ko) * 2003-05-01 2006-05-03 톰슨 라이센싱 멀티미디어 유저 인터페이스
KR20100129629A (ko) * 2009-06-01 2010-12-09 엘지전자 주식회사 움직임 검출에 의한 전자장치 동작 제어방법 및 이를 채용하는 전자장치
KR20110037053A (ko) * 2009-10-05 2011-04-13 (주)휴비드씨엔에스 영상센서를 이용한 3차원 공간 터치 입력장치 및 그 방법
KR20110038980A (ko) * 2009-10-09 2011-04-15 엘지전자 주식회사 이동 단말기 및 그 제어방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190060197A (ko) 2017-11-24 2019-06-03 현대자동차주식회사 가상 터치 인식 장치 및 그의 인식 오류 보정 방법
US10866636B2 (en) 2017-11-24 2020-12-15 VTouch Co., Ltd. Virtual touch recognition apparatus and method for correcting recognition error thereof

Also Published As

Publication number Publication date
US20150135144A1 (en) 2015-05-14
KR20130119233A (ko) 2013-10-31
WO2013162235A1 (ko) 2013-10-31
CN104620201A (zh) 2015-05-13

Similar Documents

Publication Publication Date Title
KR101533320B1 (ko) 포인터가 불필요한 3차원 객체 정보 획득 장치
CN109325978B (zh) 增强现实显示的方法、姿态信息的确定方法及装置
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
US9256986B2 (en) Automated guidance when taking a photograph, using virtual objects overlaid on an image
US9268410B2 (en) Image processing device, image processing method, and program
US9639988B2 (en) Information processing apparatus and computer program product for processing a virtual object
KR101343748B1 (ko) 포인터를 표시하지 않는 투명 디스플레이 가상 터치 장치
US20110279478A1 (en) Virtual Tagging Method and System
US20130176337A1 (en) Device and Method For Information Processing
CN102737405A (zh) 图像处理设备、图像处理方法和程序
JP2012079129A (ja) 画像処理装置、プログラム及び画像処理方法
CN112912936B (zh) 混合现实系统、程序、移动终端装置和方法
JP2018524657A (ja) 電子デバイス上における環境マッピング用のフィーチャ・データの管理
CN107077195A (zh) 显示对象指示符
JP5685436B2 (ja) 拡張現実提供装置、拡張現実提供システム、拡張現実提供方法及びプログラム
CN102750536A (zh) 图像处理设备、图像处理方法和程序
US20140292636A1 (en) Head-Worn Infrared-Based Mobile User-Interface
JP5216703B2 (ja) 映像表示システム、及び、映像表示方法
JP2019164001A (ja) 情報提供システム、サーバ装置、端末用プログラム、及び情報提供方法
WO2023124113A1 (zh) 三维空间中的交互方法、装置、存储介质及电子装置
JP6360389B2 (ja) 映像提示装置及びプログラム
CN112565597A (zh) 显示方法和装置
JP2011022662A (ja) 携帯電話端末及び情報処理システム
KR20200127107A (ko) 증강현실을 이용한 지역 상권 데이터 가시화 시스템
JP7723754B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20120423

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20130628

Patent event code: PE09021S01D

N231 Notification of change of applicant
PN2301 Change of applicant

Patent event date: 20130808

Comment text: Notification of Change of Applicant

Patent event code: PN23011R01D

PG1501 Laying open of application
AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20140326

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20130628

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20140326

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20131126

Comment text: Amendment to Specification, etc.

PX0601 Decision of rejection after re-examination

Comment text: Decision to Refuse Application

Patent event code: PX06014S01D

Patent event date: 20140520

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20140423

Comment text: Decision to Refuse Application

Patent event code: PX06011S01I

Patent event date: 20140326

Comment text: Amendment to Specification, etc.

Patent event code: PX06012R01I

Patent event date: 20131126

Comment text: Notification of reason for refusal

Patent event code: PX06013S01I

Patent event date: 20130628

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

Patent event date: 20140620

Comment text: Request for Trial against Decision on Refusal

Patent event code: PJ02012R01D

Patent event date: 20140520

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Patent event date: 20140326

Comment text: Decision to Refuse Application

Patent event code: PJ02011S01I

Appeal kind category: Appeal against decision to decline refusal

Decision date: 20150428

Appeal identifier: 2014101003787

Request date: 20140620

J301 Trial decision

Free format text: TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20140620

Effective date: 20150428

Free format text: TRIAL NUMBER: 2014101003787; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20140620

Effective date: 20150428

PJ1301 Trial decision

Patent event code: PJ13011S01D

Patent event date: 20150428

Comment text: Trial Decision on Objection to Decision on Refusal

Appeal kind category: Appeal against decision to decline refusal

Request date: 20140620

Decision date: 20150428

Appeal identifier: 2014101003787

PS0901 Examination by remand of revocation
S901 Examination by remand of revocation
GRNO Decision to grant (after opposition)
PS0701 Decision of registration after remand of revocation

Patent event date: 20150527

Patent event code: PS07012S01D

Comment text: Decision to Grant Registration

Patent event date: 20150506

Patent event code: PS07011S01I

Comment text: Notice of Trial Decision (Remand of Revocation)

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150626

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150626

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180516

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180516

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190626

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190626

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20200626

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20210628

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20220627

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20231109

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240725

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20250626

Start annual number: 11

End annual number: 11