[go: up one dir, main page]

KR101667033B1 - 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법 - Google Patents

위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법 Download PDF

Info

Publication number
KR101667033B1
KR101667033B1 KR1020100000273A KR20100000273A KR101667033B1 KR 101667033 B1 KR101667033 B1 KR 101667033B1 KR 1020100000273 A KR1020100000273 A KR 1020100000273A KR 20100000273 A KR20100000273 A KR 20100000273A KR 101667033 B1 KR101667033 B1 KR 101667033B1
Authority
KR
South Korea
Prior art keywords
location
information
user terminal
camera
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020100000273A
Other languages
English (en)
Other versions
KR20110080098A (ko
Inventor
형승용
노경식
윤석준
안성환
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020100000273A priority Critical patent/KR101667033B1/ko
Priority to US12/977,536 priority patent/US8644859B2/en
Publication of KR20110080098A publication Critical patent/KR20110080098A/ko
Application granted granted Critical
Publication of KR101667033B1 publication Critical patent/KR101667033B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/007—Digital input from or digital output to memories of the shift register type
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/454—Multi-language systems; Localisation; Internationalisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

위치 기반 서비스를 통해 제공되는 지역 정보에 실제 카메라 영상을 결합하여 증강 현실 서비스를 구현하는 장치 및 그 방법을 개시한다. 기지국을 통하여 영역을 분할하고 분할된 영역에 대한 이미지 패치 데이터를 기지국에서 관리하도록 함으로써 사용자 단말기에서 다루어야 할 정보의 양을 감소시키고, 기지국을 기반으로 한 위치 추적 방식과 SLAM을 이용한 특징점 검색 방식을 모두 활용하여 증강 현실(AR) 서비스를 구현함으로써 다양한 위치 기반 서비스(LBS)를 제공할 수 있고, 이로 인하여 새로운 형태의 서비스를 제공할 수 있을 것으로 사료된다. 또한 현재 사용자가 보고 있는 단말기 화면에 직접 위치 기반 정보를 제공함으로써 증강 현실(AR) 서비스를 실시간으로 이동하면서 구현할 수 있도록 한다.

Description

위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법{AUGMENTED REALITY SERVICE APPARATUS USING LOCATION BASED DATA AND METHOD THE SAME}
위치 기반 서비스를 통해 제공되는 지역 정보에 실제 카메라 영상을 결합하여 증강 현실 서비스를 구현하는 장치 및 그 방법에 관한 것이다.
최근 이동 통신의 발달로 인하여 위치 기반 서비스(Location Based Service, LBS)에 대한 관심이 증가하고 있다. 위치 기반 서비스는 무선 인터넷 또는 이동 단말기(예를 들어, 스마트 폰) 사용자에게 사용자의 위치에 따라 특정 정보를 제공하는 서비스이다. 위치 기반 서비스는 사용자에게 특화된 지역 정보를 제공한다는 점에서 매우 다양한 정보를 생성할 수 있으며 이에 따른 활용 가능성도 무궁 무진하다고 볼 수 있다. 위치 기반 서비스의 몇 가지 예로서 주유소나 식당 등 가까운 위치나 시설의 지역 정보를 조회하고, 상대방의 위치를 찾는 등의 실제 유용한 정보를 얻을 수 있다.
특히, 현재 많이 보급되어 있는 이동 단말기의 경우, 카메라가 탑재되어 영상을 촬영할 수 있고 화면을 통해 영상을 디스플레이할 수 있기 때문에 카메라로 촬영한 영상에 위치 기반 서비스를 통해 제공되는 지역 정보를 결합하여 단말기 화면 상에서 각종 정보를 투영하는 방법이 가능하게 됨에 따라 증강 현실(AR;Augmented Reality) 형태의 서비스를 구현할 수가 있다. 증강 현실(AR)은 사용자가 실제 보고 있는 카메라 영상에 3차원의 가상 물체를 겹쳐서 보여 주는 기술을 활용해 실제 환경과 가상 환경을 융합하는 복합형 가상 현실이다. 이러한 증강 현실(AR)은 실제 세계에 가상 세계를 접목시킨다는 점에서 사용자에게 위치 기반 서비스의 장점을 최대한 활용하여 제공할 수 있게 된다.
종래에는 이동 통신망의 기지국을 기반으로 카메라의 현재 위치를 추적한 후 실시간으로 가상의 영상을 결합하여 증강 현실(AR) 서비스를 구현하거나, SLAM(Simultaneous Localization And Mapping)을 이용하여 현재 카메라 위치와 자세를 찾아내기 위한 특징점(이미지 패치)을 추출한 후 3차원의 그래픽이나 정보를 원하는 위치에 배열하여 증강 현실(AR) 서비스를 구현하였다.
그러나, 기지국을 기반으로 한 위치 추적 방식은 기본적으로 기지국의 커버리지가 크므로 정확도에 한계가 있으며, SLAM을 이용한 특징점 추출 방식은 위치 인식(Localization)과 지도 작성(Mapping)을 동시에 수행해야 하므로 전체 영역(예를 들어, 전국 또는 전 세계)를 대상으로 증강 현실(AR)을 구현하려고 하면 그야말로 방대한 양의 정보가 필요하게 되고 그 많은 정보를 단말기에 저장할 수 없게 된다.
기지국을 통하여 영역을 분할하고 분할된 영역에 대한 이미지 패치 데이터를 기지국에서 관리하도록 함으로써 사용자 단말기에서 다루어야 할 정보의 양을 감소시키고, 기지국을 기반으로 한 위치 추적 방식과 SLAM을 이용한 특징점 검색 방식을 모두 활용하여 증강 현실(AR) 서비스를 구현할 수 있는 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법을 개시한다.
이를 위해 본 발명의 일 측면에 의한 위치 기반 정보를 이용한 증강 현실 서비스 장치는, 복수의 기지국과 통신하는 사용자 단말기에서 위치 기반 정보를 이용하여 증강 현실 서비스를 구현하는 장치에 있어서, 실제 영상을 획득하는 카메라; 복수의 기지국 중 적어도 하나의 기지국으로부터 영상의 특징점을 전송받아 특징점의 데이터와 카메라의 영상 데이터를 매칭하여 카메라의 위치를 획득하고, 카메라의 위치에 따라 실제 영상과 동일한 방향으로 위치 기반 정보를 제공하는 제어부; 제어부의 제어에 따라 실제 영상과 위치 기반 정보가 결합된 증강 현실 서비스를 구현하는 디스플레이부를 포함한다.
복수의 기지국은 사용자 단말기가 위치하는 영역을 셀 단위로 구획하여 해당 셀에 대한 특징점 정보와 위치 기반 정보를 관리한다.
또한, 본 발명의 일 측면에 의한 위치 기반 정보를 이용한 증강 현실 서비스 장치는, 복수의 기지국과 통신하는 통신부를 더 포함하고, 제어부는 복수의 기지국 중 통신부를 통해 연결 가능한 기지국을 탐색하고, 탐색된 모든 기지국의 위치 정보를 전송받아 사용자 단말기의 위치를 확인한다.
제어부는 확인된 사용자 단말기의 위치에 따라 해당 기지국에 특징점에 해당하는 이미지 패치 데이터의 전송을 요청한다.
제어부는 해당 기지국으로부터 특징점에 해당하는 이미지 패치 데이터를 전송받아 카메라를 통해 획득된 현재 이미지와 일대일 대응시키는 매칭 작업을 수행한다.
제어부는 특징점이 매칭되면 특징점을 추적하여 카메라의 현재 위치와 자세 정보를 획득한다.
그리고, 본 발명의 일 측면에 의한 위치 기반 정보를 이용한 증강 현실 서비스 방법은, 복수의 기지국과 통신하는 사용자 단말기에서 위치 기반 정보를 이용하여 증강 현실 서비스를 구현하는 방법에 있어서, 카메라를 통해 실제 영상을 획득하고; 복수의 기지국 중 연결 가능한 기지국을 탐색하여 사용자 단말기의 위치를 확인하고; 사용자 단말기의 위치에 따라 해당 기지국에 영상의 특징점 데이터를 요청하고; 해당 기지국으로부터 특징점 데이터를 전송받아 특징점 데이터와 카메라의 영상 데이터를 매칭하여 카메라의 위치를 획득하고; 카메라의 위치에 따라 실제 영상과 동일한 방향으로 위치 기반 정보를 결합하여 증강 현실 서비스를 구현한다.
사용자 단말기의 위치를 확인하는 것은, 탐색된 모든 기지국에 위치 정보를 요청하고, 탐색된 모든 기지국으로부터 위치 정보가 전송되면 위치 정보와 전송 시간을 이용하여 사용자 단말기의 위치를 확인한다.
영상의 특징점 데이터를 요청하는 것은, 사용자 단말기의 위치가 복수의 기지국에 할당된 어느 셀에 속하는지를 판단하여 해당 기지국에 영상의 특징점 데이터를 요청한다.
카메라의 위치를 획득하는 것은, 해당 기지국으로부터 특징점에 해당하는 이미지 패치 데이터를 전송받아 카메라를 통해 획득된 현재 이미지와 일대일 대응시키는 매칭 작업을 통해 카메라의 현재 위치와 자세 정보를 획득한다.
증강 현실 서비스를 구현하는 것은, 카메라에서 획득한 실제 영상에 해당 기지국으로부터 전송되는 위치 기반 정보를 결합하여 3차원의 증강 현실 서비스를 구현한다.
개시된 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법에 의하면, 기지국을 기반으로 한 위치 추적 방식과 SLAM을 이용한 특징점 검색 방식을 모두 활용하여 위치 기반 정보를 이용한 증강 현실(AR) 서비스를 구현함으로써 다양한 위치 기반 서비스(LBS)를 제공할 수 있고, 이로 인하여 새로운 형태의 서비스를 제공할 수 있을 것으로 사료된다. 또한 현재 사용자가 보고 있는 단말기 화면에 직접 위치 기반 정보를 제공함으로써 증강 현실(AR) 서비스를 실시간으로 이동하면서 구현할 수 있도록 한다.
도 1은 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템의 전체 구성도이다.
도 2는 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템의 제어 블록도이다.
도 3은 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템에서 특징점 추출을 위한 이미지 패치의 개념도이다.
도 4는 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템에 적용되는 복수의 기지국에 할당된 기본 단위 셀을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 장치에서 영상 내 분포된 특징점을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 방법에서 위치 인식 과정을 나타낸 동작 순서도이다.
도 7은 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 방법에서 증강 현실을 구현하는 과정을 나타낸 동작 순서도이다.
이하, 본 발명의 일 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템의 전체 구성도이다.
도 1에서, 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템은 위치 기반 정보를 이용하여 증강 현실(AR) 서비스를 구현하는 사용자 단말기(100)와, 증강 현실(AR) 서비스를 구현하기 위한 위치 기반 정보를 사용자 단말기(100)에 제공하는 복수의 기지국(200)과, 사용자 단말기(100)가 위치하게 되는 영역의 특징점을 미리 추출하여 복수의 기지국(200)에 각각 등록시키는 서비스 운영자(300)를 포함한다. 사용자 단말기(100)와 복수의 기지국(200)은 IP 망, 인터넷 망, 이동 통신망, 랜(LAN) 등과 같은 네트워크를 통해 연결되어 상호간 통신을 수행하도록 되어 있다.
도 2는 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템의 제어 블록도이다.
도 2에서, 사용자 단말기(100)는 위치 기반 서비스를 통해 제공되는 지역 정보에 실제 카메라 영상을 결합하여 증강 현실 서비스를 구현하는 장치로, 통신부(110), 영상 획득부(120), 입력부(130), 제어부(140), 디스플레이부(150)를 포함한다. 사용자 단말기(100)는 스마트 폰, PDA(Personal Digital Assistance) 등과 같은 이동 단말기를 사용한다.
통신부(110)는 제어부(140)의 제어에 따라 IP 망, 인터넷 망, 이동 통신망, 랜(LAN) 등과 같은 네트워크를 통해 복수의 기지국(200)과 통신한다.
영상 획득부(120)는 사용자가 실제 보고 있는 환경의 영상을 촬영하여 실제 영상의 현재 이미지를 획득하는 카메라이다.
입력부(130)는 사용자가 원하는 옵션(예를 들어, 위치 기반의 증강 현실 서비스 요청)을 설정한다.
제어부(140)는 입력부(130)를 통해 설정된 위치 기반의 증강 현실(AR) 서비스 요청에 따라 복수의 기지국(200)으로 위치 기반 정보를 요청하고, 복수의 기지국(200)으로부터 각 기지국(200)의 위치 기반 정보를 전송받아 영상 획득부(120)를 통해 획득된 실제 영상에 전송된 위치 기반 정보(가상의 영상)를 결합하여 증강 현실(AR) 형태의 서비스를 구현한다.
이를 위해 제어부(140)는, 통신부(110)를 통해 연결 가능한 기지국(200) 및 AP(Access Point)를 탐색하고, 탐색된 모든 기지국(200)에 위치 정보의 전송을 요청한다. 탐색된 모든 기지국(200)으로부터 위치 정보가 전송되면 각 기지국(200)의 위치 정보와 전송 시간(정보 도달 시간)으로부터 사용자 단말기(100)의 위치를 확인한다.
또한, 제어부(140)는 확인된 사용자 단말기(100)의 위치로부터 셀 위치를 추산하여 현재 사용자 단말기(100)의 위치가 어느 셀에 속해 있는지 판단하고, 판단된 셀에 해당하는 기지국(200)에 셀 넘버와 특징점에 해당하는 이미지 패치 데이터의 전송을 요청한다. 해당 기지국(200)으로부터 셀에 해당하는 이미지 패치 특징점들이 전송되면 전송받은 특징점들을 영상 획득부(120)를 통해 획득된 현재 이미지와 일대일 대응시키는 매칭 작업을 수행한다. 특징점이 매칭되면 칼만 필터를 통해 특징점을 추적하여 카메라의 현재 위치와 자세 정보를 획득한다(Localization).
카메라의 현재 위치와 자세 정보가 획득되면, 제어부(140)는 디스플레이부(150)에 가상의 정보를 카메라 위치 정보에 결합한 영상을 표시하여 3차원 증강 현실(AR) 형태의 가상화 정보를 투영하는 서비스를 구현하게 된다.
디스플레이부(150)는 제어부(140)의 제어에 따라 영상 획득부(120)를 통해 획득된 실제 영상과 이에 동일한 방향으로 배열시킨 위치 기반 정보를 제공하여 단말기 화면을 통해 사용자에게 표시한다. 즉, 디스플레이부(150)는 사용자에게 실제 영상과 위치 기반 정보가 결합된 증강 현실(AR) 형태의 서비스를 제공한다.
복수의 기지국(200)은 통화 및 정보 전송을 위하여 사용자 단말기(100)와 항상 통신을 수행할 수 있도록 되어 있으며, 사용자 단말기(100)가 위치하게 되는 영역 즉, 자신에게 분할된 영역의 데이터를 관리한다.
복수의 기지국(200)은 자신의 위치 정보를 저장하는 위치 정보 DB(201)와, 사용자 단말기(100)와 통신이 가능한 영역 즉, 해당 기지국(200)에서 관리하는 영역의 이미지 패치 특징점 정보들을 저장하는 특징점 정보 DB(202)와, 사용자 단말기(100)와 통신이 가능한 영역 즉, 해당 기지국(200)에서 관리하는 영역의 위치 기반 지역 정보들을 저장하는 위치 기반 지역 정보 DB(203)를 각각 포함한다.
서비스 운영자(300)는 사용자 단말기(100)가 위치하게 되는 지역의 이미지 패치 데이터(특징점)들을 미리 추출하여 복수의 기지국(200)에 등록한다. 서비스 운영자(300)는 복수의 기지국(200)마다 할당된 셀에 대한 특징점 정보를 카메라를 통해 획득된 영상에서 추출해내는 것이다. 통상적으로, SLAM(Simultaneous Localization And Mapping)은 자기의 위치를 찾는 위치 인식(Localization) 과정과 이미지를 등록하는 지도 작성(Mapping) 과정으로 구성되는데, 특징점들을 미리 추출하여 지도를 작성하는(Mapping) 과정을 서비스 운영자(300)가 기지국(200)에 미리 등록시켜 놓음으로써 사용자 단말기(100)는 자기의 위치를 찾는 위치 인식(Localization) 과정만을 수행하는 monocular SLAM 기술을 사용하게 된다.
특징점은 획득된 영상에서 일정한 점을 선택하였을 때 시간과 관찰 각도에 의해서 변하지 않는 정량적 특징을 추출할 수 있어야 한다. 보통 영상에서는 코너(Corner) 이미지 또는 이미지 패치를 사용하여 어느 각도에서 관찰하여도 변하지 않는 특징점을 찾아낸다.
도 3은 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템에서 특징점 추출을 위한 이미지 패치의 개념도이다.
도 3에서, 특징점은 15픽셀(pixel) × 15픽셀(pixel) 정도 또는 이보다 큰 이미지 패치로 구성되며, 특징점은 영상 중에서 연산자(salience operator)를 통하여 고유값이 높은 데이터를 추출한다. 이 방법은 이미지 패치상에서 에지 특성이 높은 데이터를 추출하는 것으로 다른 영상에 비하여 구분이 쉬운 특성을 가진다.
도 4는 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 시스템에 적용되는 복수의 기지국에 할당된 기본 단위 셀을 나타낸 도면이다.
도 4에서, 복수의 기지국(200)은 사용자 단말기(100)가 위치하게 되는 지역을 20m × 20m 단위의 셀 형태로 영역을 분할하여 데이터를 관리한다. 분할된 영역은 정사각형의 변을 기준으로 5m 정도 겹치도록 분할하며, 사용자 단말기(100)는 기본 단위 셀을 기준으로 복수의 기지국(200)에 자신의 위치를 전달한다.
또한, 복수의 기지국(200)은 자신에게 할당된 셀에 대한 특징점 정보를 가지는데, 보통 한 셀당 500~1000개의 특징점 정보를 가지고 있다. 특징점 정보는 이미지 패치에 대한 픽셀(pixel) 정보와 3차원 데이터 정보이다. 3차원 데이터 정보는 도 4에 도시한 셀의 남서쪽 모서리를 (0,0,0)으로 한 로컬 좌표계를 사용하여 Monocular Localization을 수행한다. 사용자 단말기(100)는 각각의 기지국(200)으로부터 획득한 기지국(200) 위치 정보와 전송 시간(정보 도달 시간) 또는 기지국(200) ID정보를 사용하여 사용자 단말기(100)의 위치가 어느 셀에 속해 있는지를 파악하게 된다. 사용자 단말기(100)로부터 현재 위치의 셀에 해당하는 정보를 요청받게 되면 해당 셀의 특징점 정보를 사용자 단말기(100)에 전송한다. 사용자가 이동하여 셀과 셀이 겹치는 공통 지역(즉, 정사각형의 변을 기준으로 5m 정도 겹치는 지역)에 들어가게 되면 사용자 단말기(100)는 이동된 곳의 특징점 정보를 연결하여 전송받고 공통된 특징점 정보를 모두 이용하게 된다. 이렇게 사용자가 단말기(100)가 위치한 영역의 특징점 정보(고유의 이미지 패치)를 사용자 단말기(100) 내에서 관리하게 되면 방대한 지도 영역을 생각하지 않더라도 관할 영역의 데이터만을 사용자 단말기(100)에 전송할 수 있으므로 빠르게 영역 정보를 전달할 수 있다. 또한 영상을 통하여 현재 위치와 자세를 추정함에 있어서 영상에서 새롭게 뽑아 낸 특징점 정보들과 데이터베이스 상의 특징점을 일대일 대응시킬 때에도 한정된 개수에서 비교하면 되므로 매우 빠른 속도로 SLAM 알고리즘을 수행할 수 있게 된다.
도 5는 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 장치에서 영상 내 분포된 특징점을 나타낸 도면이다.
도 5에서, 사용자 단말기(100)의 영상 획득부(120)에서 사용자가 실제 보고 있는 환경의 영상을 촬영하여 현재 이미지를 획득하면, 사용자 단말기(100)가 위치한 영역을 관리하는 해당 기지국(200)에서 획득된 현재 이미지의 영상 내 분포하는 특징점(ㅁ)들을 사용자 단말기(100)에게 전송한다.
이는 방대한 위치 정보를 사용자 단말기(100)에 모두 저장할 수도 없으며, 또한 방대한 데이터 속에서 자기 위치를 찾는 것은 데이터 검색 시간이 너무 많이 소요되는 문제가 있다. 따라서 분할을 통하여 지역적으로 구획하여 약 20 x 20m 단위의 셀 형태로 데이터를 관리하는 것이 Monocular SLAM에서는 가장 효율적인 방법이라고 볼 수 있다. 일단 사용자 단말기(100)의 위치를 기지국(200)을 통하여 셀 단위로 얻고, 사용자 단말기(100)가 위치한 영역에서 기지국(200)에 등록된 특징점을 전송받아 Monocular Localization을 수행한다.
한편, 관할 영역이 큰 기지국(200)의 경우에는 위치 정밀도의 정확성을 20m X 20m 단위로 결정하기가 어렵게 된다. 따라서 근처의 기지국(200) 3~4개로부터 전송되는 데이터가 걸리는 시간을 전송받음으로써 3개 이상의 기지국(200)에서 전송된 신호의 도착시간으로 위치를 계산하는 time of arrival 방식을 통해 20 x 20m의 위치 정밀도를 획득할 수 있도록 한다.
또한, 관할 영역이 작은 기지국(200)의 경우에는 사실상 wi-fi AP가 많이 보급되어 어느 곳에서도 무선망 사용이 가능하여 무선 AP를 감지할 수 있다면 위치 정확도는 20m 반경까지 정확도를 증가시킬 수 있을 것이다. 이 경우에는 복잡한 방법을 배제하고 셀ID만으로 20m X 20m 위치 정밀도를 획득할 수 있도록 한다.
이하, 상기와 같이 구성된 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법의 동작과정 및 작용효과를 설명한다.
도 6은 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 방법에서 위치 인식 과정을 나타낸 동작 순서도이다.
도 6에서, 사용자 단말기(100)의 제어부(140)는 통신부(110)를 통해 연결 가능한 기지국(200) 및 AP(Access Point)를 탐색하고(500), 탐색된 모든 기지국(200)에 위치 정보의 전송을 요청한다(502).
사용자 단말기(100)의 위치 정보 전송 요청에 따라, 위치 정보의 전송을 요청받은 모든 기지국(200)에서 해당 기지국(200)의 위치 정보를 사용자 단말기(100)에 전송한다.
탐색된 모든 기지국(200)으로부터 위치 정보가 전송되면(504), 제어부(140)는 각 기지국(200)의 위치 정보와 전송 시간(정보 도달 시간)으로부터 사용자 단말기(100)의 위치를 확인한다(506).
이후, 제어부(140)는 확인된 사용자 단말기(100)의 위치로부터 셀 위치를 추산하여 현재 사용자 단말기(100)의 위치가 어느 셀에 속해 있는지 판단하고(508), 판단된 셀에 해당하는 기지국(200)에 셀 넘버와 특징점에 해당하는 이미지 패치 데이터의 전송을 요청한다(510).
사용자 단말기(100)의 특징점 정보 전송 요청에 따라, 특징점 정보의 전송을 요청받은 해당 기지국(200)은 자신에게 할당되어 저장하고 있는 셀에 대한 이미지 패치 특징점들을 사용자 단말기(100)에 전송한다.
해당 기지국(200)으로부터 특징점 정보가 전송되면(512), 제어부(140)는 영상 획득부(120)를 통해 획득된 현재 이미지와 특징점의 데이터베이스와 일대일 대응을 시켜야 한다. 특징점의 픽셀이 화면상의 어떤 픽셀인지 알 수가 없기 때문에 연산자(operator)를 통하여 비슷한 고유값을 가진 특징점을 매칭한다. 이중 유사한 고유값을 가지는 특징점끼리 매칭시키고 몇 개의 특징점이 매칭되면 기하학적인 관계를 이용하여 특징점 간의 관계를 일치시킨다.
일단 특징점이 매칭되면(516), 칼만 필터를 통하여 특징점을 추적하여(518) 카메라의 현재 위치와 자세 정보를 획득하는 갱신을 수행한다(520), 초기 매칭이 진행된 후에는 자체 카메라 운동 모델을 통해 예측 과정과 갱신 과정을 반복하여 사용자 단말기(100) 자세 보정을 수행하므로 많은 시간을 필요로 하지 않으며 안정적으로 추정을 수행할 수 있다. 매칭이 끝난 후의 특징점 추적은 확장 칼만 필터를 통하여 진행된다.
도 6의 위치 인식 과정을 통하여 카메라의 현재 위치와 자세를 획득하면, 디스플레이부(150) 영상에 가상의 정보를 위치 정보에 덧붙여 표시할 수 있다. 예를 들어 카메라를 통해 얻은 영상과 이에 동일한 방향으로 배열시킨 정보를 제공함으로써 증강 현실(AR) 형태의 서비스를 보다 시각적으로 구현할 수 있다. 예를 들면 목적지 검색을 하면 방향을 바닥에 화살표를 투영함으로써 방향을 직접 제시하여 주기도 한다. 또한 마트와 대형상점에서 원하는 물건이 어디 있는지를 확인할 경우 위치에 대한 정보를 그 자리에서 제공해 줄 수도 있다.
도 7은 본 발명의 일 실시예에 의한 위치 기반 정보를 이용한 증강 현실 서비스 방법에서 증강 현실을 구현하는 과정을 나타낸 동작 순서도이다.
도 7에서, 사용자는 입력부(130)를 통해 원하는 옵션 즉, 위치 기반의 증강 현실(AR) 서비스 요청을 설정한다(600).
따라서, 제어부(140)는 입력부(130)를 통해 설정된 위치 기반의 증강 현실(AR) 서비스 요청에 따라 복수의 기지국(200)으로 위치 기반 정보를 요청한다.
사용자 단말기(100)의 위치 기반 정보 전송 요청에 따라, 위치 기반 정보의 전송을 요청받은 해당 기지국(200)은 저장하고 있는 위치 기반 정보(지역 정보)를 위한 3차원 가상 물체 또는 정보 물체 등의 증강 현실(AR) 데이터와 정보가 위치할 좌표(배치 위치)를 동시에 사용자 단말기(100)에 전송한다.
해당 기지국(200)으로부터 위치 기반 정보(지역 정보)를 위한 3차원 증강 현실(AR) 데이터 및 배치 위치가 전송되면(602), 제어부(140)는 영상 획득부(120)를 통해 획득된 실제 영상에 전송된 위치 기반 정보(가상의 영상)를 결합하여 배치 위치에 가상화 정보를 투영시킴으로써 증강 현실(AR) 형태의 서비스를 구현한다(604).
한편, 일정한 장소에서도 조금씩 환경의 변화가 있을 수 있으므로 등록된 특징점이 매우 많은 가능성을 가지고 수렴하지 않을 경우, 이 특징점을 수정 대상으로 선정할 수 있다. 등록된 특징점의 일치율이 현저하게 낮을 경우 사용자 단말기(100) 측에서 기지국(200)으로 오류 특징점으로 후보군을 만들고, 오류 신호가 일정 수준을 초과하게 되면 특징점을 폐기하고 새로운 특징점을 찾아 등록할 수 있도록 한다.
본 발명의 일 실시예를 통하여 기지국(200) 기반 Localization과 Monocular SLAM로 위치 기반 정보를 이용한 증강 현실(AR) 서비스를 구현할 수 있게 됨으로써 다양한 위치 기반 서비스(Localization Based Service)를 제공할 수 있고, 이로 인하여 새로운 형태의 서비스를 제공할 수 있을 것으로 사료된다. 구글이나 다음의 예를 보면 지도 형태의 위치 기반 서비스를 제공함으로써 엄청난 이익을 창출할 수 있었던 사례를 볼 수 있었는데 본 발명은 이러한 증강 현실(AR) 서비스를 실시간으로 이동하면서 구현할 수 있게 하며 현재 사용자가 보고 있는 화면에 직접 위치 기반 정보(지역 정보)를 제공할 수 있으므로 비교할 수 없을 정도의 효과를 창출할 수 있을 것으로 보인다.
100 : 사용자 단말기 110 : 통신부
120 : 영상 획득부 130 : 입력부
140 : 제어부 150 : 디스플레이부
200 : 기지국 300 : 서비스 운영자

Claims (12)

  1. 영역 내의 복수의 셀들 중 어느 하나의 셀을 관리하는 복수의 기지국들과 통신하는 사용자 단말기에서 위치 기반 정보를 이용하여 증강 현실 서비스를 구현하는 장치에 있어서,
    영상을 획득하는 카메라;
    상기 복수의 기지국들과 통신하는 통신부;
    상기 복수의 기지국들 중 상기 통신부를 통해 연결 가능한 기지국을 탐색하고, 상기 탐색된 모든 기지국들의 위치 정보를 수신하고, 상기 수신된 위치 정보에 기초하여 상기 사용자 단말기의 위치를 확인하고, 상기 확인된 상기 사용자 단말기의 위치로부터 상기 복수의 셀들 중 상기 사용자 단말기가 속해 있는 셀을 판단하고, 상기 판단된 셀을 관리하는 기지국으로부터 상기 판단된 셀의 특징점 정보를 수신하고, 상기 수신된 특징점 정보와 상기 획득된 영상을 매칭하여 상기 카메라의 위치를 획득하고, 상기 획득된 카메라의 위치에 따라 상기 획득된 영상과 동일한 방향으로 상기 위치 기반 정보를 제공하는 제어부; 및
    상기 제어부의 제어에 따라 상기 획득된 영상과 상기 위치 기반 정보가 결합된 증강 현실 서비스를 구현하는 디스플레이부를 포함하는 위치 기반 정보를 이용한 증강 현실 서비스 장치.
  2. 제1항에 있어서,
    상기 복수의 기지국들은 상기 기지국들 각각에 할당되는 상기 셀들에 대한 특징점 정보와 위치 기반 정보를 관리하는 위치 기반 정보를 이용한 증강 현실 서비스 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 제어부는 상기 판단된 셀을 관리하는 기지국에 특징점들에 해당하는 이미지 패치 데이터의 전송을 요청하는 위치 기반 정보를 이용한 증강 현실 서비스 장치.
  5. 제4항에 있어서,
    상기 제어부는 상기 이미지 패치 데이터를 전송받아 상기 카메라를 통해 획득된 영상과 일대일 대응시키는 매칭 작업을 수행하는 위치 기반 정보를 이용한 증강 현실 서비스 장치.
  6. 제5항에 있어서,
    상기 제어부는 상기 특징점들이 매칭되면 칼만 필터를 이용하여 상기 특징점들을 추적하여 상기 카메라의 현재 위치와 자세 정보를 획득하는 위치 기반 정보를 이용한 증강 현실 서비스 장치.
  7. 영역 내의 복수의 셀들 중 어느 하나의 셀을 관리하는 복수의 기지국들과 통신하는 사용자 단말기에서 위치 기반 정보를 이용하여 증강 현실 서비스를 구현하는 방법에 있어서,
    카메라를 통해 영상을 획득하고;
    상기 복수의 기지국들 중 통신을 통해 연결 가능한 기지국을 탐색하여 상기 사용자 단말기의 위치를 확인하고;
    상기 확인된 상기 사용자 단말기의 위치로부터 상기 복수의 셀들 중 상기 사용자 단말기가 속해 있는 셀을 판단하고;
    상기 판단된 셀을 관리하는 기지국에 상기 판단된 셀의 특징점 정보를 요청하고;
    상기 판단된 셀을 관리하는 기지국으로부터 상기 특징점 정보를 전송받아 상기 특징점 정보와 상기 획득된 영상을 매칭하여 상기 카메라의 위치를 획득하고;
    상기 획득된 카메라의 위치에 따라 상기 획득된 영상과 동일한 방향으로 상기 위치 기반 정보를 결합하여 증강 현실 서비스를 구현하는 위치 기반 정보를 이용한 증강 현실 서비스 방법.
  8. 제7항에 있어서,
    상기 복수의 기지국들은 상기 기지국들 각각에 할당되는 상기 셀들에 대한 특징점 정보와 위치 기반 정보를 관리하는 위치 기반 정보를 이용한 증강 현실 서비스 방법.
  9. 제8항에 있어서,
    상기 사용자 단말기의 위치를 확인하는 것은,
    상기 탐색된 모든 기지국들에 위치 정보를 요청하고, 상기 탐색된 모든 기지국들로부터 상기 위치 정보가 전송되면 상기 위치 정보와 상기 위치 정보의 도달 시간을 이용하여 상기 사용자 단말기의 위치를 확인하는 위치 기반 정보를 이용한 증강 현실 서비스 방법.
  10. 삭제
  11. 제7항에 있어서,
    상기 카메라의 위치를 획득하는 것은,
    상기 판단된 셀을 관리하는 기지국으로부터 특징점들에 해당하는 이미지 패치 데이터를 전송받아 상기 카메라를 통해 획득된 영상과 일대일 대응시키는 매칭 작업을 통해 상기 카메라의 위치 정보 및 자세 정보를 획득하는 위치 기반 정보를 이용한 증강 현실 서비스 방법.
  12. 제7항에 있어서,
    상기 증강 현실 서비스를 구현하는 것은,
    상기 카메라에서 획득한 영상에 상기 해당 기지국으로부터 전송되는 위치 기반 정보를 결합하여 3차원의 증강 현실 서비스를 구현하는 위치 기반 정보를 이용한 증강 현실 서비스 방법.
KR1020100000273A 2010-01-04 2010-01-04 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법 Active KR101667033B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100000273A KR101667033B1 (ko) 2010-01-04 2010-01-04 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법
US12/977,536 US8644859B2 (en) 2010-01-04 2010-12-23 Apparatus to provide augmented reality service using location-based information and computer-readable medium and method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100000273A KR101667033B1 (ko) 2010-01-04 2010-01-04 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110080098A KR20110080098A (ko) 2011-07-12
KR101667033B1 true KR101667033B1 (ko) 2016-10-17

Family

ID=44224985

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100000273A Active KR101667033B1 (ko) 2010-01-04 2010-01-04 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법

Country Status (2)

Country Link
US (1) US8644859B2 (ko)
KR (1) KR101667033B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094463A (ko) * 2017-02-15 2018-08-23 한양대학교 산학협력단 Slam 지도 저장 및 로드 방법

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
US8649803B1 (en) * 2011-05-03 2014-02-11 Kristan Lisa Hamill Interactive tracking virtual world system
CN103733229A (zh) * 2011-08-24 2014-04-16 索尼公司 信息处理设备、信息处理方法及程序
US8838147B2 (en) 2011-08-31 2014-09-16 Nokia Corporation Method and apparatus for determining environmental context utilizing features obtained by multiple radio receivers
US8521128B1 (en) 2011-12-09 2013-08-27 Google Inc. Method, system, and computer program product for obtaining crowd-sourced location information
US9277367B2 (en) * 2012-02-28 2016-03-01 Blackberry Limited Method and device for providing augmented reality output
GB2506338A (en) 2012-07-30 2014-04-02 Sony Comp Entertainment Europe A method of localisation and mapping
US9325861B1 (en) 2012-10-26 2016-04-26 Google Inc. Method, system, and computer program product for providing a target user interface for capturing panoramic images
US9270885B2 (en) 2012-10-26 2016-02-23 Google Inc. Method, system, and computer program product for gamifying the process of obtaining panoramic images
US9088625B1 (en) 2012-12-12 2015-07-21 Google Inc. Obtaining an image for a place of interest
WO2014144035A1 (en) * 2013-03-15 2014-09-18 Brian Adams Ballard Method and system for representing and interacting with augmented reality content
US20140301645A1 (en) * 2013-04-03 2014-10-09 Nokia Corporation Method and apparatus for mapping a point of interest based on user-captured images
KR102178975B1 (ko) * 2013-11-18 2020-11-13 순천대학교 산학협력단 모바일 증강현실 기반의 설계도면 3차원 모델 시각화 시스템 및 그 방법
US9881023B2 (en) 2014-07-22 2018-01-30 Microsoft Technology Licensing, Llc Retrieving/storing images associated with events
US20180013842A1 (en) * 2016-07-05 2018-01-11 Leanor Oy Method and system for providing user with information related to premises
CN106210450B (zh) * 2016-07-20 2019-01-11 罗轶 一种多通道多视角大数据视频剪辑方法
CN107024980A (zh) * 2016-10-26 2017-08-08 阿里巴巴集团控股有限公司 基于增强现实的用户位置定位方法及装置
CN107219920A (zh) * 2017-05-15 2017-09-29 北京小米移动软件有限公司 基于场景的ar眼镜识别方法、装置和ar眼镜
KR102299847B1 (ko) * 2017-06-26 2021-09-08 삼성전자주식회사 얼굴 인증 방법 및 장치
KR102011305B1 (ko) * 2017-11-30 2019-08-16 주식회사 한화 모의 사탄 관측 훈련 운용 장치 및 그 방법
US10964112B2 (en) * 2018-10-12 2021-03-30 Mapbox, Inc. Candidate geometry displays for augmented reality
US10902685B2 (en) 2018-12-13 2021-01-26 John T. Daly Augmented reality remote authoring and social media platform and system
KR20210121488A (ko) 2020-03-30 2021-10-08 한국전자통신연구원 혼합 현실 서비스 제공 장치 및 방법
CN112328191B (zh) * 2020-07-31 2024-11-22 深圳Tcl新技术有限公司 数据的拼接方法、系统及计算机可读存储介质
EP4135352A1 (en) * 2021-08-11 2023-02-15 Nokia Technologies Oy Localizing a camera-equipped device using a captured visual image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities
US7630737B2 (en) * 2001-10-09 2009-12-08 Sirf Technology, Inc. Method and system for sending location coded images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7796155B1 (en) * 2003-12-19 2010-09-14 Hrl Laboratories, Llc Method and apparatus for real-time group interactive augmented-reality area monitoring, suitable for enhancing the enjoyment of entertainment events
KR100651508B1 (ko) * 2004-01-30 2006-11-29 삼성전자주식회사 증강현실을 이용한 지역 정보 제공 방법 및 이를 위한지역 정보 서비스 시스템
US8427508B2 (en) * 2009-06-25 2013-04-23 Nokia Corporation Method and apparatus for an augmented reality user interface

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7630737B2 (en) * 2001-10-09 2009-12-08 Sirf Technology, Inc. Method and system for sending location coded images
US20080268876A1 (en) * 2007-04-24 2008-10-30 Natasha Gelfand Method, Device, Mobile Terminal, and Computer Program Product for a Point of Interest Based Scheme for Improving Mobile Visual Searching Functionalities

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180094463A (ko) * 2017-02-15 2018-08-23 한양대학교 산학협력단 Slam 지도 저장 및 로드 방법
KR102014706B1 (ko) * 2017-02-15 2019-08-27 한양대학교 산학협력단 Slam 지도 저장 및 로드 방법

Also Published As

Publication number Publication date
KR20110080098A (ko) 2011-07-12
US8644859B2 (en) 2014-02-04
US20110165893A1 (en) 2011-07-07

Similar Documents

Publication Publication Date Title
KR101667033B1 (ko) 위치 기반 정보를 이용한 증강 현실 서비스 장치 및 그 방법
US11762887B2 (en) Information processing device, map update method, program, and information processing system
US10586397B1 (en) Augmented reality service software as a service based augmented reality operating system
US10580206B2 (en) Method and apparatus for constructing three-dimensional map
CN105371847B (zh) 一种室内实景导航方法及系统
CN104936283B (zh) 室内定位方法、服务器和系统
CN111044061B (zh) 一种导航方法、装置、设备及计算机可读存储介质
US9749809B2 (en) Method and system for determining the location and position of a smartphone based on image matching
US20170024904A1 (en) Augmented reality vision system for tracking and geolocating objects of interest
CN109165606B (zh) 一种车辆信息的获取方法、装置以及存储介质
CN112465907B (zh) 一种室内视觉导航方法及系统
CN104457734A (zh) 一种停车场导航系统
CN101794316A (zh) 基于gps定位和方向识别的实景咨信系统及坐标偏移方法
CN104390643A (zh) 基于多信息融合实现室内定位的方法
CN102829788A (zh) 一种实景导航方法和实景导航装置
CN102980570A (zh) 一种实景增强现实导航系统
KR20140012573A (ko) 실내 지도 구축 장치 및 방법
CN105228106A (zh) 一种基于室内的医护人员查找方法、定位服务器和系统
Levchev et al. Simultaneous fingerprinting and mapping for multimodal image and WiFi indoor positioning
CN105847756B (zh) 基于位置点状拟合的视频识别追踪定位系统
JP2013222447A (ja) 情報提示システム
US20220157032A1 (en) Multi-modality localization of users
KR20160111193A (ko) 사용자 참여에 기반한 모바일 리워드 앱을 이용한 디지털 마케팅 서비스 시스템 및 방법
CN112422653A (zh) 基于位置服务的场景信息推送方法、系统、存储介质及设备
CN105681613A (zh) 多网协同追踪预警方法及系统

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20190910

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10