[go: up one dir, main page]

KR100900806B1 - System and method for providing context aware augmented reality - Google Patents

System and method for providing context aware augmented reality Download PDF

Info

Publication number
KR100900806B1
KR100900806B1 KR1020070110916A KR20070110916A KR100900806B1 KR 100900806 B1 KR100900806 B1 KR 100900806B1 KR 1020070110916 A KR1020070110916 A KR 1020070110916A KR 20070110916 A KR20070110916 A KR 20070110916A KR 100900806 B1 KR100900806 B1 KR 100900806B1
Authority
KR
South Korea
Prior art keywords
context
sensor
data
augmented reality
converting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020070110916A
Other languages
Korean (ko)
Other versions
KR20090044700A (en
Inventor
홍동표
우운택
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020070110916A priority Critical patent/KR100900806B1/en
Publication of KR20090044700A publication Critical patent/KR20090044700A/en
Application granted granted Critical
Publication of KR100900806B1 publication Critical patent/KR100900806B1/en
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법, 그리고 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체가 개시된다. 본 발명에 따른 컨텍스트 인식 증강현실을 제공하기 위한 시스템은, 주변 환경으로부터 데이터를 수집하는 센서부; 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부; 및 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 장면 생성부를 포함하는 것을 특징으로 한다. 이러한 본 발명에 따르면, 증강현실 서비스를 보다 다채롭게 제공하기 위하여 사용자와 사용자 주변 환경에 대한 정보를 파악하는 컨텍스트 인식 가능한 증강현실을 제공할 수 있다. A system and method for providing context aware augmented reality and a computer readable recording medium having recorded thereon a program for executing the method are disclosed. System for providing context-aware augmented reality according to the present invention, the sensor unit for collecting data from the surrounding environment; A context generator configured to generate a context by converting the collected data and data input from a user; And a scene generator configured to generate an augmented reality scene using the input image and the generated context. According to the present invention, it is possible to provide a context-aware augmented reality that grasps information about the user and the environment around the user in order to provide a variety of augmented reality services.

증강현실(Augmented Reality), 컨텍스트 Augmented Reality, Context

Description

컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법{System and method for providing context-aware augmented reality}System and method for providing context-augmented augmented reality

본 발명은 증강현실을 제공하기 위한 시스템 및 방법에 관한 것으로, 특히 컨텍스트 인식이 가능한 증강현실을 제공하기 위한 시스템 및 방법에 관한 것이다.The present invention relates to a system and method for providing augmented reality, and more particularly to a system and method for providing augmented reality capable of context recognition.

증강현실(Augmented Reality)이란, 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 실제 환경에 컴퓨터 그래픽 영상을 삽입하여 실세계 영상과 가상의 영상을 혼합한 것을 의미한다. 실세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않게 할 수도 있다. 즉, 증강현실 시스템은 실세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.Augmented Reality is generally a term derived from virtual environment and virtual reality, and refers to a mixture of real world image and virtual image by inserting computer graphic image into the real environment. Real-world information may contain information that the user does not need, and sometimes the user may lack information. However, using computer-generated virtual environments, you can simplify or hide information you don't need. In other words, the augmented reality system combines the real world and the virtual world to allow interaction with the user in real time.

그러나, 현재 제공되고 있는 증강현실 서비스 또는 현재까지 연구된 결과를 살펴보면, 사용자나 주변 환경의 상태를 고려하지 않고 모든 사용자에게 동일한 서비스를 제공하는 수준에 머무르고 있다. 따라서 증강현실 서비스를 보다 다채롭게 제공하기 위해서는 사용자와 사용자 주변 환경에 대한 정보를 파악하는 컨텍스트 인식 기술이 중요한 역할을 담당할 것으로 파악되고 있다. 그러나 컨텍스트 인식이 가능한 증강현실을 제공하기 위한 구체적인 시스템 구조는 아직까지 제안되지 않았으며, 사용자에 따른 개인화의 측면 역시 고려되지 못하고 있다.However, looking at the augmented reality services that are currently being provided or the results of the studies so far, they remain at the level of providing the same service to all users without considering the state of the user or the surrounding environment. Therefore, in order to provide augmented reality services more colorfully, context-aware technology that grasps information about the user and the environment surrounding the user is expected to play an important role. However, a specific system structure for providing augmented reality with context recognition has not been proposed yet, and the aspect of personalization according to the user has not been considered.

본 발명이 이루고자 하는 기술적 과제는, 증강현실 서비스를 보다 다채롭게 제공하기 위하여 사용자와 사용자 주변 환경에 대한 정보를 파악하고, 사용자에 따른 개인화 측면을 고려할 수 있는 컨텍스트 인식 가능한 증강현실을 위한 시스템 및 방법, 그리고 상기 방법이 기록된 컴퓨터로 읽을 수 있는 기록 매체를 제공하는 데 있다. The technical problem to be achieved by the present invention, to provide a variety of augmented reality services in a variety of systems and methods for context-aware augmented reality that can grasp information about the user and the environment surrounding the user, and can consider personalization according to the user, And a method for providing a computer readable recording medium having recorded thereon.

본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해되어질 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects which are not mentioned will be clearly understood by those skilled in the art from the following description.

상기 기술적 과제를 해결하기 위하여 본 발명에 따른 컨텍스트 인식 증강현실을 제공하기 위한 시스템은, 주변 환경으로부터 데이터를 수집하는 센서부; 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부; 및 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 장면 생성부를 포함하는 것을 특징으로 한다.In order to solve the above technical problem, a system for providing context-aware augmented reality according to the present invention, the sensor unit for collecting data from the surrounding environment; A context generator configured to generate a context by converting the collected data and data input from a user; And a scene generator configured to generate an augmented reality scene using the input image and the generated context.

여기서, 상기 컨텍스트 생성부는 객체를 추적하기 위한 트래커를 포함하고, 상기 트래커는 상기 수집된 데이터에 근거하여 상기 객체를 추적하는 것일 바람직하다.Here, the context generator includes a tracker for tracking an object, and the tracker tracks the object based on the collected data.

또한, 상기 컨텍스트 생성부는 상기 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성하는 컨택스트 통합부를 더 포함하고, 상기 트래커는 상기 통합된 컨텍스트에 따라서 상기 객체를 추적하는 것이 바람직하다.The context generator may further include a context integration unit that integrates the collected data to generate an integrated context, and wherein the tracker tracks the object according to the integrated context.

또한, 상기 컨텍스트 생성부는, 상기 통합된 컨텍스트와 상기 사용자로부터 입력된 데이터를 입력받아, 상기 객체를 추적한 결과에 따라 상기 증강현실 장면에 적합한 형태의 컨텍스트로 변환하는 컨텍스트 관리부를 더 포함하는 것이 바람직하다.The context generator may further include a context manager that receives the integrated context and data input from the user, and converts the object into a context suitable for the augmented reality scene according to a result of tracking the object. Do.

또한, 상기 센서부는, 모바일 단말기에 부착된 센서 또는 주변 환경에 위치한 센서를 포함하는 것이 바람직하다.The sensor unit may include a sensor attached to a mobile terminal or a sensor located in a surrounding environment.

또한, 상기 센서부는, 상기 수집된 데이터를 센서의 ID, 센서의 종류, 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 센서를 포함하는 것이 바람직하다.The sensor unit may further include a sensor for converting the collected data into metadata including information about a sensor ID, a sensor type, and a sensor state.

또한, 상기 센서는, 센싱된 아날로그 데이터를 디지털 데이터로 변환하는 A/D 컨버터; 상기 변환된 디지털 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 변환부를 포함하는 것이 바람직하다. The sensor may further include an A / D converter for converting the sensed analog data into digital data; It is preferable to include a conversion unit for converting the converted digital data into metadata including information on the ID of the sensor, the type of the sensor, the state of the sensor.

상기 다른 기술적 과제를 해결하기 위하여 본 발명에 따른 컨텍스트 인식 증강현실을 제공하기 위한 방법은, (a) 센서를 이용하여 주변 환경으로부터 데이터를 수집하는 단계; (b) 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 단계; 및 (c) 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 단계를 포함하는 것을 특징으로 한다.In order to solve the other technical problem, a method for providing a context-aware augmented reality according to the present invention, (a) collecting data from the surrounding environment using a sensor; (b) generating a context by converting the collected data and data input from a user; And (c) generating an augmented reality scene using the input image and the generated context.

여기서, 상기 (b) 단계는, 상기 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성하는 단계; 상기 통합된 컨텍스트에 따라서 객체를 추적하는 단계; 및 상기 통합된 컨텍스트와 상기 사용자로부터 입력된 데이터를, 상기 객체를 추적한 결과에 따라 상기 증강현실 장면에 적합한 형태의 컨텍스트로 변환하는 단계를 포함하는 것이 바람직하다.Here, step (b) may include: integrating the collected data to generate an integrated context; Tracking an object according to the unified context; And converting the integrated context and data input from the user into a context suitable for the augmented reality scene according to a result of tracking the object.

또한, 상기 (a) 단계에서, 상기 수집된 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 것이 바람직하다. In addition, in the step (a), it is preferable to convert the collected data into metadata including information on the ID of the sensor, the type of the sensor, and the state of the sensor.

또한, 상기 (a) 단계는, 상기 센서에서 센싱된 아날로그 데이터를 디지털 데이터로 변환하는 단계; 및 상기 디지털 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 단계를 포함하는 것이 바람직하다.The step (a) may include converting analog data sensed by the sensor into digital data; And converting the digital data into metadata including information about an ID of the sensor, a type of the sensor, and a state of the sensor.

상기 또 다른 기술적 과제를 해결하기 위하여 상기된 본 발명에 따른, 컨텍스트 인식 증강현실을 제공하기 위한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.In order to solve the above another technical problem, according to the present invention, there is provided a computer-readable recording medium recording a program for executing a method for providing context-aware augmented reality.

본 발명에 따르면, 증강현실 서비스를 보다 다채롭게 제공하기 위하여 사용 자와 사용자 주변 환경에 대한 정보를 파악하는 컨텍스트 인식 가능한 증강현실을 제공할 수 있다. 나아가, 트래커가 센서부에서 수집된 데이터에 근거하여 객체를 추적함으로써, 주변 환경의 상태에 따라 보다 정확하게 객체를 추적할 수 있으며, 또한, 주변 환경으로부터 수집된 데이터와 사용자로부터 입력된 데이터를 컨텍스트로 변환하고, 이를 이용하여 증강현실 장면을 생성함으로써 개인화된 증강현실 서비스를 제공할 수 있다. 그리고, 센서가 전달하는 데이터가 센서 ID를 포함함으로써 동일한 센서들 중에서 특정 센서를 구분할 수 있으며, 센서 종류를 포함함으로써 특정 종류의 센서에서 센싱된 값들만을 구분하여 처리할 수 있고, 센서의 상태에 관한 정보를 포함함으로써 센서의 정상 동작 여부를 감지할 수 있게 된다. According to the present invention, in order to provide augmented reality services more colorfully, it is possible to provide a context-aware augmented reality that grasps information about the user and the environment around the user. Furthermore, the tracker tracks the object based on the data collected by the sensor unit, so that the tracker can track the object more accurately according to the state of the surrounding environment, and also uses the data collected from the surrounding environment and the data input from the user as context. By converting and generating an augmented reality scene using the same, a personalized augmented reality service can be provided. In addition, the data transmitted by the sensor may include a sensor ID to distinguish a specific sensor among the same sensors, and by including a sensor type, only the values sensed by a specific type of sensor may be distinguished and processed. By including the information, it is possible to detect the normal operation of the sensor.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이하 설명 및 첨부된 도면들에서 실질적으로 동일한 구성요소들은 각각 동일한 부호들로 나타냄으로써 중복 설명을 생략하기로 한다. 또한 본 발명을 설명함에 있어 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description and the accompanying drawings, the substantially identical components are represented by the same reference numerals, and thus redundant description will be omitted. In addition, in the following description of the present invention, if it is determined that a detailed description of a related known function or configuration may unnecessarily obscure the subject matter of the present invention, the detailed description thereof will be omitted.

도 1은 본 발명의 일 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 시스템의 블록도이다. 본 실시예에서, 컨텍스트란 사용자와 응용 서비스 사이의 상호작용을 위해 필요한 사용자, 장소, 대상물 등의 개체 상태를 나타내는 정보를 의미한다. 도 1을 참조하면, 본 실시예에 따른 시스템은, 주변 환경으로부터 데이터를 수집하는 센서부(110), 센서부(110)에서 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부(120), 입력 영상과 컨텍스트 생성부(120)에서 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 장면 생성부(130)로 이루어진다. 1 is a block diagram of a system for providing context aware augmented reality according to an embodiment of the present invention. In the present embodiment, the context refers to information representing an object state such as a user, a place, and an object required for interaction between a user and an application service. Referring to FIG. 1, the system according to the present embodiment includes a sensor unit 110 that collects data from a surrounding environment, a context that converts data collected by the sensor unit 110 and data input from a user to generate a context. The scene generator 130 may include a scene generator 130 that generates an augmented reality scene using the input image and the context generated by the context generator 120.

센서부(110)는 사용자의 모바일 단말기 등에 부착된 모바일 센서(112)와 서비스 제공과 관련된 장소에 미리 설치된 환경 센서(114) 등을 포함할 수 있다. 이들 센서는 주변 환경으로부터 데이터, 예를 들면 온도, 습도, 위치, 밝기, 시간 등의 데이터를 수집한다. 한편, 이들 센서는 센싱된 값을 센서의 ID, 센서의 종류, 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 것이 바람직하다. 이 점에 관해서는 후술하기로 한다.The sensor unit 110 may include a mobile sensor 112 attached to a user's mobile terminal and the like, and an environmental sensor 114 previously installed at a place related to service provision. These sensors collect data from the environment, such as temperature, humidity, location, brightness, time, and the like. On the other hand, these sensors preferably convert the sensed value into metadata including information about the ID of the sensor, the type of sensor, and the state of the sensor. This point will be described later.

센서부(110)에서 수집된 데이터는 네트워크를 거쳐 컨텍스트 생성부(120)로 전달된다.The data collected by the sensor unit 110 is transferred to the context generating unit 120 via a network.

컨텍스트 생성부(120)는 컨텍스트 통합부(122), 트래커(124), 컨텍스트 관리부(126), 사용자 입력부(128)를 포함할 수 있다.The context generator 120 may include a context integrator 122, a tracker 124, a context manager 126, and a user input unit 128.

컨텍스트 통합부(122)는 네트워크를 통해 전달된 센서부(110)에서 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성한다. The context integrator 122 integrates the data collected by the sensor unit 110 transmitted through the network to generate an integrated context.

트래커(124)는 객체(M)를 추적하는데, 이때, 센서부(110)에서 수집된 데이터에 근거하여 객체(M)를 추적한다. 여기서 객체(M)는 어떤 대상 물체일 수도 있고 증강의 기준이 되는 마커일 수도 있다. 구체적으로, 트래커(124)는 컨텍스트 통합부(122)에서 통합된 컨텍스트에 따라서 객체(M)를 추적한다. 예를 들어, 센서부(110)에서 수집된 데이터가 위치 정보라면, 그 위치 정보를 참조하여 객체(M)를 추적하거나, 센서부(110)에서 수집된 데이터가 밝기 정보, 즉 조도라면, 조도가 높을 경우, 객체(M) 추적시의 민감도를 낮추고, 조도가 낮을 경우에는 객체(M) 추적시의 민감도를 높일 수 있다.The tracker 124 tracks the object M. At this time, the tracker 124 tracks the object M based on the data collected by the sensor unit 110. In this case, the object M may be any target object or a marker that is a reference for augmentation. In detail, the tracker 124 tracks the object M according to the context integrated in the context integrator 122. For example, if the data collected by the sensor unit 110 is location information, the object M is tracked with reference to the location information, or if the data collected by the sensor unit 110 is brightness information, that is, illuminance, illuminance When is high, the sensitivity when tracking the object (M) can be lowered, and when the illumination is low, it is possible to increase the sensitivity when tracking the object (M).

본 실시예에 따르면, 이와 같이 트래커(124)가 센서부(110)에서 수집된 데이터에 근거하여 객체(M)를 추적함으로써, 주변 환경의 상태에 따라 보다 정확하게 객체(M)를 추적할 수 있다.According to the present embodiment, as described above, the tracker 124 tracks the object M based on the data collected by the sensor unit 110, thereby more accurately tracking the object M according to the state of the surrounding environment. .

한편, 컨텍스트 통합부(122)에서 통합된 컨텍스트와 트래커(124)가 객체(M)를 추적한 결과는 후술할 컨텍스트 관리부(126)로 전달된다.Meanwhile, the context integrated by the context integrator 122 and the result of the tracker 124 tracking the object M are transmitted to the context manager 126 which will be described later.

사용자 입력부(128)는 사용자로부터 사용자 관련 데이터를 입력받는다. 여기 서 사용자 관련 데이터는 사용자 자신이 직접 입력한 정보일 수도 있고, 사용자의 상태를 센서 등으로 감지하여 생성되는 정보일 수도 있다. The user input unit 128 receives user related data from a user. Here, the user-related data may be information directly input by the user or may be information generated by detecting a user's state with a sensor or the like.

컨텍스트 관리부(126)는 컨텍스트 통합부(122)에서 통합된 컨텍스트와 사용자 입력부(128)를 통하여 입력된 사용자 관련 데이터를 입력받아, 트래커(124)가 객체(M)를 추적한 결과에 따라 애플리케이션에 요구되는 증강현실 장면에 적합한 형태의 컨텍스트로 변환하고, 이를 관리하며, 후술할 장면 생성부(130)로 전달한다.The context manager 126 receives the context integrated from the context integrator 122 and the user related data input through the user input unit 128, and transmits the data to the application according to the tracker 124 tracking the object M. FIG. It converts the context into a form suitable for the required augmented reality scene, manages it, and transfers it to the scene generator 130 to be described later.

장면 생성부(130)는 카메라 등의 촬상 장치로부터 영상을 입력받고, 컨텍스트 관리부(126)로부터 전달받은 컨텍스트에 따라 증강현실 장면을 생성한다.The scene generator 130 receives an image from an imaging device such as a camera, and generates an augmented reality scene according to the context received from the context manager 126.

상술한 본 실시예에 따르면, 증강 현실 장면을 생성함에 있어서 컨텍스트를 이용함으로써 보다 개인화되고, 주변 환경에 적응적인 증강현실 서비스를 제공할 수 있다.According to the present embodiment described above, it is possible to provide augmented reality service that is more personalized and adaptive to the surrounding environment by using a context in generating an augmented reality scene.

도 2는 본 발명의 일 실시예에 따른 센서부(110)에 포함된 센서의 블록도이다. 여기서 센서는 모바일 단말기에 부착된 모바일 센서(112) 또는 주변 환경에 위치한 환경 센서(114) 중 어느 것이든 해당될 수 있다.2 is a block diagram of a sensor included in the sensor unit 110 according to an embodiment of the present invention. The sensor may correspond to any one of the mobile sensor 112 attached to the mobile terminal or the environmental sensor 114 located in the surrounding environment.

도 2를 참조하면, 본 실시예에 따른 센서는 A/D 컨버터(210)와 변환부(220)를 포함하여 이루어진다. Referring to FIG. 2, the sensor according to the present embodiment includes an A / D converter 210 and a converter 220.

A/D 컨버터(210)에 입력되는 센싱된 데이터는 아날로그 데이터로서, A/D 컨버터(210)는 아날로그 데이터를 디지털 데이터로 변환한다. The sensed data input to the A / D converter 210 is analog data, and the A / D converter 210 converts the analog data into digital data.

변환부(220)는 디지털 데이터를 센서 자체에 관련된 정보, 예를 들면 도 2에 도시된 바와 같이 센서를 식별할 수 있는 ID, 센서의 종류, 센서의 상태에 관한 정보 등을 포함하는 메타 데이터 형태로 변환한다. 또한, 변환부(220)는 에러 체크를 위한 체크섬(Checksum)을 포함시켜 메타 데이터 형태로 변환하는 것이 바람직하다.The conversion unit 220 converts the digital data into metadata related to information related to the sensor itself, for example, an ID capable of identifying the sensor as shown in FIG. 2, a type of the sensor, and information on a state of the sensor. Convert to In addition, the conversion unit 220 preferably includes a checksum for error checking and converts the data into meta data.

본 실시예에 따르면 센서가 전달하는 데이터가 센서 ID를 포함함으로써 동일한 센서들 중에서 특정 센서를 구분할 수 있으며, 센서 종류를 포함함으로써 특정 종류의 센서에서 센싱된 값들만을 구분하여 처리할 수 있고, 센서의 상태에 관한 정보를 포함함으로써 센서의 정상 동작 여부를 감지할 수 있게 된다. 따라서 센싱된 데이터에 따라 동작하는 상술한 컨텍스트 통합부(122)나 트래커(124) 등이 센서로부터 전달된 데이터를 센서 자체에 관련된 정보에 따라 처리하거나 또는 센서로부터 전달되는 데이터를 목적에 맞게 필터링하도록 구현하는 것이 가능해진다.According to the present embodiment, the data transmitted by the sensor includes a sensor ID to distinguish a specific sensor among the same sensors, and by including a sensor type, only the values sensed by a specific type of sensor may be distinguished and processed. By including information on the state of the sensor can be detected whether the normal operation. Therefore, the above-described context integrator 122 or tracker 124 operating according to the sensed data processes the data transmitted from the sensor according to the information related to the sensor itself, or filters the data transmitted from the sensor according to the purpose. It becomes possible to implement.

도 3은 본 발명의 일 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 방법의 흐름도이다. 본 실시예에 따른 방법은 도 1에 관하여 설명된 컨텍스트 인식 증강현실을 제공하기 위한 시스템에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 1에 관하여 기술된 내용은 본 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 방법에도 적용된다. 3 is a flowchart of a method for providing context aware augmented reality according to an embodiment of the present invention. The method according to this embodiment consists of steps processed in a system for providing context aware augmented reality described with reference to FIG. 1. Therefore, although omitted below, the contents described with reference to FIG. 1 also apply to the method for providing context-augmented reality according to the present embodiment.

310단계에서, 센서를 이용하여 주변 환경으로부터 데이터를 수집한다.In step 310, data is collected from the surrounding environment using a sensor.

320단계에서, 수집된 데이터와 사용자로부터 입력된 사용자 관련 데이터를 변환하여 컨텍스트를 생성한다.In operation 320, the context is generated by converting the collected data and user-related data input from the user.

330단계에서, 입력되는 영상과 320단계에서 생성된 컨텍스트를 이용하여 증강현실 장면을 생성한다.In operation 330, an augmented reality scene is generated using the input image and the context generated in operation 320.

도 4는 본 발명의 일 실시예에 따른 상기 320단계의 상세 흐름도이다. 본 실시예에 따른 320단계는 도 1에 관하여 설명된 컨텍스트 생성부(120)에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 1에 관하여 기술된 내용은 본 실시예에 따른 방법에도 적용된다.4 is a detailed flowchart of step 320 according to an embodiment of the present invention. Operation 320 according to the present exemplary embodiment may include operations processed by the context generator 120 described with reference to FIG. 1. Therefore, even if omitted below, the content described with reference to FIG. 1 is also applied to the method according to the present embodiment.

410단계에서, 상기 310단계에서 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성한다.In operation 410, the data collected in operation 310 is integrated to generate an integrated context.

420단계에서, 상기 410단계에서 통합된 컨텍스트에 따라서 객체를 추적한다.In step 420, the object is tracked according to the integrated context in step 410.

430단계에서, 상기 410단계에서 통합된 컨텍스트와 사용자로부터 입력된 사용자 관련 데이터를, 상기 420단계에서 객체를 추적한 결과에 따라, 애플리케이션에 요구되는 증강현실 장면에 적합한 형태의 컨텍스트로 변환한다.In operation 430, the context integrated in operation 410 and user related data input from the user are converted into a context suitable for an augmented reality scene required for an application according to a result of tracking an object in operation 420.

도 5는 본 발명의 일 실시예에 따른 상기 310단계의 상세 흐름도이다. 본 실시예에 따른 310단계는 도 2에 관하여 설명된 센서에서 처리되는 단계들로 구성된다. 따라서 이하 생략된 내용이라 하더라도 도 2에 관하여 기술된 내용은 본 실시예에 따른 방법에도 적용된다.5 is a detailed flowchart of step 310 according to an embodiment of the present invention. Step 310 according to the present embodiment consists of steps processed in the sensor described with reference to FIG. 2. Therefore, even if omitted below, the content described with reference to FIG. 2 is also applied to the method according to the present embodiment.

510단계에서, 입력되는 센싱된 아날로그 데이터를 디지털 데이터로 변환한다. In operation 510, the input sensed analog data is converted into digital data.

520단계에서, 디지털 데이터를 센서 자체에 관련된 정보, 예를 들면 센서를 식별할 수 있는 ID, 센서의 종류, 센서의 상태에 관한 정보 등을 포함하는 메타 데이터 형태로 변환한다.In operation 520, the digital data is converted into a metadata form including information related to the sensor itself, for example, an ID for identifying the sensor, a type of sensor, and information about a state of the sensor.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으 로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다.Meanwhile, the above-described embodiments of the present invention can be written as a program that can be executed in a computer, and can be implemented in a general-purpose digital computer that operates the program using a computer-readable recording medium. The computer-readable recording medium may be a magnetic storage medium (for example, a ROM, a floppy disk, a hard disk, etc.), an optical reading medium (for example, a CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet). Storage medium).

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명의 일 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 시스템의 블록도이다.1 is a block diagram of a system for providing context aware augmented reality according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 센서부에 포함된 센서의 블록도이다. 2 is a block diagram of a sensor included in a sensor unit according to an exemplary embodiment of the present invention.

도 3은 본 발명의 일 실시예에 따른 컨텍스트 인식 증강현실을 제공하기 위한 방법의 흐름도이다.3 is a flowchart of a method for providing context aware augmented reality according to an embodiment of the present invention.

도 4는 본 발명의 일 실시예에 따른 상기 320단계의 상세 흐름도이다. 4 is a detailed flowchart of step 320 according to an embodiment of the present invention.

도 5는 본 발명의 일 실시예에 따른 상기 310단계의 상세 흐름도이다. 5 is a detailed flowchart of step 310 according to an embodiment of the present invention.

Claims (12)

컨텍스트 인식 증강현실을 제공하기 위한 시스템에 있어서,In the system for providing context aware augmented reality, 주변 환경으로부터 데이터를 수집하는 센서부;A sensor unit collecting data from the surrounding environment; 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 컨텍스트 생성부; 및A context generator configured to generate a context by converting the collected data and data input from a user; And 촬상 장치로부터 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 장면 생성부를 포함하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 시스템.And a scene generator configured to generate an augmented reality scene using the image input from the image capturing apparatus and the generated context. 제1항에 있어서,The method of claim 1, 상기 컨텍스트 생성부는 객체를 추적하기 위한 트래커를 포함하고,The context generator includes a tracker for tracking an object, 상기 트래커는 상기 수집된 데이터에 근거하여 상기 객체를 추적하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 시스템.The tracker tracks the object based on the collected data. 제2항에 있어서,The method of claim 2, 상기 컨텍스트 생성부는 상기 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성하는 컨택스트 통합부를 더 포함하고,The context generator further includes a context integration unit that integrates the collected data to generate an integrated context. 상기 트래커는 상기 통합된 컨텍스트에 따라서 상기 객체를 추적하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 시스템.And said tracker tracks said object in accordance with said unified context. 제3항에 있어서,The method of claim 3, 상기 컨텍스트 생성부는, 상기 통합된 컨텍스트와 상기 사용자로부터 입력된 데이터를 입력받아 상기 장면 생성부에서 요구되는 형태의 컨텍스트로 변환하는 컨텍스트 관리부를 더 포함하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 시스템.The context generator further includes a context manager that receives the integrated context and data input from the user and converts the data into a context of a form required by the scene generator. system. 제1항에 있어서,The method of claim 1, 상기 센서부는, 모바일 단말기에 부착된 센서 또는 주변 환경에 위치한 센서를 포함하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 시스템.The sensor unit, a sensor attached to the mobile terminal or a system for providing a context-augmented reality, characterized in that it comprises a sensor located in the surrounding environment. 제1항에 있어서, 상기 센서부는,The method of claim 1, wherein the sensor unit, 상기 수집된 데이터를 센서의 ID, 센서의 종류, 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 센서를 포함하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 시스템.And a sensor for converting the collected data into metadata including information about a sensor ID, a sensor type, and a sensor state. 제6항에 있어서, 상기 센서는,The method of claim 6, wherein the sensor, 센싱된 아날로그 데이터를 디지털 데이터로 변환하는 A/D 컨버터;An A / D converter converting the sensed analog data into digital data; 상기 변환된 디지털 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 변환부를 포함하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 시스템.And a conversion unit for converting the converted digital data into metadata including information about an ID of the sensor, a type of the sensor, and a state of the sensor. 컨텍스트 인식 증강현실을 제공하기 위한 방법에 있어서,In the method for providing context aware augmented reality, (a) 센서를 이용하여 주변 환경으로부터 데이터를 수집하는 단계;(a) collecting data from the surrounding environment using a sensor; (b) 상기 수집된 데이터와 사용자로부터 입력된 데이터를 변환하여 컨텍스트를 생성하는 단계; 및(b) generating a context by converting the collected data and data input from a user; And (c) 촬상 장치로부터 입력되는 영상과 상기 생성된 컨텍스트를 이용하여 증강현실 장면을 생성하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 방법.and (c) generating an augmented reality scene using the image input from the imaging device and the generated context. 제8항에 있어서,The method of claim 8, 상기 (b) 단계는,In step (b), 상기 수집된 데이터를 통합하여, 통합된 컨텍스트를 생성하는 단계;Integrating the collected data to create an integrated context; 상기 통합된 컨텍스트에 따라서 객체를 추적하는 단계; 및Tracking an object according to the unified context; And 상기 통합된 컨텍스트와 상기 사용자로부터 입력된 데이터를 입력받아 상기 (c) 단계에서 요구되는 형태의 컨텍스트로 변환하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 방법.And receiving the integrated context and the data input from the user and converting the data into a context of a form required in the step (c). 제8항에 있어서,The method of claim 8, 상기 (a) 단계에서, 상기 수집된 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 방법.In the step (a), the method for providing a context-aware augmented reality, characterized in that for converting the collected data into metadata including information on the sensor ID, the type of the sensor, the state of the sensor . 제10항에 있어서,The method of claim 10, 상기 (a) 단계는, In step (a), 상기 센서에서 센싱된 아날로그 데이터를 디지털 데이터로 변환하는 단계; 및Converting the analog data sensed by the sensor into digital data; And 상기 디지털 데이터를 상기 센서의 ID, 상기 센서의 종류, 상기 센서의 상태에 관한 정보를 포함하는 메타 데이터로 변환하는 단계를 포함하는 것을 특징으로 하는 컨텍스트 인식 증강현실을 제공하기 위한 방법.And converting the digital data into metadata including information about an ID of the sensor, a type of the sensor, and a state of the sensor. 제8항 내지 제11항 중 어느 한 항에 기재된 컨텍스트 인식 증강현실을 제공하기 위한 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.A computer-readable recording medium having recorded thereon a program for executing the method for providing the context aware augmented reality according to any one of claims 8 to 11.
KR1020070110916A 2007-11-01 2007-11-01 System and method for providing context aware augmented reality Expired - Fee Related KR100900806B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020070110916A KR100900806B1 (en) 2007-11-01 2007-11-01 System and method for providing context aware augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070110916A KR100900806B1 (en) 2007-11-01 2007-11-01 System and method for providing context aware augmented reality

Publications (2)

Publication Number Publication Date
KR20090044700A KR20090044700A (en) 2009-05-07
KR100900806B1 true KR100900806B1 (en) 2009-06-04

Family

ID=40855229

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070110916A Expired - Fee Related KR100900806B1 (en) 2007-11-01 2007-11-01 System and method for providing context aware augmented reality

Country Status (1)

Country Link
KR (1) KR100900806B1 (en)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101303948B1 (en) 2010-08-13 2013-09-05 주식회사 팬택 Apparatus and Method for Providing Augmented Reality Information of invisible Reality Object
KR101546653B1 (en) 2012-06-26 2015-08-25 한국과학기술원 Areal-time coi registration system and the method based on augmented reality
KR20220013695A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for verifying the axis alignment of the extended reality service apparatus
KR20220013688A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 An apparatus for providing extended reality service including axis alignment verification function
KR20220013707A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for operation of axis alignment verification device for extended reality service
KR20220013691A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for verifying the axis alignment of the extended reality service apparatus
KR20220013702A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for axis alignment verification program of extended reality service device
KR20220013647A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013709A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for axis alignment verification program of extended reality service device
KR20220013631A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Extended reality service apparatus including axis synchronization function
KR20220013649A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording media in which the axis synchronization program of the terminal's internal sensor and external sensor is recorded
KR20220013652A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013704A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for operation of axis alignment verification device for extended reality service
KR20220013655A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for axis synchronization of extended reality service device
KR20220013646A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013657A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for recording by axis synchronization program
KR20220013645A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Extended reality service apparatus including axis synchronization function
KR20220013687A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Apparatus for extended reality service including axis alignment verification function and method for verification of axis alignment
WO2025005471A1 (en) * 2023-06-26 2025-01-02 삼성전자 주식회사 Augmented reality device for providing augmented reality service matched to context of real-world space and operating method therefor
KR20250081564A (en) 2023-11-29 2025-06-05 주식회사 엑스알리더 Method for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8610771B2 (en) * 2010-03-08 2013-12-17 Empire Technology Development Llc Broadband passive tracking for augmented reality
US8275375B2 (en) * 2010-03-25 2012-09-25 Jong Hyup Lee Data integration for wireless network systems
US20110313779A1 (en) * 2010-06-17 2011-12-22 Microsoft Corporation Augmentation and correction of location based data through user feedback
KR101763887B1 (en) 2011-01-07 2017-08-02 삼성전자주식회사 Contents synchronization apparatus and method for providing synchronized interaction
US8509483B2 (en) 2011-01-31 2013-08-13 Qualcomm Incorporated Context aware augmentation interactions
KR20240001463A (en) 2022-06-27 2024-01-03 주식회사 파르온 Object recognition and augmented reality content realization system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990042072A (en) * 1997-11-25 1999-06-15 정선종 Error correction method between camera and tracker in augmented reality system
KR200398885Y1 (en) 2005-07-29 2005-10-17 (주)포스트미디어 Augmented reality experiencing telescope by using visual tracking
KR20060065159A (en) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3D marker recognition method and method and device for providing augmented reality and composite reality using same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990042072A (en) * 1997-11-25 1999-06-15 정선종 Error correction method between camera and tracker in augmented reality system
KR20060065159A (en) * 2004-12-10 2006-06-14 (주)제니텀 엔터테인먼트 컴퓨팅 3D marker recognition method and method and device for providing augmented reality and composite reality using same
KR200398885Y1 (en) 2005-07-29 2005-10-17 (주)포스트미디어 Augmented reality experiencing telescope by using visual tracking

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101303948B1 (en) 2010-08-13 2013-09-05 주식회사 팬택 Apparatus and Method for Providing Augmented Reality Information of invisible Reality Object
KR101546653B1 (en) 2012-06-26 2015-08-25 한국과학기술원 Areal-time coi registration system and the method based on augmented reality
KR20220013695A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for verifying the axis alignment of the extended reality service apparatus
KR20220013688A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 An apparatus for providing extended reality service including axis alignment verification function
KR20220013707A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for operation of axis alignment verification device for extended reality service
KR20220013691A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for verifying the axis alignment of the extended reality service apparatus
KR20220013702A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for axis alignment verification program of extended reality service device
KR20220013647A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013709A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for axis alignment verification program of extended reality service device
KR20220013631A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Extended reality service apparatus including axis synchronization function
KR20220013649A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording media in which the axis synchronization program of the terminal's internal sensor and external sensor is recorded
KR20220013652A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013704A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for operation of axis alignment verification device for extended reality service
KR20220013655A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Program for axis synchronization of extended reality service device
KR20220013646A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Method for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device
KR20220013657A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Recording medium for recording by axis synchronization program
KR20220013645A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Extended reality service apparatus including axis synchronization function
KR20220013687A (en) 2020-07-27 2022-02-04 주식회사 리얼위드 Apparatus for extended reality service including axis alignment verification function and method for verification of axis alignment
WO2025005471A1 (en) * 2023-06-26 2025-01-02 삼성전자 주식회사 Augmented reality device for providing augmented reality service matched to context of real-world space and operating method therefor
KR20250081564A (en) 2023-11-29 2025-06-05 주식회사 엑스알리더 Method for axis synchronization of the internal sensor and external sensor of the terminal of the extended reality service device

Also Published As

Publication number Publication date
KR20090044700A (en) 2009-05-07

Similar Documents

Publication Publication Date Title
KR100900806B1 (en) System and method for providing context aware augmented reality
US9330431B2 (en) System and method for synchronizing, merging, and utilizing multiple data sets for augmented reality application
US9113125B2 (en) Techniques for indexing video files
TW200721828A (en) Imaging device, information processing method, and computer program
JP4694471B2 (en) How to place a location stamp on a photo or video clip taken with a digital camera
US20160379684A1 (en) Techniques to Save or Delete a Video Clip
WO2014105941A1 (en) Apparatus, system and methods for portable device tracking using temporary privileged access
TW200805096A (en) Search apparatus and method, and program
CN102006274A (en) Seamless application session reconstruction between devices
US20200012338A1 (en) Dynamic augmented reality media creation
CN113114986B (en) Early warning method based on picture and sound synchronization and related equipment
JP2008118643A (en) Image file management apparatus and method
CN105119783A (en) Network request data detection method and device
US20120144073A1 (en) Method and apparatus for transferring digital content
JPWO2019087248A1 (en) Land use determination system, land use determination method and program
CN101179660A (en) Camera video image processing system and method thereof
CN109388722A (en) It is a kind of for adding or searching the method and apparatus of social connections people
Kumar et al. Location identification of the individual based on image metadata
CN105683959A (en) Information processing device, information processing method, and information processing system
CN118882655A (en) An optical tracking and positioning system based on deep learning and fusion positioning algorithm
KR102662965B1 (en) Apparatus and method for detecting ai based malignant code in structured document
Liu et al. 1 MobileUTDrive: A portable device platform for in-vehicle driving data collection
CN104142795A (en) Information acquisition starting method, information acquisition starting device and mobile terminal
KR102025909B1 (en) Apparatus for presenting Life-Log, method thereof and computer recordable medium storing program to perform the method
JP2009177497A (en) Content processor and content processing system

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20130313

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20140421

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20180528

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20180528

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000