[go: up one dir, main page]

KR100656342B1 - 다중 입체 영상 혼합 제시용 시각 인터페이스 장치 - Google Patents

다중 입체 영상 혼합 제시용 시각 인터페이스 장치 Download PDF

Info

Publication number
KR100656342B1
KR100656342B1 KR1020040107221A KR20040107221A KR100656342B1 KR 100656342 B1 KR100656342 B1 KR 100656342B1 KR 1020040107221 A KR1020040107221 A KR 1020040107221A KR 20040107221 A KR20040107221 A KR 20040107221A KR 100656342 B1 KR100656342 B1 KR 100656342B1
Authority
KR
South Korea
Prior art keywords
image
user
external
information
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020040107221A
Other languages
English (en)
Other versions
KR20060068508A (ko
Inventor
양웅연
조동식
손욱호
김현빈
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020040107221A priority Critical patent/KR100656342B1/ko
Priority to US11/223,066 priority patent/US20060132915A1/en
Publication of KR20060068508A publication Critical patent/KR20060068508A/ko
Application granted granted Critical
Publication of KR100656342B1 publication Critical patent/KR100656342B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/34—Stereoscopes providing a stereoscopic pair of separated images corresponding to parallactically displaced views of the same object, e.g. 3D slide viewers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H04N13/279—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals the virtual viewpoint locations being selected by the viewers or determined by tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/344—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] with head-mounted left-right displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H04N13/383—Image reproducers using viewer tracking for tracking with gaze detection, i.e. detecting the lines of sight of the viewer's eyes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G02B2027/0134—Head-up displays characterised by optical features comprising binocular systems of stereoscopic type
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/30—Polarising elements

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 다중 입체 영상 혼합 제시용 시각 인터페이스 장치를 개시한다.
본 발명에 의하면, 물체의 실제 모습과 소정의 방식으로 생성된 복수의 외부 입체 영상을 포함하는 영상을 사용자에게 표시하는 장치에 있어서, 물체의 실제 모습과 외부 입체 영상을 입력으로 하여 좌/우의 시각 정보로 분류하여 출력하는 외부 영상 처리부, 사용자의 눈의 위치, 눈의 자세 정보, 시선의 방향 및 초점 거리를 추적하는 시각 정보 추출부, 외부 영상 처리부를 통해 입력되는 영상과 같이 각 사용자에게 표시될 소정의 3차원 그래픽 입체 영상 정보를 단일 생성 또는 좌/우 시각별로 별도 생성하여 시각 정보 추출부로부터의 사용자 시각 정보에 따라 좌/우의 시각 영상에 대응하는 영상 정보를 출력하는 영상 생성부 및 외부 영상 처리부와 영상 생성부에서 입력된 좌/우 영상 정보를 시각 정보 추출부로부터의 사용자 시각 정보를 기준으로 3차원의 공간 좌표상에서 합성하여 사용자의 시각에 합성된 다중 입체 영상을 제공하는 입체영상 가공부를 포함하여, 외부의 공용 입체 영상 장치와 내부의 개인용 입체 영상 장치의 정보 합성이 가능하게 하여 사용자가 단일 입체 영상 시각 장치에 국한되었던 기존의 단점을 해결하였다.

Description

다중 입체 영상 혼합 제시용 시각 인터페이스 장치{Apparatus for visual interface for presenting multiple mixed stereo image}
도 1은 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치의 구성을 블록으로 도시한 것이다.
도 2는 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치가 사용되는 환경과 함께 도시한 것이다.
도 3은 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치의 일 실시예를 도시한 것이다.
도 4는 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치의 다른 실시예를 도시한 것이다.
도 5는 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치가 HMD로 구현되는 환경의 예를 도시한 것이다.
도 6은 다중 입체 영상 혼합 제시용 시각 인터페이스 장치가 HMD로 구현된 예를 도시한 것이다.
<도면의 주요 부분에 대한 부호의 설명>
101, 201, 301, 401, 601 : 외부 영상 처리부
102, 202, 302, 402, 602 : 시각 정보 추출부
103, 203, 303, 403, 603 : 영상 생성부
104, 204, 304, 404, 604 : 입체 영상 가공부
105, 205, 305, 405, 505 : 다중 외부 입체 영상
306, 606: 반투명 반사 거울
307, 309, 407, 409: 능동형 입체 영상 동기화 처리부
본 발명은 가성 현실에 관한 것으로서, 여러 가지 영상을 다중하여 입체적으로 사용자에게 제시할 수 있는 인터페이스 장치에 관한 것이다.
가상현실 인터페이스 분야에서 컴퓨터 입체 영상 생성 기술은 기본적으로 사람의 좌우 시각에 서로 다른 영상 정보를 제시함으로써 입체감을 느끼도록 하는 스테레오 디스플레이(stereo display) 기술을 사용한다. 가상현실 시각 인터페이스 시스템은, 사용자의 규모를 기준으로, 다수의 사용자를 위한 대형 스크린 기반 입체 시각 시스템 기술과 개인 사용자를 위한 휴대형 입체 시각 시스템 기술로 분류할 수 있다.
대형 스크린 기반 입체 시각 제시 기술은 대규모 영상을 출력하는 프로젝션 모듈과 영상이 투여되는 스크린 모듈, 그리고, 양안 시각(binocular viewing)을 제시하기 위한 좌우 시각 정보 분리 모듈 예를 들면 프로젝터 부착 편광 필터, 입체 안경 등으로 구성되며, 테마파크의 가상현실 체험 장이나 대형 입체 영화 상영관 같이 대규모 사용자가 동시에 입체 영상 콘텐츠를 즐기는 목적으로 사용되고 있다.
개인 사용자용 휴대형 입체 시각 인터페이스 기술의 대표적인 형태는 머리/얼굴 착용형 디스플레이 장치(HMD/FMD; Head Mounted Display, Face Mounted Display)이다. 이런 장치들은 초소형 디스플레이 장치(예; 소형 모니터, LCOS 등)를 안경과 유사한 구조로 광학 확대 구조부와 통합된 구조이며, 입체 시각 디스플레이를 위해서 좌우 눈 부분을 담당하는 별도의 모듈과 2개 채널의 영상 정보를 입력받는 구조를 가지고 있다. 이는 개인용 정보를 가시화 하는 환경이나 모바일 컴퓨팅과 같이 높은 신체 자유도를 요구하는 조건에서 활용되고 있다.
입체 영상 생성 기술에서 정확한 입체감을 가지는 영상을 생성하기 위하여 사용자의 시각 정보를 추출하는 눈추적(eye tracking) 기술을 사용한다. 일반적인 예로, 인간공학 평가 실험에서는 피실험자가 바라보는 물체의 위치를 추적하기 위하여, 눈동자의 움직임을 컴퓨터 비전 기술을 이용하여 추적하거나, 직접 콘텍트 렌즈의 형태로 추적 부품을 눈의 각막에 부착하는 방법을 사용한다. 이런 기술을 통하여 시선의 방향을 1도 이하의 정밀도로 추적할 수 있는 기술이 상용화되어 있다.
입체 영상 콘텐츠의 가시화를 위한 현재의 시각 인터페이스 장치는 각각의 제한된 사용 환경에 적합하도록 설계되어 있다. 그러므로, 다양한 콘텐츠에 대한 적용의 한계를 가지고 있고, 대형 가시화 시스템의 경우 모든 사용자에게 동일한 시점의 정보만이 제공되는 단점이 있다.
가상 공간 협업 상황에서 공유(public, shared) 정보와 개인(private) 정보 를 동시에 활용하기에는 단일 입체 영상 출력형태를 가진 현재의 입체 시각 디스플레이 장치는 부적합하다. 그리고, 자연스러운 입체 영상 시각 장치의 꿈이라고 생각되는 홀로그램 디스플레이 장치는 영화의 특수효과 소재이거나 연구실의 시작품 형태로 제작이 시도되는 수준이며, 아직 만족할 정도의 성과를 내지 못하고 있다.
입체 영상 출력 기술의 발전으로 단일(stand-alone) 플랫폼 형태의 입체 영상 디스플레이 기술의 일반화가 진행되고 있다. 가까운 미래에는 이동형/착용형 컴퓨터(mobile/wearable computing) 기술의 대중화로 투시형(see-through) HMD 등과 같은 개인형 가상현실 인터페이스 장치가 일반화되고, 개인의 가상 정보와 공용의 가상 정보가 혼합되어 상호작용하는 작업 상황이 일반화 될 것이므로, 자연스럽게 2개 이상의 입체 영상 공간 정보를 합성하여 필요한 사용자에게 제시하는 새로운 기술이 필요하지만 아직 그에 부응하는 결과물이 제공되지 못하는 문제가 있다.
본 발명이 이루고자 하는 기술적인 과제는, 상기의 문제점들을 해결하기 위해, 2개 이상의 입체 영상 공간 정보를 합성하여 사용자에게 제시할 수 있는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 의한, 다중 입체 영상 혼합 제시용 시각 인터페이스 장치는, 물체의 실제 모습과 소정의 방식으로 생성된 복수의 외부 입체 영상을 포함하는 영상을 사용자에게 표시하는 장치에 있어서, 상기 물체의 실제 모습과 외부 입체 영상을 입력으로 하여 좌/우의 시각 정보로 분류하여 출 력하는 외부 영상 처리부; 사용자의 눈의 위치, 눈의 자세 정보, 시선의 방향 및 초점 거리를 추적하는 시각 정보 추출부; 상기 외부영상처리부를 통해 입력되는 영상과 같이 상기 각 사용자에게 표시될 소정의 3차원 그래픽 입체 영상 정보를 단일 생성 또는 좌/우 시각별로 별도 생성하여 상기 시각 정보 추출부로부터의 사용자 시각 정보에 따라 좌/우의 시각 영상에 대응하는 영상 정보를 출력하는 영상 생성부; 및 상기 외부 영상 처리부와 영상 생성부에서 입력된 좌/우 영상 정보를 상기 시각 정보 추출부로부터의 사용자 시각 정보를 기준으로 3차원의 공간 좌표상에서 합성하여 사용자의 시각에 합성된 다중 입체 영상을 제공하는 입체영상 가공부;를 포함하는 것을 특징으로 한다.
상기 외부 영상 처리부는 투시형 구조를 포함하여 상기 물체의 실제 모습과 입체 영상에 대응하는 외부의 빛을 투과하거나 상기 물체의 실제 모습과 입체 영상을 카메라를 이용해서 촬상하여 입력으로 하는 것이 바람직하다.
이때에 상기 외부 영상 처리부는 상기 복수의 외부 입체 영상 이미지를 좌/우의 시각 정보로 분리하는 편광 필터를 포함하거나, 상기 외부 영상 처리부는 상기 복수의 외부 입체 영상 이미지를 생성하는 소정의 동기 신호를 입력으로 하여 상기 입체 영상 이미지를 좌/우의 시각 정보로 분리하는 것이 바람직하다.
또한 상기 시각 정보 추출부는, 3축의 위치와 3축의 기울기를 감지하는 6자유도 센서부; 및 컴퓨터 비전 기술에 따른 사용자 눈 추적부;를 포함하는 것이 바람직하다.
그리고 상기 입체영상 가공부는 깊이 버퍼(z-buffer) 값을 이용하여 상기 물 체의 실제 모습, 복수의 외부 입체 영상 및 상기 영상 생성부의 영상 정보의 다수 개체 사이의 가림(occlusion) 처리를 하는 것이 바람직하다. 그리고 입체 영상 가공부는 반투명 반사 거울을 포함하여, 상기 영상 생성부로부터의 영상은 반사하고, 상기 외부 영상 처리부로부터의 영상은 통과시키거나, 외부 영상 획득 카메라로부터 얻은 영상을 통과시켜서 사용자의 시각에 합성된 다중 입체 영상을 합성하는 것이 바람직하다.
또한, 상기 시각 정보 추출부는 사용자의 머리 동작을 포함하는 사용자의 동작을 감지하는 센서를 포함하여, 상기 사용자의 머리 동작에 따른 정보를 포함하여 시각 정보를 추출하는 것이 바람직하다.
이하에서 첨부된 도면을 참조하여 본 발명의 바람직한 일 실시예를 상세히 설명한다.
도 1은 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치의 구성을 블록으로 도시한 것이다.
물체의 실제 모습과 소정의 방식으로 생성된 복수의 외부 입체 영상을 포함하는 영상을 사용자에게 표시하는 이 장치는, 상기 물체의 실제 모습과 외부 입체 영상을 입력으로 하여 좌/우의 시각 정보로 분류하여 출력하는 외부 영상 처리부(101), 사용자의 눈의 위치, 눈의 자세 정보, 시선의 방향 및 초점 거리를 추적하는 시각 정보 추출부(102), 외부 영상 처리부(101)를 통해 입력되는 영상과 같이 상기 각 사용자에게 표시될 소정의 3차원 그래픽 입체 영상 정보를 단일 생성 또는 좌/우 시각별로 별도 생성하여 시각 정보 추출부(102)로부터의 사용자 시각 정보에 따라 좌/우의 시각 영상에 대응하는 영상 정보를 출력하는 영상 생성부(103) 및 외부 영상 처리부(101)와 영상 생성부(103)에서 입력된 좌/우 영상 정보를 시각 정보 추출부(102)로부터의 사용자 시각 정보를 기준으로 3차원의 공간 좌표상에서 합성하여 사용자의 시각에 합성된 다중 입체 영상을 제공하는 입체영상 가공부(104)를 포함한다.
각 구성 요소에 대한 설명은 이하의 도면에 대한 설명에서 자세하게 실시될 것이다.
이하의 설명에서 동일한 명칭을 사용하면서 참조번호만이 다른 구성 요소들이 있지만 이는 본 발명의 실시예에 따라 물리적인 구성과 도면이 달라져서 그 참조번호를 달리하는 것이며, 실질적으로는 동일한 구성 요소들이다.
도 2는 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치가 사용되는 환경과 함께 도시한 것이다.
본 발명에 따른 이 장치는 실물영상과 다중 외부 입체 영상(205) 및 영상 생성부(203)에서 생성된 영상을 다중 합성하여 사용자에게 표시한다.
사용자는 발명에서 제시된 시각 인터페이스 장치를 이용하여, 실물과 단일의 또는 다수의 외부 입체 영상물, 그리고, 사용자가 착용한 본 발명에 따른 개인용 입체 영상 장치에서 생성된 정보가 공간적으로 하나의 실제 장면과 같이 결합되어 조화된 모습을 볼 수 있다.
외부 영상 처리부(201)는 투시형(see-through) 구조를 통하여, 외부의 실물 영상과 입체 영상을 투과시킨다. 투시형 구조는 크게 외부의 빛을 그대로 통과 시 기는 광학식 방식(optical see-through)과 외부 영상을 카메라를 이용하여 획득하고 이를 다음 단계로 넘기는 방식(video-based see-through)을 사용한다.
외부 영상 처리부(201)는 다중(n1)의 외부 입체 영상 장치(205)들로부터 생성되는 다수(n2)의 영상 이미지들을 좌/우 시각 정보로 분류하여 받아들이기 위해서 필요한 경우(예; 능동식 동기화 입체 안경)에는 외부 입체 영상 장치들과 영상 장치들이 영상을 표시하는 동기 신호를 교환하여 이용할 수 있다.
예를 들어 외부 입체 영상 장치가 수직 주파수 120Hz의 모니터인 경우 모니터의 한 화면은 1초 동안에 120개의 주사선으로 형성된다. 이때에 홀수번째 주사선들로 형성되는 영상을 좌 영상, 짝수번째의 주사선으로 형성되는 영상을 우 영상으로 구분하여 각각의 영상을 좌/우 시각 정보로 받아들일 수 있다. 이는 일 예이며, 반대로 홀수번째의 주사선들로 구성되는 영상을 우 영상으로 받아들일 수도 있다는 것은 자명하다. 이때에 상기의 능동식 동기화 입체 안경은 모니터와 혹은 모니터가 장착된 컴퓨터의 그래픽 카드와 연결되어 모니터의 수직 주파수를 동기 신호로 하여 그 동기 신호에 따라 모니터에서 표시되는 입체 영상 이미지를 좌/우의 시각 정보로 분리하는 것이다.
또는 상기와 같은 수직 주사선을 동기 신호로 하여 본 발명이 적용된 사용자가 착용하고 있는 안경의 왼쪽과 오른쪽 렌즈가 번갈아가면서 각각 홀수번째 주사선과 짝수번째의 주사선에 동기하여 열렸다 닫히면서 좌우 영상 정보를 입력받을 수도 있다.
상기와 같은 방법 외에도 입체 영상을 사용자에게 제시하기 위해서 사용될 수 있는 좌/우 시각 분리 방법은 다양하게 있으며, 본 발명이 속한 분야의 통상을 지식을 가진 자는 이를 용이하게 채택하여 본 발명에 적용할 수 있으므로 별도의 설명은 생략한다.
혹은 외부 영상 처리부(201)는 다중(n1)의 외부 입체 영상 장치(205)들로부터 생성되는 다수(n2)의 영상 이미지들을 좌/우 시각 정보로 분류하여 받아들이기 위해서 고정식 장치를 이용할 수 있다. 예를 들면 본 발명에 따른 장치를 안경에 구현할 때에 외부 영상 처리부(201)의 기능을 수동식 동기화 입체 안경의 렌즈에 장착된 편광 필터로 할 수 있다. 이 경우 다중 외부 입체 영상(205)장치에 대응하는 혹은 호환되는 필터를 사용한다.
앞의 과정에서 입력된 다수의 영상 이미지는 외부 영상 처리부(201)을 통하여 좌/우 시각 정보로 분류되어 입체 영상 가공부(204)로 전달된다.
영상 생성부(203)는 사용자 개인과 관련된 3차원 그래픽 입체 영상 정보를 단일 생성(mono-image) 또는 좌/우 시각별로 별도 생성(stereo-image)하며, 각각 좌/우 시각 영상에 대응하는 영상 정보를 입체 영상 가공부(204)로 전달한다. 실물 영상과 다중 외부 입체 영상이 일종의 배경이면, 영상 생성부(203)에서 생성되는 영상은 실물 영상과 다중 외부 입체 영상을 배경으로 하는 영상일 수 있다. 이에 대해서는 다시 언급될 것이다.
시각 정보 추출부(202)는 정확한 가상 입체 영상 생성을 위하여, 사용자 눈 (eye)의 위치(position), 자세(orientation) 정보, 시선의 방향(view direction) 및 초점 거리(focal length) 등을 추적한다.
이런 목적 달성을 위하여, 시각 정보 추출부(202)는 3축 위치, 3축 기울기를 측정하는 6 자유도 센서부와 컴퓨터 비전(computer vision) 기술을 이용한 사용자 눈 추적(eye-tracking)부를 포함한다. 센서 및 컴퓨터 비전 기술과 이를 이용한 헤드 트래킹(head tracking) 및 아이 트래킹(eye tracking)에 대한 것은 다양한 방법이 공개되어 있으며 이는 본 발명이 속한 분야의 통상의 지식을 가진 자에게는 자명한 것이므로 별도의 설명은 생략한다.
시각 정보 추출부(202)에서 추출된 시각 정보는 소정의 통신 모듈을 거쳐서 영상 생성부(203)와 입체 영상 가공부(204)에 전달(n3)된다. 영상 생성부(203)는 좌/우에 해당되는 영상을 생성할 때에 시각 정보 추출부(202)에서 전달된 사용자의 시각 정보를 이용한다.
그리고 응용예에 따라서는 필요한 경우 시각 정보 추출부(202)가 추출한 시각 정보는 외부의 다중 입체 영상 생성 장치(205)로 전달되어 입체 영상을 생성하거나 표시할 때에 사용될 수도 있다. 예를 들어 사용자의 시선이 다른 방향으로 향하는 경우 현재의 화면이 아니라 사용자의 시선에 대응하는 화면을 출력하도록 하는 것이다.
입체 영상 가공부(240)는 외부 영상 처리부(201)와 영상 생성부(203)에서 입력된 좌/우 영상 정보를 시각 정보 추출부(202)로부터의 사용자 시각 정보를 기준 으로 3차원 공간 좌표상에서 합성을 한다. 이때에 여러 개의 물체가 동시에 나타나는 경우 서로 가려지는 문제가 있다. 이를 해결하기 위해 입체 영상 가공부(204)는 깊이 버퍼(z-buffer) 값을 이용하여 다수 개체 사이의 가림(occlusion) 문제를 처리한다.
이와 같은 영상 합성 혹은 3차원 컴퓨터 그래픽스에 관련되어, 3차원 영상 생성 방법론에 관련된 것은 다수의 자료가 공개되어 있으므로 당업자는 이를 용이하게 채택할 수 있다.
도 3은 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치의 일 실시예를 도시한 것이다. 이는 본 발명을 적용하여 광학 투시형 입체 영상 처리를 하도록 한 것이다.
참조번호 301의 외부 영상 처리부는 다중 외부 입체 영상 장치(305)로부터의 다중 입체 영상들(307)을 필터링을 통해 처리하여 입체 영상 가공부(304)로 전달한다.
이와 같이 입력된 영상이 영상 생성부(303)의 영상정보와 반투명 반사거울( 306)에서 광학적으로 합성되어 사용자 시각에 전달된다. 이때에 외부 영상 처리부(301)로부터의 입력은 반투명 반사거울(306)을 통과하는 것이며, 영상 생성부(303)로부터 출력되는 영상은 반투명 반사거울(306)에서 반사되어 사용자에게 전달되는 것이다. 이와 같은 방법을 사용해서 광학방식으로 영상을 합성하는 방법 혹은 증강현실에 대한 내용은 다수의 자료들이 공개되어 있으므로 더 이상의 설명은 생략한다.
광학적 방법을 통한 상기와 같은 영상의 합성 과정은 본 발명에 따른 장치의 설계 단계에서 고정된 것이므로, 외부의 다중 입체 영상(205)과 영상 생성부(303)는 시각 정보 추출부(302)로부터 얻은 사용자 시선 정보(예; 눈의 위치, 시선 방향, 초점 거리 등)를 이용하여, 가상 콘텐츠를 생성(렌더링; rendering)하는 가상 카메라(virtual camera)를 제어함으로써, 다중 영상 정합을 용이하게 한다.
이때에 참조번호 309의 능동형 입체 영상 동기화 처리부는 외부의 다중 입체 영상 생성 장치(305, 307)와 연결되어 능동적으로 영상을 동기하여 외부 영상 처리부(301)가 좌/우 영상을 구분하여 전달하게 하는 것을 보조한다.
도 4는 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치의 다른 실시예를 도시한 것이다. 이는 비디오기반 투시형 입체 영상 처리부 구조이다.
외부 영상 처리부(401)에서 필터와 외부 영상 획득 카메라(408)를 포함하여 외부 입체 영상을 좌/우 영상으로 선별 획득하여 전달한다. 이 경우에는 외부 영상을 그대로 다음 단계인 입체 영상 가공부(404)로 전달(투과)시켜서, 컴퓨터 영상 처리 방법론에 의한 다양한 3차원 영상 정보 변형이 가능하다. 이와 같이 카메라를 이용한 영상 처리, 컴퓨터 비전 및/혹은 증강 현실에 대한 자료는 다양한 형태로 공개되어 당업자는 이를 용이하게 채택할 수 있다.
영상 생성부(403)는 시각 정보 추출부(402)의 정보를 기준으로 좌/우 시각에 적합한 영상을 생성하고, 입체 영상 가공부(404)는 외부 입체 영상 정보와 영상 생성부(403)가 공급하는 최 종단의 입체 영상 정보를 깊이 값 비교 (z-buffering)를 통하여 하나의 입체 공간으로 합성시킨다.
이때에 보다 정확한 다중 입체 영상 정보의 합성을 위하여, 외부 다중 입체 영상의 깊이 값(Z-buffer)을 통합하는 깊이 정보 통합 처리부(410)로부터 전달되는 정보를 참조하여 가상 개체 사이의 물체 가림 처리 문제(occlusion problem)를 해결한다.
도 3과 마찬가지로 도 4의 참조번호 409의 능동형 입체 영상 동기화 처리부는 외부의 다중 입체 영상 생성 장치(405, 407)와 연결되어 능동적으로 영상을 동기하여 외부 영상 처리부(401)가 좌/우 영상을 구분하여 전달하게 하는 것을 보조한다.
도 5는 본 발명에 따른 다중 입체 영상 혼합 제시용 시각 인터페이스 장치가 HMD로 구현되는 환경의 예를 도시한 것이다. 본 발명에 따른 인터페이스 장치가 HMD 형태로 구현하여, 다자 참여가 가능한 가상현실 게임 콘텐츠의 구현 사례이다.
도 5의 외부 게임 공간(505)은 가상 현실 게임 콘텐츠가 표시된 것으로 모든 사용자에게 공용으로 제공되는 외부의 입체 영상이다. 이 영상은 프로젝션 시스템과 같은 대형 입체 영상 디스플레이 시스템으로 가시화될 수 있으며, 게임에 참여한 사용자 1과 사용자 2가 동시에 관찰할 수 있는 대상이다.
예를 들면 사냥꾼의 역할을 하는 사용자 1이 착용한 HMD 1에는 무기 제어에 관련된 입체 영상 정보(예; 조준판, 계기판)가 외부 영상 정보와 합성되어 가시화된다. 운전자 역할을 하는 사용자 2가 착용한 HMD 2에는 자동차 운전에 관련된 정보(예;운전석 계기판)가 외부 영상 정보와 합성되어 가시화된다.
사용자 1과 사용자 2는 서로 상대방 개인의 정보(즉, 각자의 HMD의 영상 생성부에서 생성되는 영상)를 볼 수 없으며, 게임에 참여하는 제3자(예; 구경꾼)는 사용자들의 행동(예; 운전 방향 변화, 무기의 발사)으로부터 외부 게임 세계에 나타나는 결과만을 볼 수 있다. 즉, 도 5의 일반 다자 참여형 게임 인터페이스 화면과 같이 자신과 무관한 정보가 공용 화면에 가시화되어 가시성의 혼란함을 야기하는 것을 방지한다. 다시 말해서 각 장치의 영상 생성부에서 제공되는 영상은 각 사용자별로 고유한 영상인 것이다.
도 6은 다중 입체 영상 혼합 제시용 시각 인터페이스 장치가 HMD로 구현된 예를 도시한 것으로, 본 발명에 따른 광학 투시형 다중 입체 영상 혼합 제시용 시각 인터페이스의 시제품(prototype)을 제작한 사진과 구조도이다.
외부 영상 처리부(601)에는 외부 입체 영상을 선별하여 투시할 수 있는 편광 필름이 포함된다. 그리고 도 3과 마찬가지로 입체 영상 가공부(604)는 반투명 반사 거울(606)을 포함하여, 편광 필름을 통해 입력되는 외부 영상과 영상 생성부(603)에서 전달되는 영상을 합성하여 사용자에게 표시한다.
이때에 시각 정보 추출부(602)는 사용자의 머리 동작을 포함하는 사용자의 동작을 감지하는 센서를 포함하여, 사용자의 머리 동작에 따른 정보를 포함하여 시각 정보를 추출한다.
이와 같은 광학 투시형 HMD 장치를 이용하여 사용자는 도 5의 실시예와 같이 자신의 개인 인터페이스와 관련된 입체 영상과 외부 콘텐츠의 입체 영상을 동시에 접할 수 있다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 본 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 상기의 설명에 포함된 예들은 본 발명에 대한 이해를 위해 도입된 것이며, 이 예들은 본 발명의 사상과 범위를 한정하지 않는다. 상기의 예들 외에도 본 발명에 따른 다양한 실시 형태가 가능하다는 것은, 본 발명이 속한 기술 분야에 통상의 지식을 가진 사람에게는 자명할 것이다. 본 발명의 범위는 전술한 설명이 아니라 청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
또한 본 발명에 따른 상기의 각 단계는 일반적인 프로그래밍 기법을 이용하여 소프트웨어적으로 또는 하드웨어적으로 다양하게 구현할 수 있다는 것은 이 분야에 통상의 기술을 가진 자라면 용이하게 알 수 있는 것이다.
본 발명에 의하면, 물체의 실제 모습과 소정의 방식으로 생성된 복수의 외부 입체 영상을 포함하는 영상을 사용자에게 표시하는 장치에 있어서, 물체의 실제 모습과 외부 입체 영상을 입력으로 하여 좌/우의 시각 정보로 분류하여 출력하는 외부 영상 처리부, 사용자의 눈의 위치, 눈의 자세 정보, 시선의 방향 및 초점 거리를 추적하는 시각 정보 추출부, 외부 영상 처리부를 통해 입력되는 영상과 같이 각 사용자에게 표시될 소정의 3차원 그래픽 입체 영상 정보를 단일 생성 또는 좌/우 시각별로 별도 생성하여 시각 정보 추출부로부터의 사용자 시각 정보에 따라 좌/우 의 시각 영상에 대응하는 영상 정보를 출력하는 영상 생성부 및 외부 영상 처리부와 영상 생성부에서 입력된 좌/우 영상 정보를 시각 정보 추출부로부터의 사용자 시각 정보를 기준으로 3차원의 공간 좌표상에서 합성하여 사용자의 시각에 합성된 다중 입체 영상을 제공하는 입체영상 가공부를 포함하여, 외부의 공용 입체 영상 장치와 내부의 개인용 입체 영상 장치의 정보 합성이 가능하게 하여 사용자가 단일 입체 영상 시각 장치에 국한 되었던 기존의 단점을 해결하였다. 또한 본 발명은 모바일 컴퓨팅이나 증강현실(augmented reality) 기반의 협업 작업과 같은 상황에서, 휴대형 입체 시각 인터페이스를 통하여 외부 공간에 가시화되는 입체 영상 정보와 개인 시각 장치의 입체 영상을 합성하여 제시함으로써, 사용자가 다양한 입체 영상 정보를 통합 제어하는 작업을 지원한다. 그 결과 엔터테인먼트 분야에서 다자 참여가 가능한 가상현실 게임 콘텐츠를 구축할 수 있고, 가상 환경에서의 작업 훈련(training system for virtual engineering)이나, 웨어러블 컴퓨팅(wearable computing) 및 유비퀴터스 컴퓨팅(ubiquitous computing) 등의 분야에 폭넓은 활용성을 제공한다.

Claims (10)

  1. 물체의 실제 모습과 복수의 외부 입체 영상을 입력으로 하여 좌/우의 시각 정보로 분류하여 출력하는 외부 영상 처리부;
    사용자의 눈의 위치, 눈의 자세 정보, 시선의 방향 및 초점 거리를 포함하는 사용자 시각정보를 추적하는 시각 정보 추출부;
    상기 외부영상처리부를 통해 입력되는 영상과 같이 상기 사용자 각각에게 표시될 소정의 3차원 그래픽 입체 영상 정보를 단일 생성하거나 또는 좌/우 시각별로 별도 생성하여 상기 사용자 시각 정보에 따라 좌/우의 시각 영상에 대응하는 영상 정보를 출력하는 영상 생성부; 및
    상기 외부 영상 처리부와 상기 좌/우 시각 영상에 대응하는 영상 정보를 상기 사용자 시각 정보를 기준으로 3차원의 공간 좌표상에서 합성하여 사용자의 시각에 제공하고 깊이 버퍼(z-buffer) 값을 이용하여 가림(occlusion)을 처리하는 입체영상 가공부;를 포함하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
  2. 제1항에 있어서,
    상기 외부 영상 처리부는 투시형 구조를 포함하여 상기 물체의 실제 모습과 입체 영상에 대응하는 외부의 빛을 투과하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
  3. 제1항에 있어서,
    상기 외부 영상 처리부는 상기 물체의 실제 모습과 입체 영상을 카메라를 이용해서 촬상하여 입력으로 하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
  4. 제1항에 있어서,
    상기 외부 영상 처리부는 상기 복수의 외부 입체 영상 이미지를 좌/우의 시각 정보로 분리하는 편광 필터를 포함하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
  5. 제1항에 있어서,
    상기 외부 영상 처리부는 상기 복수의 외부 입체 영상 이미지를 생성하는 소정의 동기 신호를 입력으로 하여 상기 입체 영상 이미지를 좌/우의 시각 정보로 분리하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
  6. 제1항에 있어서,
    상기 시각 정보 추출부는,
    3축의 위치와 3축의 기울기를 감지하는 6자유도 센서부; 및
    컴퓨터 비전 기술에 따른 사용자 눈 추적부;를 포함하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
  7. 삭제
  8. 제1항에 있어서,
    상기 영상 생성부는 반투명 반사 거울을 포함하여,
    상기 영상 생성부로부터의 영상은 반사하고, 상기 외부 영상 처리부로부터의 영상은 통과시켜서 사용자의 시각에 합성된 다중 입체 영상을 합성하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
  9. 제3항에 있어서,
    상기 입체영상 가공부는 반투명 반사 거울을 포함하여,
    상기 영상 생성부로부터의 영상은 반사하고, 상기 외부 영상 처리부로부터의 영상은 통과시키거나, 상기 카메라로부터 얻은 영상을 통과시켜서 사용자의 시각에 합성된 다중 입체 영상을 표시하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
  10. 제1항에 있어서,
    상기 시각 정보 추출부는 사용자의 머리 동작을 포함하는 사용자의 동작을 감지하는 센서를 포함하여,
    상기 사용자의 머리 동작에 따른 정보를 포함하여 시각 정보를 추출하는 것을 특징으로 하는 다중 입체 영상 혼합 제시용 시각 인터페이스 장치.
KR1020040107221A 2004-12-16 2004-12-16 다중 입체 영상 혼합 제시용 시각 인터페이스 장치 Expired - Fee Related KR100656342B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020040107221A KR100656342B1 (ko) 2004-12-16 2004-12-16 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
US11/223,066 US20060132915A1 (en) 2004-12-16 2005-09-08 Visual interfacing apparatus for providing mixed multiple stereo images

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040107221A KR100656342B1 (ko) 2004-12-16 2004-12-16 다중 입체 영상 혼합 제시용 시각 인터페이스 장치

Publications (2)

Publication Number Publication Date
KR20060068508A KR20060068508A (ko) 2006-06-21
KR100656342B1 true KR100656342B1 (ko) 2006-12-11

Family

ID=36595367

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040107221A Expired - Fee Related KR100656342B1 (ko) 2004-12-16 2004-12-16 다중 입체 영상 혼합 제시용 시각 인터페이스 장치

Country Status (2)

Country Link
US (1) US20060132915A1 (ko)
KR (1) KR100656342B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051355B1 (ko) 2009-06-09 2011-07-22 (주)이지스 3차원 공간 데이터를 이용한 카메라 영상의 3차원 좌표 획득방법 및 이를 이용한 카메라 연동 제어방법
US9230500B2 (en) 2012-02-23 2016-01-05 Electronics & Telecommunications Research Institute Expanded 3D stereoscopic display system

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9658473B2 (en) * 2005-10-07 2017-05-23 Percept Technologies Inc Enhanced optical and perceptual digital eyewear
US20070081123A1 (en) 2005-10-07 2007-04-12 Lewis Scott W Digital eyewear
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
JP4810295B2 (ja) * 2006-05-02 2011-11-09 キヤノン株式会社 情報処理装置及びその制御方法、画像処理装置、プログラム、記憶媒体
KR100809479B1 (ko) 2006-07-27 2008-03-03 한국전자통신연구원 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
US20110175903A1 (en) * 2007-12-20 2011-07-21 Quantum Medical Technology, Inc. Systems for generating and displaying three-dimensional images and methods therefor
KR20100048747A (ko) * 2008-10-31 2010-05-11 한국과학기술원 안면 추적을 이용한 모바일 유저 인터페이스 장치
US8314832B2 (en) * 2009-04-01 2012-11-20 Microsoft Corporation Systems and methods for generating stereoscopic images
KR101741519B1 (ko) * 2010-09-30 2017-06-01 삼성전자주식회사 3ｄ 안경 및 그의 제어 방법
US9098110B2 (en) 2011-06-06 2015-08-04 Microsoft Technology Licensing, Llc Head rotation tracking from depth-based center of mass
CN102316355A (zh) * 2011-09-15 2012-01-11 丁少华 3d机器视觉信号的生成方法及3d机器视觉传感器
JP5483761B2 (ja) 2012-06-29 2014-05-07 株式会社ソニー・コンピュータエンタテインメント 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
AU2014248874B2 (en) 2013-03-11 2019-07-11 Magic Leap, Inc. System and method for augmented and virtual reality
CN107632709B (zh) 2013-03-15 2021-06-08 奇跃公司 显示系统和方法
JPWO2016013269A1 (ja) * 2014-07-22 2017-04-27 ソニー株式会社 画像表示装置及び画像表示方法、並びにコンピューター・プログラム
US10254544B1 (en) * 2015-05-13 2019-04-09 Rockwell Collins, Inc. Head tracking accuracy and reducing latency in dynamic environments
KR101831748B1 (ko) * 2016-10-11 2018-02-26 전자부품연구원 무안경 3d 디스플레이 장치
CN107315470B (zh) * 2017-05-25 2018-08-17 腾讯科技（深圳）有限公司 图形处理方法、处理器和虚拟现实系统
KR102511620B1 (ko) * 2017-09-22 2023-03-21 에스케이텔레콤 주식회사 증강 현실 표시 장치 및 방법
KR102698364B1 (ko) 2017-10-26 2024-08-23 매직 립, 인코포레이티드 증강 현실 디스플레이를 위한 광대역 적응형 렌즈 어셈블리
CN112639579B (zh) 2018-08-31 2023-09-15 奇跃公司 用于增强现实装置的空间分辨的动态调暗
CN119902373A (zh) 2019-01-11 2025-04-29 奇跃公司 各种深度处的虚拟内容的时间复用显示
KR102571086B1 (ko) * 2022-02-14 2023-08-29 주식회사 케이쓰리아이 가상공간을 이용한 다중 사용자 간 협업 지원 방법 및 시스템

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR980004114A (ko) * 1997-12-11 1998-03-30 양승택 증강 현실 기반의 골프 지원 시스템 및 그 운용 방법
KR20040018859A (ko) * 2002-08-27 2004-03-04 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7453451B1 (en) * 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
US5796373A (en) * 1996-10-10 1998-08-18 Artificial Parallax Electronics Corp. Computerized stereoscopic image system and method of using two-dimensional image for providing a view having visual depth
KR100270804B1 (ko) * 1998-02-18 2000-11-01 박남은 시알티모니터를사용하는컴퓨터시스템에서입체영상구현을위한입체영상구현장치
US6113500A (en) * 1999-03-18 2000-09-05 Cinema Ride, Inc. 3-D simulator ride
US6753828B2 (en) * 2000-09-25 2004-06-22 Siemens Corporated Research, Inc. System and method for calibrating a stereo optical see-through head-mounted display system for augmented reality
US20040135744A1 (en) * 2001-08-10 2004-07-15 Oliver Bimber Virtual showcases
AU2002361572A1 (en) * 2001-10-19 2003-04-28 University Of North Carolina At Chape Hill Methods and systems for dynamic virtual convergence and head mountable display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR980004114A (ko) * 1997-12-11 1998-03-30 양승택 증강 현실 기반의 골프 지원 시스템 및 그 운용 방법
KR20040018859A (ko) * 2002-08-27 2004-03-04 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101051355B1 (ko) 2009-06-09 2011-07-22 (주)이지스 3차원 공간 데이터를 이용한 카메라 영상의 3차원 좌표 획득방법 및 이를 이용한 카메라 연동 제어방법
US9230500B2 (en) 2012-02-23 2016-01-05 Electronics & Telecommunications Research Institute Expanded 3D stereoscopic display system

Also Published As

Publication number Publication date
KR20060068508A (ko) 2006-06-21
US20060132915A1 (en) 2006-06-22

Similar Documents

Publication Publication Date Title
KR100656342B1 (ko) 다중 입체 영상 혼합 제시용 시각 인터페이스 장치
KR100809479B1 (ko) 혼합 현실 환경을 위한 얼굴 착용형 디스플레이 장치
CN105359076B (zh) 多步骤虚拟对象选择方法和装置
US8581966B2 (en) Tracking-enhanced three-dimensional display method and system
US11574389B2 (en) Reprojection and wobulation at head-mounted display device
WO2006081198A9 (en) Compact haptic and augmented virtual reality system
JPH10188034A (ja) 立体画像生成装置および距離演算装置
KR20130097014A (ko) 확장형 3차원 입체영상 디스플레이 시스템
KR20160016468A (ko) 리얼 3d 영상 생성 방법 및 그 장치
JPH09238369A (ja) ３次元像表示装置
US20190109938A1 (en) Message display method according to event occurrence in vr device and apparatus therefor
Bohdal Devices for virtual and augmented reality
CN107948631A (zh) 一种基于集群和渲染的裸眼3d系统
US10567744B1 (en) Camera-based display method and system for simulators
US9989762B2 (en) Optically composited augmented reality pedestal viewer
JP2005012385A (ja) オブジェクト表示方法およびオブジェクト表示装置
Hirsch et al. 8d: interacting with a relightable glasses-free 3d display
JP2010253264A (ja) ゲーム装置、立体視画像生成方法、プログラム及び情報記憶媒体
Lipton Future of autostereoscopic electronic displays
JP3088326B2 (ja) 立体映像表示装置
Denisov et al. Perspectives and development of mixed reality technologies
Lee et al. Layered multiple displays for immersive and interactive digital contents
Piszczek et al. Photonic input-output devices used in virtual and augmented reality technologies
Vaish et al. A REVIEW ON APPLICATIONS OF AUGMENTED REALITY PRESENT AND FUTURE
JP2025521561A (ja) 複数のオートステレオスコピックディスプレイ装置を備えるオートステレオスコピックディスプレイシステム

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

L13-X000 Limitation or reissue of ip right requested

St.27 status event code: A-2-3-L10-L13-lim-X000

U15-X000 Partial renewal or maintenance fee paid modifying the ip right scope

St.27 status event code: A-4-4-U10-U15-oth-X000

FPAY Annual fee payment

Payment date: 20121129

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20131128

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

FPAY Annual fee payment

Payment date: 20151127

Year of fee payment: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

FPAY Annual fee payment

Payment date: 20161121

Year of fee payment: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20181025

Year of fee payment: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20191206

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20191206