[go: up one dir, main page]

KR102742158B1 - 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들 - Google Patents

전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들 Download PDF

Info

Publication number
KR102742158B1
KR102742158B1 KR1020207020715A KR20207020715A KR102742158B1 KR 102742158 B1 KR102742158 B1 KR 102742158B1 KR 1020207020715 A KR1020207020715 A KR 1020207020715A KR 20207020715 A KR20207020715 A KR 20207020715A KR 102742158 B1 KR102742158 B1 KR 102742158B1
Authority
KR
South Korea
Prior art keywords
delete delete
display
primitive
primitives
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020207020715A
Other languages
English (en)
Other versions
KR20200109315A (ko
Inventor
실뱅 마르셀 콜린
티나 친
아서 젤리그 세파미
캄란 카데리
마크 안토니 사라루
조슈아 디. 비엔쉬
라제이 쿠마르
조나단 시무스 블랙클리
Original Assignee
퍼시픽 라이트 앤드 홀로그램 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퍼시픽 라이트 앤드 홀로그램 인크. filed Critical 퍼시픽 라이트 앤드 홀로그램 인크.
Priority to KR1020247040787A priority Critical patent/KR20250002804A/ko
Publication of KR20200109315A publication Critical patent/KR20200109315A/ko
Application granted granted Critical
Publication of KR102742158B1 publication Critical patent/KR102742158B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B7/00—Measuring arrangements characterised by the use of electric or magnetic techniques
    • G01B7/004—Measuring arrangements characterised by the use of electric or magnetic techniques for measuring coordinates of points
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R29/00—Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
    • G01R29/08—Measuring electromagnetic field characteristics
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R29/00—Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
    • G01R29/08—Measuring electromagnetic field characteristics
    • G01R29/0807—Measuring electromagnetic field characteristics characterised by the application
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/40—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images giving the observer of a single two-dimensional [2D] image a perception of depth
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/52—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels the 3D volume being constructed from a stack or sequence of 2D planes, e.g. depth sampling systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/50—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels
    • G02B30/56—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images the image being built up from image elements distributed over a 3D volume, e.g. voxels by projecting aerial or floating images
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/32—Holograms used as optical elements
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/1313—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells specially adapted for a particular application
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H1/024—Hologram nature or properties
    • G03H1/0248—Volume holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808—Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/30—Clipping
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/001—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background
    • G09G3/003—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes using specific devices not provided for in groups G09G3/02 - G09G3/36, e.g. using an intermediate record carrier such as a film slide; Projection systems; Display of non-alphanumerical information, solely or in combination with alphanumerical information, e.g. digital display on projected diapositive as background to produce spatial visual effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/296—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/32—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using arrays of controllable light sources; using moving apertures or moving light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/324—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R29/00—Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
    • G01R29/08—Measuring electromagnetic field characteristics
    • G01R29/0807—Measuring electromagnetic field characteristics characterised by the application
    • G01R29/0814—Field measurements related to measuring influence on or from apparatus, components or humans, e.g. in ESD, EMI, EMC, EMP testing, measuring radiation leakage; detecting presence of micro- or radiowave emitters; dosimetry; testing shielding; measurements related to lightning
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R29/00—Arrangements for measuring or indicating electric quantities not covered by groups G01R19/00 - G01R27/00
    • G01R29/08—Measuring electromagnetic field characteristics
    • G01R29/0864—Measuring electromagnetic field characteristics characterised by constructional or functional features
    • G01R29/0892—Details related to signal analysis or treatment; presenting results, e.g. displays; measuring specific signal features other than field strength, e.g. polarisation, field modes, phase, envelope, maximum value
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B27/0103—Head-up displays characterised by optical features comprising holographic elements
    • G02B2027/0109—Head-up displays characterised by optical features comprising holographic elements comprising details concerning the making of holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0212—Light sources or light beam properties
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/02—Details of features involved during the holographic process; Replication of holograms without interference recording
    • G03H2001/0208—Individual components other than the hologram
    • G03H2001/0224—Active addressable light modulator, i.e. Spatial Light Modulator [SLM]
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/30—3D object
    • G03H2210/36—Occluded features resolved due to parallax selectivity
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00—Object characteristics
    • G03H2210/40—Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45—Representation of the decomposed object
    • G03H2210/452—Representation of the decomposed object into points
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/21—Collision detection, intersection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Electromagnetism (AREA)
  • Nonlinear Science (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Crystallography & Structural Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Image Generation (AREA)
  • Holo Graphy (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

물체들을 3차원(3D) 디스플레이하기 위한 방법들, 장치, 디바이스들 및 시스템들이 제공된다. 일 양태에서, 방법은 물체에 대응하는 프리미티브들에 대한 각자의 프리미티브 데이터를 포함하는 데이터를 획득하는 것, 프리미티브들 각각에 대해 프리미티브로부터 디스플레이의 각각의 요소로의 전자기(EM) 필드 전파를 계산함으로써 요소에 대한 EM 필드 기여를 결정하는 것, 요소들 각각에 대한 프리미티브들로부터의 EM 필드 기여들의 합을 생성하는 것, EM 필드 기여들의 합에 기초하여 요소의 적어도 하나의 특성을 변조하기 위한 각자의 제어 신호를 요소들 각각에 송신하는 것, 및 조명기를 활성화하여 디스플레이 상에 광을 조명하도록 타이밍 제어 신호를 조명기에 송신함으로써, 물체에 대응하는 볼륨메트릭 광 필드를 형성하도록 디스플레이의 변조된 요소들에 의해 광이 야기되도록 하는 것을 포함한다.

Description

전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들
참조 문헌의 포함
본 출원은 2018년 1월 16일자로 출원되었으며 발명의 명칭이 "Three-Dimensional Displays Using Electromagnetic Field Computations"인 U.S.S.N. 62/618,054에 대한 35 U.S.C.§119 하의 우선권을 주장하며, 그러한 출원의 전체 내용은 본 명세서에 참조로 포함된다.
기술 분야
본 개시내용은 3차원(3D) 디스플레이들에 관한 것으로서, 특히, 컴퓨팅 기술을 이용한 3D 디스플레이들에 관한 것이다.
전통적인 2차원(2D) 투영 및 3D 렌더링에서의 진보들은, 헤드 및 눈 추적을(head and eye tracking) 가상 현실(virtual reality)(VR), 증강 현실(augmented reality)(AR), 및 혼합 현실(mixed reality)(MR)과 혼합하는 많은 하이브리드 기법들을 포함하는, 3D 디스플레이들에 대한 새로운 방안들을 가져왔다. 이러한 기법들은 실제 홀로그램에 의해 표현될 수 있는 스테레오 또는 인-아이 광 필드(stereo or in-eye light field)를 시뮬레이션하기 위해, 추적 및 측정 기반 계산들과 결합된, 홀로그래픽 이미지(holographic imagery)의 경험을 복제하려고 시도한다.
개요
본 개시내용은 3차원(3D) 디스플레이들을 위해 전자기(electromagnetic)(EM) 필드 컴퓨팅들을 이용하기 위한 방법들, 장치들, 디바이스들 및 시스템들을 설명한다.
본 개시내용은 알려진 기술들에 존재하는 제한들을 극복할 수 있는 기술을 제공한다. 예로서, 본 명세서에 개시된 기술은 "3D 안경"과 같은 성가신 웨어러블 디바이스들을 이용하지 않고서도 구현될 수 있다. 다른 예로서, 본 명세서에 개시된 기술은, 정확도 추적 메커니즘들(accuracy tracking mechanisms), 디스플레이 디바이스들의 품질, 비교적 긴 처리 시간들 및/또는 비교적 높은 컴퓨팅 요구사항들에 의해, 및/또는 물체들을 다수의 뷰어들(viewers)에게 동시에 디스플레이할 수 없다는 것에 의해 제한되지 않으면서 선택적으로 구현될 수 있다. 추가의 예로서, 그러한 기술은 종래의 3D 콘텐츠 생성에서 이용되는 도구들 및 소프트웨어를 넘어 그 이상으로 확장하는, 콘텐츠를 개발하기 위한 전문화된 도구들 및 소프트웨어 없이도 구현될 수 있다. 다양한 실시예들은 전술한 이점들 중 하나 이상을 나타낼 수 있다. 예를 들어, 본 개시내용의 특정 구현들은 세상에서의 실제 3D 물체들인 것으로 나타나고, 상이한 포인트들로부터 동시에 다수의 뷰어들이 지장없이 볼 수 있는, 실시간의, 풀 컬러의, 진짜 3D 이미지들을 생성할 수 있다.
본 개시내용의 일 양태는, 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들(primitives) 각각에 대해, 3D 좌표계에서의 프리미티브로부터 디스플레이의 복수의 요소들로의 전자기(EM) 필드 전파를 컴퓨팅함으로써 요소들 각각에 대한 EM 필드 기여(contribution)를 결정하는 것; 및 복수의 요소들 각각에 대해, 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합(sum)을 생성하는 것을 포함하는 방법을 특징으로 한다.
EM 필드 기여는 위상 기여(phase contribution) 또는 진폭 기여(amplitude contribution) 중 적어도 하나를 포함할 수 있다. 프리미티브들은 포인트 프리미티브(point primitive), 라인 프리미티브(line primitive), 또는 다각형 프리미티브(polygon primitive) 중 적어도 하나를 포함할 수 있다. 프리미티브들은 그래디언트 컬러(gradient color), 텍스쳐 컬러(textured color), 또는 임의의 표면 셰이딩 효과(surface shading effect) 중 적어도 하나를 포함하는 라인 프리미티브를 포함할 수 있다. 프리미티브들은 또한 그래디언트 컬러, 텍스쳐 컬러, 또는 임의의 표면 셰이딩 효과 중 적어도 하나를 포함하는 다각형 프리미티브를 포함할 수 있다. 복수의 프리미티브들은 특정 순서로 인덱싱될 수 있다.
일부 구현들에서, 방법은 복수의 프리미티브들 각각에 대한 각자의 프리미티브 데이터를 획득하는 것을 더 포함한다. 복수의 프리미티브들 각각의 각자의 프리미티브 데이터는 프리미티브의 각자의 컬러 정보를 포함할 수 있고, 요소들 각각에 대한 결정된 EM 필드 기여들은 프리미티브들의 각자의 컬러 정보에 대응하는 정보를 포함한다. 컬러 정보는 텍스쳐 컬러 또는 그래디언트 컬러 중 적어도 하나를 포함할 수 있다. 복수의 프리미티브들 각각의 각자의 프리미티브 데이터는 프리미티브의 텍스쳐 정보를 포함할 수 있다. 복수의 프리미티브들 각각의 각자의 프리미티브 데이터는 프리미티브의 하나 이상의 표면에 대한 셰이딩 정보를 포함할 수 있다. 셰이딩 정보는 프리미티브의 하나 이상의 표면 상에 컬러 또는 휘도(brightness) 중 적어도 하나에 대한 변조(modulation)를 포함할 수 있다.
일부 구현들에서, 복수의 프리미티브들 각각의 각자의 프리미티브 데이터는 3D 좌표계에서의 프리미티브의 각자의 좌표 정보를 포함한다. 3D 좌표계에서의 복수의 요소들 각각의 각자의 좌표 정보는 3D 좌표계에서의 복수의 프리미티브들의 각자의 좌표 정보에 기초하여 결정될 수 있다. 요소들 각각의 각자의 좌표 정보는 메모리에 저장된 요소에 대한 논리적 메모리 주소(logical memory address)에 대응할 수 있다.
복수의 프리미티브들 각각에 대한 복수의 요소들 각각에 대한 EM 필드 기여를 결정하는 것은, 3D 좌표계에서, 요소의 각자의 좌표 정보 및 프리미티브의 각자의 좌표 정보에 기초하여 요소와 프리미티브 사이의 적어도 하나의 거리를 결정하는 것을 포함할 수 있다. 일부 예들에서, 복수의 프리미티브들 각각에 대한 복수의 요소들 각각에 대한 EM 필드 기여를 결정하는 것은, 복수의 프리미티브들 중 제1 프리미티브와 복수의 요소들 중 제1 요소 사이의 제1 거리를, 제1 프리미티브의 각자의 좌표 정보 및 제1 요소의 각자의 좌표 정보에 기초하여 결정하는 것; 및 제1 프리미티브와 복수의 요소들 중 제2 요소 사이의 제2 거리를, 제1 거리 및 제1 요소와 제2 요소 사이의 거리에 기초하여 결정하는 것을 포함한다. 제1 요소와 제2 요소 사이의 거리는 디스플레이의 복수의 요소들의 피치(pitch)에 기초하여 미리 결정될 수 있다.
일부 예들에서, 복수의 프리미티브들 중 적어도 하나는 제1 및 제2 엔드포인트들을 포함하는 라인 프리미티브이고, 요소와 프리미티브 사이의 적어도 하나의 거리를 결정하는 것은, 요소와 라인 프리미티브의 제1 엔드포인트 사이의 제1 거리를 결정하는 것; 및 요소와 라인 프리미티브의 제2 포인트 사이의 제2 거리를 결정하는 것을 포함한다. 일부 예들에서, 복수의 프리미티브들 중 적어도 하나는 제1, 제2, 및 제3 엔드포인트들을 포함하는 삼각형 프리미티브이고, 요소와 프리미티브 사이의 적어도 하나의 거리를 결정하는 것은, 요소와 삼각형 프리미티브의 제1 엔드포인트 사이의 제1 거리를 결정하는 것; 요소와 삼각형 프리미티브의 제2 포인트 사이의 제2 거리를 결정하는 것; 및 요소와 삼각형 프리미티브의 제3 포인트 사이의 제3 거리를 결정하는 것을 포함한다.
일부 구현들에서, 복수의 프리미티브들 각각에 대한 복수의 요소들 각각에 대한 EM 필드 기여를 결정하는 것은, 프리미티브에 대한 미리 결정된 표현(predetermined expression) 및 적어도 하나의 거리에 기초하여 프리미티브로부터의 요소에 대한 EM 필드 기여를 결정하는 것을 포함한다. 일부 경우들에서, 미리 결정된 표현은 프리미티브로부터 요소로의 EM 필드 전파를 분석적으로 계산함으로써 결정된다. 일부 경우들에서, 미리 결정된 표현은 맥스웰 방정식들(Maxwell's equations)을 푸는 것에 의해 결정된다. 맥스웰 방정식들은 디스플레이의 표면에서 정의된 경계 조건(boundary condition)을 제공함으로써 풀 수 있다. 경계 조건은 디리클레 경계 조건(Dirichlet boundary condition) 또는 코시 경계 조건(Cauchy boundary condition)을 포함할 수 있다. 복수의 프리미티브들 및 복수의 요소들은 3D 공간에 있을 수 있고, 디스플레이의 표면은 3D 공간의 경계 표면의 일부를 형성할 수 있다. 일부 경우들에서, 미리 결정된 표현은 사인 함수, 코사인 함수, 또는 지수 함수를 포함하는 함수들 중 적어도 하나를 포함하고, EM 필드 기여를 결정하는 것은 메모리에 저장된 테이블에서의 함수들 중 적어도 하나의 값을 식별하는 것을 포함한다.
일부 구현들에서, 복수의 프리미티브들 각각에 대한 복수의 요소들 각각에 대한 EM 필드 기여를 결정는 것 및 복수의 요소들 각각에 대한 필드 기여들의 합을 생성하는 것은, 복수의 프리미티브들로부터 복수의 요소들 중 제1 요소로의 제1 EM 필드 기여들을 결정하고, 제1 요소에 대한 제1 EM 필드 기여들을 합산하는 것; 및 복수의 프리미티브들로부터 복수의 요소들 중 제2 요소로의 제2 EM 필드 기여들을 결정하고, 제2 요소에 대한 제2 EM 필드 기여들을 합산하는 것을 포함한다. 복수의 프리미티브들로부터 제1 요소로의 제1 EM 필드 기여들을 결정하는 것은, 복수의 프리미티브들 중 제2 프리미티브로부터 제1 요소로의 EM 필드 기여를 결정하는 것과 병렬로, 복수의 프리미티브들 중 제1 프리미티브로부터 제1 요소로의 EM 필드 기여를 결정하는 것을 포함할 수 있다.
일부 구현들에서, 복수의 프리미티브들 각각에 대한 복수의 요소들 각각에 대한 EM 필드 기여를 결정하는 것은, 복수의 프리미티브들 중 제1 프리미티브로부터 복수의 요소들 각각으로의 제1 각자의 EM 필드 기여들을 결정하는 것; 및 복수의 프리미티브들 중 제2 프리미티브로부터 복수의 요소들 각각으로의 제2 각자의 EM 필드 기여들을 결정하는 것을 포함하고, 복수의 요소들 각각에 대한 필드 기여들의 합을 생성하는 것은, 요소에 대한 제2 각자의 EM 필드 기여를 제1 각자의 EM 필드 기여에 가산함으로써, 요소에 대한 EM 필드 기여들을 누적하는 것을 포함할 수 있다. 제1 프리미티브로부터 복수의 요소들 각각으로의 제1 각자의 EM 필드 기여들을 결정하는 것은, 제2 프리미티브로부터 복수의 요소들 각각으로의 제2 각자의 EM 필드 기여들을 결정하는 것과 병렬로 수행될 수 있다.
복수의 프리미티브들 각각에 대한 복수의 요소들 각각에 대한 EM 필드 기여를 결정하는 것은, 복수의 프리미티브들 중 제2 프리미티브로부터 제1 요소로의 제2 EM 필드 기여를 결정하는 것과 병렬로, 복수의 프리미티브들 중 제1 프리미티브로부터 복수의 요소들 중 제1 요소로의 제1 EM 필드 기여를 결정하는 것을 포함할 수 있다.
일부 구현들에서, 방법은, 복수의 요소들 각각에 대해, 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합에 기초하여 각자의 제어 신호를 생성하는 것을 더 포함하고, 각자의 제어 신호는 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합에 기초하여 요소의 적어도 하나의 특성을 변조하기 위한 것이다. 요소의 적어도 하나의 특성은 굴절률(refractive index), 진폭 인덱스(amplitude index), 복굴절(birefringence), 또는 지연(retardance) 중 적어도 하나를 포함할 수 있다. 각자의 제어 신호는 전기 신호, 광학 신호, 자기 신호, 또는 음향 신호를 포함할 수 있다. 일부 경우들에서, 방법은 스케일 계수(scale factor)를 요소들 각각에 대한 필드 기여들의 합에 승산하여, 필드 기여들의 스케일링된 합을 획득하는 것을 더 포함하고, 각자의 제어 신호는 요소에 대한 필드 기여들의 스케일링된 합에 기초하여 생성된다. 일부 경우들에서, 방법은 요소들 각각에 대한 필드 기여들의 합을 정규화하는 것을 더 포함하고, 각자의 제어 신호는 요소에 대한 필드 기여들의 정규화된 합에 기초한다. 방법은 또한 각자의 제어 신호를 요소에 송신하는 것을 포함할 수 있다.
일부 구현들에서, 방법은 제어 신호를 조명기(illuminator)에 송신하는 것을 더 포함하고, 제어 신호는 조명기를 턴 온(turn on)하여 조명기가 디스플레이 상에 광(light)을 방출(emit)하도록 지시한다. 제어 신호는 복수의 요소들 각각에 대한 필드 기여들의 합을 획득하는 것의 완료를 결정하는 것에 응답하여 송신될 수 있다. 디스플레이의 변조된 요소들은 광이 상이한 방향들로 전파되어, 3D 공간에서의 물체에 대응하는 볼륨메트릭 광 필드(volumetric light field)를 형성하도록 할 수 있다. 볼륨메트릭 광 필드는 디스플레이의 변조된 요소들에 의해 정의된 경계 조건을 갖는 맥스웰 방정식들의 해(solution)에 대응할 수 있다. 광은 백색 광(white light)을 포함할 수 있고, 디스플레이는 백색 광을 상이한 컬러들을 갖는 광으로 회절시키도록 구성될 수 있다.
일부 구현들에서, 방법은 계산 동안 고정 소수점 수 표현들(fixed point number representations)을 이용하여 값들을 표현하는 것을 더 포함한다. 값들 각각은 암시적 스케일 계수를 갖는 정수들로서 표현될 수 있다.
일부 구현들에서, 방법은 고정 소수점 수 표현들을 이용하여 수학 함수를 수행하는 것을 더 포함한다. 수학 함수는 사인, 코사인, 및 아크탄젠트 중 적어도 하나를 포함할 수 있다. 수학 함수를 수행하는 것은, 제1 고정 소수점 포맷으로 표현을 수신하는 것, 및 제1 고정 소수점 포맷과는 상이한 정확도의 레벨을 갖는 제2 고정 소수점 포맷으로 값을 출력하는 것을 포함할 수 있다. 수학 함수를 수행하는 것은 수학 함수의 계산을 위한 테이블을 룩업(looking up)하는 것을 포함하고, 테이블은 전체 열거된 룩업 테이블(fully enumerated look-up table), 보간된 테이블(interpolated table), 다항식 함수들에 기초한 세미-테이블, 및 전체 미니맥스 다항식들(full minimax polynomials)에 기초한 세미-테이블 중 적어도 하나를 포함한다. 수학 함수를 수행하는 것은 입력에 대해 전문화된 범위 감소(specialized range reduction)를 적용하는 것을 포함할 수 있다. 수학 함수를 수행하는 것은 범위 [-π,π]로부터의 삼각 계산(trigonometric calculation)을 범위 [-1,1] 내의 부호를 갖는 2의 보수 표현(signed 2's compliment representation)으로 변환하는 것을 포함할 수 있다.
본 개시내용의 다른 양태는, 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들의 각자의 프리미티브 데이터를 획득하는 것; 복수의 프리미티브들 중 제1 프리미티브로부터 디스플레이의 복수의 요소들 각각으로의 제1 각자의 전자기(EM) 필드 기여들을 계산하는 것; 및 복수의 프리미티브들 중 제2 프리미티브로부터 디스플레이의 복수의 요소들 각각으로의 제2 각자의 EM 필드 기여들을 계산하는 것을 포함하는 방법을 특징으로 한다. 제1 프리미티브로부터의 제1 각자의 EM 필드 기여들을 계산하는 것은, 적어도 부분적으로는 제2 프리미티브로부터의 제2 각자의 EM 필드 기여들을 계산하는 것과 병렬로 행해진다.
일부 구현들에서, 제1 프리미티브로부터 복수의 요소들 중 제1 요소로의 제1 EM 필드 기여를 계산하는 것은, 복수의 프리미티브들 중 제2 프리미티브로부터 제1 요소로의 제2 EM 필드 기여를 계산하는 것과 병렬로 행해진다. 방법은 복수의 프리미티브들 각각으로부터 복수의 요소들 각각으로의 각자의 EM 필드 기여들을 계산하는 것을 포함할 수 있다. 각자의 EM 필드 기여들의 계산은, 물체의 기하 구조(geometry)를 복수의 요소들로 확장하는 것; 파면들(wavefronts)을 패킹(packing)하기 전에 가시성 테스트들(visibility tests)을 적용하는 것; 및 상이한 프리미티브들에 대한 병렬 계산들 사이의 의사 결정(decision making) 또는 통신 중 적어도 하나가 없이 행해질 수 있다. 각자의 EM 필드 기여들의 계산은, 상이한 프리미티브들에 대한 병렬 계산들을 속도, 비용, 크기 또는 에너지 최적화에 대해 튜닝하는 것; 그리기(draw)를 개시하는 것과 결과를 디스플레이할 준비가 되는 것 사이의 레이턴시(latency)를 감소시키는 것; 고정 소수점 수 표현들을 이용하여 정확도를 증가시키는 것; 및 수학 함수들을 최적화함으로써 컴퓨팅 속도를 최적화하는 것 중 적어도 하나를 야기하도록 구성될 수 있다.
일부 구현들에서, 방법은 계산 동안 고정 소수점 수 표현들을 이용하여 값들을 표현하는 것을 더 포함한다. 고정 소수점 수 표현들을 이용하여 값들을 표현하는 것은, 점진적 언더플로우(gradual underflow)를 위한 비정상적인 부동 소수점들(denormal floats); 0에 의한 나눗셈을 포함하는 연산들로부터의 NaN 결과들을 처리하는 것; 부동 소수점 반올림 모드들(floating point rounding modes)을 변경하는 것; 및 운영 체제에 대한 부동 소수점 예외들을 발생시키는 것 중 적어도 하나가 없이 행해질 수 있다.
일부 구현들에서, 방법은, 복수의 요소들 각각에 대해, 요소에 대한 제2의 각자의 EM 필드 기여를 요소에 대한 제1 각자의 EM 필드 기여에 가산함으로써, 요소에 대한 EM 필드 기여들을 누적하는 것을 더 포함한다.
일부 구현들에서, 방법은, 복수의 요소들 각각에 대해, 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합에 기초하여 각자의 제어 신호를 생성하는 것을 더 포함하고, 각자의 제어 신호는 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합에 기초하여 요소의 적어도 하나의 특성을 변조하기 위한 것이다.
일부 구현들에서, 방법은 제1 프리미티브의 재구성이 제2 프리미티브의 재구성과 중첩하지 않도록, 제2 프리미티브에 인접한 제1 프리미티브를 미리 결정된 계수에 의해 스케일링하는 것을 더 포함한다. 미리 결정된 계수는 디스플레이의 해상도에 적어도 부분적으로 기초하여 결정될 수 있다. 방법은 복수의 프리미티브들 각각에 대한 각자의 프리미티브 데이터를 획득하는 것―복수의 프리미티브들 각각의 각자의 프리미티브 데이터는 3D 좌표계에서의 프리미티브의 각자의 좌표 정보를 포함함―; 및 제1 프리미티브의 각자의 좌표 정보 및 미리 결정된 계수에 기초하여 제1 프리미티브의 새로운 각자의 좌표 정보를 결정하는 것을 더 포함할 수 있다. 방법은 제1 프리미티브의 새로운 각자의 좌표 정보에 기초하여 제1 프리미티브로부터 복수의 요소들 각각으로의 EM 필드 기여를 결정하는 것을 더 포함할 수 있다. 방법은 제2 프리미티브를 미리 결정된 계수에 의해 스케일링하는 것을 더 포함할 수 있다. 제1 프리미티브 및 제2 프리미티브는 공통 부분을 공유할 수 있고, 제1 프리미티브를 스케일링하는 것은 제1 프리미티브의 공통 부분을 스케일링하는 것을 포함한다. 제1 프리미티브를 스케일링하는 것은 제1 프리미티브를 미리 결정된 방향으로 스케일링하는 것을 포함할 수 있다.
본 개시내용의 다른 양태는, 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들의 각자의 프리미티브 데이터를 획득하는 것; 제1 프리미티브 및 제2 프리미티브에 대한 각자의 프리미티브 데이터를 이용하여, 제2 프리미티브에 인접한 제1 프리미티브를 미리 결정된 계수에 의해 스케일링하는 것; 및 스케일링의 결과에 기초하여 제1 프리미티브에 대한 각자의 프리미티브 데이터를 업데이트하는 것을 포함하는 방법을 특징으로 한다.
일부 구현들에서, 복수의 프리미티브들 각각의 각자의 프리미티브 데이터는 3D 좌표계에서의 프리미티브의 각자의 좌표 정보를 포함하고, 각자의 프리미티브 데이터를 업데이트하는 것은 제1 프리미티브의 각자의 좌표 정보 및 미리 결정된 계수에 기초하여 제1 프리미티브의 새로운 각자의 좌표 정보를 결정하는 것을 포함한다.
일부 구현들에서, 미리 결정된 계수는 3D 공간에서의 제1 프리미티브의 재구성이 제2 프리미티브의 재구성과 중첩하지 않도록 결정된다.
일부 구현들에서, 3D 공간에서의 제1 프리미티브와 제2 프리미티브의 재구성 사이의 갭이, 중첩 효과를 최소화하도록 제1 및 제2 프리미티브들을 분리하기에 충분히 크고, 재구성이 끊김없이 나타나도록 만들기에 충분히 작도록, 스케일링이 수행된다.
일부 구현들에서, 미리 결정된 계수는 디스플레이의 해상도에 적어도 부분적으로 기초하여 결정된다.
일부 구현들에서, 방법은 제1 프리미티브에 대한 업데이트된 프리미티브 데이터를 버퍼에 저장하는 것을 더 포함한다.
일부 구현들에서, 스케일링은 복수의 프리미티브들의 각자의 프리미티브 데이터를 획득하기 위한 물체의 렌더링(rendering) 프로세스 동안 수행된다.
일부 구현들에서, 방법은 복수의 프리미티브들에 대한 업데이트된 프리미티브 데이터를 제어기에 송신하는 것을 더 포함하고, 제어기는 복수의 프리미티브들에 대한 업데이트된 프리미티브 데이터에 기초하여 복수의 프리미티브들 각각으로부터 디스플레이의 복수의 요소들 각각으로의 각자의 전자기(EM) 필드 기여들을 결정하도록 구성된다.
일부 구현들에서, 방법은 제1 프리미티브의 업데이트된 프리미티브 데이터에 기초하여 제1 프리미티브로부터 디스플레이의 복수의 요소들 각각으로의 EM 필드 기여를 결정하는 것을 더 포함한다.
일부 구현들에서, 방법은 제2 프리미티브를 미리 결정된 계수에 의해 스케일링하는 것을 더 포함한다.
일부 구현들에서, 제1 프리미티브 및 제2 프리미티브는 공통 부분을 공유하고, 제1 프리미티브를 스케일링하는 것은 제1 프리미티브의 공통 부분을 스케일링하는 것을 포함한다.
일부 구현들에서, 제1 프리미티브를 스케일링하는 것은 제1 프리미티브를 미리 결정된 방향으로 스케일링하는 것을 포함한다.
일부 구현들에서, 제1 프리미티브를 스케일링하는 것은 제1 프리미티브의 제1 부분을 제1 미리 결정된 계수에 의해 스케일링하는 것, 및 제2 프리미티브의 제2 부분을 제2 미리 결정된 계수에 의해 스케일링하는 것을 포함하고, 제1 미리 결정된 계수는 제2 미리 결정된 계수와 상이하다.
본 개시내용의 다른 양태는, 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들 중 특정 프리미티브의 명시된 표면 상에 맵핑될 이미지의 복수의 이산 코사인 변환(discrete cosine transform)(DCT) 가중치들을 획득하는 것; 및 이미지의 복수의 DCT 가중치들의 효과를 고려함으로써, 특정 프리미티브로부터 디스플레이의 복수의 요소들 각각으로의 각자의 EM 필드 기여를 결정하는 것을 포함하는 방법을 특징으로 한다.
일부 구현들에서, 방법은 특정 프리미티브의 명시된 표면 상에 맵핑될 이미지에 대한 해상도를 결정하는 것; 및 해상도에 기초하여 이미지의 복수의 DCT 가중치들을 결정하는 것을 더 포함한다.
일부 구현들에서, 방법은 이미지의 DCT 가중치들을 디코딩하여, 이미지의 각각의 픽셀에 대한 각자의 DCT 진폭을 획득하는 것을 더 포함한다.
일부 구현들에서, 방법은 특정 프리미티브의 프리미티브 데이터와 함께 이미지의 픽셀들의 각자의 DCT 진폭들과 연관된 값들을 저장하는 것을 더 포함한다. 각자의 EM 필드 기여를 결정하는 것은, 이미지의 픽셀들의 각자의 DCT 진폭들과 연관된 값들로 특정 프리미티브로부터 복수의 요소들 각각으로의 각자의 EM 필드 기여를 계산하는 것을 포함할 수 있다.
일부 구현들에서, 방법은 각자의 EM 필드 기여의 결정에 포함될 특정 DCT 항들(terms)을 선택하는 것을 더 포함하고, 특정 DCT 항들 각각은 미리 결정된 임계치보다 높은 각자의 DCT 가중치를 갖는다.
본 개시내용의 다른 양태는, 주어진 프리미티브의 정보 및 주어진 프리미티브의 오클루더(occluder)를 획득하는 것―주어진 프리미티브는 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들 내에 있음―; 및 오클루더의 효과에서 주어진 프리미티브의 재구성에 기여하지 않는 디스플레이의 복수의 요소들 중 하나 이상의 특정 요소를 결정하는 것을 포함하는 방법을 특징으로 한다.
일부 구현들에서, 방법은 주어진 프리미티브의 정보 및 오클루더를 갖는 특정 요소들의 정보를 저장하는 것을 더 포함한다.
일부 구현들에서, 결정은 복수의 프리미티브들의 프리미티브 데이터를 획득하기 위한 물체의 렌더링 프로세스 동안 수행된다.
일부 구현들에서, 방법은 주어진 프리미티브의 정보 및 오클루더를 갖는 저장된 특정 요소들의 정보를, 디스플레이의 복수의 요소들에 대한 복수의 프리미티브들에 대한 전자기(EM) 기여들을 계산하도록 구성된 제어기에 송신하는 것을 더 포함한다.
일부 구현들에서, 방법은, 특정 요소들의 각각에 대해, 주어진 프리미티브로부터 특정 요소들 중 하나로의 전자기(EM) 필드 기여를 배제함으로써, 복수의 프리미티브들로부터 특정 요소들 중 하나로의 EM 필드 기여들의 합을 생성하는 것을 더 포함한다.
일부 구현들에서, 방법은, 특정 요소들 이외의 복수의 요소들 각각에 대해, 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 각자의 합을 생성하는 것을 더 포함한다.
일부 구현들에서, 방법은 주어진 프리미티브에 대한 특정 요소들의 EM 필드 기여를 마스킹(masking)하는 것을 더 포함한다.
일부 구현들에서, 하나 이상의 특정 요소를 결정하는 것은, 주어진 프리미티브를 오클루더의 엔드포인트들에 접속하는 것; 접속과 디스플레이 사이의 교차점들을 결정하기 위해 디스플레이로의 접속을 확장하는 것; 및 교차점들에 의해 정의된 특정 범위를, 오클루더의 효과에서 주어진 프리미티브의 재구성에 기여하지 않는 특정 요소들인 것으로 결정하는 것을 포함한다.
본 발명의 다른 양태는, 주어진 프리미티브의 정보 및 주어진 프리미티브의 오클루더를 획득하는 것―주어진 프리미티브는 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들 내에 있음―; 및 디스플레이의 복수의 요소들 각각에 대해, 오클루더의 효과에서 요소에 대한 전자기(EM) 필드 기여를 하지 않는 주어진 프리미티브의 각자의 부분을 결정하는 것을 포함하는 방법을 특징으로 한다.
일부 구현들에서, 방법은 주어진 프리미티브의 정보 및 오클루더를 갖는 주어진 프리미티브의 각자의 부분의 정보를 저장하는 것을 더 포함한다.
일부 구현들에서, 결정은 복수의 프리미티브들의 프리미티브 데이터를 획득하기 위한 물체의 렌더링 프로세스 동안 수행된다.
일부 구현들에서, 방법은 주어진 프리미티브의 정보 및 오클루더를 갖는 주어진 정보의 각자의 부분의 저장된 정보를, 디스플레이의 복수의 요소들에 대한 복수의 프리미티브들에 대한 전자기(EM) 기여들을 계산하도록 구성된 제어기에 송신하는 것을 더 포함한다.
일부 구현들에서, 방법은 주어진 프리미티브의 각자의 부분에 대한 복수의 요소들 각각의 EM 필드 기여를 마스킹하는 것을 더 포함한다.
일부 구현들에서, 방법은, 복수의 요소들 각각에 대해, 주어진 프리미티브의 각자의 부분으로부터 요소로의 EM 필드 기여를 배제함으로써, 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합을 생성하는 것을 더 포함한다. 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합을 생성하는 것은, 오클루더의 효과 없이 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합으로부터, 요소에 대한 주어진 프리미티브의 각자의 부분의 EM 기여를 감산하는 것을 포함할 수 있다. 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합을 생성하는 것은, 주어진 프리미티브의 하나 이상의 다른 부분으로부터 요소로의 EM 필드 기여들을 합산하는 것을 포함할 수 있고, 각자의 부분 및 하나 이상의 다른 부분은 주어진 프리미티브를 형성한다.
일부 구현들에서, 오클루더의 효과에서 요소에 대한 EM 필드 기여를 하지 않는 주어진 프리미티브의 각자의 부분을 결정하는 것은, 요소를 오클루더의 엔드포인트들에 접속하는 것; 접속과 주어진 프리미티브 사이의 교차점들을 결정하는 것; 및 교차점들에 의해 둘러싸이는 주어진 프리미티브의 특정 부분이 오클루더의 효과에서 요소에 대한 EM 필드 기여를 하지 않는 주어진 프리미티브의 각자의 부분인 것으로 결정하는 것을 포함한다.
본 개시내용의 다른 양태는, 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들 각각의 각자의 프리미티브 데이터를 획득하는 것; 복수의 프리미티브들 각각에 대한 각자의 기하학적 정반사 정보(geometric specular information)를 획득하는 것; 및 복수의 프리미티브들 각각에 대한 각자의 프리미티브 데이터를 갖는 각자의 기하학적 정반사 정보를 저장하는 것을 포함하는 방법을 특징으로 한다.
일부 구현들에서, 복수의 프리미티브들 각각에 대한 각자의 기하학적 정반사 정보는 시야각(viewing angle)에 대한 프리미티브의 표면의 반사율을 포함한다.
일부 구현들에서, 방법은 프리미티브에 대한 각자의 기하학적 정반사 정보를 고려함으로써, 복수의 프리미티브들 각각으로부터 디스플레이의 복수의 요소들 각각으로의 각자의 EM 필드 기여를 결정하는 것을 더 포함한다.
본 개시내용의 다른 양태는, 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들에 대한 각자의 프리미티브 데이터를 포함하는 그래픽 데이터를 획득하는 것; 복수의 프리미티브들 각각에 대해, 3D 좌표계에서의 프리미티브로부터 요소로의 전자기(EM) 필드 전파를 계산함으로써, 디스플레이의 복수의 요소들 각각에 대한 EM 필드 기여를 결정하는 것; 복수의 요소들 각각에 대해, 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합을 생성하는 것; 복수의 요소들 각각에 대해, 각자의 제어 신호를 요소에 송신하는 것―제어 신호는 요소에 대한 EM 필드 기여들의 합에 기초하여 요소의 적어도 하나의 특성을 변조하기 위한 것임―; 및 조명기를 활성화하여 디스플레이 상에 광을 조명하도록 타이밍 제어 신호를 조명기에 송신함으로써, 물체에 대응하는 볼륨메트릭 광 필드를 형성하도록 디스플레이의 변조된 요소들에 의해 광이 야기되도록 하는 것을 포함하는 방법을 특징으로 한다.
본 개시내용의 다른 양태는, 디스플레이의 복수의 요소들 각각에 대해, 각자의 제어 신호를 미리 결정된 교정 값으로 변경하는 것; 각자의 변경된 각자의 제어 신호들을 디스플레이의 복수의 요소들에 인가하는 것; 디스플레이에 입사하는 광의 출력을 측정하는 것; 및 광의 출력의 측정에 기초하여 미리 결정된 교정 값을 평가하는 것을 포함하는 방법을 특징으로 한다.
일부 구현들에서, 미리 결정된 교정 값은 복수의 요소들 각각에 대해 동일하다.
일부 구현들에서, 방법은 복수의 요소들의 각자의 제어 신호들을 디지털-아날로그 변환기(DAC)에 의해 변환하는 것을 더 포함하고, 복수의 요소들에 대한 각자의 제어 신호들을 변경하는 것은 각자의 제어 신호들의 디지털 신호들을 미리 결정된 교정 값으로 변경하는 것을 포함한다.
일부 구현들에서, 미리 결정된 값은 복수의 비트들을 포함한다.
일부 구현들에서, 방법은 평가의 결과에 기초하여 미리 결정된 교정 값을 조절하는 것을 더 포함한다. 미리 결정된 교정 값을 조절하는 것은 복수의 비트들의 하나 이상의 값을 수정하는 것을 포함할 수 있다. 미리 결정된 교정 값을 조절하는 것은 미리 결정된 교정 값 및 이전의 평가로부터 결정된 다른 교정 값에 기초하여 복수의 비트들의 값들의 조합을 결정하는 것을 포함할 수 있다.
일부 구현들에서, 광의 출력은 광의 위상 변화 또는 광의 출력과 배경 사이의 강도 차이를 포함한다.
일부 구현들에서, 요소의 각자의 제어 신호는 3D 공간에서의 물체에 대응하는 복수의 프리미티브들로부터 요소로의 전자기(EM) 필드 기여들의 합에 기초하여 결정된다.
본 개시내용의 다른 양태는, 디스플레이의 복수의 요소들 각각에 대해, 3차원(3D) 공간에서의 복수의 프리미티브들로부터의 전자기(EM) 필드 기여들의 각자의 합을 획득하는 것―복수의 프리미티브들은 3D 공간에서의 물체에 대응함―; 요소에 대한 EM 필드 기여들의 각자의 합에 각자의 수학적 변환을 적용하여, 요소에 대한 EM 필드 기여들의 각자의 변환된 합을 획득하는 것; 요소에 대한 EM 필드 기여들의 각자의 변환된 합에 기초하여 각자의 제어 신호를 결정하는 것; 및 요소에 대한 결정된 각자의 제어 신호에 기초하여 요소의 특성을 변조하는 것을 포함하는 방법을 특징으로 한다.
일부 구현들에서, 방법은 디스플레이의 복수의 요소들에 입사하는 광을 도입하는 것; 광의 제1 출력을 측정하는 것; 및 광의 제1 출력의 측정의 결과에 기초하여 복수의 요소들의 각자의 수학적 변환들의 하나 이상의 계수를 조절하는 것을 더 포함한다. 방법은 디스플레이의 관점에서 물체에 대응하는 홀로그래픽 패턴의 깊이를 변경하는 것; 광의 제2 출력을 측정하는 것; 및 제1 및 제2 출력들에 기초하여 각자의 수학적 변환들의 하나 이상의 계수를 조절하는 것을 더 포함할 수 있다. 방법은 제1 홀로그래픽 패턴에 대응하는 복수의 프리미티브들을 제2 홀로그래픽 패턴에 대응하는 제2 복수의 프리미티브들로 변경하는 것; 광의 제2 출력을 측정하는 것; 및 제1 및 제2 출력들에 기초하여 각자의 수학적 변환들의 하나 이상의 계수를 조절하는 것을 더 포함할 수 있다. 제1 홀로그래픽 패턴 및 제2 홀로그래픽 패턴은 물체에 대응할 수 있다. 제2 홀로그래픽 패턴은 제1 홀로그래픽 패턴과 관련된 물체와는 상이한 제2 물체에 대응할 수 있다. 광의 제1 출력은 이미징 센서에 의해 측정될 수 있다. 이미징 센서는 머신 비전 알고리즘(machine vision algorithm)을 이용하여, 무엇이 디스플레이되고 있는지를 결정하고, 적합성 파라미터(fitness parameter)를 계산하도록 구성될 수 있다. 제1 및 제2 홀로그래픽 패턴들 각각은 도트들(dots)의 격자(grid)를 포함할 수 있고, 적합성 파라미터는 도트들이 얼마나 가까이 함께 있는지, 도트들이 어떻게 중심에 위치되는지, 및 도트들이 얼마나 많이 왜곡되는지 중 적어도 하나이다.
일부 구현들에서, 수학적 변환은 제르니케 다항식 표현(Zernike polynomial expression)으로부터 유도된다.
일부 구현들에서, 복수의 요소들에 대한 수학적 변환들은 요소별로 변한다.
일부 구현들에서, 방법은 디스플레이를 조명함으로써 알려진 컬러들 및 강도들의 샘플 세트를 재생성하는 것; CIE 표준 관측자 곡선들(standard observer curves)로 교정된 색도계 디바이스(colorimeter device)를 이용하여 출력 광을 측정하는 것; 및 CIE XYZ 컬러 공간에서 디스플레이의 출력 광을 정의하는 것을 더 포함한다. 방법은 알려진 표준 값들로부터의 정의된 출력 광의 값들의 편차를 결정하는 것; 및 디스플레이 상의 출력 컬러들이 다시 정렬되도록 적응시키는 것을 더 포함할 수 있다.
본 개시내용의 다른 양태는, LC(liquid crystal) 디스플레이의 디스플레이 요소들의 피치에 기초하여 LC 디스플레이의 셀 갭(cell gap)을 결정하는 것; 및 셀 갭 및 LC 디스플레이에 대한 미리 결정된 지연에 기초하여 LC 혼합물의 복굴절의 최소값을 계산하는 것을 포함하는 방법을 특징으로 한다.
일부 구현들에서, 방법은 LC 혼합물의 복굴절을 최소값 위로 유지하면서 LC 디스플레이의 스위칭 속도를 개선하는 것을 더 포함한다. 스위칭 속도를 개선하는 것은, LC 혼합물의 유전체 이방성(dielectric anisotropy)을 증가시키는 것; 및 LC 혼합물의 회전 점도(rotational viscosity)를 감소시키는 것 중 적어도 하나를 포함할 수 있다.
일부 구현들에서, LC 디스플레이는 실리콘 백플레인(silicon backplane)을 갖는 LCOS(liquid crystal on silicon) 디바이스를 포함한다.
일부 구현들에서, LC 디스플레이는 액정층; 공통 전극으로서 액정층의 최상부 상의 투명 도전층; 및 액정층의 최하부 상의 복수의 금속 전극들을 포함하는 백플레인(backplane)을 포함하고, 복수의 금속 전극들 각각은 서로 격리되고, 백플레인은 복수의 금속 전극 각각의 전압을 제어하도록 구성된다.
본 개시내용의 다른 양태는, 백플레인; 및 백플레인 상의 복수의 디스플레이 요소들을 포함하는 디스플레이를 특징으로 하며, 복수의 디스플레이 요소들 중 적어도 2개는 상이한 크기들을 갖는다.
일부 구현들에서, 적어도 2개의 디스플레이 요소들 중 더 큰 디스플레이 요소는 버퍼를 포함하고, 적어도 2개의 디스플레이 요소들 중 더 작은 디스플레이 요소는 버퍼를 포함하지 않는다. 더 큰 디스플레이 요소는 도전성 라인에 의해 제1 복수의 디스플레이 요소들과 접속될 수 있고, 버퍼는 전압이 제1 복수의 디스플레이 요소들 내의 제2 복수의 디스플레이 요소들에만 인가되도록 도전성 라인 상에 인가되는 전압을 버퍼링하도록 구성되고, 제2 복수의 디스플레이 요소들의 수는 제1 복수의 디스플레이 요소들의 수보다 작다.
일부 구현들에서, 버퍼는 트랜지스터의 형태의 아날로그 회로 또는 논리 게이트들의 형태의 디지털 회로를 포함한다.
일부 구현들에서, 복수의 디스플레이 요소들의 크기 분포는 적어도 2개의 디스플레이 요소들 중 더 작은 디스플레이 요소의 크기와 실질적으로 동일하다.
일부 구현들에서, 디스플레이는 실리콘 디바이스 상의 액정이도록 구성된다.
본 개시내용의 다른 양태는, 백플레인; 및 백플레인 상의 복수의 디스플레이 요소들을 포함하는 디스플레이를 특징으로 하며, 복수의 디스플레이 요소들 중 적어도 2개는 상이한 형상들을 갖는다.
일부 구현들에서, 백플레인은 디스플레이 요소들 각각에 대한 각자의 회로를 포함하고, 적어도 2개의 디스플레이 요소들에 대한 각자의 회로들은 적어도 2개의 디스플레이 요소들의 상이한 형상들에 대응하는 형상들을 갖는다.
일부 구현들에서, 복수의 디스플레이 요소들의 크기 분포는 미리 결정된 크기와 실질적으로 동일하다.
일부 구현들에서, 디스플레이는 실리콘 디바이스 상의 액정이도록 구성된다.
본 개시내용의 다른 양태는, 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들에 대한 각자의 프리미티브 데이터를 포함하는 그래픽 데이터를 획득하는 것; 복수의 프리미티브들 각각에 대해, 3D 좌표계에서의 프리미티브로부터 요소로의 전자기(EM) 필드 전파를 계산함으로써 디스플레이의 복수의 요소들 각각에 대한 전자기(EM) 필드 기여를 결정하는 것; 복수의 요소들 각각에 대해, 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 합을 생성하는 것; 복수의 요소들 각각에 대해, 각자의 제어 신호를 요소에 송신하는 것―제어 신호는 요소에 대한 EM 필드 기여들의 합에 기초하여 요소의 적어도 하나의 특성을 변조하기 위한 것임―; 및 조명기를 활성화하여 디스플레이 상에 광을 조명하도록 타이밍 제어 신호를 조명기에 송신함으로써, 물체에 대응하는 볼륨메트릭 광 필드를 형성하도록 디스플레이의 변조된 요소들에 의해 광이 야기되도록 하는 것을 포함하는 방법을 특징으로 한다.
양태들의 다른 실시예들은, 각각이 방법들의 액션들을 수행하도록 구성된, 대응하는 컴퓨터 시스템들, 장치들, 및 하나 이상의 컴퓨터 저장 디바이스 상에 기록된 컴퓨터 프로그램들을 포함한다. 하나 이상의 컴퓨터의 시스템이 특정 동작들 또는 액션들을 수행하도록 구성된다는 것은, 동작시 시스템으로 하여금 동작들 또는 액션들을 수행하게 하는 그의 소프트웨어, 펌웨어, 하드웨어, 또는 이들의 조합을 시스템이 설치한 것을 의미한다. 하나 이상의 컴퓨터 프로그램이 특정 동작들 또는 액션들을 수행하도록 구성된다는 것은, 하나 이상의 프로그램이, 데이터 처리 장치에 의해 실행될 때, 그 장치로 하여금 동작들 또는 액션들을 수행하게 하는 명령어들을 포함하는 것을 의미한다.
본 개시내용의 다른 양태는, 하나 이상의 프로세서; 및 하나 이상의 프로세서와 통신하고, 하나 이상의 프로세서에 의해 실행가능하고, 그러한 실행 시에, 하나 이상의 프로세서로 하여금 본 명세서에 개시된 방법들 중 하나 이상을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 포함하는 디바이스를 특징으로 한다.
본 개시내용의 다른 양태는, 하나 이상의 프로세서에 의해 실행가능하고, 그러한 실행 시에, 하나 이상의 프로세서로 하여금 본 명세서에 개시된 방법들 중 하나 이상에 따른 방법을 수행하게 하는 명령어들을 저장하는 비일시적 컴퓨터 판독가능 저장 매체를 특징으로 한다.
본 개시내용의 다른 양태는, 복수의 요소들을 포함하는 디스플레이; 및 디스플레이에 결합되고, 본 명세서에 개시된 방법들 중 하나 이상을 수행하도록 구성되는 제어기를 특징으로 한다. 제어기는 복수의 컴퓨팅 유닛들을 포함할 수 있고, 컴퓨팅 유닛들 각각은 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들 중 하나 이상의 프리미티브에 대해 동작들을 수행하도록 구성된다. 일부 구현들에서, 제어기는 디스플레이에 국부적으로 결합되고, 컴퓨팅 유닛들 각각은 디스플레이의 하나 이상의 각자의 요소에 결합되고, 각자의 제어 신호를 하나 이상의 각자의 요소 각각에 송신하도록 구성된다. 컴퓨팅 유닛들은 병렬로 동작하도록 구성될 수 있다.
제어기는 ASIC(application-specific integrated circuit), FPGA(field-programmable gate array), PGA(programmable gate array), CPU(central processing unit), GPU(graphics processing unit), 또는 표준 컴퓨팅 셀들 중 적어도 하나를 포함할 수 있다. 디스플레이는 DMD(digital micro-mirror device) 또는 LCOS(liquid crystal on silicon) 디바이스를 포함하는 SLM(spatial light modulator)을 포함할 수 있다. 디스플레이는 위상 변조, 진폭 변조, 또는 위상 및 진폭 변조되도록 구성될 수 있다. 제어기는 메모리 버퍼를 통해 디스플레이에 결합될 수 있다.
일부 구현들에서, 시스템은 디스플레이에 인접하여 배열되고 디스플레이 상에 광을 방출하도록 구성된 조명기를 포함한다. 조명기는 제어기에 결합되고, 제어기로부터의 제어 신호에 기초하여 턴 온/오프되도록 구성될 수 있다.
일부 경우들에서, 조명기는 조명기에서의 하나 이상의 발광 요소의 진폭 또는 휘도를 제어하도록 구성된 메모리 버퍼를 통해 제어기에 결합된다. 조명기를 위한 메모리 버퍼는 디스플레이를 위한 메모리 버퍼보다 작은 크기를 가질 수 있다. 조명기에서의 발광 요소들의 수는 디스플레이의 요소들의 수보다 작을 수 있다. 제어기는 조명기의 하나 이상의 발광 요소를 동시에 활성화하도록 구성될 수 있다.
조명기는 간섭성 광원(coherent light source), 반간섭성 광원(semi-coherent light source), 또는 비간섭성 광원(incoherent light source)일 수 있다. 일부 구현들에서, 조명기는 백색 광을 방출하도록 구성되고, 디스플레이는 백색 광을 상이한 컬러들을 갖는 광으로 회절시키도록 구성된다. 일부 구현들에서, 조명기는 각각이 상이한 컬러를 갖는 광을 방출하도록 구성된 2개 이상의 발광 요소들을 포함한다. 제어기는 제1 시간 기간 동안 제1 컬러와 연관된 정보로 디스플레이를 순차적으로 변조하고, 제2의 순차적 시간 기간 동안 제2 컬러와 연관된 정보로 디스플레이를 변조하도록 구성될 수 있고, 제어기는 조명기를 제어하여, 제1 시간 기간 동안 제1 컬러를 갖는 광을 방출하도록 제1 발광 요소를, 그리고 제2 시간 기간 동안 제2 컬러를 갖는 광을 방출하도록 제2 발광 요소를 순차적으로 턴 온하도록 구성될 수 있다.
일부 구현들에서, 조명기는 디스플레이의 표면의 전방에 배열되고, 0도와 90도 사이의 범위 내의 입사각으로 디스플레이의 표면 상에 광을 방출하도록 구성되고, 방출된 광은 디스플레이의 표면으로부터 반사된다. 일부 경우들에서, 조명기로부터의 방출된 광은 시준된 광(collimated light)을 포함한다. 일부 경우들에서, 조명기로부터의 방출된 광은 발산 광(divergent light)을 포함한다. 일부 경우들에서, 조명기로부터의 방출된 광은 반-시준된 광(semi-collimated light)을 포함한다.
일부 구현들에서, 조명기는 디스플레이의 후방 표면 뒤에 배열되고, 디스플레이의 후방 표면 상에 발산 광을 방출하도록 구성되고, 방출된 광은 디스플레이를 통해 디스플레이의 전방 표면으로부터 디스플레이 밖으로 투과된다.
일부 구현들에서, 조명기는 광을 방출하도록 구성된 광원; 및 광원에 결합되고, 디스플레이에 인접하여 배열된 도파관을 포함하고, 도파관은 광원으로부터의 방출된 광을 수신하고 방출된 광을 디스플레이에 안내(guide)하도록 구성된다. 일부 경우들에서, 광원으로부터의 광은 광 결합기(light coupler)를 통해 도파관의 측단면으로부터 도파관에 결합된다. 일부 경우들에서, 광원 및 도파관은 평면 형태로 통합되고, 디스플레이의 표면 상에 위치된다. 도파관은 디스플레이를 균일하게 조명하기 위해 광을 안내하도록 구성될 수 있다.
일부 경우들에서, 도파관은 디스플레이의 후방 표면 상에 위치되고, 광은 디스플레이를 통해 투과하도록 안내되고 디스플레이의 전방 표면으로부터 디스플레이 밖으로 회절된다. 제어기는 도파관의 후방 표면 상에 위치될 수 있다. 일부 경우들에서, 도파관은 디스플레이의 전방 표면 상에 위치되고, 광은 디스플레이의 전방 표면에 입사하도록 안내되고 전방 표면에 의해 반사된다.
본 개시내용의 다른 양태는, 요소들의 어레이를 포함하는 디스플레이; 및 컴퓨팅 유닛들의 어레이를 포함하는 집적 회로를 포함하는 시스템으로서, 컴퓨팅 유닛들 각각은 디스플레이의 하나 이상의 각자의 요소에 결합되고, 복수의 프리미티브들 중 적어도 하나의 프리미티브로부터 요소들의 어레이 각각으로의 전자기(EM) 필드 기여를 컴퓨팅하고; 하나 이상의 각자의 요소 각각에 대해, 복수의 프리미티브들로부터 요소로의 EM 필드 기여들의 각자의 합을 생성하도록 구성되는, 시스템을 특징으로 한다.
컴퓨팅 유닛들 각각은 컴퓨팅 유닛들의 어레이의 다른 컴퓨팅 유닛들로부터, 복수의 프리미티브들 중 다른 프리미티브들로부터 하나 이상의 각자의 요소들 각각으로의 컴퓨팅된 EM 필드 기여들을 수신하고; 하나 이상의 각자의 요소들 각각에 대해, 다른 프리미티브들로부터 요소로의 수신된 컴퓨팅된 EM 필드 기여들을 가산함으로써 EM 필드 기여들의 각자의 합을 생성하도록 구성될 수 있다.
컴퓨팅 유닛들 각각은, 하나 이상의 각자의 요소 각각에 대해, 요소에 대한 EM 필드 기여들의 각자의 합에 기초하여 요소의 적어도 하나의 특성을 변조하기 위한 각자의 제어 신호를 생성하도록 구성될 수 있다.
일부 구현들에서, 집적 회로는 복수의 프리미티브들로부터 디스플레이의 요소들 각각으로의 컴퓨팅된 EM 필드 기여의 누적 결과를 저장하도록 구성된 각자의 누적기(accumulator)를 포함한다. 집적 회로는 컴퓨팅 동작의 시작 시에 누적기들을 클리닝하도록 구성될 수 있다. 일부 예들에서, 집적 회로는 요소들 각각에 대한 각자의 메모리 버퍼를 포함하고, 집적 회로는 복수의 프리미티브들로부터 요소로의 컴퓨팅된 EM 필드 기여를 누적하여, EM 필드 기여들의 각자의 합을 각자의 누적기에서의 최종 누적 결과로서 획득하고, 각자의 누적기로부터의 최종 누적 결과를 요소에 대한 각자의 메모리 버퍼에 전달하도록 구성될 수 있다.
일부 구현들에서, 시스템은 집적 회로와 디스플레이 사이에 위치되고, 집적 회로로부터 제어 신호를 수신하고, 제어 신호에 기초하여 디스플레이 상에 광을 조명하도록 구성된 조명기를 더 포함하고, 집적 회로, 조명기, 및 디스플레이는 단일 유닛으로서 통합될 수 있다.
본 개시내용의 추가 양태는, 3차원(3D) 공간에서의 물체에 대응하는 복수의 프리미티브들의 각자의 프리미티브 데이터를 포함하는 데이터를 생성하도록 구성된 컴퓨팅 디바이스; 및 본 명세서에 개시된 바와 같은 시스템을 포함하는 시스템을 특징으로 한다. 시스템은 컴퓨팅 디바이스로부터 그래픽 데이터를 수신하고, 3D 공간에서 물체를 제시하기 위한 그래픽 데이터를 처리하도록 구성된다. 컴퓨팅 디바이스는 물체의 컴퓨터 생성(computer generated)(CG) 모델을 렌더링함으로써 각자의 프리미티브 데이터를 갖는 프리미티브들을 생성하도록 구성된 애플리케이션 프로그래밍 인터페이스(application programming interface)(API)를 포함할 수 있다.
본 명세서에서의 개시내용에서, "프리미티브"라는 용어는 컴퓨팅 시스템 내의 입력 또는 출력을 위한 기본적인 분리불가능 요소(basic nondivisible element)를 지칭한다. 요소는 기하학적 요소 또는 그래픽 요소일 수 있다. "홀로그램"이라는 용어는 물체에 관한 진폭 정보 또는 위상 정보, 또는 이들의 일부 조합을 포함하는, 디스플레이 상에 디스플레이되는 패턴을 지칭한다. "홀로그래픽 재구성"이라는 용어는, 조명될 때 디스플레이로부터의 볼륨메트릭 광 필드(예를 들어, 홀로그래픽 광 필드)를 지칭한다.
본 명세서의 청구 대상의 하나 이상의 구현에 대한 세부 사항들은, 첨부 도면들 및 관련 설명에서 개시된다. 청구 대상의 다른 특징들, 양태들, 및 이점들은 설명, 도면들, 및 청구항들로부터 명백해질 것이다.
구현들의 다양한 양태들이 상이한 방식들로 조합될 수 있다는 것을 이해해야 한다. 예로서, 특정 방법들로부터의 특징들은 다른 방법들의 특징들과 조합될 수 있다.
도 1a는 홀로그래픽 디스플레이를 포함하는 예시적인 시스템의 개략도를 도시한다.
도 1b는 예시적인 홀로그래픽 디스플레이의 개략도를 도시한다.
도 1c는 3D 디스플레이들을 위한 예시적인 시스템을 도시한다.
도 2는 전자기(EM) 전파 계산을 위한 예시적인 구성을 예시한다.
도 3a는 디스플레이의 요소에 대한 포인트 프리미티브에 대한 예시적인 EM 전파를 도시한다.
도 3b는 디스플레이의 요소에 대한 라인 프리미티브에 대한 예시적인 EM 전파를 도시한다.
도 3c는 디스플레이의 요소에 대한 삼각형 프리미티브에 대한 예시적인 EM 전파를 도시한다.
도 3d는 오클루더로서 라인 프리미티브를 갖는 포인트 프리미티브에 대한 맥스웰 홀로그래픽 오클루젼의 예시적인 구현을 도시한다.
도 3e는 오클루더로서 다른 라인 프리미티브를 갖는 라인 프리미티브에 대한 맥스웰 홀로그래픽 오클루젼의 예시적인 구현을 도시한다.
도 3f는 오클루더로서 라인 프리미티브를 갖는 삼각형 프리미티브에 대한 맥스웰 홀로그래픽 오클루젼의 예시적인 구현을 도시한다.
도 3g는 맥스웰 홀로그래픽 스티칭의 예시적인 구현을 도시한다.
도 4는 물체를 3D로 디스플레이하는 예시적인 프로세스의 흐름도이다.
도 5a 내지 도 5f는 3D 디스플레이들을 위한 예시적인 시스템들의 구현들을 도시한다.
도 6a는 불균일한 형상들을 갖는 디스플레이 요소들을 갖는 예시적인 디스플레이를 도시한다.
도 6b는 상이한 크기들을 갖는 디스플레이 요소들을 갖는 예시적인 디스플레이를 도시한다.
본 개시내용의 구현들은 복잡한 컴퓨터 생성 장면들의 3D 디스플레이들을 진짜 홀로그램들로서 가능하게 하는 기술들을 특징으로 한다. 기술들은 맥스웰 홀로그래피로서 표현될 수 있는 전자기 필드들에 대한 맥스웰 방정식들에 기초한 실시간 동적 컴퓨팅 홀로그래피에 대한 신규하고 결정론적인 해결책을 제공한다. 맥스웰 홀로그래피에서의 계산(또는 컴퓨팅)은 맥스웰 홀로그래픽 계산(또는 맥스웰 홀로그래픽 컴퓨팅)으로서 표현될 수 있다. 실시예들에서, 본 개시내용은 필드 이론(field theory), 토폴로지(topology), 분석적 연속(analytic continuation), 및/또는 대칭 그룹들(symmetry groups)을 포함하는 도구들을 이용하여, 일반 전기장에 대한 디리클레 또는 코시 경계 조건 문제로서 홀로그램에 접근하며, 이는 레거시 홀로그래픽 시스템들의 제한들없이 실시간으로 홀로그램들을 해결할 수 있게 한다. 실시예들에서, 기술들은 SLM(spatial light modulator)들 또는 임의의 다른 홀로그래픽 디바이스들을 이용하여, 위상만의(phase-only), 진폭만의(amplitude-only), 또는 위상-및-진폭의 홀로그램들을 만드는데 이용될 수 있다.
본 개시내용의 구현들은 다음과 같은 것을 제공할 수 있다: 1) 고전적인 광학계(optics) 대신에 필드 이론 및 접촉 기하 구조(contact geometry)를 이용하여 전자기 경계 조건으로서의 홀로그램의 근사화의 메커니즘; 2) 컴퓨팅 홀로그래피에 대한 전자기 경계 조건 접근법의 컴퓨터 코드들 및 API들로의 도출 및 구현, 즉, 홀로그램의 평면 상의 2D 분석 함수로서의 홀로그램 계산의 구현 및 병렬 알고리즘들로의 후속 이산화(discretization); 및/또는 3) 표준 기존 컴퓨터 그래픽 도구 및 기법들과의 완전 호환성을 가능하게 할 수 있는, 표준 컴퓨터 그래픽 프리미티브들(예를 들어, 포인트, 라인, 삼각형, 및 텍스쳐 삼각형)의 완전한 3D의 홀로그래픽 버전들의 완전한 세트의 구현. 기술들은 디바이스들이 홀로그래피를 위해 특별히 생성되지 않은 일반적인 기존의 콘텐츠를 디스플레이하는 것을 가능하게 할 수 있고, 동시에 기존의 콘텐츠 창작자들이 특별한 기법들을 학습하거나 특별한 도구들을 이용할 필요없이, 홀로그래픽 작업들을 생성할 수 있게 한다.
특히, 기술들은 컴퓨팅 홀로그래피, 예를 들어, G-S(Gerchberg-Saxton) 모델에서 일반적으로 이용되는 고전적 광학계의 수학적 공식 대신에 전자기(EM) 현상으로서의 광의 수학적 공식(또는 표현)의 이용을 수반할 수 있다. 본 명세서에 개시된 수학적 공식은 맥스웰 방정식들로부터 유도된다. 실시예들에서, 본 명세서에 개시된 기술들은 디스플레이된 이미지를 전자기 필드로서 취급하고, 홀로그램을 전자기 필드를 생성하는 경계 값 조건(예를 들어, 디리클레 문제)으로서 취급하는 것을 수반한다. 추가적으로, 원하는 이미지는 컴퓨터 그래픽에서의 프리미티브 패러다임 유비쿼터스(primitive paradigm ubiquitous)를 이용하여 구성될 수 있어서, 예를 들어, 기술들이 임의의 3D 이미지(imagery)를, 2D 스크린 상의 투영 이미지로서가 아니라, 그 대신에 홀로그래픽 재구성, 예를 들어, 홀로그래픽 광 필드로서 디스플레이하는데 이용되도록 허용한다. 대역폭 제한들을 겪는 깊이 포인트 클라우드 기술들(depth point clouds technologies)과 비교하여, 기술들은 이러한 제한들을 회피하고, 임의의 적합한 타입들의 프리미티브들, 예를 들어, 포인트 프리미티브, 라인 프리미티브, 또는 삼각형 프리미티브와 같은 다각형 프리미티브를 이용할 수 있다. 또한, 프리미티브들은 컬러 정보, 텍스쳐 정보, 및/또는 셰이딩 정보로 렌더링될 수 있다. 이는 라이브 홀로그래픽 비디오들을 포함하는 CG 홀로그래픽 콘텐츠에 대한 레코딩 및 압축 방안을 달성하도록 도울 수 있다.
실시예들에서, 기술들은 맥스웰 방정식들을 이용하여 생성된 홀로그램들을 전자기 필드의 모델링을 위한 경계 조건 문제로서 컴퓨팅하고, 이는 고속 푸리에 변환(FFT) 및 그것의 고유 제한들에 대한 종속성을 제거하고, 시준된 광원들 및 레이저들에 대한 종속성을 제거하고/하거나, 컴퓨팅 홀로그래피 및 비결정론적 해결책들에 대한 이전의 접근법들의 제한들을 제거할 수 있다.
실시예들에서, 기술들은 장면을 구축하기 위해 필요한 컴퓨터 생성(CG) 프리미티브들의 파라미터들에 따라, 홀로그램의 표면에 대한 독립적인 입력들을 제한하는 수학적 최적화 프로세스를 통해, 컴퓨팅 단순성 및 속도에 대해 최적화될 수 있다. 이것은 컴퓨팅 아키텍처들, 예를 들어, ASIC 및 멀티코어 아키텍처들에서 매우 병렬적이고 매우 최적인 방식으로 작업이 수행되도록 허용한다. 홀로그램을 컴퓨팅하는 프로세스는 컴퓨터 생성 이미지(computer-generated imagery)(CGI) 장면의 형태로 입력 데이터 상에서 실행되는 단일 명령어로서 간주될 수 있고, 이론적으로 CGI 프리미티브마다 단일의 클록 사이클에서 완료될 수 있다.
실시예들에서, 기술들은, 예를 들어, 비디오 게임들, 영화들, 텔레비전, 컴퓨터 디스플레이, 또는 임의의 다른 컴퓨팅 디스플레이 기술들에서 이용되는 종래의 3D 그래픽의 표준 프리미티브들과 기능적으로 호환가능한 완전 3D 홀로그래픽 프리미티브 애퍼처들의 어셈블리로서 홀로그래픽 장면을 취급한다. 기술들은 컴퓨팅 홀로그래피의 표준 구현들에 고유한 제한들 없이 하드웨어 및 소프트웨어로 이러한 애퍼처 프리미티브들의 효율적인 구현을 가능하게 할 수 있다. 프리미티브들의 진폭 및 컬러는 자동으로 컴퓨팅될 수 있다. 컴퓨팅 복잡도는 표준 컴퓨팅 홀로그래피에서의 n^2 또는 n*log(n)에 비해, 위상 요소 수 n과 선형적으로 증가할 수 있다. 생성된 이미지들은 완전히 3D이고, 평면 이미지들의 집합은 아니며, 기술들은 미지의 단계 번호들을 갖는 반복적 진폭 보정(iterative amplitude correction)을 요구하지 않는다. 또한, 생성된 홀로그램들은 홀로그래픽 디바이스 상의 공간을 차지하는 "공액(conjugate)" 이미지들을 갖지 않는다.
홀로그래픽 프리미티브들은 수학적 객체들(mathematical objects)의 특별한 컬렉션의 일부이므로, 이들은 계산하기에 비교적 단순하고 비교적 빠를 수 있으며, 이들은 병렬 분산 컴퓨팅 접근법들에 고유하게 적합할 수 있다. 컴퓨팅가능성(computability) 및 병렬성(parallelism)은 큰 홀로그램들의 대화식 컴퓨팅(interactive computation)을 허용하여, 홀로그래픽 컴퓨터 디스플레이들, 전화 디스플레이들, 홈 시어터들(home theaters), 및 심지어 홀로그래픽 룸들(holographic rooms)로서 역할할 수 있는 이론적으로 무제한 크기의 큰 영역 홀로그래픽 디바이스들을 설계할 수 있다. 또한, 홀로그램들은, 요소들이 채워지는(solid) 대신에 윤곽으로 나타나게 할 수 있는 종래의 홀로그래픽 컴퓨팅 방법들과 연관된 제한없이, 큰 영역들을 광으로 채우는 것, 예를 들어, 큰 셰이딩된 영역들을 3D로 렌더링하는 것이 가능하다. 또한, 비교적 간단하고 비교적 빠른 컴퓨팅은, n^2 컴퓨팅 부하 및 반복적 진폭 보정에 의해 제한되지 않는 상호작용적인 속도들에서의 실시간 홀로그램들의 디스플레이를 허용한다.
실시예들에서, 기술들은 최신의 ASIC 및 멀티코어 아키텍처들에 대한 자연적 컴퓨팅가능성을 실현할 수 있고, 최신의 그래픽 하드웨어, 최신의 그래픽 소프트웨어, 및/또는 최신의 그래픽 도구들 및 도구 체인들과의 완전한 호환성을 실현할 수 있다. 예를 들어, 기술들은 명확하고 단순한 홀로그래픽 API들을 구현할 수 있고, API들을 통해, 통상의 표준 3D 콘텐츠 생성 도구들, 예를 들어, 3DS Max®, SolidWorks®, Maya®, 또는 Unity3D를 이용하여 임의적인 CG 모델들의 고성능 렌더링을 가능하게 할 수 있다. API들은 개발자들 또는 사용자들이 홀로그래픽 디바이스, 예를 들어, 광 변조기 또는 홀로그래픽 시스템과 상호작용하는 것을 가능하게 할 수 있다. 홀로그래픽 API들은 이산 홀로그래픽 장면 프리미티브들로서 컴퓨터 그래픽 프리미티브들을 생성하고, 범용 및 특별히 설계된 홀로그래픽 컴퓨팅 하드웨어를 이용하여 풍부한 홀로그래픽 콘텐츠 생성을 허용할 수 있다. 수학적 및 컴퓨팅 아키텍처의 생성은 홀로그램들이 종래의 3D 콘텐츠 및 소프트웨어 애플리케이션들을 만드는데 이용되는 도구들 및 기법들을 이용하여 렌더링되도록 허용할 수 있다. 수학적 및 컴퓨팅 아키텍처의 최적화는 종래의 그래픽들 및 렌더링의 성능 기준에 맞는 실시예들이 홀로그래픽 재구성들로서 디스플레이되는 것을 허용할 수 있다.
기술들에서의 알고리즘들은 하드웨어로 구현하기에 비교적 간단하다. 이것은 사용자들이 예상하는 고품질의, 최신의 렌더링에 필요한 컴퓨팅 속도들을 허용할 뿐만 아니라, 알고리즘들이 홀로그래픽 디바이스의 일부로서 비교적 간단한 회로들, 예를 들어, ASIC 게이트 구조들로 구현되도록 또한 허용한다. 따라서, 콘텐츠의 각각의 및 모든 프레임에 대해 원격으로 컴퓨팅된 후에 디스플레이의 각각의 및 모든 픽셀에 기입되어야 하는 것 대신에, 장면들의 컴퓨팅이 디스플레이 디바이스 내에 내장된 컴퓨팅 아키텍처(예를 들어, 내장 컴퓨팅(built-in-computation))에 걸쳐 분산될 수 있기 때문에, 고밀도 디스플레이들을 괴롭힐 수 있는 대역폭 이슈들은 무관해질 수 있다. 그것은 또한 디스플레이 요소들의 수, 그에 따라 홀로그래픽 디스플레이의 크기가, 다른 기술들을 제한하는 제약들에 비교적 자유로울 수 있음을 의미한다.
기술들은 구조화된 광을 이용하는 다수의 상호작용 기술들이, 예를 들어, 솔리드-스테이트 광 검출 및 거리측정(solid-state light detection and ranging)(LiDAR) 디바이스들, 3D 프린팅, 스마트 조명기들, 스마트 마이크로디스플레이들, 또는 구조화된 광을 요구하는 임의의 다른 응용들을 포함하는, 상이한 응용들에서 비교적 간단하고 비교적 저렴하게 구현되는 것을 가능하게 할 수 있다. 기술들은 또한, 광학 시뮬레이션들을 위해, 예를 들어, 격자 시뮬레이션들(grating simulations)을 위해 이용될 수 있다.
도 1a는 3D 디스플레이들을 위한 예시적인 시스템(100)의 개략도를 도시한다. 시스템(100)은 컴퓨팅 디바이스(102) 및 홀로그래픽 디스플레이 디바이스(또는 맥스웰 홀로그래픽 디스플레이 디바이스)(110)를 포함한다. 컴퓨팅 디바이스(102)는 물체, 예를 들어, 3D 물체에 대응하는 프리미티브들의 리스트에 대한 데이터를 준비하고, 유선 또는 무선 접속, 예를 들어, USB-C 접속 또는 임의의 다른 고속 직렬 접속을 통해 데이터를 홀로그래픽 디스플레이 디바이스(110)에 송신하도록 구성된다. 홀로그래픽 디스플레이 디바이스(110)는 홀로그래픽 디스플레이 디바이스(110)에서 프리미티브들의 리스트로부터 디스플레이(예를 들어, 변조기)의 디스플레이 요소들로의 전자기(EM) 필드 기여들을 컴퓨팅하고, 디스플레이 상의 컴퓨팅된 EM 필드 기여들에 기초하여, 패턴, 예를 들어, 홀로그램을 갖는 디스플레이 요소들을 변조하고, 조명 시에 3D, 예를 들어, 홀로그래픽 재구성에서의 물체에 대응하는 광 필드를 디스플레이하도록 구성된다. 여기서, 홀로그램은 물체에 관한 진폭 정보 또는 위상 정보, 또는 이들의 일부 조합을 포함하는, 디스플레이 상에 디스플레이되는 패턴을 지칭한다. 홀로그래픽 재구성은 조명될 때 디스플레이로부터의 볼륨메트릭 광 필드(예를 들어, 홀로그래픽 광 필드)를 지칭한다.
컴퓨팅 디바이스(102)는 임의의 적절한 타입의 디바이스, 예를 들어, 데스크탑 컴퓨터, 개인용 컴퓨터, 노트북, 태블릿 컴퓨팅 디바이스, PDA(personal digital assistant), 네트워크 기기, 스마트 모바일 전화, 스마트시계, EGPRS(enhanced general packet radio service) 모바일 전화, 미디어 플레이어, 내비게이션 디바이스, 이메일 디바이스, 게임 콘솔, 또는 이러한 컴퓨팅 디바이스들 또는 다른 컴퓨팅 디바이스들 중 임의의 2개 이상의 임의의 적절한 조합일 수 있다.
컴퓨팅 디바이스(102)는 다수의 애플리케이션들(106)을 그래픽 엔진들로서 포함할 수 있는 운영 체제(OS)(104)를 포함한다. 애플리케이션들(106)은 표준 3D 콘텐츠 생성 도구들, 예를 들어, 3DS Max®, SolidWorks®, Maya®, 또는 Unity3D를 이용하여 장면, 예를 들어, 어떤 임의적인 CG 모델을 처리하거나 렌더링할 수 있다. 장면은 3D 물체에 대응할 수 있다. 애플리케이션들(106)은 추가 처리를 위해 그래픽 처리 유닛(GPU)(108)에 제공될 수 있는 OS 그래픽 추상화(graphics abstraction)(101)를 획득하도록 장면을 렌더링하기 위해 병렬로 동작할 수 있다. 일부 구현들에서, OS 그래픽 추상화(101)는 추가 처리를 위해 홀로그래픽 디스플레이 디바이스(110)에 제공된다.
GPU(108)는 컴퓨터 그래픽 및 이미지 처리의 신속한 조작을 위해 설계된 전문화된 전자 회로를 포함할 수 있다. GPU(108)는 장면의 그래픽 추상화(101)를 처리하여, 특정 순서로 인덱싱된 프리미티브들의 리스트(105)를 획득하는데 이용될 수 있는 처리된 장면 데이터(103)를 획득할 수 있다. 프리미티브들은 포인트 프리미티브, 라인 프리미티브, 또는 다각형 프리미티브 중 적어도 하나를 포함할 수 있다. 일부 구현들에서, GPU(108)는 처리된 장면 데이터(103) 및 프리미티브들의 리스트(105)를 생성하도록 구성된 비디오 드라이버를 포함한다.
일부 구현들에서, GPU(108)는 종래의 렌더(120)를 포함하고, 그에 의해 프리미티브들의 리스트(105)는 종래의 모니터(124), 예를 들어, 2D 디스플레이 스크린 상에서 그리기(draw) 위해 종래의 렌더링 기법들, 예를 들어, 쿨링(culling) 및 클리핑(clipping)에 의해, 항목들의 리스트 내로 렌더링될 수 있다. 항목들의 리스트는 스크린 버퍼(122)를 통해 종래의 모니터(124)에 전송될 수 있다.
일부 구현들에서, GPU(108)는 홀로그래픽 디스플레이 디바이스(110)에 의해 디스플레이될 그래픽 데이터 내로 프리미티브들의 리스트(105)를 렌더링하는 홀로그래픽 렌더러(130)를 포함한다. 그래픽 데이터는 프리미티브들의 리스트 및 대응하는 프리미티브 데이터를 포함할 수 있다. 예를 들어, 그래픽 데이터는 각각의 프리미티브에 대한 헥스 코드(hex code)를 포함할 수 있다.
일부 구현들에서, GPU(108)는 종래의 렌더(120) 및 홀로그래픽 렌더러(130) 둘다를 포함한다. 일부 구현들에서, GPU(108)는 종래의 렌더러(120)를 포함하고, 홀로그래픽 디스플레이 디바이스(110)는 홀로그래픽 렌더러(130)를 포함한다.
프리미티브에 대한 대응하는 프리미티브 데이터는 또한 컬러 정보(예를 들어, 텍스쳐 컬러, 그래디언트 컬러 또는 둘다), 텍스쳐 정보, 및/또는 셰이딩 정보를 포함할 수 있다. 셰이딩 정보는 프리미티브의 표면의 컬러 또는 휘도를 변조하는 것을 수반하는 임의의 통상적인 CGI 표면 셰이딩 방법들에 의해 획득될 수 있다.
프리미티브의 프리미티브 데이터는 3D 좌표계, 예를 들어, 데카르트 좌표계(Cartesian coordinate system) XYZ, 극 좌표계(polar coordinate system), 원통 좌표계(cylindrical coordinate system), 및 구면 좌표계(spherical coordinate system)에서의 프리미티브의 좌표 정보를 포함할 수 있다. 이하에서 더 상세히 논의되는 바와 같이, 홀로그래픽 디스플레이 디바이스(110)에서의 디스플레이 요소들은 또한 3D 좌표계에서의 대응하는 좌표 정보를 가질 수 있다. 좌표 위치들에서의 프리미티브들은 디스플레이 요소들에 인접한, 예를 들어, 디스플레이 요소들의 전방에 있는 3D 물체를 나타낼 수 있다.
예로서, 프리미티브는 셰이딩된 라인, 예를 들어, 그것의 범위(span)에 걸쳐 하나의 컬러로부터 다른 컬러로 부드럽게 변하는 직선이다. 프리미티브는 렌더링될 4개의 데이터의 요소를 필요로 한다: 2개의 엔드 포인트들, 및 각각의 엔드 포인트에서의 컬러 정보(예를 들어, RGB 컬러 값). 라인에 대한 헥스 코드가 A0이고, 라인이 3D 좌표계에서의 제1 엔드 포인트(0.1, 0.1, 0.1)로부터 제2 엔드 포인트(0.2, 0.2, 0.2)로 신장하고, 제1 엔드 포인트에서 컬러 1/2 블루: RGB=(0,0,128) 및 제2 엔드 포인트에서 컬러 완전 레드: RGB=(255,0,0)을 갖는다고 가정한다. 홀로그래픽 렌더러는 얼마나 많은 데이터가, 그리고 어떤 종류의 데이터가 각각의 프리미티브에 대해 예상되는지를 결정한다. 라인에 대해, 프리미티브 스트림에서의 셰이딩된 라인에 대한 프리미티브 데이터는 아래와 같은 명령어들의 세트일 수 있다:
0xA0 // 셰이딩된 라인에 대한 헥스 코드
0x3dcccccd // (0.1, 0.1, 0.1) 부동 소수점(단정밀도)에서의 제1 정점
0x3dcccccd
0x3dcccccd
0x000080 // 제1 정점 컬러는 (0, 0, 128)
0x3e4ccccd // (0.2, 0.2, 0.2) 부동 소수점(단정밀도)에서의 제2 정점
0x3e4ccccd
0x3e4ccccd
0xff0000 // 제2 정점 컬러는 (255, 0, 0)
셰이딩된 라인 프리미티브에 대해 프리미티브 데이터에 총 31 헥스 워드들이 존재한다. 따라서, 그것은 복잡한 장면을 송신하는 매우 효율적인 방식일 수 있고, 프리미티브 데이터는 추가로 압축될 수 있다. 각각의 프리미티브는 결정론적 튜링 단계(deterministic Turing step)이기 때문에, 터미네이터들(terminators)이 필요하지 않다. 이러한 라인 프리미티브가 2D 디스플레이 스크린 상에 단순히 그려지는 전통적인 모델과는 상이하게, 라인에 대한 프리미티브 데이터는 홀로그램을 컴퓨팅하고 공간에 떠있는 라인을 표시하는 대응하는 홀로그래픽 재구성을 디스플레이할 수 있는 홀로그래픽 디스플레이 디바이스(110)에 송신된다.
일부 구현들에서, 컴퓨팅 디바이스(102)는 비-프리미티브(non-primitive) 기반 데이터, 예를 들어, 레코딩된 광 필드 비디오(light field video)를 홀로그래픽 디스플레이 디바이스(110)에 송신한다. 홀로그래픽 디스플레이 디바이스(110)는 비디오를 공간에서의 순차적 홀로그래픽 재구성들로서 디스플레이하기 위해 순차 홀로그램들을 컴퓨팅할 수 있다. 일부 구현들에서, 컴퓨팅 디바이스(102)는 라이브 홀로그래픽 콘텐츠와 동시에 CG 홀로그래픽 콘텐츠를 홀로그래픽 디스플레이 디바이스(110)에 송신한다. 홀로그래픽 디스플레이 디바이스(110)는 또한 대응하는 홀로그래픽 재구성들로서 콘텐츠를 디스플레이하기 위해 대응하는 홀로그램들을 컴퓨팅할 수 있다.
도 1a에 도시된 바와 같이, 홀로그래픽 디스플레이 디바이스(110)는 제어기(112) 및 디스플레이(114)를 포함한다. 제어기(112)는 다수의 컴퓨팅 유닛들 또는 처리 유닛들을 포함할 수 있다. 일부 구현들에서, 제어기(112)는 ASIC, FPGA(field programmable gate array) 또는 GPU, 또는 이들의 임의의 조합을 포함한다. 일부 구현들에서, 제어기(112)는 프리미티브들의 리스트(105)를 컴퓨팅 유닛들에 의해 컴퓨팅될 그래픽 데이터 내로 렌더링하기 위한 홀로그래픽 렌더러(130)를 포함한다. 일부 구현들에서, 제어기(112)는 추가 처리를 위해 컴퓨팅 디바이스(102)로부터 OS 그래픽 추상화(101)를 수신한다. 디스플레이(114)는 다수의 디스플레이 요소들을 포함할 수 있다. 일부 구현들에서, 디스플레이(114)는 SLM을 포함한다. SLM은 위상 SLM, 진폭 SLM, 또는 위상 및 진폭 SLM일 수 있다. 일부 예들에서, 디스플레이(114)는 DMD 또는 LCOS 디바이스이다. 일부 구현들에서, 홀로그래픽 디스플레이 디바이스(110)는, 디스플레이(114)에 인접하고 디스플레이(114)를 향해 광을 방출하도록 구성된 조명기(116)를 포함한다. 조명기(116)는 간섭성 광원, 예를 들어, 레이저, 반간섭성 광원, 예를 들어, LED(light emitting diode), 또는 비간섭성 광원일 수 있다.
3D 장면을 취하고 그것을 2D 디스플레이 디바이스 상에 투영하는 종래의 3D 그래픽 시스템과는 상이하게, 홀로그래픽 디스플레이 디바이스(110)는 광 필드, 예를 들어, 컬러의 3D 볼륨의 형태로 홀로그래픽 재구성(117)과 같은 3D 출력을 생성하도록 구성된다. 홀로그램에서, 각각의 디스플레이 요소는 장면의 모든 부분에 기여한다. 즉, 홀로그래픽 디스플레이 디바이스(110)에 대해, 장면의 완전한 재생을 위해, 각각의 디스플레이 요소는 장면의 모든 부분에 대해, 예를 들어, GPU(108)에 의해 생성된 프리미티브들의 리스트에서의 각각의 프리미티브에 대해 변조될 필요가 있다. 일부 구현들에서, 특정 요소들의 변조는, 예를 들어, 재생된 장면에서의 수용가능한 정확도의 레벨에 기초하여 생략될 수 있다.
일부 구현들에서, 제어기(112)는 각각의 프리미티브로부터 각각의 디스플레이 요소로의 EM 필드 기여, 예를 들어, 위상, 진폭 또는 둘다를 컴퓨팅하고, 각각의 디스플레이 요소에 대해, 프리미티브들의 리스트로부터 디스플레이 요소로의 EM 필드 기여들의 합을 생성하도록 구성된다. 이것은 모든 프리미티브를 통해 실행하고, 주어진 디스플레이 요소에 대한 그의 기여를 누적함으로써, 또는 각각의 프리미티브에 대해 각각의 디스플레이 요소를 통해 실행함으로써 수행될 수 있다.
제어기(112)는 프리미티브에 대한 미리 결정된 표현에 기초하여 각각의 프리미티브로부터 각각의 디스플레이 요소로의 EM 필드 기여를 컴퓨팅할 수 있다. 상이한 프리미티브들은 대응하는 표현들을 가질 수 있다. 일부 경우들에서, 미리 결정된 표현은, 도 3a 내지 도 3c와 관련하여 이하에서 더 상세히 논의되는 바와 같이, 분석적 표현이다. 일부 경우들에서, 미리 결정된 표현은 디스플레이(114)에서 정의된 경계 조건으로 맥스웰 방정식을 푸는 것에 의해 결정된다. 경계 조건은 디리클레 경계 조건 또는 코시 경계 조건을 포함할 수 있다. 그 후, 디스플레이 요소는, 예를 들어, 디스플레이 요소의 굴절률, 진폭 인덱스, 복굴절, 또는 지연 중 적어도 하나를 변조함으로써, EM 필드 기여들의 합에 기초하여 변조될 수 있다.
필드를 경계 짓는 표면 상에서의 각 포인트에서의 EM 필드의 값들, 예를 들어, 맥스웰 방정식들에 대한 해가 알려지는 경우, 경계 표면에 의해 경계가 정해진 볼륨 내부의 EM 필드의 정확한 고유 구성이 결정될 수 있다. 프리미티브들의 리스트(또는 대응하는 홀로그램의 홀로그래픽 재구성) 및 디스플레이(114)는 3D 공간을 정의하고, 디스플레이(114)의 표면은 3D 공간의 경계 표면의 일부를 형성한다. 예를 들어, 디스플레이 표면 상에 광을 조명함으로써 디스플레이(114)의 표면 상에 EM 필드 상태들(예를 들어, 위상 또는 위상 및 진폭 상태들)을 설정함으로써, EM 필드의 경계 조건이 결정될 수 있다. 맥스웰 방정식들의 시간 대칭으로 인해, 디스플레이 요소들이 홀로그램에 대응하는 프리미티브들로부터의 EM 필드 기여들에 기초하여 변조되므로, 홀로그램에 대응하는 볼륨메트릭 광 필드가 홀로그래픽 재구성으로서 획득될 수 있다.
예를 들어, 특정 컬러에서의 조명의 라인 프리미티브는 디스플레이(114)의 전방에 설정될 수 있다. 도 3b에 대해 이하에서 더 상세히 논의되는 바와 같이, 선형 애퍼처(linear aperture)에 대한 분석적 표현은 공간에서의 함수로서 작성될 수 있다. 그 다음, 디스플레이(114)를 포함하는 경계 표면 상의 라인 프리미티브로부터의 EM 필드 기여가 결정될 수 있다. 컴퓨팅된 EM 필드 기여에 대응하는 EM 필드 값들이 디스플레이(114) 상에 설정되는 경우, 맥스웰 방정식들의 시간 대칭으로 인해, 컴퓨팅에서 이용되는 동일한 선형 애퍼처가 대응하는 위치, 예를 들어, 3D 좌표계에서의 선형 프리미티브의 좌표 위치에서 나타날 수 있다.
일부 예들에서, 도 3b에 대해 아래에 더 상세히 논의되는 바와 같이, 3D 공간에서의 2개의 포인트들 A와 B 사이에 광의 라인이 있다고 가정한다. 광은 균일하게 조명되고, 라인 거리 l당 강도 I를 갖는다. A로부터 B로의 라인을 따르는 각각의 무한소(infinitesimal) dl에서, I*dl에 비례하는 광의 양이 방출된다. 무한소 dl은 델타(포인트) 소스로서 작용할 수 있고, 무한소 dl로부터 프리미티브들의 리스트에 대응하는 장면 주위의 경계 표면 상의 임의의 포인트로의 EM 필드 기여가 결정될 수 있다. 따라서, 디스플레이(114) 상의 임의의 디스플레이 요소에 대해, 무한소 선분으로부터의 디스플레이 요소에서의 EM 필드 기여를 나타내는 분석적 방정식이 결정될 수 있다. 라인을 따라 진행하고 디스플레이 상의 디스플레이 요소에서 EM 필드에 대한 전체 라인의 EM 필드 기여를 누적하는 특별한 종류의 합산/적분이 표현으로서 결정될 수 있다. 표현에 대응하는 값들은, 예를 들어, 디스플레이 요소를 변조하고 디스플레이 요소를 조명함으로써, 디스플레이 요소에서 설정될 수 있다. 그 후, 시간 반전 및 정정 상수를 통해, 라인은 3D 공간에서의 포인트들 A 및 B에 의해 정의되는 동일한 위치에서 생성될 수 있다.
일부 구현들에서, 제어기(112)는 메모리 버퍼를 통해 디스플레이(114)에 결합된다. 제어 신호(112)는 디스플레이 요소들 각각에 대한 EM 필드 기여들의 합에 기초하여 각자의 제어 신호를 생성할 수 있다. 제어 신호는 EM 필드 기여들의 합에 기초하여 디스플레이 요소를 변조하기 위한 것이다. 각자의 제어 신호들은 메모리 버퍼를 통해 대응하는 디스플레이 요소들에 송신된다.
일부 구현들에서, 제어기(112)는 디스플레이(114)와 통합되고, 디스플레이(114)에 국부적으로 결합된다. 도 1b와 관련하여 더 상세히 논의되는 바와 같이, 제어기(112)는 다수의 컴퓨팅 유닛들을 포함할 수 있고, 다수의 컴퓨팅 유닛들 각각은 하나 이상의 각자의 디스플레이 요소들에 결합되고, 하나 이상의 각자의 디스플레이 요소들 각각에 각자의 제어 신호를 송신하도록 구성된다. 각각의 컴퓨팅 유닛은 프리미티브들의 리스트의 하나 이상의 프리미티브에 대한 컴퓨팅들을 수행하도록 구성될 수 있다. 컴퓨팅 유닛들은 병렬로 동작할 수 있다.
일부 구현들에서, 조명기(116)는 제어기(112)에 결합되고, 제어기(112)로부터의 제어 신호에 기초하여 턴 온/오프되도록 구성된다. 예를 들어, 제어기(112)는, 제어기(112)가 컴퓨팅을 완료하는 것, 예를 들어, 디스플레이 요소들에 대한 EM 필드 기여들의 모든 합들이 획득되는 것에 응답하여, 조명기(116)를 활성화하여 턴 온되도록 할 수 있다. 전술한 바와 같이, 조명기(116)가 디스플레이(114) 상에 광을 방출할 때, 디스플레이의 변조된 요소들은 광이 상이한 방향들로 전파하여, 3D 물체에 대응하는 프리미티브들의 리스트에 대응하는 볼륨메트릭 광 필드를 형성하게 한다. 결과적인 볼륨메트릭 광 필드는 디스플레이(114)의 변조된 요소들에 의해 정의되는 경계 조건을 갖는 맥스웰 방정식들의 해에 대응한다.
일부 구현들에서, 제어기(112)는 메모리 버퍼를 통해 조명기(116)에 결합된다. 메모리 버퍼는 조명기에서의 발광 요소들의 진폭 또는 휘도를 제어하도록 구성될 수 있다. 조명기(116)를 위한 메모리 버퍼는 디스플레이(114)를 위한 메모리 버퍼보다 작은 크기를 가질 수 있다. 조명기(116)에서의 발광 요소들의 수는, 발광 요소들로부터의 광이 디스플레이(114)의 전체 표면 위에 조명될 수 있는 한, 디스플레이(114)의 디스플레이 요소들의 수보다 작을 수 있다. 예를 들어, 1024x1024 요소들을 갖는 디스플레이에 대해 64x64 OLED(organic light emitting diode)들을 갖는 조명기가 이용될 수 있다. 제어기(112)는 조명기(116)의 다수의 조명 요소들을 동시에 활성화하도록 구성될 수 있다.
일부 구현들에서, 조명기(116)는 단색 광, 예를 들어, 적색 광, 녹색 광, 또는 청색 광을 방출하도록 구성된 단색 광원이다. 일부 구현들에서, 조명기(116)는 각각이 상이한 컬러를 갖는 광을 방출하도록 구성된 2개 이상의 발광 요소들을 포함한다. 예를 들어, 조명기(116)는 적색, 녹색, 및 청색 조명 요소들을 포함할 수 있다. 풀 컬러 3D 물체를 디스플레이하기 위해, 적색, 녹색, 및 청색에 대한 3개의 개별 홀로그램들이 컴퓨팅될 수 있다. 즉, 대응하는 프리미티브들로부터 디스플레이 요소들로의 3개의 EM 필드 기여들이 획득될 수 있다. 디스플레이 요소들은 3개의 EM 필드 기여들에 기초하여 순차적으로 변조될 수 있고, 조명기(116)는 적색, 녹색 및 청색 조명 요소들을 순차적으로 턴 온하도록 제어될 수 있다. 뷰어의 눈에서의 시야의 시간적 일관성 효과(temporal coherence-of vision effect)에 따라, 3개의 컬러들이 눈에서 조합되어 풀 컬러의 외관을 제공할 수 있다. 일부 경우들에서, 조명기(116)는 디스플레이 이미지(또는 홀로그래픽 재구성)의 상태 변화 동안 스위치 오프되고, 유효한 이미지(또는 홀로그래픽 재구성)가 시간 기간 동안 제시될 때 스위치 온된다. 이것은 또한 이미지(또는 홀로그래픽 재구성)가 안정적으로 나타나게 하기 위한 시야의 시간적 일관성에 의존할 수 있다.
일부 구현들에서, 디스플레이(114)는 가시 광을 회절시키기 위해 충분히 작은, 예를 들어, 0.5㎛ 이하 정도의 해상도를 갖는다. 조명기(116)는 단일의 백색 광원을 포함할 수 있고, 방출된 백색 광은 홀로그래픽 재구성들을 위해 디스플레이(114)에 의해 상이한 컬러들로 회절될 수 있다.
도 5a 내지 도 5f에 대해 이하에서 더 상세히 논의되는 바와 같이, 시스템(100)에 대한 상이한 구성들이 있을 수 있다. 디스플레이(114)는 반사형 또는 투과형일 수 있다. 디스플레이(114)는 작은 스케일(예를 들어, 한 측면에 대해 1-10 cm)로부터 큰 스케일(예를 들어, 한 측면에 대해 100-1000 cm)까지의 범위에 있는 다양한 크기들을 가질 수 있다. 조명기(116)로부터의 조명은 (예를 들어, 반사형 디스플레이에 대해서는) 디스플레이(114)의 전방으로부터 또는 (예를 들어, 투과형 디스플레이에 대해서는) 디스플레이(114)의 후방으로부터 일 수 있다. 평면 도파관이 디스플레이(114)의 표면을 균일하게 조명하는데 이용될 수 있다. 일부 구현들에서, 제어기(112), 조명기(116), 및 디스플레이(114)는 단일 유닛으로서 함께 통합될 수 있다. 통합된 단일 유닛은, 예를 들어, 제어기(112)에서, 홀로그래픽 렌더러(130)를 포함할 수 있다.
도 1b는 예시적인 홀로그래픽 디스플레이 디바이스(150)의 개략도를 도시한다. 홀로그래픽 디스플레이 디바이스(150)는 도 1a의 홀로그래픽 디스플레이 디바이스(110)와 유사할 수 있다. 홀로그래픽 디스플레이 디바이스(150)는 컴퓨팅 아키텍처(152) 및 디스플레이(156)를 포함한다. 컴퓨팅 아키텍처(152)는 도 1a의 제어기(112)와 유사할 수 있다. 컴퓨팅 아키텍처(152)는 병렬 컴퓨팅 코어들(154)의 어레이를 포함할 수 있다. 컴퓨팅 코어는 통신 접속(159), 예를 들어, USB-C 접속, 또는 임의의 다른 고속 직렬 접속을 통해, 인접한 컴퓨팅 코어에 접속될 수 있다. 접속들(159)은 장면 데이터(151)(예를 들어, 장면 프리미티브들)가 컴퓨팅 코어들(154) 사이에 분배될 수 있게 하는 데이터 분배 네트워크에 포함될 수 있다.
디스플레이(156)는 도 1a의 디스플레이(114)와 유사할 수 있고, 백플레인(158) 상에 위치된 디스플레이 요소들(160)의 어레이를 포함할 수 있다. 디스플레이 요소들(160)은 백플레인(158)의 전면 상에 배열될 수 있고, 컴퓨팅 코어들(154)은 백플레인(158)의 후면 상에 배열될 수 있다. 백플레인(158)은 기판, 예를 들어, 웨이퍼일 수 있다. 컴퓨팅 코어들(154)은 디스플레이(156)와 동일한 기판 상에 있을 수 있거나, 또는 디스플레이(156)의 후면에 접합될 수 있다.
각각의 컴퓨팅 코어(154)는 디스플레이 요소들(160)의 각자의 타일(또는 어레이)에 접속될 수 있다. 각각의 컴퓨팅 코어(154)는 서로 병렬로 장면 데이터(151)에서의 다수의 프리미티브들의 각자의 프리미티브들에 대한 컴퓨팅들을 수행하도록 구성된다. 일부 예들에서, 컴퓨팅 코어(154)는 각자의 프리미티브들 각각으로부터 디스플레이 요소들(160)의 어레이 각각으로의 EM 필드 기여를 컴퓨팅하고, 그러한 다수의 프리미티브들로부터 디스플레이 요소들(160)의 각자의 타일 각각으로의 EM 필드 기여들의 합을 생성하도록 구성된다. 컴퓨팅 코어(154)는 컴퓨팅 코어들(154)의 어레이의 다른 컴퓨팅 코어들로부터, 그러한 다수의 프리미티브들의 다른 프리미티브들로부터 디스플레이 요소들(160)의 각자의 타일 각각으로의 컴퓨팅된 EM 필드 기여들을 수신하고, 수신된 컴퓨팅된 EM 필드 기여들에 기초하여 EM 필드 기여들의 합을 생성할 수 있다. 컴퓨팅 코어(154)는 디스플레이 요소에 대한 EM 필드 기여들의 합에 기초하여, 디스플레이 요소들의 각자의 타일 각각에 대한 제어 신호를 생성하여, 디스플레이 요소들(160)의 각자의 타일 각각의 적어도 하나의 특성을 변조할 수 있다.
전술한 바와 같이, 컴퓨팅 아키텍처(152)는 또한, 예를 들어, 그러한 다수의 프리미티브들로부터 디스플레이 요소들 각각으로의 EM 필드 기여들의 합들의 컴퓨팅들이 완료되었다는 결정에 응답하여, 조명기(162)에 대한 제어 신호를 생성할 수 있다. 조명기(162)는 변조된 디스플레이 요소들(160) 상에 조명하기 위해 입력 광(153)을 방출하고, 입력 광(153)은 변조된 디스플레이 요소들(160)에 의해 반사되어, 장면 데이터(151)에 대응하는 볼륨메트릭 광 필드, 예를 들어, 홀로그래픽 광 필드(155)를 형성한다.
도 1b에 도시된 바와 같이, 디스플레이 요소들(160)의 타일들은 더 큰 디스플레이 내로 상호접속될 수 있다. 대응적으로, 컴퓨팅 코어들(154)은 데이터 통신 및 분배를 위해 상호접속될 수 있다. 유의할 점은, 임의의 주어진 2개의 디스플레이 요소들 사이의 홀로그래픽 계산들에서 변화하는 파라미터는 그들의 물리적 위치들이라는 것이다. 따라서, 홀로그램을 컴퓨팅하는 작업은 대응하는 컴퓨팅 코어들(154) 사이에서 동등하게 공유될 수 있고, 전체 디스플레이(150)는 타일들의 수와는 독립적으로, 단일의 타일과 동일한 속도로 동작할 수 있다.
도 1c는 3D 공간에서 물체들을 디스플레이하기 위한 예시적인 시스템(170)을 도시한다. 시스템(170)은 컴퓨팅 디바이스, 예를 들어, 도 1a의 컴퓨팅 디바이스(102), 및 홀로그래픽 디스플레이 디바이스(172), 예를 들어, 도 1a의 홀로그래픽 디스플레이(110) 또는 도 1b의 홀로그래픽 디스플레이(150)를 포함할 수 있다. 사용자는 시스템(170)을 동작시키기 위해, 입력 디바이스, 예를 들어, 키보드(174) 및/또는 마우스(176)를 이용할 수 있다. 예를 들어, 사용자는 컴퓨팅 디바이스를 통해 2D 물체(178) 및 3D 물체(180)에 대한 CG 모델을 생성할 수 있다. 컴퓨팅 디바이스 또는 홀로그래픽 디스플레이 디바이스(172)는 2D 물체(178) 및 3D 물체(180)에 대한 대응하는 그래픽 데이터를 생성하도록 CG 모델을 렌더링하기 위해 홀로그래픽 렌더러, 예를 들어, 도 1a의 홀로그래픽 렌더러(130)를 포함할 수 있다. 그래픽 데이터는 물체들(178 및 180)에 대응하는 프리미티브들의 리스트에 대한 각자의 프리미티브 데이터를 포함할 수 있다.
홀로그래픽 디스플레이 디바이스(172)는 제어기, 예를 들어, 도 1a의 제어기(112) 또는 도 1b의 제어기(152), 및 디스플레이(173), 예를 들어, 도 1a의 디스플레이(114) 또는 도 1b의 디스플레이(156)를 포함할 수 있다. 제어기는 프리미티브들로부터 디스플레이(173)의 각각의 디스플레이 요소로의 EM 필드 기여들의 각자의 합을 컴퓨팅하고, EM 필드 기여들의 각자의 합에 기초하여 각각의 디스플레이 요소를 변조하기 위한 제어 신호들을 생성할 수 있다. 홀로그래픽 디스플레이 디바이스(172)는 조명기, 예를 들어, 도 1a의 조명기(116) 또는 도 1b의 조명기(162)를 더 포함할 수 있다. 제어기는 조명기를 활성화하기 위한 타이밍 제어 신호를 생성할 수 있다. 조명기로부터의 광이 디스플레이(173)의 표면 상에 조명할 때, 변조된 디스플레이 요소들은 광이 3D 공간에서 전파되어 2D 물체(178)에 대한 홀로그래픽 재구성 및 3D 물체(180)에 대한 홀로그래픽 재구성에 대응하는 볼륨메트릭 광 필드를 형성하게 할 수 있다. 따라서, 2D 물체(178) 및 3D 물체(180)는 디스플레이(173) 전방의 3D 공간에 떠있는 각자의 홀로그래픽 재구성들로서 디스플레이된다.
일부 구현들에서, 컴퓨팅 디바이스는 비-프리미티브 기반 데이터, 예를 들어, 레코딩된 광 필드 비디오를 홀로그래픽 디스플레이 디바이스(172)에 송신한다. 홀로그래픽 디스플레이 디바이스(172)는 3D 공간에서의 대응하는 홀로그래픽 재구성들로서 디스플레이하기 위해, 대응하는 홀로그램들, 예를 들어, 일련의 순차적인 홀로그램들을 컴퓨팅 및 생성할 수 있다. 일부 구현들에서, 컴퓨팅 디바이스는 라이브 홀로그래픽 콘텐츠와 동시에 CG 홀로그래픽 콘텐츠를 홀로그래픽 디스플레이 디바이스(172)에 송신한다. 홀로그래픽 디스플레이 디바이스(172)는 또한 콘텐츠를 3D 공간에서의 대응하는 홀로그래픽 재구성들로서 디스플레이하기 위해 대응하는 홀로그램들을 컴퓨팅 및 생성할 수 있다.
도 2는 전자기(EM) 필드 계산을 위한 예시적인 구성(200)을 도시한다. 디스플레이(202), 예를 들어, 요소들(204)의 어레이, 및 포인트 프리미티브(206)를 포함하는 프리미티브들의 리스트를 포함하는 LCOS 디바이스가 3D 공간(208)에 있다. 3D 공간(208)은 경계 표면들(210)을 포함한다. 3D 좌표계 XYZ에서, 포인트 프리미티브(206)는 좌표 정보(x, y, z)를 갖는다. 각각의 디스플레이 요소(204)는 다른 디스플레이 요소들(204)에 대해 평평한 평면에 놓이고, 2D 위치(u, v)를 갖는다. 디스플레이 요소(204)는 또한 3D 공간에서의 위치를 갖는다. 수학적 포인트 변환에 의해, 2D 위치(u, v)는 3D 좌표계에서의 6개의 좌표들(250)로 전송될 수 있다. 즉, 디스플레이(202)의 표면은 경계 표면들(210)의 일부를 형성한다. 따라서, 디스플레이(202)의 표면에서 경계 조건을 정의함으로써 컴퓨팅된 프리미티브들의 리스트로부터 디스플레이 요소로의 EM 필드 기여들은 프리미티브들로부터 디스플레이 요소로의 전체 EM 필드 기여들의 일부를 나타낸다. 필드 기여들의 스케일링된 합을 획득하기 위해 스케일 계수(scale factor), 예를 들어, 6이 디스플레이 요소들 각각에 대한 EM 필드 기여들의 합에 승산될 수 있고, 디스플레이 요소는 필드 기여들의 스케일링된 합에 기초하여 변조될 수 있다.
프리미티브들에 대한 예시적인 EM 필드 기여들
프리미티브는 표준 컴퓨터 그래픽 렌더링에 이용될 수 있다. 표준 컴퓨터 그래픽에서의 각각의 타입의 프리미티브는 이 공식에서, 홀로그램에 추가된 그래픽 요소에 대한 단일 홀로그래픽 프리미티브를 정의하는 이산 수학 함수에 대응한다. 각각의 타입의 프리미티브는 디스플레이 요소에 대한 EM 필드 기여를 계산하기 위한 표현에 대응할 수 있다. 프리미티브는 포인트 프리미티브, 라인 프리미티브, 또는 다각형(예를 들어, 삼각형) 프리미티브일 수 있다. 아래에 예시된 바와 같이, 분석적 표현은 대응하는 프리미티브로부터 디스플레이의 디스플레이 요소로의 EM 필드 전파를 계산함으로써 유도될 수 있다.
도 3a는 포인트 프리미티브(304)로부터 디스플레이(300)의 요소(302)로의 예시적인 EM 전파를 도시한다. 3D 좌표계 XYZ에서, 디스플레이(300)에 걸쳐 z 좌표가 0인 것으로 가정하며, 이는 음의 z 값들이 디스플레이(300) 뒤에 있고, 양의 z 값들이 디스플레이(300)의 앞에 있다는 것을 의미한다. 포인트 프리미티브(304)는 좌표(x, y, z)를 갖고, 디스플레이 요소(302)는 좌표(u, v, 0)를 갖는다. 포인트 프리미티브(304)와 디스플레이 요소(302) 사이의 거리 duv는 그들의 좌표들에 기초하여 결정될 수 있다.
포인트 프리미티브(304)는 시변 진폭(time varying amplitude)을 갖는 포인트 전하(point charge)로서 고려될 수 있다. 전자기 이론에 따르면, 그러한 포인트 전하에 의해 생성된 전기장 E는 다음과 같이 표현될 수 있다:
Figure 112020074135264-pct00001
여기서λ는 EM 파의 파장을 나타내고, d는 포인트 전하로부터의 거리를 나타낸다.
따라서, 디스플레이 요소(u, v)에서의 전기장 Eu,v는 다음과 같이 표현될 수 있다:
Figure 112020074135264-pct00002
여기서, I는 포인트 프리미티브(304)로부터 기여된 디스플레이 요소에서의 홀로그래픽 프리미티브 전기장의 상대적인 강도를 나타낸다.
도 2에 대해 전술한 바와 같이, 디스플레이(300)의 표면은 EM 필드에 대한 경계 표면의 일부만을 형성한다. 스케일 계수 δ가 전기장 Eu,v에 인가되어 다음과 같이 부분적 경계를 조절하는 디스플레이 요소에서의 스케일링된 전기장
Figure 112020074135264-pct00003
를 얻을 수 있다.
Figure 112020074135264-pct00004
여기서,
Figure 112020074135264-pct00005
이다.
도 3b는 3D 좌표계 XYZ에서 라인 프리미티브(306)로부터 디스플레이(300)의 디스플레이 요소(302)로의 EM 전파의 예를 도시한다. 전술한 바와 같이, 디스플레이 요소(302)는 좌표(u, v, 0)를 가질 수 있고, 여기서 z=0이다. 라인 프리미티브(306)는 2개의 엔드포인트들, 즉, 좌표(x0, y0, z0)를 갖는 P0 및 좌표(x1, y1, z1)를 갖는 P1을 갖는다. 엔드포인트 P0과 디스플레이 요소 사이의 거리 d0은 그들의 좌표들에 기초하여 결정될 수 있다. 유사하게, 엔드포인트 P1과 디스플레이 요소 사이의 거리 d1은 그들의 좌표들에 기초하여 결정될 수 있다. 2개의 엔드포인트들 P0 및 P1 사이의 거리 d01이 또한 결정될 수 있고, 예를 들어, d01= d1-d0이다.
위에서 논의된 바와 같이, 라인 프리미티브는 중첩 또는 선형 변형으로서 취급될 수 있고, 선형 애퍼처로서 라인 프리미티브에 대한 대응하는 분석적 표현은 공간에서 분포된 델타 함수로서 획득될 수 있다. 이 분석적 표현은 홀로그램들로서의 연속 3D 선분들에 대한 폐쇄된 표현일 수 있다.
도 3c는 3D 좌표계 XYZ에서의 삼각형 프리미티브(308)로부터 디스플레이(300)의 디스플레이 요소(302)로의 예시적인 EM 전파를 도시한다. 전술한 바와 같이, 디스플레이 요소(302)는 좌표(u, v, 0)를 가질 수 있고, 여기서 z=0이다. 삼각형 프리미티브(308)는 3개의 엔드포인트, 즉, P0(x0, y0, z0), P1(x1, y1, z1), 및 P2(x2, y2, z2)를 갖는다. 디스플레이 요소와 엔드포인트들 P0, P1, 및 P2 사이의 거리 d0, d1, 및 d2는 그들의 좌표들에 기초하여 각각 결정될 수 있다.
도 3b에서의 라인 프리미티브와 유사하게, 삼각형 프리미티브는 공간에서 연속적인 애퍼처로서 취급될 수 있고, 디스플레이 요소에 대한 삼각형 프리미티브의 EM 필드 기여에 대한 분석적 표현이 적분에 의해 획득될 수 있다. 이것은 효율적인 컴퓨팅을 위한 표현을 획득하도록 단순화될 수 있다.
프리미티브들에 대한 예시적인 컴퓨팅들
위에서 논의된 바와 같이, 제어기, 예를 들어, 도 1a의 제어기(112)는 위에서 도시된 바와 같이 결정될 수 있는 분석적 표현에 기초하여 프리미티브로부터 디스플레이 요소로의 EM 필드 기여를 컴퓨팅할 수 있다. 예로서, 라인 프리미티브에 대한 EM 필드 기여는 아래와 같이 계산된다.
디스플레이에서의 각각의 디스플레이 요소는 공간에서의 물리적 위치를 갖고, 각각의 디스플레이 요소는 다른 디스플레이 요소들에 대해 평평한 평면에 놓인다. 디스플레이 요소들 및 그들의 제어기들이 디스플레이 및 메모리 디바이스들에서 통상적인 것으로서 배치되는 것으로 가정하면, 단순한 수학적 포인트 변환이, 프로세서에서의 디스플레이 요소에 대한 논리적 메모리 주소에 기초하여 주어진 디스플레이 요소의 논리적 위치를, 공간에서의 디스플레이 요소의 실제 물리적 위치로 변환하기 위해 이용될 수 있다. 따라서, 디스플레이 요소들의 논리적 메모리 주소들이 프로세서의 논리적 메모리 공간에서 루프될 때, 디스플레이의 표면을 가로질러 공간에서의 대응하는 실제 물리적 위치들이 식별될 수 있다.
예로서, 디스플레이가 5μm 피치를 갖는다면, 각각의 논리적 주소 증분은 x 방향으로 5μm 이동할 수 있고, 디스플레이의 x 해상도 한계에 도달할 때, 다음 증분은 초기의 x 물리적 위치로 다시 이동할 것이고, y 물리적 위치를 5μm만큼 증분시킬 것이다. 제3 공간 좌표 z는 디스플레이 표면에 걸쳐 0인 것으로 가정될 수 있으며, 이는 음의 z 값들이 디스플레이 뒤에 있고, 양의 z 값들이 디스플레이의 앞에 있다는 것을 의미한다.
라인 계산을 시작하기 위해, 현재 디스플레이 요소와 라인 프리미티브의 2개의 포인트들 각각 사이의 스케일링된 물리적 거리의 타입은 d0 및 d1인 것으로 결정될 수 있다. 사실상, 디스플레이 요소들에 걸친 거리들의 모든 후속 계산은 초기 값의 작은 변동(perturbation)이기 때문에, d0 및 d1은 프리미티브마다 한 번씩 계산될 수 있다. 이러한 방식으로, 이러한 컴퓨팅은 1차원에서 수행된다.
각각의 프리미티브에 대한 예시적인 컴퓨팅 프로세스는 다음의 컴퓨팅 코드들을 포함할 수 있다:
DD = f(d1, d0),
iscale = SS*COLOR*알파1,
C1 = -2*iscale*sin(DD/2)*sin((알파2)*cos(알파3),
C2 = -2*iscale*sin(DD/2)*sin(알파2)*sin(알파4),
여기서, SS, 알파1, 알파2, 알파3, 및 알파4는 미리 컴퓨팅된 상수들이고, COLOR은 프리미티브와 함께 전달되는 RGB 컬러 값이고, 모든 값들은 스칼라, 단정밀도 부동 소수점들이다. 사인 및 코사인 함수들 둘다는 컴퓨팅 효율을 개선하기 위해 제어기에 저장된 테이블들에서 룩업될 수 있다.
그 다음, C1 및 C2에서의 결과들은 각각의 디스플레이 요소에서, 예를 들어, 디스플레이 요소에 대한 누적기에서 각각의 프리미티브에 대해 누적되고, 디스플레이 요소들에 대한 컴퓨팅들의 끝에서 한 번 정규화될 수 있다. 이 시점에서, 전술한 바와 같이, 제어기는 컴퓨팅된 결과들에 기초하여 제1 제어 신호를 디스플레이 요소들에 송신해서 디스플레이 요소들을 변조하고, 제2 제어 신호를 조명기에 송신하여 광을 방출하도록 턴 온시킬 수 있다. 따라서, 홀로그래픽 재구성(또는 홀로그래픽 광 필드)이 뷰어에게 보여질 수 있다. 조명될 때, 변조된 디스플레이 요소들은 광이 3차원 공간에서 매끄럽고 연속적인 컬러 라인을 생성하게 할 수 있다.
일부 구현들에서, 컴퓨팅 코드들은, 예를 들어, 코드들의 시작에서, 누적기에서의 이전의 누적들을 클리닝하기 위한 헥스 코드를 포함한다. 컴퓨팅 코드들은 또한, 예를 들어, 코드들의 끝에서, 누적기 결과들을 각각의 디스플레이 요소에 대한 각자의 메모리 버퍼 내에 저장하기 위한 헥스 코드를 포함할 수 있다. 일부 구현들에서, 컴퓨팅 디바이스, 예를 들어, 도 1a의 컴퓨팅 디바이스(102)는, 기본 디스플레이 프레임 레이트에 영향을 미치지 않는 디스플레이 프레임들 사이의 간격에서 또는 애플리케이션 시동(startup)시에 다수의 배경 또는 정적 프리미티브 헥스 코드들을 제어기에 송신한다. 그 다음, 컴퓨팅 디바이스는 헥스 코드들의 하나 이상의 조합을 잠재적으로 다른 전경(foreground) 또는 동적 프리미티브들과 함께 훨씬 더 높은 레이트로 제어기에 송신할 수 있으며, 그것은 디스플레이의 디스플레이 요소들을 변조하기 위한 대응하는 제어 신호를 형성할 수 있다.
컴퓨팅 프로세스는 종래의 2D 디스플레이 기술에서 가장 효율적인 라인 그리기 루틴보다 더 간단하고 더 빠른 자릿수(orders of magnitude)일 수 있다. 또한, 이 컴퓨팅 알고리즘은 디스플레이 요소들의 수에 따라 선형적으로 스케일링된다. 따라서, 2D 네트워킹된 처리 시스템으로서 제어기의 컴퓨팅 유닛들을 스케일링하는 것은 디스플레이의 증가하는 표면 영역의 컴퓨팅 요구들을 유지할 수 있다.
예시적인 컴퓨팅 구현들
맥스웰 홀로그래픽 제어기, 예를 들어, 도 1a의 제어기(112)는 위에서 도시된 바와 같이 결정될 수 있는 분석적 표현에 기초하여 프리미티브로부터 디스플레이 요소로의 EM 필드 기여를 컴퓨팅할 수 있다. 제어기는, 예를 들어, ASIC, FPGA 또는 GPU, 또는 이들의 임의의 조합으로 구현될 수 있다.
최신의 GPU 파이프라인에서, GPU는 하나 이상의 출력 이미지 표면(렌더링 타겟들이라고 지칭됨)에 대한 컬러 및 깊이 픽셀 출력들을 생성하기 위해 정점 및 프래그먼트 셰이더 프로그램들(vertex and fragment shader programs) 뿐만 아니라 기하학적 도면들의 설명들을 취한다. 프로세스는, 기하 구조가 셰이딩 프래그먼트들로 확장되는 정보의 폭발적인 팬-아웃(explosive fan-out)과, 그 이후에 뒤따르는, 이들 프래그먼트들 각각에 대해 작업이 행해질 필요가 있는지를 선택하기 위한 가시성 테스트를 수반한다. 프래그먼트는 그 샘플 포인트를 셰이딩하는데 수반되는 모든 정보, 예를 들어, 삼각형 상의 무게 중심 좌표들(barycentric coordinates), 컬러들 또는 텍스쳐 좌표들과 같은 보간된 값들, 표면 유도체들 등을 포함하는 레코드이다. 이어서, 이러한 레코드들을 생성하여 최종 이미지에 기여하지 않는 것들을 거부하는 프로세스는 가시성 테스트이다. 가시성 테스트를 통과하는 프래그먼트들은 셰이더 엔진들에 의해 병렬로 실행되는 파면들(wavefronts) 또는 워프들(warps)이라고 지칭되는 작업 그룹들로 패킹될 수 있다. 이들은 픽셀 값들로서 메모리에 다시 기입되고, 디스플레이를 위해 준비되거나, 또는 나중의 렌더링 패스들을 위한 입력 텍스쳐들로서의 이용을 위한 출력 값들을 생성한다.
맥스웰 홀로그래피에서, 렌더링 프로세스는 크게 단순화될 수 있다. 맥스웰 홀로그래픽 계산들에서, 모든 프리미티브는 모든 디스플레이 요소에 기여한다. 기하 구조를 픽셀들로 확장할 필요가 없으며, 파면들을 패킹하기 전에 가시성 테스트들을 적용할 필요가 없다. 이것은 또한 맥스웰 홀로그래픽 파이프라인들 사이의 의사 결정 또는 통신의 필요성을 제거할 수 있고, 컴퓨팅이, 각각이 속도, 비용, 크기 또는 에너지 최적화에 대해 튜닝되는 다수의 가능한 해결책들과 병렬적인 문제가 되게 할 수 있다. 그래픽 파이프라인은, 더 적은 중간 단계들, 어떠한 데이터 복사 또는 이동도 없는 것, 및 그리기를 개시하는 것과 결과가 디스플레이할 준비가 되어 있는 것 사이의 더 낮은 레이턴시로 이어지는 더 적은 결정들에 의해, 상당히 더 짧다. 이것은 맥스웰 홀로그래픽 렌더링이 극도로 낮은 레이턴시 디스플레이들을 생성하게 할 수 있다. 이하에서 논의되는 바와 같이, 이것은 맥스웰 홀로그래픽 계산들이, 예를 들어, 맥스웰 홀로그래픽 파이프라인에서 고정 소수점 수들을 이용하여 정확도를 증가시키고, 예를 들어, 수학 함수들을 최적화함으로써 컴퓨팅 속도를 최적화하도록 허용할 수 있다.
고정 소수점 수들(Fixed Point Numbers)의 이용
각각의 디스플레이 요소(예를 들어, 파셀(phasel))에서 각각의 프리미티브로부터의 EM 기여를 계산할 때, 중간 계산들은 매우 큰 수들을 생성하는 것을 수반한다. 이러한 큰 수들은, 그것들이 또한 계산 동안 소수부들(fractional parts)을 유지할 필요가 있기 때문에, 특별한 처리를 수반한다.
부동 소수점 값들은 그들이 원점(숫자 라인 상에서 0)에 근접하여 가장 정확하고, 원점으로부터 멀어지는 쪽으로 이동할 때 2의 거듭제곱(power-of-two)마다 1비트의 정확도를 잃는다는 단점을 갖는다. 범위 [-1,1]에서 가까운 숫자들에 대해, 부동 소수점 값들의 정확도는 정교할 수 있지만, 일단 수 천만의 숫자들에 도달하면, 예를 들어, 단정밀도 32-비트 IEEE-754 부동 소수점 값들이 남아있는 소수 자릿수들(fractional digits)을 갖지 않는 포인트에 도달하면, 전체 시그니피컨드(significand)(가수(mantissa)라고도 알려짐)는 값의 정수부를 나타내기 위해 이용된다. 그러나, 맥스웰 홀로그래피가 보유하는데 특히 관심이 있는 것은 큰 수들의 소수부이다.
일부 경우들에서, 고정 소수점 수들이 맥스웰 홀로그래픽 계산들에서 이용된다. 고정 소수점 수 표현들은 소수점(decimal point)이 케이스별로 변하지 않는 수들이다. 수의 정수부 및 소수부에 대한 정확한 비트 수를 선택함으로써, 수의 크기에 관계없이 동일한 개수의 소수 비트들(fractional bits)이 획득될 수 있다. 고정 소수점 수들은 암시적 스케일 계수를 갖는 정수들로서 표현되고, 예를 들어, 14.375는 8개의 소수 비트들을 갖는 16비트 고정 소수점 값에서 숫자 3680(0000111001100000 베이스-2)으로서 표현될 수 있다. 이것은 또한 "부호를 갖지 않는(unsigned) 16.8" 고정 소수점 수, 또는 간단히 u16.8로 표현될 수 있다. 음수들은 하나의 추가적인 부호 비트를 가질 수 있고 "2의 보수" 포맷으로 저장된다. 이러한 방식으로, 계산의 정확도가 크게 개선될 수 있다.
수학 함수들에 대한 최적화
위에서 도시된 바와 같이, 맥스웰 홀로그래픽 계산들은 선험적 수학 함수들(transcendental mathematical functions), 예를 들어, 사인, 코사인, 아크탄젠트 등의 이용을 수반한다. CPU에서, 이러한 함수들은 전문화된 CPU 명령어들을 이용할 수 있는 부동 소수점 라이브러리 함수들로서 구현되거나, GPU 상에서 그러한 GPU에서의 부동 소수점 단위들로서 구현된다. 이들 함수들은 부동 소수점 수로서 인수들(arguments)을 취하도록 작성되고, 결과들은 동일한 부동 소수점 표현으로 반환된다. 이러한 함수들은 일반적인 경우에 대해, 부동 소수점들이 정확한 곳에서 정확하고, 정확하게 반올림되고 부동 소수점 수 표현(+/- 무한대, NaN, 부호를 갖는 0 및 비정상적인 부동 소수점들)에서 모든 에지 경우에 대처하도록 만들어져 있다.
맥스웰 홀로그래픽 계산들에서, 고정 소수점 표현과 함께, 점진적인 언더플로우를 위해 비정상적인 부동 소수점들을 이용할 필요가 없고, 0으로 나누는 것과 같은 연산들로부터의 NaN 결과들을 처리하지 않고, 부동 소수점 반올림 모드들을 변경하지 않고, 운영 체제에 대한 부동 소수점 예외들을 발생시킬 필요가 없다. 이들 모두는, 예를 들어, 이하 논의되는 바와 같이, 선험적 수학 함수들을 단순화(및/또는 최적화)하는 것을 허용한다.
일부 경우들에서, 최적화들은 하나의 고정 소수점 포맷으로 인수들을 취하고, 그 값을 상이한 정확도 레벨, 예를 들어, 입력 s28.12 및 출력 s15.14로 반환하도록 행해질 수 있다. 이것은 수 천만의 큰 값들의 사인을 계산할 때 특히 바람직할 수 있고, 입력 인수는 클 수 있지만, 출력은 값 범위 [-1,1]를 나타내기만 하면 될 수 있거나, 또는 임의의 값을 취하지만 범위 [-π/2,π/2]의 값들을 반환하는 아크탄젠트일 수 있다.
일부 경우들에서, 최적화는, 수반된 입력 범위에 따라, 전체 열거된 룩업 테이블들로서, 보간된 테이블들로서, 다항식 함수들에 기초한 세미-테이블로서 또는 전체 미니맥스 다항식들에 기초한 세미-테이블로서 선험적 함수들을 자유롭게 구현하도록 이루어질 수 있다. 그것은 또한 범용 GPU 파이프라인 계산이 속도를 위해 스킵할 수 있는 큰 입력들에 대처하는 전문화된 범위 감소 방법들을 적용하는 것을 허용한다.
일부 경우들에서, 다른 최적화는 범위 [-π,π]로부터의 삼각법 계산들(trigonometric calculations)을, 값비싼 모듈로 2π 나눗셈 연산들을 요구하지 않는다는 이점을 갖는 범위 [-1,1]에서의 부호를 갖는 2의 보수 표현으로 변환하는 것일 수 있다.
오클루젼에 대한 예시적인 구현들
오클루젼은 종종 컴퓨터 그래픽에서는 어렵고 중요한 주제로 보여지고, 컴퓨팅 홀로그래피에서는 훨씬 더 그러한 것으로 보인다. 이것은, 적어도 일부 경우들에서, 투영 CGI에서의 오클루젼 문제는 정적이고, 홀로그래픽 시스템들에서 숨겨진 것과 볼 수 있는 것은 뷰어의 위치 및 방향에 의존하기 때문이다. G-S 홀로그래피 또는 그 파생물들의 파 접근법들이 홀로그래픽 오클루젼들을 해결하기 위해 개발되었다. 그러나, 장면의 다른 부분들 뒤에 있는 장면의 부분들로부터의 기여들을 마스킹 또는 차단하는 것은, G-S 방법에서 매우 복잡하고 컴퓨팅하는 것이 비쌀 수 있다.
맥스웰 홀로그래피에서, 오클루젼 문제는 비교적 쉽게 해결될 수 있는데, 그 이유는 어느 디스플레이 요소들(예를 들어, 파셀들)이 어느 프리미티브들에 대응하는 지는 완전히 결정론적이고 사소한 것이기 때문이다. 예를 들어, 주어진 디스플레이 요소가 주어진 프리미티브의 재구성에 기여하는지의 여부는 주어진 프리미티브에 대한 계산이 수행됨에 따라 결정될 수 있다. 다수의 디스플레이 요소들이 오클루젼으로 인해 주어진 프리미티브에 기여하지 않는 것으로 결정한 후에, 다수의 디스플레이 요소들 중 하나에 대한 EM 기여들의 합을 계산할 때, 주어진 프리미티브로부터의 EM 기여는 다수의 디스플레이 요소들 중 하나에 대한 EM 기여들의 합의 계산으로부터 생략된다.
단지 예시를 위해, 도 3d 내지 도 3f는 오클루더로서 라인 프리미티브를 갖는 주어진 프리미티브(도 3d에서의 포인트, 도 3e에서의 라인, 및 도 3f에서의 삼각형)에 기여하지 않는 디스플레이 요소들의 결정을 도시한다. 라인 프리미티브는 시작 포인트 O1 및 종료 포인트 O2를 갖는다.
도 3d에 도시된 바와 같이, 포인트 프리미티브 P0는 오클루더 뒤에 있으며, 디스플레이에 더 가까이 있다. O1-P0 및 O2-P0을 접속하는 라인들을 연장함으로써, 디스플레이에서의 D1로부터 D2까지의 디스플레이 요소들의 범위가 결정되고, 이는 포인트 프리미티브 P0의 재구성에 기여하지 않는다.
일부 예들에서, O1, O2 및 P0의 좌표 정보는 알려져 있고, 예를 들어, 장면이 맥스웰 홀로그래픽 제어기(예를 들어, 도 1a의 제어기(112))에 송신되기 전에 GPU(예를 들어, 도 1a의 GPU(108))에 의해 계산된 "Z" 버퍼에 저장된다. 예를 들어, y=0인 XZ 평면에서, 좌표 정보는 O1(Ox1, Oz1), O2(Ox2, Oz2), 및 P0(Px, Pz)일 수 있고, Oz1=Oz2=Oz이다. 좌표 정보에 기초하여, D1 및 D2의 좌표 정보는 다음과 같이 결정될 수 있다.
Figure 112020074135264-pct00006
여기서,
Figure 112020074135264-pct00007
이다.
D1 및 D2의 정보는, 포인트 프리미티브 P0에 대한 Z 버퍼에서의 정보 외에, 맥스웰 홀로그래픽 제어기에 대한 "S" 버퍼에서의 추가 정보로서 저장될 수 있다. 그러한 방식으로, 추가 정보는 인덱싱된 프리미티브 리스트에서의 특정 프리미티브 P0에 대한 (D1로부터 D2까지의 범위 내의) 특정 디스플레이 요소들의 기여들을 사소하게 마스킹하는데 이용될 수 있다.
도 3e는 특정 디스플레이 요소가 라인 프리미티브 이전에 오클루더를 갖는 라인 프리미티브에 어떻게 기여하는지에 대한 결정을 도시한다. 특정 디스플레이 요소 D0을 오클루더의 시작 포인트 O1 및 종료 포인트 O2에 접속함으로써, 라인 프리미티브 상의 2개의 포인트 프리미티브들 P1 및 P2가 교차 포인트들로서 결정된다. 따라서, 특정 디스플레이 요소 D0은 라인 프리미티브 상에서 P1로부터 P2까지의 라인 프리미티브의 부분의 재구성에 기여하지 않는다. 따라서, 특정 디스플레이 요소 D0에 대한 EM 기여들의 합을 계산할 때, 라인 프리미티브의 부분 P1-P2로부터의 EM 기여들은 계산되지 않는다.
이것은 2개의 방식으로 구현될 수 있다. 제1 방식에서, 부분 P0-P1 및 부분 P2-Pn으로부터 특정 디스플레이 요소 D0으로의 EM 기여들은, 오클루더로부터의 오클루젼을 고려함으로써, 특정 디스플레이 요소 D0에 대한 라인 프리미티브의 EM 기여들로서 합산된다. 제2 방식에서, 부분 P1-P2로부터의 EM 기여와 함께, 전체 라인 프리미티브 P0-Pn으로부터의 EM 기여가 계산되고, 오클루더로부터의 오클루젼을 고려함으로써 2개의 계산된 EM 기여들 사이의 차이가 특정 디스플레이 요소 D0에 대한 라인 프리미티브의 EM 기여로서 고려될 수 있다. P1 및 P2의 좌표 정보, 또는 부분 P1-P2는, 오클루더의 정보 및 GPU의 "Z" 버퍼에서의 다른 정보와 함께, 맥스웰 홀로그래픽 제어기의 "S" 버퍼에서, 특정 디스플레이 요소 D0에 기여하지 않는 라인 프리미티브의 부분으로서 저장될 수 있다.
도 3f는 특정 디스플레이 요소가 삼각형 프리미티브 이전에 오클루더를 갖는 삼각형 프리미티브에 어떻게 기여하는지에 대한 결정을 도시한다. 특정 디스플레이 요소 D0을 오클루더의 시작 포인트 O1 및 종료 포인트 O2 접속함으로써, 삼각형 프리미티브의 측면들 상의 4개의 포인트 프리미티브들 P1, P2, P3, 및 P4가 교차 포인트들로서 결정된다. 따라서, 특정 디스플레이 요소 D0은 포인트들 P1, P2, P3, P4, PC에 의해 둘러싸인 삼각형 프리미티브의 부분의 재구성에 기여하지 않는다. 따라서, 특정 디스플레이 요소 D0에 대한 EM 기여들의 합을 계산할 때, 삼각형 프리미티브의 부분 P1-P2-P3-P4-PC로부터의 EM 기여들은 계산되지 않는다. 즉, 오클루더의 오클루젼을 고려함으로써, 포인트들 PA, P1, P2에 의해 형성된 제1 삼각형 및 포인트들 PB, P3, P4에 의해 형성된 제2 삼각형으로부터의 EM 기여들만이 삼각형 프리미티브 PA-PB-PC의 EM 기여로서 합산된다. P1, P2, P3 및 P4 또는 삼각형 프리미티브들 PA-P1-P2 및 PB-P3-P4의 좌표 정보는, 특정 디스플레이 요소 D0에 기여하는 삼각형 프리미티브 PA-PB-PC의 부분으로서, GPU의 "Z" 버퍼에서의 오클루더의 정보 및 다른 정보와 함께, 맥스웰 홀로그래픽 제어기의 "S" 버퍼에 저장될 수 있다.
맥스웰 홀로그래피에서의 오클루젼의 구현들은 GPU에서의 "Z" 버퍼를 맥스웰 홀로그래픽 제어기에서의 "S" 버퍼로 변환하는 것을 가능하게 하고, 특정 디스플레이 요소에 대한 인덱싱된 프리미티브 리스트에서의 특정 프리미티브들(또는 프리미티브들의 특정 부분들)의 기여들을 마스킹할 수 있다. 이것은 정확하고 물리적으로 정확한 오클루젼을 제공할 뿐만 아니라, 주어진 디스플레이 요소에 기여하지 않고 다음 디스플레이 요소에 대한 계산으로 이동하는 프리미티브들로서 컴퓨팅 시간을 또한 절약한다. "S" 버퍼는 디스플레이의 회절 효율에 관련된 추가 정보를 포함할 수 있다.
"S" 버퍼는 또한, 표면의 반사율이 시야각(viewing angle)에 의존하는 홀로그래픽 정반사 하이라이트들(Holographic specular highlights)과 같은 렌더링 특징들을 포함할 수 있다. 전통적인 CGI에서, 정반사 하이라이트들은 렌더링된 물체의 배향에만 의존하는 반면, 맥스웰 홀로그래픽 상황에서, 물체가 보여지는 방향은 또한 부분을 재생한다. 따라서, 기하학적 정반사 정보는 감산적(오클루젼) 기여보다는 가산적(정반사)로서 "S" 버퍼에서 인코딩될 수 있다. 맥스웰 홀로그래피에서, 홀로그래픽 정반사 하이라이트들에 대한 수학은 홀로그래픽 오클루젼에 대한 것과 실질적으로 동일할 수 있다.
스티칭(stitching)에 대한 예시적인 구현들
광이 3D 물체의 프리미티브들의 리스트로부터의 EM 기여들로 변조된 디스플레이 상에서 조명될 때, 변조된 디스플레이는 광이 상이한 방향들로 전파되게 하여 프리미티브들에 대응하는 볼륨메트릭 광 필드를 형성한다. 볼륨메트릭 광 필드는 맥스웰 홀로그래픽 재구성이다. 3D 물체에서의 2개의 인접한 프리미티브들, 예를 들어, 삼각형 프리미티브들은 공유된 측면을 갖는다. 재구성 동안, 스티칭 문제가 일어날 수 있고, 2개의 인접한 프리미티브들의 개별적인 재구성들로 인해, 공유된 측면의 광 강도는 2배일 수 있다. 이것은 재구성된 3D 물체의 외관에 영향을 미칠 수 있다.
맥스웰 홀로그래피에서의 스티칭 문제를 해결하기 위해, 도 3g에 도시된 바와 같이, 인접한 프리미티브들은 미리 결정된 계수에 의해 스케일링 다운될 수 있어서, 인접한 프리미티브들 사이에 갭이 형성될 수 있다. 일부 경우들에서, 2개의 인접한 프리미티브들을 스케일링 다운하는 대신에, 단지 하나의 프리미티브 또는 프리미티브의 일부가 스케일링 다운된다. 예를 들어, 삼각형 프리미티브의 라인은 다른 삼각형 프리미티브로부터 분리되도록 스케일링 다운될 수 있다. 일부 경우들에서, 스케일링은 상이한 미리 결정된 계수들로 프리미티브의 상이한 부분들을 스케일링하는 것을 포함할 수 있다. 스케일링은, 갭이 스티칭 문제를 최소화하도록 인접한 프리미티브들을 분리하기에 충분히 크고, 재구성된 3D 물체가 끊김없이 나타나도록 만들기에 충분히 작도록, 설계될 수 있다. 미리 결정된 계수는 디스플레이의 정보, 예를 들어, 디스플레이의 최대 공간 해상도에 기초하여 결정될 수 있다.
일부 경우들에서, 스케일링 동작은 홀로그래픽 렌더, 예를 들어, 도 1a의 홀로그래픽 렌더(130)로부터 획득된 프리미티브의 프리미티브 데이터에 적용될 수 있고, 프리미티브의 스케일링된 프리미티브 데이터는 맥스웰 홀로그래픽 제어기, 예를 들어, 도 1a의 제어기(112)에 전송된다. 일부 경우들에서, 제어기는 디스플레이의 디스플레이 요소들에 대한 프리미티브들의 EM 기여들을 계산하기 전에, 홀로그래픽 렌더로부터 획득된 프리미티브 데이터에 대해 스케일링 동작을 수행할 수 있다.
텍스쳐 맵핑에 대한 예시적인 구현들
텍스쳐 맵핑은 컴퓨터 그래픽에서 개발된 기법이다. 기본적인 아이디어는 소스 이미지를 취하고, 그것을 CGI 시스템에서의 표면에 데칼(decal)로서 적용하여, 복잡한 기하 구조의 추가를 필요로 하지 않고도 세부 사항이 장면 내에 렌더링될 수 있게 한다. 텍스쳐 맵핑은 현실적인 조명의 생성 및 CGI 시스템에서의 표면 효과들을 위한 기법들을 포함할 수 있고, 표면 데이터를 삼각형 메시들(triangular meshes)에 적용하는 것을 보편적으로 지칭할 수 있다.
맥스웰 홀로그래피에서, 평탄 셰이딩된 및 또한 보간된 삼각형 메시들은 공간에서의 임의의 삼각형들 사이의 분석적 관계 및 홀로그래픽 디바이스 상의 위상 맵(phase map)을 이용하여 진짜 3D로 렌더링될 수 있다. 그러나, 최신의 렌더링 엔진들과 호환가능하기 위해, 이러한 삼각형들의 표면 상에 정보를 맵핑하는 능력이 수반된다. 이는, 방법의 속도가 데이터-구동 진폭 변화들을 허용하지 않는 분석적 맵핑의 존재로부터 도출된다는 점에서, 실제 문제를 제공할 수 있다.
DCT(Discrete Cosine Transform)는 이미지 압축 기법이고, FFT(fast Fourier transform)의 실수 값 버전(real-valued version)으로서 간주될 수 있다. DCT는 주어진 이미지에서 코사인 고조파들(cosine harmonics)에 가중치들을 할당하는 인코드-디코드 프로세스(encode-decode process)에 의존한다. 인코드의 결과는 원래의 이미지에서의 픽셀들의 수와 수적으로 동일한 가중치들의 세트이고, 모든 가중치가 이미지를 재구성하는데 이용된다면, 정보에서의 손실이 없을 것이다. 그러나, 많은 이미지들에서, 수용가능한 재구성들이 가중치들의 작은 서브세트로부터 만들어질 수 있어서, 큰 압축비들을 가능하게 한다.
2차원에서의 DCT의 디코드(렌더) 프로세스는 모든 DCT 가중치 및 모든 목적지 픽셀에 걸친 가중된 이중 합(weighted double sum)을 수반한다. 이것은 텍스쳐 맵핑을 위한 맥스웰 홀로그래피에 적용될 수 있다. 맥스웰 홀로그래피에서, 삼각형 렌더링은 해당 삼각형에 대한 임의의 개별적인 파셀의 위상 기여를 결정하기 위해, 위상 공간에서, "스파이크된(spiked)" 이중 적분을 수반한다. 적분은 DCT 재구성에서의 하나를 미러링하는 이중 합으로 폴딩될 수 있고, 그 후 DCT 가중치들에 관하여 분석적 삼각형 표현을 재도출할 수 있다. 맥스웰 홀로그래픽 계산들에서의 DCT 기법의 이러한 구현은 풀(full), 텍스쳐 맵핑된 삼각형들을 그리는(draw) 것, 렌더링된 텍스쳐 삼각형들에 대한 데이터에 이미지 압축을 이용하는 것, 및 DCT/JPEG를 이용하여 텍스쳐 및 이미지 데이터를 자동으로 압축하는 기존의 툴세트들을 이용하는 것을 가능하게 한다.
일부 구현들에서, 맥스웰 홀로그래픽 텍스쳐 삼각형을 그리기 위해, 명시된 표면 상의 맵핑을 위해 요구되는 공간 해상도가 먼저 계산된다. 이어서, 해상도를 갖는 텍스쳐가 공급되고, 그것을 삼각형 상에 올바르게 배향시키기 위해 각도 및 원점 정보로 압축된 DCT가 획득된다. 그 후, 삼각형 코너들 및 DCT 가중치들의 리스트가 인덱스 프리미티브 리스트에 포함되고, 맥스웰 홀로그래픽 제어기에 전송된다. DCT 가중치들은 각각의 디스플레이 요소에 대한 삼각형 프리미티브의 EM 기여들에 포함될 수 있다. 텍스쳐 삼각형은 평평한 삼각형보다 n배 더 느릴 수 있고, 여기서 n은 프리미티브와 함께 전송되는 (0이 아닌) DCT 가중치들의 수이다. "프래그먼트 셰이딩"에 대한 최신의 기법들은, DCT 인코드의 단계가 전통적인 투영 렌더링을 위한 필터 단계를 대체하는, 맥스웰 홀로그래픽 시스템에서 구현될 수 있다.
예로서, 다음의 표현은 이미지에 대한 DCT 가중치들 Bpq를 나타낸다:
Figure 112020074135264-pct00008
여기서,
Figure 112020074135264-pct00009
이고, M 및 N은 직사각형 이미지의 코너들이고, (p, q)는 DCT 항이다.
디코딩에 의해, 진폭 값 Amn은 다음과 같이 획득될 수 있다:
Figure 112020074135264-pct00010
여기서,
Figure 112020074135264-pct00011
이다.
디스플레이 요소(예를 들어, 파셀)에 대한 텍스쳐 삼각형 프리미티브의 EM 기여를 계산하는 경우, 대응하는 DCT 가중치 A* mn을 갖는 DCT 항은 다음과 같이 계산에 포함될 수 있다:
Figure 112020074135264-pct00012
여기서, X, Y는 좌표계에서의 삼각형의 코너들이고, T는 디스플레이 요소에 대한 삼각형 프리미티브의 EM 기여에 대응하고,
Figure 112020074135264-pct00013
는 DCT에서 0이 아닌 항 Bpq에 대한 부분적 기여이다. (p, q) DCT 항들의 수는 재구성 및 정보 압축에서의 정보 손실 둘다를 고려함으로써 선택될 수 있다.
예시적인 프로세스
도 4는 물체를 3D로 디스플레이하는 예시적인 프로세스(400)의 흐름도이다. 프로세스(400)는 디스플레이를 위해 제어기에 의해 수행될 수 있다. 제어기는 도 1a의 제어기(112) 또는 도 1b의 제어기(152)일 수 있다. 디스플레이는 도 1a의 디스플레이(114) 또는 도 1b의 디스플레이(156)일 수 있다.
3D 공간에서의 물체에 대응하는 프리미티브들에 대한 각자의 프리미티브 데이터를 포함하는 데이터가 획득된다(402). 데이터는 컴퓨팅 디바이스, 예를 들어, 도 1a의 컴퓨팅 디바이스(102)로부터 획득될 수 있다. 컴퓨팅 디바이스는 물체에 대응하는 프리미티브들을 생성하기 위해 장면을 처리할 수 있다. 컴퓨팅 디바이스는 프리미티브들에 대한 프리미티브 데이터를 생성하기 위한 렌더러를 포함할 수 있다. 일부 구현들에서, 제어기는, 예를 들어, 장면을 렌더링함으로써 데이터 자체를 생성한다.
프리미티브들은 포인트 프리미티브, 라인 프리미티브, 또는 다각형 프리미티브 중 적어도 하나를 포함할 수 있다. 프리미티브들의 리스트는 특정 순서로 인덱싱되고, 예를 들어, 그에 의해 물체가 재구성될 수 있다. 프리미티브 데이터는 텍스쳐 컬러 또는 그래디언트 컬러 중 적어도 하나를 갖는 컬러 정보를 포함할 수 있다. 예를 들어, 라인 프리미티브는 그래디언트 컬러 또는 텍스쳐 컬러 중 적어도 하나를 가질 수 있다. 다각형 프리미티브는 또한 그래디언트 컬러 또는 텍스쳐 컬러 중 적어도 하나를 가질 수 있다. 프리미티브 데이터는 프리미티브(예를 들어, 삼각형)의 하나 이상의 표면 상에 프리미티브의 텍스쳐 정보 및/또는 셰이딩 정보를 또한 포함할 수 있다. 셰이딩 정보는 프리미티브의 하나 이상의 표면 상에 컬러 또는 휘도 중 적어도 하나에 대한 변조를 포함할 수 있다. 프리미티브 데이터는 또한 3D 좌표계에서의 프리미티브의 각자의 좌표 정보를 포함할 수 있다.
디스플레이는 다수의 디스플레이 요소들을 포함할 수 있고, 제어기는 다수의 컴퓨팅 유닛들을 포함할 수 있다. 3D 좌표계에서의 디스플레이 요소들 각각의 각자의 좌표 정보는, 3D 좌표계에서의 프리미티브들의 리스트의 각자의 좌표 정보에 기초하여 결정될 수 있다. 예를 들어, 디스플레이와 프리미티브들에 대응하는 물체 사이의 거리가 미리 결정될 수 있다. 미리 결정된 거리 및 프리미티브들의 좌표 정보에 기초하여, 디스플레이 요소들의 좌표 정보가 결정될 수 있다. 디스플레이 요소들 각각의 각자의 좌표 정보는, 메모리에 저장된 요소에 대한 논리적 메모리 주소에 대응할 수 있다. 그러한 방식으로, 제어기가, 제어기의 논리적 메모리 공간에서의 디스플레이 요소에 대한 논리적 메모리 주소에서 루프할 때, 공간에서의 디스플레이 요소에 대한 대응하는 실제 물리적 위치가 식별될 수 있다.
프리미티브들 각각으로부터 디스플레이 요소들 각각으로의 EM 필드 기여는 3D 좌표계에서의 프리미티브로부터 요소로의 EM 필드 전파를 계산함으로써 결정된다(404). EM 필드 기여는 위상 기여 또는 진폭 기여 중 적어도 하나를 포함할 수 있다.
도 3a 내지 도 3c에 대해 위에서 예시된 바와 같이, 프리미티브와 디스플레이 요소 사이의 적어도 하나의 거리는 디스플레이 요소의 각자의 좌표 정보 및 프리미티브의 각자의 좌표 정보에 기초하여 결정될 수 있다. 일부 경우들에서, 각각의 프리미티브에 대해, 적어도 하나의 거리가 단지 한 번 계산되거나 컴퓨팅될 수 있다. 예를 들어, 제어기는 제1 프리미티브의 각자의 좌표 정보 및 제1 요소의 각자의 좌표 정보에 기초하여, 프리미티브들 중 제1 프리미티브와 디스플레이 요소들 중 제1 요소 사이의 제1 거리를 결정하고, 제1 거리 및 제1 요소와 제2 요소 사이의 거리에 기초하여 제1 프리미티브와 요소들 중 제2 요소 사이의 제2 거리를 결정할 수 있다. 제1 요소와 제2 요소 사이의 거리는 디스플레이의 복수의 요소들의 피치에 기초하여 미리 결정될 수 있다.
제어기는 프리미티브에 대한 미리 결정된 표현 및 적어도 하나의 거리에 기초하여, 프리미티브로부터 디스플레이 요소에 대한 EM 필드 기여를 결정할 수 있다. 일부 경우들에서, 도 3a 내지 도 3c에 대해 위에서 예시된 바와 같이, 미리 결정된 표현은 프리미티브로부터 요소로의 EM 필드 전파를 분석적으로 계산함으로써 결정될 수 있다. 일부 경우들에서, 미리 결정된 표현은 맥스웰 방정식들을 푸는 것에 의해 결정된다. 특히, 맥스웰 방정식들은 디스플레이의 표면에 정의된 경계 조건을 제공함으로써 풀 수 있다. 경계 조건은 디리클레 경계 조건 또는 코시 경계 조건을 포함할 수 있다. 프리미티브들 및 디스플레이 요소들은 3D 공간에 있고, 디스플레이의 표면은 3D 공간의 경계 표면의 일부를 형성한다. 미리 결정된 표현은 사인 함수, 코사인 함수, 및 지수 함수를 포함하는 함수들 중 적어도 하나를 포함할 수 있다. 컴퓨팅 동안, 제어기는 메모리에 저장된 테이블에서의 함수들 중 적어도 하나의 값을 식별할 수 있고, 이는 컴퓨팅 속도를 개선할 수 있다. 제어기는 제2 프리미티브로부터 디스플레이 요소로의 제2 EM 필드 기여를 결정하는 것과 병렬로, 제1 프리미티브로부터 디스플레이 요소로의 제1 EM 필드 기여를 결정함으로써, 프리미티브들 각각에 대한 디스플레이 요소들 각각에 대한 EM 필드 기여를 결정할 수 있다.
디스플레이 요소들 각각에 대해, 프리미티브들의 리스트로부터 디스플레이 요소로의 EM 필드 기여들의 합이 생성된다(406).
일부 구현들에서, 제어기는 프리미티브들로부터 제1 디스플레이 요소로의 제1 EM 필드 기여들을 결정하고, 제1 요소에 대한 제1 EM 필드 기여들을 합산하고, 프리미티브들로부터 제2 디스플레이 요소로의 제2 EM 필드 기여들을 결정하고, 제2 디스플레이 요소에 대한 제2 EM 필드 기여들을 합산한다. 제어기는 다수의 컴퓨팅 유닛들을 포함할 수 있다. 제어기는 제2 컴퓨팅 유닛에 의해 제2 프리미티브로부터 제1 요소로의 EM 필드 기여를 결정하는 것과 병렬로, 제1 컴퓨팅 유닛에 의해 제1 프리미티브로부터 제1 요소로의 EM 필드 기여를 결정할 수 있다.
일부 구현들에서, 제어기는 제1 프리미티브로부터 디스플레이 요소들 각각으로의 제1 각자의 EM 필드 기여들을 결정하고, 제2 프리미티브로부터 디스플레이 요소들 각각으로의 제2 각자의 EM 필드 기여들을 결정한다. 그 후, 제어기는 디스플레이 요소에 대한 제2 각자의 EM 필드 기여를 제1 각자의 EM 필드 기여에 가산함으로써, 디스플레이 요소에 대한 EM 필드 기여들을 누적한다. 특히, 제어기는 제2 컴퓨팅 유닛을 이용하여 제2 프리미티브로부터 디스플레이 요소들 각각으로의 제2 각자의 EM 필드 기여들을 결정하는 것과 병렬로, 제1 컴퓨팅 유닛을 이용하여 제1 프리미티브로부터 디스플레이 요소들 각각으로의 제1 각자의 EM 필드 기여들을 결정할 수 있다.
제1 제어 신호가 디스플레이에 송신되고, 제1 제어 신호는 디스플레이 요소에 대한 필드 분포들의 합에 기초하여 각각의 디스플레이 요소의 적어도 하나의 특성을 변조하기 위한 것이다(408). 요소의 적어도 하나의 특성은 굴절률, 진폭 인덱스, 복굴절, 또는 지연 중 적어도 하나를 포함한다.
제어기는, 디스플레이 요소들 각각에 대해, 프리미티브들로부터 요소로의 EM 필드 기여들의 합에 기초하여 각자의 제어 신호를 생성할 수 있다. 각자의 제어 신호는 프리미티브들로부터 요소로의 EM 필드 기여들의 합에 기초하여 요소의 적어도 하나의 특성을 변조하기 위한 것이다. 즉, 제1 제어 신호는 디스플레이 요소들에 대한 각자의 제어 신호들을 포함한다.
일부 예들에서, 디스플레이는 전기 신호들에 의해 제어된다. 그 다음, 각자의 제어 신호는 전기 신호일 수 있다. 예를 들어, LCOS 디스플레이는 그 전압이 요소 강도들로서 개별적으로 제어되는 작은 전극들의 어레이를 포함한다. LCOS 디스플레이는 그것의 굴절률을 변경하는 복굴절형 액정(LC) 배합물(formulation)로 채워질 수 있다. 따라서, 제어기로부터의 각자의 제어 신호들은 디스플레이 요소들에 걸친 상대적인 굴절률을 제어할 수 있고, 그에 따라 디스플레이를 통과하는 광의 상대적인 위상을 제어할 수 있다.
전술한 바와 같이, 디스플레이 표면은 경계 표면의 일부를 형성한다. 제어기는 필드 기여들의 스케일링된 합을 획득하기 위해 요소들 각각에 대한 필드 기여들의 합에 스케일 계수를 승산하고, 요소에 대한 필드 기여들의 스케일링된 합에 기초하여 각자의 제어 신호를 생성할 수 있다. 일부 경우들에서, 제어기는, 예를 들어, 모든 요소들 중에서의 요소들 각각에 대한 필드 기여들의 합을 정규화하고, 요소에 대한 필드 기여들의 정규화된 합에 기초하여 각자의 제어 신호를 생성할 수 있다.
제2 제어 신호가 조명기에 송신되고, 제2 제어 신호는 변조된 디스플레이 상에 광을 조명하도록 조명기를 턴 온하기 위한 것이다(410). 제어기는 디스플레이 요소들 각각에 대한 필드 기여들의 합을 획득하는 것의 완료를 결정하는 것에 응답하여 제2 제어 신호를 생성 및 송신할 수 있다. 시간 대칭(또는 에너지의 보존)으로 인해, 디스플레이의 변조된 요소들은 광이 상이한 방향들로 전파되게 하여 3D 공간에서의 물체에 대응하는 볼륨메트릭 광 필드를 형성하게 할 수 있다. 볼륨메트릭 광 필드는 디스플레이의 변조된 요소들에 의해 정의되는 경계 조건을 갖는 맥스웰 방정식들의 해에 대응할 수 있다.
일부 구현들에서, 조명기는 조명기에서의 하나 이상의 발광 요소의 진폭 또는 휘도를 제어하도록 구성된 메모리 버퍼를 통해 제어기에 결합된다. 조명기를 위한 메모리 버퍼는 디스플레이를 위한 메모리 버퍼보다 작은 크기를 가질 수 있다. 조명기에서의 발광 요소들의 수는 디스플레이의 요소들의 수보다 작을 수 있다. 제어기는 조명기의 하나 이상의 발광 요소를 동시에 활성화하도록 구성될 수 있다.
일부 예들에서, 조명기는 각각이 상이한 컬러를 갖는 광을 방출하도록 구성된 2개 이상의 발광 요소들을 포함한다. 제어기는 제1 시간 기간 동안 제1 컬러와 연관된 정보로 디스플레이를 순차적으로 변조하고, 제2의 순차적 시간 기간 동안 제2 컬러와 연관된 정보로 디스플레이를 변조하고, 조명기를 제어하여, 제1 시간 기간 동안 제1 컬러를 갖는 광을 방출하도록 제1 발광 요소를, 그리고 제2 시간 기간 동안 제2 컬러를 갖는 광을 방출하도록 제2 발광 요소를 순차적으로 턴 온하도록 구성될 수 있다. 그러한 방식으로, 멀티 컬러 물체가 3D 공간에 디스플레이될 수 있다.
일부 예들에서, 디스플레이는 광을 회절시키기에 충분히 작은 해상도를 갖는다. 조명기는 백색 광을 상이한 컬러들을 갖는 광으로 회절시킬 수 있는 디스플레이 상에 백색 광을 방출함으로써 멀티 컬러 물체를 디스플레이할 수 있다.
예시적인 시스템들
도 5a 내지 도 5f는 3D 디스플레이들을 위한 예시적인 시스템들의 구현들을 도시한다. 시스템들 중 임의의 하나는, 예를 들어, 도 1a의 시스템(100)에 대응할 수 있다.
도 5a는 반사형 디스플레이를 갖는 시스템(500)을 도시한다. 시스템(500)은 컴퓨터(502), 제어기(510)(예를 들어, ASIC), 디스플레이(512)(예를 들어, LCOS 디바이스), 및 조명기(514)를 포함한다. 컴퓨터(502)는 도 1a의 컴퓨팅 디바이스(102)일 수 있고, 제어기(510)는 도 1a의 제어기(112)일 수 있고, 디스플레이(512)는 도 1a의 디스플레이(114)일 수 있고, 조명기(514)는 도 1a의 조명기(116)일 수 있다.
도 5a에 도시된 바와 같이, 컴퓨터(502)는 물체의 장면을 렌더링하기 위한 렌더러(503)를 갖는 애플리케이션(504)을 포함한다. 렌더링된 장면 데이터는 비디오 드라이버(505) 및 GPU(506)에 의해 순차적으로 처리된다. GPU(506)는 도 1a의 GPU(108)일 수 있고, 각자의 프리미티브 데이터 및 장면에 대응하는 프리미티브들의 리스트를 생성하도록 구성된다. 예를 들어, 비디오 드라이버(505)는 렌더링된 장면 데이터를 처리하여, 프리미티브들의 리스트를 생성하도록 구성될 수 있다. 전술한 바와 같이, GPU(506)는 2D 디스플레이 스크린(508) 상에 그리기 위한 항목들의 리스트로 프리미티브들을 렌더링하기 위해, 종래의 2D 렌더러, 예를 들어, 도 1a의 종래의 2D 렌더러(120)를 포함할 수 있다. GPU(506) 또는 제어기(510)는 프리미티브들의 리스트를 디스플레이(512)에 의해 디스플레이될 그래픽 데이터로 렌더링하기 위해, 홀로그래픽 렌더러, 예를 들어, 도 1a의 홀로그래픽 렌더러(130)를 포함할 수 있다.
제어기(510)는 컴퓨터(502)로부터 그래픽 데이터를 수신하고, 프리미티브들의 리스트로부터 디스플레이(512)의 요소들 각각으로의 EM 필드 기여들을 계산하고, 프리미티브들로부터 요소들 각각으로의 EM 필드 기여들의 각자의 합을 생성하도록 구성된다. 제어기(510)는 디스플레이 요소의 적어도 하나의 특성을 변조하기 위해 디스플레이 요소들 각각에 대한 각자의 제어 신호들을 생성할 수 있다. 제어기는 디스플레이(512)를 위한 메모리 버퍼(511)를 통해 각각의 제어 신호들을 디스플레이(512)의 디스플레이 요소들에 송신할 수 있다.
제어기(510)는 또한 조명기(514)를 활성화시키기 위해 제어 신호, 예를 들어, 조명 타이밍 신호를 생성 및 송신할 수 있다. 예를 들어, 제어기(510)는 프리미티브들로부터 디스플레이 요소들로의 EM 필드 기여들의 합들의 컴퓨팅들이 완료되었다고 결정하는 것에 응답하여 제어 신호를 생성 및 송신할 수 있다. 전술한 바와 같이, 제어기(510)는 제어 신호를 메모리 버퍼를 통해 조명기(514)에 송신할 수 있다. 메모리 버퍼는 조명기(514)에서의 발광 요소들의 진폭 또는 휘도를 제어하고, 발광 요소들을 동시에 활성화하도록 구성될 수 있다.
도 5a에 도시된 바와 같이, 조명기(514)는 0도와 90도 사이의 범위 내의 입사각으로 디스플레이(512)의 전방 표면에 입사하는 시준된 광 빔(516)을 방출할 수 있다. 방출된 광 빔은 디스플레이(512)의 전방 표면으로부터 반사되어, 뷰어가 볼 수 있는 물체에 대응하는 홀로그래픽 광 필드(518)를 형성한다.
도 5b는 다른 반사형 디스플레이(524)를 갖는 다른 시스템(520)을 도시한다. 도 5a의 시스템(500)과 비교하여, 시스템(520)은 더 큰 반사형 디스플레이(524)를 갖는다. 이를 수용하기 위해, 디스플레이 제어기(522)는 조명기(526)에 대한 지지(support)일 수 있는 웨지 하우징(wedge housing)에 포함된다. 제어기(522)는 도 5a의 제어기(510)와 유사하고, 컴퓨터(521)로부터 그래픽 데이터를 수신하고, 프리미티브들로부터 디스플레이(524)의 디스플레이 요소들 각각으로의 EM 필드 기여들을 컴퓨팅하고, 프리미티브들로부터 디스플레이 요소들 각각으로의 EM 필드 기여들의 각자의 합을 생성하도록 구성될 수 있다. 그 다음, 제어기(522)는 디스플레이 요소의 적어도 하나의 특성을 변조하기 위해 디스플레이 요소들 각각에 대한 각자의 제어 신호들을 생성하고, 디스플레이(524)를 위한 메모리 버퍼(523)를 통해 디스플레이(524)의 디스플레이 요소들에 각자의 제어 신호들을 송신한다.
제어기(522)는 또한 제어 신호를 조명기(526)에 송신하여 조명기(526)를 활성화한다. 조명기(526)는 디스플레이(524)의 전체 표면을 커버하기 위해 발산 또는 반-시준된 광 빔(527)을 방출한다. 광 빔(524)은 변조된 디스플레이(524)에 의해 반사되어 홀로그래픽 광 필드(528)를 형성한다.
도 5c는 투과형 디스플레이(534)를 갖는 시스템(530)을 도시한다. 투과형 디스플레이(534)는, 예를 들어, 대규모 디스플레이일 수 있다. 시스템(530)은 도 5a의 제어기(510)와 유사할 수 있는 제어기(532)를 포함한다. 제어기(532)는 컴퓨터(531)로부터 그래픽 데이터를 수신하고, 프리미티브들로부터 디스플레이(534)의 디스플레이 요소들 각각으로의 EM 필드 기여들을 컴퓨팅하고, 프리미티브들로부터 디스플레이 요소들 각각으로의 EM 필드 기여들의 각자의 합을 생성하도록 구성될 수 있다. 그 다음, 제어기(532)는 디스플레이 요소의 적어도 하나의 특성을 변조하기 위해 디스플레이 요소들 각각에 대한 각자의 제어 신호들을 생성하고, 디스플레이(534)를 위한 메모리 버퍼(533)를 통해 디스플레이(534)의 디스플레이 요소들에 각자의 제어 신호들을 송신한다.
제어기(532)는 또한 제어 신호를 조명기(536)에 송신하여 조명기(536)를 활성화한다. 도 5a의 시스템(500) 및 도 5b의 시스템(520)과 상이하게, 시스템(530)에서의 조명기(536)는 디스플레이(534)의 후방 표면 뒤에 위치된다. 디스플레이(534)의 큰 표면을 커버하기 위해, 조명기(536)는 디스플레이(534)의 후방 표면 상에 발산 또는 반-시준된 광 빔(535)을 방출한다. 광 빔(524)은 변조된 디스플레이(534)를 통해 투과되어 홀로그래픽 광 필드(538)를 형성한다.
도 5d는 투과형 디스플레이(544)를 갖는 다른 시스템(540)을 도시한다. 시스템(540)은 또한 제어기(542) 및 조명기(546)를 포함한다. 제어기(542)는 도 5a의 제어기(510)와 유사할 수 있고, 컴퓨터(541)로부터 그래픽 데이터를 수신하고, 그래픽 데이터에 대한 컴퓨팅을 수행하고, 디스플레이(544)에 대한 변조를 위한 제어 신호들 및 조명기(546)를 활성화하기 위한 타이밍 신호를 생성 및 송신하도록 구성될 수 있다.
조명기(546)는 광원(545) 및 도파관(547)을 포함할 수 있다. 광원(545)으로부터 방출된 광은 도파관(547)에, 예를 들어, 도파관의 측단면으로부터 결합될 수 있다. 도파관(547)은 광을 안내하여 디스플레이(544)의 표면을 균일하게 조명하도록 구성된다. 도파관(547)에 의해 안내되는 광은 디스플레이(544)의 후방 표면에 입사하고, 디스플레이(544)를 통해 투과되어, 홀로그래픽 광 필드(548)를 형성한다.
도 5a의 시스템(500), 도 5b의 시스템(520), 도 5c의 시스템(530)과는 상이하게, 시스템(540)에서, 제어기(542), 디스플레이(544), 및 도파관(547)은 단일 유닛(550) 내로 함께 통합된다. 일부 경우들에서, 도파관(547) 및 광원(545)은 능동 도파관 조명기로서 평면 형태로 통합될 수 있고, 이는 단일 유닛(550)의 통합 정도를 더 증가시킬 수 있다. 위에서 논의된 바와 같이, 단일 유닛(500)은 더 큰 홀로그래픽 디스플레이 디바이스를 형성하기 위해 다른 유사한 유닛들(550)과 접속될 수 있다.
도 5e는 다른 투과형 디스플레이(564)를 갖는 다른 시스템(560)을 도시한다. 시스템(540)과 비교하여, 투과형 디스플레이(564)는 투과형 디스플레이(544)보다 큰 디스플레이를 잠재적으로 구현할 수 있다. 예를 들어, 투과형 디스플레이(564)는 제어기(562)보다 큰 영역을 가질 수 있고, 이를 수용하기 위해, 제어기(562)는 디스플레이(564)로부터 떨어져 위치될 수 있다. 시스템(560)은 광원(565) 및 도파관(567)을 갖는 조명기(566)를 포함한다. 도파관(567)은 디스플레이(564)와 함께, 예를 들어, 디스플레이(564)의 후방 표면에 통합된다. 일부 구현들에서, 디스플레이(564)는 기판의 전면 상에서 제조되고, 도파관(567)은 기판의 후면 상에서 제조될 수 있다.
제어기(562)는 도 1a의 제어기(510)와 유사할 수 있고, 컴퓨터(561)로부터 그래픽 데이터를 수신하고, 그래픽 데이터에 대한 컴퓨팅을 수행하고, 메모리 버퍼(563)를 통해 디스플레이(564)에 변조를 위한 제어 신호들 및 광원(565)을 활성화하기 위한 타이밍 신호를 생성 및 송신하도록 구성된다. 광원(565)으로부터 방출된 광은 도파관(567)에서 안내되어 디스플레이(564)의 후방 표면 상에 조명되고, 디스플레이(564)를 통해 투과되어 홀로그래픽 광 필드(568)를 형성한다.
도 5f는 반사형 디스플레이(574)를 갖는 다른 시스템(570)을 도시한다. 반사형 디스플레이(574)는, 예를 들어, 대형 디스플레이일 수 있다. 조명기(576)의 도파관(577)은 반사형 디스플레이(574)의 전방 표면 상에 위치된다. 도 5e의 제어기(562)와 유사한 제어기(572)는 컴퓨터(571)로부터 그래픽 데이터를 수신하고, 그래픽 데이터에 대한 컴퓨팅을 수행하고, 메모리 버퍼(573)를 통해 디스플레이(574)에 대한 변조를 위한 제어 신호들 및 조명기(576)의 광원(575)을 활성화하기 위한 타이밍 신호를 생성 및 송신하도록 구성될 수 있다. 조명기(576)의 광원(575)으로부터 결합된 광은 디스플레이(574)의 전방 표면에 입사하고 전방 표면에 의해 반사되어 홀로그래픽 광 필드(578)를 형성하도록 안내된다.
예시적인 디스플레이 구현들
전술한 바와 같이, 맥스웰 홀로그래피에서의 디스플레이는 위상 변조 디바이스일 수 있다. 디스플레이(또는 디스플레이 요소)의 위상 요소는 파셀로서 표현될 수 있다. 단지 예시를 위해, 위상 변조 디바이스로서 기능하기 위한 LCOS 디바이스가 이하에서 논의된다. LCOS 디바이스는 실리콘 백플레인의 최상부 상의 액정(LC) 층을 이용하는 디스플레이이다. LCOS 디바이스는 최소의 가능한 파셀 피치, 파셀들 사이의 최소 누화, 및/또는 큰 이용가능한 위상 변조 또는 지연(예를 들어, 적어도 2π)을 달성하도록 최적화될 수 있다.
파라미터들의 리스트는 LC 혼합물의 복굴절(Δn), 셀 갭(d), LC 혼합물의 유전체 이방성(Δε), LC 혼합물의 회전 점도(η), 실리콘 백플레인과 LC 층의 최상부 상의 공통 전극 사이의 최대 인가 전압(V)을 포함하는 LCOS 디바이스의 성능을 최적화하도록 제어될 수 있다.
액정 재료의 파라미터들 사이에 존재하는 기본적인 균형이 있을 수 있다. 예를 들어, 기본 경계 파라미터(bounding parameter)는 이용가능한 위상 변조 또는 지연(Re)이며, 이는 다음과 같이 표현될 수 있다:
Figure 112020074135264-pct00014
여기서, λ는 입력 광의 파장이다. 지연 Re가 약 0.633㎛ 의 파장을 갖는 적색 광에 대해 적어도 2π일 필요가 있다면,
Figure 112020074135264-pct00015
상기의 표현은 LC 혼합물의 복굴절(Δn)과 셀 갭(d) 사이에 직접 균형이 있다는 것을 암시한다.
다른 경계 파라미터는 스위칭 속도, 또는 액정(LC) 층에서의 LC 분자들이, 전압 인가 후에 원하는 배향에 도달하는데 걸리는 스위칭 시간(T)이다. 예를 들어, 3-컬러 필드 순차 컬러 시스템을 이용하는 실시간 비디오(~ 60Hz)에 대해, LC 층의 최소 180Hz 변조가 수반되는데, 이는 5.6 밀리초(ms)의 LC 스위칭 속도에 상한을 둔다. 스위칭 시간(T)은 액정, 셀 갭, 및 인가 전압을 포함하는 다수의 파라미터들과 관련된다. 먼저, T는 d2에 비례한다. 셀 갭 d가 감소함에 따라, 스위칭 시간은 제곱으로서 감소한다. 둘째, 스위칭 시간은 또한 액정(LC) 혼합물의 유전체 이방성(Δε)과 관련되고, 더 높은 유전체 이방성은 더 짧은 스위칭 시간을 초래하고, 더 낮은 점도도 또한 더 짧은 스위칭 시간을 초래한다.
제3 경계 파라미터는 프린징 필드(fringing field)일 수 있다. 결정질 실리콘의 높은 전자 이동도로 인해, LCOS 디바이스는 매우 작은 파셀 크기(예를 들어, 10㎛ 미만) 및 서브마이크론 인터-파셀 갭(inter-phasel gap)으로 제조될 수 있다. 인접한 파셀들이 상이한 전압들에서 동작될 때, 파셀 에지들 근처의 LC 디렉터들(directors)은 프린징 필드의 측방향 컴포넌트에 의해 왜곡되며, 이는 디바이스의 전기 광학 성능을 크게 저하시킨다. 또한, 파셀 갭이 입사 광 파장과 비슷해지므로, 회절 효과로 인해 심각한 광 손실을 야기할 수 있다. 파셀 갭은 잡음을 수용가능한 레벨 내로 유지하기 위해 파셀 피치 이하로 유지될 필요가 있다.
일부 예들에서, LCOS 디바이스는 프린지 필드 경계 조건이 관찰되는 경우에도 2㎛의 파셀 피치 및 대략 2㎛의 셀 갭을 갖도록 설계된다. 상기의 표현 Δn·d ≥ 0.317μm에 따르면, Δn은 0.1585 이상일 필요가 있고, 이는 현재의 액정 기술을 이용하여 달성가능하다. 주어진 파셀 피치에 대한 최소 복굴절이 결정되면, LC는, 예를 들어, 유전체 이방성을 증가시키고/시키거나 회전 점도를 감소시킴으로써, 스위칭 속도에 대해 최적화될 수 있다.
디스플레이들을 위한 불균일한 파셀 구현들
LCOS 디바이스에서, 회로 칩, 예를 들어, 상보형 금속-산화물-반도체(complementary metal-oxide-semiconductor)(CMOS) 칩 또는 등가물은, 각각이 하나의 파셀을 제어하는, 칩 표면 아래에 매립된 반사성 금속 전극들 상의 전압을 제어한다. 모든 파셀들에 대한 공통 전극은 커버 유리 상의 인듐 주석 산화물로 만들어진 투명 도전층에 의해 공급된다. 파셀들은 동일한 크기들 및 동일한 형상(예를 들어, 정사각형)을 가질 수 있다. 예를 들어, 칩은 각각 독립적으로 어드레싱가능한 전압을 갖는 1024x768 플레이트들을 가질 수 있다. 전술한 바와 같이, 파셀 갭이 입사 광 파장과 비슷해질 때, 회절 효과가 LCOS 디바이스의 주기적 구조에 나타날 수 있고, 이는 심각한 광 손실을 야기할 수 있다.
맥스웰 홀로그래픽 계산들에서, 각각의 파셀은 각각의 프리미티브로부터의 EM 기여들의 합을 수신하고, 서로로부터 비교적 독립적이다. 따라서, 맥스웰 홀로그래피에서의 LCOS 디바이스의 파셀들은 서로 상이하도록 설계될 수 있다. 예를 들어, 도 6a에 도시된 바와 같이, LCOS 디바이스(600)는 다수의 불균일한(또는 불규칙한) 파셀들(602)로 이루어질 수 있다. 적어도 2개의 파셀들(602)이 상이한 형상들을 갖는다. 파셀들(602)의 불균일한 형상들은 다른 효과들 중에서도 회절 수차들을 크게 감소시키거나 제거할 수 있어서, 이미지 품질을 개선시킬 수 있다. 비록 파셀들이 불균일한 형상들을 가질 수 있지만, 원하는 공간 해상도를 만족시키는 크기 분포(예를 들어, 약 3㎛)를 갖도록 설계될 수 있다. 실리콘 백플레인은 파셀의 형상에 따라 파셀들 각각에 대한 (예를 들어, 금속 전극을 포함하는) 각자의 회로를 제공하도록 구성될 수 있다.
LCOS 디바이스에서의 파셀들의 어레이에서, 특정 파셀을 선택하기 위해, 특정 파셀을 포함하는 파셀들의 행(row)을 접속하는 워드 라인에 제1 전압이 인가되고, 특정 파셀을 포함하는 파셀들의 열(column)을 접속하는 비트 라인에 제2 전압이 인가된다. 각각의 파셀은 저항을 가지므로, LCOS 디바이스의 동작 속도가 제한될 수 있다.
전술한 바와 같이, 맥스웰 홀로그래피에서, 파셀들은 상이한 크기들을 가질 수 있다. 도 6b에 도시된 바와 같이, LCOS 디바이스(650)는 다른 파셀들(652)보다 큰 크기를 갖는 하나 이상의 파셀(654)을 갖도록 설계된다. 모든 파셀들은 여전히, 원하는 해상도를 만족시키는 크기 분포를 가질 수 있다. 예를 들어, 파셀들의 99%는 3㎛의 크기를 갖고, 파셀들의 1%만이 6㎛의 크기를 갖는다. 파셀(654)의 더 큰 크기는 파셀(652)에서와 동일한 다른 회로 이외에 파셀(654)에서 적어도 하나의 버퍼(660)를 배열하는 것을 허용한다. 버퍼(660)는 인가된 전압을 버퍼링하여, 전압이 파셀들의 행 또는 열 내의 더 작은 수의 파셀들에만 인가되게 하도록 구성된다. 버퍼(660)는, 예를 들어, 트랜지스터로 만들어진 아날로그 회로, 또는 예를 들어, 다수의 논리 게이트들로 만들어진 디지털 회로, 또는 이들의 임의의 조합일 수 있다.
예를 들어, 도 6b에 도시된 바와 같이, 특정한 파셀(652*)을 선택하기 위해 워드 라인(651)에 전압이 인가되고, 비트 라인(653)에 다른 전압이 인가된다. 파셀(652*)은 버퍼(660)를 포함하는 더 큰 파셀(654)과 동일한 행에 있다. 전압은 주로 행에서의 그리고 더 큰 파셀(654) 전의 제1 수의 파셀들에 인가되고, 더 큰 파셀(654)에서의 버퍼(660)에 의해 가로막힌다. 그러한 방식으로, LCOS 디바이스(650)의 동작 속도가 개선될 수 있다. 더 큰 크기의 파셀들(654)과 함께, LCOS 디바이스(650)의 성능을 더 개선하기 위해, 다른 회로가 LCOS 디바이스(650)에 또한 배열될 수 있다. 도 6b에서의 파셀들(654) 및 파셀들(652)은 정사각형 형상을 갖지만, 다른 파셀들(652)보다 큰 크기를 갖는 하나 이상의 파셀(654)이 있는 한, 도 6a에 도시된 바와 같은 상이한 형상들을 또한 가질 수 있다.
예시적인 교정들
본 개시내용에서의 맥스웰 홀로그래피의 고유한 성질은 고품질 디스플레이들의 실제 생산 시에 상당한 경쟁적 이점을 발생시킬 수 있는 교정 기법들의 보호를 허용한다. 다수의 교정 기법들은 맥스웰 홀로그래픽 컴퓨팅 기법들과 결합되도록 구현될 수 있으며, 다음을 포함한다:
(i) 디리클레 경계 조건 변조기와 함께 및/또는 기계적 및 소프트웨어 회절 및 비-회절 교정 기법들과 함께 이미지 센서들을 이용하는 것;
(ii) 디리클레 경계 조건 변조기들과의 개별 컬러 교정들 및 정렬들을 포함하는 소프트웨어 정렬들 및 소프트웨어 교정들; 및
(iii) 맥스웰 홀로그래피와 결합될 때 제조 교정 프로세스들을 단순화하기 위한 강력하고 고유한 접근법을 생성하는, 광 검출(photo detection)이 변조기 내에 직접 구축되는 것을 허용하는 경계 조건 변조기들에 실리콘 피처들을 임베딩하는 것.
이하에서, 단지 예시를 위해, 위상 기반 디스플레이들, 예를 들어, LCOS 디스플레이들에 대해 3가지 타입의 교정들이 구현된다. 각각의 위상 요소는 파셀로서 표현될 수 있다.
위상 교정
LCOS 위상 요소(또는 파셀)에 충돌하는 광에 추가되는 위상의 양은 LCOS 파셀에 인가되는 전압에 의해 직접 알려질 수 있다. 이것은 전기장의 존재시에 회전하고, 그에 따라 그의 굴절률을 변화시키고, 그 위상을 변경하기 위해 광을 늦추는 복굴절 액정(LC)에 기인한다. 변경된 위상은 액정(LC) 및 LC가 위치하는 실리콘 디바이스의 전기적 특성들에 의존할 수 있다. LCOS로 전송된 디지털 신호들은 고품질 홀로그래픽 이미지들을 달성하기 위해 정확한 아날로그 전압들로 변환될 필요가 있다. 위상 교정은 LCOS 디바이스가, 디지털 신호가 LC에 인가되는 아날로그 신호로 적절히 변환되어 그것이 최대 양의 위상 범위를 생성하도록 보장하기 위해 수반된다. 이러한 변환은 선형 동작을 초래할 것으로 예상된다. 즉, 전압이 고정된 증분들만큼 변경됨에 따라, 위상은 또한 시작 전압 값에 관계없이 고정된 증분만큼 변경된다.
일부 경우들에서, LCOS 디바이스는 사용자가 디지털 입력 신호가 주어진 아날로그 전압 출력의 양에 대한 제어를 갖도록 사용자가 디지털-아날로그 변환기(DAC)를 변경할 수 있게 한다. 디지털 전위차계(potentiometer)가 각각의 입력 비트에 적용될 수 있다. 예를 들어, 8 입력 비트들이 존재하는 경우, 각각의 입력 비트에 대응하는 8개의 디지털 전위차계가 있을 수 있다. 디지털 전위차계들로부터의 동일한 디지털 입력들이 LCOS 디바이스의 모든 파셀들에 인가될 수 있다. "1"로 설정된 비트들은 전압을 활성화하고, "0"으로 설정된 비트들은 전압을 활성화하지 않는다. 그러한 "1" 비트들로부터의 모든 전압들은 각각의 파셀에 전송된 최종 전압을 획득하기 위해 함께 합산된다. 모든 "0" 비트들이 베이스라인 0이 아닌 전압(baseline non-zero voltage)을 초래하도록 모든 경우들에서 인가되는 DC 전압이 또한 존재할 수 있다. 따라서, LCOS 디바이스의 위상 교정은 LCOS 디바이스에 대한 디지털 전위차계들의 값들을 설정함으로써 구현될 수 있다. 예를 들어, 전술한 바와 같이, 제어기는 프리미티브들의 리스트로부터 디스플레이의 파셀들 각각으로의 EM 필드 기여들을 컴퓨팅하고, 프리미티브들로부터 파셀들 각각으로의 EM 필드 기여들의 각자의 합을 생성하고, 파셀의 위상을 변조하기 위해 파셀들 각각에 대한 각자의 제어 신호들을 생성할 수 있다. 디지털 전위차계들로부터의 동일한 디지털 입력들이 적용되어, LCOS 디바이스의 모든 파셀들에 대한 각자의 제어 신호들을 조절할 수 있고, 이것은 파셀별 기반의 위상 교정으로부터의 차이이다. 디지털 입력들은, 예를 들어, 홀로그램을 디스플레이하기 위해, LCOS 디바이스의 동작의 지속기간 동안 한 번 설정될 수 있다.
디지털 입력들에 대한 위상 교정 값들의 최적의 세트를 결정하기 위해, 유전적 알고리즘(genetic algorithm)이 적용될 수 있고, 여기서 위상 범위 또는 홀로그래픽 이미지 콘트라스트와 같은 하나의 출력 값을 초래하는 많은 입력 값들이 존재한다. 이 출력 값은 적합성(fitness)으로 알려진 하나의 숫자로 감소될 수 있다. 유전적 알고리즘은 최고 적합성을 갖는 출력을 달성할 때까지 입력 값들의 상이한 조합들을 탐색하도록 구성될 수 있다. 일부 경우들에서, 알고리즘은 가장 적합한 입력들 중 2개 이상을 취하고, 그들의 다수의 구성 값들을 함께 결합하여, 취해진 입력들의 특성들을 갖지만 취해진 입력들 각각과는 상이한 새로운 입력을 생성할 수 있다. 일부 경우들에서, 알고리즘은 이들 구성 값들 중 하나를, "돌연변이(mutation)"로서 표현되는 취해진 적합한 입력들 중 어느 하나로부터가 아닌 무언가로 변경할 수 있고, 이용가능한 적합한 입력들에 다양한 것을 추가할 수 있다. 일부 경우들에서, 최적 값들이 국부적 최대값으로 제한되지 않도록 새로운 값들을 시도하면서 양호한 결과들을 갖는 이전의 측정들로부터 얻어진 지식을 이용함으로써 하나 이상의 최적 값이 발견될 수 있다.
적합성 출력 값을 계산하는 다수의 방식들이 있을 수 있다. 하나의 방식은 LCOS 상의 모든 파셀들에 인가되는 디지털 입력들의 세트가 주어지면 광의 위상 변화를 계산하는 것이다. 이 방식에서, 입사 광은 편광될 수 있다. LCOS에 충돌할 때, 입사 광의 편광은 LC의 회전에 따라 변할 수 있다. 입사 광은 다른 편광기 세트를 통해 다시 원래의 편광과 동일한 편광 또는 90도 상이한 것으로 반사되고, 그 다음 광 검출기로 반사될 수 있다. 따라서, LC 회전이 변할 때, 광 검출기로부터 보여진 것으로서의 강도가 변할 수 있다. 따라서, 광의 위상 변화는 강도 변화들을 통해 간접적으로 인지될 수 있다. 위상 변화를 계산하는 다른 방식은, 배경으로부터의 맥스웰 홀로그래픽 재구성의 강도 차이를 측정하는 것이다. 이것은 투영 디스플레이에서 가장 효과적이다. 그러한 경우에서의 강도를 측정하는 것은 맥스웰 홀로그래픽 재구성을 식별하고 그 강도를 측정하기 위해 컴퓨터 비전 알고리즘들의 이용을 필요로 할 수 있다.
정렬 교정
광원들은 홀로그래픽 디바이스 내에서 정렬되는 것이 보장되지 않으므로, 정렬될 필요가 있다. 상이한 액정들(LC)은 또한 광원들의 파장들을 고려하여 상이하게 동작할 수 있다. 더욱이, LC 및 광원들 모두는 디바이스마다 변할 수 있으며, 상이한 베이스 컬러로 보여질 때 동일한 입력 홀로그램에 대해 상이한 특성들, 예를 들어, 물체 스케일링을 제공한다. 또한, 특정 하드웨어 특징들은 또한 정정을 필요로 하는 출력 광, 예를 들어, 렌징(lensing)에 상이한 광학 효과들을 적용할 수 있다.
일부 구현들에서, 전술한 문제들은 디스플레이의 파셀에 대해 계산된 위상에 수학적 변환을 적용함으로써 해결될 수 있다. 위상은 프리미티브들의 리스트로부터 파셀로의 EM 필드 기여들의 각자의 합이다. 수학적 변환은 수학적 표현, 예를 들어, 제르니케 다항식으로부터 유도될 수 있고, 다항식 계수들 또는 다른 가변 입력 값들을 변경함으로써 변경될 수 있다. 수학적 변환은 파셀마다 뿐만 아니라 컬러에 의해 변할 수 있다. 예를 들어, 디스플레이에서 반사한 후에 광에 적용될 틸트(tilt)의 양에 대응하는 제르니케 다항식 계수가 있다.
이러한 계수들/입력 값들을 결정하기 위해, 카메라가 투영 디스플레이의 경우에 반사 표면으로, 그리고 직접 뷰 디스플레이(direct-view display)의 경우에 직접 LCOS로 향하는 하드웨어 설정이 생성될 수 있다. 일련의 홀로그래픽 테스트 패턴들 및 물체들이 디스플레이에 전송될 수 있고, 카메라에 의해 보여질 수 있다. 카메라는 머신 비전 알고리즘들을 이용하여 무엇이 디스플레이되고 있는지를 결정하고, 그 후 그 적합성을 계산할 수 있다. 예를 들어, 도트들의 격자가 테스트 패턴인 경우, 적합성은 그들이 함께 얼마나 가까이 있는지, 그들이 어떻게 중심에 위치되는지, 얼마나 많은 왜곡을 그들이 갖는지(예를 들어, 스케일 또는 핀쿠션(pincushion)) 등이다. 상이한 특성들에 대해 상이한 적합성 값들이 있을 수 있다. 이러한 값들에 따라, 적합성이 미리 결정된 만족스러운 레벨에 도달할 때까지, 예를 들어, 제르니케 다항식에 대한 계수들을 변경하는 형태로, 정정들이 적용될 수 있다. 이들 테스트 패턴들은, 특히 단지 하나의 포인트가 아니라, 정렬이 모든 거리들에서 물체들에 대해 일관되도록 보장하기 위해 상이한 거리들에서 렌더링될 수 있다. 그러한 깊이 기반 교정들은, 두 깊이들에서 동작하는 해결책에 수렴할 때까지 이전 교정들이 반복될 수 있는 투영 디스플레이의 경우에 반사 표면 뿐만 아니라, 홀로그래픽 테스트 패턴의 깊이를 변경하는 것을 수반하는 반복 프로세스들을 수반한다. 마지막으로, 교정의 유효성을 보여주기 위해 백색 도트들이 디스플레이될 수 있다.
컬러 교정
디스플레이들, 홀로그래픽 또는 다른 것에서, 임의의 2개의 유닛들이 동일 이미지를 렌더링하고 있을 때, 디스플레이들 사이에 컬러들이 매칭되고, 추가적으로 텔레비전(TV) 및 컴퓨터 디스플레이 표준들, 예를 들어, 고해상도 텔레비전(HDTV) 또는 컴퓨터 모니터들의 sRGB 컬러 공간에 대한 Rec. 709 표준에 의해 정의되는 컬러들을 매칭하는 것이 중요하다. 하드웨어 컴포넌트들, 예를 들어, LED들 및 레이저 다이오드들의 상이한 배치들은, 동일한 입력들에 대해 상이한 동작들을 나타낼 수 있고, 인간의 눈에 의해 인지될 때 상이한 컬러들을 출력할 수 있다. 따라서, 모든 디스플레이 유닛들이 교정될 수 있는 컬러 표준을 갖는 것이 중요하다.
일부 구현들에서, 강도 및 색도의 측정에 의해 명시된 컬러의 객관적인 측정은 CIE(Commission internationale de l'eclairage) 표준 관측자 곡선들에 대한 컬러 강도를 측정함으로써 획득될 수 있다. 각각의 디스플레이가 알려진 컬러들 및 강도들의 샘플 세트를 재생성하고, 그 다음, CIE 표준 관측자 곡선들로 교정된 색도계 디바이스를 이용하여 출력 광을 측정할 것을 요청함으로써, CIE XYZ 컬러 공간에서의 디바이스의 컬러 출력이 객관적으로 정의될 수 있다. 알려진 양호한 값들로부터의 측정된 값들의 임의의 편차는, 디스플레이 상의 출력 컬러들이 다시 정렬되도록 적응시키는데 이용될 수 있고, 이는 반복적 측정 적응 측정 피드백 루프(iterative measure-adapt-measure feedback loop)를 이용하여 구현될 수 있다. 일단 맥스웰 홀로그래픽 디바이스가 주어진 입력들의 세트에 대한 정확한 출력들을 생성하면, 최종 적응들은 입력 값들을 출력 강도들에 맵핑하는 조명기들에 대한 룩업 테이블들, 및 입력 컬러들을 출력 컬러 공간 값들로 변환하는 컬러 매트릭스 변환들로서 인코딩될 수 있다. 이러한 교정 테이블들은 신뢰성 있는 객관적 출력 컬러들을 생성하기 위해 디바이스 자체에 내장될 수 있다.
추가적으로, 서브 파장(sub-wavelength) 정확도로 회절을 제어하기에 충분히 정교한 피처들을 갖는 LCOS 디바이스가 주어지면, 3중 자극 조명(tri-stimulus illumination)(예를 들어, 적색, 녹색, 및 청색의 선형 혼합물들)이 필요하지 않을 수 있고, LCOS 디바이스는 단일의 넓은 스펙트럼 광원으로 조명될 수 있고, 공간 디더링 패턴들(spatial dithering patterns)과 결합되어, 공통의 3중 자극 근사화보다는 컬러의 완전한 스펙트럼 출력을 재생성할 수 있는 3중(tri-), 4중(quad-), 심지어 N 자극 출력 컬러들을 생성하기 위해 파셀 출력을 선택적으로 튜닝한다. 충분히 넓은 스펙트럼 조명기가 주어지면, 이것은 맥스웰 홀로그래피가 인간 시각계의 스펙트럼 궤적(spectral locus) 내부에 놓여지는 임의의 반사된 컬러를 생성할 수 있게 한다.
본 명세서에 설명된 청구 대상 및 기능적 동작들의 구현들은, 디지털 전자 회로에서, 유형으로 구현된 컴퓨터 소프트웨어 또는 펌웨어에서, 본 명세서에서 개시된 구조들 및 그들의 구조적 등가물들을 포함하는 컴퓨터 하드웨어에서, 또는 이들 중 하나 이상의 조합에서 구현될 수 있다. 본 명세서에서 설명된 청구 대상의 구현들은 데이터 처리 장치에 의한 실행을 위해 또는 그것의 동작의 제어를 위해 유형의 비일시적 컴퓨터 저장 매체 상에서 인코딩되는 하나 이상의 컴퓨터 프로그램, 예를 들어, 컴퓨터 프로그램 명령어들의 하나 이상의 모듈로서 구현될 수 있다. 대안적으로 또는 추가로, 프로그램 명령어들은 인공적으로 생성된 전파 신호, 예를 들어, 데이터 처리 장치에 의한 실행을 위해 적절한 수신기 장치에 송신하기 위한 정보를 인코딩하도록 생성되는 머신 생성 전기, 광학 또는 전자기 신호 상에 인코딩될 수 있다. 컴퓨터 저장 매체는 머신 판독가능 저장 디바이스, 머신 판독가능 저장 기판, 랜덤 또는 직렬 액세스 메모리 디바이스, 또는 이들 중 하나 이상의 조합일 수 있다.
용어들 "데이터 처리 장치", "컴퓨터", 또는 "전자 컴퓨터 디바이스"(또는 본 기술분야의 통상의 기술자에 의해 이해되는 바와 같은 등가물)는 데이터 처리 하드웨어를 지칭하고, 예로서 프로그램가능 프로세서, 컴퓨터, 또는 다수의 프로세서들 또는 컴퓨터들을 포함하는, 데이터를 처리하기 위한 모든 종류의 장치들, 디바이스들, 및 머신들을 포함한다. 장치는 또한 특수 목적 논리 회로, 예를 들어, CPU(central processing unit), FPGA(field programmable gate array), 또는 ASIC(application-specific integrated circuit)일 수 있거나, 또는 이를 더 포함할 수 있다. 일부 구현들에서, 데이터 처리 장치 및 특수 목적 논리 회로는 하드웨어 기반 및 소프트웨어 기반일 수 있다. 장치들은 컴퓨터 프로그램들을 위한 실행 환경을 생성하는 코드, 예를 들어, 프로세서 펌웨어, 프로토콜 스택, 데이터베이스 관리 시스템, 운영 체제, 또는 이들 중 하나 이상의 조합을 구성하는 코드를 선택적으로 포함할 수 있다. 본 명세서는 종래의 운영 체제들을 갖거나 갖지 않는 데이터 처리 장치들의 이용을 고려한다.
프로그램, 소프트웨어, 소프트웨어 애플리케이션, 모듈, 소프트웨어 모듈, 스크립트, 또는 코드라고 지칭되거나 그것으로서 설명될 수 있는 컴퓨터 프로그램은, 컴파일되거나 해석된 언어들, 또는 선언형 또는 절차형 언어들을 포함하는, 임의 형태의 프로그래밍 언어로 작성될 수 있고, 그것은 독립형 프로그램으로서 또는 모듈, 컴포넌트, 서브루틴, 또는 컴퓨팅 환경에서 이용하기에 적합한 다른 유닛으로서 포함하는 임의의 형태로 배치될 수 있다. 컴퓨터 프로그램은 파일 시스템에서의 파일에 대응할 수 있지만, 그럴 필요는 없다. 프로그램은 다른 프로그램들 또는 데이터, 예를 들어, 마크업 언어 문서에 저장된 하나 이상의 스크립트를 보유하는 파일의 일부분에, 문제의 프로그램에 전용된 단일 파일에, 또는 다수의 조정된 파일들, 예를 들어, 하나 이상의 모듈, 서브 프로그램(sub programs), 또는 코드 부분(portions of code)을 저장하는 파일들에 저장될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터상에서, 또는 하나의 위치에 배치되어 있거나, 다수의 위치들에 걸쳐 분산되어 통신 네트워크에 의해 상호접속되는 다수의 컴퓨터상에서 실행되도록 배치될 수 있다. 다양한 도면들에 도시된 프로그램들의 부분들은 다양한 물체들, 방법들 또는 다른 프로세스들을 통해 다양한 특징들 및 기능을 구현하는 개별 모듈들로서 도시되지만, 프로그램들은 그 대신에, 적절한 경우에 다수의 서브-모듈들, 제3자 서비스들, 컴포넌트들, 라이브러리들, 및 그와 같은 것을 포함할 수 있다. 반대로, 다양한 컴포넌트들의 특징들 및 기능이 적절한 경우에 단일 컴포넌트들로서 결합될 수 있다.
본 명세서에 설명된 프로세스들 및 논리 흐름들은 입력 데이터에 대해 동작하여 출력을 생성함으로써 기능들을 수행하기 위해 하나 이상의 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램가능 컴퓨터에 의해 수행될 수 있다. 프로세스들 및 논리 흐름들은 또한, CPU, GPU, FPGA, 또는 ASIC과 같은 특수 목적 논리 회로에 의해 수행될 수 있고, 장치는 또한 이들로서 구현될 수 있다.
컴퓨터 프로그램의 실행에 적합한 컴퓨터들은 범용 또는 특수 목적 마이크로프로세서들, 둘다, 또는 임의의 다른 종류의 CPU에 기초할 수 있다. 일반적으로, CPU는 판독 전용 메모리(ROM) 또는 랜덤 액세스 메모리(RAM) 또는 둘다로부터 명령어들 및 데이터를 수신할 것이다. 컴퓨터의 주요 요소들은 명령어들을 수행하거나 실행하기 위한 CPU, 및 명령어들 및 데이터를 저장하기 위한 하나 이상의 메모리 디바이스이다. 일반적으로, 컴퓨터는 또한 데이터 저장을 위한 하나 이상의 대용량 저장 디바이스, 예를 들어, 자기, 자기 광학 디스크들 또는 광학 디스크들을 포함하거나, 이들로부터 데이터를 수신하거나 이들에 데이터를 전송하기 위해, 또는 둘다를 위해 이들에 동작가능하게 결합될 것이다. 그러나, 컴퓨터가 그러한 디바이스들을 가질 필요는 없다. 더욱이, 컴퓨터는, 몇 가지 예를 들자면, 다른 디바이스, 예를 들어, 모바일 전화, PDA(personal digital assistant), 모바일 오디오 또는 비디오 플레이어, 게임 콘솔, GPS(Global Positioning System) 수신기, 또는 휴대용 저장 디바이스, 예를 들어, USB(universal serial bus) 플래시 드라이브에 임베딩될 수 있다.
컴퓨터 프로그램 명령어들 및 데이터를 저장하기에 적합한 (적절하게는 일시적 또는 비일시적인) 컴퓨터 판독가능 매체는, 예로써, 반도체 메모리 디바이스들, 예를 들어, EPROM(erasable programmable read-only memory), EEPROM(electrically erasable programmable read-only memory), 및 플래시 메모리 디바이스들; 자기 디스크들, 예를 들어, 내부 하드 디스크들 또는 착탈식 디스크들; 자기 광학 디스크들; 및 CDROM, DVD-R, DVD-RAM 및 DVD-ROM 디스크들을 포함하는, 모든 형태의 비휘발성 메모리, 매체 및 메모리 디바이스들을 포함한다. 메모리는 캐시들(caches), 클래스들(classes), 프레임워크들(frameworks), 애플리케이션들, 백업 데이터, 잡들(jobs), 웹 페이지들, 웹 페이지 템플릿들(web page templates), 데이터베이스 테이블들, 비즈니스 및 동적 정보를 저장하는 저장소들(repositories), 및 임의의 파라미터들, 변수들, 알고리즘들, 명령어들, 규칙들, 제약조건들, 또는 그에 대한 참조들을 포함하는 임의의 다른 적절한 정보를 포함하는, 다양한 객체들 또는 데이터를 저장할 수 있다. 또한, 메모리는 로그들(logs), 정책들, 보안 또는 액세스 데이터, 보고 파일들 뿐만 아니라 다른 것들과 같은 임의의 다른 적절한 데이터를 포함할 수 있다. 프로세서 및 메모리는 특수 목적 논리 회로에 의해 보완되거나 그에 포함될 수 있다.
사용자와의 상호작용을 제공하기 위해, 본 명세서에서 설명된 청구 대상의 구현들은, 정보를 사용자에게 디스플레이하기 위한 디스플레이 디바이스, 예를 들어, 음극선관(CRT), 액정 디스플레이(LCD), 발광 다이오드(LED) 또는 플라즈마 모니터, 및 사용자가 컴퓨터에 입력을 제공할 수 있게 하는 키보드 및 포인팅 디바이스, 예를 들어, 마우스, 트랙볼, 또는 트랙패드를 갖는 컴퓨터 상에 구현될 수 있다. 입력은 또한 압력 감도를 갖는 태블릿 컴퓨터 표면, 용량성 또는 전기 감지를 이용하는 멀티 터치 스크린, 또는 다른 타입의 터치스크린과 같은 터치스크린을 이용하여 컴퓨터에 제공될 수 있다. 사용자와의 상호작용을 위해 다른 종류의 디바이스들도 마찬가지로 이용될 수 있으며, 예를 들어, 사용자에게 제공되는 피드백은 임의의 형태의 감지 피드백, 예를 들어, 시각 피드백, 청각 피드백, 또는 촉각 피드백일 수 있으며, 사용자로부터의 입력은 음향, 음성, 또는 촉각 입력을 포함하는 임의의 형태로 수신될 수 있다. 또한, 컴퓨터는 사용자에 의해 이용되는 디바이스에 문서들을 전송하고 디바이스로부터 문서들을 수신함으로써, 예를 들어, 웹 브라우저로부터 수신된 요청들에 응답하여 사용자의 클라이언트 디바이스 상의 웹 브라우저에 웹 페이지들을 전송함으로써, 사용자와 상호작용할 수 있다.
용어 "그래픽 사용자 인터페이스", 또는 "GUI"는 하나 이상의 그래픽 사용자 인터페이스 및 특정 그래픽 사용자 인터페이스의 디스플레이들 각각을 설명하기 위해 단수 또는 복수로 이용될 수 있다. 따라서, GUI는 제한적인 것은 아니지만, 웹 브라우저, 터치 스크린, 또는 정보를 처리하고 정보 결과들을 사용자에게 효율적으로 제시하는 명령 라인 인터페이스(command line interface)(CLI)를 포함하는 임의의 그래픽 사용자 인터페이스를 나타낼 수 있다. 일반적으로, GUI는 다수의 사용자 인터페이스(UI) 요소들을 포함할 수 있고, 그 일부 또는 전부는 상호작용 필드들(interactive fields), 풀다운 리스트들(pull-down lists), 및 비즈니스 스위트 사용자(business suite user)에 의해 동작가능한 버튼과 같은, 웹 브라우저와 연관된다. 이들 및 다른 UI 요소들은 웹 브라우저의 기능들에 관련되거나 그들을 나타낼 수 있다.
본 명세서에 설명된 청구 대상의 구현들은, 예를 들어, 데이터 서버와 같은 백 엔드 컴포넌트(back-end component)를 포함하거나, 예를 들어, 애플리케이션 서버와 같은 미들웨어 컴포넌트를 포함하거나, 예를 들어, 사용자가 본 명세서에 설명된 청구 대상의 구현과 상호작용할 수 있게 하는 웹 브라우저 또는 그래픽 사용자 인터페이스를 갖는 클라이언트 컴퓨터와 같은 프론트 엔드 컴포넌트(front-end component), 또는 하나 이상의 그러한 백 엔드, 미들웨어, 또는 프론트 엔드 컴포넌트들의 임의의 조합을 포함하는 컴퓨팅 시스템으로 구현될 수 있다. 시스템의 컴포넌트들은 유선 또는 무선 디지털 데이터 통신의 임의의 형태 또는 매체, 예를 들어, 통신 네트워크에 의해 상호접속될 수 있다. 통신 네트워크들의 예들은, LAN(local area network), RAN(radio access network), MAN(metropolitan area network), WAN(wide area network), WIMAX(worldwide interoperability for microwave access), 예를 들어, 902.11 a/b/g/n 및 902.20을 이용하는 WLAN(wireless local area network), 인터넷의 전부 또는 일부, 및 하나 이상의 위치에서의 임의의 다른 통신 시스템 또는 시스템들을 포함한다. 네트워크는, 예를 들어, 네트워크 주소들 사이에서 인터넷 프로토콜(IP) 패킷들, 프레임 릴레이 프레임들, 비동기 전송 모드(ATM) 셀들, 음성, 비디오, 데이터 또는 다른 적절한 정보를 통신할 수 있다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트 및 서버는 일반적으로 서로로부터 떨어져 있고, 전형적으로 통신 네트워크를 통해 상호작용한다. 클라이언트와 서버의 관계는, 각자의 컴퓨터들 상에서 실행되며 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생된다.
일부 구현들에서, 컴퓨팅 시스템의 컴포넌트들 중 임의의 것 또는 모두, 하드웨어 및 소프트웨어 둘다는 API 또는 서비스 계층을 이용하여 서로 인터페이스하거나 또는 그것을 이용하는 인터페이스와 인터페이스할 수 있다. API는 루틴들, 데이터 구조들, 및 객체 클래스들에 대한 사양들을 포함할 수 있다. API는 컴퓨터 언어 독립적(computer language-independent)이거나 또는 컴퓨터 언어 종속적일 수 있으며, 완전한 인터페이스, 단일 기능, 또는 심지어는 API들의 세트를 지칭한다. 서비스 계층은 컴퓨팅 시스템에 소프트웨어 서비스들을 제공한다. 컴퓨팅 시스템의 다양한 컴포넌트들의 기능은 이 서비스 계층을 통해 모든 서비스 소비자들에 대해 액세스가능할 수 있다. 소프트웨어 서비스들은 정의된 인터페이스를 통해, 재이용가능하고 정의된 비즈니스 기능들을 제공한다. 예를 들어, 인터페이스는 임의의 적절한 포맷으로 데이터를 제공하는 임의의 적절한 언어로 작성된 소프트웨어일 수 있다. API 및 서비스 계층은 컴퓨팅 시스템의 다른 컴포넌트들과 관련하여 일체형 또는 독립형 컴포넌트일 수 있다. 더욱이, 서비스 계층의 임의의 또는 모든 부분들은 본 명세서의 범위로부터 벗어나지 않고서 다른 소프트웨어 모듈, 엔터프라이즈 애플리케이션, 또는 하드웨어 모듈의 자식(child) 또는 서브 모듈들로서 구현될 수 있다.
본 명세서는 많은 특정한 구현 세부사항들을 포함하지만, 이들은 임의의 발명의 범위 또는 청구될 수 있는 범위에 대한 제한으로 해석되어서는 안되고, 그보다는, 특정 발명들의 특정 구현들에 특정될 수 있는 특징들의 설명으로 해석되어야 한다. 개별적인 구현들의 정황에서 본 명세서에 설명된 특정한 특징들은 또한, 단일의 구현에서 조합하여 구현될 수 있다. 반대로, 단일 구현의 정황에서 설명된 다양한 특징들은 또한, 다수의 구현들에서 별개로 구현되거나 임의의 적절한 서브조합(sub-combination)으로 구현될 수 있다. 더욱이, 특징들은 특정 조합들로 동작하는 것으로서 설명되고 심지어 초기에 그와 같이 청구될 수도 있지만, 청구된 조합으로부터의 하나 이상의 특징들은 일부 경우들에 조합으로부터 삭제될 수도 있고, 청구된 조합은 서브조합 또는 서브조합의 변형예에 관한 것일 수도 있다.
청구 대상의 특정한 구현들이 설명되었다. 설명된 구현들의 다른 구현들, 변경들 및 치환들은 본 기술분야의 통상의 기술자에게 명백한 바와 같이 이하의 청구항들의 범위 내에 있다. 동작들은 특정 순서로 도면들 및 청구항들에 도시되어 있지만, 이는 바람직한 결과들을 달성하기 위해, 그러한 동작들이 도시된 특정 순서로 또는 순차적인 순서로 수행되어야 하는 것, 또는 모든 예시된 동작들이 수행되어야 하는 것(일부 동작들은 선택적인 것으로 고려될 수 있음)을 요구하는 것으로서 이해되어서는 안된다. 특정 상황들에서, 멀티태스킹 또는 병렬 처리가 유리할 수 있으며, 적절한 것으로 간주되는 바와 같이 수행될 수 있다.
따라서, 예시적인 구현들의 앞서 제공된 설명은 본 명세서를 정의하거나 제한하지 않는다. 본 개시내용의 사상 및 범위를 벗어나지 않고, 다른 변경들, 대체들 및 수정들이 또한 가능하다.

Claims (185)

  1. 방법으로서,
    물체에 대응하는 복수의 프리미티브들 중의 각각의 프리미티브에 대해, 디스플레이의 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대한 전자기(EM) 필드 기여를, 3차원(3D) 좌표계에서, 상기 프리미티브로부터 상기 디스플레이 요소로의 EM 필드 전파를 계산함으로써 결정하는 단계 - 프리미티브는 컴퓨팅 시스템 내의 입력 또는 출력을 위한 기본적인 기하학적 또는 그래픽 요소를 지칭함 -; 및
    상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대해, 상기 복수의 프리미티브들로부터 상기 디스플레이 요소로의 상기 EM 필드 기여들의 합을 생성하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 디스플레이의 상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대한 상기 프리미티브의 상기 EM 필드 기여를 결정하는 단계는:
    상기 3D 좌표계에서, 상기 디스플레이 요소의 대응하는 좌표 정보 및 상기 프리미티브의 대응하는 좌표 정보에 기초하여 상기 디스플레이 요소와 상기 프리미티브 사이의 적어도 하나의 거리를 결정하는 단계, 및
    상기 프리미티브에 대한 미리 결정된 표현 및 상기 적어도 하나의 거리에 기초하여 상기 디스플레이 요소에 대한 상기 프리미티브의 상기 EM 필드 기여를 결정하는 단계를 포함하고,
    상기 미리 결정된 표현은:
    상기 프리미티브로부터 상기 디스플레이 요소로의 상기 EM 필드 전파를 분석적으로 계산한 결과,
    상기 디스플레이에 의해 정의된 경계 조건을 갖는 맥스웰 방정식들의 해에 대응하는 표현, 또는
    사인 함수, 코사인 함수, 및 지수 함수를 포함하는 기능들로 구성되는 그룹으로부터 선택된 적어도 하나의 멤버
    중 적어도 하나를 포함하는, 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대해, 상기 디스플레이 요소에 대한 상기 복수의 프리미티브들의 상기 EM 필드 기여들의 합에 기초하여 각각의 제어 신호를 생성하는 단계 - 상기 각각의 제어 신호는 상기 복수의 프리미티브들로부터 상기 디스플레이 요소로의 상기 EM 필드 기여들의 합에 기초하여 상기 디스플레이 요소의 적어도 하나의 속성을 변조하도록 구성됨 -,
    상기 디스플레이 상에 광을 방출하도록 조명 디바이스에 타이밍 제어 신호를 송신하는 단계; 및
    상기 광이 3D 공간에서 상기 물체에 대응하는 볼륨메트릭 광 필드를 형성하게 하도록 상기 복수의 디스플레이 요소들을 변조하기 위해 상기 복수의 디스플레이 요소들에 상기 각각의 제어 신호들을 송신하는 단계를 더 포함하는, 방법.
  4. 제1항 또는 제2항에 있어서, 상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대한 상기 복수의 프리미티브들 중의 각각의 프리미티브의 각각의 EM 필드 기여들을 계산하는 단계를 포함하는, 방법.
  5. 제1항 또는 제2항에 있어서,
    상기 물체에 대응하는 상기 복수의 프리미티브들의 각각의 프리미티브 데이터를 획득하는 단계;
    제1 프리미티브 및 제2 프리미티브에 대한 각각의 프리미티브 데이터를 이용하여, 상기 제2 프리미티브에 인접한 상기 제1 프리미티브를 미리 결정된 계수에 의해 스케일링하는 단계; 및
    상기 스케일링의 결과에 기초하여 상기 제1 프리미티브에 대한 상기 각각의 프리미티브 데이터를 업데이트하는 단계를 더 포함하는, 방법.
  6. 제1항 또는 제2항에 있어서,
    상기 복수의 프리미티브들 중 하나 이상의 프리미티브들의 지정된 표면에 매핑될 이미지의 복수의 이산 코사인 변환(DCT) 가중치들을 획득하는 단계;
    상기 이미지의 DCT 가중치들을 디코딩하여 상기 이미지의 각각의 픽셀에 대한 각각의 DCT 진폭을 획득하는 단계;
    상기 이미지의 픽셀들의 각각의 DCT 진폭들과 연관된 값들을 상기 하나 이상의 프리미티브들의 프리미티브 데이터와 함께 저장하는 단계; 및
    상기 이미지의 픽셀들의 각각의 DCT 진폭들과 연관된 값들로 상기 하나 이상의 프리미티브들 각각으로부터 상기 복수의 디스플레이 요소들 각각으로의 각각의 EM 필드 기여를 계산함으로써, 상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대한 상기 하나 이상의 프리미티브들 각각의 EM 필드 기여를 결정하는 단계를 포함하는, 방법.
  7. 제1항 또는 제2항에 있어서,
    주어진 프리미티브의 정보 및 상기 주어진 프리미티브의 오클루더를 획득하는 단계 - 상기 주어진 프리미티브는 상기 물체에 대응하는 상기 복수의 프리미티브들 내에 있음 -;
    상기 오클루더의 효과에서 상기 주어진 프리미티브의 재구성에 기여하지 않는 하나 이상의 특정 디스플레이 요소들을 결정하는 단계; 및
    상기 하나 이상의 특정 디스플레이 요소들 각각에 대해, 상기 특정 디스플레이 요소에 대한 상기 주어진 프리미티브의 EM 필드 기여를 배제함으로써 상기 특정 디스플레이 요소에 대한 상기 복수의 프리미티브들의 EM 필드 기여들의 각각의 합을 생성하는 단계를 포함하고,
    상기 하나 이상의 특정 디스플레이 요소들을 결정하는 단계는,
    상기 주어진 프리미티브를 상기 오클루더의 엔드포인트들에 접속하는 단계;
    상기 접속과 상기 디스플레이 사이의 교차점들을 결정하기 위해 상기 디스플레이로의 접속을 확장하는 단계; 및
    상기 교차점들에 의해 정의된 상기 디스플레이의 특정 범위에서의 디스플레이 요소들을, 상기 오클루더의 효과에서 상기 주어진 프리미티브의 상기 재구성에 기여하지 않는 상기 하나 이상의 특정 디스플레이 요소들인 것으로 결정하는 단계를 포함하는, 방법.
  8. 제1항 또는 제2항에 있어서,
    주어진 프리미티브의 정보 및 상기 주어진 프리미티브의 오클루더를 획득하는 단계 - 상기 주어진 프리미티브는 상기 물체에 대응하는 상기 복수의 프리미티브들 내에 있음 -;
    상기 복수의 디스플레이 요소들 중 각각의 디스플레이 요소에 대해, 상기 오클루더의 효과에서 상기 디스플레이 요소에 EM 필드 기여를 하지 않는 상기 주어진 프리미티브의 각각의 부분을 결정하는 단계; 및
    상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대해, 상기 주어진 프리미티브의 상기 각각의 부분으로부터 상기 디스플레이 요소로의 EM 필드 기여를 배제함으로써 상기 복수의 프리미티브들로부터 상기 디스플레이 요소로의 EM 필드 기여들의 합을 생성하는 단계를 포함하고,
    상기 오클루더의 효과에서 상기 디스플레이 요소에 EM 필드 기여를 하지 않는 상기 주어진 프리미티브의 각각의 부분을 결정하는 단계는,
    상기 디스플레이 요소를 상기 오클루더의 엔드포인트들에 접속하는 단계;
    상기 접속과 상기 주어진 프리미티브 사이의 교차점들을 결정하는 단계; 및
    상기 교차점들에 의해 둘러싸인 상기 주어진 프리미티브의 특정 부분을 상기 주어진 프리미티브의 각각의 부분인 것으로 결정하는 단계를 포함하는, 방법.
  9. 제1항 또는 제2항에 있어서,
    상기 물체에 대응하는 상기 복수의 프리미티브들 중의 각각의 프리미티브의 각각의 프리미티브 데이터를 획득하는 단계;
    상기 복수의 프리미티브들 중의 각각의 프리미티브에 대한 각각의 기하학적 정반사 정보를 획득하는 단계;
    상기 복수의 프리미티브들 중의 각각의 프리미티브에 대한 각각의 프리미티브 데이터를 갖는 상기 각각의 기하학적 정반사 정보를 저장하는 단계; 및
    상기 프리미티브에 대한 상기 각각의 기하학적 정반사 정보를 고려함으로써 상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대한 상기 복수의 프리미티브들 중의 각각의 프리미티브의 각각의 EM 필드 기여를 결정하는 단계를 포함하는, 방법.
  10. 제1항 또는 제2항에 있어서,
    상기 디스플레이의 각각의 디스플레이 요소에 대해, 각각의 제어 신호를 미리 결정된 교정 값으로 변경하고, 상기 각각의 변경된 각각의 제어 신호를 상기 디스플레이의 각각의 디스플레이 요소에 인가하고, 상기 디스플레이 상에 입사하는 광의 출력을 측정하고, 상기 광의 출력의 측정에 기초하여 상기 미리 결정된 교정 값을 평가하는 단계, 또는
    상기 디스플레이의 각각의 디스플레이 요소에 대해, 상기 물체에 대응하는 상기 복수의 프리미티브들로부터의 EM 필드 기여들의 각각의 합을 획득하고, 상기 디스플레이 요소에 대한 EM 필드 기여들의 각각의 합에 각각의 수학적 변환을 적용하여 상기 디스플레이 요소에 대한 EM 필드 기여들의 각각의 변환된 합을 획득하고, 상기 디스플레이 요소에 대한 EM 필드 기여들의 각각의 변환된 합에 기초하여 각각의 제어 신호를 결정하고, 상기 디스플레이 요소에 대한 상기 결정된 각각의 제어 신호에 기초하여 상기 디스플레이 요소의 속성을 변조하는 단계
    중 하나에 의해 상기 디스플레이를 교정하는 단계를 더 포함하는, 방법.
  11. 장치로서,
    적어도 하나의 프로세서;
    상기 적어도 하나의 프로세서에 결합되고 상기 적어도 하나의 프로세서에 의한 실행을 위한 프로그래밍 명령어들을 저장하는 하나 이상의 메모리를 포함하고, 상기 명령어들은,
    물체에 대응하는 복수의 프리미티브들 중의 각각의 프리미티브에 대해, 디스플레이의 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대한 전자기(EM) 필드 기여를, 3차원(3D) 좌표계에서, 상기 프리미티브로부터 상기 디스플레이 요소로의 EM 필드 전파를 계산함으로써 결정하고, 프리미티브는 컴퓨팅 시스템 내의 입력 또는 출력을 위한 기본적인 기하학적 또는 그래픽 요소를 지칭하며;
    상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대해, 상기 복수의 프리미티브들로부터 상기 디스플레이 요소로의 상기 EM 필드 기여들의 합을 생성하는, 장치.
  12. 시스템으로서,
    복수의 디스플레이 요소들을 포함하는 디스플레이; 및
    상기 디스플레이에 결합된 제어기를 포함하고, 상기 제어기는,
    물체에 대응하는 복수의 프리미티브들 중의 각각의 프리미티브에 대해, 디스플레이의 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대한 전자기(EM) 필드 기여를, 3차원(3D) 좌표계에서, 상기 프리미티브로부터 상기 디스플레이 요소로의 EM 필드 전파를 계산함으로써 결정하고, 프리미티브는 컴퓨팅 시스템 내의 입력 또는 출력을 위한 기본적인 기하학적 또는 그래픽 요소를 지칭하며;
    상기 복수의 디스플레이 요소들 중의 각각의 디스플레이 요소에 대해, 상기 복수의 프리미티브들로부터 상기 디스플레이 요소로의 상기 EM 필드 기여들의 합을 생성하도록 구성되는, 시스템.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
  34. 삭제
  35. 삭제
  36. 삭제
  37. 삭제
  38. 삭제
  39. 삭제
  40. 삭제
  41. 삭제
  42. 삭제
  43. 삭제
  44. 삭제
  45. 삭제
  46. 삭제
  47. 삭제
  48. 삭제
  49. 삭제
  50. 삭제
  51. 삭제
  52. 삭제
  53. 삭제
  54. 삭제
  55. 삭제
  56. 삭제
  57. 삭제
  58. 삭제
  59. 삭제
  60. 삭제
  61. 삭제
  62. 삭제
  63. 삭제
  64. 삭제
  65. 삭제
  66. 삭제
  67. 삭제
  68. 삭제
  69. 삭제
  70. 삭제
  71. 삭제
  72. 삭제
  73. 삭제
  74. 삭제
  75. 삭제
  76. 삭제
  77. 삭제
  78. 삭제
  79. 삭제
  80. 삭제
  81. 삭제
  82. 삭제
  83. 삭제
  84. 삭제
  85. 삭제
  86. 삭제
  87. 삭제
  88. 삭제
  89. 삭제
  90. 삭제
  91. 삭제
  92. 삭제
  93. 삭제
  94. 삭제
  95. 삭제
  96. 삭제
  97. 삭제
  98. 삭제
  99. 삭제
  100. 삭제
  101. 삭제
  102. 삭제
  103. 삭제
  104. 삭제
  105. 삭제
  106. 삭제
  107. 삭제
  108. 삭제
  109. 삭제
  110. 삭제
  111. 삭제
  112. 삭제
  113. 삭제
  114. 삭제
  115. 삭제
  116. 삭제
  117. 삭제
  118. 삭제
  119. 삭제
  120. 삭제
  121. 삭제
  122. 삭제
  123. 삭제
  124. 삭제
  125. 삭제
  126. 삭제
  127. 삭제
  128. 삭제
  129. 삭제
  130. 삭제
  131. 삭제
  132. 삭제
  133. 삭제
  134. 삭제
  135. 삭제
  136. 삭제
  137. 삭제
  138. 삭제
  139. 삭제
  140. 삭제
  141. 삭제
  142. 삭제
  143. 삭제
  144. 삭제
  145. 삭제
  146. 삭제
  147. 삭제
  148. 삭제
  149. 삭제
  150. 삭제
  151. 삭제
  152. 삭제
  153. 삭제
  154. 삭제
  155. 삭제
  156. 삭제
  157. 삭제
  158. 삭제
  159. 삭제
  160. 삭제
  161. 삭제
  162. 삭제
  163. 삭제
  164. 삭제
  165. 삭제
  166. 삭제
  167. 삭제
  168. 삭제
  169. 삭제
  170. 삭제
  171. 삭제
  172. 삭제
  173. 삭제
  174. 삭제
  175. 삭제
  176. 삭제
  177. 삭제
  178. 삭제
  179. 삭제
  180. 삭제
  181. 삭제
  182. 삭제
  183. 삭제
  184. 삭제
  185. 삭제
KR1020207020715A 2018-01-16 2019-01-16 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들 Active KR102742158B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020247040787A KR20250002804A (ko) 2018-01-16 2019-01-16 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862618054P 2018-01-16 2018-01-16
US62/618,054 2018-01-16
PCT/US2019/013857 WO2019143729A1 (en) 2018-01-16 2019-01-16 Three-dimensional displays using electromagnetic field computations

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020247040787A Division KR20250002804A (ko) 2018-01-16 2019-01-16 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들

Publications (2)

Publication Number Publication Date
KR20200109315A KR20200109315A (ko) 2020-09-22
KR102742158B1 true KR102742158B1 (ko) 2024-12-16

Family

ID=67301154

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207020715A Active KR102742158B1 (ko) 2018-01-16 2019-01-16 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들
KR1020247040787A Pending KR20250002804A (ko) 2018-01-16 2019-01-16 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020247040787A Pending KR20250002804A (ko) 2018-01-16 2019-01-16 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들

Country Status (6)

Country Link
US (12) US10878623B2 (ko)
EP (1) EP3740735A4 (ko)
JP (3) JP7314149B2 (ko)
KR (2) KR102742158B1 (ko)
CN (3) CN111602026B (ko)
WO (1) WO2019143729A1 (ko)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11106178B2 (en) * 2017-03-03 2021-08-31 Shimadzu Corporation Cell observation device
KR102742158B1 (ko) * 2018-01-16 2024-12-16 퍼시픽 라이트 앤드 홀로그램 인크. 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들
US12204085B2 (en) * 2018-04-27 2025-01-21 Hewlett-Packard Development Company, L.P. Nonrotating nonuniform electric field object rotation
US10740983B2 (en) * 2018-06-01 2020-08-11 Ebay Korea Co. Ltd. Colored three-dimensional digital model generation
US11428933B2 (en) * 2019-05-13 2022-08-30 Light Field Lab, Inc. Light field display system for performance events
JPWO2021039487A1 (ko) * 2019-08-30 2021-03-04
KR20220064370A (ko) * 2019-09-13 2022-05-18 라이트 필드 랩 인코포레이티드 성인용 애플리케이션을 위한 라이트필드 디스플레이 시스템
WO2022060734A1 (en) * 2020-09-17 2022-03-24 Pacific Light & Hologram, Inc. Reconstructing objects with display zero order light suppression
US11360430B2 (en) 2020-09-17 2022-06-14 Pacific Light & Hologram, Inc. Reconstructing objects with display zero order light suppression
CN116034311A (zh) * 2020-09-17 2023-04-28 太平洋灯光全息图公司 对象重建中抑制显示零级光
CN115997155A (zh) * 2020-09-17 2023-04-21 太平洋灯光全息图公司 三维物件显示
CN113946117B (zh) * 2021-10-29 2025-04-22 上海交通大学 散射光场全息范围三维位移测量装置、方法及介质
US12429701B2 (en) 2021-12-13 2025-09-30 Samsung Electronics Co., Ltd. Augmented reality device based on curved waveguide, method therefor, augmented reality glasses based on said device
TWI820623B (zh) * 2022-03-04 2023-11-01 英特艾科技有限公司 全像訊息系統
US12315403B2 (en) 2023-05-12 2025-05-27 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12254798B2 (en) 2023-05-12 2025-03-18 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US11900842B1 (en) 2023-05-12 2024-02-13 Pacific Light & Hologram, Inc. Irregular devices
US12293687B2 (en) 2023-05-12 2025-05-06 Pacific Light & Hologram, Inc. Holographically displaying live scenes including three-dimensional objects
US12266280B2 (en) 2023-05-12 2025-04-01 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12236816B2 (en) 2023-05-12 2025-02-25 Pacific Light & Hologram, Inc. Holographically displaying live scenes including three-dimensional objects
US12254797B2 (en) 2023-05-12 2025-03-18 Pacific Light & Hologram, Inc. Holographically displaying live scenes including three-dimensional objects
US12288490B2 (en) 2023-05-12 2025-04-29 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12230176B2 (en) 2023-05-12 2025-02-18 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12300132B2 (en) 2023-05-12 2025-05-13 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12266279B2 (en) 2023-05-12 2025-04-01 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects with optical devices having in-coupling and out-coupling diffractive structures
US12272279B2 (en) 2023-05-12 2025-04-08 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
US12374247B2 (en) 2023-05-12 2025-07-29 Pacific Light & Hologram, Inc. Holographically displaying live scenes including three-dimensional objects
US12243453B2 (en) 2023-05-12 2025-03-04 Pacific Light & Hologram, Inc. Holographically displaying three-dimensional objects
TWI880301B (zh) * 2023-08-16 2025-04-11 國家原子能科技研究院 具有準週期性碎形拓樸結構的微型繞射光學元件
US12281984B1 (en) 2023-12-21 2025-04-22 Pacific Light & Hologram, Inc. Optical measurements

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013524270A (ja) * 2010-04-01 2013-06-17 シーリアル テクノロジーズ ソシエテ アノニム ホログラムシステムにおける透過オブジェクトを含む３次元シーンを符号化する方法及び装置
JP2015064593A (ja) * 2007-05-16 2015-04-09 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 通信を行うホログラフィック・ディスプレイ

Family Cites Families (160)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US1009856A (en) 1911-02-02 1911-11-28 Automatic Sounding Machine Company Sounding apparatus.
US1037949A (en) 1911-10-04 1912-09-10 Marius Mathiesen Resilient wheel.
US1053420A (en) 1912-02-09 1913-02-18 Charles W Mcdaniel Mold.
US4586780A (en) 1982-07-30 1986-05-06 Hughes Aircraft Company Directional diffusing screen with suppressed zero-order light
JPS60218626A (ja) * 1984-04-13 1985-11-01 Sharp Corp カラ−液晶表示装置
US5016950A (en) 1988-07-05 1991-05-21 Hughes Aircraft Company Full-color zero-order suppressed diffraction optics diffusing screen/louver filter laminate
US5668648A (en) 1991-11-26 1997-09-16 Kabushiki Kaisha Toshiba Computer-assisted holographic display apparatus
US5347375A (en) 1991-11-26 1994-09-13 Kabushiki Kaisha Toshiba Computer-assisted holographic image formation technique which determines interference pattern data used to form the holographic
JP3271384B2 (ja) * 1993-07-05 2002-04-02 ソニー株式会社 位相制御素子用の液晶配向膜の形成方法
US5464690A (en) 1994-04-04 1995-11-07 Novavision, Inc. Holographic document and method for forming
US6882384B1 (en) 1995-05-23 2005-04-19 Colorlink, Inc. Color filters and sequencers using color selective light modulators
US5825448A (en) 1995-05-19 1998-10-20 Kent State University Reflective optically active diffractive device
JP2990046B2 (ja) * 1995-08-16 1999-12-13 日本電気株式会社 反射型液晶表示装置及びその製造方法
US5719600A (en) * 1995-12-12 1998-02-17 Hewlett-Packard Company Gradient calculation system and method
US6288803B1 (en) 1997-10-27 2001-09-11 Denso Corporation Hologram display
EP0921449B1 (fr) 1997-11-20 2001-05-23 European Community Procédé et dispositif holographiques assistés par ordinateur
US6256120B1 (en) * 1998-04-23 2001-07-03 Victor Company Of Japan, Limited Spatial light modulation device and color display apparatus
AU4424899A (en) * 1998-06-08 1999-12-30 Microsoft Corporation Compression of time-dependent geometry
CA2343751A1 (en) 1998-07-27 2000-02-10 Webtv Networks, Inc. Remote computer access
CN1174359C (zh) * 1999-03-04 2004-11-03 三星电子株式会社 反射型液晶显示器及其制造方法
WO2001042828A1 (en) 1999-12-07 2001-06-14 Digilens Inc. Holographic display system
US7837361B2 (en) 2000-07-14 2010-11-23 Ledalite Architectural Products Light control devices implemented with diffusers having controllable diffusion characteristics
EP1311879A2 (en) 2000-07-14 2003-05-21 Ledalite Architectural Products Inc. Light control devices with kinoform diffusers
US20100085642A1 (en) 2000-07-18 2010-04-08 Optaglio Limited Diffractive device
GB0027133D0 (en) * 2000-11-07 2000-12-20 Secr Defence Improved method of producing a computer generated hologram
WO2002039387A1 (en) * 2000-11-07 2002-05-16 Holographic Imaging Llc Improved three dimensional display
JP4345256B2 (ja) 2001-02-14 2009-10-14 旭硝子株式会社 波長選択性回折素子および光ヘッド装置
US6636285B2 (en) 2001-11-01 2003-10-21 Motorola, Inc. Reflective liquid crystal display with improved contrast
JP3878176B2 (ja) * 2001-11-12 2007-02-07 ウイスコンシン アラムナイ リサーチ フオンデーシヨン インターリービングされた投影−再構成データを使用する三次元位相コントラスト磁気共鳴イメージング
US6580388B1 (en) * 2001-11-20 2003-06-17 The United States Of America As Represented By The Secretary Of The Navy Calculation methodology for complex target signatures
JP3791907B2 (ja) 2002-02-12 2006-06-28 オリンパス株式会社 観察装置
JP2004038012A (ja) 2002-07-05 2004-02-05 Minolta Co Ltd 映像表示装置
JP3844460B2 (ja) * 2002-08-05 2006-11-15 パイオニア株式会社 空間光変調器
US20040105091A1 (en) * 2002-08-26 2004-06-03 Zaidi Nasir J. Devices for measuring light from a source in situ
US6906836B2 (en) 2002-10-04 2005-06-14 William Parker Full color holographic image combiner system
US7847786B2 (en) 2003-03-10 2010-12-07 Koninklijke Philips Electronics, N.V. Multi-view display
CN100483499C (zh) * 2003-08-19 2009-04-29 伊英克公司 控制电光显示器的方法
JP4475501B2 (ja) 2003-10-09 2010-06-09 インターナショナル・ビジネス・マシーンズ・コーポレーション 分光素子、回折格子、複合回折格子、カラー表示装置、および分波器
GB0329012D0 (en) 2003-12-15 2004-01-14 Univ Cambridge Tech Hologram viewing device
JP5055694B2 (ja) 2003-12-26 2012-10-24 旭硝子株式会社 偏光性回折素子および光ヘッド装置
JP4463567B2 (ja) * 2004-01-06 2010-05-19 浜松ホトニクス株式会社 三次元像表示装置および三次元像表示方法
JP4504037B2 (ja) 2004-02-02 2010-07-14 大日本印刷株式会社 光学素子
JP4615245B2 (ja) * 2004-04-28 2011-01-19 オプトレックス株式会社 カラー画像表示装置
DE102004063838A1 (de) 2004-12-23 2006-07-06 Seereal Technologies Gmbh Verfahren und Einrichtung zum Berechnen computer generierter Videohologramme
US7292384B2 (en) * 2005-05-11 2007-11-06 Hewlett-Packard Development Company, L.P. Method and apparatus for providing a three-dimensional moving image display
KR101277370B1 (ko) 2005-05-13 2013-06-20 씨리얼 테크놀로지스 게엠베하 장면의 홀로그래픽 재생을 위한 투사 장치 및 투사 방법
EP1738683A1 (en) * 2005-06-30 2007-01-03 Pixartis SA Microwave temperature image reconstruction
GB0608321D0 (en) * 2006-04-27 2006-06-07 Geola Technologies Ltd A fast digital holographic printer & copier
US20070257943A1 (en) * 2006-05-08 2007-11-08 Eastman Kodak Company Method for rendering color EL display and display device with improved resolution
US8186833B2 (en) 2006-06-09 2012-05-29 Koninklijke Philips Electronics N.V. Method and system for electroholographic display with zeroth-order diffraction suppression
KR101376434B1 (ko) 2006-06-28 2014-04-01 비쥬얼 피직스 엘엘씨 마이크로-광학 보안 및 화상 표시 시스템
DE102006042467A1 (de) 2006-09-09 2008-03-27 Seereal Technologies S.A. Verfahren und Vorrichtung zur Kodierung von computergenerierten Hologrammen in pixelierten Lichtmodulatoren
GB0617945D0 (en) 2006-09-12 2006-10-18 Ucl Business Plc Imaging apparatus and methods
US20080247128A1 (en) 2007-04-03 2008-10-09 Soon Huat Khoo Composite Two Screen Digital Device
CN101784836B (zh) 2007-04-10 2012-07-04 飞利浦电子公司 在上下半球表现出蝙蝠翼状发光强度分布的光控制设备
US8218211B2 (en) 2007-05-16 2012-07-10 Seereal Technologies S.A. Holographic display with a variable beam deflection
US20080300478A1 (en) 2007-05-30 2008-12-04 General Electric Company System and method for displaying real-time state of imaged anatomy during a surgical procedure
US20090015922A1 (en) 2007-06-29 2009-01-15 Allview Research Llc Writing a diffractive structure
US8237711B2 (en) * 2007-11-19 2012-08-07 Caustic Graphics, Inc. Tracing of shader-generated ray groups using coupled intersection testing
CN101226325B (zh) 2008-02-03 2010-06-02 李志扬 基于随机相长干涉的三维显示方法及装置
WO2009109785A2 (en) 2008-03-07 2009-09-11 Javid Khan A three dimensional holographic volumetric display
CN101241603B (zh) * 2008-03-10 2010-06-09 电子科技大学 一种电磁场强度实时可视化方法
JP2009294509A (ja) 2008-06-06 2009-12-17 Sony Corp ３次元像表示装置
GB2461294B (en) 2008-06-26 2011-04-06 Light Blue Optics Ltd Holographic image display systems
US8745536B1 (en) * 2008-11-25 2014-06-03 Perceptive Pixel Inc. Volumetric data exploration using multi-point input controls
EP2376985A4 (en) 2008-12-10 2014-08-27 Holorad Llc SYSTEM AND METHOD FOR COLOR MOTION HOLOGRAPHY
JP5258049B2 (ja) * 2009-02-27 2013-08-07 独立行政法人情報通信研究機構 多視点画像生成装置、多視点画像生成方法および多視点画像生成プログラム
GB2468911A (en) 2009-03-27 2010-09-29 Light Blue Optics Ltd Aberration correction methods using wavefront sensing hologram patches and mapping of phase aberration corrections
GB0906377D0 (en) * 2009-04-14 2009-05-20 Cambridge Entpr Ltd Phase modulation devices for optical applications
KR20100138725A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
JP5316391B2 (ja) 2009-08-31 2013-10-16 ソニー株式会社 画像表示装置及び頭部装着型ディスプレイ
CN102033413B (zh) * 2009-09-25 2012-09-05 李志扬 基于随机相长干涉原理的立体显示装置
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US11204540B2 (en) 2009-10-09 2021-12-21 Digilens Inc. Diffractive waveguide providing a retinal image
EP2494388B1 (en) 2009-10-27 2018-11-21 DigiLens Inc. Compact holographic eyeglass display
US8508581B2 (en) * 2009-10-29 2013-08-13 Industrial Technology Research Institute Pixel data transformation method and apparatus for three dimensional display
CN102770787B (zh) 2009-12-01 2015-09-16 凸版印刷株式会社 显示体及带标签的物品
US20130278631A1 (en) * 2010-02-28 2013-10-24 Osterhout Group, Inc. 3d positioning of augmented reality information
CN102472892B (zh) * 2010-04-28 2014-07-09 松下电器产业株式会社 扫描型图像显示装置
GB201011829D0 (en) 2010-07-14 2010-09-01 Two Trees Photonics Ltd Display system
US9103956B2 (en) 2010-07-28 2015-08-11 Flex Lighting Ii, Llc Light emitting device with optical redundancy
EP2674013B1 (en) 2011-02-11 2017-05-10 Goji Limited An interface for controlling energy application apparatus
JP2013050566A (ja) * 2011-08-31 2013-03-14 Dainippon Printing Co Ltd 画像表示パネル及び画像表示装置
US10129211B2 (en) * 2011-09-15 2018-11-13 Stephan HEATH Methods and/or systems for an online and/or mobile privacy and/or security encryption technologies used in cloud computing with the combination of data mining and/or encryption of user's personal data and/or location data for marketing of internet posted promotions, social messaging or offers using multiple devices, browsers, operating systems, networks, fiber optic communications, multichannel platforms
JP6014978B2 (ja) * 2011-09-22 2016-10-26 ソニー株式会社 液晶表示素子および液晶表示装置
KR101910981B1 (ko) * 2011-10-24 2018-12-21 삼성전자주식회사 홀로그래피 3차원 영상 표시 장치
US10966684B2 (en) 2011-12-23 2021-04-06 Koninklijke Philips N.V Method and apparatus for interactive display of three dimensional ultrasound images
CN103186648B (zh) * 2011-12-31 2016-09-21 北大方正集团有限公司 一种页面图元叠印处理的方法及装置
US8885997B2 (en) 2012-08-31 2014-11-11 Microsoft Corporation NED polarization system for wavelength pass-through
WO2014043196A1 (en) 2012-09-11 2014-03-20 Magic Leap, Inc Ergonomic head mounted display device and optical system
US8976081B2 (en) 2012-10-17 2015-03-10 Intel Corporation Integration of displays
EP2951785B1 (en) 2013-01-31 2019-12-11 Dirtt Environmental Solutions, Ltd. Method and system for efficient modeling of specular reflection
US9158498B2 (en) * 2013-02-05 2015-10-13 Intel Corporation Optimizing fixed point divide
TWI674671B (zh) 2013-05-28 2019-10-11 日商新力股份有限公司 顯示裝置及電子機器
US20140354697A1 (en) 2013-05-30 2014-12-04 Qualcomm Mems Technologies, Inc. Analog interferometric modulator color calibration
US10098565B2 (en) 2013-09-06 2018-10-16 Covidien Lp System and method for lung visualization using ultrasound
US9450147B2 (en) * 2013-12-27 2016-09-20 Apple Inc. LED with internally confined current injection area
JP6223228B2 (ja) 2014-02-26 2017-11-01 オリンパス株式会社 表示装置
US9465361B2 (en) 2014-03-31 2016-10-11 Disney Enterprises, Inc. Image based multiview multilayer holographic rendering algorithm
US9710957B2 (en) * 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Graphics processing enhancement by tracking object and/or primitive identifiers
US9918053B2 (en) * 2014-05-14 2018-03-13 Jasper Display Corp. System and method for pulse-width modulating a phase-only spatial light modulator
JP6408297B2 (ja) * 2014-08-14 2018-10-17 学校法人上智学院 ビームフォーミング方法、計測イメージング装置、及び、通信装置
US10624612B2 (en) 2014-06-05 2020-04-21 Chikayoshi Sumi Beamforming method, measurement and imaging instruments, and communication instruments
US20150378080A1 (en) 2014-06-30 2015-12-31 Microsoft Corporation Volume hologram for optic illumination
KR20170031700A (ko) * 2014-07-15 2017-03-21 오스텐도 테크놀로지스 인코포레이티드 완전 시차 광 필드 압축을 위한 전처리기
US9515099B2 (en) 2014-07-31 2016-12-06 Lg Display Co., Ltd. Flexible display device with wire having reinforced portion and manufacturing method for the same
KR102271433B1 (ko) 2014-08-22 2021-07-01 엘지전자 주식회사 자가진단시스템 및 디스플레이 디바이스의 자가진단 방법
US9892560B2 (en) 2014-09-11 2018-02-13 Nant Holdings Ip, Llc Marker-based augmented reality authoring tools
CN105637428B (zh) 2014-09-26 2018-05-01 深圳市泛彩溢实业有限公司 全息三维显示系统和方法
CN104267591A (zh) * 2014-09-27 2015-01-07 郑敏 基于三次曝光技术消色差的方法
KR102417136B1 (ko) 2014-09-29 2022-07-05 매직 립, 인코포레이티드 상이한 파장의 광을 도파관 밖으로 출력하기 위한 아키텍쳐 및 방법
CN105631375B (zh) 2014-11-13 2021-05-14 中兴通讯股份有限公司 对电子标签做空间定位、3d签名及人机交互的方法、设备
CN105654167A (zh) 2014-11-13 2016-06-08 中兴通讯股份有限公司 基于生物电子标签的特征提取、验证方法及其设备、标签
US10191196B2 (en) 2014-11-20 2019-01-29 Samsung Electronics Co., Ltd. Backlight unit for holographic display apparatus and holographic display apparatus including the same
US9857523B2 (en) 2014-11-24 2018-01-02 Electronics And Telecommunications Research Institute Apparatus for controlling light beam path
WO2016093776A1 (en) * 2014-12-08 2016-06-16 Levent Onural A system and method for displaying and capturing holographic true 3d images
CN104466007B (zh) 2014-12-30 2017-05-03 京东方科技集团股份有限公司 一种像素结构及其显示方法、显示装置
KR101800929B1 (ko) 2015-01-29 2017-11-23 한국전자통신연구원 홀로그래픽 디스플레이 왜곡 보정 방법 및 장치
JP6743711B2 (ja) 2015-02-13 2020-08-19 日本電気株式会社 投射装置およびインターフェース装置
CN104776865B (zh) * 2015-03-21 2017-07-07 复旦大学 基于最大磁感应强度矢量旋转角快速测定的电磁跟踪系统及方法
JP6961491B2 (ja) 2015-04-23 2021-11-05 レイア、インコーポレイテッドLeia Inc. 二重ライトガイド式格子ベースのバックライトおよび同バックライトを用いる電子ディスプレイ
US10210844B2 (en) 2015-06-29 2019-02-19 Microsoft Technology Licensing, Llc Holographic near-eye display
KR102441587B1 (ko) 2015-08-03 2022-09-07 삼성전자주식회사 홀로그래픽 이미지를 처리하는 방법 및 장치
US10282806B2 (en) 2016-04-20 2019-05-07 Mediatek, Inc. Graphics Accelerator
US10162181B2 (en) 2015-12-03 2018-12-25 Microsoft Technology Licensing, Llc Display device with optics for brightness uniformity tuning having DOE optically coupled to receive light at central and peripheral regions
EP3380878B1 (en) 2016-01-06 2023-03-08 Vuzix Corporation Two channel imaging light guide with dichroic reflectors
WO2017120341A1 (en) 2016-01-06 2017-07-13 Vuzix Corporation Double-sided imaging light guide
US10475370B2 (en) 2016-02-17 2019-11-12 Google Llc Foveally-rendered display
WO2017145158A1 (en) 2016-02-22 2017-08-31 Real View Imaging Ltd. Zero order blocking and diverging for holographic imaging
US20190155033A1 (en) 2016-02-22 2019-05-23 Real View Imaging Ltd. Holographic display
US10310335B2 (en) * 2016-02-29 2019-06-04 Microsoft Technology Licensing, Llc Reducing orders of diffraction patterns
CN105589605B (zh) 2016-03-21 2018-10-02 京东方科技集团股份有限公司 一种三维触控结构及显示装置
US10228653B2 (en) 2016-04-07 2019-03-12 Pixie Dust Technologies, Inc. System and method for rendering interactive aerial volumetric graphics and generating spatial audio using femtosecond lasers
US20170322414A1 (en) 2016-05-09 2017-11-09 Fusao Ishii Optical waveguide using fresnel lenses
WO2017198713A2 (de) 2016-05-18 2017-11-23 Seereal Technologies S.A. Verfahren zur erzeugung von hologrammen
RU2627926C1 (ru) 2016-07-18 2017-08-14 Самсунг Электроникс Ко., Лтд. Оптическая система для биометрической идентификации пользователя
US11150486B2 (en) 2017-02-15 2021-10-19 Pure Depth Inc. Method and system for object rippling in a display system including multiple displays
US10430978B2 (en) 2017-03-02 2019-10-01 Adobe Inc. Editing digital images utilizing a neural network with an in-network rendering layer
JP7077334B2 (ja) 2017-03-21 2022-05-30 マジック リープ， インコーポレイテッド 分割瞳のための空間光変調器照明を伴うディスプレイシステム
KR102699560B1 (ko) 2017-03-21 2024-08-27 매직 립, 인코포레이티드 결합된 시야에 대한 상이한 회절 격자들을 갖는 스택된 도파관들
US10884378B2 (en) 2017-06-20 2021-01-05 Korea Advanced Institute Of Science And Technology Apparatus and method for forming 3-dimensional holographic image using aperiodically structured optical elements
US10969740B2 (en) * 2017-06-27 2021-04-06 Nvidia Corporation System and method for near-eye light field rendering for wide field of view interactive three-dimensional computer graphics
WO2019010233A1 (en) 2017-07-05 2019-01-10 Red. Com, Llc PROCESSING VIDEO IMAGE DATA IN ELECTRONIC DEVICES
US10534209B1 (en) * 2017-08-21 2020-01-14 Facebook Technologies, Llc Liquid crystal structure for controlling brightness uniformity in a waveguide display
US10838360B2 (en) * 2017-10-02 2020-11-17 Microsoft Technology Licensing, Llc Variable shear with volume holograms
US10690958B2 (en) 2017-10-18 2020-06-23 Samsung Electronics Co., Ltd. Beam deflector and three-dimensional display device including the same
KR102497832B1 (ko) * 2017-12-26 2023-02-08 한국전자통신연구원 홀로그램 생성 장치 및 그 방법
KR102742158B1 (ko) 2018-01-16 2024-12-16 퍼시픽 라이트 앤드 홀로그램 인크. 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들
GB2569206B (en) 2018-05-25 2019-12-04 Dualitas Ltd A method of displaying a hologram on a display device comprising pixels
CN112567269A (zh) 2018-08-10 2021-03-26 3M创新有限公司 光控膜及其制造方法
US11386282B2 (en) 2018-12-26 2022-07-12 Denso Wave Incorporated Optical information reader
CN113490873A (zh) 2018-12-28 2021-10-08 奇跃公司 带有机械致动图像投影仪的可变像素密度显示系统
WO2020155092A1 (en) 2019-02-01 2020-08-06 Boe Technology Group Co., Ltd. Apparatus integrated with display panel for tof 3d spatial positioning
US20200341194A1 (en) 2019-04-26 2020-10-29 Digilens Inc. Holographic Waveguide Illumination Homogenizers
US20230213767A1 (en) 2020-05-26 2023-07-06 Digilens Inc. Eye Glow Suppression in Waveguide Based Displays
JP7474126B2 (ja) 2020-06-17 2024-04-24 浜松ホトニクス株式会社 画像出力装置
US11360430B2 (en) 2020-09-17 2022-06-14 Pacific Light & Hologram, Inc. Reconstructing objects with display zero order light suppression
WO2022060734A1 (en) 2020-09-17 2022-03-24 Pacific Light & Hologram, Inc. Reconstructing objects with display zero order light suppression
KR20230048217A (ko) 2021-10-01 2023-04-11 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 전자 장치
US11900842B1 (en) 2023-05-12 2024-02-13 Pacific Light & Hologram, Inc. Irregular devices

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015064593A (ja) * 2007-05-16 2015-04-09 シーリアル テクノロジーズ ソシエテ アノニムＳｅｅｒｅａｌ Ｔｅｃｈｎｏｌｏｇｉｅｓ Ｓ．Ａ． 通信を行うホログラフィック・ディスプレイ
JP2013524270A (ja) * 2010-04-01 2013-06-17 シーリアル テクノロジーズ ソシエテ アノニム ホログラムシステムにおける透過オブジェクトを含む３次元シーンを符号化する方法及び装置

Also Published As

Publication number Publication date
EP3740735A1 (en) 2020-11-25
US20200272098A1 (en) 2020-08-27
US10878622B2 (en) 2020-12-29
US11995769B2 (en) 2024-05-28
US20210209846A1 (en) 2021-07-08
US10964103B2 (en) 2021-03-30
US20200275081A1 (en) 2020-08-27
US20240394977A1 (en) 2024-11-28
JP2024150587A (ja) 2024-10-23
WO2019143729A1 (en) 2019-07-25
US10867439B2 (en) 2020-12-15
CN115493479A (zh) 2022-12-20
US10853999B2 (en) 2020-12-01
KR20250002804A (ko) 2025-01-07
US20230113022A1 (en) 2023-04-13
US20200280715A1 (en) 2020-09-03
JP7314149B2 (ja) 2023-07-25
US10878623B2 (en) 2020-12-29
US10902673B2 (en) 2021-01-26
US20200271949A1 (en) 2020-08-27
US20200275082A1 (en) 2020-08-27
US10854000B2 (en) 2020-12-01
EP3740735A4 (en) 2021-11-24
JP2021510842A (ja) 2021-04-30
CN115493480A (zh) 2022-12-20
CN111602026A (zh) 2020-08-28
CN115493479B (zh) 2025-05-27
US11410384B2 (en) 2022-08-09
US20200273242A1 (en) 2020-08-27
US10909756B2 (en) 2021-02-02
US20200273236A1 (en) 2020-08-27
US20220366647A1 (en) 2022-11-17
US20200275088A1 (en) 2020-08-27
CN111602026B (zh) 2022-09-02
JP2023156285A (ja) 2023-10-24
KR20200109315A (ko) 2020-09-22

Similar Documents

Publication Publication Date Title
KR102742158B1 (ko) 전자기 필드 컴퓨팅들을 이용한 3차원 디스플레이들
US11900842B1 (en) Irregular devices
US12236816B2 (en) Holographically displaying live scenes including three-dimensional objects
US20250029529A1 (en) Holographically displaying live scenes including three-dimensional objects
US12374247B2 (en) Holographically displaying live scenes including three-dimensional objects
US20250037625A1 (en) Holographically displaying live scenes including three-dimensional objects
HK40084217A (en) Three-dimensional displaying systems using electromagnetic field computations
HK40084216A (en) Methods, displays and systems of three-dimensional displaying using electromagnetic field computations
HK40028177B (en) Method of three-dimensional displaying using electromagnetic field computations
HK40028177A (en) Method of three-dimensional displaying using electromagnetic field computations

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20200716

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20211124

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240131

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20241030

A107 Divisional application of patent
GRNT Written decision to grant
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20241209

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20241209

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20241210

End annual number: 3

Start annual number: 1

PG1601 Publication of registration