JPH1118025A - 画像呈示装置 - Google Patents
画像呈示装置Info
- Publication number
- JPH1118025A JPH1118025A JP16775297A JP16775297A JPH1118025A JP H1118025 A JPH1118025 A JP H1118025A JP 16775297 A JP16775297 A JP 16775297A JP 16775297 A JP16775297 A JP 16775297A JP H1118025 A JPH1118025 A JP H1118025A
- Authority
- JP
- Japan
- Prior art keywords
- orientation
- viewpoint
- display
- projection plane
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
- G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Processing Or Creating Images (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
置を装着させる必要がなく、高解像度のディスプレイを
用いる必要もない、直観的な空間的ユーザインターフェ
ースを提供する。 【解決手段】 3次元仮想世界を記憶する3次元記憶手
段2と、位置及び向きが可変である可動式ディスプレイ
1と、3次元記憶手段2に記憶されている3次元仮想世
界を2次元画像に投影する投影手段4と、可動式ディス
プレイ1の位置及び向きに応じて、投影手段4での投影
時における視点の位置と投影面の位置及び向きとを決定
する視点投影面決定手段3とを備え、決定された視点の
位置と投影面の位置及び向きとに基づいて投影して得ら
れた2次元画像を可動式ディスプレイ1に表示してユー
ザに呈示する。
Description
変であるディスプレイを用いて2次元画像を呈示する画
像呈示装置に関する。
ーザがあたかもその仮想世界の内部に存在するように見
せかける対話的なユーザインターフェース技術は、種々
のものが考案されてきている。
る技術としては、「頭部搭載型ディスプレイ」が考案さ
れている。これは、実世界中のユーザの頭部の位置及び
向きを検知し、その検知結果に応じて仮想世界を画像に
投影し、その画像をユーザの眼前に取り付けられたディ
スプレイ上に呈示するものである。また、同様の効果を
より簡略に実現するため、ユーザの頭部の位置及び向き
と眼球の向きとを検知し、その検知結果に応じて画像を
生成し、従来の「据え置き型ディスプレイ」に表示させ
る手法も検討されている。
の技術としては、「データグローブ」が考案されてい
る。これは、各関節の相当部位に位置・向きセンサが配
置された手袋をユーザに装着させて手,指の動きをモニ
タし、その動き,形を入力情報とするものである。これ
により実世界と同等の感覚で仮想世界の中の物体に対し
て操作を行うことができる。また、位置と向きとに特化
した入力手段(例えば3次元マウス)をユーザに操作さ
せ、その入力手段の位置及び向きを検知し、その検知結
果を入力情報とする手法も考案されている。更に、既存
のキーボード,マウスなど従来の入力方法を用いること
も行われている。
法には次のような問題点がある。「頭部搭載型ディスプ
レイ」は、着脱の煩雑さ,装着中の違和感が問題であ
り、頻繁な使用,長時間の持続的な使用には向いていな
い。また、ユーザの視野を覆い隠してしまうので、実世
界の障害物による危険も無視できない。更に、十分な画
質を持たせて視野全体を模擬するためには、非常に高解
像度の表示が必要となり、表示デバイスの解像度及び画
像生成のための計算コストによる制約を受ける。頭部の
位置及び向きと眼球の向きとに応じて画像を生成し、
「据え置き型ディスプレイ」に表示させる手法は、見回
す範囲が限られており、有効な方法とは言えない。
中の違和感が問題である。また、個別の物体に関して、
手と物体との接触点における力の伝わり方などを逐一計
算しなければならないため、計算コストが掛かる。位置
と向きとに特化した入力手段を使用する場合は、画像が
表示される場所とは別の場所で操作を行わなければなら
ないので、直観的な操作とは言えない。キーボード,マ
ウスなど従来の入力方法を用いる手法は、座標値の入力
など抽象的表現によりユーザの意図をコンピュータに伝
えなければならないため、実在感に欠けた操作となって
しまう。
話的なインターフェースを構築することは様々な応用を
持つ。例えば、バーチャルリアリティ分野においては、
仮想的な3次元世界において直観的な空間認識,対話的
な物体操作を行うことは必須技術であり、その技術を携
帯端末などの小規模システムで実現することが望まれて
いる。また、特殊な技能の習得を必要とせずに複雑な3
次元構造から求める情報を正確に抽出することが可能と
なれば、医用画像解析などの分野に応用できる。このよ
うな状況から、容易に使用可能であって、自然で効果的
な空間形成,動作応答を特徴とする空間的ユーザインタ
ーフェースの構築が重要な課題となっている。
であり、ユーザの身体にセンサ,ディスプレイ等の装置
を装着させる必要が全くなく、高解像度のディスプレイ
を用いる必要もない、直観的な空間的ユーザインターフ
ェースである画像呈示装置を提供することを目的とす
る。
は、直接ユーザが手に持つか指示体によって支えられた
普通程度の解像度を持つ可動式ディスプレイを用い、該
可動式ディスプレイの位置と向きとに応じて視点と投影
面との位置関係を変化させながら3次元仮想世界を2次
元画像に投影し、得られた2次元画像を該可動式ディス
プレイに表示することを特徴とする。以下、図面を参照
して本発明の概要をもう少し具体的に説明する。
を示す模式図である。図13にあっては、実世界中の可動
式ディスプレイを黒枠で示し、仮想世界の投影部分を実
線、非投影部分を点線で示している。本発明の画像呈示
装置を用いると、例えば、仮想世界中における「見回
し」「視点の移動」「物体の操作」が可能となる。
スプレイのある位置と向きとに応じて3次元仮想世界を
投影して得られる2次元画像が可動式ディスプレイに呈
示されている。このような状態から、視点位置が固定さ
れていると考え、可動式ディスプレイの動きに合わせて
投影面の位置と向きとを変化させると、あたかも可動式
ディスプレイを通して仮想世界を覗いているかのような
「見回し」が可能となる(図13(b))。また、図13
(a)の状態から、視点位置も可動式ディスプレイの動
きに合わせて変化させると、3次元仮想世界の中で「視
点の移動」を行うことができる(図13(c))。また、
仮想世界中の特定の物体の位置及び向きも可動式ディス
プレイの動きに合わせて動かすと、「物体の操作」が可
能となる(図13(d))。以上のように、本発明の画像
呈示装置では、可動式ディスプレイを用い、可動式ディ
スプレイの動きに合わせて、投影面の位置,向き、視点
位置及び/または物体の位置と向きを変えながら、3次
元仮想世界を投影して得られる2次元画像を可動式ディ
スプレイに表示する。
理論に基づいている。 (情報抽出理論)人の視覚システムにおいては、「見回
し」,「視点の移動」に伴って生じる環境中の包囲光配
列の流動パターンから、その物体の立体構造などの不変
項を抽出すると言われている。即ち、眼球・頭部・体幹
の運動のための筋肉収縮運動,身体に加わる慣性力など
に基づいて、時々刻々の眼球の位置及び向きを取得し、
その取得結果を網膜上に得られる動画像と照らし合わせ
て、物体の3次元的な内的表象を頭の中で構築している
と考えられる。
を受容する際、眼球の位置・向きの自然な変化を妨げな
いようにすることにより、より実在感に溢れた表示シス
テムを実現している。これは、「頭部搭載型ディスプレ
イ」を用いた従来のバーチャルリアリティ技術でも考慮
されてきたことである。
体(B)に対してある操作(C)を行うことが可能であ
る場合、「物体(B)は人(A)に対して操作(C)を
アフォードする」または「操作(C)は人(A)にとっ
て物体(B)のアフォーダンスである」と呼ぶことがで
きる。また、実際に人(A)が物体(B)に対して操作
(C)を行うことは、「人(A)が物体(B)から操作
(C)というアフォーダンスを知覚し、そのアフォーダ
ンスを利用すること」であると言える。
ザにアフォードする操作を、実世界において可動式ディ
スプレイがユーザにアフォードする操作と出来る限り一
致させることにより、仮想世界中の物体のアフォーダン
スを利用しやすくしている。人が物体を操作するときに
重要なことは、どのようなアフォーダンスを利用するか
ということであり、指と物体表面との間に働く個々の力
はあまり重要でない。その点において、その力を逐一計
算する「データグローブ」などを用いた従来のバーチャ
ルリアリティ技術は必要以上の計算コストを掛けてい
る。本発明では、実行可能な操作を平行移動,回転移動
など基本的な操作に絞ることにより、計算コストを抑え
ながらも十分実用的な対話的操作を可能としている。ま
た、可動式ディスプレイ自体を操作対象とすることによ
り、適切な操作が行われているか否かに関して自然な形
で視覚的フィードバックをかけることができる。
を最大限に活用するため、視野すべての情報を均一に採
り入れるのではなく、網膜像の一部の情報のみを選択し
て優先的に受容すると考えられている(注意の容量限界
説)。物体を操作する場合、物体の動きを目で追うとき
にはそちらに注意を向けており(能動的注意)、物体に
目が引かれるときにはそちらに注意が向いている(受動
的注意)と言える。本発明では、「頭部搭載型ディスプ
レイ」を用いた従来技術に見られるような視野全体を模
擬するのではなく、注意が向いている領域のみを模擬す
ることにより、普通程度の解像度のディスプレイを用い
ても実在感を損なわないようにしている。
像を2次元平面に投影した2次元画像を呈示する画像呈
示装置において、3次元画像を記憶する記憶手段と、位
置及び向きが可変であるディスプレイと、前記記憶手段
に記憶されている3次元画像を2次元平面に投影する投
影手段と、前記ディスプレイの位置及び向きに応じて、
前記投影手段での投影時における視点の位置と投影面の
位置及び向きとを決定する決定手段とを備え、該決定手
段で決定された視点の位置と投影面の位置及び向きとに
基づいて前記投影手段で3次元画像を投影して得られる
2次元画像を前記ディスプレイに表示するように構成し
たことを特徴とする。
において、前記決定手段は、視点の位置を一定に保つよ
うに、視点の位置と投影面の位置及び向きとを決定する
ように構成したことを特徴とする。
において、前記決定手段は、視点の位置と投影面の位置
及び向きとの相対的位置関係を一定に保つように、視点
の位置と投影面の位置及び向きとを決定するように構成
したことを特徴とする。
〜3の何れかにおいて、前記ディスプレイの位置及び向
きを検出する検出手段を備え、前記決定手段は、該検出
手段での検出結果に応じて、視点の位置と投影面の位置
及び向きとを決定するように構成したことを特徴とす
る。
〜3の何れかにおいて、前記ディスプレイの位置及び向
きを制御する制御手段を備え、前記決定手段は、該制御
手段の前記ディスプレイに対する制御信号に応じて、視
点の位置と投影面の位置及び向きとを決定するように構
成したことを特徴とする。
〜3の何れかにおいて、前記ディスプレイの位置及び向
きを設定する設定手段を備え、前記決定手段は、該設定
手段にて設定された前記ディスプレイの位置及び向きに
応じて、視点の位置と投影面の位置及び向きとを決定す
るように構成したことを特徴とする。
〜6の何れかにおいて、前記ディスプレイを搭載する可
動式乗物を備え、前記決定手段は、前記ディスプレイの
位置及び向きと前記可動式乗物の位置及び向きとに応じ
て、視点の位置と投影面の位置及び向きとを決定するよ
うに構成したことを特徴とする。
〜7の何れかにおいて、前記3次元画像には、位置及び
向きを有する複数の物体が存在し、前記物体のうちの1
つの物体を選択する選択手段と、該選択手段で選択され
た物体の位置及び向きを、前記決定手段にて決定された
視点の位置と投影面の位置及び向きとに応じて決定する
手段とを備えることを特徴とする。
1)の基本構成を示すブロック図である。この画像呈示
装置は、可動式ディスプレイ1と、3次元記憶手段2
と、視点投影面決定手段3と、投影手段4とを有する。
可動式ディスプレイ1は、ユーザが手に持つかまたは支
持体に支持されており、その位置及び向きが可変であ
る。3次元記憶手段2は、3次元仮想世界の画像を記憶
している。視点投影面決定手段3は、可動式ディスプレ
イ1の位置及び向きに応じて、投影手段4における視点
の位置と投影面の位置及び向きとを決定し、決定したパ
ラメータ(視点の位置と投影面の位置及び向き)を投影
手段4へ出力する。投影手段4は、視点投影面決定手段
3にて決定されたパラメータに基づいて、3次元記憶手
段2に記憶されている3次元仮想世界の画像を2次元画
像に投影し、その2次元画像が可動式ディスプレイ1に
呈示される。
を図2に示す。図2において、A,Bはそれぞれ決定さ
れた視点,投影面であり、またCは投影対象を示す。投
影面B上の画素と視点Aとを結ぶ直線上で、投影面Bよ
り視点A側の視点同側領域D,投影面Bより視点Aと反
対側の視点反対側領域E及び投影面B自体のうちの1つ
以上の領域である投影対象領域の中で最も視点Aに近い
点をその画素に投影する。
レイ1の位置及び向きに応じて視点Aと投影面Bとの位
置関係を変化させながら、3次元仮想世界を2次元画像
に投影し、得られた2次元画像を可動式ディスプレイ1
に呈示してユーザに提供することができる。可動式ディ
スプレイ1の位置及び向きに応じて変化する2次元画像
が呈示されるので、ユーザは、身体にセンサ,ディスプ
レイ等の装置を装着することなく、極めて簡易かつ容易
に3次元仮想世界を2次元画面上で認識できる。
る視点の位置を一定に保つようにする場合には(請求項
2)、前述したように、可動式ディスプレイ1を通して
3次元仮想世界を覗くことができ(図13(a)から
(b)への推移)、3次元仮想世界において定点から見
回す状況を模擬できる。
を決定する際に、視点の位置と投影面の位置及び向きと
の相対的位置関係を一定に保つようにする場合には(請
求項3)、前述したように、3次元仮想世界内で視点の
移動を行うことができ(図13(a)から(c)への推
移)、視空間的な注意領域の大きさ及び形を固定したま
ま視点を変える状況を模擬できる。
項4)の基本構成を示すブロック図である。この画像呈
示装置は、図1と同様の可動式ディスプレイ1,3次元
記憶手段2,視点投影面決定手段3及び投影手段4と、
可動式ディスプレイ1の位置及び向きを検出するディス
プレイ位置・向き検出手段5とを有する。視点投影面決
定手段3は、ディスプレイ位置・向き検出手段5から入
力される可動式ディスプレイ1の位置及び向きに応じ
て、投影手段4による投影時の視点の位置と投影面の位
置及び向きとを決定する。よって、例えば、ユーザが可
動式ディスプレイ1を手に持って操作する場合、可動式
ディスプレイ1に対するユーザの操作(可動式ディスプ
レイ1への直接的な位置,向きの変更)が視点の位置と
投影面の位置及び向きとに反映され、呈示画像の位置・
向きの微調整が可能である。
としては、磁気センサまたは超音波センサを用いる検出
手段、可動式ディスプレイ1の支持体の各関節の角度を
検知する機能を備えた多関節アーム装置を用いる検出手
段、ジャイロスコープ,加速度計によって測定された角
速度,加速度に従って内部メモリに格納された角度・位
置・速度を更新していく手段等、位置及び向きの検出が
可能であるすべての検出手段が使用可能である。
(請求項5)の基本構成を示すブロック図である。この
画像呈示装置は、図1と同様の可動式ディスプレイ1,
3次元記憶手段2,視点投影面決定手段3及び投影手段
4と、可動式ディスプレイ1の位置及び向きを制御する
ディスプレイ位置・向き制御手段6とを有する。ディス
プレイ位置・向き制御手段6から、可動式ディスプレイ
1の位置及び向きを制御するための制御信号が視点投影
面決定手段3に送られ、その制御信号に応じて、視点投
影面決定手段3は、投影手段4による投影時の視点の位
置と投影面の位置及び向きとを決定する。よって、例え
ば、ユーザ以外の映像提供者が3次元仮想世界の映像ス
トーリーに合わせて可動式ディスプレイ1を移動させる
ことにより、ユーザである映像受容者の視点位置及び視
点方向を最適なものに誘導できる。
(請求項6)の基本構成を示すブロック図である。この
画像呈示装置は、図1と同様の可動式ディスプレイ1,
3次元記憶手段2,視点投影面決定手段3及び投影手段
4と、可動式ディスプレイ1の位置及び向きを設定する
ディスプレイ位置・向き設定手段7とを有する。ディス
プレイ位置・向き設定手段7から、可動式ディスプレイ
1の位置及び向きの設定パターンが視点投影面決定手段
3に送られ、その設定パターンに応じて、視点投影面決
定手段3は、投影手段4による投影時の視点の位置と投
影面の位置及び向きとを決定する。よって、例えば、移
動パターンが設定されている移動物に可動式ディスプレ
イ1を設置した場合、移動物の移動に応じて変化する画
像を可動式ディスプレイ1によりユーザに呈示できる。
(請求項7)の基本構成を示すブロック図である。この
画像呈示装置は、図1と同様の可動式ディスプレイ1,
3次元記憶手段2,視点投影面決定手段3及び投影手段
4と、ユーザを搭載する可動式乗物8とを有する。可動
式乗物8の位置及び向きの情報が視点投影面決定手段3
に送られ、視点投影面決定手段3では、可動式ディスプ
レイ1の位置及び向きだけでなく、この可動式乗物8の
位置及び向き情報も参照して、投影手段4による投影時
の視点の位置と投影面の位置及び向きとを決定する。よ
って、例えば、ユーザが3次元仮想世界で乗物に乗って
いる状況を模擬できる。
(請求項8)の基本構成を示すブロック図である。この
画像呈示装置は、図1と同様の可動式ディスプレイ1,
3次元記憶手段2,視点投影面決定手段3及び投影手段
4と、3次元仮想世界における特定の仮想物体を選択す
る仮想物体選択手段9と、ある特定の仮想物体の位置及
び向きを、視点投影面決定手段3にて決定された視点の
位置と投影面の位置及び向きとに応じて決定する仮想物
体位置・向き決定手段10とを有する。
から特定の仮想物体が仮想物体選択手段9で選択される
と、その選択情報が3次元記憶手段2に送られる。ま
た、その選択された特定の仮想物体の位置及び向きが、
仮想物体位置・向き決定手段10にて、視点投影面決定手
段3にて決定された視点の位置と投影面の位置及び向き
とに応じて決定され、その位置・向き情報が3次元記憶
手段2に送られる。そして、これらの情報を鑑みて、3
次元記憶手段2の3次元仮想世界が、投影手段4にて2
次元画像に投影される。よって、可動式ディスプレイ1
の動きに合わせて特定の仮想物体も移動することにな
り、前述したように、3次元仮想世界内での物体の操作
を行うことができ(図13(a)から(d)への推移)、
ユーザが可動式ディスプレイ1を動かすことにより、3
次元仮想世界の物体の位置と向きとを変える状況を模擬
できる。
示す図面を参照して具体的に説明する。
を2次元画像で呈示する本発明の一例としての小型のバ
ーチャルリアリティ端末の正面図である。可動式ディス
プレイ1としては、ユーザが手で自由な操作が可能であ
る程度の大きさを有する平面型の液晶ディスプレイ11を
使用する。また、ディスプレイ位置・向き検出手段5と
しては、そのバーチャルリアリティ端末に設置された磁
気センサ12と実世界の一点に固定された磁気発生部13と
を使用し、磁気発生部13からの磁気に対する磁気センサ
12での検知結果に基づいて液晶ディスプレイ11の位置及
び向き(磁気発生部13に対する相対位置及び向き)を検
出するようになっている。更に、バーチャルリアリティ
端末には、補助入力手段として、後述する視点変更ボタ
ン14と物体操作ボタン15とが設置されている。
同側領域,視点反対側領域及び投影面自体(図2参照)
のすべての領域とする。また、液晶ディスプレイ11のハ
ードウェア特性を考慮して、視点の位置と投影面の位置
及び向きとに応じて、画像の輝度変換を行う。即ち、液
晶ディスプレイ11の表示面を斜めから見ると暗くなるの
で、そのような場合には少し明るくなるようにする。視
点投影面決定手段3では、投影面の位置及び向きが実世
界における液晶ディスプレイ11の位置及び向きと等しく
なるようにする。
は、視点の位置を一定に保つ。この場合の一定な視点の
位置は、バーチャルリアリティ端末の使用開始時には液
晶ディスプレイ11の正面の所定値(数十cm程度)離れ
た位置とし、そうでないときには最後に視点変更ボタン
14が離された時の視点の位置とする。このような一定な
視点の位置に、ユーザは自分の目(視点)を固定する。
ユーザは、視点変更ボタン14を離した状態で、自分の視
点を動かさないようにしながら、注意を向けようとする
位置に液晶ディスプレイ11を移動させることにより、そ
の部分の仮想世界を覗き穴を通して見回すことを模擬で
きる。
は、視点の位置と投影面の位置及び向きとの相対的な位
置関係を一定に保つように設定する。ユーザは、視点変
更ボタン14を押した状態で、液晶ディスプレイ11と自分
の視点との相対的な位置関係を固定しながら、注意を向
けようとする位置に液晶ディスプレイ11を移動させるこ
とにより、仮想世界の中で視点の位置を変更することが
できる。
液晶ディスプレイ11上の固定位置に表示されたポインタ
が重なっている仮想物体を、仮想物体選択手段9にて選
択する。仮想物体位置・向き決定手段10では、予め設定
された仮想物体の重心を投影面に投影し、その投影され
た投影面上の点を重心投影点とすると、重心投影点が投
影面上で移動せず、視点から重心までの距離が視点から
重心投影点までの距離に比例し、その仮想物体の向きと
投影面の向きとの相対的な関係を一定に保つように仮想
物体の位置及び向きを決定する。ユーザは、物体操作ボ
タン15を離した状態で、ポインタがある位置に操作した
い仮想物体が投影されるように液晶ディスプレイ11を動
かした後、物体操作ボタン15を押してその仮想物体を選
択し、物体操作ボタン15を押した状態で液晶ディスプレ
イ11を動かすことにより、その仮想物体の位置及び向き
を変更することができる。
ている書面Sをここちらに向ける動作について、その動
作時のユーザの操作手順を示す図9を参照して説明す
る。図9(a)〜(c)は経時的なユーザの視野変化を
表している。まず、物体操作ボタン15を押さずに、液晶
ディスプレイ11を動かして所望の書面Sがどこにあるか
を探す。書面Sが見つかれば、液晶ディスプレイ11上の
ポインタを書面Sの位置に合わせる(図9(a))。そ
の後、液晶ディスプレイ11の向きと画面に呈示されてい
る書面Sの向きとが見た目で等しくなるように液晶ディ
スプレイ11の向きを調整し、ここで、物体操作ボタン15
を押して書面を選択する(図9(b))。そして、物体
操作ボタン15を押したままで、液晶ディスプレイ11を正
面に向ければ、仮想世界内の書面Sも正面を向いた状態
で呈示される(図9(c))。従来では、書面の角度な
どを検出して複雑な計算が必要であったが、本発明では
極めて直観的に書面Sに対する操作を行える。
のみ動くことができる」「ある軸が常に一定方向を向い
ている」等の移動における制限が予め指定されている。
よって、指定された制限を越えてユーザが仮想物体を移
動させようとした場合に、その制限範囲内での動きに解
釈し直して仮想物体が移動される。例えば、コップをテ
ーブルの上に置く場合に、ユーザがテーブル面の下まで
コップを移動させようとしても、コップはテーブル面に
埋め込まれず、テーブル面上での2次元の動きと解釈さ
れてコップはテーブル面上を移動する。また、自動車の
動きは地面の上での2次元の動きに限定し、列車の動き
は線路の上での1次元の動きに限定することにより、よ
り実在感を表現できる。
きが変化する際に、次のような副次的変化も呈示するこ
とによって、実在感をより強調する。例えば、水が入っ
たグラスを傾ける際に、ゆっくり傾ける場合には細々と
水がグラスから流れ出ていくが、素早く傾ける場合には
勢いよく水がグラスから流れ出ていくようにする。ま
た、鏡を動かす際には、その鏡に写る光景も鏡の移動に
応じてダイナミックに生成して呈示する。更に、照明器
具を動かす際には、そのまわりの光景の状態を照明器具
の移動に応じて変化させる。
して一貫した副次的効果を与えることにより、ユーザは
その仮想物体を道具として使用することができる。例え
ば、ユーザが、彫刻刀を物体操作ボタン15にて選択し、
液晶ディスプレイ11を動かして仮想的彫刻刀を操作する
ことにより、仮想世界内で彫刻を行うことができる。
適な端末の例について説明する。なお、装置構成及び基
本的な使用方法は、実施の形態1と同様とする。但し、
投影手段4における投影対象領域は、視点反対側領域と
投影面とに限定し、視点同側領域の部分は投影しないよ
うにする。これによって、対象となる仮想物体の内部を
投影面が通過する場合に、その仮想物体をその面で切断
した画像を得ることができる。図10に立方体状である仮
想物体を切断した呈示例を示す。このようにすることに
より、例えば対象物体を脳とした場合、液晶ディスプレ
イ11を離しているときには脳の外観が呈示され、液晶デ
ィスプレイ11を近づけると脳の断面が見えてくる。
及び向きに関するパラメータを独立に調整する必要があ
ったが、この実施の形態2では、同時に多くのパラメー
タを直観的に微調整することが可能となる。また、この
方式を用いると、医学分野以外においても、複雑な3次
元形状を持つ物体の内部構造を表現できる。
て、広画面の2次元GUIを用いる例を挙げる。これに
より、携帯端末用に特化したユーザインターフェースで
はなく、標準的なGUIを使用することができる。即
ち、仮想的な3次元世界の中に広大な2次元GUI平面
を考え、それを可動式ディスプレイを用いて「覗く」こ
とにより、GUI平面のスクロール及び拡大・縮小を直
観的に行うことができる。
手で自由に操作可能な大きさの平面型液晶ディスプレイ
を用いる。ディスプレイ位置・向き検出手段5において
は、ディスプレイに固定されたCCDカメラによる画像
撮影を行い、オプティカルフローの算出、標準物体また
はユーザの顔のトラッキングなどの画像解析技術を用い
て、実世界中のディスプレイの位置及び向きを検出す
る。仮想物体選択手段9においては、常にGUI画面上
のマウスポインタが選択されている。仮想物体位置・向
き決定手段10においては、マウスポインタが常に2次元
のGUI平面上を動き、その投影点が投影面上で移動し
ないように、位置及び向きを決定する。なお、可動式デ
ィスプレイ1には、マウスボタンと同機能のボタンが設
けられていて、マウスボタンを押す必要がある場合に
は、そのボタンを押す。
イの移動を回転に限定した例について説明する。可動式
ディスプレイの可動範囲は、水平方向の回転と垂直方向
の回転とに限定される。図11は、この実施の形態4の端
末装置の模式図である。この端末装置は、ノート型パー
ソナルコンピュータ様をなし、可動式ディスプレイ1と
しての液晶ディスプレイ11と、液晶ディスプレイ11の水
平方向,垂直方向それぞれの回転角度を検知するボリュ
ーム等の回転角検知器16a, 16bと、液晶ディスプレイ11
の水平方向,垂直方向それぞれの回転角度を制御するモ
ータ17a, 17bとを有する。回転角検知器16a, 16bはディ
スプレイ位置・向き検出手段5として用いられ、モータ
17a, 17bはディスプレイ位置・向き制御手段6として用
いられる。
位置を常に液晶ディスプレイ11の正面の所定値離れた位
置に保つ。ユーザが直接液晶ディスプレイ11を操作する
場合には、ディスプレイ位置・向き検出手段5(回転角
検知器16a, 16b)で検出された位置及び向きに応じて投
影面の位置及び向きを決定する。また、ユーザが補助入
力装置を通して間接的に液晶ディスプレイ11を操作する
場合、または、仮想世界のイベントに合わせて液晶ディ
スプレイ11が動かされる場合には、ディスプレイ位置・
向き制御手段6(モータ17a, 17b)で用いる制御信号に
応じて投影面の位置及び向きを決定する。
示、及び、投影面付近に存在する仮想物体の見回しが可
能であり、例えば、壺,花瓶等を種々の角度から見回し
て得られる画像を呈示できる。
置の例について説明する。この端末装置では、特定の仮
想物体をあたかも回転させたような画像を呈示できる。
の代わりに球状スクリーンを配置し、そこに液晶プロジ
ェクタで画像を呈示する。投影手段4においては、液晶
プロジェクタの位置と球状スクリーンの位置及び形状と
を考慮して、視点の位置から仮想世界の一部が歪まずに
見えるように画像を生成する。視点投影面決定手段3に
おいては、視点の位置を一定に保つ。ディスプレイ位置
・向き検出手段5においては、ボリューム等の回転角検
知器を用いて球状スクリーンの水平方向及び垂直方向の
回転角度を検知する。仮想物体選択手段9においては、
常に1つの仮想物体を選択しておく。仮想物体位置・向
き決定手段10においては、予め設定された仮想物体の重
心を球状投影面の中心に位置させ、その仮想物体の向き
と球状投影面の向きとの相対的な関係を一定に保つよう
に、仮想物体の位置及び向きを決定する。
イト型の端末装置の例について説明する。この端末装置
では、スポットライトで仮想世界をあたかも照らしたよ
うな画像を呈示できる。図12は、この実施の形態6の端
末装置の模式図である。可動式ディスプレイ1として
は、ユーザが手で自由に操作可能である大きさであって
投影部19を有する液晶プロジェクタ18と、実世界中に固
定されたスクリーン(図示せず)とを用いる。ディスプ
レイ位置・向き検出手段5としては、液晶プロジェクタ
18に設置された磁気センサ12と実世界の一点に固定され
た磁気発生部(図示せず)とを使用する。また、液晶プ
ロジェクタ18上には視点変更ボタン14が設置されてい
る。
同側領域,視点反対側領域及び投影面自体のすべての領
域とする。視点投影面決定手段3においては、スクリー
ンの位置に基づいて液晶プロジェクタ18からの画像が投
影される位置及び向きを算出し、その算出結果と等しく
なるように投影面の位置及び向きを決定する。
視点変更ボタン14が押されていない場合には、視点の位
置を一定に保つ。この場合の一定な視点の位置は、端末
装置の使用開始時には液晶プロジェクタ18の真上の所定
値離れた位置とし、そうでないときには最後に視点変更
ボタン14が離された時の視点の位置とする。ユーザは、
視点変更ボタン14を離した状態で、自分の視点を動かさ
ないようにしながら、注意を向けようとする部分を照ら
すように液晶プロジェクタ18を操作することにより、そ
の部分の仮想世界を覗き穴を通して見回すことを模擬で
きる。
点変更ボタン14が押されている場合には、視点の位置と
投影面の位置及び向きとの相対的な位置関係を一定に保
つように設定する。ユーザは、視点変更ボタン14を押し
た状態で、液晶プロジェクタ18と自分の視点との相対的
な位置関係を固定しながら、注意を向けようとする部分
を照らすように液晶プロジェクタ18を操作することによ
り、その仮想世界の中で視点の位置を変更することがで
きる。
想物体ではなく、常に仮想空間中のスポットライトが選
択されている。仮想物体位置・向き決定手段10において
は、スポットライトの位置と向きとを液晶プロジェクタ
18の位置と向きとに一致させる。なお、照明状態は、仮
想的スポットライトから光を当てているとする。
示の応用例を示す。画像提供側が画像のストーリに合わ
せて可動式ディスプレイ1を動かすことにより、画像受
容側(ユーザ)の視点の位置及び視線の方向を最適なも
のに誘導できる。
は、各関節の角度がモータにより制御可能なアーム装置
を用いる。視点投影面決定手段3においては、視点の位
置と投影面の位置及び向きとの相対的な位置関係を一定
に保つ。ユーザは、画像を受容する際に、可動式ディス
プレイ1の正面の一定値離れた位置に自分の視点を持っ
ていくことにより、視点位置及び視線方向をその画像に
とって最適なものにすることができる。
式乗物として用いた仮想的エレベータ景色の例について
説明する。エレベータの壁に据え付けられた可動式ディ
スプレイ1に、エレベータの上下動に合わせて、世界各
地の景色または幻想的な仮想世界の景色を呈示すること
により、エレベータに乗ったユーザがこの景色を楽しむ
ことができる。また、窓を設置することができないよう
な超高層ビルの高速エレベータにおいても、可動式ディ
スプレイ1に呈示される景色の変化から、エレベータの
速度を実感することができる。
可動式ディスプレイ1の向き及び位置の情報は、ディス
プレイ位置・向き検出手段5としての加速度計によって
エレベータの加速度を計測して算出するか、案内役がエ
レベータの運行に合わせてディスプレイ位置・向き設定
手段7としての入力装置により直接入力するか、または
ディスプレイ位置・向き制御手段6としてのエレベータ
の駆動系におけるエレベータの制御信号を用いることに
なる。視点投影面決定手段3において、視点の位置は可
動式ディスプレイ1の正面から適当な距離だけ離れた点
に設定し、投影面の位置及び向きは可動式ディスプレイ
1の位置及び向きに一致させる。
的な景色の呈示例と同様に、遊園地の乗物または電車の
壁に可動式ディスプレイ1を配置し、その乗物の動きに
合わせて景色の画像を呈示することにより、その乗物が
仮想世界の中を動いているように感じさせることも可能
である。
端末の例を示す。システム構成は、実施の形態1に示し
た小型バーチャルリアリティ端末の構成に、時々刻々の
視点の位置と投影面の位置及び向きとを保存する機能を
追加したものである。これらの情報は、視点投影面決定
手段3の内部メモリに格納される。
文の順に文字が小さくなるように各記事が配置された仮
想的新聞紙が掲示されているものとする。ユーザは、こ
の新聞ブラウジング端末を通して仮想的新聞紙を覗き見
る。ユーザが液晶ディスプレイ11を移動させることによ
り、投影面を新聞紙から離し視点を近づけて広い範囲を
覗けば、見出し,要約を拾い読みすることができ、投影
面を視点から離し新聞紙に近づけて狭い範囲を覗けば、
本文の文字を高解像度で読むことができる。
置と投影面の位置及び向きとの軌跡は、ユーザが仮想世
界の中でどこに注意を向けようとしたかを記録した履歴
を表す。この軌跡と仮想世界の中の新聞紙の各記事の配
置とを照合することにより、ユーザが各記事をどのレベ
ルまでどのくらいの時間をかけて読んだかを算出するこ
とができる。この値をもとにして、ユーザが各記事に対
してどれだけ関心を持ったかを定量的に推定し、関心値
として各記事と対応付けて保存する。そして、この関心
値を利用することにより、関心が高い記事を選んで詳細
な解説を表示させたり、関心が高い分野の記事だけを検
索することなどが可能となる。
きバーチャルリアリティ端末の例を示す。実施の形態1
に示したバーチャルリアリティ端末の構成に、液晶シャ
ッタ方式またはアナグリフ方式等の二眼式立体映像呈示
手法を追加したものである。
との2つの視点の位置を格納するための内部メモリを有
する。右目と左目とのそれぞれについて、実施の形態1
と同様にして時々刻々の視点の位置を決定し、それぞれ
の視点の位置から眺めた仮想世界を投影面に投影し、得
られた2枚の画像を可動式ディスプレイ1にステレオ画
像として呈示する。ユーザは、その2つの視点の位置に
自分の両眼を持っていくように頭部を動かしながらこの
端末を利用する。端末使用開始時の視点の位置は、可動
式ディスプレイ1の正面の所定値離れた位置から可動式
ディスプレイ1の上下の辺に平行な直線に沿って左右に
それぞれ一定値離れた位置とする。なお、左右の視点間
の距離はユーザ自身の左右の目の間の距離と一致するよ
う調節する必要がある。
リアリティ端末を用いると、運動視差と両眼立体視との
相乗効果によって、仮想世界中の物体の立体感が更に向
上することが期待される。
装置(請求項1)では、可動式ディスプレイの位置及び
向きに応じて視点と投影面との関係を変化させながら3
次元仮想世界を2次元画像に投影し、得られた2次元画
像を呈示するようにしたので、ユーザの身体にセンサ,
ディスプレイ等の装置を装着させる必要がなく、高解像
度のディスプレイを用いる必要もない、直観的な空間的
ユーザインターフェースを提供できる。
視点の位置を一定に保つようにしたので、仮想世界を定
点から見回す状況を模擬できる。
視点の位置と投影面の位置及び向きとの相対的位置関係
を一定に保つようにしたので、視空間的な注意領域の大
きさ及び形を固定したまま視点を変えることができる。
可動式ディスプレイの位置及び向きを検出し、その検出
結果に応じて視点の位置と投影面の位置及び向きとを決
定するようにしたので、ユーザの直接的な可動式ディス
プレイの位置,向きの変更に対応した画像を呈示でき
る。
可動式ディスプレイの位置及び向きを制御する際の制御
信号に応じて視点の位置と投影面の位置及び向きとを決
定するようにしたので、ユーザが制御装置を介して可動
式ディスプレイの位置及びを向きを変えること、仮想世
界が持つストーリーに従って可動式ディスプレイの位置
及びを向きを変えることが可能である。
設定された可動式ディスプレイの位置及び向きに応じて
視点の位置と投影面の位置及び向きとを決定するように
したので、ユーザが可動式ディスプレイの動きに合わせ
て可動式ディスプレイの位置及び向きを設定することが
できる。
乗物に乗っているユーザに可動式ディスプレイでの画像
を呈示するので、仮想世界中で乗物に乗っていることを
模擬できる。
仮想世界の中の特定の物体を選択してその位置及び向き
を決定するので、可動式ディスプレイを動かすことによ
って、特定の仮想物体の位置及び向きを変えることがで
きる。
ク図である。
ロック図である。
すブロック図である。
すブロック図である。
すブロック図である。
すブロック図である。
の正面図である。
模式図である。
である。
装置の模式図である。
Claims (8)
- 【請求項1】 3次元画像を2次元平面に投影した2次
元画像を呈示する画像呈示装置において、3次元画像を
記憶する記憶手段と、位置及び向きが可変であるディス
プレイと、前記記憶手段に記憶されている3次元画像を
2次元平面に投影する投影手段と、前記ディスプレイの
位置及び向きに応じて、前記投影手段での投影時におけ
る視点の位置と投影面の位置及び向きとを決定する決定
手段とを備え、該決定手段で決定された視点の位置と投
影面の位置及び向きとに基づいて前記投影手段で3次元
画像を投影して得られる2次元画像を前記ディスプレイ
に表示するように構成したことを特徴とする画像呈示装
置。 - 【請求項2】 前記決定手段は、視点の位置を一定に保
つように、視点の位置と投影面の位置及び向きとを決定
するように構成した請求項1記載の画像呈示装置。 - 【請求項3】 前記決定手段は、視点の位置と投影面の
位置及び向きとの相対的位置関係を一定に保つように、
視点の位置と投影面の位置及び向きとを決定するように
構成した請求項1記載の画像呈示装置。 - 【請求項4】 前記ディスプレイの位置及び向きを検出
する検出手段を備え、前記決定手段は、該検出手段での
検出結果に応じて、視点の位置と投影面の位置及び向き
とを決定するように構成した請求項1〜3の何れかに記
載の画像呈示装置。 - 【請求項5】 前記ディスプレイの位置及び向きを制御
する制御手段を備え、前記決定手段は、該制御手段の前
記ディスプレイに対する制御信号に応じて、視点の位置
と投影面の位置及び向きとを決定するように構成した請
求項1〜3の何れかに記載の画像呈示装置。 - 【請求項6】 前記ディスプレイの位置及び向きを設定
する設定手段を備え、前記決定手段は、該設定手段にて
設定された前記ディスプレイの位置及び向きに応じて、
視点の位置と投影面の位置及び向きとを決定するように
構成した請求項1〜3の何れかに記載の画像呈示装置。 - 【請求項7】 前記ディスプレイを搭載する可動式乗物
を備え、前記決定手段は、前記ディスプレイの位置及び
向きと前記可動式乗物の位置及び向きとに応じて、視点
の位置と投影面の位置及び向きとを決定するように構成
した請求項1〜6の何れかに記載の画像呈示装置。 - 【請求項8】 前記3次元画像には、位置及び向きを有
する複数の物体が存在し、前記物体のうちの1つの物体
を選択する選択手段と、該選択手段で選択された物体の
位置及び向きを、前記決定手段にて決定された視点の位
置と投影面の位置及び向きとに応じて決定する手段とを
備える請求項1〜7の何れかに記載の画像呈示装置。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16775297A JP4251673B2 (ja) | 1997-06-24 | 1997-06-24 | 画像呈示装置 |
| US09/038,102 US6084594A (en) | 1997-06-24 | 1998-03-11 | Image presentation apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16775297A JP4251673B2 (ja) | 1997-06-24 | 1997-06-24 | 画像呈示装置 |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006129464A Division JP4413203B2 (ja) | 2006-05-08 | 2006-05-08 | 画像呈示装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH1118025A true JPH1118025A (ja) | 1999-01-22 |
| JP4251673B2 JP4251673B2 (ja) | 2009-04-08 |
Family
ID=15855450
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16775297A Expired - Fee Related JP4251673B2 (ja) | 1997-06-24 | 1997-06-24 | 画像呈示装置 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US6084594A (ja) |
| JP (1) | JP4251673B2 (ja) |
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001076182A (ja) * | 1999-09-02 | 2001-03-23 | Mixed Reality Systems Laboratory Inc | ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体 |
| JP2004309947A (ja) * | 2003-04-10 | 2004-11-04 | Sharp Corp | データ表示装置、データ表示プログラム、および、プログラム記録媒体 |
| JP2005043570A (ja) * | 2003-07-25 | 2005-02-17 | Seiko Epson Corp | プロジェクタ |
| JP2007047294A (ja) * | 2005-08-08 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | 立体画像表示装置 |
| WO2008102873A1 (ja) * | 2007-02-23 | 2008-08-28 | Nikon Corporation | 投影システムおよびプロジェクタ |
| JP2008209470A (ja) * | 2007-02-23 | 2008-09-11 | Nikon Corp | 投影システム |
| JP2008209469A (ja) * | 2007-02-23 | 2008-09-11 | Nikon Corp | 投影システムおよびプロジェクタ |
| US7535486B2 (en) | 2004-06-04 | 2009-05-19 | Panasonic Corporation | Display control device, display control method, program, and portable apparatus |
| JP2011123490A (ja) * | 2009-12-10 | 2011-06-23 | Pegatron Corp | マルチメディアプレイヤー及びその操作制御方法 |
| JP2011186536A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理法方法およびプログラム |
| JP2013140436A (ja) * | 2011-12-28 | 2013-07-18 | Canon Inc | 入力表示装置、その制御方法、及びプログラム |
| WO2015156128A1 (ja) * | 2014-04-07 | 2015-10-15 | ソニー株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
| JP2016154018A (ja) * | 2009-01-29 | 2016-08-25 | イマージョン コーポレーションImmersion Corporation | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
| JP2017162451A (ja) * | 2016-03-07 | 2017-09-14 | フラミー インクFramy Inc. | 立体空間のシーン編集方法及び立体空間のシーン編集システム |
Families Citing this family (60)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7366676B2 (en) * | 2001-05-29 | 2008-04-29 | Mevis Breastcare Gmbh & Co. Kg | Method and system for in-service monitoring and training for a radiologic workstation |
| US20120056799A1 (en) * | 2001-02-24 | 2012-03-08 | Dennis Solomon | Performance Audience Display System |
| AU2189297A (en) * | 1996-02-08 | 1997-09-10 | Synthonics Incorporated | 3d stereo browser for the internet |
| US7190371B2 (en) | 1996-02-08 | 2007-03-13 | Palm Charles S | 3D stereo browser for the internet |
| US7154506B2 (en) * | 1996-02-08 | 2006-12-26 | Palm Charles S | 3D stereo browser for the internet |
| GB9722766D0 (en) | 1997-10-28 | 1997-12-24 | British Telecomm | Portable computers |
| JP3420504B2 (ja) * | 1998-06-30 | 2003-06-23 | キヤノン株式会社 | 情報処理方法 |
| JP2000250697A (ja) * | 1999-03-03 | 2000-09-14 | Yazaki Corp | 多機能スイッチ装置における操作ボタンの機能表示方法及び多機能スイッチ装置 |
| US6842175B1 (en) * | 1999-04-22 | 2005-01-11 | Fraunhofer Usa, Inc. | Tools for interacting with virtual environments |
| WO2002015110A1 (en) * | 1999-12-07 | 2002-02-21 | Fraunhofer Crcg, Inc. | Virtual showcases |
| US6466208B1 (en) * | 1999-12-20 | 2002-10-15 | Silicon Integrated Systems Corporation | Apparatus and method for adjusting 3D stereo video transformation |
| DE10102477A1 (de) | 2001-01-19 | 2002-07-25 | Storz Endoskop Gmbh Schaffhaus | Vorrichtung zum Applizieren von Licht auf eine Gefäßwand |
| WO2002080106A2 (en) * | 2001-03-30 | 2002-10-10 | Koninklijke Philips Electronics N.V. | Method, system and device for augmented reality |
| US7904826B2 (en) * | 2002-03-29 | 2011-03-08 | Microsoft Corporation | Peek around user interface |
| US7519918B2 (en) * | 2002-05-30 | 2009-04-14 | Intel Corporation | Mobile virtual desktop |
| US20040027365A1 (en) * | 2002-08-07 | 2004-02-12 | Sayers Craig P. | Controlling playback of a temporal stream with a user interface device |
| JP4298407B2 (ja) * | 2002-09-30 | 2009-07-22 | キヤノン株式会社 | 映像合成装置及び映像合成方法 |
| KR100514685B1 (ko) * | 2003-05-13 | 2005-09-13 | 주식회사 팬택앤큐리텔 | 타임 시프트 기능 구현 단말기 및 방법 |
| WO2005041167A1 (ja) * | 2003-10-28 | 2005-05-06 | Matsushita Electric Industrial Co., Ltd. | 画像表示装置および画像表示方法 |
| WO2007011748A2 (en) | 2005-07-14 | 2007-01-25 | Molsoft, Llc | Structured documents for displaying and interaction with three dimensional objects |
| TWI264939B (en) * | 2005-08-02 | 2006-10-21 | Quanta Comp Inc | Electric apparatus capable of adjusting display direction and display direction adjusting method thereof |
| US20070248260A1 (en) * | 2006-04-20 | 2007-10-25 | Nokia Corporation | Supporting a 3D presentation |
| JP2007304666A (ja) * | 2006-05-08 | 2007-11-22 | Sony Computer Entertainment Inc | 情報出力システム及び情報出力方法 |
| US20080309582A1 (en) * | 2007-06-13 | 2008-12-18 | Chih-Ching Hsieh | Receiving assembly with function of displaying data about objects therein |
| KR20110010106A (ko) * | 2008-05-14 | 2011-01-31 | 코닌클리즈케 필립스 일렉트로닉스 엔.브이. | 뷰어 인터페이스의 표현 배경 내의 활성화 구역을 정의하기 위한 시스템 및 방법 |
| US9200901B2 (en) | 2008-06-19 | 2015-12-01 | Microsoft Technology Licensing, Llc | Predictive services for devices supporting dynamic direction information |
| US8467991B2 (en) | 2008-06-20 | 2013-06-18 | Microsoft Corporation | Data services based on gesture and location information of device |
| US20100100853A1 (en) * | 2008-10-20 | 2010-04-22 | Jean-Pierre Ciudad | Motion controlled user interface |
| US20100156907A1 (en) * | 2008-12-23 | 2010-06-24 | Microsoft Corporation | Display surface tracking |
| US8872767B2 (en) * | 2009-07-07 | 2014-10-28 | Microsoft Corporation | System and method for converting gestures into digital graffiti |
| US8531571B1 (en) | 2009-08-05 | 2013-09-10 | Bentley Systmes, Incorporated | System and method for browsing a large document on a portable electronic device |
| KR20120100702A (ko) | 2010-02-03 | 2012-09-12 | 닌텐도가부시키가이샤 | 표시 장치, 게임 시스템 및 게임 처리 방법 |
| US8913009B2 (en) | 2010-02-03 | 2014-12-16 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| US8814686B2 (en) | 2010-02-03 | 2014-08-26 | Nintendo Co., Ltd. | Display device, game system, and game method |
| US8339364B2 (en) | 2010-02-03 | 2012-12-25 | Nintendo Co., Ltd. | Spatially-correlated multi-display human-machine interface |
| US9124804B2 (en) * | 2010-03-22 | 2015-09-01 | Microsoft Technology Licensing, Llc | Using accelerometer information for determining orientation of pictures and video images |
| JP6243586B2 (ja) | 2010-08-06 | 2017-12-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| US10150033B2 (en) | 2010-08-20 | 2018-12-11 | Nintendo Co., Ltd. | Position calculation system, position calculation device, storage medium storing position calculation program, and position calculation method |
| JP5840386B2 (ja) | 2010-08-30 | 2016-01-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| JP5840385B2 (ja) | 2010-08-30 | 2016-01-06 | 任天堂株式会社 | ゲームシステム、ゲーム装置、ゲームプログラム、および、ゲーム処理方法 |
| KR101364826B1 (ko) | 2010-11-01 | 2014-02-20 | 닌텐도가부시키가이샤 | 조작 장치 및 조작 시스템 |
| EP2680931A4 (en) | 2011-03-04 | 2015-12-02 | Eski Inc | DEVICES AND METHOD FOR PROVIDING A DISTRIBUTED TREATMENT IN A SURROUNDINGS |
| JP5724544B2 (ja) * | 2011-03-31 | 2015-05-27 | ソニー株式会社 | 画像処理装置、画像処理方法及びプログラム |
| JP5689014B2 (ja) | 2011-04-07 | 2015-03-25 | 任天堂株式会社 | 入力システム、情報処理装置、情報処理プログラム、および3次元位置算出方法 |
| US8823699B2 (en) | 2011-05-16 | 2014-09-02 | International Business Machines Corporation | Getting snapshots in immersible 3D scene recording in virtual world |
| JP5849811B2 (ja) * | 2011-05-27 | 2016-02-03 | 株式会社Jvcケンウッド | 裸眼立体視用映像データ生成方法 |
| WO2013085544A1 (en) * | 2011-12-09 | 2013-06-13 | Hewlett-Packard Development Company, Lp | Generation of images based on orientation |
| TW201435706A (zh) * | 2013-03-01 | 2014-09-16 | Hon Hai Prec Ind Co Ltd | 虛擬鍵盤提供裝置 |
| US11055959B2 (en) * | 2013-06-07 | 2021-07-06 | Sg Gaming, Inc. | Device-to-device transfer of wagering game objects |
| US9747680B2 (en) | 2013-11-27 | 2017-08-29 | Industrial Technology Research Institute | Inspection apparatus, method, and computer program product for machine vision inspection |
| US10694115B2 (en) | 2015-09-30 | 2020-06-23 | Huawei Technologies Co., Ltd. | Method, apparatus, and terminal for presenting panoramic visual content |
| FR3043815A1 (fr) * | 2015-11-13 | 2017-05-19 | Airbus Operations Sas | Procede d'affichage, sur un dispositif d'affichage mobile embarque dans un vehicule, d'images correspondant a un environnement exterieur dudit vehicule. |
| US20170169613A1 (en) * | 2015-12-15 | 2017-06-15 | Lenovo (Singapore) Pte. Ltd. | Displaying an object with modified render parameters |
| FR3048521A1 (fr) * | 2016-03-04 | 2017-09-08 | Renovation Plaisir Energie | Dispositif d'interface homme machine avec des applications graphiques en trois dimensions |
| JP2019536494A (ja) | 2016-09-07 | 2019-12-19 | エスキー インコーポレイテッドESKI Inc. | 分散発現の投影システム及び関連する方法 |
| US20180268614A1 (en) * | 2017-03-16 | 2018-09-20 | General Electric Company | Systems and methods for aligning pmi object on a model |
| WO2020209298A1 (ja) * | 2019-04-11 | 2020-10-15 | パナソニックIpマネジメント株式会社 | 勾配変化検出システム、それを用いた表示システム及び移動体用プログラム |
| JP7330507B2 (ja) * | 2019-12-13 | 2023-08-22 | 株式会社Agama-X | 情報処理装置、プログラム、及び、方法 |
| JP7318670B2 (ja) * | 2021-01-27 | 2023-08-01 | セイコーエプソン株式会社 | 表示方法および表示システム |
| US11735138B2 (en) * | 2021-04-22 | 2023-08-22 | GM Global Technology Operations LLC | Dual image plane HUD with automated illuminance setting for AR graphics displayed in far virtual image plane |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
| AUPM701394A0 (en) * | 1994-07-22 | 1994-08-18 | Monash University | A graphical display system |
-
1997
- 1997-06-24 JP JP16775297A patent/JP4251673B2/ja not_active Expired - Fee Related
-
1998
- 1998-03-11 US US09/038,102 patent/US6084594A/en not_active Expired - Lifetime
Cited By (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2001076182A (ja) * | 1999-09-02 | 2001-03-23 | Mixed Reality Systems Laboratory Inc | ユーザインタフェース方法、ユーザインタフェース装置、空間描画装置、ワークステーション装置およびプログラム記憶媒体 |
| JP2004309947A (ja) * | 2003-04-10 | 2004-11-04 | Sharp Corp | データ表示装置、データ表示プログラム、および、プログラム記録媒体 |
| JP2005043570A (ja) * | 2003-07-25 | 2005-02-17 | Seiko Epson Corp | プロジェクタ |
| US7535486B2 (en) | 2004-06-04 | 2009-05-19 | Panasonic Corporation | Display control device, display control method, program, and portable apparatus |
| JP2007047294A (ja) * | 2005-08-08 | 2007-02-22 | Nippon Hoso Kyokai <Nhk> | 立体画像表示装置 |
| US8167435B2 (en) | 2007-02-23 | 2012-05-01 | Nikon Corporation | Projection system and projector |
| WO2008102873A1 (ja) * | 2007-02-23 | 2008-08-28 | Nikon Corporation | 投影システムおよびプロジェクタ |
| JP2008209470A (ja) * | 2007-02-23 | 2008-09-11 | Nikon Corp | 投影システム |
| JP2008209469A (ja) * | 2007-02-23 | 2008-09-11 | Nikon Corp | 投影システムおよびプロジェクタ |
| JP2016154018A (ja) * | 2009-01-29 | 2016-08-25 | イマージョン コーポレーションImmersion Corporation | グラフィカルユーザインターフェースとの物理的相互作用を解釈するためのシステムと方法 |
| JP2011123490A (ja) * | 2009-12-10 | 2011-06-23 | Pegatron Corp | マルチメディアプレイヤー及びその操作制御方法 |
| JP2011186536A (ja) * | 2010-03-04 | 2011-09-22 | Sony Corp | 情報処理装置、情報処理法方法およびプログラム |
| JP2013140436A (ja) * | 2011-12-28 | 2013-07-18 | Canon Inc | 入力表示装置、その制御方法、及びプログラム |
| WO2015156128A1 (ja) * | 2014-04-07 | 2015-10-15 | ソニー株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
| JPWO2015156128A1 (ja) * | 2014-04-07 | 2017-04-13 | ソニー株式会社 | 表示制御装置、表示制御方法、及び、プログラム |
| JP2017162451A (ja) * | 2016-03-07 | 2017-09-14 | フラミー インクFramy Inc. | 立体空間のシーン編集方法及び立体空間のシーン編集システム |
Also Published As
| Publication number | Publication date |
|---|---|
| US6084594A (en) | 2000-07-04 |
| JP4251673B2 (ja) | 2009-04-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4251673B2 (ja) | 画像呈示装置 | |
| JP4413203B2 (ja) | 画像呈示装置 | |
| US11745097B2 (en) | Spatially-correlated human-machine interface | |
| US10449444B2 (en) | Spatially-correlated multi-display human-machine interface | |
| US9599821B2 (en) | Virtual reality system allowing immersion in virtual space to consist with actual movement in actual space | |
| US9041622B2 (en) | Controlling a virtual object with a real controller device | |
| US9268406B2 (en) | Virtual spectator experience with a personal audio/visual apparatus | |
| CN116719415A (zh) | 用于提供计算机生成的体验的设备、方法和图形用户界面 | |
| JP6027747B2 (ja) | 空間相関したマルチディスプレイヒューマンマシンインターフェース | |
| JP2022530012A (ja) | パススルー画像処理によるヘッドマウントディスプレイ | |
| EP3106963B1 (en) | Mediated reality | |
| US20100039380A1 (en) | Movable Audio/Video Communication Interface System | |
| GB2281838A (en) | Input for a virtual reality system | |
| JP2015513232A (ja) | 3次元ディスプレイシステム | |
| KR101892735B1 (ko) | 직관적인 상호작용 장치 및 방법 | |
| CN111930223A (zh) | 用于观看计算机生成的环境并与其互动的可移动显示器 | |
| JPH10334275A (ja) | 仮想現実方法及び装置並びに記憶媒体 | |
| WO2019187862A1 (ja) | 情報処理装置、情報処理方法、および記録媒体 | |
| US20100253679A1 (en) | System for pseudo 3d-information display on a two-dimensional display | |
| US20220405996A1 (en) | Program, information processing apparatus, and information processing method | |
| JPH10261090A (ja) | モーションキャプチャシステム | |
| US20240403080A1 (en) | Devices, methods, and graphical user interfaces for displaying views of physical locations | |
| CN212789785U (zh) | 一种家庭vr影院系统 | |
| WO2006097722A2 (en) | Interface control | |
| JPH10334274A (ja) | 仮想現実方法及び装置並びに記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20031210 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20051215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051220 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060213 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20060307 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090120 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |