JP7423683B2 - 画像表示システム - Google Patents

Description

本発明は、ユーザの位置から仮想的な三次元空間上の三次元オブジェクトを見たときに見える画像をディスプレイに表示する技術に関する。

特許文献１には、仮想物体が人間の目の位置から見える形状となる画像をフラットパネルディスプレイに表示する技術が開示されている。特許文献１による３次元画像表示装置は、画像を表示するディスプレイと、このディスプレイを見る人間の目の位置を測定する位置計測器と、この位置計測器から与えられる人間の目の位置を示す情報を用いて、前記ディスプレイに表示する画像が前記見る人間の目の位置の方向から見たような形状となる３次元画像を計算により求め、前記ディスプレイ上に表示させる処理手段を備える。

特開平０８－１６７０４８号公報

実際には存在しない仮想空間上の三次元オブジェクトをユーザの視点から見たときに、その位置に存在しているかのように見えるように、当該オブジェクトを疑似的に投影した画像をディスプレイに表示すれば、ユーザにディスプレイによる疑似的な窓を通して、ディスプレイの奥に存在する仮想空間上の三次元オブジェクトを見ているように錯覚させることができる。この技術を用いれば、ディスプレイを用いた仮想現実体験装置もしくは拡張現実体験装置として様々な体験をユーザに供することができる。一例として、このディスプレイをホテル、住宅、オフィス等の窓のない壁に自由に設け、疑似的な窓として室内景観を向上させることができる。

仮想現実体験や拡張現実体験ではディスプレイに表示される画像が自然で実際の視界に近いものであることが重要である。ホテル、住宅、あるいはオフィスにおけるインテリアの用途では、疑似的な窓に表示させる画像が不自然であればユーザを錯覚させる度合いが小さくなるために室内景観を向上させることができない可能性がある。例えば、ユーザの視点の位置を正しく検出できなかったり、ユーザの視点の位置から見えるような画像を正しく生成できなかったりすれば、ユーザの視点に合わせた投影画像を表示できなくなり、ディスプレイに表示される画像はユーザにとって不自然なものとなる。

しかしながら、上述した特許文献１では、ディスプレイとユーザとの相対的な位置や姿勢を高い精度で特定することが考慮されていなかった。そのためディスプレイに対するユーザの位置および姿勢を正しく特定できず、ユーザの位置から見える画像を正しくディスプレイに表示されることができない可能性があった。

本発明の目的は、ディスプレイに対するユーザの位置および姿勢を高い精度で特定し、その位置から見える仮想空間の画像をディスプレイに表示する技術を提供することである。

本発明のひとつの態様による画像表示システムは、画像を表示可能な画面を有するディスプレイと、ディスプレイの画面に表示される画像を見るユーザが存在しうる画面より前方のユーザ空間を撮像し、ユーザ空間画像を取得するユーザ空間撮像部と、所定の基準座標空間における画面の位置、姿勢および形状を示す画面配置データと、基準座標空間における前記ユーザ空間撮像部の位置および姿勢を示す撮像部配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する記憶部と、撮像部配置データとユーザ空間撮像部で取得されるユーザ空間画像とに基づいて、基準座標空間上のユーザ視点位置を特定し、そのユーザ視点位置と画面配置データと三次元データに基づいて、ユーザ視点位置から画面を通して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成し、その表示画像をディスプレイに表示させる、処理部と、を有する。

本発明によれば、ディスプレイの画面配置データと、ユーザ空間撮像部の撮像部配置データと、仮想空間の三次元データとを同一の基準座標空間に設定して演算を行うので、ディスプレイに対するユーザの位置を高い精度で特定し、その位置から見える確からしさの高い仮想空間の画像をディスプレイに表示することができる。

実施例１による画像表示システムのブロック図である。 実施例１による画像表示システムの概略外観図である。 実施例１による画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。 実施例１による画像表示システムにおけるユーザ空間撮像部の画角について説明するための図である。 実施例１において記憶部に記録されるデータを示す図である。 実施例１による画像表示システムの全体処理のフローチャートである。 実施例１による画像表示システムによる視点位置算出処理のフローチャートである。 実施例１による画像表示システムのジェスチャ操作処理のフローチャ－トである。 実施例２による画像表示システムのブロック図である。

以下、本発明の実施例について図面を参照して説明する。

図１は、実施例１による画像表示システムのブロック図である。図２は、実施例１による画像表示システムの概略外観図である。

図１を参照すると、画像表示システム１０は、ディスプレイ１１、２つのユーザ空間撮像部１２－１、１２－２、記憶部１３、および処理部１４を有している。ユーザ空間撮像部１２－１とユーザ空間撮像部１２－２は同じものである。以下の説明では、ユーザ空間撮像部１２－１、１２－２の両方あるいはいずれかを指して単にユーザ空間撮像部１２と称する場合がある。

ディスプレイ１１は、画像を表示可能な画面１１１を有する出力表示装置である。表示方式は特に限定されないが、例えば、液晶ディスプレイ、プラズマディスプレイ、有機ＥＬディスプレイ、ＦＥＤ（電界放出ディスプレイ）であってもよい。あるいは、ディスプレイ１１は画像をスクリーンに投影する表示装置であってもよい。その場合、スクリーンが画面１１１となる。

ユーザ空間撮像部１２は、ディスプレイ１１の画面１１１に表示される画像を見るユーザ９０が存在しうる画面１１１より前方にあるユーザ空間を撮像し、ユーザ空間画像を取得する。

本画面表示システム１０の利用方法は特に限定されないが、ディスプレイ１１の面画面１１１を疑似的な窓として室内景観を向上させる用途に加え、ゲームセンターやテーマパークなどの娯楽施設や家庭における据え置き型娯楽装置においてユーザに仮想現実や拡張現実を体験する装置としての用途、美術品や広告として屋内外に展示される目を引くオブジェクトとしての用途などが想定される。本画像表示システム１０によるディスプレイ１１は仮想現実や拡張現実の技術における表示装置として使用でき、ＨＭＤ（ヘッド・マウント・ディスプレイ）と同様にユーザにリアリティのある仮想現実や拡張現実を体験させることができ、かつユーザが頭に機器を装着するという煩わしさがない。

本画像表示システム１０の設置場所は特に限定されないが、例えば、ホテル、オフィス、住宅などの室内で用いる場合、ホテルの宿泊客、オフィスで働くオフィスワーカー、住宅の住人などがユーザ９０であり、ディスプレイ１１が設置される部屋の中がユーザ空間である。娯楽施設などで利用する場合、体験者がユーザ９０であり、利用される空間であり体験者が動ける範囲（この場合には着座や仰向け、うつ伏せなど様々な体勢を取る状況も含まれる）がユーザ空間である。

記憶部１３は、揮発性メモリと不揮発性メモリのいずれかあるいはそれら両方である。記憶部１３は、所定の基準座標空間における画面１１１の位置、姿勢および形状を示す画面配置データと、基準座標空間におけるユーザ空間撮像部１２－１、１２－２の位置および姿勢を示す撮像部配置データと、基準座標空間上の仮想的な三次元オブジェクトが表現された三次元データとを保持する。基準座標空間は、本実施形態における演算の基準となる所定の原点Ｏを有する座標系（基準座標系）で表される空間である。

基準座標空間およびその原点Ｏはどのように設定してもよい。例えば、基準座標空間を画面１１１に対して固定してもよいし、ユーザ空間撮像部１２に対して固定しても良いし、画面１１１およびユーザ空間撮像部１２の両方に固定してもよいし、どちらにも固定しなくてもよい。

図２の例では、基準座標空間は、ｘｙｚの３軸を有する直交座標系の空間である。ユーザ空間撮像部１２の位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）および姿勢（Ｙａｗ_ｓ，Ｐｉｔｃｈ_ｓ，Ｒｏｌｌ_ｓ）と、画面１１１の位置（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）、姿勢（Ｙａｗ_ｍ，Ｐｉｔｃｈ_ｍ，Ｒｏｌｌ_ｍ）および形状（Ｈｅｉｇｈｔ_ｍ，Ｗｉｄｔｈ_ｍ）と、はこの基準座標空間上に設定される。なお、ここでは一例として画面１１１は長方形であり、その形状は高さと幅とで表現されている。

また、本実施例では一例として、基準空間上のユーザ９０の頭部の中央の位置（ｘ_ｈ，ｙ_ｈ，ｚ_ｈ）をユーザ視点位置とする。ユーザ視点位置は、ユーザ９０の視点の位置あるいはユーザ９０の視点とみなすことができる点の位置であればよい。本実施形態の例に限定されない。他の例として、ユーザ９０の両目の中央をユーザ視点位置としてもよい。また、顔認識処理や人物認識処理により認識された顔の領域の中央、あるいは認識された両目の中央をユーザ視点位置としてもよい。

また、本実施例では一例として、ユーザ空間撮像部１２のレンズ中央をユーザ空間撮像部１２の位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）としている。また、ここでは一例として、画面１１１の中央を画面１１１の位置（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）としている。

処理部１４は、記憶部１３に記録されているデータを用いて所定の処理を実行する装置であり、例えば、ソフトウェアプログラムに従って処理を実行するプロセッサである。処理部１４は、撮像部配置データと２つのユーザ空間撮像部１２－１、１２－２で取得される画像とに基づいて、基準座標空間上のユーザ視点位置を特定する。さらに、処理部１４は、ユーザ視点位置と画面配置データと三次元データとに基づき、ユーザ視点位置から画面１１１を通して仮想空間上の三次元オブジェクトを見たときのような見え方となる三次元オブジェクトの表示画像を生成し、その表示画像をディスプレイ１１に表示させる。これにより、ディスプレイ１１の表示画像は、ユーザ９０からは、仮想空間上に三次元オブジェクトがあたかも存在するかのように見えるようになる。

なお、ユーザ視点位置を特定するとき、処理部１４は、例えば、２つのユーザ空間撮像部１２－１、１２－２で同時刻に取得されるユーザ空間画像のそれぞれから人間（ユーザ９０）を特定し、ユーザ空間画像におけるユーザ９０の頭部が写っている位置を特定し、撮像部配置データと２つのユーザ空間画像におけるユーザ９０に頭部の視差とに基づいて、ユーザ空間撮像部１２－１、１２－２からユーザ９０の頭部までの距離を算出することにしてもよい。三角測量の原理を用いて簡易な構成で正確なユーザ視点位置を特定することができる。

ただし、ユーザ視点位置を特定する構成および方法はここで示したステレオセンサによるものに限定されず、どのような方式のものでも採用できる。他の例として、ユーザ空間撮像部１２が多数のドットを有するドットパターンの赤外線レーザを照射し、撮像される画像における各赤外線レーザが当たった部分の画像から、各赤外線レーザが当たった部分のユーザ空間撮像部１２からの距離を算出するという方式を用いてもよい。赤外線レーザおよび／またはそのドットパターンは所定の拡がり角度を有しており、赤外線レーザのドットが当たった部分では、ユーザ空間撮像部１２から遠いほどドットの大きさおよび／またはドットの間隔が大きくなる。このドットの大きさおよび／またはドットの間隔から、ユーザ空間撮像部１２から赤外線レーザが当たっている部分までの距離を算出することができる。

更に他の例として、ユーザ空間撮像部１２が変調した赤外線光を照射し、物体で反射して戻ってきた赤外線光をピクセル毎のアレイセンサに投影し、ピクセル毎に照射した赤外線光と受光した赤外線光の位相差から、赤外線レーザを反射した物体のユーザ空間撮像部１２からの距離を算出するという方式を用いてもよい。更に他の例として、単眼の撮像装置で撮像された画像から画像内の物体の奥行を算出する技術もあり、その技術をユーザ空間撮像部１２に採用してもよい。更に他の例として、ユーザ自身もしくはユーザが把持したり装着している物体に、センサーが検出しやすい所定の形状および／またはサイズを有する物理的なマーカー、あるいは赤外線ＬＥＤなど所定の光を発する発光体のマーカーを取り付け、そのマーカーの位置からユーザ視点位置を特定する方法もあり、その技術をユーザ空間撮像部１２に採用してもよい。

本実施例によるディスプレイ１１とユーザ空間撮像部１２は図２に例示したようにそれぞれ別個の筐体を有する装置として構成してもよいし、１つの筐体により一体的に構成しても良い。

ディスプレイ１１とユーザ空間撮像部１２とを別個の装置として構成する場合には、各装置に処理部を設け、上述した処理部１４が持つ機能を各装置の処理部にて分担してもよい。その場合、ディスプレイ１１の装置内の処理部と、ユーザ空間撮像部１２の装置内の処理部とは、有線または無線で通信を行う。

図３は、実施例１による画像表示システムがユーザ視点位置に応じた画像を表示する様子を説明するための図である。ディスプレイ１１の画面１１１の前方のユーザ空間は実空間である。画面１１１の後方に定義された仮想空間は、画面１１１による疑似的な窓（以下「疑似窓」ともいう）を通してユーザ９０の頭部のある位置９１から見える画像として画面１１１に表示される。仮想空間上の三次元オブジェクトは三次元データにより定義される。図３の例では、三次元オブジェクトとして６本の木が横に並んで配置されている。なお、ここでは、図３上では説明のために画面１１１の後方に仮想空間を定義しているが、画面１１１の前方に仮想空間を定義してもよいし、画面１１１の前方および後方を含む空間を仮想空間として定義してもよい。これにより、仮想空間の三次元オブジェクトが画面１１１による仮想的な窓の向こうにあるように見える画像だけでなく、仮想空間の三次元オブジェクトが画面１１１から手前に突き出して見える画像をも画面１１１に表示することができる。

ユーザ９０が画面１１１の近傍正面の位置９１Ａにいるとき、画面１１１による疑似窓から見える仮想空間の視野９２Ａは広く、６本の木が全て視野９２Ａに入っているように画面１１１に表示される（表示９３Ａ）。ユーザ９０が位置９１Ａからｚ方向に移動し、画面１１１から離れた位置９１Ｂに来ると、画面１１１による疑似窓から見える仮想空間の視野９２Ｂは狭くなり、視野９２Ｂには３本の木の全体とその両側の木の一部が入るのみのように表示される（表示９３Ｂ）。また、ユーザ９０が位置９１Ａから－ｘ（マイナスｘ）方向に移動し、位置９１Ｃにくると、画面１１１による疑似窓から見える仮想空間の視野９２Ｃはｘ方向に変化する。視野９２Ｃには右端の３本の木が入るのみである。加えて視野９２Ｃでは画面１１１に対して正面ではなく斜め方向から画面を見ているが、疑似窓から見える木の横方向の太さは正面から見たときと同じ太さになっている必要がある（表示９３Ｃ’）。このために画面１１１に木を表示させる際にはユーザからは９３Ｃ’のように見えるように適切に伸縮処理を行った画像を表示させる（表示９３Ｃ）。このように、ユーザ９０にとって仮想空間上の三次元オブジェクトがそこに存在するかのように錯覚させるべく確からしく自然な画像に見えるような処理として、本実施形態では、ディスプレイ１１の画面１１１に表示する画像を生成するとき、三次元データに定義された仮想空間における三次元オブジェクトをディスプレイ１１の画面１１１、すなわち二次元の面に投影させるような処理（射影変換）を行う。他の方法として、基準座標空間において三次元データの各点をその各点とユーザ視点位置とを結ぶ直線が画面１１１と交わる点に投影してもよい。また、ディスプレイ１１の画面１１１に表示する画像を生成する他の処理方法として、経験則に従った特定の行列や数値の四則演算処理を、画像や画像がもつ三次元パラメータに対して行うことにしてもよい。

ユーザ空間撮像部１２の画角は１１０°以上であることが好ましい。本実施例では一例としてユーザ空間撮像部１２の画角が１１０°であるものとする。以下、ユーザ空間撮像部１２の画角が１１０°以上が好ましいことの意義について説明する。

図４は、実施例１による画像表示システムにおけるユーザ空間撮像部の画角について説明するための図である。図４は、部屋の中の画像表示システム１０のディスプレイ１１とユーザ９０を上から見た図である。説明を容易にするために図４にはユーザ空間撮像部１２が１つ示されている。

ここでは、横幅６０ｃｍのディスプレイ１１による疑似窓のある個室でユーザ９０が仕事や勉強などの作業をしているという状況が想定される。ユーザ９０は壁の近くで壁と平行な方向を向いている。６０ｃｍというディスプレイ１１の横幅は仕事や勉強をするための机の奥行や家庭で用いられる一般的な収納家具の幅と馴染みやすいサイズであり、疑似窓の横幅として１つの好適なサイズである。また、据え置き型の仮想体験装置としての用途を想定した際に、ユーザを取り囲むようにディスプレイを配置する状況が想定されるが、このときのユーザとユーザのすぐ隣に配置されるディスプレイとの相対位置関係としても図４のようになることが想定される。例えば、３つのディスプレイをユーザの前方と右側と左側にコの字に並べて配置する状況では、ユーザと右側および左側のディスプレイとの相対関係は図４のようになることが想定される。

ディスプレイ１１の正面（ディスプレイ１１の前方におけるディスプレイ１１の横幅の範囲内）にユーザ９０の頭部がある場合、ユーザ９０は画面１１１と平行に向いていてもディスプレイ１１による疑似窓を明確に意識するので、ディスプレイ１１の画像はユーザ９０の視点の位置から見える仮想空間の自然な画像となっていることが好ましい。

図４を参照すると、ディスプレイ１１の端部と一致する位置にユーザ９０の体があり、ユーザ９０はディスプレイ１１と平行な方向を向いている。この状態でも画像表示システム１０はユーザ９０のユーザ視点位置を検出できることが求められる。

人間の肩幅を４０ｃｍとし、ユーザ空間撮像部１２がディスプレイ１１の幅方向の中央に配置したとし、かつユーザがこの位置から座面を後ろずらすなどしてユーザ視点位置が後ろ方向に移動したとしても検出できるようにするためには、図４に示すように、ユーザ空間撮像部１２は画角が１１０°以上であればよいことになる。

以上説明したように、本実施例によれば、１１０°以上の画角で画面１１１の前方のユーザ空間を撮像し、得られたユーザ空間画像からユーザ視点位置を算出するので、ユーザ空間の広い範囲でユーザ視点位置を認識し、広い測定範囲のユーザから見える疑似的な窓上の画像を表示することができる。

また、本実施例によれば、画面１１１の横幅が机の奥行や収納家具の幅と馴染みやすい６０ｃｍまでのディスプレイ１１を用いた場合、１１０°以上の画角があれば、人間の一般的な肩幅４０ｃｍを考慮した場合にユーザ９０の頭が存在しうる範囲内でユーザ視点位置を検出することができる。これにより、ディスプレイ１１で６０ｃｍ程度までの窓を良好に疑似することができる。

また、本実施例によれば、画面１１１とユーザ空間撮像部１２を同一の基準座標空間上に配置してその基準座標空間上でユーザ視点位置と表示画像を算出するので、ユーザ空間撮像部１２とディスプレイ１１の相対的な位置または姿勢あるいはその両方が異なるシステムに容易に共通設計を適用できる。例えば、ユーザ空間撮像部１２とディスプレイ１１が別個の装置であり、それぞれを配置する位置を自由に選択できるタイプのシステムだけでなく、ユーザ空間撮像部１２とディスプレイ１１が一体的に構成され相対的な位置および姿勢が固定されているシステムについても、画面サイズや形状が異なる複数のタイプがあれば、ユーザ空間撮像部１２とディスプレイ１１の相対的な位置や姿勢はタイプ毎に異なる。それら異なるタイプに共通設計を適用することができる。

また、同じ部屋に複数のディスプレイ１１を用いる場合にそれらのディスプレイ１１をどのような位置および角度に設置しても、複数のディスプレイ１１の画面１１１を同一の基準座標空間上に配置してその基準座標空間上で画面１１１への表示画像を共通の演算方法で算出することができる。また、同じ部屋の複数のディスプレイ１１の画像を高い精度で連続させることができる。このことは、ホテル、住宅、オフィス等の室内景観の向上において高い視覚効果を発揮する。

本実施例では、ユーザ空間撮像部１２の画角が１１０°以上であり、画面１１１の幅が６０ｃｍ以下であり、ユーザ空間撮像部１２の撮像方向を画面１１１に垂直に向けている。しかし、ユーザ空間撮像部１２の画角が１１０°以上あれば、他の条件のシステムでも良好にユーザ視点位置を検知できるようにすることができる。例えば、画角１１０°以上あれば、画面の幅が１００ｃｍ程度まで十分に実用可能なものとなる。また、ディスプレイ１１に対するユーザ空間撮像部１２の相対位置、ディスプレイ１１やユーザ空間撮像部１２の想定される設置場所などを考慮して、ユーザ空間撮像部１２の撮像方向を画面１１１に対して垂直な方向から上下左右に適切にずらした方向に設定することで、より良い結果を得ることも可能である。つまり、ユーザ空間のより広い範囲でユーザ視点位置を検出可能にできる。

また、本実施例では、処理部１４は、時系列のユーザ空間画像からユーザ９０が行った所定のジェスチャを検出し、ジェスチャに対応する所定の処理を実行する。ユーザ空間撮像部１２が広い画角でユーザ空間画像を取得し、処理部１４がユーザ空間画像から所定のジェスチャを検出し、そのジェスチャに対応する所定の処理を実行するので、実用範囲にいるユーザ９０によるジェスチャ操作で操作用のリモートコントローラがなくても所望の操作を行うことができる。

以下、画像表示システム１０の動作について詳しく説明する。

図５は、実施例１において記憶部に記録されるデータを示す図である。図５を参照すると、記憶部１３には、画面位置データ２１、画面姿勢データ２２、画面形状データ２３、撮像位置データ２４、撮像姿勢データ２５、三次元データ２６、ユーザ視点位置データ２７、および表示画像データ２８が記録されている。上述した画面配置データはここでいう画面位置データ２１と画面姿勢データ２２と画面形状データ２３を含むものである。上述した撮像部配置データはここでいう撮像位置データ２４と撮像姿勢データ２５を含むものである。

画面位置データ２１は、画面１１１の位置（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）を表すデータである。画面１１１の位置（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）はディスプレイ１１の設置時に確定し、設定されてもよいし、ディスプレイ１１が設置後に自由に移動し記憶部１３に記録される位置情報の数値が移動に応じて常に更新される形にしてもよい。複数のディスプレイ１１を用いる場合には、それぞれの位置（ｘ_ｍ，ｙ_ｍ，ｚ_ｍ）が設定される。

画面姿勢データ２２は、画面１１１の姿勢（Ｙａｗ_ｍ，Ｐｉｔｃｈ_ｍ，Ｒｏｌｌ_ｍ）を表すデータである。画面１１１の姿勢（Ｙａｗ_ｍ，Ｐｉｔｃｈ_ｍ，Ｒｏｌｌ_ｍ）はディスプレイ１１の設置時に確定し、設定してもよいし、ディスプレイ１１の設置条件とともに設計時あるいは出荷時に予め固定値として設定しておいてもよい。例えば、ディスプレイ１１を水平にして壁面に固定するという設置条件にし、その設置条件に従って設置したときの姿勢（Ｙａｗ_ｍ，Ｐｉｔｃｈ_ｍ，Ｒｏｌｌ_ｍ）を予め設定しておいてもよい。また、ディスプレイ１１が設置後に自由に回転し記憶部１３に記録される姿勢情報の数値が回転に応じて常に更新される形にしてもよい。複数のディスプレイ１１を用いる場合にはそれぞれの姿勢（Ｙａｗ_ｍ，Ｐｉｔｃｈ_ｍ，Ｒｏｌｌ_ｍ）が設定される。

画面形状データ２３は、画面１１１の形状（Ｈｅｉｇｈｔ_ｍ，Ｗｉｄｔｈ_ｍ）を表すデータである。画面１１１の形状（Ｈｅｉｇｈｔ_ｍ，Ｗｉｄｔｈ_ｍ）は、設計時あるいは出荷時に予めディスプレイ１１の固定値を設定しておいてもよいし、ディスプレイ１１が設置後に自由に変形し記憶部１３に記録される形状情報の数値が変形に応じて常に更新される形にしてもよい。複数のディスプレイ１１を用いる場合には、それぞれの形状（Ｈｅｉｇｈｔ_ｍ，Ｗｉｄｔｈ_ｍ）が設定される。なお、画面１１１の形状としては長方形を想定し、Ｈｅｉｇｈｔ_ｍは高さ方向の長さ、Ｗｉｄｔｈ_ｍは幅方向の長さの数値であるが、画面１１１の形状は長方形に限定されない。例えば画面１１１を二等辺三角形として、その形状を下底の長さと高さとで表現してもよい。また、画面１１１を台形として、その形状を上底と下底と高さで表現してもよい。また、画面１１１として曲面の画面を用いることも可能である。長方形の平面が特定の曲率で曲がっている形状の画面であれば、その形状を長方形の高さおよび幅と曲率もしくは半径とで表現することができる。同様に、球、長球、扁球、回転体など様々な形状の画面をそれぞれの形状を特徴づけるパラメータで表現してもよい。ここに例示したものを含むどのような画面であってもその形状を基準座標空間上に定義し、表示する画像を算出することができる。

撮像位置データ２４は、上述したユーザ空間撮像部１２－１、１２－２のそれぞれの位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）を表すデータである。撮像位置データ２３の位置（ｘ_ｓ，ｙ_ｓ，ｚ_ｓ）はユーザ空間撮像部１２の設置時に確定し、設定される。

撮像姿勢データ２５は、上述したユーザ空間撮像部１２－１、１２－２の姿勢（Ｙａｗ_ｓ，Ｐｉｔｃｈ_ｓ，Ｒｏｌｌ_ｓ）を表すデータである。撮像姿勢データ２４の姿勢（Ｙａｗ_ｓ，Ｐｉｔｃｈ_ｓ，Ｒｏｌｌ_ｓ）はユーザ空間撮像部１２の設置時に確定し、設定されてもよいし、ユーザ空間撮像部１２の設置条件とともに定め予め固定値として設定しておいてもよい。

三次元データ２６は、ディスプレイ１１に表示する画像を生成する元になる三次元データであり、図３に例示したような仮想空間にある三次元オブジェクトを表現する三次元データである。ここでいう三次元データは、三次元空間上の三次元オブジェクトを表現するデータであればよく、特に具体的手法は限定されない。コンピュータグラフィックにより作成された立体情報を持つデータとしてもよいし、厚みのない平面の三次元オブジェクトに実写の静止画像や動画像が貼り付けられたデータであってもよい。視野が１８０°もしくはそれに近い広視野角のレンズを用いたカメラまたは３６０°撮影カメラ等を用いて撮影された静止画像もしくは動画像が厚みの無い球面のオブジェクトの表面に貼り付けられたデータであってもよい。

ユーザ視点位置データ２７は、上述したユーザ視点位置を表すデータである。ユーザ視点位置は、処理部１４により繰り返し更新されるので、ユーザ視点位置データ２７もその度に更新される。例えば、ディスプレイ１１のフレームレートを３０ｆｐｓとし、それと同じ周期でユーザ視点位置を更新することとすれば、ユーザ視点位置データ２７は１秒間に３０回更新されることになる。ユーザ視点位置データ２７には、時系列のユーザ視点位置のデータが蓄積される。

表示画像データ２８は、上述した、ユーザ視点位置から画面１１１による疑似窓の向こうの空間に三次元オブジェクトがあるように見えるように三次元データを投影した画像のデータであり、画面１１１に表示される画像のデータである。ディスプレイ１１が複数ある場合には、それぞれのディスプレイ１１の画面１１１に表示するデータが表示画像データ２７として記録される。画面１１１に表示される画像のデータは、処理部１４により繰り返し更新されるので、表示画像データ２８もその度に更新される。例えば、ディスプレイ１１のフレームレートを３０ｆｐｓとすれば、表示画像データ２８は１秒間に３０回更新されることになる。

図６は、実施例１による画像表示システムの全体処理のフローチャートである。図６の各処理は処理部１４により実行される。処理部１４が図６の処理を周期的に繰り返すことにより、ディスプレイ１１に表示される画像が時間経過とともに変化し、ユーザ９０に動画として認識される。例えば、ディスプレイ１１に表示する画像のフレームレートが３０ｆｐｓだとすると、処理部１４は図６に示す処理を１秒間に３０回繰り返すことになる。

図６を参照すると、処理部１４は、まず、視点位置算出処理を実行する（ステップＳ１０１）。視点位置算出処理は、上述したユーザ視点位置を算出し、ユーザ視点位置データ２６として記憶部１３に記録する処理である。視点位置算出処理の詳細は図７を用いて後述する。

次に、処理部１４は、画像生成処理を実行する（ステップＳ１０２）。画像生成処理は、記憶部１３に記録されたユーザ視点位置データ２６が示すユーザ視点位置から画面１１１を通して見える三次元オブジェクトの画像を生成し、そのデータを記憶部１３に記録する処理である。ディスプレイ１１が複数ある場合には、処理部１４は、それぞれのディスプレイ１１の画面１１１に表示する画像を生成し、それらのデータを表示画像データ２７に記録する。

次に、処理部１４は画像表示処理を実行する（ステップＳ１０３）。画像表示処理は、記憶部１３に記録された表示画像データ２７に基づいて、画面１１１を通して見える三次元オブジェクトの画像をディスプレイ１１に表示させる処理である。ディスプレイ１１が複数ある場合には、処理部１４は、それぞれのディスプレイ１１の画面１１１を通して見える三次元オブジェクトの画像のデータをそれぞれのディスプレイ１１に表示させる。

例えば、図２に示したように、ディスプレイ１１と、ユーザ空間撮像部１２－１、１２－２を有するステレオセンサと、を別個の装置として構成する場合、ステップＳ１０１はステレオセンサの処理部が分担し、ステップＳ１０２、Ｓ１０３はディスプレイ１１を構成する装置の処理部が分担してもよい。

本実施例による処理部１４は、三次元データ２５に射影変換を適用することにより、ユーザ視点位置から画面１１１を通して見える三次元オブジェクトの表示画像を生成することにしてもよい。射影変換により、三次元データ２５の三次元オブジェクトを画面に対してユーザ視点位置を考慮して数学的に投影するので、ユーザ９０が画面１１１を斜め方向から見たときにも三次元オブジェクトが確からしい自然な画像として表示される。

また、処理部１４は、ユーザ空間撮像部１２により得られた現在までの時系列のユーザ空間画像、もしくは、ユーザ視点位置、もしくはその両方に基づいて、ユーザ視点位置に含まれるノイズを除去する処理を行うことにしてもよい。撮影した最も直近のユーザ空間画像をそのままで画像処理した結果を用いてユーザ視点位置を算出し、そのユーザ視点位置から見える三次元オブジェクトの画像を生成すると、その時点のみに発生した様々なノイズ要素により、ユーザ視点位置が突如大きくずれた位置と算出され、結果としてコマ毎に表示画像がぶれる可能性がある。本構成によれば、過去のユーザ空間画像やユーザ視点位置に基づいてユーザ視点位置のノイズを除去してから、現在のユーザ視点位置を確定するので、表示画像のぶれを抑制することができる。ノイズを除去する方法としては、過去のユーザ空間画像のデータに基づいてノイズ判定を行い、判定結果に基づいて現在の空間画像のノイズ除去を行う方法がある。また、過去のユーザ視点位置のデータと現在のユーザ視点位置のデータに基づいてカルマンフィルタを用いて現在のユーザ視点位置を更新（あるいは修正）するという方法がある。

図７は、実施例１による画像表示システムによる視点位置算出処理のフローチャートである。

図７を参照すると、処理部１４はまず画像中の特徴量探索を実行する（ステップＳ２０１）。特徴量探索は、ユーザ空間撮像部１２－１もしくは１２－２のいずれかの画像内から人間（ユーザ９０）の頭部を検出する。画像から人間の頭部を検出する処理は例えば顔認識技術を用いることで可能である。このときＨａａｒ－ｌｉｋｅ特徴による明暗差をもとにした顔パターンを認識する方法を用いてもよい。また、深層学習や機械学習により訓練された画像からユーザを直接認識する学習器（学習済み人工知能プログラム）を用いて顔位置の認識、もしくは、体骨格から直接頭の中心位置を認識する方法でもよい。

次に、処理部１４は画像マッチング処理を実行する（ステップＳ２０２）。画像マッチング処理は、ユーザ空間撮像部１２－１、１２－２による画像同士を比較し、ステップＳ２０１にて片方の画像において探索されたユーザ９０と認識された特徴部位と同じ物が写っている他方の画像中の箇所を特定する処理である。

次に、処理部１４は両画像中の特徴部位のピクセル座標を特定する（ステップ２０３）。ここでは処理部１４は、ユーザ空間撮像部１２－１で撮影した画像中の特徴部位と、ユーザ空間撮像部１２－２で撮影した画像中の特徴部位それぞれにおいて、画像中のピクセル座標を取得する。

次に、処理部１４は、画像マッチング処理の結果に基づいて、各ピクセルと三次元座標とを対応づける（ステップＳ２０４）。ステップＳ２０３の処理により２つの画像において同じ物が写っている箇所のピクセル座標が特定されれば、三角測量の原理を用いてその箇所の三次元座標を特定することができる。

特定された箇所がユーザ９０の頭部であればその三次元座標を、ユーザ視点位置として特定することになる。このとき処理部１４は、例えば、頭の中心部の位置を頭部位置（ｘ_ｈ，ｙ_ｈ，ｚ_ｈ）としてもよい。その場合、画像から頭部の半径を推定し、頭部の中央の表面から奥行方向に半径分だけ入った位置の三次元座標が頭部位置となる。具体的には、頭部の中央の表面の三次元座標のｚ値に対して半径分を加算すればよい。

また、他の例として、処理部１４は、画像における頭部の中央の表面の位置を頭部位置（ｘ_ｈ，ｙ_ｈ，ｚ_ｈ）としてもよい。その場合、頭部の中央が表示されたピクセルに対応する三次元座標がそのまま頭部位置となる。

また、ユーザ視点位置を特定する方法の他の例として、処理部１４は、画像における人物らしき特徴を有する領域を検出し、ユーザ空間撮像部１２－１、１２－２からその特徴領域までの距離を得た後、その特徴領域の水平方向における中心位置をＸ_Ｖ、垂直方向における特徴領域の頂点から１０ｃｍほど下の位置をＹ_Ｖとして、ピクセル座標（Ｘ_Ｖ、Ｙ_Ｖ）と特徴領域までの距離をもとに、ユーザ視点位置を簡易推定するという方法をとってもよい。これは頭頂部の１０ｃｍ下を視点位置と推定するものである。

なお、必ずしも２つのユーザ空間撮像部１２－１、１２－２によるユーザ空間画像の両方にユーザ９０の頭部が写っているとは限らない。ユーザ空間撮像部１２－１とユーザ空間撮像部１２－２の位置の違いや、障害物の影響などで、２つのユーザ空間撮像部１２－１、１２－２によるユーザ空間画像のうち１つにしかユーザ９０の頭部が写っていないこともあり得る。その場合にはユーザ視点位置を推定することにしてもよい。これにより、広い範囲でユーザ視点位置を特定し、画像の生成に用いることができる。

例えば、処理部１４は、ユーザ空間撮像部１２－１、１２－２で取得された画像のデータとその画像から算出したユーザ視点位置の情報との少なくとも一方を記録し、複数のユーザ空間撮像部１２による画像にユーザ視点位置に関する所定のユーザ部位（ここでは頭部）が写っている場合は複数の画像の視差に基づいてユーザ視点位置を算出し、１つのユーザ空間撮像部１２による画像のみにユーザ部位が写っている場合はその１つの画像と過去の画像のデータまたは過去のユーザ視点位置とに基づいてユーザ視点位置を推定することにしてもよい。

また、本実施例では、処理部１４はユーザ９０が激しく動いた場合や、部屋の明るさ等の影響で特徴量を検出できず、ユーザ空間撮像部１２－１、１２－２で撮像された画像からユーザ９０のユーザ視点位置を一時的に算出できない状態となる場合がありえる。その場合には、処理部１４は、記憶部１３にユーザ視点位置データ２７として蓄積された過去の時系列のユーザ視点位置に基づいて、現在のユーザ視点位置を推定することにしてもよい。具体的には、過去のユーザ視点位置の履歴から、ユーザ９０の移動速度および移動加速度とそれらの方向を示す三次元ベクトルのデータを記録し、それらのデータから現在のユーザ視点位置を推定することにしてもよい。例えば、移動方向の前方に障害物がなければ、算出できた最新の移動速度から、算出できた最新の移動加速度で速度変化し、算出できた最新のユーザ視点位置から現在までに移動した位置を現在のユーザ視点位置としてもよい。

また、本実施例では、処理部１４は、ユーザ視点位置を補正し、補正後のユーザ視点位置から画面１１１を通して見える三次元オブジェクトの画像を生成することにしてもよい。ユーザ視点位置の精度を向上させることができる。例えば、ユーザ空間撮像部１２－１、１２－２を有する複数のステレオセンサを設け、それらのステレオセンサにより取得される複数のユーザ視点位置から最小二乗基準に基づきユーザ視点位置を推定することにしてもよい。また、２つのユーザ空間撮像部１２－１、１２－２を有するステレオセンサと、他のセンサーとして例示した赤外線を用いたセンサーやマーカーによりユーザ位置を測定するセンサーなどから、２つ以上の任意の組み合わせにより得た２つ以上のユーザ視点位置から最小二乗基準に基づきユーザ視点位置を推定することにしてもよい。

また、本実施例では、ユーザ９０はジェスチャによって画像表示システム１０を操作することができる。図８は、実施例１による画像表示システムのジェスチャ操作処理のフローチャ－トである。

処理部１４は、時系列に更新されるユーザ空間画像に基づき所定の起動ジェスチャが行われるのを監視する（ステップＳ３０１）。起動ジェスチャは、画像表示システム１０に対して指示を行うための事前のジェスチャである。具体的なジェスチャは特に限定されないが例えば頭に手を当てるといったジェスチャである。起動ジェスチャが検出されない間は、所定の処理を指示する指示ジェスチャが行われても、画像表示システム１０はその処理を実行しない。

起動ジェスチャを検知すると、処理部１４は次にタイマを起動する（ステップＳ３０２）。このタイマは起動ジェスチャにより指示ジェスチャを有効とする時間を計測するタイマである。起動ジェスチャが検知されたときに、処理部１４は、ディスプレイ１１の画面１１１に所定の指示受付表示を行うことで、起動ジェスチャが検知されたことをユーザ９０に提示してもよい。また、処理部１４は、起動ジェスチャが検知されるかタイマがタイムアウトするまで指示受付表示を継続してディスプレイ１１に表示させておくことにしてもよい。

次に、処理部１４は、時系列に更新されるユーザ空間画像に基づき指示ジェスチャが行われるのを監視する（ステップＳ３０３）。指示ジェスチャは上述のように所定の処理を指示するためのジェスチャである。ジェスチャにより指示できる処理は複数種類あってもよい。その場合、処理毎に異なる指示ジェスチャを定めておけばよい。

指示ジェスチャが検知されない間は（ステップＳ３０３のＮＯ）、処理部１４は、タイマのタイムアウトの有無を監視し（ステップＳ３０５）、タイマがタイムアウトするまで指示ジェスチャを監視する。

指示ジェスチャが検知される前にタイマがタイムアウトしたら（ステップＳ３０５のＹＥＳ）、処理部１４は、ステップＳ３０１に戻って起動ジェスチャを監視する。

タイマがタイムアウトする前に指示ジェスチャが検知されると（ステップＳ３０３のＹＥＳ）、処理部１４は、指示ジェスチャに対応する処理を実行する（ステップＳ３０４）。

以上のように、処理部１４は、時系列のユーザ空間画像から所定の起動ジェスチャを検出した後に所定の指示ジェスチャを検出すると、指示ジェスチャに対応する所定の処理を実行する。２段階のジェスチャがあったときに処理が実行されるようになっているので、ユーザ９０の意図しない処理が誤って実行されるのを抑制することができる。

なお、本実施例では２段階のジェスチャを採用する例を示したが、これに限定されるものではない。他の例として１段階のジェスチャにより画像表示システム１０を操作できるようにしてもよい。その場合でも普段の動作では行うことの少ないジェスチャを用いれば誤動作を抑制することができる。また、２段階以上の事前のジェスチャが検知された後に所定の指示ジェスチャが検知されたらその指示ジェスチャに対応する処理の処理を実行することにしてもよい。

また、本実施例では画像表示システム１０が１つのディスプレイ１１を有する例を示したが、これに限定されることはない。他の例として、画像表示システム１０は、複数のディスプレイ１１を有していてもよい。その場合、例えば、記憶部１３は、複数のディスプレイ１１のそれぞれの画面１１１の基準座標空間における位置、姿勢および形状を示す画面配置データを保持する。また、処理部１４は、複数のディスプレイ１１のそれぞれについて、ディスプレイ１１の画面配置データ（画面位置データ２１および画面姿勢データ２２）と三次元データ２５に基づいて三次元オブジェクトの表示画像を生成し、それぞれの表示画像をディスプレイ１１の画面１１１に表示させる。全てのディスプレイ１１の画面１１１の位置および姿勢を同じ基準座標空間に配置して演算を行うので、複数のディスプレイ１１をどのような位置および姿勢に設置しても全てのディスプレイ１１に表示する画像を共通の演算方法で算出できる。また、全てのディスプレイ１１の画面１１１の位置および姿勢を同じ基準座標空間に配置して演算を行うので、複数のディスプレイ１１の画像を高い精度で整合させ、連続させることができる。このことは、例えば、ホテル、住宅、オフィス等の室内景観の向上において高い視覚効果を発揮する。

また、本実施例による画像表示システム１０は様々な付加機能を備えていてもよい。

例えば、画像表示システム１０は、インタネット等の通信ネットワークと接続する通信装置を備えていてもよい。画像表示システム１０は通信装置を介して情報をＷｅｂサーバに送信したり、Ｗｅｂサーバから情報を受信したりしてもよい。情報の送信や受信を行う操作を上述したジェスチャによってできるようにしてもよい。

また、画像表示システム１０はパーソナルコンピュータと接続し、パーソナルコンオピュータ（ＰＣ）の画像を表示するモニタとして利用可能であってもよい。接続インタフェース部は例えばＨＤＭＩ（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）（ＨＤＭＩは登録商標）やＶＧＡ（Ｖｉｄｅｏ Ｇｒａｐｈｉｃｓ Ａｒｒａｙ）である。疑似窓とＰＣ用モニタのモード切替などの操作を上述したジェスチャによってできるようにしてもよい。

実施例１では仮想的な三次元オブジェクトの画像を表示する画像表示システム１０を例示したが、これに限定されることはない。他の例として、現実空間の画像をディスプレイ１１に表示することも可能である。実施例２では現実空間の画像を表示する画像表示システムを例示する。

図１０は、実施例２による画像表示システムのブロック図である。図１０を参照すると、画像表示システム３０は、画像表示装置３１と画像取得装置３３を有している。画像表示装置３１と画像取得装置３３は通信回線を介して接続される。例えば、画像表示装置３１が通信ネットワークを介して画像取得装置３３が実写画像に基づく三次元データを取得し、表示するものであってもよい。また、画像表示装置３１と画像取得装置３３が有線または無線による通信により接続し、画像取得装置３３で取得される画像に戻づく画像をリアルタイムで画像表示装置３１が表示する物であってもよい。
画像表示装置３１は、実施例１に示した画像表示システム１０と同じものであり、ディスプレイ１１、２つのユーザ空間撮像部１２－１、１２－２、記憶部１３、および処理部１４を有している。画像取得装置３３は、表示空間撮像部３４、処理部３５、および音声取得部３６を有している。

表示空間撮像部３４は、ディスプレイ１１に表示するための実空間である表示空間の画像を取得する。

音声取得部３６は、表示空間の音声を取得する。

処理部３５は、表示空間撮像部３４が取得した画像のデータを利用して三次元データ２５を生成する。そして、処理部３５は、生成した三次元データと、音声取得部３６が取得した音声のデータとを画像表示装置３１に送信する。

処理部３５が表示空間撮像部３４で取得された実写画像から三次元データ２５を生成する方法は特に限定されない。例えば、取得された平面の実写画像をそのまま、もしくは、所定サイズの複数の画像に分割し、画像を平面のままで三次元空間上に配置することにしてもよい。表示空間撮像部３４として、視野が１８０°もしくはそれに近い広視野角のレンズを用いたカメラまたは３６０°撮影カメラ等を用い、表示空間撮像部３４で撮影された画像を三次元空間上の球面物体の内側表面に張り付けた形で三次元空間上に配置してもよい。また、表示空間撮像部３４にライトフィールド技術を用いたカメラにより、光の入射方向および強度の情報を取得し、それらの情報を用いて画像処理することで、奥行情報も含めた三次元の空間そのものを撮影したデータが得られる。このデータを三次元空間上に配置してもよい。また、実写画像を三次元化して三次元空間に配置することにしてもよい。複数のステレオカメラで奥行情報を有する実写画像を撮像し、その実写画像と奥行情報に基づいて三次元データを作成してもよい。その場合、表示空間撮像部３４は複数の単体撮像部の集合体であり、表示空間を複数の方向から撮像した画像を取得する。

以上のように本実施例では、画像取得装置３３にて、表示空間撮像部３４が表示対象とする実空間である表示空間を撮像して画像を取得する。処理部３５は、表示空間撮像部３４が取得した画像のデータを利用して三次元データを生成する。そして、画像表示装置３１が、この三次元データを用いて、ユーザ９０の位置から画面１１１を通して、三次元データに表現された三次元空間を見たときの画像をディスプレイ１１に表示する。したがって、ユーザ視点位置から見える画像として実空間の画像をディスプレイ１１に表示することができる。

また、本実施例では、音声取得部３６が表示空間の音声を取得する。そして、音声出力部３２がユーザ空間にその音声を出力する。したがって、表示空間の画像だけでなく音声も再現することができるので、ユーザ９０は、ディスプレイ１１による疑似窓の向こうに、視覚および聴覚で実空間を感じることが可能となる。

本実施例による画面表示システム３０の利用方法は特に限定されないが、画像取得装置３３をスタジアム等に配置し実際のスポーツの試合を観戦するための観客席からの視界を画像表示装置３１で疑似的に再現するための用途、画像表示システム３０を通信ネットワークを介して接続し、画像取得装置３３で取得した画像および音声を相互に送受信することにより遠隔地間で画像と音声によるリアルタイムのコミュニケーションを行う用途などが想定される。

上述した各実施例は、本発明の説明のための例示であり、本発明の範囲をそれらの実施例に限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。

１０…画像表示システム、１１…ディスプレイ、１２…ユーザ空間撮像部、１３…記憶部、１４…処理部、２１…画面位置データ、２２…画面姿勢データ、２３…画面形状データ、２４…撮像位置データ、２５…撮像姿勢データ、２６…三次元データ、２７…ユーザ視点位置データ、２８…表示画像データ、３０…画像表示システム、３１…画像表示装置、３２…音声出力部、３３…画像取得装置、３４…表示空間撮像部、３５…処理部、３６…音声取得部、９０…ユーザ、１１１…画面

Claims (1)

1. 画像を表示可能な画面を有するディスプレイと、
   前記ディスプレイの前記画面に表示される画像を見るユーザが存在しうる前記画面より前方のユーザ空間を撮像し、ユーザ空間画像を取得する複数のユーザ空間撮像部と、
   所定の基準座標空間における前記画面の位置、姿勢および形状を示す画面配置データと、前記基準座標空間上の三次元オブジェクトを表す三次元データと、を保持する記憶部と、
   複数の前記ユーザ空間撮像部のそれぞれで取得される前記ユーザ空間画像に基づいて、前記ユーザ空間撮像部毎に前記基準座標空間上のユーザ視点位置に相当する位置の座標を算出し、複数の前記ユーザ視点位置に相当する位置の座標から１つのユーザ視点位置の座標を算出し、該座標と前記画面配置データと前記三次元データに基づいて、前記ユーザ視点位置から前記画面を介して仮想空間上の前記三次元オブジェクトを見たときのような見え方となる前記三次元オブジェクトの表示画像を生成し、該表示画像を前記ディスプレイの前記画面に表示させる処理部と、
   を有する、
   画像表示システム。

Images