JP2011128838A - 画像表示装置 - Google Patents

Abstract

【課題】現実空間の画像に、仮想物体の画像を重畳表示する画像表示装置において、現実空間内において当該画像表示装置の利用者に接近する物体を仮想物体画像表示によって隠蔽しないように仮想物体画像を表示し、係る接近物を利用者に気づかせるための画像表示方法を提供する。
【解決手段】接近物可視性判定部１１７は、接近物検出部１１１が検出した接近物の表示領域と表示対象仮想物体検索部１１０が検索した仮想物体画像の表示領域とを比較し、接近物の表示領域が所定の割合以上見えるか否かによって、接近物の可視性を判定する。接近物の可視性がないと判定された場合、仮想物体表示位置変更部１１６は、利用者がより接近物を発見しやすくなるように仮想物体画像の表示位置を変更する。
【選択図】図１

Description

本発明は、現実空間画像上に仮想物体の画像を重畳して利用者に提示する画像表示装置に関するものである。

従来の画像表示装置としては、仮想現実システムに対するインターフェースとして利用者が装着し、物理的環境における接近物に関して警告を与えるようなヘッドマウントディスプレイに関する衝突警告システムが開示されている（例えば、特許文献１）。

この文献によれば、物理的環境において接近物を検出した場合に、仮想的環境の映像表示を終了する、もしくは物理的環境の映像を前記仮想的環境の映像表示に代えて供給することで利用者に衝突の危険性を指示することができる。

特表平１０−５０４９１７号公報

しかしながら、前記従来の構成では、衝突の危険性を検出した場合には、仮想的環境の映像表示はすべて終了されるので、仮想現実システムを利用しながら街中を歩く場合など、接近物が頻繁に検出されるシーンでは仮想的環境の映像を参照できない時間が長くなり、利用者に不便を強いるという課題を有していた。

本発明は、接近物を検出した場合には利用者に当該接近物を提示しながら、可能な限り仮想的環境の映像をも提示することができる画像表示装置を提供することを目的とする。

前記従来の課題を解決するために、本発明の画像表示装置は、現実空間の画像と仮想物体の画像とを表示する画像表示部と、当該画像表示装置に接近する物体および当該接近する物体の前記画像表示装置における画像表示領域を検出する接近物検出部と、前記接近物検出部が検出した接近する物体の画像表示領域と前記画像表示部における仮想物体の画像の表示領域とが重複すると判定された場合に、前記仮想物体の画像の前記画像表示部における表示を変更する仮想物体画像変更部と、を備えている。

本構成によって、仮想物体の画像表示方法を変更できるので、接近物を検出した場合に接近物を隠蔽しないように仮想物体の画像を表示することで、利用者が接近物に気づきやすいように接近物と仮想物体の画像の両方を提示することができる。

本発明の第一の実施の形態における画像表示装置の機能構成を示す図 本発明の第一の実施の形態における画像表示装置を利用する現実空間を説明する図 本発明の第一の実施の形態における現実空間画像撮像領域取得部１０６が出力する現実空間画像撮像領域情報の例を説明する図 本発明の第一の実施の形態における仮想物体データベース１０９が保持する仮想物体の表示情報の例を示す図 本発明の第一の実施の形態における接近物検出部１１１が検出した危険な接近物の例を示す図 本発明の第一の実施の形態における接近物可視性判定部１１７の判定方法の具体例を示す図（ａ）現実空間画像の図（ｂ）仮想物体画像の表示例の図（ｃ）接近物と仮想物体とを重畳して表示した際の重複表示領域の図 本発明の第一の実施の形態における仮想物体表示位置変更部１１６が、仮想物体表示位置を変更する方法の具体例を示す図（ａ）仮想物体の表示位置変更前の状態を示す図（ｂ）仮想物体の表示位置変更後の状態を示す図 本発明の第一の実施の形態における仮想物体付加画像生成部１１５が生成する仮想物体付加画像の具体例を示す図（ａ）仮想物体の表示位置変更前の状態を示す図（ｂ）仮想物体の表示位置変更後の状態を示す図 本発明の第一の実施の形態における仮想物体付加画像生成部１１５が生成する仮想物体付加画像の具体例を示す図（ａ）仮想物体の表示位置変更前の状態を示す図（ｂ）仮想物体の表示位置変更後の状態を示す図 本発明の第一の実施の形態における仮想物体画像変更部１１４の処理を説明するフローチャート 本発明の第一の実施の形態における仮想物体画像変更部１１４によって変更された仮想物体画像と仮想物体付加画像を示す図 表示サイズを縮小した仮想物体画像の具体例を示す図 透過度を変更した仮想物体画像の具体例を示す図 本来の仮想物体画像の代わりに表示する代替の仮想物体画像の具体例を示す図 本発明の第一の実施の形態における画像表示装置の処理を示すフローチャート 本発明の第一の実施の形態における画像表示装置によって提示される合成画像の具体例を示す図 本発明の第二の実施の形態における画像表示装置の機能構成を示す図 本発明の第三の実施の形態における画像表示装置の機能構成を示す図

（実施の形態１）本発明の第一の実施の形態を図面を参照して詳細に説明する。図１は本発明の第一の実施の形態の画像表示装置の機能構成を示す図である。

カメラ１０１は、画像表示装置に搭載され、画像表示装置を利用する利用者の視点から見える現実空間の画像を撮像する。また、撮像時には事前に設定された焦点距離、画角などの撮像パラメータが使用される。カメラ１０１は、現実空間画像と撮像パラメータとを出力する。

図２はカメラ１０１によって撮像された現実空間画像の例を示す。現実空間には接近してくる車２０１と地下鉄乗り場への入り口２０２があり、これらが現実空間画像として撮像されている。

ＧＰＳ１０３は、画像表示装置に搭載され、現実空間における画像表示装置の３次元位置を測定し、出力する。

電子コンパス１０２は、画像表示装置に搭載され、現実空間における画像表示装置の方位角を測定し、出力する。

加速度センサ１０４は、画像表示装置に搭載され、現実空間における画像表示装置の３次元加速度を測定し、出力する。

現実空間画像生成部１０５は、カメラ１０１から受信した現実空間画像を、後段の画像合成部１１２と、接近物検出部１１１とに出力する。

現実空間画像撮像領域取得部１０６は、ＧＰＳ１０３からの画像表示装置の３次元位置と、電子コンパス１０２からの画像表示装置の方位角と、加速度センサ１０４からの画像表示装置の３次元加速度と、カメラ１０１からの撮像パラメータとを受信し、これらの情報を統合して解析することにより、カメラ１０１が現実空間画像に撮像した空間領域を現実空間画像撮像領域情報として構築し、出力する。

現実空間画像撮像領域情報としては、例えば、現実空間画像撮像領域を錐体の空間領域であるとみなして撮像錐体領域とし、撮像錐体領域頂点位置と、撮像錐体領域の高さ方向の方位と、撮像錐体領域高さと、撮像錐体領域頂点角との組み合わせのように、カメラ１０１が撮像した現実空間の空間領域を一意に表すパラメータの組み合わせが用いられる。

図３は現実空間画像撮像領域情報の具体例を説明する図である。ここでは、現実空間画像撮像領域情報として、撮像錐体領域頂点位置と、撮像錐体領域の高さ方向の方位と、撮像錐体領域高さと、撮像錐体領域頂点角との組み合わせを用いている。

図３において、撮像錐体領域の頂点である撮像錐体領域頂点位置Ｐはカメラ１０１の３次元位置に等しい。

撮像錐体領域の高さ方向の方位は、撮像錐体領域高さ方向方位パラメータθとφによって表され、角θはカメラ１０１の方位角に等しく、また、角φはカメラ１０１の仰角に等しい。カメラ１０１の仰角は、カメラ１０１の加速度情報を積分することで算出されるものである。

撮像錐体領域高さは、撮像錐体領域高さＴ’で表される。撮像錐体領域高さＴ’は所定の距離で決定される。所定の距離とは、例えばカメラ１０１の焦点距離をＴとしてＴ’＝１．５×Ｔとなる距離のように、画像表示装置の利用者にとって回避を要する接近物が、撮像錐体領域内に含まれるような距離が設定される。

撮像錐体領域頂点角は、撮像錐体領域頂点角αで表され、これはカメラ１０１の画角に等しい。

撮像錐体領域は図３の円錐の内側の空間領域であり、前記の撮像錐体領域頂点位置Ｐ、撮像錐体領域高さ方向方位パラメータθ、φ、撮像錐体領域高さＴ’と撮像錐体領域頂点角αとで定義される。

仮想物体データベース１０９は、現実空間画像に重畳して表示する仮想物体の表示情報を記憶しており、利用者の要求に応じて仮想物体の表示情報を出力する。

仮想物体の表示情報としては、例えば、仮想物体を現実空間に重畳して表示する際の表示基準位置を示す３次元位置情報と、仮想物体を表示する際の表示サイズ情報と、現実空間に重畳表示する表示イメージデータとの組み合わせのように、仮想物体を現実空間に重畳して表示する際に必要なパラメータの組み合わせが用いられる。

図４は仮想物体データベース１０９が保持する仮想物体の表示情報の例を示す図である。図４が示す仮想物体４０１は、表示位置として北緯２０度２５分３１秒、東経１３６度４分１１秒、高度５０ｍ、表示サイズとして幅１５０ピクセル、高さ５０ピクセル、表示イメージデータとして画像データ４０２が指定されている。

なお、上記説明においては、仮想物体データベース１０９は仮想物体の表示イメージデータとして画像データを保持しているが、これには限定されない。すなわち、仮想物体の表示情報として別途テキスト情報を合わせて保持し、前記テキスト情報をレンダリングした画像を表示イメージデータとして用いてもよい。

表示対象仮想物体検索部１１０は、仮想物体データベース１０９からの仮想物体の表示情報と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを受信し、現実空間画像撮像領域内に表示可能な仮想物体を検索し、表示可能な仮想物体の表示情報を表示対象仮想物体の表示情報として出力する。

具体的には、仮想物体の表示基準位置が、現実空間画像撮像領域情報の示す空間領域の内部に位置する場合は、前記仮想物体を表示可能な仮想物体と判定する。

画像表示装置位置姿勢取得部１０７は、ＧＰＳ１０３からの画像表示装置の３次元位置と、電子コンパス１０２からの画像表示装置の方位角と、加速度センサ１０４からの画像表示装置の３次元加速度とから、画像表示装置の３次元位置と３次元姿勢情報を解析し、出力する。

画像表示装置速度取得部１０８は、ＧＰＳ１０３からの画像表示装置の３次元位置と、加速度センサ１０４からの画像表示装置の３次元加速度とから、画像表示装置の３次元速度を解析し、出力する。

接近物検出部１１１は、現実空間画像生成部１０５からの現実空間画像と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを受信し、撮像時刻の異なる複数の現実空間画像を画像解析することで、現実空間内において画像表示装置に接近する物体を検出し、さらに、画像表示装置位置姿勢取得部１０７からの画像表示装置の位置姿勢と、画像表示装置速度取得部１０８からの画像表示装置の速度とを受信し、前記検出された接近物の中から、利用者にとって衝突の危険性が高い物体を検出し、接近物情報として出力する。なお、画像解析によって接近物を検出する技術については周知の技術であるので、これについての詳細な説明は省略する。

接近物情報としては、例えば、接近物の現実空間内における３次元位置情報と、接近物の現実空間内における３次元速度情報と、接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報との組み合わせのように、接近物の現実空間内における位置と速度、および、現実空間画像内における表示領域とその移動を一意に表すパラメータの組み合わせが用いられる。

接近物検出部１１１が検出した接近物が利用者にとって衝突の危険性が高いか否かを判断する方法として、例えば次のような条件を用いればよい。

条件：接近物と画像表示装置との衝突予測時刻が所定の閾値以内である。

所定の閾値としては、現在時刻から１０秒、というように、利用者が余裕をもって接近物を回避することができるような時間が設定される。

この条件が満たされているか否かの判定をするためには、例えば次のような方法を用いればよい。すなわち、まず、接近物の３次元位置情報と、画像表示装置の３次元位置情報とから、２地点のユークリッド距離を計算する。次に、接近物の３次元速度情報と、画像表示装置の３次元速度情報とから、画像表示装置に対する接近物の相対的な速度を算出する。次に、前記ユークリッド距離を、前記接近物の相対的な速度で除算することで、接近物と画像表示装置が衝突するまでの予測時刻を算出し、これと閾値とを比較し、予測時刻の方が早ければ接近物が利用者にとって衝突の危険性が高いと判定する。

図５は図２で示す現実環境において検出された危険な接近物の例を示す図である。ここでは、接近してくる車２０１が接近物として検出され、接近物情報として現実空間内での接近物の３次元の位置情報である３次元位置情報Ｐと、現実空間内での接近物の３次元の速度情報である３次元速さ情報Ｖｒ及び３次元向き情報Ｄと、現実空間画像内における接近物の表示領域である接近物表示領域Ｒａ（図５の矩形の領域）と、現実空間画像内における接近物の移動方向Ｖｉとが図中に示されている。

仮想物体画像変更部１１４は、接近物可視性判定部１１７と、仮想物体表示位置変更部１１６と、仮想物体付加画像生成部１１５とを内包している。

仮想物体画像変更部１１４は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物可視性判定部１１７と、仮想物体表示位置変更部１１６とを用いることで接近物が仮想物体によって隠蔽されるような場合にも、接近物の可視性を向上するように仮想物体画像を変更し、出力する。さらに仮想物体付加画像生成部１１５を用いることで、利用者がより効果的に仮想物体を認識できるような付加画像を生成し、これを仮想物体画像と合わせて出力する。

接近物可視性判定部１１７は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物が仮想物体によって隠蔽されず、利用者が十分に接近物を見ることができるか否かを判定する。

図６は判定方法の具体例を示す図である。図６（ａ）は現実空間画像であり、接近してくる車２０１が接近物として検出され、その表示領域である接近物表示領域Ｒａを示している。また、図６（ｂ）は仮想物体画像の表示例であり、仮想物体６０１が表示され、その表示領域である仮想物体表示領域Ｒｖを示している。図６（ｃ）は接近物と仮想物体とを重畳して表示した際の重複表示領域を示している。

ここでは、接近物表示領域Ｒａから算出される表示面積である接近物表示面積Ｓａと、接近物表示領域Ｒａと表示対象仮想物体の仮想物体表示領域Ｒｖとが重複して表示される領域Ｒｈの表示面積Ｓｈとを比較し、接近物表示面積Ｓａに対して重複表示領域の表示面積Ｓｈが所定の閾値を下回ることで接近物が可視であると判定する。閾値としては、例えば３０％のように、利用者が接近物との衝突回避行動を取るために、利用者が接近物を容易に発見しやすくなるような割合が設定される。

なお、上記説明においては、可視性判定のための閾値を、接近物の状態によらず常に一定の値としているが、これには限定されない。すなわち、接近物と画像表示装置の距離や、接近物と画像表示装置の相対速度に応じて閾値を変えてもよい。この方法によれば、近くにある接近物や、急速に近づいてくる接近物を、利用者がより発見しやすくなるように選択的に提示することができる。

また、上記説明においては、可視性判定のための閾値を、接近物の物体種別によらず常に一定の値としているが、これにも限定されない。すなわち、接近物の物体種別に応じて閾値を変えてもよい。この場合、利用者が予め指定した優先的に見たい物体や、緊急車両のような注意を要するものを、利用者がより発見しやすくなるように選択的に提示することができる。

仮想物体表示位置変更部１１６は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物可視性を改善するように仮想物体の表示位置を変更し、変更後の仮想物体の表示情報を出力する。

図７は仮想物体の表示位置の変更方法の具体例を示す図である。図７（ａ）は仮想物体の表示位置変更前の状態を示す図である。ここでは、仮想物体表示領域Ｒｖ、接近物表示領域Ｒａが示されており、接近物検出部１１１からの接近物情報に基づき、接近物表示領域Ｒａは移動方向Ｖｉの方向に移動している。

図７（ｂ）は仮想物体の表示位置変更後の状態を示す図であり、変更後の仮想物体表示領域Ｒｖ’が示されている。ここでは、接近物表示領域Ｒａの移動方向Ｖｉの逆方向であるＶｉ’＝−Ｖｉを仮想物体の表示位置移動方向とし、前記表示位置移動方向に沿って、仮想物体の表示位置を所定の移動量だけ移動させることで、仮想物体の表示位置を変更している。

所定の移動量としては、例えば仮想物体表示領域Ｒｖの高さｈの１／２のように、仮想物体の表示位置の移動によって接近物の表示面積が増大し、かつ、仮想物体の表示位置の移動量ができるだけ小さくなるような移動量が設定される。

仮想物体付加画像生成部１１５は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、仮想物体表示位置変更部１１６からの変更された仮想物体の表示情報とを受信し、仮想物体の表示情報が変更されたことを利用者に明示的に示すための付加的な画像を生成し、出力する。

図８は仮想物体の表示位置が変更されたことを示すための付加的な画像の具体例を示す図である。図８（ａ）は仮想物体の表示位置変更前の状態を示す図である。この図では、仮想物体８０１は表示基準位置Ｐｖを基点として表示されている。図８（ｂ）は仮想物体の表示位置変更後の状態を示す図である。この図では、表示位置の変更された仮想物体８０２が示されており、表示基準位置はＰｖ’に移動している。ここでは、仮想物体付加画像生成部１１５は、表示位置変更後の仮想物体の表示基準位置Ｐｖ’を基点として、元の表示基準位置Ｐｖを指す矢印状の引き出し線の画像８０３を生成する。

なお、上記説明においては、仮想物体付加画像として矢印状の引き出し線の画像を生成しているが、これには限定されない。すなわち、仮想物体の表示位置が変更したことを示す一連のアニメーションを生成してもよい。

図９は仮想物体の表示位置が変更されたこと示すための付加的な画像として生成した、一連のアニメーション画像の具体例を示す図である。図９（ａ）は仮想物体の表示位置変更前の状態を示す図であり、ここでは、仮想物体９０１が示されている。図９（ｂ）は仮想物体の表示位置変更後の状態を示す図である。この図では、表示位置の変更された仮想物体９０２が示されている。ここでは、仮想物体付加画像生成部１１５は、表示位置変更後の仮想物体９０２の表示位置と元の仮想物体９０１の表示位置との間を補完する仮想物体付加画像９０３および９０４を生成する。

図１０は仮想物体画像の変更処理を説明するフローチャートである。まず、接近物可視性判定部１１７は、接近物検出部１１１からの接近物情報を受信し、接近物表示領域の面積を算出する（ステップＳ１００１）。

次に、接近物可視性判定部１１７は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物と仮想物体の表示重複領域の面積を算出する（ステップＳ１００２）。

次に、接近物可視性判定部１１７は、ステップＳ１００１で算出した接近物表示領域の面積と、ステップＳ１００２で算出した表示重複領域の面積とから、接近物の可視性を判定する（ステップＳ１００３）。

接近物が可視性なしと判定された場合（ステップＳ１００３のＮｏ）、仮想物体表示位置変更部１１６は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、仮想物体の表示位置を変更する（ステップＳ１００６）。

ステップＳ１００６で仮想物体の表示位置を変更したのち、再びステップＳ１００２に戻る。

接近物が可視性ありと判定された場合（ステップＳ１００３のＹｅｓ）、仮想物体画像変更部１１４は、仮想物体表示位置変更部１１６によって変更された仮想物体の表示情報を出力する（ステップＳ１００４）。

次に、仮想物体付加画像生成部１１５は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、仮想物体表示位置変更部１１６からの変更された仮想物体の表示情報とを受信し、仮想物体の表示情報が変更されたことを利用者に明示的に示すための付加的な画像を生成し、出力する（ステップＳ１００５）。

図１１は、図２で示す現実空間画像に、図４で示す仮想物体を重畳表示する際に、図１０で示す一連の処理を適用した場合の表示位置を変更された仮想物体画像１１０１と、その付加的な画像１１０２を示している。

なお、上記説明においては、仮想物体画像の変更方法として仮想物体画像の表示位置だけを変更しているが、これには限定されない。すなわち、仮想物体画像の変更方法として、仮想物体画像の表示サイズを変更してもよい。

この方法によれば、仮想物体画像の表示位置は変更されないので、表示される位置が重要な意味を持つ案内表示などの仮想物体画像の意味を損ねることなく、仮想物体画像を表示することができる。図１２は、この方法に基づいて表示サイズを縮小した仮想物体画像１２０１を示している。

また、仮想物体画像の変更方法として、仮想物体画像の一部もしくは全ての透過度を変更してもよい。この方法によれば、仮想物体画像の表示サイズは変更されないので、表示される仮想物体画像が縮小されすぎて見づらくなることを避けつつ、仮想物体画像と接近物の両方を利用者に提示することができる。図１３は、この方法に基づいて透過度を変更した仮想物体画像１３０１を示している。

また、仮想物体画像の変更方法として、仮想物体画像そのものを表示せず、その代替画像を表示するように変更し、利用者からの要求があった場合に、代替画像から本来の仮想物体画像に切り替えて表示してもよい。この方法によれば、本来の仮想物体画像は表示されなくなるが、仮想物体画像が存在していることを利用者に分かりやすく提示することができるため、利用者は接近物の存在と、仮想物体画像の存在の両方を認識することができる。図１４は、この方法に基づいて本来の仮想物体画像の代わりに表示された代替の仮想物体画像１４０１を示している。

仮想物体画像生成部１１３は、仮想物体画像変更部１１４からの仮想物体表示情報と仮想物体付加画像とを受信し、それぞれの仮想物体の表示位置にそれぞれの仮想物体の表示イメージデータを配置し、さらに仮想物体付加画像とを合わせた１枚の仮想物体画像を生成し、出力する。仮想物体の表示イメージデータまたは仮想物体付加画像が存在しない画素には所定の透過色を設定しておく。これにより、後段の合成処理の処理負荷を軽減させることができる。

画像合成部１１２は、現実空間画像生成部１０５からの現実空間画像と、仮想物体画像生成部１１３からの仮想物体画像とを受信し、現実空間画像上に仮想物体画像を重畳して合成することで、合成画像を生成し、出力する。仮想物体画像を合成する際に、所定の透過色の設定された画素は透過合成処理を省略し、現実空間画像上の画素を表示する。

画像表示部１１８は、画像合成部１１２からの合成画像を受信し、表示装置に合成画像を表示する。

図１５は画像表示装置に画像を表示する一連の処理を示すフローチャートである。まず、現実空間画像生成部１０５は、カメラ１０１から受信した現実空間画像を、後段の画像合成部１１２と、接近物検出部１１１とに出力する（ステップＳ１５０１）。

次に、現実空間画像撮像領域取得部１０６は、ＧＰＳ１０３からのカメラ１０１の３次元位置と、電子コンパス１０２からのカメラ１０１の撮像方位角と、加速度センサ１０４からのカメラ１０１の加速度情報と、カメラ１０１からの撮像パラメータとを受信し、これらの情報を統合することにより、カメラ１０１が現実空間画像に撮像した空間領域を現実空間画像撮像領域情報として構築し、出力する（ステップＳ１５０２）。

次に、画像表示装置位置姿勢取得部１０７は、ＧＰＳ１０３からの画像表示装置の３次元位置と、電子コンパス１０２からの画像表示装置の方位角と、加速度センサ１０４からの画像表示装置の３次元加速度とから、画像表示装置の３次元位置と３次元姿勢情報を解析し、出力する（ステップＳ１５０３）。

次に、画像表示装置速度取得部１０８は、ＧＰＳ１０３からの画像表示装置の３次元位置と、加速度センサ１０４からの画像表示装置の３次元加速度とから画像表示装置の３次元速度を解析し、出力する（ステップＳ１５０４）。

次に、表示対象仮想物体検索部１１０は、仮想物体データベース１０９からの仮想物体の表示情報と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを受信し、現実空間画像撮像領域内に表示可能な仮想物体を検索し、
表示可能な仮想物体の表示情報を表示対象仮想物体の表示情報として出力する（ステップＳ１５０５）。

次に、接近物検出部１１１は、現実空間画像生成部１０５からの現実空間画像を受信し、
撮像時刻の異なる複数の現実空間画像を画像解析することで、現実空間内において画像表示装置に接近する物体を検出し、さらに、画像表示装置位置姿勢取得部１０７からの画像表示装置の位置姿勢と、画像表示装置速度取得部１０８からの画像表示装置の速度とから、
接近物検出部１１１において検出された接近物の中から、利用者にとって衝突の危険性が高い物体を検出し、接近物情報として出力する（ステップＳ１５０６）。

次に、仮想物体画像変更部１１４は、表示対象仮想物体検索部１１０からの表示対象仮想物体の表示情報と、接近物検出部１１１からの接近物情報とを受信し、接近物可視性判定部１１７と、仮想物体表示位置変更部１１６とを用いることで接近物が仮想物体によって隠蔽されるような場合にも、接近物の視認性を向上するように仮想物体画像を変更し、出力する。さらに仮想物体付加画像生成部１１５を用いることで、利用者が仮想物体をより効果的に認識できるような付加画像を生成し、これを仮想物体画像と合わせて出力する（ステップＳ１５０７）。

次に、仮想物体画像生成部１１３は、仮想物体画像変更部１１４からの仮想物体表示情報と仮想物体付加画像とを受信し、仮想物体表示位置に仮想物体の表示イメージデータを配置し、さらに仮想物体付加画像とを合わせた１枚の仮想物体画像を生成し、出力する（ステップＳ１５０８）。

次に、画像合成部１１２は、現実空間画像生成部１０５からの現実空間画像と、仮想物体画像生成部１１３からの仮想物体画像とを受信し、現実空間画像上に仮想物体画像を重畳して合成することで、合成画像を生成し、出力する（ステップＳ１５０９）。

次に、画像表示部１１８は、画像合成部１１２からの合成画像を受信し、表示装置に合成画像を表示する（ステップＳ１５１０）。

図１６は第一の実施の形態に示す方法によって表示される合成画像を示すものである。
この実施の形態に係る画像表示装置は、図１６（ａ）で示す現実空間画像に、図１６(ｂ)で示す仮想物体表示画像を重畳合成し、図１６（ｃ）で示す合成画像を画像表示装置に表示する。

このように、第一の実施の形態に係る画像表示装置では、仮想物体画像を現実空間画像に重畳して表示する際に、接近物検出部が検出した接近物を隠蔽しないように仮想物体画像を表示することができるため、利用者は容易に接近物を発見できるようになり、接近物との衝突の可能性を低減することができる。
（実施の形態２）本発明の第二の実施の形態を図面を参照して詳細に説明する。図１７は本発明の第二の実施の形態の画像表示装置の機能構成を示す図である。なお、図１、および、第一の実施の形態と共通する構成については同一の符号を付して示し、重複する説明は省略する。

近接センサ１１９は、画像表示装置に搭載され、現実空間において画像表示装置に接近する物体の物体情報を出力する。物体情報としては、例えば、物体の３次元位置と、画像表示装置から見た物体の前面投影面の形状データとの組み合わせのように、当該物体が現実空間画像においてどの領域に表示されるかを解析できるようなパラメータの組み合わせが用いられる。

接近物検出部１１１は、近接センサ１１９からの接近物情報と、画像表示装置位置姿勢取得部１０７からの画像表示装置の位置姿勢と、画像表示装置速度取得部１０８からの画像表示装置の速度とを受信し、近接センサ１１９で検出された接近物の中から、利用者にとって衝突の危険性が高い物体を検出し、接近物情報として出力する。

接近物検出部１１１は、近接センサ１１９から受信した接近物の３次元位置を時間微分することで接近物の３次元速度情報を取得する。接近物検出部１１１は、この３次元速度情報を用い、第一の実施の形態に記載の方法によって、検出した接近物が利用者にとって衝突の危険性が高いか否かを判断する。

また、第一の実施の形態に示す接近物情報のうち、接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報は、近接センサ１１９からの接近物情報と、現実空間画像生成部１０５からの現実空間画像と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを用いて幾何学的に解析できる。

この解析によって得られた接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報と、近接センサ１１９から得られた３次元位置情報と、前記３次元位置情報の時間微分によって得られた３次元速度情報とを合わせて接近物情報を構築し、利用者にとって衝突の危険性が高い物体の接近物情報として出力する。

このように、第二の実施の形態に係る画像表示装置では、接近物検出に近接センサを用いることで、画像解析では検出の難しい接近物をも検知することができるため、視界の良くない環境においても、第一の実施の形態と同等の効果を得ることができる。
（実施の形態３）本発明の第三の実施の形態を図面を参照して詳細に説明する。図１８は本発明の第三の実施の形態の画像表示装置の機能構成を示す図である。なお、図１、および、第二の実施の形態と共通する構成については同一の符号を付して示し、重複する説明は省略する。

受信装置１２０は、画像表示装置に搭載され、現実空間において画像表示装置に接近する物体の物体情報を無線を介して受信し、後段の接近物検出部１１１に出力する。物体情報としては、例えば、物体の３次元位置と、物体の３次元形状データとの組み合わせのように、当該物体が現実空間画像においてどの領域に表示されるかを解析できるようなパラメータの組み合わせが用いられる。

接近物検出部１１１は、受信装置１２０からの接近物情報と、画像表示装置位置姿勢取得部１０７からの画像表示装置の位置姿勢と、画像表示装置速度取得部１０８からの画像表示装置の速度とを受信し、受信装置１２０が受信した接近物情報の中から、利用者にとって衝突の危険性が高い物体を検出し、接近物情報として出力する。

接近物検出部１１１は、受信装置１２０が受信した接近物の３次元位置を時間微分することで接近物の３次元速度情報を取得する。接近物検出部１１１は、この３次元速度情報を用い、第一の実施形態に記載の方法によって、検出した接近物が利用者にとって衝突の危険性が高いか否かを判断する。

また、第一の実施の形態に示す接近物情報のうち、接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報は、受信装置１２０からの接近物情報と、現実空間画像生成部１０５からの現実空間画像と、現実空間画像撮像領域取得部１０６からの現実空間画像撮像領域情報とを用いて幾何学的に解析できる。

この解析によって得られた接近物の現実空間画像内における表示領域と、接近物の現実空間画像内における表示領域の移動方向情報と、受信装置１２０から得られた３次元位置情報と、前記３次元位置情報の時間微分によって得られた３次元速度情報とを合わせて接近物情報を構築し、利用者にとって衝突の危険性が高い物体の接近物情報として出力する。

このように、この実施形態に係る画像表示装置では、接近物検出に受信情報を用いることで、画像解析では検出のできない接近物をも検出することができるため、接近物が他の物体の影にあるような状況においても、第一の実施の形態と同等の効果を得ることができる。

本発明に係る画像表示装置は、仮想物体の画像を表示しながら接近物をも発見しやすく提示することで、当該装置利用者と接近物との衝突回避を促すことが可能になるので、
画像表示装置等として有用である。

１０１ カメラ
１０２ 電子コンパス
１０３ ＧＰＳ
１０４ 加速度センサ
１０５ 現実空間画像生成部
１０６ 現実空間画像撮像領域取得部
１０７ 画像表示装置位置姿勢取得部
１０８ 画像表示装置速度取得部
１０９ 仮想物体データベース
１１０ 表示対象仮想物体検索部
１１１ 接近物検出部
１１２ 画像合成部
１１３ 仮想物体画像生成部
１１４ 仮想物体画像変更部
１１５ 仮想物体付加画像生成部
１１６ 仮想物体表示位置変更部
１１７ 接近物可視性判定部
１１８ 画像表示部
１１９ 近接センサ
１２０ 受信装置
２０１ 現実空間で接近してくる車
２０２ 現実空間にある地下鉄乗り場への入り口
４０１ 仮想物体データベースに保持された仮想物体表示情報の例
４０２ 仮想物体の表示イメージデータ
６０１ 仮想物体の表示例
８０１ 表示位置変更前の仮想物体画像
８０２ 表示位置変更後の仮想物体画像
８０３ 仮想物体付加画像の例
９０１ 表示位置変更前の仮想物体画像
９０２ 表示位置変更後の仮想物体画像
９０３ 仮想物体付加画像の例
９０４ 仮想物体付加画像の例
１１０１ 表示位置を変更された仮想物体画像
１１０２ 仮想物体付加画像
１２０１ 表示サイズを縮小した仮想物体画像
１３０１ 透過度を変更した仮想物体画像
１４０１ 仮想物体の代わりに表示された代替の仮想物体画像

Claims (17)

1. 画像表示装置であって、現実空間の画像と仮想物体の画像とを表示する画像表示部と、当該画像表示装置に接近する物体および当該接近する物体の前記画像表示装置における画像表示領域を検出する接近物検出部と、前記接近物検出部が検出した接近する物体の画像表示領域と前記画像表示部における仮想物体の画像の表示領域とが重複すると判定された場合に、前記仮想物体の画像の前記画像表示部における表示を変更する仮想物体画像変更部と、を備える画像表示装置。
2. 前記仮想物体画像変更部は、前記接近物検出部が検出した接近する物体の画像表示領域を隠蔽しない位置に前記仮想物体の画像を配置し直す請求項１に記載の画像表示装置。
3. 前記仮想物体画像変更部は、前記接近物検出部が検出した接近する物体の進行方向の表示領域を隠蔽しない位置に前記仮想物体の画像を配置し直す請求項１又は請求項２に記載の画像表示装置。
4. 前記仮想物体画像変更部は、前記仮想物体の画像の表示位置を変更する場合には、変更後の位置から変更前の位置を指し示す引き出し線を表示する請求項１乃至請求項３のいずれか１項に記載の画像表示装置。
5. 前記仮想物体画像変更部は、前記仮想物体の画像の一部または全ての透過度を変更する請求項１乃至請求項４のいずれか１項に記載の画像表示装置。
6. 前記仮想物体画像変更部は、前記仮想物体の画像を示す代替画像に置換して表示する請求項１乃至請求項５のいずれか１項に記載の画像表示装置。
7. 前記仮想物体画像変更部は、前記仮想物体の画像の表示サイズを変更する請求項１乃至請求項６のいずれか１項に記載の画像表示装置。
8. 前記仮想物体画像変更部は、前記仮想物体の画像の変更前後の変化を一連のアニメーションで表示する請求項１乃至請求項７のいずれか１項に記載の画像表示装置。
9. 前記仮想物体画像変更部は、仮想のテキスト画像の表示を変更する請求項１乃至請求項８のいずれか１項に記載の画像表示装置。
10. 前記仮想物体画像変更部は、前記接近物検出部が検出した接近する物体の位置、姿勢、および速度に応じて前記仮想物体の表示方法を変更する請求項１乃至請求項９のいずれか１項に記載の画像表示装置。
11. 前記仮想物体画像変更部は、前記接近物検出部が検出した接近する物体の物体種別に応じて前記仮想物体の表示方法を変更する請求項１乃至請求項１０のいずれか１項に記載の画像表示装置。
12. 前記接近物検出部は、近接センサの測定値を用いることで接近する物体を検出する請求項１乃至請求項１１のいずれか１項に記載の画像表示装置。
13. 前記接近物検出部は、現実空間の画像を連続的に画像解析することで接近する物体を検出する請求項１乃至請求項１２のいずれか１項に記載の画像表示装置。
14. 前記接近物検出部は、他物体の位置情報又は接近情報を受信することで接近する物体を検出する請求項１乃至請求項１３のいずれか１項に記載の画像表示装置。
15. 当該画像表示装置の位置情報又は姿勢情報を取得する画像表示装置位置姿勢取得部と、当該画像表示装置の速度を取得する画像表示装置速度取得部とを備え、前記接近物検出部は、画像表示装置と前記接近物との相対的な位置関係又は相対的な姿勢関係又は相対的な速度関係に応じて接近物する物体を検出する方法を切り替える請求項１乃至請求項１４のいずれか１項に記載の画像表示装置。
16. 現実空間の画像と仮想物体の画像とを表示する画像表示ステップと、接近する物体を検出する接近物検出ステップと、前記画像表示ステップにおいて前記接近物検出ステップが検出した接近する物体の画像を取得する接近物画像取得ステップと、前記接近物画像取得ステップで取得した接近する物体の画像の表示領域と仮想物体の画像表示領域とが重複すると判定された場合に、前記画像表示ステップにおいて表示した前記仮想物体の画像表示を変更する仮想物体画像変更ステップと、を備える画像表示方法。
17. 現実空間の画像と仮想物体の画像とを表示する画像表示ステップと、接近する物体を検出する接近物検出ステップと、前記画像表示ステップにおいて前記接近物検出ステップが検出した接近する物体の画像を取得する接近物画像取得ステップと、前記接近物画像取得ステップで取得した接近する物体の画像の表示領域と仮想物体の画像表示領域とが重複すると判定された場合に、前記画像表示ステップにおいて表示した前記仮想物体の画像表示を変更する仮想物体画像変更ステップと、を備える画像表示プログラム。

Images