JP7387286B2 - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Description

本発明は、仮想視点画像を生成するための技術に関する。

テレビのスポーツ番組では、複数のプレイを比較するために、それぞれのプレイの画像を同じ画面に同時に表示させることがしばしば行われている。以降では、このように複数の画像を共に表示することを、マルチ画面表示という。マルチ画面表示は、例えば、同一選手について、若い頃と現在、フォーム改造前後、好調時と不調時などのフォームの差異を解説する際に利用される。また、異なる選手間のフォームの差異を解説する際にも利用される。あるいは、似たような技の細かな差異や、反則とそうでない場合との差異を解説する際にも利用される。さらには、選手やコーチが複数のプレイの比較を見ることで、選手の技術向上や作戦の立案に役立てられている。

また、近年、複数のカメラを異なる位置に設置して複数視点から同期撮影し、当該撮影により得られた複数視点画像を用いて、オブジェクトを任意の仮想視点から見た仮想視点画像を生成する技術が注目されている。仮想視点画像は、複数視点画像に対して、仮想視点に基づくレンダリングなどの処理を施すことで生成される。レンダリングは、複数視点画像から前景画像データ及び背景画像データを取得し、オブジェクトの三次元形状を推定することによって行われる（特許文献１参照）。

特開２０１３－２５４５８号公報

複数の仮想視点画像を共に表示させることで、視聴者に対して高い価値を提供することができる。例えば、仮想視点画像に対応する視点を調整することで、異なるシーンにおける人物等のオブジェクトを当該オブジェクトに対して相対的に同じ位置及び向きから見た画像を、共に表示させることができる。このような表示により、異なるシーンの比較が容易になる。また同様に、同じシーンにおける別のオブジェクトの比較が容易になるような表示を行うこともできる。しかしながら、複数の仮想視点画像を共に表示する場合に、視点の調整に係る手間が大きくなることが考えられる。

本発明は、このような課題に鑑みてなされたものであり、複数の仮想視点画像を共に表示させる場合における視点の調整に係る手間を軽減することにある。

本発明の一実施形態において、第１の仮想視点画像と第２の仮想視点画像とを共に表示させる情報処理装置は、前記第１の仮想視点画像に含まれる第１のオブジェクトに対する前記第１の仮想視点画像の視点位置及び視線方向であって、ユーザ操作に基づき決定される前記第１の仮想視点画像の視点位置及び視線方向と一致するように、前記第２の仮想視点画像に含まれる第２のオブジェクトに対する前記第２の仮想視点画像の視点位置及び視線方向を決定する決定手段と、前記決定手段による決定の結果に基づいて、前記第１の仮想視点画像と前記第２の仮想視点画像とを比較可能に表示させる表示制御手段と、を有する。

本発明によれば、複数の仮想視点画像を共に表示させる場合における視点の調整に係る手間を軽減することが可能になる。

空間情報処理システムの機能ブロック図。 サッカーの競技場における絶対座標軸の例を表わす図。 サッカーの異なる２つのシーンを表わす図。 マルチ画面表示の例を表わす図。 第１の実施形態の相対座標軸について説明する図。 第１の実施形態におけるカメラパス生成処理のフローチャート。 第１の実施形態の選手及び仮想視点の動きの例を表わす図。 第２の実施形態におけるカメラパス生成処理のフローチャート。 第２の実施形態の選手及び仮想視点の動きの例を表わす図。 第４の実施形態の合成表示の例を表わす図。 第５の実施形態の相対座標軸について説明する図。 情報処理装置のハードウェア構成図。

以下、添付の図面を参照して、本発明の実施形態について詳細に説明する。なお、以下の実施形態は例であり、本発明の範囲を限定するものではない。また、以下で説明される特徴の組み合わせの全てが本発明に必須のものとは限らない。同一の構成要素については、同じ符号を付す。

（第１の実施形態）
図１は、第１の実施形態における空間情報処理システムの機能ブロック図である。

空間情報処理システムは、マルチカメラ撮影部１ａ、１ｂ、三次元モデル生成部２ａ、２ｂ、三次元モデル記憶部３ａ、３ｂ、三次元モデル取得部４ａ、４ｂ、カメラパス作成部５ａ、５ｂ、カメラパス記憶部６ａ、６ｂ、カメラパス取得部７ａ、７ｂを有する。また、トラッキングデータ作成部８ａ、８ｂ、トラッキングデータ記憶部９ａ、９ｂ、トラッキングデータ取得部１０ａ、１０ｂ、相対座標軸決定部１１ａ、１１ｂ、相対座標値変換部１２ａ、１２ｂ、絶対座標値変換部１３ａ、１３ｂを有する。また、仮想視点画像生成部１４ａ、１４ｂ、画像記憶部１５ａ、１５ｂ、画像取得部１６ａ、１６ｂ、レイアウト部１７、表示部１８、制御部１９を有する。

本実施形態では、図１に示す空間情報処理システムの構成要素のうち、マルチカメラ撮影部１ａ、１ｂと表示部１８以外の構成要素は、単一の情報処理装置１００に実装されているものとする。ただし、これに限らず、図１に示す構成要素が複数の装置に分かれて実装されてもよい。

マルチカメラ撮影部１ａ、１ｂは、オブジェクトの周囲に配置された複数のカメラを含み、当該オブジェクトを撮影する。

三次元モデル生成部２ａ、２ｂは、上記複数のカメラが撮影した画像（すなわち、複数視点画像）に基づいて、オブジェクトの三次元モデルデータ（三次元形状データ及びテクスチャデータを含む）を生成する。

三次元モデル記憶部３ａ、３ｂは、上記三次元モデルデータを記憶する。

三次元モデル取得部４ａ、４ｂは、上記三次元モデル記憶部３ａ、３ｂから三次元モデルデータを取得する。

カメラパス作成部５ａ、５ｂは、操作デバイスの操作に基づいて、仮想視点画像のカメラパス（フレーム毎の仮想視点画像の視点の位置座標、視線の方向ベクトル、及び画角などを表わすデータ）を作成する。操作デバイスは、例えば、マウスなどのポインティングデバイスや、ジョイスティックなどのコントローラとすることができる。カメラパスは、例えば、サッカーの競技場の所定の位置を原点（Ｏａ）として、競技場の所定の方向をそれぞれＸ軸（Ｘａ）、Ｙ軸（Ｙａ）、及びＺ軸（Ｚａ）とした絶対座標で表わす（添え字ａはａｂｓｏｌｕｔｅの頭文字である）。

図２は、サッカーの競技場における絶対座標軸の例を示す。絶対座標軸は、実空間における座標軸である。ここでは、センターマーク位置を原点（Ｏａ）とし、原点からゴール方向をＸ軸（Ｘａ）、ハーフウェーライン方向をＹ軸（Ｙａ）、上方向をＺ軸（Ｚａ）とする。

操作デバイスの各操作に、前進・後退、左右移動、上昇・下降、パン、ティルト、ロール、ズーム、記録、停止、速度制御などの機能が割り当てられている。また、操作デバイスの１つの操作で、上記複数の機能を動作させてもよい。前進・後退、左右移動、上昇・下降は、視点の位置座標の操作に対応し、パン、ティルト、ロールは、視線の方向ベクトルの操作に対応し、ズームは画角の操作に対応する。

図１の説明に戻り、カメラパス記憶部６ａ、６ｂは、上記カメラパスを記憶する。

カメラパス取得部７ａ、７ｂは、上記カメラパス記憶部６ａ、６ｂからカメラパスを取得する。

仮想視点画像生成部１４ａ、１４ｂは、上記三次元モデル取得部４ａ、４ｂが取得した三次元モデルデータ、及び、上記カメラパス取得部７が取得したカメラパスに基づき、仮想視点画像を生成する。

画像記憶部１５ａ、１５ｂは、上記仮想視点画像を記憶する。

画像取得部１６ａ、１６ｂは、上記画像記憶部１５ａ、１５ｂから仮想視点画像を取得する。

レイアウト部１７は、上記仮想視点画像の画面上でのレイアウトを決定する。すなわち、レイアウト部１７は、上記仮想視点画像の画面上での表示を制御する表示制御手段として機能する。

表示部１８は、上記レイアウトに基づいて仮想視点画像を画面に表示する。

制御部１９は、上記各機能ブロックの処理を制御する。

マルチカメラ撮影部１ａ～仮想視点画像生成部１４ａ、及び、マルチカメラ撮影部１ｂ～仮想視点画像生成部１４ｂのそれぞれが、同じシーンの仮想視点画像を生成することができる。また、マルチカメラ撮影部１ａ～仮想視点画像生成部１４ａ、及び、マルチカメラ撮影部１ｂ～仮想視点画像生成部１４ｂが、それぞれ異なるシーンの仮想視点画像を生成することもできる。レイアウト部１７が、マルチカメラ撮影部１ａ～仮想視点画像生成部１４ａ、及び、マルチカメラ撮影部１ｂ～仮想視点画像生成部１４ｂのそれぞれが生成した仮想視点画像を同じ画面に並べてレイアウトすることで、仮想視点画像のマルチ画面表示が実現できる。

ここで、サッカーの異なる２つのシーンの仮想視点画像をマルチ画面表示する例について説明する。

図３は、異なる２つのシーン５１ａ、５１ｂにおいて、それぞれ選手５２ａ、５２ｂがゴール５５ａ、５５ｂへボール５３ａ、５３ｂを蹴るところを表わす。２つのシーン５１ａ、５１ｂでは、比較対象の選手５２ａ、５２ｂの競技場内での位置と、体の向きが異なる。

図４は、図３の２つのシーンの仮想視点画像をマルチ画面で表示した例を示す。表示装置３２の画面３３には、各シーンに対応した画像３１ａ、３１ｂが表示されている。画像３１ａ、３１ｂでは、比較対象の選手に対する仮想視点の視点位置、視線方向、及び画角を一致させることによって、画像上の比較対象の選手の位置、体の向き、及び距離感がほぼ一致している。そのため、選手のフォームの比較がしやすくなる。

図４のマルチ画面表示の例では、１つの表示装置３２の画面３３を分割して複数の画像３１ａ、３１ｂを表示しているが、複数の表示装置にそれぞれの画像を表示してもよい。また、比較対象として共に表示される複数の仮想視点画像は、同じオブジェクト（選手等）を含む画像であって、それぞれ異なる撮影時刻に対応する画像であってもよい。またこれに限らず、共に表示される複数の仮想視点画像が、それぞれ異なるオブジェクトを含む画像であって、同じ撮影時刻に対応する画像であってもよい。また、共に表示される複数の仮想視点画像が、それぞれ異なるオブジェクトを含む画像であり、かつそれぞれ異なる撮影時刻に対応する画像であってもよい。

本実施形態では、比較する複数のシーンの画像が仮想視点画像である場合において、操作デバイスの操作に応じて、比較対象の選手に対する視点位置、視線方向、及び画角が一致するカメラパスを作成する。

ここで、再度図１を参照して、本実施形態における各機能ブロックの処理について説明する。

カメラパス作成部５ａは、操作デバイスの操作に基づいて、シーン５１ａのカメラパスを作成する。カメラパス記憶部６ａは、上記カメラパス作成部５ａが作成したシーン５１ａのカメラパスを記憶する。カメラパス取得部７ａは、上記カメラパス記憶部６ａからシーン５１ａのカメラパスを取得する。

トラッキングデータ作成部８ａ、８ｂは、マルチカメラ撮影部１ａ、１ｂが撮影した画像に基づいて、トラッキングデータ（選手やボールの位置、選手の体の向きなどをトレースしたデータ）を生成する。

トラッキングデータ記憶部９ａ、９ｂは、上記トラッキングデータを記憶する。

トラッキングデータ取得部１０ａ、１０ｂは、上記トラッキングデータ記憶部９からトラッキングデータを取得する。あるいは、不図示の外部システムからトラッキングデータを取得してもよい。

相対座標軸決定部１１ａ、１１ｂは、上記トラッキングデータに基づいて、指定された比較対象選手の位置と体の向きを基準にした相対座標軸を決定する。

図５は、相対座標軸について説明する図である。図５（ａ）は、シーン５１ａの相対座標軸を表わし、図５（ｂ）は、シーン５１ｂの相対座標軸を表わす。

相対座標軸は、比較対象選手の位置（地面上）を原点（Ｏｒ）とし、選手の体の向きに対して左右方向をＸ軸（Ｘｒ）、前後方向をＹ軸（Ｙｒ）、上下方向をＺ軸（Ｚｒ）とする（添え字ｒはｒｅｌａｔｉｖｅの頭文字）。比較対象選手の位置及び体の向きは、トラッキングデータに基づいて求めることができる。比較対象選手の位置は、具体的には、頭の位置、胴体の位置、足の位置（２本の足の位置の中間点）などから選択するようにしてもよい。また、比較対象選手の体の向きは、具体的には胴体の方向、顔の方向、視線の方向、足先の方向などのうちから選択するようにしてもよい。

図１の説明に戻り、相対座標値変換部１２ａは、シーン５１ａの視点の位置座標及び方向ベクトルの座標値を、上記絶対座標軸を基準とした絶対座標値から、上記シーン５１ａの相対座標軸を基準とした相対座標値に変換する。画角の値（角度または焦点距離で表わす）は、座標軸に依存しないので、そのままの値を出力する。

一般に、三次元空間上の点を、第一の三次元座標軸を基準とした座標値（ｘ１，ｙ１，ｚ１）から第二の三次元座標軸を基準とした座標値（ｘ２，ｙ２，ｚ２）に、行列演算によって変換できることが知られている。行列の要素は、各座標軸の原点位置と各座標軸の方向ベクトルから求められる。

相対座標値変換部１２ｂは、シーン５１ｂの視点の位置座標及び方向ベクトルの相対座標値を、上記シーン５１ａの視点の位置座標と方向ベクトルの相対座標値と一致した値に決定する。シーン５１ａの相対座標軸は、選手５２ａの位置及び体の向きを基準にしており、シーン５１ｂの相対座標軸は、選手５２ｂの位置及び体の向きを基準している。したがって、それぞれのシーンの相対座標軸を基準とした相対座標値が一致するようにそれぞれの視点を決定すると、選手５２ａと選手５２ｂをそれぞれの視点から見た画像が一致する。

絶対座標値変換部１３ａは、上記絶対座標軸を基準として表されるシーン５１ａの視点の位置座標及び方向ベクトルの座標値をそのまま出力する。なお、本例では、後述する仮想視点画像生成部１４ａは、カメラパス取得部７ａによって取得されたカメラパスを用いることができるので、絶対座標値変換部１３ａからの出力は必ずしも必要としない。

絶対座標値変換部１３ｂは、上記シーン５１ｂの視点の位置座標及び方向ベクトルの座標値を、上記シーン５１ｂの相対座標軸を基準とした相対座標値から上記絶対座標軸を基準とした絶対座標値に変換する。画角の値（角度または焦点距離で表わす）は、座標軸に依存しないので、そのままの値を出力する。

仮想視点画像生成部１４ａは、三次元モデル取得部４ａによって取得された三次元モデルデータ、及び、カメラパス取得部７ａによって取得されたカメラパスに基づき、シーン５１ａの仮想視点画像を生成する。

仮想視点画像生成部１４ｂは、三次元モデル取得部４ｂによって取得された三次元モデルデータ、及び、絶対座標値変換部１３ｂによって変換されたカメラパス（すなわち、絶対座標値）に基づき、シーン５１ｂの仮想視点画像を生成する。

レイアウト部１７は、上記シーン５１ａの仮想視点画像及びシーン５１ｂの仮想視点画像の画面上でのレイアウトを決定する。

表示部１８は、上記２つの仮想視点画像を上記レイアウトに基づいて画面に表示する。

カメラパス記録中の状態において、カメラパス記憶部６ｂは、上記絶対座標値変換部１３ｂが変換したカメラパスを保存する。

カメラパス作成部５ｂは、上記カメラパス記憶部６ｂに保存されているカメラパスを操作デバイスの操作にしたがって適宜編集し、カメラパス記憶部６ｂに再度保存する。

ここで、本実施形態におけるシーン５１ａ及びシーン５１ｂのカメラパス生成処理の流れについて、図６のフローチャートを用いて説明する。フローチャートで示される一連の処理は、情報処理装置１００のＣＰＵがＲＯＭまたはＨＤＤに格納されている制御プログラムをＲＡＭに展開して実行することにより行われる。あるいはまた、フローチャートにおけるステップの一部または全部の機能をＡＳＩＣや電子回路等のハードウェアで実現してもよい。また、各処理の説明における記号「Ｓ」は、当該フローチャートにおける「ステップ」を意味する。その他のフローチャートについても同様である。

Ｓ１０１において、制御部１９は、入力シーン及び出力画像の開始フレームを設定する。ここでは、入力シーンとして、シーン５１ａ及びシーン５１ｂが設定される。

Ｓ１０２において、制御部１９は、シーン５１ａのカメラパスの開始フレームの初期値を設定する。初期値は、任意の値（例えば、デフォルト値や前回の値など）でよい。

Ｓ１０３において、相対座標軸決定部１１ａは、選手５２ａのトラッキングデータに基づき、シーン５１ａにおける現在フレームの選手５２ａを基準とした相対座標軸を決定する。また、相対座標軸決定部１１ｂは、選手５２ｂのトラッキングデータに基づき、シーン５１ｂにおける現在フレームの選手５２ｂを基準とした相対座標軸を決定する。

Ｓ１０４において、相対座標値変換部１２ａは、シーン５１ａのカメラパスの現在フレームにおける絶対座標値を、絶対座標軸及びシーン５１ａの相対座標軸に基づき、行列演算によって相対座標値に変換する。また、相対座標値変換部１２ｂは、シーン５１ａのカメラパスの現在フレームにおける相対座標値を、シーン５１ｂのカメラパスの現在フレームにおける相対座標値とする。

Ｓ１０５において、絶対座標値変換部１３ｂは、シーン５１ｂのカメラパスの現在フレームにおける上記相対座標値を、絶対座標軸とシーン５１ｂの相対座標軸に基づき、行列演算によって絶対座標値に変換する。

Ｓ１０６において、仮想視点画像生成部１４ａは、シーン５１ａの現在フレームの三次元モデルデータ及びカメラパスに基づき、シーン５１ａの現在フレームの仮想視点画像を生成する。また、仮想視点画像生成部１４ｂは、シーン５１ｂの現在フレームの三次元モデルデータ及びカメラパスに基づき、シーン５１ｂの現在フレームの仮想視点画像を生成する。レイアウト部１７は、２つの仮想視点画像を並べたレイアウトを決定する。表示部１８は、上記レイアウト結果に基づいて２つの仮想視点画像を並べて画面に表示する。

Ｓ１０７において、制御部１９は、カメラパス記録中状態であるかどうかを判定する。操作デバイスによってカメラパスの記録開始操作が行われると、カメラパス記録中状態となる。カメラパス記録中状態であれば、Ｓ１０８へ進み、カメラパス記録中状態でなければ、Ｓ１１１へ進む。

Ｓ１０８において、制御部１９は、シーン５１ａの現在フレームにおけるカメラパスの絶対座標値を、カメラパス記憶部６ａに保存する。また、シーン５１ｂの現在フレームにおけるカメラパスの絶対座標値を、カメラパス記憶部６ｂに保存する。

Ｓ１０９において、制御部１９は、出力画像のフレームを１フレーム更新する。

Ｓ１１０において、制御部１９は、入力シーンのフレームを更新する。入力シーンの更新フレーム数は、操作デバイスによる速度制御操作に基づいて決定される。等倍速の場合、出力画像と同じく入力シーンを１フレーム更新する。等倍速よりも速い場合、入力シーンを複数フレーム飛ばして更新する。等倍速よりも遅い場合、入力シーンのフレームを複数回に１回の頻度で更新する。速度が０の場合、入力シーンのフレームを更新しない。速度が負の場合、入力シーンの過去のフレームへ戻る。

カメラパス記録中状態でない場合、上記Ｓ１０８、Ｓ１０９、及びＳ１１０が実行されないため、カメラパスの保存は行われず、フレームも進行しない。一方で、操作デバイスの操作に応じて視点位置、視線方向、及び画角は変更することができる。

Ｓ１１１において、制御部１９は、カメラパス記録終了状態かどうかを判定する。操作デバイスによってカメラパスの記録停止操作が行われると、カメラパス記録終了状態となる。カメラパス記録終了状態であれば、処理は終了し、カメラパス記録終了状態でなければ、Ｓ１１２へ進む。

Ｓ１１２において、カメラパス作成部５ａは、上記更新前のフレームにおける操作デバイスの操作に基づいて、シーン５１ａの上記更新後のフレームのカメラパスの位置座標、方向ベクトル、及び画角の値を更新し、Ｓ１０３へ戻る。すなわち、カメラパス作成部５ａは、シーン５１ａのカメラパスの絶対座標値を更新する。

以上説明したように、操作者がマルチ画面表示を見ながら操作デバイスによって仮想視点操作及び速度制御操作を行うと、各シーンの仮想視点及び速度を連動して制御することができる。

ここで、本実施形態において生成されるカメラパスの例について説明する。

図７は、本実施形態の各シーンにおける選手及び仮想視点の動きの例を表わす。図７（ａ）のシーン５１ａでは、選手５２ａがまっすぐ助走している。図７（ｂ）のシーン５１ｂでは、選手５２ｂが体の向きを変えながらカーブして助走している。

図７（ａ）において、白抜き矢印７１ａ～７３ａは、シーン５１ａにおける選手５２ａの位置（白抜き矢印の始点）と体の向き（白抜き矢印の方向）の時間変化を表わす。白抜き矢印７１ａは、助走開始の状態にあり、白抜き矢印７２ａの状態は助走中であり、白抜き矢印７３ａの状態はシュート中である。また、黒色矢印８１ａ～８３ａは、選手５２ａに対する仮想視点の視点位置（黒色矢印の始点）と、仮想視点の視線方向（黒色矢印の方向）の時間変化を表わす。

図７（ｂ）において、白抜き矢印７１ｂ～７３ｂは、シーン５１ｂにおける選手５２ｂの位置と体の向きの時間変化を表わす。また、黒色矢印８１ｂ～８３ｂは、選手５２ｂに対する仮想視点の視点位置と視線方向の時間変化を表わす。

図７（ａ）及び図７（ｂ）において、Ｏａ、Ｘａ、及びＹａは、それぞれ絶対座標軸の原点、Ｘ軸、及びＹ軸を示す。また、Ｏｒ、Ｘｒ、及びＹｒは、それぞれ相対座標軸の原点、Ｘ軸、及びＹ軸を示す。図７（ａ）及び図７（ｂ）は、上空（ＸＹ平面に対して鉛直方向上側）から見た図であるため、Ｚ軸は示していない。本実施形態では、選手５２ａ、５２ｂの位置や体の向きの変化に応じて、相対座標軸の原点位置や軸方向が変化する。

白抜き矢印７１ａ、黒色矢印８１ａ、白抜き矢印７１ｂ、黒色矢印８１ｂは、マルチ画面表示における同じフレームであって、助走開始の状態を表わす。このフレームにおいては、どちらのシーンでも比較対象選手を後方から見た画像が表示される。

白抜き矢印７２ａ、黒色矢印８２ａ、白抜き矢印７２ｂ、黒色矢印８２ｂは、マルチ画面表示における同じフレームであって、助走中の状態を表わす。このフレームにおいては、どちらのシーンでも比較対象選手を左方から見た画像が表示される。

白抜き矢印７３ａ、黒色矢印８３ａ、白抜き矢印７３ｂ、黒色矢印８３ｂは、マルチ画面表示における同じフレームであって、シュート中の状態を表わす。このフレームにおいては、どちらのシーンでも比較対象選手を前方から見た画像が表示される。

このように、本実施形態では、比較対象選手同士の位置や動く方向が異なっても、マルチ画面表示上では各選手が一致した方向を向いて表示されるので、選手の細かい動きを比較しやすい。

仮想視点画像をマルチ画面で表示する方法としては、下記のいずれの方法でもよい。また、マルチ画面表示の画像ごとにそれぞれ異なる方法で表示してもよい。

第一の方法は、操作者による操作デバイスの操作に応じて、カメラパスを作成しながらリアルタイムで三次元モデルを読み出して仮想視点画像を生成し、マルチ画面表示する方法である。

第二の方法は、三次元モデルを三次元モデル記憶部３ａ、３ｂに、カメラパスをカメラパス記憶部６ａ、６ｂにそれぞれ保存しておき、マルチ画面表示のたびに三次元モデル及びカメラパスを読み出して仮想視点画像を生成し、マルチ画面表示する方法である。

第三の方法は、生成した各仮想視点画像を画像ファイル（連番静止画ファイルまたは動画ファイル）として画像記憶部１５に保存しておき、マルチ画面表示のたびに画像取得部１６が読み出して再生する方法である。

第四の方法は、レイアウト部１７によってレイアウトされた画像を動画ファイルとして任意の記憶装置に保存しておき、任意の動画再生装置で再生する方法である。

なお、以上の説明ではサッカーを例にしたが、本実施形態は、他のスポーツ競技にも同様に適用できる。また、スポーツ競技に限らず、様々な画像コンテンツにも適用することができる。例えば、格闘技では、選手が技をかけたときに向いている方向はシーンによって様々だが、本実施形態によれば、複数のシーンにおいて、選手に対する視点位置、視線方向、及び画角を一致させることができる。また、本実施形態では仮想視点画像が動画である場合を中心に説明するが、仮想視点画像は静止画であってもよい。

また、以上の説明では、特定の選手（人物）を基準とした相対座標軸を使用したが、基準となる選手を適宜切り替えてもよい。また、選手に限らず、例えば、ボールや乗り物などの動く物体の位置及び動く方向を基準とした相対座標軸を使用してもよい。また、競技場の特定の位置を基準にした相対座標軸を使用してもよい。例えば、サッカーであれば、センターマーク、ペナルティマーク、コーナー、ゴールライン中央などを基準にした相対座標軸を使用してもよい。また、野球であれば、各ベースや、ピッチャーマウンドなどを基準にした相対座標軸を使用してもよい。また、これらの相対座標軸の基準を適宜切り替えてもよい。野球の投手の投球のように、選手の位置及び向きがシーンに依存せず固定されている場合は、相対座標軸を絶対座標軸と常に一致させることにより、複数シーンの視点位置、視線方向、及び画角を一致させることができる。この場合、相対座標軸を決定する処理と、絶対座標値と相対座標値とを変換する処理が不要になる。このように、本実施形態では、オブジェクトに関する相対的な視点位置及び視線方向を表すための相対座標軸を決定する。

また、上記説明では、マルチ画面表示において、２つのシーンの画像を比較する場合について述べたが、同様に３つ以上のシーンの画像を比較することもできる。すなわち、同時に表示する仮想視点画像の数は２つに限らず、３以上の異なる仮想視点画像を、オブジェクトに対する視点の相対位置などを調整したうえで共に表示させてもよい。

以上説明したように、本実施形態によれば、複数の画像に含まれるオブジェクトを比較するための仮想視点画像を生成する上での負担を軽減することができる。

また、本実施形態によれば、操作者が指定したオブジェクトに対して同じカメラアングル（すなわち、視点位置、視線方向、及び画角）から見た複数シーンの仮想視点画像のカメラパスを一度の操作で作成することができる。

さらに、本実施形態によれば、カメラパスを変えて様々な仮想視点画像を作成することによって、様々な視点からシーンを比較することができる。

（第２の実施形態）
本実施形態では、入力シーンに対して操作者が視点位置、視線方向、及び画角を一致させたいフレームを指定して、カメラパスを生成する。すなわち、本実施形態において、画像の視点位置、視線方向、及び画角は、特定のフレームにおいて一致する。

本実施形態におけるシーン５１ａ及びシーン５１ｂのカメラパス生成処理の流れについて、図８のフローチャートを用いて説明する。なお、第１の実施形態における図６のフローチャートと同様の処理は説明を省略し、図６のフローチャートとの差分を主に説明する。

Ｓ２０３において、操作者がカメラアングルを一致させたいフレームを指定すると、相対座標軸決定部１１ａは、選手５２ａのトラッキングデータに基づき、シーン５１ａにおける該指定されたフレームの選手５２ａを基準とした相対座標軸を決定する。また、相対座標軸決定部１１ｂは、選手５２ｂのトラッキングデータに基づき、シーン５１ｂにおける該指定されたフレームの選手５２ｂを基準とした相対座標軸を決定する。

また、本フローチャートでは、Ｓ２１２の実行後はＳ２０３ではなく、Ｓ２０４へ戻る。したがって、Ｓ２０３は一度しか実行されないので、各シーンの相対座標軸は一度決定されると変更されない。

図９は、本実施形態における各シーンの選手及び仮想視点の動きの例を表わす。図９（ａ）のシーン５１ａでは、選手５２ａがまっすぐ助走している。図９（ｂ）のシーン５１ｂでは、選手５２ｂが体の向きを変えながらカーブして助走している。白抜き矢印７１ａ～７３ａ、黒色矢印８１ａ～８３ａ、白抜き矢印７１ｂ～７３ｂ、黒色矢印８１ｂ～８３ｂの意味は、第１の実施形態の図７と同様である。

図９（ａ）及び図９（ｂ）において、Ｏａ、Ｘａ、及びＹａは、それぞれ絶対座標軸の原点、Ｘ軸、及びＹ軸を示す。また、Ｏｒ、Ｘｒ、及びＹｒは、それぞれ相対座標軸の原点、Ｘ軸、及びＹ軸を示す。図９は、図７と同様に上空から見た図であるため、Ｚ軸は示していない。本実施形態では、指定されたフレームで決定された相対座標軸の原点位置や軸方向は、その他のフレームにおいて変化しない。したがって、マルチ画面表示における各シーンの画像では、オブジェクトに対する視点位置及び視線方向が、指定されたフレーム以外では必ずしも一致しない。なお、図９（ａ）及び図９（ｂ）では、白抜き矢印７３ａ、７３ｂのフレームが指定され、相対座標軸の原点位置や軸方向が決定されているものとする。

図９（ａ）の白抜き矢印７１ａ、黒色矢印８１ａ、及び図９（ｂ）の白抜き矢印７１ｂ、黒色矢印８１ｂは、マルチ画面表示における同じフレームにあり、助走開始の状態を表わす。このフレームにおいては、シーン５１ａでは比較対象選手を後方から見た画像が表示され、シーン５１ｂでは比較対象選手を左斜め後方から見た画像が表示される。すなわち、このフレームにおける各シーンでは、比較対象選手を異なる視点位置及び視線方向から見た画像が表示される。

図９（ａ）の白抜き矢印７２ａ、黒色矢印８２ａ、及び図９（ｂ）の白抜き矢印７２ｂ、黒色矢印８２ｂは、マルチ画面表示における同じフレームにあり、助走中の状態を表わす。このフレームにおいては、シーン５１ａでは比較対象選手を左方から見た画像が表示され、シーン５１ｂでは比較対象選手を左斜め前方から見た画像が表示される。すなわち、このフレームにおける各シーンでも、比較対象選手を異なる視点位置及び視線方向から見た画像が表示される。

図９（ａ）の白抜き矢印７３ａ、黒色矢印８３ａ、及び図９（ｂ）の白抜き矢印７３ｂ、黒色矢印８３ｂは、マルチ画面表示における同じフレームにあり、シュート中の状態を表わす。このフレームにおいては、どちらのシーンでも比較対象選手を前方から見た画像が表示される。すなわち、このフレームにおける各シーンでは、比較対象選手を同じ視点位置及び視線方向から見た画像が表示される。

ここで、第１の実施形態と第２の実施形態の効果の違いについて、説明する。

第１の実施形態では、比較対象選手同士で大きな動きの差異（例えば、助走の方向の違いなど）があっても、比較対象選手同士を常に同じカメラアングルから見た画像で比較できる。したがって、比較対象選手の細かな動きの差異（例えば、フォームの違いなど）を比較しやすい。

一方、第２の実施形態では、比較対象選手同士で大きな動きの差異（例えば、助走の方向の違いなど）があると、各画像のカメラアングルの差異として比較できる。したがって、比較対象選手の大まかな動きの差異を比較しやすい。

（第３の実施形態）
本実施形態では、既存の画像のカメラアングルに合わせて、他の仮想視点画像のカメラアングルを決定する。既存の画像は、仮想視点画像でなくてもよく、既存のカメラパスをそのまま使った仮想視点画像であってもよい。

本実施形態におけるカメラパス生成処理は、第１の実施形態の図６のフローチャートのＳ１１２が異なる。また、第２の実施形態の図８のフローチャートのＳ２１２が異なる。

本実施形態では、図６のＳ１１２または図８のＳ２１２において、シーン５１ａのカメラパスの絶対座標値を更新する際に、操作デバイスの操作に基づいてカメラパスを新たに生成するのではなく、既存のカメラパスを使用する。既存の画像が仮想視点画像である場合は、仮想視点画像を生成したときのカメラパスをそのまま使用する。既存の画像が仮想視点画像でない場合は、撮影時のカメラや雲台の位置及び方向の情報を表わすメタデータがあれば、カメラパスを作成できる。

このように、本実施形態では、既存の画像のカメラアングルに合わせて他の仮想視点画像のカメラアングルを決定することにより、操作デバイスによる仮想視点操作を行わずに各画像を同じカメラアングルで比較することができる。

（第４の実施形態）
本実施形態では、複数のシーンの画像を表示する方法として、１つのシーンの画像に、別のシーンのオブジェクト（例えば、選手）を合成して表示する方法について説明する。

図１０は、本実施形態における合成表示の例を示す。図１０に示すように、陸上競技の競走シーンにおいて、あるシーンの選手の隣のレーンを、別のシーンの選手が走っているかのように画像を合成するケースがある。こうすることにより、架空の競走を楽しむことができる。

また、別の例として、あるシーンの選手の画像の上に、別のシーンの選手の画像を半透明で重ね合わせて、画像を合成するケースがある。こうすることにより、フォームの違いを比較しやすくなる。

本実施形態では、第１の実施形態の図６のフローチャートのＳ１０６で仮想視点画像を生成する際に、仮想視点画像生成部１４ｂが、前景（選手）と背景とを分離して、前景のみの画像を生成する。一方、仮想視点画像生成部１４ａは、前景（選手）と背景とを分離して、前景及び背景のそれぞれの画像を生成する。レイアウト部１７は、上記背景の画像に上記それぞれの前景の画像を合成して、１つの画像となるようにレイアウトを決定する。

図１０の競走シーンで別のシーンの選手が隣のレーンを走っているかのように合成するケースでは、レイアウト部１７は、別のシーンの選手が隣のレーンの位置に表示されるように、別のシーンの前景の合成位置を決定する。

また、上記の別のシーンの選手を半透明で重ね合わせるように合成するケースでは、レイアウト部１７は、選手同士が重なるように前景の表示位置を決定する。

表示部１８は、レイアウト部１７によって決定されたレイアウトにしたがって、１つの画像を画面に表示する。

なお、上記説明では、１つのシーンの背景画像に各シーンの前景画像を合成する例について述べたが、背景画像は別途ＣＧ（コンピュータグラフィックス）で作成してもよい。

以上説明したように、本実施形態によると、複数のシーンの画像に含まれるオブジェクトを１つの画像に合成して、表示することができる。

（第５の実施形態）
本実施形態では、一方のシーンの画像を鏡像にして左右を反転させることで、オブジェクト（例えば、選手）を比較しやすくする方法について説明する。

例えば、選手が右手（または右足、右回転など）でプレイしたシーンと、左手（または左足、左回転など）でプレイしたシーンとを比較したいケースがある。また、同一の選手が利き足でボールを蹴ったシーンと、利き足とは逆の足でボールを蹴ったシーンとを比較するケースがある。または、右利きの選手と左利きの選手がそれぞれの利き足でボールを蹴ったシーン同士を比較するケースもある。

また、第４の実施形態で述べたように、複数のシーンの選手の画像を半透明で重ね合わせる場合には、左右の動作を一致させると比較しやすくなる。

本実施形態では、上記のようなケースにおいて、一方のシーンの画像を鏡像にして左右を反転させることで、選手の動作を比較しやすくすることができる。

以下では、右足でボールを蹴ったシーンの画像を鏡像にして、左足でボールを蹴ったシーンの画像と比較する場合について説明する。この場合、例えば、左足でボールを蹴ったシーンの画像が、選手の体を左側から見た画像であるならば、右足でボールを蹴ったシーンの画像は、選手の体を右側から見た画像にする必要がある。

図１１は、相対座標軸について説明する図である。図１１（ａ）は、シーン５１ａの相対座標軸を表し、選手は左足でボールを蹴っている。図１１（ｂ）は、シーン５１ｂの相対座標軸を表し、選手は右足でボールを蹴っている。

図１１（ａ）及び図１１（ｂ）において、相対座標軸は、比較対象選手の位置（地面上）を原点（Ｏｒ）とし、選手の体の方向に対して左右方向をＸ軸（Ｘｒ）、前後方向をＹ軸（Ｙｒ）、上下方向をＺ軸（Ｚｒ）とする。

左足でボールを蹴った選手の動きと、右足でボールを蹴った選手の動きは、相対座標軸のＹ－Ｚ平面に対して概ね対称である。したがって、視点位置及び視線方向を選手の体の向きを基準にして左右反転させるためには、相対座標軸に対するＸ座標値の符号を反転させればよい。

すなわち、図６のＳ１０５（または図８のＳ２０５）において、相対座標値変換部１２ｂは、シーン５１ａのカメラパスの現在フレームにおける相対座標値を、Ｘ座標値の符号を反転させて、シーン５１ｂのカメラパスの現在フレームにおける相対座標値とする。すなわち、相対座標軸のＸ軸の正負を反転させて、相対座標値とする。

なお、シーンに応じて、その他の相対座標軸の正負を反転させてもよく、シーンに応じて少なくとも１つの相対座標軸の正負を反転させればよい。

そして、図６のＳ１０６（または図８のＳ２０６）で仮想視点画像を生成する際に、仮想視点画像生成部１４ｂが仮想視点画像を左右反転して鏡像画像を生成する。また、レイアウト部１７が、生成された仮想視点画像を左右反転して、鏡像画像を表示してもよい。このようにして、図１１（ａ）及び図１１（ｂ）のシーンから、図４のマルチ画面表示を行うことができる。

なお、マルチ画面表示だけでなく、第４の実施形態で述べたように、左右反転した選手の画像を半透明で重ね合わせることで、合成画面表示を行うことができる。

以上説明したように、選手が右手（または右足、右回転など）でプレイしたシーンと、左手（または左足、左回転など）でプレイしたシーンとをマルチ画面や合成画面で比較する際に、選手の左右を反転させて表示することで、選手の動作が比較しやすくなる。

上述した各実施形態では、オブジェクトに対する仮想視点の相対的な視点位置及び視線方向が、共に表示される複数の仮想視点画像において一致する場合を中心に説明した。ただしこれに限らず、共に表示される複数の仮想視点画像それぞれの仮想視点が、所定の関係になるように制御されればよい。例えば、共に表示される複数の仮想視点画像において、相対的な視点位置と視線方向の何れか一方が異なってもよい。また例えば、複数の仮想視点画像それぞれに含まれるオブジェクトのサイズが異なる場合に、それらのオブジェクトが同じ大きさに見えるように、相対的な視点位置が異なる位置に調整されてもよい。

図１２は、上述した第１乃至第５の実施形態における空間情報処理システムを実装可能な情報処理装置のハードウェア構成例を示す。情報処理装置１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＨＤＤインタフェース１０４、入力インタフェース１０６、出力インタフェース１０８、ネットワークインタフェース１１０を備える。

ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、少なくともＲＯＭ１０３又はハードディスクドライブ（ＨＤＤ）１０５のいずれか一方に格納されたプログラムを実行することで、上述した各機能を実現し、上述した様々な処理を実行する。

ＨＤＤインタフェース（Ｉ／Ｆ）１０４は、情報処理装置１００と、ＨＤＤ１０５や光ディスクドライブ等の二次記憶装置とを接続する、例えば、シリアルＡＴＡ（ＳＡＴＡ）等のインタフェースである。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からデータを読み出し、さらに、そのＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開する。また、ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、プログラムを実行することにより取得され、ＲＡＭ１０２に格納された各種データをＨＤＤ１０５に保存する。

入力インタフェース（Ｉ／Ｆ）１０６は、情報処理装置１００と、キーボードやマウス、デジタルカメラ、スキャナ等の入力デバイス１０７とを接続する。入力Ｉ／Ｆ１０６は、例えば、ＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェースである。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して、入力デバイス１０７から各種データを読み込むことができる。

出力インタフェース（Ｉ／Ｆ）１０８は、情報処理装置１００と、例えば、ディスプレイ等の出力デバイス１０９とを接続する。出力Ｉ／Ｆ１０８は、例えば、ＤＶＩ（Digital Visual Interface）やＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）等の画像出力インタフェースである。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して、出力デバイス１０９に仮想視点画像に関するデータを送信することで、仮想視点画像を表示させることができる。

ネットワークインタフェース（Ｉ／Ｆ）１１０は、情報処理装置１００と外部サーバ１１１とを接続する。ネットワークＩ／Ｆ１１０は、例えば、ＬＡＮカード等のネットワークカードである。ＣＰＵ１０１は、ネットワークＩ／Ｆ１１０を介して、外部サーバ１１１から各種データを読み込むことができる。

なお、図１では、ＨＤＤ１０５、入力デバイス１０７、及び出力デバイス１０９が、情報処理装置１００とは別のデバイスとして構成される例を示したが、必ずしもこれに限定されない。したがって、例えば、情報処理装置１００がスマートフォン等であってもよく、この場合、入力デバイス１０７はタッチパネルとして、出力デバイス１０９は表示スクリーンとして、情報処理装置１００と一体に構成される。また、ＨＤＤ１０５内蔵のデバイスを情報処理装置１００として用いることもできる。

加えて、図１に示される構成の全てが、必須の構成とは限らない。例えば、ＨＤＤ１０５に記憶されている仮想視点画像を再生する場合、外部サーバ１１１はなくてもよい。また、逆に、外部サーバ１１１から取得した仮想視点画像を生成する場合、ＨＤＤ１０５はなくてもよい。その他、情報処理装置１００は、複数のＣＰＵ１０１を備えてもよい。また、ＣＰＵ１０１とは異なる専用の１又は複数のハードウェアやＧＰＵ（Graphics Processing Unit）を備え、ＣＰＵ１０１による処理の少なくとも一部を専用のハードウェアやＧＰＵが実行するようにしてもよい。なお、専用のハードウェアとして、例えば、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（Field-Programmable Gate Array）、及びＤＳＰ（Digital Signal Processor）等がある。

以上、本実施形態における情報処理装置１００のハードウェア構成を説明したが、情報処理装置１００のハードウェア構成は、上述した構成に限定されるものではない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１ａ、１ｂ マルチカメラ撮影部
２ａ、２ｂ 三次元モデル生成部
３ａ、３ｂ 三次元モデル記憶部
４ａ、４ｂ 三次元モデル取得部
５ａ、５ｂ カメラパス作成部
６ａ、６ｂ カメラパス記憶部
７ａ、７ｂ カメラパス取得部
８ａ、８ｂ トラッキングデータ作成部
９ａ、９ｂ トラッキングデータ記憶部
１０ａ、１０ｂ トラッキングデータ取得部
１１ａ、１１ｂ 相対座標軸決定部
１２ａ、１２ｂ 相対座標値変換部
１３ａ、１３ｂ 絶対座標値変換部
１４ａ、１４ｂ 仮想視点画像生成部
１５ａ、１５ｂ 画像記憶部
１６ａ、１６ｂ 画像取得部
１７ レイアウト部
１８ 表示部
１９ 制御部

Claims (12)

1. 第１の仮想視点画像と第２の仮想視点画像とを共に表示させる情報処理装置であって、
   前記第１の仮想視点画像に含まれる第１のオブジェクトに対する前記第１の仮想視点画像の視点位置及び視線方向であって、ユーザ操作に基づき決定される前記第１の仮想視点画像の視点位置及び視線方向と一致するように、前記第２の仮想視点画像に含まれる第２のオブジェクトに対する前記第２の仮想視点画像の視点位置及び視線方向を決定する決定手段と、
   前記決定手段による決定の結果に基づいて、前記第１の仮想視点画像と前記第２の仮想視点画像とを比較可能に表示させる表示制御手段と、
   を有することを特徴とする情報処理装置。
2. 第１のシーンにおいて前記第１のオブジェクトに関する相対的な視点位置及び視線方向を表すための第１の相対座標軸を決定する第１の決定手段と、
   第２のシーンにおいて前記第２のオブジェクトに関する相対的な視点位置及び視線方向を表すための第２の相対座標軸を決定する第２の決定手段と、
   前記第１の相対座標軸と、実空間における絶対座標軸とに基づいて、前記第１のシーンの視点位置及び視線方向の絶対座標値を相対座標値に変換する第１の変換手段と、
   前記第２の相対座標軸と、前記絶対座標軸とに基づいて、前記相対座標値を前記第２のシーンにおける視点位置及び視線方向の絶対座標値に変換する第２の変換手段と、
   前記第２のシーンにおける視点位置及び視線方向の絶対座標値に基づいて、前記第２のシーンに対応する前記第２の仮想視点画像を生成する生成手段と
   を有することを特徴とする請求項１に記載の情報処理装置。
3. 前記第１の相対座標軸及び前記第２の相対座標軸はそれぞれ、前記第１及び第２のオブジェクトのトラッキングデータに基づいて決定されることを特徴とする請求項２に記載の情報処理装置。
4. 前記第１の決定手段は、前記第１のシーンのフレームが更新される毎に、前記第１の相対座標軸を決定し、
   前記第２の決定手段は、前記第２のシーンのフレームが更新される毎に、前記第２の相対座標軸を決定することを特徴とする請求項２又は３に記載の情報処理装置。
5. 前記第１の決定手段は、前記第１のシーンにおいて操作者によって指定されたフレームにおいて、前記第１の相対座標軸を決定し、
   前記第２の決定手段は、前記第２のシーンにおいて操作者によって指定されたフレームにおいて、前記第２の相対座標軸を決定することを特徴とする請求項２又は３に記載の情報処理装置。
6. 前記第１のシーンの視点位置及び視線方向の絶対座標値は、操作者の操作に基づいて更新された前記第１の相対座標軸に基づいて更新されることを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
7. 前記第１のシーンの視点位置及び視線方向の絶対座標値は、前記第１のシーンの既存の画像の視点位置及び視線方向にしたがって更新された前記第１の相対座標軸に基づいて更新されることを特徴とする請求項２乃至５のいずれか１項に記載の情報処理装置。
8. 前記第２の変換手段は、前記第２の相対座標軸のうちの少なくとも１つの座標軸の正負を反転させて、前記相対座標値を前記第２のシーンにおける視点位置及び視線方向の絶対座標値に変換し、
   前記生成手段は、前記第２の仮想視点画像の鏡像画像を生成することを特徴とする請求項２乃至７のいずれか１項に記載の情報処理装置。
9. 前記表示制御手段は、前記第１のシーンにおける前景及び背景の画像と、前記第２のシーンにおける前景の画像とを合成して表示させることを特徴とする請求項２乃至８のいずれか１項に記載の情報処理装置。
10. 前記表示制御手段は、前記第１のシーンにおける前景の画像と、前記第２のシーンにおける前景の画像とを重ねて表示させることを特徴とする請求項２乃至８のいずれか１項に記載の情報処理装置。
11. コンピュータを請求項１乃至１０のいずれか１項に記載の情報処理装置として機能させるためのプログラム。
12. 第１の仮想視点画像と第２の仮想視点画像とを共に表示させる情報処理方法であって、
    前記第１の仮想視点画像に含まれる第１のオブジェクトに対する前記第１の仮想視点画像の視点位置及び視線方向であって、ユーザ操作に基づき決定される前記第１の仮想視点画像の視点位置及び視線方向と一致するように、前記第２の仮想視点画像に含まれる第２のオブジェクトに対する前記第２の仮想視点画像の視点位置及び視線方向を決定する決定工程と、
    前記決定工程による決定の結果に基づいて、前記第１の仮想視点画像と前記第２の仮想視点画像とを比較可能に表示させる表示制御工程と
    を有することを特徴とする情報処理方法。

Images