JP2023132320A - 画像処理システム、画像処理方法及びコンピュータプログラム - Google Patents

Abstract

【課題】魅力的なコンテンツを生成できる画像処理システムを提供すること。
【解決手段】 画像処理システム１００は、メインカメラ画像である第１の画像と、仮想視点画像である第２の画像とを含む立体形状のデジタルコンテンツ２００を生成し、第１の画像と第２の画像とをデジタルコンテンツ２００を構成する第１面２０１と第２面２０２に対応付ける。
【選択図】 図１

Description

本開示は画像処理システム、画像処理方法及びコンピュータプログラム等に関する。

複数の撮像装置の撮像により得られた複数の画像を用いて、指定された仮想視点からの仮想視点画像を生成する技術が注目されている。特許文献１には、複数の撮像装置を異なる位置に設置して被写体を撮像し、撮像により得られた撮像画像から推定される被写体の３次元形状を用いて、仮想視点画像を生成する方法について記載されている。

特開２０１５－４５９２０号公報

しかし、仮想視点画像と他の画像を含む魅力的なデジタルコンテンツを提供することはできていなかった。
本開示は、魅力的なコンテンツを生成できる画像処理システムを提供することを目的としている。

本開示の１つの実施態様の画像処理システムは、
複数の撮像装置で撮像されることにより得られた複数の画像と仮想視点とに基づいて生成される仮想視点画像を取得する取得手段と、
前記取得手段により取得された仮想視点画像と、当該仮想視点画像に対応する仮想視点と異なる視点の画像とを含む立体形状のデジタルコンテンツを生成する生成手段と、を有し、
前記生成手段は、前記仮想視点画像と、当該仮想視点画像に対応する仮想視点と異なる視点の画像とを、前記デジタルコンテンツを構成する異なる面に対応付けることを特徴とする。

本開示によれば、魅力的なコンテンツを生成できる画像処理システムを提供することができる。

実施形態１に係る画像処理システム１００の装置構成の１例を示す図である。 実施形態１に係る画像処理システム１００のハードウェア構成を示す図である。 実施形態１の画像処理システム１００の動作フローを説明するためのフローチャートである。 図４（Ａ）～（Ｃ）は実施形態１でコンテンツ生成部４が生成するコンテンツとしての立体画像の例を示す図である。 実施形態２の画像処理システム１００の動作フローを説明するためのフローチャートである。 実施形態３の画像処理システム１００の動作フローを説明するためのフローチャートである。 図６の続きのフローチャートである。 図６と図７の続きのフローチャートである。

以下、図面を参照して本開示の実施形態を説明する。ただし、本開示は以下の実施形態に限定されるものではない。なお、各図において、同一の部材または要素については同一の参照番号を付し、重複する説明は省略または簡略化する。

（実施形態１）
実施形態１の画像処理システムは、複数の撮像装置（カメラ）により異なる方向から撮像して取得される撮像画像、撮像装置の状態、指定された仮想視点に基づいて、仮想視点から見た仮想視点画像を生成する。そして、その仮想視点画像を仮想的な立体画像の表面に表示する。なお、撮像装置は、カメラだけでなく、画像処理を行う機能部を有していてもよい。また、撮像装置は、カメラ以外に、距離情報を取得するセンサを有していてもよい。

複数のカメラは、複数の方向から撮像領域を撮像する。撮像領域は、例えば、競技場のフィールドと任意の高さで囲まれた領域である。撮像領域は、上述した被写体の３次元形状を推定する３次元空間と対応していても良い。３次元空間は、撮像領域の全部であっても良いし、一部であっても良い。また、撮像領域は、コンサート会場、撮像スタジオなどであってもよい。

複数のカメラは、撮像領域を取り囲むように夫々異なる位置・異なる方向（姿勢）に設置され、同期して撮像を行う。尚、複数のカメラは撮像領域の全周にわたって設置されなくてもよく、設置場所の制限等によっては撮像領域の一部の方向にのみ設置されていても良い。カメラの数は限定されず、例えば撮像領域をラグビーの競技場とする場合、競技場の周囲に数十～数百台程度のカメラが設置されても良い。

又、複数のカメラは、望遠カメラと広角カメラなど画角が異なるカメラが含まれていれも良い。例えば、望遠カメラを用いて選手を高解像度に撮像することで、生成される仮想視点画像の解像度を向上できる。又、球技の場合にはボールの移動範囲が広いので、広角カメラを用いて撮像することで、カメラ台数を減らすことができる。又、広角カメラと望遠カメラの撮像領域を組み合わせて撮像することで設置位置の自由度が向上する。尚、カメラは共通の時刻で同期され、撮像した画像にはフレーム毎の画像に撮像時刻情報が付与される。

仮想視点画像は、自由視点画像とも呼ばれ、ユーザが自由に（任意に）指定した視点に対応する画像をモニタできるものであるが、例えば、限定された複数の視点候補からユーザが選択した視点に対応する画像をモニタするもの仮想視点画像に含まれる。又、仮想視点の指定は、ユーザ操作により行われても良いし、画像解析の結果等に基づいてＡＩで、自動で行われても良い。又、仮想視点画像は動画であっても静止画であっても良い。

仮想視点画像の生成に用いられる仮想視点情報は、仮想視点の位置及び向き（姿勢）更には画角（焦点距離）等を含む情報である。具体的には、仮想視点情報は、仮想視点の３次元位置を表すパラメータと、パン、チルト、及びロール方向における仮想視点からの向き（視線方向）を表すパラメータ、焦点距離情報等を含む。但し、仮想視点情報の内容は上記に限定されない。

又、仮想視点情報は複数フレーム毎のパラメータを有していても良い。つまり、仮想視点情報が、仮想視点画像の動画を構成する複数のフレームに夫々対応するパラメータを有し、連続する複数の時点夫々における仮想視点の位置及び向きを示す情報であっても良い。

仮想視点画像は、例えば、以下のような方法で生成される。先ず、カメラにより異なる方向から撮像することで複数カメラの画像が取得される。次に、複数カメラ画像から、人物やボールなどの被写体に対応する前景領域を抽出した前景画像と、前景領域以外の背景領域を抽出した背景画像が取得される。前景画像、背景画像は、テクスチャ情報（色情報など）を有している。

そして、被写体の３次元形状を表す前景モデルと前景モデルに色付けするためのテクスチャデータとが前景画像に基づいて生成される。又、競技場などの背景の３次元形状を表す背景モデルに色づけするためのテクスチャデータが背景画像に基づいて生成される。そして、前景モデルと背景モデルに対してテクスチャデータをマッピングし、仮想視点情報が示す仮想視点に応じてレンダリングを行うことにより、仮想視点画像が生成される。

但し、仮想視点画像の生成方法はこれに限定されず、前景や背景モデルを用いずに撮像画像の射影変換により仮想視点画像を生成する方法など、種々の方法を用いることができる。

前景画像とは、カメラにより撮像されて取得された撮像画像から、被写体の領域（前景領域）を抽出した画像である。前景領域として抽出される被写体とは、時系列で同じ方向から撮像を行った場合において動きのある（その絶対位置や形が変化し得る）動的被写体（動体）などを指す。被写体は、例えば、競技において、それが行われるフィールド内にいる選手や審判などの人物、球技であれば人物に加え、ボールなども含む。又、コンサートやエンターテインメントにおいては、歌手、演奏者、パフォーマー、司会者などが前景の被写体である。

背景画像とは、少なくとも前景となる被写体とは異なる領域（背景領域）の画像である。具体的には、背景画像は、撮像画像から前景となる被写体を取り除いた状態の画像である。又、背景は、時系列で同じ方向から撮像を行った場合において静止、又は静止に近い状態が継続している撮像対象物を指す。

このような撮像対象物は、例えば、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などである。但し、背景は少なくとも前景となる被写体とは異なる領域である。尚、撮像対象としては、被写体と背景の他に、別の物体等が含まれていても良い。

図１は、本実施形態の画像処理システム１００を示す図である。尚、図１に示される機能ブロックの一部は、画像処理システム１００に含まれるコンピュータに、記憶媒体としてのメモリに記憶されたコンピュータプログラムを実行させることによって実現されている。しかし、それらの一部又は全部をハードウェアで実現するようにしても構わない。ハードウェアとしては、専用回路（ＡＳＩＣ）やプロセッサ（リコンフィギュラブルプロセッサ、ＤＳＰ）などを用いることができる。

又、画像処理システム１００の夫々の機能ブロックは、同じ筐体に内蔵されていなくても良く、互いに信号路を介して接続された別々の装置により構成されていても良い。画像処理システム１００は、複数のカメラに接続されている。又、画像処理システム１００は、形状推定部２、画像生成部３、コンテンツ生成部４、保存部５、表示部１１５、操作部１１６等を有する。

形状推定部２は、複数のカメラ１と、画像生成部３に接続され、表示部１１５は画像生成部３に接続されている。なお、それぞれの機能ブロックは、別々の装置に実装されていてもいいし、そのうちの全部あるいはいくつかの機能ブロックが同じ装置に実装されていてもよい。

複数のカメラ１は、コンサート等のステージ、競技などのイベントを行うスタジアム、球技で使用するゴールなどの構造物、フィールド、などの周囲の異なる位置に配置され、夫々異なる視点から撮像を行う。又、各カメラは、そのカメラを識別するための識別番号（カメラ番号）を持つ。カメラ１は、撮像した画像から前景画像を抽出する機能など、他の機能やその機能を実現するハードウェア（回路や装置など）も含んでも良い。カメラ番号は、カメラ１の設置位置に基づいて設定されていても良いし、それ以外の基準で設定されても良い。

画像処理システム１００はカメラ１が設けられている会場内に配置されていても良いし、会場外の例えば放送局などに配置されていても良い。画像処理システム１００はカメラ１とネットワークを介して接続されている。
形状推定部２は、複数のカメラ１からの画像を取得する。そして、形状推定部２は、複数のカメラ１から取得した画像に基づいて、被写体の３次元形状を推定する。

具体的には、形状推定部２は、公知の表現方法で表される３次元形状データを生成する。３次元形状データは、点で構成される点群データや、ポリゴンで構成されるメッシュデータや、ボクセルで構成されるボクセルデータであってもよい。

画像生成部３は、形状推定部２から被写体の３次元形状データの位置や姿勢を示す情報を取得し、仮想視点から被写体の３次元形状を見た場合に表現される被写体の二次元形状を含む仮想視点画像を生成することができる。又、画像生成部３は、仮想視点画像を生成するために、仮想視点情報（仮想視点の位置と仮想視点からの視線方向等）の指定をユーザから受け付け、その仮想視点情報に基づいて仮想視点画像を生成することもできる。ここで、画像生成部３は、複数のカメラから得られた複数の画像に基づいて仮想視点画像を生成する取得手段として機能している。

仮想視点画像は、コンテンツ生成部４に送られ、コンテンツ生成部４では、後述のように例えば立体形状のデジタルコンテンツが生成される。又、コンテンツ生成部４で生成された、仮想視点画像を含むデジタルコンテンツは表示部１１５へ出力される。

尚、コンテンツ生成部４は複数のカメラからの画像を直接受け取り、カメラ毎の画像を表示部１１５に供給することもできる。又、操作部１１６からの指示に基づき、カメラ毎の画像と仮想視点画像を仮想的な立体画像のどの面に表示するかを切り替えることもできる。

表示部１１５は例えば液晶ディスプレイやＬＥＤ等で構成され、コンテンツ生成部４から、仮想視点画像を含むデジタルコンテンツを取得し表示する。又、ユーザが夫々のカメラ１を操作するためのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などを表示する。

又、操作部１１６は、ジョイスティック、ジョグダイヤル、タッチパネル、キーボード、及びマウスなどから構成され、カメラ１などの操作をユーザが行うために用いられる。又、操作部１１６は、コンテンツ生成部４で生成されるデジタルコンテンツ（立体画像）の表面に表示される画像をユーザが選択するために使われる。更に、画像生成部３における、仮想視点画像を生成するための仮想視点の位置や姿勢の指定等をすることができる。

尚、ユーザの操作指示によって仮想視点の位置や姿勢を画面上で直接的に指定しても良い。或いは、ユーザの操作指示によって所定の被写体を画面上で指定した場合に、その所定の被写体を画像認識して追尾し、その被写体からの仮想視点情報や、その被写体を中心とした円弧状の周囲の位置からの仮想視点情報を自動的に指定するようにしても良い。

更には、ユーザの操作指示によって予め指定した条件を満たす被写体を画像認識し、その被写体からの仮想視点情報や、その被写体を中心として円弧状の周囲の位置からの仮想視点情報を自動的に指定するようにしても良い。その場合の指定した条件とは例えば、特定のアスリート名や、シュートをした人、ファインプレーをした人、ボールの位置、などの条件を含む。

保存部５はコンテンツ生成部４で生成されたデジタルコンテンツや、仮想視点画像や、カメラ画像等を保存するためのメモリを含む。又、保存部５は着脱可能な記録媒体を有していても良い。着脱可能な記録媒体には、例えば他の会場や他のスポーツシーンにおいて撮像された複数のカメラ画像や、それらを用いて生成された仮想視点画像や、それらを組み合わせて生成されたデジタルコンテンツなどが記録されていても良い。

又、保存部５は、外部サーバなどからネットワークを介してダウンロードした複数のカメラ画像や、それらを用いて生成された仮想視点画像や、それらを組み合わせて生成されたデジタルコンテンツなどを保存できるようにしても良い。また、それらのカメラ画像や、仮想視点画像や、デジタルコンテンツなどは第３者が作成したものであっても良い。

図２は、実施形態１に係る画像処理システム１００のハードウェア構成を示す図であり、図２を用いて画像処理システム１００のハードウェア構成について説明する。

画像処理システム１００は、ＣＰＵ１１１、ＲＯＭ１１２、ＲＡＭ１１３、補助記憶装置１１４、表示部１１５、操作部１１６、通信Ｉ／Ｆ１１７、及びバス１１８等を有する。ＣＰＵ１１１は、ＲＯＭ１１２やＲＡＭ１１３や補助記憶装置１１４等に記憶されているコンピュータプログラム等を用いて画像処理システム１００の全体を制御することで、図１に示す画像処理システムの各機能ブロックを実現する。

ＲＡＭ１１３は、補助記憶装置１１４から供給されるコンピュータプログラムやデータ、及び通信Ｉ／Ｆ１１７を介して外部から供給されるデータなどを一時記憶する。補助記憶装置１１４は、例えばハードディスクドライブ等で構成され、画像データや音声データやコンテンツ生成部４からの仮想視点画像を含むデジタルコンテンツなどの種々のデータを記憶する。

表示部１１５は、前述のように、仮想視点画像を含むデジタルコンテンツや、ＧＵＩ等を表示する。操作部１１６は、前述のように、ユーザによる操作入力を受けて各種の指示をＣＰＵ１１１に入力する。ＣＰＵ１１１は、表示部１１５を制御する表示制御部、及び操作部１１６を制御する操作制御部として動作する。

通信Ｉ／Ｆ１１７は、画像処理システム１００の外部の装置（例えば、カメラ１や外部サーバ等）との通信に用いられる。例えば、画像処理システム１００が外部の装置と有線で接続される場合には、通信用のケーブルが通信Ｉ／Ｆ１１７に接続される。画像処理システム１００が外部の装置と無線通信する機能を有する場合には、通信Ｉ／Ｆ１１７はアンテナを備える。バス１１８は、画像処理システム１００の各部をつないで情報を伝達する。

尚、本実施形態では表示部１１５や操作部１１６が、画像処理システム１００の内部に含まれている例を示しているが、表示部１１５と操作部１１６との少なくとも一方が画像処理システム１００の外部に別体の装置として存在していても良い。尚、画像処理システム１００は、例えばＰＣ端末のような形態であっても良い。

図３は、実施形態１の画像処理システム１００の動作フローを説明するためのフローチャートである。又、図４（Ａ）～（Ｃ）は実施形態１でコンテンツ生成部４が生成する立体形状のデジタルコンテンツの例を示す図である。
尚、画像処理システム１００のコンピュータとしてのＣＰＵ１１１が例えばＲＯＭ１１２や補助記憶装置１１４等のメモリに記憶されたコンピュータプログラムを実行することによって図３のフローチャートの各ステップの動作が行われる。

尚、本実施形態では、画像処理システム１００は放送局等に設置され、図４（Ａ）に示すような立方形状のデジタルコンテンツ２００を製作し放送してもよいし、或いはインターネットを介して提供してもよい。その際に、デジタルコンテンツ２００にＮＦＴを付与可能としている。

即ち、資産価値を向上させるために、例えば配布するコンテンツの数量を制限してシリアル番号で管理するなどして稀少性を持たせることができるようにしている。尚、ＮＦＴはノンファンジブルトークン（Ｎｏｎ－ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ）の略であり、ブロックチェーン上に発行・流通するためのトークンである。ＮＦＴのフォーマットの一例としては、ＥＲＣ―７２１やＥＲＣ―１１５５と呼ばれるトークン規格がある。トークンは通常、ユーザが管理するウォレットに関連付けて保管される。

ステップＳ３１において、ＣＰＵ１１１は、メインカメラ画像（第１の画像）を例えば図４（Ａ）のような立体形状のデジタルコンテンツ２００の第１面２０１と対応付ける。なお、ユーザによる確認のために、第１面２０１と対応付けられたメインカメラ画像を表示してもよい。さらに、図４（Ａ）で示すように、デジタルコンテンツを仮想的に見た視点からの視線方向（具体的には、図４（Ａ）の紙面に垂直な方向）と第１面２０１の法線方向とが平行でない場合には、以下の表示を行ってもよい。

つまり、第１面２０１に表示されるメインカメラ画像は、デジタルコンテンツの表示面に対する第１面２０１の法線方向の角度に応じて、射影変換されて生成されてもよい。ここで、メインカメラ画像（メイン画像、第１の画像）とは、スポーツ会場に設置された複数のカメラから得られた複数の画像の内の、ＴＶ放送等のために選択される画像である。なお、メイン画像は所定の被写体を画角内に含む画像である。また、メインカメラ画像は、スポーツ会場に設置されたカメラによって撮像されたものでなくてもよい。

例えば、カメラマンの持ち込む手持ちのカメラによって撮像された画像であってもよい。あるいは会場内の観客が持ち込むカメラやカメラを搭載するスマホ等の電子機器で撮像された画像であってもよい。また、メインカメラ画像は、仮想視点画像の生成に用いられる複数のカメラのうちの一つでもよいし、その複数のカメラに含まれないカメラであってもよい。

どのカメラの画像をメイン画像として放送或いはネットで配信するかは放送局等のユーザが操作部１１６を用いて逐次選択する。例えばゴールの瞬間を放映、配信する場合にはゴール近傍のカメラからの画像をメイン画像として放送する場合が多い。

尚、本実施形態においては図４（Ａ）～（Ｃ）に示すように、向かって左側に見える面を第１面とし、右側に見える面を第２面とし、上側に見える面を第３面としている。しかし、これに限定されない。どの面を第１面～第３面とするかは予め任意に設定できるものとする。

ステップＳ３２で、コンテンツ生成部４は、デジタルコンテンツ２００の第３面２０３に付随データとして例えばゴールにシュートした選手の名前や所属チーム名やゴールした試合における最終試合結果などのデータを対応付ける。なお、ユーザによる確認のために、第３面２０３に対応付けられた付随データを表示してもよい。ＮＦＴを付与する場合には、その発行数など希少性を表すデータを付随データとして第３面２０３に表示しても良い。発行数は、画像生成システムを使ってデジタルコンテンツを生成するユーザが決定してもよいし、画像生成システムが自動的に決定してもよい。

ステップＳ３３において、画像生成部３は、メインカメラ画像を撮像するカメラの視点の向きに対して所定角度だけ視点の向きが異なり、例えばゴールやシューターが含まれる画像を複数のカメラ１からの画像の中から取得する。前記の所定角度は例えば９０度である。その際、複数のカメラの配置位置や姿勢等は予めわかっているので、メインカメラ画像に対して上記のように所定角度視点の向きの異なる画像がどのカメラから取得できるかはＣＰＵ１１１が判断可能である。なお、以下で画像の視点という表現を用いる場合があるが、それは画像を撮像するカメラの視点あるいは、画像を生成するために指定された仮想視点のことである。

或いは、ステップＳ３３（取得ステップ）において、画像生成部３において所定の（上記のように例えば９０度視点の向きが異なる）仮想視点であって、画像認識された被写体を含む仮想視点からの仮想視点画像を取得しても良い。その場合、画像生成部３に対して上記の所定の（上記のように９０度視点の向きつまり姿勢の異なる）仮想視点を指定し、仮想視点画像を生成させることで取得しても良い。

或いは、予め画像生成部３で予め複数の視点の仮想視点画像を生成しておき、その中から該当するものを選択することで取得しても良い。尚、本実施形態ではメインカメラ画像に対して所定角度だけ視点の異なる画像を例えば９０度視点の異なる画像としているが、この角度は予め設定できるものとする。

又、仮想視点画像は、メインカメラ画像に含まれる被写体の向き（例えば、人物であれば顔や体の向き）に基づいて特定される仮想視点に対応する画像であってもよい。なお、メインカメラ画像に含まれる被写体が複数の場合には、そのうちの一つの被写体に対して、仮想視点を設定してもよいし、複数の被写体に対して仮想視点を設定してもよい。

尚、上記ではメイン画像に対して所定の角度の視点を選択する例について説明した。しかし、例えば被写体視点、被写体の後方からの視点、被写体を中心とした円弧上の位置の中の仮想視点の何れか一つなどから所定の１つの視点からの仮想視点画像を選択して取得するようにしても良い。

被写体視点とは、被写体の位置を仮想視点の位置として、被写体の向きを仮想視点からの視線方向とする仮想視点である。例えば、人物を被写体とする場合、被写体視点は、人物の顔の位置を仮想視点の位置とし、人物の顔の向きを仮想視点からの視線方向とした視点である。あるいは、その人物の視線方向を仮想視点からの視線方向としてもよい。

被写体の後方からの視点とは、被写体の後方に所定の距離離れた位置を仮想視点の位置として、その位置から被写体の位置に向かう方向を仮想視点からの視線方向とする仮想視点である。または、仮想視点からの視線方向としては、被写体の向きに応じて決定されてもよい。例えば、人物を被写体とする場合、被写体の後方からの視点とは、人物の背中から一定距離離れた位置を仮想視点の位置とし、人物の顔の向きを仮想視点から視線方向とした仮想視点である。

被写体を中心とした円弧上の位置の中の仮想視点とは、被写体の位置を中心とした所定の半径で規定される球面上の位置を仮想視点の位置として、その位置から被写体の位置に向かう方向を仮想視点からの視線方向とする仮想視点である。
例えば、人物を被写体とする場合、人物の位置を中心とした所定の半径で規定される球面上の位置を仮想視点の位置とし、その位置から被写体の位置に向かう方向を仮想視点からの視線方向とする仮想視点である。

ステップＳ３３は、このように、第１の画像と所定の関係を有する視点の仮想視点画像を取得して第２の画像とする、仮想視点画像生成ステップとして機能している。尚、ここで、第１の画像と所定の関係を有する視点の仮想視点画像は、第１の画像の視点と同じ時刻（撮像タイミング）の仮想視点画像とする。又、本実施形態では、第１の画像と所定の関係を有する前記視点は、上記のように第１の画像の視点と所定の角度関係又は所定の位置関係にある視点とする。

そしてステップＳ３４において、ＣＰＵ１１１は、その第２の画像をデジタルコンテンツ２００の第２面２０２に対応付ける。なお、ユーザの確認のために、第２の画像は表示されてもよい。尚、この時、第１面２０１に対応付けられるメイン画像と、第２面に対応付けられる第２画像は、前述のように同じ時刻に撮像された画像となるように同期制御されるものとする。

このようにステップＳ３１～Ｓ３４は、第１の画像を立体形状のデジタルコンテンツの後述の第１面に対応付け、第１の画像と所定の関係を有する仮想視点の仮想視点画像を、第２面２０２に対応付けている。又、ステップＳ３１～Ｓ３４は、コンテンツ生成ステップ（コンテンツ生成手段）として機能している。

次にステップＳ３５において、ＣＰＵ１１１は、操作部１１６を介して上記の第２面２０２に表示される第２の画像の視点を変更する操作がなされたか判別する。即ち、ユーザは時々刻々変化するスポーツシーンを見ながら第２面に表示すべき第２画像の視点を例えば複数のカメラ１の中から所望の視点のカメラ画像を選択することで変更する場合がある。

或いは、仮想視点の中から所望の視点を画像生成部３に対して指定することによってその視点からの仮想視点画像を取得する場合がある。ステップＳ３５では、そのような視点変更操作がなされた場合には、Ｙｅｓとなり、ステップＳ３６に進む。

ステップＳ３６において、ＣＰＵ１１１は、視点が変更された後の視点画像を複数のカメラ１の中から選択するか、或いは視点が変更された後の仮想視点画像を画像生成部３から取得する。仮想視点画像の取得は、予め生成された仮想視点画像を取得してもよいし、変更された視点に基づいて新たに仮想視点画像を生成することで取得されてもよい。そしてその取得された画像を第２画像とし、ステップＳ３４に遷移し第２面に対応付ける。

この状態において、表示部１１５には、デジタルコンテンツ２００の第１～第３面に夫々、第１の画像、第２の画像、付随データが対応付けられる。ここで、ユーザは、デジタルコンテンツ２００の第１～第３面に夫々、第１の画像、第２の画像、付随データが対応付けられた状態を、表示により確認してもよい。尚、その場合に、どの面が第１～第３の面かが分かるように面の番号も表示しても良い。

ステップＳ３５で視点変更がない場合にはステップＳ３７に進み、ＣＰＵ１１１は、デジタルコンテンツ２００にＮＦＴを付与するか否か判別する。そのために例えば表示部１１５にデジタルコンテンツ２００にＮＦＴを付与するか否かを問うＧＵＩを表示する。そして、ユーザがＮＦＴを付与すると選択した場合には、それを判別してステップＳ３８に進み、デジタルコンテンツ２００にＮＦＴを付与して、暗号化してからステップＳ３９に進む。

ステップＳ３７でＮｏと判別された場合には、そのままステップＳ３９に進む。
尚、ステップＳ３７におけるデジタルコンテンツ２００は、図４（Ｂ）、（Ｃ）のような形状の立体画像であっても良い。又、多面体の場合に、図４（Ａ）のような６面体に限定されず例えば８面体などであっても良い。

ステップＳ３９において、ＣＰＵ１１１は、図３のデジタルコンテンツ２００を生成するためのフローを終了するか否か判別する。そして、ユーザが操作部１１６を操作して終了にしていなければ、ステップＳ３１に戻って上記の処理を繰り替えし、終了であれば図３のフローを終了する。尚、ユーザが操作部１１６を操作して終了にしていなくても、操作部１１６の最後の操作から所定期間（例えば３０分）経過したら自動的に終了しても良い。

尚、図４（Ｂ）、（Ｃ）はデジタルコンテンツ２００の変形例を示した図であり、図４（Ｂ）は図４（Ａ）のデジタルコンテンツ２００を球としたものである。球状のデジタルコンテンツ２００の例えば正面から見て左側の球面である第１面２０１に第１画像を表示し、右側の球面である第２面２０２に第２画像を表示する。又、上側の球面である第３面２０３に上記のような付随データを表示する。

図４（Ｃ）は図４（Ａ）のデジタルコンテンツ２００の各平面を所望の曲率の曲面にした例を示す図である。このように、本実施形態におけるデジタルコンテンツの表示は図４（Ｂ）、（Ｃ）のような球体や、表面が球面の立方体などを使って画像を表示するものであっても良い。

（実施形態２）
次に実施形態２について図５を用いて説明する。
図５は、実施形態２の画像処理システム１００の動作フローを説明するためのフローチャートである。尚、画像処理システム１００のコンピュータとしてのＣＰＵ１１１が例えばＲＯＭ１１２や補助記憶装置１１４等のメモリに記憶されたコンピュータプログラムを実行することによって図５のフローチャートの各ステップの動作が行われる。

尚、図５において図３と同じ符号のステップは同じ処理であり説明を省略する。
図５のステップＳ５１において、ＣＰＵ１１１は、ユーザにより指定された視点のカメラ画像又はユーザにより指定された仮想視点からの仮想視点画像を画像生成部３から取得する。そして、取得された画像を第２の画像とする。それ以外は図３のフローと同じである。

実施形態１では、メイン画像（第１の画像）に対して所定の関係を有する（所定角度異なる）第２画像を取得するようにしていた。しかし、実施形態２では、ユーザが所望のカメラを選択するか、所望の被写体について所望の視点の仮想視点画像を取得して第２画像としている。

尚、ステップＳ５１でユーザにより選択されるカメラ画像又は仮想視点画像は、例えばスポーツ会場に対して斜め上方の俯瞰的な視点の画像或いは斜め下方からの視点の画像などを含む。このように、実施形態２においては、第２面に表示される仮想視点画像をユーザが選択可能である。

又、ステップＳ５１でユーザにより選択される仮想視点画像は、例えばズームアウトしたような被写体から離れた位置からの視点の仮想視点画像であっても良い。
又、過去に生成したカメラ画像や、それに基づき生成した仮想視点画像などを保存部５に保存しておき、それを読出して、第１画像や第２画像や付随データとして夫々第１面～第３面に表示させるようにしても良い。

尚、ステップＳ３８とステップＳ３９の間に、ＣＰＵ１１１により、例えば操作部１１６の最後の操作から所定期間（例えば３０分）経過したら自動的にデフォルトの立体画像表示に切り替えるステップを挿入しても良い。デフォルトの立体画像表示は、例えば第１面にメイン画像、第３面には例えば付随データを表示し、第２面には過去の統計で最も頻度の高い視点などからのカメラ画像や仮想視点画像を表示すれば良い。

（実施形態３）
図６～図８を用いて実施形態３について説明する。図６は実施形態３の画像処理システム１００の動作フローを説明するためのフローチャートであり、図７は図６の続きのフローチャート、図８は、図６と図７の続きのフローチャートである。尚、画像処理システム１００のコンピュータとしてのＣＰＵ１１１が例えばＲＯＭ１１２や補助記憶装置１１４等のメモリに記憶されたコンピュータプログラムを実行することによって図６～図８のフローチャートの各ステップの動作が行われる。

実施形態３では、ユーザが仮想視点数を１～３の中から選択すると、それに応じてデジタルコンテンツ２００の第１～第３面の表示を自動的に切り替える。
ステップＳ６１において、ユーザが仮想視点の数を１～３の中から選択し、それをＣＰＵ１１１は受け付ける。ステップＳ６２において、ＣＰＵ１１１は、選択された数の仮想視点画像を画像生成部３から取得する。

このとき、自動的に代表的な仮想視点を選択する。即ち、シーンを解析し、そのシーンに対して例えば過去の統計から最も使用頻度の高い仮想視点を第１の仮想視点とし、次に使用頻度の高い仮想視点を第２の仮想視点とし、その次に使用頻度の高い仮想視点を第３の仮想視点とする。尚、第２の仮想視点は第１の仮想視点に対して例えば＋９０°、第３の仮想視点は第１の仮想視点に対して例えば－９０°角度が異なるように予め設定しても良い。ここで＋９０°、－９０°は例であって、これらの角度に限定されない。

ステップＳ６３において、ＣＰＵ１１１は、選択された仮想視点の数が１か否か判別し、１であれば、ステップＳ６４に進む。ステップＳ６４において、ＣＰＵ１１１は、複数のカメラ１の中のメインカメラからメイン画像を取得してデジタルコンテンツ２００の第１面２０１に対応付ける。

そしてステップＳ６５で、ＣＰＵ１１１は、付随データをデジタルコンテンツ２００の第３面２０３に対応付ける。付随データは、実施形態１の図３のステップＳ３２で表示する付随データと同様の、例えばゴールにシュートした選手の名前などであれば良い。
ステップＳ６６において、ＣＰＵ１１１は、デジタルコンテンツ２００の第２面に前述の第１の仮想視点からの第１の仮想視点画像を対応付け、その後、図８のステップＳ８１に進む。

ステップＳ６３でＮｏと判別された場合には、ステップＳ６７において、ＣＰＵ１１１は、選択された仮想視点の数が２か否か判別し、２であれば、ステップＳ６８に進む。
ステップＳ６８において、ＣＰＵ１１１は、付随データをデジタルコンテンツ２００の第３面２０３に対応付ける。付随データは、ステップＳ６５で対応付ける付随データと同様の、例えばゴールにシュートした選手の名前などであれば良い。

そして、ステップＳ６９において、ＣＰＵ１１１は、第１の仮想視点からの第１の仮想視点画像をデジタルコンテンツ２００の第１面２０１に対応付ける。又、デジタルコンテンツ２００の第２面２０２に、前述の第２の仮想視点からの第２の仮想視点画像を対応付ける。その後、図８のステップＳ８１に進む。

ステップＳ６７でＮｏと判別された場合には、図７のステップＳ７１に進む。ステップＳ７１において、ＣＰＵ１１１は、ユーザが第３面２０３に付随データを対応付ける選択をしているか否か判別する。Ｙｅｓの場合には、ステップＳ７２に進み、Ｎｏの場合には、ステップＳ７３に進む。

ステップＳ７２において、ＣＰＵ１１１は、第１の仮想視点からの仮想視点画像をデジタルコンテンツ２００の第１面２０１に対応付け、第２面２０２に第２の仮想視点からの仮想視点画像を対応付け、第３面に第３の仮想視点からの仮想視点画像を対応付ける。その後、図８のステップＳ８１に進む。

ステップＳ７１でＮｏの場合には、ステップＳ７３において、ＣＰＵ１１１は、付随データをデジタルコンテンツ２００の第３面２０３に対応付ける。付随データは、ステップＳ６５で対応付ける付随データと同様の、例えばゴールにシュートした選手の名前などであれば良い。

そして、ステップＳ７４において、ＣＰＵ１１１は、第１の仮想視点からの第１の仮想視点画像をデジタルコンテンツ２００の第１面２０１に対応付ける。又、ステップＳ７５において、ＣＰＵ１１１は、デジタルコンテンツ２００の第２面２０２に、第２の仮想視点からの第２の仮想視点画像と第３の仮想視点からの第３の仮想視点画像とを並べて表示できるように対応付ける。つまり、第２面２０２を第２の仮想視点画像と第３の仮想視点画像とを表示する２つの領域に分割して、領域ごとに仮想視点画像を対応付ける。その後、図８のステップＳ８１に進む。

図８のステップＳ８１において、ＣＰＵ１１１は、デジタルコンテンツ２００にＮＦＴを付与するか否か判別する。そのために例えば表示部１１５にデジタルコンテンツ２００にＮＦＴを付与するか否かを問うＧＵＩを表示する。そして、ユーザがＮＦＴを付与すると選択した場合には、ステップＳ８２に進み、デジタルコンテンツ２００にＮＦＴを付与し、暗号化してからステップＳ８３に進む。

ステップＳ８１でＮｏと判別された場合には、そのままステップＳ８３に進む。尚、ステップＳ８１におけるデジタルコンテンツ２００は、前述と同様に、図４（Ｂ）、（Ｃ）のような形状のものでもよい。
ステップＳ８３において、ＣＰＵ１１１は、図６～図８のフローを終了するか否か判別し、ユーザが操作部１１６を操作して終了にしていなければ、ステップＳ８４に進む。

ステップＳ８４では、ＣＰＵ１１１は、仮想視点の数が変更されていないか判別する。数が変更されていればステップＳ６１に戻る。数が変更されていなければステップＳ６２に戻る。ステップＳ８３でＹｅｓと判別された場合には図６～図８のフローを終了する。

尚、実施形態３では、ユーザが仮想視点数を１～３の中から選択すると、それに応じてデジタルコンテンツ２００の第１～第３面に対応付ける画像を自動的に切り替える例を説明した。しかし、ユーザが複数のカメラの画像中からデジタルコンテンツ２００を構成する面に対応付けるカメラ画像の数を、選択するようにしても良い。そして、それに応じて複数のカメラ１の中から所定のカメラを自動的に選択して、デジタルコンテンツ２００の第１～第３面のそれらのカメラ画像を自動的に対応付けるようにしても良い。

なお、視点の数は、最大３つでなくてもよい。例えば、視点の数は、デジタルコンテンツを構成する面の数あるいは、画像を対応付けることが可能な面の数を最大とする範囲で決定されてもよい。また、一つの面に複数の画像を対応付けることができれば、さらに最大の視点の数を増やすことが可能である。

又、ステップＳ８２とステップＳ８３の間に、ＣＰＵ１１１が、例えば操作部１１６の最後の操作から所定期間（例えば３０分）経過したら自動的にデフォルトの立体画像表示からなるコンテンツに切り替えるステップを挿入しても良い。デフォルトの立体画像表示は、例えば第１面にメイン画像を表示し、第２面に、過去の統計で最も使用頻度の高い視点からのカメラ画像または仮想視点画像とする。第３面は例えば付随データとする。

以上のように実施形態３においては、ステップＳ６９、ステップＳ７２、ステップＳ９５において、第２面に表示させる仮想視点画像とは異なる仮想視点画像を、第１面に対応付けることを可能にしている。

以上、本開示を複数の実施形態に基づいて詳述してきたが、本開示は上記実施形態に限定されるものではなく、本開示の主旨に基づき種々の変形が可能であり、それらを本開示の範囲から除外するものではない。例えば、以上の実施形態１～３を適宜組み合わせても良い。
また、デジタルコンテンツを構成する一つの面に、視点の異なる複数の仮想視点画像を対応付けてもよい。

尚、本実施形態における制御の一部又は全部を上述した実施形態の機能を実現するコンピュータプログラムをネットワーク又は各種記憶媒体を介して画像処理システム等に供給するようにしてもよい。そしてその画像処理システム等におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本開示を構成することとなる。

１ カメラ
３ 画像生成部
４ コンテンツ生成部
１００ 画像処理システム

Claims (17)

1. 複数の撮像装置で撮像されることにより得られた複数の画像と仮想視点とに基づいて生成される仮想視点画像を取得する取得手段と、
   前記取得手段により取得された仮想視点画像と、当該仮想視点画像に対応する仮想視点と異なる視点の画像とを含む立体形状のデジタルコンテンツを生成する生成手段と、を有し、
   前記生成手段は、前記仮想視点画像と、当該仮想視点画像に対応する仮想視点と異なる視点の画像とを、前記デジタルコンテンツを構成する異なる面に対応付けることを特徴とする画像処理システム。
2. 前記仮想視点画像に対応する前記仮想視点と異なる視点の画像は、撮像装置で撮像されることにより得られた撮像画像であることを特徴とする請求項１に記載の画像処理システム。
3. 前記デジタルコンテンツに含まれる前記仮想視点画像は、前記撮像画像と所定の関係を有する画像であることを特徴とする請求項２に記載の画像処理システム。
4. 前記デジタルコンテンツに含まれる前記仮想視点画像の生成に使用される画像の撮像タイミングは、前記撮像画像の撮像タイミングと同じであることを特徴とする請求項３に記載の画像処理システム。
5. 前記デジタルコンテンツに含まれる前記仮想視点画像に対応する前記仮想視点は、前記撮像画像を撮像する撮像装置の視点と所定の角度関係又は所定の位置関係にあることを特徴とする請求項３又は４に記載の画像処理システム。
6. 前記デジタルコンテンツに含まれる前記仮想視点画像に対応する前記仮想視点は、前記撮像画像に含まれる被写体に基づいて決定されることを特徴とする請求項２乃至５のいずれか1項に記載の画像処理システム。
7. 前記仮想視点の位置は、前記被写体を表す３次元形状の位置又は姿勢に基づいて決定されることを特徴とする請求項６に記載の画像処理システム。
8. 前記仮想視点の位置は、前記被写体の位置であり、
   前記仮想視点からの視線方向は、前記被写体の向きに基づいて決定されることを特徴とする請求項６又は７のいずれか1項に記載の画像処理システム。
9. 前記被写体は人物であり、
   前記被写体の向きは、前記被写体の顔の向きであることを特徴とする請求項８に記載の画像処理システム。
10. 前記仮想視点の位置は、前記被写体の後方に所定の距離離れた位置であり、
    前記仮想視点からの視線方向は、前記被写体の後方に所定の距離離れた位置から前記被写体に向かう方向であることを特徴とする請求項６又は７に記載の画像処理システム。
11. 前記仮想視点の位置は、前記被写体の位置を中心とする円の円弧上の位置であり、
    前記仮想視点からの視線方向は、前記被写体の位置を中心とする円の円弧上の位置から前記被写体に向かう方向であることを特徴とする請求項６又は７に記載の画像処理システム。
12. 前記仮想視点画像に対応する仮想視点と異なる視点の画像は、当該仮想視点とは異なる仮想視点と、前記複数の撮像装置で撮像されることにより得られた前記複数の画像とに基づいて生成される仮想視点画像であることを特徴とする請求項１に記載の画像処理システム。
13. 前記仮想視点画像が対応付けられる面には、他の仮想視点画像も対応付けられることを特徴とする請求項１乃至１２のいずれか1項に記載の画像処理システム。
14. 前記仮想視点画像と、当該仮想視点画像に対応する仮想視点と異なる視点の画像とが、前記デジタルコンテンツを構成する一つの面に対応付けられることを特徴とする請求項１乃至１３のいずれか1項に記載の画像処理システム。
15. 前記生成手段は、前記デジタルコンテンツにＮＦＴ（Ｎｏｎ－ｆｕｎｇｉｂｌｅ Ｔｏｋｅｎ）を付与することを特徴とする請求項１乃至１４のいずれか１項に記載の画像処理システム。
16. 複数の撮像装置で撮像されることにより得られた複数の画像と仮想視点とに基づいて生成される仮想視点画像を取得する取得ステップと、
    前記取得ステップにより取得された仮想視点画像と、当該仮想視点画像に対応する仮想視点と異なる視点の画像とを含む立体形状のデジタルコンテンツを生成する生成ステップと、を有し、
    前記生成ステップにおいて、前記仮想視点画像と、当該仮想視点画像に対応する仮想視点と異なる視点の画像とを、前記デジタルコンテンツを構成する異なる面に対応付けることを特徴とする画像処理方法。
17. 請求項１乃至１５のいずれか１項に記載の画像処理システムの各手段をコンピュータにより制御するためのコンピュータプログラム。
    
    

Images