JP2013511176A - マルチビューセッションキャプチャにおけるカメラ同期 - Google Patents

Abstract

本発明は、同期モジュールにより制御される、マルチビューセッションをキャプチャするために通信ネットワークを介して接続されたカメラを同期する解決策を提供する。同期モジュールは、少なくとも１つのカメラから受信したキャプチャパラメータから決定されたマルチビューキャプチャパラメータを提供する。マルチビューキャプチャパラメータは、マルチビューセッションのキャプチャを同期するために、セッションのキャプチャに参加するカメラに提供される。またカメラ装置はカメラの処理能力及びキャプチャパラメータについて、同期モジュールに通知することが提案される。カメラは、セッションのキャプチャに用いられるマルチビューキャプチャパラメータを受信する。
【選択図】図１

Description

本発明は、マルチビューセッションをキャプチャするカメラの同期方法、及び同期する装置に関する。特に、本解決策はシーンに割り当てられた複数の移動可能なカメラを用いた、該シーンのマルチビュー映像のキャプチャに適用される。

従来の２次元（２Ｄ）提示では、映像のようなコンテンツについて、２Ｄディスプレイには１つのビューが生成され、表示されていた。近年の製品は、３次元（３Ｄ）提示に向かっており、コンテンツ生成及び処理の基本技術において変化が必要である。

３次元提示の既知の方法の１つは、一方が右眼用、他方が左眼用の２つのビューが生成される、立体視技術に基づいている。２つのビューは、立体視、あるいはステレオ表示または３Ｄ表示とも呼ばれる方法で提供及び表示される。立体視ディスプレイとしては、例えばシャッタグラス、偏光グラス、ヘットマウントディスプレイ、３Ｄ立体視プロジェクタなど、様々な装置がある。シーンについてわずかに異なるビューが提供されることにより、人間の脳はこれらのビューを３次元提示に融合する。

３Ｄコンテンツ提示の更なる方法として、異なる視点で同一のシーンをキャプチャすることに基づく、マルチビュー（multi-view）がある。３Ｄマルチビュー映像の提供は、キャプチャや、符号化、解析及び可視化についてのキャリブレーションを始めとする、マルチビュー処理の様々な態様を含む。この技術では、シーンの視点のインタラクティブな選択がユーザに提供される。２Ｄディスプレイの場合、１つのビューが選択されて表示される。３Ｄディスプレイでは、右眼及び左眼用の２つのビューが選択されて表示される。例えばマルチビューコンテンツの一例として、以下でマルチビューセッションとも呼ばれるマルチビュー映像がある。また他の例ではマルチビュー画像あるいはマルチビューＴＶであってもよい。

インタラクティブなマルチビュー映像の典型的な応用例に、例えばスタジアム内でのサッカーゲーム等のスポーツイベントがあり、ペナルティやファウルのようなサッカーシーンは異なるアングルで提供され、ユーザはビューを変更することが可能である。

キャプチャされるシーンの周囲に単純にカメラを設置するだけでは不十分である。３ＤＴＶ、３Ｄ映像、及び自由視点映像のような多くの応用例では、マルチビュー映像シーケンスのキャプチャは、同期され、キャリブレーションされている必要がある。カメラのジオメトリのセットアップは、空間及び時間においてカメラを同期する、カメラキャリブレーションとして知られる処理により測定される。マルチビュー映像キャプチャは、シーンのカバレージを部分的なものから完全なものに変更する。このため、カバレージに応じて、シーンの周囲に配置される、同期及びキャリブレーションされたカメラが、対応する数だけ必要となる。

従来のマルチビュー映像のキャプチャ技術は、ハードウェアベースドアプローチに従っている。ハードウェアベースドアプローチの一例が、ジャングァン・ルー、ファ・カイ、及びジン・リー（Jian-Guang Lou, Hua Cai, and Jing Li）著、「ＩＰマルチキャストに基づいたインタラクティブマルチビュー映像配信（Interactive Multiview Video Delivery Based on IP Multicast）」、アドバンセズ・イン・マルチメディア・ボリューム2007（Advances in Multimedia Volume 2007）、2007年に開示されている。文献では、予めキャリブレーションされた複数のビデオカメラが、シーンの周囲に配置されている。全てのカメラはマルチビューシーンのキャプチャに専用化されており、同時動作を制御する複数の制御ＰＣが接続された、複数の同期部が接続されている。このようにすることで、イベントは様々な視点においてキャプチャされる。イベントがキャプチャされると、映像信号は制御ＰＣにおいて圧縮され、制御ＰＣが接続されているネットワークを介してサーバに送信される。従って、このような解決策は通常、カメラの同期及びキャプチャセッションの処理についてのバックボーンアーキテクチャを有する。この結果、アプローチに基づくハードウェア実現は、技術的に複雑となる。

他の例（ジー・ライトス、エックス・ザブリス、ジー・トリアンタフィリディス（G.Litos, X.Zabulis, G.Triantafyllidis）著、「ネットワーク同期に基づく同期画像取得（Synchronous Image Acquisition based on Network Synchronization）」）には、カメラ同期のソフトウェアに基づく解決策が開示されている。文献では、ネットワークで接続された、１以上の取り付けられたカメラを有するコンピュータクライアントの集合が開示されている。コンピュータクロックの同期は、ネットワークタイムプロトコル（ＮＴＰ）を用いて行われる。またこの解決策は、キャプチャされるシーンの周囲への、複雑なバックボーンコンピュータアーキテクチャの導入が要求される。

米国特許出願公開第２００６／０００１７４４号公報は、携帯電話、ＰＤＡ、デジタルカメラのような移動端末の集団を、Ｂｌｕｅｔｏｏｔｈ（登録商標）等のアドホックネットワークで接続することを提案している。このアーキテクチャ上の構成では、アドホックネットワークが形成されると、装置の１つは、リーダー装置（leader device）となることを宣言する。リーダー装置は、画像キャプチャを開始するために、他の装置に対してキャプチャメッセージを送信する。該メッセージを受信すると、他の装置のキャプチャボタンは、基本的には同時に画像をキャプチャするようにトリガされる。その後、装置は統合のために、リーダー装置に対して撮影した画像を送信する。従って、この文献は、画像をキャプチャした際の時間同期の必然性について取り組んでいる。

文献のまとめに基づくと、既存の解決策は、しばしばコストが高く、技術的に複雑であり、そしてあまり柔軟ではない。

従って、マルチビューセッションをキャプチャするカメラの同期が求められる。特に、同期されたマルチビュー映像を提供する、柔軟かつ効率的なアーキテクチャを提供することが求められる。

発明は、独立請求項において具体化される。有利な実施形態は、従属請求項において開示される。

マルチビューセッションをキャプチャするカメラの同期方法の提供が提案される。カメラは通信ネットワークを介して通信する。一実施形態において、通信ネットワークは無線ネットワークであり、カメラは無線接続を介して通信可能であることが提案される。提案される方法は、同期モジュール内で実行されることが好ましい。少なくとも１つのカメラは、少なくとも１つのキャプチャパラメータを提供する、セッションをキャプチャする処理能力を同期モジュールに通知する。カメラは、同期モジュールに直接通知するか、あらゆる適したサーバに通知し、サーバが処理可能情報を同期モジュールに転送してもよい。少なくとも１つのカメラのキャプチャパラメータに基づいて、マルチビューセッションをキャプチャするカメラを同期する同期モジュールは、少なくとも１つのマルチビューキャプチャパラメータの提供の結果として動作される。続く工程で、マルチビューセッションをキャプチャするカメラは、受信したマルチビューキャプチャパラメータを用いてセッションをキャプチャすることが通知される。

また、カメラ装置において実装されることが好ましい方法の提供が提案される。特に、同期モジュールに対して、カメラの少なくとも１つのキャプチャパラメータを有する処理能力情報をカメラが送信することが提案される。次の工程において、カメラは、マルチビューセッションをキャプチャするための少なくとも１つのマルチビューキャプチャパラメータを有する、同期モジュールからの通知メッセージを受信する。受信したマルチビューキャプチャパラメータは、セッションのキャプチャに用いられる。認識によれば、マルチビューキャプチャパラメータの受信後すぐにか、時間的に遅い時点かで、カメラはキャプチャを開始してもよい。

また、本発明は、マルチビューセッションをキャプチャするために、通信ネットワークを介して接続されたカメラを同期するた同期モジュールを開示する。同期モジュールは、カメラの少なくとも１つのキャプチャパラメータの提供とともに、セッションをキャプチャするための少なくとも１つのカメラの処理能力情報を受信する受信機を有する。また、同期プロセッサはマルチビューセッションをキャプチャするカメラを同期する同期手順を実行するために提案される。同期手順は、少なくとも１つのマルチビューキャプチャパラメータを決定するように適合される。これは、個々のカメラのキャプチャパラメータを考慮することによりなされる。また同期モジュールは、マルチビューセッションをキャプチャするカメラに、少なくとも１つのマルチビューキャプチャパラメータを通知する送信機を有する。

受信機、同期プロセッサ、及び送信機は、本発明の実施形態を実行するために必要な情報の交換が可能なように互いに接続される。

また同期モジュールは、該モジュールにおいて実行される方法に関して請求された全ての工程を実行するように適合される。

本発明は、マルチビューセッションをキャプチャする他のカメラ装置と、通信ネットワークを介して接続された、カメラとも呼ばれるカメラ装置を開示する。カメラは、同期モジュールに対して、カメラの少なくとも１つのキャプチャパラメータを有する処理能力情報を送信する送信機を有する。またカメラは、マルチビューセッションをキャプチャする少なくとも１つのマルチビューキャプチャパラメータを有する同期モジュールから、通知メッセージを受信する受信機と、セッションをキャプチャするキャプチャ部とを有する。

送信機、受信機、及びキャプチャ部は、本発明の実施形態を実行するために必要な情報の交換が可能なように互いに接続される。

またカメラ装置は、該装置において実行される方法に関して請求された全ての工程を実行するように適合される。

本発明の利点は、マルチビューセッションをキャプチャする際にカメラが同期される点にある。特に本発明は、映像シーケンスの同期キャプチャが可能であり、これにより２以上のカメラを用いる場合に、種々のカメラにキャプチャされる映像フレームが、同じ絵に対応する。

また、カメラ能力の同期が、マルチビューセッションを生成するために個々のセッションを統合する際に、より効果的な後処理をもたらす点が有利である。

同期モジュールの実施形態を例示したフローチャート カメラ装置の実施形態を例示したフローチャート ネットワークの実施形態を例示したブロック図 実施形態における信号の交換を例示した信号図

以下の記載は説明を目的としたものであって、限定するものではなく、特定のネットワーク環境及び通信規格等の具体的な記述は、本発明の完全な理解を与える為に説明される。本発明が、これらの具体的な記述を元にした他の実施形態において実行されてもよいことは、同一の技術分野に属する当業者には容易に理解されよう。

本発明のコンテキストにおける用語「装置」及び「モジュール」は、通信ネットワークにおいて予め定められた機能を提供する、ハードウェア及びソフトウェアの、適切な、あらゆる組み合わせを言及する。

用語「カメラ」は、他のカメラと同期される、あらゆる種類のカメラ装置を言及する。１つの実施形態では、カメラは無線通信ネットワークを介して接続された携帯カメラである。好ましい実施形態では、無線相互通信能力を有する装置に携帯カメラが接続されることにより、カメラは無線接続を介して通信可能となる。更なる実施形態では、内蔵されたカメラを有する携帯電話、あるいは携帯電話を用いて他のカメラと通信するあらゆる携帯カメラが提供される。

同期モジュールは、あらゆる適切かつ公的な方法で実現されてもよい。スタンドアローンノードか、例えばサーバあるいはカメラに内蔵されうるような、あらゆる付加的なノードの一部であってよい。本発明において用いられる用語「サーバ」は、同期モジュール及びカメラとの通信を実現するネットワークにおける、あらゆる適切なノードである。

本発明は、取り付けられた装置に相互通信能力を与える、あらゆる通信ネットワークにおいて適用可能である。好ましくは通信ネットワークは、ＧＳＭ（登録商標）、ＧＰＲＳ（General Packet Switched Radio）、ＵＭＴＳ（Universal Mobile Telephone System）、ＬＴＥ（Long Term Evolution）、あるいは例えばＥＤＧＥ、ＷＣＤＭＡ、ＣＤＭＡ２０００、あらゆるＩＰに基づくネットワーク、またはＤＶＢネットワーク等のあらゆる３Ｇシステムに従って動作する無線通信ネットワークや、ＷｉＭＡＸネットワークである。他の例では、発明はＷＬＡＮ、Ｗｉｆｉ、あるいはＢｌｕｅｔｏｏｔｈシステム等の短距離無線ネットワーク、あるいは優先ネットワークにおいて実行されてもよい。

マルチビューセッションは、キャプチャされたシーンの視点の選択機能をユーザに与える。従って、シーンをキャプチャする複数のカメラ、及び個々のカメラのキャプチャしたセッションは、マルチビューセッションを生成する方法において統合される。マルチビューセッションは、マルチビュー映像セッション、あるいはマルチビュー画像セッションであってよい。また、マルチビューキャプチャは、３Ｄ提示か２Ｄ提示の目的で用いられてよい。２Ｄディスプレイの場合、１つのビューが選択され、表示される。３Ｄディスプレイの場合、右眼用及び左眼用の２つのビューが選択され、表示される。従って、マルチビューセッションの生成のために、マルチビューシーケンスか、左眼用及び右眼用の２つのシーケンス、あるいは深度マップ（depth map）を有する立体視シーケンスかが提供される。

Ｚバッファや深度バッファとも呼ばれる深度マップは、３Ｄシーンにおけるオブジェクトの深度情報を提供する。Ｚバッファは、描画シーンのいずれの要素が前面となる、即ち見えるか、いずれの要素が背面となる、即ち遮蔽されるかを決定する際に発生する視認問題を解決するために用いられる。描画は３Ｄモデルから画像を生成する処理である。ここで、３Ｄモデルは、厳密に定義された言語における３次元オブジェクトの記述、あるいは例えばジオメトリ、視点、テクスチャ、ライティング、及びシェーディング情報等を含むデータ構造である。換言すれば、３Ｄ画像を生成する際、グラフィックハードウェアカードは、Ｚ軸を考慮する際に、いずれのオブジェクトが前面に位置し、背面に位置するかを記述する深度情報を、深度マップに格納する。本発明を用いる場合、画像の同期キャプチャは、キャプチャされた画像の深度評価が可能になる点で有利である。

以下では、本発明の一実施形態が、本発明に係るステップを有するフローチャートを示す図１を参照して教示される。

図１に示されたステップは、好ましくは同期モジュールにおいて実行される。最初のステップ１０１において、同期モジュールはイベントの受信を待機する待機状態にある。同期開始のイベントは、マルチビューセッションのキャプチャを要求する、複数のカメラのうちの１つのカメラ、あるいはサーバからの信号であってよい。

次のステップ１０２において、処理能力情報（disposability information）が受信される。発明によれば、このことは、あらゆる好適な方法で、少なくとも１つのカメラの処理能力情報が発行されることにより実現される。

一実施形態において、いずれのカメラがセッションのキャプチャを処理可能であるかをシステムに通知するために、複数のカメラは各々をシステムに登録する。登録は、サーバに設けられた同期モジュール、同期モジュールに対して適切な処理能力情報を提供するサーバ、更なるカメラ、あるいは登録を受信するように設けられたあらゆるノードにおいて、直接実行されてよい。登録は、あらゆる適切かつ好ましい方法で実行されてよい。例えば、複数のカメラは、予め、あるいはセッションのキャプチャ中に登録を行ってもよい。登録手順は、例えばユーザがウェブに基づくツールにおいて必要な情報を入力するような直接的な方法で、あるいは通信ネットワークを介して登録メッセージを送信することによって実行されてよい。

好ましくは複数のカメラは、シーンをキャプチャする能力について通知してもよい。一実施形態において、複数のカメラはマルチビューセッションのキャプチャに参加するために、能力について、通信ネットワークを介して通知メッセージ（announcement message）を予め受信することにより、通知されてもよい。このことの利点は、複数のカメラが動的に招待されうることである。通知メッセージへの応答として複数のカメラは、セッションをキャプチャするための各々の処理能力について通知する適切なメッセージを送信する。通知メッセージ及び適切な登録メッセージの実現は、基本的な技術による。

例えばＧＳＭ（登録商標）に基づく技術では、サーバは、キャプチャを行うイベントの範囲に配置された存在する全ての携帯電話にＳＭＳメッセージを送信してもよい。ＳＭＳメッセージは、例えばＨＴＴＰ ＵＲＬの形態で、キャプチャセッションへの参照を含んでもよい。ＨＴＴＰ ＵＲＬを受信すると、キャプチャセッションに参加予定の携帯電話は、受信した参照を用いて参加を知らせる。ＳＭＳメッセージは、内蔵カメラを有する携帯電話により受信された際に、携帯電話においてキャプチャアプリケーションの開始をトリガするようにフォーマットされてもよい。

更なる例では、ＤＶＢや３ＧＰＰ ＭＢＭＳ等の配信に基づく技術を用いる場合に、特定の領域にあるカメラに対して、該領域においてキャプチャを行うイベントについての通知を行う、適切な配信メッセージを送信する。この場合もまた、配信メッセージは、キャプチャセッションへの参加を予定する場合に用いられてよい、キャプチャセッションへの参照を含んでもよい。

カメラの処理能力についての通知手順は、同期モジュールへのカメラのキャプチャパラメータの提供の結果として行われる。さらに同期モジュールは、マルチビュー画像をキャプチャを行う複数のカメラを同期する同期手順の実行を目的とする。これは、図１においてステップ１０３で表される。

キャプチャパラメータは、キャプチャセッションで用いられるあらゆるパラメータであってよい。一実施形態では、キャプチャパラメータはカメラの位置及び方向である。マルチビューセッションでは特に、複数のカメラの位置及び方向に関する空間における同期は、有利な特徴である。シーンの周囲に配置されたカメラの適切な空間分布は、例えばスタジアムでは、完全なシーンをキャプチャするか、シーンの一部のみをキャプチャするかが決定した際に考慮される。カメラの位置及び方向の決定は、例えばＧＰＳシステム及び内蔵コンパス等を用いて、カメラの位置座標を決定することにより行われてもよい。一般に、例えば携帯電話に内蔵されたカメラは、移動ネットワークに接続される。従って、携帯電話が接続されているネットワークセルの情報は、キャプチャパラメータの一部であってもよい。またカメラの方向情報は、カメラに加速度センサが接続されている場合に精度向上されるものであってもよい。この場合、地表に対する方向が得られうる。本実施形態は、より良好かつ正確なカメラ分布の結果として決定されたカメラの位置が得られることを、主要かつ自動的に保証するように、カメラ位置の取得が実現されるという利点を有する。

更なる実施形態では、カメラのキャプチャパラメータは、例えばセッションをキャプチャするフレームレート等の、カメラの技術的能力であってよい。一般的に、例えば映像フレームの時間間隔が１００ｍｓである１０フレーム毎秒等の、特定のフレームレートでカメラはキャプチャを行う。本発明は、少なくとも時間において同期されたキャプチャを実現することで、２以上のカメラが用いられる場合に、種々のカメラによりキャプチャされる映像フレームが同一の時間あるいは略同一の時間に対応する。フレームレートを同期するために、種々のカメラのフレームレートを比較し、最良のフレームレートを選択する。一例では、最も低速なフレームレートであってよい。

また、参加するカメラが、共通のマルチビューパラメータの提供により受け入れる、キャプチャパラメータの例は、映像コーデック、格納場所、キャプチャセッションの期間、アップロード及び／またはアップストリーム能力であってよい。

マルチビューセッションを生成する間、より効果的な後処理の結果として、カメラの能力の同期がなされる。効率化を達成するために、カメラのフレームレート及び空間解像度は同期されることが好ましい。

要約すると同期モジュールは、参加するカメラの個々のキャプチャパラメータ認識に基づいて、マルチビューキャプチャパラメータを生成する。同期手順の実行により得られるマルチビューパラメータは、例えば位置のように１つのパラメータか、好ましくは例えばフレームレート等の更なる同期したマルチビューパラメータが提供されてもよい。マルチビューキャプチャパラメータは、マルチビューセッションの種類に依存する。上述したように、マルチビューセッションは映像及び静止画像であってよい。従って、複数のカメラから得られた静止画像を３Ｄ提示可能に同期する場合、フレームレートの同期は時代遅れであるが、位置及び方向に加えてキャプチャ時間を同期することは、依然として必要である。

さらに、同一の時間においてカメラがキャプチャを開始することにより同一のシーンが撮影されることを保証するために、開始時間を同期することは好都合である。このことは、ネットワークタイムプロトコル（ＮＴＰ）を用いることで実現されうる。ＮＴＰは通信ネットワーク上のコンピュータのクロックを同期するように設計され、ＲＦＣ１３０５において標準化されている。ＮＴＰは、以下のように本発明の観点において開示されうる。カメラ及び同期モジュールの同期は、いくつかのパケット交換で成立する。ここで、各交換は、要求と応答の組み合わせである。要求を送出する際、同期モジュールは送信するデータパケットに自信の時間（開始タイムスタンプ）を格納する。カメラはこのようなデータパケットを受信すると、該パケットに自信の時間（受信タイムスタンプ）を格納し、パケットへの送信タイムスタンプを入力した後、同期モジュールに返す。応答パケットを受信すると、同期モジュールは、パケットの移動時間を評価するために自信の受信時間をログにとる。対照的な遅延が想定される場合、移動時間（遅延）は、遅延の半分から、タイムスタンプのログを用いて決定される処理時間を減算することにより推定される。その結果、同期手順は開始時間をマルチビューパラメータとして供給する。

更なる実施形態において、サーバノードは更なる情報を同期モジュールに提供する。サーバにより提供される更なる情報は、同期手順の間に用いられうる。例えばマルチビューパラメータの決定を行う間、ユーザの友人関係（friendship relation）が考慮されてもよい。これは、ネットワークにおけるあらゆる種類の登録を行う間、適切な関係情報をカメラが供給するためである。一実施形態では、予め定義されてシステムに格納されているフレンドリング（friend ring）に属するカメラは、シーンをキャプチャするために、登録手順の期間に招待される。従って、マルチビューパラメータは、セッションに参加するユーザのリストであってもよい。

図１に戻り、ステップ１０４で、マルチビューセッションをキャプチャするために選択されたカメラは通知を受け、マルチビューキャプチャパラメータが供給される。通知ステップは、少なくとも１つのマルチビューキャプチャパラメータをカメラへの通知により、セッションの開始時に実行されてよい。更なる実施形態では、セッションのキャプチャ期間に通知ステップが実行される。例えば、同期モジュールは共通のキャプチャシーンのカバレージを改良するために、位置を変更するようにカメラに指示してもよい。この場合同期モジュールは、１人あるいは数人のユーザに対して、どのように位置あるいは方向を調整すべきであるかを通知する指示を送信する。各ユーザはこのとき、指示に従うか、指示を無視するか、指示を拒絶するかを決定できる。

一実施形態では、シーンをキャプチャするための処理能力を通知する全てのカメラは、同期モジュールにより選択される。このことは、カメラから受信した登録メッセージを収集し、セッションをキャプチャするように登録されたカメラに通知することにより実現されてよい。

他の実施形態では、マルチビューセッションのキャプチャに適している、選択されたカメラのみに通知がなされる。選択ステップは、例えばカメラの能力を比較することにより実現されてよく、このとき同様のキャプチャ能力を有するカメラが選択される。また上述したように、友人グループに登録されたカメラが選択されてもよい。他の例では、ネットワークにおける送信帯域幅が考慮されてもよく、例えば帯域幅が制限される場合、限定数のカメラが選択される。他の実施形態では、カメラの空間的位置が考慮されてもよく、パノラマビューである場合はシーンの周囲に配置された複数のカメラが選択され、立体視ビューの場合は適切に配置された２つのカメラのみが選択される。

またキャプチャセッションはセッション中に新たなエントリーを許容せず、特定数の種々のカメラで開始することが提案される。他の実施例ではセッション中の更なるカメラの参加を含む。追加のカメラは、登録されるか、自発的に招待されてよく、既に登録されたカメラを基準に決定されたマルチビューキャプチャパラメータが追加のカメラに提供される。

図１の次のステップ１０５で、キャプチャされたセッションはサーバに提供される。本ステップはキャプチャ中に実行されてよく、例えばキャプチャされたデータは、サーバにアップストリームされる。あるいは、キャプチャされたセッションは、ローカルで映像に記録された後、アップロードされてもよい。好ましくは、後者では、補助情報とともにマルチビューセッションの簡易的な後処理が実行される。

次のステップ１０６で、個々のセッションが統合されたマルチビューセッションが提供される。これは、利用可能かつ適切な方法で実行されてよい。一実施形態では、キャプチャされたセッションを受信した際に、サーバがキャプチャされたデータを登録されたカメラに分配し、複数のカメラが個々に後処理を実行する。このようにする利点は、全てのカメラが全ての必要なデータを有しているため、シーンの個々のマルチビューが、個々のユーザに提供されうることである。

他の実施例は、サーバにおける主要後処理と既に処理されたマルチビューセッションの遅延分配との組み合わせを予測する。更なる実施形態では、サーバがキャプチャを同期し、接続されたカメラが、各々がキャプチャしたシーンをアップロードするのではなく、アップロードされる、マージした３Ｄモデルを生成することが提案される。

以下では、本発明の実施形態は、本発明に係る工程を有するフローチャートを示す図２を参照して表される。

図２に示された工程は、ユーザにより操作されるカメラにおいて実行されることが好ましい。第１のステップ２０１で、カメラは少なくとも１つのキャプチャパラメータを含む処理能力情報を同期モジュールに提供する。

上述したようにカメラの処理能力についての情報の提供は、適切かつ好ましい方法で実行されてよい。一実施形態では、カメラがシステムに自身を登録することが提案される。例えばカメラのユーザは、サーバにおいて必要な情報の順位を教示してもよい。さらに、カメラは、予め登録されるか、セッションをキャプチャする際に登録されるかしてもよい。これは、サーバへの接続か、通信ネットワークを介した登録メッセージの受信かによって実行されうる。

処理能力メッセージは、カメラの位置、即ち、例えばカメラ固有のＧＰＳモジュール、固有のコンパスや加速度センサ、あるいはカメラが接続している移動ネットワークにより提供されるネットワークセル情報から得られる座標及び方向のような、カメラのキャプチャパラメータを含んでもよい。さらに上述したように、カメラの種類、焦点距離等のカメラレンズパラメータ、サポートするフレームレート、空間解像度、映像コーデック、格納場所、アップロード及び／またはアップストリーム能力等の、カメラの技術的能力が提供されてよい。

次のステップ２０２で、カメラは同期モジュールにおいて決定されたマルチビューパラメータの受信を待つ。従って、選択されたカメラは、同期時間を通知され、好適には上述したＮＴＰを用いて決定され、さらにキャプチャセッションの正確な開始時間、キャプチャセッションの継続期間、使用フレームレートが、マルチビューセッションの種類に応じて通知されてよい。その結果、ステップ２０３でカメラは、受信したマルチビューパラメータを用いてセッションのキャプチャを開始する。

次のステップ２０４で、カメラはマルチビューセッションを生成するために、サーバにキャプチャしたセッションを提供する。マルチビューセッションを実現するためのセッションの処理は、上述したように実行される。

また、カメラはマルチビューキャプチャパラメータを更新するために、カメラのキャプチャパラメータに更新を提供するように適合されることが提案される。これは、キャプチャの開始前、あるいはシーンのキャプチャ中に生じうる。例えば、カメラの位置は完全な画像を提供するためにキャプチャ中に変更し得、更新は同期モジュールに送信される。

図３は、同期モジュール３０１、マルチビューシーン３０３をキャプチャする複数のカメラ３０２を有する、通信ネットワーク３００を図示している。１つのカメラ３０２には、発明の一実施形態に係るカメラの構成要素が示されている。

カメラ及び同期モジュールは、同一の通信ネットワーク内に配置されてよい。他の実施形態では、カメラは例えば短範囲ネットワーク等の第１の通信ネットワークに接続され、同期モジュールとの通信は、例えばＧＳＭ（登録商標）、ＵＭＴＳ、あるいはＬＴＥのような広範囲ネットワーク等の第２の通信ネットワーク上で実行される。

ず３から明らかなように、同期モジュール３０１は、カメラからの処理能力メッセージを受信するための受信機３０を有する。好適な実施形態では、処理能力メッセージはセッションをキャプチャするために少なくとも１つのカメラを登録する、該カメラの少なくともキャプチャパラメータを有する登録メッセージである。受信機はカメラから直接登録メッセージを受信するか、例えばサーバ等の更なるノードから登録メッセージを取得するかであってよい。最終的に、マルチビューセッションをキャプチャするカメラの配置情報、及び該カメラのキャプチャパラメータが利用可能となる。

また、同期モジュールはマルチビューセッションをキャプチャするカメラを同期するための同期手順を実行する同期プロセッサ３１を有する。同期手順は、少なくとも１つのカメラのキャプチャパラメータを考慮することで、少なくとも１つのマルチビューキャプチャパラメータを決定するように適合される。さらに、送信機３２は、該少なくとも１つのマルチビューキャプチャパラメータを、マルチビューセッションをキャプチャするカメラに通知するように適合される。

同期モジュール３０１は、あらゆる適切な方法でカメラ３０２と通信する。カメラ３０２は、処理能力メッセージを送信する送信機３３を有する。また、カメラは同期モジュール３０１からの通知メッセージを受信する受信機３４を有する。通知メッセージは、マルチビューセッションのキャプチャのために、少なくとも１つのマルチビューキャプチャパラメータが提供されることを予見する。カメラ３０２は、同期されたマルチビューセッションを提供するために、受信した、セッションをキャプチャするための少なくとも１つのマルチビューキャプチャパラメータを用いるように適合される。セッションのキャプチャは、セッションをキャプチャするキャプチャ部３５を用いて実行される。

以下では、本発明の実施形態は、無線ネットワークにおける本発明の改良実施形態を示す図４を参照して示される。図４には、シーンをキャプチャ可能な複数の携帯カメラ４０が示される。カメラ４０は、同期モジュール４１と通信する能力を有する。

第１のメッセージ４０１を用いて、同期モジュールはキャプチャするセッションを携帯カメラに通知する通知メッセージを送信する。携帯カメラは、例えば特定の空間領域に配置されてよい。通知メッセージは、例えばＨＴＴＰ ＵＲＬのかたちで、キャプチャセッションへの参照を含むＳＭＳメッセージであってもよい。次のステップ４０２で、携帯カメラ４０は同期モジュール４１に登録メッセージを送信する。該メッセージは、例えばＨＴＴＰ ＵＲＬ、ＨＴＴＰヘッダ、あるいはボディに符号化した登録メッセージを含む、ＨＴＴＰ ＧＥＴ要求であってよい。

登録メッセージは、カメラの位置、さらにはカメラの種類、カメラレンズパラメータ、サポートするフレームレート、空間解像度、映像コーデック、格納場所、アップロード及び／またはアップストリーム能力等のカメラの能力を含んでいてよい。

ステップ４０３で同期モジュールは、種々のカメラから登録メッセージを受信すると、同期手順の実行を開始する。本実施形態では同期モジュールは、既に開示した共通セッションについて、同様の能力を有するカメラを選択する、登録メッセージのコンテンツを含む。同期手順の結果、選択されたカメラのリスト、及び決定したマルチビューキャプチャパラメータが得られる。

図４によれば、同期手順のフレームにおいて、時間同期がステップ４０４で処理される。これは、ＲＦＣ１３０５に定義されるようなＮＴＰプロトコルを用いて実行されてよい。ここでカメラは、ＲＦＣ１３０５に係るクロック同期手順（clock synchronization procedure）を開始する時間同期要求をサーバに送信してもよい。

次のステップ４０５で、携帯カメラは、本例ではキャプチャセッションの正確な開始時間及び使用するフレームレートである、マルチビューキャプチャパラメータを通知される。例えば、ステップ４０２での登録メッセージが、ＨＴＴＰを介して送信されてよい。この場合、サーバは、現在のＨＴＴＰ接続を介して、マルチビューキャプチャパラメータを送信してもよい。他の例では、マルチビューキャプチャパラメータは、ＳＭＳにより、あるいはＤＶＢや３ＧＰＰ ＭＢＭＳ等の配信ネットワークを介して送信されてもよい。

ステップ４０６において通知メッセージを受信すると、携帯カメラは起動され、通知された開始時間でキャプチャを開始する。これは、携帯カメラに含まれるキャプチャモジュールが起動され、キャプチャアプリケーションが実行されうることを意味する。

ステップ４０７で、キャプチャされたセッションは、セッション中にサーバに対してアップストリームされるか、ローカルに映像を記録した後にアップロードされることで、サーバに提供される。アップストリームは、カメラ及びサーバ間の現在のＨＴＴＰ接続、例えばステップ４０２の登録メッセージの送信用に確立されたＨＴＴＰ接続を介して実現されてよい。他の例では、クライアントはこのために、専用のＨＴＴＰ接続あるいは他の接続を開始してもよい。アップストリームを行う場合、カメラはキャプチャされた情報、例えば映像フレームを、Ｈ．２６４／ＡＶＣ等の映像符号化規格に従って符号化する。符号化されたフレームは、符号化後に直ちに送信されてよい。ローカルでの記録後にアップロードを行う場合、カメラは映像フレームを符号化し、カメラに接続されたメモリに符号化された情報を格納する。キャプチャセッションが完了すると、符号化されて格納されたキャプチャ情報は、例えばＨＴＴＰアップロード接続を用いてサーバにアップロードされてよい。

キャプチャされたデータの処理は、あらゆる適切な方法で実行されてよい。いくつかの実施形態について上述した。

本発明は好ましい実施形態に関連して説明されたが、この記述は例示のみの目的であることは理解されよう。

Claims (18)

1. 通信ネットワークを介して接続され、同期モジュールによって制御される、マルチビューセッションをキャプチャする複数のカメラの同期方法であって、
   セッションをキャプチャする少なくとも１つのカメラの処理能力情報であって、該カメラの少なくとも１つのキャプチャパラメータを供給する情報を受信する工程と、
   前記マルチビューセッションをキャプチャする前記複数のカメラを同期する同期手順を実行する工程であって、該同期手順が、前記少なくとも１つのカメラのキャプチャパラメータを考慮した、少なくとも１つのマルチビューキャプチャパラメータを決定する工程を含む工程と、
   前記少なくとも１つのマルチビューキャプチャパラメータについて、前記マルチビューセッションをキャプチャするカメラに通知する工程と、
   を有することを特徴とする方法。
2. 前記マルチビューセッションのキャプチャを開始するトリガメッセージを受信する工程をさらに有することを特徴とする請求項１に記載の方法。
3. 前記少なくとも１つのカメラの処理能力情報の受信は、前記少なくとも１つのカメラを登録する登録手順の間に、前記カメラの少なくとも１つのキャプチャパラメータを含む、セッションのキャプチャについての登録メッセージを受信する工程を有することを特徴とする請求項１に記載の方法。
4. 登録手順は、前記複数のカメラに対して予め通知メッセージを送信する工程を有することを特徴とする請求項１または２に記載の方法。
5. 登録手順は、前記セッションをキャプチャする前記複数のカメラから、登録メッセージを受信する工程を有することを特徴とする請求項１乃至３のいずれか１項に記載の方法。
6. 前記カメラのキャプチャパラメータは、前記カメラの位置及び方向を含み、
   該位置及び方向に関する前記マルチビューキャプチャパラメータは、前記同期手順の間に決定される
   ことを特徴とする請求項１乃至４のいずれか１項に記載の方法。
7. 前記カメラのキャプチャパラメータは、前記カメラの技術的能力をさらに含み、
   前記技術的能力に関する前記マルチビューキャプチャパラメータは、前記同期手順の間に決定される
   ことを特徴とする請求項１乃至６のいずれか１項に記載の方法。
8. 前記同期手順は、時間内のキャプチャを同期する工程を有し、
   種々のカメラによりキャプチャされるシーンは、同一の時間に対応する
   ことを特徴とする請求項１乃至７のいずれか１項に記載の方法。
9. 前記同期手順は、同期されたセッションの開始時間の決定を含むことを特徴とする請求項１乃至８のいずれか１項に記載の方法。
10. 前記マルチビューキャプチャパラメータを更新する追加情報が、前記同期モジュールと接続されたサーバから提供されることを特徴とする請求項１乃至９のいずれか１項に記載の方法。
11. 前記少なくとも１つのキャプチャパラメータに対する更新する追加情報は、前記カメラから提供されることを特徴とする請求項１乃至１０のいずれか１項に記載の方法。
12. 前記同期する工程は、前記マルチビューセッションのキャプチャに適したカメラを選択する工程を有することを特徴とする請求項１乃至１１のいずれか１項に記載の方法。
13. 前記通知する工程は、前記カメラのキャプチャパラメータの適合について、前記複数のカメラのうちの少なくとも１つを指示する工程を有することを特徴とする請求項１乃至１２のいずれか１項に記載の方法。
14. 通信ネットワークを介して接続された、マルチビューセッションをキャプチャするカメラの同期方法であって、
    同期モジュールに対して、前記カメラの少なくとも１つのキャプチャパラメータを有する処理能力情報を提供する工程と、
    前記マルチビューセッションをキャプチャするための少なくとも１つのマルチビューキャプチャパラメータを有する、前記同期モジュールにより生成される通知メッセージを受信する工程と、
    前記マルチビューキャプチャパラメータを用いてセッションをキャプチャする工程と、
    を有することを特徴とする方法。
15. 前記カメラは、同期されたマルチビューセッションを生成するサーバに、キャプチャしたセッションを提供することを特徴とする請求項１４に記載の方法。
16. 前記カメラは、同期モジュールを有し、請求項１乃至１３のいずれか１項に記載の方法の工程を実行することを特徴とする請求項１４に記載の方法。
17. 通信ネットワークを介して接続され、同期モジュールにより制御され、マルチビューセッションをキャプチャする複数のカメラを同期する同期モジュールであって、
    セッションをキャプチャする少なくとも１つのカメラの処理能力情報であって、前記カメラの少なくとも１つのキャプチャパラメータを提供する情報を受信する受信機と、
    前記マルチビューセッションをキャプチャする前記複数のカメラを同期する同期手順を実行する同期制御器であって、前記同期手順が、前記少なくとも１つのカメラのキャプチャパラメータを考慮して、少なくとも１つのマルチビューキャプチャパラメータを決定する工程を含む同期制御器と、
    前記少なくとも１つのマルチビューキャプチャパラメータについて、前記マルチビューセッションをキャプチャするカメラに通知する送信機と、
    を有することを特徴とする同期モジュール。
18. 通信ネットワークを介して接続され、マルチビューセッションをキャプチャするカメラ装置であって、
    カメラの少なくとも１つのキャプチャパラメータを有する処理能力情報を、同期モジュールに送信する送信機と、
    前記マルチビューセッションをキャプチャするための、少なくとも１つのマルチビューキャプチャパラメータを有する通知メッセージを、前記同期モジュールから受信する受信機と、
    前記マルチビューキャプチャパラメータを用いてセッションをキャプチャするキャプチャ手段と、
    を有することを特徴とするカメラ装置。

Images