WO2018135210A1 - 映像配信システム、ユーザ端末装置および映像配信方法 - Google Patents

Abstract

多様化したユーザの要望に合致するような種々の映像を効率よく生成し、ユーザが自分の要望に合致する映像を観賞できるようにする。イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末（２）に配信する映像配信システムであり、イベント会場の所定位置に設置され、イベント会場を所定方向から撮影するカメラ（１）と、カメラから出力される撮影映像を蓄積する撮影映像用ストレージ（３）と、被写体に対する複数の視点にそれぞれ対応する領域を撮影映像から切り出して、視点が異なる複数の配信映像を生成する映像処理コンピュータ（４）と、ユーザが選択した視点に関する情報を含む配信要求を、ユーザ端末装置から受信すると、配信要求に対応した配信映像をユーザ端末装置に配信する映像配信サーバ（６）と、を備えたものとする。

Description

映像配信システム、ユーザ端末装置および映像配信方法

　本開示は、イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末装置に配信する映像配信システムおよび映像配信方法、ならびに映像配信装置からネットワークを介して配信される配信映像を受信して、その配信映像を表示するユーザ端末装置に関するものである。

　近年、コンサートなどの各種のイベントが開催される会場をカメラで撮影した映像を、映像配信サーバからユーザ端末に配信する映像配信サービスが広く普及している。このような映像配信サービスでは、お気に入りの人物が映像の端に映ったり、別の人物の後に隠れたりして、お気に入りの人物が見にくくなる場合があるため、ユーザが自分の要望に合致する映像を観賞したいという要望がある。

　このような映像配信サービスにおけるユーザの要望に対して、従来、異なる方向から同時に人物を撮影できるように複数のカメラを設置して、ユーザがカメラを選択することで、撮影角度が異なる映像を観賞できるようにした技術が知られている（特許文献１参照）。また、カメラを操作する権限を特定のユーザに与えて、そのユーザの操作により、カメラの姿勢や視野角などの撮影状態を遠隔制御する技術が知られている（特許文献２参照）。

特開２０１１－１０３５２２号公報 特開２００３－３３９０３８号公報

　さて、特許文献１に開示された技術では、ユーザが希望する方向から撮影した映像を視聴できるが、例えば、お気に入りの人物の顔など、映像内の注目する部分を大写しで見たいなどの要望があっても、そのような要望に合致する映像を表示させることができないという問題があった。また、特許文献２に開示された技術では、カメラを操作する権限を有する特定のユーザは、自分の要望に合致する映像を観賞できるが、全てのユーザが自分の要望に合致する映像を観賞できないという問題があった。

　そこで、本開示は、多様化したユーザの要望に合致するような種々の映像を効率よく生成し、ユーザが自分の要望に合致する映像を観賞できるようにした映像配信システム、ユーザ端末装置および映像配信方法を提供することを主な目的とする。

　本開示の映像配信システムは、イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末装置に配信する映像配信システムであって、イベント会場の所定位置に設置され、イベント会場を所定方向から撮影するカメラと、カメラから出力される撮影映像を蓄積する映像蓄積部と、被写体に対する複数の視点にそれぞれ対応する領域を撮影映像から切り出して、視点が異なる複数の配信映像を生成する映像処理部と、ユーザが選択した視点に関する情報を含む配信要求を、ユーザ端末装置から受信すると、配信要求に対応した配信映像をユーザ端末装置に配信する映像配信部と、を備えた構成とする。

　また、本開示のユーザ端末装置は、映像配信装置からネットワークを介して配信される配信映像を受信して、その配信映像を表示するユーザ端末装置であって、ユーザが、視聴を希望するイベント、および被写体に対する視点を選択する操作を行う操作入力部と、ユーザが選択したイベントおよび視点に関する情報を含む配信要求を映像配信装置に送信する送信部と、映像配信装置から配信される配信要求に対応した配信映像を受信する受信部と、受信した配信映像の再生を制御して配信映像を映像表示部に表示するプロセッサと、を備えた構成とする。

　また、本開示の映像配信方法は、イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末装置に配信する処理を情報処理装置に行わせる映像配信方法であって、被写体に対する複数の視点にそれぞれ対応する領域を撮影映像から切り出して、視点が異なる複数の配信映像を生成し、ユーザが選択した視点に関する情報を含む配信要求を、ユーザ端末装置から受信すると、配信要求に対応した配信映像をユーザ端末装置に配信する構成とする。

　本開示によれば、複数の視点にそれぞれ対応する領域を撮影映像から切り出して、視点が異なる複数の配信映像を生成することで、多様化したユーザの要望に合致するような種々の映像を効率よく生成することができる。そして、ユーザが視点を選択することで、ユーザが自分の要望に合致する映像を観賞することができる。

図１は、第１実施形態に係る映像配信システムの全体構成図である。 図２は、カメラ１の配置状況を示す説明図である。 図３は、映像処理コンピュータ４および映像配信サーバ６の概略構成を示すブロック図である。 図４Ａは、映像処理コンピュータ４で行われる人物枠の取得処理の概要を示す説明図である。 図４Ｂは、映像処理コンピュータ４で行われる切り出し領域の設定処理の概要を示す説明図である。 図４Ｃは、映像処理コンピュータ４で行われる切り出し画像の取得処理の概要を示す説明図である。 図５は、ユーザ端末２の概略構成を示すブロック図である。 図６は、撮影映像用ストレージ３での撮影映像の蓄積状況を示す説明図である。 図７は、配信映像用ストレージ５での配信映像の蓄積状況を示す説明図である。 図８は、ユーザ端末２に表示される画面の遷移状況を示す説明図である。 図９Ａは、ユーザ端末２に表示されるログイン画面を示す説明図である。 図９Ｂは、ユーザ端末２に表示されるイベント選択画面を示す説明図である。 図９Ｃは、ユーザ端末２に表示される人物選択画面を示す説明図である。 図９Ｄは、ユーザ端末２に表示される再生画面を示す説明図である。 図１０Ａは、ユーザ端末２に表示されるズーム設定画面を示す説明図である。 図１０Ｂは、ユーザ端末２に表示される撮影角度設定画面を示す説明図である。 図１０Ｃは、ユーザ端末２に表示される注目部位設定画面を示す説明図である。 図１０Ｄは、ユーザ端末２に表示される対象人物設定画面を示す説明図である。 図１１は、映像配信サーバ６およびユーザ端末２の動作手順を示すシーケンス図である。 図１２は、第２実施形態に係る映像配信システムを示すブロック図である。

　前記課題を解決するためになされた第１の発明は、イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末装置に配信する映像配信システムであって、イベント会場の所定位置に設置され、イベント会場を所定方向から撮影するカメラと、カメラから出力される撮影映像を蓄積する映像蓄積部と、被写体に対する複数の視点にそれぞれ対応する領域を撮影映像から切り出して、視点が異なる複数の配信映像を生成する映像処理部と、ユーザが選択した視点に関する情報を含む配信要求を、ユーザ端末装置から受信すると、配信要求に対応した配信映像をユーザ端末装置に配信する映像配信部と、を備えた構成とする。

　これによると、複数の視点にそれぞれ対応する領域を撮影映像から切り出して、視点が異なる複数の配信映像を生成することで、多様化したユーザの要望に合致するような種々の映像を効率よく生成することができる。そして、ユーザが視点を選択することで、ユーザが自分の要望に合致する映像を観賞することができる。

　また、第２の発明は、映像処理部は、撮影映像から人物を検出して、その人物検出の結果に基づいて、視点としての対象人物が異なる複数の配信映像を生成する構成とする。

　これによると、視点としての対象人物をユーザが選択することで、ユーザが注目する人物が主に映る映像を観賞することができる。

　また、第３の発明は、カメラは、イベント会場の異なる位置に複数設置され、映像処理部は、複数のカメラごとの撮影映像から、視点としての撮影角度が異なる複数の配信映像を生成する構成とする。

　これによると、視点としての撮影角度をユーザが選択することで、種々の角度から撮影した映像をユーザが観賞することができる。

　また、第４の発明は、映像処理部は、撮影映像から切り出す領域の大きさを変更することで、見かけ上のズーム倍率が異なる複数の配信映像を生成する構成とする。

　これによると、ズーム倍率が異なる映像をユーザが観賞することができる。

　また、第５の発明は、映像処理部は、視点としての被写体の注目部位が異なる複数の配信映像を生成する構成とする。

　これによると、視点としての被写体の注目部位をユーザが選択することで、注目部位が主に映る映像をユーザが観賞することができる。

　また、第６の発明は、注目部位は、人物の全身、顔、手および足、ならびに人物が演奏する楽器の少なくともいずれかである構成とする。

　これによると、人物の全身、顔、手および足、ならびに人物が演奏する楽器が主に映る映像をユーザが観賞することができる。

　また、第７の発明は、映像配信部は、配信を開始する際にユーザ端末装置から送信される第１の配信要求に応じて配信映像を配信中に、ユーザが選択した視点に関する情報を含む第２の配信要求を受信すると、その第２の配信要求に対応した配信映像の配信準備を開始し、その配信準備が完了すると、第２の配信要求に対応した配信映像の配信を開始する構成とする。

　これによると、ユーザ端末装置でユーザが映像を観賞している最中に、視点が異なる別の映像に切り替えることができる。

　また、第８の発明は、映像配信装置からネットワークを介して配信される配信映像を受信して、その配信映像を表示するユーザ端末装置であって、ユーザが、視聴を希望するイベント、および被写体に対する視点を選択する操作を行う操作入力部と、ユーザが選択したイベントおよび視点に関する情報を含む配信要求を映像配信装置に送信する送信部と、映像配信装置から配信される配信要求に対応した配信映像を受信する受信部と、受信した配信映像の再生を制御して配信映像を映像表示部に表示するプロセッサと、を備えた構成とする。

　これによると、第１の発明と同様に、多様化したユーザの要望に合致するような種々の映像を効率よく生成し、ユーザが自分の要望に合致する映像を観賞できるようになる。

　また、第９の発明は、イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末装置に配信する処理を情報処理装置に行わせる映像配信方法であって、被写体に対する複数の視点にそれぞれ対応する領域を撮影映像から切り出して、視点が異なる複数の配信映像を生成し、ユーザが選択した視点に関する情報を含む配信要求を、ユーザ端末装置から受信すると、配信要求に対応した配信映像をユーザ端末装置に配信する構成とする。

　これによると、第１の発明と同様に、多様化したユーザの要望に合致するような種々の映像を効率よく生成し、ユーザが自分の要望に合致する映像を観賞できるようになる。

　以下、実施の形態を、図面を参照しながら説明する。

　（第１実施形態）
　図１は、第１実施形態に係る映像配信システムの全体構成図である。

　この映像配信システムは、コンサート会場（イベント会場）をカメラ１で撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末２（ユーザ端末装置）に配信するものであり、カメラ１と、撮影映像用ストレージ３（映像蓄積部）と、映像処理コンピュータ４（映像処理部）と、配信映像用ストレージ５と、映像配信サーバ６（映像配信部）と、ユーザ端末２と、を備えている。

　カメラ１は、コンサート会場に複数設置されている。各カメラ１は、撮影映像用ストレージ３に接続されている。なお、撮影映像は、ネットワーク上の撮影映像用ストレージ３に保存するほか、光ディスクやポータブルＨＤＤなどを用いて、撮影会場でローカルに保存するようにしても良い。

　ユーザ端末２は、タブレット端末やスマートフォンやＰＣなどであり、ネットワークを介して映像配信サーバ６と接続される。

　撮影映像用ストレージ３は、複数のカメラ１から出力される撮影映像を蓄積する。

　映像処理コンピュータ４は、撮影映像用ストレージ３に蓄積された撮影映像に対して映像処理を行って配信映像を生成する。この映像処理コンピュータ４で行われる映像処理は、配信映像を生成する処理を自動化するものであり、これにより、編集者の作業が不要となるため、編集コストを削減することができる。なお、映像処理コンピュータ４には、配信映像の編集ソフトウェアを搭載され、生成した配信映像の確認や修正を行うことができる。

　配信映像用ストレージ５は、映像処理コンピュータ４から出力される配信映像を蓄積する。本実施形態では、ストア配信が行われ、映像処理コンピュータ４で生成した配信映像を配信映像用ストレージ５に蓄積して、コンサートが終了した後に、配信映像用ストレージ５に蓄積された配信映像をユーザ端末２に配信する。

　映像配信サーバ６は、ユーザ端末２からの配信要求に応じて、配信映像用ストレージ５に蓄積された配信映像のデータを順次ユーザ端末２に配信するストリーミング配信が行われる。

　次に、カメラ１の配置状況について説明する。図２は、カメラ１の配置状況を示す説明図である。

　各カメラ１は、コンサート会場の所定位置に設置され、設置位置が固定されている（定点撮影）。また、各カメラ１は、ステージを所定方向から撮影するように設定され、撮影アングル（撮影の向き）も固定されている。また、各カメラ１では、ステージの略全体を撮影できるように広角な撮影が行われ、これにより、ステージ上を動き回る人物を、各カメラ１で漏れなく撮影することができる。また、各カメラ１では、高解像度（例えば４Ｋ以上）の撮影が行われ、これにより、ソフトウェアズームを行っても高精細な映像を配信することができる。また、各カメラ１のうち、予め設定された２台のカメラによる撮影映像を用いてステレオ画像処理を行い、３Ｄ配信映像を作成することもできる。

　また、各カメラ１は、ステージを取り囲むように異なる位置に設置されている。図２に示す例では、正面、左寄り、左端、右寄り、右端の５地点にカメラ１が設置されている。この５台のカメラ１により、ステージ上の人物が５方向から撮影され、撮影角度が５段階に異なる映像、すなわち、正面、斜め左側、左側、斜め右側、右側の各方向から撮影された映像を得ることができる。

　このように本実施形態では、カメラ１が、イベント会場の所定位置に設置され、イベント会場を所定方向から常時撮影することから、カメラマンが不要となり、撮影コストを削減することができる。

　次に、映像処理コンピュータ４および映像配信サーバ６の概略構成について説明する。図３は、映像処理コンピュータ４および映像配信サーバ６の概略構成を示すブロック図である。図４Ａ、図４Ｂ、図４Ｃは、映像処理コンピュータ４で行われる処理の概要を示す説明図である。

　映像処理コンピュータ４は、通信部１１と、プロセッサ１２と、記憶部１３と、を備えている。

　通信部１１は、撮影映像用ストレージ３および配信映像用ストレージ５との間で通信を行うものであり、撮影映像用ストレージ３から送信される撮影映像を受信し、また、プロセッサ１２で生成した配信映像を配信映像用ストレージ５に送信する。

　記憶部１３は、撮影映像用ストレージ３から受信した撮影映像などを記憶する。また、記憶部１３は、プロセッサ１２で実行するプログラムを記憶する。

　プロセッサ１２は、記憶部１３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、人物検出、切り出し領域設定、画像切り出し、および配信映像生成の各処理を行う。

　人物検出処理では、撮影映像の各フレームから人物（動体）を検出し、各フレームでの人物領域の位置情報を取得する。このとき、図４Ａに示すように、人物を取り囲む人物枠を取得する。

　切り出し領域設定処理では、人物検出処理で取得した人物領域の位置情報に基づいて、撮影映像から切り出す領域の位置および大きさを設定する。本実施形態では、撮影映像から検出された人物が中心に映る配信映像を人物ごとに生成するようにしており、人物領域（人物枠）の中心が切り出し領域の中心となるように切り出し領域の位置が設定される。

　また、本実施形態では、いわゆるソフトウェアズームが行われ、切り出し領域を小さくすることで、被写体が拡大表示されるズームインとなり、切り出し領域を大きくすることで、被写体が縮小表示されるズームアウトとなる。このため、本実施形態では、ズーム倍率に応じて切り出し領域の大きさが設定される。

　また、本実施形態では、被写体に対する複数の視点にそれぞれ対応する領域を撮影映像から切り出して、視点が異なる複数の配信映像を生成するようにしており、特に、視点として人物の注目部位が異なる複数の配信映像を生成するようにしている。具体的には、人物の全身、顔、手および足、ならびに人物が演奏する楽器が中心に映る配信映像を生成するようにしており、注目部位の中心が切り出し領域の中心となるように切り出し領域の位置が設定される。

　図４Ａ、図４Ｂ、図４Ｃに示す例は、撮影画像に映る５人の人物Ａ～Ｅのうち、人物Ｄに関する配信映像を生成する場合であり、図４Ｂに示すように、人物Ｄの人物枠の中心が、切り出し領域の中心に設定されて、図４Ｃに示すように、人物Ｄが中心に映る切り出し画像が得られる。

　ここで、注目部位が人物の全身である場合に、人物領域（人物枠）の中心を切り出し領域の中心に設定すればよい。

　また、注目部位が顔である場合に、人物領域の上方の領域を顔の領域として、その領域の中心を切り出し領域の中心に設定すればよい。また、頭部および肩部で構成されるΩ形状を検出して、Ω形状に基づいて頭部の領域を特定して、その領域の中心を切り出し領域の中心に設定するようにしてもよい。

　また、注目部位が手である場合に、人物領域を対象にして手を検出して、その手の領域の中心を切り出し領域の中心に設定すればよい。また、Ω形状で特定される頭部の領域の下方の領域を手の領域として、その領域の中心を切り出し領域の中心に設定するようにしてもよい。

　また、注目部位が足である場合に、人物領域を対象にして足を検出して、その足の領域の中心を、切り出し領域の中心に設定すればよい。また、人物領域の下方の領域を足の領域として、その領域の中心を切り出し領域の中心に設定するようにしてもよい。

　また、注目部位が楽器である場合に、手の領域に周辺を対象にして楽器を検出して、その楽器の領域の中心を切り出し領域の中心に設定すればよい。なお、楽器の検出では、形状や色に注目して楽器を検出すればよい。

　なお、本実施形態では、注目部位を、人物の全身、顔、手、足、および楽器としたが、人物の上半身や下半身などを注目部位としてもよい。

　画像切り出し処理では、切り出し領域設定処理で設定された切り出し領域の位置および大きさに基づいて、撮影映像から切り出し領域の画像（切り出し画像）を切り出す。

　配信映像生成処理では、画像切り出し処理で取得した切り出し画像に基づいて、配信映像を生成する。このとき、映像配信の仕様に基づいて配信映像を生成し、例えば、配信映像の解像度（例えば２Ｋ）によるリサンプリングが行われる。

　映像配信サーバ６は、第１の通信部２１と、第２の通信部２２と、プロセッサ２３と、記憶部２４と、を備えている。

　第１の通信部２１は、配信映像用ストレージ５との間で通信を行うものであり、配信映像用ストレージ５から送信される配信映像を受信する。

　第２の通信部２２は、ユーザ端末２との間で通信を行うものであり、ユーザ端末２から送信される配信要求を受信し、また、配信映像をユーザ端末２に送信する。

　記憶部２４は、配信映像用ストレージ５から受信した配信映像などを記憶する。また、記憶部２４は、プロセッサ２３で実行するプログラムを記憶する。

　プロセッサ２３は、記憶部２４に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、配信要求受付および配信制御の各処理を行う。

　配信要求受付処理では、ユーザ端末２から送信されて第２の通信部２２で受信した配信要求を受け付ける。

　配信制御処理では、配信要求受付処理で受け付けた配信要求に応じて、その配信要求に対応する配信映像、すなわち、ユーザが選択した視点に該当する配信映像を、配信映像用ストレージ５から取得して、その配信映像データを順次、ユーザ端末２に送信するストリーミング配信を制御する。

　次に、ユーザ端末２の概略構成について説明する。図５は、ユーザ端末２の概略構成を示すブロック図である。

　ユーザ端末２は、通信部３１と、プロセッサ３２と、記憶部３３と、映像表示部３４と、操作入力部３５と、を備えている。

　通信部３１は、映像配信サーバ６との間で通信を行うものであり、配信要求を映像配信サーバ６に送信し、映像配信サーバ６から送信される配信映像を受信する。

　記憶部３３は、映像配信サーバ６から受信した配信映像を記憶する。また、記憶部３３は、プロセッサ３２で実行するプログラムを記憶する。

　映像表示部３４は、液晶表示パネルなどで構成される。操作入力部３５は、タッチパネルやマウスなどで構成される。なお、映像表示部３４および操作入力部３５はタッチパネルディスプレイで構成することができる。

　プロセッサ３２は、記憶部３３に記憶されたプログラムを実行することで、各種の処理を行う。本実施形態では、操作入力部３５でのユーザの操作に基づく配信要求を通信部３１から映像配信サーバ６に送信する。また、通信部３１で受信した配信映像の再生を制御し、映像表示部３４に配信映像が表示される。

　なお、映像配信サーバ６では、映像とともに音声が配信され、ユーザ端末２は、スピーカなどで構成される音声出力部（図示せず）を備えており、この音声出力部で、映像配信サーバ６から配信された音声が出力される。

　ここで、本実施形態では、映像配信サーバ６に映像配信を開始させる際に、ユーザの操作に応じて、第１の配信要求がユーザ端末２から映像配信サーバ６に送信され、この第１の配信要求に対応する配信映像が映像配信サーバ６からユーザ端末２に配信される。本実施形態では、配信を開始する際に、視点として人物をユーザが選択することができ、その選択情報を含む第１の配信要求がユーザ端末２から映像配信サーバ６に送信される。

　また、本実施形態では、映像配信中に、ユーザが視点を選択する操作に応じて、第２の配信要求がユーザ端末２から映像配信サーバ６に送信され、この第２の配信要求に対応する配信映像、すなわち、ユーザが選択した視点に該当する配信映像が映像配信サーバ６からユーザ端末２に配信される。本実施形態では、視点として、撮影角度、注目部位（全身、顔、手、足、楽器）、対象人物を選択することができ、その選択情報を含む第２の配信要求がユーザ端末２から映像配信サーバ６に送信される。これにより、映像配信中の任意のタイミングで、視点が異なる別の映像に切り替えることができる。

　次に、撮影映像用ストレージ３での撮影映像の蓄積状況について説明する。図６は、撮影映像用ストレージ３での撮影映像の蓄積状況を示す説明図である。

　本実施形態では、各カメラ１から出力される撮影映像が撮影映像用ストレージ３に蓄積される。この撮影映像用ストレージ３では、撮影映像（映像バイナリデータ）に、通し番号などによる映像ＩＤ（映像識別情報）が付与され、この映像ＩＤに基づいて撮影映像が管理される。また、撮影映像用ストレージ３では、撮影映像の属性情報である、撮影元のカメラ１のカメラＩＤ（カメラ識別情報）に基づいて撮影映像が管理される。

　なお、図６に示す例では、１つのイベントの撮影映像を示しているが、撮影映像用ストレージ３には、アーティスト、開催日時、および会場などが異なる複数のイベントごとの撮影映像を蓄積することができ、この場合、異なるイベントの撮影映像には異なる映像ＩＤを付与するとともに、イベントの名称（イベント識別情報）に基づいて撮影映像を管理するようにするとよい。

　次に、配信映像用ストレージ５での配信映像の蓄積状況について説明する。図７は、配信映像用ストレージ５での配信映像の蓄積状況を示す説明図である。

　映像処理コンピュータ４では、被写体に対する視点が異なる複数の配信映像が生成され、この複数の配信映像が配信映像用ストレージ５に蓄積される。この配信映像用ストレージ５では、配信映像（映像バイナリデータ）に、通し番号などによる映像ＩＤ（映像識別情報）が付与され、この映像ＩＤに基づいて配信映像が管理される。また、配信映像用ストレージ５では、配信映像の属性情報である、視点（対象人物、注目部位、撮影角度）およびズーム倍率に基づいて配信映像が管理される。

　図７に示す例では、対象人物が５人（人物Ａ～人物Ｅ）となり、注目部位が５通り（全身、顔、手、足、楽器）となり、撮影角度が５段階（正面、斜め左側、左側、斜め右側、右側）となり、ズームが３通り（近、中、遠）となり、合計で３７５個の配信映像が配信映像用ストレージ５に蓄積されている。

　次に、ユーザ端末２に表示される画面について説明する。図８は、ユーザ端末２に表示される画面の遷移状況を示す説明図である。図９Ａ、図９Ｂ、図９Ｃ、図９Ｄおよび図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄは、ユーザ端末２に表示される画面を示す説明図である。図１１は、映像配信サーバ６およびユーザ端末２の動作手順を示すシーケンス図である。

　図８に示すように、ユーザ端末２では、配信コンテンツ視聴用のアプリケーションを起動すると、まず、ログイン画面が表示される。このログイン画面には、図９Ａに示すように、ユーザＩＤおよびパスワードの入力部４１，４２が設けられている。このログイン画面でユーザが、入力部４１，４２にユーザＩＤおよびパスワードを入力して、ログインのボタン４３を操作すると、図１１に示すように、入力情報が映像配信サーバ６に送信される。

　映像配信サーバ６では、入力情報に基づいてユーザ認証が行われ、ユーザ認証が成功すると、利用を許可する成功通知がユーザ端末２に送信される。

　ユーザ端末２では、映像配信サーバ６からの成功通知を受信すると、図８に示すように、イベント選択画面に遷移する。

　このイベント選択画面には、図９Ｂに示すように、ユーザが視聴可能なイベントごとのイベント選択部４５が設けられている。このイベント選択画面でユーザが、視聴を希望するイベントのイベント選択部４５を操作すると、図８に示すように、人物選択画面に遷移する。

　この人物選択画面には、図９Ｃに示すように、人物（出演者）ごとのサムネイル４７が表示されている。この人物選択画面でユーザが、お気に入りの人物のサムネイル４７を選択すると、図１１に示すように、ユーザ端末２から第１の配信要求が映像配信サーバ６に送信される。この第１の配信要求には、ユーザが選択したイベントおよび人物に関する情報が含まれている。

　映像配信サーバ６では、ユーザ端末２からの第１の配信要求を受信すると、その第１の配信要求に対応する配信映像、すなわち、ユーザが選択したイベントおよび人物に該当する配信映像を、配信映像用ストレージ５から取得して、その配信映像のデータを順次ユーザ端末２に送信するストリーム配信が開始される。

　ユーザ端末２では、映像配信サーバ６でストリーム配信が開始されると、再生画面に遷移する。

　この再生画面では、図９Ｄに示すように、ユーザが選択したイベントの映像が画面全体に表示される。また、この再生画面では、ユーザが選択した人物が中心に映る映像が表示され、ユーザがお気に入りの人物の映像を観賞することができる。

　また、この再生画面には、「設定」のボタン４９が設けられている。このボタン４９をユーザが操作すると、図８に示すように、再生時設定画面に遷移する。この再生時設定画面には、図１０Ａに示すズーム設定画面と、図１０Ｂに示す撮影角度設定画面と、図１０Ｃに示す注目部位設定画面と、図１０Ｄに示す対象人物設定画面と、がある。

　これらの再生時設定画面には、図１０Ａ、図１０Ｂ、図１０Ｃ、図１０Ｄに示すように、「モード切替」のボタン５１が設けられている。このボタン５１をユーザが操作すると、プルダウンメニュー（図示せず）が表示され、このプルダウンメニューで設定モード（ズーム倍率、撮影角度、注目部位、対象人物）を選択することで、別の再生時設定画面に遷移させることができる。

　図１０Ａに示すように、ズーム設定画面には、ズームインおよびズームアウトのボタン５３，５４が設けられている。ズームインのボタン５３を操作すると、被写体に近づくズームインとなる、すなわち、ズーム倍率が高くなって被写体が大きく表示される。ズームアウトのボタン５４を操作すると、被写体から離れるズームアウトとなる、すなわち、ズーム倍率が低くなって広い範囲の被写体が表示される。本実施形態では、ズーム倍率を３段階（近、中、遠）に調整することができる。

　図１０Ｂに示すように、撮影角度設定画面には、左右の角度調整ボタン５６，５７が設けられている。左側の角度調整ボタン５６を操作すると、撮影角度が左側に１つずれる、すなわち、１つ左側のカメラ１の映像に切り替わる。右側の角度調整ボタン５７を操作すると、撮影角度が右側に１つずれる、すなわち、１つ右側のカメラ１の映像に切り替わる。本実施形態では、５台のカメラ１が設置されており、撮影角度を５段階（正面、斜め左側、左側、斜め右側、右側）に調整することができる。

　図１０Ｃに示すように、注目部位設定画面には、注目部位（全身、顔、手、足、楽器）ごとのアイコン６１～６５が設けられている。このアイコン６１～６５を操作することで、注目部位が設定され、対象人物の注目部位を中心にした映像が表示される。

　ここで、全身のアイコン６１を操作すると、対象人物の全身（人物全体）が映る映像が表示される。また、顔のアイコン６２を操作すると、対象人物の顔を中心にした映像が表示される。また、手のアイコン６３を操作すると、対象人物の手を中心にした映像が表示される。また、足のアイコン６４を操作すると、対象人物の足を中心にした映像が表示される。また、楽器のアイコン６５を操作すると、対象人物が演奏している楽器を中心にした映像が表示される。

　このように本実施形態では、対象人物の注目部位を変更することができるため、例えば人物がダンスを踊っている際に、全身の動きを観察したり足のステップを詳しく観察したりすることができ、また、人物が楽器を演奏している際に、指使いを詳しく観察することができる。

　図１０Ｄに示すように、対象人物設定画面には、人物ごとのサムネイル６７が表示されている。このサムネイル６７を操作して人物を選択すると、選択した人物が対象人物に設定され、対象人物が中心に映る映像が表示される。

　また、これらの再生時設定画面（ズーム倍率設定画面、撮影角度設定画面、注目対象設定画面、対象人物設定画面）には、再生操作部６９が設けられている。この再生操作部６９では、再生の開始および停止、音量の調整、全画面表示などの操作を行うことができる。

　このように再生時設定画面（ズーム倍率設定画面、撮影角度設定画面、注目対象設定画面、対象人物設定画面）で、ズーム倍率や視点（撮影角度、注目部位、対象人物）を設定する操作が行われると、図１１に示すように、ユーザ端末２から第２の配信要求が映像配信サーバ６に送信される。この第２の配信要求には、ユーザが設定したズーム倍率や視点（撮影角度、注目部位、対象人物）に関する情報が含まれている。

　映像配信サーバ６では、ユーザ端末２からの第２の配信要求を受信すると、その第２の配信要求に対応する配信映像、すなわち、ユーザが設定したズーム倍率および視点（撮影角度、注目部位、対象人物）に該当する配信映像を、配信映像用ストレージ５から取得して、その配信映像のストリーム配信の準備を開始する。そして、ストリーム配信の準備が完了すると、新たな配信映像のストリーム配信が開始され、ユーザ端末２では、再生画面に表示される映像が、ユーザが設定したズーム倍率や視点に基づく新たな映像に切り替えられる。

　このように本実施形態では、ユーザ端末２でユーザが映像を観賞している最中に、視点を変更する操作をユーザが行うことで、視点が異なる別の映像に切り替えることができ、ユーザが自分の要望に合致する映像を観賞することができる。

　（第２実施形態）
　次に、第２実施形態について説明する。なお、ここで特に言及しない点は前記の実施形態と同様である。図１２は、第２実施形態に係る映像配信システムを示すブロック図である。

　第１実施形態（図３参照）では、ストア配信、すなわち、映像処理コンピュータ４で生成した配信映像を配信映像用ストレージ５に蓄積して、ユーザ端末２からの配信要求に応じて、配信映像用ストレージ５に蓄積された配信映像をユーザ端末２に配信するようにしたが、本実施形態では、ライブ配信、すなわち、映像処理コンピュータ４で生成した配信映像をリアルタイムでユーザ端末２に配信するようになっており、第１実施形態で設けられていた配信映像用ストレージ５を備えていない。

　また、映像処理コンピュータ４および映像配信サーバ６の概略構成は、第１実施形態と同様であるが、映像処理コンピュータ４では、ユーザ端末２からの配信要求に関係なく、全ての配信映像を生成し、映像配信サーバ６では、ユーザ端末２からの配信要求に応じて、映像処理コンピュータ４から出力される配信映像の中から、配信要求に対応した配信映像、すなわち、ユーザが選択した視点に該当する配信映像を選択して、その配信映像をユーザ端末２に配信する。

　以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略などを行った実施形態にも適用できる。また、上記の実施形態で説明した各構成要素を組み合わせて、新たな実施形態とすることも可能である。

　例えば、前記の実施形態では、映像処理コンピュータ（映像処理装置）と映像配信サーバ（映像配信装置）とを設けたが、この映像処理コンピュータおよび映像配信サーバを、１つの情報処理装置で構成するようにしてもよい。また、撮影映像用ストレージと配信映像用ストレージとを設けたが、この撮影映像用ストレージおよび配信映像用ストレージを、１つの記憶装置で構成するようにしてもよい。

　また、前記の実施形態では、映像の被写体を人物とした例について説明したが、映像の被写体は人物に限定されるものではなく、動物などの人物以外の動体を被写体とした映像としてもよい。

　本開示に係る映像配信システム、ユーザ端末装置および映像配信方法は、多様化したユーザの要望に合致するような種々の映像を効率よく生成し、ユーザが自分の要望に合致する映像を観賞できるようにする効果を有し、イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末装置に配信する映像配信システムおよび映像配信方法、ならびに映像配信装置からネットワークを介して配信される配信映像を受信して、その配信映像を表示するユーザ端末装置などとして有用である。

１　カメラ
２　ユーザ端末（ユーザ端末装置）
３　撮影映像用ストレージ（映像蓄積部）
４　映像処理コンピュータ（映像処理部）
５　配信映像用ストレージ
６　映像配信サーバ（映像配信部）
３１　通信部（送信部、受信部）
３２　プロセッサ
３４　映像表示部
３５　操作入力部

Claims (9)

1. 　イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末装置に配信する映像配信システムであって、
   　前記イベント会場の所定位置に設置され、前記イベント会場を所定方向から撮影するカメラと、
   　前記カメラから出力される前記撮影映像を蓄積する映像蓄積部と、
   　被写体に対する複数の視点にそれぞれ対応する領域を前記撮影映像から切り出して、前記視点が異なる複数の前記配信映像を生成する映像処理部と、
   　ユーザが選択した前記視点に関する情報を含む配信要求を、前記ユーザ端末装置から受信すると、前記配信要求に対応した前記配信映像を前記ユーザ端末装置に配信する映像配信部と、を備えたことを特徴とする映像配信システム。
2. 　前記映像処理部は、前記撮影映像から人物を検出して、その人物検出の結果に基づいて、前記視点としての対象人物が異なる複数の前記配信映像を生成することを特徴とする請求項１に記載の映像配信システム。
3. 　前記カメラは、前記イベント会場の異なる位置に複数設置され、
   　前記映像処理部は、複数の前記カメラごとの前記撮影映像から、前記視点としての撮影角度が異なる複数の前記配信映像を生成することを特徴とする請求項１または請求項２に記載の映像配信システム。
4. 　前記映像処理部は、前記撮影映像から切り出す領域の大きさを変更することで、見かけ上のズーム倍率が異なる複数の前記配信映像を生成することを特徴とする請求項１から請求項３のいずれかに記載の映像配信システム。
5. 　前記映像処理部は、前記視点としての被写体の注目部位が異なる複数の前記配信映像を生成することを特徴とする請求項１から請求項４のいずれかに記載の映像配信システム。
6. 　前記注目部位は、人物の全身、顔、手および足、ならびに人物が演奏する楽器の少なくともいずれかであることを特徴とする請求項５に記載の映像配信システム。
7. 　前記映像配信部は、配信を開始する際に前記ユーザ端末装置から送信される第１の配信要求に応じて前記配信映像を配信中に、ユーザが選択した前記視点に関する情報を含む第２の配信要求を受信すると、その第２の配信要求に対応した前記配信映像の配信準備を開始し、その配信準備が完了すると、前記第２の配信要求に対応した前記配信映像の配信を開始することを特徴とする請求項１から請求項６のいずれかに記載の映像配信システム。
8. 　映像配信装置からネットワークを介して配信される配信映像を受信して、その配信映像を表示するユーザ端末装置であって、
   　ユーザが、視聴を希望するイベント、および被写体に対する視点を選択する操作を行う操作入力部と、
   　ユーザが選択した前記イベントおよび前記視点に関する情報を含む配信要求を前記映像配信装置に送信する送信部と、
   　前記映像配信装置から配信される前記配信要求に対応した前記配信映像を受信する受信部と、
   　受信した前記配信映像の再生を制御して前記配信映像を映像表示部に表示するプロセッサと、を備えたことを特徴とするユーザ端末装置。
9. 　イベント会場を撮影した撮影映像から配信映像を生成して、その配信映像を、ネットワークを介してユーザ端末装置に配信する処理を情報処理装置に行わせる映像配信方法であって、
   　被写体に対する複数の視点にそれぞれ対応する領域を前記撮影映像から切り出して、前記視点が異なる複数の前記配信映像を生成し、
   　ユーザが選択した前記視点に関する情報を含む配信要求を、前記ユーザ端末装置から受信すると、前記配信要求に対応した前記配信映像を前記ユーザ端末装置に配信することを特徴とする映像配信方法。

Images