JP2021087136A - 通信端末、撮影システム、画像処理方法及びプログラム - Google Patents

Abstract

【課題】全体画像等の広角動画及び部分画像等の狭角動画のデータ通信量を抑制しながらも、部分画像の精細度をできるだけ下げないようにして閲覧者がよりはっきりと注目する領域を閲覧することができるようにする。【解決手段】被写体を撮影することで所定の精細度の動画データを得る撮影装置が送信した動画データを受信して動画を表示する通信端末は、所定の精細度の動画データ及び動画データの精細度より高精細である静止画データを受信し、動画データに係る動画の全て又は一部である広角動画が表示手段に表示されているときに、広角動画を拡大する操作により所定の拡大を受け付けた場合に、広角動画と静止画データに係る静止画であり広角動画より狭角である狭角静止画とが合成された状態で表示手段に表示する。【選択図】図２８

Description

本発明は、通信端末、撮影システム、画像処理方法及びプログラムに関するものである。

回転台を用いたパン・チルト及びズームレンズで構成されるカメラシステムの代わりに魚眼レンズなどを使用して被写体を撮影して得られた画像のデータを配信し、その画像から受信側のビューアーで部分画像を生成して表示する技術、すなわち電子的にパン・チルト・ズーム（ＰＴＺ）する技術が既に知られている。

ところが、被写体を撮影して得た画像のデータを配信する技術では、注目されていない領域の画像のデータも配信するため、データ通信量が多くなる問題がある。

これに対して、通信量を減らすべく、撮影装置が、広角画像の全体を縮小した低精細な全体画像と、広角画像内の注目する領域である高精細な部分画像のデータとを配信し、受信側で全体画像に部分画像を嵌め込み合成する技術が開示されている（特許文献１参照）。

しかしながら、全体画像及び部分画像が動画の場合、全体画像を低精細にしても、データ通信量を減らすことは難しい。一方で、閲覧者は常に動画を入念に閲覧するわけではなく、注目した動画が再生された時に、部分画像だけでも入念に閲覧することができればよいというニーズがある。

本発明は、上述した事情に鑑みてなされたもので、全体画像等の広角動画及び部分画像等の狭角動画のデータ通信量を抑制しながらも、部分画像の精細度をできるだけ下げないようにして閲覧者がよりはっきりと注目する領域を閲覧することができるようにすることを目的とする。

請求項１に係る発明は、被写体を撮影することで所定の精細度の動画データを得る撮影装置が送信した前記動画データを受信して動画を表示する通信端末であって、前記所定の精細度の動画データ及び前記動画データの精細度より高精細である静止画データを受信する受信手段と、前記動画データに係る動画の全て又は一部である広角動画を表示手段に表示する表示制御手段と、前記表示手段に表示されている前記広角動画を拡大する操作を受け付ける受付手段と、を有し、前記受付手段が所定の拡大を受け付けた場合に、前記表示制御手段は、前記広角動画と前記静止画データに係る静止画であり前記広角動画より狭角である狭角静止画とが合成された状態で前記表示手段に表示することを特徴とする通信端末である。

以上説明したように本発明の実施形態によれば、全体画像等の広角動画及び部分画像等の狭角動画のデータ通信量を抑制しながらも、部分画像の精細度をできるだけ下げないようにして閲覧者がよりはっきりと注目する領域を閲覧することができるようになるという効果を奏する。

（ａ）は全天球撮影装置の左側面図であり、（ｂ）は全天球撮影装置の背面図であり、（ｃ）は全天球撮影装置の平面図であり、（ｄ）は全天球撮影装置の底面図である。 全天球撮影装置の使用イメージ図である。 （ａ）は全天球撮影装置で撮影された半球画像（前）、（ｂ）は全天球撮影装置で撮影された半球画像（後）、（ｃ）は正距円筒図法により表された画像を示した図である。 （ａ）は正距円筒射影画像で球を被う状態を示した概念図、（ｂ）は全天球画像を示した図である。 全天球画像を３次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。 （ａ）は図５の立体斜視図、（ｂ）は通信端末のディスプレイに所定領域の画像が表示された状態を示す図である。 部分画像パラメータの概略を説明する図である。 本実施形態に係る撮影システムの概略図である。 全天球撮影装置のハードウェア構成図である。 仲介端末のハードウェア構成図である。 スマートフォンのハードウェア構成図である。 画像管理システムのハードウェア構成図である。 本実施形態の全天球撮影装置の機能ブロック図である。 本実施形態のスマートフォンの機能ブロック図である。 画像管理システムの機能ブロック図である。 （ａ）水平垂直画角閾値情報の概念図、（ｂ）水平画角と垂直画角の説明図である。 全体動画及び部分動画の各データの生成及び再生の処理を示したシーケンス図である。 全天球撮影装置が行う画像処理の過程における画像の概念図である。 部分画像パラメータを説明する図である。 全体動画と部分動画の各フレーム画像が結合された状態を示す概念図である。 スマートフォンが行う画像処理の過程における画像の概念図である。 部分平面から部分立体球の作成を説明する図である。 本実施形態の部分立体球作成を行わずに、全天球画像に部分画像を重畳した場合の二次元の概念図である。 本実施形態の部分立体球作成を行って、全天球画像に部分画像を重畳した場合の二次元の概念図である。 （ａ）重畳表示しない場合のワイド画像の表示例、（ｂ）重畳表示しない場合のテレ画像の表示例、（ｃ）重畳表示する場合のワイド画像の表示例、（ｄ）重畳表示する場合のテレ画像の表示例を示した概念図である。 動画再生用メタデータの構成を示す図である。 動画記録及びメタデータの作成の処理を示したシーケンス図である。 部分静止画の生成及びメタデータの更新の処理を示したシーケンス図である。 静止画の生成を要求するときの操作方法の一例を示す図である。 動画撮影及び静止画生成時のタイミングチャートである。 動画再生及び静止画再生時のタイミングチャートである。 動画及び静止画の再生の処理を示したシーケンス図である。 選択ボタン及び決定ボタンの一例を示す図である。 表示領域と注目領域を示す二次元の概念図である。 動画の拡大と動画に重畳された高精細な静止画の表示例である。 動画の拡大と動画に重畳された高精細な静止画の表示例に対応する表示パターン（表示パターン１）の一例である。 動画の拡大と動画に重畳された高精細な静止画の表示例に関する他の表示パターン（表示パターン２）の一例である。 動画の拡大と動画に重畳された高精細な静止画の表示例に関する他の表示パターン（表示パターン３）の一例である。 動画の拡大と動画に重畳された高精細な静止画の表示例に関する他の表示パターン（表示パターン４）の一例である。 動画の拡大と動画に重畳された高精細な静止画の表示例に関する他の表示パターン（表示パターン５）の一例である。

以下、図面を用いて、本発明の実施形態について説明する。

〔実施形態の概要〕
以下、本実施形態の概要について説明する。

図１乃至図６を用いて、全天球画像の生成方法について説明する。

まず、図１を用いて、全天球撮影装置１の外観を説明する。全天球撮影装置１は、全天球（３６０°）パノラマ画像の元になる撮影画像を得るためのデジタルカメラである。なお、図１（ａ）は全天球撮影装置１の右側面図であり、図１（ｂ）は全天球撮影装置１の正面図であり、図１（ｃ）は全天球撮影装置１の上面図であり、図１（ｄ）は全天球撮影装置１の底面図である。

図１（ａ），図１（ｂ），図１（ｃ），図１（ｄ）に示されているように、全天球撮影装置１の上部には、正面側（前側）に魚眼レンズ１０２ａ及び背面側（後側）に魚眼レンズ１０２ｂが設けられている全天球撮影装置１の内部には、後述の撮像素子（画像センサ）１０３ａ，１０３ｂが設けられており、それぞれ魚眼レンズ１０２ａ、１０２ｂを介して被写体（風景を含む）を撮影することで、半球画像（画角１８０°以上）を得ることができる。全天球撮影装置１の正面側と反対側の面には、シャッターボタン１１５ａが設けられている。また、全天球撮影装置１の側面には、電源ボタン１１５ｂ、Ｗｉ−Ｆｉ(Wireless Fidelity)ボタン１１５ｃ及び撮影モード切替ボタン１１５ｄが設けられている。シャッターボタン１１５ａ、電源ボタン１１５ｂ及びＷｉ−Ｆｉボタン１１５ｃは、いずれも押下される度に、オンとオフが切り替えられる。また、撮影モード切替ボタン１１５ｄは、押下される度に、静止画の撮影モード、動画の撮影モード及び動画の配信モードが切り替えられる。なお、シャッターボタン１１５ａ、電源ボタン１１５ｂ、Ｗｉ−Ｆｉボタン１１５ｃ及び撮影モード切替ボタン１１５ｄは、操作部１１５の一種であり、操作部１１５は、これらのボタンに限られない。

また、全天球撮影装置１の底部１５０の中央には、カメラ用三脚に全天球撮影装置１を取り付けるための三脚ねじ穴１５１が設けられている。また、底部１５０の左端側には、 Ｍｉｃｒｏ ＵＳＢ(Universal Serial Bus)端子１５２が設けられている。底部１５０の右端側には、ＨＤＭＩ(High-Definition Multimedia Interface)端子が設けられている。なお、ＨＤＭＩは登録商標である。

次に、図２を用いて、全天球撮影装置１の使用状況を説明する。なお、図２は、全天球撮影装置１の使用イメージ図である。全天球撮影装置１は、図２に示されているように、例えば、利用者が手に持って利用者の周りの被写体を撮影するために用いられる。この場合、図１に示されている撮像素子１０３ａ及び撮像素子１０３ｂによって、それぞれ利用者の周りの被写体が撮像されることで、２つの半球画像を得ることができる。

次に、図３及び図４を用いて、全天球撮影装置１で撮影された画像から正距円筒射影画像ＥＣ及び全天球画像ＣＥが作成されるまでの処理の概略を説明する。なお、図３（ａ）は全天球撮影装置１で撮影された半球画像（前側）、図３（ｂ）は全天球撮影装置１で撮影された半球画像（後側）、図３（ｃ）は正距円筒図法により表された画像（以下、「正距円筒射影画像」という）を示した図である。図４（ａ）は正距円筒射影画像で球を被う状態を示した概念図、図４（ｂ）は全天球画像を示した図である。

図３（ａ）に示されているように、撮像素子１０３ａによって得られた画像は、後述の魚眼レンズ１０２ａによって湾曲した半球画像（前側）となる。また、図３（ｂ）に示されているように、撮像素子１０３ｂによって得られた画像は、後述の魚眼レンズ１０２ｂによって湾曲した半球画像（後側）となる。そして、半球画像（前側）と、１８０度反転された半球画像（後側）とは、全天球撮影装置１によって合成され、図３（ｃ）に示されているように、正距円筒射影画像ＥＣが作成される。

そして、OpenGL ES（Open Graphics Library for Embedded Systems）が利用されることで、図４（ａ）に示されているように、正距円筒射影画像が球面を覆うように貼り付けられ、図４（ｂ）に示されているような全天球画像ＣＥが作成される。このように、全天球画像ＣＥは、正距円筒射影画像ＥＣが球の中心を向いた画像として表される。なお、OpenGL ESは、２Ｄ(2-Dimensions)および３Ｄ(3-Dimensions)のデータを視覚化するために使用されるグラフィックスライブラリである。なお、全天球画像ＣＥは、静止画であっても動画であってもよい。本実施形態において、特段の説明がない限り、「画像」と示した場合には「静止画」と「動画」の両方が含まれる。

以上のように、全天球画像ＣＥは、球面を覆うように貼り付けられた画像であるため、人間が見ると違和感を持ってしまう。そこで、全天球画像ＣＥの一部の所定領域（以下、「所定領域画像」という）を湾曲の少ない平面画像として表示することで、人間に違和感を与えない表示をすることができる。これに関して、図５及び図６を用いて説明する。

なお、図５は、全天球画像を三次元の立体球とした場合の仮想カメラ及び所定領域の位置を示した図である。仮想カメラＩＣは、三次元の立体球として表示されている全天球画像ＣＥに対して、その画像を見る閲覧者の視点の位置に相当するものである。また、図６（ａ）は図５の立体斜視図、図６（ｂ）はディスプレイに表示された場合の所定領域画像を表す図である。また、図６（ａ）では、図４に示されている全天球画像が、三次元の立体球ＣＳで表わされている。このように生成された全天球画像ＣＥが、立体球ＣＳであるとすると、図５に示されているように、仮想カメラＩＣは、全天球画像ＣＥの内部に位置することになる。全天球画像ＣＥにおける所定領域Ｔは、仮想カメラＩＣの撮影領域であり、全天球画像ＣＥを含む三次元の仮想空間における仮想カメラＩＣの画角を含む位置座標（ｘ(rH)，ｙ(rV)，画角α(angle)）を示す所定の領域情報によって特定される。なお、所定領域Ｔのズームは、画角αの範囲（円弧）を広げたり縮めたりすることで表現することができる。また、所定領域Ｔのズームは、仮想カメラＩＣを全天球画像ＣＥに近づいたり、遠ざけたりすることで表現することもできる。ここで、所定領域画像Ｑは、全天球画像ＣＥにおける所定領域Ｔの画像である。

そして、図６（ａ）に示されている所定領域画像Ｑは、図６（ｂ）に示されているように、所定のディスプレイに、仮想カメラＩＣの撮影領域の画像として表示される。図６（ｂ）に示されている画像は、初期設定（デフォルト設定）された所定の領域情報によって表された所定領域画像である。なお、所定領域画像は、所定の領域情報、仮想カメラＩＣの位置座標ではなく、所定領域Ｔである仮想カメラＩＣの撮影領域（Ｘ，Ｙ，Ｚ）によって示されてもよい。

図７は、部分画像パラメータの概略を説明する図である。ここでは、全天球画像の一部を指定する方法について説明する。全天球画像においては部分画像の中心点ＣＰを、撮影するカメラ（ここでは、仮想カメラＩＣ）の方向で表すことが可能である。全天球画像である全体画像の中心を全体画像正面として方位角を「ａａ」、仰角を「ｅａ」とする。また、部分画像の範囲を表すために、例えば対角方向の画角である対角画角αを用いて表す。また、縦横方向の範囲を表すために、画像のアスペクト比(幅ｗ÷高さｈ)で表すことが可能である。ここでは範囲を表すために対角画角とアスペクトを用いたが、縦画角と横画角や縦画角とアスペクト比などを用いてもよい。また、方位角、仰角のほか回転角も用いてもよい。

〔撮影システムの概略〕
まずは、図８を用いて、本実施形態の撮影システムの構成の概略について説明する。図８は、本実施形態の撮影システムの構成の概略図である。

図８に示されているように、本実施形態の撮影システムは、全天球撮影装置１、仲介端末３、スマートフォン５及び画像管理システム７によって構成されている。なお、本実施形態の撮影システムでは、例えば、スマートフォン５の利用者Ａ（閲覧者又は操作者ともいう）の所定の操作によって、全天球撮影装置１が遠隔操作される形態を取っている。

これらのうち、全天球撮影装置１は、上述のように、被写体や風景等を撮影して全天球（パノラマ）画像の元になる２つの半球画像を得るための特殊なデジタルカメラである。この全天球撮影装置１は、本実施形態では広角画像を動画撮影して配信するストリーム動画配信サービスを行う撮影装置として機能することができる。また、全天球撮影装置１は、後述するようにスマートフォン５によって取得された静止画要求（所定の操作に基づく要求の一例）が画像管理システム７（画像管理装置の一例）に送信されると、画像管理システム７から送信された静止画データ要求に基づいて静止画データを生成し、画像管理システム７に送信する機能を有する。

仲介端末３は、インターネット等の通信ネットワーク１００に直接通信できる通信端末の一例である。仲介端末３は、通信ネットワーク１００に直接通信できない全天球撮影装置１と近距離無線通信を行うことで、全天球撮影装置１と画像管理システム７との通信を仲介する役割を果たす。近距離無線通信は、例えば、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near Field Communication）等の技術を利用して行われる通信である。図８では、仲介端末３は全天球撮影装置１が設置されるドングルレシーバーのように使用されている。

スマートフォン５は、有線又は無線により、通信ネットワーク１００を介して画像管理システム７と通信することができる。また、スマートフォン５では、自装置に設けられた後述のディスプレイ５１７に、全天球撮影装置１から取得した画像を表示することができる。

画像管理システム７は、コンピュータによって構築されており、スマートフォン５からの動画や静止画の要求を、仲介端末３を介して全天球撮影装置１に伝える。また、画像管理システム７は、全天球撮影装置１から仲介端末３を介して送られて来た動画データ及び静止画データを、スマートフォン５に送信する。

なお、図１では、全天球撮影装置１、仲介端末３の組が１つしか表されていないが、複数の組を用いてもよい。また、スマートフォン５も１つしか表されていないが、複数用いてもよい。スマートフォン５は、通信端末の一例である。通信端末には、スマートフォン５の他に、ＰＣ(Personal Computer)、スマートウォッチ、ゲーム機器、カーナビゲーション端末等も含まれる。更に、画像管理システム７は、単一だけでなく複数のコンピュータによって構築されていてもよい。

〔実施形態のハードウェア構成〕
次に、図９及び図１２を用いて、本実施形態の全天球撮影装置１、仲介端末３、スマートフォン５及び画像管理システム７のハードウェア構成を詳細に説明する。

＜全天球撮影装置のハードウェア構成＞
まず、図９を用いて、全天球撮影装置１のハードウェア構成を説明する。図９は、全天球撮影装置のハードウェア構成図である。以下では、全天球撮影装置１は、２つの撮像素子を使用した４πラジアンの撮影が可能な全天球（全方位）撮影装置とするが、撮像素子は２つ以上いくつでもよい。また、必ずしも全方位撮影専用の装置である必要はなく、通常のデジタルカメラやスマートフォン等に後付けの全方位の撮像ユニットを取り付けることで、実質的に全天球撮影装置１と同じ機能を有するようにしてもよい。

図９に示されているように、全天球撮影装置１は、撮像ユニット１０１、画像処理ユニット１０４、撮像制御ユニット１０５、マイク１０８、音処理ユニット１０９、ＣＰＵ(Central Processing Unit)１１１、ＲＯＭ(Read Only Memory)１１２、ＳＲＡＭ（Static Random Access Memory)１１３、ＤＲＡＭ(Dynamic Random Access Memory)１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、アンテナ１１７ａ、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０及び端子１２１によって構成されている。

このうち、撮像ユニット１０１は、各々半球画像を結像するための１８０°以上の画角を有する広角レンズ（いわゆる魚眼レンズ）１０２ａ，１０２ｂと、各広角レンズに対応させて設けられている２つの撮像素子１０３ａ，１０３ｂを備えている。撮像素子１０３ａ，１０３ｂは、魚眼レンズ１０２ａ，１０２ｂによる光学像を電気信号の画像データに変換して出力するＣＭＯＳ(Complementary Metal Oxide Semiconductor)センサやＣＣＤ(Charge Coupled Device)センサなどの画像センサ、この画像センサの水平又は垂直同期信号や画素クロックなどを生成するタイミング生成回路、この撮像素子の動作に必要な種々のコマンドやパラメータなどが設定されるレジスタ群などを有している。

撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、各々、画像処理ユニット１０４とパラレルＩ／Ｆバスで接続されている。一方、撮像ユニット１０１の撮像素子１０３ａ，１０３ｂは、撮像制御ユニット１０５とは、シリアルＩ／Ｆバス（Ｉ２Ｃバス等）で接続されている。画像処理ユニット１０４、撮像制御ユニット１０５及び音処理ユニット１０９は、バス１１０を介してＣＰＵ１１１と接続される。さらに、バス１１０には、ＲＯＭ１１２、ＳＲＡＭ１１３、ＤＲＡＭ１１４、操作部１１５、ネットワークＩ／Ｆ１１６、通信部１１７、電子コンパス１１８、ジャイロセンサ１１９、加速度センサ１２０及び端子１２１なども接続される。

画像処理ユニット１０４は、撮像素子１０３ａ，１０３ｂから出力される画像データをパラレルＩ／Ｆバスを通して取り込み、それぞれの画像データに対して所定の処理を施した後、これらの画像データを合成処理して、図３（ｃ）に示されているような正距円筒射影画像のデータを作成する。

撮像制御ユニット１０５は、一般に撮像制御ユニット１０５をマスタデバイス、撮像素子１０３ａ，１０３ｂをスレーブデバイスとして、Ｉ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群にコマンド等を設定する。必要なコマンド等は、ＣＰＵ１１１から受け取る。また、撮像制御ユニット１０５は、同じくＩ２Ｃバスを利用して、撮像素子１０３ａ，１０３ｂのレジスタ群のステータスデータ等を取り込み、ＣＰＵ１１１に送る。

また、撮像制御ユニット１０５は、操作部１１５のシャッターボタンが押下されたタイミングで、撮像素子１０３ａ，１０３ｂに画像データの出力を指示する。全天球撮影装置１によっては、ディスプレイ（例えば、スマートフォン５のディスプレイ５１７）によるプレビュー表示機能や動画表示に対応する機能を持つ場合もある。この場合は、撮像素子１０３ａ，１０３ｂからの画像データの出力は、所定のフレームレート（フレーム／秒）によって連続して行われる。

また、撮像制御ユニット１０５は、後述するように、ＣＰＵ１１１と協働して撮像素子１０３ａ，１０３ｂの画像データの出力タイミングの同期をとる同期制御手段としても機能する。なお、本実施形態では、全天球撮影装置１にはディスプレイが設けられていないが、表示部を設けてもよい。

マイク１０８は、音を音（信号）データに変換する。音処理ユニット１０９は、マイク１０８から出力される音データをＩ／Ｆバスを通して取り込み、音データに対して所定の処理を施す。

ＣＰＵ１１１は、全天球撮影装置１の全体の動作を制御すると共に必要な処理を実行する。なお、ＣＰＵ１１１は、単一でも複数でもよい。ＲＯＭ１１２は、ＣＰＵ１１１のための種々のプログラムを記憶している。ＳＲＡＭ１１３及びＤＲＡＭ１１４はワークメモリであり、ＣＰＵ１１１で実行するプログラムや処理途中のデータ等を記憶する。特にＤＲＡＭ１１４は、画像処理ユニット１０４での処理途中の画像データや処理済みの正距円筒射影画像のデータを記憶する。

操作部１１５は、シャッターボタン１１５ａなどの操作ボタンの総称である。利用者は、操作部１１５を操作することで、種々の撮影モードや撮影条件などを入力する。

ネットワークＩ／Ｆ１１６は、ＳＤカード等の外付けのメディアやパーソナルコンピュータなどとのインターフェース回路（ＵＳＢＩ／Ｆ等）の総称である。また、ネットワークＩ／Ｆ１１６としては、無線、有線を問わない。ＤＲＡＭ１１４に記憶された正距円筒射影画像のデータは、このネットワークＩ／Ｆ１１６を介して外付けのメディアに記録されたり、必要に応じてネットワークＩ／Ｆ１１６を介してスマートフォン５等の外部端末（装置）に送信されたりする。

通信部１１７は、全天球撮影装置１に設けられたアンテナ１１７ａを介して、Ｗｉ−Ｆｉ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の近距離無線通信技術によって、スマートフォン５等の外部端末（装置）と通信を行う。この通信部１１７によっても、正距円筒射影画像のデータをスマートフォン５等の外部端末（装置）に送信することができる。

電子コンパス１１８は、地球の磁気から全天球撮影装置１の方位を算出し、方位情報を出力する。この方位情報はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮影像の画像補正等の画像処理に利用される。なお、関連情報には、画像の撮影日時及び画像データのデータ容量の各データも含まれている。

ジャイロセンサ１１９は、全天球撮影装置１の移動に伴う角度の変化（Roll角、Pitch角、Yaw角）を検出するセンサである。角度の変化はＥｘｉｆに沿った関連情報（メタデータ）の一例であり、撮像画像の画像補正等の画像処理に利用される。

加速度センサ１２０は、３軸方向の加速度を検出するセンサである。全天球撮影装置１は、加速度センサ１２０が検出した加速度に基づいて、自装置（全天球撮影装置１）の姿勢（重力方向に対する角度）を算出する。全天球撮影装置１に、ジャイロセンサ１１９と加速度センサ１２０の両方が設けられることによって、画像補正の精度が向上する。

端子１２１は、例えば、Micro USB用の凹状の端子が使用される。

＜仲介端末のハードウェア構成＞
次に、図１０を用いて、仲介端末３のハードウェア構成を説明する。なお、図１０は、
無線通信機能を有したクレードルの場合の仲介端末３のハードウェア構成図である。

図１０に示されているように、仲介端末３は、仲介端末３全体の動作を制御するＣＰＵ３０１、基本入出力プログラムを記憶したＲＯＭ３０２、ＣＰＵ３０１のワークエリアとして使用されるＲＡＭ３０３、ＣＰＵ３０１の制御にしたがってデータの読み出し又は書き込みを行うＥＥＰＲＯＭ（Electrically Erasable and Programmable ROM）３０４、ＣＰＵ３０１の制御に従って被写体を撮像し画像データを得る撮像素子としてのＣＭＯＳセンサ３０５を備えている。

なお、ＥＥＰＲＯＭ３０４には、ＣＰＵ３０１が実行するオペレーティングシステム(OS)、その他のプログラム及び種々データが記憶されている。また、ＣＭＯＳセンサ３０５の代わりにＣＣＤセンサを用いてもよい。

更に、仲介端末３は、アンテナ３１３ａ、このアンテナ３１３ａを利用して無線通信信号により、通信ネットワーク１００を介して画像管理システム７と通信を行う通信部３１３、ＧＰＳ（Global Positioning Systems）衛星又は屋内ＧＰＳとしてのＩＭＥＳ(Indoor MEssaging System）によって仲介端末３の位置情報（緯度、経度、および高度）を含んだＧＰＳ信号を受信するＧＰＳ受信部３１４、及び上記各部を電気的に接続するためのアドレスバスやデータバス等のバスライン３１０を備えている。

＜スマートフォンのハードウェア構成＞
次に、図１１を用いて、スマートフォンのハードウェアについて説明する。図１１は、スマートフォンのハードウェア構成図である。図１１に示されているように、スマートフォン５は、ＣＰＵ５０１、ＲＯＭ５０２、ＲＡＭ５０３、ＥＥＰＲＯＭ５０４、ＣＭＯＳセンサ５０５、撮像素子Ｉ／Ｆ５１３ａ、加速度・方位センサ５０６、メディアＩ／Ｆ５０８、ＧＰＳ受信部５０９を備えている。

これらのうち、ＣＰＵ５０１は、スマートフォン５全体の動作を制御する。なお、ＣＰＵ５０１は、単一でも複数でもよい。ＲＯＭ５０２は、ＣＰＵ５０１やＩＰＬ(Initial Program Loader)等のＣＰＵ５０１の駆動に用いられるプログラムを記憶する。ＲＡＭ５０３は、ＣＰＵ５０１のワークエリアとして使用される。ＥＥＰＲＯＭ５０４は、ＣＰＵ５０１の制御にしたがって、スマートフォン用プログラム等の各種データの読み出し又は書き込みを行う。ＣＭＯＳセンサ５０５は、ＣＰＵ５０１の制御に従って被写体（主に自画像）を撮影し画像データを得る。撮像素子Ｉ／Ｆ５１３ａは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。加速度・方位センサ５０６は、地磁気を検知する電子磁気コンパスやジャイロコンパス、加速度センサ等の各種センサである。メディアＩ／Ｆ５０８は、フラッシュメモリ等の記録メディア５０７に対するデータの読み出し又は書き込み（
憶）を制御する。ＧＰＳ受信部５０９は、ＧＰＳ衛星からＧＰＳ信号を受信する。

また、スマートフォン５は、遠距離通信回路５１１、アンテナ５１１ａ、ＣＭＯＳセンサ５１２、撮像素子Ｉ／Ｆ５１３ｂ、マイク５１４、スピーカ５１５、音入出力Ｉ／Ｆ５１６、ディスプレイ５１７、外部機器接続Ｉ／Ｆ５１８、近距離通信回路５１９、近距離通信回路５１９のアンテナ５１９ａ及びタッチパネル５２１を備えている。

これらのうち、遠距離通信回路５１１は、インターネット等の通信ネットワークを介して、他の機器と通信する回路である。ＣＭＯＳセンサ５１２は、ＣＰＵ５０１の制御に従って被写体を撮影して画像データを得る内蔵型の撮像手段の一種である。撮像素子Ｉ／Ｆ５１３ｂは、ＣＭＯＳセンサ５１２の駆動を制御する回路である。マイク５１４は、音声を入力する内蔵型の集音手段の一種である。音入出力Ｉ／Ｆ５１６は、ＣＰＵ５０１の制御に従ってマイク５１４及びスピーカ５１５との間で音信号の入出力を処理する回路である。ディスプレイ５１７は、被写体の画像や各種アイコン等を表示する液晶や有機ＥＬなどの表示手段の一種である。外部機器接続Ｉ／Ｆ５１８は、各種の外部機器を接続するためのインターフェースである。近距離通信回路５１９は、Ｗｉ−Ｆｉ、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ等の通信回路である。タッチパネル５２１は、利用者がディスプレイ５１７を押下することで、スマートフォン５を操作する入力手段の一種である。

また、スマートフォン５は、バスライン５１０を備えている。バスライン５１０は、ＣＰＵ５０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

＜画像管理システムのハードウェア構成＞
次に、図１２を用いて、画像管理システムのハードウェア構成について説明する。図１
２は、画像管理システムのハードウェア構成図である。

図１２は、画像管理システム７のハードウェア構成図である。図１２に示されているように、画像管理システム７は、コンピュータによって構築されており、図１２に示されているように、ＣＰＵ７０１、ＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０４、ＨＤＤ(Hard Disk Drive)コントローラ７０５、ディスプレイ７０８、メディアＩ／Ｆ７０７、ネットワークＩ／Ｆ７０９、バス７１０、キーボード７１１、マウス７１２及びＤＶＤ−ＲＷ(Digital Versatile Disk Rewritable)ドライブ７１４を備えている。

これらのうち、ＣＰＵ７０１は、画像管理システム７全体の動作を制御する。ＲＯＭ７０２は、ＩＰＬ等のＣＰＵ７０１の駆動に用いられるプログラムを記憶する。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤ７０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ７０５は、ＣＰＵ７０１の制御にしたがってＨＤ７０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ７０８は、カーソル、メニュー、ウィンドウ、文字又は画像などの各種情報を表示する。メディアＩ／Ｆ７０７は、フラッシュメモリ等の記録メディア７０６に対するデータの読み出し又は書き込み（記憶）を制御する。ネットワークＩ／Ｆ７０９は、通信ネットワーク１００を利用してデータ通信をするためのインターフェースである。バス７１０は、図１２に示されているＣＰＵ７０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。

また、キーボード７１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。マウス７１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ−ＲＷドライブ７１４は、着脱可能な記録媒体の一例としてのＤＶＤ−ＲＷ７１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ−ＲＷに限らず、ＤＶＤ−ＲやＢｌｕ-ｒａｙ Ｄｉｓｃ（ブルーレイディスク）等であってもよい。

〔実施形態の機能構成〕
次に、図１３乃至図１６を用いて、本実施形態の機能構成について説明する。なお、仲介端末３は、全天球撮影装置１と画像管理システム７とも通信を仲介するための送受信部が主機能であるため、説明を省略する。

＜全天球撮影装置の機能構成＞
図１３は、本実施形態の全天球撮影装置の機能ブロック図である。全天球撮影装置１は、送受信部１１、部分画像パラメータ作成部１２、撮像制御部１３、撮像部１４ａ，１４ｂ、画像処理部１５、一時記憶部１６、精細度変更部１７、射影方式変換部１８、結合部１９、動画符号化部２０ａ、静止画符号化部２０ｂ、受付部２２、判断部２５及び静止画記憶部２９を有している。このうち、精細度変更部１７は、低精細変更部１７ａ及び低精細変更部１７ｂを有している。低精細変更部１７aは、一時記憶部１６に記憶された超高精細な動画データに対して、精細度を低下させた全体動画（低精細）を生成する。一方、低精細変更部１７ｂは、一時記憶部１６に記憶された超高精細な動画データに対して、以下に説明する射影方式変換部１８から送られた出力画像を低精細変更部１７ａよりも精細度を低下させる割合を少なくした（低精細変更部１７ａよりも相対的に高精細にした）部分動画（高精細）として生成する。なお、低精細変更部１７ａは第１の低精細変更部の一例であり、低精細変更部１７ｂは第２の低精細変更部の一例である。射影方式変換部１８は、一時記憶部１６に記憶された超高精細な動画データに対して、射影方式変換させた部分静止画（超高精細）を生成する。これら各部は、図９に示されている各構成要素のいずれかが、ＳＲＡＭ１１３からＤＲＡＭ１１４上に展開された全天球撮影装置用のプログラムに従ったＣＰＵ１１１からの命令によって動作することで実現される機能又は手段である。また、全天球撮影装置１は、ＳＲＡＭ１１３によって実現された閾値管理部１００１を有している。上述したように、低精細変更部１７ａ及び低精細変更部１７ｂを含む精細度変換と射影方式変換部１８で示される射影方式変換については、機能の配置を分けて記載しているが、これらは通常は一緒に行われるのが一般的であるため、同じブロック内に記載しても構わない。本実施例では、機能を明確に区別するために便宜上図１３のように記載しているにすぎない。なお、図１３に示した機能ブロック図で、点線は動画配信及び記録時において機能する各機能ブロックを示し、実線は動画再生時において機能する各ブロックを示し、太線は動画配信及び記録並びに動画再生の両方で機能する各ブロックを示すものとして便宜上書き分けている。

（水平垂直画角閾値情報）
閾値管理部１００１には、図１６（ａ）に示されているように、水平垂直画角閾値情報が、例えば工場出荷前から記憶されている。なお、図１６（ａ）は水平垂直画角閾値情報の概念図、図１６（ｂ）は水平画角と垂直画角の説明図である。なお、図１６（ａ）は、水平垂直画角閾値情報は、テーブル形式で表されているが、これに限らず、テーブル形式で表すようにしなくてもよい。

図１６（ａ）に示されているように、水平垂直画角閾値情報は、全天球撮影装置１の最大撮影解像度（横Ｗ×縦Ｈ）の候補の列、利用者（閲覧者）によって設定されるスマートフォン５で表示可能な最大表示解像度（横Ｗ’×縦Ｈ’）の候補の列、全天球撮影装置１から画像管理システム７を介してスマートフォン５に送信するか否かの判断に使用される画像の水平画角（ＡＨ）×垂直画角（ＡＶ）の各閾値が関連付けて管理されている。

ここで、図１６（ｂ）を用いて、水平画角（ＡＨ）と垂直画角（ＡＶ）について説明する。なお、図１６（ｂ）において、中心点ＣＰ、方位角「ａａ」、仰角「ｅａ」は、図７と同じであるため、説明を省略する。全天球画像（動画、静止画）においては矩形の部分画像（動画、静止画）の一フレーム全領域のサイズを、撮影するカメラ（ここでは、仮想カメラＩＣ）の方向で表すことが可能である。部分画像の横の長さを仮想カメラＩＣからの水平画角（ＡＨ）で表し、部分画像の縦の長さを仮想カメラＩＣからの水平画角（ＡＨ）で表すことができる。

水平画角（ＡＨ）と垂直画角（ＡＶ）は変換元の解像度と変換後の解像度の差がなくなる画角で、判断部２５の判断に用いられる。この画角は次の（式１）及び(式２)で求めることができる。

ＡＨ＝（３６０／Ｗ）＊Ｗ’ ・・・（式１）
ＡＶ＝（１８０／Ｈ）＊（Ｈ’／２） ・・・（式２）
なお、全天球撮影装置１の最大撮影解像度が（Ｗ：４０００，Ｈ：２０００）であっても、全天球撮影装置１は図１６に示されている各設定パターンを示す水平垂直画角閾値情報を管理している。但し、この場合、全天球撮影装置１は、図１６において、設定１と設定２のパターンしか参照しない。同じく、利用者によって設定されるスマートフォン５での最大表示解像度が（Ｗ’：１９２０，Ｈ’：１０８０）であっても、全天球撮影装置１は図１６に示されている各設定パターンを示す水平垂直画角閾値情報を管理している。

例えば、全天球撮影装置１の最大撮影解像度の横×縦が４０００×２０００の場合であって、利用者によってスマートフォン５から全天球撮影装置１に対して、横×縦が１９２０×１０８０の解像度の画像（動画、静止画）のデータを要求するように設定されていた場合の条件（Ｃ１）下では、判断部２５は、指示データによって要求された部分画像の画角が横１７２．８°かつ縦４８．６°で示される閾値の未満の場合に、射影方式変換部１８に超高精細な静止画像のデータへの射影方式変換を行わせないと判断する。

（全天球撮影装置の各機能構成）
次に、図１３を用いて、全天球撮影装置１の各機能構成について更に詳細に説明する。

送受信部１１は、全天球撮影装置１の外部に対して画像データを送信したり、外部からデータを受信したりする。例えば、画像データとしては、超高精細の部分静止画、高精細の部分動画、低精細の全体動画の各データがある。また、送受信部１１は、後述の指示データを受信したり、後述の部分画像パラメータを送信したりする。

なお、本実施形態では、３段階の精細度の画像が取り扱われるため、最も精細度が高い画像、次に精細度が高い画像、最も精細度が低い画像について、便宜的にそれぞれ「超高精細」、「高精細」、「低精細」と示して区別する。よって、例えば、本実施形態の「超高精細」が、一般的な超高精細を意味するものではない。

部分画像パラメータ作成部１２は、スマートフォン５から画像管理システム７を介して送られて来た指示データに基づいて部分画像パラメータを作成する。この指示データは、スマートフォン５の受付部５２で利用者の操作によって受け付けられ、後述の重畳領域を特定するための指示を示すデータである。

撮像制御部１３は、撮像部１４ａ，１４ｂの画像データの出力タイミングの同期をとる指示を出力する。また、撮像制御部１３は、外部（例えば、ＧＰＳ衛星）から取得した時刻情報を入力して、再生中の動画から静止画を生成する際のタイミング管理を行う機能も有している。このタイミング管理については、後述する部分静止画の生成に関するシーケンス図とあわせて説明する。

撮像部１４ａ，１４ｂは、それぞれ、撮像制御部１３からの指示に従って被写体等を撮像し、例えば、図３（ａ），（ｂ）に示されているように、全天球画像データの元になる半球画像データを出力する。

画像処理部１５は、撮像部１４ａ，１４ｂで得られた２つの半球画像データを正距円筒射影方式の画像である正距円筒射影画像のデータに合成変換する。つまり、画像処理部１５は、被写体を撮影して得た所定の精細度の動画データから全天球画像データを生成する全天球画像生成手段の一例である。

一時記憶部１６は、画像処理部１５で合成変換された正距円筒射影画像のデータを一時的に記憶するバッファの役割を果たす。なお、この状態の正距円筒射影画像は超高精細である。

精細度変更部１７は、送受信部１１で受信されたスマートフォン５からの指示データに従って、正距円筒射影画像を画像の縮小等により、超高精細画像（ここでは動画）から低精細画像（動画）及び低精細画像よりも相対的に高精細な画像（動画）に変更する。これにより、低精細な正距円筒射影画像（ここでは、全体動画）が生成される。なお、精細度変更部１７は、変更手段の一例である。

射影方式変換部１８は、送受信部１１で受信した指示データ及び動画データ要求に従って、即ち、全体画像の一部分の画像である部分画像の方向、画角及びアスペクト、並びに画像管理システム７を介してスマートフォン５へ送信する画像データのサイズに従って、正距円筒射影方式を透視射影方式に射影方式変換する。これにより、超高精細な状態のままで部分画像（ここでは、部分動画）が生成される。このように、精細度変更部１７から出力される全体画像データは、射影方式変換部１８から出力される部分画像データよりも精細度（又は解像度）が低い。即ち、射影方式変換部１８から出力される部分画像データは、精細度変更部１７から出力される全体画像データよりも精細度（解像度）が高い。

更に、射影方式変換部１８は、送受信部１１で受信した指示データ及び静止画データ要求に従って、即ち、全体画像の一部分の画像である部分画像の方向、画角及びアスペクト、並びに画像管理システム７を介してスマートフォン５へ送信する画像データのサイズに従って、正距円筒射影方式を透視射影方式に射影方式変換する。これにより、超高精細な状態のままで部分画像（ここでは、部分静止画）が生成される。本実施形態では、射影方式変換部１８によって生成される部分動画及び部分静止画の元になる画像は、同じく超高精細であるが、この射影方式変換部１８で部分動画及び部分静止画の精細度を区別するように精細度を変えてもよい。

ここで、超高精細の画像として、例えば、２Ｋ、４Ｋ、８Ｋのいずれかの正距円筒射影画像が出力される場合について説明する。これらの超高精細の正距円筒射影画像のデータに基づき、射影方式変換部１８から出力される部分画像データは、正距円筒射影画像の解像度（２Ｋ、４Ｋ、８Ｋのいずれか）のままで、所定の射影方式に変換されたデータである。一方、精細度変更部１７から出力される全体画像データは、１Ｋ、２Ｋ、４Ｋなど、正距円筒射影画像よりも相対的に低精細（低解像度）のデータである。

結合部１９は、精細度変更部１７で変更された低精細な全体動画の各フレームと、射影方式変換部１８で変換された超高精細な部分動画の各フレームを、図２０に示されているように、縦の解像度を半分に圧縮することで、それぞれのフレームの精細度を下げて一フレームに結合する。これにより、部分動画は、全体動画よりは精細度が高いが、部分静画よりは精細度が低くなる。このように各フレームの精細度を下げて一フレームにすることで、データ通信量を抑制することができる。更に、結合される２つのフレームは、一時記憶部１６に記憶されていた同じ正距円射影画像から生成されているため、結合される２つのフレームを関連付けるためのメタデータ等を利用しなくても、同じタイミングで撮影されて生成された２つのフレームを関連付けることができる。

動画符号化部２０ａは、結合部１９によって結合された全体動画及び部分動画のフレームデータを符号化する。静止画符号化部２０ｂは、部分静止画のデータを符号化する。なお、動画符号化部２０ａは、例えば、ＧＰＳの時計機能により得られる時刻情報を用いて全天球撮影装置１の時刻管理を行うことができる。

受付部２２は、利用者が各種要求を行う際に全天球撮影装置の操作部１１５に対して行う操作を受け付ける。

判断部２５は、全体動画の一部の領域である部分画像の一フレームの全領域が、閾値管理部１００１で管理されている水平垂直画角閾値情報（図１６参照）の所定の閾値で示される所定領域よりも小さいか否かを判断する。そして、小さい場合に、判断部２５は、射影方式変換部１８に超高精細な静止画のデータを射影方式変換させないようにする。また、大きい場合に、判断部２５は、射影方式変換部１８に超高精細な静止画のデータを射影方式変換させるようにする。

例えば、全天球撮影装置１の最大撮影解像度の横×縦が４０００×２０００の場合であって、利用者によってスマートフォン５から全天球撮影装置１に対して、スマートフォン５における最大表示解像度の横×縦が１９２０×１０８０に設定されていた場合の条件（Ｃ１）下で、指示データによって要求されている画像の横の画角が１７２．８°未満かつ縦の画角が４８．６°未満の場合に、判断部２５は、射影方式変換部１８に超高精細な静止画のデータを射影方式変換させないと判断する。このように、スマートフォン５から要求された画像の解像度（精細度）が低い場合に、全天球撮影装置１は、高精細な部分動画のデータを送っても、又は超高精細な部分静止画のデータを送っても、利用者はスマートフォン５で高精細な部分動画と超高精細な部分静止画の区別を付けづらいため、全天球撮影装置１は、わざわざ超高精細な部分静止画のデータを送る必要はないからである。なお、閾値の範囲に示した「未満」は「以下」としてもよい。

一方、上記と同じ条件（Ｃ１）下で、指示データによって要求されている画像の横の画角が１７２．８°超又は縦の画角が４８．６°超の場合に、判断部２５は、射影方式変換部１８に超高精細な静止画のデータを射影方式変換させると判断する。この場合、スマートフォン５が、高精細な部分動画を超高精細な静止画に切り替えて表示することで、利用者（閲覧者ともいう）は注目する領域をよりはっきりと（鮮明に）閲覧することができるため、入念に閲覧することができる。なお、閾値の範囲に示した「超」は「以上」としてもよい。

＜スマートフォンの機能構成＞
図１４は、本実施形態のスマートフォンの機能ブロック図である。スマートフォン５は、送受信部５１、受付部５２、動画復号化部５３ａ、静止画復号化部５３ｂ、重畳表示制御部６３（重畳領域作成部５４、画像作成部５５、画像重畳部５６、射影変換部５７、表示制御部５８）、再生時間管理部５９、再生用フレーム抽出部６０、重畳画像判断部６１及び記憶制御部６２を有している。これら各部は、図１１に示されている各構成要素のいずれかが、ＥＥＰＲＯＭ５０４からＲＡＭ５０３上に展開されたスマートフォン用プログラムに従ったＣＰＵ５０１からの命令によって動作することで実現される機能又は手段である。ここで、スマートフォン用プログラムに従ったＣＰＵ５０１からの命令によって機能する重畳表示制御部６３は、動画に静止画を重畳させて表示する機能を備え、重畳表示制御手段の一例である。この重畳表示制御部６３は、重畳領域作成部５４、画像作成部５５、画像重畳部５６、射影変換部５７及び表示制御部５８を纏めた各機能を有している。なお、図１４に示した機能ブロック図で、点線は動画配信及び記録時において機能する各機能ブロックを示し、実線は動画再生時において機能する各ブロックを示し、太線は動画配信及び記録並びに動画再生の両方で機能する各ブロックを示すものとして便宜上書き分けている。

（スマートフォンの各機能構成）
次に、図１４を用いて、スマートフォン５の各機能構成について更に詳細に説明する。

送受信部５１は、スマートフォン５の外部に対してデータを送信したり、外部からデータを受信したりする。例えば、送受信部５１は、全天球撮影装置１の送受信部１１から画像データを受信したり、画像管理システム７の受信部７１a及び送信部７１ｂ又は全天球撮影装置１の送受信部１１に対して指示データを送信したりする。つまり、送受信部５１は、画像データ及び指示データに相当する所定の操作を示すデータを画像管理システム７に送受信する送信手段及び受信手段の一例である。また、送受信部５１は、全天球撮影装置１の送受信部１１から送られて来た画像データ（図２０に示す全体動画のデータ及び部分動画データ）と部分画像パラメータとを分離する。

受付部５２は、利用者から、部分画像の方向、画角及びアスペクト、並びにスマートフォン５で受信する画像データのサイズの指定操作を受け付ける。また、受付部５２は、利用者から、スマートフォン５における最大表示解像度（図１６の横Ｗ’×縦Ｈ’参照）の設定を受け付ける。この受付部５２は、受付手段の一例である。

動画復号化部５３ａは、全天球撮影装置１の動画符号化部２０ａで符号化された低精細な全体動画及び高精細な部分動画の各データに対して、動画撮影開始時刻、対応時間情報等のメタデータとあわせた処理を行う後述の再生用フレーム抽出部６０から出力された動画のデータを受信して低精細な全体動画のデータ及び高精細な部分動画のデータに復号化する。静止画復号化部５３ｂは、全天球撮影装置１の静止画符号化部２０ｂで符号化された超高精細な部分静止画のデータに対して、動画撮影開始時刻、対応時間情報等のメタデータとあわせた処理を行う後述の再生用フレーム抽出部６０から出力された静止画のデータを受信して超高精細な部分静止画のデータに復号化する。
重畳領域作成部５４は、記憶制御部６２により読み出された部分画像パラメータ（メタデータ）を取得し、取得した部分画像パラメータにより指定された重畳領域を作成する。この重畳領域は、全体動画である全天球画像ＣＥ上において、部分動画（又は部分静止画）である重畳画像Ｓ及びマスク画像Ｍの重畳位置及び重畳範囲を示している。

画像作成部５５は、重畳領域作成部５４、動画復号化部５３ａ、静止画復号化部５３ｂ、及び重畳画像判断部６１から取得した各データとそれらの重畳領域に係る情報に従って、重畳画像Ｓ及びマスク画像を作成し、低精細な全体画像から全天球画像ＣＥを作成する。

画像重畳部５６は、画像作成部５５で作成された重畳画像Ｓ及びマスク画像を取得して第１の画像に第２の画像を重畳する。例えば、画像重畳部５６は、全天球画像ＣＥ上の重畳領域に対して、重畳画像Ｓ及びマスク画像Ｍを重畳することで、最終的な全天球画像ＣＥを作成する。

射影変換部５７は、画像重畳部５６で作成された最終的な全天球画像ＣＥを取得し、受付部５２で受けられた利用者の指示に従って、最終的な全天球画像ＣＥを透視射影方式の画像に変換する。この射影変換部５７は、射影変換手段の一例である。

表示制御部５８は、射影変換部５７で変換された透視射影方式の画像を取得し、透視射影方式に変換後の画像をディスプレイ５１７等に表示させる制御を行う。例えば、表示制御部５８は、画像重畳部５６によって第１の画像に第２の画像が重畳された状態で表示する。

再生時間管理部５９は、基準となる動画再生時間を管理して再生時刻を出力する。例えば、30fps（frames per second）の動画を再生したい場合は、メタデータから取得できる動画撮影開始時刻を開始時刻とし、1秒間に1/30秒ずつ時間を増加させた時刻を30回出力する。

再生用フレーム抽出部６０は、再生時間管理部５９が出力する再生時刻に基づいて、再生する動画データ及び静止画データを抽出して出力する。このとき動画データは再生時刻の受信タイミングでフレーム出力される。一方、静止画データはメタデータの対応時刻情報を用いて、再生時刻以前でかつ最新の静止画ファイルを検索して出力される。このようにして、動画及び静止画を撮影した時のタイミングの関係（出力条件）を維持して動画及び静止画を再生することができる。

重畳画像判断部６１は、全天球撮影装置１により撮影された全体動画に対し、部分動画と部分静止画のどちらの画像を重畳表示するかを判断する。ここで重畳表示される重畳領域は、後述する全体動画及び部分動画の各データの生成及び再生の処理を示したシーケンス図に示した全体動画である全天球画像ＣＥ上において、部分動画（又は部分静止画）である重畳画像Ｓ及びマスク画像Ｍの重畳位置及び重畳範囲を示している。

記憶制御部６２は、図１１に示したＲＯＭ５０２によって実現された記憶部５０００に対して、動画撮影開始時刻、対応時刻情報及び部分画像パラメータ等から構成されるメタデータを含む各種データの記憶、管理を制御する。なお、メタデータは、画像管理システム７の記憶部７０００にて記憶、管理されるようにしてもよい。

＜画像管理システムの機能構成＞
図１５は、画像管理システムの機能ブロック図である。画像管理システム７は、受信部７１ａ、送信部７１ｂ、動画再生用メタデータ作成部７２、データ選択部７３及び記憶制御部７４を有している。受信部７１ａ、送信部７１ｂ、動画再生用メタデータ作成部７２、データ選択部７３及び記憶制御部７４は、図１２に示されているネットワークＩ／Ｆ７０９が、ＨＤ７０４からＲＡＭ７０３上に展開された画像管理システム用プログラムに従ったＣＰＵ７０１からの命令によって動作することで実現される機能又は手段である。なお、受信部７１ａはシステム側受信部の一例であり、送信部７１ｂは、システム側送信部の一例である。また、画像管理システム７は、ＨＤ７０４によって実現された記憶部７０００を有している。

（画像管理システムの各機能構成）
次に、図１５を用いて、画像管理システム７の各機能構成について更に詳細に説明する。

送信部７１ｂは、画像管理システム７の外部に対してデータを送信し、受信部７１ａは、外部からデータを受信する。例えば、受信部７１ａは、全天球撮影装置１の送受信部１１から仲介端末３を介して画像データを受信し、送信部７１ｂは、全天球撮影装置１の送受信部１１に対して仲介端末３を介して指示データを送信する。また、送信部７１ｂは、全天球撮影装置１の送受信部１１から仲介端末３を介して送られて来た画像データ（図２０に示す全体動画のデータ及び部分動画のデータ）や部分画像パラメータをスマートフォン５に送信する。さらに、送信部７１ｂは、全天球撮影装置１の送受信部１１から仲介端末３を介して送られ、記憶部７０００に一時的に記憶された超高精細な静止画のデータをスマートフォン５に送信する。

動画再生用メタデータ作成部７２は、全天球撮影装置１で撮影された動画データに基づいて、後述する動画再生用メタデータを作成する。この動画再生用メタデータには、共通情報、動画情報及び少なくとも１以上の静止画情報によって構成されている。

データ選択部７３は、記憶部７０００に記憶された全体動画、部分静止画及び動画再生用メタデータを含む各種データについて、それぞれどのデータを送信部７１ｂを介して出力するかを選択する機能部である。

記憶制御部７４は、記憶部７０００に対して、上述した全体動画、部分静止画及び動画再生用メタデータを含む各種データを含む各種データの記憶、管理を制御する。なお、図１５に示した機能ブロック図で、点線は動画配信及び記録時において機能する各機能ブロックを示し、実線は動画再生時において機能する各ブロックを示し、太線は動画配信及び記録時並びに動画再生時の両方で機能する各ブロックを示すものとして便宜上書き分けている。

〔実施形態の処理又は動作〕
続いて、図１７乃至図４０を用いて、本実施形態の処理又は動作について説明する。本実施形態では、全天球撮影装置１で生成されてから配信される動画に係る全体動画及び部分動画をスマートフォン５で再生中に、閲覧者がある部分動画の１シーン又は注目する被写体をより高精細な（超高精細）な静止画で入念に閲覧する場合について説明する。これは、閲覧者にとって動画よりも静止画で確認する方がより入念に閲覧することができるためである。

本実施形態は、全天球撮影装置１から取得した広角動画を構成する広角画像及びその広角画像から生成した部分動画を構成する部分画像を同一のフレームに配置した動画像（動画）として記録する際に、撮影開始時刻をメタデータとして記録する。また、動画記録中に全天球撮影装置１から取得した動画よりも高解像度な部分静止画を記録する際にも、その撮影時刻をメタデータとして記録する。そして、利用者が動画と静止画を同時に（重畳させて）再生する際に、動画及び部分静止画に関するメタデータを参照してそれぞれの再生タイミングを制御することで、動画及び静止画の撮影時のタイミングの関係を維持して再生することを特徴とする。つまり、広角動画、部分動画及び部分静止画のそれぞれの撮影時刻をメタデータとして記録、管理して、動画再生時にそのメタデータを参照することで動画と静止画の再生タイミングを制御することを特徴とする。

＜全体動画及び部分動画の生成及び再生＞
まずは、図１７を用いて、全体動画と部分動画の各データの生成及び再生の処理について説明する。図１７は、全体動画及び部分動画の各データの生成及び再生の処理を示したシーケンス図である。

図１７に示されているように、閲覧者（利用者）がスマートフォン５を操作することで、受付部２２が動画の配信サービスを開始する要求を受け付ける（ステップＳ１１）。これにより、次に、スマートフォン５の送受信部５１は、画像管理システム７の受信部７１ａに動画データの要求を送信する（ステップＳ１２）。この際、閲覧者が指定した部分画像パラメータも送信される。なお、送信開始のタイミングに関して、全天球撮影装置１の送受信部１１が通信ネットワークの帯域制御などを行ってもよい。この帯域制御を行うことで、より安定してデータを送受信することが可能となる。

次に、画像管理システム７の送信部７１ｂは、仲介端末３の送受信部に対して動画データの記録要求を転送する（ステップＳ１３）。そして、仲介端末３の送受信部は、全天球撮影装置１の送受信部１１に対して、動画データの記録要求を転送する（ステップＳ１４）。

次に、全天球撮影装置１は、動画データの生成処理を行う（ステップＳ１５）。このステップＳ１５の処理は、後ほど詳細に説明する（図１８乃至図２０参照）。

次に、全天球撮影装置１の送受信部１１は、仲介端末３の送受信部に対して、要求に応じた動画データを送信する（ステップＳ１６）。この動画データには、低精細の全体動画及び高精細の部分動画の各データが含まれている。これにより、仲介端末３の送受信部は、画像管理システム７の受信部７１ａに動画データを転送する（ステップＳ１７）。更に、画像管理システム７の送信部７１ｂは、スマートフォン５の送受信部５１に動画データを転送する（ステップＳ１８）。

次に、スマートフォン５は、動画データの再生処理を行う（ステップＳ１９）。このステップＳ１９の処理は、後ほど詳細に説明する（図２１乃至図４０参照）。

<全天球撮影装置の動画データの生成処理>
次に、図１８乃至図２０を用いて、上述のステップＳ１５で示した全天球撮影装置の動画データの生成処理について詳細に説明する。図１９は、全天球撮影装置が行う画像処理の過程における画像の概念図である。

画像処理部１５は、撮像部１４ａ，１４ｂで得られた２つの半球画像データを正距円筒射影方式の画像（ここでは、動画）である正距円筒射影画像のデータに合成変換する（ステップＳ１２０）。この変換後のデータは、一旦、高精細画像の状態のままで一時記憶部１６に記憶される。

次に、部分画像パラメータ作成部１２は、スマートフォン５から送られて来た指示データに基づいて部分画像パラメータを作成する（ステップＳ１３０）。

次に、精細度変更部１７のうち低精細変更部１７ａは、送受信部１１で受信されたスマートフォン５からの指示データに従って、超高精細画像から低精細画像に変更する（ステップＳ１４０）。これにより、低精細な正距円筒射影画像（ここでは、全体動画）が生成される。

更に、射影方式変換部１８は、送受信部１１で受信した指示データに従って、即ち、全体動画の各フレームの一部の領域である部分動画の方向、部分動画のフレームの画角及びアスペクト、並びにスマートフォン５へ送信する動画データのサイズに従って、正距円筒射影方式を透視射影方式に射影方式変換して低精細画像に変更する（ステップＳ１５０）。これにより、超高精細な状態のままで部分動画が生成される。

次に、結合部１９は、低精細な全体動画、超高精細な部分動画の各データを結合する（ステップＳ１６０）。この結合の処理については、後ほど詳細に説明する（図２０参照）。

ここで、図１９及び図２０を用いて、図１８に示した処理を更に詳細に説明する。図１９は、部分画像パラメータを説明する図である。

（部分画像パラメータ）
まずは、図１９を用いて、部分画像パラメータについて詳細に説明する。図１９（ａ）はステップＳ１２０による画像合成後の全体画像を示す。図１９（ｂ）は部分画像パラメータの一例を示す図である。図１９（ｃ）はステップＳ１５０により射影方式が変換された後の部分画像を示す。

図７で説明した方位角は図１９（ａ）で示す正距方位図法では横方向（緯度λ）となり、図７で説明した仰角は正距円筒射影方式では縦方向(経度φ)となる。図７の対角画角及びアスペクト比を合わせて、図１９（ｂ）で示すパラメータが部分画像パラメータである。図１９（ｃ）は図１９（ａ）の正距円筒図法上の枠で囲まれた部分を部分画像パラメータで切出した部分画像の例である。

ここで、射影方式の変換について説明する。図４（ａ）に示すように、正距円筒射影画像によって立体球を被うことで、全天球画像を作成している。よって、正距円筒射影画像の各画素データは、３次元の全天球画像の立体球の表面における各画素データに対応させることができる。そこで、射影方式変換部１８による変換式は、正距円筒射影画像における座標を(緯度，経度)＝（ｅ，ａ）と表現し、３次元の立体球上の座標を直行座標（ｘ，ｙ，ｚ）で表わすと、以下の（式３）で表わすことができる。
(x, y, z) = (cos(e) × cos(a), cos(e) × sin(a), sin(e)) ・・・(式３)
但し、このときの立体球の半径は１とする。

一方で、透視射影画像である部分画像は２次元画像であるが、これを２次元の極座標（動径，偏角）＝（ｒ，ａ）で表現すると、動径ｒは対角画角に対応し、取り得る範囲は0 ≦ r ≦ tan(対角画角/2)となる。また、部分画像を２次元の直交座標系（ｕ，ｖ）で表わすと、極座標（動径，偏角）＝（ｒ，ａ）との変換関係は、以下の（式４）で表わすことができる。
u = r × cos(a), v = r × sin(a) ・・・(式４)
次に、この（式３）を３次元の座標（動径，極角，方位角）に対応させることを考える。今、立体球ＣＳの表面のみを考えているため、３次元極座標における動径は「１」である。また、立体球ＣＳの表面に張り付けた正距円筒射影画像を透視射影変換する射影は、立体球の中心に仮想カメラがあると考えると、上述の２次元極座標（動径，偏角）＝（ｒ，ａ）を使うと、以下の（式５）、（式６）で表わすことができる。
r = tan(極角) ・・・（式５）
a = 方位角 ・・・（式６）
ここで極角をtとすると、t = arctan(r)となるため、３次元極座標（動径、極角、方位角)は、(動径、極角、方位角)＝(1, arctan(r), a)と表現することができる。

また３次元極座標から、直行座標系（ｘ，ｙ，ｚ）へ変換するための変換式は、以下の
（式７）で表わすことができる。
(x, y, z) = （sin(t) × cos(a), sin(t) × sin(a), cos(t)) ・・・（式７）
上記の（式７）により、正距円筒射影方式による全体画像と、透視射影方式による部分画像の相互変換ができるようになった。即ち、作成すべき部分画像の対角画角に対応する動径rを用いることで、部分画像の各画素が、正距円筒射影画像のどの座標に対応するかを表す変換マップ座標を算出でき、この変換マップ座標に基づいて、正距円筒射影画像から、透視射影画像である部分画像作成することができる。

ところで、上記射影方式の変換は、正距円筒射影画像の（緯度，経度）が（９０°，０°)となる位置が、透視射影画像である部分画像の中心点となるような変換を示している。そこで、正距円筒射影画像の任意の点を注視点として透視射影変換をする場合は、正距円筒射影画像を貼り付けた立体球を回転させることで、注視点の座標(緯度、経度)が（９０°,０°）の位置に配置されるような座標回転を行えばよい。

この立体球の回転に関する変換公式は、一般の座標回転公式であるため、説明を省略する。

（結合の処理）
次に、図２０を用いて、結合部１９が行うステップＳ１６０の結合の処理について説明する。図２０は、全体動画と部分動画の各フレーム画像が結合された状態を示す概念図である。図２０に示しているように、一枚のフレームの上部に全体画像、下部に部分画像が配置されるように結合されている。本実施形態では、一般的はＨＤ等のアスペクトである１６：９に合わせて配置されるがアスペクトは問わない。また、配置も上下に限らず左右でもよい。部分画像が複数あった場合は、例えば上半分に全体動画、下半分に部分動画個数分だけ分割して配置してもよい。全体動画と部分画像をフレーム毎に１つにまとめることにより、画像間の同期を保障することができる。また、全天球撮影装置１は、スマートフォン５に対して、全体動画データ及び部分動画データを別々に送信してもよい。

但し、全体動画及び部分動画は、縦を半分にするため、半分にしない場合に比べてそれぞれ解像度は半分に落ちる。即ち、一時記憶部１６に記憶されていた超高精細画像よりは精細度が下がる。その結果、精細度は、高い順に、一時記憶部１６に記憶された全体画像、射影方式変換部１８によって変換された後に低精細変更部１７ｂによって精細度変更された部分画像、及び、低精細変更部１７ａによって精細度変更された全体画像となる。

<スマートフォンの動画再生処理>
続いて、図２１を用いて、スマートフォン５の動画データの再生処理について説明する。図２１は、スマートフォンが行う画像処理の過程における画像の概念図である。図７に示された重畳領域作成部５４は、図２１で示されているように部分画像パラメータで指示された部分立体球ＰＳを作成する（ステップＳ３２０）。

次に、画像作成部５５は、部分立体球ＰＳに対して、透視射影方式である部分画像を重畳することで、重畳画像Ｓを作成する（ステップＳ３３０）。また、画像作成部５５は、部分立体球ＰＳに基づいて、マスク画像Ｍを作成する（ステップＳ３４０）。更に、画像作成部５５は、立体球ＣＳに対して正距円筒射影方式である全体画像を貼り付けることで全天球画像ＣＥを作成する（ステップＳ３５０）。そして、画像重畳部５６は、全天球画像ＣＥに対して重畳Ｓ及びマスク画像Ｍを重畳する（ステップＳ３６０）。これにより、境目が目立たないように高精細の重畳画像Ｓが重畳された低精細の全天球画像ＣＥが完成する。

次に、射影変換部５７は、予め定められた仮想カメラの視線方向と画角に基づいて、重畳画像Ｓが重畳された状態の全天球画像ＣＥにおける所定領域をディスプレイ５１７で閲覧できるように射影変換を行う（ステップＳ３７０）。

図２２は、部分平面から部分立体球の作成を説明する図である。通常、透視射影方式では平面に射影するため、図２２（ａ）で示すように３次元空間上に平面で表すことが多い。本実施形態では、図２２（ｂ）のように全天球画像に合わせて球の一部である部分立体球とする。ここでは、平面から部分立体球への変換について説明する。

図２２（ａ）で示すように適切な大きさ(画角)で配置された平面上の各点（Ｘ，Ｙ，Ｚ）を球面上への射影を考える。球面への射影は球の原点から各点（Ｘ，Ｙ，Ｚ）を通る直線と球面との交点となる。球面上の各点は原点からの距離が球の半径と等しい点である。よって球の半径を１とすると図２２（ｂ）で示される球面上の点（Ｘ’，Ｙ’，Ｚ’）は下記の（式８）で表される。

（Ｘ’，Ｙ’，Ｚ’）＝(Ｘ，Ｙ，Ｚ)×１／√（Ｘ２＋Ｙ２＋Ｚ２）・・・（式８）
図２３は、本実施形態の部分立体球作成を行わずに、全天球画像に部分画像を重畳した場合の二次元の概念図である。図２４は、本実施形態の部分立体球作成を行って、全天球画像に部分画像を重畳した場合の二次元の概念図である。

図２３（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置している場合を基準にすると、被写体Ｐ１は、全天球画像ＣＥ上で像Ｐ２として表され、重畳画像Ｓ上で像Ｐ３として表されている。図２３（ａ）に示されているように、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置しているため、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。しかし、図２３（ｂ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点から離れると（画角αを小さくすると）、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に、像Ｐ２は位置しているが、像Ｐ３はやや内側に位置している。このため、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上における重畳画像Ｓ上の像を像Ｐ３’とすると、全天球画像ＣＥと重畳画像Ｓに、像Ｐ３と像Ｐ３’との間のズレ量ｇ分のズレが生じてしまう。これにより、全天球画像ＣＥに対して重畳画像Ｓがずれて表示されてしまうが、このように、重畳した表示であってもよい。

これに対して、さらに、本実施形態では、部分立体球作成を行っているため、図２４（ａ）、（ｂ）に示されているように、重畳画像Ｓを全天球画像ＣＥに沿って重畳することができる。これにより、図２４（ａ）に示されているように、仮想カメラＩＣが立体球ＣＳの中心点に位置する場合だけでなく、図２４（ｂ）に示されているように、仮想カメラが立体球ＣＳの中心点から離れた場合であっても、像Ｐ２及び像Ｐ３は、仮想カメラＩＣと被写体Ｐ１とを結ぶ直線上に位置することになる。よって、全天球画像ＣＥに重畳画像Ｓが重畳された状態で表示されても、全天球画像ＣＥと重畳画像Ｓにズレが生じない。

図２５（ａ）は重畳表示しない場合のワイド画像の表示例、図２５（ｂ）は重畳表示しない場合のテレ画像の表示例、図２５（ｃ）は重畳表示する場合のワイド画像の表示例、図２５（ｄ）は重畳表示する場合のテレ画像の表示例を示した概念図である。なお、図中の波線は、説明の便宜上表しただけであり、実際にディスプレイ５１７上には表示されてもよく、表示されなくてもよい。

図２５（ａ）に示されているように、全天球画像ＣＥに対して部分画像Ｐを重畳して表示しない場合、図２５（ａ）における波線で示される領域まで拡大表示すると、図２５（ｂ）に示されているように、低精細の画像のままとなっており、利用者は鮮明でない画像を見ることになってしまう。これに対して、図２５（ｃ）に示されているように、全天球画像ＣＥに対して部分画像Ｐを重畳して表示する場合、図２５（ｃ）における波線で示される領域まで拡大表示すると、図２５（ｄ）に示されているように、高精細の画像が表示され、利用者は鮮明な画像を見ることができる。特に、波線で示されている領域に、文字が描かれた看板等が表示されている場合、高精細な部分画像Ｐを重畳表示しなければ、拡大表示させても文字がぼやけてしまい、何が書かれてあるのか分からない。しかし、高精細な部分画像Ｐを重畳表示すれば、拡大表示させても文字が鮮明に見えるため、利用者は何が書かれているのかを把握することができる。

＜メタデータの構成＞
続いて、本実施形態で用いられる動画再生用メタデータの構成について図２６を用いて説明する。図２６に示すように、動画再生用メタデータは共通情報、動画情報及び少なくとも１以上の静止画情報によって構成されている。これらのうち、共通情報には注視点情報と注目領域画角情報があり、動画配信サービス利用中に閲覧者が指定した部分パラメータから算出することができる。これらの情報は、低精細な全体動画に対して高精細な部分動画若しくは超高精細な部分静止画を重畳表示する際に用いられる情報である。

動画情報における動画識別情報は、低精細な全体画像と高精細な部分画像を含む動画を識別するための画像識別情報である。図２６では、動画識別情報の一例として画像のファイル名が示されているが、画像を一意に識別するための画像ＩＤであってもよい。

動画情報における動画撮影開始時刻は、動画記録を開始するフレームが全天球撮影装置で撮影された時刻情報である。動画への時刻情報の付加は、例えば、H.264で符号化する場合はSEC(Supplemental Enhancement Information)のUser data unregisteredの領域を利用する。この情報は、低精細な全体動画を再生中に超高精細な部分静止画を重畳させるタイミングを決定するために用いられる。

静止画情報における静止画識別情報は、超高精細な部分画像である静止画を識別するための画像識別情報である。図２６では、静止画識別情報の一例として画像のファイル名が示されているが、画像を一意に識別するための画像ＩＤであってもよい。

静止画情報における対応時刻情報は、静止画が撮影されたときの時刻情報で画像記録フォーマットとして規格されている Ｅｘｉｆ(Exchangeable image file format)に格納されている情報である。この情報は、低精細な全体動画を再生中に超高精細な部分静止画を重畳させるタイミングを決定するために用いられる。また静止画情報は、動画記録中に撮影された静止画の枚数の分だけ格納される。
＜動画記録及びメタデータファイルの作成＞
図２７は、動画記録及びメタデータの作成の処理を示したシーケンス図である。図２７に示されているように、スマートフォン５による動画再生中に閲覧者（利用者）が任意のタイミングでスマートフォン５に対して動画記録要求を示す操作をすることで、受付部２２が動画記録の開始要求を受け付ける（ステップＳ２１）。これにより、スマートフォン５の送受信部５１は、画像管理システム７の受信部７１ａに動画データの記録要求を送信する（ステップＳ２２）。この際、閲覧者が指定した部分画像パラメータも送信される。なお、送信開始のタイミングに関して、全天球撮影装置１の送受信部１１が通信ネットワークの帯域制御などを行ってもよい。この帯域制御を行うことで、より安定してデータを送受信することが可能となる。また、閲覧者のスマートフォン５に対する操作については、スマートフォン５のディスプレイ５１７への一般的な操作（画像等を選択するためのタップ操作、画像等を拡大するためのピンチアウト操作、等）や所定のキーに対するキー操作などでもよい。

なお、次のステップＳ２３の全天球撮影装置１によって実行される動画生成処理及びその詳細、ステップＳ２４で実行される動画データの仲介端末３への送信並びにステップＳ２５で実行される動画データの画像管理システム７への送信の各処理は、図１７の説明で上述したステップＳ１５、Ｓ１６及びＳ１７の内容と対応しており、動画配信の際の同様の処理が行われるため、説明を省略する。つまり、動画配信は継続されたまま、閲覧者の任意のタイミングによって動画記録要求がされた時刻からその動画の記録（録画）が開始される。

続いて、画像管理システム７の記憶制御部７４は、仲介端末３から受信部７１ａを介して動画データを受信すると、受信した動画データを記憶部７０００に記憶する（ステップＳ２６）。

さらに、画像管理システム７の記憶制御部７４は、動画データの記憶開始時に重畳動画用のメタデータファイルを作成し、記憶部７０００に記憶する（ステップＳ２７）。この時点で作成されるメタデータには、前述したメタデータの構成のうち注視点情報、注目領域画角情報、動画識別情報及び動画撮影開始時刻が記憶される。また動画の記録は、閲覧者による動画記録の停止要求があるか、記憶部７０００の記憶領域が不足するまで行われる。なお、記憶部７０００の記憶領域が不足した場合、閲覧者や画像管理システム７の仕様、設定に応じて記憶部７０００をリングバッファとして使用し、記憶した各種データを上書きするような制御がされてもよい。

なお、画像管理システム７からスマートフォン５に送信される動画データの送信処理（ステップＳ２８）及びスマートフォン５で実行される動画再生処理（ステップＳ２９）については、上述した図１７のステップＳ１８，Ｓ１９の処理と同様のため、説明を省略する。

＜部分静止画の生成及びメタデータ更新＞
続いて、図２８を用いて部分静止画のデータの生成及びメタデータの更新処理について説明する。図２８は、静止画記録及びメタデータの更新の処理を示したシーケンス図である。

閲覧者（利用者）が図１７に示されているステップＳ１９によって、図２５（ｃ）に示されているような部分画像Ｐが重畳された動画を閲覧中に、更に高精細な（である）静止画として閲覧したい場合に、閲覧者（利用者）がスマートフォン５を操作することで、受付部２２が部分静止画の配信サービスを開始する要求を受け付ける（ステップＳ３１）。

（静止画の生成を要求するときの操作方法）
ステップＳ３１で、静止画の生成を要求するときに閲覧者（利用者）がスマートフォン５に対して行う操作の具体例を図２９を用いて説明する。図２９は、静止画の生成を要求するときの操作方法の一例を示す図である。スマートフォン５における動画配信中に、閲覧者が注目する被写体が現れたタイミングでディスプレイ５１７（表示画面）に対してタップ操作の繰返しやピンチアウト操作が行われると（図２９（Ａ）又は（Ｂ））、受付部５２及び重畳表示制御部６３は、以下の処理を行う。まず、受付部５２は、閲覧者によって行われる部分動画へのタップ操作の繰返しやピンチアウト操作が所定の条件ＤＣ（拡大範囲、タップ回数等）以上に達したか否かを判断する。その後、重畳表示制御部６３のうちの画像作成部５５及び画像重畳部５６は、スマートフォン５のディスプレイ５１７に表示されている部分動画中で拡大等が行われた被写体の周辺を再生中の部分動画よりもさらに高精細な部分静止画として生成し、この部分静止画を部分動画に重畳させる。

なお、閲覧者によるディスプレイ５１７に対するタップ操作の繰返しやピンチアウト操作において、受付部５２が判断する際に用いる所定の条件として以下の例が挙げられる。例えば、図２９（Ａ）のようにスマートフォン５の画面に対するタップ操作が行われる場合であれば、タップされた回数やタップされた累積時間等を判断の基準としてもよい。さらに、図２９（Ｂ）のようにスマートフォン５の画面に対するピンチアウト操作が行われる場合であれば、ピンチアウトによって仮想的に生成される四辺形の一方の対の辺を形成するための水平画角又は他方の対の辺を形成するための垂直画角を所定の条件としてもよい（図１６参照）。これらの画角の値は、図１６（ａ）に示されるように予め複数の組合せを有する閾値管理テーブルとして設定されてもよい。さらに、スマートフォン５のディスプレイ５１７に対してタップ操作やピンチアウト操作が行われ、上記所定の条件ＤＣ以上に達した時点（時刻）を、送受信部５１が部分静止画生成する要求を送信するタイミング（例えば、シャッターコマンドとしてのトリガ）としてもよい。なお、スマートフォン５のディスプレイ５１７上に表示される被写体に対する操作例は、タップ操作、ピンチアウト操作に限られず、その他の操作によって実現されるものであってもよい。

上述した方法により、スマートフォン５の送受信部５１は、画像管理システム７の受信部７１ａに静止画データの要求を送信する（ステップＳ３２）。このとき、閲覧者が指定した部分画像パラメータ及び静止画データを要求したときの時刻情報も画像管理システム７の受信部７１ａに送信される。この静止画データを要求したときの時刻情報は、例えば、図１４に示すように外部から取得した時計の時刻情報を利用してもよい。具体的には、この時計を受付部５２に入力させておき、静止画データを要求するときにその時計が示す時刻情報を取得して、受付部５２から送受信部５１を介して全天球撮影装置１まで出力されるようにしてもよい。

次に、画像管理システム７の送信部７１ｂは、仲介端末３の送受信部に対して静止画データの要求を転送する（ステップＳ３３）。そして、仲介端末３の送受信部は、全天球撮影装置１の送受信部１１に対して、静止画データ要求、部分画像パラメータ及び静止画データを要求したときの時刻情報を転送する（ステップＳ３４）。全天球撮影装置１は、ステップＳ３４を実行した時刻に係る時刻情報とスマートフォン５から送信された時刻情報を比較することで、ステップＳ３２、Ｓ３３及びＳ３４の各処理に要する時間の合計時間、すなわちΔｔｄ１を求めることができる。このΔｔｄ１については、後述にて詳細を説明する。

次に、全天球撮影装置１は、静止画データの生成処理を行う（ステップＳ３５）。このステップＳ３５の処理について、以下に説明する。

<全天球撮影装置の静止画の生成>
次に、上述のステップＳ３５で示した全天球撮影装置の静止画データの生成処理について詳細に説明する。

全天球撮影装置１において静止画データの要求を受信した場合、静止画撮影判定を行う。これは部分画像の画角が比較的に狭い場合、元画像からの変換によって作成された部分静止画の解像度が送信中の部分動画の解像度との差がなくなるためである。この場合、図１６に示されている水平垂直画角閾値情報の水平画角（ＡＨ）と垂直画角（ＡＶ）を最低画角とし、部分画像パラメータで指定された画角が、当該画角より広い場合は静止画生成処理を実行する（図１８のステップＳ２１０)。

より具体的には、全天球撮影装置１の送受信部１１が動画データの送信中に、静止画データの要求を受信した場合、射影方式変換部１８は、部分動画のデータの生成と同様に、部分静止画のデータに対し、部分画像パラメータに従って正距円筒射影方式を透視射影方式に射影方式変換を行う。この場合、生成される静止画像のサイズは可変とし、超高精細画像の解像度を維持したまま変換を行う。超高精細画像の水平解像度をＷ、指定された水平画角をａｈとすると、生成される静止画の水平解像度Ｗｐは以下のように求めることができる。

Ｗｐ＝Ｗ／３６０＊ａｈ ・・・（式９）
ここでのＷのサイズは、全天球撮影装置１の起動時に読み込まれた水平垂直画角閾値情報（図１６（ａ）参照）のＷ列から取得される。

同様に指定された垂直画角をａｖとすると、生成される静止画の垂直解像度Ｈｐは次で
求めることができる。

Ｈｐ＝Ｈ／１８０＊ａｖ ・・・（式１０）
更に、静止画符号化部２０ｂは、部分静止画のデータの符号化を行い、画像バッファに格納する。そして、送受信部１１は、ステップＳ１６，Ｓ１７と同様に、上述した通信ネットワーク帯域の制御を行い、仲介端末３を介して画像管理システム７に部分静止画のデータを送信する。この場合も部分画像パラメータが送信される。

次に、静止画生成時の処理について説明する。図３０は、全天球撮影装置１が行う動画撮影及び静止画生成時のタイミングチャートである。図２８のステップＳ３１の処理で、閲覧者がスマートフォン５のディスプレイ５１７上に表示された注目する被写体に対してタップ、ピンチアウト等の所定の処理を実行すると、静止画要求の受付がされ、部分静止画の生成処理が開始される。

（静止画撮影時に発生する遅延時間の吸収）
本実施形態の撮影システムにおいて、上述した部分静止画の生成で発生する遅延時間とその吸収方法について、図３０及び図３１を用いて以下に説明する。

図３０において、全天球撮影装置１の撮像部１４ａ及び撮像部１４ｂは、時刻ｔ１（例えば、図２６のメタデータとして記憶された情報における動画撮影開始時刻ｔ＝10:00:00）から動画の撮影を開始する。その後、撮像制御部１３は、Δｔａ時間遅延後のｔ１＋Δｔａの時刻に閲覧者からの静止画要求を画像管理システム７及び仲介装置３を介して受け付けると、一時記憶部１６に記憶された動画のデータから部分静止画の生成を実行する。なお、本実施形態において、撮像制御部１３は、高精細な静止画を生成する際のタイミング管理手段としても機能する。

続いて、ｔ１＋Δｔｂ時間遅延後に閲覧者からの静止画要求の受付があると、撮像制御部１３は、ｔ１＋Δｔｂの時刻に静止画の撮影（生成）を実行し、さらに、ｔ１＋Δｔｃ時間遅延後に閲覧者からの静止画要求の受付があると、ｔ１＋Δｔｃの時刻に静止画の撮影を実行する。なお、閲覧者からの静止画要求が行われるタイミングとして、０＜Δｔａ＜Δｔｂ＜Δｔｃの関係があるものとする。

続いて、図３１において、時刻ｔ３のときに図３０のタイミングで録画した部分動画の再生がスマートフォン５において開始されたとすると、（ｔ３＋Δｔａ）の時刻から（ｔ３＋Δｔｂ）の時刻までに静止画Ａが再生される。同様に、（ｔ３＋Δｔｂ）の時刻から（ｔ３＋Δｔｃ）の時刻までにスマートフォン５において静止画Ｂが再生される。さらに同様に、（ｔ３＋Δｔｃ）の時刻からｔ４の時刻までにスマートフォン５において静止画Ｃが再生される。なお、静止画Ａ、Ｂ、Ｃは、次の静止画が再生されるタイミングで再生される静止画が切り替わってしまう。そのため、閲覧者が引き続き同じ静止画の再生を継続したい場合を考慮して、一般的な動画再生装置に設けられているような一時停止機能や巻き戻し機能をスマートフォン５に設けておいてもよい。

本実施形態において、実際には、静止画Ａの生成には本実施形態におけるシステムの処理時間（例えば、図２８のステップＳ３２，Ｓ３３，Ｓ３４の各処理時間の加算分）だけ遅延したときの配信動画が静止画として撮影されることになる。つまり、静止画Ａの静止画データは、全天球撮影装置１が要求情報を受信した時点（スマートフォン５が要求情報を送信してからステップＳ３２，Ｓ３３，Ｓ３４の各処理時間の加算分である遅延時間＝Δｔｄ１だけずれたタイミング）で得られた被写体を含む画像のデータになる。この遅延時間については、静止画Ｂ及び静止画Ｃの再生時においても同様である。これは、上述のＥｘｉｆに沿った関連情報（メタデータ）の一例として撮影時刻に関する情報が管理された状態であっても、処理時間による遅延の影響で再生される静止画とその再生タイミングにずれが生じることになる。

そこで、遅延時間としてのΔｔｄ１を吸収させるために、以下のような方法が考えられる。例えば、全天球撮影装置１の一時記憶部１６は、その記憶領域をリングバッファとして使用して、記憶した動画データを上書きするような制御をする。この制御を前提とすれば、全天球撮影装置１の撮像制御部１３は、閲覧者からの静止画要求の受付（図２８のステップＳ３１）があった任意の時刻を起点として、続くステップＳ３２，Ｓ３３及びＳ３４に要する処理時間の合計（＝Δｔｄ１）だけ以前の時刻、すなわち、以下の式１１で示される時刻、
（ｔ１＋Δｔａ）−Δｔｄ１・・・（式１１）
まで遡った時刻（時点）の部分動画を静止画Ａとして生成することが可能になる。なお、画像管理システム７の記憶制御部７４が記憶部７０００を用いて全天球撮影装置１の動画を管理するような撮影システムの場合は、記憶制御部７４は、記憶部７０００をリングバッファとして制御してもよい。

換言すれば、撮像制御部１３は、閲覧者により受け付けられた操作が所定の条件を超えた時刻（例えば、閲覧者による被写体に対するピンチアウト操作によって拡大された領域が、所定の画角以上に到達した時刻）から画像管理システム７、仲介端末３及びスマートフォン５で実行される処理に要する時間だけ遡った時刻に配信されている動画を用いて静止画Ａとして生成することが可能となる。但し、仲介端末３を必要としない撮影システムであれば、この仲介端末３における処理時間を無視することが可能である。上述した遅延時間の吸収に関する考え方は、静止画Ｂ及び静止画Ｃについても同様であり、閲覧者により注目された被写体を高精細な静止画として生成するときのタイミング遅延による影響を解消することができる。このとき、システムの時刻管理は、例えば、ＧＰＳ衛星から取得した時刻情報をスマートフォン５、画像管理システム７、仲介端末３及び全天球撮影装置１にて共通使用するようにしておけば、さらに精度良くこの遅延時間の吸収処理が可能となる。

このような遅延時間を吸収する仕組みを全天球撮影装置１に設けておくことで、閲覧者が注目する被写体を静止画として撮影したいタイミングの静止画を正確に撮影し、閲覧者に再生することが可能になる。

なお、上述した制御は、スマートフォン５の再生時間管理部５９で管理される基準となる動画再生時間（例えば、30fps）と、スマートフォン５（ステップＳ３２）、画像管理システム７（ステップＳ３３）及び仲介端末３（ステップＳ３４）のそれぞれの処理における単位処理時間（例えば、クロック速度等）等の関係から、遅延時間Δｔｄ１を無視するか、又は上述のような計算式に基づく遅延時間吸収処理を行うかを選択されるようにしてもよい。なお、図２８に示したシーケンス図は一例であり、この処理に限定されるものではない。

次に、全天球撮影装置１の送受信部１１は、仲介端末３の送受信部に対して、要求に応じた静止画データを送信する（ステップＳ３６）。この静止画データは、超高精細の部分静止画のデータである。なお、静止画データの送信を開始するタイミングは、夜間などネットワークのトラフィック量が少ない時間帯や、遅延時間を測定し、所定の遅延時間より短くなる時に送信するようにしてもよい。これにより、仲介端末３の送受信部は、画像管理システム７の受信部７１ａに静止画データを転送する（ステップＳ３７）。

次に、画像管理システム７の動画再生用メタデータ作成部７２は、ステップＳ１７で作成したメタデータファイルに静止画データを重畳して重畳表示用のメタデータを更新する（ステップＳ３８）。このとき動画再生用メタデータ作成部７２は、前述したメタデータの構成のうち静止画識別情報と静止画撮影時刻を記憶する。このステップＳ３８の処理は、後ほど詳細に説明する。

次に、画像管理システム７の受信部７１ａが静止画データを受信した場合は、記憶制御部７４は、記憶部７０００に静止画データを記憶させる（ステップＳ３９)。

なお、ステップＳ３１乃至ステップＳ３９の処理は閲覧者の指示により動画配信中に複数回実施されてもよい。また、本実施形態では閲覧者の要求毎に静止画の撮影を行っているが、一般的なデジタルカメラに搭載されているインターバル撮影機能を用いて一定時間毎に静止画の撮影を行ってもよい。さらに、ステップＳ３８及びステップＳ３９の処理は、互いにその順番を入れ替えて実行されてもよい。

そして、画像管理システム７の送信部７１ｂは、スマートフォン５の送受信部５１に静止画データを転送する（ステップＳ４０）。この際、転送開始のタイミングに関しては、全天球撮影装置１から仲介端末３を介して画像管理システムへのデータ送信と同様、通信ネットワークの帯域制御などを行う。

次に、スマートフォン５の表示制御部５８は、広角な部分動画上にこれまで重畳していた部分動画に代えて、超高精細な部分静止画を重畳してディスプレイ５１７上に表示させる（ステップＳ４１）。このステップＳ４１でスマートフォン５が行う部分静止画の表示タイミングについては、以下の２つの場合が考えられる。１つは、全天球撮影装置１が動画のライブ配信中に、スマートフォン５が配信されている動画に重畳させて超高精細な部分静止画を表示させる場合である。もう１つは、全天球撮影装置１によるライブ配信が終わり所定の時間が経過した後に、スマートフォン５がライブ配信された動画を再生し、ライブ配信中に表示されたタイミングと同じタイミングで超高精細な部分静止画を表示させる場合である。スマートフォン５の閲覧者は、これらの表示タイミングのいずれかにおいて、配信中の動画又は再生中の動画に超高精細な部分静止画を重畳させた表示画面を閲覧することが可能である。

なお、上記ステップＳ３５において、判断部２５が射影方式変換部１８に超高精細な静止画のデータを射影方式変換させないと判断した場合に、上記ステップＳ３６〜Ｓ３７において、静止画データの代わりに、「静止画を送信しない」旨、「画角は不足している」旨等のメッセージを送信するようにしてもよい。この場合、ステップＳ４１では、広角な部分動画上に狭角な部分動画が重畳されたままの状態で上記メッセージが表示されるようにしてもよい。

＜メタデータの更新＞
次に、上述したステップＳ３８で示したメタデータの更新処理について詳細に説明する。

配信されている動画データの記録中に画像管理システム７の受信部７１ａが全天球撮影装置１から仲介装置３を介して静止画データを受信した場合、記憶制御部７４は、受信した静止画データを記憶部７０００に記憶する。次に、画再生用メタデータ作成部７２は、ステップＳ２７で作成したメタデータファイルに対して記憶部７０００に新たに記憶された静止画データ情報を追加する。このとき、画再生用メタデータ作成部７２は、上述したメタデータの構造のうち静止画識別情報と静止画撮影時刻をあわせて記憶する。

<スマートフォンにおける静止画の再生>
次に、上述のステップＳ４１で示したスマートフォン５の静止画データの再生処理について詳細に説明する。

スマートフォン５では、送受信部５１が全天球撮影装置１から送られてきた静止画データを部分静止画のデータと部分画像パラメータに分離する。静止画復号化部５３ｂは、分離された後の部分静止画のデータを復号化する。

<動画データのダウンロード>
続いて、画像管理システム７に記憶、管理されている動画データをスマートフォン５にダウンロードする場合について図３２を用いて説明する。まず閲覧者がスマートフォン５を操作することにより、全天球撮影装置１の受付部２２が動画の再生要求を受け付ける（ステップＳ５１）。これにより、スマートフォン５の送受信部５１は画像管理システム７の受信部７１ａに記録データ要求を送信する（ステップＳ５２）。

画像管理システム７の受信部７１ａは、記録データ要求を受信すると、記憶制御部７４を介して記憶部７０００から読み出された動画ファイル、静止画ファイル及び動画再生用メタデータをスマートフォン５の送受信部５１に送信する（ステップＳ５３）。

スマートフォン５の送受信部５１が動画ファイル、静止画ファイル及び動画再生用メタデータを画像管理システム７から受信すると、記憶制御部６２は、受信した動画ファイル、静止画ファイル及び動画再生用メタデータを記憶部５０００に保存（ダウンロード）して、動画及び静止画の再生処理を行う（ステップＳ５４）。

（動画及び静止画再生時の表示選択）
ステップＳ５４で上述したように、各表示パターンは、例えば、撮影システムの使用環境及び各装置の仕様等から選択的に表示制御されるようにしてもよい。

図３３は、選択ボタン及び決定ボタンの一例を示す図である。図３３に示すように、全体動画選択ボタン５５１（広角動画）、部分動画選択ボタン５５２（狭角動画）及び部分静止画選択ボタン５５３（狭角静止画）並びに決定ボタン５５４は、スマートフォン５に設けられてもよい。以下、全体動画を広角動画、部分動画を狭角動画、及び、部分静止画を狭角静止画と呼ぶ。なお、上述した全体動画選択ボタン５５１（広角動画）、部分動画選択ボタン５５２（狭角動画）及び部分静止画選択ボタン５５３（狭角静止画）は、閲覧者がスマートフォン５のディスプレイ５１７を操作することで、受付手段の一例である受付部５２が受け付ける操作ボタンである。これらの全体動画選択ボタン５５１、部分動画選択ボタン５５２、及び、部分静止画選択ボタン５５３は、広角動画、部分動画及び部分静止画に係る表示形態のうち、単独又は複数の組合せ、すなわち少なくとも一つ以上が選択されてもよい。例えば、広角動画と狭角動画をディスプレイ５１７に表示させる場合や、狭角動画と狭角静止画をディスプレイ５１７に表示させる場合など、閲覧者の所望する利用形態に応じて、複数の組合せで上述した各選択ボタンが選択されてもよい。

このような選択ボタンや決定ボタンを設けることで、動画再生中のビューアで閲覧者による被写体の拡大動作が続けられた場合の広角動画又は狭角動画の解像度に応じて、動画を優先させる（解像度を犠牲にする）か、解像度を優先させる（動画を犠牲にする）かの選択が可能なようにスマートフォン５が構成されてもよい。つまり、このような場合は、スマートフォン５は、受付部５２に閲覧者が選択可能な選択部としての選択ボタンやアイコン等を設け、少なくとも１つ以上のボタンやアイコンの入力を受け付けるようにしてもよい。

また、決定ボタンを選択ボタンやアイコンの下部に設けることで、受付部５２は、閲覧者により選択された機能及び機能の組合せの決定を受け付けることができる。なお、決定ボタンの操作による機能及び機能の組合せの決定以外にも、閲覧者により選択されたボタンやアイコンが所定時間表示されたら選択されたボタンやアイコンの機能を決定するようにして、閲覧者が決定ボタンの操作を省略できるように構成されてもよい。

（重畳表示方法のパターン）
次に、上述したステップＳ５４で行われる再生処理において、広角動画に対する狭角動画及び狭角静止画のうちの少なくとも一つを重畳させて表示する具体例及びその表示パターンについて説明する。スマートフォン５の重畳領域作成部５４、画像作成部５５、画像重畳部５６、射影変換部５７及び表示制御部５８は、広角動画を再生中にその広角動画に対して高精細な狭角動画及びその狭角動画よりもさらに高精細な狭角静止画のうち少なくとも一つを重畳させてスマートフォン５のディスプレイ５１７に表示させる。ここで、スマートフォン用プログラムに従ったＣＰＵ５０１からの命令によって、重畳領域作成部５４、画像作成部５５、画像重畳部５６、射影変換部５７及び表示制御部５８を纏めて重畳表示制御部６３として機能させてもよい。また、この重畳表示制御部６３は、重畳表示制御手段の一例である。

また、動画及び静止画を重畳する制御を担う重畳画像判断部６１は、上述したように広角動画に対して狭角動画と狭角静止画のどちらの画像を重畳表示するかを判断する。この重畳画像判断部６１は、重畳画像判断手段の一例として機能する。なお、重畳表示に関する判断実行後の重畳や表示に関する処理は、ストリーミング配信における制御と同様のため説明を省略する。

続いて、重畳画像判断部６１により判断される重畳（合成）画像を表示する表示方法のバリエーションについて以下に説明する。つまり、重畳画像判断部６１は、受信した広角動画（全体動画）を構成する広角動画データ、狭角動画（部分動画）を構成する狭角動画データ及び狭角静止画（部分静止画）を構成する狭角静止画データのうち何れの組合せで合成するかを判断する重畳画像判断手段の機能を担う。

（表示方法１）
重畳画像判断部６１は、閲覧者の指定する表示領域と予め指定された部分領域の情報を基に、広角動画に対し、狭角動画と狭角静止画のどちらの画像を重畳表示するかを判断する。重畳画像判断部６１は、ディスプレイ５１７上の閲覧領域の縦の画素数をＴｈ、部分領域の画素数をＰｈ、閲覧領域の横の画素数をＴｗ、部分領域の画素数をＰｗとすると、Ｐｈ＞Ｈ’／２の場合もしくはＰｈ＞Ｗ’の場合は超高精細な静止画を重畳させ、それ以外の場合は動画を重畳させることで自動的に切り替えを行う。Ｐｈ、Ｐｗは以下の式で近似することができる。

Ｐ＝ｂ／ａ＊Ｔ・・・（式１２）
なお、上記式のａ，ｂ，ｐ及びｔの各パラメータは、例えば、図３４に示した表示領域と注目領域を示す二次元の概念図に基づいて与えられる。このように必要となる解像度（画素数）を算出し重畳画像の切り替えを自動で行うことにより、閲覧者は表示領域の指示を行うだけで、常に最適な解像度の画像を閲覧することができる。

（表示方法２）
一方で静止画を重畳させることで解像度が向上する条件においても動画のまま表示させた方が閲覧者にとって有益となることもある。そこで、本実施形態では、後述するように広角動画、狭角動画及び狭角静止画のうちいずれを再生させるかを選択する選択ボタン及びそれらの選択を決定する決定ボタンをスマートフォン５に設けてもよい。

閲覧者が解像度よりも動きを重視して閲覧したい場合は、重畳画像判断部６１は、閲覧者の指示によって狭角動画と狭角静止画の表示を切り替えるように制御してもよい。

（表示方法３）
また、静止画が撮影された領域は、動画を再生する閲覧者にとっても特に詳細に見たい被写体や領域である可能性が高いため、動画の再生中に狭角静止画が存在した場合は、重畳画像判断部６１は、重畳表示制御部６３と連携してディスプレイ５１７の画面中央に静止画が表示されるよう視点を回転させてもよい。

（表示方法４）
また、撮影時にカメラが移動する場合は、再生時に部分静止画と全体動画がずれてしまうという課題がある。その場合は、静止画を重畳表示している期間は背景である動画も静止させて表示させてもよい。このように、静止画があるときは、重畳画像判断部６１は、重畳表示制御部６３と連携して静止画の方向を向いて静止画を所定時間（例えば、５秒間等の任意の設定時間又は次の静止画が表示されるまでの時間）だけ表示させるようにしてもよい。

（動画及び静止画の表示例）
図３４は、表示領域と注目領域を示す二次元の概念図である。この二次元の概念図については、上述した表示パターン１で説明したとおりである。また、図３５乃至図４０は、再生動画中に重畳される部分動画及び静止画の表示例及びその表示例に対応する各表示パターンを示す例である。それぞれの動画及び静止画と各表示パターンの例について、以下に説明する。

まず、図３５（ａ）は、スマートフォン５のディスプレイ５１７に広角動画が再生された状態である。すなわちこの状態は、低精細な広角動画が表示された状態である。この状態で、広角動画の一部（天守閣の周辺）が閲覧者のピンチアウト操作等によって拡大されたとき、すなわち低精細な広角動画の一部が拡大されたとき、画像作成部５５は、拡大された広角動画をその広角動画よりも相対的に高精細な狭角動画を生成し、画像重畳部５６は、生成した狭角動画を広角動画の天守閣の付近に重畳させる。すなわちこの状態は、低精細な狭角動画と高精細な狭角動画とが重畳された状態である。その後、表示制御部５８は、画像重畳部５６で広角動画に重畳させた狭角動画及び射影変換部５７で射影変換されたそれぞれの動画をディスプレイ５１７に表示させる（図３５（ｂ））。なお、図３５（ｂ）では、表示制御部５８は、広角動画に重畳させた部分動画の外枠四辺を点線で表示しているが、便宜上示すものであるので、この点線は実際のディスプレイ５１７上に表示させなくてもよい。

次に、閲覧者によってさらに拡大操作が続けられ狭角動画の領域が所定の条件（範囲）以上に達したら、画像作成部５５は、狭角動画中で拡大された画像をその狭角動画よりもさらに高精細な狭角静止画として生成し、画像重畳部５６は、画像重畳部５６で広角動画の天守閣の付近に狭角静止画を重畳させる。その後、表示制御部５８は、広角動画に重畳させた狭角静止画を表示させる（図３５（ｃ））。すなわちこの状態は、狭角動画と拡大後の超高精細な狭角静止画とが重畳された状態である。なお、図３５（ｃ）でも、広角動画に重畳させた超高精細な狭角静止画の外枠四辺を点線で示しているが、便宜上示すものであるので、表示制御部５８は、この点線を実際のディスプレイ５１７上に表示させなくてもよい。さらに、表示制御部５８は、重畳させた狭角静止画をスマートフォン５のディスプレイ５１７に所定時間表示するように制御してもよい。また、上述した所定時間とは、例えば、上述した動画再生及び静止画再生時のタイミングに係る図３１においては静止画Ａ，Ｂ，Ｃ等が表示される時間を示すが、その他の方法で算出された時間でもよい。

一方、表示制御部５８は、図３５（ｃ）の状態から、広角動画が表示されていたディスプレイ５１７の表示領域全てに（広角動画に代えて）超高精細な狭角静止画を表示するようにしてもよい（図３５（ｄ））。すなわちこの状態は、拡大後の超高精細な狭角静止画がスマートフォン５のディスプレイ５１７の表示可能領域全体に表示された状態である。

以下、図３６乃至図４０に示した各表示パターンについて説明する。図３６は、動画の拡大と動画に重畳された高精細な静止画の表示例に対応する表示パターンの一例である。図３６（ａ）、（ｂ）、（ｃ）及び（ｄ）は、図３５（ａ）、（ｂ）、（ｃ）及び（ｄ）の各表示パターンにそれぞれ対応する。詳細には、図３６（ａ）は低精細な広角動画（広角動画ＷＭ。以下、単に広角動画という）がディスプレイ５１７の表示領域の全体に表示された状態の一例であり、図３６（ｂ）は低精細な広角動画と高精細な狭角動画（狭角動画ＮＭ。以下、単に狭角動画という）とが重畳された状態の一例であり、図３６（ｃ）は図３６（ｂ）の狭角動画を拡大したとき、低精細な広角動画と超高精細な狭角静止画（狭角静止画ＮＳ。以下、単に狭角静止画という）とが重畳された状態の一例である。さらに、図３６（ｄ）は、図３６（ｂ）の狭角動画を拡大したとき、超高精細な狭角静止画が狭角動画に置き換わってディスプレイ５１７の表示領域の全体に表示された状態の一例である。なお、低精細な広角動画が第１の画像の場合に、高精細な狭角動画又は超高精細な狭角静止画は第２の画像である。又は、高精細な狭角動画が第１の画像の場合に、超高精細な狭角静止画は第２の画像である。

図３７は、動画の拡大と動画に重畳された高精細な静止画の表示例に関する他の表示例（表示パターン２）である。詳細には、図３７（ａ）、（ｂ）及び（ｄ）は図３６（ａ）、（ｂ）及び（ｄ）と同様である。図３７（ｃ）は高精細な狭角動画と超高精細な狭角静止画とが重畳された状態の一例である。

図３８は、動画の拡大と動画に重畳された高精細な静止画の表示例に関する他の表示例（表示パターン３）である。詳細には、図３８（ａ）、（ｂ）及び（ｄ）は図３７（ａ）、（ｂ）及び（ｄ）と同様である。図３８（ｃ）は低精細な広角動画と高精細な狭角動画とが重畳され、さらに高精細な狭角動画と超高精細な狭角静止画とが重畳された状態の一例である。

図３９は、動画の拡大と動画に重畳された高精細な静止画の表示例に関する他の表示例（表示パターン４）である。詳細には、図３９（ａ）及び（ｂ）は図３８（ａ）及び（ｂ）と同様である。図３９（ｃ）は高精細な狭角動画がディスプレイ５１７の表示領域の全体に表示された状態の一例であり、図３９（ｄ）は図３９（ｂ）の状態で高精細な狭角動画を拡大したとき、図３９（ｃ）のように高精細な狭角動画がディスプレイ５１７の表示領域の全体に表示された後、高精細な狭角動画と超高精細な狭角静止画とが重畳された状態の一例である。

図４０は、動画の拡大と動画に重畳された高精細な静止画の表示例に関する他の表示例（表示パターン５）である。詳細には、図４０（ａ）、（ｂ）及び（ｃ）は図３９（ａ）、（ｂ）及び（ｃ）と同様である。図４０（ｄ）は図４０（ｂ）の状態で高精細な狭角動画を拡大したとき、ディスプレイ５１７の表示領域の全体に表示された後、超高精細な狭角静止画が高精細な狭角動画に置き換わってディスプレイ５１７の表示領域の全体に表示された状態の一例である。

重畳画像判断部６１は、上述したような制御をすることで、例えば、閲覧者がスマートフォン５を利用する場合に、広角動画及び狭角動画の再生とそれらの動画に重畳される狭角静止画の生成及び再生に関して、閲覧者が望まないようなデータ通信量（高額な利用料）がかかることを抑制することも可能となる。

〔実施形態の主な効果〕
以上説明したように本実施形態によれば、全体画像等の広角動画及び部分画像等の狭角動画のデータ通信量を抑制しながらも、部分画像の精細度をできるだけ下げないようにして閲覧者がよりはっきりと注目する領域を閲覧することができるようになるという効果を奏する。

さらに、本実施形態によれば、通信量を減らすべく、全天球撮影装置１が、全天球画像の全体を縮小した低精細な全体画像と、全天球画像（全体画像）内の注目する領域である高精細な部分画像のデータとを配信し、受信側のスマートフォン５で全体画像に部分画像を重畳（合成）するだけでなく、低精細な全体画像と高精細な部分画像が異なる射影方式であっても、スマートフォン５で合成して表示可能であるため、射影方式に関する汎用性が高いという効果を奏する。

〔補足〕
上述した実施形態では、全天球撮影装置１の判断部２５は、全体動画の一部の領域である部分画像の一フレームの全領域が、閾値管理部１００１で管理されている水平垂直画角閾値情報（図１６参照）の所定の閾値で示される所定領域よりも小さいか否かを判断する。そして、小さい場合に、判断部２５は、射影方式変換部１８に超高精細な静止画のデータを射影方式変換させないようにし、大きい場合に、判断部２５は、射影方式変換部１８に超高精細な静止画のデータを射影方式変換させるようにしたが、これに限るものではない。例えば、小さい場合に、送受信部１１が静止画記憶部２９に記憶されている射影方式変換後の部分静止画のデータをスマートフォン５側に送信させない処理を行い、大きい場合に、送受信部１１が静止画記憶部２９に記憶されている射影方式変換後の部分静止画のデータをスマートフォン５側に送信させる処理を行うようにしてもよい。この場合、判断部２５が送受信部１１に送信させるか否かを指示してもよいし、判断部２５が静止画記憶部２９に対して、全天球撮影装置１の記憶部に記憶されている射影方式変換後の部分静止画のデータを、送受信部１１側に送信させるか否かを指示してもよい。

また、全天球撮影装置１は撮影装置の一例であり、撮影装置には、通常の平面画像を得るデジタルカメラやスマートフォン等も含まれる。通常の平面画像を得るデジタルカメラやスマートフォンの場合、全天球画像を得るのではなく、比較的広角な画像（広角画像）を得ることができる。

また、スマートフォン５は、通信端末又は画像処理装置の一例であり、通信端末又は画像処理装置には、タブレット型ＰＣ（Personal Computer：パーソナルコンピュータ）、ノートＰＣ、デスクトップＰＣ等のＰＣも含まれる。さらに、通信端末又は画像処理装置には、スマートウォッチ、ゲーム機器又は車両等に搭載するカーナビゲーション端末等も含まれる。

上記実施形態では、低精細画像として、全天球撮影装置１の撮像部１４ａ，１４ｂから得られた画像データの画像の全体領域である全体動画と、高精細画像として、全体領域の一部の領域である部分動画について説明したが、これに限るものではない。低精細画像は、撮像部１４ａ，１４ｂから得られた動画データの画像の全体領域の一部の領域Ａ１の画像であってもよい。この場合、高精細画像は、一部の領域Ａ１の更に一部の領域Ａ２の画像となる。即ち、低精細な全体動画と高精細な部分動画との関係は、前者が全体動画としての広角動画であるのに対して後者が部分動画としての狭角動画である。なお、部分静止画についても、部分動画と同様の考えで、狭角静止画ということができる。なお、本実施形態において、広角画像（静止画、動画のいずれも含む）は、いわゆる広角レンズや魚眼レンズを備える撮影装置で撮影された画像の歪みが発生するような画像である。また、狭角画像（静止画、動画のいずれも含む）は、広角レンズや魚眼レンズを備える撮影装置で撮影された画像の一部で、画角が広角画像よりも狭い画角の画像である。

上記実施形態では、全天球画像に平面画像を重畳する場合について説明したが、重畳は、合成の一例である。合成には、重畳の他に、貼り付け、嵌め込み、重ね合わせ等も含まれる。また、画像の合成には、第１の画像に第２の画像を合成する場合と、第２の画像に第１の画像を合成する場合が含まれる。つまり、画像の合成は、第１の画像と第２の画像とが合成されることを含む。また、上記重畳画像は、合成画像の一例である。合成画像には、重畳画像の他に、貼り付け画像、嵌め込み画像、重ね合わせ画像等も含まれる。更に、画像重畳部５６は、画像合成手段の一例である。

また、正距円筒射影画像ＥＣと平面画像Ｐは、両方とも静止画の場合、両方とも動画のフレームの場合、一方が静止画で他方が動画のフレームの場合のいずれであってもよい。

更に、上記実施形態では、射影方式変換部１８は、一時記憶部１６から取得した高精細の画像データをそのままの精細度で射影方式を変換しているが、これに限るものではない。例えば、低精細変更部１７ａから出力される全体画像データよりも高い精細度であれば、射影方式変換部１８は、射影方式を変換する際に一時記憶部１６から取得した画像データの精細度を低くしてもよい。つまり、射影方式変換部１８から出力される画像データは、低精細変更部１７ａから出力される画像データよりも相対的に精細度が高くなるように制御されれば、その方法は問わない。

図１３乃至図１５に示されている各機能構成は、ソフトウェア機能ユニットの形で実現し、且つ、独立製品として販売または使用する場合に、コンピュータ読取り可能な記憶媒体に記憶することができる。この場合に、本実施形態の技術方案は、本質的、または従来技術に貢献する部分若しくは上記技術方案の部分はコンピュータソフトウェア製品の形で表現される。上記コンピュータソフトウェア製品は、記憶媒体に記憶され、コンピュータ装置(パーソナルコンピュータ、サーバ、或はネットワークデバイスなど)に上記各実施形態にかかる上記方法の全部或は一部のステップを実行させる複数の指令を含む。なお、上述の記憶媒体は、ＵＳＢメモリ、リムーバブルディスク、ＲＯＭ、ＲＡＭ、磁気ディスク、あるいは光ディスクなど、プログラムコードを格納できる様々な媒体を含む。

また、上記実施形態にかかる方法は、プロセッサに適用され、またはプロセッサによって実現される。プロセッサは信号を処理する能力を持つ集積回路基板である。上記各実形態の方法の各ステップはプロセッサにおけるハードウェアである集積論理回路又はソフトウェア形式の指令によって実現される。上記プロセッサは、例えば、汎用プロセッサ、デジタル信号プロセッサ(DSP)、専用集積回路(ASIC)、フィールドプログラマブルゲートアレイ(FPGA)または他のプログラマブル論理デバイス、ディスクリートゲートまたはトランジスタ論理デバイス、ディスクリートハードウェア部品であり、上記各実施形態に開示される各方法、ステップ及び論理ボックスを実現又は実行可能なものである。汎用処理器はマイクロプロセッサ又は任意の一般処理器などである。上記各実施形態にかかる方法の各ステップは、ハードウェアであるデコーダにより実行されることで実現されてもよく、または、デコーダにおけるハードウェアとソフトウェアとの組み合わせによって実現されてもよい。ソフトウェアモジュールはランダムメモリ、フラッシュメモリ、読出し専用メモリ、プログラマブル読出し専用メモリ、あるいは電気的消去可能なプログラマブルメモリ、レジスタなど、本分野で成熟した記憶媒体に記憶される。このソフトウェアが記憶される記憶媒体を備えるメモリから、プロセッサは情報を読み取り、ハードウェアに合わせて上記方法のステップを実現させる。

以上に説明した実施形態は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、またはそれらの組み合わせで実現される。その中に、ハードウェアの実現に関して、処理ユニットは一つまたは複数の専用集積回路(ASIC)、デジタル信号処理プロセッサ（DSP）、デジタル信号プロセッサ(DSPD)、プログラマブルロジックデバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、汎用プロセッサ、コントローラ、マイクロコントローラ、マイクロプロセッサ、本発明の機能を実行する他の電子ユニット或いはその組合せにより実現される。また、ソフトウェアの実現に関しては、上述した機能を実現するモジュール(たとえばプロセス、関数など)により上記技術が実現される。ソフトウェアコードは、メモリに保存され、プロセッサによって実行される。なお、メモリはプロセッサの内部または外部で実現される。

１ 全天球撮影装置（撮影装置の一例）
５ スマートフォン（通信端末の一例、画像処理装置の一例）
７ 画像管理システム（画像管理装置の一例）
１３ 撮像制御部（タイミング管理手段の一例）
１４ａ 撮像部
１４ｂ 撮像部
１５ 画像処理部
１６ 一時記憶部
１７ 低精細変更部（変更手段の一例）
１８ 射影方式変換部（射影方式変換手段の一例）
１９ 結合部（結合手段の一例）
２０ａ 動画符号化部
２０ｂ 静止画符号化部
５１ 送受信部（受信手段の一例）
５２ 受付部（受付手段の一例）
５３ａ 動画復号化部
５３ｂ 静止画号化部
５４ 重畳領域作成部
５５ 画像作成部
５６ 画像重畳部（画像合成手段の一例）
５７ 射影変換部（射影変換手段の一例）
５８ 表示制御部（表示制御手段の一例）
５９ 再生時間管理部
６０ 再生用フレーム抽出部
６１ 重畳画像判断部 （重畳画像判断手段の一例）
６３ 重畳表示制御部（重畳表示制御手段の一例）
５５１ 全体動画選択ボタン（選択手段の一例）
５５２ 部分動画選択ボタン（選択手段の一例）
５５３ 部分静止画選択ボタン（選択手段の一例）

特開２００６−３４００９１号公報

Claims (15)

1. 被写体を撮影することで所定の精細度の動画データを得る撮影装置が送信した前記動画データを受信して動画を表示する通信端末であって、
   前記所定の精細度の動画データ及び前記動画データの精細度より高精細である静止画データを受信する受信手段と、
   前記動画データに係る動画の全て又は一部である広角動画を表示手段に表示する表示制御手段と、
   前記表示手段に表示されている前記広角動画を拡大する操作を受け付ける受付手段と、
   を有し、
   前記受付手段が所定の拡大を受け付けた場合に、前記表示制御手段は、前記広角動画と前記静止画データに係る静止画であり前記広角動画より狭角である狭角静止画とが合成された状態で前記表示手段に表示することを特徴とする通信端末。
2. 前記受信手段は、前記広角動画よりも狭角で高精細であって且つ前記狭角静止画よりも広角で低精細である狭角動画のデータである狭角動画データを受信し、
   前記受付手段が前記所定の拡大としての第１の所定の拡大を受け付けた場合に、前記表示制御手段は、前記広角動画と前記狭角動画とが合成された状態で前記表示手段に表示し、さらに、前記受付手段が前記第１の所定の拡大よりも拡大された第２の所定の拡大を受け付けた場合に、前記表示制御手段は、前記広角動画と前記狭角静止画とが合成された状態で前記表示手段に表示することを特徴とする請求項１に記載の通信端末。
3. 前記受付手段が前記第２の所定の拡大を受け付けた場合に、前記表示制御手段は、前記狭角動画に換えて前記狭角静止画を表示することを特徴とする請求項２に記載の通信端末。
4. 前記受付手段が前記第２の所定の拡大を受け付けた場合に、前記表示制御手段は、前記狭角動画と前記狭角静止画とが合成された状態で前記表示手段に表示することを特徴とする請求項２に記載の通信端末。
5. 前記広角動画に前記狭角静止画を合成する画像合成手段を有することを特徴とする請求項１乃至４の何れか一項に記載の通信端末。
6. 前記合成手段によって前記狭角静止画が合成された前記広角動画の射影方式を変換する射影変換手段を有することを特徴とする請求項５に記載の通信端末。
7. 前記表示手段が表示可能な最大表示解像度に応じて、前記広角動画、前記狭角動画及び前記狭角静止画のうち少なくとも２つの組合せで合成するかを判断する重畳画像判断手段を有し、
   前記重畳画像判断手段によって合成すると判断された場合に、前記画像合成手段は、前記広角動画に前記狭角静止画を合成することを特徴とする請求項５又は６に記載の通信端末。
8. 前記広角動画に前記狭角動画を合成する画像合成手段を有することを特徴とする請求項２乃至４の何れか一項に記載の通信端末。
9. 前記合成手段によって前記狭角動画が合成された前記広角動画の射影方式を変換する射影変換手段を有することを特徴とする請求項８に記載の通信端末。
10. 前記表示手段が表示可能な最大表示解像度に応じて、前記広角動画、前記狭角動画及び前記狭角静止画のうち少なくとも２つの組合せで合成するかを判断する重畳画像判断手段を有し、
    前記重畳画像判断手段によって合成すると判断された場合に、前記画像合成手段は、前記狭角動画に前記狭角静止画を合成することを特徴とする請求項８又は９に記載の通信端末。
11. 前記受付手段は、前記所定の拡大が続けられた場合の前記広角動画又は前記狭角動画の解像度に応じて、前記広角動画の表示、前記狭角動画の表示、前記狭角静止画の表示、前記広角動画及び前記狭角動画の表示、前記広角動画及び前記狭角静止画の表示、又は、前記狭角動画及び前記狭角静止画の表示を含む表示形態のうち少なくとも一つを選択可能な選択手段を設け、前記選択手段に対する入力を受け付けることを特徴とする請求項２乃至１０のいずれか一項に記載の通信端末。
12. 被写体を撮影することで所定の精細度の動画データを得る撮影装置と、
    前記撮影装置によって得られた前記動画データを受信して管理する画像管理装置と、
    前記画像管理装置から送信された前記動画データを受信して動画を表示する通信端末と、がネットワークを介して接続された撮影システムであって、
    前記通信端末は、
    前記所定の精細度の動画データ及び前記動画データの精細度より高精細である静止画データを受信する受信手段と、
    前記動画データに係る動画の全て又は一部である広角動画を表示手段に表示させる表示制御手段と、
    前記表示手段に表示されている前記広角動画を拡大する操作を受け付ける受付手段と、
    を有し、
    前記受付手段が所定の拡大を受け付けた場合に、前記表示制御手段は、前記広角動画と前記静止画データに係る静止画であり前記広角動画より狭角である狭角静止画とが合成された状態で前記表示手段に表示することを特徴とする撮影システム。
13. 前記撮影装置は、前記被写体を撮影して得た前記所定の精細度の動画データから全天球画像データを生成する全天球画像生成手段を有する全天球撮影装置であることを特徴とする請求項１２に記載の撮影システム。
14. 被写体を撮影することで所定の精細度の動画データを得る撮影装置が送信した前記動画データを受信して動画を表示する通信端末が実行する画像処理方法であって、
    前記所定の精細度の動画データ及び前記動画データの精細度より高精細である静止画データを受信する受信ステップと、
    前記動画データに係る動画の全て又は一部である広角動画を表示手段に表示させる表示制御ステップと、
    前記表示手段に表示されている前記広角動画を拡大する操作を受け付ける受付ステップと、
    を有し、
    前記受付ステップで所定の拡大を受け付けた場合に、前記表示制御ステップは、
    前記広角動画と前記静止画データに係る静止画であり前記広角動画より狭角である狭角静止画とが合成された状態で前記表示手段に表示するステップを含む処理を実行することを特徴とする画像処理方法。
15. コンピュータに、請求項１４に記載の画像処理方法を実行させることを特徴とするプログラム。

Images