[go: up one dir, main page]

JP6249202B2 - 画像表示装置、画像表示方法、およびプログラム - Google Patents

画像表示装置、画像表示方法、およびプログラム Download PDF

Info

Publication number
JP6249202B2
JP6249202B2 JP2013099791A JP2013099791A JP6249202B2 JP 6249202 B2 JP6249202 B2 JP 6249202B2 JP 2013099791 A JP2013099791 A JP 2013099791A JP 2013099791 A JP2013099791 A JP 2013099791A JP 6249202 B2 JP6249202 B2 JP 6249202B2
Authority
JP
Japan
Prior art keywords
moving image
clip
wide
person
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013099791A
Other languages
English (en)
Other versions
JP2014220723A (ja
JP2014220723A5 (ja
Inventor
佳恵 岡澤
佳恵 岡澤
吉岡　圭一
圭一 吉岡
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2013099791A priority Critical patent/JP6249202B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP14726211.7A priority patent/EP2995092B1/en
Priority to US14/888,840 priority patent/US10469743B2/en
Priority to PCT/JP2014/002395 priority patent/WO2014181531A1/en
Priority to CN201480024999.1A priority patent/CN105210379B/zh
Publication of JP2014220723A publication Critical patent/JP2014220723A/ja
Publication of JP2014220723A5 publication Critical patent/JP2014220723A5/ja
Application granted granted Critical
Publication of JP6249202B2 publication Critical patent/JP6249202B2/ja
Priority to US16/549,169 priority patent/US11258946B2/en
Priority to US17/569,195 priority patent/US12192636B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/432—Content retrieval operation from a local storage medium, e.g. hard-disk
    • H04N21/4325—Content retrieval operation from a local storage medium, e.g. hard-disk by playing back content from the storage medium
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47217—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for controlling playback functions for recorded or on-demand content, e.g. using progress bars, mode or play-point indicators or bookmarks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/265—Mixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

本技術は、画像表示装置、画像表示方法、およびプログラムに関し、特に、広い画角の画像を効率的に見ることができるようにした画像表示装置、画像表示方法、およびプログラムに関する。
近年、パノラマ撮影の機能を搭載したデジタルカメラが各種販売されている。パノラマ撮影は、デジタルカメラ本体がユーザによって一定方向に動かされている間に撮影した複数枚の画像を合成し、１枚の広い画角の画像を生成する機能である。
また、非常に広い画角を有するレンズを搭載し、画像の合成を行うことなく広い画角の画像を撮影することができるデジタルカメラがある。そのようなデジタルカメラの中には３６０度の方向を撮影可能なものもある。
特開平１１−３３１８２７号公報
広い画角の画像を撮影することができるとしても、実際にユーザが見たいと思う範囲は一部の範囲に限られることが多い。従って、そのような広い画角の画像がそのまま表示されるとした場合、ユーザは、どの範囲に注目して画像を見ればいいのか分からない。
本技術はこのような状況に鑑みてなされたものであり、広い画角の画像を効率的に見ることができるようにするものである。
本技術の一側面の画像表示装置は、撮影装置により撮影された広角動画から、前記広角動画の撮影時に検出されたセンサデータに基づき決定される、前記撮影装置の進行方向に対応する複数の範囲を切り出した複数の切り出し画像を同時に表示させる。
前記複数の範囲を、前記進行方向と反対の方向に対応する少なくとも１つの範囲を含むようにすることができる。
前記複数の範囲を、音源の方向に対応する少なくとも１つの範囲を含むようにすることができる。
前記複数の範囲を、前記音源の方向と反対の方向に対応する少なくとも１つの範囲を含むようにすることができる。
前記複数の範囲のうちの少なくとも２つの範囲が重なるようにすることができる。
前記複数の範囲のうちの少なくとも１つの範囲を、前記広角動画の撮影時の人の画像を含む範囲とすることができる。
前記複数の範囲のうちの少なくとも１つの範囲を、前記広角動画の撮影時の動きが大きい被写体を含む範囲とすることができる。
本技術の一側面の画像表示方法は、撮影装置により撮影された広角動画から、前記広角動画の撮影時に検出されたセンサデータに基づき決定される、前記撮影装置の進行方向に対応する複数の範囲を切り出し、複数の切り出し画像を同時に表示するステップを含む。
本技術の一側面のプログラムは、撮影装置により撮影された広角動画から、前記広角動画の撮影時に検出されたセンサデータに基づき決定される、前記撮影装置の進行方向に対応する複数の範囲を切り出し、複数の切り出し画像を同時に表示するステップを含む処理をコンピュータに実行させる。
本技術の一側面においては、撮影装置により撮影された広角動画から、前記広角動画の撮影時に検出されたセンサデータに基づき決定される、前記撮影装置の進行方向に対応する複数の範囲が切り出され、複数の切り出し画像が同時に表示される。
本技術によれば、ユーザは、広い画角の画像を効率的に見ることができる。
情報処理装置とデジタルカメラを示す図である。 デジタルカメラの画角の例を示す図である。 デジタルカメラの画角の他の例を示す図である。 イベント選択画面の例を示す図である。 クリップ選択画面の例を示す図である。 クリップ再生画面の例を示す図である。 動画の切り出し範囲の例を示す図である。 デジタルカメラのハードウェア構成例を示すブロック図である。 情報処理装置のハードウェア構成例を示すブロック図である。 情報処理装置の機能構成例を示すブロック図である。 クリップデータの例を示す図である。 図１０の情報処理部の構成例を示すブロック図である。 動画の切り出し範囲の例を示す図である。 クリップ生成処理について説明するフローチャートである。 クリップ再生処理について説明するフローチャートである。 クリップ再生画面の他の例を示す図である。 クリップ再生画面のさらに他の例を示す図である。 タイムシフト再生の概念を示す図である。 タイムシフト再生画面の例を示す図である。 タイムシフト再生画面の切り替えについて説明する図である。 タイムシフト再生処理について説明するフローチャートである。 タイムシフト再生画面の他の例を示す図である。 再生時刻の変更の例を示す図である。 タイムシフト再生画面のさらに他の例を示す図である。 お気に入りアイコンを動画に重ねて表示する場合の例を示す図である。 動画を強調表示する場合の例を示す図である。 マルチスクリーン表示の第１の例を示す図である。 動画の切り出し範囲の例を示す図である。 マルチスクリーン表示の第２の例を示す図である。 動画の切り出し範囲の例を示す図である。 マルチスクリーン表示の第３の例を示す図である。 動画の切り出し範囲の例を示す図である。 マルチスクリーン表示の第４の例を示す図である。 動画の切り出し範囲の例を示す図である。 マルチスクリーン表示の第５の例を示す図である。 図３５の動画再生画面の切り替えの例を示す図である。 マルチスクリーン表示処理について説明するフローチャートである。 人物追尾再生の概念を示す図である。 顔画像選択画面の例を示す図である。 追尾再生画面の例を示す図である。 顔画像の切り出しについて説明する図である。 顔画像の表示の切り替えについて説明する図である。 顔画像選択画面の例を示す図である。 追尾再生画面の顔画像の表示の切り替えの例を示す図である。 顔画像生成処理について説明するフローチャートである。 人物追尾再生処理について説明するフローチャートである。 追尾再生画面の他の例を示す図である。 顔画像の切り出しについて説明する図である。 追尾再生画面の表示の切り替えの例を示す図である。 ネットワークシステムの構成例を示す図である。
＜情報処理装置の基本的機能＞
［装置の外観構成］
図１は、本技術の一実施形態に係る情報処理装置１と、情報処理装置１との間で通信を行うデジタルカメラ２を示す図である。
情報処理装置（表示制御装置）１は、いわゆるタブレット型の携帯情報端末である。情報処理装置１は板状の筐体を有し、筐体の表面にはLCD(Liquid Crystal Display)などのディスプレイ１１が設けられる。ディスプレイ１１にはタッチパネルが設けられる。ユーザは、ディスプレイ１１に表示されるボタンを指で直接触れるなどして情報処理装置１を操作することができる。
デジタルカメラ２は、動画の撮影機能を有する撮影装置である。デジタルカメラ２は薄型の略縦長直方体状の筐体を有し、筐体の上面には広角レンズ２１が設けられる。デジタルカメラ２による動画の撮影は、例えば図１に示すように広角レンズ２１の光軸を真上に向けた状態で行われる。
図２は、デジタルカメラ２の画角の例を示す図である。
位置Ｐ１において広角レンズ２１を真上に向けて撮影が行われた場合、図２に示すように、一点鎖線で示す光軸Ｌ１と天頂が交わる半天球状の範囲の動画が撮影される。すなわち、水平方向に３６０度、垂直方向に１８０度の画角を有する動画が撮影される。
デジタルカメラ２の筐体下面にも広角レンズが設けられ、図３に示すように全天球状の範囲の動画が撮影されるようにしてもよい。光軸Ｌ２は、デジタルカメラ２の筐体の下面に設けられた広角レンズの光軸である。この場合、上面の広角レンズ２１を介して撮影された動画と下面の広角レンズを介して撮影された動画が、同時刻に撮影されたフレーム同士合成され、１つの全天球状の範囲を撮影範囲とする動画が生成される。
以下、デジタルカメラ２により撮影される広角動画が、図２に示す半天球状の範囲を撮影範囲とする動画である場合について説明する。
デジタルカメラ２による広角動画の撮影は、例えば１時間や２時間といったように比較的長い時間、連続して行われる。デジタルカメラ２を体の一部に固定するなどして行動することにより、ユーザは、自身の行き先の全方向（水平方向に３６０度、垂直方向に１８０度の方向）の風景を動画として撮影することができる。
情報処理装置１には、デジタルカメラ２により撮影された広角動画を管理するアプリケーションである広角動画管理アプリケーションがインストールされている。広角動画管理アプリケーションは、デジタルカメラ２との間で無線または有線の通信を行い、デジタルカメラ２により撮影された広角動画のデータを取得する。デジタルカメラ２から取得された広角動画のデータは、例えば情報処理装置１の内蔵のメモリに記憶される。
情報処理装置１においては、デジタルカメラ２から取得された長時間の広角動画が１０分毎などの所定の時間毎に区切られ、クリップとして管理される。また、複数のクリップが、撮影間隔などに基づいてイベント毎にまとめて管理される。
［UI(User Interface)の例］
図４は、イベント選択画面の例を示す図である。
イベント選択画面は、再生対象とするクリップが属するイベントの選択に用いられる画面である。図４のイベント選択画面は、例えば、メニュー画面にあるアイコンをタップするなどして、広角動画管理アプリケーションの起動が指示されたときにディスプレイ１１に表示される。
図４の上段のイベント選択画面の左側には、帯状（横長長方形状）のサムネイル画像３１乃至３５が所定の間隔を空けて縦に並べて表示される。サムネイル画像３１は略下半分のみが表示され、サムネイル画像３５は略上半分のみが表示されている。サムネイル画像の右側には、撮影日、イベント名などの情報が表示される。
サムネイル画像は、クリップの広角動画から一部の範囲を切り出し、帯状に展開することによって生成された静止画である。後述するように、各クリップの広角動画を対象として例えば人物が写っている範囲が切り出され、サムネイル画像が生成される。
このように、情報処理装置１においては、１フレームの広角動画から任意の一部の範囲を切り出して展開することによって帯状のフレーム形状を有する静止画が生成され、サムネイル画像として用いられる。サムネイル画像として静止画ではなく動画を用いることも可能である。
以下、適宜、サムネイル表示される動画をサムネイル動画という。単にサムネイル画像というときは、その画像は、サムネイル表示される画像が静止画であることを表す。サムネイル動画は、一部の範囲を切り出して帯状のフレーム形状に展開することを広角動画の各フレームを対象として行うことによって生成される。
サムネイル画像３１乃至３５の下には、同じイベントに属するサムネイル画像が角度を若干ずらして重ねて表示される。サムネイル画像が重ねて表示されていることは、同じイベントに属するクリップとして複数のクリップがあることを表す。
ユーザは、イベント選択画面上でドラッグ操作を行うことにより、下段のイベント選択画面に示すように表示を切り替えることができる。例えば上方向のドラッグ操作が行われたとき、サムネイル画像３１乃至３５全体が操作量に応じて上方向に移動し、イベント選択画面の表示は下段の画面に切り替わる。下段のイベント選択画面においては、サムネイル画像３４乃至３８が表示される状態になっている。
図４のイベント選択画面から、ユーザはサムネイル画像を見て好みのイベントを選択することができる。
図５は、クリップ選択画面の例を示す図である。
クリップ選択画面は、図４のイベント選択画面において所定のサムネイル画像がタップされ、イベントが選択されたときに表示される。
イベントが選択されたとき、クリップ選択画面の右側には、画像５３が中央にくるようにして、帯状の画像である画像５１乃至５５が縦方向に、それぞれ位置を若干ずらして表示される。画像５１乃至５５は、選択されたイベントに属するクリップを表す画像である。画像５１乃至５５の左側にはクリップの撮影時刻が表示される。イベントが選択されたとき、図４のイベント選択画面は、束ねられた帯が画面上に広がるようなアニメーションを経て図５のクリップ選択画面に切り替わる。
画像５１は、撮影時刻を「14:40」とするクリップを表すサムネイル画像である。画像５２は、撮影時刻を「14:50」とするクリップを表すサムネイル画像である。
また、フォーカスがあてられた状態になっている中央の画像５３は、撮影時刻を「15:00」とするクリップを表すサムネイル動画である。例えば、フォーカスがあてられた動画である画像５３のみがカラー表示となり、他のサムネイル画像（静止画）はグレー表示となる。
画像５４は、撮影時刻を「15:10」とするクリップを表すサムネイル画像である。画像５５は、撮影時刻を「15:20」とするクリップを表すサムネイル画像である。
なお、中央の画像５３の位置を基準とすると、上にある画像５２は、画像５２の下側の一部が画像５３の下に隠れるように、かつ、画像５３より右側に若干ずらして表示される。また、下にある画像５４は、画像５４の上側の一部が画像５３の下に隠れるように、かつ、画像５３より右側に若干ずらして表示される。
一番上の画像５１は、画像５１の下側の一部が画像５２の下に隠れるように、かつ、画像５２より右側に若干ずらして表示される。一番下の画像５５は、画像５５の上側の一部が画像５４の下に隠れるように、かつ、画像５４より右側に若干ずらして表示される。
ユーザは、クリップ選択画面上でドラッグ操作を行うことにより、下段のクリップ選択画面に示すように表示を切り替えることができる。例えば上方向のドラッグ操作が行われたとき、画像５１乃至５５全体が操作量に応じて上方向に移動し、クリップ選択画面の表示は下段の画面に切り替わる。下段のクリップ選択画面においては、画像５１乃至５５が表示されていた位置にそれぞれ画像５３乃至５７が表示される状態になっている。
中央に表示されていないから、画像５３は、動画ではなく、撮影時刻を「15:00」とするクリップを表すサムネイル画像となる。画像５４は、撮影時刻を「15:10」とするクリップを表すサムネイル画像である。
フォーカスがあてられた状態になっている中央の画像５５は、撮影時刻を「15:20」とするクリップを表すサムネイル動画である。撮影時刻を「15:20」とするクリップの広角動画から切り出された動画が画像５５として表示される。
画像５６は、撮影時刻を「15:30」とするクリップを表すサムネイル画像である。画像５７は、撮影時刻を「15:40」とするクリップを表すサムネイル画像である。
図５のクリップ選択画面から、ユーザは、選択したイベントに属する各クリップの内容を時系列順に確認することができる。
図６は、クリップ再生画面の例を示す図である。
クリップ再生画面は、図５のクリップ選択画面からクリップが選択されたときに表示される。フォーカスがあてられたサムネイル動画に対してタップが行われることによってクリップが選択されたとき、情報処理装置１のモードは動画ビューモードとなり、選択されたクリップの再生が開始される。クリップ再生画面には、クリップの広角動画から切り出された所定の範囲の動画が表示される。
ユーザは、図６の画面中央に矢印で示すように上下左右にドラッグ操作を行うことにより、動画の切り出し範囲を自由に変更し、好みの被写体が写る範囲を表示させることができる。
図７は、動画の切り出し範囲の例を示す図である。
図７の半天球が、ユーザにより選択されたクリップの広角動画の１フレームの撮影範囲全体を表す。位置Ｐ１は広角動画の撮影位置、すなわちデジタルカメラ２の撮影時の位置である。切り出し範囲の説明に用いる他の図においても同様である。
球面上に破線で示す枠Ｆ１が広角動画からの切り出し範囲を示す。クリップ再生画面には、枠Ｆ１で示す範囲内の画像が広角動画の各フレームから切り出され、動画として表示される。位置Ｐ１を基準として水平方向に３６０度、垂直方向に１８０度の方向にある被写体が広角動画には写っているが、一部の被写体しか表示されないことになる。
ユーザによりドラッグ操作が行われたとき、ユーザの操作に応じて枠Ｆ１が移動することによって切り出し範囲が切り替わり、クリップ再生画面に表示される被写体も切り替わる。ピンチアウト／ピンチインによって枠Ｆ１の大きさを変え、クリップ再生画面に表示する被写体の拡大／縮小を行うことができるようにしてもよい。
クリップの再生が開始された直後のデフォルトの枠Ｆ１の位置は、例えば人物が写っている範囲を切り出すようにして設定される。複数の人物が写っている場合、人物が密集している範囲（人物の密度が閾値より高い範囲）を切り出すようにして枠Ｆ１が設定されるようにすることも可能である。
クリップのオーディオデータに基づいて音源方向を特定し、音源方向の範囲を切り出すように枠Ｆ１を設定するといったように、画像データ以外のデータを用いて切り出し範囲を設定することも可能である。動画の切り出し範囲の設定については後に詳述する。
このように、情報処理装置１においては、デジタルカメラ２により撮影された長時間の広角動画がクリップ毎に分けて管理され、再生される。また、広角動画から切り出した一部の範囲の動画が表示される。
これにより、ユーザは、広い画角の動画を効率的に見せることができる。仮に、長時間の広角動画がそのまま表示されるとした場合、ユーザは、自分が注目している被写体が写っていない時間帯の動画や、注目している被写体が写っていない範囲の動画も見る必要があるが、そのようなことを防ぐことが可能になる。
以上のような画面表示を行う情報処理装置１の処理についてはフローチャートを参照して後述する。
［機器の内部構成］
図８は、デジタルカメラ２のハードウェア構成例を示すブロック図である。
デジタルカメラ２は、制御部７１に対して、撮影部７２、マイクロフォン７３、センサ７４、ディスプレイ７５、操作部７６、スピーカ７７、記憶部７８、および通信部７９が接続されることによって構成される。
制御部７１は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などより構成される。制御部７１は、所定のプログラムを実行し、ユーザの操作に応じてデジタルカメラ２の全体の動作を制御する。
例えば、制御部７１は、撮影部７２により撮影された広角動画のデータを、マイクロフォン７３から供給されたオーディオデータやセンサ７４から供給されたセンサデータとともに記憶部７８に記憶させる。広角動画のデータには、撮影日時などの情報も付加される。また、制御部７１は、通信部７９を制御して情報処理装置１と通信を行い、広角動画のデータを情報処理装置１に送信する。
撮影部７２は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサなどの撮像素子を有する。撮影部７２は、広角レンズ２１を介して取り込んだ光の光電変換やアナログ信号のA/D変換などを行い、広角動画のデータを制御部７１に出力する。
マイクロフォン７３は、広角動画の撮影にあわせて集音し、オーディオデータを制御部７１に出力する。
センサ７４は、GPS(Global Positioning System)センサ、ジャイロセンサ、加速度センサなどにより構成される。センサ７４は、広角動画の撮影にあわせて、測位や、角速度、加速度の検出を行い、センサデータを制御部７１に出力する。センサデータには、広角動画の撮影中の各時刻における撮影位置、角速度、および加速度の情報が含まれる。
ディスプレイ７５は、LCDなどにより構成され、制御部７１による制御に従って、メニュー画面や撮影中の広角動画などの各種の情報を表示する。
操作部７６は、デジタルカメラ２の筐体表面に設けられた操作ボタンやタッチパネルなどより構成される。操作部７６は、ユーザによる操作の内容を表す情報を制御部７１に出力する。
スピーカ７７は、例えば広角動画の再生中、制御部７１から供給されたオーディオ信号に基づいて音声を出力する。
記憶部７８は、フラッシュメモリや、筐体に設けられたカードスロットに挿入されたメモリカードにより構成される。記憶部７８は、制御部７１から供給された広角動画のデータなどの各種のデータを記憶する。
通信部７９は、無線や有線の通信を情報処理装置１との間で行う。通信部７９は、制御部７１から供給された広角動画のデータなどの各種のデータを情報処理装置１に送信する。
図９は、情報処理装置１のハードウェア構成例を示すブロック図である。
CPU９１、ROM９２、RAM９３は、バス９４により相互に接続される。CPU９１は、所定のプログラムを実行し、情報処理装置１の各部を制御する。例えば、CPU９１は、所定のOS(Operating System)上で動作する広角動画管理アプリケーションを実行し、広角動画の再生に関する各種の処理を行う。
バス９４には、入出力インタフェース９５が接続され、入出力インタフェース９５には、ディスプレイ１１、タッチパネル９６、スピーカ９７、記憶部９８、通信部９９、およびドライブ１００が接続される。入出力インタフェース９５に接続される各部とCPU９１との間のデータの送受信は、バス９４と入出力インタフェース９５を介して行われる。
タッチパネル９６は、ディスプレイ１１の表面に対するユーザの操作を検出し、操作の内容を表す信号をCPU９１に出力する。
スピーカ９７は、広角動画の音声などの各種の音声を出力する。
記憶部９８は、フラッシュメモリなどの記憶媒体により構成される。記憶部９８は、広角動画のデータなどの各種のデータを記憶する。記憶部９８に記憶されたデータは、適宜、CPU９１により読み出される。
通信部９９は、無線や有線の通信をデジタルカメラ２との間で行う。通信部９９は、デジタルカメラ２から送信されてきた広角動画のデータを受信し、記憶部９８に供給して記憶させる。
ドライブ１００は、カードスロットに挿入されたメモリカード１０１を駆動する。ドライブ１００は、メモリカード１０１に対する各種のデータの書き込みや、メモリカード１０１からの各種のデータの読み出しを行う。
図１０は、情報処理装置１の機能構成例を示すブロック図である。
図１０に示す機能部のうちの少なくとも一部は、図９のCPU９１により広角動画管理アプリケーションが実行されることによって実現される。情報処理装置１においては、画像データ取得部１１１、クリップ生成部１１２、クリップデータ記憶部１１３、再生部１１４、情報処理部１１５、および表示制御部１１６が実現される。
画像データ取得部１１１は、デジタルカメラ２から送信され、通信部９９において受信された広角動画のデータを取得する。画像データ取得部１１１が取得する広角動画のデータには、オーディオデータ、センサデータ、および、撮影日時、ファイル名などのメタデータも付加されている。画像データ取得部１１１は、取得したデータをクリップ生成部１１２に出力する。
広角動画のデータが、デジタルカメラ２による広角動画の撮影に連動してリアルタイムで取得されるようにしてもよい。
クリップ生成部１１２は、画像データ取得部１１１から供給された長時間の広角動画を１０分などの短い時間毎に区切ることによってクリップを生成する。クリップ生成部１１２は、広角動画、オーディオデータ、センサデータ、メタデータを含む各クリップのデータをクリップデータ記憶部１１３に記憶させる。
また、クリップ生成部１１２は、複数のクリップをイベント毎にまとめ、各クリップのメタデータとして、クリップが属するイベントの識別情報、イベント名などの情報を設定する。各クリップのイベントは、撮影間隔が所定の時間内にあるクリップをまとめたり、撮影日が同じ日にちのクリップをまとめたりして決定される。広角動画を解析し、同じシーンが写っているクリップをまとめるようにして決定されるようにしてもよい。イベント名は、ユーザにより入力されるなどして設定される。
クリップデータ記憶部１１３は、例えば記憶部９８において実現される。クリップデータ記憶部１１３は、クリップ生成部１１２から供給された各クリップのデータを記憶する。また、クリップデータ記憶部１１３は、情報処理部１１５から供給された情報を記憶する。情報処理部１１５からクリップデータ記憶部１１３に対しては、各クリップに写る人物の識別情報、人物の位置を表す情報などが供給される。
図１１は、クリップデータの例を示す図である。
各クリップのデータは、１０分毎などに区切られた広角動画のデータ、オーディオデータ、センサデータ、メタデータ、およびサムネイルデータから構成される。
センサデータには、撮影時にデジタルカメラ２において検出されたクリップの撮影位置、加速度、角速度の情報が含まれる。
メタデータには、クリップ名、撮影日時、イベントID、イベント名、人物ID、および人物位置情報が含まれる。
クリップ名は、例えばデジタルカメラ２において広角動画のデータに設定されたファイル名とクリップの撮影日時を組み合わせるなどして設定される。撮影日時は、例えばクリップの撮影日時を表す。
イベントIDは、クリップが属するイベントの識別情報である。イベント名は、クリップが属するイベントの名前である。イベントIDとイベント名は例えばクリップ生成部１１２により設定される。
人物IDは、クリップの広角動画に写る人物に割り当てられた識別情報である。人物位置情報は、広角動画に写っている人物の、撮影範囲内における位置を表す。人物IDと人物位置情報は情報処理部１１５により設定される。例えば、人物IDと人物位置情報は、クリップの再生時刻と対応付けて管理される。情報処理装置１は、メタデータから、クリップ再生中のどのタイミングで、どの人物が、どこに写っているのかを特定することが可能となる。
サムネイルデータには、クリップの広角動画の１フレームから切り出された静止画であるサムネイル画像と、広角動画の各フレームから切り出すことによって生成された動画であるサムネイル動画が含まれる。
クリップデータ記憶部１１３は、各クリップのデータとして、このような各種のデータを記憶する。クリップデータ記憶部１１３に記憶された各クリップのデータは、適宜、再生部１１４、情報処理部１１５、および表示制御部１１６により読み出される。
再生部１１４は、再生対象とするクリップの広角動画のデータをクリップデータ記憶部１１３から読み出して再生する。広角動画のデータは例えば所定のフォーマットで符号化されている。再生部１１４は、再生して得られた広角動画の各フレームのデータを情報処理部１１５に出力する。
なお、再生部１１４による広角動画の再生と併せて、図示せぬ再生部においてオーディオデータの再生も行われる。オーディオデータを再生して得られたオーディオ信号に基づいて、図９のスピーカ９７からクリップの音声が出力される。
情報処理部１１５は、再生部１１４から供給された広角動画から一部の範囲を切り出すなどの画像処理を行う。情報処理部１１５は、再生対象とするクリップの広角動画から切り出した動画を表示制御部１１６に出力する。また、情報処理部１１５は、クリップの解析時、広角動画から切り出した静止画をサムネイル画像としてクリップデータ記憶部１１３に出力する。
表示制御部１１６は、情報処理部１１５から供給された動画をディスプレイ１１に表示させる。また、表示制御部１１６は、例えばイベント選択画面を表示するとき、メタデータとして設定されている各クリップのサムネイル画像やサムネイル動画をクリップデータ記憶部１１３から読み出し、表示させる。
図１２は、図１０の情報処理部１１５の構成例を示すブロック図である。
情報処理部１１５は、画像解析部１３１、データ解析部１３２、および切り出し部１３３から構成される。画像解析部１３１には人物検出部１３１Ａが含まれる。再生部１１４から供給された広角動画のデータは、画像解析部１３１と切り出し部１３３に入力される。また、クリップデータ記憶部１１３から読み出されたオーディオデータ、センサデータ、およびメタデータはデータ解析部１３２に入力される。
画像解析部１３１は、広角動画を対象として各種の解析を行い、解析結果を切り出し部１３３に出力する。
画像解析部１３１の人物検出部１３１Ａは、広角動画の各フレームの撮影範囲全体を対象として人物を検出する。人物の検出には例えば顔検出の技術が用いられる。複数の人物が広角動画に写っている場合、それぞれの人物が検出される。画像解析部１３１は、人物の位置を表す情報を切り出し部１３３に出力する。また、画像解析部１３１は、人物IDと人物位置情報をクリップデータ記憶部１１３に出力する。
データ解析部１３２は、クリップのオーディオデータ、センサデータ、メタデータを解析し、解析結果を切り出し部１３３に出力する。
例えば、データ解析部１３２は、オーディオデータを解析することによって広角動画の撮影範囲に含まれる音源方向を特定し、音源方向の情報を出力する。また、データ解析部１３２は、センサデータに含まれる角速度、加速度のデータを解析することによって広角動画の撮影時におけるデジタルカメラ２の進行方向などを特定し、デジタルカメラ２の進行方向に関する情報を出力する。データ解析部１３２は、メタデータを解析し、再生対象のクリップに写っている人物ID、人物位置情報を出力する。
切り出し部１３３は、画像解析部１３１とデータ解析部１３２による解析結果に基づいて、動画の切り出し範囲を設定する。切り出し範囲はユーザにより指定された位置にも基づいて設定される。
切り出し部１３３は、ユーザにより選択されたクリップの再生時、広角動画から切り出した動画を表示制御部１１６に出力して表示させる。また、切り出し部１３３は、クリップの解析時、広角動画から切り出した静止画をサムネイル画像として、また、動画をサムネイル動画としてクリップデータ記憶部１１３に出力する。
図１３は、動画の切り出し範囲の例を示す図である。
図１３の例においては、広角動画の撮影範囲に３人の人物が写っており、人物検出部１３１Ａにより検出される。この場合、例えば、枠Ｆ１１で示すように２人の人物を含む範囲や、枠Ｆ１２で示すように１人の人物を含む範囲が切り出し範囲として設定される。
このように、１フレームの広角動画から複数の動画を切り出すことも可能である。また、切り出し範囲の位置、大きさ（画角）、縦横比なども任意である。
［情報処理装置の動作］
ここで、以上のような構成を有する情報処理装置１の処理について説明する。
はじめに、図１４のフローチャートを参照して、情報処理装置１のクリップ生成処理について説明する。図１４の処理は、例えば、デジタルカメラ２から送信されてきた広角動画のデータが通信部９９により受信されたときに開始される。
ステップＳ１において、画像データ取得部１１１は、広角動画のデータを取得し、オーディオデータ、センサデータ、およびメタデータとともにクリップ生成部１１２に出力する。
ステップＳ２において、クリップ生成部１１２は、画像データ取得部１１１から供給された長時間の広角動画を短い時間毎に区切ることによってクリップを生成する。
ステップＳ３において、クリップ生成部１１２は、複数のクリップをイベント毎にまとめ、各クリップのデータをクリップデータ記憶部１１３に記憶させる。クリップデータ記憶部１１３には、広角動画のデータ、オーディオデータ、センサデータと、クリップ名、撮影日時、イベントID、イベント名を含むメタデータが各クリップのデータとして記憶される。その後、クリップの解析が行われる。
ステップＳ４において、再生部１１４は、１つのクリップに注目し、再生する。再生部１１４は、再生して得られた広角動画のデータを情報処理部１１５に出力する。
ステップＳ５において、人物検出部１３１Ａは、広角動画の各フレームの撮影範囲全体を対象として人物を検出する。
ステップＳ６において、人物検出部１３１Ａは、検出した人物の人物IDと人物位置情報をクリップデータ記憶部１１３に出力し、メタデータとして設定する。
ステップＳ７において、データ解析部１３２は、注目されているクリップのオーディオデータとセンサデータをクリップデータ記憶部１１３から読み出して解析する。例えば、データ解析部１３２は、オーディオデータを解析し、音源の方向や各音源の音量を特定する。また、データ解析部１３２は、センサデータを解析し、撮影時の進行方向、移動速度などを特定する。データ解析部１３２は、解析結果を切り出し部１３３に出力する。
ステップＳ８において、切り出し部１３３は、人物検出部１３１Ａによる検出結果とデータ解析部１３２による解析結果に基づいて、広角動画の１フレームから一部の範囲を切り出し、サムネイル画像を生成する。また、切り出し部１３３は、人物検出部１３１Ａとデータ解析部１３２による解析結果に基づいて、広角動画の各フレームから一部の範囲を切り出し、サムネイル動画を生成する。
例えば、人物が多く写っている範囲、音量が大きい音源方向の範囲などが、盛り上がっている被写体が写っている範囲として判断され、広角動画から切り出される。また、撮影時の進行方向の範囲、デジタルカメラ２の正面方向の範囲などが広角動画から切り出される。
ステップＳ９において、切り出し部１３３は、切り出したサムネイル画像とサムネイル動画を、注目しているクリップのデータとしてクリップデータ記憶部１１３に記憶させる。
ステップＳ１０において、再生部１１４は、全てのクリップに注目したか否かを判定する。再生部１１４は、全てのクリップに注目していないとステップＳ１０において判定した場合、ステップＳ４に戻り、注目するクリップを切り替えて以上の処理を繰り返す。全てのクリップに注目したとステップＳ１０において判定された場合、処理は終了される。
以上においては、クリップの生成後に各クリップの解析が行われ、サムネイル画像の生成などが行われるものとしたが、図４を参照して説明したようなイベント選択画面の表示前のタイミングであれば他のタイミングに行われるようにしてもよい。
次に、図１５のフローチャートを参照して、情報処理装置１のクリップ再生処理について説明する。図１５の処理は、例えば、メニュー画面にあるアイコンをタップするなどして広角動画管理アプリケーションの起動が指示されたときに開始される。
ステップＳ２１において、表示制御部１１６は、各イベントのサムネイル画像をクリップデータ記憶部１１３から読み出し、並べて表示させる。例えば、表示制御部１１６は、イベントに属するクリップの中から選択した１つのクリップのサムネイル画像をイベント毎に表示させる。
これにより、図４を参照して説明したようなイベント選択画面が表示される。ユーザは、上方向または下方向のドラッグ操作を行うことにより、サムネイル画像の表示を切り替え、サムネイル画像をタップすることによって好みのイベントを選択することができる。
イベントが選択されたとき、ステップＳ２２において、表示制御部１１６は、選択されたイベントに属する各クリップのサムネイル画像をクリップデータ記憶部１１３から読み出し、並べて表示させる。撮影時刻順に並べたときに中央に位置するクリップについては、表示制御部１１６はサムネイル動画をクリップデータ記憶部１１３から読み出して表示させる。
これにより、図５を参照して説明したようなクリップ選択画面が表示される。ユーザは、上方向または下方向のドラッグ操作を行うことにより、サムネイル画像やサムネイル動画の表示を切り替え、タップによって好みのクリップを選択することができる。
クリップが選択されたとき、ステップＳ２３において、再生部１１４は、選択されたクリップを再生し、広角動画のデータを情報処理部１１５に出力する。
ステップＳ２４において、切り出し部１３３は、広角動画から一部の範囲の動画を切り出し、切り出した各フレームからなる動画のデータを表示制御部１１６に出力する。
ステップＳ２５において、表示制御部１１６は、広角動画から切り出された動画をディスプレイ１１に表示させる。
これにより、図６を参照して説明したようなクリップ再生画面が表示される。ユーザは、ドラッグ操作により表示範囲（広角動画からの切り出し範囲）を切り替えたり、ピンチアウト／ピンチイン操作により表示範囲を拡大縮小したりすることができる。
以上の処理により、ユーザは、画角が広い動画が先頭から表示される場合に較べて、好みの区間のクリップの好みの範囲のみを表示させることができ、画角が広い動画を効率的に見ることができる。
［クリップ再生画面の他の例］
図１６は、クリップ再生画面の他の例を示す図である。図１６のクリップ再生画面は、例えば図４のイベント選択画面からイベントが選択されたときに表示される。
図１６のクリップ再生画面は、横長長方形の広い領域である動画表示領域１４１と、縦長長方形の領域であるサムネイル表示領域１４２から構成される。動画表示領域１４１は、ディスプレイ１１の略５／６の範囲を占めるように、ディスプレイ１１の右側に形成される。サムネイル表示領域１４２は動画表示領域１４１の左側に形成される。
動画表示領域１４１には、再生中のクリップの広角動画から切り出された動画が表示される。サムネイル表示領域１４２には、各クリップを表すサムネイル画像１５１乃至１５５が時系列順に縦に並べて表示される。中央のサムネイル画像１５３にはカーソルＣがあてられている。動画表示領域１４１に表示されている動画は、サムネイル画像１５３により内容が表されるクリップの広角動画から切り出されたものである。
ユーザは、サムネイル表示領域１４２上で上下方向のドラッグ操作を行うことにより、サムネイル画像の表示を切り替えることができる。また、ユーザは、動画表示領域１４１上でドラッグ操作を行うことにより、動画の切り出し範囲を切り替え、再生中のクリップの好みの範囲を見ることができる。
図１７は、クリップ再生画面のさらに他の例を示す図である。図１７のクリップ再生画面は、サムネイル画像の表示領域と動画の表示領域の配置を図１６の画面と較べて変更したものである。
図１７のクリップ再生画面は、動画表示領域１７１とサムネイル表示領域１７２から構成される。動画表示領域１７１は、ディスプレイ１１の略３／４の範囲を占めるように、ディスプレイ１１の上側に形成される。サムネイル表示領域１７２は動画表示領域１７１の下側に形成される。
このように、クリップ再生画面の構成は適宜変更可能である。図１６と図１７の表示を切り替えたり、図６と図１６の表示、図６と図１７の表示をそれぞれ切り替えたりすることができるようにしてもよい。
＜タイムシフト再生＞
次に、タイムシフト再生について説明する。
［タイムシフト再生について］
図１８は、タイムシフト再生の概念を示す図である。
タイムシフト再生は、撮影時間が連続する複数のクリップの再生を先頭から同時刻に開始し、それぞれのクリップの広角動画から切り出した動画を１画面に並べて表示させる機能である。
図１８の例においては、３つのクリップであるクリップ＃１乃至＃３が、それぞれ先頭の時刻ｔ１，ｔ２，ｔ３から同時に再生される。
また、白抜き矢印の先に示すように、クリップ＃１乃至＃３の広角動画から、それぞれ枠Ｆ２１乃至Ｆ２３で示す範囲の動画が切り出され、１画面に並べて表示される。枠Ｆ２１乃至Ｆ２３で示す範囲は、同じ方向にある同じ大きさの範囲である。
図１８の左側に示す実線矢印Ａ１は、クリップ＃１の撮影時における進行方向を表す。図１８の中央に示す実線矢印Ａ２と右側に示す実線矢印Ａ３は、それぞれ、クリップ＃２，＃３の撮影時における進行方向を表す。進行方向は、例えばセンサデータに含まれる加速度や角速度のデータに基づいて特定される。枠Ｆ２１乃至Ｆ２３で示す範囲は、いずれも、撮影時の進行方向にある同じ範囲である。
各クリップは同じ時間毎に区切られているから、クリップの再生時間と同じ時間だけ時間をシフトさせた、同じ範囲の動画が１画面に並べて表示されることになる。
動画の切り出し範囲の基準となる方向は撮影時の進行方向に限られない。例えば、音源方向を基準として動画が切り出されるようにしてもよいし、特定の人物がいる方向を基準として動画が切り出されるようにしてもよい。
［タイムシフト再生のUIの例］
図１９は、タイムシフト再生画面の例を示す図である。
図１９のタイムシフト再生画面は、例えば図４のイベント選択画面から所定のイベントが選択されたときに表示される。イベントが選択されたとき、イベントに属するクリップのうち、撮影時間が連続する例えば３つのクリップの再生が開始される。
図１９の上段のタイムシフト再生画面においては、ディスプレイ１１が縦方向に３分割され、上から順に、帯状の動画表示領域２０１乃至２０３が形成されている。
動画表示領域２０１には、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が表示される。また、動画表示領域２０２には、撮影時刻を「14:40」とするクリップの広角動画から切り出された動画が表示されている。動画表示領域２０３には、撮影時刻を「14:50」とするクリップの広角動画から切り出された動画が表示されている。それぞれの表示領域の右端には、撮影時刻の情報が動画に重ねて表示されている。
各クリップの再生が開始されてから一定時間が経過した後、各動画が上方向にスクロールし、下段の画面に示すように、動画表示領域２０１乃至２０３の各動画が切り替えられる。
下段のタイムシフト再生画面の動画表示領域２０１には、撮影時刻を「15:00」とするクリップの広角動画から切り出された動画が表示されている。撮影時刻を「15:00」とするクリップは、上段のタイムシフト再生画面において一番下の動画表示領域２０３に表示されていたクリップに続くクリップである。
また、下段のタイムシフト再生画面の動画表示領域２０２には、撮影時刻を「15:10」とするクリップの広角動画から切り出された動画が表示され、動画表示領域２０３には、撮影時刻を「15:20」とするクリップの広角動画から切り出された動画が表示されている。
動画の切り替えは、各クリップの再生が最後まで終了したときに行われるようにしてもよいし、３分などの所定の時間が経過したときに行われるようにしてもよい。動画の切り替えのタイミングをユーザが設定できるようにしてもよい。
動画表示領域２０１乃至２０３の各領域に表示される動画は、例えば上下方向のドラッグ操作がユーザにより行われたときにも切り替えられる。図１９の上段のタイムシフト再生画面が表示されている状態で、３つの動画分の上方向のドラッグ操作が行われたとき、タイムシフト再生画面の表示は、図１９の下段の画面に切り替わる。
図２０は、タイムシフト再生画面の切り替えについて説明する図である。
タイムシフト再生画面の切り替えは、各クリップの広角動画から切り出した動画を時系列順に縦に並べ、そのうちの３つの動画を囲む枠ｆをユーザの操作に応じて上下に、または一定時間毎に下方向に移動させるようにして行われる。枠ｆにより囲まれている動画が、動画表示領域２０１乃至２０３にそれぞれ表示されることになる。
例えば、クリップ＃１１乃至＃１３の広角動画から切り出された動画の表示が開始されてから一定時間が経過した後、枠ｆで囲んで示すクリップ＃１４乃至＃１６の広角動画から切り出された動画が表示される。また、クリップ＃１４乃至＃１６の広角動画から切り出された動画の表示が開始されてから一定時間が経過した後、クリップ＃１７乃至＃１９の広角動画から切り出された動画が表示される。クリップ＃１１乃至＃１９は撮影時間が連続するクリップである。
以上のようなタイムシフト再生の機能を利用することにより、ユーザは、複数のクリップを並行して見ることができる。ユーザは、クリップを１つずつ見る場合に較べて、広い画角の動画を効率的に見ることが可能になる。
タイムシフト再生によって表示されている動画に対してタップが行われ、いずれかのクリップが選択された場合、選択されたクリップの広角動画から切り出された動画がディスプレイ１１全体に図６に示すようにして表示される。
例えば、図１９の上段のタイムシフト再生画面の動画表示領域２０１に表示されている動画に対してタップ操作が行われた場合、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が図６に示すようにして表示される。広角動画からの切り出し範囲は、例えば動画表示領域２０１に表示されていた範囲を含む範囲となる。
これにより、ユーザは、図１９に示すタイムシフト再生画面を見て、詳細を確認したいクリップがあったときには、そのクリップを選択することによって、選択したクリップの動画をディスプレイ１１に大きく表示させることができる。
［タイムシフト再生処理］
ここで、図２１のフローチャートを参照して、情報処理装置１のタイムシフト再生処理について説明する。図２３の処理は、例えば、図４に示すイベント選択画面から所定のイベントが選択されたときに開始される。
ステップＳ５１において、再生部１１４は、選択されたイベントに属する複数のクリップの中から、撮影時間が連続する複数のクリップを撮影時刻が早いものから順に選択し、再生する。再生部１１４は、再生して得られた各クリップの広角動画のデータを情報処理部１１５に出力する。
ステップＳ５２において、切り出し部１３３は、各クリップの広角動画から同じ範囲の動画を切り出す。各クリップの広角動画から切り出された動画のデータは表示制御部１１６に供給される。
ステップＳ５３において、表示制御部１１６は、各クリップの広角動画から切り出された動画を図１９に示すように各動画表示領域に並べて表示させる。
ステップＳ５４において、再生部１１４は、上下方向のドラッグ操作がユーザにより行われたか否かを判定する。
上下方向のドラッグ操作が行われたとステップＳ５４において判定した場合、ステップＳ５５において、再生部１１４は、再生するクリップをユーザの操作に応じて切り替える。再生部１１４は、ステップＳ５１に戻り、新たに選択した複数のクリップの再生を開始してそれ以降の処理を行う。
一方、上下方向のドラッグ操作が行われていないとステップＳ５４において判定した場合、ステップＳ５６において、再生部１１４は、再生を開始してから一定時間が経過したか否かを判定する。再生を開始してから一定時間が経過していないとステップＳ５６において判定した場合、再生部１１４は、ステップＳ５１に戻り、再生中のクリップの再生を続行する。
一方、再生を開始してから一定時間が経過したとステップＳ５６において判定した場合、ステップＳ５７において、再生部１１４は、ユーザにより選択されたイベントに属する最後のクリップまで再生したか否かを判定する。
最後のクリップまで再生していないとステップＳ５７において判定した場合、ステップＳ５８において、再生部１１４は、再生するクリップを、それまで再生していたクリップに続く複数のクリップに切り替える。
その後、再生部１１４は、ステップＳ５１に戻り、新たに選択した複数のクリップの再生を開始してそれ以降の処理を行う。一方、最後のクリップまで再生したとステップＳ５７において判定された場合、処理は終了される。
以上の処理により、ユーザは、クリップを１つずつ見る場合に較べて、広い画角の動画を効率的に見ることが可能になる。
タイムシフト再生時に広角動画から切り出した動画を表示させるのではなく、予め生成された、各クリップのサムネイル動画を用いて図１９に示すような画面が表示されるようにしてもよい。
［タイムシフト再生時のUIの他の例］
図２２は、タイムシフト再生画面の他の例を示す図である。
図２２の例においては、ディスプレイ１１が垂直方向に６分割され、動画表示領域２２１乃至２２６が形成されている。動画表示領域２２１乃至２２６には、撮影時間が連続する６つのクリップの広角動画から切り出された動画が表示される。例えば、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が一番上の動画表示領域２２１に表示され、そのクリップに続く各クリップの広角動画から切り出された動画が動画表示領域２２２乃至２２６に表示される。
このように、一画面に並べて表示する動画を３つ以上とすることも可能である。例えば、ユーザが情報処理装置１の向きを横向きから縦向きに変えたとき、タイムシフト再生時の画面は、図１９に示す画面から図２２に示す画面に切り替わる。
図２３は、再生時刻の変更の例を示す図である。
図２３のタイムシフト再生画面は図１９の上段の画面と同じである。動画表示領域２０１には、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が表示され、動画表示領域２０２には、撮影時刻を「14:40」とするクリップの広角動画から切り出された動画が表示されている。動画表示領域２０３には、撮影時刻を「14:50」とするクリップの広角動画から切り出された動画が表示されている。
この状態において、例えば、白抜き矢印Ａ１１で示すように、撮影時刻を「14:40」とするクリップの動画上で左方向のドラッグ操作が行われた場合、撮影時刻を「14:40」とするクリップのみ、再生時刻の巻き戻しが行われる。また、白抜き矢印Ａ１２で示すように右方向のドラッグ操作が行われた場合、撮影時刻を「14:40」とするクリップのみ、再生時刻の早送りが行われる。
このように、複数の動画を並行して再生させるのではなく、ユーザが再生時刻を指定できるようにしてもよい。また、ユーザにより選択されたクリップのみを対象として再生時刻の巻き戻しまたは早送りを行うのではなく、複数の動画の再生時刻を一括して巻き戻しまたは早送りさせることができるようにしてもよい。
また、以上においては、各クリップの広角動画から切り出した帯状の動画を表示させるものとしたが、表示画面の構成は適宜変更可能である。
図２４は、タイムシフト再生画面のさらに他の例を示す図である。
図２４の例においては、画面全体が縦方向に３分割されるとともに横方向にも３分割され、動画の表示領域として動画表示領域２４１乃至２４９の９つの領域が形成されている。この場合、広角動画からの切り出し範囲は、横方向の長さが縦方向の長さに対して若干長い横長長方形の範囲となり、そのような範囲の動画が動画表示領域２４１乃至２４９の各領域に表示される。
図２４の例においては、撮影時刻を「14:30」とするクリップの広角動画から切り出された動画が左上の動画表示領域２４１に表示されている。また、撮影時刻を「14:30」とするクリップに続く８個の各クリップの広角動画から切り出された動画が動画表示領域２４２乃至２４９に表示されている。
以上のように、タイムシフト再生時の画面には複数のクリップの動画が表示されるが、撮影時刻以外の、クリップに関する各種の情報を動画とともに表示させるようにすることも可能である。
図２５は、お気に入りアイコンを動画に重ねて表示する場合の例を示す図である。
この例においては、ユーザは、並べて表示される動画を見てお気に入りのクリップがあった場合、そのことを表す情報をクリップに設定することができるようになされている。お気に入りのクリップの選択は、例えば、並べて表示されている動画に対してタップを一定時間以上続けるなどの所定の操作によって行われる。
お気に入りのクリップが選択された場合、表示制御部１１６は、選択されたクリップの動画に重ねて、星形などの所定の形状のアイコンをお気に入りアイコンとして表示させる。また、情報処理部１１５は、お気に入りのクリップとして選択されたことを表す情報をクリップのメタデータとして設定する。
図２５の例においては、クリップ＃２１乃至＃２７のうち、クリップ＃２１、＃２３、＃２６の動画に対して、お気に入りアイコン２６１乃至２６３が付加されている。
お気に入りアイコンが表示されることにより、ユーザは、タイムシフト再生時の画面をスクロールしてクリップの内容を見ているときなどに、過去に、自分がお気に入りとして設定したクリップであることを確認することができる。
メタデータとして設定された、お気に入りのクリップであることを表す情報は、例えば、クリップのダイジェスト版を生成するときに用いられる。ダイジェスト版のコンテンツは、あるイベントに属するクリップの中から選択された所定の数のクリップを結合することによって生成される動画コンテンツである。
例えば、あるイベントが選択され、ダイジェスト版の生成がユーザにより指示された場合、情報処理部１１５は、お気に入りのクリップとして選択されたことを表す情報をメタデータに含むクリップを優先的に組み込むようにしてコンテンツを生成する。
このように、クリップのメタデータに対してタグとなる各種の情報を設定することができるようにしてもよい。
図２６は、盛り上がり区間を含むクリップの広角動画から切り出された動画を強調表示する場合の例を示す図である。
この例においては、各クリップを対象として、盛り上がり区間を含むクリップであるか否かの判定が行われるようになされている。
盛り上がり区間を含むクリップであるか否かは、例えば、人物検出部１３１Ａにより検出された人物の数、オーディオデータに基づいてデータ解析部１３２により検出された音量などに基づいて情報処理部１１５により判定される。閾値以上の数の人物が写っているクリップなどが、盛り上がり区間を含むクリップとして判定される。情報処理部１１５は、盛り上がり区間を含むと判定したクリップに対して、そのことを表す情報をメタデータとして設定する。
表示制御部１１６は、盛り上がり区間を含むクリップの動画に所定の色の枠の画像を付加し、強調して表示させる。
図２６の例においては、クリップ＃３１乃至＃４１のうち、クリップ＃３２、＃３６、＃３９の動画が強調して表示されている。
強調して表示されることにより、ユーザは、タイムシフト再生画面をスクロールしてクリップの内容を見ているときなどに、盛り上がり区間を含むクリップであることを容易に確認することができる。
＜マルチスクリーン表示＞
次に、マルチスクリーン表示について説明する。
マルチスクリーン表示は、１つのクリップの広角動画に対して複数の切り出し範囲を設定し、切り出した複数の動画を一画面に表示させる機能である。
［マルチスクリーン表示の第１の例］
図２７は、マルチスクリーン表示の第１の例を示す図である。
図２７の動画再生画面においては、ディスプレイ１１が上下に２分割され、領域３０１と領域３０２が形成されている。領域３０１は、ディスプレイ１１の略３／４の範囲を占めるように、ディスプレイ１１の上側に形成される。領域３０２は領域３０１の下側に形成される。
領域３０１には、ほぼまっすぐな道路の両脇に木々がある風景を被写体とする動画が表示されている。領域３０２には、オートバイのハンドル中央に設けられたインジケータ類を被写体とする動画が表示されている。図２７の動画再生画面に表示されている動画は、それぞれ、オートバイの運転中に撮影されたクリップの広角動画から切り出された動画である。
図２８は、動画の切り出し範囲の例を示す図である。
撮影位置である位置Ｐ１は、オートバイの運転手の略胸元前方付近の位置である。矢印Ａ２１は撮影中の進行方向を示す。
この場合、切り出し部１３３は、枠Ｆ３１で示す、縦横比が領域３０１の縦横比とほぼ同じ横長長方形の範囲を切り出し範囲として設定する。枠Ｆ３１で示す切り出し範囲は、例えば、撮影中の進行方向の被写体であり、かつ、動きが大きく遠くにある被写体を含むように設定されたものである。切り出し部１３３は、枠Ｆ３１で示す範囲から切り出した、進行方向前方の風景を被写体とする動画の表示領域として領域３０１を割り当てる。
また、切り出し部１３３は、枠Ｆ３２で示す、縦横比が領域３０２の縦横比とほぼ同じ帯状の範囲を切り出し範囲として設定する。枠Ｆ３２で示す切り出し範囲は、例えば、撮影中の進行方向の被写体であり、かつ、動きが小さく近くにある被写体を含むように設定されたものである。切り出し部１３３は、枠Ｆ３２で示す範囲から切り出した、インジケータ類を被写体とする動画の表示領域として領域３０２を割り当てる。
この例においては、動画の切り出し範囲の設定と、切り出した動画の表示領域への割り当てが、撮影中の進行方向、被写体の動きの量、および被写体までの距離に基づいて行われることになる。
すなわち、撮影中の進行方向の動画であり、動きが大きく遠くにある被写体を含む動画が、広い領域である領域３０１に割り当てられる。また、撮影中の進行方向の動画であり、動きが小さく近くにある被写体を含む動画が、狭い領域である領域３０２に割り当てられる。撮影中の進行方向は、撮影中に検出された角速度、加速度のセンサデータに基づいて特定される。また、被写体の動きの量と被写体までの距離は、広角動画を解析することによって特定される。
なお、切り出し範囲の数と形状は、例えば、ユーザにより選択された動画再生画面の領域レイアウトに応じて決定される。ユーザは、マルチスクリーン表示の対象とするクリップを選択する前や後に、予め用意されている複数のレイアウトの中から好みの領域レイアウトを選択することになる。
このような画面が表示されることにより、ユーザは、運転中に見ていた前方の風景とインジケータ類の動きを見比べることができる。また、前方の風景とインジケータ類の動きは運転中の様子を見返すユーザにとっては興味のある被写体といえるから、ユーザは、運転中の広角動画の撮影範囲全体が表示される場合に較べて、広角動画を効率的に見ることができる。
ユーザは、各領域に表示されている動画に対して操作を行うことにより、動画の切り出し範囲を変更することができる。例えば、領域３０１に表示されている動画に対してタップが行われた場合、枠Ｆ３１で示す範囲を含む動画が同じ広角動画から切り出され、ディスプレイ１１全体に図６に示すようにして表示される。ユーザは、運転中の前方の風景が全体に表示される図６に示す画面においてドラッグ操作を行うことにより、前方の風景以外の好みの風景を確認することもできる。
また、領域３０１に表示されている動画に対してドラッグ操作が行われた場合、枠Ｆ３１で示す範囲がドラッグ操作に応じて移動し、異なる範囲の動画が広角動画から切り出される。切り出された動画は領域３０１に表示される。
さらに、領域３０１に表示されている動画に対してピンチアウト／ピンチイン操作が行われた場合、枠Ｆ３１で示す範囲のサイズが、縦横比を維持したまま切り替わり、画角の異なる範囲の動画が広角動画から切り出される。切り出された動画は領域３０１に表示される。
領域３０２に表示されている動画についても同様に、ユーザの操作に応じて表示が切り替えられる。後述するマルチスクリーン表示の他の画面の動画についても同様である。
［マルチスクリーン表示の第２の例］
図２９は、マルチスクリーン表示の第２の例を示す図である。
図２９の動画再生画面は、台形の領域である領域３１１、領域３１１と対向する台形の領域である領域３１２、および、それ以外の領域である領域３１３から構成される。
領域３１１は、ディスプレイ１１の上辺を下底とし、下底の略１／２の長さの上底を有する台形の領域であり、ディスプレイ１１の上側に形成される。領域３１２は、ディスプレイ１１の下辺を下底とし、下底の略１／２の長さの上底を有する台形の領域であり、ディスプレイ１１の下側に形成される。領域３１１と領域３１２の高さはそれぞれディスプレイの垂直方向の長さの略１／４であり、その上底同士は所定の距離だけ離れている。
領域３１１には、オートバイの運転手を被写体とする動画が表示され、領域３１２には、オートバイのハンドル中央に設けられたインジケータ類を被写体とする動画が表示されている。領域３１１と領域３１２に挟まれた領域である領域３１３には、ほぼまっすぐな道路の両脇に木々がある風景を被写体とする動画が表示されている。図２９の動画再生画面に表示されている動画も、それぞれ、オートバイの運転中に撮影されたクリップの広角動画から切り出された動画である。
図３０は、動画の切り出し範囲の例を示す図である。
撮影位置である位置Ｐ１は、オートバイの運転手の略胸元前方付近の位置である。矢印Ａ２１は撮影中の進行方向を示す。
この場合、切り出し部１３３は、枠Ｆ４１で示す、縦横比がディスプレイ１１の縦横比とほぼ同じ横長長方形の範囲を切り出し範囲として設定する。枠Ｆ４１で示す切り出し範囲は、例えば、撮影中の進行方向の被写体であり、かつ、動きが大きく遠くにある被写体を含むように設定されたものである。切り出し部１３３は、枠Ｆ４１で示す範囲から切り出した、進行方向前方の風景を被写体とする動画の表示領域として領域３１３を割り当てる。
また、切り出し部１３３は、枠Ｆ４２で示す、縦横比が領域３１２の下底と高さの比とほぼ同じ帯状の範囲を切り出し範囲として設定する。枠Ｆ４２で示す切り出し範囲は、例えば、撮影中の進行方向の被写体であり、かつ、動きが小さく近くにある被写体を含むように設定されたものである。切り出し部１３３は、枠Ｆ４２で示す範囲から切り出したインジケータ類を被写体とする動画の表示領域として領域３１２を割り当てる。
切り出し部１３３は、枠Ｆ４３で示す、縦横比が領域３１１の下底と高さの比とほぼ同じ帯状の範囲を切り出し範囲として設定する。枠Ｆ４３で示す切り出し範囲は、例えば、撮影中の進行方向と反対方向の被写体であり、かつ、動きが小さく近くにいる人物を含むように設定されたものである。切り出し部１３３は、枠Ｆ４３で示す範囲から切り出した、運転手を被写体とする動画の表示領域として領域３１１を割り当てる。
この例においては、動画の切り出し範囲の設定と、切り出した動画の表示領域への割り当てが、撮影中の進行方向、被写体の動きの量、被写体までの距離、および人物の位置に基づいて設定される。
すなわち、撮影中の進行方向の動画であり、動きが大きく遠くにある被写体を含む動画が、広い領域である領域３１３に割り当てられる。また、撮影中の進行方向の被写体であり、かつ、動きが小さく近くにある被写体を含む動画が、狭い領域である領域３１２に割り当てられる。さらに、撮影中の進行方向と反対方向の被写体であり、かつ、動きが小さく近くにいる人物を含む動画が、狭い領域である領域３１１に割り当てられる。
このような領域レイアウトの画面を表示することにより、情報処理装置１は、クリップの奥行き感（スピード感）を強調することが可能になる。
また、ユーザは、運転中に見ていた前方の風景と、インジケータ類の動きと、運転手の様子とを見比べることができる。ユーザは、運転中の広角動画の撮影範囲全体を見る場合に較べて、広い画角の動画を効率的に見ることができる。
センサデータに基づいて特定される撮影中の移動速度に応じて画面構成が変更されるようにしてもよい。例えば、情報処理装置１は、撮影中の移動速度が閾値の速度以上である場合、台形の領域をより広くするなどして図２９の画面構成を変更する。これにより、情報処理装置１は、奥行き感などのユーザが受ける印象を移動速度に応じて強調することが可能になる。
［マルチスクリーン表示の第３の例］
図３１は、マルチスクリーン表示の第３の例を示す図である。
図３１の動画再生画面においては、図２７の画面と同様に、ディスプレイ１１が上下に２分割され、領域３２１と領域３２２が形成されている。
領域３２１には、演劇発表会の出演者を被写体とする動画が表示されている。領域３２２には、演劇発表会の観客を被写体とする動画が表示されている。すなわち、図３１の動画再生画面に表示されている動画は、それぞれ、演劇発表会の最中に撮影されたクリップの広角動画から切り出された動画である。
図３２は、動画の切り出し範囲の例を示す図である。
撮影位置である位置Ｐ１は、発表会の舞台と観客席の間の位置である。矢印Ａ２１は舞台の方向を示す。
この場合、切り出し部１３３は、枠Ｆ５１で示す、縦横比が領域３２１の縦横比とほぼ同じ横長長方形の範囲を切り出し範囲として設定する。枠Ｆ５１で示す切り出し範囲は、例えば、動きが大きく、音源方向にある被写体を含むように設定されたものである。切り出し部１３３は、枠Ｆ５１で示す範囲から切り出した、舞台上の出演者を被写体とする動画の表示領域として領域３２１を割り当てる。
また、切り出し部１３３は、枠Ｆ５２で示す、縦横比が領域３２２の縦横比とほぼ同じ帯状の範囲を切り出し範囲として設定する。枠Ｆ５２で示す切り出し範囲は、例えば、動きが大きく、音源方向にある被写体と反対方向の被写体であり、かつ、動きが小さい人物を被写体として含むように設定されたものである。切り出し部１３３は、枠Ｆ５２で示す範囲から切り出した観客を被写体とする動画の表示領域として領域３２２を割り当てる。
この例においては、動画の切り出し範囲の設定と、切り出した動画の表示領域への割り当てが、撮影中の音源方向、被写体の動きの量に基づいて設定されることになる。
すなわち、撮影中の音源方向の被写体であり、動きが大きい被写体を含む動画が、広い領域である領域３０１に割り当てられる。また、撮影中の音源方向と反対方向の被写体であり、動きが小さい被写体を含む動画が、狭い領域である領域３０２に割り当てられる。撮影中の音源方向は、クリップのオーディオデータに基づいて特定される。また、被写体の動きの量は広角動画を解析することによって特定される。
このような画面が表示されることにより、ユーザは、演劇の内容と観客の様子を見比べることができる。また、ユーザは、演劇中の撮影範囲全体を見る場合に較べて、広い画角の動画を効率的に見ることができる。
［マルチスクリーン表示の第４の例］
図３３は、マルチスクリーン表示の第４の例を示す図である。
図３３の動画再生画面においては、ディスプレイ１１が左右に２分割され、右半分だけがさらに上下に２分割されることによって領域３３１乃至３３３が形成されている。領域３３１は、ディスプレイ１１の略１／２の範囲を占めるように、ディスプレイ１１の左半分に形成される。領域３３２は、ディスプレイ１１の略１／４の範囲を占めるように、ディスプレイ１１の右上に形成される。領域３３３は領域３３２の下側に形成される。
領域３２１には、２人のプレーヤーがいるテニスコートを被写体とする動画が表示されている。領域３３２と領域３３３には、それぞれ、プレーヤーを被写体とする動画が表示されている。図３３の動画再生画面に表示されている動画は、それぞれ、テニスのプレー中に撮影されたクリップの広角動画から切り出された動画である。
図３４は、動画の切り出し範囲の例を示す図である。
撮影位置である位置Ｐ１は、テニスコート全体を見下ろすことができる観客席の位置である。矢印Ａ２１はテニスコートの方向を示す。
この場合、切り出し部１３３は、枠Ｆ６１で示す、縦横比が領域３３１の縦横比とほぼ同じ長方形の範囲を切り出し範囲として設定する。枠Ｆ６１で示す切り出し範囲は、例えば、動きが大きい２人の人物を常に含むように設定されたものである。切り出し部１３３は、枠Ｆ６１で示す範囲から切り出した、テニスコート全体を被写体とする動画の表示領域として領域３３１を割り当てる。
また、切り出し部１３３は、枠Ｆ６２で示す、縦横比が領域３３２の縦横比とほぼ同じ長方形の範囲を切り出し範囲として設定する。枠Ｆ６１で示す切り出し範囲内の一部の範囲の動画が切り出されることになる。枠Ｆ６２で示す切り出し範囲は、例えば、動きが大きく、遠くにいる人物を被写体として含むように設定されたものである。切り出し部１３３は、枠Ｆ６２で示す範囲から切り出した、２人のプレーヤーのうちの遠くにいるプレーヤーを被写体とする動画の表示領域として領域３３２を割り当てる。
切り出し部１３３は、枠Ｆ６３で示す、縦横比が領域３３３の縦横比とほぼ同じ長方形の範囲を切り出し範囲として設定する。枠Ｆ６３で示す切り出し範囲は、例えば、動きが大きく、近くにいる人物を被写体として含むように設定されたものである。切り出し部１３３は、枠Ｆ６３で示す範囲から切り出した、２人のプレーヤーのうちの近くにいるプレーヤーを被写体とする動画の表示領域として領域３３３を割り当てる。
この例においては、動画の切り出し範囲の設定と、切り出した動画の表示領域への割り当てが、被写体の動きの量、および人物の位置に基づいて行われることになる。また、広い範囲と、その内部の一部の範囲を切り出すように切り出し範囲の設定が行われる。
上述したように、各クリップのメタデータには、広角動画に写っている人物の人物IDと人物位置情報が時刻情報と対応付けて設定されている。
枠Ｆ６２で示す切り出し範囲は、人物位置情報に基づいて、同じ人物の動きに追尾して設定される。枠Ｆ６３で示す切り出し範囲も同様に、人物位置情報に基づいて、同じ人物の動きに追尾して設定される。
これにより、領域３３２には同じ人物が表示され続け、領域３３３には同じ人物が表示され続けることになる。
広い画角の動画とその動画のうちの一部に寄った動画が並べて表示されることにより、ユーザは、テニスコート全体の様子と２人のプレーヤーのそれぞれの様子を見比べることができる。また、ユーザは、広い画角の動画を見てからプレーヤーに寄った動画を見るといったようにクリップを１つずつ見る場合に較べて、広い画角の動画を効率的に見ることができる。
［マルチスクリーン表示の第５の例］
図３５は、マルチスクリーン表示の第５の例を示す図である。
図３５の動画再生画面においては、ディスプレイ１１が左右に２分割され、左半分だけがさらに上下に２分割されることによって領域３４１乃至３４３が形成されている。領域３４１は、ディスプレイ１１の略１／４の範囲を占めるように、ディスプレイ１１の左上に形成される。領域３４２は、ディスプレイ１１の略１／４の範囲を占めるように、ディスプレイ１１の左下に形成される。領域３４３は、ディスプレイ１１全体の略１／２の範囲を占めるように、ディスプレイ１１の右半分に形成される。
領域３４１には、風景を被写体とする動画が表示され、領域３４２には、自転車に乗っている人物を被写体とする動画が表示されている。図３５の動画再生画面に表示されている動画は、それぞれ、自転車の運転中に撮影されたクリップの広角動画から切り出された動画である。
動画の切り出し範囲は、図３０の枠Ｆ４１と枠Ｆ４３で示す切り出し範囲とほぼ同様である。撮影中の進行方向の被写体であり、かつ、動きが大きく遠くにある被写体を含む範囲の動画が広角動画から切り出され、領域３４１に割り当てられる。また、撮影中の進行方向と反対方向の被写体であり、かつ、動きが小さく近くにいる人物を含む範囲の動画が領域３４２に割り当てられる。
領域３４３には、インターネット上のサーバなどからダウンロードされた地図が表示されている。地図上にはアイコン３５１が表示され、撮影時の位置が示されている。上述したように、各クリップのメタデータには、撮影時の位置を表す情報が含まれている。
このように、広角動画から切り出した動画とともに、動画に関連する各種の情報を表示させるようにすることも可能である。これにより、ユーザは、動画に関連する情報を確認しながら、広い画角の動画を効率的に見ることができる。
図３５の動画再生画面の中央下方にはアイコン３６１とアイコン３６２が並べて表示されている。アイコン３６１とアイコン３６２は表示モードを切り替えるときに操作される。図３５の動画再生画面が表示されているとき、アイコン３６１のみが操作可能となり、アイコン３６２は操作不可の状態になる。
図３６は、図３５の動画再生画面が表示されている状態でアイコン３６１が操作されたときに表示される画面の例を示す図である。
アイコン３６１が操作されたとき、図３５の動画再生画面の領域３４１に表示されていた動画が、上下に弓形の黒領域を付した形でディスプレイ１１に拡大して表示される。このような表示によっても、情報処理装置１は、クリップの奥行き感を強調することが可能になる。
図３６の動画再生画面が表示されている状態でアイコン３６２が操作されたとき、ディスプレイ１１の表示は図３５の動画再生画面に切り替わる。図３６の動画再生画面が表示されているとき、アイコン３６２のみが操作可能となり、アイコン３６１は操作不可の状態になる。
［マルチスクリーン表示処理］
ここで、図３７のフローチャートを参照して、情報処理装置１のマルチスクリーン表示処理について説明する。図３７の処理は、例えば、図５に示すクリップ選択画面から再生対象とするクリップが選択されたときに開始される。
再生対象とするクリップが選択されたとき、ディスプレイ１１には、領域レイアウトの選択画面が表示される。ユーザは、選択画面に表示される複数種類の領域レイアウトの中から、好みの領域レイアウトを選択することが可能となる。
ステップＳ６１において、切り出し部１３３は、選択画面に対するユーザの操作に応じて、領域レイアウトを選択する。切り出し部１３３は、領域レイアウトに応じて、広角動画から動画を切り出す範囲の大きさ、形状、数を決定する。
ステップＳ６２において、再生部１１４は、再生対象のクリップを再生し、広角動画のデータを情報処理部１１５に出力する。
ステップＳ６３において、画像解析部１３１は、広角動画の撮影範囲全体の解析を行う。例えば、画像解析部１３１は、広角動画に写っているシーンの認識、広角動画に写っている被写体毎の動きの量、被写体までの距離などを特定する。画像解析部１３１は、解析結果のデータを切り出し部１３３に出力する。
ステップＳ６４において、データ解析部１３２は、再生対象のクリップのオーディオデータとメタデータをクリップデータ記憶部１１３から読み出し、解析する。例えば、データ解析部１３２は、オーディオデータを解析することによって音源方向を特定する。また、データ解析部１３２は、角速度、加速度のデータに基づいて撮影時の進行方向を特定する。
クリップに写っている人物の検出と同様に、ステップＳ６３とステップＳ６４において行われる解析がクリップの再生前に予め行われるようにしてもよい。この場合、解析結果のデータは各クリップのメタデータとして設定される。
ステップＳ６５において、切り出し部１３３は、領域レイアウトに応じた動画の切り出し範囲を設定する。また、切り出し部１３３は、切り出した動画を表示領域に割り当てる。切り出し範囲の設定と表示領域に対する動画の割り当ては、画像解析部１３１とデータ解析部１３２による解析結果、および再生対象のクリップのメタデータに含まれる人物の情報に基づいて、図２８、図３０、図３２、または図３４を参照して説明したようにして行われる。
ステップＳ６６において、切り出し部１３３は、設定した切り出し範囲に従って、クリップの広角動画から動画を切り出す。
ステップＳ６７において、表示制御部１１６は、広角動画から切り出された動画を、図２７、図２９、図３１、または図３３を参照して説明したように各領域に表示させる。
ステップＳ６８において、再生部１１４は、再生終了か否かを判定し、再生終了ではないと判定した場合、ステップＳ６２以降の処理を繰り返す。繰り返し行われる処理においては、ユーザによる操作が行われた場合や人物の追尾を行う場合などに、切り出し範囲の設定が再度行われる。一方、再生終了であるとステップＳ６８において判定された場合、処理は終了される。
以上の処理により、ユーザは、広い画角の動画を効率的に見ることができる。
以上においては、領域レイアウトがユーザにより選択されるものとしたが、人物検出の結果、広角動画の解析結果、オーディオデータやセンサデータの解析結果などに基づいて情報処理装置１により自動的に選択されるようにしてもよい。
また、切り出し範囲の設定と各表示領域への動画の割り当てがクリップの再生時に行われるものとしたが、例えば図２７に示すような動画再生画面を表示するためのクリップが、予め生成されるようにしてもよい。予め生成されたマルチスクリーン表示用のクリップの再生が指示されたとき、図２７に示すような動画再生画面が表示される。
＜人物追尾再生＞
次に、人物追尾再生について説明する。
［人物追尾再生について］
図３８は、人物追尾再生の概念を示す図である。
人物追尾再生は、特定の人物の動きに切り出し範囲を追尾させ、同じ人物が写る動画を表示させ続ける機能である。人物追尾再生は、再生対象のクリップのメタデータに含まれる人物IDと人物位置情報を用いて実現される。
図３８に示すクリップ＃５１は、時刻ｔ１１から時刻ｔ１４までの時間を再生時間とするクリップである。１人の人物が、時刻ｔ１１から時刻ｔ１２までは位置Ｐ１１に写り、時刻ｔ１２から時刻ｔ１３までは位置Ｐ１２に写っている。また、同じ人物が、時刻ｔ１３から時刻ｔ１４までは位置Ｐ１３に写っている。このような各時刻の人物の位置を表す情報がメタデータに含まれている。
クリップ＃５１に写る人物を対象とした人物追尾再生が指示された場合、時刻ｔ１１から時刻ｔ１２までは、位置Ｐ１１を含む、枠Ｆ１０１で示す範囲の動画が切り出され、表示される。また、時刻ｔ１２から時刻ｔ１３までは、位置Ｐ１２を含む、枠Ｆ１０２で示す範囲の動画が切り出され、表示される。時刻ｔ１３から時刻ｔ１４までは、位置Ｐ１３を含む、枠Ｆ１０３で示す範囲の動画が切り出され、表示される。
これにより、ディスプレイ１１には、クリップ＃５１に写っている同じ人物が常に表示され続けることになる。ユーザは、自分が選択した人物に注目してクリップを見ることができる。
［人物追尾再生の第１の例］
図３９は、顔画像選択画面の例を示す図である。
顔画像選択画面は、追尾対象とする人物の選択に用いられる。図３９の顔画像選択画面には、人物の顔の画像である顔画像４０１乃至４１２が、３行４列に並べて画面中央付近に表示されている。顔画像４０１乃至４１２は、それぞれランダムに角度を変えて、一部が重なり合うように表示されている。顔画像４０１乃至４１２の背景には、再生対象のクリップの画像が表示されている。
顔画像４０１乃至４１２は、再生対象のクリップに写っている全ての人物の顔の画像である。顔の画像は、例えば人物追尾再生を開始する前に再生対象のクリップの広角動画から切り出される。
ユーザは、顔画像をタップすることによって、追尾対象とする人物を選択することができる。図３９の例においては、顔画像４０１がカーソルＣによって選択された状態になっている。
このように、追尾対象とする人物の選択は、人物の顔を指定することによって行われる。
図４０は、追尾再生画面の例を示す図である。
追尾再生画面は、追尾対象とする人物が選択されたときに表示される。人物が選択されたとき、クリップ全体のうち、選択された人物が写っている時刻から再生が開始され、追尾対象とする人物を含む範囲の動画が広角動画から切り出される。切り出された動画は画面全体に表示される。
図４０に示すように、追尾再生画面の下方には、再生対象のクリップの動画に重ねて、顔画像４２１乃至４２８が横に並べて表示される。図４０の例においては、破線で囲んで示す顔画像の表示領域４３１が、再生対象のクリップの動画の表示領域である画面全体の内側に形成されている。
顔画像４２１乃至４２８は、再生中のシーンに写っている人物全員の、いまの顔の動画である。顔画像４２５にカーソルＣがあてられ、顔画像４２５の顔の人物が追尾対象になっていることが表されている。
ユーザは、追尾再生画面の下に並べて表示されている顔画像をタップすることによって、追尾対象とする人物を切り替えることができる。
図４１は、追尾再生画面に表示する顔画像の切り出しについて説明する図である。
左奥の位置Ｐ１１に写っている人物が、いま追尾対象になっている人物である。追尾再生画面の全体には、枠Ｆ１０１で示す、追尾対象の人物を含む範囲の動画が表示される。
図４１の例においては、いま再生中のシーンには、位置Ｐ２１乃至Ｐ２６にいる６人の人物が、追尾対象の人物（位置Ｐ１１にいる人物）以外に写っている。枠Ｆ１０１で示す範囲の外にいるから、追尾対象の人物以外の６人の人物は、いまは、顔画像によって顔が表示されることを除いて、追尾再生画面に表示されていない人物である。
このとき、追尾対象の位置Ｐ１１にいる人物を含む範囲の動画以外に、枠Ｆ１１１乃至Ｆ１１６で示す６人の人物の顔を含む範囲の動画も広角動画から切り出される。切り出された動画が、追尾対象の人物の顔画像とともに、図４０に示すように顔画像として並べて表示される。追尾対象の人物の顔画像は、例えば、枠Ｆ１０１で示す範囲の動画の表示範囲を制限することによって表示される。
例えば、位置Ｐ２１にいる人物の顔画像が追尾再生画面において選択された場合、新たな追尾対象の人物は位置Ｐ２１にいる人物となり、動画の切り出し範囲は、位置Ｐ２１にいる人物を含む範囲に切り替えられる。
追尾再生画面には、位置Ｐ２１にいる人物が写っている動画が全体に表示される。また、追尾再生画面には、位置Ｐ１１にいる人物と、位置Ｐ２１乃至Ｐ２６にいる人物のそれぞれの顔画像が下に並べて表示される。
このように、ユーザは、追尾して表示させている人物以外の人物を、新たな追尾対象として容易に選択することができる。
図４２は、クリップの再生中における顔画像の切り替えについて説明する図である。
再生対象のクリップであるクリップ＃６１は、時刻ｔ２１から時刻ｔ２７までの時間を再生時間とするクリップである。クリップ＃６１には、再生時間全体を通して、人物Ａ乃至Ｄの４人の人物が現れる（４人の人物が写っている）。
時間軸方向に示す矢印は、それぞれの人物が写っている時間を表す。人物Ａは、時刻ｔ２１から時刻ｔ２５までの時間帯に写り、人物Ｂは、時刻ｔ２１から時刻ｔ２４までの時間帯に写っている。人物Ｃは、時刻ｔ２３から時刻ｔ２６までの時間帯に写り、人物Ｄは、時刻ｔ２１から時刻ｔ２７までの全時間帯に写っている。メタデータに含まれる人物IDに基づいて、それぞれの人物がどの時間帯に写っているのかが特定される。
追尾対象とする人物の選択に用いられる顔画像選択画面には、図４３に示すように、人物Ａ乃至Ｄの顔画像が表示される。例えば、人物Ｄの顔画像が選択され、人物Ｄが追尾対象として選択されたものとする。
人物Ｄを追尾対象とすることが選択された場合、クリップ＃６１の再生が開始される。人物Ｄは時刻ｔ２１から写っているから、クリップ＃６１の再生は先頭の時刻ｔ２１から開始される。仮に人物Ｃが追尾対象の人物として選択された場合、人物Ｃが写っている時刻ｔ２３からクリップ＃６１の再生が開始される。
クリップ＃６１の再生が開始されたとき、追尾対象として選択された人物Ｄを含む範囲の動画が追尾再生画面に表示される。これにより、ユーザは、人物Ｄを含む範囲だけを見ることができる。
また、時刻ｔ２１から時刻ｔ２３までの時間帯においては、人物Ｄを含む範囲の動画だけでなく、その時間帯に写っている人物Ａと人物Ｂの顔を含む範囲の動画も切り出される。追尾再生画面の下方には、図４４の最上段に示すように、人物Ａの顔画像と人物Ｂの顔画像が、追尾対象になっている人物Ｄの顔画像とともに表示される。ユーザは、追尾対象を、人物Ｄから、人物Ａまたは人物Ｂに切り替えることができる。
人物Ｄに追尾したクリップ＃６１の再生が進み、時刻ｔ２３になったとき、追尾再生画面の表示は、図４４の白抜き矢印Ａ１０１の先に示すように、人物Ａ、人物Ｂ、および人物Ｄの顔画像に加えて、人物Ｃの顔画像も表示される状態になる。人物Ｃは、クリップ＃６１の広角動画中に時刻ｔ２３から現れる。白抜き矢印Ａ１０１の先に示す表示は、時刻ｔ２４まで続けられる。ユーザは、追尾対象を、人物Ｄから、人物Ａ、人物Ｂ、または人物Ｃに切り替えることができる。
人物Ｄに追尾したクリップ＃６１の再生が進み、時刻ｔ２４になったとき、追尾再生画面の表示は、図４４の白抜き矢印Ａ１０２の先に示すように、人物Ｂの顔画像が消え、人物Ａ、人物Ｃ、および人物Ｄの顔画像が表示される状態になる。人物Ｂは、時刻ｔ２４から、クリップ＃６１の広角動画中に現れなくなる。白抜き矢印Ａ１０２の先に示す表示は、時刻ｔ２５まで続けられる。ユーザは、追尾対象を、人物Ｄから、人物Ａ、または人物Ｃに切り替えることができる。
人物Ｄに追尾したクリップ＃６１の再生が進み、時刻ｔ２５になったとき、追尾再生画面の表示は、図４４の白抜き矢印Ａ１０３の先に示すように、人物Ａの顔画像が消え、人物Ｃの顔画像と人物Ｄの顔画像が表示される状態になる。人物Ａは、時刻ｔ２５から、クリップ＃６１の広角動画中に現れなくなる。白抜き矢印Ａ１０３の先に示す表示は、時刻ｔ２６まで続けられる。ユーザは、追尾対象を、人物Ｄから、人物Ｃに切り替えることができる。
人物Ｄに追尾したクリップ＃６１の再生が進み、時刻ｔ２６になったとき、追尾再生画面の表示は、図４４の白抜き矢印Ａ１０４の先に示すように、人物Ｃの顔画像が消え、人物Ｄの顔画像のみが表示される状態になる。人物Ｃは、時刻ｔ２６から、クリップ＃６１の広角動画中に現れなくなる。白抜き矢印Ａ１０４の先に示す表示は、時刻ｔ２７まで続けられる。
人物Ｄに追尾したクリップ＃６１の再生中に所定の操作が行われたとき、クリップ＃６１の再生は一時停止され、ディスプレイ１１には、追尾再生画面に代えて、図４３の顔画像選択画面が表示される。ユーザは、新たな追尾対象とする人物を顔画像選択画面からも選択することができる。
このように、ユーザは、人物の顔の画像から、追尾対象とする人物を選択することができる。また、特定の人物が写っている動画が表示され続けることから、ユーザは、画角が広い動画を効率的に見ることができる。
［人物追尾再生処理］
ここで、図４５のフローチャートを参照して、情報処理装置１の顔画像生成処理について説明する。図４５の処理は、例えば人物追尾再生の開始前に行われる。
図４５の処理によって生成された顔画像は、例えば顔画像選択画面の表示に用いられる。図４５の処理によって生成された顔画像が、人物追尾再生中の画面の表示に用いられるようにしてもよい。
ステップＳ８１において、データ解析部１３２は、人物追尾再生を行うクリップのメタデータをクリップデータ記憶部１１３から読み出す。データ解析部１３２は、読み出したメタデータに含まれる人物ID、人物位置情報に基づいて、各人物が写っている時刻と、広角動画中の位置を特定する。データ解析部１３２は、特定した時刻と位置の情報を切り出し部１３３に出力する。
ステップＳ８２において、再生部１１４は、クリップを再生し、広角動画のデータを情報処理部１１５に出力する。
ステップＳ８３において、切り出し部１３３は、人物が写っているとしてデータ解析部１３２により特定された時刻の広角動画が再生部１１４から供給されたとき、その広角動画のうち、データ解析部１３２により特定された位置に写る人物の顔の画像を顔画像として切り出す。顔画像は静止画であってもよいし、動画であってもよい。
ステップＳ８４において、再生部１１４は、再生終了か否かを判定し、再生終了ではないと判定した場合、ステップＳ８２以降の処理を繰り返す。繰り返し行われる処理によって、クリップに写る全ての人物の顔画像が広角動画から順次切り出される。
一方、再生終了であるとステップＳ８４において判定された場合、ステップＳ８５において、データ解析部１３２は、広角動画から切り出した全ての人物の顔画像をメタデータとしてクリップデータ記憶部１１３に記憶させる。その後、処理は終了される。
次に、図４６のフローチャートを参照して、情報処理装置１の人物追尾再生処理について説明する。図４６の処理は、例えば図５に示すクリップ選択画面から、人物追尾再生の対象とするクリップが選択されたときに開始される。
ステップＳ１０１において、表示制御部１１６は、人物追尾再生の対象とするクリップのメタデータをクリップデータ記憶部１１３から読み出し、メタデータに含まれる顔画像を用いて顔画像選択画面を表示させる。ディスプレイ１１には、図３９を参照して説明したような顔画像選択画面が表示される。
追尾対象とする人物が選択されたとき、ステップＳ１０２において、再生部１１４は、メタデータに含まれる、各人物が写っている再生時刻の情報をクリップデータ記憶部１１３から読み出し、追尾対象の人物が写っているシーンの再生を開始する。追尾対象の人物が写っているシーンの広角動画のデータは切り出し部１３３に供給される。
ステップＳ１０３において、切り出し部１３３は、追尾対象の人物が写っている範囲の動画と、同じシーンに写っている人物の顔を含む範囲の動画を広角動画から切り出す。再生中のシーンに写っている各人物の位置は、メタデータに含まれる人物位置情報に基づいてデータ解析部１３２により特定される。
ステップＳ１０４において、表示制御部１１６は、追尾対象の人物が写っている範囲の動画を追尾再生画面の全体に表示させるとともに、再生中のシーンに写っている人物の顔の動画を顔画像として並べて表示させる。
ステップＳ１０５において、表示制御部１１６は、他の人物を追尾対象とすることが追尾再生画面の下に並べて表示した顔画像を用いて選択されたか否かを判定する。
他の人物を追尾対象とすることが選択されていないとステップＳ１０５において判定した場合、ステップＳ１０６において、表示制御部１１６は、顔画像選択画面の表示が指示されたか否かを判定する。
顔画像選択画面の表示が指示されたとステップＳ１０６において判定した場合、表示制御部１１６は、ステップＳ１０１に戻り、顔画像選択画面を再度表示させて以上の処理を繰り返す。
一方、顔画像選択画面の表示が指示されていないとステップＳ１０６において判定した場合、ステップＳ１０７において、表示制御部１１６は、再生終了か否かを判定する。再生終了ではないとステップＳ１０７において判定された場合、ステップＳ１０３以降の処理が繰り返される。
ステップＳ１０５において他の人物を追尾対象とすることが選択されたと判定された場合も同様に、追尾対象の人物を変えて、ステップＳ１０３以降の処理が繰り返される。ステップＳ１０７において再生終了であると判定された場合、処理は終了される。
［人物追尾再生の第２の例］
図４７は、追尾再生画面の他の例を示す図である。
図４７の追尾再生画面においては、ディスプレイ１１全体が上下に２分割され、領域４５１と領域４５２が形成されている。領域４５１は、ディスプレイ１１全体の略３／４の範囲を占めるように、ディスプレイ１１の上側に形成される。領域４５２は領域４５１の下側に形成される。
領域４５１には、ある人物を中心に、再生中のクリップから切り出された、広い範囲の動画が表示されている。領域４５１上でドラッグ操作を行うことによって、ユーザは表示範囲を切り替えることができる。
領域４５２には、左から順に、５人のそれぞれの顔を含む顔画像４６１乃至４６５が表示されている。図４１の例においては、顔画像の表示領域である領域４５２が、再生対象のクリップの動画の表示領域である領域４５１と隣接して形成されている。顔画像が表示されている５人の人物は、再生中のシーンに写っている人物である。
ここでは、適宜、顔画像４６１乃至４６５に顔が写っている５人の人物をそれぞれ人物Ａ１乃至Ｅ１という。顔画像４６５にカーソルＣがあてられ、人物Ｅ１が追尾対象になっていることが表されている。領域４５１の中心に表示されている人物は人物Ｅ１である。
ユーザは、領域４５１に並べて表示されている顔画像をタップすることによって、追尾対象とする人物を切り替えることができる。
図４８は、顔画像の切り出しについて説明する図である。
位置Ｐ３１に写っている人物が、いま追尾対象になっている人物Ｅ１である。領域４５１には、枠Ｆ１２１で示す、人物Ｅ１を含む範囲の動画が表示される。
図４８の例においては、いま再生中のシーンには、人物Ｅ１の位置を基準として、時計回りに、人物Ａ１、人物Ｂ１、人物Ｃ１、および人物Ｄ１が写っている。人物Ａ１乃至Ｄ１の位置は、それぞれ位置Ｐ３２乃至Ｐ３５である。
このとき、枠Ｆ１３１乃至Ｆ１３４で示す人物Ａ１乃至Ｄ１の顔を含む範囲の動画も広角動画から切り出される。切り出された動画が、領域４５２に並べて顔画像４６１乃至４６４として表示される。顔画像４６４の右隣に表示される人物Ｅ１の顔画像４６５は、例えば、枠Ｆ１２１で示す範囲の動画の表示範囲を枠Ｆ１３５で示す範囲に制限することによって表示される。
このように、領域４５２には、再生中のシーンに写っている各人物の顔画像が、人物の実際の並び順に従って表示される。ユーザは、領域４５２に表示されている顔画像の並び順から、再生中のクリップの広角動画中で、各人物の位置関係がどのような関係にあるのかを確認することができる。
図４９は、追尾再生画面の表示の切り替えの例を示す図である。
再生対象のクリップが選択されたとき、図４９の最上段に示すように、広角動画の撮影範囲全体を水平方向にパンするようにして、広角動画から切り出された動画が表示される。イメージとしては、図４８の枠Ｆ１２１が水平方向に球面上を移動し、枠Ｆ１２１内の動画が切り出されて表示されることになる。追尾再生画面の上下には黒の帯状領域が形成される。
追尾再生画面に表示されている動画に写る例えば人物Ｃ１をユーザがタップしたとき、白抜き矢印Ａ１１１の先に示すように、追尾対象とする人物が選択されたことを表すアイコン４８１が人物Ｃ１に重ねて表示される。白抜き矢印Ａ１１１の先に示す追尾再生画面において、円形のアイコン４８１が表示されている人物が人物Ｃ１である。人物Ｃ１がタップされたことは人物位置情報に基づいて特定される。
人物Ｃ１を追尾対象とすることが選択された場合、白抜き矢印Ａ１１２の先に示すように、図４７を参照して説明した追尾再生画面が表示される。領域４５１には、人物Ｃ１を含む範囲の動画が表示される。また、追尾対象として人物Ｃ１が選択されていることを示すように、人物Ｃ１の顔画像である顔画像４６３に対してカーソルＣがあてられる。
ユーザは、領域４５１の表示から、人物Ｃ１に注目してクリップを見ることができるとともに、各タイミングにおける他の人物の顔も、領域４５２の表示から確認することができる。
領域４５２の右端に表示されている人物Ｅ１の顔画像である顔画像４６５が選択された場合、白抜き矢印Ａ１１３の先に示すように、アイコン４８２が、顔画像４６５（人物Ｅ１）に重ねて表示される。
このとき、人物Ｃ１が写っている範囲から人物Ｅ１が写っている範囲までパンするようにして、領域４５１の表示が切り替わる。動画の切り出し範囲が人物Ｅ１を含む範囲まで移動したとき、白抜き矢印Ａ１１４の先に示すように、領域４５１には、人物Ｅ１を含む範囲の動画が表示される。また、追尾対象として人物Ｅ１が選択されていることを示すように、人物Ｅ１の顔画像である顔画像４６５に対してカーソルＣがあてられる。
このように、追尾対象の切り替えに用いられる顔画像を、実際の人物の並び順通りに並べて表示させることも可能である。
領域４５２の顔画像の表示も、図４４を参照して説明したように、広角動画中に写らなくなったり、または写るようになったりすることに応じて切り替えられる。
＜変形例＞
デジタルカメラ２により撮影された広角動画に基づいて以上のような画面表示が情報処理装置１において行われるものとしたが、広角動画の撮影機能が情報処理装置１に搭載され、情報処理装置１自身が撮影した広角動画に基づいて、各種の画面表示が行われるようにしてもよい。
［ネットワークシステムに適用した例］
以上のような画面表示が、情報処理装置１が搭載するブラウザ上で、インターネットを介してサーバから送信されてくるデータに基づいて行われるようにしてもよい。
図５０は、ネットワークシステムの構成例を示す図である。
図５０に示すネットワークシステムは、情報処理装置１とサーバ５０１が、インターネットなどよりなるネットワーク５０２を介して接続されることによって構成される。
サーバ５０１は、情報処理装置１などからアップロードされたクリップのデータを管理する。サーバ５０１は、情報処理装置１から送信されてくる情報により表されるユーザの操作に応じて、上述したタイムシフト再生処理、マルチスクリーン表示処理、人物追尾再生処理などを行い、表示画面のデータを情報処理装置１に送信する。
サーバ５０１は、図９に示す情報処理装置１の構成と同様の構成を有する。サーバ５０１においては、所定のプログラムが実行されることによって図１０に示す各機能部が実現される。
この場合、サーバ５０１において実現される画像データ取得部１１１は、情報処理装置１から送信されてきた広角動画のデータを取得する。また、表示制御部１１６は、各画面のデータを情報処理装置１に送信することによって、情報処理装置１のディスプレイ１１に各画面を表示させる。図１０の他の機能部は、基本的に、上述した処理と同様の処理を行う。
情報処理装置１は、サーバ５０１から送信されてきたデータに基づいて、図１９に示すタイムシフト再生時の画面、図２７に示すマルチスクリーン表示の画面、図３８に示す人物追尾再生時の画面などをディスプレイ１１に表示させる。
これにより、ユーザは、情報処理装置１のブラウザ上で、広い画角の動画を効率的に見ることができる。
［プログラム等について］
上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
インストールされるプログラムは、図９に示すメモリカード１０１などのリムーバブルメディアに記録して提供される。また、ローカルエリアネットワーク、インターネット、デジタル放送といった、有線または無線の伝送媒体を介して提供されるようにしてもよい。
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
１ 情報処理装置， ２ デジタルカメラ， １１１ 画像データ取得部， １１２ クリップ生成部， １１３ クリップデータ記憶部， １１４ 再生部， １１５ 情報処理部， １１６ 表示制御部， １３１ 画像解析部， １３１Ａ 人物検出部， １３２ データ解析部， １３３ 切り出し部

Claims (9)

  1. 撮影装置により撮影された広角動画から、前記広角動画の撮影時に検出されたセンサデータに基づき決定される、前記撮影装置の進行方向に対応する複数の範囲を切り出した複数の切り出し画像を同時に表示させる
    画像表示装置。
  2. 前記複数の範囲は、前記進行方向と反対の方向に対応する少なくとも１つの範囲を含む
    請求項１に記載の画像表示装置。
  3. 前記複数の範囲は、音源の方向に対応する少なくとも１つの範囲を含む
    請求項１に記載の画像表示装置。
  4. 前記複数の範囲は、前記音源の方向と反対の方向に対応する少なくとも１つの範囲を含む
    請求項３に記載の画像表示装置。
  5. 前記複数の範囲のうちの少なくとも２つの範囲が重なる
    請求項１に記載の画像表示装置。
  6. 前記複数の範囲のうちの少なくとも１つの範囲は、前記広角動画の撮影時の人の画像を含む範囲である
    請求項１または５に記載の画像表示装置。
  7. 前記複数の範囲のうちの少なくとも１つの範囲は、前記広角動画の撮影時の動きが大きい被写体を含む範囲である
    請求項１または５に記載の画像表示装置。
  8. 撮影装置により撮影された広角動画から、前記広角動画の撮影時に検出されたセンサデータに基づき決定される、前記撮影装置の進行方向に対応する複数の範囲を切り出し、
    複数の切り出し画像を同時に表示する
    ステップを含む画像表示方法。
  9. 撮影装置により撮影された広角動画から、前記広角動画の撮影時に検出されたセンサデータに基づき決定される、前記撮影装置の進行方向に対応する複数の範囲を切り出し、
    複数の切り出し画像を同時に表示する
    ステップを含む処理をコンピュータに実行させるプログラム。
JP2013099791A 2013-05-10 2013-05-10 画像表示装置、画像表示方法、およびプログラム Active JP6249202B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2013099791A JP6249202B2 (ja) 2013-05-10 2013-05-10 画像表示装置、画像表示方法、およびプログラム
US14/888,840 US10469743B2 (en) 2013-05-10 2014-05-01 Display control apparatus, display control method, and program
PCT/JP2014/002395 WO2014181531A1 (en) 2013-05-10 2014-05-01 Display control apparatus, display control method, and program
CN201480024999.1A CN105210379B (zh) 2013-05-10 2014-05-01 显示控制装置、显示控制方法
EP14726211.7A EP2995092B1 (en) 2013-05-10 2014-05-01 Display control apparatus, display control method, and program
US16/549,169 US11258946B2 (en) 2013-05-10 2019-08-23 Display control apparatus, display control method, and program
US17/569,195 US12192636B2 (en) 2013-05-10 2022-01-05 Display control apparatus, display control method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2013099791A JP6249202B2 (ja) 2013-05-10 2013-05-10 画像表示装置、画像表示方法、およびプログラム

Publications (3)

Publication Number Publication Date
JP2014220723A JP2014220723A (ja) 2014-11-20
JP2014220723A5 JP2014220723A5 (ja) 2016-04-07
JP6249202B2 true JP6249202B2 (ja) 2017-12-20

Family

ID=50792489

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013099791A Active JP6249202B2 (ja) 2013-05-10 2013-05-10 画像表示装置、画像表示方法、およびプログラム

Country Status (5)

Country Link
US (3) US10469743B2 (ja)
EP (1) EP2995092B1 (ja)
JP (1) JP6249202B2 (ja)
CN (1) CN105210379B (ja)
WO (1) WO2014181531A1 (ja)

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9215405B2 (en) * 2011-12-09 2015-12-15 Hewlett-Packard Development Company, L.P. Modification of images based on orientation
JP6520036B2 (ja) * 2014-09-30 2019-05-29 株式会社ニコン 電子機器
US9672626B2 (en) * 2014-12-08 2017-06-06 Yissum Research Development Company Of The Hebrew University Of Jerusalem Ltd. Method and system for generating adaptive fast forward of egocentric videos
US10154194B2 (en) * 2014-12-31 2018-12-11 Logan Gilpin Video capturing and formatting system
JP6589294B2 (ja) * 2015-02-27 2019-10-16 株式会社ニコン 画像表示装置
US9934823B1 (en) * 2015-08-27 2018-04-03 Amazon Technologies, Inc. Direction indicators for panoramic images
US9824723B1 (en) * 2015-08-27 2017-11-21 Amazon Technologies, Inc. Direction indicators for panoramic images
JP6579925B2 (ja) * 2015-11-17 2019-09-25 キヤノン株式会社 画像再生装置およびその制御方法ならびにプログラムならびに記録媒体
WO2017169369A1 (ja) 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置、情報処理方法、プログラム
JP6084728B1 (ja) 2016-04-08 2017-02-22 株式会社コロプラ 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム
JP6393854B2 (ja) 2016-04-12 2018-09-19 株式会社オプティム 全天球カメラ表示画像変更システム、全天球カメラ表示画像変更方法及びプログラム
JP2017211535A (ja) * 2016-05-26 2017-11-30 株式会社リコー 情報処理装置、情報処理方法、プログラムおよび表示システム
KR20180018017A (ko) * 2016-08-12 2018-02-21 엘지전자 주식회사 이동 단말기 및 그의 동작 방법
KR102567002B1 (ko) * 2016-08-16 2023-08-14 삼성전자주식회사 영상 표시 장치 및 그 동작방법
KR102598082B1 (ko) * 2016-10-28 2023-11-03 삼성전자주식회사 영상 표시 장치, 모바일 장치 및 그 동작방법
KR101919132B1 (ko) * 2017-05-15 2019-02-08 주식회사 뷰오 동영상 처리 장치, 방법 및 그 방법을 실행시키기 위한 컴퓨터 프로그램
CN109756727B (zh) * 2017-08-25 2021-07-20 华为技术有限公司 信息显示方法及相关设备
CN107890673A (zh) * 2017-09-30 2018-04-10 网易（杭州）网络有限公司 补偿声音信息的视觉显示方法及装置、存储介质、设备
JP6826215B2 (ja) * 2018-01-22 2021-02-03 マクセル株式会社 携帯機器
JP6997449B2 (ja) * 2018-05-17 2022-01-17 株式会社アクセル 画像処理装置、画像処理方法、プログラム
CN108854069B (zh) * 2018-05-29 2020-02-07 腾讯科技（深圳）有限公司 音源确定方法和装置、存储介质及电子装置
CN110248081A (zh) * 2018-10-12 2019-09-17 华为技术有限公司 图像捕捉方法及电子设备
JP7183033B2 (ja) * 2018-12-26 2022-12-05 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
EP3790249B1 (en) 2019-09-09 2025-08-20 Nokia Technologies Oy A user interface, method, computer program for enabling user-selection of audio content
WO2021077279A1 (zh) 2019-10-22 2021-04-29 深圳市大疆创新科技有限公司 一种图像处理方法、设备、成像系统及存储介质
CN111064886B (zh) * 2019-12-19 2022-03-01 惠州Tcl移动通信有限公司 终端设备的拍摄方法、终端设备及存储介质
JP6999052B2 (ja) * 2021-01-14 2022-01-18 マクセル株式会社 携帯機器および映像表示方法
JP7169422B2 (ja) * 2021-01-14 2022-11-10 マクセル株式会社 携帯機器および表示制御方法
JP2023142257A (ja) * 2022-03-24 2023-10-05 キヤノン株式会社 表示装置、及び表示装置の制御方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11331827A (ja) 1998-05-12 1999-11-30 Fujitsu Ltd テレビカメラ装置
US6559846B1 (en) 2000-07-07 2003-05-06 Microsoft Corporation System and process for viewing panoramic video
US20100002070A1 (en) * 2004-04-30 2010-01-07 Grandeye Ltd. Method and System of Simultaneously Displaying Multiple Views for Video Surveillance
JP4467313B2 (ja) * 2004-01-09 2010-05-26 株式会社オートネットワーク技術研究所 車両周辺撮像装置
GB2421135A (en) * 2004-12-09 2006-06-14 Sony Uk Ltd User resizable video display of catalogue entries
WO2007094219A1 (ja) * 2006-02-15 2007-08-23 Matsushita Electric Industrial Co., Ltd. 撮影装置および撮影方法
KR101396998B1 (ko) 2007-08-29 2014-05-20 엘지전자 주식회사 영상기기 및 이 영상기기에서 녹화물을 디스플레이하는방법
WO2009097449A1 (en) 2008-01-29 2009-08-06 Enforcement Video, Llc Omnidirectional camera for use in police car event recording
US9736368B2 (en) * 2013-03-15 2017-08-15 Spatial Cam Llc Camera in a headframe for object tracking
JP4953137B2 (ja) * 2008-07-29 2012-06-13 独立行政法人産業技術総合研究所 全周映像のための表示技術
US9113124B2 (en) * 2009-04-13 2015-08-18 Linkedin Corporation Method and system for still image capture from video footage
JP2010279022A (ja) * 2009-04-30 2010-12-09 Sanyo Electric Co Ltd 撮像装置
JP5378135B2 (ja) * 2009-09-29 2013-12-25 富士フイルム株式会社 画像レイアウト決定方法ならびにそのプログラムおよび情報処理装置
JP4547040B1 (ja) * 2009-10-27 2010-09-22 パナソニック株式会社 表示画像切替装置及び表示画像切替方法
JP5538865B2 (ja) * 2009-12-21 2014-07-02 キヤノン株式会社 撮像装置およびその制御方法
AU2010201740B2 (en) * 2010-04-30 2013-03-07 Canon Kabushiki Kaisha Method, apparatus and system for performing a zoom operation
JP5649429B2 (ja) * 2010-12-14 2015-01-07 パナソニックＩｐマネジメント株式会社 映像処理装置、カメラ装置および映像処理方法
US8514101B2 (en) * 2011-12-02 2013-08-20 GM Global Technology Operations LLC Driving maneuver assist on full windshield head-up display
KR20130069041A (ko) * 2011-12-16 2013-06-26 삼성전자주식회사 디스플레이 장치 및 방법
US9473702B2 (en) * 2011-12-23 2016-10-18 Nokia Technologies Oy Controlling image capture and/or controlling image processing
KR101964861B1 (ko) * 2012-06-29 2019-04-02 삼성전자주식회사 카메라 장치 및 상기 카메라 장치에서의 물체 추적 방법

Also Published As

Publication number Publication date
US20190379828A1 (en) 2019-12-12
US10469743B2 (en) 2019-11-05
EP2995092A1 (en) 2016-03-16
EP2995092B1 (en) 2018-07-04
JP2014220723A (ja) 2014-11-20
CN105210379A (zh) 2015-12-30
US20160080650A1 (en) 2016-03-17
WO2014181531A1 (en) 2014-11-13
US12192636B2 (en) 2025-01-07
CN105210379B (zh) 2018-08-24
US20220132036A1 (en) 2022-04-28
US11258946B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
JP6249202B2 (ja) 画像表示装置、画像表示方法、およびプログラム
JP2014220724A (ja) 表示制御装置、表示制御方法、およびプログラム
CN109275028B (zh) 视频获取方法、装置、终端和介质
CN101617530B (zh) 图像处理设备、动态画面再现设备及其处理方法
TWI520610B (zh) 電視控制裝置與相關方法
JP7652903B2 (ja) ビデオ処理方法、装置、機器、記憶媒体、及びコンピュータプログラム製品
JP6787394B2 (ja) 情報処理装置、情報処理方法、プログラム
JP2012018237A (ja) 表示制御装置、表示制御方法、プログラム
JP6187811B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
CN103780862B (zh) 再生控制装置、再生控制方法以及记录介质
JP2014220722A (ja) 表示制御装置、表示制御方法、およびプログラム
JP6628343B2 (ja) 装置および関連する方法
WO2013099704A1 (ja) 情報処理装置、情報処理方法、およびプログラム
US12368955B2 (en) Image processing device, image processing method, and program
CN104349200A (zh) 电视控制装置与相关方法
JP6019612B2 (ja) 映像編集装置、テレビジョン受像機、および映像編集プログラム
JP2006229467A (ja) フォトムービー作成装置及びフォトムービー作成プログラム、並びに被写体認識方法
Mitarai et al. Shooting assistance by recognizing user's camera manipulation for intelligible video production
JP6020665B2 (ja) 再生制御装置、再生制御方法及びプログラム
Mitarai et al. Interactive video cam system for emotive video production

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160218

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170228

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20170511

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171026

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171108

R151 Written notification of patent or utility model registration

Ref document number: 6249202

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250