JP5338911B2 - 動画像処理装置、サムネイル画像生成プログラムおよびサムネイル画像生成方法 - Google Patents

Description

本発明は、サムネイル画像を生成する動画像処理装置、サムネイル画像生成プログラムおよびサムネイル画像生成方法に関する。

従来、記録媒体にテレビ番組等の動画像のデータを記録し、記録されたそのデータを読み出して動画像を再生する動画像処理装置等について、録画した番組等の動画像の内容を、動画像処理装置のユーザが容易に確認できるように、動画像に基づいて作成された静止画像等のサムネイル画像をユーザに提示する技術が知られている（例えば、特許文献１から４参照）。

また、類似する画像を検索するために画像同士の特徴量を算出して比較する技術が知られている（例えば、特許文献５参照）。

特開２００６−３３９７１８号公報 特開２００７−２８１９４５号公報 特開２００３−３２５８１号公報 国際公開第２００８／０８１５１４号パンフレット 特開２００４−３４１９４０号公報

しかし、動画像に基づいて自動的に作成されたサムネイル画像が、必ずしも番組の内容を適切に表しているとは限らないという問題点がある。例えば、特許文献４に記載の技術のようにＣＭ（Commercial Message）を基準にする等、動画像の予め定められた箇所からサムネイル画像を抽出する方法が考えられるが、実際の動画像のコンテンツの内容とは無関係に抽出されてしまう可能性もある。このように、番組の内容をユーザが把握できるように自動的にサムネイル画像を作成するのは困難であった。

本件はこのような点に鑑みてなされたものであり、ユーザが番組の内容を容易に把握できるサムネイル画像を作成する動画像処理装置、サムネイル画像生成プログラムおよびサムネイル画像生成方法を提供することを目的とする。

上記課題を解決するために、開示の動画像処理装置が提供される。開示の動画像処理装置では、動画像データ記憶手段は、動画像データを記憶する。サムネイル画像データ記憶手段は、動画像データのサムネイル画像を示すサムネイル画像データを記憶する。判定データ取得手段は、動画像データが放送された放送番組の放送時間中の各時刻と放送番組の視聴率との関係を示す判定データを取得する。サムネイル画像生成手段は、動画像データ記憶手段に記憶されている動画像データを取得し、取得した動画像データから判定データ取得手段によって取得された判定データに基づいて視聴率が急上昇した時刻の画像である視聴率急上昇画像を抽出し、抽出した視聴率急上昇画像をサムネイル画像としてサムネイル画像データを生成し、生成したサムネイル画像データをサムネイル画像データ記憶手段に記憶させる。サムネイル画像出力手段は、サムネイル画像データ記憶手段に記憶されているサムネイル画像データを出力する。

開示の動画像処理装置、サムネイル画像生成プログラムおよびサムネイル画像生成方法によれば、動画像の内容を適切に表現したサムネイル画像を作成することで、ユーザに対して動画像の内容を容易に想起させることができ、ユーザが動画像を視聴するか否かの判断を支援することが可能になる。

本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。

第１の実施の形態を示す図である。 第２の実施の形態の動画像処理装置のハードウェア構成を示す図である。 第２の実施の形態の動画像処理装置の構成を示すブロック図である。 第２の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。 第２の実施の形態の連続番組画像抽出処理の手順を示すフローチャートである。 第２の実施の形態の共通区間抽出処理の手順を示すフローチャートである。 第２の実施の形態の共通区間抽出処理における画像特徴量の算出を示す図である。 第２の実施の形態のバストアップシーン抽出処理の手順を示すフローチャートである。 第２の実施の形態のサムネイル画像表示画面を示す図である。 第３の実施の形態の動画像処理装置の構成を示すブロック図である。 第３の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。 第３の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。 第４の実施の形態の動画像処理装置の構成を示すブロック図である。 第４の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。 第４の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。 第４の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。

以下、実施の形態について、図面を参照して説明する。
［第１の実施の形態］
図１は、第１の実施の形態を示す図である。図１に示す動画像処理装置１は、動画像のサムネイル画像を生成する。動画像処理装置１は、判定データ取得手段１ａ、サムネイル画像生成手段１ｂ、サムネイル画像出力手段１ｃ、動画像データ記憶手段１ｄ、サムネイル画像データ記憶手段１ｅを有する。

サムネイル画像生成手段１ｂは、動画像データ記憶手段１ｄに記憶されている動画像データを取得する。この動画像データは、例えば、アナログ放送、デジタル放送、インターネット放送で放送されたテレビ番組の動画像データを、音声データと共に録画したものである。なお、動画像データは、動画像を単独で録画してもよい。

判定データ取得手段１ａは、動画像データが放送された放送番組の放送時間中の放送番組の視聴者の盛り上がりの推移を判定する判定データを取得する。ここで、視聴者の盛り上がりは、動画像の視聴者の動画像に対する興味や関心の高まりを示す。判定データは、動画像を視聴した視聴者の盛り上がりの推移により視聴者の盛り上がりが高い時点の動画像を特定するために用いられる。

判定データ取得手段１ａは、例えば、図示しない電気通信回線またはアンテナを介して外部のサーバまたは放送局等から、リアルタイム、またはサムネイル画像の生成に必要な時点で判定データを取得する。判定データにより、放送番組の視聴者の放送時間中の盛り上がりの推移から、視聴者が盛り上がった時点を特定することが可能になる。

次に、サムネイル画像生成手段１ｂは、取得した動画像データから判定データ取得手段１ａによって取得された判定データに基づいてサムネイル画像を抽出する。このサムネイル画像は、動画像データから、判定データに基づいて動画像データの内容を的確に示している画像が自動的に抽出される。これにより、判定データから特定された視聴者が盛り上がった時点の動画像からサムネイル画像を抽出することが可能になる。

次に、サムネイル画像生成手段１ｂは、抽出したサムネイル画像を示すサムネイル画像データを生成し、生成したサムネイル画像データをサムネイル画像データ記憶手段１ｅに記憶させる。

サムネイル画像出力手段１ｃは、サムネイル画像データ記憶手段１ｅに記憶されているサムネイル画像データを出力する。このサムネイル画像データの出力に基づいて、ユーザに対してサムネイル画像が、例えば動画像処理装置１に接続されている図示しないモニタ等に表示される。ユーザは、モニタに表示されたサムネイル画像を見ることにより、動画像の内容を把握することができ、さらにこの動画像を視聴するか否かの判断をすることができる。

動画像データ記憶手段１ｄは、動画像データを記憶する。なお、動画像データは、記録媒体に保存されているものを読み出して取得してもよい。
サムネイル画像データ記憶手段１ｅは、動画像データのサムネイル画像を示すサムネイル画像データを記憶する。

これによって、動画像の内容を適切に表現したサムネイル画像を作成することで、ユーザに対して動画像の内容を容易に想起させることができ、ユーザがその動画像を視聴するか否かの判断を支援することが可能になる。

［第２の実施の形態］
次に、第２の実施の形態について説明する。
図２は、第２の実施の形態の動画像処理装置のハードウェア構成を示す図である。図２に示す動画像処理装置１００は、ＣＰＵ（Central Processing Unit）１０１によって装置全体が制御されている。ＣＰＵ１０１には、バス１０９を介してＲＡＭ（Random Access Memory）１０２、ハードディスクドライブ（ＨＤＤ:Hard Disk Drive）１０３、グラフィック処理装置１０４、入出力インタフェース１０５、通信インタフェース１０６、ＣＤ（Compact Disc）／ＤＶＤ（Digital Versatile Disc）ドライブ１０７、テレビ受信部１０８が接続されている。

ＲＡＭ１０２には、ＣＰＵ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションソフトのプログラム（アプリケーションプログラム）の少なくとも一部が一時的に記憶される。また、ＲＡＭ１０２には、ＣＰＵ１０１による処理に必要な各種データが記憶される。ＨＤＤ１０３には、ＯＳやアプリケーションプログラムが記憶される。

グラフィック処理装置１０４には、モニタ１１が接続されている。グラフィック処理装置１０４は、ＣＰＵ１０１からの命令に従って、画像をモニタ１１の画面に表示させる。
入出力インタフェース１０５には、キーボード１２、マウス１３、スピーカ１４が接続されている。入出力インタフェース１０５は、キーボード１２やマウス１３から送られてくる信号を、バス１０９を介してＣＰＵ１０１に送信すると共に、バス１０９を介してＣＰＵ１０１の制御に基づく音声信号をスピーカ１４に出力する。

通信インタフェース１０６は、インターネット３０、図示しないＬＡＮ（Local Area Network）や図示しないケーブルテレビ等の通信回線に接続可能である。通信インタフェース１０６は、通信回線を介して、他のコンピュータ（図示省略）やネットワークドライブ（図示省略）等の外部機器との間でデータの送受信を行うことができる。また、通信インタフェース１０６により、通信回線を通じて配信されるインターネットテレビ番組の動画像データが取得される。

ＣＤ／ＤＶＤドライブ１０７は、ＣＤやＤＶＤ等の光磁気ディスクにアクセスして番組の動画像を提供する動画像データや動画像データに基づいて作成されたサムネイル画像データを読み書きする装置である。

テレビ受信部１０８は、チューナ、復調器等を有し、接続されているアンテナ２０で受信したデジタルテレビ放送またはアナログテレビ放送の放送電波を取り込むことによりテレビ番組の動画像データを取得する。

なお、本実施の形態では、番組の動画像を記録して再生する動画像処理装置１００について説明したが、動画像処理装置１００は一例であり、携帯電話やＰＤＡ（Personal Digital Assistant）をはじめとする小型端末装置、パーソナルコンピュータや情報処理システムの端末装置のような情報処理装置等のように、各種の動画像データを視聴可能な装置に適用することができる。

以上のようなハードウェア構成によって、本実施の形態の処理機能を実現することができる。
図３は、第２の実施の形態の動画像処理装置の構成を示すブロック図である。図３に示す動画像処理装置１００は、判定データ取得部１１１、サムネイル画像生成部１１２、サムネイル画像出力部１１３、画像特徴量算出部１１４、入力受付部１１５、番組データ取得部１２１、番組データ提供部１２２、サムネイル画像データ記憶部１５０、番組データ記憶部１６０を有する。また、サムネイル画像出力部１１３には、モニタ１１が接続されている。また、番組データ取得部１２１には、アンテナ２０、インターネット３０が接続されている。また、番組データ提供部１２２には、モニタ１１、スピーカ１４が接続されている。

判定データ取得部１１１は、インターネット３０を介して、動画像データが放送された放送番組の放送時間中における放送番組の視聴者の盛り上がりの推移を判定する判定データとして、放送されたテレビ番組の放送時間中の各時刻と放送されたテレビ番組の視聴率との関係を示す視聴率データを取得する。ここで、視聴者の盛り上がりは、動画像の視聴者の動画像に対する興味や関心の高まりを示す。視聴率データは、動画像を視聴した視聴者の盛り上がりの推移により視聴者の盛り上がりが高い時点の動画像を特定するために用いられる。

ここでは、この視聴率データは、例えばテレビ放送局、視聴率調査会社、動画像処理装置１００の製造・販売元等のＷｅｂサイトから提供されるものとする。視聴率データにより、放送番組の視聴者の放送時間中の盛り上がりの推移から、視聴者が盛り上がった時点を特定することが可能になる。この視聴率データは、判定データとして機能する。

サムネイル画像生成部１１２は、番組データ記憶部１６０に記憶されている番組データに含まれている動画像データを取得する。番組データは、アンテナ２０を介して受信する地上波、衛星放送または衛星通信放送によるアナログ放送またはデジタル放送、インターネット３０を介して受信するインターネット放送で放送されたテレビ番組の動画像データおよび音声データを含んでいる。なお、番組データは、音声データがない状態で動画像のみを単独で録画してもよい。

次に、サムネイル画像生成部１１２は、取得した動画像データから判定データ取得部１１１によって取得された視聴率データに基づいてサムネイル画像を抽出する。サムネイル画像生成部１１２は、視聴率データに基づいて視聴率が高い時刻を特定し、特定した時刻を動画像の視聴者が盛り上がった時点と判断する。このようにして、視聴率データから特定された視聴者が盛り上がった時点の動画像からサムネイル画像を抽出することが可能になる。

このときサムネイル画像生成部１１２は、動画像データの以前の放送回の動画像データが番組データ記憶部１６０に記憶されている場合には、画像特徴量算出部１１４によって算出された画像特徴量に基づいて以前の放送回の動画像データと映像が同一または類似である共通区間を抽出し、抽出した共通区間の動画像データから人物のバストアップを含むバストアップ画像を抽出し、抽出したバストアップ画像をサムネイル画像としてサムネイル画像データを生成する。

また、サムネイル画像生成部１１２は、取得した動画像データから視聴率データに基づいて視聴率が最高を示した時刻の画像である最高視聴率画像を抽出し、抽出した最高視聴率画像をサムネイル画像としてサムネイル画像データを生成する。

なお、サムネイル画像生成部１１２は、取得した動画像データから視聴率データに基づいて視聴率が急上昇した時刻の画像である視聴率急上昇画像を抽出し、抽出した視聴率急上昇画像をサムネイル画像としてサムネイル画像データを生成してもよい。ここで、視聴率の急上昇とは、例えば、単位時間当たり所定の傾き以上に視聴率が上昇したこととする。

次に、サムネイル画像生成部１１２は、生成したサムネイル画像データをサムネイル画像データ記憶部１５０に記憶させる。
サムネイル画像出力部１１３は、サムネイル画像データ記憶部１５０に記憶されているサムネイル画像データを出力する。このサムネイル画像データの出力に基づいて、ユーザに対してサムネイル画像が、動画像処理装置１００に接続されているモニタ１１に表示される。ユーザは、モニタ１１に表示されたサムネイル画像を見ることにより、動画像の内容を把握することができ、さらにこの動画像を視聴するか否かの判断をすることができる。

画像特徴量算出部１１４は、動画像データのフレームの画像と以前の放送回の動画像データのフレームの画像との画像特徴量を算出する。
入力受付部１１５は、ユーザによる視聴する番組の動画像の選択の入力を受け付ける。ユーザは、選択する番組を入力する場合に入力受付部１１５として、例えば、キーボード１２（図２において前述）、マウス１３（図２において前述）、押しボタン（図示省略）、タッチパネル（図示省略）等を用いることができる。

このときユーザは、入力受付部１１５を操作して、視聴可能な番組についてサムネイル画像の提供を受けることができる。このとき、動画像処理装置１００により、サムネイル画像がモニタ１１に表示される。

番組データ取得部１２１は、ユーザに提供可能なテレビ番組の番組データ（動画像データおよび音声データ）を取得し、取得した番組データを番組データ記憶部１６０に記憶させる。図２において前述した通信インタフェース１０６、ＣＤ／ＤＶＤドライブ１０７、テレビ受信部１０８は、番組データ取得部１２１として機能する。

番組データ提供部１２２は、入力受付部１１５によって受け付けられたユーザが選択した番組データを提供する。番組データ提供部１２２は、番組データ記憶部１６０によって記憶されているコンテンツのデータを出力する。これにより、ユーザは、サムネイル画像を確認した番組を視聴することができる。

この番組データ提供部１２２は、動画像処理装置１００に接続されたモニタ１１やスピーカ１４に、コンテンツの内容を信号として出力し、これらの装置を介してユーザに視聴させる。しかし、これに限らず、動画像処理装置１００が表示手段（図示省略）や音声出力手段（図示省略）を有するものとして、これらの手段によりコンテンツの内容を直接出力してユーザに視聴させてもよい。

サムネイル画像データ記憶部１５０は、動画像データのサムネイル画像を示すサムネイル画像データを記憶する。
番組データ記憶部１６０は、番組データ取得部１２１によって取得された、過去に放送されたテレビ番組の番組データを記憶する。なお、番組データは、上記の放送の受信の他、ＤＶＤやＣＤ−ＲＯＭ等の記録媒体に保存されているものを読み出して取得してもよい。

番組データ記憶部１６０は、例えば、図２において前述したＨＤＤ１０３等の大容量記憶装置を有し、これに番組データを記憶してもよい。また、番組データ記憶部１６０は、動画像処理装置１００に接続されたネットワークドライブ（図示省略）等の外部の記憶装置や図２において前述したＣＤ／ＤＶＤドライブ１０７のようなリムーバブルディスク（Removable Disk）等のあらゆる種類の記憶装置に記憶してもよい。

なお、本実施の形態では、番組データに含まれているＣＭ以外の部分からサムネイル画像が抽出されるようにしてもよい。さらに、本実施の形態は、サムネイル画像の抽出の対象から、ＣＭを予め除外してもよい。

次に、本実施の形態で実行される処理について説明する。
図４は、第２の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。図４に示すサムネイル画像生成処理は、動画像処理装置１００（図２において前述）が、テレビ番組の動画像データに基づいてそのテレビ番組のサムネイル画像を生成する処理である。サムネイル画像生成処理は、例えば、テレビ番組の記憶時（録画時）等に実行される。

［ステップＳ１１］サムネイル画像生成部１１２（図３において前述）は、サムネイル画像生成処理によりサムネイル画像を生成する番組が、連続番組であって、かつ以前の放送回の動画像データが番組データ記憶部１６０に記憶されているか否かを判定する。以前の放送回の動画像データが記憶されていれば、処理はステップＳ１２に進められる。一方、以前の放送回の動画像データが記憶されていなければ、処理はステップＳ１４に進められる。

［ステップＳ１２］サムネイル画像生成部１１２は、ステップＳ１１で以前の放送回の動画像データが記憶されていると判定された番組の動画像データについて、連続番組画像抽出処理（図５において後述）を実行する。

［ステップＳ１３］サムネイル画像生成部１１２は、ステップＳ１２の連続番組画像抽出処理でバストアップシーンの画像が抽出されたか否かを判定する。バストアップシーンの画像が抽出されていれば、処理はステップＳ１６に進められる。一方、バストアップシーンの画像が抽出されていなければ、処理はステップＳ１４に進められる。

［ステップＳ１４］判定データ取得部１１１（図３において前述）は、インターネット３０（図２において前述）を介してその番組の視聴率の推移を示す視聴率データを取得する。

［ステップＳ１５］サムネイル画像生成部１１２は、ステップＳ１４で取得した視聴率データに基づいて、番組の動画像データから番組の放映中において瞬間視聴率が最大値を示している時刻の画像を最高視聴率画像として抽出する。

［ステップＳ１６］サムネイル画像生成部１１２は、ステップＳ１３またはステップＳ１５で抽出したテレビ番組の画像を、その番組のサムネイル画像に設定し、サムネイル画像データをサムネイル画像データ記憶部１５０（図３において前述）に記憶させる。その後、処理は終了する。

なお、本実施の形態では、動画像が連続番組である場合には共通区間からバストアップシーンのサムネイル画像の抽出が行われる。すなわち、視聴率データに基づくサムネイル画像の抽出よりも、共通区間からのサムネイル画像の抽出およびバストアップシーンのサムネイル画像の抽出が優先して行われる。しかし、これに限らず、視聴率データに基づくサムネイル画像の抽出を他の抽出方法より優先して行ってもよい。また、バストアップシーンのサムネイル画像の抽出は、共通区間以外から抽出してもよい。

図５は、第２の実施の形態の連続番組画像抽出処理の手順を示すフローチャートである。図５に示す連続番組画像抽出処理は、動画像処理装置１００（図２において前述）が、連続番組であって以前の放送回の動画像データが記憶されている番組の共通区間を抽出し、バストアップシーンの画像を抽出する処理である。連続番組画像抽出処理は、サムネイル画像生成処理（図４において前述）の呼び出しによって実行が開始される。

［ステップＳ２１］サムネイル画像生成部１１２（図３において前述）は、サムネイル画像を生成する番組の動画像データおよび以前の放送回の番組の動画像データについて共通区間抽出処理（図６において後述）を実行する。

［ステップＳ２２］サムネイル画像生成部１１２は、ステップＳ２１で抽出した共通区間についてバストアップシーン抽出処理（図８において後述）を実行する。
［ステップＳ２３］サムネイル画像生成部１１２は、ステップＳ２２で共通区間からバストアップシーンが判定されたか否かを判定する。バストアップシーンが判定されていれば、処理はステップＳ２４に進められる。一方、バストアップシーンが判定されていなければ、処理は復帰する。

［ステップＳ２４］サムネイル画像生成部１１２は、ステップＳ２２で判定されたバストアップシーンの画像を抽出する。その後、処理は復帰する。
なお、本実施の形態では、サムネイル画像としてバストアップ画像を抽出する場合に、共通区間から抽出するが、これに限らず、共通区間の抽出を行わずに、バストアップ画像を動画像全体から抽出してもよい。

図６は、第２の実施の形態の共通区間抽出処理の手順を示すフローチャートである。図６に示す共通区間抽出処理は、動画像処理装置１００（図２において前述）が、サムネイル画像を作成する番組の動画像データおよび記憶されている以前の放送回の番組の動画像データから共通区間を抽出する処理である。共通区間抽出処理は、連続番組画像抽出処理（図５において前述）の呼び出しによって実行が開始される。

ここで、共通区間抽出処理では、サムネイル画像を生成する番組の動画像データについて、フレーム毎に画像特徴量が算出され、以前の放送回の番組の動画像のフレームの画像特徴量と比較される処理が繰り返される。

［ステップＳ３１］画像特徴量算出部１１４（図３において前述）は、番組データ記憶部１６０（図３において前述）からサムネイル画像を生成する番組の動画像データを取得し、取得した動画像データからフレームを抽出して画像特徴量を算出する。なお、画像特徴量が算出されるフレームは、動画像データの先頭から開始する。そして、このステップＳ３１が繰り返される毎に順次、次のフレーム、すなわち所定の時間が経過した後のフレームの画像特徴量が算出される。

［ステップＳ３２］サムネイル画像生成部１１２（図３において前述）は、サムネイル画像を生成する番組の動画像データにおけるステップＳ３１で算出したフレームの画像特徴量と以前の放送回の番組の動画像データの各フレームの画像特徴量とを比較して、以前の動画像データに画像特徴量が同一のフレームがあるか否かを判定する。画像特徴量が同一のフレームがあれば、処理はステップＳ３３に進められる。一方、画像特徴量が同一のフレームがなければ、処理はステップＳ３６に進められる。なお、画像特徴量の比較において、画像特徴量同士が完全に一致していなくても、所定の範囲内で近似していれば同一であると判定してもよい。

［ステップＳ３３］画像特徴量算出部１１４は、番組データ記憶部１６０からサムネイル画像を生成する番組の動画像データを取得し、取得した動画像データからステップＳ３１で取得したフレームの次のフレーム、すなわち所定の時間が経過した後のフレームを抽出して画像特徴量を算出する。

［ステップＳ３４］サムネイル画像生成部１１２は、ステップＳ３３で算出した画像特徴量が、ステップＳ３２で比較した以前の放送回の動画像データのフレームの次のフレームの画像特徴量と同一であるか否かを判定する。画像特徴量が同一であれば、処理はステップＳ３５に進められる。一方、画像特徴量が同一でなければ、処理はステップＳ３６に進められる。

［ステップＳ３５］サムネイル画像生成部１１２は、ステップＳ３１で抽出したフレームを共通区間であると判定する。
［ステップＳ３６］サムネイル画像生成部１１２は、ステップＳ３１で抽出したフレームを共通区間ではないと判定する。

［ステップＳ３７］サムネイル画像生成部１１２は、サムネイル画像を生成する番組の動画像のすべてのフレームについて共通区間であるか否かの判定が終了したか否かを判定する。すべてのフレームについて判定が終了していなければ、処理はステップＳ３１に進められ、次のフレームについて処理が繰り返される。一方、すべてのフレームについて判定が終了していれば、処理は復帰する。

ここで、図６に示した共通区間抽出処理における画像特徴量の算出について説明する。
図７は、第２の実施の形態の共通区間抽出処理における画像特徴量の算出を示す図である。図７（Ａ）は、動画像データから抽出したフレームの画像であるフレーム画像Ａおよびフレーム画像Ａから算出した画像特徴量の一例である色ヒストグラムＡを示す図である。図７（Ｂ）は、フレーム画像Ａと異なるフレームの画像であるフレーム画像Ｂおよびフレーム画像Ｂから算出した画像特徴量の一例である色ヒストグラムＢを示す図である。

本実施の形態の共通区間抽出処理では、動画像同士の共通区間を抽出するために、動画像に含まれているフレーム同士が同一であるか否かを比較する。このフレーム同士の比較は、フレームの画像の特徴を示す画像特徴量同士を比較することにより行われる。画像特徴量としては、例えば、色ヒストグラムを適用することができる。

色ヒストグラムは、例えば、ＲＧＢ（赤、緑、青）等で表現される色空間について、適当な範囲で区切ってできた色空間の各部分空間内に属する画素の個数をカウントし、カウントにより取得した値をベクトル形式で表現したものである。

本実施の形態では、このようにして算出した画像特徴量同士を比較することにより、フレームが同一であるか否かを判定して、動画像同士の共通区間を抽出する。
例えば、図７（Ａ）に示すフレーム画像Ａおよび図７（Ｂ）に示すフレーム画像Ｂの画像特徴量同士を比較することにより、フレーム画像Ａおよびフレーム画像Ｂが同一であるか否かを判定することとする。この場合、図７（Ａ）に示すように、フレーム画像Ａの各ドットの色の出現頻度をカウントして、フレーム画像Ａの画像特徴量である色ヒストグラムＡを作成する。次に、同様に、図７（Ｂ）に示すように、フレーム画像Ｂについてフレーム画像Ｂの画像特徴量である色ヒストグラムＢを作成する。そして、色ヒストグラムＡおよび色ヒストグラムＢを比較することにより、フレーム画像Ａおよびフレーム画像Ｂが同一であるか否かを判定する。

図８は、第２の実施の形態のバストアップシーン抽出処理の手順を示すフローチャートである。図８に示すバストアップシーン抽出処理は、動画像処理装置１００（図２において前述）が、所定の範囲の動画像から人物のバストアップが映っているバストアップシーンを判定する処理である。バストアップシーン抽出処理は、連続番組画像抽出処理（図５において前述）の呼び出しによって実行が開始される。

［ステップＳ４１］サムネイル画像生成部１１２（図３において前述）は、所定の範囲の動画像データからフレームを抽出して顔認識を行う。なお、顔認識が行われるフレームは、所定の範囲の動画像データの先頭から開始する。すなわち、図５において前述した連続番組画像抽出処理によって呼び出された場合には、図６において前述した共通区間抽出処理によって抽出された共通区間について先頭のフレームから順に顔認識が行われる。また、図１１、図１２または図１４において後述するサムネイル画像生成処理によって呼び出された場合には、サムネイル画像を生成する動画像について先頭のフレームから順に顔認識が行われる。そして、このステップＳ４１が繰り返される毎に順次、次のフレーム、すなわち所定の時間が経過した後のフレームについて顔認識が行われる。

［ステップＳ４２］サムネイル画像生成部１１２は、ステップＳ４１で行われた顔認識の結果、フレームの画像から人物の顔が認識されたか否かを判定する。顔が認識されれば、処理はステップＳ４３に進められる。一方、顔が認識されなければ、処理はステップＳ４４に進められる。

［ステップＳ４３］サムネイル画像生成部１１２は、ステップＳ４１で顔認識を行ったフレームにおいて認識された顔の表示位置および大きさが、所定の範囲内であるか否かを判定する。顔の表示位置および大きさが所定の範囲内であれば、処理はステップＳ４５に進められる。一方、顔の表示位置および大きさが所定の範囲内でなければ、処理はステップＳ４４に進められる。ここで、顔の表示位置および大きさが所定の範囲内であるか否かの判断基準として、例えば、顔の中心座標が画面の上半分に位置しており、かつ顔の長径が画面の縦方向の長さの１／３以上である場合等、バストアップシーンであれば該当し、バストアップシーンでなければ該当しないような条件を任意で設定することができる。

［ステップＳ４４］サムネイル画像生成部１１２は、ステップＳ４１で顔認識を行ったフレームについてバストアップシーンではないと判定する。
［ステップＳ４５］サムネイル画像生成部１１２は、ステップＳ４１で顔認識を行ったフレームについてバストアップシーンであると判定する。その後、処理は復帰する。

［ステップＳ４６］サムネイル画像生成部１１２は、所定の範囲の動画像データのすべてのフレームについて判定が終了したか否かを判定する。すべてのフレームについて判定が終了していなければ、処理はステップＳ４１に進められる。一方、すべてのフレームについて判定が終了してれば、処理は復帰する。

次に、本実施の形態で表示される表示画面について説明する。
図９は、第２の実施の形態のサムネイル画像表示画面を示す図である。図９に示すサムネイル画像表示画面１８０は、動画像処理装置１００と接続されたモニタ１１に表示される画面であり、動画像処理装置１００によって生成されたサムネイル画像を表示するサムネイル画像表示画面の一例である。

サムネイル画像表示画面１８０には、サムネイル画像が表示される部分であるサムネイル画像表示部１８１、操作することによりサムネイル画像が表示されている番組を再生させる再生ボタン１８２、操作することによりサムネイル画像表示画面１８０の表示を中止する戻るボタン１８３、サムネイル画像が表示されている番組のタイトルや録画日等を示す付加情報を表示する付加情報表示部１８４、操作することにより次の番組のサムネイル画像を表示させる次番組ボタン１８５が設けられている。

このサムネイル画像表示画面１８０により、ユーザは、番組のサムネイル画像を見ることで、番組の内容を容易に確認でき、想像したり思い出したりすることができる。また、ユーザは、サムネイル画像表示画面１８０において操作することにより、サムネイル画像を確認した番組について、再生する操作を行ったり、サムネイル画像の表示を中止したり、他の番組のサムネイル画像を表示させたりすることができる。

なお、視聴率データに基づくサムネイル画像の抽出、共通区間からのサムネイル画像の抽出、バストアップシーンからのサムネイル画像の抽出については、それぞれの抽出方法を単独で用いてもよく、これらのうちの一部の抽出方法を組み合わせて用いてもよい。さらに、他のサムネイル画像の抽出方法と組み合わせて用いてもよい。また、抽出方法の組み合わせについては、上記の組み合わせに限らず、適宜変更することができる。

以上のように、第２の実施の形態によれば、番組の内容をより適切に表現したサムネイル画像を作成することで、ユーザに対して番組の内容を容易に想起させることができ、ユーザが番組の動画像を視聴するか否かの判断を支援することが可能になる。

また、バストアップ画像をサムネイル画像に用いることで、番組の登場人物を確実に表示することが可能となり、ユーザによる番組の内容の把握を容易にすることができる。
また、番組中の以前の放送回の共通部分からサムネイル画像を抽出することで、ユーザに対してサムネイル画像の番組が連続番組であることを容易に把握させることができる。

また、番組の視聴率に基づいてサムネイル画像を抽出することで、番組の放送中における各シーンによる視聴者の盛り上がりをサムネイル画像の抽出に反映させることができる。

また、最高視聴率であった時刻や視聴率が急上昇した時刻の画像をサムネイル画像として抽出することで、番組中で視聴者が最も盛り上がったと考えられるシーンをサムネイル画像とすることができるので、視聴者に対して番組の内容を把握させ易い。また、番組内において印象深いシーンである可能性が高いことから、ユーザに番組の内容を容易に思い出させることができる。

［第３の実施の形態］
次に、第３の実施の形態について説明する。上記の第２の実施の形態との相違点を中心に説明し、同様の事項については同一の符号を用いると共に説明を省略する。

第３の実施の形態は、番組の放送中に、その番組に関する掲示板に対する投稿が書き込まれる速度が最大の時間帯の画像をサムネイル画像として抽出する機能を有する点で、第２の実施の形態と異なる。

図１０は、第３の実施の形態の動画像処理装置の構成を示すブロック図である。図１０に示す動画像処理装置２００は、判定データ取得部２１１、サムネイル画像生成部２１２、サムネイル画像出力部１１３、画像特徴量算出部１１４、入力受付部１１５、番組データ取得部１２１、番組データ提供部１２２、サムネイル画像データ記憶部１５０、番組データ記憶部１６０を有する。また、サムネイル画像出力部１１３には、第２の実施の形態と同様、モニタ１１が接続されている。また、番組データ取得部１２１には、第２の実施の形態と同様、アンテナ２０、インターネット３０が接続されている。また、番組データ提供部１２２には、第２の実施の形態と同様、モニタ１１、スピーカ１４が接続されている。

判定データ取得部２１１は、インターネット３０を介して、動画像データが放送された放送番組の放送時間中における放送番組の視聴者の盛り上がりの推移を判定する判定データとして、放送番組の放送時間中の各時刻と放送番組に関する掲示板に対する視聴者の投稿の書き込み速度との関係を示す書き込み速度データを取得する。ここで、視聴者の盛り上がりは、動画像の視聴者の動画像に対する興味や関心の高まりを示す。書き込み速度データは、動画像を視聴した視聴者の盛り上がりの推移により視聴者の盛り上がりが高い時点の動画像を特定するために用いられる。

ここでは、この書き込み速度データの測定の対象となる掲示板は、例えばテレビ放送局、動画像処理装置２００の製造・販売元等のＷｅｂサイトから提供されるものとする。書き込み速度データにより、放送番組の視聴者の放送時間中の盛り上がりの推移から、視聴者が盛り上がった時点を特定することが可能になる。この書き込み速度データは、判定データとして機能する。

なお、書き込み速度データは、番組に対する視聴者の反応が投稿されるものであって、かつ、書き込み速度が取得可能であれば、放送局等の動画像提供者以外の第三者によって提供されるものであってもよい。また、番組に対する視聴者による投稿を受け付けることが可能なＷｅｂサイトであれば必ずしも掲示板に限らず、例えばブログ（Ｂｌｏｇ，Ｗｅｂｌｏｇ）のコメント欄等であってもよい。

また、例えば掲示板に対する一定時間内の投稿件数を示すように書き込み速度データを設定してもよい。また、掲示板に対して一定時間内に投稿された内容を示すデータ量を示すように書き込み速度データを設定してもよい。

また、書き込み速度データは、掲示板の内容を示すデータや掲示板の更新の有無を示すデータ等を書き込み速度データとしてもよい。この場合、判定データ取得部２１１は、この書き込み速度データをインターネット３０を介して掲示板から取得し、取得した書き込み速度データが示す掲示板の更新の有無に基づいて、判定データ取得部２１１が放送中の各時刻における書き込みの速度を算出してもよい。

サムネイル画像生成部２１２は、番組データ記憶部１６０に記憶されている番組データに含まれている動画像データを取得する。
次に、サムネイル画像生成部２１２は、取得した動画像データから判定データ取得部２１１によって取得された書き込み速度データに基づいてサムネイル画像を抽出する。サムネイル画像生成部２１２は、書き込み速度データに基づいて掲示板に対する視聴者の書き込みの速度が速い時刻を特定し、特定した時刻を動画像の視聴者が盛り上がった時点と判断する。このようにして、書き込み速度データから特定された視聴者が盛り上がった時点の動画像からサムネイル画像を抽出することが可能になる。

このときサムネイル画像生成部２１２は、動画像データの以前の放送回の動画像データが番組データ記憶部１６０に記憶されている場合には、画像特徴量算出部１１４によって算出された画像特徴量に基づいて以前の放送回の動画像データと映像が同一または類似である共通区間を抽出し、抽出した共通区間の動画像データから人物のバストアップを含むバストアップ画像を抽出し、抽出したバストアップ画像をサムネイル画像としてサムネイル画像データを生成する。

また、サムネイル画像生成部２１２は、取得した動画像データから書き込み速度データに基づいて書き込み速度が所定の速度以上である時間帯の画像である高速書き込み画像を抽出し、抽出した高速書き込み画像をサムネイル画像としてサムネイル画像データを生成する。

次に、サムネイル画像生成部２１２は、生成したサムネイル画像データをサムネイル画像データ記憶部１５０に記憶させる。
サムネイル画像出力部１１３は、第２の実施の形態と同様、サムネイル画像データ記憶部１５０に記憶されているサムネイル画像データを出力する。

画像特徴量算出部１１４は、第２の実施の形態と同様、動画像データのフレームの画像と以前の放送回の動画像データのフレームの画像との画像特徴量を算出する。
入力受付部１１５は、第２の実施の形態と同様、ユーザによる視聴する番組の動画像の選択の入力を受け付ける。

番組データ取得部１２１は、第２の実施の形態と同様、ユーザに提供可能なテレビ番組の番組データを取得し、取得した番組データを番組データ記憶部１６０に記憶させる。
番組データ提供部１２２は、第２の実施の形態と同様、入力受付部１１５によって受け付けられたユーザが選択した番組データを提供する。

サムネイル画像データ記憶部１５０は、第２の実施の形態と同様、動画像データのサムネイル画像を示すサムネイル画像データを記憶する。
番組データ記憶部１６０は、第２の実施の形態と同様、番組データ取得部１２１によって取得された、過去に放送されたテレビ番組の番組データを記憶する。

図１１および図１２は、第３の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。図１１および図１２に示すサムネイル画像生成処理は、動画像処理装置２００（図１０において前述）が、テレビ番組の動画像データに基づいてそのテレビ番組のサムネイル画像を生成する処理である。サムネイル画像生成処理は、例えば、テレビ番組の記憶時（録画時）等に実行される。

［ステップＳ５１］サムネイル画像生成部２１２（図１０において前述）は、サムネイル画像生成処理によりサムネイル画像を生成する番組が、連続番組であって、かつ以前の放送回の動画像データが番組データ記憶部１６０に記憶されているか否かを判定する。以前の放送回の動画像データが記憶されていれば、処理はステップＳ５２に進められる。一方、以前の放送回の動画像データが記憶されていなければ、処理はステップＳ５４に進められる。

［ステップＳ５２］サムネイル画像生成部２１２は、ステップＳ５１で以前の放送回の動画像データが記憶されていると判定された番組の動画像データについて、第２の実施の形態のサムネイル画像生成部１１２と同様、連続番組画像抽出処理（図５において前述）を実行する。

［ステップＳ５３］サムネイル画像生成部２１２は、ステップＳ５２の連続番組画像抽出処理でバストアップシーンの画像が抽出されたか否かを判定する。バストアップシーンの画像が抽出されていれば、処理はステップＳ５７に進められる。一方、バストアップシーンの画像が抽出されていなければ、処理はステップＳ５４に進められる。

［ステップＳ５４］判定データ取得部２１１（図１０において前述）は、サムネイル画像が生成される番組の公式ホームページ等において、その番組についての掲示板が設けられているか否かを判定する。掲示板が設けられていれば、処理はステップＳ５５に進められる。一方、掲示板が設けられていなければ、処理はステップＳ６１（図１２）に進められる。

［ステップＳ５５］判定データ取得部２１１は、インターネット３０（図１０において前述）を介してその番組の掲示板の書き込み速度の推移を示す書き込み速度データを取得し、取得した書き込み速度データに基づいて、掲示板の書き込み速度が最大である時間帯を所定の時間間隔（例えば、１０秒間隔）で特定する。

［ステップＳ５６］サムネイル画像生成部２１２は、ステップＳ５５で特定した掲示板の書き込み速度が最大である時間帯からさらに所定の時間（例えば、１０秒）遡った時刻の画像を高速書き込み画像として抽出する。ここで、高速書き込み画像を書き込み速度が最大である時間帯からさらに所定の時間遡った時刻の画像として抽出するのは、視聴者が番組の各シーンを視聴し、これに対する投稿が書き込まれ、掲示板の管理サーバ等が受け付けるまでにある程度のタイムラグが生じると考えられるためである。このため、この所定の時間は必ずしも１０秒には限らず、任意の時間を設定することができる。

［ステップＳ５７］サムネイル画像生成部２１２は、ステップＳ５２またはステップＳ５６で抽出したテレビ番組の画像を、その番組のサムネイル画像に設定し、サムネイル画像データをサムネイル画像データ記憶部１５０（図１０において前述）に記憶させる。その後、処理は終了する。

［ステップＳ６１］サムネイル画像生成部２１２は、サムネイル画像を生成する番組の動画像の所定時刻の画像（動画像の開始から所定時間経過後の画像。例えば、開始から６０秒経過後の画像）を抽出する。その後、処理はステップＳ５７（図１１）に進められる。

なお、本実施の形態では、動画像が連続番組である場合には共通区間からバストアップシーンのサムネイル画像の抽出が行われる。すなわち、書き込み速度データに基づくサムネイル画像の抽出よりも、共通区間からのサムネイル画像の抽出およびバストアップシーンのサムネイル画像の抽出が優先して行われる。しかし、これに限らず、書き込み速度データに基づくサムネイル画像の抽出を他の抽出方法より優先して行ってもよい。また、バストアップシーンのサムネイル画像の抽出は、共通区間以外から抽出してもよい。

また、書き込み速度データに基づくサムネイル画像の抽出、共通区間からのサムネイル画像の抽出、バストアップシーンからのサムネイル画像の抽出については、それぞれの抽出方法を単独で用いてもよく、これらのうちの一部の抽出方法を組み合わせて用いてもよい。さらに、他のサムネイル画像の抽出方法と組み合わせて用いてもよい。また、抽出方法の組み合わせについては、上記の組み合わせに限らず、適宜変更することができる。

以上のように、第３の実施の形態によれば、番組の放送中における番組に対する視聴者からの書き込み速度に基づいてサムネイル画像を抽出することで、番組の放送中における各シーンによる視聴者の盛り上がりをサムネイル画像の抽出に反映させることができる。

また、書き込み速度が所定の速度以上であった時間帯の画像をサムネイル画像として抽出することで、番組中で視聴者が盛り上がったと考えられるシーンをサムネイル画像とすることができるので、視聴者に対して番組の内容を把握させ易い。また、番組内において印象深いシーンである可能性が高いことから、ユーザに番組の内容を容易に思い出させることができる。

［第４の実施の形態］
次に、第４の実施の形態について説明する。上記の第２の実施の形態との相違点を中心に説明し、同様の事項については同一の符号を用いると共に説明を省略する。

第４の実施の形態は、サムネイル画像の抽出の基準として視聴率データおよび書き込み速度データを共に用いる点で、第２の実施の形態と異なる。
図１３は、第４の実施の形態の動画像処理装置の構成を示すブロック図である。図１３に示す動画像処理装置３００は、判定データ取得部３１１、サムネイル画像生成部３１２、サムネイル画像出力部１１３、画像特徴量算出部１１４、入力受付部１１５、番組データ取得部１２１、番組データ提供部１２２、サムネイル画像データ記憶部１５０、番組データ記憶部１６０を有する。また、サムネイル画像出力部１１３には、第２の実施の形態と同様、モニタ１１が接続されている。また、番組データ取得部１２１には、第２の実施の形態と同様、アンテナ２０、インターネット３０が接続されている。また、番組データ提供部１２２には、第２の実施の形態と同様、モニタ１１、スピーカ１４が接続されている。

判定データ取得部３１１は、インターネット３０を介して、判定データとして、視聴率データおよび書き込み速度データを取得する。
サムネイル画像生成部３１２は、番組データ記憶部１６０に記憶されている番組データに含まれている動画像データを取得する。

次に、サムネイル画像生成部３１２は、取得した動画像データから判定データ取得部３１１によって取得された視聴率データまたは書き込み速度データに基づいてサムネイル画像を抽出する。これにより、視聴率データまたは書き込み速度データから特定された視聴者が盛り上がった時点の動画像からサムネイル画像を抽出することが可能になる。

このときサムネイル画像生成部３１２は、動画像データの以前の放送回の動画像データが番組データ記憶部１６０に記憶されている場合には、画像特徴量算出部１１４によって算出された画像特徴量に基づいて以前の放送回の動画像データと映像が同一または類似である共通区間を抽出し、抽出した共通区間の動画像データから人物のバストアップを含むバストアップ画像を抽出し、抽出したバストアップ画像をサムネイル画像としてサムネイル画像データを生成する。

また、サムネイル画像生成部３１２は、動画像データの以前の放送回の動画像データが番組データ記憶部１６０に記憶されていない場合には、取得した動画像データの開始から終了までの間の全体から人物のバストアップを含むバストアップ画像を抽出し、抽出したバストアップ画像をサムネイル画像としてサムネイル画像データを生成する。

また、サムネイル画像生成部３１２は、視聴率データに基づいて、視聴率が所定の閾値以上である場合には、取得した動画像データから最高視聴率画像を抽出し、抽出した最高視聴率画像をサムネイル画像としてサムネイル画像データを生成する。サムネイル画像生成部３１２は、視聴率データに基づいて視聴率が高い時刻を特定し、特定した時刻を動画像の視聴者が盛り上がった時点と判断する。このようにして、視聴率データから特定された視聴者が盛り上がった時点の動画像からサムネイル画像を抽出することが可能になる。

なお、サムネイル画像生成部３１２は、取得した動画像データから視聴率データに基づいて視聴率急上昇画像を抽出し、抽出した視聴率急上昇画像をサムネイル画像としてサムネイル画像データを生成してもよい。

また、サムネイル画像生成部３１２は、取得した動画像データから書き込み速度データに基づいて高速書き込み画像を抽出し、抽出した高速書き込み画像をサムネイル画像としてサムネイル画像データを生成する。サムネイル画像生成部３１２は、書き込み速度データに基づいて掲示板に対する視聴者の書き込みの速度が速い時刻を特定し、特定した時刻を動画像の視聴者が盛り上がった時点と判断する。このようにして、書き込み速度データから特定された視聴者が盛り上がった時点の動画像からサムネイル画像を抽出することが可能になる。

次に、サムネイル画像生成部３１２は、生成したサムネイル画像データをサムネイル画像データ記憶部１５０に記憶させる。
サムネイル画像出力部１１３は、第２の実施の形態と同様、サムネイル画像データ記憶部１５０に記憶されているサムネイル画像データを出力する。

画像特徴量算出部１１４は、第２の実施の形態と同様、動画像データのフレームの画像と以前の放送回の動画像データのフレームの画像との画像特徴量を算出する。
入力受付部１１５は、第２の実施の形態と同様、ユーザによる視聴する番組の動画像の選択の入力を受け付ける。

番組データ取得部１２１は、第２の実施の形態と同様、ユーザに提供可能なテレビ番組の番組データを取得し、取得した番組データを番組データ記憶部１６０に記憶させる。
番組データ提供部１２２は、第２の実施の形態と同様、入力受付部１１５によって受け付けられたユーザが選択した番組データを提供する。

サムネイル画像データ記憶部１５０は、第２の実施の形態と同様、動画像データのサムネイル画像を示すサムネイル画像データを記憶する。
番組データ記憶部１６０は、第２の実施の形態と同様、番組データ取得部１２１によって取得された、過去に放送されたテレビ番組の番組データを記憶する。

図１４から図１６は、第４の実施の形態のサムネイル画像生成処理の手順を示すフローチャートである。図１４から図１６に示すサムネイル画像生成処理は、動画像処理装置３００（図１３において前述）が、テレビ番組の動画像データに基づいてそのテレビ番組のサムネイル画像を生成する処理である。サムネイル画像生成処理は、例えば、テレビ番組の記憶時（録画時）等に実行される。

［ステップＳ７１］判定データ取得部３１１（図１３において前述）は、インターネット３０（図１３において前述）を介してその番組の視聴率の推移を示す視聴率データを取得する。

［ステップＳ７２］サムネイル画像生成部３１２（図１３において前述）は、ステップＳ７１で取得した視聴率データに基づいて、その番組の瞬間視聴率の最大値は所定の閾値以上であるか否かを判定する。所定の閾値以上であれば、処理はステップＳ７３に進められる。一方、所定の閾値未満であれば、処理はステップＳ８１（図１５）に進められる。

［ステップＳ７３］サムネイル画像生成部３１２は、ステップＳ７１で取得した視聴率データに基づいて、番組の動画像データから番組の放映中において瞬間視聴率が最大値を示している時刻の画像を最高視聴率画像として抽出する。

［ステップＳ７４］サムネイル画像生成部３１２は、ステップＳ７３、ステップＳ８４（図１５）、ステップＳ８５（図１５）、ステップＳ９４（図１６）またはステップＳ９５（図１６）で抽出したテレビ番組の画像を、その番組のサムネイル画像に設定し、サムネイル画像データをサムネイル画像データ記憶部１５０（図１３において前述）に記憶させる。その後、処理は終了する。

［ステップＳ８１］サムネイル画像生成部３１２は、サムネイル画像生成処理によりサムネイル画像を生成する番組が、連続番組であって、かつ以前の放送回の動画像データが番組データ記憶部１６０に記憶されているか否かを判定する。以前の放送回の動画像データが記憶されていれば、処理はステップＳ８５に進められる。一方、以前の放送回の動画像データが記憶されていなければ、処理はステップＳ８２に進められる。

［ステップＳ８２］サムネイル画像生成部３１２は、サムネイル画像を生成する番組の動画像データの全体についてバストアップシーン抽出処理（図８において前述）を実行する。

［ステップＳ８３］サムネイル画像生成部３１２は、ステップＳ８２で番組の動画像データの全体からバストアップシーンが判定されたか否かを判定する。バストアップシーンが判定されていれば、処理はステップＳ８４に進められる。一方、バストアップシーンが判定されていなければ、処理はステップＳ９１（図１６）に進められる。

［ステップＳ８４］サムネイル画像生成部３１２は、ステップＳ８３で判定されたバストアップシーンの画像を抽出する。その後、処理はステップＳ９１に進められる。
［ステップＳ８５］サムネイル画像生成部３１２は、ステップＳ８１で以前の放送回の動画像データが記憶されていると判定された番組の動画像データについて、連続番組画像抽出処理（図５において前述）を実行する。その後、処理はステップＳ９１に進められる。

［ステップＳ９１］サムネイル画像生成部３１２は、ステップＳ８２からステップＳ８４（いずれも図１５）までの処理、またはステップＳ８５（図１５）の連続番組画像抽出処理でバストアップシーンの画像が抽出されたか否かを判定する。バストアップシーンの画像が抽出されていれば、処理はステップＳ７４（図１４）に進められる。一方、バストアップシーンの画像が抽出されていなければ、処理はステップＳ９２に進められる。

［ステップＳ９２］判定データ取得部３１１は、サムネイル画像が生成される番組の公式ホームページ等において、その番組についての掲示板が設けられているか否かを判定する。掲示板が設けられていれば、処理はステップＳ９３に進められる。一方、掲示板が設けられていなければ、処理はステップＳ９５に進められる。

［ステップＳ９３］判定データ取得部３１１は、インターネット３０を介してその番組の掲示板の書き込み速度の推移を示す書き込み速度データを取得し、取得した書き込み速度データに基づいて、掲示板の書き込み速度が最大である時間帯を所定の時間間隔（例えば、１０秒間隔）で特定する。

［ステップＳ９４］サムネイル画像生成部３１２は、ステップＳ９３で特定した掲示板の書き込み速度が最大である時間帯からさらに所定の時間（例えば、１０秒）遡った時刻の画像を高速書き込み画像として抽出する。その後、処理はステップＳ７４に進められる。

［ステップＳ９５］サムネイル画像生成部３１２は、サムネイル画像を生成する番組の動画像の所定時刻（例えば、開始から６０秒経過後）の画像を抽出する。その後、処理はステップＳ７４に進められる。

なお、本実施の形態では、動画像の視聴率の最大値が閾値以上である場合には、視聴率データに基づいて瞬間視聴率が最大の時刻の画像がサムネイル画像として抽出される。すなわち、書き込み速度データに基づくサムネイル画像の抽出およびバストアップシーンのサムネイル画像の抽出よりも、視聴率データに基づくサムネイル画像の抽出が優先して行われる。しかし、これに限らず、書き込み速度データに基づくサムネイル画像の抽出を他の抽出方法より優先して行ってもよく、バストアップシーンのサムネイル画像の抽出を他の抽出方法より優先して行ってもよく、共通区間からのサムネイル画像の抽出を他の抽出方法より優先して行ってもよい。

また、視聴率データに基づくサムネイル画像の抽出、書き込み速度データに基づくサムネイル画像の抽出、共通区間からのサムネイル画像の抽出、バストアップシーンからのサムネイル画像の抽出については、それぞれの抽出方法を単独で用いてもよく、これらのうちの一部の抽出方法を組み合わせて用いてもよい。さらに、他のサムネイル画像の抽出方法と組み合わせて用いてもよい。また、抽出方法の組み合わせおよび優先の判定基準については、上記の組み合わせに限らず、適宜変更することができる。

以上のように、第４の実施の形態によれば、視聴率の最大値が閾値以上の場合に番組の視聴率に基づいてサムネイル画像を抽出することで、サムネイル画像の抽出に視聴者の盛り上がりの有無を反映させることができる。

なお、上記の処理機能は、コンピュータによって実現することができる。その場合、動画像処理装置１００，２００，３００が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。

処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体には、磁気記録装置、光ディスク、光磁気記録媒体、半導体メモリ等がある。磁気記録装置には、ＨＤＤ、フレキシブルディスク（ＦＤ）、磁気テープ（ＭＴ）等がある。光ディスクには、ＤＶＤ、ＤＶＤ−ＲＡＭ、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ（Recordable）／ＲＷ（ReWritable）等がある。光磁気記録媒体には、ＭＯ（Magneto - Optical disk）等がある。

上記プログラムを流通させる場合には、例えば、そのプログラムが記録されたＤＶＤ、ＣＤ−ＲＯＭ等の可搬型記録媒体が販売される。また、プログラムをサーバコンピュータに記憶しておき、ネットワークを通じて、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。

上記プログラムを実行するコンピュータは、例えば、可搬型記録媒体に記録されたプログラムまたはサーバコンピュータから転送されたプログラムを、自己の記憶装置に記憶する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記録媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。

以上、開示の動画像処理装置、サムネイル画像生成プログラムおよびサムネイル画像生成方法を、図示の実施の形態に基づいて説明したが、上記については単に本発明の原理を示すものである。開示の技術は、多数の変形、変更が当業者にとって可能であり、上記に示し、説明した正確な構成および応用例に限定されるものではなく、各部の構成は同様の機能を有する任意の構成のものに置換することができる。また、開示の技術に他の任意の構成物や工程が付加されてもよい。また、開示の技術は前述した実施の形態のうちの任意の２以上の構成を組み合わせたものであってもよい。また、開示の技術に対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。

１ 動画像処理装置
１ａ 判定データ取得手段
１ｂ サムネイル画像生成手段
１ｃ サムネイル画像出力手段
１ｄ 動画像データ記憶手段
１ｅ サムネイル画像データ記憶手段

Claims (6)

1. 動画像データを記憶する動画像データ記憶手段と、
   前記動画像データのサムネイル画像を示すサムネイル画像データを記憶するサムネイル画像データ記憶手段と、
   前記動画像データが放送された放送番組の放送時間中の各時刻と前記放送番組の視聴率との関係を示す判定データを取得する判定データ取得手段と、
   前記動画像データ記憶手段に記憶されている前記動画像データを取得し、取得した前記動画像データから前記判定データ取得手段によって取得された前記判定データに基づいて前記視聴率が急上昇した時刻の画像である視聴率急上昇画像を抽出し、抽出した前記視聴率急上昇画像を前記サムネイル画像として前記サムネイル画像データを生成し、生成した前記サムネイル画像データを前記サムネイル画像データ記憶手段に記憶させるサムネイル画像生成手段と、
   前記サムネイル画像データ記憶手段に記憶されている前記サムネイル画像データを出力するサムネイル画像出力手段とを有することを特徴とする動画像処理装置。
2. 動画像データを記憶する動画像データ記憶手段と、
   前記動画像データのサムネイル画像を示すサムネイル画像データを記憶するサムネイル画像データ記憶手段と、
   前記動画像データが放送された放送番組の放送時間中の各時刻と前記放送番組の視聴率との関係を示す判定データを取得する判定データ取得手段と、
   前記動画像データ記憶手段に記憶されている前記動画像データを取得し、前記判定データ取得手段によって取得された前記判定データに基づいて、前記視聴率が所定の閾値以上である場合には、取得した前記動画像データから前記視聴率が最高を示した時刻の画像である最高視聴率画像を抽出し、抽出した前記最高視聴率画像を前記サムネイル画像として前記サムネイル画像データを生成し、生成した前記サムネイル画像データを前記サムネイル画像データ記憶手段に記憶させるサムネイル画像生成手段と、
   前記サムネイル画像データ記憶手段に記憶されている前記サムネイル画像データを出力するサムネイル画像出力手段とを有することを特徴とする動画像処理装置。
3. コンピュータに、
   動画像データが放送された放送番組の放送時間中の各時刻と前記放送番組の視聴率との関係を示す判定データを取得するステップと、
   動画像データ記憶手段に記憶されている前記動画像データを取得し、取得した前記動画像データから、取得された前記判定データに基づいて前記視聴率が急上昇した時刻の画像である視聴率急上昇画像を抽出し、抽出した前記視聴率急上昇画像をサムネイル画像としてサムネイル画像データを生成し、生成した前記サムネイル画像データをサムネイル画像データ記憶手段に記憶させるステップと、
   前記サムネイル画像データ記憶手段に記憶されている前記サムネイル画像データを出力するステップと、
   を含む処理を実行させることを特徴とするサムネイル画像生成プログラム。
4. コンピュータに、
   動画像データが放送された放送番組の放送時間中の各時刻と前記放送番組の視聴率との関係を示す判定データを取得するステップと、
   動画像データ記憶手段に記憶されている前記動画像データを取得し、取得された前記判定データに基づいて、前記視聴率が所定の閾値以上である場合には、取得した前記動画像データから前記視聴率が最高を示した時刻の画像である最高視聴率画像を抽出し、抽出した前記最高視聴率画像をサムネイル画像としてサムネイル画像データを生成し、生成した前記サムネイル画像データをサムネイル画像データ記憶手段に記憶させるステップと、
   前記サムネイル画像データ記憶手段に記憶されている前記サムネイル画像データを出力するステップと、
   を含む処理を実行させることを特徴とするサムネイル画像生成プログラム。
5. 動画像データが放送された放送番組の放送時間中の各時刻と前記放送番組の視聴率との関係を示す判定データを取得するステップと、
   動画像データ記憶手段に記憶されている前記動画像データを取得し、取得した前記動画像データから、取得された前記判定データに基づいて前記視聴率が急上昇した時刻の画像である視聴率急上昇画像を抽出し、抽出した前記視聴率急上昇画像をサムネイル画像としてサムネイル画像データを生成し、生成した前記サムネイル画像データをサムネイル画像データ記憶手段に記憶させるステップと、
   前記サムネイル画像データ記憶手段に記憶されている前記サムネイル画像データを出力するステップと、
   を含む処理をコンピュータにより実行させるサムネイル画像生成方法。
6. 動画像データが放送された放送番組の放送時間中の各時刻と前記放送番組の視聴率との関係を示す判定データを取得するステップと、
   動画像データ記憶手段に記憶されている前記動画像データを取得し、取得された前記判定データに基づいて、前記視聴率が所定の閾値以上である場合には、取得した前記動画像データから前記視聴率が最高を示した時刻の画像である最高視聴率画像を抽出し、抽出した前記最高視聴率画像をサムネイル画像としてサムネイル画像データを生成し、生成した前記サムネイル画像データをサムネイル画像データ記憶手段に記憶させるステップと、
   前記サムネイル画像データ記憶手段に記憶されている前記サムネイル画像データを出力するステップと、
   を含む処理をコンピュータにより実行させるサムネイル画像生成方法。
   

Images