JP2004015288A - スクリーンセーバ作成システムおよび方法 - Google Patents
スクリーンセーバ作成システムおよび方法 Download PDFInfo
- Publication number
- JP2004015288A JP2004015288A JP2002164074A JP2002164074A JP2004015288A JP 2004015288 A JP2004015288 A JP 2004015288A JP 2002164074 A JP2002164074 A JP 2002164074A JP 2002164074 A JP2002164074 A JP 2002164074A JP 2004015288 A JP2004015288 A JP 2004015288A
- Authority
- JP
- Japan
- Prior art keywords
- screen saver
- image
- screen
- creating
- video image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
【課題】撮影したビデオ画像を基に、個人がペットや赤ちゃん等のスクリーンセーバを簡単に作成できるスクリーンセーバ作成システムを提供する。
【解決手段】個人が撮影したビデオ画像のＭＰＥＧ−４ファイルをネットワーク上のサーバ５にパソコン３からアップロードすると、サーバ５はＭＰＥＧ−４ファイルからオブジェクト画像のスクリーンセーバを作成して保存する。パソコン９がサーバ５に保存されたスクリーンセーバをダウンロードしてインストールすると、スクリーンセーバとしてのビデオ画像が画面に表示される。撮影したビデオ画像が、ペットを画面一杯にズーミングし、ペットの動きに合わせてビデオカメラ２をパンさせて撮影したものである場合、パソコン９の画面上でペットの動きに合わせてビデオ画像の表示位置を移動させる。
【選択図】 図１
【解決手段】個人が撮影したビデオ画像のＭＰＥＧ−４ファイルをネットワーク上のサーバ５にパソコン３からアップロードすると、サーバ５はＭＰＥＧ−４ファイルからオブジェクト画像のスクリーンセーバを作成して保存する。パソコン９がサーバ５に保存されたスクリーンセーバをダウンロードしてインストールすると、スクリーンセーバとしてのビデオ画像が画面に表示される。撮影したビデオ画像が、ペットを画面一杯にズーミングし、ペットの動きに合わせてビデオカメラ２をパンさせて撮影したものである場合、パソコン９の画面上でペットの動きに合わせてビデオ画像の表示位置を移動させる。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、ビデオ画像を基にスクリーンセーバを作成するスクリーンセーバ作成システムおよび方法に関する。
【０００２】
【従来の技術】
スクリーンセーバの機能は、その名の通り、パソコンを使っていない時に画面を暗くしてディスプレイの消費電力を抑えるとともに、管面の焼き付きを防止するものである。画面を真っ暗にしてしまうと、パソコンの電源が入っているのか否かが分からないので、スクリーンセーバを起動し、画面全体の面積に比べて小さな面積の絵や文字を常時移動させて表示する。
【０００３】
近年、パソコンの性能向上とともに、スクリーンセーバとしてデラックスなＣＧ画像を画面一杯に表示するものが多く存在し、例えば、水族館そっくりの映像を表示するものがある。これらは管面の焼き付き防止という目的を放棄しており、本来のスクリーンセーバ機能ではなくなっている。
【０００４】
このように、近年のスクリーンセーバでは、２Ｄまたは３Ｄのグラフィックス描画によるオブジェクトを連続的に動かすものが多かった。さらには、動画を再生するものが出始めている。例えば、犬や猫などのペットが公園内を飛び回っている様子をビデオカメラで撮影してスクリーンセーバの素材にすることも可能である。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来では、個人が撮影したビデオ画像を基にスクリーンセーバを作成する場合、ソフトウェアプログラマの専門知識や能力が必要であった。すなわち、高度な熟練を要するので、一般の個人（素人）が簡単に作ることは困難であった。
【０００６】
また、ビデオカメラで撮影されたビデオ画像を素材とするスクリーンセーバを作成する場合、背景画像を切り取ると、犬や猫は１箇所に留まり、単に手足を動かしているだけに見える。これは、撮影者がペットを画面一杯にズーミングし、ペットの動きに合わせてカメラをパンさせるからである。
【０００７】
このような現象を避けるために、カメラを三脚に固定し、レンズを広角にして公園全体が写るように撮影し、画面の中でペットを遊ばせればよいが、今度はカメラの解像度の限界により、ペットの表情が分かりにくくなるといった問題があった。
【０００８】
そこで、本発明は、難解な作業工程をネットワーク上のサーバに行わせることにより、撮影したビデオ画像を基に、個人がペットや赤ちゃん等をコンテンツとするスクリーンセーバを簡単に作成できるスクリーンセーバ作成システムおよび方法を提供することを目的とする。
【０００９】
また、本発明は、ペットを画面一杯にズーミングし、ペットの動きに合わせてカメラをパンさせて撮影したビデオ画像をパソコンの画面に表示する場合、ペットの動きに合わせてビデオ画像の表示位置を移動できるようにすることで、犬や猫が画面上で１箇所に留まり、単に手足を動かしているだけに見えるような不自然な表示を無くすことができるスクリーンセーバ作成システムおよび方法を提供することを他の目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明のスクリーンセーバ作成システムは、ビデオ画像を基にスクリーンセーバを作成するスクリーンセーバ作成システムであって、前記ビデオ画像を送信する第１の送信手段と、該送信されたビデオ画像を受信し、該受信したビデオ画像からオブジェクト画像を切り出す画像切出手段と、該切り出されたオブジェクト画像をコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成手段と、該作成されたスクリーンセーバを送信する第２の送信手段と、該送信されたスクリーンセーバを受信して起動する起動手段とを備えたことを特徴とする。
【００１１】
また、前記オブジェクト画像の移動速度および方向を取得する取得手段を備え、前記スクリーンセーバ作成手段は、前記取得した移動速度および方向を基にスクリーンセーバを作成し、該作成されたスクリーンセーバは、前記移動速度および方向を基に、画面に表示される前記オブジェクト画像の表示位置を移動させることを特徴とする。
【００１２】
本発明のスクリーンセーバ作成方法は、ビデオ画像を基にスクリーンセーバを作成するスクリーンセーバ作成方法であって、前記ビデオ画像を送信する第１の送信ステップと、該送信されたビデオ画像を受信し、該受信したビデオ画像からオブジェクト画像を切り出す画像切出ステップと、該切り出されたオブジェクト画像をコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成ステップと、該作成されたスクリーンセーバを送信する第２の送信ステップと、該送信されたスクリーンセーバを受信して起動する起動ステップとを有することを特徴とする。
【００１３】
また、前記オブジェクト画像の移動速度および方向を取得する取得ステップを有し、前記スクリーンセーバ作成ステップでは、前記取得した移動速度および方向を基にスクリーンセーバを作成し、該作成されたスクリーンセーバは、前記移動速度および方向を基に、画面に表示される前記オブジェクト画像の表示位置を移動させることを特徴とする。
【００１４】
本発明のスクリーンセーバ作成方法は、ビデオ画像および／または静止画像、ＣＧグラフィックスを含むマルチメディア素材を基にスクリーンセーバを作成するスクリーンセーバ作成方法であって、前記ビデオ画像および／またはその他のマルチメディア素材を組み合わせて、２次元レイアウト配置するレイアウト情報を保持するレイアウト保持ステップと、前記レイアウト情報に時間軸上の変化を与え、前記マルチメディア素材の表示位置、表示形態、表示タイミング、複数のマルチメディア素材の重なり具合を制御するパラメーターを保持し制御する時間制御ステップと、前記ビデオ画像からオブジェクト画像を切り出す画像切り出しステップと、前記切り出されたオブジェクト画像の時間軸上の位置情報を制御し、他のオブジェクトと重ね合わせて表示する事によりスクリーンセーバを作成するスクリーンセーバ作成ステップと、前記作成されたスクリーンセーバを送信する送信ステップと、該送信されたスクリーンセーバを受信して起動する起動ステップとを有することを特徴とする。
【００１５】
本発明のスクリーンセーバ作成システムは、動画像を基にスクリーンセーバを作成するスクリーンセーバ作成システムであって、前記動画像からオブジェクト画像を切り出す画像切出手段と、前記オブジェクト画像の移動方向を検出する検出手段と、前記切り出されたオブジェクト画像と前記検出された移動方向に基づき、前記オブジェクトをコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成手段とを備えたことを特徴とする。
【００１６】
【発明の実施の形態】
本発明のスクリーンセーバ作成システムおよび方法の実施の形態について図面を参照しながら説明する。
【００１７】
［サーバ・クライアントシステム］
図１はスクリーンセーバ作成システムの構成を示す図である。本実施形態のスクリーンセーバ作成システムは、サーバ装置およびクライアント装置がインターネットを介して接続されたクライアント・サーバシステムから構成される。図において、１は例えば生きているペットなどの被写体である。２は被写体１を撮影するビデオカメラである。３はビデオカメラ２で撮影されたビデオ画像を取り込み、必要に応じて圧縮形式ＭＰＥＧ−４でフォーマット変換を行うパソコンである。
【００１８】
５はスクリーンセーバを作成する機能を有するサーバである。６はアップロードされた動画像（ＭＰＥＧ−４ファイル）である。７は例えばペットである犬をコンテンツとするスクリーンセーバを作成する際、背景画像が消去され、犬の領域だけが切り出された動画像（ＭＰＥＧ−４ファイル）である。背景画像の無いペットの犬を表示することで、スクリーンセーバとして機能させる。例えば、ワープロとか表計算ソフトで文書を作成中にペットの犬が表示される。８は切り出された犬の動画像を基に作成された、実行可能形式のスクリーンセーバアプリケーション（ＭｙＳｃｒｅｅｎＳａｖｅｒ．ＥＸＥ）である。９は完成したスクリーンセーバをダウンロードして表示するパソコンである。１８はＭＰＥＧ−４ファイルやスクリーンセーバアプリケーションが伝達される通信網としてのインターネットである。
【００１９】
上記構成を有するスクリーンセーバ作成システムの動作を概略的に示す。まず、ユーザはビデオカメラ２で被写体１を撮影する。例えば、自分のペットである犬を撮影する。撮影されたビデオ映像を、適当なインターフェースを介してパソコン３にデジタルビデオファイルとして取り込む。このビデオファイルはＩＳＯ規格の圧縮形式ＭＰＥＧ−４で圧縮される。
【００２０】
ユーザはパソコン３を操作し、インターネット経由でサーバ５にＭＰＥＧ−４ファイルをアップロードする。サーバ５にアップロードされたＭＰＥＧ−４ファイル６は、サーバ５内のプロセッサおよびソフトウェアによってペットだけが切り出され、背景画像はカットされる。この結果、ペット画像だけのＭＰＥＧ−４ファイル７が生成される。切り出されたペットのＭＰＥＧ−４ファイル７は、更に、サーバ５内のプロセッサおよびソフトウェアによってスクリーンセーバアプリケーション（ＭｙＳｃｒｅｅｎＳａｖｅｒ．ＥＸＥ）８に作り変えられ、サーバ５内の所定の場所に書き込まれて保存される。
【００２１】
この準備が整った後、ユーザはパソコン９を使ってサーバ５にアクセスし、スクリーンセーバ８をダウンロードし、インストールすると、自分の飼っているペットをコンテンツとするスクリーンセーバがパソコン９の画面上で楽しめるようになる。
【００２２】
［切り出しツール］
図２はオブジェクトの切り出し処理を示す図である。図において、１０は切り出し前の入力デジタルビデオ画像であり、前述した動画像（ＭＰＥＧ−４ファイル）６に相当する。１１はオブジェクト切り出しモジュールである。１２はオブジェクト切り出しモジュール１１に与えられる切り出し手順選択パラメータである。１３は切り出し元のビデオ画像であり、ビデオ画像１０と同じである。１４は切り出されたオブジェクトのマスクパターンである。１５は切り出し合成モジュールである。１６は切り出されたビデオオブジェクトである。
【００２３】
オブジェクト切り出しモジュール１１は、複数の切り出し方法を提供する。この切り出し方法は、切り出し手順選択パラメータ１２によって選択される。ここで、切り出し手順選択パラメータ１２に「１」、「２」または「３」の数値が与えられると、それぞれ「ブルーバック切り出し」、「任意背景切り出し」または「手動背景切り出し」が選択される。
【００２４】
「ブルーバック切り出し」の場合、入力ビデオ画像１０が青い背景のスタジオで撮影されたペットの動画であることを前提とする。「ブルーバック切り出し」の仕組みは、古くから知られており、ＲＧＢ成分のビデオ信号をＹｕｖ成分の信号に変換し、青色成分を検出してそれを白または黒に変換すると、オブジェクトだけが取り出される。また、「ブルーバック切り出し」の欠点もよく知られており、撮影時、特別に大掛かりな装置を必要とし、オブジェクトが青を含んでいると、その部分が抜け落ちてしまうこと等がある。
【００２５】
「任意背景切り出し」の場合、オブジェクトを含まない任意の背景の静止画を撮影し、次にオブジェクトを入れて撮影したビデオ画像から先に撮影した静止画（背景画像）を引き算する。これにより、ノイズを無視すると、背景部分はゼロになり、オブジェクト部分の画像データに何らかの値が残る。これを値０か値１に量子化すると、オブジェクト・マスクパターンが得られ、それを元のビデオ画像に掛け合わせることで、オブジェクトが切り出さられる。
【００２６】
「手動切り出し」の場合、ビデオ動画の最初のフレームを静止画として表示し、目視でオブジェクトの輪郭をなぞっていくことで、輪郭情報を与える。第２フレーム以降、隣接したフレーム間ではオブジェクトが大きく変化しないという特性を利用し、第１フレームで与えられた輪郭情報の近傍の画像を検査し、新たな輪郭を検出する。この様な動作を順に繰り返すことにより、全フレームからオブジェクトだけが切り出される。尚、オブジェクト切り出しモジュール１１の内部構成は本発明の対象外であるので、その説明を省略する。
【００２７】
オブジェクト切り出しモジュール１１から出力されるマスクパターン１４は、オブジェクト部分を「１」、背景部分を「０」とするビットマップ画像である。前述したように、このビットマップ画像を元のビデオ画像に掛け合わせることで、オブジェクト部分を切り出した動画像が得られる。
【００２８】
［パンニング］
犬や猫のペットを撮影する場合、カメラレンズを広角に設定し、三脚に固定して動物が動き回る様子を撮影する人は少ない。普通、ペットをズームレンズで画面いっぱいに引き寄せ、ペットの動きに合わせてカメラをパンしていく。
【００２９】
図３はパンニング時の撮影の様子を示す図である。図において、犬が位置ａ→位置ｂ→位置ｃへと移動する場合、ビデオカメラ２の撮影者は、犬を画面一杯に写した状態で、ビデオカメラ２を矢印ｄ方向に回転させながら撮影する。この動作を「パンニング」または単に「パン」という。
【００３０】
このように撮影した結果、シーン２５→シーン２６→シーン２７に示すように、犬は画面の中で足を動かすだけで移動せず、背景画像だけが左から右へ移動して行く様子が撮影される。それでも違和感を感じないのは、人間が頭の中で背景画像の相対的な動きから犬の動きを想像できるからである。
【００３１】
ところが、スクリーンセーバの場合、オブジェクトの犬を切り出して背景画像を消去するので、問題が生じることになる。図４は切り出されたオブジェクトの犬だけのシーンを示す図である。例えば、オブジェクトの犬を切り出したシーンがシーン３０→シーン３１→シーン３２と変化すると、スクリーン３３に表示される犬の動画３９は、デスクトップ４０上で足を前後に動かしているだけに見える。
【００３２】
この問題を解決するためには、図５の位置ｅ→位置ｆ→位置ｇに示すように、スクリーン３３上における犬の表示位置をフレーム毎に右から左へ少しずつ移動させる必要がある。図５はスクリーン上における犬の表示位置を変化させる様子を示す図である。これにより、犬はデスクトップ上を本当に歩き回っているように見える。ここで、移動量３７、３８は、犬の歩く速さとスクリーン上での縮尺率とから決定される。
【００３３】
［移動量の検出］
移動量の検出には、圧縮形式ＭＰＥＧ−４特有の仕組みを利用する。圧縮形式ＭＰＥＧ−４では、圧縮する時に動きベクトル符号化という方法を用いている。いわゆる「動き検出」機能を有する。図６はあるシーンの前後２フレームの差分から動きベクトルを求めて画面上にプロットした様子を示す図である。矢印の向きが動きベクトルの方向を示し、矢印の長さが動きベクトルの大きさに比例する。図から明らかなように、動いているのは専ら背景画像の方である。
【００３４】
図７は動きベクトルのＸ軸成分を示すヒストグラムである。縦軸の単位は「個数」であり、横軸の単位は「画素／フレーム」である。このヒストグラムには、２つのピークＡ、Ｂが存在することが分かる。Ｃはピークを判定するためのスライスレベルである。このヒストグラムでは、ピークＡは動きの少ない「犬」と濃淡がはっきりしない「空」の動きベクトルによるものである。また、ピークＢは「草むら」を中心とした背景画像の動きベクトルによるものである。したがって、背景画像は右方向に「８画素／フレーム」の速さで動いていることが分かる。図８は動きベクトルのＹ軸成分を示すヒストグラムである。このヒストグラムでは、１つのピークＤしか判定されない。小さなピークＥはスライスレベルＣに満たない。したがって、Ｙ軸方向の動きはないと判断できる。
【００３５】
［動き積分］
移動量の検出によって、画面の中に犬や猫のオブジェクトが１つしか存在しない場合のオブジェクトの動きを計算する。隣接フレーム間のオブジェクトの動きベクトルを［ｐ（ｘ，ｙ）］、背景画像の動きベクトルを［ｂ（ｘ，ｙ）］とすると、オブジェクトの絶対動きベクトル［Ｐ（ｘ，ｙ）］は、数式（１）で与えられる。
【００３６】
［Ｐ］（画素／フレーム）＝［ｐ］−［ｂ］ ……（１）
動画のフレームレートをＦ（フレーム／秒）とすると、オブジェクトの速さ［Ｖ（ｘ，ｙ）］は、数式（２）で表される。
【００３７】
［Ｖ］（画素／秒）＝［Ｐ］×Ｆ …（２）
したがって、ある微小時間ｔの間にオブジェクトが移動する距離［ｊ］は数式（３）で与えられ、所定時間Ｔの移動量［Ｊ］は数式（４）に示すように積分値で与えられる。
【００３８】
図９は移動量Ｊの値を１秒毎に画面上にプロットした軌跡を示す図である。この移動量Ｊの軌跡は、犬が公園を動き回った軌跡と相似形であると考えられる。犬は、まず原点（０，０）からスタートし、９０秒後にＥＮＤ点に到達している。ここでは、この図形を軌跡ベクトル図と呼ぶことにする。参考までに、画面５０はＸＧＡサイズ（１０２４×７６８）の画面である。
【００３９】
図９では、犬が走った軌跡は画面５０からはみ出てしまうので、犬の軌跡を全体的にシフトし、図１０に示すように画面内に収まるようにする。図１０は画面５０内に収まるようにシフトさせた犬の軌跡を示す図である。軌跡を縮小させる場合、その縮小率が２０％程度までなら、軌跡ベクトルの変更だけで構わないが、２０％以上になるとオブジェクトの犬が地面をスリップしている様に見えてくるので、オブジェクト動画の縮小も並行して行うようにする必要がある。このオブジェクトの動画を縮小するやり方は、軌跡ベクトル図の縮小率が４０％程度まで実用に耐えられることが多い。それ以上の縮小率となると、動画オブジェクトが小さくなり過ぎるので、別な手法を用いた方がよい。
【００４０】
［軌跡のはみ出し］
通常、ビデオカメラの撮影者は、犬の可愛らしい動きを撮影することに懸命であり、犬がスクリーンセーバに使用された際、画面からはみ出さないようにするということを配慮しない。このため、撮影されたビデオの動きベクトルを解析し、軌跡ベクトル図を書くと、スクリーン（画面）から大きくはみ出してしまうことが多い。このような場合、前述したように、軌跡ベクトル図を４０％程度縮小しても、画面に収まらない場合、むしろ画面からはみ出させてしまう方が自然に見える。
【００４１】
図１１は軌跡ベクトル図を画面からはみ出させる場合の様子を示す図である。犬がＳＴＡＲＴ点からどんどん左に移動し、画面サイズに比較して軌跡ベクトル図が４００％にもなっている場合、これは多分、犬が撮影者の周囲を反時計回りに回り続けた結果である。したがって、点▲１▼で画面から犬をはみ出させ、点▲１▼’で画面に入場させ、また点▲２▼で画面からはみ出させ、点▲２▼’で画面に入場させ、さらに点▲３▼でまた画面からはみ出させ、点▲３▼’で画面に入場させてＥＮＤ点で終了するような動きの方が、オブジェクトのサイズは１００％のままでよいので、視覚効果に優れる。
【００４２】
［エンコーダ部の構成］
図１２はパソコン（クライアント）３内のエンコーダ部の構成を示すブロック図である。図中、点線で囲まれた部分は、当業者にとって公知の技術である動き補償ＤＣＴ符号化部６０である。オブジェクト切り出しモジュール１１は、動き補償ＤＣＴ符号化部６０と並行して画像を判定する。オブジェクト切り出しモジュール１１に入力される数値「２」は、前述したように、切り出し方法を選択するためのデータ（切り出し手順選択パラメータ）である。オブジェクト切り出しデータは、「０」、「１」の２値データであるので、ＭＨ（モディファイド・ハフマン）符号化されて出力される。
【００４３】
動き補償ＤＣＴ符号化部６０の中で扱われる動き補償予測データは、ヒストグラム回路６１にも送られ、フレーム単位でヒストグラムが集計される。その結果、２つのピークが計算され、原点に近いピークＡ（隣接フレーム間のオブジェクトの動きベクトル［ｐ］）と原点から遠いピークＢ（背景画像の動きベクトル［ｂ］）との差分が加算器６２で計算される。これは、数式１で示した結果と等しくなる。この結果は、圧縮ビデオ信号およびオブジェクト切り出しデータとともに、マルチプレクサ（ＭＰＸ）６３でマルチプレックスされ、ＭＰＥＧ−４ファイル６４に出力される。
【００４４】
図１３はサーバ５内のデコーダ部の構成を示すブロック図である。点線で囲まれる部分は、当業者にとって公知の技術である動き補償ＤＣＴ復号化部７１である。ＭＰＥＧ−４ファイル６４は、デマルチプレクサ（ＤＭＰＸ）６５によって、圧縮ビデオ信号、動き補償ＤＣＴ復号信号およびオブジェクト切り出しデータに分離される。オブジェクト切り出しデータが入力される切り出しデコーダ６８の出力は２値画像であり、乗算器６９において動き補償ＤＣＴ復号化部７１から出力される再生ビデオ信号に乗算される。背景画像はここで捨てられる。
【００４５】
一方、動き補償ＤＣＴ復号信号は、乗算器６６で固定値Ｆと掛け算され、積分器６７に入力される。積分器６７は、数式４に示すオブジェクトの移動データを出力する。これは軌跡データであり、加算器７０でオブジェクト・ビデオ信号に加算され、オフセット値を与える。尚、乗算器６６および積分器６７は、図１２のエンコーダ側に設けてもよい。この場合、軌跡データそのものがＭＰＥＧ−４ファイル６４の中に保存されることになる。
【００４６】
［スクリーンセーバとしての動作］
このようにして生成されたオブジェクト・ビデオ信号（動画）を再生して所定の動きをさせる場合、ＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅ）に与えるプログラムを決定する必要がある。ＢＩＦＳはバイナリコードであるが、テキストベースのＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）と機能的に同じであり、Ｊａｖａ（登録商標）スクリプトをサポートする。
【００４７】
［ＶＲＭＬ／ＢＩＦＳ］
動画を再生しながら犬の歩いた軌跡に合わせて、切り出された動画オブジェクト（犬）の画面上での位置を変えるためのＶＲＭＬプログラム例は、以下の通りである。
図１４はスクリーンセーバーを生成する具体的なエンコーダー部分の機能ブロック図である。動画コンテンツ１００を、Ａ／Ｖコンバーター１０１でフォーマット変換し、ビデオ／オーディオエンコーダー１０５でＭＰＥＧ−４に変換する。一方、静止画１０２は背景静止画画像エンコーダー１０３でＪＰＥＧ圧縮され、レイアウト編集ツール１０９にマルチメディア素材として提供される。
【００４８】
あらかじめレイアウトを決めたテンプレートファイルをＷｅｂサーバーからダウンロードする場合には、ダウンローダー１０７を介してＶＲＭＬテンプレートが１０６にダウンロードされる。レイアウト編集ツール１０９は、マルチメディア素材１０５をテンプレート上にドラッグ＆ドロップする事により、スクリーンセーバーのレイアウトをＶＲＭＬの形でＶＲＭＬエンコーダー１０８に出力し、ＢＩＦＳエンコーダー１１０でバイナリ−フォーマットに変換する。
【００４９】
その結果はマルチプレクサ−１１２により動画、静止画、テキストと共にＢＩＦＳレイアウトもマルチプレックスされる。その手順を記述したスクリプトがマルチプレックス制御スクリプト生成ツール１１１から与えられる。
【００５０】
マルチプレックスされた結果は、ファイルＩ／Ｏモジュール１１３によりＭＰ４ファイルに変換され、ディスク１１４に保存される。
【００５１】
ディスク１１４に保存されたＭＰ４ファイルは、プレビューツール１２０によりローカル再生も可能である。通常はサムネール生成モジュール１１５でアイコンとしてのサムネール画像を生成してディスク１１６に蓄えると共に、コンテンツ記述ファイル生成モジュール１１７で書誌的事項を生成してディスク１１８に蓄える。通信モジュール１１９はそれらのコンテンツ１１４、１１６、１１８を図示しないサーバーにアップロードし、Ｗｅｂサーバーに公開する事ができる。
【００５２】
再生側においては、プレビューツール１２０と同じモジュールをバックグラウンドで起動しておき、一定時間のマウス／キーボード操作が無いときに配信されたコンテンツを起動する。
【００５３】
以上示したように、本実施形態のスクリーンセーバ作成システムによれば、難解な作業工程をネットワーク上のサーバ５に行わせることにより、自分が撮影したペットのビデオ画像が表示されるスクリーンセーバを簡単に作成できる。
【００５４】
また、ペットを画面一杯にズーミングし、ペットの動きに合わせてビデオカメラ２をパンさせて撮影したビデオ画像をパソコン９の画面に表示する場合、ペットの動きに合わせてその表示位置を移動できる。したがって、犬や猫が画面上で１箇所に留まり、単に手足を動かしているだけに見えるような不自然な表示を無くすことができる。
【００５５】
以上が本発明の実施の形態の説明であるが、本発明は、これら実施の形態の構成に限られるものではなく、特許請求の範囲で示した機能、または実施の形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【００５６】
例えば、上記実施形態では、クライアントからサーバにＭＰＥＧ−４ファイルをアップロードし、サーバでスクリーンセーバを作成して保存し、クライアントがダウンロードしてインストールするクライアント・サーバシステムに適用された場合を示したが、ネットワークに接続されない単体の機器内で実現することも可能である。
【００５７】
また、上記実施形態のスクリーンセーバ作成システムを、有償配信するようなビジネスに応用してもよい。
【００５８】
さらに、上記実施形態では、スクリーンセーバを作成する場合を示したが、その他、環境ソフトウェアとして、動画メールの自動表示、動画公告の自動受信、登録番組の自動受信、アプリケーションの動画ヘルプなどを作成する場合も、同様にサーバを利用して作成するようにしてもよい。
【００５９】
【発明の効果】
本発明によれば、難解な作業工程をネットワーク上のサーバに行わせることにより、撮影したビデオ画像を基に、個人が自分のペットや赤ちゃん等をコンテンツとするスクリーンセーバを簡単に作成できる。
【００６０】
また、ペットを画面一杯にズーミングし、ペットの動きに合わせてカメラをパンさせて撮影したビデオ画像をパソコンの画面に表示する場合、ペットの動きに合わせてビデオ画像の表示位置を移動できる。したがって、犬や猫が画面上で１箇所に留まり、単に手足を動かしているだけに見えるような不自然な表示を無くすことができる。
【図面の簡単な説明】
【図１】
スクリーンセーバ作成システムの構成を示す図である。
【図２】
オブジェクトの切り出し処理を示す図である。
【図３】
パンニング時の撮影の様子を示す図である。
【図４】
切り出されたオブジェクトの犬だけのシーンを示す図である。
【図５】
スクリーン上における犬の表示位置を変化させる様子を示す図である。
【図６】
あるシーンの前後２フレームの差分から動きベクトルを求めて画面上にプロットした様子を示す図である。
【図７】
動きベクトルのＸ軸成分を示すヒストグラムである。
【図８】
動きベクトルのＹ軸成分を示すヒストグラムである。
【図９】
移動量Ｊの値を１秒毎に画面上にプロットした軌跡を示すグラフである。
【図１０】
画面５０内に収まるようにシフトさせた犬の軌跡を示す図である。
【図１１】
軌跡ベクトル図を画面からはみ出させる場合の様子を示す図である。
【図１２】
パソコン（クライアント）３内のエンコーダ部の構成を示すブロック図である。
【図１３】
サーバ５内のデコーダ部の構成を示すブロック図である。
【図１４】
スクリーンセーバーを生成するエンコーダー部分の機能ブロック図である。
【符号の説明】
１ 被写体
２ ビデオカメラ
３、９ パソコン（クライアント）
５ サーバ
１１ オブジェクト切り出しモジュール
６１ ヒストグラム回路
６２、７０ 加算器
６６、６９ 乗算器
６７ 積分器
１０３ 背景静止画画像エンコーダー
１０５ ビデオ／オーディオエンコーダー
１０６ レイアウト表示用ＶＲＭＬテンプレート
１０８ ＶＲＭＬエンコーダー
１０９ レイアウト編集ツール
１１０ ＢＩＦＳレイアウトエンコーダー
１１１ マルチプレックス制御スクリプト生成ツール
１１３ ファイルＩ／Ｏモジュール
１１５ サムネール生成モジュール
１１７ コンテンツ記述ファイル生成モジュール
１１９ 通信モジュール
１２０ プレビューツール（プレーヤー）
【発明の属する技術分野】
本発明は、ビデオ画像を基にスクリーンセーバを作成するスクリーンセーバ作成システムおよび方法に関する。
【０００２】
【従来の技術】
スクリーンセーバの機能は、その名の通り、パソコンを使っていない時に画面を暗くしてディスプレイの消費電力を抑えるとともに、管面の焼き付きを防止するものである。画面を真っ暗にしてしまうと、パソコンの電源が入っているのか否かが分からないので、スクリーンセーバを起動し、画面全体の面積に比べて小さな面積の絵や文字を常時移動させて表示する。
【０００３】
近年、パソコンの性能向上とともに、スクリーンセーバとしてデラックスなＣＧ画像を画面一杯に表示するものが多く存在し、例えば、水族館そっくりの映像を表示するものがある。これらは管面の焼き付き防止という目的を放棄しており、本来のスクリーンセーバ機能ではなくなっている。
【０００４】
このように、近年のスクリーンセーバでは、２Ｄまたは３Ｄのグラフィックス描画によるオブジェクトを連続的に動かすものが多かった。さらには、動画を再生するものが出始めている。例えば、犬や猫などのペットが公園内を飛び回っている様子をビデオカメラで撮影してスクリーンセーバの素材にすることも可能である。
【０００５】
【発明が解決しようとする課題】
しかしながら、従来では、個人が撮影したビデオ画像を基にスクリーンセーバを作成する場合、ソフトウェアプログラマの専門知識や能力が必要であった。すなわち、高度な熟練を要するので、一般の個人（素人）が簡単に作ることは困難であった。
【０００６】
また、ビデオカメラで撮影されたビデオ画像を素材とするスクリーンセーバを作成する場合、背景画像を切り取ると、犬や猫は１箇所に留まり、単に手足を動かしているだけに見える。これは、撮影者がペットを画面一杯にズーミングし、ペットの動きに合わせてカメラをパンさせるからである。
【０００７】
このような現象を避けるために、カメラを三脚に固定し、レンズを広角にして公園全体が写るように撮影し、画面の中でペットを遊ばせればよいが、今度はカメラの解像度の限界により、ペットの表情が分かりにくくなるといった問題があった。
【０００８】
そこで、本発明は、難解な作業工程をネットワーク上のサーバに行わせることにより、撮影したビデオ画像を基に、個人がペットや赤ちゃん等をコンテンツとするスクリーンセーバを簡単に作成できるスクリーンセーバ作成システムおよび方法を提供することを目的とする。
【０００９】
また、本発明は、ペットを画面一杯にズーミングし、ペットの動きに合わせてカメラをパンさせて撮影したビデオ画像をパソコンの画面に表示する場合、ペットの動きに合わせてビデオ画像の表示位置を移動できるようにすることで、犬や猫が画面上で１箇所に留まり、単に手足を動かしているだけに見えるような不自然な表示を無くすことができるスクリーンセーバ作成システムおよび方法を提供することを他の目的とする。
【００１０】
【課題を解決するための手段】
上記目的を達成するために、本発明のスクリーンセーバ作成システムは、ビデオ画像を基にスクリーンセーバを作成するスクリーンセーバ作成システムであって、前記ビデオ画像を送信する第１の送信手段と、該送信されたビデオ画像を受信し、該受信したビデオ画像からオブジェクト画像を切り出す画像切出手段と、該切り出されたオブジェクト画像をコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成手段と、該作成されたスクリーンセーバを送信する第２の送信手段と、該送信されたスクリーンセーバを受信して起動する起動手段とを備えたことを特徴とする。
【００１１】
また、前記オブジェクト画像の移動速度および方向を取得する取得手段を備え、前記スクリーンセーバ作成手段は、前記取得した移動速度および方向を基にスクリーンセーバを作成し、該作成されたスクリーンセーバは、前記移動速度および方向を基に、画面に表示される前記オブジェクト画像の表示位置を移動させることを特徴とする。
【００１２】
本発明のスクリーンセーバ作成方法は、ビデオ画像を基にスクリーンセーバを作成するスクリーンセーバ作成方法であって、前記ビデオ画像を送信する第１の送信ステップと、該送信されたビデオ画像を受信し、該受信したビデオ画像からオブジェクト画像を切り出す画像切出ステップと、該切り出されたオブジェクト画像をコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成ステップと、該作成されたスクリーンセーバを送信する第２の送信ステップと、該送信されたスクリーンセーバを受信して起動する起動ステップとを有することを特徴とする。
【００１３】
また、前記オブジェクト画像の移動速度および方向を取得する取得ステップを有し、前記スクリーンセーバ作成ステップでは、前記取得した移動速度および方向を基にスクリーンセーバを作成し、該作成されたスクリーンセーバは、前記移動速度および方向を基に、画面に表示される前記オブジェクト画像の表示位置を移動させることを特徴とする。
【００１４】
本発明のスクリーンセーバ作成方法は、ビデオ画像および／または静止画像、ＣＧグラフィックスを含むマルチメディア素材を基にスクリーンセーバを作成するスクリーンセーバ作成方法であって、前記ビデオ画像および／またはその他のマルチメディア素材を組み合わせて、２次元レイアウト配置するレイアウト情報を保持するレイアウト保持ステップと、前記レイアウト情報に時間軸上の変化を与え、前記マルチメディア素材の表示位置、表示形態、表示タイミング、複数のマルチメディア素材の重なり具合を制御するパラメーターを保持し制御する時間制御ステップと、前記ビデオ画像からオブジェクト画像を切り出す画像切り出しステップと、前記切り出されたオブジェクト画像の時間軸上の位置情報を制御し、他のオブジェクトと重ね合わせて表示する事によりスクリーンセーバを作成するスクリーンセーバ作成ステップと、前記作成されたスクリーンセーバを送信する送信ステップと、該送信されたスクリーンセーバを受信して起動する起動ステップとを有することを特徴とする。
【００１５】
本発明のスクリーンセーバ作成システムは、動画像を基にスクリーンセーバを作成するスクリーンセーバ作成システムであって、前記動画像からオブジェクト画像を切り出す画像切出手段と、前記オブジェクト画像の移動方向を検出する検出手段と、前記切り出されたオブジェクト画像と前記検出された移動方向に基づき、前記オブジェクトをコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成手段とを備えたことを特徴とする。
【００１６】
【発明の実施の形態】
本発明のスクリーンセーバ作成システムおよび方法の実施の形態について図面を参照しながら説明する。
【００１７】
［サーバ・クライアントシステム］
図１はスクリーンセーバ作成システムの構成を示す図である。本実施形態のスクリーンセーバ作成システムは、サーバ装置およびクライアント装置がインターネットを介して接続されたクライアント・サーバシステムから構成される。図において、１は例えば生きているペットなどの被写体である。２は被写体１を撮影するビデオカメラである。３はビデオカメラ２で撮影されたビデオ画像を取り込み、必要に応じて圧縮形式ＭＰＥＧ−４でフォーマット変換を行うパソコンである。
【００１８】
５はスクリーンセーバを作成する機能を有するサーバである。６はアップロードされた動画像（ＭＰＥＧ−４ファイル）である。７は例えばペットである犬をコンテンツとするスクリーンセーバを作成する際、背景画像が消去され、犬の領域だけが切り出された動画像（ＭＰＥＧ−４ファイル）である。背景画像の無いペットの犬を表示することで、スクリーンセーバとして機能させる。例えば、ワープロとか表計算ソフトで文書を作成中にペットの犬が表示される。８は切り出された犬の動画像を基に作成された、実行可能形式のスクリーンセーバアプリケーション（ＭｙＳｃｒｅｅｎＳａｖｅｒ．ＥＸＥ）である。９は完成したスクリーンセーバをダウンロードして表示するパソコンである。１８はＭＰＥＧ−４ファイルやスクリーンセーバアプリケーションが伝達される通信網としてのインターネットである。
【００１９】
上記構成を有するスクリーンセーバ作成システムの動作を概略的に示す。まず、ユーザはビデオカメラ２で被写体１を撮影する。例えば、自分のペットである犬を撮影する。撮影されたビデオ映像を、適当なインターフェースを介してパソコン３にデジタルビデオファイルとして取り込む。このビデオファイルはＩＳＯ規格の圧縮形式ＭＰＥＧ−４で圧縮される。
【００２０】
ユーザはパソコン３を操作し、インターネット経由でサーバ５にＭＰＥＧ−４ファイルをアップロードする。サーバ５にアップロードされたＭＰＥＧ−４ファイル６は、サーバ５内のプロセッサおよびソフトウェアによってペットだけが切り出され、背景画像はカットされる。この結果、ペット画像だけのＭＰＥＧ−４ファイル７が生成される。切り出されたペットのＭＰＥＧ−４ファイル７は、更に、サーバ５内のプロセッサおよびソフトウェアによってスクリーンセーバアプリケーション（ＭｙＳｃｒｅｅｎＳａｖｅｒ．ＥＸＥ）８に作り変えられ、サーバ５内の所定の場所に書き込まれて保存される。
【００２１】
この準備が整った後、ユーザはパソコン９を使ってサーバ５にアクセスし、スクリーンセーバ８をダウンロードし、インストールすると、自分の飼っているペットをコンテンツとするスクリーンセーバがパソコン９の画面上で楽しめるようになる。
【００２２】
［切り出しツール］
図２はオブジェクトの切り出し処理を示す図である。図において、１０は切り出し前の入力デジタルビデオ画像であり、前述した動画像（ＭＰＥＧ−４ファイル）６に相当する。１１はオブジェクト切り出しモジュールである。１２はオブジェクト切り出しモジュール１１に与えられる切り出し手順選択パラメータである。１３は切り出し元のビデオ画像であり、ビデオ画像１０と同じである。１４は切り出されたオブジェクトのマスクパターンである。１５は切り出し合成モジュールである。１６は切り出されたビデオオブジェクトである。
【００２３】
オブジェクト切り出しモジュール１１は、複数の切り出し方法を提供する。この切り出し方法は、切り出し手順選択パラメータ１２によって選択される。ここで、切り出し手順選択パラメータ１２に「１」、「２」または「３」の数値が与えられると、それぞれ「ブルーバック切り出し」、「任意背景切り出し」または「手動背景切り出し」が選択される。
【００２４】
「ブルーバック切り出し」の場合、入力ビデオ画像１０が青い背景のスタジオで撮影されたペットの動画であることを前提とする。「ブルーバック切り出し」の仕組みは、古くから知られており、ＲＧＢ成分のビデオ信号をＹｕｖ成分の信号に変換し、青色成分を検出してそれを白または黒に変換すると、オブジェクトだけが取り出される。また、「ブルーバック切り出し」の欠点もよく知られており、撮影時、特別に大掛かりな装置を必要とし、オブジェクトが青を含んでいると、その部分が抜け落ちてしまうこと等がある。
【００２５】
「任意背景切り出し」の場合、オブジェクトを含まない任意の背景の静止画を撮影し、次にオブジェクトを入れて撮影したビデオ画像から先に撮影した静止画（背景画像）を引き算する。これにより、ノイズを無視すると、背景部分はゼロになり、オブジェクト部分の画像データに何らかの値が残る。これを値０か値１に量子化すると、オブジェクト・マスクパターンが得られ、それを元のビデオ画像に掛け合わせることで、オブジェクトが切り出さられる。
【００２６】
「手動切り出し」の場合、ビデオ動画の最初のフレームを静止画として表示し、目視でオブジェクトの輪郭をなぞっていくことで、輪郭情報を与える。第２フレーム以降、隣接したフレーム間ではオブジェクトが大きく変化しないという特性を利用し、第１フレームで与えられた輪郭情報の近傍の画像を検査し、新たな輪郭を検出する。この様な動作を順に繰り返すことにより、全フレームからオブジェクトだけが切り出される。尚、オブジェクト切り出しモジュール１１の内部構成は本発明の対象外であるので、その説明を省略する。
【００２７】
オブジェクト切り出しモジュール１１から出力されるマスクパターン１４は、オブジェクト部分を「１」、背景部分を「０」とするビットマップ画像である。前述したように、このビットマップ画像を元のビデオ画像に掛け合わせることで、オブジェクト部分を切り出した動画像が得られる。
【００２８】
［パンニング］
犬や猫のペットを撮影する場合、カメラレンズを広角に設定し、三脚に固定して動物が動き回る様子を撮影する人は少ない。普通、ペットをズームレンズで画面いっぱいに引き寄せ、ペットの動きに合わせてカメラをパンしていく。
【００２９】
図３はパンニング時の撮影の様子を示す図である。図において、犬が位置ａ→位置ｂ→位置ｃへと移動する場合、ビデオカメラ２の撮影者は、犬を画面一杯に写した状態で、ビデオカメラ２を矢印ｄ方向に回転させながら撮影する。この動作を「パンニング」または単に「パン」という。
【００３０】
このように撮影した結果、シーン２５→シーン２６→シーン２７に示すように、犬は画面の中で足を動かすだけで移動せず、背景画像だけが左から右へ移動して行く様子が撮影される。それでも違和感を感じないのは、人間が頭の中で背景画像の相対的な動きから犬の動きを想像できるからである。
【００３１】
ところが、スクリーンセーバの場合、オブジェクトの犬を切り出して背景画像を消去するので、問題が生じることになる。図４は切り出されたオブジェクトの犬だけのシーンを示す図である。例えば、オブジェクトの犬を切り出したシーンがシーン３０→シーン３１→シーン３２と変化すると、スクリーン３３に表示される犬の動画３９は、デスクトップ４０上で足を前後に動かしているだけに見える。
【００３２】
この問題を解決するためには、図５の位置ｅ→位置ｆ→位置ｇに示すように、スクリーン３３上における犬の表示位置をフレーム毎に右から左へ少しずつ移動させる必要がある。図５はスクリーン上における犬の表示位置を変化させる様子を示す図である。これにより、犬はデスクトップ上を本当に歩き回っているように見える。ここで、移動量３７、３８は、犬の歩く速さとスクリーン上での縮尺率とから決定される。
【００３３】
［移動量の検出］
移動量の検出には、圧縮形式ＭＰＥＧ−４特有の仕組みを利用する。圧縮形式ＭＰＥＧ−４では、圧縮する時に動きベクトル符号化という方法を用いている。いわゆる「動き検出」機能を有する。図６はあるシーンの前後２フレームの差分から動きベクトルを求めて画面上にプロットした様子を示す図である。矢印の向きが動きベクトルの方向を示し、矢印の長さが動きベクトルの大きさに比例する。図から明らかなように、動いているのは専ら背景画像の方である。
【００３４】
図７は動きベクトルのＸ軸成分を示すヒストグラムである。縦軸の単位は「個数」であり、横軸の単位は「画素／フレーム」である。このヒストグラムには、２つのピークＡ、Ｂが存在することが分かる。Ｃはピークを判定するためのスライスレベルである。このヒストグラムでは、ピークＡは動きの少ない「犬」と濃淡がはっきりしない「空」の動きベクトルによるものである。また、ピークＢは「草むら」を中心とした背景画像の動きベクトルによるものである。したがって、背景画像は右方向に「８画素／フレーム」の速さで動いていることが分かる。図８は動きベクトルのＹ軸成分を示すヒストグラムである。このヒストグラムでは、１つのピークＤしか判定されない。小さなピークＥはスライスレベルＣに満たない。したがって、Ｙ軸方向の動きはないと判断できる。
【００３５】
［動き積分］
移動量の検出によって、画面の中に犬や猫のオブジェクトが１つしか存在しない場合のオブジェクトの動きを計算する。隣接フレーム間のオブジェクトの動きベクトルを［ｐ（ｘ，ｙ）］、背景画像の動きベクトルを［ｂ（ｘ，ｙ）］とすると、オブジェクトの絶対動きベクトル［Ｐ（ｘ，ｙ）］は、数式（１）で与えられる。
【００３６】
［Ｐ］（画素／フレーム）＝［ｐ］−［ｂ］ ……（１）
動画のフレームレートをＦ（フレーム／秒）とすると、オブジェクトの速さ［Ｖ（ｘ，ｙ）］は、数式（２）で表される。
【００３７】
［Ｖ］（画素／秒）＝［Ｐ］×Ｆ …（２）
したがって、ある微小時間ｔの間にオブジェクトが移動する距離［ｊ］は数式（３）で与えられ、所定時間Ｔの移動量［Ｊ］は数式（４）に示すように積分値で与えられる。
【００３８】
【００３９】
図９では、犬が走った軌跡は画面５０からはみ出てしまうので、犬の軌跡を全体的にシフトし、図１０に示すように画面内に収まるようにする。図１０は画面５０内に収まるようにシフトさせた犬の軌跡を示す図である。軌跡を縮小させる場合、その縮小率が２０％程度までなら、軌跡ベクトルの変更だけで構わないが、２０％以上になるとオブジェクトの犬が地面をスリップしている様に見えてくるので、オブジェクト動画の縮小も並行して行うようにする必要がある。このオブジェクトの動画を縮小するやり方は、軌跡ベクトル図の縮小率が４０％程度まで実用に耐えられることが多い。それ以上の縮小率となると、動画オブジェクトが小さくなり過ぎるので、別な手法を用いた方がよい。
【００４０】
［軌跡のはみ出し］
通常、ビデオカメラの撮影者は、犬の可愛らしい動きを撮影することに懸命であり、犬がスクリーンセーバに使用された際、画面からはみ出さないようにするということを配慮しない。このため、撮影されたビデオの動きベクトルを解析し、軌跡ベクトル図を書くと、スクリーン（画面）から大きくはみ出してしまうことが多い。このような場合、前述したように、軌跡ベクトル図を４０％程度縮小しても、画面に収まらない場合、むしろ画面からはみ出させてしまう方が自然に見える。
【００４１】
図１１は軌跡ベクトル図を画面からはみ出させる場合の様子を示す図である。犬がＳＴＡＲＴ点からどんどん左に移動し、画面サイズに比較して軌跡ベクトル図が４００％にもなっている場合、これは多分、犬が撮影者の周囲を反時計回りに回り続けた結果である。したがって、点▲１▼で画面から犬をはみ出させ、点▲１▼’で画面に入場させ、また点▲２▼で画面からはみ出させ、点▲２▼’で画面に入場させ、さらに点▲３▼でまた画面からはみ出させ、点▲３▼’で画面に入場させてＥＮＤ点で終了するような動きの方が、オブジェクトのサイズは１００％のままでよいので、視覚効果に優れる。
【００４２】
［エンコーダ部の構成］
図１２はパソコン（クライアント）３内のエンコーダ部の構成を示すブロック図である。図中、点線で囲まれた部分は、当業者にとって公知の技術である動き補償ＤＣＴ符号化部６０である。オブジェクト切り出しモジュール１１は、動き補償ＤＣＴ符号化部６０と並行して画像を判定する。オブジェクト切り出しモジュール１１に入力される数値「２」は、前述したように、切り出し方法を選択するためのデータ（切り出し手順選択パラメータ）である。オブジェクト切り出しデータは、「０」、「１」の２値データであるので、ＭＨ（モディファイド・ハフマン）符号化されて出力される。
【００４３】
動き補償ＤＣＴ符号化部６０の中で扱われる動き補償予測データは、ヒストグラム回路６１にも送られ、フレーム単位でヒストグラムが集計される。その結果、２つのピークが計算され、原点に近いピークＡ（隣接フレーム間のオブジェクトの動きベクトル［ｐ］）と原点から遠いピークＢ（背景画像の動きベクトル［ｂ］）との差分が加算器６２で計算される。これは、数式１で示した結果と等しくなる。この結果は、圧縮ビデオ信号およびオブジェクト切り出しデータとともに、マルチプレクサ（ＭＰＸ）６３でマルチプレックスされ、ＭＰＥＧ−４ファイル６４に出力される。
【００４４】
図１３はサーバ５内のデコーダ部の構成を示すブロック図である。点線で囲まれる部分は、当業者にとって公知の技術である動き補償ＤＣＴ復号化部７１である。ＭＰＥＧ−４ファイル６４は、デマルチプレクサ（ＤＭＰＸ）６５によって、圧縮ビデオ信号、動き補償ＤＣＴ復号信号およびオブジェクト切り出しデータに分離される。オブジェクト切り出しデータが入力される切り出しデコーダ６８の出力は２値画像であり、乗算器６９において動き補償ＤＣＴ復号化部７１から出力される再生ビデオ信号に乗算される。背景画像はここで捨てられる。
【００４５】
一方、動き補償ＤＣＴ復号信号は、乗算器６６で固定値Ｆと掛け算され、積分器６７に入力される。積分器６７は、数式４に示すオブジェクトの移動データを出力する。これは軌跡データであり、加算器７０でオブジェクト・ビデオ信号に加算され、オフセット値を与える。尚、乗算器６６および積分器６７は、図１２のエンコーダ側に設けてもよい。この場合、軌跡データそのものがＭＰＥＧ−４ファイル６４の中に保存されることになる。
【００４６】
［スクリーンセーバとしての動作］
このようにして生成されたオブジェクト・ビデオ信号（動画）を再生して所定の動きをさせる場合、ＢＩＦＳ（Ｂｉｎａｒｙ Ｆｏｒｍａｔ ｆｏｒ Ｓｃｅｎｅ）に与えるプログラムを決定する必要がある。ＢＩＦＳはバイナリコードであるが、テキストベースのＶＲＭＬ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ Ｍｏｄｅｌｉｎｇ Ｌａｎｇｕａｇｅ）と機能的に同じであり、Ｊａｖａ（登録商標）スクリプトをサポートする。
【００４７】
［ＶＲＭＬ／ＢＩＦＳ］
動画を再生しながら犬の歩いた軌跡に合わせて、切り出された動画オブジェクト（犬）の画面上での位置を変えるためのＶＲＭＬプログラム例は、以下の通りである。
【００４８】
あらかじめレイアウトを決めたテンプレートファイルをＷｅｂサーバーからダウンロードする場合には、ダウンローダー１０７を介してＶＲＭＬテンプレートが１０６にダウンロードされる。レイアウト編集ツール１０９は、マルチメディア素材１０５をテンプレート上にドラッグ＆ドロップする事により、スクリーンセーバーのレイアウトをＶＲＭＬの形でＶＲＭＬエンコーダー１０８に出力し、ＢＩＦＳエンコーダー１１０でバイナリ−フォーマットに変換する。
【００４９】
その結果はマルチプレクサ−１１２により動画、静止画、テキストと共にＢＩＦＳレイアウトもマルチプレックスされる。その手順を記述したスクリプトがマルチプレックス制御スクリプト生成ツール１１１から与えられる。
【００５０】
マルチプレックスされた結果は、ファイルＩ／Ｏモジュール１１３によりＭＰ４ファイルに変換され、ディスク１１４に保存される。
【００５１】
ディスク１１４に保存されたＭＰ４ファイルは、プレビューツール１２０によりローカル再生も可能である。通常はサムネール生成モジュール１１５でアイコンとしてのサムネール画像を生成してディスク１１６に蓄えると共に、コンテンツ記述ファイル生成モジュール１１７で書誌的事項を生成してディスク１１８に蓄える。通信モジュール１１９はそれらのコンテンツ１１４、１１６、１１８を図示しないサーバーにアップロードし、Ｗｅｂサーバーに公開する事ができる。
【００５２】
再生側においては、プレビューツール１２０と同じモジュールをバックグラウンドで起動しておき、一定時間のマウス／キーボード操作が無いときに配信されたコンテンツを起動する。
【００５３】
以上示したように、本実施形態のスクリーンセーバ作成システムによれば、難解な作業工程をネットワーク上のサーバ５に行わせることにより、自分が撮影したペットのビデオ画像が表示されるスクリーンセーバを簡単に作成できる。
【００５４】
また、ペットを画面一杯にズーミングし、ペットの動きに合わせてビデオカメラ２をパンさせて撮影したビデオ画像をパソコン９の画面に表示する場合、ペットの動きに合わせてその表示位置を移動できる。したがって、犬や猫が画面上で１箇所に留まり、単に手足を動かしているだけに見えるような不自然な表示を無くすことができる。
【００５５】
以上が本発明の実施の形態の説明であるが、本発明は、これら実施の形態の構成に限られるものではなく、特許請求の範囲で示した機能、または実施の形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【００５６】
例えば、上記実施形態では、クライアントからサーバにＭＰＥＧ−４ファイルをアップロードし、サーバでスクリーンセーバを作成して保存し、クライアントがダウンロードしてインストールするクライアント・サーバシステムに適用された場合を示したが、ネットワークに接続されない単体の機器内で実現することも可能である。
【００５７】
また、上記実施形態のスクリーンセーバ作成システムを、有償配信するようなビジネスに応用してもよい。
【００５８】
さらに、上記実施形態では、スクリーンセーバを作成する場合を示したが、その他、環境ソフトウェアとして、動画メールの自動表示、動画公告の自動受信、登録番組の自動受信、アプリケーションの動画ヘルプなどを作成する場合も、同様にサーバを利用して作成するようにしてもよい。
【００５９】
【発明の効果】
本発明によれば、難解な作業工程をネットワーク上のサーバに行わせることにより、撮影したビデオ画像を基に、個人が自分のペットや赤ちゃん等をコンテンツとするスクリーンセーバを簡単に作成できる。
【００６０】
また、ペットを画面一杯にズーミングし、ペットの動きに合わせてカメラをパンさせて撮影したビデオ画像をパソコンの画面に表示する場合、ペットの動きに合わせてビデオ画像の表示位置を移動できる。したがって、犬や猫が画面上で１箇所に留まり、単に手足を動かしているだけに見えるような不自然な表示を無くすことができる。
【図面の簡単な説明】
【図１】
スクリーンセーバ作成システムの構成を示す図である。
【図２】
オブジェクトの切り出し処理を示す図である。
【図３】
パンニング時の撮影の様子を示す図である。
【図４】
切り出されたオブジェクトの犬だけのシーンを示す図である。
【図５】
スクリーン上における犬の表示位置を変化させる様子を示す図である。
【図６】
あるシーンの前後２フレームの差分から動きベクトルを求めて画面上にプロットした様子を示す図である。
【図７】
動きベクトルのＸ軸成分を示すヒストグラムである。
【図８】
動きベクトルのＹ軸成分を示すヒストグラムである。
【図９】
移動量Ｊの値を１秒毎に画面上にプロットした軌跡を示すグラフである。
【図１０】
画面５０内に収まるようにシフトさせた犬の軌跡を示す図である。
【図１１】
軌跡ベクトル図を画面からはみ出させる場合の様子を示す図である。
【図１２】
パソコン（クライアント）３内のエンコーダ部の構成を示すブロック図である。
【図１３】
サーバ５内のデコーダ部の構成を示すブロック図である。
【図１４】
スクリーンセーバーを生成するエンコーダー部分の機能ブロック図である。
【符号の説明】
１ 被写体
２ ビデオカメラ
３、９ パソコン（クライアント）
５ サーバ
１１ オブジェクト切り出しモジュール
６１ ヒストグラム回路
６２、７０ 加算器
６６、６９ 乗算器
６７ 積分器
１０３ 背景静止画画像エンコーダー
１０５ ビデオ／オーディオエンコーダー
１０６ レイアウト表示用ＶＲＭＬテンプレート
１０８ ＶＲＭＬエンコーダー
１０９ レイアウト編集ツール
１１０ ＢＩＦＳレイアウトエンコーダー
１１１ マルチプレックス制御スクリプト生成ツール
１１３ ファイルＩ／Ｏモジュール
１１５ サムネール生成モジュール
１１７ コンテンツ記述ファイル生成モジュール
１１９ 通信モジュール
１２０ プレビューツール（プレーヤー）
Claims (9)
- ビデオ画像を基にスクリーンセーバを作成するスクリーンセーバ作成システムであって、
前記ビデオ画像を送信する第１の送信手段と、
該送信されたビデオ画像を受信し、該受信したビデオ画像からオブジェクト画像を切り出す画像切出手段と、
該切り出されたオブジェクト画像をコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成手段と、
該作成されたスクリーンセーバを送信する第２の送信手段と、
該送信されたスクリーンセーバを受信して起動する起動手段とを備えたことを特徴とするスクリーンセーバ作成システム。 - 前記オブジェクト画像の移動速度および方向を取得する取得手段を備え、
前記スクリーンセーバ作成手段は、前記取得した移動速度および方向を基にスクリーンセーバを作成し、該作成されたスクリーンセーバは、前記移動速度および方向を基に、画面に表示される前記オブジェクト画像の表示位置を移動させることを特徴とする請求項１記載のスクリーンセーバ作成システム。 - ネットワークを介してサーバおよびクライアントが接続されたクライアント・サーバシステムに搭載され、前記クライアントは前記第１の送信手段および前記起動手段を有し、前記サーバは前記画像切出手段、前記スクリーンセーバ作成手段および前記第２の送信手段を有することを特徴とする請求項１または２記載のスクリーンセーバ作成システム。
- 前記切り出されるオブジェクト画像の切り出し手順を選択する選択手段を備えたことを特徴とする請求項１記載のスクリーンセーバ作成システム。
- 前記ビデオ画像を圧縮形式ＭＰＥＧ−４のファイルに変換するフォーマット変換手段を備え、前記第１の送信手段は、前記変換されたＭＰＥＧ−４のファイルを送信することを特徴とする請求項１記載のスクリーンセーバ作成システム。
- ビデオ画像を基にスクリーンセーバを作成するスクリーンセーバ作成方法であって、
前記ビデオ画像を送信する第１の送信ステップと、
該送信されたビデオ画像を受信し、該受信したビデオ画像からオブジェクト画像を切り出す画像切出ステップと、
該切り出されたオブジェクト画像をコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成ステップと、
該作成されたスクリーンセーバを送信する第２の送信ステップと、
該送信されたスクリーンセーバを受信して起動する起動ステップとを有することを特徴とするスクリーンセーバ作成方法。 - 前記オブジェクト画像の移動速度および方向を取得する取得ステップを有し、
前記スクリーンセーバ作成ステップでは、前記取得した移動速度および方向を基にスクリーンセーバを作成し、該作成されたスクリーンセーバは、前記移動速度および方向を基に、画面に表示される前記オブジェクト画像の表示位置を移動させることを特徴とする請求項６記載のスクリーンセーバ作成方法。 - ビデオ画像および／または静止画像、ＣＧグラフィックスを含むマルチメディア素材を基にスクリーンセーバを作成するスクリーンセーバ作成方法であって、
前記ビデオ画像および／またはその他のマルチメディア素材を組み合わせて、２次元レイアウト配置するレイアウト情報を保持するレイアウト保持ステップと、
前記レイアウト情報に時間軸上の変化を与え、前記マルチメディア素材の表示位置、表示形態、表示タイミング、複数のマルチメディア素材の重なり具合を制御するパラメーターを保持し制御する時間制御ステップと、
前記ビデオ画像からオブジェクト画像を切り出す画像切り出しステップと、
前記切り出されたオブジェクト画像の時間軸上の位置情報を制御し、他のオブジェクトと重ね合わせて表示する事によりスクリーンセーバを作成するスクリーンセーバ作成ステップと、
前記作成されたスクリーンセーバを送信する送信ステップと、
該送信されたスクリーンセーバを受信して起動する起動ステップとを有することを特徴とするスクリーンセーバ作成方法。 - 動画像を基にスクリーンセーバを作成するスクリーンセーバ作成システムであって、
前記動画像からオブジェクト画像を切り出す画像切出手段と、
前記オブジェクト画像の移動方向を検出する検出手段と、
前記切り出されたオブジェクト画像と前記検出された移動方向に基づき、前記オブジェクトをコンテンツとするスクリーンセーバを作成するスクリーンセーバ作成手段とを備えたことを特徴とするスクリーンセーバ作成システム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002164074A JP3826073B2 (ja) | 2002-06-05 | 2002-06-05 | スクリーンセーバ作成システムおよび方法 |
| US10/449,624 US7194703B2 (en) | 2002-06-05 | 2003-05-30 | System and method for creating screen saver |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002164074A JP3826073B2 (ja) | 2002-06-05 | 2002-06-05 | スクリーンセーバ作成システムおよび方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004015288A true JP2004015288A (ja) | 2004-01-15 |
| JP3826073B2 JP3826073B2 (ja) | 2006-09-27 |
Family
ID=29706648
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002164074A Expired - Fee Related JP3826073B2 (ja) | 2002-06-05 | 2002-06-05 | スクリーンセーバ作成システムおよび方法 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7194703B2 (ja) |
| JP (1) | JP3826073B2 (ja) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006277729A (ja) * | 2005-03-01 | 2006-10-12 | Fuji Photo Film Co Ltd | 画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラム |
| CN100389388C (zh) * | 2006-06-15 | 2008-05-21 | 北京中星微电子有限公司 | 基于人脸认证的屏幕保护方法及装置 |
| US7525514B2 (en) | 2004-06-25 | 2009-04-28 | Funai Electric Co., Ltd. | Plasma display apparatus |
| US7824221B2 (en) | 2007-06-29 | 2010-11-02 | Hosiden Corporation | Connector |
| US8031226B2 (en) | 2005-03-01 | 2011-10-04 | Fujifilm Corporation | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program |
Families Citing this family (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100410849C (zh) * | 2003-09-10 | 2008-08-13 | 富士通株式会社 | 对背景图像进行设定的信息处理装置、信息显示方法及程序 |
| JP2006080723A (ja) * | 2004-09-08 | 2006-03-23 | Sony Corp | 記録装置および記録方法、再生装置および再生方法、並びにプログラム |
| US7752548B2 (en) * | 2004-10-29 | 2010-07-06 | Microsoft Corporation | Features such as titles, transitions, and/or effects which vary according to positions |
| US20060190824A1 (en) * | 2005-02-23 | 2006-08-24 | Memory Matrix, Inc. | Systems and methods for sharing screen-saver content |
| US8924895B2 (en) * | 2005-04-21 | 2014-12-30 | Thomson Licensing | Extraction of video picture screen saver function |
| JP2007025862A (ja) * | 2005-07-13 | 2007-02-01 | Sony Computer Entertainment Inc | 画像処理装置 |
| US7639873B2 (en) * | 2005-07-28 | 2009-12-29 | Microsoft Corporation | Robust shot detection in a video |
| US7739599B2 (en) * | 2005-09-23 | 2010-06-15 | Microsoft Corporation | Automatic capturing and editing of a video |
| US7644364B2 (en) * | 2005-10-14 | 2010-01-05 | Microsoft Corporation | Photo and video collage effects |
| US20070174421A1 (en) * | 2006-01-25 | 2007-07-26 | Dunham Stephen F | System and method for generating screensavers |
| US7945142B2 (en) * | 2006-06-15 | 2011-05-17 | Microsoft Corporation | Audio/visual editing tool |
| US20080229258A1 (en) * | 2007-03-14 | 2008-09-18 | Disney Enterprises, Inc. | Navigable screensaver and method for implementing same |
| KR101017808B1 (ko) * | 2007-04-04 | 2011-02-28 | 엔에이치엔(주) | 편집 파일 자동 생성 방법 및 그 장치 |
| JP5115162B2 (ja) * | 2007-11-30 | 2013-01-09 | 富士通モバイルコミュニケーションズ株式会社 | 情報処理装置 |
| US8159458B2 (en) | 2007-12-13 | 2012-04-17 | Apple Inc. | Motion tracking user interface |
| WO2010023796A1 (ja) * | 2008-08-29 | 2010-03-04 | パナソニック株式会社 | 映像表示システム、映像表示装置、プログラム、記録媒体 |
| US8756535B2 (en) * | 2008-11-17 | 2014-06-17 | Novell, Inc. | Simultaneous screen saver operations |
| JP6086619B2 (ja) * | 2015-03-27 | 2017-03-01 | 株式会社日立国際電気 | 符号化装置および符号化方法 |
| US11665312B1 (en) | 2018-12-27 | 2023-05-30 | Snap Inc. | Video reformatting recommendation |
| US10887542B1 (en) * | 2018-12-27 | 2021-01-05 | Snap Inc. | Video reformatting system |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6317115B1 (en) | 1993-12-09 | 2001-11-13 | Canon Kabushiki Kaisha | System, apparatus and method in which a high resolution image editor is connected to a host computer for processing low resolution image data |
| US6433784B1 (en) * | 1998-02-26 | 2002-08-13 | Learn2 Corporation | System and method for automatic animation generation |
| US6920606B1 (en) * | 1999-02-22 | 2005-07-19 | Extended Digital, Llc | Custom computer wallpaper and marketing system and method |
| US6288753B1 (en) * | 1999-07-07 | 2001-09-11 | Corrugated Services Corp. | System and method for live interactive distance learning |
-
2002
- 2002-06-05 JP JP2002164074A patent/JP3826073B2/ja not_active Expired - Fee Related
-
2003
- 2003-05-30 US US10/449,624 patent/US7194703B2/en not_active Expired - Fee Related
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7525514B2 (en) | 2004-06-25 | 2009-04-28 | Funai Electric Co., Ltd. | Plasma display apparatus |
| JP2006277729A (ja) * | 2005-03-01 | 2006-10-12 | Fuji Photo Film Co Ltd | 画像出力装置、画像出力方法、および画像出力プログラム、並びに画像トリミング装置、画像トリミング方法、および画像トリミングプログラム |
| US8031226B2 (en) | 2005-03-01 | 2011-10-04 | Fujifilm Corporation | Image output apparatus, image output method, image output program, image trimming apparatus, image trimming method, and image trimming program |
| CN100389388C (zh) * | 2006-06-15 | 2008-05-21 | 北京中星微电子有限公司 | 基于人脸认证的屏幕保护方法及装置 |
| US7824221B2 (en) | 2007-06-29 | 2010-11-02 | Hosiden Corporation | Connector |
Also Published As
| Publication number | Publication date |
|---|---|
| US20030227493A1 (en) | 2003-12-11 |
| US7194703B2 (en) | 2007-03-20 |
| JP3826073B2 (ja) | 2006-09-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3826073B2 (ja) | スクリーンセーバ作成システムおよび方法 | |
| US10735798B2 (en) | Video broadcast system and a method of disseminating video content | |
| KR100918392B1 (ko) | 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오플랫폼 장치 및 방법 | |
| US20090238405A1 (en) | Method and system for enabling a user to play a large screen game by means of a mobile device | |
| KR100889367B1 (ko) | 네트워크를 통한 가상 스튜디오 구현 시스템 및 그 방법 | |
| US20100050221A1 (en) | Image Delivery System with Image Quality Varying with Frame Rate | |
| CN109218630B (zh) | 一种多媒体信息处理方法及装置、终端、存储介质 | |
| CN112804459A (zh) | 基于虚拟摄像头的图像展示方法、装置、存储介质及电子设备 | |
| US20130162672A1 (en) | Image processing device, image processing method, and program | |
| WO2016011877A1 (zh) | 拍摄光绘视频的方法和移动终端、存储介质 | |
| US9779306B2 (en) | Content playback system, server, mobile terminal, content playback method, and recording medium | |
| CN114513702A (zh) | 基于Web的分块全景视频处理方法、系统及存储介质 | |
| JP2004207936A (ja) | 画像処理装置 | |
| CN116915734A (zh) | 一种全景图片或全景视频的分享方法及系统 | |
| JP5173377B2 (ja) | 画像処理方法および装置、プログラム、記憶媒体 | |
| JP2005184582A (ja) | 画像入力再生装置と、画像入力再生装置における画像処理方法 | |
| WO2008069474A1 (en) | Personal-oriented multimedia studio platform apparatus and method for authorizing 3d content | |
| JP2004086592A (ja) | 動画像生成方法および動画像生成プログラム | |
| AU743537B2 (en) | Method of adding a sub-image to, and linking audio with, a plurality of video frames within a sequence thereof | |
| JP2024129464A (ja) | 撮像システム、方法及びプログラム | |
| KR20230050854A (ko) | 3ｄ 컨텐츠 저작을 위한 개인형 멀티미디어 스튜디오 플랫폼 장치 및 방법 | |
| CN117132708A (zh) | 图像生成方法、装置、电子设备及存储介质 | |
| CN120547434A (zh) | 拍摄方法、装置、电子设备及介质 | |
| US8391621B2 (en) | Image processing device and image reproducing device | |
| CN120416402A (zh) | 拍摄方法及其装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060117 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20060415 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060426 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060703 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090707 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100707 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110707 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120707 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130707 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |