JP2005516501A

JP2005516501A - Ｐｂフレームモードでのビデオ画像の符号化

Info

Publication number: JP2005516501A
Application number: JP2003563232A
Authority: JP
Inventors: リン，ジム
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2002-01-24
Filing date: 2002-12-23
Publication date: 2005-06-02
Also published as: CN1615658A; EP1472887A1; WO2003063508A1; US20050117645A1; KR20040077788A

Abstract

ビデオ画像をＰＢフレームモードで符号化する方法は、ａ）総和値を初期化し、ｂ）画像の各ブロックについてブロック動きベクトルを判別し、前回画像に対するブロックの動きを定義し、ｃ）各ブロック動きベクトルの量を示す表示値を演算し、前記各表示値を第１所定閾値と比較し、ｄ）各ブロック動きベクトルについて、対応する表示値が前記第１所定閾値を上回る場合前記総和値を繰り上げ、ｅ）全てのブロック動きベクトルについて前記比較を完了させた後、前記総和値が第２所定閾値を上回る場合、ｆ）前記画像を１以上のＰ画像を有するがＢ画像は有さない画像として符号化する工程を有する。

Description

本発明はＰＢフレームモードでのビデオ画像の符号化に関する。

ＩＴＵ−ＴＨ．２６３規格（ＩＴＵ−Ｔｓｔｄ．Ｈ．２６３−１９９５、１９９６年３月発行）は、いくつかのオプショナルモードの１つとして２つの画像を１単位として符号化するＰＢフレームモードを提供する（付記Ｇ）。ＰＢとはＰ画像及びＢ画像に由来する。ＰＢフレームは前回復号されたＰ画像から予測されるＰ画像と、前回復号されたＰ画像及び現在復号されているＰ画像から予測されるＢ画像とからなる。このオプションにより、Ｂ画像における各部は、前方向および後方向の２方向のビデオ画像から予測されることが可能である。

すなわちＰＢフレームは補間されたＢ画像を有し、これによってフレームレートが向上するため復号画像の視覚上画質が時間的に改善される。Ｂ画像を適用する利点としては、単純にＰ画像だけを適用する場合に比べて符号化するビット数が削減できる点にある。しかしこのＢ画像が素早く動くオブジェクトなど大きなブロック移動を含むビデオシーケンスに適用された場合、補正されないＢ画像ではボケやアーチファクトが目立ち、予測エラーを補正するためにより多くのビットを符合化する必要性が生じる。

さらに一般的にはＨ．２６３＋として知られるＨ．２６３のバージョン２では改良型ＰＢフレームモード（付記Ｍ）と呼ばれるオプショナルモードが提供される。この改良型ＰＢフレームモードではＢマクロブロックを符号化する方法として、前方向、後方向、２方向との３通りの方法が提供される。この３つの符号化モードはそれぞれ前回復号されたＰ画像、現在符合されているＰ画像、又はこれら両方を用いる。

上記予測モードを追加することにより、Ｈ．２６３においては画像をＰ画像として符号化するかＰＢフレームとして符号化するかを決定するのに対し、Ｈ．２６３＋においては符号化モードを決定すればよい。これは前方向予測モードがＰ画像の符号化に相当するからである。

Ｈ．２６３によって提供されるオプショナルモードを選択することによってそれぞれ様々な見返りがある。これらのモードはオプショナルなモードであるため、この規格に従ったデコーダがこのオプショナルモードすべてを備えている必要はない。しかしあるデコーダが所定のモードの選択を可能にしている場合、これに対応するエンコーダはこのモードを有効にするか無効にするかのオプションを有する。

しかし現在Ｈ．２６３のオプショナルモードを有効にするか無効にするかを動的決定する方法は数少ない。オプショナルモードは典型的にはビデオデータシーケンスの始めにおいて有効にされ、このモードの有効性はビデオデータシーケンス全体にわたって維持される。このような方法の欠点として、オプショナルモードを適用した結果ビデオの種類によってはビデオ画質が低下してしまう場合がある。また、ビデオの種類によってビデオ画質は向上するもののこのオプショナルモードを有効にすることによる演算オーバーヘッドの増大がこれに見合わない場合などもある。

そこで符号化エラーを評価するためのパラメータとして各マクロブロックの予測エラーの総和などを演算する技術が例えば特許文献１において開示される。しかしこのような演算は多くの処理を要する。

また、現在の圧縮方式のほとんどは動き予測を適用する。一般的に動き予測は隣接する画像間の予測精度を向上させ、予測エラーを符号化するのに要されるビット数を低減させることが可能である。

しかし動き補償システムにおいてはシーン切り替えの扱いが問題となる。特許文献２は特定の画像について動き補償を実行するか否かをグローバルに判断する技術を開示する。ここでは現在の画像と前回の画像との相違が大きくまた広い範囲において存在し、シーン切り替えが起きた確率が非常に高い場合は動き補償を実施しないと判断する。好ましくは単一のビットによってこのグローバルな判断がデコーダに伝送される。また、動きベクトルを伝送しないことによって更なるチャンネル容量が確保される。この一方でこの予測において高い正解確率を得るためには多数の演算の実行が要される。

しかし予測画像とその前の参照画像との相関性が低い場合、動きベクトルは特定のパターンを形成する。このようなパターンが検知された場合これをシーン切り替えの検知に用いることが可能である。

非特許文献１で記載されるように実験から３−ＤＲＳ動き補償では、シーンカット（シーン切り替え）画像の動きベクトルのほとんどはゼロであり、通常は１%未満の極わずかな動きベクトルだけがこれより大きい絶対値を有する。
米国特許５，８７０，１４８号米国特許５，２１８，４３５号 G. De Haan, R. J. Schutten, "Real-time 2-3 pull-down elimination applying motion estimation/compression in a programmable device", IEEE Int. Conf. on consumer electronics, June 1998, Los Angeles

本発明は演算オーバーヘッドをあまり導入することなくビデオ画像をＰＢフレームモードで符号化する方法を提供することを目的とする。

上記目的は請求項１に記載される方法によって実現される。なお、本発明の好適な実施形態は従属請求項に記載される。

本発明によるビデオ画像をＰＢフレームモードで符号化する方法は、
‐総和値を初期化し、
‐画像の各ブロックについてブロック動きベクトルを判別し、前回画像に対するブロックの動きを定義し、
‐各ブロック動きベクトルの量を示す表示値を演算し、上記各表示値を第１所定閾値と比較し、
‐各ブロック動きベクトルについて、対応する表示値が上記第１所定閾値を上回る場合上記総和値を繰り上げ、
‐全てのブロック動きベクトルについて上記比較を完了させた後、上記総和値が第２所定閾値を上回る場合、
‐上記画像を１以上のＰ画像を有するがＢ画像は有さない画像として符号化する工程を有する。

基本的に上記の要件が満たされた場合単一のＰ画像を符号化することが可能である。なお、均一性の観点からここで単一のＰ画像ではなくＰＰ画像を符号化することも可能である。この場合全ての画像がＰＢフレーム形式に統一されるが、ＰＰ画像は２通りのビット割当を有する。この方法によると、ブロックの動きが大きい場合、画像はＰＰ画像として符号化され、ここでは予測エラーが符号化される。またブロックの動きが小さい場合、画像はＰＢ画像として符号化され、ここでは予測エラーは符号化されない。

上記総和値が第２所定閾値を上回るという条件が満たされなかった場合、画像はＢ画像からなる画像として符号化されうる。

また、上記表示値はブロック動きベクトの絶対値であってよい。また、上記表示値はブロック動きベクトルのｘ成分又はｙ成分であってもよい。また、異なる表示値を用いて上記方法を繰り返すことも可能である。これにより後に詳しく説明されるように効率的なシーンカットの扱いが実現されうる。

また、本発明の範囲内において、本発明に係る方法で適用される各種パラメータの関係は、閾値を上回るのではなく閾値に達さないことを判断基準の要件にするように設定されることも可能である。

また、上記符号化方式は好適にはビデオ機能を有する携帯電話、ビデオカメラを有するパソコン、ビデオ情報をも提供するＩＴ端末、携帯用カメラ、デジタルビデオ記録装置などのマルチメディア機器などにおいて適用されうる。

さらに本発明はコンピュータプログラム符号化手段を有するコンピュータプログラム製品によって実現されうる。このプログラムはコンピュータにロードされると同コンピュータにビデオ画像をＰＢフレームモードで符号化する処理を実行させるものであって、上記処理は上記方法の各工程を有する。

図１はＨ．２６３規格によるＰＢフレームモードを示す図である。この図におけるＢ画像の前方向及び後方向動きベクトルＭＶ_Ｆ及びＭＶ_ＢはＰＢフレームのＰ画像の動きベクトルＭＶから直線的にスケーリングされる。次にＭＶ_Ｆを微調整するためにデルタ動きベクトルが符号化され、これに応じてＭＶ_Ｂも、ＭＶ_Ｂ＝ＭＶ_Ｆ−ＭＶになるように調整される。しかし補間されるＢ画像の効果は大きなブロック移動が含まれないビデオシーケンスに適用される場合においてのみ発揮される。連続する画像において大きな動きが含まれる場合これをＰＢフレームモードで符号化すると画像のオーバーレイが問題となる。シーン切り替えが含まれる画像においてもこれと同様の問題が生じる。したがってこれらの場合動き補償が必要となる。

図２はＨ．２６３＋の付記Ｍによる３つのＢマクロブロック符号化モードを示す。

この３つの符号化モードは以下のようなものである
１．前方向予測：ＰＢフレームのＢ画像の前方向動きベクトルを符号化
２．後方向予測：動きベクトルは符号化せず、ＰＢフレームのＢ画像の予測はＰＢフレームのＰ画像と同様である
３．２方向予測：ＰＢフレームのＰ画像の動きベクトルをスケーリングすることによって前方向及び後方向動きベクトルを指定するが、前方向動きベクトルのデルタ動きベクトルは符号化しない
Ｈ．２６３の付記Ｇに比べてＨ．２６３＋の付記Ｍでは予測方向の選択オプションが拡張されるが、２方向予測においてはデルタ動きベクトルの符号化が含まれないためＭＶ_Ｆの調整が簡素化される。以下の表１は上記２つのバージョンのＨ．２６３符号シーケンスそれぞれにおける優先順位を示す。

上記の表から明らかであるように、Ｈ．２６３はＨ．２６３＋のサブセットである。Ｈ．２６３の符号化モード決定はＨ．２６３＋のそれを簡素化したものに相当しうる。すなわちＨ．２６３シーケンスにおけるＰＢフレーム及びＰ画像の符号化方式は、それぞれＨ．２６３＋シーケンスにおける２方向予測及び前方向予測に一致する。

本発明による主な動作は以下のようなものである
‐Ｈ．２６３シーケンスにおいて画像をＰ画像、ＰＰ画像、ＰＢ画像又はＰＢフレームのうちのどれとして符号化するかを判断する
‐Ｈ．２６３＋シーケンスにおいて付記Ｍの符号化モードを決定する
通常「大きな動き」とは動きベクトルの２０〜１００％、より好ましくは４０〜１００％がゼロでない絶対値を有することを意味する。画像の種類を判定するためにベクトルの絶対値が表示値として用いられる場合、上記割合は第１閾値を定義する。この閾値が満たされなかった場合シーンカットが含まれる可能性がある。

なお、ここで第１画像と第２画像との間にシーンカットが存在すると仮定すると、これら２つの画像間の相関性は低く、ほとんどの動きベクトルは３ＤＲＳにおいてゼロである。よって本発明の方法を適用することによって例えば動きベクトルの２０％だけがゼロでない絶対値を有することを把握することができる。換言すると、大半の動きベクトル（この例では略８０％の動きベクトル）が絶対値ゼロを有することを把握できる。さらにここでは実験結果からベクトルのｘ又はｙ成分が５ピクセルを上回る動きベクトルに相当するスパイクが存在することが知られている。これらスパイクはシーンの切り替えを識別するために利用されうる。この場合第１閾値と比較される表示値は例えば５ピクセルの閾値を有するｘ又はｙ成分に相当しうる。そしてｘ又はｙ成分がこの第１閾値を上回る数値である動きベクトルが数えられて合計され、この合計値が第２閾値と比較される。この第２閾値は例えばスパイクを有する動きベクトルの割合であって、動きベクトル全体の１０％などであってよい。この例でスパイクが１０％以上の動きベクトルに存在する場合はこれらの画像がシーンカットの存在を示すことにはならない。

また、ＰＢフレームにおける前回参照Ｐ画像とＢ画像との間にシーンカットがある場合、このＰＢフレームは明らかに後方向予測で符号化されるほうが有利である。後方向予測を適用することによりＢ画像の予測エラーが低減され、補償ビットが削減されるからである。このような例は図３において示される。

テストシーケンスの特徴はそれぞれ異なるため、各シーケンスのランダム性あるいは情報容量を反映するためにパラメータ・シーケンス・エントロピーが導入される。Ｈ．２６３のＤＰＣＭ構造から、シーケンスの情報容量にＩ画像のエントロピー及び画像差のエントロピーを含めることは合理的である。シーケンス・エントロピーはＩ画像（各シーケンスにおける最初の画像）のエントロピーの一部の平均および全ての画像差のエントロピーの平均と定義される。つまりシーケンス・エントロピーは以下の式によって表される。

この式において、テストシーケンスにはＮ枚の画像が含まれ、ｉ番目の画像は「画像_ｉ」と表される（ｉ∈［Ｏ，Ｎ−１］）。

また、各種ビデオに対する３つの符号化モードそれぞれの性能を評価するためにパラメータ・ゲインが導入される。このパラメータ・ゲインは以下の式によって表される。

このパラメータ・ゲインはＰＢフレームの各Ｂ画像のＰＳＮＲをスケーリングして得られ、視覚上の画質（Ｂ画像のＰＳＮＲの平均）および圧縮比（シーケンス・エントロピー／ビットレート）を考慮した圧縮性能を反映する。こうして様々なシーケンスに対して上記３つの符号化モードのゲインが評価された。

２方向予測はほとんどのブロックが変化を有さない背景に相当するような動きの少ないシーケンスにおいて有効である。前方向予測はほとんどのブロックが変化を有する前景に相当するような動きの多いシーケンスにおいて有効である。大きい動きベクトルは不正確な予測を発生させる傾向にあり、よってより多くの補償ビットが必要となる。

後方向予測はどのシーケンスにおいても優性を示すことはないが、ＰＢフレームにおける前回の参照Ｐ画像とＢ画像との間にシーンカットがある場合において符号化ビットの数を削減することができる。

本発明による符号化モードの決定は以下のように行われる。
１．符号化されている画像についてマクロブロック動き予測を実行する
２．予測モードを決定する
I．ＰＢフレームにおける前回参照Ｐ画像とＢ画像との間にシーンカットが検出された場合、すなわち例えば８０％を超える動きベクトルが絶対値ゼロを有し、１０%未満の動きベクトルにおいて動きベクトルスパイクが存在する場合などは、後方向予測を設定する
II．大半の（例えば７０％）動きベクトルが絶対値ゼロを有する場合は２方向予測を設定する
III．これ以外の場合は前方向予測を設定する
３．設定された予測モードに応じて処理を続行
（例）
本発明による符号化モード決定方法を同一の固定量子化器及び同一の固定フレームレートを用いていくつかのビデオシーケンスに適用した。この結果典型的なビデオ会議やテレビコマーシャルのほとんどで本発明の方法は効果的であることが判明する。

また、上記の説明、請求項、及び添付図面に開示される本発明の特徴は別々又は他の様々な組み合わせによっても実現されうる。また本発明は好適には上記方法を実行するプロセッサによって実現されうる。

Ｈ．２６３規格のＰＢフレームの概略図であるＨ．２６３＋の付記Ｍによる３つのＢマクロブロック符号化モードのうちの２方向予測を示す図である。Ｈ．２６３＋の付記Ｍによる３つのＢマクロブロック符号化モードのうちの前方向予測を示す図である。Ｈ．２６３＋の付記Ｍによる３つのＢマクロブロック符号化モードのうちの後方向予測を示す図である。シーンカットが検出される際の符号化モードを示す図である。

Claims

ビデオ画像をＰＢフレームモードで符号化する方法であって、
ａ）総和値を初期化し、
ｂ）画像の各ブロックについてブロック動きベクトルを判別し、前回画像に対するブロックの動きを定義し、
ｃ）各ブロック動きベクトルの量を示す表示値を演算し、前記各表示値を第１所定閾値と比較し、
ｄ）各ブロック動きベクトルについて、対応する表示値が前記第１所定閾値を上回る場合前記総和値を繰り上げ、
ｅ）全てのブロック動きベクトルについて前記比較を完了させた後、前記総和値が第２所定閾値を上回る場合、
ｆ）前記画像を１以上のＰ画像を有するがＢ画像は有さない画像として符号化するか、あるいは前記画像をＢ画像からなる画像として符号化する工程を有することを特徴とする方法。
前記総和値が前記第２閾値を上回らない場合前記画像はＢ画像からなる画像として符号化されることを特徴とする請求項１記載の方法。
前記総和値が前記第２閾値を上回らない場合、前記ａ）からｅ）までの工程は、異なる表示値と、随意的には異なる第１閾値及び第２閾値とを用いて繰り返されることを特徴とする請求項１記載の方法。
前記表示値はブロック動きベクトルの絶対値であることを特徴とする請求項１記載の方法。
前記表示値はブロック動きベクトルのｘ又はｙ成分であることを特徴とする請求項１記載の方法。
ビデオ機能を有する携帯電話、ビデオカメラを有するパソコン、情報技術端末、携帯カメラ、デジタルビデオレコーダなどのマルチメディア装置の動作における請求項１乃至５のいずれかに記載の方法の適用。
コンピュータプログラム符号化手段を有するコンピュータプログラム製品であって、コンピュータにロードされると前記コンピュータにビデオ画像をＰＢフレームモードで符号化する処理を実行させるコンピュータプログラム製品であって、
ａ）総和値を初期化し、
ｂ）画像の各ブロックについてブロック動きベクトルを判別し、前回画像に対するブロックの動きを定義し、
ｃ）各ブロック動きベクトルの量を示す表示値を演算し、前記各表示値を第１所定閾値と比較し、
ｄ）各ブロック動きベクトルについて、対応する表示値が前記第１所定閾値を上回る場合前記総和値を繰り上げ、
ｅ）全てのブロック動きベクトルについて前記比較を完了させた後、前記総和値が第２所定閾値を上回る場合、
ｆ）前記画像を１以上のＰ画像を有するがＢ画像は有さない画像として符号化するか、あるいは前記画像をＢ画像からなる画像として符号化する工程を有することを特徴とする方法。
前記総和値が前記第２閾値を上回らない場合、前記画像はＢ画像からなる画像として符号化されることを特徴とする請求項７記載の方法。
前記総和値が前記第２閾値を上回らない場合、前記ａ）からｅ）までの工程は、異なる表示値と、随意的には異なる第１閾値及び第２閾値とを用いて繰り返されることを特徴とする請求項７記載の方法。
前記表示値はブロック動きベクトルの絶対値であることを特徴とする請求項７記載の方法。
前記表示値はブロック動きベクトルのｘ又はｙ成分であることを特徴とする請求項７記載の方法。
ビデオ画像をＰＢフレームモードで符号化する装置であって、請求項１記載の方法を実行するプロセッサを有することを特徴とする装置。