JP2004502358A - ビデオ系列の圧縮のための符号化方法 - Google Patents

Abstract

本発明は、ビデオ系列の圧縮についての符号化に関する。かかる方法は、３次元ウェーブレット変換を使用するものであり、符号化されるサブバンドが３次元ウェーブレット変換の初期サブバンド構造を保持する順序で走査される階層的なサブバンド符号化処理に基づいている。本発明によれば、それぞれの時間解像度レベル（最高空間解像度レベル）で動き予測を実行することにより、時間的（空間的）なスケーラビリティを得ることができる。また、所与の時間（空間）解像度レベルで再構成するために必要な予測された動きベクトルの一部のみを符号化して、この所与の時間（空間）レベルでウェーブレット係数を符号化するビットと共に、ビットストリームに含めることができる。ビットストリームへのかかる挿入は、同じ時間（空間）レベルでテクスチャ係数を符号化する前に行われる。かかる解法により、低いビットレートがターゲットとされ、受信機が低減されたフレームレートまたは空間解像度のみを望む場合に問題となる、ビットストリームにおける全ての動きベクトル場を符号化して送出することを回避することができる。

Description

【０００１】
［発明の分野］
本発明は、フレームのグループに区分され、３次元ウェーブレット変換の分割レベルに対応する所定数の連続する解像度レベルを導出する該変換により分割されるビデオ系列の圧縮のための符号化方法に関する。該方法は、フレームのそれぞれのグループの画素のオリジナルセットから階層的ピラミッドを構成する変換係数を生じる階層的サブバンド符号化プロセスに基づくものであり、３次元ウェーブレット変換から生じる近似サブバンドの画素でルートが形成され、これらルート画素により定義される画像ボリュームに対応するより高いサブバンドの画素でこれらの画素のそれぞれの子が形成される空間−時間指向ツリーが、該階層的ピラミッド内の空間−時間関係を定義し、該ツリーにおいて形成される親−子の依存性を重視し、３次元ウェーブレット変換の初期のサブバンド構造を保持する順序で、符号化されるサブバンドが互いに走査される。
【０００２】
［発明の背景］
異種のネットワークにわたるビデオストリーミングは、高いスケーラビリティ能力を必要とする。これは、ビットストリームの一部が完全な系列分割なしに復号することができ、より低い空間又は時間解像度（空間／時間スケーラビリティ）又はより低い品質（ＰＳＮＲスケーラビリティ）で、初期ビデオ情報を再構成するために結合することができることを意味している。全ての３つのタイプのスケーラビリティを達成するための便利な方法は、動き補償されたビデオ系列を３次元ウェーブレット分割することである。
【０００３】
本出願人により、２０００年５月３日に提出された欧州特許出願００４０１２１６．７号（ＰＨＦＲ００００４４）では、この特性を有するテクスチャ符号化の簡単な方法が記載されている。この方法では、他の発表された論文（たとえば、Ｂ．Ｋｉｍ及びＷ．Ａ． Ｐｅａｒｌｍａｎ等による“Ａｎ Ｅｍｂｅｄｄｅｄ ｗａｖｅｌｅｔ ｖｉｄｅｏ ｃｏｄｅｒ ｕｓｉｎｇ ｔｈｒｅｅ−ｄｉｍｅｎｓｉｏｎａｌ ｓｅｔ ｐａｒｔｉｔｉｏｎｉｎｇ ｉｎ ｈｉｅｒａｒｃｈｉｃａｌ ｔｒｅｅｓ （ＳＰＩＨＴ）” Ｐｒｏｃｅｅｄｉｎｇ ＤＣＣ’９７， Ｄａｔａ Ｃｏｍｐｒｅｓｓｉｏｎ Ｃｏｎｆｅｒｅｎｃｅ， Ｓｎｏｗｂｉｒｄ， ＵＴ， ＵＳＡ， ２５−２７ Ｍａｒｃｈ １９９７， ｐｐ．２５１−２６０）と同様に、全ての動きベクトル場が符号化され、ビットストリームに送出される。この方法は、低いビットレートがターゲットにされる場合、及び受信機が低減されたフレームレート又は空間解像度を望む場合には重要な問題となる。
【０００４】
［発明の概要］
したがって、本発明の目的は、高いスケーラビリティが得られなければならない状況に対して、より適合することができる符号化方法を提供することにある。
【０００５】
上記目的を達成するために、本発明は、発明の詳細な説明の開始節において定義されたような符号化方法に関するものである。より詳細には、時間的なスケーラビリティの観点で、それぞれの時間解像度レベルで動き予測が実行され、該予測の開始がビットストリームに挿入されるフラグにより示される。所与の時間解像度レベルを再構成するために、必要な予測された動きベクトルのみが符号化され、該所与の時間解像度レベルでウェーブレット係数を符号化するビットと共にビットストリームに入れられる。該動きベクトルは、同じ時間解像度レベルでのテクスチャ係数を符号化する前に、上記ビットストリームに挿入されることを特徴としている。
【０００６】
別の実施の形態では、本発明はまた、開始節で定義されたような符号化方法に関するものである。より詳細には、空間的なスケーラビリティの観点で、最も高い空間解像度レベルで動き予測が実行され、より低い空間解像度についての動きベクトルを得るために得られたベクトルが２つに分割される。空間解像度レベルを再構成するために、必要な予測された動きベクトルのみが符号化され、所与の空間解像度でウェーブレット係数を符号化するビットと共にビットストリームに入れられる。該動きベクトルは、同じ空間解像度レベルでテクスチャ係数を符号化する前にビットストリームに挿入される。この符号化の処理は、最低の空間解像度での動きベクトルに関して実行され、ビットプレーン毎に、ある解像度レベルから別の解像度レベルに、それぞれの空間解像度でのリファインメントビットのみがビットストリームに入れられることを特徴としている。
【０００７】
このように提案された技術的な解法により、全ての取り得るフレーム及び全ての空間解像度レベルに対応する全ての動きベクトルを送出する代わりに、所望のフレームレート又は空間解像度に対応する動きベクトルのみを符号化することができる。
【０００８】
［発明の実施の形態］
以下、本発明は、例示により添付図面を参照して記載される。
図１には、ビデオ系列の時間的なサブバンド分割が示されている。例示される動き補償を有する３次元ウェーブレット分割は、Ｆ１〜Ｆ８に参照されるフレームのグループ（ＧＯＦ）に適用される。
【０００９】
この３次元サブバンド分割では、それぞれの入力ビデオのＧＯＦが最初に動き補償され（図１におけるＭＣ）（このステップにより、大きな動きを有する系列を処理することができる）、次いで、Ｈａａｒウェーブレットを使用して時間的にフィルタリングされる（破線矢印は、高域通過の時間的フィルタリングに対応し、実線矢印は、低域通過の時間的フィルタリングに対応する）。これら２つの処理の後、それぞれの時間的なサブバンドは、空間的に分割され空間−時間サブバンドとなる。空間−時間サブバンドは、図２に例示されているように、原ＧＯＦの３次元ウェーブレット表現となる。
【００１０】
図１では、３つのステージの分割が図示されている（Ｌ及びＨ＝第１ステージ、ＬＬ及びＬＨ＝第２ステージ、ＬＬＬ及びＬＬＨ＝第３ステージ）。例示される８フレームのグループの時間的な分解レベルのそれぞれで、動きベクトル場のグループが生成される（第１レベルでのＭＶ４、第２レベルでのＭＶ３、第３レベルでのＭＶ２）。
【００１１】
Ｈａｒｒ多重解像度分析が時間的な分割について使用されるとき、それぞれの時間的な分割レベルで、考慮されるフレームのグループにおける各２つのフレームの間で、１つの動きベクトル場が生成されるので、動きベクトル場の数は、時間的なサブバンドにおけるフレーム数の半分に等しい。すなわち、動きベクトル場の第１レベルで４、第２レベルで２、第３レベルで１である。デコーダ側では、所与の時間的なレベルを再構築するために、該レベル、及びより低い時間的な解像度（低減されたフレームレート）での動きベクトル場のみが必要とされる。
【００１２】
（Ａ）時間的スケーラビリティ
本発明によれば、この観察は、たとえば、図３において記載されるようなプログレッシブな復号化を可能にするようなやり方で、ビットストリームを変成する。３つの時間的な分割レベルＴＤＬ（図１に図示）は、４つの時間的な解像度レベルとなり（１〜４）、該解像度レベルは、初期フレームレートから得ることができる可能なフレームレートを表している。
【００１３】
最低の解像度の時間レベルに対応する係数は、このレベルでの動きベクトルを送出することなしに最初に符号化され、全ての他の再構成フレームレートについて、動きベクトル場、及び対応する高周波の時間的なサブバンドが符号化される。ここまでのビットストリーム編成のこの記載は、時間的なレベルのみを考慮している。しかし、完全なスケーラビリティのために、それぞれの時間的なレベル内での空間的なスケーラビリティを考慮する必要がある。
【００１４】
ウェーブレット係数についての解決は、欧州特許出願に既に記載されており、これを図４に再掲する。それぞれの時間的なスケール内では、全ての空間解像度が連続的に走査され（ＳＤＬ＝空間的分割レベル）、したがって、全ての空間周波数を利用することができる（フレームレートｔ＝１〜４：表示サイズｓ＝１〜４）。上部のフラグが、２つのビットプレーンを分離するものであり、下部のビットプレーンは、２つの時間的な分割レベルである。
【００１５】
（Ｂ）空間的なスケーラビリティ
低減された空間的な解像度ビデオを再構築することができるためには、ビットストリームの開始で、最高解像度の動きベクトル場を転送することは望ましくない。実際、動きベクトルにより記載された動きを現在の空間レベルに適合することが必要である。理想的には、最初に、最低の空間解像度に対応する低い解像度の動きベクトルを有することが望ましく、次いで、空間解像度における増加に従い動きベクトルの解像度をプログレッシブに増加させることができる。動きベクトル場の解像度から別の動きベクトル場の解像度への差のみが符号化されて転送される。
【００１６】
最高解像度フレームに関する整数画素精度（ｉｎｔｅｇｅｒ ｐｉｘｅｌ ｐｒｅｃｉｓｉｏｎ）により、フルサーチブロックマッチング又は他の導出される解決のようなブロックベースの方法により、動き予測が実行されると仮定する。（この仮説は、問題の一般性を低減するものではない。開始での全ての動きベクトルを２で乗算することにより、動きベクトルについてハーフピクセル精度を機能させたい場合、たとえ機能的な置き換えを表したといても、整数ベクトルのケースに戻る。）したがって、動きベクトルは整数により表される。
【００１７】
空間的スケーラビリティの上記必要条件を満足するために、最高解像度の動きベクトル場を仮定すると、動きベクトル解像度は、要素２で除算する簡単な処理により低減される。実際、近似サブバンドの空間解像度は要素２により低減されるので、動きは、最高解像度サブバンドにおけるものと同じである。変位は、要素２により低減される。この分割は、簡単なシフトにより整数について実現される。
【００１８】
動き予測におけるブロックのサイズは、慎重に選択されなければならない。実際、ブロックの原サイズが最高解像度において８×８である場合、２分の１の解像度において４×４、次いで４分の１の解像度で２×２等となる。したがって、ブロックの原サイズが余りに小さい場合に、小さな空間解像度についてサイズがゼロとなる問題が表れる。原サイズが分割／再構築レベル数に匹敵することをチェックしなければならない。
【００１９】
Ｓ個の空間分割レベルを有し、最低解像度から最高解像度までの全ての取り得る解像度に対応する動きベクトルを望むとする。次いで、初期動きベクトルが２^Ｓにより分割されるか、又はＳ個の位置のシフトが実行される。結果は、そのサイズが２^Ｓで分割される最低解像度からのブロックに対応する動きベクトルを表す。原動きベクトルの２^Ｓ−１による分割は、次の空間解像度を提供する。しかし、この値は、前の処理から既に利用することができる。
【００２０】
実際、この値は、Ｓ−１の位置のシフトに対応する。最初の処理からの差は、２^Ｓ−１の重みを有する動きベクトルのバイナリ表現におけるビットである。次いで、より高い解像度での動きベクトルを再構築するために、前に転送されたベクトルにこのビットを加えることは十分なことである。このことは、図５にＳ＝４の場合について例示されている。
【００２１】
動きベクトルのこのプログレッシブな転送により、ビットストリームにおいて、ある空間解像度から別の空間解像度までの動きベクトル場のリファインメントビットを、同じ空間解像度レベルでのテクスチャに対応するビットの前に含めることができる。提案される方法は図６に示される。
【００２２】
最低解像度での動きベクトルは、ＤＰＣＭ技法により符号化され、続いて、（たとえば、ＭＰＥＧ−４で使用されるような）ＶＬＣテーブルを使用したエントロピー符号化となる。環境の算術符号化（ｃｏｎｔｅｘｔｕａｌ ａｒｉｔｈｍｅｔｉｃ ｅｎｃｏｄｉｎｇ）により、環境が動きベクトルの水平又は垂直成分に依存して、他の解像度レベルについて、動きベクトル場のリファインメントビットから構成される完全なビットプレーンが符号化される。
【００２３】
動きベクトルを表すビットストリームの一部は、テクスチャに関する情報の前に記載される。「古典的な」非スケーラブルアプローチに関する差異は、時間的又は空間的なレベルの階層性が動きベクトル符号化に置き換えられることである。前の技法に対する最も重要な改善は、動き情報がプログレッシブに復号化することができることである。所与の空間解像度について、デコーダは、そのレベルで有効ではないビットストリームの一部を復号化する必要がない。
【図面の簡単な説明】
【図１】
Ｈａａｒ多重解像度分析を使用した動き補償により、ビデオ情報の時間的なサブバンド分割を例示する図である。
【図２】
３次元ウェーブレット分割から生じる空間−時間サブバンドを示す図である。
【図３】
時間的なスケーラビリティのために、ビットストリームへの動きベクトルの挿入を示す図である。
【図４】
空間−時間ツリーの時間的に駆動される走査により得られるビットストリームの構造を示している。
【図５】
最低の解像度から最高の解像度への動きベクトル及びそのプログレッシブな転送のバイナリ表現を表す図である。
【図６】
提案されるスケーラブルなアプローチにおける動きベクトル符号化のためのビットストリーム編成を示す図である。

Claims (2)

1. フレームのグループに区分され、３次元ウェーブレット変換の分割レベルに対応する所定数の連続する解像度レベルを導出する該変換により分割されるビデオ系列の圧縮のための符号化方法であって、
   該方法は、フレームのそれぞれのグループの画素のオリジナルセットから階層的ピラミッドを構成する変換係数を生じる階層的サブバンド符号化プロセスに基づくものであり、
   ３次元ウェーブレット変換から生じる近似サブバンドの画素でルートが形成され、これらルート画素により定義される画像ボリュームに対応するより高いサブバンドの画素でこれらの画素のそれぞれの子が形成される空間−時間指向ツリーが、前記階層的ピラミッド内の空間−時間関係を定義し、
   前記ツリーにおいて形成される親−子の依存性を重視して、３次元ウェーブレット変換の初期のサブバンド構造を保持する順序で、符号化されるサブバンドが互いに走査され、
   時間的なスケーラビリティの観点で、それぞれの時間解像度レベルで動き予測が実行され、ビットストリームに挿入されるフラグにより該予測の開始が示され、所与の時間解像度レベルを再構成するために必要な予測された動きベクトルのみが符号化されて、前記所与の時間解像度レベルでウェーブレット係数を符号化するビットと共にビットストリームに含められ、前記動きベクトルは、同じ時間解像度レベルでのテクスチャ係数を符号化する前に、前記ビットストリームに挿入される、ことを特徴とする符号化方法。
2. フレームのグループに区分され、３次元ウェーブレット変換の分割レベルに対応する所定数の連続する解像度レベルを導出する該変換により分割されるビデオ系列の圧縮のための符号化方法であって、
   該方法は、フレームのそれぞれのグループの画素のオリジナルセットから階層的ピラミッドを構成する変換係数を生じる階層的サブバンド符号化プロセスに基づくものであり、
   ３次元ウェーブレット変換から生じる近似サブバンドの画素でルートが形成され、これらルート画素により定義される画像ボリュームに対応するより高いサブバンドの画素でこれらの画素のそれぞれの子が形成される空間−時間指向ツリーが、前記階層的ピラミッド内の空間−時間関係を定義し、
   前記ツリーにおいて形成される親−子の依存性を重視し、３次元ウェーブレット変換の初期のサブバンド構造を保持する順序で、符号化されるサブバンドが互いに走査され、
   空間的なスケーラビリティの観点で、最も高い空間解像度レベルで動き予測が実行され、より低い空間解像度についての動きベクトルを得るために得られたベクトルが２つに分割され、空間解像度レベルを再構成するために必要な予測された動きベクトルのみが符号化され、所与の空間解像度でウェーブレット係数を符号化するビットと共にビットストリームに含められ、前記動きベクトルは、同じ空間解像度レベルでテクスチャ係数を符号化する前にビットスオリームに挿入され、前記符号化の処理は、最低の空間解像度での動きベクトルに関して実行され、ビットプレーン毎に、ある解像度レベルから別の解像度レベルに、それぞれの空間解像度でのリファインメントビットのみがビットストリームに含められる、ことを特徴とする符号化方法。