JP4699460B2 - 時間的なビデオ圧縮における運動ベクトル予測のための方法および装置 - Google Patents

Description

米国特許法第１１９条の下の優先権主張
特許の本出願は、２００４年７月２０日に申請され、この譲受人に譲渡され、ここに引用文献として明らかに組み込まれた仮出願番号６０／５８９，８１８、題名「Method and Apparatus for Motion Vector Prediction in Temporal Video Compression]に対して優先権を主張する。

本発明は、一般にビデオ圧縮に係り、特に、時間的なビデオ圧縮における運動ベクトル予測の方法と装置に関する。

運動推定は、ビデオシーケンスの時間的な冗長度が利用されるビデオコーディングシステムにおいて重大な特徴である。運動推定は、以前に復号されたフレーム中のブロックに基づいて予測されるフレームの中で、現在のマクロブロック（あるいはブロック）を推定する過程である。一般に、その過程は、ひずみを最小化する尺度に基づいた現在のブロックと一致するブロックを求めて予測されたフレームを探索することを必要とする。例えば、現在使用される尺度は、絶対差の合計（ＳＡＤ）および平方差の合計（ＳＳＤ）を含んでいる。典型的には、その探索は、運動ベクトル予測を使用して派生した最初の当て推量（参照フレーム中の位置）に基づいて始まる。

ビデオコーデックが運動ベクトル予測に多数の参照フレームおよび多数のマクロブロック・タイプを組込むところで、運動ベクトル予測過程は非常に広範囲な計算を導入する。実験は、運動推定が合計の符号化時間の６０％（１つの参照フレーム）から９０％（５つの参照フレーム）を消費することができることを示した。レートひずみを維持しながら運動推定の計算の複雑さを縮小することは、挑戦的なトピックである。現在、関連する研究は、より正確な運動ベクトル予報値を得こと、および処理時間を縮小するかあるいはピクセル探索ステップをスキップさえするために、ゼロブロックを検知することにより早い終結を適用することに集中する。予測された運動ベクトルの正確さは、合計の運動推定時間の制御に批判的である。ＩＳＯ／ＥＥＣ ＭＰＥＧ＆ＩＴＵ−Ｔ ＶＣＥＧ（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１およびＩＴＵ−Ｔ ＳＧ１６ Ｑ．６）ＪＶＴ−Ｉ０５０、９ＴＨミーティング、２００３年９月（ＪＶＴ標準）の共同のビデオチーム（ＪＶＴ）によって提案されるようなＨ．２６４ビデオコーデックにおける運動ベクトル予測のための標準において、様々な方法がより多くの運動ベクトル候補の導入により運動ベクトルの予測を改善するために使用される。

例えば、図１で示されるように、現在のブロック１０２の左、上および右上の隣接したブロックは現在のブロックの運動ベクトルを予測するために使用される：
ｐｒｅｄ ｍｖ＝ｍｅｄｉａｎ（ｍｖ Ａ，ｍｖ Ｂ，ｍｖ Ｃ）
ここにｐｒｅｄ ｍｖは中央予報値として定義され、ｍｖ Ａ，ｍｖ Ｂ，ｍｖ ＣはそれぞれブロックＡ１０４、Ｂ１０６、Ｃ１０８の運動ベクトルである。７つの予測間モードの運動関係をよりよく利用するために、１つの提案が、ＪＶＴ標準中の提案されたサーチ順序ではなくモード１から７までの階層的サーチ順序を適用する。現在のブロックの運動ベクトルを予測するために候補と見なされる現在のブロックの上部層の運動ベクトルは、図２の中で示される。他の提案は、対応する近隣のブロックおよびすべての参照フレームの運動ベクトルの考慮により、時間的なシーケンスの中でより多くの運動ベクトル候補を使用する。図３および図４で例証されるように、前および他の参照フレームの対応する運動ベクトルは、予測候補として同様に使用される。図４の多数の参照フレームモデルでは、参照フレーム中の運動ベクトルが現在のフレームからのその時間的距離によって基準化されることが注目されるべきである。

運動ベクトル予測の精度は、運動推定における早い終了、速いサーチ方法および速いモード決定（例えば、モードをスキップする）のように、計算上の削減ステップを制御することにおいて重大な役割を奏する。

ここに記述された実施例は、運動ベクトル予測のための４つのアプローチ、およびレートひずみ検知で改善された性能を達成するこれらのアプローチを組込む方式を供給する。ここに記述された方法と装置は、運動ベクトル予測の正確さを改善する。一実施例では、現在のブロックのすべての非偶発のブロックの運動ベクトルは、オリジナルのビデオフレームのより低い解像度バージョンからのより空間の相関関係情報の利用により、運動ベクトル予報値を計算することに組み入れられる。他の実施例では、カラー情報の使用により、より正確な運動ベクトルを予測するために、色度成分が輝度成分に統合される。また他の実施例では、システムは、ビデオストリーム送信システムにおけるＭＰＥＧ２メタデータストリームに存在するかもしれない運動ベクトル情報を考慮に入れる。さらに他の実施例では、運動ベクトル処理技術は、技術の正確さを改善するため誤りの運動ベクトルを除去する（即ち、平滑する）ように適用される。

他の目的、特徴および利点は、次の詳細な説明から当業者に明白になるだろう。しかしながら、詳細な説明および特定の例は、好ましい実施例を示すが限定ではなく例示の方法で与えられる。実施例の範囲内の多くの変更および修正がそれの精神から逸脱することなく行なわれ、そのような修正をすべて含んでいるべきである。

発明は、添付の図面を参照することにより、より容易に理解される。

図において同様な数字は同様な素子を指す。

運動ベクトル予測の精度は、早い終結、速いサーチ方法および高速モード決定（例えば、モードをスキップする。）のように次の計算削減ステップの制御における重要な役割を演じる。方法は、ビデオコーデック中の運動ベクトルの生成を改善する４つの新方式を提案する。一実施例では、マクロブロック間の空間の相関を利用して、ビデオフレームはより低い解像度バージョン・ビデオフレームを作成するために最初にダウンサンプルされ、また、運動推定がこのより低い解像度ビデオフレームで行なわれる。従って、「より粗い」運動ベクトルと呼ばれた運動ベクトルの組が得られる。より粗い運動ベクトルはオリジナルのビデオフレームに写像される。したがって、より粗い運動ベクトル（より低い解像度ビデオフレームに由来した）および偶発の運動ベクトルを含む、すべての近隣ブロックの運動ベクトルは、運動ベクトル候補として利用することができる。他の実施例では、アップストリームのＭＰＥＧ-２符号器からのビデオコーデックに供給されたメタデータ情報（それは対応するブロックの運動ベクトルを予測するのに使用することができる各マクロブロックのＭＰＥＧ-２運動ベクトル情報を含んでいる）が使用される。さらに他の実施例では、輝度成分が完全にカラー情報を利用することへの運動ベクトルの計算に組み入れられる。さらに他の実施例では、運動ベクトル平滑化技術が誤って予測された運動ベクトルを修正し、雑音を削除することを試みるように適用される。

１． 非偶発の運動ベクトル
図５は、図６の流れ図の中で示されるような予測のプロセス６００において、現在のフレーム５００の現在のブロック５０２の運動ベクトルを予測するために、非偶発の運動ベクトルの使用を示す。ＪＶＴ標準とは対照的に、以前に注意されたように、３つの偶発のブロックだけが予測に使用される場合、一実施例において、現在のブロック５０２に近隣のブロック５０４−５１８のすべては、ステップ６０２およびステップ６０４で示されるように、フレームがイントラ・フレーム（Ｉフレーム）以外のフレームシーケンスにおいてすべてのフレームの運動ベクトル予測に対する候補として使用されてもよい。運動ベクトル予測がフレームのこれらのタイプに必要とされないので、予測はＩフレームについて行なわれない。しかしながら、他のすべてのフレームについては、以下のステップで記述されるように、すべての近隣ブロックに対する運動ベクトルは、「より粗い」運動ベクトルの生成によって利用可能になる。したがって、ビデオフレームがＩフレームでないとき、ビデオフレームはより低い解像度フレーム７０２を作成するためにダウンサンプルされ、偶発の運動ベクトルが利用可能であるか否かが決定される。例として図５を参照すると、ブロック５１２（Ｄ）、ブロック５１８（Ｅ）、ブロック５１６（Ｆ）およびブロック５１４（Ｇ）が走査順序にしたがってまだ処理されていないので、偶発の運動ベクトルはブロック５０４（Ａ）、ブロック５０６（Ｂ）、ブロック５０８（Ｃ）およびブロック５１０（Ｈ）のためにのみ利用可能である。したがって、図７で示されるように、演算はステップ６０４を継続し、そこでビデオフレーム５００がより低い解像度フレーム７０２を作成するためにダウンサンプルされる。その後、運動推定は、ステップ６０８においてより低い解像度ビデオフレーム７０２で行なわれ、一組の「より粗い」運動ベクトルとして参照される一組の運動ベクトルを引き出し、その後、ステップ６１０においてかつ図７で例証されるようにオリジナルのビデオフレームに写像される。

したがって、より粗い運動ベクトルが使用されてもよいとともに、偶発の運動ベクトルが利用可能でない場合でさえ、運動ベクトル予測はステップ６１２で行なわれてもよい。例えば、一実施例では、図５を参照して、現在のブロック５０２の予測は偶発の運動ベクトルに対して現在の標準中のパターンを使用して行なわれ、ブロック５１０（Ｈ）、ブロック５０６（Ｂ）およびブロック５０８（Ｃ）だけが予測のために使用されるが、非偶発のブロック（即ち、より粗い運動ベクトル）から由来するような付加的なベクトルも使用される。特に、ブロック５１０（Ｈ）、ブロック５０６（Ｂ）およびブロック５０８（Ｃ）のための３つの運動ベクトルに対する値の組は以下のように決定される：
１．Ηが利用可能でない場合（画像の外部に位置する）、そのＭＶは（０，０）に設定される。

２．Ｃが利用可能でない場合、そのＭＶはＡに設定される。

３．ＢとＣの両方が利用可能でない場合、両方のＭＶが（０，０）に設定される。

これらの運動ベクトルは、中央の予報値のためにブロック５１２（Ｄ）、ブロック５１８（Ｅ）、ブロック５１６（Ｆ）およびブロック５１４（Ｇ）からのより粗い運動ベクトルと結合される。

他の実施例では、使用された参照ブロックはすべてのブロック（即ち、ブロック５０４（Ａ）、ブロック５０６（Ｂ）、ブロック５０８（Ｃ）、ブロック５１２（Ｄ）、ブロック５１８（Ｅ）、ブロック５１６の（Ｆ）、ブロック５１４（Ｇ）、およびブロック５１０（Ｈ））を含むだろう。そのとき、中央の予報値は次のように計算される：
pred mv＝mediam(mv A,mv B,mv C,mv D,mv E,mv F,mv G,mv H,mv Prev Current)
ここに、mv Prev Currentは前の参照フレーム中の対応するブロックの運動ベクトルとして定義される。

２． ＭＰＥＧ２前段のメタデータからの運動ベクトル情報
図８はビデオ伝送システム８００のデータフローを示し、ここにビデオコーデック８０６に供給されたビデオデータソースがＭＰＥＧ２復号器８０２からの復号されたＭＰＥＧ２ビデオストリームから送信される。一実施例では、オリジナルソース・ビデオデータはすべてＭＰＥＧ２ストリームとして送信され、次に復号される。復号された生ビデオデータは、さらに処理され、プリプロセッサ８０４によって４分の１ＶＧＡ（ＱＶＧＡ）サイズに縮尺され、Ｈ．２６４のような新しいフォーマットへ符号化するためにビデオコーデック８０６に提示される。ビデオコーデック８０６は、さらにフレームサイズ、フレーム率、マクロブロック・タイプおよび各マクロブロックの運動ベクトルのようなＭＰＥＧ２メタデータを受信する。ＭＰＥＧ２運動ベクトルは、一実施例において、符号化処理の間に対応するマクロブロックの運動ベクトル予測候補としてビデオコーデック８０６によってこのように使用される。一実施例中で、マクロブロックのサイズが１６×１６のブロック・サイズである場合、ＭＰＥＧ２の運動ベクトルもまたすべてのサブレイヤ・ブロックのための上層の運動ベクトルと見なされる。

一実施例では、前のフォーマットから新しいフォーマットへメタデータを使用する概念は、トランスコーディング（transcoding）シナリオにのみ当てはまり、そこでは入力フォーマット復号からの符号化パラメータおよび側面の情報がビデオコーデック８０６のような目標符号器において利用可能である。さらに、運動ベクトルがＰおよびＢフレームの両方のための前フレームから予測されるので、直ちに連続する将来のフレームのためのメタデータから運動ベクトルを予測することのみが適切である。図９で示されるように、時間ｔ−１でシーケンス中の運動ベクトルは時間ｔで対応するブロックシーケンスの運動ベクトルを予測するためにのみ使用される。一実施例では、現在のフレームの参照フレーム番号は、前の参照フレームのメタデータに関連した運動ベクトルを見つけるために使用される。

３． 色運動推定
ＭＰＥＧ−４およびＨ．２６４のような現在のビデオコーデック標準において、両方の色度成分（ＣｂとＣｒ）の運動ベクトルは、対応する輝度成分（Ｙ）に由来する。そして色度成分はレートひずみ（ＲＤ）中で省略され、輝度成分が十分な情報および付加的でないオーバヘッドを提供することができるという仮定による運動ベクトル予測の処理は、色度を予測することを必要としない。しかしながら、低輝度あるいは詳細なカラー情報を持っているビデオシーケンスについては、色光度成分はより正確な運動ベクトル予測に役立つ。したがって、一実施例では、運動推定は輝度成分および色度成分の両方を使用する。例えば、クロマ情報が豊富なカラー情報を備えたオブジェクトを持っているビデオフレーム中で取り出される時、オブジェクトの運動は予測するのがより難しくなる。したがって、色運動予測を使用する予測されたビデオフレームは、ルーマ成分の運動予測のみで予測されたものより少数のアーティファクトを持っていそうである。

図１０を見ると、色度成分が輝度成分と比較された水平および垂直座標に半分サンプリングされる。フレーム符号化だけが考慮されなら、色度成分の運動ベクトルは次のように計算される：
ＭＶ_Ｃ Ｘ＝ｌ／２＊ ＭＶ_Ｌ Ｘ
ＭＶ_Ｃ Ｙ＝ｌ／２＊ ＭＶ_Ｌ Ｙ
ここに、（ＭＶ_Ｌ Ｘ，ＭＶ_Ｌ Ｙ）はルーマ運動ベクトルであり、（ＭＶ_Ｃ Ｘ，ＭＶ_Ｃ Ｙ）はクロマ運動ベクトルである。一実施例では、クロマ運動ベクトルは、運動ベクトル予測およびＲＤ最適化に組み入れられるクロマ運動ベクトルのために絶対差（ＳＡＤ）の合計を計算するのに使用される。ルーマのみに関するＲＤ最適化方程式は次のとおりである：
Ｌ＝Ｒ＋λＤ
したがって、運動予測はこのラグランジュの費用関数の最小化として見ることができる。ここで、ひずみＤは輝度成分のＳＡＤとして測定された予測誤差を表わし、Ｒはビット数であり、ラグランジュ乗算器は量子化パラメータ（ＱＰ）と対応付けられ、その値はＲＤトレードオフを制御する。色度成分を考えれば、次の費用関数が導入される：
Ｌ＝Ｒ＋λ（Ｗ_１＊Ｄ_Ｌ＋Ｗ_２＊ Ｄ_Ｃ）
Ｗ_１∈（１，２），Ｗ_２∈（０，１）
ここに、Ｄ_ＬおよびＤ_Ｃはルーマおよびクロマ成分の中のひずみをそれぞれ表わし、Ｗ_１およびＷ_２は、特定のビデオシーケンスに適応性のある実験的な加重パラメータである。一実施例において、クロマ成分がより少ない情報を持つので、そのＳＡＤ計算は単に整数の価値のある運動ベクトルのみを使用し、したがって、補間は必要ではない。

４． 運動ベクトルの平滑化
符号化されたビデオシーケンスのビデオ捕捉および伝送中に遭遇するどんな雑音あるいは失われたフレームも、通常プレイバック中に、シーケンスの品質の削減に至る。さらに、運動ベクトル予測処理と一致することの阻害は、さらに運動ベクトル予測における誤りを導入する。ベクトル中央のフィルタリング（ＶＭＦ）は、ビデオシーケンスの詳細を保存している間、運動ベクトル予測精度を改善し、かつ雑音を縮小するために、他の有効なアプローチとして適用されてもよい。ＶＭＦの後ろの根本概念は、自然なビデオシーケンスの近隣の運動ベクトルが互いと常に相関しているということである。図１１で例証されるように、３つのタイプの運動ベクトルフィールドが、滑らかな領域の運動ベクトルフィールド１１１０、運動ベクトルフィールド１１２０におけるアウトライアー運動ベクトル１１２２、および運動ベクトルフィールド１１３０における他の運動ベクトルの方向と反対の方向を持っている、複数の運動ベクトル１１３２（ａ）-（ｃ）によって定義されたオブジェクト端を示す運動ベクトルフィールド１１３０を含む、運動ベクトル予測処理の後に現われてもよい。

一実施例では、３×３のブロック・サイズが中央の演算を行なうために選択されている。図１１の参照を続けると、「間違った」（あるいはアウトライアー）運動ベクトルはアウトライアー運動ベクトルフィールド１１２０で修正することができる。しかしながら、運動ベクトルフィールド１１３０中でのように、オブジェクト境界がブロックの内側で生じる場合、ＶＭＦは使用することができない。一実施例では、端検出とオブジェクトの区分化方法はこの状況に取り組むために使用されてもよい。

提案された運動ベクトル予測方法の各々は独立して、または組み合わせられて使用することができる。例えば一実施例では、トランスコーディングの間、入力ビデオビット列において利用可能な運動ベクトルデータが抽出され、ビデオコーデック８０６のような目標符号器中で使用するために保存される。このデータは入ってくるビデオフレームに関係する。運動ベクトルデータは目標符号器へのソースフレームインプットに再写像される。単一参照フレームが使用される処理では、前のＮフレームに関する運動ベクトルデータはこれらのＮフレームに関する運動軌跡を見つけるためにモデル化することができる。その後、運動ベクトル平滑化が適用されることができ、アウトライアーを削除し、かつ軌跡の正確さを改善する。軌跡の推定は符号化されるべきブロックの運動ベクトルのより正確な推定をもたらす。さらに、入力ビデオビット列から抽出された運動ベクトルデータは真実の運動ベクトルかもしれないし、そうでないかもしれない。これらの運動ベクトルの正確さは、典型的にはアップストリームのソース符号器で使用される運動サーチアルゴリズムに依存する。これらの運動ベクトルに基づき各復号されたフレームの運動フィールドを引き出すこと、および適切な運動ベクトル平滑化技術を適用することは、アウトライアーを除去するのを支援するだろう。運動ベクトルの正確さを確認することができない場合、空間の近隣あるいは配列された近隣の運動ベクトルに基づいたもののような他の方法が適用され得る。

十分な情報が提案された方法の２つ以上を可能にするのに利用可能な場合、運動ベクトル推定を引き出すことの次の優先順位が提案されている：
１．メタデータまたは前処理関数から利用可能な追加情報に基づいた各方法（例えば、０−１からの範囲を使用して）の正確さを順位付ける。例えば、デインターレーシングまたは逆テレビ映画が前処理の一部として使用された場合、運動ベクトルデータは適切に写像される必要がある。運動ベクトル平滑化の結果が曖昧な場合、この方法の正確さは貧弱である。抽出された運動ベクトル、運動ベクトル平滑化運動ベクトルおよびあらかじめ処理されかつ再写像された運動ベクトルが接近している場合、運動ベクトルのこの推定の正確さは高い。さらに、クロマ運動推定については、正確さはソース内容中のルーマ情報に関するクロマ情報の割合に依存する。可能な場合、すべての参照フレームからの非偶発および偶発の運動ベクトルが使用されるべきである。

２．その順位付けに基づいた各方法に重みを適用する。

３．方法を選択するために非線形の選択算法を適用する。

ビデオコーデックへの上記追加は、運動ベクトル予測処理の正確さを改善することを試みる。計算は各方法の実施を含むが、運動ベクトル予測の正確さの改良は、画素探索ステップ、ＳＡＤ計算およびＲＤ最適化で計算を減少するだろう。したがって、合計の符号化時間は減少され、よりよいビデオ品質が達成されるだろう。

図１２に、無線システムにおけるアクセス端末１２０２ｘおよびアクセス・ポイント１２０４ｘのブロック図を示す。ここで検討される「アクセス端末」は、音声および／またはデータの接続性をユーザに提供するデバイスを指す。アクセス端末はラップトップ・コンピュータまたはデスクトップ・コンピュータのような計算用デバイスに接続されるかもしれないし、または、携帯情報端末のような自蔵デバイスであるかもしれない。アクセス端末は加入者ユニット、移動局、移動体、遠隔局、遠隔端末、ユーザ端末、ユーザエージェント、またはユーザ機器を指すこともできる。アクセス端末は、加入者局、無線デバイス、携帯電話、ＰＣＳ電話、コードレス電話、セッション開始プロトコル（ＳＩＰ）電話、無線ローカルループ（ＷＬＬ）局、携帯情報端末（ＰＤＡ）、無線接続能力を有するハンドヘルドデバイス、または無線モデムに接続された他の処理デバイスであるかもしれない。ここで検討される「アクセス・ポイント」は、１つ以上のセクタを通して無線経由インタフェースでアクセス端末と通信するアクセス網におけるデバイスを指す。アクセス・ポイントは、受信した無線インタフェースフレームをＩＰパケットに変換することによって、アクセス端末とＩＰ網を含むかもしれない残りのアクセス網の間のルータとして動作する。また、アクセス・ポイントは無線インタフェースに対する属性管理を調整する。

逆方向リンクに関して、アクセス端末１２０２ｘにおいて、送信（ＴＸ）データプロセッサ１２１４はデータバッファ１２１２からトラヒックデータを受信し、各データパケットを、選択した符号化および変調方式に基づいて処理（例えば符号化、インタリーブ、およびシンボルマップ）し、データシンボルを出力する。データシンボルはデータの変調シンボルであり、パイロットシンボルはパイロット（先験的に知られている）用の変調シンボルである。変調器１２１６は、逆方向リンク用のデータシンボル、パイロットシンボル、および場合により信号を受信し、変調および／またはシステムで特定される他の処理を実行（例えばＯＦＤＭ）し、また出力チップのストリームを出力する。送信機ユニット（ＴＭＴＲ）１２１８は、出力チップストリームを処理（例えば、アナログへ変換、フィルタリング、増幅、および周波数アップコンバージョン）し、アンテナ１２２０から送信される変調信号を発生する。

アクセス・ポイント１２０４ｘにおいて、アクセスの端末の１２０２ｘおよびアクセス・ポイント１２０４ｘと交信中の他の端末によって送信された変調信号がアンテナ１２５２によって受信される。受信機ユニット（ＲＣＶＲ）１２５４はアンテナ１２５２からの受信信号を処理（例えば、調整およびディジタル化）し、受信サンプルを出力する。復調器（Ｄｅｍｏｄ）１２５６は処理する受信サンプルを処理（例えば復調および検出）し、検出データシンボルを出力する。これは、端末からアクセス・ポイント１２０４ｘへ送信されたデータシンボルの雑音を含む推定値である。受信（ＲＸ）データプロセッサ１２５８は、各端末に対して検出するデータシンボルを処理（例えばシンボル逆写像、デインターリーブおよび復号）し、その端末に対する復号データを出力する。

順方向リンクに関して、アクセス・ポイント１２０４ｘにおいて、トラヒックデータはデータシンボルを発生させるためのＴＸデータ処理装置１２６０によって処理される。変調器１２６２は、順方向リンクのためのデータシンボル、パイロットシンボル、および信号を受信し、変調および／または、他の適切な処理を実行（例えば、ＯＦＤＭ）し、出力チップストリームを出力する。これは、さらに送信機ユニット１２６４により調整され、アンテナ１２５２から送信される。順方向リンクの信号は、アクセス・ポイント１２０４ｘへ逆方向リンクで送信するすべての端末に対する制御器１２７０で生成される電力制御命令を含むかもしれない。アクセス端末１２０２ｘにおいて、アクセス・ポイント１２０４ｘによって送信された変調信号はアンテナ１２２０で受信され、受信機ユニット１２２２で調整およびディジタル化され、検出データシンボルを得るために復調器１２２４で処理される。ＲＸデータプロセッサ１２２６は、検出したデータシンボルを処理し、端末に対する復号データおよび順方向リンクの信号を出力する。制御器１２３０は、電力制御命令を受信し、データ送信およびアクセス・ポイント１２０４ｘへの逆方向リンクでの送信電力を制御する。制御器１２３０および１２７０は、アクセス端末１２０２ｘおよびアクセス・ポイント１２０４ｘの動作をそれぞれ指示する。記憶ユニット１２３２および１２７２は、それぞれ制御器１２３０および１２７０によって用いられるプログラムコードおよびデータを格納する。

開示された実施例は次の技術：符号分割多元接続（ＣＤＭＡ）システム、複数キャリアＣＤＭＡ（ＭＣ-ＣＤＭＡ）、広帯域ＣＤＭＡ（Ｗ-ＣＤＭＡ）、高速下り回線パケット接続（ＨＳＰＤＡ）、時分割多元接続（ＴＤＭＡ）、周波数時分割多元接続（ＦＤＭＡ）システム、及び直交周波数時分割多元接続（ＯＦＤＭＡ）システムのいずれにも、または組合せて適用される。

ここに開示された実施例に関連して記述された方法またはアルゴリズムのステップは直接ハードウェアにおいて、プロセッサによって実行されるソフトウェア・モジュールにおいて、またはその２つの組合せにおいて具体化される。ソフトウェア・モジュールはＲＡＭメモリ、フラッシュ・メモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブル・ディスク、ＣＤ-ＲＯＭ、または他の形の当技術分野において知られている記憶媒体に常駐される。典型的な記憶媒体はそのようなプロセッサが記憶媒体から情報を読取り、記憶媒体へ情報を書込むことができるようにプロセッサと接続される。これに代るものでは、記憶媒体はプロセッサに一体化してもよい。プロセッサ及び記憶媒体はＡＳＩＣに常駐してもよい。ＡＳＩＣはユーザ端末に常駐してもよい。これに代るものでは、プロセッサ及び記憶媒体はユーザ端末に個別部品として常駐してもよい。

ここに述べた方法は、当業者に既知の様々な通信ハードウェア、プロセッサ及びシステム上で実施されることは注目すべきである。例えば、ここに述べたようにクライアントが操作する一般的な要求は、そのクライアントが内容及び情報を表示するディスプレイ、クライアントの操作を制御するプロセッサ、及びクライアントの操作に関係するデータ及びプログラムを記憶するメモリを持っていることである。一実施例では、クライアントはセルラー電話である。別の実施例では、クライアントは通信機能を持つ携帯用コンピュータである。さらに別の実施例では、クライアントは通信機能を持つパソコンである。その上、ＧＰＳ受信器のようなハードウェアは様々な実施例を実施するためにクライアントにおいて必要に応じて組込まれる。

ここに開示された実施例に関連して記述された実例となる様々な論理ブロック、モジュール、及び回路はここに述べられた機能を実行するために設計された一般用途プロセッサ、ディジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールド・プログラマブル・ゲートアレイ（ＦＰＧＡ）または他のプログラマブル論理デバイス、個別ゲートまたはトランジスタ論理、個別ハードウェア部品、またはその組合せによって実施または実行される。一般用途プロセッサはマイクロプロセッサであるが、これに代るもので、そのプロセッサはあらゆる従来のプロセッサ、コントローラ、マイクロコントローラ、または状態機械でもよい。プロセッサはまた計算デバイスの組合せ、例えば、ＤＳＰとマイクロプロセッサの組合せ、複数のマイクロプロセッサ、ＤＳＰコアと連動する一以上のマイクロプロセッサ、または他のそのような構成として実施される。

上で述べた実施例は典型的な実施例である。当業者はここに開示された発明概念から逸脱することなく上述の実施例の多くの使用を行い、且つそこから出発することができる。これらの実施例への様々な修正は当業者には明白であり、ここに定義された一般的な原理は本発明の精神または範囲から逸脱することなく他の実施例、例えば、即時通信サービス或いはあらゆる一般的な無線データ通信アプリケーションに適用される。このように、本発明はここに示された実施例に限定されることを意図するものではないが、ここに開示された原理及び新規な特徴と合致する最も広い範囲を与えられるべきである。用語「典型的な（exemplary）」は「例（example）、事例（instance）、または例示（illustration）として役立つ」ことを意味するものとして専らここでは使用される。「典型的な」としてここに述べた実施例は他の実施例に対して好ましい、或いは有利であると必ずしも解釈されない。従って、発明はただ次の請求項の範囲によって定義されるべきである。

ある隣接したブロックを使用する先行技術の運動ベクトル予測方式を示す。 階層的探索方式を使用する運動ベクトル予測方式を示す。 前の参照フレームからの運動ベクトルを使用する運動ベクトル予測方式を示す。 前の参照フレームからの運動ベクトルを使用する運動ベクトル予測方式を示す。 運動ベクトルの予測のための非偶発参照ブロックの位置を示す。 運動ベクトルの予測のための非偶発参照ブロックの使用を示す流れ図である。 ダウンサンプルされたビデオフレームからのより粗い運動ベクトルの生成を示す図である。 ビデオ伝送システムにおけるデータフローを示す。 次のフレーム中の対応するブロックの運動ベクトルを予測するメタデータの使用を示す。 カラー画像中のルーマとクロマの成分を示す。 運動ベクトル予測の後に３つの典型的な運動ベクトルフィールド配列を示す。 無線システムのアクセス端末およびアクセス・ポイントのブロック図である。

Claims (28)

1. 複数のエリアを含むビデオフレーム中の１つのエリアに対する運動ベクトル予測方法であって、
   前記ビデオフレーム中の前記複数のエリアの、前記１つのエリアに隣接していて関連する運動ベクトルを欠いている他のエリアに対する候補運動ベクトルを生成することと、
   前記ビデオフレームの前記１つのエリアに対する現在の運動ベクトルを予測するために前記候補運動ベクトルを使用することを含み、
   前記ビデオフレーム中の前記複数のエリアの前記他のエリアに対する前記候補運動ベクトルを生成することは、色度および輝度検出、運動ベクトル平滑化、および以前のフォーマットからのメタデータによる運動ベクトル予測を含むグループから選択された少なくとも１つの運動ベクトル予測技術を使用して運動ベクトル予測処理を行うことを含む方法。
2. 前記ビデオフレーム中の前記複数のエリアの前記他のエリアに対する前記候補運動ベクトルを生成することが、
   使用された運動ベクトル予測技術の各々の順位を付けることと、
   前記順位に基づいて前記使用された運動ベクトル予測技術の各々に重みを適用することと、
   前記候補運動ベクトルの生成のために、前記使用された運動ベクトル予測技術のうちの１つを選択する非線形選択算法を適用すること、をさらに含む請求項１の方法。
3. 前記グループは、
   前記ビデオフレームをダウンサンプリングして、より低い解像度のビデオフレームを作成することと、
   前記より低い解像度のビデオフレームから運動ベクトルの組を作成することと、
   前記運動ベクトルの組から前記ビデオフレーム中の前記複数のエリアのうちの１つのエリアへ各運動ベクトルを写像することを含む動き推定をさらに含む請求項１の方法。
4. 前記より低い解像度のビデオフレームがブロックの組を含み、前記より低い解像度のビデオフレームから前記運動ベクトルの組を作成することが、前記より低い解像度のビデオフレームのブロックの組の運動推定を行って、より粗い運動ベクトルの組を作成すること、を含む請求項３の方法。
5. 前記色度および輝度検出を用いて前記運動ベクトル予測処理を行うことが、
   クロマ運動ベクトルを引き出すことと、
   前記クロマ運動ベクトルについて絶対差の合計（ＳＡＤ）値を計算することと、
   前記運動ベクトル予測処理において前記クロマ運動ベクトルについての前記ＳＡＤ値を組み入れること、を含む請求項１の方法。
6. 前記以前のフォーマットからのメタデータによる運動ベクトル予測を行うことが、
   第1のコーデックを使用して、符号化されたビデオストリームを受信すること、
   前記符号化されたビデオストリームを復号して、前記ビデオフレーム中の前記複数のエリアにおいて前記関連する運動ベクトルを欠いている前記他のエリアと関連した少なくとも１つの第1の運動ベクトルを抽出すること、
   復号されたビデオストリームを第２のコーデックを使用し、かつ第２の符号化されたビデオストリーム中の前記ビデオフレームについての候補運動ベクトルとして前記第１の運動ベクトルを使用して前記第２の符号化されたビデオストリームへ符号化すること、を含む請求項１の方法。
7. 前記運動ベクトル平滑化を用いて前記運動ベクトル予測処理を行うことが、
   複数の運動ベクトルを含む運動ベクトルフィールドを作ること、
   前記複数の運動ベクトル中の運動ベクトルが、前記運動ベクトルをその近隣の運動ベクトルと比較することによりアウトライアー運動ベクトルであるかどうかを決定すること、
   前記アウトライアー運動ベクトルを削除すること、を含む請求項１の方法。
8. コンピュータにビデオフレーム中の現在のブロックに対する運動ベクトル予測処理を実行させるための命令が記憶されたコンピュータ可読媒体であって、前記現在のブロックが前記ビデオフレーム中の関連する運動ベクトルを持っていないブロックを含む近隣ブロックの組を持ち、前記命令は
   前記近隣ブロックの組中の各ブロックに対する候補運動ベクトルを引き出すこと、
   前記現在のブロックに対する現在の運動ベクトルを予測するために、前記近隣ブロックの組中の各ブロックに対する候補運動ベクトルを使用することを含み、
   前記近隣ブロックの組中の各ブロックに対する候補運動ベクトルを引き出すことは、色度および輝度検出、運動ベクトル平滑化、および以前のフォーマットからのメタデータによる運動ベクトル予測を含むグループから選択された少なくとも１つの運動ベクトル予測技術を使用する運動ベクトル予測処理を前記コンピュータに実行させることを含むコンピュータ可読媒体。
9. 前記近隣ブロックの組中の各ブロックに対する候補運動ベクトルを引き出すことが、
   使用された運動ベクトル予測技術の各々の順位を付けることと、
   前記順位に基づいて前記使用された運動ベクトル予測技術の各々に重みを適用することと、
   前記候補運動ベクトルの生成のために、前記使用された運動ベクトル予測技術のうちの１つを選択する非線形選択算法を適用すること、をさらに含む請求項８のコンピュータ可読媒体。
10. 前記グループは動き推定をさらに含み、動き推定を用いて前記運動ベクトル予測処理を行うことは、
    前記ビデオフレームをダウンサンプリングして、より低い解像度のビデオフレームを作成することと、
    前記より低い解像度のビデオフレームから運動ベクトルの組を作成することと、
    前記運動ベクトルの組から前記ビデオフレーム中の前記複数のエリアのうちの１つのエリアへ各運動ベクトルを写像することを含む請求項８のコンピュータ可読媒体。
11. 前記より低い解像度のビデオフレームがブロックの組を含み、前記より低い解像度のビデオフレームから前記運動ベクトルの組を作成することが、前記より低い解像度のビデオフレームのブロックの組の運動推定を行って、より粗い運動ベクトルの組を作成すること、を含む請求項１０のコンピュータ可読媒体。
12. 前記色度および輝度検出を用いて前記運動ベクトル予測処理を行うことが、
    クロマ運動ベクトルを引き出すこと、
    前記クロマ運動ベクトルについて絶対差の合計（ＳＡＤ）値を計算すること、
    前記色度および輝度検出を用いる運動ベクトル予測処理において前記クロマ運動ベクトルについての前記ＳＡＤ値を組み入れること、を含む請求項８のコンピュータ可読媒体。
13. 前記以前のフォーマットからのメタデータによる運動ベクトル予測を行うことが、
    第1のコーデックを使用して、符号化されたビデオストリームを受信すること、
    前記符号化されたビデオストリームを復号して、前記近隣ブロックの組中の少なくとも１つのブロックに関連した少なくとも１つの第1の運動ベクトルを抽出すること、
    復号されたビデオストリームを第２のコーデックを使用し、かつ第２の符号化されたビデオストリーム中の前記ビデオフレームについての候補運動ベクトルとして前記第１の運動ベクトルを使用して第２の符号化されたビデオストリームへ符号化すること、を含む請求項８のコンピュータ可読媒体。
14. 前記運動ベクトル平滑化を用いて前記運動ベクトル予測処理を行うことが、
    複数の運動ベクトルを含む運動ベクトルフィールドを作ること、
    前記複数の運動ベクトル中の運動ベクトルが、前記運動ベクトルをその近隣の運動ベクトルと比較することによりアウトライアー運動ベクトルであるかどうかを決定すること、
    前記アウトライアー運動ベクトルを削除すること、を含む請求項９のコンピュータ可読媒体。
15. ビデオフレーム中の現在のブロックが前記ビデオフレーム中の関連する運動ベクトルを持っていないブロックを含む近隣ブロックの組を持ち、前記現在のブロックの運動ベクトルを予測する装置であって、
    前記近隣ブロックの組中の各ブロックに対する候補運動ベクトルを引き出す手段と、
    前記現在のブロックに対する現在の運動ベクトルを予測するために、前記近隣ブロックの組中の各ブロックに対する候補運動ベクトルを使用する手段を含み、
    前記近隣ブロックの組中の各ブロックに対する候補運動ベクトルを引き出す手段は、色度および輝度検出、運動ベクトル平滑化、および以前のフォーマットからのメタデータによる運動ベクトル予測を含むグループから選択された少なくとも１つの運動ベクトル予測技術を使用する運動ベクトル予測処理を行うことを含む手段を含む装置。
16. 前記近隣ブロックの組中の各ブロックに対する候補運動ベクトルを引き出す手段は、
    使用された運動ベクトル予測技術の各々の順位を付ける手段と、
    前記順位に基づいて前記使用された運動ベクトル予測技術の各々に重みを適用する手段と、
    前記候補運動ベクトルの生成のために、前記使用された運動ベクトル予測技術のうちの１つを選択する非線形選択算法を適用する手段とを含む請求項１５の装置。
17. 前記グループは動き推定をさらに含み、動き推定を用いて前記運動ベクトル予測処理を行う手段は、
    前記ビデオフレームをダウンサンプリングして、より低い解像度のビデオフレームを作成する手段と、
    前記より低い解像度のビデオフレームから運動ベクトルの組を作成する手段と、
    前記運動ベクトルの組から前記ビデオフレーム中の前記複数のエリアのうちの１つのエリアへ各運動ベクトルを写像する手段を含む請求項１６の装置。
18. 前記より低い解像度のビデオフレームがブロックの組を含み、前記より低い解像度のビデオフレームから前記運動ベクトルの組を作成する手段は、前記より低い解像度のビデオフレームのブロックの組の運動推定を行って、より粗い運動ベクトルの組を作成する手段を含む請求項１７の装置。
19. 前記色度および輝度検出を用いて前記運動ベクトル予測処理を行う手段は、
    クロマ運動ベクトルを引き出す手段と、
    前記クロマ運動ベクトルについて絶対差の合計（ＳＡＤ）値を計算する手段と、
    前記運動ベクトル予測処理において前記クロマ運動ベクトルについての前記ＳＡＤ値を組み入れる手段を含む請求項１５の装置。
20. 前記以前のフォーマットからのメタデータによる運動ベクトル予測を用いて前記運動ベクトル予測処理を行う手段は、
    第1のコーデックを使用して、符号化されたビデオストリームを受信する手段と、
    前記符号化されたビデオストリームを復号して、前記近隣ブロックの組中の少なくとも１つのブロックに関連した少なくとも１つの第1の運動ベクトルを抽出する手段と、
    復号されたビデオストリームを第２のコーデックを使用し、かつ第２の符号化されたビデオストリーム中の前記ビデオフレームについての候補運動ベクトルとして前記第1の運動ベクトルを使用する手段を含む請求項１５の装置。
21. 前記運動ベクトル平滑化を用いて前記運動ベクトル予測処理を行う手段は、
    複数の運動ベクトルを含む運動ベクトルフィールドを作る手段と、
    前記複数の運動ベクトル中の運動ベクトルが、前記運動ベクトルをその近隣の運動ベクトルと比較することによりアウトライアー運動ベクトルであるかどうかを決定する手段と、
    前記アウトライアー運動ベクトルを削除する手段を含む請求項１５の装置。
22. 複数のエリアを含むビデオフレーム中の１つのエリアに対する運動ベクトルの予測方法を実施するように構成された少なくとも１つのプロセッサであって、
    前記ビデオフレーム中の前記複数のエリアの前記１つのエリアに隣接していて関連する運動ベクトルを欠いている他のエリアに対する候補運動ベクトルを生成するように構成されたモジュールと、
    前記ビデオフレームの前記１つのエリアに対する現在の運動ベクトルを予測するために前記候補運動ベクトルを使用するように構成されたモジュールを含み、
    前記ビデオフレーム中の前記複数のエリアの前記他のエリアに対する前記候補運動ベクトルを生成するように構成されたモジュールは、色度および輝度検出、運動ベクトル平滑化、および以前のフォーマットからのメタデータによる運動ベクトル予測を含むグループから選択された少なくとも１つの運動ベクトル予測技術を使用して運動ベクトル予測処理を行うように構成されるプロセッサ。
23. 前記ビデオフレーム中の前記複数のエリアの前記他のエリアに対する前記候補運動ベクトルを生成するように構成されたモジュールは、
    使用された運動ベクトル予測技術の各々の順位を付けるように構成されたモジュールと、
    前記順位に基づいて前記使用された運動ベクトル予測技術の各々に重みを適用するように構成されたモジュールと、
    前記候補運動ベクトルの生成のために、前記使用された運動ベクトル予測技術のうちの１つを選択する非線形選択算法を適用するように構成されたモジュールをさらに含む請求項２２のプロセッサ。
24. 前記グループは動き推定をさらに含み、動き推定を用いて前記運動ベクトル予測処理を行うように構成されたモジュールは、
    前記ビデオフレームをダウンサンプリングして、より低い解像度のビデオフレームを作成するように構成されたモジュールと、
    前記より低い解像度のビデオフレームから運動ベクトルの組を作成するように構成されたモジュールと、
    前記運動ベクトルの組から前記ビデオフレーム中の前記複数のエリアの少なくとも１つのエリアへ各運動ベクトルを写像するように構成されたモジュールをさらに含む請求項２２のプロセッサ。
25. 前記より低い解像度のビデオフレームがブロックの組を含み、前記より低い解像度のビデオフレームから前記運動ベクトルの組を作成するように構成されたモジュールは、前記より低い解像度のビデオフレームのブロックの組の運動推定を行って、より粗い運動ベクトルの組を作成するように構成されたモジュールを含む請求項２４のプロセッサ。
26. 前記色度および輝度検出を用いて前記運動ベクトル予測処理を行うモジュールは、
    クロマ運動ベクトルを引き出すように構成されたモジュールと、
    前記クロマ運動ベクトルについて絶対差の合計（ＳＡＤ）値を計算するように構成されたモジュールと、
    前記色度および輝度検出を用いる運動ベクトル予測処理において前記クロマ運動ベクトルについての前記ＳＡＤ値を組み入れるように構成されたモジュールを含む請求項２２のプロセッサ。
27. 前記以前のフォーマットからのメタデータによる運動ベクトル予測を用いて前記運動ベクトル予測処理を行うように構成されたモジュールは、
    第1のコーデックを使用して、符号化されたビデオストリームを受信するように構成されたモジュールと、
    前記符号化されたビデオストリームを復号して、前記ビデオフレーム中の前記複数のエリアにおいて前記関連する運動ベクトルを欠く前記他のエリアと関連した少なくとも１つの第1の運動ベクトルを抽出するように構成されたモジュールと、
    復号されたビデオストリームを第２のコーデックを使用し、かつ第２の符号化されたビデオストリーム中の前記ビデオフレームについての候補運動ベクトルとして前記第１の運動ベクトルを使用して第２の符号化されたビデオストリームへ符号化するように構成されたモジュールを含む請求項２２のプロセッサ。
28. 前記運動ベクトル平滑化を用いて前記運動ベクトル予測処理を行うように構成されたモジュールは、
    複数の運動ベクトルを含む運動ベクトルフィールドを作るように構成されたモジュールと、
    前記複数の運動ベクトル中の運動ベクトルが、前記運動ベクトルをその近隣の運動ベクトルと比較することによりアウトライアー運動ベクトルであるかどうかを決定するように構成されたモジュールと、
    前記アウトライアー運動ベクトルを削除するように構成されたモジュールを含む請求項２２のプロセッサ。

Images