JPH11346362A

JPH11346362A - リアルタイム単一パス可変ビット・レ―ト制御方法及び符号器

Info

Publication number: JPH11346362A
Application number: JP11063139A
Authority: JP
Inventors: Mousenian Nader; ネイダー・モウセニアン
Original assignee: International Business Machines Corp
Current assignee: International Business Machines Corp
Priority date: 1998-03-19
Filing date: 1999-03-10
Publication date: 1999-12-14
Also published as: SG80615A1; KR100305941B1; US6278735B1; TW404132B; KR19990077445A

Abstract

(57)【要約】（修正有）【課題】高品質ビデオを提供する、リアルタイム単一
パス可変ビット・レート符号化方式の提供。【解決手段】ビデオ圧縮システムで可変ビット・レー
ト（ＶＢＲ）ＭＰＥＧ−２符号化を達成する、リアルタ
イム単一パス可変ビット・レート制御技術が提供され
る。フレームのシーケンスに対して、ビデオ・インタバ
ル（すなわちＧＯＰ）の符号化難度のレベルが、知覚レ
ート−量子化（バーＣ−バーＱ）モデルにより決定され
る。このモデルは、各ビデオ・インタバルに合成（バー
Ｃ−バーＱ）曲線を割当て、そこからビデオ・インタバ
ルに対するビット数が推定される。この推定は、前に符
号化されたビデオ・インタバルから獲得されるパラメー
タを用いる、因果予測モデルにもとづく。解析中のビデ
オ・インタバルの総レートから各ピクチャ・タイプのＲ
−Ｑ関係が更新され、ピクチャ・ビットが割当てられ
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は一般に、デジタル・
ビデオ圧縮の分野に関して、特に、ＭＰＥＧ−２国際規
格を使用するビデオ圧縮システムにおける、リアルタイ
ム単一パス可変ビット・レート符号化にとって好適なレ
ート制御方式に関する。

【０００２】

【従来の技術】放送テレビジョン、通信ネットワーク、
大衆消費電子製品、及びマルチメディア・コンピュータ
などの業界における、様々なデジタル・ビデオ技術の出
現は、凄まじい速さで増加している。アプリケーション
のこの広範に渡る利用は、デジタル情報の信号処理、編
集及びデータ転送が、アナログ表現により同一の作業を
実行することに比較して、多大に容易である事実による
ものである。しかしながら、より重要なことは、デジタ
ル・ビデオがその大衆性を、ここ数年の間にデジタル・
ビデオ圧縮のために作成された幾つかの規格に負ってい
るということである。

【０００３】デジタル・ビデオ圧縮ソルーションは、恐
らく、デジタル・ビデオ・プラットフォームの最も重要
な要素である。デジタル・ビデオは非圧縮形式では、膨
大な量の情報を含むことが知れているので、その処理、
記憶及び伝送は、不可能でないにしても、非常に時間を
費やし、高価となる。その結果、内容の知覚的品質を保
ちながら、圧倒的な量のデータを低減するために、デジ
タル・ビデオ圧縮技術が必要とされる。次に、データを
再生のために圧縮解除するために、互換のビデオ伸張方
式が採用される。

【０００４】Moving Pictures and Expert Groupにより
形成されたＭＰＥＧ−２国際規格（ISO/IEC 13818-2、"
Information technology - Generic coding of moving
pictures and associated audio information：Video、
1996"に記載）は、前述の業界の圧縮の必要性を満足す
るために意図されたものである。この規格は、符号化ス
トリームの構文及び復号技術を指定する。これは符号器
の設計者が、自分自身の圧縮パラメータのセットを導出
することを可能にする大きな柔軟性を提供し、従って、
彼ら自身の製品を他の製造業者により開発された残りの
符号器から区別することを可能にする。

【０００５】ＭＰＥＧ−２符号化システムの効率は、固
定の通信帯域幅を介して伝送される、またはデジタル媒
体に記憶される知覚ビデオの忠実度により評価される。
デジタル衛星システムなどの一部のアプリケーションで
は、複数のプログラムが単一の大きなストリームに多重
化されて同報され、ＭＰＥＧ−２符号器のバンクが、全
てのプログラムをモニタ及び符号化するために使用され
る一方で、全ての受信チャネルの品質を維持する。ＭＰ
ＥＧ−２ストリームは、非同期転送モード（ＡＴＭ）・
ネットワークで見られるように、固定の通信帯域幅また
は動的な帯域幅を介して伝送される。記憶媒体のサイズ
が限られる家庭用ビデオまたはＰＣアプリケーションで
は、ユーザができるだけ多くの情報を蓄積することが好
ましく、効率的な符号器がこれらの場合では特に有用で
ある。

【０００６】ほとんどのＭＰＥＧ−２符号器は、一定ビ
ット・レート（ＣＢＲ）・モードで動作するように開発
され、ビデオ・ストリームの平均レートは、終始ほぼ同
一である。ビデオ・ストリームは、様々なタイプの複数
のピクチャまたはフレームを含み、それらにはＩピクチ
ャ・タイプ、Ｂピクチャ・タイプ及びＰピクチャ・タイ
プが含まれる。ピクチャはそのタイプに応じて、ビデオ
・ストリームの設定ターゲット・レートよりも多くのビ
ットまたは少ないビットを消費し得る。ＣＢＲレート制
御方法は、所望の平均ビット・レートが満足され、高品
質のビデオ・シーケンスが表示されるように、異なるピ
クチャ・タイプのストリーム間でビット比率を維持する
責任を負う。

【０００７】他のＭＰＥＧ−２符号器などの他の符号器
は、可変ビット・レート（ＶＢＲ）・モードとして定義
される異なるモードで動作する。可変ビット・レート符
号化は、各圧縮ピクチャがイントラ・ピクチャ特性及び
インタ・ピクチャ特性の複雑度にもとづき、異なる量の
ビットを有することを可能にする。例えば、単純なピク
チャ内容（例えば色テスト・パターンなど）を有するシ
ーンの符号化は、複雑なピクチャ内容（例えば混雑した
町並みなど）を有するシーンに比較して、遥かに少ない
ビットの消費により同一のピクチャ品質を達成できる。

【０００８】ビデオを特徴づけるために必要とされる情
報の量、及び符号化プロセスを効果的に向上させるため
の情報を解釈するために必要とされるアルゴリズムの複
雑性により、ＶＢＲ符号化は従来、２つ以上のパスを用
いて非リアルタイムに達成された。第１のパスでは、符
号化が実行され、統計が収集されて分析され、第２のパ
スでは、分析結果を用いて符号化プロセスが制御され
る。これは高品質圧縮ビデオ・ストリームを生成する
が、リアルタイム操作を可能にせず、また単一パス符号
化を可能にしない。

【０００９】

【発明が解決しようとする課題】従って、高品質ビデオ
を提供する、リアルタイム単一パス可変ビット・レート
符号化方式が待望される。更に、ハードウェアにより容
易に実現可能な、リアルタイム単一パス可変ビット・レ
ート符号化方式が待望される。

【００１０】

【課題を解決するための手段】本発明によれば、フレー
ム・グループを処理する方法の提供により、従来技術の
欠点が克服され、追加の利点が提供される。例えば、本
方法は、入力ストリームの少なくとも１つのフレーム・
グループを符号化するステップと、入力ストリーム全体
を符号化する前に、入力ストリームの別のフレーム・グ
ループに割当てられるビット数を決定するステップとを
含む。別のフレーム・グループは、可変ビット・レート
・モードで符号化される。前記決定するステップは、符
号化から獲得される１つ以上のパラメータ値を使用す
る。

【００１１】本発明の別の実施例では、本方法は、別の
フレーム・グループを単一パス可変ビット・レート・モ
ードで符号化するステップを含み、そこでは別のフレー
ム・グループが１つの符号化パスだけにより符号化され
る。

【００１２】更に本発明の別の実施例では、前記決定す
るステップが、別のフレーム・グループに対して、所定
の知覚関数の傾きを調節するステップと、調節された傾
きをビット・レート方程式内で使用することにより、割
当てられるビット数を決定するステップとを含む。

【００１３】更に本発明の別の実施例では、前記決定す
るステップが、別のフレーム・グループに対して、所定
の知覚関数の変換因子を決定するステップと、変換因子
をビット・レート方程式内で使用することにより、ビッ
ト数を決定するステップとを含む。

【００１４】更に本発明の別の実施例では、前記決定す
るステップが、入力ストリームの１つ以上の不安定条件
を補償するステップを含み、更に他の実施例では、前記
決定するステップが、所定の関数を用いてビット数を決
定するステップを含む。

【００１５】本発明の別の態様では、フレーム・グルー
プを処理する方法が提供される。例えば、この方法は、
１つ以上の前に符号化されたフレーム・グループから、
複数のパラメータ値を決定するステップと、単一パス可
変ビット・レート・モードで符号化されるフレーム・グ
ループに対して、複数のパラメータ値の１つまたは幾つ
かを用い、所定の関数の傾きを計算するステップと、計
算された傾き及び複数のパラメータ値の１つまたは幾つ
かを用い、符号化されるフレーム・グループに対するビ
ット・レートを獲得するステップとを含む。

【００１６】更に本発明の別の態様では、フレーム・グ
ループを処理する方法が提供される。例えば、この方法
は、入力ストリームのフレーム・グループに割当てられ
るビット数を決定するステップを含む。この決定ステッ
プは、フレーム・グループの瞬時レート−量子化動作、
及びフレーム・グループの複雑度を示す知覚モデルを使
用する。この方法は更に、可変ビット・レート・モード
を用い、決定ステップにより定義されるレートにより、
フレーム・グループを符号化するステップを含む。

【００１７】更に本発明の別の態様では、単一パス可変
ビット・レート符号器が提供される。例えば、この符号
器は、入力ストリームの少なくとも１つのフレーム・グ
ループを符号化するように適応化された符号化エンジン
と、入力ストリーム全体を符号化する前に、入力ストリ
ームの別のフレーム・グループに割当てられるビット数
を決定する手段とを含む。別のフレーム・グループは、
可変ビット・レート・モードで符号化される。前記決定
する手段は、符号化エンジンから獲得される１つ以上の
パラメータ値を使用する。

【００１８】更に本発明の別の態様では、単一パス可変
ビット・レート符号器が提供され、これは例えば、１つ
以上の前に符号化されたフレーム・グループから、複数
のパラメータ値を決定する手段と、単一パス可変ビット
・レート・モードで符号化されるフレーム・グループに
対して、複数のパラメータ値の１つまたは幾つかを用
い、所定の関数の傾きを計算する手段と、計算された傾
き及び複数のパラメータ値の１つまたは幾つかを用い、
符号化されるフレーム・グループに対するビット・レー
トを獲得する手段とを含む。

【００１９】更に本発明の別の態様では、単一パス可変
ビット・レート符号器が提供され、これは例えば、フレ
ーム・グループの瞬時レート−量子化動作、及びフレー
ム・グループの複雑度を示す知覚モデルを使用し、入力
ストリームのフレーム・グループに割当てられるビット
数を決定する手段と、可変ビット・レート・モードにお
いて、決定手段により定義されたレートにより、フレー
ム・グループを符号化するように適応化された符号化エ
ンジンとを含む。

【００２０】本発明は特に、デジタル・ビデオ・ディス
ク（ＤＶＤ）、デジタル・ビデオ・カセット・レコーダ
（ＤＶＣＲ）、コンピュータ・マルチメディア、及びデ
ジタル・カムコーダ用に家庭で製作する場合のように、
ビデオを予め分析または符号化できないアプリケーショ
ンにおいて有用である。単一パスＶＢＲ符号器は、前に
符号化されたピクチャだけを用いて、符号化されるピク
チャの複雑度に関して推定を行う。これは高性能ＤＶＤ
マスタリングで使用される、複数パスＶＢＲビデオ圧縮
と対照的であり、そこではビデオ・ソースが予め分析さ
れ、特定の記憶媒体にとって最適な圧縮ストリームを生
成するために、何度か符号化される。従って、単一パス
ＶＢＲ符号器は因果予測モデルに頼ることにより、スト
リームの平均レートを動的に調整し、高忠実度のビデオ
を生成する。

【００２１】

【発明の実施の形態】

【数８】は、本明細書ではバーＸと記載する。

【００２２】本発明の原理に従えば、リアルタイム単一
パス可変ビット・レート（ＶＢＲ）符号化のためのレー
ト制御方法が提供され、これはハードウェアにより容易
に実現可能で、例えばＭＰＥＧ−２圧縮システムに組み
込まれ得る。

【００２３】ＭＰＥＧ−２符号器１００のブロック図の
１例が、図１に示される。特に図１は、ビデオ・ストリ
ームを符号化し、圧縮ストリームを復号するために符号
器により使用される、様々なイメージ処理タスク及び信
号処理タスクを示す。

【００２４】ＭＰＥＧ−２符号器１００は高機能な情報
プロセッサであり、空間的イメージ分析器及び時間的イ
メージ分析器、量子化器、エントロピ符号器、及び選択
アプリケーションの要求に合う完全準拠のビデオ・スト
リームの生成を保証するレート制御ポリシを含む。ビデ
オ・ストリームの各輝度ピクチャが、１６×１６画素の
非オーバーラップ・ブロックに区分化され、これが更に
８×８ブロックに分割される。２つのクロミナンス・ピ
クチャが、４：２：２または４：２：０クロミナンス・
サンプリングに従い、４つのまたは２つの８×８ブロッ
クを生成する。全ての輝度またはクロミナンス・ブロッ
クを含むセットは、マクロブロック（ＭＢ）と呼ばれ
る。４：２：２マクロブロックは８つのブロックを有
し、４：２：０マクロブロックは６つのブロックを有す
る。画素の各８×８ブロックが、２次元離散コサイン変
換（ＤＣＴ）１０２を用い、周波数ドメインに変換され
る。ＤＣＴは高優先順位の（低）周波数係数、及び低優
先順位の（高）周波数係数のクラスを獲得することによ
り、入力ブロックに対して、エネルギ圧縮を実行するよ
うに意図される。これはイメージ・ブロックの空間的冗
長性の一部を除去するための、高速且つ効率的な方法で
ある。

【００２５】時間的冗長性は、動き推定（ＭＥ）１０４
と呼ばれる技術により除去される。この機構により、前
のピクチャに属する一致マクロブロックを探索窓内に移
動することにより、任意の輝度マクロブロックが予測さ
れる。最良のマクロブロック・マッチを探索するプロシ
ージャが、動き推定として定義される。次に、この最良
のマッチ（予測）が考慮中のマクロブロックから減算さ
れ、ＤＣＴ変換がマクロブロック差分に適用される。更
に、予測されたマクロブロックの位置を指し示す動きベ
クトル１０６が生成される。動きベクトル（ＭＶ）は、
符号器及び復号器の両方により、一致マクロブロックを
動き補償し（１０８）、最良のマッチを突き止めるため
に使用される。

【００２６】動き推定はマクロブロックの輝度部分に対
してだけ実行され、結果の動きベクトルがスケーリング
されて、クロミナンス・ブロック対を動き補償するため
に使用される。動きベクトルの符号化は、差分パルス符
号変調（ＤＰＣＭ）として知られる技術を用いて実行さ
れ、そこでは、動きベクトルが前に符号化されたマクロ
ブロックの動きベクトルを用いて予測され、動きベクト
ルとその予測との差分だけが符号化される。動きベクト
ルの差分は、ＭＰＥＧ−２規格のルックアップ・テーブ
ル内で定義されるコード・ワードにより表される。

【００２７】ＭＰＥＧ−２規格は、図２に示されるよう
に、Ｉ（イントラ符号化）タイプ・ピクチャ、Ｐ（予
測）タイプ・ピクチャ、及びＢ（双方向予測）タイプ・
ピクチャを使用する。Ｉタイプは、そのピクチャ内の情
報だけを使用するのに対して、Ｐタイプは、前に符号化
されたＩタイプまたはＰタイプに対して実行される動き
推定タスク及び動き補償タスクによりマクロブロック２
００を予測し、符号化される予測誤差を計算する。これ
は効率的な圧縮方法である。なぜなら、動き補償された
マクロブロック差分は、原マクロブロックよりも少ない
情報を含むからである。

【００２８】Ｐタイプはしばしば、前方予測ピクチャと
呼ばれる。なぜなら、それらは前のピクチャを用いて、
時間的に前方の予測を行うからである。例えば図２にお
いて、動きベクトルＭＶ_P ^f２０２は、ピクチャＰ内のマ
クロブロック２００に対する最良のマッチを、ピクチャ
Ｉ内の探索窓２０４（図２で破線により示される）内で
見い出すために使用される。

【００２９】Ｂタイプ・ピクチャは、前方予測及び後方
予測のために、先行及び将来の両方のＩタイプまたはＰ
タイプからの情報を使用し、特に異なる方向に異なる速
度で移動するオブジェクトを推定するために有用であ
る。更に、Ｂピクチャにおいて使用される双方向動き推
定方式は、Ｐタイプで使用される因果予測に比較して、
雑音のある環境においてよりロバストである。これは両
方の予測が、それらの公称値を平均することにより、同
時に使用されるからである。図２の例では、ピクチャＢ
１内のマクロブロック２００に対する動き推定のタスク
が、ＭＶ_B1 ^fにより表される前方予測と、ＭＶ_B1 ^bにより
表される後方予測とを含む。ピクチャＢ２では、前方予
測及び後方予測が、それぞれＭＶ_B2 ^f及びＭＶ_B2 ^bにより
表される。

【００３０】様々なピクチャ・タイプが、符号器１００
により、幾つかのステップにおいて量子化される（図１
の１１０）。最初に、ピクチャ・タイプに固有の量子化
マトリックスが８×８ＤＣＴブロックに適用される。低
周波数係数の方を重要視するように、マトリックスの要
素（重み）が選択される。これらの係数はより多くの情
報を含み、ピクチャの知覚品質により大きく寄与する。
次に、量子化スケーリング・ファクタが計算され、マク
ロブロックがイメージの局所的なアクティビティ、ピク
チャ・タイプの複雑度、及びバッファ充填度にもとづ
き、異なるクラスに分類される。この指標は、ピクチャ
に割当てられるビット数と、その知覚品質とに直接関連
付けられる。実際のビット数は、ＭＰＥＧ−２規格にお
いて定義されるプロシージャに従い、最初に各ＤＣＴブ
ロックを走査し（１１２）、次に量子化された交流（Ａ
Ｃ）係数を一緒にグループ化することにより獲得され
る。各グループは、ハフマン・ルックアップ・テーブル
を用いることにより、固有の可変長コード（ＶＬＣ）に
よりエントロピ符号化される（１１４）。直流（ＤＣ）
係数は、ＤＰＣＭ（ＭＶの符号化に類似）及び一様量子
化を用いて符号化される。

【００３１】エントロピ符号器１１４の出力は、エント
ロピ復号器１１６に入力される。復号器１１６の出力
は、逆走査１１８、逆量子化１２０、及び逆離散コサイ
ン変換（ＩＤＣＴ）１２２を介して、差分マクロブロッ
クの有損失バージョンを再構成する。次に、復号された
ピクチャが既知のように、遅延１２４を介して、動き推
定１０４及び動き補償１０８に渡される。

【００３２】圧縮ストリームの瞬時レートは時間と共に
変化するので、レートの変動を吸収し、固定チャネル・
レートを圧縮ピクチャ・ビットに変換し、それを実際の
復号器に引き渡して処理するために復号器バッファが使
用される。従って、本発明のレート制御の１実施例で
は、後述のように、ピクチャの複雑度及びイメージ・マ
クロブロックの局所的アクティビティと共に、バッファ
占有レベルが追跡される。

【００３３】符号器１００は更に、選択アプリケーショ
ンの要求に合った完全準拠のストリームを生成するため
に使用される、レート制御ポリシを含む。本発明の原理
によれば、符号器１００のレート制御ポリシは、入力ス
トリーム（例えばビデオ・ストリーム）のフレームを符
号化するために使用される、可変ビット・レート（ＶＢ
Ｒ）符号化方式を含む。しかしながら、本発明の理解に
役立てるために、本発明のＶＢＲ符号化方式について述
べる前に、幾つかのレート制御原理について述べること
にする。これらの原理は、一定ビット・レート（ＣＢ
Ｒ）符号化方式に関連する。

【００３４】１．ＣＢＲレート制御原理：ＭＰＥＧ−２
シーケンスは通常、ピクチャのグループ（ＧＯＰ）また
はフレーム・グループなどの小インタバルに区分化さ
れ、これが更にピクチャ・タイプＩ、Ｐ、Ｂにより類別
される。１ＧＯＰ当たりのビット数は、Ｉピクチャ割当
てが、Ｐよりも多くなるように分配される。これはＰピ
クチャがその内容を推定するために動き推定技術を使用
し、その結果、原ソースよりも低いエントロピを有す
る、動き補償されたフレーム差分（ＭＣＦＤ）が符号化
されるからである。Ｂピクチャは最も少ない量のビット
を使用する。なぜなら、それらの動き推定技術は、Ｐの
それよりも集中的であるからである。このことは、異な
るタイプのピクチャが符号化されるときに、ＧＯＰ内で
同じピクチャ品質を維持するための基本を提供する。更
に、Ｂピクチャのビット割当ては低減され得る。なぜな
ら、それらは他のピクチャを推定するために使用されな
いからである。符号化されたＧＯＰは、Ｉピクチャ・タ
イプにより開始する。ピクチャ・タイプｘ（ｘ∈｛Ｉ、
Ｐ、Ｂ｝）に割当てられるビットの量は、そのタイプの
ピクチャ品質において知覚される歪み量と逆の関係にあ
る。

【００３５】文献（すなわちJ. L. Mitchell、W. B. Pe
nnebaker、C. E. Fogg及びD. J. LeGallによる"Mpeg Vi
deo Compression Standard"、Chapman and Hall、New Y
ork、1977）における実験結果は、ソース（またはピク
チャもしくはフレーム）のレートＲと量子化因子Ｑとの
間には、類似の動作が存在することを示唆しており、こ
れは単純化された形式では、次のようになる。

【数９】Ｒ^X（Ｑ^X）＝Ｘ^X／Ｑ^X １）

【００３６】ここでＸ^Xは、各ピクチャ・タイプの複雑
度を示す所定のパラメータである。

【００３７】しかしながら、ソースの性質は時間と共に
変化するので、新たな複雑度パラメータが各ピクチャ・
タイプの符号化以前に決定される。このパラメータは通
常、過去の符号化パラメータ、例えばビット、量子化因
子、特定の先取り統計などにもとづき計算される。ＭＰ
ＥＧ−２ストリームの各ＧＯＰに対して、ビット数Ｃ _k
は次のように設定される。

【数１０】

【００３８】ここで指数ｋはＧＯＰ番号、ｘはピクチャ
・タイプ、Ｎ^xはＧＯＰ内のタイプｘのピクチャの数、
Ｒ^xはタイプｘのターゲット・ピクチャ・ビットであ
る。

【００３９】ＣＢＲシーケンスではＣ_k＝Ｃ_gopであり、
ここでＣ_gopは固定ＧＯＰビットである。所与のＣ_kに対
して、式２）の条件で量子化スケーラの平均合計

【数１１】を最小化することにより、ＧＯＰのビデオ品質が最大化
される。

【００４０】式２）の制約でΨを最小化する代わりに、
この条件が除去され、ラグランジュ乗数λがラグランジ
ュ・コストΥを最小化するために使用される。

【数１２】 Υ＝Ψ−λＣ_k ４）

【００４１】式１）で述べられるレート−量子化モデル
の支援により、各ピクチャ・タイプのターゲット・ビッ
トが次のように推論される。

【数１３】

【００４２】式５）のターゲットは、理想のピクチャ・
ビットを表し、実際のビットはほとんどいつもこれから
逸脱する。累積誤差が計算され、一定ビット・レート制
御方式にフィードバックされ、最終ＭＰＥＧ−２ビット
・ストリームが平均ビット・レートまたは総ビット・バ
ジェット（budget）に適合するように保証する。ここで
Ｃ_k、ideal及びＣ_k、actualが、それぞれＧＯＰｋに対
する理想の及び実際のビットを表わし、δ_k、gop＝Ｃ
_k、actual−Ｃ_k、idealが両者間の差を表すものとする。
更に、Ｒ_i、ideal及びＲ_i、actualが、それぞれピクチャ
ｉの理想の及び実際のビットを表し、δ_i、pic＝Ｒ
_i、actual−Ｒ_i、idealが両者間の差を表すものとする。
ｎ個のピクチャが符号化された後、総累積誤差は次のよ
うに計算される。

【数１４】

【００４３】ＧＯＰのサイズがＧ＝Σ_xＮ^xにより与えら
れ、ｎ_g＝［ｎ／Ｇ］は符号化されたＧＯＰの数であ
る。全ての処理されたＧＯＰに対するサブ誤差累積は、
Δ_n-1、 _gopにより与えられ、Δ_n-1、picは符号化順序の最
後の、しかしまだ終了されていないＧＯＰに対するサブ
誤差累積である。次に、前に符号化されたピクチャから
生じたビットの生成過剰または生成不足に対して、理想
ピクチャ・ターゲットが調整される。ＧＯＰ（ｋ＝
ｎ_g）に属するピクチャｎを符号化する前の新たな理想
ビットは、次のようになる。

【数１５】

【００４４】ここでＣ_gopはＣＢＲＧＯＰビットの固
定数、αは例えば、１．０、Δ_n-1＝Δ_n-1、gop＋Δ
_n-1、picである。αは、この調整がどれくらい積極的に
実行されるかを示す定数である。各ピクチャが符号化さ
れた後、複雑度Ｘ^xが更新され、式７）にもとづく新た
なターゲットが次のピクチャに対して計算される。この
ターゲットは後述のように、復号器バッファがオーバー
フロー条件またはアンダーフロー条件に遭遇しないよう
に、特定の制約を満たすべきである。

【００４５】最後に、式１）の双曲線上で定義される量
子化スケーラＱが獲得される。各ピクチャ・タイプはそ
れ自身の合成（Ｒ−Ｑ）曲線を有し、更に、全てのフレ
ームが同様に知覚されるように、各ピクチャ・タイプに
対してＱ因子が僅かに調整され得る。マクロブロック・
レベルのレート制御に対して知覚効果が組み込まれる態
様については、符号化タスクの間にＱ因子の調節によ
り、理想ターゲットが満足される態様同様、ここでは述
べられない。しかしながら、これらについては、１９９
３年４月付けのISO/IEC JTC1/SC29/WG11/N0400、"Test
Model 5"で述べられている。

【００４６】以上、様々なＣＢＲ原理について述べてき
た。次に、ＶＢＲ及び特に、本発明のリアルタイム単一
パスＶＢＲ方式について述べることにする。

【００４７】２．ＶＢＲビデオ：第１章で述べたＣＢＲ
レート制御方式は、固定ターゲットＣ_gopに対して、量
子化パラメータを調節することにより、ＧＯＰ内で一定
の品質が達成される事実により動機付けされた。時とと
もにＣＢＲレート制御方式を安定化し、所望のレートを
維持するために、任意の統計的変化またはビット派生物
が利用される。更に、ＭＰＥＧ−２ＣＢＲ符号器は、普
遍定数及び所定の初期複雑度のセットを用いて、異なる
ピクチャ・タイプ間で割当てられるビット量の間の特定
の比率を維持する。しかしながら、ＧＯＰセグメントま
たはビデオ・セグメントなどの連続ピクチャのグループ
を、複雑度のハードネスまたはソフトネスに関して、異
なるタイプの時間インタバルに分類する成果は、リアル
タイム単一パスＭＰＥＧ−２符号化では制限された。高
忠実度の結果を生成することが要求されるビデオのハー
ドネス（ソフトネス）は、多量（少量）のビットにより
定義される。複数パスＣＢＲ符号化または複数パスＶＢ
Ｒ符号化では、こうした情報は既知であり、従って品質
改善が達成され得る。

【００４８】しかしながら、本発明では、ＧＯＰビット
をオン・ザ・フライ式に調整することにより、複雑度レ
ベルがＣＢＲ符号化のレート制御方法に追加される。こ
の問題は特に挑戦的である。なぜなら、いかなるビデオ
・ソースの統計的性質も事前に知れていないか、時間と
共に変化するので、ソース分散の真の推定が不可能にな
るからである。本発明のリアルタイム単一パスＶＢＲ符
号器は、（バーＣ−バーＱ）知覚モデルを用い、各々が
式１）により定義される特定の双曲線に対応するビデオ
・セグメントの、ハードネスまたはソフトネスを区別す
る。この時、実際の（バーＣ、バーＱ）対が、この双曲
線に沿って計算される。

【００４９】２．１レート−量子化知覚モデル：本発
明のＶＢＲ方式は、各ビデオ・セグメント（すなわち各
ＧＯＰ）が符号化難度のレベルに関連付けられる事実に
より、概念的に動機付けされ、この符号化難度は総ピク
チャ・ビット、量子化スケーラ、空間的アクティビテ
ィ、時間的アクティビティ、信号対雑音比、またはこれ
らの組み合わせなどの、様々なソース統計または圧縮パ
ラメータにより測定され得る。より多くのビットが、ハ
イ・レベルの符号化難度を有するビデオ・セグメントに
割当てられるべきである。これは、ソースの複雑度には
関係無しに、固定数のビットが各ＧＯＰに割当てられる
ＣＢＲレート制御方式とは異なるアプローチである。研
究成果によれば、複雑な、適度な、そして簡単な資料を
含む多数のテスト・ケースにおいて、ビデオ・インタバ
ルのレートと量子化スケーラとの間には、強い相関が存
在することが判明した。この相関については、例えば、
１９９８年１月２６日付けの米国特許出願第０９／０１
３１４９号（対応日本国出願は特願平１１−６０６０）
で述べられている。

【００５０】特に、この相関は次の式により示される。

【数１６】Ｒ_aα（ａ₁＋ａ₂Ｑ_aβ）８）

【００５１】ここでａ₁は、知覚ライン３０１がバーＣ
軸３０２と交わるポイント３００（図３）であり（例え
ばａ₁＝０．２）、ａ₂は知覚ライン３０１の傾きであり
（例えばａ₂＝．０６）、βは知覚モデルが線形か非線
形かを示す（例えばβ＝１は線形を示す）。

【００５２】式８）のＲ_a−Ｑ_a関係は、全てのタイプの
ビデオ・インタバルが等しく知覚されるべきであるとい
う基準にもとづき推論される。更に、これは大きな量子
化スケーラＱを生成する困難なビデオ・セグメントは、
平均ビット・レートの圧縮ストリームよりも多くのビッ
トを消費するべきであり、簡単なセグメントはより少な
い数のビットを使用することを示唆する。この関係は、
ロバストな単一パスＶＢＲ符号化方式を公式化する構成
ブロックを提供する。なぜなら、それはビデオ・ソース
の可変性を利用するからである。

【００５３】前記の関係を用い、各インタバル（例えば
ＧＯＰ）に割当てられる実際のビット数が、本発明の原
理に従い、次の知覚モデルの傾きＫにより決定される。

【数１７】Ｒ_a＝Ｋ（ａ₁＋ａ₂Ｑ_aβ）＝ＫＦ（Ｑ_a）９）

【００５４】特に、本発明の１方式によれば、定数Ｋ
（Ｍビット／秒で測定される）が各ビデオ・インタバル
（すなわちＧＯＰ）に対して調節され、圧縮ストリーム
の平均レートが所望のターゲット・レートに合うように
保証する。Ｋを調節する１方式が後述される。

【００５５】２．２ＶＢＲレート制御方式１：単一パ
スＶＢＲ符号器の効率は、そのレート制御方式がどのく
らい速く、ビデオ・ストリームのソフトネスまたはハー
ドネスを学習し、自身をそれに調整することができるか
により評価される。イメージの不連続性または特殊効果
が発生する領域では、ピクチャ品質の劣化が最小化され
るべきである。単一パス符号化では、イメージ統計が前
に分析及び符号化されたピクチャにより制限されるの
で、レート制御方式の学習レートは、将来のビデオ・イ
ンタバルの内容を予測するのに十分であるべきである
が、アルゴリズム的な不安定性を生じるほど積極的であ
ってはならない。この２重の問題を解決する１つの方法
は、時間インタバルごとに（すなわちＧＯＰごとに）、
符号化ストリームの品質を調整し、レート制御方式にそ
の時間インタバル内の各ピクチャのローカル内容を学習
させることである。

【００５６】本発明の原理に従えば、ＶＢＲ入力ストリ
ームＳ_vbrは例えば、各々が異なるＣＢＲビット・レー
トで動作する、幾つかの連続ビデオまたは時間インタバ
ル（すなわちＧＯＰ）の連結である。各ビデオ・インタ
バルに対する動的ビット・レート調整が、第２．１章で
述べられた知覚モデルにより決定され、実際の（バー
Ｃ、バーＱ）対が式１）のレート−量子化モデルから計
算される。従って、ＶＢＲシーケンスＳ_vbrが、｛Ｓ_k｝
^m _k=0により指定される有限な数のＧＯＰに区分化され
る。ＧＯＰＳ_kに対して、平均ビット数（バーＣ_k）及
び平均量子化スケーラ（バーＱ_k）が、［バーＣ_k バー
Ｑ_k］＝Ｇ^-1［Ｃ_k Ｑ_k］となるように定義される。式
９）の項が、本発明の原理に従い、次式のようにＧＯＰ
Ｓ_kの平均ビットと量子化スケーラとの間の依存性を
形成するように変更される。ここでビデオのフレーム・
レートはｆにより定義される。

【数１８】

【００５７】（バーＣ_k-2、actual、バーＱ_k-2、actual）
及び（バーＣ_k-1、actual、バーＱ_k- _1、actual）が、符号
化されたばかりのＧＯＰＳ_k-2及びＳ_k-1の平均ビット
及び平均量子化スケーラ対を表すものとする。これらの
ＧＯＰの符号化のために、ＣＢＲまたはＶＢＲＭＰＥ
Ｇ−２符号器が使用され得る。更に、バーＣ_kとバーＱ_k
との間に、式１）で示されるような双曲型依存性が存在
し、前記の対が本発明において、バーＣ−バーＱ関係の
線形モデルを予測するために、次のように使用されるも
のと仮定する。

【数１９】

【００５８】ここでξ_k及びη_kは、それぞれ次式で与え
られる。

【数２０】

【数２１】

【００５９】更に、前記式１０ｂ）で与えられるξ_kの
分子、分母は、それぞれ次式で与えられる。

【数２２】

【数２３】

【００６０】式１０ａ）は、分析中の特定のＧＯＰの瞬
時レート−量子化動作を定義する。式１０ａ）の線形モ
デル、及びそれと式９ａ）の知覚モデルとの関係が、図
３に示される。

【００６１】最適な動作ポイントを見い出すために、式
１０ａ）は式９ａ）の知覚モデルと一緒に解かれる。例
えば、理想動作ポイント３は、これらの式を（バー
Ｃ₁、バーＱ₁）及び（バーＣ₂、バーＱ₂）で解くことに
より獲得され、理想動作ポイント４は、（バーＣ₂、バ
ーＱ₂）及び（バーＣ₃、バーＱ₃）で解くことにより獲
得される。

【００６２】特に、次のＧＯＰは次式の平均ビットで符
号化される。

【数２４】

【００６３】定数Ｋが各ＧＯＰに対して調節され、ＶＢ
Ｒストリームにより生成される総ビット数が、例えばＤ
ＶＤディスクなどの記憶装置または検索装置のサイズよ
りも大きくならないように保証する。例えば、有効総ビ
ット数がＲ_TOTの場合、入力シーケンスのあらゆるＧＯ
Ｐが分析され、符号化された後、式９ａ）の知覚モデル
が、Ｋを計算するために次のように使用される。

【数２５】

【００６４】ここでＮ_gopは入力シーケンス内のＧＯＰ
の数、ＧはＧＯＰサイズである。

【００６５】式１２）の分母は、複数パス符号化方式に
おいて容易に計算され得るが、本発明の場合のように、
単一パス・リアルタイム圧縮方式では使用可能でない。
従って、本発明の原理によれば、代わりに予め符号化さ
れたファントム・シーケンスが、次式により定義される
ＧＯＰ量子化器のセットと共に使用される。

【数２６】

【００６６】ここでＮ^* _gopは、ファントム・シーケンス
内の符号化ＧＯＰの数である。従って、式１２）の総和
は、入力シーケンスの各ＧＯＰが符号化された後、調整
される。

【００６７】ピクチャの数及びビット・バジェットＲ
_TOTが与えられると、本発明の単一パスＶＢＲ符号器
は、全ての生成ビットをデジタル媒体に適合させる責任
を負う。オーバーランまたはアンダーランを回避するた
めに、Ｒ_TOTが各ＧＯＰに対して動的に変更される。実
際のビットをＲ_TOTから減算することにより、調整され
たバジェットＲ_k、totが獲得され、次式の新たな傾きを
設定するために使用される。

【数２７】

【００６８】図３は、ソフトなまたはハードなＧＯＰが
符号化される場合に、知覚モデルが調整される様子を示
す。

【００６９】Ｋ、特にＫの分母は、単一パスＶＢＲ符号
化方式では計算され得ないので、本発明の原理に従い、
Ｋを調節し、各ＧＯＰに割当てられるビット数を推定す
る技法が考案された。リアルタイム単一パスＶＢＲ方式
は、その進行に伴い特定の情報を学習するので、学習プ
ロシージャと呼ばれる。学習プロシージャの１実施例に
ついて、図４に関連して次に述べる。

【００７０】１．Ｐを、次式で与えられる組により定義
される予め符号化されたファントムとする。

【数２８】

【００７１】そしてＺ₀及びＮ₀を次のように設定する
（ステップ４００）。

【数２９】

【数３０】Ｎ₀＝Ｎ^* _gop

【００７２】ここでＺ₀の典型値は１０８、Ｎ₀の典型値
は１１４である。

【００７３】２．例えばＣＢＲＭＰＥＧ−２符号器を
用い、入力シーケンスの最初の２つのＧＯＰ、すなわち
Ｓ₀及びＳ₁を、ｆ・（バーＣ_gop）のレートで符号化す
ることにより、ＶＢＲレート制御方式を初期化する。ｆ
・（バーＣ_gop）の公称値は、ユーザにより与えられる
ＶＢＲストリームの平均レートに対応すべきである（ス
テップ４０２）。

【００７４】３．Ｓ_k-1が符号化された後、様々なパラ
メータが更新される（ステップ４０４）。例えば、符号
化難度の総和を表すＺ_k、及び調整されたＧＯＰの数Ｎ_k
が、それぞれ次のように更新される。

【数３１】

【数３２】Ｎ_k＝Ｎ_k-1＋γ

【００７５】ここでγは学習アルゴリズムの更新スピー
ドである（例えばγ＝２．０）。更に、Ｃ_k-1、actual及
び総和ΣＣ_j、actual（ｊ＝０乃至ｋ−１）が計算され
る。ａ）ここでｋ−１＝０ならば、ｋを１増分し、ステ
ップ３に移行する。ｂ）それ以外では、式１０ｂ）乃至
式１０ｃ）により定義される予測モデルに従い、ξ_k及
びη_kなどの他のパラメータを計算する。

【００７６】４．ステップ３の総和項を使用し、バジェ
ット内の残りのビットＲ_k、totを決定する。例えば、Σ
Ｃ_j、actual（ｊ＝０乃至ｋ−１）をＲ_TOTから減算する
ことにより、Ｒ_k、totを獲得する。符号化される残りの
フレームまたはピクチャＰ_kの数を更新する（ステップ
４０４）。

【００７７】５．新たな傾きＫ_kを次式により測定する
（ステップ４０６）。

【数３３】Ｋ_k＝ｆＲ_k、totＮ_k／Ｐ_kＺ_k

【００７８】６．新たなターゲットのバーＣ_kを、前述
の式１１）または後述の式１４）により計算する（ステ
ップ４０８）。

【００７９】７．Ｓ_kをＶＢＲモードで符号化する（ス
テップ４１０）。

【００８０】８．シーケンス内に未完のＧＯＰが存在す
る場合（問い合わせ４１２）、ステップ３に移行し、そ
れ以外では終了する（ステップ４１４）。

【００８１】項Ｚ_kは、それ自身を各ＧＯＰのイメージ
内容に適応化させ、ＶＢＲビデオの非持久性を平滑化す
ることを目的とする。これは非常に高い（低い）複雑度
のＧＯＰに対する非現実的なビット割当てを禁ずるため
の安全性尺度として作用する。

【００８２】以上、符号化されるＧＯＰＳ_kの平均ビ
ットを決定する方式について述べてきた。要するに、こ
のターゲット・ビットは次の式により設定される。

【数３４】

【００８３】本発明のレート制御方式は、更に図５に関
連して後述される。１実施例では、非圧縮入力ストリー
ム（例えばビデオ・ストリーム）が圧縮エンジン５００
に入力される。圧縮エンジン５００は、例えば図１に示
され、前述された符号器を含む。圧縮エンジン５００は
入力ストリームの事前知識がないので、チップの古い技
術、すなわち既知のＣＢＲまたはＶＢＲアルゴリズムに
より初期化される。その後、最初の２つのＧＯＰが、例
えばＣＢＲモードで符号化される。

【００８４】図５では遅延５０２が提供され、これは情
報が次に符号化されるＧＯＰに当たるＧＯＰ_kからでは
なく、前に符号化されたＧＯＰ（例えばＧＯＰ_k-1及び
ＧＯＰ _k-2）から獲得されることを示す。

【００８５】その後、最後の２つの符号化ＧＯＰ（例え
ばＧＯＰ_k-1及びＧＯＰ_k-2）の各々に対する平均ビッ
ト、すなわちバーＣ₁、バーＣ₂、及びそれらのＧＯＰの
平均Ｑ因子、すなわちバーＱ₁、バーＱ₂が計算される
（５０４）。例えば、最初の２つのＧＯＰに対して、平
均ビット及び平均Ｑ因子が計算される様子が、式１）乃
至式７）に関連して前述された。次に、（バーＣ₁、バ
ーＱ₁）、（バーＣ₂、バーＱ₂）の値がバッファされ、
後に、符号化される次のＧＯＰ（例えばＧＯＰ_k）に対
して必要とされるＧＯＰビットを推定するために使用さ
れる。

【００８６】新たなＧＯＰビットを推定するために（５
０６）、式１０）のバーＣ−バーＱ予測モデル（５０
８）、及び式９ａ）のバーＣ−バーＱ知覚モデル（５１
０）が、新たなＧＯＰビットの推定において使用され
る。図５に示されるように、学習プロシージャの更新パ
ラメータ、消費する残りのビット、及び符号化するピク
チャの数が、時変知覚モデルに入力される（５１１）。
予測モデルと知覚モデルが一致するポイントが、ＧＯＰ
_kに対するＧＯＰビットの推定となる。このポイント
は、前述の式１４）により定義される。

【００８７】更に、ＧＯＰビットの推定が、後述のよう
に特殊効果及び不安定性に対して調整され得る（５１
２）。

【００８８】新たなＧＯＰビットが導出された後、ピク
チャ・ビット割当てモデルを用いて、符号化されるＧＯ
Ｐの各フレームまたはピクチャに対して、ビット数が割
当てられる（５１４）。１実施例では、各ピクチャ・タ
イプのターゲット・ビットを調整するために、バーＣ_k
にＧＯＰサイズＧが乗算され、次式により各ピクチャに
対する理想ビットが獲得される。

【数３５】

【００８９】ＣＢＲタイプの動作では、１ＧＯＰ当たり
同一のビット数が消費され、理想ＧＯＰターゲット・ビ
ットと実際の値との間に差が存在する場合、長期ＧＯＰ
誤差が、次に符号化されるＧＯＰに持ち越される。従っ
て、１つのＧＯＰ、ＧＯＰの集まり、またはシーケンス
全体に対するビデオ・ストリームのビット・レートは同
一である。長期ＧＯＰ誤差はΔ_n-1、gopである。しかし
ながら、リアルタイムＶＢＲ状況では、長期ＧＯＰ誤差
を持ち越す必要はない。なぜなら、各ＧＯＰが異なるビ
ット・レートで動作し得るからである。ＶＢＲ方式の責
任は、ビデオ品質に対する総ビット・バジェットを最適
化することである。前記式１５）内のパラメータα₁に
より、長期ＧＯＰ誤差をスケーリングし、この情報がＶ
ＢＲ符号器のレート制御アルゴリズムに供給されるとき
に、それを制御することが可能である。一旦ＶＢＲのＧ
ＯＰターゲット・ビットがセットされると、α₂がＧＯ
Ｐ内のビット・バジェットに応えるために使用される。
α₁及びα₂の典型値は、それぞれ０．０５及び０．２で
ある。

【００９０】例えば、ＣＢＲレートを４．０Ｍビット／
秒にセットし、最初のＧＯＰを符号化する。ここで３．
９Ｍビット／秒が消費されるものと仮定する。残りの
０．１Ｍビット／秒が次のＧＯＰ（番号２）に持ち越さ
れ、従ってＧＯＰ２は（理想的には）４．１Ｍビット／
秒を獲得する。しかしながら、ＧＯＰ２が３．５Ｍビッ
ト／秒を獲得するだけであれば、最初の２つのＧＯＰに
対して、０．６Ｍビット／秒のアンダーシュートが存在
することになり、これがＧＯＰ３に持ち越され、区分的
な一定ビット・レートを保証する。これはＶＢＲでは必
要とされない。なぜなら、我々はＣＢＲにとって弱点で
ある領域に対して、ビデオ品質を最適化しようとしてい
るからである。余剰ビット（０．６Ｍビット／秒）を保
存して、符号化が困難（ハード）なシーンに対して、効
率的に使用するべきである。これがα₁が非常に小さな
理由である。

【００９１】ピクチャに対する理想ビットが決定された
後、各ピクチャに対する量子化因子が、例えば式１）を
用いて導出される（５１６）。量子化因子は圧縮エンジ
ン５００に入力され、現ＧＯＰの各フレームまたはピク
チャを圧縮するために使用される。圧縮エンジンの出力
は、本発明の原理に従い、単一パス・リアルタイム可変
ビット・レート・モードで圧縮されたストリームであ
る。

【００９２】フレームの符号化に続き、各ピクチャに割
当てられた実際のビット数が、例えば圧縮エンジン５０
０内のカウンタから獲得される。これらの値が式６）に
挿入され、実際のビットが理想ビットからどの程度かけ
離れているかを決定する。

【００９３】図５では、ＧＯＰビットの数を推定するた
めに使用される様々なプロセスが、圧縮エンジン５００
とは別々に示されている。すなわち、圧縮エンジン５０
０とは独立の処理論理または回路が、プロセスを実現す
るために使用され得る。しかしながら、別の実施例で
は、図５の１つ以上のプロセスが１チップ上に（すなわ
ち圧縮エンジン５００内に）含まれる。

【００９４】前述の単一パスＶＢＲレート−量子化フレ
ームワークは、伸張エンジン内の復号器バッファが無限
のサイズであり、十分な数のビットが常に使用可能であ
るといった仮定にもとづく。しかしながら、実際の状況
では、バッファ・サイズはＭＰＥＧ−２規格により制限
され、定義される。従って、本発明の符号化方式は、復
号器バッファが遭遇し得るオーバーフロー条件またはア
ンダーフロー条件を排除する責任がある。これは仮想的
な復号器バッファ、すなわちビデオ・バッファ検証器
（ＶＢＶ）を調査し、ピクチャ・タイプに割当てられる
ビットの量の上限及び下限を計算することにより達成さ
れる。幸運にも、ＶＢＲ状況では、復号器バッファにお
いてオーバーフローは発生し得ない。なぜなら、ＶＢＶ
バッファ占有がその最大レベルに達したとき、復号器バ
ッファを充填するタスクが、即時停止されるからであ
る。従って、ピクチャ限界に対して、０の下限が課せら
れる。更に、復号器バッファが、ユーザにより設定され
たＲ_max（Ｍビット／秒）の最大レートで充填される。

【００９５】しかしながら、ＶＢＲ復号器のＶＢＶにお
いて、アンダーフロー条件は発生し得、所定値以下の上
限がこれを避けるために割当てられるべきである。従っ
て、Ｂ_n及びＢ_n ^*を、それぞれピクチャｎが除去される
前の、及び後の復号器バッファ充填度とする。Ｂ_n ^*は次
のように計算される。

【数３６】Ｂ_n ^*＝Ｂ_n−Ｒ_n、actual １６）

【００９６】更に、次のピクチャを除去する前のバッフ
ァ充填度は、次のようになる。

【数３７】Ｂ_n+1＝ＭＩＮ（Ｂ_vbv、Ｂ_n ^*＋Ｒ_maxＴ_n）１７）

【００９７】ここでＢ_vbvはビデオ・バッファ検証器の
合計サイズで、Ｔ_nはピクチャｎの表示期間である（Ｔ_n
はｆの逆数）。ピクチャｎが除去される前は、バッファ
内の全ての情報が使用可能であり、従って上限Ｕ_nがバ
ッファ占有となる。ピクチャ・ターゲット・ビットを制
限する公称値は、次の下限Ｌ_n及び上限Ｕ_nにより与えら
れる。

【数３８】Ｕ_n＝ＭＩＮ（Ｂ_vbv、Ｂ_n-1＋Ｒ_maxＴ_n-1−Ｒ_n-1、actual）１８ａ）

【数３９】Ｌ_n＝０１８ｂ）

【００９８】従って、理想ピクチャ・ビットは、次のピ
クチャ限界を用いてクリップされる。

【数４０】

【００９９】これまで述べてきたのは、｛Ｒ_TOT、
｛Ｒ_i、Ｑ_i｝_i=0.._n｝により指定される単一パスＶＢＲ
ＭＰＥＧ−２符号器である。符号器は、時変知覚モデ
ルと、（バーＣ−バーＱ）モデルのバンクとを連帯的に
解くことにより形成されるポイント集合に従って動作す
る。最初に、このポイント集合内におけるＧＯＰの（バ
ーＣ_k、バーＱ_k）対の相対理想位置が、ＧＯＰの"ソフ
トネス"及び"ハードネス"により決定され、次にビット
・バジェットの残りのビット数により調整される。ピク
チャの（Ｒ_i、Ｑ_i）対のローカル位置は、ピクチャ・タ
イプの（Ｒ−Ｑ）モデルにより表される。図３は、（バ
ーＣ_k、バーＱ_k）対のポイント集合が、可変ビット・レ
ート制御方式１を使用するＶＢＲ符号器により形成され
る様子を示す。この図において、バーＣ＝バーＣ_gopに
より定義される一定の直線は、全ての（バーＣ_k、バー
Ｑ_k）対がＣＢＲモードで符号化されると仮定した場合
の、それらの理想位置を示す。更に図３は、ＧＯＰのハ
ードネスが増加すると、平均量子化スケーラが増加する
ことを反映している。理想及び実際の動作ポイントが、
それぞれ白丸及び黒丸により示される。（バーＣ₁、バ
ーＱ₁）及び（バーＣ₂、バーＱ₂）を、ビデオ・シーケ
ンスの最初に、ＶＢＲ符号器の初期化により獲得され
る"ソフト"ＧＯＰの最初の２つの対とする。"３"で示さ
れる次の理想動作ポイントは、知覚モデル（実線）と因
果予測モデルとの交点である。ポイント"３"の位置は、
シーケンス平均ビットすなわちバーＣ_gopよりも、小さ
な平均ビットが割当てられることを示す。しかしなが
ら、符号器の出力すなわちポイント（バーＣ ₃、バー
Ｑ₃）は異なり、その結果、ビット・バジェット制約に
適合する新たな知覚モデル（点線で示される）が導出さ
れる。次に、（バーＣ₂、バーＱ₂）及び（バーＣ₃、バ
ーＱ₃）の対が、新たな予測モデル（点線で示される）
を獲得し、新たな動作ポイントすなわち"４"を計算する
ために使用される。ビデオ・シーケンスが多数の連続す
る"ソフト"ＧＯＰを含む場合、知覚モデルは最終的に
は、ＣＢＲ出力対（バーＣ₁、バーＱ₁）及び（バー
Ｃ₂、バーＱ₂）の近くでバーＣ＝バーＣ_gopの直線と交
差する直線に収束する。

【０１００】ビデオ資料が"ハード"ＧＯＰで開始する場
合、実際のポイント（バーＣ₃、バーＱ₃）の位置は、バ
ーＣ＝バーＣ_gopの直線よりも上にある。このことはＣ
ＢＲ符号器が最も弱い領域、すなわち"ハード"ＧＯＰに
おいて使用可能なビット・バジェットの最適化を保証す
る。この状況では、新たな知覚モデル（破線により示さ
れる）が、割当てられるＧＯＰビットを次第に少なくし
てビット・バジェット制約に適合するように形成され
る。このモデルは、新たな因果予測モデル（破線で示さ
れる）と共に、"４"で示される次の動作ポイントを決定
する。入来シーケンスが"ハード"ＧＯＰだけから成る場
合、知覚モデルは最終的には、（バーＣ₁、バーＱ₁）ポ
イント及び（バーＣ₂、バーＱ₂）ポイントの近くの位置
で、バーＣ＝バーＣ_gopの直線と交差する直線に従う。
通常のビデオ・プログラムでは、長い期間同一のＧＯＰ
（または前に計算されたポイントの集合）で動作するこ
とはありそうもないが、短時間の後に、あるＧＯＰから
隣接のＧＯＰにジャンプすることはあり得る。従って、
次の動作を推論することができる。知覚モデルが、ＧＯ
Ｐの"ハードネス"または"ソフトネス"を単調に減じ得る
状況に落ち着く前に、レート制御方式は新たなＧＯＰに
移動する。前に符号化されたピクチャ・タイプの実際の
量子化スケーラ値が、"よりハードな"ＧＯＰまたは"よ
りソフトな"ＧＯＰへの移動を決定する。図３に示され
るように、将来の"よりハードな"（"よりソフトな"）Ｇ
ＯＰの場合は、前に符号化されたＧＯＰの右（左）に移
動する。従って、知覚モデルと交差するところで、前の
ＧＯＰにより使用された実際のビットよりも高い（低
い）ＧＯＰビットを生成する。この機構は、類似の"符
号化難度"を有する連続するＧＯＰの集合に対して、"ハ
ードネス"（または"ソフトネス"）の減少または増大の
効果が、対応するビデオ・インタバルの符号化内容全体
に渡って分散される一方で、最も複雑度の高い（低い）
ＧＯＰが依然、その類似のＧＯＰに対して、最大（最
小）のビット割当てを獲得することを保証する。この技
法は知覚モデルの傾きＫの調節にもとづくが、別のＶＢ
Ｒレート制御方式は、ユーザによりセットされた総ビッ
ト数に合うように、知覚モデルを変換することにより公
式化され得る。この可変ビット・レート制御方式につい
て、次に述べる。

【０１０１】２．３ＶＢＲレート制御方式２：この章
では、符号化される各ＧＯＰのターゲット・ビットを計
算する第２の方式について述べる。本発明の原理によれ
ば、（バーＣ−バーＱ）知覚モデルの傾きＫを調節する
代わりに、パラメータａ₁について解くことにより、知
覚モデルの位置が変換される。傾きＫは、ｆ・（バーＣ
_gop）のＣＢＲレートに固定され、パラメータａ₁が次の
ように導出される。

【数４１】

【０１０２】前記式の総和項は、リアルタイム単一パス
ＶＢＲ符号器では未定義である。従って、予め符号化さ
れたファントム・シーケンス（方式１と同様）が、本発
明のＶＢＲレート制御方式２を初期化するために使用さ
れる。デジタル記憶媒体がオーバーランまたはアンダー
ランに遭遇しないことを保証するために、残りのビット
が周期的にモニタされ、瞬時総ビット・バジェットすな
わちＲ_k、totとして使用される。知覚モデルの変換は、
次のように変化する。

【数４２】

【０１０３】ここで項ｒ_a ^kは、まだ符号化されてないＧ
ＯＰの長期レートと、ビデオ・ストリームのＣＢＲレー
トとの比率を表し、Ｙ_k及びＥ_kは後述される。ハードＧ
ＯＰでは（バーＣ_k＞バーＣ_gop）であり、従って、比率
ｒ_a ^kは総ビット・バジェットを満足するために、時間と
共に小さくならなければならない。更に、（バーＣ_k、
バーＱ_k）対の位置をポイント集合に沿って下流に移動
し、圧縮ストリームのレートを下げる強制が、Ｅ_kによ
り提供される。幾つかのソフトＧＯＰが時間と共に符号
化される場合には、反対の状況が発生する。各ＧＯＰの
平均ビットが次のように設定される。

【数４３】

【０１０４】本発明の原理によれば、学習プロシージャ
がＶＢＲレート制御方式２に対しても提供される。この
学習プロシージャの間、Ｙが初期化され、更新される。
残りの符号化パラメータは、ＶＢＲレート制御方式１の
公式化により定義される。

【０１０５】学習プロシージャ２の１実施例が、図６に
関連して次に述べられる。

【０１０６】１．Ｐを、次式で与えられる組により定義
される予め符号化されたファントムとする。

【数４４】

【０１０７】そして、Ｙ₀及びＮ₀を次のように設定する
（ステップ６００）。

【数４５】

【数４６】Ｎ₀＝Ｎ^* _gop

【０１０８】ここでＹ₀の典型値は１８６９である。

【０１０９】２．例えばＣＢＲＭＰＥＧ−２符号器を
用い、ビデオ・シーケンスの最初の２つのＧＯＰすなわ
ちＳ₀及びＳ₁を、ｆ・（バーＣ_gop）のレートで符号化
することにより、ＶＢＲレート制御方式を初期化する。
ｆ・（バーＣ_gop）の公称値は、ＶＢＲストリームの平
均レートに対応すべきである（ステップ６０２）。

【０１１０】３．Ｓ_k-1が符号化された後、様々なパラ
メータが更新される（ステップ６０４）。例えば、フレ
ーム・グループ当たりの平均量子化因子の総和を表すＹ
_k、及びＮ_kが、それぞれ次のように更新される。

【数４７】

【数４８】Ｎ_k＝Ｎ_k-1＋γ

【０１１１】ここでγは学習アルゴリズムの更新スピー
ドである（例えばγ＝２．０）。更に、Ｃ_k-1、actual、
次に総和ΣＣ_j、actual（ｊ＝０乃至ｋ−１）が計算され
る。ａ）ここでｋ−１＝０ならば、ｋを１増分し、ステップ
３に移行する。ｂ）それ以外では、式１０ｂ）乃至式１
０ｃ）により定義される予測モデルに従い、パラメータ
ξ_k及びη_kを計算する。

【０１１２】４．ステップ３の総和項を使用し、バジェ
ット内の残りのビットＲ_k、totを決定する。符号化され
る残りのピクチャＰ_kの数を更新する（ステップ６０
４）。

【０１１３】５．ｒ_a ^k、Ｅ_k及び新たな変換因子ａ₁ ^kを
計算する（ステップ６０６）。

【０１１４】６．新たなターゲット、バーＣ_kを、例え
ば式２２）により計算する（ステップ６０８）。

【０１１５】７．Ｓ_kをＶＢＲモードで符号化する（ス
テップ６１０）。

【０１１６】８．シーケンス内に未完のＧＯＰが存在す
る場合（問い合わせ６１２）、ステップ３に移行する。
それ以外では、終了する（ステップ６１４）。

【０１１７】ＶＢＶバッファ占有及びターゲット調整に
対する制約が、前章で述べられたように処理される。図
７は、瞬時因果予測モデルが各ＧＯＰ内で形成され、時
変知覚モデルと共に、可変ビット・レート制御方式２を
使用するＶＢＲ符号器の、新たな（バーＣ_k、バーＱ_k）
ポイントを推定するために使用される様子を示す。幾つ
かのソフト（またはハード）ＧＯＰが時間と共に符号化
される場合、知覚モデルはビット・バジェット制約に適
合するために、上方（または下方）にシフトされる。

【０１１８】２．４シーン遷移：符号化プロシージャ
の間、ＶＢＲレート制御方式は不安定になり得る。この
原因は通常、特殊効果または自然に発生する現象、例え
ば、シーン・カット、低速移動フェードまたは高速移動
フェード（例えば旧シーンから暗転を経て新シーンへの
フェード）、及び突然の輝度変化（カメラからの高輝度
な光、映画の発砲などの結果）などが、圧縮ビデオ・パ
ラメータの非持久的性質と関連し合うことによる。前述
の時間遷移及び空間遷移では、符号器のパラメータ調整
がほとんど不可能となる。

【０１１９】本発明の原理によれば、たとえ特殊効果が
圧縮されるときでも、高品質のビデオＶＢＲストリーム
が提供される。これはＶＢＲ符号器の（特殊効果の結果
としての）アルゴリズム的不安定性を検出し、ＧＯＰタ
ーゲットを前に述べたプロシージャと異なる軌道に沿っ
て設定することにより達成される。

【０１２０】図８は、ソフトＧＯＰからハードＧＯＰへ
の遷移が、符号化される将来のＧＯＰに対して、不正な
推定を行う場合を示す。この不正な推定は図中、"不良
動作ポイント"で示される。より良好な推定が、慎重に
選択されたパラメータのセットに、３ポイント・メディ
アン（MEDIAN）・フィルタを適用することにより実行さ
れ得る。

【０１２１】例えば、ＶＢＲレート制御方式１におい
て、新たなターゲットが次式により導出される。

【数４９】

【０１２２】別の例として、ＶＢＲレート制御方式２に
おいて、新たなターゲットが次式により導出される。

【数５０】

【０１２３】ここでＨ（ｋ）＝ａ₁（Ｎ^* _gop＋γｋ）Ｎ_k
^-1である。

【０１２４】メディアン・フィルタは、全てのタイプの
ＧＯＰ、例えばソフトＧＯＰまたはハードＧＯＰ内で発
生し得る、（シーン遷移の結果としての）不安定条件を
補償するために使用される。定数セット｛μ₁、μ₂、μ
₃｝が、シーン遷移の間に生成されるビット数に対して
限界を強制する。例えば、μ₁＝１．０、μ₂＝０．９、
μ₃＝０．９である。

【０１２５】式２３）及び式２４）のＧＯＰターゲット
割当ては、シーン変化が検出されるときにも使用され得
る。シーン・カットの検出方法については、多くの技術
が文献などで述べられているのでここでは述べない。各
ＧＯＰの符号化はＩピクチャにより開始するので、この
ピクチャの位置がシーケンス内でシーン・カットが発生
する位置に相当する場合、新たなターゲットが式２３）
または式２４）により設定される。更に、符号器がＰピ
クチャに対してシーン変化を検出する場合、このタイプ
のピクチャがＩタイプに変更されて、新たなＧＯＰが開
始され、再度、新たなターゲットが式２３）または式２
４）に従い設定される。

【０１２６】２．５（バーＣ−バーＱ）不安定性：式
１）の（Ｒ−Ｑ）関係は、多様なクラスのビデオ・シー
ケンスに対して、かなり良好に作用することが知れてお
り、多くのリアルタイムＭＰＥＧ圧縮システム及び非Ｍ
ＰＥＧ圧縮システムにおいて使用される基本概念であ
る。しかしながら、本発明の原理によれば、この関係
は、先行ＧＯＰの実際の平均ＧＯＰビットと平均量子化
因子にもとづき、符号化される現ＧＯＰの平均ビットを
推定するための、因果予測モデルを生成するために使用
される。しかしながら、この予測モデルは、たとえ特殊
効果、シーン遷移またはシーン・カットが存在しない場
合でも、特定のビデオ・シーケンスに対して信頼できな
いものになる。この原因は、ビデオ・ソースの非定常的
な性質、例えば、大きな輝度またはクロミナンスのイメ
ージ詳細の背景中をゆっくり移動する幾つかの高度に詳
細なオブジェクト、或いはシーン内の不所望な雑音の存
在などに関係する。

【０１２７】図９は、符号器により導出される２つのポ
イントの一方が、合成（バーＣ−バーＱ）曲線の外側に
存在する場合を示す。このポイントは、前述の基準の結
果であり、（バーＣ−バーＱ）関係に従わない。更に、
これは"不良動作ポイント"の計算に寄与する。本発明の
ＶＢＲ符号器は、式２３）または式２４）で定義される
方法に対して、追加の寄与を行うことにより、この不安
定性を抑制する。特に、ＧＯＰビットが下記の条件に従
い設定される。

【数５１】

【０１２８】ここでバーＣ_k、filは次式で与えられる。

【数５２】

【０１２９】ここでω₁及びω₂はフィルタの重みを表
す。１例では、ω₁＝１．０、ω₂＝１．０であり、別の
例では、ω₁＝１．０、ω₂＝３．０に設定される。

【０１３０】前記式２５）では、Фは割当てられるビッ
ト数を調節するために使用される定数である。例えば、
ＭＡＸ Φ＝１．１、ＭＩＮ Φ＝０．９である。しき
い値θ_L（例えば０．１）及びθ_U（例えば１．０）は、
将来のＧＯＰが既に処理済みのＧＯＰと同一のビデオ・
セグメントに属するとの仮定の下で選択され、バーＣ
_k、filは、前に符号化されたＧＯＰのビットに線形フィ
ルタを適用することにより決定される、平均ＧＯＰビッ
トである。この線形フィルタの出力は、新たな動作ポイ
ントである。ＭＡＸ関数及びＭＩＮ関数は、（バーＣ−
バーＱ）不安定性を生じる符号化ビット・パラメータを
除去するために実行される。

【０１３１】これまで、容易に実現でき、高品質のビデ
オを生成するリアルタイム単一パス可変ビット・レート
符号器を提供する技術について述べてきた。ＧＯＰに割
当てられるビット数が推定され、次にその推定が様々な
技術を用いて改善される。

【０１３２】本発明は、例えばコンピュータ使用可能媒
体を有する製造物（例えば１つ以上のコンピュータ・プ
ログラム製品）内に含まれ得る。媒体は例えば、本発明
の能力を提供し、容易にするためのコンピュータ読出し
可能プログラム・コード手段を実現する。そのような製
造物はコンピュータ・システムの一部として含まれる
か、別々に販売される。

【０１３３】更に、本発明の能力を実行するために、マ
シンにより実行可能な少なくとも１つの命令プログラム
を実現する、マシンにより読出し可能な少なくとも１つ
のプログラム記憶装置が提供される。

【０１３４】ここで示されたフロー図は模範例に過ぎな
い。これらの図またはステップ（または動作）には、本
発明の趣旨から逸れることなく多くの変化が存在し得
る。例えば、ステップが異なる順序で実行されたり、ス
テップが追加されたり、消去または変更され得る。これ
らの全ての変化は、本発明の一部と見なされる。

【０１３５】まとめとして、本発明の構成に関して以下
の事項を開示する。

【０１３６】（１）フレーム・グループを処理する方法
であって、入力ストリームの少なくとも１つのフレーム
・グループを符号化するステップと、前記入力ストリー
ム全体を符号化する前に、前記符号化するステップから
獲得される１つ以上のパラメータ値を用い、可変ビット
・レート・モードで符号化される、前記入力ストリーム
の別のフレーム・グループに割当てられるビット数を決
定するステップとを含む、方法。（２）前記別のフレーム・グループを、単一パス可変ビ
ット・レート・モードで、１つの符号化パスだけにより
符号化するステップを含む、前記（１）記載の方法。（３）前記入力ストリームの他のフレーム・グループに
対して、前記決定するステップ及び前記別のフレーム・
グループを符号化するステップを繰り返すステップを含
み、前記他のフレーム・グループの各々に対して決定す
るステップが、１つ以上の前に符号化されたフレーム・
グループから獲得される１つ以上のパラメータ値を使用
する、前記（２）記載の方法。（４）前記別のフレーム・グループを符号化するステッ
プが、前記別のフレーム・グループの１つ以上のフレー
ムに割当てられる理想ビット数を決定するステップと、
復号器バッファにおいて、オーバーフローまたはアンダ
ーフローが生じないように、前記理想ビット数を調整す
るステップとを含む、前記（２）記載の方法。（５）前記調整するステップが、前記１つ以上のフレー
ムに割当てられる前記理想ビット数を制限するために使
用される、１つ以上のピクチャ限界を決定するステップ
を含む、前記（４）記載の方法。（６）前記決定するステップが、前記別のフレーム・グ
ループに対して、所定の知覚関数の傾きを調節するステ
ップと、調節された傾きをビット・レート方程式内で用
い、前記ビット数を決定するステップとを含む、前記
（１）記載の方法。（７）前記所定の知覚関数が、

【数５３】で与えられ、ここでＦ（バーＱ_k）＝ａ₁＋ａ₂（バーＱ_k
β）であり、ａ₁、ａ₂、βは定数、バーＱ_kは量子化因
子、及びＫは傾きの値をそれぞれ表す、前記（６）記載
の方法。（８）前記ビット・レート方程式が、

【数５４】で与えられ、ここでＲ_k、totはビット・バジェット内の
残りのビット数、Ｎ_kは入力ストリーム内のフレーム・
グループの調整された数、Ｐ_kは符号化される前記別の
フレーム・グループの残りのフレームの数、Ｚ_kは符号
化難度の総和をそれぞれ表し、ξ_k＝Δ（バーＣ_k）／Δ
（バーＱ_k）であり、バーＣ_kは平均ビット、バーＱ_kは
平均量子化因子を表し、η_k＝バーＣ_k-1、actual＋ξ
_k（バーＱ_k-1、act _ual）であり、ａ₁及びａ₂が定数であ
る、前記（６）記載の方法。（９）前記決定するステップが、前記別のフレーム・グ
ループに対して、所定の知覚関数の変換因子を決定する
ステップと、前記変換因子をビット・レート方程式内で
使用し、前記ビット数を決定するステップとを含む、前
記（１）記載の方法。（１０）前記変換因子を決定するステップが、

【数５５】を使用し、ここでＰ_kは符号化される前記別のフレーム
・グループの残りのフレームの数、Ｒ_k、totはビット・
バジェット内の残りのビット数、バーＣ_gopは前記入力
ストリームのレート、Ｙ_kは１フレーム・グループ当た
りの平均量子化因子の総和、Ｎ_kは入力ストリーム内の
フレーム・グループの調整された数をそれぞれ表し、ａ
₂は定数である、前記（９）記載の方法。（１１）前記符号化するステップが、前記入力ストリー
ムの第１のフレーム・グループ及び第２のフレーム・グ
ループを符号化するステップを含み、前記１つ以上のパ
ラメータ値が、前記第１のフレーム・グループに対する
第１のビット・レート及び第１の量子化因子と、前記第
２のフレーム・グループに対する第２のビット・レート
及び第２の量子化因子とを含む、前記（１）記載の方
法。（１２）前記決定するステップが、前記第１のビット・
レート、前記第２のビット・レート、前記第１の量子化
因子、及び前記第２の量子化因子を用いる所定の関数に
より、割当てられる前記ビット数を決定するステップを
含む、前記（１１）記載の方法。（１３）前記所定の関数が、

【数５６】で与えられ、ここでＲ_k、totはビット・バジェット内の
残りのビット数、Ｎ_kは入力ストリーム内のフレーム・
グループの調整された数、Ｐ_kは符号化される前記別の
フレーム・グループの残りのフレームの数、Ｚ_kは符号
化難度の総和をそれぞれ表し、ξ_k＝Δ（バーＣ_k）／Δ
（バーＱ_k）であり、バーＣ_kは平均ビット、バーＱ_kは
平均量子化因子を表し、η_k＝バーＣ_k-1、actual＋ξ
_k（バーＱ_k-1、act _ual）であり、ａ₁及びａ₂が定数であ
る、前記（１２）記載の方法。（１４）フレーム・グループを処理する方法であって、
１つ以上の前に符号化されたフレーム・グループから、
複数のパラメータ値を決定するステップと、単一パス可
変ビット・レート・モードで符号化されるフレーム・グ
ループに対して、前記複数のパラメータ値の１つ以上を
用い、所定の関数の傾きを計算するステップと、計算さ
れた傾き及び前記１つ以上のパラメータ値を用い、符号
化される前記フレーム・グループのビット・レートを獲
得するステップとを含む、方法。（１５）前記可変ビット・レート・モードで符号化され
る前記フレーム・グループを、当該グループに対して獲
得された前記ビット・レートで符号化するステップを含
む、前記（１４）記載の方法。（１６）前記入力ストリームの他のフレーム・グループ
に対して、前記決定するステップ、前記計算するステッ
プ、前記獲得するステップ、及び前記符号化するステッ
プを繰り返すステップを含む、前記（１５）記載の方
法。（１７）前記傾きを計算するステップが、次の関数Ｋ_k＝ｆＲ_k、totＮ_k／Ｐ_kＺ_k を使用し、ここでｆは前記入力ストリームのフレーム・
レート、Ｒ_k、totはビット・バジェット内の残りの数、
Ｎ_kは入力ストリーム内のフレーム・グループの調整さ
れた数、Ｐ_kは符号化される前記別のフレーム・グルー
プの残りのフレームの数、Ｚ_kは符号化難度の総和をそ
れぞれ表わす、前記（１４）記載の方法。（１８）前記獲得するステップが、所定の関数を用い、
前記ビット・レートを獲得するステップを含む、前記
（１４）記載の方法。（１９）前記所定の関数が、

【数５７】で与えられ、ここでＲ_k、totはビット・バジェット内の
残りのビット数、Ｎ_kは入力ストリーム内のフレーム・
グループの調整された数、Ｐ_kは符号化される前記別の
フレーム・グループの残りのフレームの数、Ｚ_kは符号
化難度の総和をそれぞれ表し、ξ_k＝Δ（バーＣ_k）／Δ
（バーＱ_k）であり、バーＣ_kは平均ビット、バーＱ_kは
平均量子化因子を表し、η_k＝バーＣ_k-1、actual＋ξ
_k（バーＱ_k-1、act _ual）であり、ａ₁及びａ₂が定数であ
る、前記（１８）記載の方法。（２０）前記所定の関数が、前記別のフレーム・グルー
プの瞬時レート−量子化動作、及び前記別のフレーム・
グループの複雑度を示す知覚モデルを表わす、前記（１
８）記載の方法。（２１）前記レート−量子化動作が、

【数５８】により定義され、ここでバーＣ_kは平均ビット、バーＱ_k
は平均量子化スケーラ、ξ_k＝Δ（バーＣ_k）／Δ（バー
Ｑ_k）であり、Δ（バーＣ_k）＝バーＣ_k-1、actual−バー
Ｃ_k-2、actual、Δ（バーＱ_k）＝バーＱ_k-2、actual−バ
ーＱ_k-1、actualであり、η_k＝バーＣ_k-1、actual＋ξ
_k（バーＱ_k-1、actual）である、前記（２０）記載の方
法。（２２）前記知覚モデルが、

【数５９】により定義され、ここでＦ（バーＱ_k）＝ａ₁＋ａ₂（バ
ーＱ_kβ）であり、ａ₁、ａ₂、βは定数、バーＱ_kは量子
化因子、及びＫは傾きの値をそれぞれ表す、前記（２
０）記載の方法。（２３）フレーム・グループを処理する方法であって、
入力ストリームの１つのフレーム・グループに割当てら
れるビット数を、前記フレーム・グループの瞬時レート
−量子化動作、及び前記フレーム・グループの複雑度を
示す知覚モデルを用い、決定するステップと、前記フレ
ーム・グループを可変ビット・レート・モードにより、
前記決定するステップにより定義されたレートで符号化
するステップとを含む、方法。（２４）単一パス可変ビット・レート符号器であって、
入力ストリームの少なくとも１つのフレーム・グループ
を符号化するように適応化された符号化エンジンと、前
記入力ストリーム全体を符号化する前に、前記少なくと
も１つのフレーム・グループの符号化から獲得された１
つ以上のパラメータ値を用い、可変ビット・レート・モ
ードで符号化される、前記入力ストリームの別のフレー
ム・グループに割当てられるビット数を決定する手段と
を含む、符号器。（２５）前記別のフレーム・グループを符号化するため
に前記符号化エンジンが、前記別のフレーム・グループ
の１つ以上のフレームに割当てられる理想ビット数を決
定する手段と、復号器バッファにおいて、オーバーフロ
ーまたはアンダーフローが生じないように、前記理想ビ
ット数を調整する手段とを含む、前記（２４）記載の符
号器。（２６）前記調整する手段が、前記１つ以上のフレーム
に割当てられる前記理想ビット数を制限するために使用
される、１つ以上のピクチャ限界を決定する手段を含
む、前記（２５）記載の符号器。（２７）前記決定する手段が、前記別のフレーム・グル
ープに対して、所定の知覚関数の傾きを調節する手段
と、調節された傾きをビット・レート方程式内で用い、
前記ビット数を決定する手段とを含む、前記（２４）記
載の符号器。（２８）前記決定する手段が、前記別のフレーム・グル
ープに対して、所定の知覚関数の変換因子を決定する手
段と、前記変換因子をビット・レート方程式内で用い、
前記ビット数を決定する手段とを含む、前記（２４）記
載の符号器。（２９）前記少なくとも１つのフレーム・グループが、
前記入力ストリームの第１のフレーム・グループ及び第
２のフレーム・グループを含み、前記１つ以上のパラメ
ータ値が、前記第１のフレーム・グループに対する、第
１のビット・レート及び第１の量子化因子と、前記第２
のフレーム・グループに対する、第２のビット・レート
及び第２の量子化因子とを含む、前記（２４）記載の符
号器。（３０）前記決定する手段が、前記第１のビット・レー
ト、前記第２のビット・レート、前記第１の量子化因
子、及び前記第２の量子化因子を用いる所定の関数によ
り、割当てられる前記ビット数を決定する手段を含む、
前記（２９）記載の符号器。（３１）単一パス可変ビット・レート符号器であって、
１つ以上の前に符号化されたフレーム・グループから、
複数のパラメータ値を決定する手段と、単一パス可変ビ
ット・レート・モードで符号化されるフレーム・グルー
プに対して、前記複数のパラメータ値の１つ以上を用
い、所定の関数の傾きを計算する手段と、計算された傾
き及び前記１つ以上のパラメータ値を用い、符号化され
る前記フレーム・グループのビット・レートを獲得する
手段とを含む、符号器。（３２）前記可変ビット・レート・モードで符号化され
る前記フレーム・グループを、当該グループに対して獲
得された前記ビット・レートで符号化する手段を含む、
前記（３１）記載の符号器。（３３）前記獲得する手段が、所定の関数を用い、前記
ビット・レートを獲得する手段を含む、前記（３１）記
載の符号器。（３４）単一パス可変ビット・レート符号器であって、
入力ストリームの１つのフレーム・グループに割当てら
れるビット数を、前記フレーム・グループの瞬時レート
−量子化動作、及び前記フレーム・グループの複雑度を
示す知覚モデルを用い、決定する手段と、前記フレーム
・グループを可変ビット・レート・モードにより、前記
決定する手段により定義されたレートで符号化するよう
に適応化された符号化エンジンとを含む、符号器。（３５）フレーム・グループの処理をコンピュータに指
示するコンピュータ読出し可能プログラム・コード手段
を有する、少なくとも１つのコンピュータ使用可能媒体
を含む装置であって、前記コンピュータ読出し可能プロ
グラム・コード手段が、入力ストリームの少なくとも１
つのフレーム・グループを符号化するように、前記コン
ピュータに指示する手段と、前記入力ストリーム全体を
符号化する前に、前記符号化から獲得された１つ以上の
パラメータ値を用い、可変ビット・レート・モードで符
号化される、前記入力ストリームの別のフレーム・グル
ープに割当てられるビット数を決定するように、前記コ
ンピュータに指示する手段とを含む、装置。（３６）前記別のフレーム・グループを単一パス可変ビ
ット・レート・モードで１つの符号化パスだけにより符
号化するように、前記コンピュータに指示する手段を含
む、前記（３５）記載の装置。（３７）前記ビット数を決定するように前記コンピュー
タに指示する手段が、前記別のフレーム・グループに対
して、所定の知覚関数の傾きを調節するように、前記コ
ンピュータに指示する手段と、調節された傾きをビット
・レート方程式内で用い、前記ビット数を決定するよう
に、前記コンピュータに指示する手段とを含む、前記
（３５）記載の装置。（３８）前記ビット数を決定するように前記コンピュー
タに指示する手段が、前記別のフレーム・グループに対
して、所定の知覚関数の変換因子を決定するように、前
記コンピュータに指示する手段と、前記変換因子をビッ
ト・レート方程式内で用い、前記ビット数を決定するよ
うに、前記コンピュータに指示する手段とを含む、前記
（３５）記載の装置。（３９）前記ビット数を決定するように前記コンピュー
タに指示する手段が、所定の関数を用い、前記ビット数
を決定するように、前記コンピュータに指示する手段を
含む、前記（３５）記載の装置。（４０）フレーム・グループの処理をコンピュータに指
示するコンピュータ読出し可能プログラム・コード手段
を有する、少なくとも１つのコンピュータ使用可能媒体
を含む装置であって、前記コンピュータ読出し可能プロ
グラム・コード手段が、入力ストリームの１つのフレー
ム・グループに割当てられるビット数を、前記フレーム
・グループの瞬時レート−量子化動作、及び前記フレー
ム・グループの複雑度を示す知覚モデルを用い、前記コ
ンピュータに決定するように指示する手段と、前記フレ
ーム・グループを可変ビット・レート・モードにより、
前記手段により定義されたレートで符号化するように、
前記コンピュータに指示する手段とを含む、装置。

【図面の簡単な説明】

【図１】本発明のリアルタイム単一パス可変ビット・レ
ート制御方法を組み込み、使用するＭＰＥＧ−２符号器
のブロック図の１例を示す図である。

【図２】Ｐピクチャ・タイプ及びＢピクチャ・タイプの
動き推定のブロック図の１例を示す図である。

【図３】バーＣ−バーＱモデルの１例、及び本発明の可
変ビット・レート制御方式の動作ポイントを示す図であ
る。

【図４】本発明の原理に従い、ピクチャのグループ（Ｇ
ＯＰ）に割当てられるビット数を推定する１例に関連付
けられる論理の１実施例である。

【図５】本発明の可変ビット・レート制御方法の１実施
例のブロック図の１例を示す図である。

【図６】本発明の原理に従い、ピクチャのグループ（Ｇ
ＯＰ）に割当てられるビット数を推定する別の例に関連
付けられる論理の１実施例である。

【図７】バーＣ−バーＱモデルの１例、及び本発明の別
の可変ビット・レート制御方式の動作ポイントを示す図
である。

【図８】本発明のメディアン・フィルタリング技術を用
いるシーン遷移の間の、ＧＯＰビット調整の１例を示す
図である。

【図９】本発明の原理に従う、レート制御不安定性のＧ
ＯＰビット調整の１例を示す図である。

【符号の説明】

１００符号器１０２２次元離散コサイン変換（ＤＣＴ）１０４動き推定（ＭＥ）１０６、２０２動きベクトル（ＭＶ）１０８動き補償（ＭＣ）１１４エントロピ符号器１１６エントロピ復号器１１８逆走査１２０逆量子化１２２逆離散コサイン変換１２４、５０２遅延２００マクロブロック２０４探索窓３０１知覚ライン５００圧縮エンジン

Claims

【特許請求の範囲】

【請求項１】フレーム・グループを処理する方法であっ
て、入力ストリームの少なくとも１つのフレーム・グループ
を符号化するステップと、前記入力ストリーム全体を符号化する前に、前記符号化
するステップから獲得される１つ以上のパラメータ値を
用い、可変ビット・レート・モードで符号化される、前
記入力ストリームの別のフレーム・グループに割当てら
れるビット数を決定するステップとを含む、方法。
【請求項２】前記別のフレーム・グループを、単一パス
可変ビット・レート・モードで、１つの符号化パスだけ
により符号化するステップを含む、請求項１記載の方
法。
【請求項３】前記入力ストリームの他のフレーム・グル
ープに対して、前記決定するステップ及び前記別のフレ
ーム・グループを符号化するステップを繰り返すステッ
プを含み、前記他のフレーム・グループの各々に対して
決定するステップが、１つ以上の前に符号化されたフレ
ーム・グループから獲得される１つ以上のパラメータ値
を使用する、請求項２記載の方法。
【請求項４】前記別のフレーム・グループを符号化する
ステップが、前記別のフレーム・グループの１つ以上のフレームに割
当てられる理想ビット数を決定するステップと、復号器バッファにおいて、オーバーフローまたはアンダ
ーフローが生じないように、前記理想ビット数を調整す
るステップとを含む、請求項２記載の方法。
【請求項５】前記調整するステップが、前記１つ以上の
フレームに割当てられる前記理想ビット数を制限するた
めに使用される、１つ以上のピクチャ限界を決定するス
テップを含む、請求項４記載の方法。
【請求項６】前記決定するステップが、前記別のフレーム・グループに対して、所定の知覚関数
の傾きを調節するステップと、調節された傾きをビット・レート方程式内で用い、前記
ビット数を決定するステップとを含む、請求項１記載の
方法。
【請求項７】前記所定の知覚関数が、【数１】で与えられ、ここでＦ（バーＱ_k）＝ａ₁＋ａ₂（バーＱ_k
β）であり、ａ₁、ａ₂、βは定数、バーＱ_kは量子化因
子、及びＫは傾きの値をそれぞれ表す、請求項６記載の
方法。
【請求項８】前記ビット・レート方程式が、【数２】で与えられ、ここでＲ_k、totはビット・バジェット内の
残りのビット数、Ｎ_kは入力ストリーム内のフレーム・
グループの調整された数、Ｐ_kは符号化される前記別の
フレーム・グループの残りのフレームの数、Ｚ_kは符号
化難度の総和をそれぞれ表し、ξ_k＝Δ（バーＣ_k）／Δ
（バーＱ_k）であり、バーＣ_kは平均ビット、バーＱ_kは
平均量子化因子を表し、η_k＝バーＣ_k-1、actual＋ξ
_k（バーＱ_k-1、act _ual）であり、ａ₁及びａ₂が定数であ
る、請求項６記載の方法。
【請求項９】前記決定するステップが、前記別のフレーム・グループに対して、所定の知覚関数
の変換因子を決定するステップと、前記変換因子をビット・レート方程式内で使用し、前記
ビット数を決定するステップとを含む、請求項１記載の
方法。
【請求項１０】前記変換因子を決定するステップが、【数３】を使用し、ここでＰ_kは符号化される前記別のフレーム
・グループの残りのフレームの数、Ｒ_k、totはビット・
バジェット内の残りのビット数、バーＣ_gopは前記入力
ストリームのレート、Ｙ_kは１フレーム・グループ当た
りの平均量子化因子の総和、Ｎ_kは入力ストリーム内の
フレーム・グループの調整された数をそれぞれ表し、ａ
₂は定数である、請求項９記載の方法。
【請求項１１】前記符号化するステップが、前記入力ス
トリームの第１のフレーム・グループ及び第２のフレー
ム・グループを符号化するステップを含み、前記１つ以
上のパラメータ値が、前記第１のフレーム・グループに
対する第１のビット・レート及び第１の量子化因子と、
前記第２のフレーム・グループに対する第２のビット・
レート及び第２の量子化因子とを含む、請求項１記載の
方法。
【請求項１２】前記決定するステップが、前記第１のビ
ット・レート、前記第２のビット・レート、前記第１の
量子化因子、及び前記第２の量子化因子を用いる所定の
関数により、割当てられる前記ビット数を決定するステ
ップを含む、請求項１１記載の方法。
【請求項１３】前記所定の関数が、【数４】で与えられ、ここでＲ_k、totはビット・バジェット内の
残りのビット数、Ｎ_kは入力ストリーム内のフレーム・
グループの調整された数、Ｐ_kは符号化される前記別の
フレーム・グループの残りのフレームの数、Ｚ_kは符号
化難度の総和をそれぞれ表し、ξ_k＝Δ（バーＣ_k）／Δ
（バーＱ_k）であり、バーＣ_kは平均ビット、バーＱ_kは
平均量子化因子を表し、η_k＝バーＣ_k-1、actual＋ξ
_k（バーＱ_k-1、act _ual）であり、ａ₁及びａ₂が定数であ
る、請求項１２記載の方法。
【請求項１４】フレーム・グループを処理する方法であ
って、１つ以上の前に符号化されたフレーム・グループから、
複数のパラメータ値を決定するステップと、単一パス可変ビット・レート・モードで符号化されるフ
レーム・グループに対して、前記複数のパラメータ値の
１つ以上を用い、所定の関数の傾きを計算するステップ
と、計算された傾き及び前記１つ以上のパラメータ値を用
い、符号化される前記フレーム・グループのビット・レ
ートを獲得するステップとを含む、方法。
【請求項１５】前記可変ビット・レート・モードで符号
化される前記フレーム・グループを、当該グループに対
して獲得された前記ビット・レートで符号化するステッ
プを含む、請求項１４記載の方法。
【請求項１６】前記入力ストリームの他のフレーム・グ
ループに対して、前記決定するステップ、前記計算する
ステップ、前記獲得するステップ、及び前記符号化する
ステップを繰り返すステップを含む、請求項１５記載の
方法。
【請求項１７】前記傾きを計算するステップが、次の関
数Ｋ_k＝ｆＲ_k、totＮ_k／Ｐ_kＺ_k を使用し、ここでｆは前記入力ストリームのフレーム・
レート、Ｒ_k、totはビット・バジェット内の残りの数、
Ｎ_kは入力ストリーム内のフレーム・グループの調整さ
れた数、Ｐ_kは符号化される前記別のフレーム・グルー
プの残りのフレームの数、Ｚ_kは符号化難度の総和をそ
れぞれ表わす、請求項１４記載の方法。
【請求項１８】前記獲得するステップが、所定の関数を
用い、前記ビット・レートを獲得するステップを含む、
請求項１４記載の方法。
【請求項１９】前記所定の関数が、【数５】で与えられ、ここでＲ_k、totはビット・バジェット内の
残りのビット数、Ｎ_kは入力ストリーム内のフレーム・
グループの調整された数、Ｐ_kは符号化される前記別の
フレーム・グループの残りのフレームの数、Ｚ_kは符号
化難度の総和をそれぞれ表し、ξ_k＝Δ（バーＣ_k）／Δ
（バーＱ_k）であり、バーＣ_kは平均ビット、バーＱ_kは
平均量子化因子を表し、η_k＝バーＣ_k-1、actual＋ξ
_k（バーＱ_k-1、act _ual）であり、ａ₁及びａ₂が定数であ
る、請求項１８記載の方法。
【請求項２０】前記所定の関数が、前記別のフレーム・
グループの瞬時レート−量子化動作、及び前記別のフレ
ーム・グループの複雑度を示す知覚モデルを表わす、請
求項１８記載の方法。
【請求項２１】前記レート−量子化動作が、【数６】により定義され、ここでバーＣ_kは平均ビット、バーＱ_k
は平均量子化スケーラ、ξ_k＝Δ（バーＣ_k）／Δ（バー
Ｑ_k）であり、Δ（バーＣ_k）＝バーＣ_k-1、actual−バー
Ｃ_k-2、actual、Δ（バーＱ_k）＝バーＱ_k-2、actual−バ
ーＱ_k-1、actualであり、η_k＝バーＣ_k-1、actual＋ξ
_k（バーＱ_k-1、actual）である、請求項２０記載の方
法。
【請求項２２】前記知覚モデルが、【数７】により定義され、ここでＦ（バーＱ_k）＝ａ₁＋ａ₂（バ
ーＱ_kβ）であり、ａ₁、ａ₂、βは定数、バーＱ_kは量子
化因子、及びＫは傾きの値をそれぞれ表す、請求項２０
記載の方法。
【請求項２３】フレーム・グループを処理する方法であ
って、入力ストリームの１つのフレーム・グループに割当てら
れるビット数を、前記フレーム・グループの瞬時レート
−量子化動作、及び前記フレーム・グループの複雑度を
示す知覚モデルを用い、決定するステップと、前記フレーム・グループを可変ビット・レート・モード
により、前記決定するステップにより定義されたレート
で符号化するステップとを含む、方法。
【請求項２４】単一パス可変ビット・レート符号器であ
って、入力ストリームの少なくとも１つのフレーム・グループ
を符号化するように適応化された符号化エンジンと、前記入力ストリーム全体を符号化する前に、前記少なく
とも１つのフレーム・グループの符号化から獲得された
１つ以上のパラメータ値を用い、可変ビット・レート・
モードで符号化される、前記入力ストリームの別のフレ
ーム・グループに割当てられるビット数を決定する手段
とを含む、符号器。
【請求項２５】前記別のフレーム・グループを符号化す
るために前記符号化エンジンが、前記別のフレーム・グループの１つ以上のフレームに割
当てられる理想ビット数を決定する手段と、復号器バッファにおいて、オーバーフローまたはアンダ
ーフローが生じないように、前記理想ビット数を調整す
る手段とを含む、請求項２４記載の符号器。
【請求項２６】前記調整する手段が、前記１つ以上のフ
レームに割当てられる前記理想ビット数を制限するため
に使用される、１つ以上のピクチャ限界を決定する手段
を含む、請求項２５記載の符号器。
【請求項２７】前記決定する手段が、前記別のフレーム・グループに対して、所定の知覚関数
の傾きを調節する手段と、調節された傾きをビット・レート方程式内で用い、前記
ビット数を決定する手段とを含む、請求項２４記載の符
号器。
【請求項２８】前記決定する手段が、前記別のフレーム・グループに対して、所定の知覚関数
の変換因子を決定する手段と、前記変換因子をビット・レート方程式内で用い、前記ビ
ット数を決定する手段とを含む、請求項２４記載の符号
器。
【請求項２９】前記少なくとも１つのフレーム・グルー
プが、前記入力ストリームの第１のフレーム・グループ
及び第２のフレーム・グループを含み、前記１つ以上の
パラメータ値が、前記第１のフレーム・グループに対す
る、第１のビット・レート及び第１の量子化因子と、前
記第２のフレーム・グループに対する、第２のビット・
レート及び第２の量子化因子とを含む、請求項２４記載
の符号器。
【請求項３０】前記決定する手段が、前記第１のビット
・レート、前記第２のビット・レート、前記第１の量子
化因子、及び前記第２の量子化因子を用いる所定の関数
により、割当てられる前記ビット数を決定する手段を含
む、請求項２９記載の符号器。
【請求項３１】単一パス可変ビット・レート符号器であ
って、１つ以上の前に符号化されたフレーム・グループから、
複数のパラメータ値を決定する手段と、単一パス可変ビット・レート・モードで符号化されるフ
レーム・グループに対して、前記複数のパラメータ値の
１つ以上を用い、所定の関数の傾きを計算する手段と、計算された傾き及び前記１つ以上のパラメータ値を用
い、符号化される前記フレーム・グループのビット・レ
ートを獲得する手段とを含む、符号器。
【請求項３２】前記可変ビット・レート・モードで符号
化される前記フレーム・グループを、当該グループに対
して獲得された前記ビット・レートで符号化する手段を
含む、請求項３１記載の符号器。
【請求項３３】前記獲得する手段が、所定の関数を用
い、前記ビット・レートを獲得する手段を含む、請求項
３１記載の符号器。
【請求項３４】単一パス可変ビット・レート符号器であ
って、入力ストリームの１つのフレーム・グループに割当てら
れるビット数を、前記フレーム・グループの瞬時レート
−量子化動作、及び前記フレーム・グループの複雑度を
示す知覚モデルを用い、決定する手段と、前記フレーム・グループを可変ビット・レート・モード
により、前記決定する手段により定義されたレートで符
号化するように適応化された符号化エンジンとを含む、
符号器。
【請求項３５】フレーム・グループの処理をコンピュー
タに指示するコンピュータ読出し可能プログラム・コー
ド手段を有する、少なくとも１つのコンピュータ使用可
能媒体を含む装置であって、前記コンピュータ読出し可
能プログラム・コード手段が、入力ストリームの少なくとも１つのフレーム・グループ
を符号化するように、前記コンピュータに指示する手段
と、前記入力ストリーム全体を符号化する前に、前記符号化
から獲得された１つ以上のパラメータ値を用い、可変ビ
ット・レート・モードで符号化される、前記入力ストリ
ームの別のフレーム・グループに割当てられるビット数
を決定するように、前記コンピュータに指示する手段と
を含む、装置。
【請求項３６】前記別のフレーム・グループを単一パス
可変ビット・レート・モードで１つの符号化パスだけに
より符号化するように、前記コンピュータに指示する手
段を含む、請求項３５記載の装置。
【請求項３７】前記ビット数を決定するように前記コン
ピュータに指示する手段が、前記別のフレーム・グループに対して、所定の知覚関数
の傾きを調節するように、前記コンピュータに指示する
手段と、調節された傾きをビット・レート方程式内で用い、前記
ビット数を決定するように、前記コンピュータに指示す
る手段とを含む、請求項３５記載の装置。
【請求項３８】前記ビット数を決定するように前記コン
ピュータに指示する手段が、前記別のフレーム・グループに対して、所定の知覚関数
の変換因子を決定するように、前記コンピュータに指示
する手段と、前記変換因子をビット・レート方程式内で用い、前記ビ
ット数を決定するように、前記コンピュータに指示する
手段とを含む、請求項３５記載の装置。
【請求項３９】前記ビット数を決定するように前記コン
ピュータに指示する手段が、所定の関数を用い、前記ビ
ット数を決定するように、前記コンピュータに指示する
手段を含む、請求項３５記載の装置。
【請求項４０】フレーム・グループの処理をコンピュー
タに指示するコンピュータ読出し可能プログラム・コー
ド手段を有する、少なくとも１つのコンピュータ使用可
能媒体を含む装置であって、前記コンピュータ読出し可
能プログラム・コード手段が、入力ストリームの１つのフレーム・グループに割当てら
れるビット数を、前記フレーム・グループの瞬時レート
−量子化動作、及び前記フレーム・グループの複雑度を
示す知覚モデルを用い、前記コンピュータに決定するよ
うに指示する手段と、前記フレーム・グループを可変ビット・レート・モード
により、前記手段により定義されたレートで符号化する
ように、前記コンピュータに指示する手段とを含む、装
置。