WO1999030505A1 - Encoder and encoding method - Google Patents

Description

明 細 書 符号化装 および符 化方法 技 術 分 野 本発明は、 符^化装置および符号化方法に関し、 特に、 TM5に おいて定義されるレー卜変更アルゴ ÷乂リズムを使用しながら、 GOP の途巾でシーム レスに ビヅ ト レ一 卜を変 illできるようにし、 もって 伝送路の容½を有効に利用することができるようにした、 符 化装 {Hおよび符 化方法に関する。

ίδ近、 像デ一夕等をデジタルデータとして送受^するデジタル 放送が i: [1されている。 デジタル放送の利点は、 アナログ放送に比 ベて、 ^じ伝送路においてよ り多くの番組データ （以下、 プロゲ ムという） を伝送することが可能であるということである。 これは 画像デ一夕を圧縮して伝送できるということによるところが大きい 画像データの圧縮の方法としては、 例えば MP E G (Moving Pictu re Experts Group) 規格で採用されている双方向予測符号化方式が 用いられることが多い。 この双方向予測符号化方式では、 フレーム 内符号化、 フレーム間順方向予測符号化および双方向予測符号化の 3つのタイプの符^化が行われ、 各符号化タイプによる画像は、 そ れぞれ I ピクチャ (intra coded picture) 、 Pピクチャ (predict ive coded picture ) または Bピクチャ ( bidirecti onal ly predi ct ive coded pi cture ) と呼ばれる ₀

デジタル放送における I面像の H-:縮符号化では、 圧縮符号化後のデ —夕 ！： （ビッ ト lit ) を、 伝送路の伝送容^以下に抑えつつ、 ^質を 卨品 flに保つ必要がある。

所 の伝送容量の伝送路に対して、 より多くの複数のプログラム を伝送する方法として、 「統計多遺」 という手法がある。 統計多雷 は、 プログラムの伝送レ一トを動的に変化させることにより、 よ り多くのプログラムを伝送する丁:法である。 この統,讣多 では、 例 えば、 伝送レー トを減らしても両質の劣化が 13立たないプロ グラム については伝送レートを減らすことにより、 より多くのプログラム の伝送を可能にする。

ここで、 図 1および図 2を参照して、 統計多重について史に説明 する。 図 1は、 従来の固定レートにより多 ffi化した場合の各プログ ラムに対する割当符 -レー 卜の -例を^したものであり、 縦軸が各 プログラムに対する割当符号レー 卜を し、 横軸が時刻を表してい る。 1 1 に示したように、 例えば天気 報、 ニュースおよびドラマ といった多重化される各プログラムの割当符号レ一トは、 初期値と して割り当てられた符号レー トのまま一定であり、 時間の経過によ つて変動していない。 各プログラムに対して初期値として割り当て られる符号レートは、 各プログラムの画質の劣化が最も目立つ部分 (時刻） における画質の劣化が許容範囲に収まるように割り当てら れている。 従って、 画質の劣化が目立つ部分以外の部分には、 必要 以上の符号レートが割り当てられていることになる。

図 2は、 統計多重の手法を用いて、 各プログラムに対する割当符 号レー トを動的に変化させて多重化した場合の各プログラムに対す る割 ¾符号レートの一例を表したものであり、 縦軸が各プログラム に対する割当符号レートを表し、 横軸が時刻を表している。 統計多 は、 各プログラムの WKの劣化が I立つ部分 (時刻） が同一時問 帯に重なることが稀であることを利用したものである。 すなわち、 あるプログラムでは画質劣化が [Ξ1立つ部分であるとき、 他のプログ ラムは符号レー トを落としても画質劣化が 立たない場合が多いの で、 他のプログラムの符号レー トを落として、 画質劣化が目立つプ ログラムに対して符号レートを多く割り、 てることができる。 図 2 に/ した例では、 時刻 t lにおいて、 ドラマ （ 1 ) の画像は圈質劣化 が f :1 v.つ部分であるが、 ニュースおよびドラマ （ 2 ) の画像は画質 劣化が ίΐ立たない部分であるので、 ニュースおよびドラマ （ 2 ) の 画像の符号レートが落とされ、 ドラマ （ 1 ) の両像に対してその分 だけ符 レートが多く割り当てられている。 このようにして、 統計 多 を川いることによ り、 通常よりも多くのプログラムを伝送する ことができる。

しかし、 ここで GO P (Group of Picture) の位相の問題がある。 通常、 エンコーダは、 T M 5 (Test Model Editing Committe :"Test

Model 5"; I SO/ 1 EC JTC/SC292/WG11/N0400( Apr.1993)) に代表され るように、 画像を、 G 0 P単位でレートコン トロールしてェンコ一 ドする。 すなわち、 ビッ ト レートは、 G 0 Pの途中では変更されな い。 その結果、 各プログラムの G 0 Pの位相があっている場合はよ い （一般的には、 このような場合はほとんどない） が、 G 0 Pの位 相にずれがある場台 （一般的にはこの場合がほとんどである） 、 G 0 Pの先頭でしかプログラムのビッ トレートが変更されないので、 一度に全てのプログラムのビッ トレートを変更することができず、 図 3に示すように、 デッ ドスペース （いずれのプログラムにもビヅ トレートが割り 当てられていない部分） が生じて、 伝送容： 1¾を全て 有効に使月]することができないという課 11があった。

そこで、 G 0 P 位でレートコン ト口ールをせず、 フレーム単位 で個々に 標符号 Sを決めてエンコードする手法も考えられる。 し かしながら、 デジタル放送の場合、 受信機 （デコーダ） の環 ( V id eo Buffering Veri f i er) ノ ソ フ ァをオーバ一フ ローまたはアンダー フローさせないように発/ 符 [,¾を厳しく ij御する必要があるが、 このように、 フレーム ^位で H標符号^:を決定するようにすると、 VBV ノ ッファがオーバ一フローまたはアンダーフローしないように 制御することが困難になる。 発 明 の 開 示 本発明はこのような状況に鑑みてなされたもので、 T M 5のビッ トレー ト変更アルゴリズムを適 /flしながら、 G 0 Pの途中でもビッ トレートを変更できるようにし、 もって、 伝送路の容 を有効に利 用することができるようにすることを目的とする。

本発明の符号化装置は、 指定ビッ トレ一 卜に基づいて、 G O Pに 含まれる各ピクチャに対して割り当てられる目標ビッ ト量をそれぞ れ演算する制御手段と、 制御手段によって制御された目標ビッ 卜量 に基づいて、 符号化対象ピクチャを符号化する符号化手段とを備え、 制御手段は、 符 -化手段によつて符号化対象ピクチャの符号化処理 を行う場合、 指定ビッ トレートが第 1のビッ トレ一トから第 2のビ ヅ トレートに変更されたとき、 第 1のビッ トレ一卜 と第 2のビッ ト レート との差分に基づいて符号化対象ピクチャに割り当てられる [」 標ビッ 卜 ¾を袖【Hすることを特徴とする。

この符 ' 化装 においては、 符 化 ^段によって符り-化対象ピク チャの符 化処理を行う場合、 指定ビッ トレ一 卜が第 1のビッ ト レ —卜から第 2のビッ ト レートに変更されたとき、 制御 Γ··段は、 第 1 のビッ ト レ一 卜 と第 2のビッ トレー卜との差分に基づいて符号化対 象ピクチャに割り当てられる 標ビッ ト量を補 ΐΕする。

本発叫の符 化装置は、 G◦ Ρ内における 符 化ピクチャに対 して割り てられるビッ ト最と指定ビッ トレートとに ¾づいて、 符 号化対象ピクチャに対して割り てられる卜1標ビッ 卜 ¾を演 する 制御 段と、 制御手段によって演算された ίΐ標ビッ 卜 ΐに従って、 符 -化対象ピクチャを符号化する符号化 ΐ段を備え、 （ 御手段は、 指定ビッ トレー トが G〇 Ρの途屮において 1のビッ トレ一卜から 第 2のビッ ト レー 卜に変 ϋΐされた 合には、 符 化丁-段に -えられ る 標ビッ ト レートを、 第 1のビッ トレ一トに対応する i標ビッ ト 量から、 第 2のビッ トレ一卜に対応する ビッ ト ffiに補正するこ とを特徴とする。

この符号化装置においては、 指定ビッ トレートが G 0 Pの途中に おいて第 1のビッ トレ一トから第 2のビッ トレートに変更された場 合、 制御手段は、 符号化手段に与えられる目標ビッ トレー トを、 第 1のビッ トレ一 トに対応する目標ビッ ト量から、 第 2のビッ トレ一 トに対応する目標ビッ ト量に補正する。

本発明の符号化装置は、 G 0 P内における未符号化ピクチャに対 して割り当てられるビッ ト量から、 符号化対象ピクチャに対して割 り当てられる 標ビッ ト量を演算する制御手段と、 制御手段によつ て演算された目標ビッ ト量に従って、 符号化対象ピクチャを符号化 する符^化 段を備え、 演算手段は、 G O Pの途中において指定ビ ッ ト レー トが第 1のビッ トレ一卜から^ 2のビッ ト レートに変史さ れた ¾合には、 来符号化ピクチャのビッ ト の変化軌跡が、 G 0 P の先頭ピクチャから第 2のビッ トレートで各ピクチャを符号化して いた時の軌跡になるように、 未符号化ピクチャのビッ 卜量を補正し、 補 ιΗされた来符号化ピクチャのビッ 卜 Sに ¾づいて、 符号化対象ピ クチャに対して割り当てられる Π標ビッ ト を演算することを特徴 とする。

この符 化装 ίί¾においては、 G 0 Pの途中において指 ^ビッ ト レ 一卜が第 1のビッ トレ一卜から第 2のビッ ト レートに変更された場 合、 符号化ピクチャのビッ ト量の変化軌跡が、 G O Pの先頭ピク チヤから第 2のビッ ト レー卜で各ピクチャを符号化していた時の軌 跡になるように、 来符 化ピクチャのビッ ト量が補 ι され、 補正さ れた 符号化ピクチャのビッ ト Sに ！ ÷づいて、 符^化対象ピクチャ に対して割り 1てられる目標ビッ ト！:が演算される。

本発明の符号化装置は、 G 0 P内における未符号化ピクチャに対 して割り当てられるビッ ト量から、 符 化対象ピクチャに対して割 り当てられる目標ビッ ト量を演算する制御手段と、 制御手段によつ て演算された目標ビッ ト量に従って、 符号化対象ピクチャを符号化 する符号化手段を備え、 演算手段は、 G O Pの途屮において指定ビ ヅ トレートが第 1のビッ トレートから第 2のビッ トレ一卜に変更さ れた場合には、 未符号化ピクチャのビッ ト量を、 第 1のビッ トレー 卜に基づく来符号化ピクチャのビッ 卜量から第 2のビッ 卜 レー トに 基づく来符号化ピクチャのビッ ト ¾に補正し、 補 ΪΚされた未符号化 ピクチャのビッ ト量に基づいて、 符号化対象ピクチャに対して割り 当てられる目標ビッ ト量を演算することを特徴とする。

この符号化装 においては、 G 0 Pの途中において指定ビッ トレ 一卜が^ 1のビッ トレー卜から第 2のビッ ト レートに変 12された場 合、 未符号化ピクチャのビッ 卜量が、 第 1のビッ ト レートに基づく 未符号化ピクチャのビッ ト量から第 2のビッ トレー卜に基づく未符 号化ピクチャのビッ ト量に補正され、 補正された未符号化ピクチャ のビッ ト βに基づいて、 符^化対象ピクチャに対して割り ^てられ る冃標ビッ ト量が演算される。

本発明の符号化装置は、 符号化対象ピクチャから所定枚数先のピ クチャまでの未符号化ピクチャに対して割り当てられる 恕ビッ ト 量を演算し、 その予想ビッ ト量を符 化対象ピクチャの符号化難易 度に ¾づいて配分することによって、 符 ¾"化対象ピクチャに対して 割り てられる 1：1標ビッ 1、 Κを演算する制御手段と、 制御手段によ つて演算された 標ビッ ト fiに従って、 符 化対象ピクチャを符 化する符号化手段を備え、 制御手段は、 指定ビッ ト レートが G O P の途中において第 1のビッ 卜レー トから第 2のビヅ 卜 レー トに変更 された場合には、 符号化手段に与えられる目標ビッ トレー トを、 第 1のビッ 卜 レー トに対応する目標ビッ ト量から、 第 2のビヅ ト レー トに対応する目標ビッ ト量に補正することを特徴とする。

この符号化装置においては、 指定ビッ トレー卜が G O Pの途中に おいて第 1のビッ トレートから第 2のビッ トレ一卜に変更された場 合、 目標ビッ ト レート力 第 1のビッ ト レートに対応する F1標ビッ ト量から、 第 2のビッ トレートに対応する目標ビッ ト量に補正され る。

本究明の符号化装置は、 符号化対象ピクチャから所定枚数先のピ クチャまでの未符 化ピクチャに対して割り当てられる 想ビッ 卜 を演^し、 その予想ビッ ト ¾を符 化対象ピクチャの符号化難 ¾ 度に ¾づいて配分することによって、 符 化対象ピクチャに対して 割り てられる 標ビッ ト iiiを演算する制御手段と、 制御手段によ つて演 された 標ビッ ト量に従って、 符号化対象ピクチャを符兮 化する符 化手段を備え、 演算手段は、 G O Pの途中において指定 ビッ ト レートが第 1のビッ ト レートから 2のビッ トレートに変更 された場合には、 未符 化ピクチャに割り ¾てられる予想ビッ ト量 の変化軌跡が、 第 2のビッ ト レートで各ピクチャを符 -化していた 時の軌跡になるように、 未符号化ピクチャに対して割り てられる 予想ビッ ト量を補正し、 補正されたビッ ト ¾に基づいて、 符号化対 象ピクチャに対して割り てられる I I標ビッ ト を演 することを 特徴とする。

この符 化装置においては、 G 0 Pの途中において指定ビッ トレ 一卜が^ 1のビッ トレ一卜から第 2のビッ ト レ一 卜に変更された場 合、 未符号化ピクチャに割り当てられる予想ビッ 卜量の変化軌跡が、 第 2のビッ ト レートで各ピクチャを符号化していた時の軌跡になる ように、 未符号化ピクチャに対して割り当てられる予想ビッ ト量が 補正され、 補正されたビッ ト量に基づいて、 符号化対象ピクチャに 対して割り当てられる目標ビッ ト量が演算される。

本発明の符号化装置は、 符号化対象ピクチャから所定枚数先のピ クチャまでの未符号化ピクチャに対して割り当てられる予想ビッ ト 量を演算し、 その予想ビッ ト量を符号化対象ピクチャの符号化難易 度に甚づいて配分することによって、 符号化対象ピクチャに対して 割り てられる ί i標ビッ ト量を演算する制御乎段と、 制御手段によ つて ^ された 標ビッ ト』½に従って、 符号化対象ピクチャを符号 化する符号化 ^段を備え、 演算 段は、 G O Pの途中において指定 ビヅ ト レ- -卜が第 1のビッ ト レー 卜から第 2のビッ ト レー トに変史 された場合には、 来符号化ピクチャに対して割り ¾てられるビッ ト 量を、 第 1のビッ トレー卜に基づく未符 ¾ "化ピクチャのビッ ト量か ら第 2のビッ トレートに基づく未符号化ピクチャのビッ ト量に補正 し、 袖 ιΚされた未符 化ピクチャのビッ ト ^に^づいて、 符号化対 象ピクチャに対して割り 当てられる目標ビッ ト mを演算することを 特徴とする。

この符 ^化装置においては、 G 0 Pの途中において指定ビッ トレ 一トが^ 1のビッ 卜レートが第 2のビッ トレートに変 Sされた場台、 未符^化ピクチャに対して割り てられるビッ ト が、 1のビッ トレー トに基づく 符 化ピクチャのビッ ト ;:から第 2のビッ ト レ ―トに づく来符号化ピクチャのビッ ト に補 され、 補 ιΗされた 未符 化ピクチャのビッ ト量に基づいて、 符号化対象ピクチャに対 して割り 当てられる目標ビッ ト量が演算される。

本発明の符号化方法は、 指定ビッ トレートに基づいて、 G O Pに 含まれる各ピクチャに対して割り当てられる目標ビッ ト量をそれぞ れ演算する制御工程と、 制御工程によって制御された目標ビッ 卜量 に基づいて、 符号化対象ピクチャを符号化する符号化工程とを偏え、 制御工程において、 符号化工程によって符号化対象ピクチャの符号 化処现を行う場合に、 指定ビッ 卜レートが第 1のビッ トレートから 第 2のビッ トレートに変更されたとき、 第 1のビッ トレ一 卜と第 2 のビッ トレートとの差分に基づいて符 化対象ピクチャに割り当て られる目標ビッ ト量を補正することを特徴とする。

この符号化方法においては、 符号化:に程によって符^化対象ピク チャの符 ¾ィ匕処 ί を行うとき、 定ビッ トレー トが^ 1のビッ ト レ 一卜から第 2のビッ トレートに変 ίίίされた ¾ に、 1のビッ ト レ 一卜と ¾ 2のビッ 卜レー トとの差分に づいて符 化対象ピクチャ に割り てられる Η標ビッ ト が補\ '\^:.される。

本発明の符号化方法は、 G 0 Ρ内における来符 ¥化ピクチャに対 して割り てられるビッ ト と^定ビッ ト レー 卜とに^づいて、 符 号化対象ピクチャに対して割り "1てられる 標ビッ ト ¾を演算する 制御エ^と、 制御- Τ.程によって演算された Π標ビッ ト ίί;:に従って、 符 化対象ピクチャを符り-化する符 ·)■化 ηを備え、 制御 に uにお いて、 指定ビヅ ト レ一 トが G 0 Ρの途中において第 1 のビヅ ト レー トから ' 2のビッ 卜レートに変 された場合には、 符 化工 ηに - えられる ^ビッ ト レー 卜を、 ¾ 1のビッ 卜 レー 卜に対応する ί I標 ビヅ 卜 から、 第 2のビッ ト レートに対応する 標ビッ ト量に袖正 することを特徴とする。

この符号化方法においては、 指定ビッ ト レー卜が G O Ρの途中に おいて第 1のビッ トレー卜から第 2のビッ ト レートに変 された場 合、 目標ビッ トレートが第 1のビッ トレートに対応する目標ビッ ト 量から第 2のビッ ト レー 卜に対応する目標ビッ ト量に補正される。 本発明の符号化方法は、 G 0 P内における未符号化ピクチャに対 して割り当てられるビッ ト量から、 符号化対象ピクチャに対して割 り '1てられる目標ビッ ト量を演算する制御工程と、 制御工程によつ て演算された目標ビッ ト量に従って、 符号化対象ピクチャを符号化 する符号化工程を備え、 演算工程において、 G O Pの途中において 指定ビッ トレートが第 1のビッ トレ一卜から第 2のビッ トレ一卜に 変 された場合には、 来符号化ピクチャのビッ ト量の変化軌跡が、 G 0 Ρの先頭ピクチャから^ 2のビッ トレートで各ピクチャを符号 化していた時の軌跡になるように、 ^符 4化ピクチャのビッ ト量を 補正し、 補正された来符号化ピクチャのビッ ト量に基づいて、 符号 化対象ピクチャに対して割り てられる目標ビッ ト量を演算するこ とを特徴とする。

この符^化方法においては、 G 0 Ρの途中において指定ビッ トレ 一卜が第 1のビッ トレー卜から第 2のビッ トレー卜に変史された場 合、 来符号化ピクチャのビッ ト Sの変化軌跡が、 G O Pの先頭ピク チヤから第 2のビッ ト レー 卜で各ピクチャを符 化していた時の軌 跡になるように、 未符号化ピクチャのビッ ト _βが補正され、 補正さ れた朱符号化ピクチャのビッ 卜量に^づいて、 符号化対象ピクチャ に対して割り当てられる 標ビッ ト ½が演 される。

本究明の符号化方法は、 G 0 Ρ内における未符号化ピクチャに対 して り当てられるビッ ト ¾から、 符号化対象ピクチャに対して割 り ¾てられる目標ビッ ト量を演算する制御工程と、 制御工程によつ て演算された冃標ビッ ト量に従って、 符号化対象ピクチャを符号化 する符号化工程を備え、 演算工程において、 G O Ρの途中において 指定ビッ トレ一卜が第 1のビッ トレー卜から第 2のビッ トレートに 変更された場合には、 未符号化ピクチャのビッ ト量を、 第 1のビッ トレー トに基づく未符号化ピクチャのビッ ト量から第 2のビッ トレ ― 卜に基づく未符^化ピクチャのビッ ト量に補正し、 補 Ϊ された未 符号化ピクチャのビッ ト量に基づいて、 符号化対象ピクチャに対し て割り ¾てられる 標ビッ ト量を演算することを特徴とする。

この符号化方法においては、 G 0 Pの途中において指定ビッ トレ 一卜が第 1のビッ トレ一卜から第 2のビッ ト レートに変更された場 合、 符 化ピクチャのビッ ト ½が、 第 1のビッ ト レー卜に ¾づく 来符¾化ピクチャのビッ ト量から第 2のビッ ト レ一 卜に基づく来符 号化ピクチャのビッ ト量に補正され、 袖正された来符 化ピクチャ のビッ ト量に基づいて、 符号化対象ピクチャに対して割り当てられ る目標ビッ ト量が演算される。

本 明の符号化方法は、 符号化対象ピクチャから所定枚数先のピ クチャまでの来符 化ピクチャに対して '剖り当てられる予想ビッ ト fiを浈^し、 その予想ビッ ト ¾を符 化対象ピクチャの符 化難易 度に基づいて配分することによって、 符号化対象ピクチャに対して 割り てられる F1標ビッ ト！:を演算する制御工程と、 制御工程によ つて演 ΐされた目標ビッ ト に従って、 符号化対象ピクチャを符号 化する符号化エ^を備え、 制御工程において、 指定ビッ トレートが G 0 Ρの途中において第 1のビッ ト レ一卜から第 2のビッ トレ一ト に変更された場合には、 符号化工程に^えられる目標ビッ トレ一ト を、 第 1のビッ トレー トに対応する目標ビッ ト量から、 第 2のビッ トレー トに対応する目標ビッ 卜量に補正することを特徴とする。 この符号化方法においては、 指定ビッ ト レー卜が G O Pの途中に おいて第 1のビッ トレ一トから第 2のビッ トレ 卜に変更された場 合、 目標ビッ トレートが、 第 1のビッ トレー 卜に対応する目標ビッ ト量から、 第 2のビッ トレー 卜に対応する目標ビッ ト量に補正され る。

本発明の符号化方法は、 符号化対象ピクチャから所定枚数先のピ クチャまでの未符号化ピクチャに対して割り当てられる予想ビッ 卜 量を演算し、 その予想ビッ ト量を符号化対象ピクチャの符号化難易 度に基づいて配分することによって、 符号化対象ピクチャに対して 割り 、レ|てられる W標ビッ 卜 を演算する制御 に程と、 制御丄程によ つて演^された 標ビッ ト ¾に従って、 符 化対象ピクチャを符 化する符号化工程を備え、 制御工程において、 G O Pの途中におい て指定ビッ トレ一トが第 1のビッ トレー卜から第 2のビッ トレート に変更された場合には、 未符号化ピクチャに割り当てられる予想ビ ッ ト の変化軌跡が、 第 2のビッ ト レ一卜で各ピクチャを符 化し ていた時の軌跡になるように、 来符号化ピクチャに対して割り 1て られる予想ビッ ト ^を補 ιΗし、 補正されたビッ ト员に J, づぃて、 符 号化対象ピクチャに対して割り てられる U標ビッ ト量を演算する ことを特徴とする。

この符号化方法においては、 G 0 Pの途屮において指定ビッ ト レ -トが第 1のビッ 卜レートから第 2のビッ トレ一卜に変]！!された ¾ 合、 未符号化ピクチャに割り当てられる！^想ビッ ト Sの変化軌跡が、 第 2のビッ トレートで各ピクチャを符 ¾ "化していた時の軌跡になる ように、 未符号化ピクチャに対して割り当てられる予想ビッ ト量が 補正され、 補正されたビッ ト量に基づいて、 符号化対象ピクチャに 対して割り当てられる目標ビッ ト量が演算される。

本発明の符号化方法は、 符号化対象ピクチャから所定枚数先のピ クチャまでの未符号化ピクチャに対して割り当てられる予想ビッ ト 量を演算し、 その予想ビッ ト量を符号化対象ピクチャの符号化難易 度に基づいて配分することによって、 符号化対象ピクチャに対して 割り当てられる目標ビッ ト量を演算する制御工程と、 制御工程によ つて演 された目標ビッ ト量に従って、 符号化対象ピクチャを符号 化する符号化ェ程を備え、 制御ェ において、 G◦ Pの途中におい て指定ビッ トレートが第 1のビッ トレ一卜から第 2のビッ トレ一 ト に変 iされた場合には、 符 化ピクチャに対して割り ^てられる ビヅ ト fi;:を、 第 1 のビッ トレートに ^づく 符 化ピクチャのビッ ト iiiから第 2のビッ ト レートに基づく未符 化ピクチャのビッ ト量 に補 ιΗし、 補正された未符号化ピクチャのビッ ト量に基づいて、 符 号化対象ピクチャに対して割り 、!1てられる 標ビッ 卜 ¾を演算する ことを特徴とする。

この符号化方法においては、 G 0 Pの途中において指定ビッ ト レ 一卜が^ 1のビッ 卜 レー トから ; 2のビッ 卜 レートに変史された場 合、 符号化ピクチャに対して割り てられるビッ ト が、 第 1の ビッ トレートに基づく来符号化ピクチャのビヅ ト量から第 2のビッ トレー 卜に基づく未符^化ピクチャのビヅ ト に補 Π·:され、 袖 :さ れた 符号化ピクチャのビッ 卜 に ¾づいて、 符^化対象ピクチャ に対して割り当てられる Η標ビッ ト ilが演 ΐされる。 図面の簡単な説明 図 1は、 固定レートによる多重化を説明する図である。

図 2は、 統計多重による多重化を説明する図である。

図 3は、 統計多重における G 0 Ρの位相が合っていない場合にお ける符号割当レー卜の変化を説明する図である。

図 4は、 本発明を適用した画像多重化システムの構成例を示すブ ロック図である。 図 5は、 図 4の画像符号化装置 2 - 1の構成例を示すプロック図 である。

図 6は、 図 5の画像符号化装置 2— 1の動作を説明するフローチ ヤートである。

7は、 図 5の画像符兮化装置 2 一 1の動作を説明するフローチ ャ一トである。

図 8は、 V B Vバッファの容量の変化を説明する図である。 図 9は、 V B Vバッファの容量の変化を説明する図である。 図 1 0は、 V B Vバッファの ¾の変化を説叨する図である。 図 1 1は、 V B Vバッファの容量の変化を説明する Iである。 m 1 2は、 V B Vバッファの iの変化を説明する 1である。

1 3は、 V B Vバッファの容量の変化を説明する図である。 図 1 4は、 符号 Rの変化を説明する図である。

図 1 5は、 G◦ Pの途中でビッ ト レートを変 IIした ¾合の符号 Rの変化を説明する図である。 図 1 6は、 図 7のステップ S 1 1の 値 eの機能を説明する図である。

図 1 7は、 本発明を適用した画像多 化システムの他の構成例を 示すブロック である。

図 1 8は、 図 1 7の画像符号化装置 2 - 1の構成例を示すプロッ ク図である。

図 1 9は、 図 1 8の画像符号化装置 2一 1の動作を説明するフ口 一チャートである。 図 2 0は、 図 1 8の画像符号化装置 2— 1の動 作を説明するフ口一チヤ一トである。

図 2 1は、 符号量 R ' の変化を説明する図である。

図 2 2は、 符号量 Gの変化を説明する図である。 図 2 3は、 G 0 Pの途中においてビッ トレ一トを変更した場合に おける符号量 R ' の変化を説明する図である。

2 4は、 G O Pの途中においてビッ トレートを変更した場合に おける符 ¾ Gの変化を説明する図である。

図 2 5は、 図 2 0のステップ S 4 6， S 4 7における補 ( 値 eの 機能を説明する図である。

図 2 6は、 符号 ¾ Rの逆転現象を説明する図である。

2 7は、 符号量 Rの逆転現象の原因を説明する図である。

図 2 8は、 符号 Rの逆 fe ¾象を抑制する^ ί¾を説明する図であ る。

½明を実施するための 良の形態 以下、 本究明の ¾施の形態について図而を参照して詳細に説明す る。 1 4は、 本発叨を適用した岡像多 R化システム 1の構成例を ¾ す。 画像多重化システム 1は、 それぞれ、 本発明における番組デ一 夕としてのプログラム P i ( i二 1 , 2， · ■ · , n ) を入力し、 圧縮符 化する複数の画像符号化装置 2— i と、 各画像符号化装置 2— iに対してフィー ドバック型のビッ トレ一ト制御を行うコン ト ローラ 3 と、 各画像符号化装置 2— iよりそれぞれ出力される圧縮 符号化データ s t iを多重化して、 伝送路に対して画像データ S mを 出力する多重化装置 4 とを備えている。 画像符号化装置 2— iは、 プログラム P iの複雑さ （グロ一バルコンプレクシティ） C iを求め、 コン トローラ 3に出力している。 コン トローラ 3は、 各画像符号化 装置 2— iからのグロ一バルコンプレクシティ C iに基づいて、 統計 多重によ り、 各画像符号化装置 2— iのビッ ト レ一 ト bi t— rate# iを 決定し、 各岡像符号化装置 2 - iに出力している。

画像多 ¾化システム 1は、 伝送システムとして用いられる場合に は、 多 化装 4より出力される画像データ S m を、 送用デ一夕 として fム送路に対して 力する。 また、 像多 ¾化システム 1は、 放送システムとして用いられる場合には、 多重化装置 4よ り出力さ れる画像データ S m を、 放送用デ一夕として、 放送用の伝送路を介 して受信装置側に送信する。

図 5は、 冈 4における阿像符 化装; S 2— 1 (図/ は^略するが、 画像符号化装置 2— 2乃至 2— nも同様に構成される） の詳細な構 成を示すブロック図である。 この図に示したように、 j像符号化装 置 2— 1は、 プログラム P 1 を人力し、 符り-化する順番に従ってピ クチャ （ I ピクチャ， Pピクチャ， Bピクチャ） の顺番を並べ替え る画像並ベ替え 1路 1 1 と、 この岡像並べ^え回路 1 1 の出力デ一 夕を入力し、 フ レーム構造かフ ィール ド構造かを判別し、 判別結果 に応じた走査変換を行うとともに、 1 6 X 1 6画素のマクロブロッ ク化を行う走杳変換マクロブロック化问路 1 2を備える。 動き検出 回路 2 1は、 走査変換マクロブロック化回路 1 2の出力デ一夕に基 づいて、 圧縮符号化の対象となるピクチャにおいて注 [1マクロプロ ヅクを探すとともに、 参照されるピクチャにおいて、 注目マクロブ ロックとの間の画素値の差分の絶対値和あるいは自乗和が最小とな るマクロブロック （予測マクロブロック） を探して、 それらから、 動きべク トル M Vを検出して動き補償回路 2 2に送る。

減算回路 1 3は、 走査変換マク口プロック化回路 1 2の出力から、 動き補償回路 2 2が動き検出回路 2 1からの動きべク トル M Vに基 づいて生成した予測画像データ （予測マクロブロック） を減算し、

DCT ( Discrete Cosine Transform) 回路 1 4に出力する。 DCT冋路 1

4は、 人力されたデータを DCT変換し、 量子化回路 1 5に出力する。 量 ^化1' 路 1 5は、 DCT问路 1 4より人力されたデータを、 レー ト コン トローラ 2 3の g / 匕スケールコード決定 IDI路 3 3が出力する 量子化スケールコード Q 1に基づいて量子化し、 可変長符号化回路 1 6 と、 逆量子化回路 1 8に出力している。

可変長符号化回路 1 6は、 K子化回路 1 5より入力されたデータ を可変畏符号化し、 ノ ッファメモリ 1 7を介して多 ίϊ!化装 4に出 力する。 ノ ソ フ ァメモリ 1 7の使用可能な容 は、 コン ト ローラ 2 4により制御される。

逆 化回路 1 8は、 ¾ i 匕回路 1 5より供給されたデータを逆 量子化し、 逆 DCT回路 1 9に出力する。 逆 DCT冋路 1 9は、 逆量子化 回路 1 8より供給されたデータを 逆 DCT変換し、 加算 M路 2 0に出 力している。 加算回路 2 0は、 動き補 U"]路 2 2よ り出力された 測函像デ一夕と、 逆 DCTM路 1 9 よ り出力されたデ一夕とを加 :し、 加算して得られたもとの画像デ一夕 （局部的に復号された両像デー 夕） を動き補償回路 2 2に出力し、 内蔵するフ レームメモリに記憶 させる。

レー トコン トローラ 2 3は、 図 4のコン トローラ 3からの信号 bit_rate#l と、 バッファメモリ 1 7からの発生符号量 S 1に基づい て量子化スケールコード Q 1 を生成し、 量子化回路 1 5に出力して いる。 このため、 レー トコン ト ローラ 2 3の複雑さ計算回路 3 1は、 次式に従ってグロ一バルコンプレクシティ （global comlpexity) C 1 (次式では、 X i， X p , X bとして表されている） を算出する。 このグロ一バルコンプレクシティ C 1 は、 画像の絵柄の複雑さを示 すデ一夕であり、 次式に示すように、 圧縮映像デ一夕の発生符号量

(データ量） S 1 (バッファメモリ 1 7より供給される） と、 M子 化スケールコー ド Q1 (¾ 化スケールコード決定 路 3 3よ り供 給される） とを乗算して得られる値である。

X i = S i x Q i · · · ( 1 )

X p = S p x Q p · · · ( 2 )

X b = S b x Q b · · · ( 3 )

なお、 ヒ記式において、 X i， X p , X bは、 それぞれ、 I ピク チヤ、 Pピクチャ、 または Bピクチャのグロ一バルコンプレクシテ ィ C1を表し、 S i , S p , S bは、 それぞれ Iピクチャ、 Pピクチ ャ、 または Bピクチャを可変長符号化问路 1 6で符号化した際の発 生符号 giS lを表し、 Q i , Q p , Q b は、 それぞれ I ピクチャ、 Pピクチャ、 または Bピクチャを生成する際の S子化スケールコー ド Q1を表す。

このグロ一バルコンプレクシティ C 1 は、 図 1 7と図 1 8を参照 して後述するフィードフォワード型のビッ トレート制御システムに おいて用いられる符号化難易度 D1 とは必ずしも -致しないが、 量 子化スケールコード Q 1 が極端に大きかったり小さかったり しない 限り、 符号化難易度 D1とほぼ一致する。

複雑さ計算回路 3 1は、 以上のようにして、 式 （ 1 ) 乃至式 （ 3 ) に基づいて演算により求めたコンプレクシティ C 1 ( X i , X p , X b) を、 図 4のコン トローラ 3に出力し、 また、 発生符号量 S 1 ( S i , S p， S b) とともに、 目標ビヅ ト量設定回路 3 2に出力 する。 目標ビッ ト量設定回路 3 2は、 コン トローラ 3より供給され る信号 bit_rate#l、 複雑さ計算回路 3 1より供給されるコンプレク シティ CI (X i , X p , X b ) 、 並びに発生符号量 S 1 (S i , S p , S b) に基づいて、 目標ビッ ト量 T1 を設定し、 設定した目 標ビッ h T 1 を fi子化スケールコ- -ド決定 [πΐ路 33に出力する。 ¾ ί 匕スケールコード決定回路 33は、 入力された ¾標ビッ ト翳 T1に対応して量子化スケールコー ド Q1を決定し、 量子化回路 1 5 と梭雑さ計算回路 3 1に出力している。

次に、 図 4に示した画像多重化システム 1の動作について説明す る。 この画像多雷.化システム 1では、 各プログラム Pi は、 それぞ れ、 各画像符号化装置 2— iによって符号化される。 画像符号化装 i¾2 _ iは、 プログラム Pi について、 既に符号化した画像の複雑 さを^すグロ一バルコンプレクシティ C i を演算し、 コン トローラ 3に出力する。 コン トローラ 3は、 統計多 ffiの手法を用いて、 入力 された各グロ一バルコンプレクシティ C iに基づいて、 各プログラム P i に対する単位時間当たりの目標発 ΐ符号量である目標符^レー 卜としての目標ビッ ト レ一ト bit_rate#iを決定し、 各画像符号化装 置 2— iに対して出力する。 画像符号化装置 2— iは、 入力された 目標ビッ トレー ト bit—rate#iに基づいて、 プログラム Pi を圧縮符 号化し、 圧縮符号化データ s t i を多重化装置 4に出力する。 多重 化装置 4は、 入力された各圧縮符号化データ s t i を多重化して、 出力用の画像データ Sm を生成し、 伝送路に対して出力する。

次に、 図 5に示した画像符号化装置 2— 1の基本的な動作につい て説明する。 まず、 プログラム P1 は、 画像符号化装置 2— 1の画 像並べ替え回路 1 1によって、 符号化する順番に従ってピクチャ ( Iピクチャ， Pピクチャ， Bピクチャ） の順番が並べ替えられる。 次に、 走査変換マクロプロック化回路 1 2は、 そのピクチャがフレ ーム構造かフィールド構造かを判別し、 判別結果に応じた走査変換 およびマクロブロック化を行う。 走査変換マク口ブロック化回路 1 2の出力データは、 動き検出问路 2 1 と減算回路 1 3に送られる。 人力されたピクチャが I ピクチャの場合には、 減算 路 1 3にお いて予測画像デ一夕との差分をとることなく、 走査変換マク口プロ ック化回路 1 2の出力デ一夕がそのまま DCT回路 1 4に入力され、 DCT係数に変換される。 DCT係数は、 量子化スケールコード決定回路 3 3で決定された量子化スケールコード Q 1 に基づいて S子化回路 1 5によって量子化された後、 可変長符号化回路 1 6によって可変 長符^化される。 可変長符号化冋路 1 6の出力デ一夕は、 バッファ メモリ 1 7によって -旦保持された後、 ビッ トス ト リームからなる 圧縮符^化データ s t l として、 多重化装置 4に出力される。

また、 逆 E子化回路 1 8は fit子化回路 1 5の出力データを逆 子 化する。 逆 DCT回路 1 9は逆 S子化回路 1 8の出力データに対して 逆 DCT を行い、 加算回路 2 0を介して動き補償回路 2 2に入力して 保持させる。

入力されたピクチャが Pピクチャの場合には、 動き補償回路 2 2 によって、 保持している過去の I ピクチャまたは Pピクチャに対応 する画像デ一夕と、 動き検出回路 2 1からの動きべク トル M Vとに 基づいて予測画像データが生成され、 予測画像データが減算回路 1 3 と加算回路 2 0に出力される。 減算回路 1 3は、 走査変換マク口 ブロック化回路 1 2の出力データと動き補償回路 2 2からの予測画 像デ一夕との差分を演算する。 この差分データは、 DCT回路 1 4に よって DCT係数に変換され、 量子化回路 1 5によって量子化される。 可変長符号化回路 1 6は、 量子化回路 1 5の出力データを可変長符 号化し、 ノ ソファメモリ 1 7を介して、 圧縮符号化データ S t 1 と して、 多重化装匿 4に出力する。

また、 逆 fi子化问路 1 8は、 匕 ("1路 1 5の出 デ一夕を逆 ¾ ？化する。 逆 DCT回路 1 9は、 逆量子化回路 1 8の出力デ一夕に対 して逆 DCTを行う。 加算回路 2 0は、 逆 DCT回路 1 9の出力データと、 動き補償回路 2 2が出力する予測画像データとを加算し、 動き補償 回路 2 2に入力して保持させる。

入力されたピクチャが Βピクチャの場合には、 動き補 ί赏问路 2 2 によって、 保持されている過去および未来の I ピクチャまたは Ρピ クチャに対応する 2つの lij像デ一夕と、 動き検出回路 2 1 からの 2 つの動きべク トル M Vとに基づいて、 予測画像データが .成され、 減算回路 1 3 と加算回路 2 0に出力される。 減算回路 1 3は、 Λ{2査 変換マク口プロック化回路 1 2の出力データと動き補償回路 2 2か らの 測画像データとの差分を浈算する。 この差分データは、 DCT 回路 1 4によって DCT係数に変換され、 量子化回路 1 5によって量 子化される。 可変長符号化回路 1 6は、 贳子化回路 1 5の出力デー 夕を可変長符号化し、 ノ ッファメモリ 1 7を介して圧縮符号化デ一 夕 s t l として、 多重化装置 4に出力する。 なお、 Bピクチャは動 き補償回路 2 2に保持されない。

次に、 図 6と図 7のフローチャートを参照して、 レートコン ト口 —ラ 2 3 とコン トローラ 2 4によるレートコン ト口ールの動作につ いて説明する。 なお、 以下の説明においては、 各プログラム P i に 対応する発生符号量 S i、 グロ一バルコンプレクシティ C i、 目標ビ ッ ト量 T i 、 量子化スケールコード Q i、 圧縮符号化データ （符号 化ス ト リーム） s t i、 ビッ ト レ一 卜 bit— rate#i などの添字 iは、 記号が複雑になるので、 それらを個々に区別する必要がある場合を 除き、 基本的に省略する。

また、 MP E G規格において定義付けられている G 0 P (Group of Picture) において j番目のピクチャをピクチャ （ j ) と言 3し、 j + 1番目のピクチャを （ j + 1 ) というように記することにし、 GOPに含まれるピクチャの枚数を Nと記することにする。

また、 以下に説明する例は、 ピクチャ （ j ) まで第 1のビッ ト レ ート bit—rate(j)で符号化し、 ビクチャ （ j + 1 ) から第 2のビッ ト レ一 卜 bit— rate(j + l)で符号化する例である。

ステップ S 1において、 レートコン トローラ 23の目標ビッ ト量 設定回路 32は、 次の式 （ 4 ) 乃至式 （ 6 ) に基づいて、 G 0 Pに おける ： ί番目のピクチャであるピクチャ （： ί ) に対する目標符号量 T i ( j ) ， T p ( j ) , T b ( j ) をそれぞれ演算する。

R(j)

i(J =max ， bit_rate(j ) /(8xpic_rate)

NpXp 丄 N_bX_b

R(j)

Tp(j)=max ， bit rate(j)Z(8xpic— rate) (5)

N_bKpXb

N_p+

— K_bX_p

(6)

上記式において、 R ( j ) は、 符号化対象となっているピクチャ

( j ) を含んだ G◦ P内においてまだ符号化されていない （これか ら符 化する） 未符号化ピクチャに対して割り ¾てられている符号 量を示している。 つま り、 この R ( j ) は、 ピクチャ （ j ) 、 ピク チヤ （ j + l ) … ピクチャ （N) までの各ピクチャに割当てられる べきビッ ト量を加算した値である。 また、 N p , N bは、 GO P内 でまだ符 化されていない Pピクチャまたは Bピクチャの枚数を表 し、 X i， X p , X bは、 それぞれ I ピクチャ、 Pピクチャ、 また は Bピクチヤのグロ一バルコンプレクシティ Cを表している。 K p と K bは、 I ピクチャの量子化スケールコー ドを基準とした Pピク チヤと Bピクチャの量子化スケールコードの比率を表し、 次式で示 す値とされる。

K p = 1. 0 · · · ( 7 )

K b = 1. 4 · · · ( 8 )

すなわち、 Pピクチャの 子化スケールコー ドは、 I ピクチャの 量子化スケールコ一ドの 1倍とされるが、 Bピクチャの量子化スケ —ルコ一ドは、 I ピクチャと Pピクチャの量子化スケールコードの 常に 1. 4倍とされる。 これにより、 Bピクチャが、 I ピクチャま たは Pピクチャに比較して、 多少粗めに符号化されるので、 Bピク チヤで節約できる符号量を I ピクチャと Pピクチャの符号量に加え ることができ、 I ピクチャと Pピクチャの S/Nが改善されるとと もに、 それを参照する Bピクチヤの S/Nも改善されることとなり、 総合的に S/Nが改善される。

なお、 コンプレクシティ X i , X p , X bの初期値は、 目標レー トである bit rate ( j ) (ビヅ 卜/秒） に基づいて次式で示す値に 設定される。

X i = 1 6 0 x bit— rate ( j ) / 1 1 5 · · · ( 9 ) X p = 6 0 x bit一 rate ( j ) / 1 1 5 · · ■ ( 1 0 )

X b = 4 2 x bit— rate ( j ) / 1 1 5 · · · ( 1 1 ) bit_rate ( j ) は、 コン トローラ 3より ピクチャ （ j ) までのピ クチャに対して指定されていたビヅ トレー トを表す。 pic一 rateは、 ピクチャレートを表し、 例えば、 NTSC方式の場合、 3 0 (フレーム /秒） となる。 さらに、 max{A,B}は、 Aと Bのうち、 大きい方を選 択する関数を意味する。

R ( j ) ， N p , N b , K p, K b， pic— rateの各値は、 それぞ れ各画像符号化装置 2— i毎に設けられているコン ト ローラ 2 4 (図 5 ) から供給される値である。 X i , X p , X bは、 Ji述した ように、 複雑さ計算回路 3 1が式 （ 1 ) 乃至式 （ 3 ) に従って演算 した値である。

式 （ 4 ) 乃至 （ 6 ) では、 来符号化ピクチャ全体の発^する推 符号量が割当対象ピクチャの何枚分の符号: ftに相当するかが求めら れる。

例えば、 式 （ 4 ) の第 1引数の分母の第 2項の N p X p/X i K pは、 GO P内の Np枚の未符号化 Pピクチャが、 Iピクチャ何枚 分の符号量に相当するかを表し、 第 3項の N bXb/X i K bは、 G 0 P内の N b枚の未符号化 Bピクチャが、 Iピクチャ何枚分の符 号量に相当するかを表している。 第 1項の 1は、 G O P内の Iピク チヤの数を表している （ 1 G 0 P内の I ピクチャの数は、 常に 1 と されている） ので、 結局、 式 （ 4 ) の第 1引数は、 GO P内の残り の （N_ j + 1 ) 枚のピクチャが、 全て I ピクチャであると仮定し た場合における 1 ピクチャ当たりの符号量を表している。 尚、 Nは、

G O Pに含まれるピクチャの枚数である。

同様に、 式 （ 5 ) の第 1引数の分母の第 2項の N b K p X b/K b X pは、 G 0 P内の N b枚の朱符^化 Bピクチャお、 Pピクチャ 何枚分の符号量に相当するかを表している。 従って、 式 ( 5 ) の第 1の引数は、 G 0 P内の残りの （N— j + 1 ) 枚のピクチャが、 全 て Pピクチヤであると仮定した場合における 1 ピクチャ当たりの符 号量を表している。

さらに、 式 （ 6 ) の第 1引数の分母の第 2項の N p K b X p/K ρ X bは、 G 0 P内の N p枚の未符号化 Pピクチャが、 Bピクチャ 何枚分の符号量に相当するかを表しており、 第 1の引数は、 G O P 内の残りの （ N— j + 1 ) 枚のピクチャが、 全て Bピクチャである と仮定した場合における 1ピクチャ当たりの符号量を表している。 基本的には、 式 （ 4 ) 乃至式 （ 6 ) の第 1引数の値に、 I ピクチ ャ、 Pピクチャ、 または Bピクチャの E1標符 T i ( j ) , Τρ ( j ) , Tb ( j ) (以下、 Iピクチャ、 Pピクチャ、 または Bピク チヤの区別をする必要がないときは、 単に、 T ( j ) とも記述する） が決定されるが、 演算により求めたその値があまりにも小さい場合 には、 画像復号装置の VBVバッファがオーバ一フローする恐れが あるので、 式 （ 4 ) 乃至式 （ 6 ) の第 2引数に規定される値 bit_r ate ( j ) / ( 8 xpic_rate) が、 目標符号量 T ( j ) として選択さ れる。

符号化対象となっているピクチャ （ j ) がエンコードされる直前 の VB Vバッファのデ一夕占有量を B * ( j ) とし、 目標符号量 T ( j ) と同じ値だけのビッ ト量が、 ピクチャ （ j ) の実際の符号化 により究生したとすると、 次のピクチャ （ j + 1 ) のエンコード 前の VB Vバッファの占苻量 B* ( j + 1 ) は、 次の式で表される。 ステップ S 2において、 コン トローラ 2 4は、 次式に従って、 この 占 '¹ ΰΒ* ( j + 1 ) を演算する。

B * ( J + 1 ) = B * ( J ) - T ( j )

+ ( t .,· , i - t j ) x bit— rate ( j + 1 )

• • • ( 1 2 ) この式 （ 1 2 ) において、 t iは、 ピクチャ （ j ) が VB Vバッフ ァから Ϊみ出されるタイ ミングを^し、 t . ,は、 ピクチャ （ j + 1 ) が VB Vバッファから ίみ出されるタイ ミ ングを示し、 bit— rate ( j + 1 ) は、 ピクチャ （ j + 1 ) 以降のピクチャに対して新たに 設定されたビッ トレー トを示している。

さらに、 ステップ S 2において、 コン トローラ 2 4は、 次式から VB Vバッファの使用範匪を決定する。

vbv— size ( j + 1 )

= min { r max x bit_rate ( j + 1 ) , vbv— size ( 0 ) }

• • • ( 1 3 ) なお、 vbv_size ( 0 ) は、 V B Vバッフ ァの遅延時問が最高の値 て maxとなる場合の V B Vバッファの容量を表しており、 min { A , B} は、 Aと Bのうち、 小さい方を選択する関数を表す。

すなわち、 この例では、 VBVバッファの遅延時間の最高値が予 めォペレ一夕等によって規定され、 VB Vバッファの遅延時間が、 予め規定したこの最高値を上回るようなビッ トレートが使用される 場合には、 コン ト 口一ラ 2 4が V B Vバッフ ァ （図 5のバッファメ モリ 1 7に対応する） の使用範囲を狭めて （VBVバッファの容量 を等価的に小さ く して） 、 その遅延時問が、 最高値を越えないよう に制御する。 最高値て maxは、 次式で ¾される。

て X = vbv— size ( 0 ) /bit一 rate ( 0 ) ■ · · ( 1 4 ) ここで、 vbv_size ( 0 ) は、 V B Vバッファの 人' ' （MP E G規^においては決められている数侦） を^し、 bit_rate ( 0 ) は、 V B Vバッファの遅延時問が殽 値て maxとなる場合におけるビッ 卜 レートを表す。

次に、 ステップ S 3において、 コン トローラ 24は、 ステップ S 2で演 ^した V B Vバッファの , ,{ B * ( j + 1 ) と、 vbv_size ( j + 1 ) の大きさを比蛟する。 比較の結架、 B* ( j + 1 ) が、 V bv_size ( j + 1 ) と等しいカ それよ り火きい場合 （VB Vバッ フ ァの容 ήΐ: vbv— size ( j + 1 ) をそのまま使用したのでは、 VB Vバ ッファの遲延時問が倘て maxを越えてしまい、 標符号量 T ( j ) を 補 ι_Ι·:する必要がある場 には、 ステップ S 4に進み、 ステップ S 1で ,什 した ί;1標符 T ( j ) を、 次式に従って、 ( j + 1 ) と vbv— size ( j + 1 ) の^の分だけ補 ι1·:する。

Τ ( j )

- T ( j ) +B* ( j + 1 ) -vbv_size ( j + 1 )

• · · ( 1 5 ) ステップ S 3において、 B * ( j + 1 ) が、 vbv— size ( j + 1 ) よ り小さいと判定された場合には、 V B Vバッ ファが使用できない範 囲に入ることがないので、 ステップ S 4の処理はスキップされる。 次に、 ステップ S 5において、 ピクチャ （ j ) が、 ステップ S 1 で計算した目標符 量！¹ i ( ^ ， 丁卩 ， ！^ 」 ） 又はステツ プ S 4において補正された目標符号量 T i ( j ) , T p ( j ) , Tb ( j ) に基づいてエンコード （符号化処理） される。 すなわち、 量 子化スケールコード決定回路 3 3は、 目標ビッ ト量設定回路 3 2が 設定した目標符号量 Tl ( T i ( j ) ， Tp ( j ) または Tb ( j ) ) に対応する最子化スケールコー ド Q1を決 し、 i 匕 1"1路 1 5お、 この ¾子化スケールコー ド Q1に対応してピクチャ （ j ) を 子化す る。 この場合の処理は、 上述した通りであるので、 ここでは、 その 説明を省略する。

ここまでのステップにおいて、 G 0 Pにおいて j番目のピクチャ ( j ) に対する処理は終 Γし、 以下に説叨するステップにおいては、 G◦ Pにおいて j + 1赉めのピクチャ （ j + 1 ) に対する処现が行 われる。

ステップ S 6において、 コン ト口一ラ 2 4は、 次式に従って、 ピ クチャ （ j ) を符 化する前の未符^化ピクチャの符号 SR ( j ) から、 ピクチャ （： i ) を符 化して ¾ した符 凝 S ( j ) を減算 することによって、 符り-化対象ピクチャ （ j + 1 ) を含んだ未符 化ピクチャに割り当てられる符 燈 R ( j + 1 ) を求める。 つま り、 R ( j + 1 ) は、 符号化対象となっているピクチャ （ j + 1 ) から G O Pの最後のピクチャ （N) までの全ピクチャに割り当てられる ビッ ト fiを加算したビッ ト量を示している。

R ( j + 1 ) = R ( j ) - S ( j ) · · · ( 1 6 ) さらにステップ S 7において、 コン トローラ 24は、 ステップ S 6で演算された符号量 R ( j + 1 ) を、 次式に従って、 さらに VB Vバッファ使用範囲の変化量 {vbv一 size ( j ) 一 vbv_size ( j + 1 ) } で補正する。

R ( j + 1 ) 二 R ( j + 1 ) + {vbv— size ( j ) — vbv— size ( j + 1 ) }

• · · ( 1 7 ) 以上のステップ S 7までの処理の意味を、 図 8乃至図 1 3を参照 して、 さらに詳しく説明する。

コン ト ローラ 2 4は、 コン ト ローラ 3より指定されるビッ トレー ト bit— rate ( j ) (この文 は、 図 4の bit_rate#iにおける文字 i (プログラム P iに対応する） を表すものではなく、 ピクチャの顺 番を表す。 両者をまとめて記述すれば、 bit— rate#i(j)となる） が、 VB Vバッ ファの遅延 が S 値て maxとなる ¾Λのビッ ト レ一 卜 bit— rate ( 0 ) (以下、 iii'iとも称する） に等しい場 、 VBVバ ッファ （バッファメモリ 1 7 ) を、 図 8に^すように制御する。 同 図に^すように、 V B Vバッ ファの容 ¾は、 ビヅ トレート bit— rate ( 0 ) で順次堦加し、 遅延時問て maxだけ終過した時点で、 VB Vバ ッファの容量は、 vbv_size ( 0 ) となる。 以下、 VBVバッファに 記 tfiされた画像データは、 適 み出され、 復 されるたびに減少 される。 また、 新たな刚像データが ¾き込まれると、 そのデータ は増加する。 以 にのような動作が、 順次繰り返される。

方、 コン ト口一ラ 3より指定されたビッ トレ一卜 bit— rate ( 1 ) が、 閾値 bit— rate ( 0 ) より人きい場合、 コ ン ト ローラ 2 4は、 ス テツプ S 5のエンコー ド処理時において、 ノ ソ フ ァメモリ 1 7を制 御し、 時間て 1 だけ、 画像データの出力を遅延させる。 この遅延時 間て 1は、 次式により演算される。

r 1 = r max—て 2

= r max— vbv— size 0 ) / tut— rate ( 1 ) · · · ( 1 8 )

VB Vバッファには、 この遅延時間 rlの後、 ビッ ト レー ト bit_r ate ( 1 ) でデ一夕が書き込まれ、 窗き込み開始後、 時問て 2が経過 した時点において、 VB Vバッファの容量は、 vbv— size ( 1 ) =vb v_size ( 0 ) となる。 図 9を図 8と比較して明らかなように、 V B Vバッファの ¾人の ¾延時問 Trmaxは、 [ 者とも M -となっている。

'方、 コン ト ローラ 3よ り指 されたビヅ ト レ一 ト bit_rate ( 2 ) せ、 閾値 bit— rate ( 0 ) より小さいとき、 コ ン ト ローラ 2 4は、 ノ、 ッファメモリ 1 7を制御し、 その容量を （使用可能な範關を） vbv— size ( 2 ) 以下に設定 （制限） する。 この演算は、 図 6のステップ S 2で行われる。 すなわち、 VB Vバッファの容 ¾vbv_size ( 0 ) のうち、 vbv— size ( 2 ) を越える範 Ifflは、 この例の場^使用されな い。 その結果、 VB Vバッファの ¾¾vbv— sizeは、 遲延時間て maxが 経過した時点において、 vbv— size ( 2 ) (二て max x bit— rate ( 2 ) ) となる。 従って、 この場 rにおいても、 VBVバッファの ®延時問 は、 て maxとされる。 すなわち、 図 8乃至 [ 1 0のいずれの場合にお いても、 V B Vバッフ ァの; M延時^は、 て maxとして -; とされる。 これにより、 ビッ ト レートのシームレスな変更が広範 fflにわたつ て可能となり、 デジタル放送における遅延時問が -定なライブ 放 送に適用可能となる。

図 1 0において、 遅延時問て 3 (=vbv_size ( 0) /bit一 rate ( 2 ) ) の時間だけ V B Vバッファにデータが書き込まれると、 その容量は、 vbv_size ( 0 ) となる力 この例では、 容量 vbv_size ( 2 ) 以下の 範囲だけが使用可能とされるので、 実際には、 その容量が vbv— size ( 0 ) に達することはない。

図 1 1は、 ビッ トレートが、 bit_rate ( 1 ) から bit一 rate ( 2 ) に途中で変更された場合の V B Vバッファの変化の様子を表してい る。 時刻 t 1までの時間において、 ビッ ト レ一 卜の値は、 閾値 bit_r ate ( 0 ) より人きい値 bit— rate ( 1 ) とされている。 従って、 この 場台の V B Vバッファの変化の様子は、 [ 19に示した場合と同様と なる。 これに対して、 時刻 t 1において、 ビッ トレー 卜が 値 bit— r ate ( 0 ) より小さいビッ ト レート bit— rate ( 2 ) に変史されると、 VBVバッファの容量は、 vbv— size ( 2) (二て max x bit— rate ( 2) ) に制限される。

T M 5のような固定ビッ ト レ一ト、 かつ固定の V B Vバッファの !.；:を前提としたレート制御方式を使川した場合、 V B Vバッファ の便川範 Mを _r计算しただけでは、 図 1 2に したような問題が^じ る。

すなわち、 ビッ トレートが閾値 bit_rate ( 0 ) より大きい値 bit— rate ( 1 ) から小さい値 bit— rate ( 2 ) に変更された ¾合、 制限さ れた V B Vバッファの範剛内でデータの ΜΪが推移するには、 V B Vバッファのデ一夕推移の軌跡は、 I 1 2において ¾線で示すよう に変化する必要がある。 しかしながら、 T M 5のレート制御アルゴ リズムにおいて、 目標符号量は、 V B Vバッファの S大値に近い領 域を推移するように決定されるので、 使川範囲を制限しただけでは、 VBVバッファは、 図 1 2において点線で示すように、 使用するこ とができない範囲を推移してしまうことになる。

そこで、 例えば、 VB Vバッファの使用範囲が制限されたとき、 最初の I ピクチャの発生ビッ ト量だけ、 スタッフイ ングにより発生 ビッ ト量を増加するようにすることも考えられる。 しかしながら、 そのようにすると、 最初の I ピクチャの発生ビッ ト量が大きくなる ので、 G 0 Pの残りのビッ ト量 R ( j ) お、 式 （ 1 6 ) (R ( j + 1 ) =R ( j ) - S ( j ) ) に従って更新されると、 残りの未符号 化ピクチャに割り当てられるビッ ト量 R ( j + 1 ) が非常に小さい 値となってしまい、 結局 V B Vバッファの軌跡は、 図 1 2の上の方 の使川できない範 [fflに戻ろう としてしまう。

そこで、 ステップ S 3において、 _ヒ記した式 （ 1 2 ) により ^算 したバッファ占有量 B* ( j + 1 ) と、 式 （ 1 3 ) で求めた VB Vバ ッファの容量 _Vbv_size ( 2 ) の大きさを比較し、 その結果、 B* ( j + 1 ) が、 vbv— size ( 2 ) よ り大きい場合には、 式 （ 1 5 ) に示す ように、 その差分 （B * ( j + 1 ) 一 vbv一 size ( 2 ) ) だけ、 ステッ プ S 1で演算した目標符号量 T ( j ) がステップ S 4で補 される。 その結果、 図 1 3に示すように、 補 後の f j標符号 T ( j ) は、 VB Vバッファの容量 vbv一 size ( 2 ) よ り、 差分 （ B * ( j + 1 ) - vbv_size ( 2 ) ) だけ小さい値となり、 VB Vバッ ファの使用不可 の領域が使用されてしまうようなことが防止される。

以上のようにして、 V B Vバッファの使川可能範閥を制限するた めの処理が行われた後、 図 6に続く図 7のフ ロ一チヤ一トのステツ プ S 8以降の処理が行われる。 ここでは、 G O Pの途中でビッ ト レ 一卜が変更された場合の処理が行われる。

目標ビッ ト量設定回路 3 2は、 ステップ S 8でピクチャ （ j + 1 ) は G 0 Pの先頭のピクチャであるか否かを判定する。 つま り、 「 j + 1」 が 「 1」 である場合である。 ピクチャ （ j + 1 ) が G 0 Pの 先頭のピクチャでない場合には、 ステップ S 9に進み、 目標ビッ ト 量設定回路 3 2は、 その GO P内において、 ビッ ト レートの変更が、 コン トローラ 3より指令されているか否かを判定する。 ビッ トレー 卜の変更が指令されていない場合には、 ステップ S 1 0に進み、 目 標ビッ ト量設定回路 3 2は、 処理対象がシーケンスェン ドに達した か否かを判定し、 達していない場合には、 ステップ S 1に戻り、 そ れ以降の処理が繰り返し実行される。 処理対象がシ一ケンスェン ド に達したと判定された場合、 処现は終 される。

ステップ S 9において、 ビッ トレートの変 ii!が指令されたと判定 された場合、 目標ビッ ト 設定回路 3 2は、 ステップ S 1 2に進み、 次式に従って、 ステップ S 7で補正した符¾虽11 ( j + 1 ) を、 G ◦ Pの残りのピクチャの枚数 （ N— j ) にピクチャ当たりのビッ ト £ のノ 分 （bit— rate ( j + 1 ) -bit_rate ( j ) ) /pic— rateを乗 算した値で補^する。

R ( j + 1 ) = {bit一 rate ( j + 1 ) 一 bit— rate ( j ) }

x ( N - j ) /pic— rate + R ( j + 1 )

• · · ( 1 9 ) すなわち、 G 0 Pの途中でビッ ト レートが変更されない場 /、 符 SRは、 [ 11 4に示すように、 エンコードが進むに従って、 初期 値 R1から漸次小さい値に変化する。 なお、 図 1 4において、 突線は、 各ピクチャが等しい符号量でエンコードされるものと仮定した場合 のものであり、 実際には、 I ピクチャや Pピクチヤの発生ビッ ト量 が、 Bピクチャよりも多くなるので、 符号量 Rは点線で示したよう に変化する。

これに対して、 G 0 Pのピクチャ （ j ) をエンコードした後、 次 のピクチャ （ j + 1 ) からビッ トレートを変更することが要求され た場合、 ピクチャ （ j ) 以降の未符号化ピクチャに割り当てられる 符号量 R ( j ) がステツプ S 1 2で式 （ 1 9 ) で示すように補正さ れる。 すなわち、 残りの未符号化ピクチャに割り当てられる符号量 Rが、 第 1のビッ トレート bit_rate ( j + 1 ) で、 初期値 R 1から、 漸次減少するように制御されていたものが、 ピクチャ （ j + 1 ) の タイ ミ ングにおいて、 符号量 R ( j + 1 ) が補正される。

この補正されたビッ ト！: R ( j + 1 ) は、 初期値を R 2 として第 2のビッ トレ一 ト bit— rate ( j + 1 ) で G 0 Pの先 ¾ピクチャから エンコードしていたと場合のピクチャ （ j + 1 ) の符 SR ( j + 1 ) に等しい。

い換えると、 G 0 Pの途中のピクチャであるピクチャ （ j + 1 ) を符 -化する際に、 1のビッ トレートから、 第 2のビッ トレート に変 Iされたときに、 GO Pの先頭のピクチャ （ 1 ) から、 第 2の ビッ トレ一卜で符 化処理がおこなわれていたかのように、 ピクチ ャ （ j + 1 ) 以降の未符号化ピクチャに割り 当てられるビッ ト を 補正するということである。

次に、 ステップ S 1 3に進み、 標ビッ ト ¾設定回路 3 2は、 ス テツプ S 1 2で補 Π:した符 S R ( j + 1 ) せ、 め設定してある 所定の ^小値 Rminよ り小さいか否かを判定する。 符号 i¾R ( j + 1 ) が、 最小値 Rminと等しいか、 それより大きい場合には、 ステップ S 1 4において、 補正値 eに 0が設定される。 これに対して、 符号量 R ( j + 1 ) が、 最小値 Rminより小さい場合には、 ステップ S 1 5 において、 補正値 eに符号量 R ( j + 1 ) と最小値 Rminとの差 （R ( j + 1 ) -Rmin) が設定される。 この補正値 eは、 ステップ S 1 1で使用されるものである。 この補正値 eの機能については後述す る。

ステップ S 1 4または、 ステップ S 1 5の処理の後、 ステップ S 1 0に進み、 それ以降の処理が繰り返し実行される。 一方、 ステップ S 8において、 符号化対象ピクチャ （ j + 1 ) が、 G 0 Pの先頭のピクチャであると判定された場合には、 ステップ S 1 1に進み、 目標ビッ ト: :設定回路 3 2は、 次式に従って、 符号量 R ( j + 1 ) を補 il:する。 つま り、 G 0 Pの先 ピクチャ （ 1 ) を 含む、 それ以降の未符り-化ピクチャに割り "1てられるビ 'ソ 卜 ,ϊ: R ( 1 ) は、 次式によって浈算される。

R ( 1 )

二 bit— rate ( j + 1 ) x N /pic— rate + R ( j + 1 ) + e

• · · ( 2 0 ) 尚、 この bit— rate ( j + 1 ) は、 ピクチャ （ j + 1 ) に対して設 定された新たなビッ ト レートを^わし、 R ( j + 1 ) は、 前の G O Pの 後のピクチャ （N) に対して式 ( 1 6 ) によって演 された 結 である。

その後、 ステップ S 1 0に^り、 それ以降の処理が繰り返し' 行 される。

ここで、 補: ι 値 eの機能について説明する。 ステップ S 1 2で、 式 （ 1 9 ) によ り袖正された符号 ¾R ( j + 1 ) が、 予め設定され ている所定の最小値 Rminよ り小さくなつた場合、 これを放 ¹して、 次の G 0 Pのビッ トレートを制御すると、 V B Vバッファがオーバ —フローしてしまう恐れがある。

そこで、 G 0 Pの途中でビッ トレートの変更が指令され、 G O P の最後のピクチャ （N枚目のピクチャ） をエンコードした時点にお いて、 R ( j + 1 ) が、 最小値 Rminより小さい場合には、 図 1 6に 示すように、 その差分 eだけ、 次の G O Pの符号量 Rの初期値 R 2 を小さ くさせ、 値 （R2_ e ) を初期値として、 その G 0 Pの符号量 を設おさせる。 これにより、 V B Vバッファのオーバ一フローが防 止される。

以上においては、 各画像符号化装置 2— iにおいて、 実際に符 - 化されたデータのグロ一バルコンプレクシティ C iをコン トローラ 3 にフィードバックすることにより、 プログラム P iを統 多 ΐβするよ うにしたが、 フ ィードフォワード型の制御により ビッ トレートを制 御することもできる。 図 1 7は、 この場合の構成例を表している。 図 1 7に示した画像多重化システム 1の構成は、 基本的に図 4に示 した画像多重化システム 1 と同様であるカ^ 各画像符^化装 Κ 2 - iから、 コン トローラ 3に出力されるのが、 グロ一バルコンプレク シティ C iではなく、 符 化難易度 D iとされている。 その他の構成 は、 [义1 4における場合と同様である。

この符号化難易度とは、 符号化処理の結果発生するビッ ト量を表 わす指標であって、 符号化対象のピクチャの画像が複雑であつた り、 動きが多い両像の場合には、 この符号化難易度が くなり、 符^化 対象のピクチャの画像が簡単であったり、 動きが少ない画像の場合 には、 この符号化難易度が低くなる。

図 1 8は、 図 1 7の画像符号化装置 2— 1 (図示は省略するが、 画像符号化装置 2— 2乃至 2— nも、 画像符号化装置 2 - 1 と同様 に構成されている） の構成例を表している。 その基本的な構成は、 図 5に示した場合と同様であるが、 図 1 8の構成例においては、 走 査変換マクロブロック化回路 1 2 と減算回路 1 3の間に、 イ ン トラ A C演算回路 4 1 と F I F 0 ( F irst In F irst Out) 4 2が設けら れている。 また、 レー トコン トローラ 2 3には、 M E残差計算回路 5 1 と符号化難易度計算回路 5 2が付加されている。 イ ン トラ A C演算回路 4 1は、 走査変換マクロブロック化回路 1 2の出力を入力し、 Iピクチャにおけるイ ン トラ ACを算出し、 符 号化難易度計算回路 52に出力している。 イ ン トラ AC演算回路 4 1はまた、 走杏変換マクロブロ ック化 L"l路 1 2より供給された ifiij像 データを F I F042に出力する。 F I F 042は、 人力された则 像データを、 少なく とも、 目標ビッ ト 設 回路 3 2が、 標ビッ ト を設定するのに必要な時問に対応する時間だけ、 人力された画 像デ一夕を遲延して演算冋路 1 3に出力する。

1 £残¾計^回路 5 1は、 動き検出回路 2 1が出力する ME残^ デ一夕に Sづいて、 ME残^を計^し、 符^化難易度計算冋路 52 に出力している。 なお、 ここで ME残^とは、 動き ！^測^ ¾の絶対 値または 2乗値を、 ピクチャ全体について加算したものであり、 M E残^デ一夕は、 ME残差を求めるためのデ一夕である。

符^化難易度計算回路 5 2は、 ME残差計算回路 5 1により算出 された ME残差と、 ィ ン トラ AC演算 路 4 1によ り演算されたィ ン トラ ACに Sづぃて、 ピクチャの符 化の難易度を表す符号化難 易度 D1を算出し、 コン トローラ 3に送出するとともに、 目標ビッ ト 量設定回路 32に出力する。 なお、 この構成例においては、 符号化 難易度計算回路 52により演算された符号化難易度 D1がコン トロー ラ 3に伝送されているため、 複雑さ計算回路 3 1が演算により求め たグロ一パルコンプレクシティ C1は、 コン トローラ 3に供給されな い。

図 1 8の画像符号化装置 2— 1のその他の構成は、 図 5における 場合と同様である。

次に、 図 1 8の画像符号化装置 2— 1の、 主に、 図 5における場 合と異なる構成の動作について説明する。 ィ ン トラ A C演算回路 4 1は、 走杏変換マクロプロック化回路 1 2の出力する両像データか ら、 イ ン トラ A Cを演算する。 イン トラ A Cとは、 I ピクチャにお いて、 8 X 8画素のマクロブロック内の各 iiiii Mの闹 値と、 マクロ ブロ ック内の画 値の平均 とのノ 分の絶対侦の総不 11を; 味し、 次 式で ¾される。

Intra— AC二∑ | f curr ( x , y ) - (∑ ΐ curr) /N |

• · · ( 2 1 ) なお、 この式において、 Intra— AC は、 イ ン トラ A Cを表し、 f curr ( x , y ) は、 マクロブロック内の Ρΐ素の両素値を表し、 ∑ f currは、 マクロブロック内の l j素値の総和を表し、 Nはマクロ ブロ ヅク内の画素数を している。 また、 ∑は、 マクロブロック内 の各画素についての総和を表している。

動き検出回路 2 1は、 動きベク トルを求める際に、 その値が、 最 小となったマクロブロ ック問における画 fn'iの :分の絶対値和 （あ るいは 乗和でもよい） を ME残^デ一夕として、 ME残恙計算回 路 5 1に出力する。 ME残差計算回路 5 1は、 動き検出问路 2 1か らの M E残差デ一夕をピクチャ全体について加算し、 ME残差を計 算する。 すなわち、 ME残差計算回路 5 1で次式が演算される。

ME_reside=∑ | f j (x, y) - f j-1 (x , y) I

• · · ( 2 2 ) 上式において、 ME— reside は ME残差を表し、 f j (x, y ) , f j-1 (x, y ) は、 各マクロブロックの画素値を表す。 ∑は、 マク ロブロック内の各画素についての総和を表している。

符号化難易度計算回路 5 2は、 イ ン トラ A C演算回路 4 1より供 給されたイ ン トラ A Cと、 M E残差計算回路 5 1 よ り供給された M E残差に基づいて、 符号化難易度を計算する。 符号化難易度とは、 ピクチャの符号化の難易度を表すものであって、 符号化したときに 同じ画質を保っために必要なデ一夕量の比率と言い換えることがで きる。 イ ン トラ A Cは、 絵柄の複雑さを表し、 M E残差は、 映像の 動きの早さ、 および絵柄の複雑さを表し、 それらは符号化の難易度 と強い相関を有するので、 これらを変数とする、 例えば 1次関数に より、 符号化難易度 D 1が、 符号化難易度計算回路 5 2で演算される。 このようにして、 先読みした統計量 （イ ン トラ A C ) に基づいて、 精度の高い符号化難易度が演算される。 コン トローラ 3は、 この符 号化難易度 D iに基づいて、 目標ビッ トレ一 ト bit_rate#iを決定し、 各画像符号化装置 2— iに出力する。

次に、 図 1 8の目標ビッ ト量設定回路 3 2 とコン トローラ 2 4の 動作について、 図 1 9 と図 2 0のフローチャートを参照して説明す る。 ステップ S 3 1乃至ステップ S 3 7の処理は、 基本的に、 図 6 に示したステップ S 1乃至ステップ S 7の処理と同様の処理である。 ただし、 ステップ S 3 1においては、 上述した式 （ 1 ) 乃至式 （ 3 ) に代えて、 次の式に従って、 ピクチャ （ j ) の目標符号量 T ( j ) が演算される。 なお、 式 （ 2 3 ) においては、 ピクチャ夕イブに対 応する添え字 i , p , bは省略されている。

, bit_rate(j) /(8Xpic_rate)ト （23)

ここで、 T ( j ) は、 処理対象ピクチャ （ j ) の目標符号量を表 し、 R， （j)は、 処理対象ピクチャ （ j ) から未来の L枚のピクチャ に対して割り当てられるビッ ト量を表し、 Dj は、 ピクチャ （ j ) の符¾化難易度を表している。 すなわち、 ヒ記式により、 ピクチャ ( j ) の H標符号量 T ( j ) が、 先読みする L枚分のピクチャに割 り当てられるビッ ト量 R' (j)を、 そのピクチャの符号化難易度 Dj と、 N枚の先読みしたピクチャの符号化難易度 Dj の和の比で重み 付けして求められる。

次のステップ S 3 2乃² ステップ S 3 5の処即.は、 図 6のステヅ プ S 2乃¾ステップ S 5の処 ί と 様の処现であり、 ここでは、 そ の説明は^略する。 ステップ S 3 6では、 式 ( 1 6 ) に代えて、 次の式 （ 24 ) に基づいて、 処理対象ピクチャ （ j + 1 ) から未来 の L枚のピクチャに対して割り当てられるビッ ト R' + が演 される。

R， ( j + 1 ) =R， ( j ) - S ( j ) + F ( j + L )

• • • ( 24 ) 式 （ 2 4 ) において、 R ' ( j ) は、 ピクチャ （ j ) から未来の L枚のピクチヤに対して割り当てられるビッ ト量を示し、 S ( j ) は、 ピクチャ （ j ) の発生ビッ ト量を示し、 F ( j + L) は、 ピク チヤ （ j + 1 ) の 枚未来のピクチャであるピクチャ （ j + L ) に 対して割り当てられる予想ビッ ト量を示している。

なお、 R， （ j ) の初期値は、 先読みされた L枚分のピクチャの 符号量に対応して次式で表される。

R' ( 1 ) =bit_rate ( 1 ) X L /pic— rate

• · · ( 2 5 ) 上記式 （ 24 ) において、 F ( j + L ) は、 ピクチャ （ j + 1 ) の L枚未来のピクチャであるピクチャ （ j +L) のピクチャタイプ に応じたビッ ト量であり、 例えば、 次式により規定される。 なお、 式 （ 24) においては、 式 （ 2 6 ) 乃至式 （ 28 ) におけるピクチ ャタイプに対応する添え字 i , p, bは省略されている。

G(j+L)

F_P(j+L) (27)

NbKpX_b

N_p+

K_bX_D—

上記式において、 Gは、 ピクチャ （j +L) を含んだ GOPのピ クチャ （ j + L ) 以降の未符号化ピクチャに割り当てられるビヅ ト 量を示し、 図 4と図 5に示したフィードバック型のレ一トコン トロ ールシステムにおける符号量 Rに対応する。 この符号量 Gも、 ステ ップ S 36において、 次式に従って更新される。

G ( j + L + 1 ) = G ( j +L) - F ( j + L )

• • • ( 29 ) なお、 式 （ 29) における F ( j +L) は、 上記式 （ 2 6) 乃至 ( 28 ) のうち、 対応するピクチャタイプの式により表されるもの である。

符号量 R' は、 これから符号化される L枚のピクチヤの符号量を 表すから、 基本的には、 図 2 1に実線で示すように、 エンコードの 進行状況に拘らず、 常に · の値となる。 実際には、 各ピクチャ夕 イブ ¾に符号量が変化するので、 図 2 1において破線で示すように、 実線で示す値の近傍で変化する。

これに対して、 符号量 Gは、 G 0 Pにおける未符号化ピクチャに 対して割り当てられる符号量であるから、 図 2 2に示すように、 フ イードバック型のレートコン トロールにおける符号 ¾ Rと同様に、 エンコードの進行にともなって、 漸次小さい値に変化し、 G O Pの ¾初でリセッ 卜される。

次に、 ステップ S 3 7で、 図 6のステップ S 7における式 （ 1 7 ) に代えて、 式 （ 3 0 ) に従って、 符号量 R' ( j + 1 ) の更新処现が ί亍われる。

R ' ( j + 1 )

= R ' ( j + 1 ) + {vbv一 size — vbv— size ( j + 1 ) }

• • • ( 3 0 ) 以上のステップ S 3 1乃至ステップ S 3 7の処理は、 フィードノ ック型レ一トコン ト口一ルの例において説明した場合のように、 V B Vバッファの使用する範囲を制限するために行われる処理である。 次に、 ステップ S 3 8に進み、 目標ビッ ト量設定回路 3 2は、 ピ クチャ （ j + 1 ) が、 G 0 Pの先頭のピクチャであるか否かを判定 する。 ピクチャ （ j + 1 ) が G 0 Pの先頭のピクチャでない場合に は、 ステップ S 3 9に進み、 G 0 Pの途中においてビッ トレートの 変更が指令されているか否かが判定される。 ビッ 卜レートの変更が 指令されていない場合には、 ステップ S 4 0に進み、 エンコード処 理がシーケンスエン ドに達しているか否かが判定され、 まだ達して いない場合には、 ステップ S 3 1に戻り、 それ以降の処理が繰り返 し実行される。 ステップ S 4 0において、 処理がシーケンスェン ド まで達していると判定された場合、 処现は終 Γされる。

ステップ S 3 9において、 G 0 Pの途中においてビッ ト レートが 変更されていると判定された場合、 ステップ S 4 1に進み、 目標ビ ッ ト量設定回路 3 2は、 次式に従って、 符号量 R' ( j + 1 ) と符 号 G ( j + 1 ) を補 ![-；する o

R ' ( j + 1 )

= {bit— rate ( j + 1 ) —bit— rate ( j ) }

x L /pic_rate+ R ' ( j + 1 ) · · · ( 3 1 ) G ( j + 1 )

= {bit— rate ( j + 1 ) —bit— rate ( j ) }

x ( N - j ) /pic—rate + G ( j + 1 )

• • • ( 3 2 ) 上式において、 bit— rate ( j ) は、 ピクチャ （ j ) までのピクチ ャの符号化する際に指定されていた第 1のビッ トレー トを示し、 bi t_rate ( j + 1 ) は、 ピクチャ （ j + 1 ) からのピクチャを符号化 する際に指定された第 2のビッ トレートを示し、 Lは、 符号化処理 に先立って符号化難易度が演算されるピクチャの枚数 （符号化難易 度が先読みされるピクチャ枚数） を示し、 Nは GO Pに含まれるピ クチャの枚数を示している。

このように、 G 0 Pの途中でビッ トレートが第 1のビヅ トレー卜 から第 2のビッ トレートに変更された場合には、 所定枚数 （ L枚） のピクチャに割り当てられる符号量 R' は、 図 2 3に示すように、 第 1のビッ トレ一卜に対応した値 R1から第 2のビッ トレー トに対応 した R 2に補正される。 つま り、 符号化対象ピクチャを含む L枚の 未来のピクチャまでの来符^化ピクチャに割り当てられるビッ 卜 R ' は、 新たに設定された第 2のビッ トレー トで符号化処理されて いたかのように補正される。 具体的には、 式 （ 3 1 ) から理解でき るように、 1 ピクチャあたりのビッ ト量の差分に、 符号化難易度を 先読みする L枚のピクチヤの枚数を乗算した値で補正することがで きる。

-方、 G 0 Pにおける符号化対象ピクチャを含む未符号化ピクチ ャに割り当てられる符号 ¾Gは、 図 24に示すように、 初期値 R1か ら、 ビッ トレート bit_rate ( 1 ) でエンコー ドが行われてきたとき の値 G ( j + 1 ) から、 最初から初期値 R 2でエンコードを行ってき た場合における値 G ( j + 1 ) に変 Kされる。 このことは、 図 1 5 を参照して説明した符号 における場合と同様である。 つまり、 1 ピクチャあたりのビッ 卜量の差分に、 GO Pにおける来符号化ピ クチャの枚数 （N_ j ) を乗算した値によって補正することができ る。

次に、 ステップ S 4 2に進み、 目標ビッ ト量設定回路 3 2は、 G O Pにおいてピクチャ （ j + 1 ) 以降の未符号化ピクチャに割り当 てられる符号量 G ( j + 1 ) が、 最小値 Gminより小さいか否かを判 定し、 符号量 Gが、 最小値 Gminと等しいか、 それより大きい場合に は、 ステップ S 43において、 補正値 eに 0を設定する。

ピクチャ （ j + 1 ) 以降の未符号化ピクチャに割り当てられる符 号量 G ( j + 1 ) が、 最小値 Gminより小さい場合には、 ステップ S 4 4において、 補正値 eに、 両者の差 （ G ( j + 1 ) - G min) が設 定される。 この処理は、 図 7におけるステップ S 1 3乃至ステップ S 1 5の処理と同様の処理である。 この補正値 eは、 後述するステ ヅプ S 4 6、 またはステップ S 4 7の処理において用いられる。 ステップ S 3 8において、 符^化対象となっているピクチャ （ j + 1 ) 力'、 G O Pの先頭のピクチャであると （つま り 「 j + 1」 二 「 1」 ） 判定された場合、 ステップ S 4 5に進み、 目標ビッ ト量設 定冋路 3 2は、 ビッ ト レ一卜の変更が指令されているか否かを判定 する。

ここで、 ビッ トレー トの変更の有無の判定が行われ、 図 7のステ ップ S 8において、 ピクチャ （ j + 1 ) が G 0 Pの先頭のピクチャ であると判定された場合に、 ビッ ト レートの変更処理が行われない のは、 図 7の処理の場合には、 ピクチャ （ j + 1 ) が G O Pの先頭 のピクチャであっても、 そうでなくても、 ステップ S 1 1で同一の 式 （ 2 0 ) が用いられるので、 ビッ トレー卜の変更判断が不要であ るのに対して、 図 2 0のフローチヤ一卜の処理においては、 ピクチ ャ （ j + 1 ) が G 0 Pの先頭のピクチャである場合においても、 ビ ッ トレー卜の変更の有無によ り処理が異なるので、 ステップ S 4 5 の判定処理が挿入されている。

すなわち、 ステップ S 4 5において、 ビッ トレー トの変更が指令 されていないと判定された場合には、 ステップ S 4 6において、 目 標ビッ ト量設定回路 3 2は、 次式に従って、 G O Pの最初のピクチ ャを含む未符号化ピクチャに割り当てられる符号量 G ( 1 ) は、 次 式によって演算される。

G ( 1 ) 二 bit— rate ( j + 1 ) x N/pic_rate+ G ( j + 1 ) + e

• · · ( 3 3 ) 一方、 ステップ S 4 5において、 ビッ ト レートの変更が指令され ていると判定された場合には、 ステップ S 4 7に進み、 [1標ビッ ト a設定回路 3 2は、 次式に従って、 G0 Pの ¾初のピクチャ （ 1 ) から L枚先の来符号化ピクチャに割り ^てられる符 量 R' ( 1 ) と GO Pの最初のピクチャ （ 1 ) を含む未符号化ピクチャに割り当 てられる符号量 G ( 1 ) を更新する。

R' ( 1 ) = {bit— rate ( j + 1 ) 一 bit— rate ( j ) }

x L /pic_rate+ R' ( j + 1 ) · · · ( 3 4 )

G ( 1 )

二 bit— rate ( j + 1 ) N/pic_rate+ G ( j + 1 ) + e

• · · ( 3 5 ) 上式において、 bit_rate ( j ) は、 ピクチャ （ j ) に対応するビ ッ トレ一卜であって、 bit_rate ( j + 1 ) は、 ピクチャ （ j + 1 ) に対応するビッ 卜レー トである。

ステップ S 4 6の処理とステップ S 4 7の処理を比較して明らか なように、 ステップ S 4 7の処理は、 ステ ップ S 4 6の処理に較べ て、 符号量 R ' ( 1 ) の更新処理が、 符号量 G ( 1 ) の処理に加え て付加されている。

補正値 eの機能は、 図 1 6を参照して説明した場合と同様であり、 図 2 5に示すように、 符号量 Gの変化にともなって G◦ Pの最後の ピクチャの符号化が行われた直後において、 eの値が 0でない場合 には、 次の G 0 Pの符号化時の符号量 Gの初期値 R 2の値が、 eの分 だけ小さい値に調整される。 ステップ S 4 3 , S 4 4 , S 4 6 , S 4 7の処理の後、 ステップ S 4 0に進み、 それ以降の処理が繰り返し実行される。

以上のフィー ドバック型、 およびフ ィー ドフォワー ド型のビッ ト レー トコン トロールの実施の形態のいずれにおいても、 V B Vノ ソ ファの使用範囲を制限するようにしたが、 画 fiを考慮したとき、 千の問題が生じる場合がある。 すなわち、 図 2 6に示すように、 最 初の G O Pにおいて、 3Mbpsのビッ トレートが設定され、 次の G O Pにおいて、 1. 5 Mbpsのビヅ トレ一卜が設定され、 さらに、 その 次の G O Pにおいて、 再び 3 Mbpsのビッ トレートが設定されたとす る。 このとき、 V B Vバッフ ァの容量を 1. 8Mbitとし、 閾値 bit— rate ( 0 ) を 3. 0Mbpsとすると、 遅延時問て max= l . 8/3. 0 = 0. 6 (秒） となる。

このとき、 各 G◦ Pにおける T M 5のビッ トレート制御ァルゴリ ズムに適用されている G 0 Pにおける未符号化ピクチャに割り ¾て られる符号量 Rの初期値は、 b i t_rate X N / p i c— rateの式から次の ように求められる。 なお、 G O Pの枚数 Nを 1 5とし、 pic— rate = 3 0とする。

すなわち、 最初の G O Pにおいては、 未符号化ピクチャに割り当 てられる符号量 Rの初期値は、 1. 5 (= 3. 0 x 1 5/3 0 ) Mb itsとなる。 次の GO Pにおいては、 初期値は、 0. 7 5 (= 1. 5 X 1 5 / 3 0 ) となるが、 その値が、 図 6のステップ S 7の式 （ 1 7 ) に基づいて、 V B Vバッファの容量の差分 （vbv_size ( 1 ) — vbv— size ( 2 ) ) で補正される変更前 （前の GO P) の VBVバッ ファ容量 vbv— size ( 1 ) は、 1. 8 ( =て max x bit— rate ( 1 ) = 0. 6 3. 0 ) とされているのに対して、 第 2番目の G O Pにお ける VB Vバッファの容量 vbv— size ( 2 ) は、 0. 9 ( = r max x bit_rate ( 2 ) = 0. 6 x 1 , 5 ) となるので、 その差分は 0. 9

( = 1. 8 - 0. 9 ) となり、 結局、 初期値 Rは、 1. 6 5 (= 0. 7 5 + ( 1. 8— 0. 9 ) ) Mbitsとなる。

-方、 第 3番 の G O Pにおいては、 初期値は 1. 5 (= 3. 0 x l 5/3 0 ) となるが、 V B Vバッファの変 iii ijの容量 vbv— size

( 2 ) は、 0. 9であるのに対して、 この G O Pにおける容量 vbv_ size ( 3 ) は 1. 8となる。 従って、 初期値 Rは、 0. 6 ( = 1. 5 + ( 0. 9 - 1. 8 ) ) Mbitsとなる。

2桥目の G 0 Pにおいては、 本来ェンコー ドしゃすい絵柄である ので、 ビッ トレートを 1. 5 Mbpsと小さい値に設定したにも拘らず、 符号 ftRの初期値は 1. 6 5 と大きな値に設定されてしまう。 これ に対して、 第 3番目の G 0 Pにおいては、 エンコードが難しい絵柄 であるから、 ビッ ト レートを 3. 0 Mbpsと大きく したにも拘らず、 符 SRの初期値は 0. 6Mbpsと小さい値に設定されてしまう。 す なわち、 2番目の GO Pの符号量の初期値 Rが大きくなり、 最後の G 0 Pの符号量 Rの初期値が非常に小さくなるという逆転現象が . じている。

これは、 図 2 7に示すように、 ビッ トレート bit— rateの値が、 閾 値 bit_rate ( 0 ) より小さくなつたとき、 急激に V B Vバッファの 容量 vbv— sizeの使用範囲を制限するようにしたことに起因する。 な お、 図 2 7において、 横軸は、 ビッ トレート bit_rateを表し、 縦軸 は、 VB Vバッファの容量 vbv_sizeを表している。 そして、 図 2 7 において、 影を付して示した範囲は、 VB Vバッファの使用が制限 されている範囲を表している。 そこで、 図 2 8に示すように、 閾値 bit_rate ( 0 ) より大きい閾 値 bit— rate ( 0 u) を設定し、 さらに閾値 bit_rate ( 0 ) よ り小さい 閾値 bit— rate ( 0 L) を設定し、 ビッ トレート bit_rateの値が、 閾値 bit_rate ( 0. ) より小さく なつたとき、 VB Vバッファの使用範[¾1 をビヅ トレ一 トが閾値 bit— rate ( 0 ι.) になるまで、 徐々に制限し、 ビッ ト レ一トが閾値 bit_rate ( 0：.) より小さくなつた場合には、 図 2 7に示した場合と同様に、 さらに急激に VB Vバッファの使用範 囲を制限するようにすることができる。 この場合、 図 6のステップ S 2の式 （ 1 3 ) における VB Vバッファの使用範囲を規定する右 辺の第 1引数を、 ビッ トレー トが bit_rate ( 0 以下のとき、 axxbit— rate ( j + 1 ) とするが、 ビッ トレートが bit_rate ( 0 _L ) 乃至 bit_rate ( 0 u) の間の値であるとき、 次式に変更するようにす ればよい。

{ (vbv— size ( 0 ) - vbv_size ( 0 ι. ) ) x bit_rate

+ vbv_size ( 0 i.) xbit_rate ( 0 u)

― vbv_size ( 0 ) x vbv_size ( 0し) }

/ {bit—rate ( 0 u) —bit— rate ( 0 ) } · · · ( 3 6 ) なお、 vbv_size ( 0 L) は、 次式で表される。

vbv— size ( 0 i. )

- vbv— size ( 0 ) xbit— rate ( 0 L) /bit_rate ( 0 )

• · · ( 3 7 ) なお、 フィー ドフォワード型のビッ トレートコン トロールにおい ても、 図 1 9のステップ S 3 2における演算において、 同様に VB Vバッファの容量が演算される。

図 1 8のイ ン トラ A C演算回路 4 1において、 イ ン トラ A Cを演 算するようにしたが、 イ ン トラ A Cに代えて、 フラ ッ トネスを演算 するようにしてもよい。 フラ ッ トネスとは、 画像の空間的な平坦さ を表すデ一夕である。 この場合、 8 X 8画素の DCTブロックが 2画素 X 2圃 ^の小ブロックに分割される。 そして、 各小プロック內にお ける対角線上に位置する画素データ （画素値） の差分が算； され、 その差分の絶対値のうち小さい方が選択される。 選択された差分値 が、 さらに所定の閾値と比較され、 差分値が閾値より小さい小プロ ヅクの総数が、 フラッ トネスとしてピクチャ毎に求められる。

なお、 フラ ッ トネスの値は、 両像の図柄が空問的に複雑であるほ ど小さくなり、 平坦であれば大きくなる。 このフラ ッ トネスは、 符 号化難易度 D jと、 強い負の相関関係を有する。 従って、 i l 縮符^化 前に I ピクチャとなるピクチャの符 ¾化難 ¾度 D jをフラッ 卜ネスか ら求め、 このフラ ッ トネスから I ピクチャに対するロ標符号量 T ( j ) を求めることができる。

以上のように、 固; 1ビッ トレートに用いるレートコン ト口一ル方 法を用いながら、 G 0 Pの途中でビッ トレー トが変更できるように したので、 絵柄の符号が難易度の変化に速やかに対応して、 ビッ ト レー卜を変更することができる。 その結果、 各プログラムの G O P の位相が同期していないような場合においても、 伝送容量を無駄な く有効に使用することができ、 全体として画質の向上を図ることが できる。

また、 固定ビッ トレートエンコードで使用されるレートコン ト口 —ル方法を使用することにより、 V B Vバッ ファ （またはデコーダ のバッファ） のアンダーフローまたはオーバーフローをおこさない ようなレートコン トロールが統計多重の場合にまで拡張することが できる。

本発明は、 必ずしも統計多重に限らず、 例えば、 ハードディスク のような記録メディァに蓄積保存するためにデータをェンコ一ドす るような場合、 固定レート符 化のレートコン トロール方法を川い ながら、 シームレスにビッ トレートを変更するのに適用することが でき、 絵柄に応じてビッ 卜レートを変更し、 結果的に所定の画質を 実現する蓄積メディァの容量を節約することが可能となる。

上述の実施の形態においては、 T M 5のァルゴリズムにより G◦ Pを単位にして目標符号量を計算する場合について述べたが、 本発 明はこれに限らず、 符号化処理するビクチャから所定数のピクチャ を単位にして目標伝送レ一トによる符号量を計算して 標符^敲を 算出する場合等においても、 広く適用することができる。

また上述の実施の形態においては、 残り未符号化ピクチャに割り 当てられる符号量 Rを補正することにより、 ピクチャ単位でビッ ト レートを変更する場合について述べたが、 本発明はこれに限らず、 G 0 P単位でビッ トレー卜を変更する場合等にも広く適 fflすること ができる。

さらに上述の実施の形態においては、 M P E Gにより各プログラ ムを符号化処理して伝送する場合について述べたが、 本発明はこれ に限らず、 種々の符号化方式により種々のプログラムを符号化処理 して伝送する場合に広く適用することができる。

なお、 本明細書において、 システムとは、 複数の装置により構成 される装置全体を表すものとする。

また、 上記したような処理を行うコンピュータプログラムをュ一 ザに提供する提供媒体としては、 磁気ディスク、 CD- R0M、 固体メモ リなどの記録媒体の他、 ネッ トワーク、 衛 aなどの通信媒体を利用 することができる。

以上の如く、 本発明によれば、 ビッ ト レー トが第 1のビッ トレー 卜から ¾ 2のビッ トレートに変 されたとき、 第 1のビッ ト レー ト と第 2のビッ ト レート との差分に基づい、 符 化対象ピクチャに割 り当てられる [::1標ビッ ト量を補正するようにした。

本究 Π刀によれば、 G 0 Ρの途中において第 1のビッ トレ一卜から 第 2のビッ トレ一卜に変更された場合、 目標ビッ ト レートを第 1の ビッ トレートに対応する Π標ビッ ト ffiから 2のビッ トレートに対 応する 1 1標ビッ ト量に袖 ι するようにした。

木 HJJによれば、 G 0 Pの途屮において、 ^ ビッ トレー トが第 1のビッ 卜レー トから第 2のビッ トレートに変 ϋされた場合、 来符 号化ピクチャのビッ ト量の変化軌跡が、 G 0 Ρの先頭ピクチヤから 第 2のビッ トレー卜で各ピクチャを符 -化していたときの軌跡にな るように来符号化ピクチャのビッ ト ;：を補 il;し、 補 ιΚされた 符 化ピクチャのビッ ト量に基づいて符号化対象ピクチャに対して割り 当てられる目標ビッ ト量を演算するようにした。

本発明によれば、 G 0 Ρの途屮において指定ビッ トレー 卜が第 1 のビッ トレートが第 2のビッ トレ一卜に変更された場合、 未符号化 ピクチャのビッ ト量を第 1のビッ トレートに基づく未符号化ピクチ ャのビッ ト量から第 2のビッ トレートに基づく未符号化ピクチャの ビッ ト量に補正し、 補正された未符号化ピクチャのビッ ト量に基づ いて、 符号化対象ピクチャに対して割り当てられる目標ビッ ト量を 演算するようにした。

本発明によれば、 指定ビッ トレートが G 0 Ρの途中において第 1 のビッ トレートから第 2のビッ トレ一トに変更された場合、 標ビ ッ トレ一トを第 1のビッ トレー卜に対応する [^標ビッ ト Mから第 2 のビッ トレートに対応する 標ビッ ト量に補 ιΗするようにした。 本允 によれば、 G 0 Pの途 ⁽| 'において指定ビッ トレー 卜が第 1 のビッ トレ一卜から第 2のビッ トレートに変— 0 された場合、 符 化ピクチャに割り当てられる予想ビッ ト Mの変化軌跡が、 第 2のビ ッ トレ一卜で各ピクチャを符号化していったときの軌跡になるよう に、 未符号化ピクチャに対して割り当てられる予想ビッ ト量を補 し、 補 :|1_：されたビッ ト に ¾づいて、 符 化対象ピクチャに対して 割り 1てられる ビッ 卜 ¾を演算するようにした。

本 ¾ Π刀によれば、 G◦ Ρの途中において指定ビッ トレ一 卜の 1 のビッ トレー卜から第 2のビッ トレートに変 illされた場合、 来符 ¾ 化ピクチャに対して割り ¾てられるビッ ト (を第 1のビッ トレ一ト に ¾づく来符号化ピクチャのビッ ト Sから 2のビッ トレ一卜に基 づく ^符 M匕ピクチャのビツ ト ¾に補 iF^:.し、 補丄 1:された 符 化ピ クチャのビッ ト设に^づいて符^化対象ピクチャに対して割り当て られる目標ビッ ト: Κを演算するようにした。

本発明によれば、 指定ビッ トレー トの第 1のビッ トレ一卜から第 2のビッ トレ一卜に変更された場合、 第 1のビッ 卜レートと第 2の ビッ トレ一トとの差分に基づいて、 符号化対象ピクチャに割り当て られる目標ビッ ト量を補正するようにした。

本発明によれば、 指定ビッ トレ一卜が G 0 Ρの途中において第 1 のビッ トレ一卜から第 2のビヅ トレートに変更された場合、 目標ビ ッ トレ一トを第 1のビッ トレートに対応する目標ビッ ト量から第 2 のビッ 卜レートに対応する目標ビッ ト量に補正するようにした。 本発明によれば、 G 0 Pの途中において、 指定ビッ トレートが第 1のビッ トレー トから第 2のビッ トレートに変更された場合、 未符 号化ピクチャのビッ ト量の変化軌跡が G 0 Pの先頭ピクチャから第 2のビヅ トレ一トで各ピクチャを符号化していたときの軌跡になる ように来符号化ピクチャのビッ ト を補正し、 補 された来符 化 ピクチャのビヅ ト量に基づいて符号化対象ピクチャに対して割り当 てられる目標ビッ ト量を演算するようにした。

本発明によれば、 G 0 Pの途中において指定ビッ トレ一 卜の第 1 のビッ ト レ一トが第 2のビッ ト レー卜に変] 11された場合、 未符号化 ピクチャのビッ ト ¾は、 第 1のビッ トレートに基づく未符 ^化ピク チヤのビッ ト から、 第 2のビッ トレー卜に ¾づく来符 化ピクチ ャのビッ ト量に補 Ϊ し、 補 ι された来符号化ピクチャのビッ ト ^に 基づいて符号化対象ピクチャに対して割り、 てられる目標ビッ ト量 を演 するようにした。

水¾明によれば、 指定ビッ トレートが G 0 Ρの途中において第 1 のビッ 卜 レートから第 2のビッ トレ一卜に変¾された場合、 「1標ビ ッ ト レートを第 1のビッ トレー トに対応する 0標ビッ ト ¾から第 2 のビッ 卜 レートに対応する目標ビッ ト量に補正するようにした。 本発明によれば、 G 0 Ρの途中において指定ビッ トレー トが第 1 のビッ ト レ一卜から第 2のビッ トレ一トに変更された場合、 未符号 化ピクチャに割り当てられる予想ビッ ト量の変化軌跡が、 第 2のビ ッ ト レー トで各ピクチャを符号化していた時の軌跡になるように、 未符号化ピクチャに対して割り当てられる予想ビッ ト量を補正し、 補正されたビッ ト量に基づいて、 符号化対象ピクチャに対して割り 当てられる目標ビッ ト量を演算するようにした。 本¾明によれば、 G O Pの途中において指定ビッ トレー 卜が第 1 のビッ トレー卜から第 2のビッ トレ一卜に変更された場合、 未符号 化ピクチャに対して割り当てられるビッ ト量を、 第 1のビッ トレ一 卜に J, づく未符 化ピクチャのビッ ト , から ; 2のビッ 卜 レートに 基づく ^符 ¾ "化ピクチャのビッ ト ¾に袖 iKし、 補正された 符 ^化 ピクチャのビッ ト量に基づいて、 符号化対象ピクチャに対して割り てられる目標ビッ ト ¾を演^するようにした。

従って、 いずれの場合にも、 画像データの統計多重時に、 G O P の位相に不—-致があつたとしても、 伝送効率の低下を抑制すること ができる。 符 の説明

1 岡像多 化システム， 2— 1乃至 2— n 刚像符号化装置， 3 コン ト ローラ， 4 多 ¾化装 ， 1 1 则像並べ変え ["1 路， 1 2 走杏変換マクロブロ ッ ク化 路， 1 3 減 回路， 1 4 DCT回路， 1 5 S子化回路， 1 6 可変長符号化回路: 1 7 ノ ッファメモリ， 1 8 逆 子化回路， 1 9 逆 DCTfel 路， 2 0 加算回路， 2 1 動き検出回路， 2 2 動き補償 回路， 2 3 レー トコン ト ローラ， 2 4 コン ト口一ラ， 3 1 複雑差計算回路， 3 2 目標ビッ ト量設定回路， 3 3 量 子化スケールコード決定回路

Claims

i Fi

1 . 指 ^ビッ トレー トに基づいてビデオデータを符 化する符^ 化装 において、

上記指定ビッ トレー 卜に基づいて、 G 0 Pに含まれる各ピクチャ 求

に対して割り てられる目標ビッ 卜量をそれぞれ演算する制御手段 の

と、

ί: ,^:;ΰ制御丁-段によって制御された π標ビツ ト に ¾づいて、 \:

囲

符^化対象ピクチャを符 化する符号化手段とを備え、

k制御手段は、

上 符 化手段によって ^化対象ピクチャの符 -化処理を 行う ¾合、 上記指定ビッ トレ一トが第 1のビッ トレートから^ 2の ビッ ト レートに変更されたとき、 ヒ記 o 1のビッ ト レートと i:記第

2のビッ トレー 卜との^分に ¾づいて に, k符 化対象ピクチャに; り当てられる上 ¾ i l標ビッ ト量を補正する

ことを特徴とする符 化装置。

2 . 上記制御手段は、

上記符号化対象ピクチャに対して割り当てられる上記目標ビッ ト 量を、 上記対象 G 0 Ρにおいてまだ符号化されていない未符号化ピ クチャに対して割り当てられるビッ ト量を上記符号化対象ピクチャ のピクチャタイプに応じて配分することによって求める

ことを特徴とする請求の範囲第 1項記載の符号化装置。

3 . 上記制御手段は、

上記第 1のビッ トレートと上記第 2のビッ トレ一卜との差分に応 じて上記来符号化ピクチャのビッ ト Sを補正し、 この補正された未 符号化ピクチャのビッ ト に基づいて上記符号化対象ピクチャの 標ビッ ト Kを演算する

ことを特徴とする請求の範剛第 2項 載の符 化装^。

4 . 上記制御 f段は、

上記第 1のビッ トレー 卜における 1 ピクチャあたりのビッ ト Mと 上記第 2のビッ トレートにおける 1 ピクチャあたりのビッ ト量との 差分に、 未符号化ピクチャの枚数を乗算した値で上記未符号化ピク チヤのビッ ト ¾を補正し、

この補 ι1 ·された未符号化ビクチャのビッ ト に ¾づいて ヒ^符号 化対象ピクチャの^標ビッ ト を演算する

ことを特徴とする請求の範囲第 2項 ¾載の符 化装置。

5 . 上記符 ¾·化対象ピクチャの Π標ビッ 卜 Jitを演^するアルゴリ ズムは、

I： _t d符 化 T-段による^ピクチャ の符り-化処 nの結 発 z| ^:.した 発生ビッ ト Mに基づいて、 画面の複雑さを/ すグロバ一ルコンプレ クシティを演算し、 このグロ一バルコンプレクシティ と上記 符 化ピクチャのビッ ト量とに基づいて上記符 化対象ピクチャの目標 ビッ ト量を演算するフィ一ドバック型の演算アルゴリズムである ことを特徴とする請求の範囲第 4項記載の符号化装置。

6 . 上記制御手段は、

上記符号化対象ピクチャの直前のピクチャまでを上記第 1のビッ トレー 卜で符号化し、 上記符号化対象ピクチャから第 2のビッ トレ 一トで符号化する場合において、 上記符号化対象ピクチャ以降の未 符号化ピクチャのビッ ト量を、 上記直前のピクチャ以降の未符号化 ピクチャに割り当てられるビッ 卜量から上記直前のピクチャの符号 化処 ί による発^ビッ ト ¾を減算することによって求める

ことを特徴とする^求の範囲第 4項記載の符^化装 。

7. ¾制御 段は、

し kl符 化対象ピクチャの ιι'ί^のピクチャまでを 記第 1のビッ トレー 卜で符号化し、 上記符号化対象ピクチャから第 2のビッ ト レ ―卜で符号化した後、 上記対象 G◦ Ρの次の GOPの先頭ピクチャ を符 化する場合には、

ヒ¾次の G 0 Pの朱符号化ピクチャに対して割り 、 てられるビッ 卜 .を、 記対象 G 0 Pの符号化処现の糸,¹ i' 成された袖 ιί ιι'ίで械 JI-:する

ことを特徴とする請求の範囲第 6項 載の符^化装^。

8. 上記 G◦ Ρにおいて： i + 1 ^目のビクチャである符 化対象 ピクチャ（j + 1 )を符号化する場合に、 ヒ 対象 G 0 Ρにおいて符 -化 対象ピクチャ（j + 1)を む 符 化ピクチャに対して剖り てられる ビッ ト量 R(j + 1)は、 下式によって計 され、

R(j + l)=R(j)- S(j)

h記符号化対象ピクチャ（j+i)に対して割り当てられる 標ビッ ト は、 上記未符号化ピクチャに対して割り当てられるビッ ト量 R(j + 1) に基づいて演算される

ことを特徴とする請求の範囲第 1項記載の符号化装置。

9. 上記符号化対象ピクチャ（j + l)が、 上記 GOPの最初のピクチ ャである場合には、 上記符号化対象ピクチャ（j + l)を含む G 0 Pにお ける上記符号化対象ピクチャ（j + 1)以降の未符号化ピクチャのビッ ト 量 R(j+1)は、 bit_rate(j + l)は、 上記ピクチャ（ j + 1)を含む対象 G◦ Pに対して 指定されたビッ 卜レートを示し、

Nは、 G 0 Pに含まれるピクチャの枚数を示し、

pic— rateま、 フ レームレー 卜を jくし、

R ( j + 1 )は、 i：記符 化対象ピクチャ（ j + 1 )の前のピクチャ（ j )を含 む G◦ Pにおける上記ピクチャ（j)以降の未符号化ピクチャのビッ 卜 R(j)から、 上記ピクチャ（j)の符号化処现によって発生したビッ ト ¾を減算した値を示し、

eは、 I·.記符 化対象ピクチャ（j + 1)を含む G 0 Pの次の G 0 Pに 対して供給される補正ビッ 卜 を示しているとき、

ド式、

R ( j + l) = bit_rate(j + l) X N /pic— rate + R ( j + 1) + e

によって計算される

ことを特徴とする詰求の範關第 8项, k載の符^化装置。

1 0. ヒ記符 化対象ピクチャ（ j + 1)が上^]対象 G 0 Pの途中のピ クチャであって、

上記符号化対象ピクチャの前のピクチャ（ j )までを上記第 1のビッ トレ一 卜で符号化し、 上記符号化対象ピクチャ（j + 1)から第 2のビッ トレー 卜で符号化する場合において、 上記符号化対象ピクチャ（j + 1) を含む G 0 Pにおける上記ピクチャ（ j + 1 )以降の未符号化ピクチャの ビッ ト量を、

bit_rate(j)は、 第 1のビヅ ト レ一トを示し、

bit— rate(j+l)は、 第 2のビッ 卜 レートを示し、

Nは、 G◦ Pに含まれるピクチャの枚数を示し、

pic rateは、 フ レームレートを示し、 R(j + 1)は、 上記符 化対象ピクチャ（j + 1)の前のピクチャ（j)を含 む G 0 Pにおける上記ピクチャ（j)以降の未符号化ピクチャのビッ ト aR(j)から、 上記ピクチャ（j)の符号化処理によって発生したビヅ ト を減 した値を示しているとき、

卜式、

R ( j + l)= ( b i t_rat e ( j + 1 ) -b i t_rate ( j ) ) x (N - j ) /pic— ra te+ R ( j + 1)

によって計算する

ことを特徴とする詰求の範网^ 8项記載の符¾化装 。

1 1 . 上記符号化対象ピクチャ（j + 1)に対して割り てられる「1標 ビッ ト T (j + 1)は、

T i( j + 1)は、 ヒ記符号化対象ピクチャ（j + 1)が Iピクチャの場合の 標ビッ ト ；:を示し、

Τρϋ + l)は、 上記符^化対象ピクチャ（j + 1)が Ρピクチャの ¾合の ί|標ビッ ト を示し、

Tb(j + 1)は、 上記符号化対象ピクチャ（j + 1)が Bピクチャの場合の 目標ビッ ト還を示し、

R (j + 1)は、 上記符号化対象ピクチャ（j + 1)を含む G 0 Pにおける ピクチャ（j + 1) 以降の朱符号化ピクチャに割り当てられるビッ 卜 :1: を示し、

Xiは、 Iピクチャの画面の複雑さを表わすグロ一パルコンプレク シティ を示し、

Xpは、 Pピクチャの画面の複雑さを表わすグローバルコンプレク シティ ¾ し、

Xbは、 Bピクチャの画面の複雑さを表わすグロ一パルコンプレク シティ を示し、

N pは、 上記符号化対象ピクチャ ϋ + 1 )を含む G◦ Pにおいてまだ 符号化されていない Ρピクチャの枚数を示し、

Nbは、 上記符¾化対象ピクチャ（j + 1)を む G 0 Ρにおいてまだ 符 化されていない Ρピクチャの枚数を小し、

Κρは、 I ピクチャの: - f化スケールコー ドを At準とした Ρピクチ ャの！:子化スケールコードの比率を/示し、

K bは、 I ピクチャの量子化スケールコードを基準とした Bピク チヤの 了-化スケールコードの比率を しているとき、

下式、

T i(j + l)=max ( R (j + 1)/ ( 1 + N pX p/ X i K p + N bX b/ X i K b ， bit— rateZ8 x pic— rate)

Tp(j + 1)二 max ( R (j + 1)/ { Np+ NbK pXb/ K bXp} , bit— ra teZ 8 x pic— rate)

Tb(j + l) = max ( R (j + 1)/ { N b + N pK b X p/ K pX b} ， bit— ra teZ 8 x pic— rate)

によって計算される

ことを特徴とする請求の範囲第 1 0項記 Kの符号化装置。

1 2. 上 gel制御手段は、

上記符号化対象ピクチャの直前のピクチャまでを上記第 1のビッ トレ一卜で符号化し、 上記符号化対象ピクチャから第 2のビッ トレ 一卜で符号化する場合において、

上記符号化対象ピクチャ以降の所定枚数の未符号化ピクチャに割 り当てられるビッ ト量を演算すると共に、 ヒ記所定枚数の未符号化 ピクチャの符号化難易度を示すディ フィカルティをそれぞれ検出し、 上記符号化対象ピクチャに対して割り当てられる上記目標ビッ ト 量を、 上記所定枚数の未符号化ピクチャのビッ ト量を上記符号化対 象ピクチャのディ フイカルティに基づいて配分することによって求 める

ことを特徴とする詰求の範四第 1埙 載の符 化装 。

1 3 . 上 d制御手段は、

上記第 1のビッ トレートと上記第 2のビッ トレートとの差分に応 じて上記所定枚数の未符号化ピクチャのビッ ト量を補正し、 この補 正された所定枚数の来符^化ピクチャのビッ ト に ¾づいて I：記符 号化対象ピクチャの目標ビッ ト量を演算する

ことを特徴とする請求の範面第 1 2项, kl載の符¾化装置。

1 4 · t記制御 ΐ段は、

上記第 1のビッ 卜レートにおける 1 ピクチャあたりのビッ 卜 ¾と 上記第 2のビッ トレートにおける 1 ピクチャあたりのビッ ト ffiとの 差分に、 上記未符^化ピクチャの所 枚数を乗算した で ΰ所; ί 枚数の未符号化ピクチャのビッ ト量を補 ι し、

この補正された所定枚数の来符号化ピクチャのビッ ト fiに基づい て上記符号化対象ピクチャの目標ビッ ト量を演算する

ことを特徴とする請求の範囲第 1 2項記載の符号化装置。

1 5 . 上記制御手段は、

各ピクチャの符号化する毎に、 上記符号化対象ピクチャの直前の ピクチャの符号化処理の結果発生したビッ ト量と、 上記符号化対象 ピクチャの所定枚数先のピクチャの予想発生ビッ ト量とに基づいて、 上記符号化対象ピクチャから所定枚数先のピクチャまでの未符号化 ビクチャに割り当てられるビッ ト量を求める ことを特徴とする^求の範囲第 1 3埙記載の符号化装置。

1 6 . ヒ記符号化対象ピクチャから所定枚数先のピクチャの予想 発生ビッ ト量は、

, ki所定枚数先のピクチャを含んだ G 0 Pにおいて、 l: rki所 枚 数先のピクチャ以降の 符号化ピクチャに Wして割り "'Iてられるビ ッ ト mを、 上記所定枚数先のピクチャのピクチャタイプに応じて配 分することによって求められる

ことを特徴とする請求の範 ffl第 1 5項 ¾載の符号化装置。

1 7 . 上記所 枚数先のピクチャ以降の 符 化ピクチャに対し て割り 1てられるビッ ト は、

I： 1のビッ 卜 レー トにおける 1 ピクチャあたりのビッ ト と 上記^ 2のビッ ト レー 卜における 1 ピクチャあたりのビッ ト との 差分に、 上記所定枚数先のピクチャを んだ G 0 Pにおける上記所 定枚数先のピクチャ以降の^符 化ピクチャの枚数を乗 した値で 補 _ιΙ·:される

ことを特徴とする ¾求の範囲第 1 6項 ^載の符号化装置。

1 8 . 上記符 ^化対象ピクチャの ^前のピクチャまでを上記第 1 のビ 'ソ 卜レートで符 -化し、 上記符号化対象ピクチャから第 2のビ ッ トレ一トで符 ¾-化した後に、 次の G O Pの先頭ピクチャを符号化 する場合には、

上記制御手段は、

上記次の G 0 Pの来符号化ピクチャに対して割り当てられるビッ ト量を、 上記符号化対象ピクチャを含んでいた G◦ Pの符号化処理 の結 ¾生成された補 ιΕ値で補 ιΗする

ことを特徴とする請求の範囲第 1 7項記載の符号化装置。

1 9. 上記補正値は、

上記符号化対象ピクチャを含んでいた G 0 Pの最後のピクチャに 割り当てられた目標符号量から、 ヒ記最後のピクチャの実隙の符号 化処 .による発牛-ビッ ト ίι):を減 した倘を使川することによって られる

ことを特徴とする請求の範 iffl第 1 8项 載の符 化装置。

2 0. 上記制御手段における、 上 符^化対象ピクチャの H標ビ ッ ト ¾を演算するアルゴリズムは、

上 ¾符 化対象ピクチャの符■}化処 ίφ.前に、

上記符 化対象ピクチャを含む所定'枚数の来符 化ピクチャの符 号化難 度を すディ フイカルティ をそれぞれ検出し、 所定枚 数の来符 化ピクチャのディ フ イカルティ と、 上 符 化対象ピク チヤのディ フイカルティ とに基づいて、 上記符号化対象ピクチヤの 目 βビッ 卜 Itを演算するフィー ドフオア一ド ffiのァルゴリズムであ る

ことを特徴とする特徴とする詰求の範 ΜίΠ 1 2¾_tki載の符 化装 置。

2 1. i:記 G 0 Pにおいて j +1赉 のピクチャである符号化対象ピ クチャ（j + 1)を符号化する場合に、 上記符号化対象ピクチャ（j + 1)か らピクチャ（j+L)までの L枚の未符号化ピクチャに対して割り当てら れるビッ ト量 R' (j + 1)は、

R' (j)は、 ピクチャ（j)からピクチャ（j- 1+L)までの L枚の未符号 化ピクチャに対して割り当てられるビッ ト量を示し、

S (j)は、 ピクチャ（j)の符号化処理の結果発生したビッ ト量を示 し、 F(j+L)は、 ピクチャ（j+L)の予想発生ビッ ト量を示しているとき、 下式、

R' (j + l)=R' (j)- S (j)+ F(j+L)

によって計算される

ことを特徴とする 求の範 第 1 ¾ ,ki裁の符り-化装 。

2 2. 上記ピクチャ（j+L)のチ想発生ビッ 卜 MF (j+L)は、

Fi(j+L)は、 ヒ記ピクチャ（j+L)が I ピクチャの場合の W標ビッ ト ¾を示し、

Fp(j+L)は、 記ピクチャ（j+L)が Pピクチャの ¾ Υの il標ビッ 卜 ii を示し、

Fb(j+L)は、 上記ピクチャ（j+L)が Bピクチャの ¾ の ビッ ト

Mを J し、

G(j+L)は、 上記ピクチャ（j+L)が含まれる G◦ Pにおいて上 ピ クチャ（j+L)以降の来符 化ピクチャに; り 、 てられるビッ ト ¾を^ し、

Xiは、 I ピクチャの岡!! ^の ¾雑さを^わすグローバルコンプレク シティ ¾ /」くし、

Xpは、 Pピクチャの画而の複雑さを表わすグローバルコンプレク シティ くし、

Xbは、 Bピクチャの画面の複雑さを表わすグロ一パルコンプレク シティを示し、

N pは、 上記ピクチャ（ j+L )が含まれる G 0 Pにおいてまだ符号化 されていない Pピクチャの枚数を示し、

Nbは、 上記ピクチャ（j+L)が含まれる G 0 Pにおいてまだ符号化 されていない Pピクチャの枚数を示し、 Kpは、 I ピクチャの量子化スケールコー ドを基準とした Pピクチ ャの量子化スケールコードの比率を示し、

Kbは、 I ピクチャの 子化スケールコ一 ドを基準とした Bピクチ ャの i 匕スケールコー ドの比率を示しているとき、

卜式、

F i( j+L) = max ( G ( j+L)/ ( 1 + N pX p/ X i K p+ bX b/ X i K b) ， bit_rate ^/ 8 x pic_rate)

F p( j+L) = max ( G ( j+L)/ ( Np+ NbKpXb/KbXp) ， bit— ra te/S x pic— rate)

Fb(j+L)二 max ( G (j+L)/ ( Nb+ NpK bXp/ K pX b) , bit— ra te/ 8 x pic— rate)

によって演算される

ことを特徴とする請求の範囲第 2 1項記載の符号化装 。

2 3. 上記ピクチャ（j+L)が含まれる G 0 Pにおいて上 ^ピクチャ (j+L)以降の来符 化ピクチャに割り 1てられるビッ ト ;: G (j+L)は、

G ( j+L- 1 )は、 上記ピクチャ（ j+L )が含まれる G 0 Pにおいてピク チヤ（j+い 1)以降の来符号化ピクチャに割り当てられるビッ ト を示 し、

F (j - 1)は、 上記ピクチャ（j+L- 1)の予想発生ビッ ト量を示して いるとき、

下式、

G (j+L)- G (j+L-1)- F (j+L-1)

によって求められる

ことを特徴とする請求の範囲第 2 2項記載の符号化装置。

2 4 . 上記符号化対象ピクチャ（j + 1)が、 G O Pの最初のピクチャ であって、 上記符号化対象ピクチャ（j + 1)を GO Pよ りも過去の G O Pにおいて、 上記指定ビッ トレートが上記第 1のビッ トレ一卜から 上^第 2のビッ トレートに変 ¾されていた場合には、

に 符 化対象ピクチャ（ j + 1)以降の L枚の 符号化ピクチャのビ ヅ ト ,',;:R，（j + l)、 および上, 符 -化対象ピクチャ ϋ + l)が含まれる G 0 Pにおける上 ¾符号化対象ピクチャ（ j + 1 )以降の L枚の来符号化ピ クチャのビッ ト G(j + l)は、

bit_rate(l)は、 ヒ記第 1のビッ トレ一トを示し、

bit— rate(2)は、 ヒ記 fi 2のビッ トレ一トを示し、

Nは、 GO Pに含まれるピクチャの枚数を し、

pic— rate (ま、 フレームレ一 トを aくし、

G(j + 1)は、 ヒ^ピクチャ（j)を含む G 0 ?の¾後のピクチャの符 化処现の結果、 残ったビッ ト Sを示し、

eは、 ヒ記ピクチャ（j + 1)を含む GO Pの次の G O Pに対して供給 される補正ビッ 卜 ;:を小しているとき、

ド式、

R' ( j + D= (bit_rate(2)-bit_rate(l) X L /pic— rate + R， (j + 1) G ( j + l) = bit_rate(2) x N /pic一 rate + G ( j + l)+ e

によって求められる

ことを特徴とする請求の範囲第 2 3項記載の符号化装置。

2 5. 上記符号化対象ピクチャ（j + 1)が G 0 Pの途中のピクチャで あって、 ビクチャ（j)までを上記第 1のビッ トレートで符号化し、 ピ クチャ（j + 1)から上記第 2のビッ トレー卜で符号化する場合は、 上記符号化対象ピクチャ（j + 1)以降の L枚の未符号化ピクチャのビ ッ ト量 R' (j + 1)、 および上記符号化対象ピクチャ（j + 1)が含まれる G ◦ Pにおける上記符号化対象ピクチャ

クチャのビッ ト KG(j + l)は、

bit_rate(j)は、 ピクチャ（j)を含む GO Pに対して指定された上 ^第 1のビッ ト レー トを し、

bit— rate(j + l)は、 ピクチャ（ j+1 )を Aむ G 0 Pに対して指定され た上記^ 2のビッ トレートを し、

Nは、 G 0 Pに含まれるピクチャの枚数を し、

pic— rateは、 フ レームレ一 卜を示し、

G(j + 1)は、 ヒ記ピクチャ（j)を含む G 0 Ρの S後のピクチャの符 号化処 ¾の結采、 残ったビッ ト ^を示し、

eは、 ¾ピクチャ ϋ +l )を む G 0 Pの次の G 0 Pに対して供給 される補 t ビッ 卜！:を示しているとき、

下式、

R' ( j + l)= (bit— rate( j + 1)— bit— rate(j)) x L /pic一 rate + R ' (j + 1)

G ( j + l)= (bit_rate( j + 1 )-bit_rate( j)) x N/pic_rate+ G ( j + 1)+ e

によって求められる

ことを特徴とする請求の範囲第 2 3頃記載の符号化装置。

2 6. 上記符号化対象ピクチャ ϋ + 1)に対して割り当てられる ϋ標 ビヅ ト量 T (j + 1)は、

D(j+1)は、 上記符号化対象ピクチャ（j + 1)のディ フイカルティ を 示し、

∑ D (k)は、 ピクチャピクチャ（j + 1)からピクチャ（j + 1+L)までのそ れそれのディ フィカルティを加算した値を示すとき、 下式、

T (j + 1) = max ( R' ( j + 1) x D ( j + 1)/∑ D (k), bit_rate( j + 1 )/( 8 x pic_rate )

によつて， |· ?される

ことを特徴とする^求の筛關^ 2 5 JX 載の符 化 ΪΤ

27. 指定ビッ トレー卜に基づいてビデオデータを符 化する符 号化装 iiSにおいて、

GOP内における来符号化ピクチャに対して割り ^てられるビッ ト ΐ と I：記指定ビッ ト レー ト とに ¾づいて、 符 化対象ピクチャに 対して剖り ^ iてられる目標ビッ 卜 を演^する制御手段と、

d制御 段によつて演算された il^ビッ 卜 に従って、 l-.rilif? 化対象ピクチャを符号化する符 化 段を備え、

上記制御手段は、

上記指 ビッ トレー トが G 0 Pの途屮において第 1のビッ トレー 卜から^ 2のビッ トレートに変] 1!された場合には、 符 化 段 に与えられる Η標ビッ ト レー 卜を、 .L 第 1のビッ トレ一トに対応 する I： ^目標ビッ ト i¾から、 上記第 2のビッ トレー 卜に対応する上 記目標ビッ ト ¾に補正する

ことを特徴とする符号化装置。

28. 指定ビッ トレートに基づいてビデオデータを符号化する符 号化装置において、

G 0 P内における未符号化ピクチャに対して割り当てられるビッ ト量から、 符号化対象ピクチャに対して割り当てられる 標ビッ 卜 量を演算する制御手段と、

上記制御手段によって演算された目標ビッ ト量に従って、 上記符 号化対象ピクチャを符号化する符号化丁 ·段を備え、

上記演算手段は、

G O Pの途中において上記指定ビッ トレートが第 1のビッ トレー 卜から 2のビッ トレートに変 された場合には、 上 符 化ピ クチャのビヅ ト！:の変化軌跡が、 G O Pの先 ¾ピクチャから^ 2の ビヅ 卜 レー 卜で各ピクチャを符号化していた時の軌跡になるように、 上記来符号化ピクチャのビッ ト量を補 し、 上記補正された未符号 化ピクチャのビッ ト量に基づいて、 h記符号化対象ピクチャに対し て割り 当てられる目標ビッ ト を演算する

ことを特徴とする符号化装置。

2 9 . 指定ビッ トレートに基づいてビデオデータを符 化する符 ¾化装置において、

G 0 P内における来符号化ピクチャに対して割り当てられるビ ヅ ト量から、 符号化対象ピクチャに対して割り ¾てられる 標ビッ ト ¾を演^する制御 段と、

上記制御手段によって演算された H標ビッ ト量に従って、 上記符 号化対象ピクチャを符号化する符号化手段を備え、

上記演算手段は、

G 0 Pの途中において上記指定ビッ トレートが第 1のビッ トレー 卜から第 2のビッ トレー卜に変更された場合には、 上記未符号化ピ クチャのビッ ト量を、 上記第 1のビッ トレ一 卜に基づく未符号化ピ クチャのビッ 卜量から上記第 2のビッ トレートに基づく来符号化ピ クチャのビッ ト量に補正し、 上記補正された未符号化ピクチャのビ ッ ト量に基づいて、 上記符 化対象ピクチャに対して割り当てられ る目標ビッ ト量を演算する ことを特徴とする符号化装置。

3 0 . 指定ビッ トレ一 トに基づいてビデオデータを符号化する符 号化装置において、

符 化対象ピクチャから所定枚数先のピクチャまでの 符¾化ピ クチャに対して割り当てられる 想ビッ ト ^を演算し、 その予想ビ ッ 卜 を上記符号化対象ピクチャの符号化難易度に基づいて配分す ることによって、 符号化対象ピクチャに対して割り当てられる S標 ビッ 卜 を演算する制御手段と、

に 制御手段によって演^された口標ビッ ト ¾に従って、 h記符 号化対象ピクチャを符号化する符号化 ^段を備え、

ヒ記制御手段は、

上-記指定ビッ トレ一卜が G◦ Pの途巾において第 1のビッ トレ一 卜から第 2のビッ トレー トに変更された場合には、 上記符号化手段 に与えられる目標ビッ ト レー トを、 上記第 1 のビッ トレートに対応 する ヒ記目標ビッ 卜: S¾から、 上記 ί¾ 2のビッ トレー トに対応する上 記目標ビッ ト量に補正する

ことを特徴とする符号化装 。

3 1 . 指定ビッ トレートに基づいてビデオデ一夕を符号化する符 号化装置において、

符号化対象ピクチャから所定枚数先のピクチャまでの未符号化ピ クチャに対して割り当てられる予想ビッ ト量を演算し、 その予想ビ ッ ト量を上記符号化対象ピクチャの符号化難易度に基づいて配分す ることによって、 符号化対象ピクチャに対して割り当てられる目標 ビッ ト量を演算する制御手段と、

上記制御手段によって演算された目標ビッ ト量に従って、 上記符 号化対象ピクチャを符号化する符号化手段を備え、

上記演算手段は、

G 0 Pの途中において上記指定ビッ トレー トが第 1のビッ トレー 卜から第 2のビッ トレートに変史された場合には、 ヒ記 符号化ピ クチャに割り当てられる予想ビッ ト ftの変化軌跡が、 上記第 2のビ ッ トレートで各ピクチャを符号化していた時の軌跡になるように、 上記来符号化ピクチャに対して割り 当てられる予想ビッ ト量を補正 し、 上記補正されたビッ ト量に基づいて、 上記符号化対象ピクチャ に対して割り ¾てられる 標ビッ ト量を演 する

ことを特徴とする符号化装置。

3 2 . 指定ビッ トレートに基づいてビデオデータを符 化する符 号化装置において、

符 化対象ピクチャから所定枚数先のピ々チヤまでの朱符号化ピ クチャに対して割り当てられる予想ビッ ト Sを演^し、 その 想ビ ッ ト ffi:を上記符号化対象ピクチャの符 化難 度に基づいて配分す ることによって、 符号化対象ピクチャに対して割り当てられる目標 ビッ ト量を演算する制御手段と、

上記制御手段によって演算された目標ビッ ト量に従って、 上記符 号化対象ピクチャを符号化する符号化手段を備え、

上記演算手段は、

G 0 Pの途中において上記指定ビッ トレ一卜が第 1のビッ トレー 卜から第 2のビッ 卜レー卜に変更された場合には、 上記未符号化ピ クチャに対して割り当てられるビッ ト量を、 上記第 1のビッ ト レー トに基づく未符号化ピクチャのビッ ト量から上記第 2のビッ トレー トに基づく未符号化ピクチャのビッ ト量に補正し、 上記補正された 未符号化ピクチャのビッ ト量に基づいて、 上記符号化対象ピクチャ に対して割り当てられる 標ビッ ト量を演算する

ことを特徴とする符号化装置。

3 3 . 指定ビッ トレ- - 卜に基づいてビデオデータを符 ¾化する符 号化方法において、

上記指定ビッ トレ一 卜に基づいて、 G O Pに含まれる各ピクチャ に対して割り当てられる目標ビッ ト量をそれぞれ演算する制御工程 と、

上記制御工程によって制御された目標ビッ ト量に aづいて、 符号化対象ピクチャを符 化する符号化工程とを備え、

ヒ記制御工程において、

上 §ΰ符号化工程によって上記符¾化対象ピクチャの符 化処理を 行う場合に、 上記指定ビッ ト レートが第 1のビッ トレ一卜から第 2 のビッ トレ一卜に変更されたとき、 上記第 1のビッ トレー トと上記 第 2のビッ トレートとの差分に基づいて上記符 化対象ピクチャに 割り当てられる上記目標ビッ ト量を補正する

ことを特徴とする符号化方法。

3 4 . 指定ビッ トレー卜に基づいてビデオデ一夕を符号化する符 号化方法において、

G〇 Ρ内における未符号化ピクチャに対して割り当てられるビッ ト量と上記指定ビッ ト レードとに基づいて、 符号化対象ピクチャに 対して割り当てられる目標ビッ ト量を演算する制御工程と、

上記制御工程によって演算された目標ビッ ト量に従って、 上記符 号化対象ピクチャを符号化する符号化工程を備え、

上記制御工程において、 上記指定ビッ トレ一卜が G 0 Pの途中において第 1のビッ トレー 卜から第 2のビッ トレートに変更された場合には、 上記符号化工程 に与えられる目標ビッ トレートを、 上記第 1のビッ トレー トに対応 する上記目標ビッ ト量から、 I：記第 2のビッ ト レートに対応する ヒ 記 Π1標ビッ ト量に補 [Hする

ことを特徴とする符号化方法。

3 5 . 指定ビッ トレー トに基づいてビデオデ一夕を符号化する符 号化方法において、

G 0 P内における未符 ¾ "化ピクチャに対して割り 、 てられるビッ ト量から、 符号化対象ピクチャに対して割り 当てられる Π標ビッ ト 量を演算する制御 Π程と、

ヒ記制御！程によって演算された目標ビッ ト量に従って、 ヒ^符 号化対象ピクチャを符号化する符号化工程を備え、

上記演算工程において、

G 0 Pの途屮において ヒ ¾指 ¾ビッ トレー トが^ 1 のビヅ トレー 卜から第 2のビッ ト レー卜に変更された場合には、 上, ¾来符号化ピ クチャのビッ ト量の変化軌跡が、 G 0 Pの先頭ピクチャから第 2の ビッ トレートで各ピクチャを符号化していた時の軌跡になるように、 上記未符号化ピクチャのビッ ト量を補正し、 上記補正された未符号 化ピクチャのビッ ト量に基づいて、 上記符号化対象ピクチャに対し て割り当てられる目標ビッ ト量を演算する

ことを特徴とする符号化方法。

3 6 . 指定ビッ トレートに基づいてビデオデ一夕を符号化する符 号化方法において、

G 0 P内における未符号化ピクチャに対して割り当てられるビッ ト量から、 符号化対象ピクチャに対して割り 当てられる 標ビッ ト 量を演算する制御 T-程と、

上記制御工程によって演算された目標ビッ ト量に従って、 上記符 号化対象ピクチャを符 ¾化する符号化丄 を倫え、

h ¾演算匸程において、

G 0 Pの途中において上記指定ビッ 卜 レー トが第 1のビッ トレー 卜から第 2のビッ ト レー 卜に変更された場合には、 上記来符号化ピ クチャのビッ ト量を、 上記第 1のビッ トレ一 トに基づく未符号化ピ クチャのビッ ト量から ヒ記第 2のビッ トレー トに基づく未符 化ピ クチャのビッ 卜 Sに補正し、 ヒ¾補正された来符号化ピクチャのビ ッ ト靈に基づいて、 上記符号化対象ピクチャに対して割り てられ る 標ビッ ト量を演算する

ことを特徴とする符号化方法。

3 7 . 指定ビッ トレートに基づいてビデオデータを符号化する符 号化方法において、

符号化対象ピクチャから所； ΐ枚数先のピクチャまでの未符号化ピ クチャに対して割り当てられる予想ビッ ト量を演算し、 その予想ビ ッ ト量を上記符号化対象ピクチャの符号化難易度に基づいて配分す ることによって、 符号化対象ピクチャに対して割り 当てられる目標 ビッ ト量を演算する制御工程と、

上記制御工程によって演算された目標ビッ ト量に従って、 上記符 号化対象ピクチャを符号化する符号化工程を備え、

上記制御工程において、

上記指定ビッ トレー卜が G 0 Ρの途中において第 1のビッ トレー トから第 2のビッ トレートに変更された場合には、 上記符号化工程 に与えられる目標ビッ ト レ一 トを、 上記第 1のビッ トレー 卜に対応 する上記目標ビッ ト量から、 上記第 2のビッ トレートに対応する上 記目標ビッ ト量に補正する

3 8 . 指定ビッ トレー トに基づいてビデオデータを符 化する符 号化方法において、

符号化対象ピクチャから所定枚数先のピクチャまでの未符号化ピ クチャに対して割り当てられる予想ビッ ト量を演算し、 その予想ビ ッ ト量を上記符号化対象ピクチャの符号化難易度に基づいて配分す ることによって、 符号化対象ピクチャに対して割り ¾てられる 標 ビッ ト量を演算する制御ェ程と、

上記制御！程によって演算された 0標ビッ ト ¾に従って、 ヒ記符 号化対象ピクチャを符号化する符号化工程を備え、

上記制御工程において、

G 0 Pの途中において上記指定ビッ トレー トが第 1のビッ トレー 卜から第 2のビッ トレートに変更された場合には、 上記未符号化ピ クチャに割り当てられる予想ビッ ト量の変化軌跡が、 上記第 2のビ ッ トレ一卜で各ピクチャを符号化していた時の軌跡になるように、 上記未符号化ピクチャに対して割り当てられる予想ビッ ト量を補正 し、 上記補正されたビッ ト量に基づいて、 上記符号化対象ピクチャ に対して割り当てられる目標ビッ ト量を演算する

ことを特徴とする符号化方法。

3 9 . 指定ビッ トレー卜に基づいてビデオデ一夕を符号化する符 号化方法において、

符号化対象ピクチャから所定枚数先のピクチャまでの未符号化ピ クチャに対して割り当てられる予想ビッ ト量を演算し、 その予想ビ ッ ト量を七記符号化対象ピクチャの符号化難易度に基づいて配分す ることによって、 符号化対象ピクチャに対して割り当てられる目標 ビッ ト量を演算する制御-に程と、

上記制御ェ程によって演^された 標ビッ ト量に従って、 1 符 号化対象ピクチャを符号化する符号化工程を備え、

上記制御工程において、

G O Pの途中において上記指定ビッ トレー トが第 1のビッ トレー 卜から第 2のビッ トレートに変更された場合には、 ヒ記来符号化ピ クチャに対して割り当てられるビッ ト量を、 上記第 1のビッ トレー トに基づく来符号化ピクチャのビッ ト量から上記第 2のビッ 卜レー 卜に基づく未符号化ピクチャのビッ ト量に補 LEし、 上記補正された 未符号化ピクチャのビッ ト量に基づいて、 上記符号化対象ピクチャ に対して割り当てられる 標ビッ ト量を演算する

ことを特徴とする符 化方法。