JP4152570B2

JP4152570B2 - Moving picture coding apparatus, moving picture coding method, and recording medium on which moving picture coding program is recorded

Info

Publication number: JP4152570B2
Application number: JP2000202712A
Authority: JP
Inventors: 伸一服部
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2000-07-04
Filing date: 2000-07-04
Publication date: 2008-09-17
Anticipated expiration: 2020-07-04
Also published as: JP2002027459A

Description

【０００１】
【発明の属する技術分野】
この発明は、動画像の高能率符号化に関し、特に符号化に際してビットレートを制御しながらリアルタイム処理で符号化を行う動画像符号化装置、動画像符号化方法及び動画像符号化プログラムが記録された記録媒体に関するものである。
【０００２】
【従来の技術】
図７は例えば特開平６−１４１２９８号公報に示された従来の動画像符号化装置を示す構成図であり、図において、１は仮符号化部、２は目標転送レート設定部、３は画像符号化処理部、１１は画像信号を出力するビデオテープレコーダ（以下、ＶＴＲと称する）、１２はＶＴＲ１１が出力する画像信号から画像間予測器１７が出力するフレーム間予測信号を減算して、予測残差信号を出力する予測減算器、１３は予測減算器１２が出力する予測残差信号を離散コサイン変換するＤＣＴ、１４は符号化制御部２２により指定された量子化ステップ幅で、ＤＣＴ１３による変換後の予測残差信号を量子化する量子化器である。
【０００３】
１５は量子化器１４により量子化された予測残差信号を逆量子化及び逆離散コサイン変換して、再生予測残差信号を出力する局部復号器、１６は画像間予測器１７が出力するフレーム間予測信号と局部復号器１５が出力する再生予測残差信号を加算して、再生画像信号を出力する加算器、１７は加算器１６が出力する再生画像信号を１フレーム以上遅延して動き補償を実施することによりフレーム間予測信号を生成する画像間予測器である。
【０００４】
１８は量子化器１４により量子化された予測残差信号を可変長符号化して、符号化データを出力する可変長符号化器、１９はセレクタ、２０は符号化データを一時的に格納するバッファ、２１はセレクタ、２２はバッファ２０の充足度に応じて量子化ステップ幅を制御する符号化制御部である。
【０００５】
２３は単位時間毎に発生する符号量をカウントし、そのカウント値を仮転送レートとして出力する仮符号量カウンタ、２４は実符号化において再度使用される単位時間毎の仮転送レートを記憶する仮転送レートメモリ、２５は仮転送レートから目標転送レートへの変換特性を決定し、その変換特性情報を出力する符号量制御器、２６は符号量制御器２５が出力する変換特性情報に応じて、仮転送レートメモリ２４が出力する単位時間毎の仮転送レートから目標転送レートを設定する目標転送レート設定器である。
【０００６】
次に動作について説明する。
画像符号化処理部３は、ＩＴＵ−Ｔ等の標準方式となっている画像符号化方式の画像符号化装置と同一の構成となっている。
画像符号化処理部３において入力された画像信号は、予測減算器１２に入力される。予測減算器１２では、画像間予測器１７から出力されるフレーム間予測信号が前記画像信号から減算され、この減算結果は予測残差信号としてＤＣＴ１３に出力される。
【０００７】
その予測残差信号は、ＤＣＴ１３で離散コサイン変換が行われ、量子化器１４に導かれる。量子化器１４では、符号化制御部２２から出力される量子化ステップ幅に応じて量子化が行われる。その量子化された予測残差信号は、可変長符号化器１８で可変長符号化されてバッファ２０に出力される。バッファ２０に入力された符号化データは、可変長符号化されているため符号発生量が常に変動するが、バッファ２０で変動が吸収され、一定の転送レートで符号化データが出力される。
【０００８】
一方、局部復号器１５では、量子化された予測残差信号の逆量子化及び逆ＤＣＴが行われる。符号は復号されて再生予測残差信号となり、加算器１６に出力される。加算器１６では、画像間予測器１７から出力されるフレーム間予測信号と局部復号器１５から出力される再生予測残差信号とが加算され、再生画像信号となって画像間予測器１７に供給される。画像間予測器１７では、その再生画像信号が１フレーム以上遅延されて動き補償が行われ、フレーム間予測信号が生成されて予測減算器１２と加算器１６に供給される。
【０００９】
従来、動画像符号化方式は、符号化データの出力ビットレートの制御方法により、固定ビットレート（ＣＢＲ）符号化方式と可変ビットレート（ＶＢＲ）方式とに大きく分類できる。主に前者は、通信用途における伝送路容量の制約に適応するために用いられている。一方、後者は主に符号化データのファイル媒体への蓄積に用いられており、所定時間長の総符号量が一定という制約条件のもとで、被符号化画像の性質に応じてビットレートを変動させるというものである。
【００１０】
固定ビットレート方式の場合、画像符号化処理部３における符号化制御部２２では、フィードバックされたバッファ充填量に応じて量子化ステップ幅が設定され、量子化器１４に出力される。量子化ステップ幅は、バッファ２０に符号が多く溜まっている場合に粗く、バッファ２０が空に近い場合に細かくされ、一定レートでデータが引き抜かれるバッファ２０のオーバーフローやアンダーフローが発生しないように制御される必要がある。したがって、被符号化画像の性質に応じて量子化ステップ幅を変動させられる許容範囲が狭く、時間上局所的に画質劣化が生じ易い。
【００１１】
一方、可変ビットレート方式は、所定時間長の総符号量が一定という制約条件のもとで、被符号化画像の性質に応じてビットレートを変動させることで平均的画質を向上できるというものである。従来の可変ビットレート符号化装置は、何らかの仮符号化を実行して、その結果を実符号化の可変ビットレート符号化制御に反映させるという処理手順を実行するものであった。
【００１２】
以下、可変ビットレート符号化装置の一例について図７を基に説明する。符号化処理は同一の被符号化画像信号に対して２回行われる。一度目は単位時間毎の目標転送レートを設定するための仮符号化において行われ、二度目は実際の符号化（実符号化）において行われる。まず、仮符号化部１は、前記の単位時間毎の目標転送レートを設定するためのものである。ＶＴＲ１１から出力される画像信号は、予測減算器１２に入力される。従来例では同一画像信号が２度画像符号化処理部３に供給されるので、符号化前の画像信号の全てが、ＶＴＲ１１等の大容量の画像記録媒体に記録されている必要がある。
【００１３】
基本的な符号化処理は上述した画像符号化処理部３の動作の通りであるが、可変長符号化器１８から出力される符号化データは、セレクタ１９に入力される。ここで、セレクタ２１はＡ側に切り替えられ、バッファ充足度として所定の固定値が符号化制御部２２に出力される。その固定値は、その固定値によって符号化された画像が必要十分な画質となる様なものとされる。一度目の仮符号化処理では、可変長符号化器１８の出力はセレクタ１９を介して仮符号量カウンタ２３に入力される。仮符号量カウンタ２３では単位時間毎に発生する符号量がカウントされ、仮転送レートとして出力される。
【００１４】
次に目標転送レート設定部２は、動画像信号の符号量の総和が所定値になるように単位時間毎に前記仮符号量から目標転送レートを設定するものである。仮符号量カウンタ２３から出力される仮転送レートは、符号量制御器２５及び仮転送レートメモリ２４に入力される。仮転送レートメモリ２４では、実符号化において再度使用される単位時間毎の仮転送レートが全て記憶される。
符号量制御器２５は、仮転送レートから目標転送レートへの変換特性を決めるためのものである。仮符号化が終了した時点で、符号量制御器２５から出力される変換特性情報が目標転送レート設定器２６に入力される。
【００１５】
次に実際の符号化処理では、単位時間毎の目標転送レートに合うように発生符号量を制御しながら符号化を行うものである。ＶＴＲ１１から仮符号化時と同じ画像が再度出力され、仮符号化と同様な符号化が行われる。実符号化時には、可変長符号化器１８の出力はセレクタ１９を介してバッファ２０に印加される。バッファ２０によって、符号は短周期の変動が吸収されて符号化データが出力される。
バッファ２０から符号を読み出す時のレートは、単位時間毎に目標転送レート設定器２６から供給される値によって制御される。従って、バッファ２０から出力される符号量は単位時間毎に変化する。目標転送レート設定器２６では、仮転送レートメモリ２４から単位時間毎に入力される仮転送レートが、符号量制御器２５から入力される変換特性に応じて変換され、目標転送レートが設定される。
【００１６】
一方、バッファ２０の充足度の情報は、セレクタ２１を介して符号化制御部２２に入力される。符号化制御部２２では、バッファ充足度により量子化ステップ幅が制御される。この制御では、長い周期での変動が単位時間毎の可変転送レート化により吸収されているので、局部的な変動を吸収するだけになり、オーバーフローする可能性も低くなる。
なお、上記従来例と異なり、仮符号化手段と実符号化手段との両方を直列に接続する構成の動画像符号化装置はリアルタイム処理が可能である。
【００１７】
【発明が解決しようとする課題】
従来の動画像符号化装置は以上のように構成されているので、被符号化画像全体の符号化上の特徴を解析してから本符号化を開始する。そのため、符号化処理が非リアルタイム処理となり、少なくとも通常の符号化の倍以上の時間を要することになる。即ち、このような符号化システムは、処理がリアルタイム処理とならないため、大量かつ長大なコンテンツの高速な符号化に適さないという課題があった。
【００１８】
また、仮符号化手段と実符号化手段との両方を直列に接続する構成の動画像符号化装置においては、リアルタイムでの仮符号化処理と実符号化処理のために少なくとも倍以上の性能が必要となることから、装置規模あるいは消費電力の著しい増加を招き、実現性が乏しいという課題があった。
【００１９】
この発明は上記のような課題を解決するためになされたもので、著しい装置規模や消費電力の増加を招くことなく、可変ビットレート符号化をリアルタイムに行うことができる動画像符号化装置、動画像符号化方法及び動画像符号化プログラムが記録された記録媒体を得ることを目的とする。
【００２０】
【課題を解決するための手段】
この発明に係る動画像符号化装置は、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出手段と、その目標符号量算出手段によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化手段とを設け、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにするものである。
【００２２】
この発明に係る動画像符号化装置は、目標符号量算出手段が目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するようにしたものである。
【００２３】
この発明に係る動画像符号化方法は、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示すると、その目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化するようにしたものであって、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにするものである。
【００２５】
この発明に係る動画像符号化方法は、目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するようにしたものである。
【００２６】
この発明に係る動画像符号化プログラムが記録された記録媒体は、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出処理手順により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出処理手順と、その目標符号量算出処理手順によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化処理手順とを記録するようにしたものであって、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出処理手順により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するようにするものである。
【００２８】
この発明に係る動画像符号化プログラムが記録された記録媒体は、目標符号量算出処理手順が目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するようにしたものである。
【００２９】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による動画像符号化装置を示す構成図であり、図において、３１は入力画像から画像特徴情報を抽出する画像特徴情報抽出部（特徴抽出手段）、３２は画像特徴情報抽出部３１により抽出された画像特徴情報を発生確率に変換して発生確率区間を出力する特徴情報−発生確率変換テーブル、３３は特徴情報−発生確率変換テーブル３２が出力する発生確率区間から目標符号量を算出する目標符号量算出部である。なお、特徴情報−発生確率変換テーブル３２及び目標符号量算出部３３から目標符号量算出手段が構成されている。
【００３０】
３４は目標符号量算出部３３により算出された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する画像符号化部（符号化手段）であり、画像符号化部３４は図７の画像符号化処理部３と同様に、例えばＩＴＵ−Ｔ等の標準方式となっている画像符号化方式の画像符号化装置と同一の構成となっている。また、例えばベクトル量子化方式の画像符号化装置と同一の構成となっている。
３５は目標符号量算出部３３により算出された目標符号量に応じて量子化ステップ幅を制御する符号化制御部、３６は符号化制御部３５により指定された量子化ステップ幅で量子化演算を実施する量子化器、３７は量子化による符号量制御手段を採用している画像符号化方式によって動画像の符号化演算を行う画像符号化処理部である。
【００３１】
図２はこの発明の実施の形態１による動画像符号化方法を示すフローチャートである。
なお、この実施の形態１では、ハードウエアである画像特徴情報抽出部３１、特徴情報−発生確率変換テーブル３２、目標符号量算出部３３及び画像符号化部３４から動画像符号化装置を構成するものについて示しているが、これらをハードウエアではなくソフトウエアで構成し、そのソフトウエアである動画像符号化プログラムをコンピュータが読み取り可能な記録媒体に記録するようにしてもよい。
【００３２】
次に動作について説明する。
入力画像は既にデジタル化されているものとする。デジタル入力画像は画像特徴情報抽出部３１に入力され、そのデジタル入力画像から画像の特徴、即ち、符号化の難しさを定量的に表す画像特徴情報が演算される（ステップＳＴ１）。画像特徴情報は、例えば、被符号化画像１フレーム分の前フレームとのフレーム間差分総和などでもよい。また、分散値総和や水平あるいは垂直周波数高域成分などでもよい。
【００３３】
図３は画像のフレーム間差分と固定量子化ステップで符号化した場合の符号量との一般的な関係を示す説明図である。図３に示すように、画像特徴情報であるフレーム間差分の大きい場合は発生符号量も大きく、フレーム間差分の小さい場合は発生符号量も小さい。したがって、画像特徴情報であるフレーム間差分は、画像の符号化の難しさを定量的に示すものであるといえる。
【００３４】
次に特徴情報−発生確率変換テーブル３２において、画像特徴情報抽出部３１で算出された画像特徴情報がその発生確率に変換されて、発生確率区間が出力される（ステップＳＴ２）。画像特徴情報とその発生確率との関係は、多くの画像シーケンスにおいて測定しておき、特徴情報−発生確率変換テーブル３２を作成しておく。
【００３５】
図４は画像特徴情報の一例であるフレーム間差分とその発生確率の関係を示す説明図である。図４に示すように、画像特徴情報（０から最大値Ｓ₁₀₀）とその発生確率との関係を関数ρ(S)とすると下記のようになる。
【数１】

なお、上記の式（１）の関係は画像特徴情報としてフレーム間差分を使用した場合にのみ成立するものではなく、如何なる画像特徴情報を利用しても成立するものである。
また、図４に示す例では次のようになる。
【数２】

【００３６】
図５は図４に示す画像特徴情報の発生確率分布時における特徴情報−発生確率変換テーブル３２の構成例を示す説明図である。図５において、画像特徴情報はＲＯＭのアドレス信号となり、ＲＯＭのデータ出力として発生確率区間が出力される。なお、図５の例において、発生確率区間は０〜３となっているが、区間の区切り数は制約を受けるものでなく任意に構成できる。
【００３７】
目標符号量算出部３３において、特徴情報−発生確率変換テーブル３２からの発生確率区間を、所定時間における総符号量の既定値に合致し、かつ、画像の符号化の難しさに従った目標符号量に変換して出力する（ステップＳＴ３）。全ての発生確率区間における各発生確率区間が示す確率とその変換される目標符号量相当のビットレートとの積の総和は、総符号量の既定値から得られる平均ビットレートと一致するようにするものである。また、発生確率区間が示す元の画像の符号化の難しさから目標符号量を設定する。
【００３８】
図４に示す画像特徴情報の発生確率分布時において、図５の特徴情報−発生確率変換テーブル３２の構成例により発生確率区間が出力される場合の例を以下に説明する。
各発生確率区間の目標符号量を下記のようにする。
【数３】

この場合、下記の関係が成り立つように目標符号量への変換を設定する。
総符号量／所定時間＝（０．２５×目標符号量１Ｍｂｐｓ）＋（０．２５×目標符号量２Ｍｂｐｓ）＋（０．２５×目標符号量３Ｍｂｐｓ）＋（０．２５×目標符号量４Ｍｂｐｓ）
【００３９】
符号化制御部３５において、目標符号量を目標にして、画像符号化処理部３７で実際に符号化される符号量をカウントし、発生符号量を目標に収束させるように量子化ステップ幅を調整する（ステップＳＴ４）。
画像符号化処理部３７は、符号化制御部３５により調整された量子化ステップ幅で、入力画像を可変ビットレート符号化する（ステップＳＴ５）。
なお、画像符号化部３４は、目標符号量が目標符号量算出部３３からフィードフォワード指示されることを除いて、量子化による符号量制御手段を採用している画像符号化方式の画像符号化装置と同一の構成で同一の処理である。
【００４０】
以上のように、この実施の形態１によれば、画像の符号化の難しさを示す特徴情報を得て、符号化の難しい画像には多くの符号量を、符号化の容易な画像には少ない符号量をその発生確率分布に従って割り当てるようにしているので、所定時間長における総符号量が既定値に収まり、かつ、符号化画像の平均的画像品質を向上する可変ビットレート制御をすることができる。また、画像の符号化の難しさを示す画像特徴情報からフィードフォワード制御するので、画像の符号化処理はリアルタイムで一回のみにすることができる。
【００４１】
実施の形態２．
図６はこの発明の実施の形態２による動画像符号化装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。３８は特徴情報−発生確率変換テーブル３２が出力する発生確率区間から目標符号量を算出するとともに、特徴情報補正変換部３９に対して誤差信号を出力する目標符号量算出部、３９は誤差信号にしたがって画像特徴情報を補正する特徴情報補正変換部である。なお、目標符号量算出部３８及び特徴情報補正変換部３９は目標符号量算出手段を構成している。
【００４２】
次に動作について説明する。
上記実施の形態１では、入力画像の画像特徴情報を算出して、その画像特徴情報から発生確率に変換し、その発生確率から目標符号量を算出するものについて示したが、入力画像の画像特徴情報の発生確率が偏っているような場合、画像特徴情報の発生確率の誤差を補正するようにしてもよい。
【００４３】
即ち、入力画像の画像特徴情報の発生確率が、特徴情報−発生確率変換テーブル３２の確率分布から偏っているような場合、目標符号量算出部３８の出力する目標符号量の確率分布も偏らせる。目標符号量算出部３８は、ある期間の目標符号量をカウントし、その期間の平均ビットレートと総符号量の既定値から得られる平均ビットレートとを比較し、目標符号量の平均ビットレートの偏差を誤差信号として出力する。
【００４４】
特徴情報補正変換部３９は、画像特徴情報抽出部３１から出力される画像特徴情報に対して、目標符号量算出部３８から出力される誤差信号を受けて、画像特徴情報を補正演算し、補正特徴情報を出力する。補正演算は、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超えることを示す誤差信号の場合、画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算する。逆に、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回ることを示す誤差信号の場合、画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算する。また、目標符号量の平均ビットレートと総符号量の既定値から得られる平均ビットレートとの一致を示す誤差信号の場合、補正演算は現在の補正演算を維持する。
【００４５】
特徴情報−発生確率変換テーブル３２において、補正特徴情報からその発生確率へ変換されて、発生確率区間が出力される。補正特徴情報は特徴情報−発生確率変換テーブル３２の発生確率分布に近づけられているので、適切な発生確率区間の出力を得ることができる。適切な発生確率区間の出力から、上記実施の形態１と同様に目標符号量算出部３８において、所定時間における総符号量の既定値に合致し、かつ、画像の符号化の難しさに従った目標符号量に変換して出力することができる。
符号化制御部３５において、目標符号量を目標にして、画像符号化処理部３７で実際に符号化される符号量をカウントし、発生符号量を目標に収束させるように量子化ステップ幅を調整する。
【００４６】
以上のように、この実施の形態２によれば、入力画像の画像特徴情報の発生確率が偏っているような場合にも、画像特徴情報の発生確率の誤差を補正するようにしているので、特徴情報−発生確率変換テーブル３２の持つ確率分布に対して入力画像の画像特徴情報の発生確率が偏っているような場合にも所定時間長における総符号量が既定値に収まり、かつ、符号化画像の平均的画像品質を向上する可変ビットレート制御をすることができる。また、画像の符号化の難しさを示す画像特徴情報からフィードフォワード制御するので、画像の符号化処理はリアルタイムで一回のみにすることができる。
【００４７】
【発明の効果】
以上のように、この発明によれば、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出手段と、その目標符号量算出手段によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化手段とを設け、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するように構成したので、著しい装置規模や消費電力の増加を招くことなく、可変ビットレート符号化をリアルタイムに行うことができる効果がある。
【００４９】
この発明によれば、目標符号量算出手段が目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するように構成したので、平均的画像画質を向上させることができる効果がある。
【００５０】
この発明によれば、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出手段により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示すると、その目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化するものであって、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出手段により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するように構成したので、著しい処理演算量の増大に伴う装置規模や消費電力の増加を招くことなく、可変ビットレート符号化をリアルタイムに行うことができる効果がある。
【００５２】
この発明によれば、目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出手段により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するように構成したので、平均的画像画質を向上させることができる効果がある。
【００５３】
この発明によれば、予め入力画像と異なる別の画像についての画像特徴情報と当該画像特徴情報の発生確率との関係が保持されているテーブルを参照して、特徴抽出処理手順により抽出された画像特徴情報の発生確率区間を特定するとともに、予め設定している画像特徴情報の発生確率区間と目標符号量との対応関係にしたがって、特定した画像特徴情報の発生確率区間を、画像の符号化の難しさに従った目標符号量に変換し、その目標符号量をフィードフォワード指示する目標符号量算出処理手順と、その目標符号量算出処理手順によりフィードフォワード指示された目標符号量に応じて量子化ステップ幅を調整し、その入力画像を当該量子化ステップ幅で可変ビットレート符号化する符号化処理手順とを記録するようにしたものであって、全ての発生確率区間における各発生確率区間が示す確率と、目標符号量算出処理手順により変換される目標符号量相当のビットレートとの積の総和が、総符号量の既定値から得られる平均ビットレートと一致するように構成したので、著しい処理演算量の増大に伴う装置規模や消費電力の増加を招くことなく、可変ビットレート符号化をリアルタイムに行うことができる効果がある。
【００５５】
この発明によれば、目標符号量算出処理手順が目標符号量をフィードフォワード指示する際、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを超える場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより高い方の画像特徴情報へ補正演算し、目標符号量の平均ビットレートが総符号量の既定値から得られる平均ビットレートを下回る場合には、特徴抽出処理手順により抽出された画像特徴情報を発生確率のより低い方の画像特徴情報へ補正演算し、テーブルを参照して、補正後の画像特徴情報の発生確率区間を特定するように構成したので、平均的画像画質を向上させることができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による動画像符号化装置を示す構成図である。
【図２】この発明の実施の形態１による動画像符号化方法を示すフローチャートである。
【図３】画像のフレーム間差分と固定量子化ステップで符号化した場合の符号量との一般的な関係を示す説明図である。
【図４】画像特徴情報の一例であるフレーム間差分とその発生確率の関係を示す説明図である。
【図５】特徴情報−発生確率変換テーブルの構成例を示す説明図である。
【図６】この発明の実施の形態２による動画像符号化装置を示す構成図である。
【図７】従来の動画像符号化装置を示す構成図である。
【符号の説明】
３１画像特徴情報抽出部（特徴抽出手段）、３２特徴情報−発生確率変換テーブル（目標符号量算出手段）、３３目標符号量算出部（目標符号量算出手段）、３４画像符号化部（符号化手段）、３５符号化制御部、３６量子化器、３７画像符号化処理部、３８目標符号量算出部（目標符号量算出手段）、３９特徴情報補正変換部（目標符号量算出手段）。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to high-efficiency encoding of moving images, and in particular, records a moving image encoding device, a moving image encoding method, and a moving image encoding program that perform encoding in real time while controlling the bit rate during encoding. The present invention relates to a recording medium.
[0002]
[Prior art]
FIG. 7 is a block diagram showing a conventional moving picture encoding apparatus disclosed in, for example, Japanese Patent Laid-Open No. 6-141298. In FIG. 7, 1 is a temporary encoding unit, 2 is a target transfer rate setting unit, and 3 is an image. An encoding processing unit 11 is a video tape recorder (hereinafter referred to as a VTR) that outputs an image signal, and 12 is a prediction obtained by subtracting the inter-frame prediction signal output by the inter-picture predictor 17 from the image signal output by the VTR 11. A predictive subtractor that outputs a residual signal, 13 is a DCT that performs a discrete cosine transform on the predicted residual signal that is output from the

predictive subtractor

12, and 14 is a quantization step width designated by the encoding control unit 22, and is transformed by the DCT 13. It is a quantizer that quantizes the subsequent prediction residual signal.
[0003]
15 is a local decoder that performs inverse quantization and inverse discrete cosine transform on the prediction residual signal quantized by the quantizer 14 and outputs a reproduced prediction residual signal, and 16 indicates a frame output by the inter-picture predictor 17. The inter-prediction signal and the reproduction prediction residual signal output from the local decoder 15 are added to output the reproduction image signal, and 17 is a motion compensation by delaying the reproduction image signal output from the adder 16 by one frame or more. This is an inter-picture predictor that generates an inter-frame prediction signal by performing the above.
[0004]
18 is a variable-length encoder that performs variable-length encoding on the prediction residual signal quantized by the quantizer 14 and outputs encoded data, 19 is a selector, and 20 is a buffer that temporarily stores the encoded data. , 21 is a selector, and 22 is an encoding control unit that controls the quantization step width in accordance with the degree of fullness of the buffer 20.
[0005]
23 is a temporary code amount counter that counts the amount of code generated per unit time and outputs the count value as a temporary transfer rate. 24 is a temporary code that stores a temporary transfer rate per unit time that is used again in actual encoding. The transfer rate memory 25 determines the conversion characteristic from the temporary transfer rate to the target transfer rate, and outputs the conversion characteristic information. The code amount controller 26 outputs the conversion characteristic information according to the conversion characteristic information output by the code amount controller 25. This is a target transfer rate setting unit that sets a target transfer rate from the temporary transfer rate per unit time output by the temporary transfer rate memory 24.
[0006]
Next, the operation will be described.
The image encoding processing unit 3 has the same configuration as an image encoding apparatus of an image encoding method that is a standard method such as ITU-T.
The image signal input in the image encoding processing unit 3 is input to the prediction subtracter 12. In the prediction subtractor 12, the inter-frame prediction signal output from the inter-picture predictor 17 is subtracted from the image signal, and the subtraction result is output to the DCT 13 as a prediction residual signal.
[0007]
The prediction residual signal is subjected to discrete cosine transform by the DCT 13 and guided to the quantizer 14. The quantizer 14 performs quantization according to the quantization step width output from the encoding control unit 22. The quantized prediction residual signal is variable length encoded by the variable length encoder 18 and output to the buffer 20. Since the encoded data input to the buffer 20 is variable-length encoded, the amount of generated code always fluctuates, but the fluctuation is absorbed by the buffer 20 and the encoded data is output at a constant transfer rate.
[0008]
On the other hand, the local decoder 15 performs inverse quantization and inverse DCT on the quantized prediction residual signal. The code is decoded to become a reproduction prediction residual signal, which is output to the adder 16. In the adder 16, the inter-frame prediction signal output from the inter-picture predictor 17 and the reproduced prediction residual signal output from the local decoder 15 are added and supplied to the inter-picture predictor 17 as a reproduced image signal. Is done. In the inter-picture predictor 17, the reproduced image signal is delayed by one frame or more to perform motion compensation, and an inter-frame prediction signal is generated and supplied to the prediction subtracter 12 and the adder 16.
[0009]
Conventionally, moving picture coding methods can be roughly classified into a constant bit rate (CBR) coding method and a variable bit rate (VBR) method according to a method for controlling an output bit rate of coded data. The former is mainly used to adapt to transmission path capacity constraints in communication applications. On the other hand, the latter is mainly used for storing encoded data in a file medium. The bit rate is set according to the characteristics of the encoded image under the constraint that the total code amount for a predetermined time length is constant. It is to change.
[0010]
In the case of the fixed bit rate method, the encoding control unit 22 in the image encoding processing unit 3 sets a quantization step width according to the fed back buffer filling amount, and outputs it to the quantizer 14. The quantization step width is coarse when a large amount of code is accumulated in the buffer 20, and is fined when the buffer 20 is nearly empty, and is controlled so as not to cause overflow or underflow of the buffer 20 from which data is extracted at a constant rate. Need to be done. Therefore, the allowable range in which the quantization step width can be varied according to the properties of the encoded image is narrow, and image quality degradation tends to occur locally in time.
[0011]
On the other hand, the variable bit rate method can improve the average image quality by changing the bit rate according to the property of the encoded image under the constraint that the total code amount for a predetermined time length is constant. is there. The conventional variable bit rate encoding apparatus executes a processing procedure of executing some provisional encoding and reflecting the result in variable bit rate encoding control of actual encoding.
[0012]
Hereinafter, an example of the variable bit rate encoding apparatus will be described with reference to FIG. The encoding process is performed twice for the same encoded image signal. The first time is performed in provisional coding for setting a target transfer rate for each unit time, and the second time is performed in actual coding (actual coding). First, the temporary encoding unit 1 is for setting the target transfer rate per unit time. The image signal output from the VTR 11 is input to the prediction subtracter 12. In the conventional example, since the same image signal is supplied twice to the image encoding processing unit 3, all the image signals before encoding must be recorded on a large-capacity image recording medium such as the VTR 11.
[0013]
The basic encoding process is the same as the operation of the image encoding processing unit 3 described above. The encoded data output from the variable length encoder 18 is input to the selector 19. Here, the selector 21 is switched to the A side, and a predetermined fixed value is output to the encoding control unit 22 as the buffer fullness. The fixed value is such that an image encoded with the fixed value has a necessary and sufficient image quality. In the first temporary encoding process, the output of the variable length encoder 18 is input to the temporary code amount counter 23 via the selector 19. The temporary code amount counter 23 counts the code amount generated every unit time and outputs it as a temporary transfer rate.
[0014]
Next, the target transfer rate setting unit 2 sets the target transfer rate from the provisional code amount every unit time so that the sum of the code amounts of the moving image signal becomes a predetermined value. The temporary transfer rate output from the temporary code amount counter 23 is input to the code amount controller 25 and the temporary transfer rate memory 24. The temporary transfer rate memory 24 stores all temporary transfer rates per unit time that are used again in actual encoding.
The code amount controller 25 is for determining the conversion characteristic from the temporary transfer rate to the target transfer rate. When the temporary encoding is completed, the conversion characteristic information output from the code amount controller 25 is input to the target transfer rate setting unit 26.
[0015]
Next, in the actual encoding process, encoding is performed while controlling the generated code amount so as to match the target transfer rate per unit time. The same image as that at the time of provisional encoding is output again from the VTR 11, and encoding similar to the provisional encoding is performed. At the time of actual encoding, the output of the variable length encoder 18 is applied to the buffer 20 via the selector 19. The buffer 20 absorbs short-cycle fluctuations in the code and outputs encoded data.
The rate at which the code is read from the buffer 20 is controlled by the value supplied from the target transfer rate setting unit 26 per unit time. Accordingly, the code amount output from the buffer 20 changes every unit time. In the target transfer rate setting unit 26, the temporary transfer rate input from the temporary transfer rate memory 24 per unit time is converted according to the conversion characteristics input from the code amount controller 25, and the target transfer rate is set. .
[0016]
On the other hand, information on the degree of fullness of the buffer 20 is input to the encoding control unit 22 via the selector 21. In the encoding control unit 22, the quantization step width is controlled by the buffer fullness. In this control, since fluctuations in a long cycle are absorbed by the variable transfer rate for each unit time, only local fluctuations are absorbed, and the possibility of overflow is reduced.
Note that, unlike the above-described conventional example, a moving picture encoding apparatus configured to connect both the temporary encoding unit and the actual encoding unit in series can perform real-time processing.
[0017]
[Problems to be solved by the invention]
Since the conventional moving image encoding apparatus is configured as described above, the main encoding is started after analyzing the encoding characteristics of the entire encoded image. For this reason, the encoding process is a non-real-time process, which requires at least twice as much time as normal encoding. That is, such an encoding system has a problem that it is not suitable for high-speed encoding of a large amount of long contents because the processing is not real-time processing.
[0018]
In addition, in the moving picture encoding apparatus configured to connect both the temporary encoding unit and the actual encoding unit in series, the performance is at least twice as high for the temporary encoding process and the actual encoding process in real time. Since this is necessary, there has been a problem that the device scale or power consumption is remarkably increased and the feasibility is poor.
[0019]
The present invention has been made to solve the above-described problems, and is a moving picture encoding apparatus and moving picture capable of performing variable bit rate encoding in real time without causing a significant increase in apparatus scale and power consumption. An object is to obtain a recording medium on which an image encoding method and a moving image encoding program are recorded.
[0020]
[Means for Solving the Problems]
  The moving image encoding apparatus according to the present invention refers to a table in which the relationship between the image feature information of another image different from the input image and the occurrence probability of the image feature information is stored in advance by the feature extraction unit. Of extracted image feature informationOccurrence probability intervalAs well as pre-set image feature informationOccurrence probability intervalAccording to the correspondence between the target code amount and the specified image feature information.The occurrence probability section is converted into a target code amount according to the difficulty of image encoding,Target code amount calculation means for instructing the target code amount to feed forward, and a quantization step width is adjusted according to the target code amount instructed to feed forward by the target code amount calculation means, and the input image is subjected to the quantization step. And encoding means for variable bit rate encoding with widthThe total bit of the product of the probability indicated by each occurrence probability interval in all occurrence probability intervals and the bit rate equivalent to the target code amount converted by the target code amount calculation means is obtained from the default value of the total code amount It is intended to match the rate.
[0022]
  In the moving image encoding apparatus according to the present invention, when the target code amount calculation means feeds forward the target code amount, the average bit rate of the target code amount exceeds the average bit rate obtained from the default value of the total code amount. Includes image feature information extracted by feature extraction meansCorrection to the higher image feature informationIf the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the image feature information extracted by the feature extraction means isCorrection to the lower image feature informationReferring to the table, the corrected image feature informationOccurrence probability intervalIs specified.
[0023]
  The moving image encoding method according to the present invention refers to a table in which the relationship between the image feature information of another image different from the input image and the occurrence probability of the image feature information is stored in advance by the feature extraction unit. Of extracted image feature informationOccurrence probability intervalAs well as pre-set image feature informationOccurrence probability intervalAccording to the correspondence between the target code amount and the specified image feature information.The occurrence probability section is converted into a target code amount according to the difficulty of image encoding,When the target code amount is instructed to be feedforward, the quantization step width is adjusted according to the target code amount, and the input image is subjected to variable bit rate encoding with the quantization step width.The sum of the products of the probability indicated by each occurrence probability section in all occurrence probability sections and the bit rate corresponding to the target code amount converted by the target code amount calculation means is obtained from the default value of the total code amount. It is intended to match the average bit rate.
[0025]
  In the moving image encoding method according to the present invention, when the target code amount is instructed to be feed-forward, if the average bit rate of the target code amount exceeds the average bit rate obtained from the predetermined value of the total code amount, the feature extraction means Occurrence probability of image feature information extracted byCorrection to the higher image feature informationIf the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the image feature information extracted by the feature extraction means isCorrection to the lower image feature informationReferring to the table, the corrected image feature informationOccurrence probability intervalIs specified.
[0026]
  The recording medium on which the moving image encoding program according to the present invention is recorded refers to a table in which the relationship between the image feature information about another image different from the input image and the occurrence probability of the image feature information is held in advance. Image feature information extracted by the feature extraction processing procedureOccurrence probability intervalAs well as pre-set image feature informationOccurrence probability intervalAccording to the correspondence between the target code amount and the specified image feature information.The occurrence probability section is converted into a target code amount according to the difficulty of image encoding,A target code amount calculation processing procedure for feedforward instructing the target code amount, and a quantization step width is adjusted according to the target code amount instructed for feedforward by the target code amount calculation processing procedure, and the input image is Encoding procedure for variable bit rate encoding with a conversion step width.Thus, the sum of the products of the probability indicated by each occurrence probability interval in all occurrence probability intervals and the bit rate corresponding to the target code amount converted by the target code amount calculation processing procedure is obtained from the default value of the total code amount. It is intended to match the average bit rate obtained.
[0028]
  In the recording medium on which the moving image encoding program according to the present invention is recorded, the average bit rate of the target code amount is obtained from the default value of the total code amount when the target code amount calculation processing procedure instructs the feed forward of the target code amount. If the average bit rate exceeds the average bit rate, the image feature information extracted by the feature extraction processing procedure is used as the probability of occurrence.Correction to the higher image feature informationIf the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the probability of occurrence of the image feature information extracted by the feature extraction processing procedureCorrection to the lower image feature informationReferring to the table, the corrected image feature informationOccurrence probability intervalIs specified.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
An embodiment of the present invention will be described below.
Embodiment 1 FIG.
FIG. 1 is a block diagram showing a moving image coding apparatus according to Embodiment 1 of the present invention. In the figure, 31 is an image feature information extraction unit (feature extraction means) for extracting image feature information from an input image, and 32 is A feature information-occurrence probability conversion table for converting the image feature information extracted by the image feature information extraction unit 31 into an occurrence probability and outputting an occurrence probability interval; 33, an occurrence probability interval output by the feature information-occurrence probability conversion table 32 Is a target code amount calculation unit for calculating a target code amount from. The feature information-occurrence probability conversion table 32 and the target code amount calculation unit 33 constitute target code amount calculation means.
[0030]
34 is an image encoding unit (encoding unit) that adjusts the quantization step width according to the target code amount calculated by the target code amount calculation unit 33 and performs variable bit rate encoding of the input image with the quantization step width. In the same manner as the image encoding processing unit 3 in FIG. 7, the image encoding unit 34 has the same configuration as an image encoding apparatus of an image encoding method that is a standard method such as ITU-T. ing. Further, for example, the configuration is the same as that of a vector quantization type image encoding apparatus.
An encoding control unit 35 controls the quantization step width according to the target code amount calculated by the target code

amount calculation unit

33, and 36 performs a quantization operation with the quantization step width specified by the encoding control unit 35. The quantizer 37 to be implemented is an image encoding processing unit that performs a moving image encoding operation by an image encoding method employing a code amount control means by quantization.
[0031]
FIG. 2 is a flowchart showing a moving picture coding method according to Embodiment 1 of the present invention.
In the first embodiment, a moving image coding apparatus is configured by the image feature information extraction unit 31, the feature information-occurrence probability conversion table 32, the target code amount calculation unit 33, and the image coding unit 34, which are hardware. Although these are shown, they may be configured by software instead of hardware, and a moving image encoding program as the software may be recorded on a computer-readable recording medium.
[0032]
Next, the operation will be described.
It is assumed that the input image has already been digitized. The digital input image is input to the image feature information extraction unit 31, and image feature information, that is, image feature information that quantitatively represents the difficulty of encoding is calculated from the digital input image (step ST1). The image feature information may be, for example, the inter-frame difference sum from the previous frame for one frame of the encoded image. Further, the sum of dispersion values, a horizontal or vertical high frequency component, or the like may be used.
[0033]
FIG. 3 is an explanatory diagram showing a general relationship between the difference between frames of an image and the code amount when encoding is performed in a fixed quantization step. As shown in FIG. 3, the generated code amount is large when the inter-frame difference that is the image feature information is large, and the generated code amount is small when the inter-frame difference is small. Therefore, it can be said that the inter-frame difference that is the image feature information quantitatively indicates the difficulty of image encoding.
[0034]
Next, in the feature information-occurrence probability conversion table 32, the image feature information calculated by the image feature information extraction unit 31 is converted into the occurrence probability, and an occurrence probability section is output (step ST2). The relationship between the image feature information and the occurrence probability is measured in many image sequences, and the feature information-occurrence probability conversion table 32 is created.
[0035]
FIG. 4 is an explanatory diagram showing a relationship between an interframe difference, which is an example of image feature information, and its occurrence probability. As shown in FIG. 4, the image feature information (from 0 to the maximum value S₁₀₀) And its occurrence probability as a function ρ (S), it is as follows.
[Expression 1]

The relationship of the above formula (1) is not established only when the inter-frame difference is used as the image feature information, but is established even if any image feature information is used.
The example shown in FIG. 4 is as follows.
[Expression 2]

[0036]
FIG. 5 is an explanatory diagram showing a configuration example of the feature information-occurrence probability conversion table 32 in the occurrence probability distribution of the image feature information shown in FIG. In FIG. 5, the image feature information becomes a ROM address signal, and the occurrence probability section is output as the ROM data output. In the example of FIG. 5, the occurrence probability interval is 0 to 3, but the number of intervals is not limited and can be arbitrarily configured.
[0037]
In the target code amount calculation unit 33, the target code corresponding to the predetermined value of the total code amount in the predetermined time in the occurrence probability section from the feature information-occurrence probability conversion table 32 and according to the difficulty of image coding A quantity is converted and output (step ST3). The sum of the product of the probability indicated by each occurrence probability interval in all occurrence probability intervals and the bit rate corresponding to the target code amount to be converted is made to match the average bit rate obtained from the default value of the total code amount Is. Also, the target code amount is set based on the difficulty of encoding the original image indicated by the occurrence probability section.
[0038]
An example in which an occurrence probability section is output by the configuration example of the feature information-occurrence probability conversion table 32 of FIG. 5 in the occurrence probability distribution of the image feature information shown in FIG. 4 will be described below.
The target code amount for each occurrence probability section is as follows.
[Equation 3]

In this case, conversion to the target code amount is set so that the following relationship is established.
Total code amount / predetermined time = (0.25 × target code amount 1 Mbps) + (0.25 × target code amount 2 Mbps) + (0.25 × target code amount 3 Mbps) + (0.25 × target code amount 4 Mbps)
[0039]
In the encoding control unit 35, with the target code amount as a target, the code amount actually encoded by the image encoding processing unit 37 is counted, and the quantization step width is adjusted so that the generated code amount converges to the target. (Step ST4).
The image encoding processing unit 37 performs variable bit rate encoding on the input image with the quantization step width adjusted by the encoding control unit 35 (step ST5).
Note that the image encoding unit 34 uses an image encoding method that employs a code amount control means based on quantization except that the target code amount is instructed to be feedforward from the target code amount calculation unit 33. The process is the same as that of the apparatus.
[0040]
As described above, according to the first embodiment, feature information indicating the difficulty of image coding is obtained, and a large amount of code is obtained for an image that is difficult to code, and an image that is easy to code. Since a small amount of code is assigned according to the occurrence probability distribution, it is possible to perform variable bit rate control that keeps the total amount of code within a predetermined time length within a predetermined value and improves the average image quality of the encoded image. it can. Further, since feedforward control is performed from image feature information indicating the difficulty of image encoding, the image encoding process can be performed only once in real time.
[0041]
Embodiment 2. FIG.
FIG. 6 is a block diagram showing a moving picture coding apparatus according to Embodiment 2 of the present invention. In the figure, the same reference numerals as those in FIG. 38 is a target code amount calculation unit that calculates a target code amount from an occurrence probability section output by the feature information-occurrence probability conversion table 32, and outputs an error signal to the feature information

correction conversion unit

39, and 39 is an error signal. Therefore, it is a feature information correction conversion unit that corrects image feature information. The target code amount calculation unit 38 and the feature information correction conversion unit 39 constitute target code amount calculation means.
[0042]
Next, the operation will be described.
In the first embodiment, the image feature information of the input image is calculated, converted from the image feature information into the occurrence probability, and the target code amount is calculated from the occurrence probability. If the occurrence probability of information is biased, an error in the occurrence probability of image feature information may be corrected.
[0043]
That is, when the occurrence probability of the image feature information of the input image is biased from the probability distribution of the feature information-occurrence probability conversion table 32, the probability distribution of the target code amount output by the target code amount calculation unit 38 is also biased. . The target code amount calculation unit 38 counts the target code amount in a certain period, compares the average bit rate in that period with the average bit rate obtained from the predetermined value of the total code amount, and calculates the average bit rate of the target code amount. The deviation is output as an error signal.
[0044]
The feature information correction conversion unit 39 receives the error signal output from the target code amount calculation unit 38 for the image feature information output from the image feature information extraction unit 31, corrects the image feature information, and performs correction. Output feature information. In the correction calculation, in the case of an error signal indicating that the average bit rate of the target code amount exceeds the average bit rate obtained from the default value of the total code amount, the image feature information is corrected to the image feature information having the higher probability of occurrence. Calculate. Conversely, in the case of an error signal indicating that the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the image feature information is corrected to the image feature information with the lower probability of occurrence. To do. In the case of an error signal indicating a match between the average bit rate of the target code amount and the average bit rate obtained from the predetermined value of the total code amount, the correction operation maintains the current correction operation.
[0045]
In the feature information-occurrence probability conversion table 32, the corrected feature information is converted into the occurrence probability, and the occurrence probability section is output. Since the corrected feature information is close to the occurrence probability distribution of the feature information-occurrence probability conversion table 32, an output of an appropriate occurrence probability section can be obtained. From the output of the appropriate occurrence probability section, the target code amount calculation unit 38 matches the predetermined value of the total code amount in a predetermined time and follows the difficulty of image encoding, as in the first embodiment. It can be converted into a target code amount and output.
In the encoding control unit 35, with the target code amount as a target, the code amount actually encoded by the image encoding processing unit 37 is counted, and the quantization step width is adjusted so that the generated code amount converges to the target. To do.
[0046]
As described above, according to the second embodiment, even when the occurrence probability of the image feature information of the input image is biased, the error of the occurrence probability of the image feature information is corrected. Even when the occurrence probability of the image feature information of the input image is biased with respect to the probability distribution of the feature information-occurrence probability conversion table 32, the total code amount within the predetermined time length falls within the predetermined value and is encoded. Variable bit rate control can be performed to improve the average image quality of the image. Further, since feedforward control is performed from image feature information indicating the difficulty of image encoding, the image encoding process can be performed only once in real time.
[0047]
【The invention's effect】
  As described above, according to the present invention, the feature extraction unit refers to the table in which the relationship between the image feature information about another image different from the input image and the occurrence probability of the image feature information is stored in advance. Of extracted image feature informationOccurrence probability intervalAs well as pre-set image feature informationOccurrence probability intervalAccording to the correspondence between the target code amount and the specified image feature information.The occurrence probability section is converted into a target code amount according to the difficulty of image encoding,Target code amount calculation means for instructing the target code amount to feed forward, and a quantization step width is adjusted according to the target code amount instructed to feed forward by the target code amount calculation means, and the input image is subjected to the quantization step. And encoding means for variable bit rate encoding with widthThe total bit of the product of the probability indicated by each occurrence probability interval in all occurrence probability intervals and the bit rate equivalent to the target code amount converted by the target code amount calculation means is obtained from the default value of the total code amount Match the rateWith this configuration, there is an effect that variable bit rate encoding can be performed in real time without causing a significant increase in device scale and power consumption.
[0049]
  According to this invention, when the target code amount calculation means feeds forward the target code amount, if the average bit rate of the target code amount exceeds the average bit rate obtained from the default value of the total code amount, feature extraction is performed. The probability of occurrence of image feature information extracted by meansCorrection to the higher image feature informationIf the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the image feature information extracted by the feature extraction means isCorrection to the lower image feature informationReferring to the table, the corrected image feature informationOccurrence probability intervalTherefore, the average image quality can be improved.
[0050]
  According to the present invention, the image feature extracted by the feature extraction unit with reference to the table in which the relationship between the image feature information about another image different from the input image and the occurrence probability of the image feature information is stored in advance. Of informationOccurrence probability intervalAs well as pre-set image feature informationOccurrence probability intervalAccording to the correspondence between the target code amount and the specified image feature information.The occurrence probability section is converted into a target code amount according to the difficulty of image encoding,When a feedforward instruction is given for the target code amount, the quantization step width is adjusted according to the target code amount, and the input image is variable bit rate encoded with the quantization step width.The sum of products of the probability indicated by each occurrence probability interval in all occurrence probability intervals and the bit rate corresponding to the target code amount converted by the target code amount calculation means is calculated from the default value of the total code amount. Match the average bitrate obtainedWith this configuration, there is an effect that variable bit rate encoding can be performed in real time without causing an increase in apparatus size and power consumption accompanying a significant increase in processing calculation amount.
[0052]
  According to the present invention, when the target code amount is instructed to be feedforward, if the average bit rate of the target code amount exceeds the average bit rate obtained from the predetermined value of the total code amount, the image extracted by the feature extraction unit Probability of generating feature informationCorrection to the higher image feature informationIf the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the image feature information extracted by the feature extraction means isCorrection to the lower image feature informationReferring to the table, the corrected image feature informationOccurrence probability intervalTherefore, the average image quality can be improved.
[0053]
  According to this invention, the image extracted by the feature extraction processing procedure with reference to the table in which the relationship between the image feature information of another image different from the input image and the occurrence probability of the image feature information is stored in advance. Feature informationOccurrence probability intervalAs well as pre-set image feature informationOccurrence probability intervalAccording to the correspondence between the target code amount and the specified image feature information.The occurrence probability section is converted into a target code amount according to the difficulty of image encoding,A target code amount calculation processing procedure for feedforward instructing the target code amount, and a quantization step width is adjusted according to the target code amount instructed for feedforward by the target code amount calculation processing procedure, and the input image is Encoding procedure for variable bit rate encoding with a conversion step widthThe sum of products of the probability indicated by each occurrence probability interval in all occurrence probability intervals and the bit rate corresponding to the target code amount converted by the target code amount calculation processing procedure is a predetermined total code amount. To match the average bitrate derived from the valueSince it is configured, there is an effect that variable bit rate encoding can be performed in real time without causing an increase in apparatus scale and power consumption accompanying a significant increase in processing calculation amount.
[0055]
  According to the present invention, when the target code amount calculation processing procedure feeds forward the target code amount, if the average bit rate of the target code amount exceeds the average bit rate obtained from the default value of the total code amount, Occurrence probability of image feature information extracted by the extraction processing procedureCorrection to the higher image feature informationIf the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the probability of occurrence of the image feature information extracted by the feature extraction processing procedureCorrection to the lower image feature informationReferring to the table, the corrected image feature informationOccurrence probability intervalTherefore, the average image quality can be improved.
[Brief description of the drawings]
FIG. 1 is a configuration diagram showing a moving picture coding apparatus according to Embodiment 1 of the present invention;
FIG. 2 is a flowchart showing a moving picture coding method according to Embodiment 1 of the present invention.
FIG. 3 is an explanatory diagram illustrating a general relationship between a difference between frames of an image and a code amount when encoding is performed in a fixed quantization step.
FIG. 4 is an explanatory diagram showing a relationship between an inter-frame difference, which is an example of image feature information, and an occurrence probability thereof.
FIG. 5 is an explanatory diagram showing a configuration example of a feature information-occurrence probability conversion table.
FIG. 6 is a block diagram showing a moving picture coding apparatus according to Embodiment 2 of the present invention.
FIG. 7 is a configuration diagram illustrating a conventional moving image encoding apparatus.
[Explanation of symbols]
31 image feature information extraction unit (feature extraction unit), 32 feature information-occurrence probability conversion table (target code amount calculation unit), 33 target code amount calculation unit (target code amount calculation unit), 34 image encoding unit (encoding) Means), 35 encoding control unit, 36 quantizer, 37 image encoding processing unit, 38 target code amount calculation unit (target code amount calculation unit), 39 feature information correction conversion unit (target code amount calculation unit).

Claims

There is a relationship between feature extraction means for extracting image feature information that quantitatively represents the difficulty of encoding from an input image, image feature information about another image different from the input image in advance, and the occurrence probability of the image feature information. The occurrence probability interval of the image feature information extracted by the feature extraction unit is specified with reference to the held table, and the correspondence relationship between the occurrence probability interval of the image feature information set in advance and the target code amount The target code amount calculation means for converting the occurrence probability section of the specified image feature information into a target code amount according to the difficulty of image encoding and instructing the target code amount to feed forward, and the target code The quantization step width is adjusted according to the target code amount instructed by the amount calculation means to feed forward, and the input image is converted into a variable bit rate code with the quantization step width. And a coding means for reduction, the probability indicated by each probability interval in all probability interval, the sum of the product of the target code amount corresponding bit rate that is converted by the target code amount calculating means, the total code A moving picture encoding apparatus , characterized in that it matches an average bit rate obtained from a predetermined amount .

When the target code amount calculation means feeds forward the target code amount, and the average bit rate of the target code amount exceeds the average bit rate obtained from the default value of the total code amount, the target code amount is extracted by the feature extraction unit When the image feature information is corrected to the image feature information with the higher probability of occurrence, and the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the above feature extraction means The extracted image feature information is corrected to the image feature information with a lower occurrence probability , and the occurrence probability section of the corrected image feature information is specified with reference to the table. Video encoding device.

A feature extraction step in which the feature extraction means extracts image feature information that quantitatively represents the difficulty of encoding from the input image, and a target code amount calculation means in advance includes image feature information on another image different from the input image, and with reference to the table relation between the probability of occurrence of image feature information is held, along with identifying the occurrence probability interval of the extracted image feature information by the feature extracting means, the image feature information set in advance occurs According to the correspondence between the probability interval and the target code amount, the occurrence probability interval of the specified image feature information is converted into a target code amount according to the difficulty of image encoding, and the target code amount is instructed to be feedforward. A target code amount calculation step, and an encoding unit adjusts a quantization step width in accordance with a target code amount instructed to be feedforward by the target code amount calculation unit, And a coding step of the input image to variable bit rate coding in the quantization step width, the probability indicated by each probability interval in all probability intervals, the target code to be converted by the target code amount calculation means A moving picture coding method characterized in that a sum of products with a bit rate equivalent to a quantity matches an average bit rate obtained from a predetermined value of a total code quantity .

In the target code amount calculation step, when the target code amount is instructed to be feedforward, if the average bit rate of the target code amount exceeds the average bit rate obtained from the default value of the total code amount, the target code amount is extracted by the feature extraction unit When the image feature information is corrected to the image feature information with the higher probability of occurrence, and the average bit rate of the target code amount is lower than the average bit rate obtained from the default value of the total code amount, the above feature extraction means The extracted image feature information is corrected to image feature information having a lower occurrence probability , and the occurrence probability section of the corrected image feature information is specified with reference to a table. A video encoding method.

The relationship between the feature extraction processing procedure for extracting image feature information that quantitatively represents the difficulty of encoding from the input image, and the image feature information for another image different from the input image in advance and the occurrence probability of the image feature information There by referring to a table that is held, as well as identifying the occurrence probability interval of the image feature information extracted by the feature extraction procedure, the occurrence probability interval and the target code amount of the image feature information set in advance In accordance with the correspondence relationship, the occurrence probability section of the specified image feature information is converted into a target code amount according to the difficulty of image encoding, and a target code amount calculation processing procedure for instructing the target code amount to be feedforward, The quantization step width is adjusted according to the target code amount instructed by feedforward in the above target code amount calculation processing procedure, and the input image can be set with the quantization step width. And a coding processing procedure for bit-rate coding, and probability indicated by each probability interval in all probability interval, the product of the bit rate of the target code amount equivalent to be converted by the target code amount calculation processing procedure A recording medium on which a moving image encoding program is recorded , characterized in that the total sum matches an average bit rate obtained from a predetermined value of the total code amount .

The target code amount calculation processing procedure is extracted by the feature extraction processing procedure when the average bit rate of the target code amount exceeds the average bit rate obtained from the default value of the total code amount when the target code amount is instructed to feed forward. when by the image feature information correcting calculated to a more higher image characteristic information of the occurrence probability, the average bit rate of the target code amount is below the average bit rate obtained from the default value of the total amount of codes, the feature extraction The image feature information extracted by the processing procedure is corrected to the image feature information having a lower occurrence probability , and the occurrence probability section of the corrected image feature information is specified with reference to the table. A recording medium on which the moving picture encoding program according to Item 5 is recorded.