JP4560694B2 - Encoding apparatus and method thereof - Google Patents

Description

【００３９】
で表すことができる。
【００４０】
また、非線形量子化において、量子化スケールコードと量子化スケールの値との関係をグラフ化すると、図２７に示すようになり、上述した（１）式と同様に量子化スケールコードをｑｓｃとし、量子化スケールをｑｓとすると、これら量子化スケールコードと量子化スケールの値との関係は、（２）式
【００４１】
【数２】

【００４２】
で表される。
【００４３】
そして、非線形量子化においては、ＭＰＥＧ２方式の規定に従って量子化スケールコードを５ビットで表すため、その量子化スケールコードの上位２ビットからなる値をｋとし、残りの下位３ビットからなる値をｊとすると、上述した（２）式を（３）式
【００４４】
【数３】

【００４５】
に代えて表すこともできる。因みに、ｋの値の取り得る範囲は０〜３であり、ｊの値の取り得る範囲は０〜７である。また、この（３）式では、ｋ＝ｊ＝０は禁止されている。
【００４６】
ところで、量子化器１０（図２４）においては、量子化スケールの値を直接指定するわけではなく、ＭＰＥＧ２方式の規定に従い、量子化スケールコードを指定し、線形量子化と、非線型量子化とのいずれを用いるのかに応じて、対応する（１）式、（２）式又は（３）式からその指定した量子化スケールコードに対応する量子化スケールの値を算出する。
【００４７】
因みに、量子化器１０においては、ＭＰＥＧ２方式の規定に従い線形量子化と非線形量子化とのいずれを用いるかをピクチャ単位で設定し得るようになされている。
【００４８】
また、量子化器１０においては、ＭＰＥＧ２方式の規定に従って量子化スケールコードを５ビットで表すため、その量子化スケールコードの値の取り得る範囲が１〜３１（０は禁止されている）となり、線形量子化を用いたときに量子化スケールの値の取り得る範囲は２〜６２となる（図２５）。
【００４９】
そして、量子化器１０においては、線形量子化を実行してＤＣＴ係数を量子化すると、その結果得られる量子化係数の値の取り得る範囲が、２の値の量子化スケールで−１０２４〜＋１０２３となり、また、６２の値の量子化スケールでは−３３〜＋３３となる。
【００５０】
ところで、量子化器１０においては、量子化に用いた量子化スケールの値が比較的小さいと、その量子化の結果、値の比較的大きい量子化係数を送出するため、これに伴い可変長符号化器４において生成される符号の量が比較的多くなり、ビットレートが上がる。
【００５１】
これに対して、量子化器１０においては、量子化に用いた量子化スケールの値が比較的大きいと、その量子化の結果、値の比較的小さい量子化係数を送出するため、これに伴い可変長符号化器４において生成される符号の量が比較的少なくなり、ビットレートは小さくなる。このように、量子化スケールの値は、符号化後のビットレートに直接関わっている。
【００５２】
そして、量子化器１０においては、図２５からも明らかなように、線形量子化を用いると、量子化スケールの値として偶数の値しか用いることができないため、ビットレートを比較的高くしたいとき、すなわち、比較的小さい値の量子化スケールコードを指定するときにはビットレートを細かく調節し難くなる。
【００５３】
これとは逆に、量子化器１０においては、ビットレートを極端に下げたいときには、最高で６２という値の量子化スケールまでしか用いることができないため、ビットレートを極端には下げられない。
【００５４】
そこで、ＭＰＥＧ２方式では、量子化の際に線形量子化に加えて非線形量子化をも用いることができるように規定されており、量子化器１０においては、図２５からも明らかなように、非線型量子化を実行する際、量子化スケールコードの値の小さい範囲（１〜８）では奇数の値の量子化スケールを用いることができるため、ビットレートをより細かく調節することができる。
【００５５】
また、量子化器１０においては、非線型量子化を実行する場合、量子化スケールコードの最大値３１に対応させて１１２の値の量子化スケールを用いることができるため、線形量子化を実行する場合に比べて、ビットレートをより低することができる。
【００５６】
因みに、量子化器１０においては、非線型量子化を実行してＤＣＴ係数を量子化すると、その結果得られる量子化係数の値の取り得る範囲が量子化スケールコードの値を１に指定したとき−２０４８〜＋２０４７となり、ＤＣＴ係数を量子化せずにそのまま可変長符号化器４に送出して符号化することと等価となる。
【００５７】
一方、量子化器１０においては、非線型量子化を実行して３１の値の量子化スケールコードを指定したときには、量子化係数の値の取り得る範囲が−１８〜＋１８となり、ＭＰＥＧ２方式で規定されている符号化後の画質の最低レベルを確保するようになされている。
【００５８】
ただし、量子化器１０においては、上述した線形量子化と、非線形量子化とを用いるのは、動きベクトル検出器３で設定された符号化モードがイントラ符号化モードのときのマクロブロックデータのＤＣＴ係数の直流成分を除いた全ての交流成分に対してと、イントラ符号化モードのマクロブロックデータのＤＣＴ係数全てに対してである。
【００５９】
因みに、量子化器１０においては、イントラ符号化モードにおけるマクロブロックデータのＤＣＴ係数の直流成分に対してはピクチャ単位で指定されたイントラ符号化モードにおけるＤＣＴ係数の直流成分の量子化後のビット精度（量子化係数ビット精度）に応じて別途量子化する。
【００６０】
なお、イントラ符号化モードにおけるＤＣＴ係数の直流成分の量子化係数ビット精度としては、11ビット、10ビット、９ビット、８ビットのいずれかがピクチャ単位で決められており、量子化係数ビット精度が11ビットのときは、ＤＣＴ器９から与えられるＤＣＴ係数の直流成分を量子化器１０において量子化せずにそのまま可変長符号化器４に送出して符号化することと等価となる。
【００６１】
これは、ＭＰＥＧ２方式で規定されているＤＣＴ係数のビット精度をこれまで１２ビットと記述してきたが、ＤＣＴ係数の直流成分は負値は取らず符号ビットが不要なため、実質１１ビットで表現が可能だからである。
【００６２】
そして、量子化器１０においては、これら１１ビット、１０ビット、９ビット、８ビットの量子化係数ビット精度にそれぞれに対応する直流成分の量子化スケールの値が１，２，４，８となり、この量子化スケールを用いてイントラ符号化モードにおけるＤＣＴ係数の直流成分に対して線形量子化を行う。因みに、量子化器１０においては、イントラ符号化モードにおけるＤＣＴ係数の直流成分に対して量子化を行った結果、端数が生じると、これに例えば４捨５入といった丸め処理を施して整数化する。
【００６３】
このようにして、量子化器１０は、ＤＣＴ係数を量子化すると、その結果得られた量子化係数を、量子化に用いた量子化スケールの値と共に、可変長符号化器４に送出する。
【００６４】
可変長符号化器４は、量子化器１０から与えられた量子化係数を、例えばハフマン符号等の可変長符号に変換し、バッファ１１に送出する。
【００６５】
ここで、ＭＰＥＧ２方式によって規定されている量子化係数の可変長符号化方式を説明すると、可変長符号化器４は、量子化器１０から与えられた量子化係数をジグザグスキャニングして１次元情報に変換し、その１次元情報の低域係数から順次ゼロラン長＋レベル値のシンボル列に変換してそのシンボルそれぞれを低域から順に予め用意している可変長符号テーブルを参照して符号化する。
【００６６】
ところで、可変長符号化器４においては、全てのシンボルに対する可変長符号テーブルを予め用意しているわけではなく、出現頻度の低いシンボルに対しては可変長符号テーブルのエスケープコードを割り当て、このエスケープコードを割り当てたたシンボルに対しては、ゼロラン長とレベル値とを固定長符号として符号化する。
【００６７】
因みに、可変長符号化器４においては、ゼロラン長に対する固定長符号長を６ビットとし、レベル値に対する固定長符号長を１２ビットとしており、これは、ゼロラン長の最大値が６３であり、レベル値の範囲がＤＣＴ係数の範囲となる−２０４８〜＋２０４７（１２ビット精度）であるからである。
【００６８】
また、可変長符号化器４は、量子化器１０から与えられる量子化スケールと、動きベクトル検出器３から与えられる符号化モード情報（イントラ符号化（フレーム内符号化）モード、前方予測符号化モード、後方予測符号化モード、又は両方向予測符号化モードのうちのいずれが設定されたかを示す情報）及び動きベクトルも可変長符号化し、得られた符号化データをバッファ１１に送出する。
【００６９】
バッファ１１は、可変長符号化器４から与えられた符号化データを一時蓄積することにより、そのデータ量を平滑化し、符号化ビットストリームとして、例えば、伝送路に出力し、又は記録媒体に記録する。
【００７０】
また、バッファ１１は、そのデータ蓄積量を量子化器１０に送出しており、量子化器１０は、このバッファ１１から与えられるデータ蓄積量に基づいて量子化スケールを設定する。
【００７１】
すなわち、量子化器１０は、バッファ１１がオーバーフローしそうなときには量子化スケールを比較的大きくして量子化係数のデータ量を低下させ、バッファ１１がアンダーフローしそうなときには、量子化スケールを比較的小さくして量子化係数のデータ量を増大させる。このようにして、量子化器１０は、バッファ１１のオーバフローとアンダフローを未然に防止し得るようになされている。
【００７２】
ところで、量子化器１０は、量子化係数と量子化スケールとを可変長符号化器４に加えて逆量子化器１２にも送出する。
【００７３】
逆量子化器１２は、量子化器１０から与えられる量子化係数を、同様に量子化器１０から与えられる量子化スケールに従って逆量子化することによりその量子化係数をＤＣＴ係数に変換し、そのＤＣＴ係数をＩＤＣＴ（Ｉｎｖｅｒｓｅ Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）器１３に送出する。
【００７４】
ＩＤＣＴ器１３は、逆量子化器１２から与えられるＤＣＴ係数を逆ＤＣＴ処理し、得られたデータ（予測残差（差分値データ））を演算器８に送出する。
【００７５】
演算器８には、上述したように動き補償器５から演算器７に送出される予測フレーム画像データと同一の予測フレーム画像データが与えられており、ＩＤＣＴ器１３から与えられるデータ（予測残差（差分値データ））を、予測フレーム画像データに加算することにより元のフレーム画像データを局所復号化し、得られた局所復号化フレーム画像データをフレームメモリ６に送出して一時記憶させる。
【００７６】
因みに、演算器８は、符号化モードがイントラ符号化モードに設定されている場合、ＩＤＣＴ器１３から与えられるデータをそのまま局所復号化フレーム画像データとしてフレームメモリ６に送出して一時記憶させる。
【００７７】
なお、演算器８は、このようにして、フレームメモリ６に局所復号化フレーム画像データを更新するように一時記憶し、この結果、フレーム全面に渡って復号化したフレーム画像データ（以下、これを復号化フレーム画像データと呼ぶ）を構築する。そして、その復号化フレーム画像データは、後述するデコーダにおいて得られる復号化フレーム画像データと同一のものである。
【００７８】
また、フレームメモリ６に構築された復号化フレーム画像データは、その後、インター符号化（前方予測符号化、後方予測符号化、両方向予測符号化）されるフレーム画像データに対する参照フレーム画像データとして用いられる。
【００７９】
次いで、図２４について上述したエンコーダ１から与えられる符号化データを復号化し得る、ＭＰＥＧ２方式のメインプロファイルメインレベルが適用されたデコーダとしては、図２８に示すように構成されたものがある。
【００８０】
この図２８に示すように、デコーダ２０においては、伝送路を介して伝送されて受信装置（図示せず）によって受信された符号化ビットストリーム、又は記録媒体から再生装置（図示せず）によって再生された符号化ビットストリームをバッファ２１に取り込んで一時記憶する。
【００８１】
可変長復号化（ＩＶＬＣ：Ｉｎｖｅｒｓｅ Ｖａｒｉａｂｌｅ ＬｅｎｇｔｈＣｏｄｉｎｇ）器２２は、バッファ２１からこれに記憶された符号化ビットストリームを所定単位の符号化データとして読み出し、当該読み出した符号化データを可変長復号化することにより当該符号化データをマクロブロック単位で動きベクトル、符号化モード情報、量子化スケール及び量子化係数に分離する。
【００８２】
そして、可変長復号化器２２は、マクロブロック単位で分離した動きベクトル、符号化モード情報、量子化スケール及び量子化係数のうちの動きベクトル及び符号化モード情報を動き補償器２３に送出し、量子化スケール及びマクロブロックの量子化係数を逆量子化器２４に送出する。
【００８３】
逆量子化器２４は、可変長復号化器２２から与えられるマクロブロック単位の量子化係数を、同様に可変長復号化器２２から与えられる量子化スケールに従って逆量子化し、得られたＤＣＴ係数をＩＤＣＴ器２５に送出する。
【００８４】
ＩＤＣＴ器２５は、逆量子化器２４から与えられるマクロブロック単位のＤＣＴ係数を逆ＤＣＴ処理し、得られたデータ（予測残差（差分値データ））を演算器２６に送出する。
【００８５】
また、動き補償器２３は、基本的には図２４について上述したエンコーダ１の動き補償器５と同様に動作し、このとき、可変長復号化器２２から与えられる動きベクトル及び符号化モード情報に基づいて、フレームメモリ２７からこれに記憶されている、すでに復号化されている復号化フレーム画像データを読み出し、当該読み出した復号化フレーム画像データを予測フレーム画像データとして演算器２６に送出する。
【００８６】
従って、演算器２６は、ＩＤＣＴ器２５から与えられるデータ（予測残差（差分値））と、動き補償器２３から与えられる対応する予測フレーム画像データとを加算することにより復号化フレーム画像データを生成し、これをフレームメモリ２７に送出して記憶させると共に、その元のフレーム画像の連続する再生画像データとして、例えば、所定のディスプレイに送出することにより当該ディスプレイにその再生画像データに基づく動画像を表示させる。
【００８７】
因みに、演算器２６は、ＩＤＣＴ器２５から与えられるデータがイントラ符号化されたものであるときには、そのデータをそのまま復号化フレーム画像データとしてフレームメモリ２７に送出して記憶させる。また、フレームメモリ２７は、記憶した復号化フレーム画像データを、その後復号化されるマクロブロック単位の符号化データに対する参照フレーム画像データとして用いられる。
【００８８】
なお、ＭＰＥＧ１及びＭＰＥＧ２方式においては、Ｂピクチャを参照フレーム画像データとしては用いないため、エンコーダ１（図２４）及びデコーダ２０（図２８）において、それぞれフレームメモリ６（図２４）及び２７（図２８）に記憶しないように規定されている。
【００８９】
【発明が解決しようとする課題】
ところで、図２４及び図２８について上述したエンコーダ１及びデコーダ２０は、ＭＰＥＧ２方式の規格に準拠したものである。そして、現在、ＭＰＥＧ２方式に代わる新たな圧縮符号化方式として、ＩＳＯ−ＩＥＣ／ＪＴＣ１／ＳＣ２９／ＷＧ１１により、画像をこれを構成する物体などのオブジェクトであるビデオオブジェクト単位で圧縮符号化するＭＰＥＧ４と呼ばれる圧縮符号化方式の標準化作業が進められている。
【００９０】
すなわち、ＭＰＥＧ２方式においては、８ビットの精度の入力画像のみを圧縮符号化するように規定されており、その８ビットの精度の画像を家庭等で利用する場合には実用上十分な画質で表現することができる。
【００９１】
ところが、ＭＰＥＧ２方式においては、放送局や映像作成等のプロフェッショナルな現場での利用や、今後普及するディジタルシネマ等といった分野での利用に対しては、例えば、放送局では１０ビット以上の精度の画質が要求され、ディジタルシネマでは最高で１４ビットの精度が要求されているように、画像に８ビットよりも高いビット精度の画質が要求されているために対応し難くなっている。
【００９２】
このため、最近では、ＭＰＥＧ４方式により入力画像の精度を８ビットだけではなく、それ以上の、１０ビット、１２ビット、１４ビットの精度等のＮビット精度の画像データを入力して圧縮符号化及び復号化することにより、より高い精度の画質を有する動画像を提供することが考えられている。
【００９３】
ところが、ＭＰＥＧ４方式を適用したエンコーダ及びデコーダにおいては、入力画像の精度を８ビットからＮビットに拡張し得るものの、そのエンコーダにおける量子化器及び可変長符号化器の構成と、デコーダにおける逆量子化器及び可変長復号化器の構成とが入力画像のＮビットの精度に応じた高精度のデータを得るようには拡張されていないため、放送局やディジタルシネマといった非常に高画質な画像が要求される分野で利用するには、未だ不十分な問題があった。
【００９４】
本発明は以上の点を考慮してなされたもので、入力画像の画質とほぼ同等の画質の画像を得ることのできる符号化装置及びその方法を提案しようとするものである。
【００９６】
【課題を解決するための手段】
かかる課題を解決するため本発明においては、入力ビット精度の入力画像データと、予測データとの差分値を演算して離散コサイン変換処理の対象となる差分値データを生成し、当該生成した差分値データを、離散コサイン変換処理する際の演算ビット精度に応じて離散コサイン変換処理して、離散コサイン変換係数を生成し、演算ビット精度の増加に応じて量子化スケールコードのビット長を増加させることにより量子化スケールの範囲を変更し、当該範囲を変更した量子化スケールを用いて、離散コサイン変換係数を量子化して量子化係数を生成するようにした。
【００９７】
従って、入力画像データを圧縮符号化するときに、その画質が劣化することを大幅に低減させることができる。
【００９８】
また、本発明においては、量子化係数を圧縮符号化する際、上記入力ビット精度、演算ビット精度、及び範囲を変更した量子化スケールのうちの少なくとも１つ以上に基づいて複数種類の可変長符号化テーブルから可変長符号化テーブルを選定し、当該選定した可変長符号化テーブルを用いて量子化係数を圧縮符号化するようにした。
【００９９】
従って、入力画像データを圧縮符号化するときに、その画質が劣化することをほぼ確実に防止することができる。
【０１０４】
【発明の実施の形態】
以下図面について、本発明の一実施の形態を詳述する
【０１０５】
（１）原理
現在、ＭＰＥＧ４方式が適用されたエンコーダにおいては、供給される入力画像のビット精度（色の階調）を８ビット精度よりも高精度にし得るものの、その精度のビット数をＮとすると、ＤＣＴ器に入力される差分値データ（すなわち、演算器の出力データ）のビット精度がＮ＋１ビットであるとき、当該ＤＣＴ器から得られるＤＣＴ係数のビット精度はそのＮ＋１ビットから３ビット増えてＮ＋４ビットの精度となるように規定されている。
【０１０６】
そして、エンコーダにおいては、ＤＣＴ係数のビット精度によって、圧縮符号化後（量子化後）の動画像の画質の限界が決まるため、入力画像のビット精度に応じて圧縮符号化後の動画像の画質を高精度にするには、ＤＣＴ器から得られるＤＣＴ係数のビット精度を拡張させる必要がある。
【０１０７】
従って、本発明によるエンコーダにおいては、ＤＣＴ演算によって増加する精度のビット数をαとし、ＤＣＴ器から得られるＤＣＴ係数のビット精度をＮ＋１＋αビットとして、圧縮符号化後の動画像に対して要求される画質に応じてそのαの値を任意に設定し得るようになされている。因みに、ＭＰＥＧ４方式においては、そのαが３として固定されている。
【０１０８】
そして、本発明においては、エンコーダにおいて、Ｎビットの精度の入力画像を入力し得ると共に、αを任意に設定し得るようにしてＤＣＴ器から得られるＤＣＴ係数のビット精度をＮ＋４ビットからＮ＋１＋αビットに拡張する分、ＤＣＴ器の後段に設けられた量子化器及び可変長符号化器の構成と、当該エンコーダと対になるデコーダの逆量子化器及び逆可変長符号化器の構成とを、そのビット精度に応じて拡張するようにした。
【０１０９】
実際上、本発明においては、任意のＮビット精度の入力画像に対する任意のＮ＋１＋αビット精度のＤＣＴ係数に適用する量子化方式を、ＭＰＥＧ２方式で規定されている線形量子化方式及び非線形量子化方式を拡張して実現している。
【０１１０】
また、本発明においては、任意のＮビット精度の入力画像における、マクロブロックデータの符号化モードがイントラ符号化モードのときには、Ｎ＋αビット精度のＤＣＴ係数の直流成分に適用する量子化方式を、ＭＰＥＧ２方式で規定されているイントラ符号化モードのＤＣＴ係数の直流成分の量子化方式を拡張して実現する。
【０１１１】
因みに、本発明においては、量子化方式の拡張にあたり、ＭＰＥＧ２方式の量子化方式と互換性をもたせ、Ｎ＝８、α＝３の条件の元ではＭＰＥＧ２の量子化方式と同一になるようにした。
【０１１２】
また、比較的高いビットレートの場合においても、比較的細かくビットレートを調節し得るように、量子化スケールコードの値が比較的小さい範囲では、量子化スケールの刻み幅を細かくした。
【０１１３】
さらに、Ｎやαの値がどんなに大きくなっても、ＭＰＥＧ２方式のＮ＝８、α＝３の場合と同等のビットレートまで圧縮符号化が可能となるように、Ｎやαの値によらずに、量子化スケールの最大値を用いたときに量子化係数の取り得る値の範囲が同等となるようにした。
【０１１４】
このようにして、本発明においては、高精度の入力画像を処理して、高画質な画像を得るような場合でも、エンコーダ及びデコーダにおいて、処理に不具合が生じることを防止し得るようになされている。
【０１１５】
ところで、現在、ＭＰＥＧ４方式が適用されたエンコーダにおいては、Ｎ＋４ビットの精度のＤＣＴ係数を量子化器で量子化し、得られた量子化係数に対して可変長符号化器において単一の可変長符号化テーブルを用いて可変長符号化を行うように規定されているものの、量子化係数の出現確立の統計的性質が入力画像のビット精度を表すＮに応じて変わるため、設定し得る全ての入力画像のビット精度（Ｎ）に対して同一の可変長符号化テーブルを用いるのは圧縮符号化の効率上適切とは言えない。
【０１１６】
また、ＤＣＴ係数のビット精度を拡張してＮ＋１＋αビットとすると、量子化係数の出現確立の統計的性質がαに応じても変わるため、設定し得る全てのαに対しても同一の可変長符号化テーブルを用いるのは圧縮符号化の効率上適切とは言えない。
【０１１７】
さらに、ＤＣＴ係数のビット精度を拡張してＮ＋１＋αビットとすると、これに応じて量子化スケールも拡張する必要があるものの、量子化係数の出現確立の統計的性質がその量子化スケールに応じても変わるため、全ての量子化スケールに対して同一の可変長符号化テーブルを用いることも圧縮符号化の効率上適切とは言えない。
【０１１８】
従って、本発明においては、可変長符号化器において、入力画像のビット精度やＤＣＴ係数のビット精度、量子化スケール（すなわち量子化係数ビット精度）に応じて適切な可変長符号化テーブルを切り換えて用いることができるように、複数種類の可変長符号化テーブルをもたせて拡張するようにした。
【０１１９】
これにより、本発明においては、任意の入力画像のビット精度における任意のビット精度のＤＣＴ係数の量子化係数に適用される可変長符号化テーブルを、入力画像のビット精度やＤＣＴ係数のビット精度、量子化係数の取り得る範囲（すなわち、量子化スケールの値）に応じて適切なものを選択し得るようにし、かくして、可変長符号化テーブルを選択できない場合に比べて、より効率良く圧縮符号化し得るようになされている。
【０１２０】
（２）本実施の形態によるエンコーダの構成
図１において、３０は全体として本発明を適用したエンコーダを示し、外部から供給される入力画像の画像データをフレームメモリ３１に取り込み、当該フレームメモリ３１にその画像データをＶＯＰ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｐｌａｎｅ：ビデオオブジェクトプレーン）として記憶する。
【０１２１】
ここで、図２に示すように、ＶＯＰは、形状情報をもったピクチャであり、その形状情報をあらわすデータと、ＶＯＰのサイズデータＦＳＺ＿Ｂと、フレームにおけるそのＶＯＰの位置を表すオフセットデータＦＰＯＳ＿Ｂと、ＶＯＰの画像データを表すテクスチャーデータとからなる。
【０１２２】
因みに、本発明においては、そのＶＯＰに対して形状情報を無視してもかまわないため、当該ＶＯＰをＭＰＥＧ２方式等で規定されているピクチャと同じものとして考える。
【０１２３】
また、このエンコーダ３０においては、フレームメモリ３１に記憶される画像データの画素値の精度（色の階調）を表すビット数をＮとし、当該画素値の取り得る範囲が０〜２Ｎ−１となる。そして、Ｎの取り得る値としては、通常利用される値として、８、１０、１２、１４といった値があるが、本発明では任意の正の整数値を取り得るようになされている。
【０１２４】
そして、動きベクトル検出器３２（図１）は、フレームメモリ３１に記憶されたＶＯＰに対してマクロブロック単位で動きベクトルを検出する。
【０１２５】
ここで、ＶＯＰは、時刻（ピクチャ）によって、大きさや位置が変化するため、その動きベクトルの検出にあたっては、その検出のための基準となる絶対座標系を設定し、その絶対座標系における動きを検出する必要がある。
【０１２６】
従って、動きベクトル検出器３２は、フレーム座標系を基準となる絶対座標系とし、サイズデータＦＳＺ＿Ｂ及びオフセットデータＦＰＯＳ＿Ｂに基づいて、その絶対座標系に符号化対象のＶＯＰと、参照フレーム画像データとするＶＯＰとを配置し、動きベクトルを検出する。
【０１２７】
因みに、動きベクトル検出器３２は、検出した動きベクトル（ＭＶ）を符号化モード情報と共に形状情報符号化器５０、可変長符号化器３６及び動き補償器４２、量子化器３５及び逆量子化器３８に送出する。また、動き補償を行う場合においても、やはり上述した様に基準となる絶対座標系における動きベクトルを検出する必要があるため、動き補償器４２には、サイズデータＦＳＺ＿Ｂ及びオフセットデータＦＰＯＳ＿Ｂが供給されている。
【０１２８】
演算器３３には、図２４について上述したエンコーダ１（図２４）の演算器７（図２４）と同様に、動きベクトル検出器３２がフレームメモリ３１から読み出したフレーム画像データにおけるものと同一のマクロブロックデータが供給されており、そのマクロブロックデータと動き補償器４２から与えられる予測フレーム画像データとの差分を演算し、得られた差分値を差分値データとしてＤＣＴ器３４に送出する。
【０１２９】
ここで、演算器３３は、フレームメモリ３１から読み出したマクロブロックデータと、動き補償器４２から与えられる対応する予測フレーム画像データとの差分を演算して差分値データを生成することにより、その差分値データの取り得る範囲を−（２Ｎ−１）〜２Ｎ−１のように、入力画像の画素値の取り得る範囲の２倍にすることができる。
【０１３０】
従って、演算器３３は、ＤＣＴ器３４に送出する差分値データのビット精度を、入力画像の画素値のビット精度よりも１ビット増加させたＮ＋１ビットの精度とすることができる。
【０１３１】
動き補償器４２は、図２４について上述したエンコーダ１（図２４）の動き補償器５（図２４）と同様にして、符号化モード情報がイントラ符号化モードであるときには、演算器３３及び４０に予測フレーム画像データを送出しない。従って、演算器３３（演算器４０も同様）は、このとき特に処理を行わずにフレームメモリ３１から読み出したマクロブロックデータをそのままＤＣＴ器３４に送出する。
【０１３２】
ＤＣＴ器３４は、演算器３３から与えられる差分値データに対して８画素×８ラインからなるブロック単位でＤＣＴ処理を施し、得られたＤＣＴ係数を量子化器３５に送出する。
【０１３３】
ここで、ＤＣＴ器３４から得られるＤＣＴ係数、すなわち量子化器３５への入力値のビット精度はＮ＋１ビットからαビット増加したＮ＋１＋αビットとなり、そのＤＣＴ係数の値の取り得る範囲は−２Ｎ＋α〜２Ｎ＋α−１である。因みに、従来のＭＰＥＧ２方式においては、そのＤＣＴ係数におけるαを３と規定しているが、本発明では、そのαとして任意の正の整数値を適用し得るようになされている。
【０１３４】
量子化器３５は、図２４について上述したエンコーダ１（図２４）の量子化器１０（図２４）と同様に、ＤＣＴ器３４から与えられるＤＣＴ係数を量子化し、得られた量子化係数を可変長符号化器３６及び逆量子化器３８に送出する。
【０１３５】
実際上、量子化器３５においては、図２４について上述した量子化器１０のような、ＭＰＥＧ２方式の規定に従った８ビット精度の入力画像から得られる１２ビット精度のＤＣＴ係数に対する線形量子化と非線形量子化とを、Ｎビット精度の入力画像から得られるＮ＋１＋αビット精度のＤＣＴ係数に対する線形量子化と、非線形量子化とに拡張している。
【０１３６】
まず、図２４について上述した量子化器１０においては、ＭＰＥＧ２方式に従って１２ビット精度のＤＣＴ係数に対して５ビット長（１〜３１）の量子化スケールコードを割り当てているのに対して、量子化器３５においては、ＤＣＴ係数のビット精度の増減に応じて量子化スケールコードのビット長も増減させる。
【０１３７】
すなわち、量子化器３５においては、例えば、８ビット精度の入力画像に対し、α＝５とした場合、ＭＰＥＧ２方式におけるα＝３よりもＤＣＴ係数のビット精度が２ビット多くなっているため、量子化スケールコードのビット長も２ビット多くし７ビットとする。因みに、このとき、量子化スケールコードの取り得る範囲は１〜１２７となる。
【０１３８】
また、量子化器３５は、例えば、１２ビット精度の入力画像に対してα＝６とした場合、ＭＰＥＧ２方式における入力ビット精度よりもＮが４ビット増加し、かつ、ＭＰＥＧ２方式におけるα＝３よりもＤＣＴ係数のビット精度が３ビット増加して合わせて７ビットの増加となるため、量子化スケールコードのビット長を７ビット多くした１２ビットとする。因みに、このとき、量子化スケールコードの取り得る値の範囲は１〜４０９５となる。
【０１３９】
そして、量子化器３５における量子化スケールコードのビット長の可変を一般化すると、任意のＮとαに対して、その量子化スケールコードのビット長はＮ＋α−６となり、その値の取り得る範囲は１〜２Ｎ＋α−６−１となる。
【０１４０】
因みに、ＤＣＴ係数のビット精度が１２ビットよりも小さくなったときには、量子化スケールコードのビット長も５ビットより短くなる。
【０１４１】
次いで、量子化器３５において、ビット数の決定した量子化スケールコードを量子化スケールにマッピングする方法、すなわち、線形量子化と非線形量子化の方法について以下に説明する。
【０１４２】
量子化器３５においては、線形量子化を実行する場合、ＭＰＥＧ２方式の規定と同様に、量子化スケールコードを２倍にして量子化スケールを得ており、その線形量子化に用いる量子化スケールの値は単純に上に延びることになる。
【０１４３】
そして、量子化器３５においては、その線形量子化を実行することにより得られるＤＣＴ係数のビット精度、当該ＤＣＴ係数の最大値、量子化スケールコードの範囲、量子化スケールの範囲及び量子化後の量子化係数の最大値の範囲の例は以下のようになる。
【０１４４】
すなわち、Ｎ＝８、α＝３（ＭＰＥＧ２方式と同様）の条件では、ＤＣＴ係数の精度が１２ビットとなり、ＤＣＴ係数の最大値が２０４７、量子化スケールコードの範囲が１〜３１、量子化スケールの範囲が２〜６２、量子化係数の最大値の範囲が３３〜１０２３となる。
【０１４５】
また、Ｎ＝８、α＝６の条件では、ＤＣＴ係数の精度が１５ビットとなり、ＤＣＴ係数の最大値が１６３８３、量子化スケールコードの範囲が１〜２５５、量子化スケールの範囲が２〜５１０、量子化係数の最大値の範囲が３３〜８１９１となる。
【０１４６】
さらに、Ｎ＝１２、α＝６の条件では、ＤＣＴ係数の精度が１９ビットとなり、ＤＣＴ係数の最大値が２６２１４３、量子化スケールコードの範囲が１〜４０９５、量子化スケールの範囲が２〜８１９０、量子化係数の最大値の範囲が３３〜１３１０７１となる。
【０１４７】
そして、これを一般化すると、Ｎ、αの条件では、ＤＣＴ係数の精度がＮ＋１＋αビットとなり、ＤＣＴ係数の最大値が２Ｎ＋α−１、量子化スケールコードの範囲が１〜２Ｎ＋α−６−１、量子化スケールの範囲が２〜２Ｎ＋α−５−２、量子化係数の最大値の範囲が３３〜２Ｎ＋α−１−１となる。
【０１４８】
このようにして、量子化器３５においては、線形量子化を拡張した場合、ＭＰＥＧ２方式の線形符号化方式と互換性をもち、かつ、Ｎやαの値によらずに量子化スケールの最大値を用いたときに、そのＭＰＥＧ２方式と同等のビットレートまで圧縮符号化が可能であることが明らかである。
【０１４９】
因みに、一般化した線形量子化の方式は、量子化スケールコードをｑｓｃとし、量子化スケールをｑｓとすると、（４）式
【０１５０】
【数４】

【０１５１】
で表される。
【０１５２】
一方、量子化器３５においては、線形量子化を実行する場合、量子化スケールコードの増加によって量子化スケールの値を単純に上に伸ばしたが、非線形量子化を実行する場合には、拡張の仕方を正しく定義しないと、実現し得るビットレートやＭＰＥＧ２方式の非線形量子化との互換性を保てなくなることがある。
【０１５３】
従って、この量子化器３５においては、所望するビットレートを実現し、かつＭＰＥＧ２方式の非線形量子化との互換性を保つという目的を満たすように非線形量子化方式を拡張している。
【０１５４】
すなわち、量子化器３５においては、非線形量子化を実行する場合、量子化スケールコードのビット長の増加に従って、図２６について上述したＭＰＥＧ２方式における１２ビット精度のＤＣＴ係数の生成に用いられる非線形量子化カーブの刻み幅を等間隔に細かくする。
【０１５５】
例えば、量子化器３５においては、ＤＣＴ係数のビット精度が１３ビットになったときは、図３に示すように、量子化スケールコードの刻み幅を２^１＝２つに分けて細かくする。
【０１５６】
これにより、量子化器３５においては、量子化スケールコードの刻みの数を２倍にしたものに＋２^１−１を加算して６３個とし、小さいほうから順に小さい量子化スケールコードを割り当てると共に、量子化スケール軸上の値を２倍にする。
【０１５７】
かくして、量子化器３５においては、新しい量子化スケールコードに対応した量子化スケールが１３ビット精度のＤＣＴ係数に対する非線形量子化における量子化スケールとなる。
【０１５８】
また、量子化器３５においては、例えば、ＤＣＴ係数のビット精度が１４ビット精度となったときは、図４に示す様に量子化スケールコードの刻み幅を２^２＝４つに分けて細かくする。
【０１５９】
これにより、量子化器３５においては、量子化スケールコードの刻みの数を４倍したものに＋２^２−１を加算して１２７個とし、小さいほうから順に小さい量子化スケールコードを割り当てると共に、量子化スケール軸上の値を４倍にする。
【０１６０】
かくして、量子化器３５においては、新しい量子化スケールコードに対応した量子化スケールが１４ビット精度のＤＣＴ係数に対する非線形量子化における量子化スケールとなる。
【０１６１】
そして、量子化器３５においては、その非線形量子化の定義を一般化すると、ＤＣＴ係数のビット精度がＮ＋１＋αビット精度となった場合は、図５に示すように、量子化スケールコードの刻みを２Ｎ＋α−１１個に等間隔に分けて細かくする。
【０１６２】
これにより、量子化器３５においては、量子化スケールコードの刻みの数を２Ｎ＋α−１１倍＋２Ｎ＋α−１１−１の（２Ｎ＋α−６−１）個とし、小さいほうから順に小さい量子化スケールコードを割り当てると共に、量子化スケール軸上の値を２Ｎ＋α−１１倍にする。
【０１６３】
因みに、刻みの数に２Ｎ＋α−１１−１を加えているが、これは刻みの総数を（２Ｎ＋α−６−１）個にするためであり、この加えられた刻みは、量子化スケールコードの最大値方向に付け加えられる。
【０１６４】
かくして、量子化器３５においては、新しい量子化スケールコードに対応した量子化スケールがＮ＋１＋αビット精度のＤＣＴ係数に対する非線形量子化における量子化スケールとなる。
【０１６５】
ところで、量子化器３５においては、ＤＣＴ係数のビット精度が１２ビットよりも小さくなったときには、その分だけ図２６について上述した量子化スケールコードの刻みを統合する。
【０１６６】
すなわち、ＤＣＴ係数のビット精度が１１ビットのときには、量子化スケールコードが４ビット長となり、図２６について上述した量子化スケールコードの刻みのうち、隣り合う２つずつを統合すれば良い。また、ＤＣＴ係数のビット精度が１０ビットの場合には、量子化スケールコードは３ビット長となり、図２６について上述した量子化スケールコードの刻みのうち、隣り合う４つずつを統合すれば良い。
【０１６７】
そして、量子化器３５においては、その非線形量子化を実行することにより得られるＤＣＴ係数のビット精度、当該ＤＣＴ係数の最大値、量子化スケールコードの範囲、量子化スケールの範囲及び量子化後の量子化係数の最大値の範囲の例は以下のようになる。
【０１６８】
すなわち、Ｎ＝８、α＝３（ＭＰＥＧ２方式と同様）の条件では、ＤＣＴ係数の精度が１２ビットとなり、ＤＣＴ係数の最大値が２０４７、量子化スケールコードの範囲が１〜３１、量子化スケールの範囲が１〜１１２、量子化係数の最大値の範囲が１８〜２０４７となる。
【０１６９】
また、Ｎ＝８、α＝６の条件では、ＤＣＴ係数の精度が１５ビットとなり、ＤＣＴ係数の最大値が１６３８３、量子化スケールコードの範囲が１〜２５５、量子化スケールの範囲が１〜９５２、量子化係数の最大値の範囲が１８〜１６３８３となる。
【０１７０】
さらに、Ｎ＝１２、α＝６の条件では、ＤＣＴ係数の精度が１９ビットとなり、ＤＣＴ係数の最大値が２６２１４３、量子化スケールコードの範囲が１〜４０９５、量子化スケールの範囲が１〜１５３５２、量子化係数の最大値の範囲が１８〜２６２１４３となる。
【０１７１】
そして、これを一般化すると、Ｎ、αの条件では、ＤＣＴ係数の精度がＮ＋１＋αビットとなり、ＤＣＴ係数の最大値が２Ｎ＋α−１、量子化スケールコードの範囲が１〜２Ｎ＋α−６−１、量子化スケールの範囲が１〜１２０×２Ｎ＋α−１１−８、量子化係数の最大値の範囲が１８〜２Ｎ＋α−１となる。
【０１７２】
このようにして、量子化器３５においては、非線形量子化を拡張した場合、ＭＰＥＧ２方式の非線形符号化方式と互換性をもち、かつ、比較的高いビットレートの場合において量子化スケールの刻み幅を細かく取ることができ、さらに、Ｎやαの値によらずに量子化スケールの最大値を用いたときに、そのＭＰＥＧ２方式と同等のビットレートまで圧縮符号化が可能であることが明らかである。
【０１７３】
因みに、一般化した非線形量子化の方式は、量子化スケールコードをｑｓｃとし、量子化に実際に用いられる量子化スケールをｑｓとすると、（５）式
【０１７４】
【数５】

【０１７５】
で表される。
【０１７６】
また、量子化器３５においては、量子化スケールコードをＮ＋α−６ビットで表すため、その上位２ビットからなる値をｋ、残りのＮ＋α−８ビットからなる値をｊとすると、上述した（５）式を（６）式
【０１７７】
【数６】

【０１７８】
に変えて表すことができる。因みに、ｋの値の取り得る範囲は０〜３であり、ｊの値の取り得る範囲は０〜２Ｎ＋α−８−１である。そして、ｋ＝ｊ＝０は禁止されている。
【０１７９】
ところで、量子化器３５においては、マクロブロックデータの符号化モードがイントラ符号化モードに設定された場合、ＤＣＴ係数の直流成分に対しては、ＭＰＥＧ２方式に従った８ビット精度の入力画像から得られる１２ビット精度のＤＣＴ係数の直流成分を量子化した後のビット精度の規定を、Ｎビット精度の入力画像から得られるＮ＋１＋αビット精度のＤＣＴ係数の直流成分を量子化した後のビット精度の規定に拡張する。
【０１８０】
すなわち、量子化器３５においては、量子化係数のビット精度を拡張する際、ＭＰＥＧ２方式に従うと11ビット精度のＤＣＴ係数の直流成分に対して11ビット、10ビット、９ビット、８ビット精度の４種類の量子化係数をピクチャ単位で選択することができた。
【０１８１】
そして、量子化器３５においては、それぞれのビット精度において量子化係数の取り得る範囲が０〜２０４７、０〜１０２３、０〜５１１、０〜２５５となり、ＤＣＴ係数のビット精度の増減に応じて直流成分の量子化係数のビット精度の種類も増減させる。
【０１８２】
この場合、量子化器３５においては、例えば、８ビット精度の入力画像に対してα＝５とした場合、ＭＰＥＧ２方式におけるα＝３よりもＤＣＴ係数のビット精度が２ビット多くなっているため、量子化係数のビット精度の種類も、ビット精度が増える方向に２つ増やして、１３ビット、１２ビット、１１ビット、１０ビット、９ビット、８ビットとする。
【０１８３】
そして、量子化器３５においては、それぞれのビット精度で量子化係数の取り得る範囲が０〜８１９１、０〜４０９５、０〜２０４７、０〜１０２３、０〜５１１、０〜２５５となる。すなわち、これは、量子化器３５からＤＣＴ係数をそのまま量子化係数として可変長符号化器３６に送出することもできるし、ＤＣＴ係数のビット精度が増加してもＭＰＥＧ２方式と同程度のビットレート（量子化係数が８ビットの精度）まで圧縮符号化が可能であることを表している。
【０１８４】
また、量子化器３５においては、例えば、１２ビット精度の入力画像に対してα＝６とした場合、ＭＰＥＧ２方式における入力画像のビット精度よりも４ビット増加し、かつ、ＭＰＥＧ２方式におけるα＝３よりもＤＣＴ係数のビット精度が３ビット増加して合わせて７ビットとの増加となるため、量子化係数のビット精度の種類も、ビット精度が増える方向に７つ増やして、１８ビット、１７ビット、１６ビット、１５ビット、１４ビット、１３ビット、１２ビット、１１ビット、１０ビット、９ビット、８ビットとする。
【０１８５】
そして、量子化器３５においては、それぞれのビット精度で量子化係数の取り得る範囲が、０〜２６２１４３、０〜１３１０７１、０〜６５５３５、０〜３２７６７、０〜１６３８３、０〜８１９１、０〜４０９５、０〜２０４７、０〜１０２３、０〜５１１、０〜２５５となる。すなわち、これは量子化器３５からＤＣＴ係数をそのまま量子化係数として可変長符号化器３６に送出することもできるし、ＤＣＴ係数のビット精度が増加してもＭＰＥＧ２方式と同程度のビットレート（量子化係数が８ビットの精度）まで圧縮符号化が可能であることを表している。
【０１８６】
ところで、量子化器３５においては、そのＤＣＴ係数の直流成分の量子化精度を一般化すると、Ｎビット精度の入力画像に対してＤＣＴ係数の直流成分のビット精度をＮ＋αビット（符号ビットを含めるとＮ＋１＋αビット精度）とした場合、量子化係数のビット精度の種類をＮ＋αビット、Ｎ＋α−１ビット、Ｎ＋α−２ビット、……、９ビット、８ビットとする。
【０１８７】
そして、量子化器３５においては、それぞれのビット精度で量子化係数の取り得る範囲が０〜２Ｎ＋α−１、０〜２Ｎ＋α−１−１、０〜２Ｎ＋α−２−１、……、０〜５１１、０〜２５５となる。
【０１８８】
すなわち、これは量子化器３５からＤＣＴ係数をそのまま量子化係数として可変長符号化器３６に送出することもできるし、ＤＣＴ係数のビット精度が増加してもＭＰＥＧ２方式と同程度のビットレート（量子化係数が８ビットの精度）まで圧縮符号化が可能であることを表している。
【０１８９】
このようにして、量子化器３５においては、ＤＣＴ係数の直流成分を量子化方式を拡張した場合、ＭＰＥＧ２方式によるＤＣＴ係数の直流成分の量子化方式と互換性をもち、かつ、Ｎやαの値によらずに量子化係数精度の最小値を用いたときにそのＭＰＥＧ２方式と同等のビットレートまで圧縮符号化が可能であることが明らかである。なお、このとき量子化器３５においては、比較的高いビットレートの場合において量子化スケールの刻み幅を細かくするような考慮は必要はない。
【０１９０】
ところで、逆量子化器３８（図１）は、量子化器３５から与えられる８画素×８ラインのブロック単位で量子化されたＤＣＴ係数（すなわち、量子化係数）を逆量子化し、ＩＤＣＴ器３９に送出する。
【０１９１】
ここで、逆量子化器３８は、量子化係数を逆量子化する際、上述した量子化器３５と同様の値でなる量子化スケールコードを用い、かつ、量子化器３５と同様の線形量子化及び非線形量子化のうちの同じ方式を用いて量子化スケールを算出し、当該算出した量子化スケールを用いて逆量子化を行う。
【０１９２】
また、マクロブロックの予測モードがイントラ符号化モードの場合におけるＤＣＴ直流係数の逆量子化方式は、上記ＤＣＴ直流係数の量子化方式の逆を実行する。
【０１９３】
ＩＤＣＴ器３９は、図２４のＩＤＣＴ器３９と同様に動作し、逆量子化器３８より逆量子化されたＤＣＴ係数を、ＩＤＣＴ処理して演算器４０に出力する。
【０１９４】
演算器４０には、ＩＤＣＴ器３９の出力データの他、動き補償器４２から、演算器３３に供給されている予測画像と同一のデータが供給されている。演算器４０は、ＩＤＣＴ器３９の出力データ（予測残差（差分データ））と、動き補償器４２からの予測画像データとを加算することで、元のフレーム画像データを局所復号し、得られた局所復号フレーム画像データ（局所復号画像データ）をテクスチャ（texture ）情報としてパディング（padding ）処理器５１に送出する。
【０１９５】
ただし、演算器４０は、予測モードがイントラ符号化である場合には、ＩＤＣＴ器３９から与えられる出力データをそのまま局所復号フレーム画像データでなるテクスチャ情報としてパディング処理器５１に送出する。
【０１９６】
一方、形状情報符号化器５０には、外部から形状信号（キー信号）、サイズデータＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿Ｂが供給されると共に、動きベクトル検出器３２から動きベクトルと符号化モード情報が与えられる。
【０１９７】
そして、形状情報符号化器５０は、ＭＰＥＧ４方式の規定に従い、形状情報の符号化を行い、当該符号化した形状情報を形状情報復号化器５２及び可変長符号化器３６に送出する。
【０１９８】
形状情報復号化器５２は、形状情報符号化器５０から与えられる符号化されている形状情報の局所復号化を行い、そのデータをパディング処理器５１及び可変長符号化器３６に送出する。
【０１９９】
パディング処理器５１は、ＭＰＥＧ４方式の規定に従い、テクスチャ情報に対してパディング処理を行い、当該パディングしたテクスチャ情報をフレームメモリ４１に送出して記憶する。
【０２００】
これにより、フレームメモリ４１に記憶されたテクスチャ情報は、その後、インター符号化（前方向予測符号化、後方向予測符号化、両方向予測符号化）される画像に対する予測フレーム画像データとして用いられる。
【０２０１】
すなわち、動き補償器４２は、フレームメモリ４１に記憶された画像データを、前方向予測に用いる画像、または後方向予測に用いる画像データとして、出力することになる。
一方、動き補償器４２は、動き補償参照画像指示信号により指定される画像（フレームメモリ４１に記憶されている局所復号された画像でなるテクスチャ情報）に対して、動きベクトル検出器３２から与えられる符号化モード情報及び動きベクトルに基づいて動き補償を施すことにより予測フレーム画像データを生成し、これを演算器３３及び４０に送出する。
【０２０２】
すなわち、動き補償器４２は、前方予測符号化モード、後方予測符号化モード及び両方向予測符号化モードの時のみ、フレームメモリ４１の読み出しアドレスを、演算器３３に対して現在出力しているブロックの位置に対応する位置から動きベクトルに対応する分だけずらし、当該フレームメモリ４１から前方向予測符号化又は後方向予測符号化に用いる対応する予測フレーム画像データを読み出す。
【０２０３】
そして、動き補償器４２は、その予測フレーム画像データを演算器３３及び４０に送出する。
【０２０４】
因みに、動き補償器４２は、両方向予測符号化モードの時は、前方予測符号化と後方予測符号化に用いる予測フレーム画像データの両方を読み出し、例えば、その読み出した予測フレーム画像データの平均値を予測データとして演算器３３及び４０に送出する。
【０２０５】
これにより、演算器３３は、フレームメモリ３１から読み出した所定ブロック（マクロブロック）単位のフレーム画像データから、動き補償器４２から与えられる対応する予測画像データを減算し、かくして、差分値データを生成する。
【０２０６】
また、演算器４０は、前方予測符号化モード、後方予測符号化モード及び両方向予測符号化モードの場合、動き補償器４２から与えられる予測フレーム画像データに加えて、予測フレーム画像データによって差分化された差分値データが逆ＤＣＴ器３９から与えられる。
【０２０７】
従って、演算器４０は、その差分値データを動き補償器４２から与えられる予測フレーム画像データに加算し、これにより局所復号を行い、テクスチャ情報を生成する。
【０２０８】
因みに、このテクスチャ情報は、局所復号化フレーム画像データであり、後述するデコーダで復号化して得られる画像データと全く同一のデータであり、上述したように、次ぎの処理画像に対して、前方予測符号化モード、後方予測符号化モード及び両方向予測符号化モードを行う時に用いる予測フレーム画像データとしてフレームメモリ４１に記憶される。
【０２０９】
また、演算器４０は、符号化モードがイントラ符号化モードである場合、画像データそのものが逆ＤＣＴ器３９から与えられるため、その画像データをそのままテクスチャ情報としてパディング処理器５１に送出する。
【０２１０】
一方、可変長符号化器３６は、量子化係数、量子化スケールコード、動きベクトル及び符号化モード情報が与えられると共に、サイズデータＦＳＺ＿Ｂ及びオフセットデータＦＰＯＳ＿Ｂも与えられる。従って、可変長符号化器３６は、これらのデータ全てを可変長符号化する。
【０２１１】
ここで、可変長符号化器３６の構成を、量子化係数の可変長符号化方式に基づいて以下に説明する。
【０２１２】
ＭＰＥＧ２方式においては、８ビット精度の入力画像に対する１２ビット精度のＤＣＴ係数に対して、単一の可変長符号化テーブル（可変長符号コードの組み合わせ）を用いて符号化を行うように規定されている。
【０２１３】
また、可変長符号化器３６に与えられる量子化係数の値（もしくは値の組み合わせ）が可変長符号化テーブルで定義されている値（もしくは値の組み合わせ）の範囲外であるときには、その可変長符号化テーブルで定義されているエスケープコードを用いてその値（もしくは値の組み合わせ）を固定長符号として処理する。すなわち、このエスケープコードは比較的出現確立の低い量子化係数の値（もしくは値の組み合わせ）であり、可変長符号化するよりも固定長符号化した方が良いからである。
【０２１４】
ここで、可変長符号化器３６においては、そのＭＰＥＧ２方式の機能を拡張しており、Ｎビット精度の入力画像から得られたＮ＋１＋αビット精度のＤＣＴ係数が量子化され、その結果得られた量子化係数を可変長符号化している。
【０２１５】
また、可変長符号化器３６においては、エスケープコードが用いられた場合に付加される固定長符号に対しても、その長さを入力画像のビット精度やＤＣＴ係数のビット精度に応じて変化させるようになされている。これに加えて、量子化スケールの値に応じてもその符号化方式を変更し得るようになされている。
【０２１６】
まず、可変長符号化器３６においては、入力画像のビット精度に応じて可変長符号化テーブルを変更する場合について説明する。これは、入力ビット精度に応じて量子化係数の出現確立の統計的性質も変わることに対処し、かつ、その出現確立からエスケープコードで扱う値の範囲を変更して画質の劣化を未然に防止するものである。
【０２１７】
ここで、図６は、可変長符号化器３６において、入力画像のビット精度に応じて可変長符号化テーブルを変更し得る構成を示すものであり、本来、可変長符号化器３６の内部のメモリに格納されている複数種類の可変長符号化テーブルを説明を簡易化するために、その可変長符号化器３６の外部に描いて示している。
【０２１８】
可変長符号化器３６においては、例えば、ＤＣＴ器３４の出力であるＤＣＴ係数の精度がα＝３に固定された場合を考えると、入力画像の画素のビット精度Ｎに対するＤＣＴ係数のビット精度がＮ＋４となり、そのＮ＋４ビット精度のＤＣＴ係数が量子化器３５において量子化されることにより得られた量子化係数が与えられる。
【０２１９】
この場合、可変長符号化器３６においては、予め入力画像の画素のビット精度に適した複数種類の可変長符号化テーブルを内部のメモリに格納されており、入力画像の画素のビット精度Ｎの値によって、量子化係数に適用する可変長符号化テーブルとエスケープコードに続く固定長符号の長さを変え得るようになされている。
【０２２０】
これにより、可変長符号化器３６においては、入力ビット精度の変化に応じて変わる量子化係数の出現確立の統計的性質に適確に対応してその量子化係数を圧縮符号化することができ、かくして、符号化処理により画質が劣化することを未然に防止し得るようになされている。
【０２２１】
また、可変長符号化器３６においては、このとき、量子化係数のレベル値の取り得る範囲が−２Ｎ＋３〜２Ｎ＋３−１であり、レベル値を表すための固定長符号長がＮ＋４ビットあれば必要十分であるため、Ｎの値に応じて固定長符号の長さを変えることで固定長符号に無駄なビットを充てなくてすむようにし、かくして、画質の劣化を未然に防止し得るようになされている。
【０２２２】
因みに、図６は、α＝３の場合の例を示したが、α＝ａに対してもレベル値を表すための固定長符号長はＮ＋１＋ａビットあれば必要十分である。
【０２２３】
すなわち、エンコーダ３０において、例えばＮ＝８ビット、１０ビット、１２ビットの３種類の画素ビット精度の入力画像を扱え、かつα＝６であった場合、可変長符号化器３６においては、３種類（それぞれＮ＝８、１０、１２用）の可変長符号化テーブルを持ち、かつ、レベル値を表すための固定長符号長を１５、１７、１９とすればよい。
【０２２４】
次いで、可変長符号化器３６においては、入力画像の画素のビット精度をＮ＝ｎとし、ｎ＋１＋αビット精度のＤＣＴ係数を符号化する際の可変長符号化テーブルをαの値に応じて変更する場合について説明する。これは、ＤＣＴ係数のビット精度に応じて量子化係数の出現確立及び統計的性質が変わることに対処し、かつ、その出現確立からエスケープコードで扱う値の範囲を変更して画質の劣化を未然に防止するものである。
【０２２５】
ここで、図７は、可変長符号化器３６において、ＤＣＴ係数のビット精度のαに応じて可変長符号化テーブルを変更し得る構成を示すものであり、本来、可変長符号化器３６の内部のメモリに格納されている複数種類の可変長符号化テーブルを説明を簡易化するために、その可変長符号化器３６の外部に描いて示している。
【０２２６】
可変長符号化器３６においては、例えば、入力画像の画素のビット精度をＮ＝８に固定した場合を考えると、ＤＣＴ係数のビット精度は９＋αとなり、その９＋αビット精度のＤＣＴ係数が量子化器３５において量子化されることにより得られた量子化係数が与えられる。
【０２２７】
この場合、可変長符号化器３６は、ＤＣＴ器３４から出力されるＤＣＴ係数のビット精度、この場合は、αの値によって、量子化係数に適用する可変長符号化テーブルと、エスケープコードに続く固定長符号のレベル値の長さを変えるようになされている。
【０２２８】
すなわち、可変長符号化器３６は、可変長符号化テーブルとして、ＤＣＴ係数ビット精度に適したものを予め内部のメモリに格納しており、ＤＣＴ係数のビット精度αに基づいて、量子化係数に適用する可変長符号化テーブルとエスケープコードに続く固定長符号の長さとを変え得るようになされている。
【０２２９】
これにより、可変長符号化器３６においては、ＤＣＴ係数ビット精度の変化で変わる量子化係数の出現確立及び統計的性質に適確に対応してその量子化係数を圧縮符号化することができ、かくして、符号化処理により画質が劣化することを未然に防止し得るようになされている。
【０２３０】
また、可変長符号化器３６においては、量子化係数のレベル値の取り得る範囲が−２８＋α〜２８＋α−１であるため、レベル値を表すための固定長符号長が９＋αビットあれば必要十分であり、αの値に応じて固定長符号の長さを変えることで固定長符号に無駄なビットを充てなくてすむようにし、かくして、画質の劣化を未然に防止し得るようになされている。
【０２３１】
因みに、図７は、Ｎ＝８の場合の例を示したが、Ｎ＝ｎに対してもレベルを表すための固定長符号長はｎ＋１＋αビットあれば必要十分である。
【０２３２】
すなわち、エンコーダ３０においては、Ｎ＝１０であり、例えばα＝３、４、５の３種類のＤＣＴ係数のビット精度の入力画像を扱えるとした場合、可変長符号化器３６において、３種類（それぞれα＝３、４、５用）の可変長符号化テーブルを持ち、かつ、レベル値を表すための固定長符号長を１４、１５、１６とすればよい。
【０２３３】
ここで、図６及び図７について上述した可変長符号化器３６においては、個別の入力画像の画素のビット精度ＮとＤＣＴ係数のビット精度αの値にそれぞれ応じて可変長符号化テーブルと、量子化係数のレベル値を表す固定長符号長を適宜切り換える場合について説明したが、この２つの可変長符号化方式を組み合わせることも可能である。
【０２３４】
すなわち、図８は、説明を簡易化するために、複数種類の可変長符号化テーブルを可変長符号化器３６の外部に描いて示したものであるが、かかる可変長符号化器３６においては、入力画像の画素のビット精度ＮとＤＣＴ係数のビット精度αの両方を考慮して可変長符号化テーブルと、固定長符号長を適宜切り換えるようになされている。因みに、この可変長符号化器３６における固定長符号長はＮ＋１＋αとなる。
【０２３５】
ところで、可変長符号化器３６においては、入力画像の画素のビット精度をＮ＝ｎとし、かつ、α＝ａにおけるＤＣＴ係数のビット精度をｎ＋１＋ａとして、ＤＣＴ係数を量子化するときに用いた量子化スケールの値に応じて、その量子化によって得られた量子化係数を可変長符号化するための可変長符号化テーブルと、レベル値の固定長符号長を変更する場合について説明する。これは、量子化スケールの値に応じて量子化係数の出現確立の統計的性質が変わることに対処し、かつ、その出現確立からエスケープコードで扱う値の範囲を変更して画質が劣化することを未然に防止するものである。
【０２３６】
ここで、図９は、可変長符号化器３６において、量子化スケールの値に応じて可変長符号化テーブルを変更し得る構成を示すものであり、本来、可変長符号化器３６の内部のメモリに格納されている複数種類の可変長符号化テーブルを説明を簡易化するために、その可変長符号化器３６の外部に描いて示している。
【０２３７】
可変長符号化器３６においては、例えば、入力画像の画素のビット精度をＮ＝８とし、α＝３に固定した場合を考えると、ＤＣＴ係数のビット精度は１２となり、その１２ビット精度のＤＣＴ係数が量子化器３５において量子化されることにより得られた量子化係数が与えられる。
【０２３８】
そして、可変長符号化器３６においては、量子化器３５への入力であるＤＣＴ係数の値の取り得る範囲が−２０４８〜＋２０４７であり、このとき、量子化スケールが１の場合には、量子化係数の値の取り得る範囲が−２０４８〜＋２０４７であり、量子化スケールが１の場合の量子化係数のビット精度は１２ビットとなる。
【０２３９】
また、可変長符号化器３６においては、量子化スケールが２の場合、量子化係数の取り得る範囲が−１０２４〜＋１０２３であり、量子化係数のビット精度が１１ビットとなる。さらに、可変長符号化器３６においては、量子化スケールが４の場合、量子化係数の取り得る範囲が−５１２〜＋５１１であり、量子化係数のビット精度が１０ビットとなる。
【０２４０】
図１０に、量子化スケールの値による量子化係数のビット精度を示す。この場合、量子化スケールにおいては、そのグループ毎にそれぞれに異なる可変長符号化テーブルとレベル値の固定長符号長が割り当てられており、可変長符号化器３６は与えられた量子化スケールの値に応じて対応する可変長符号化テーブルと、エスケープコードの場合のレベル値の固定長符号長を切り換える。因みに、レベル値の固定長符号長は図１０の量子化係数ビット精度の値と同じである。
【０２４１】
ところで、図９は、量子化スケールに基づいて可変長符号化テーブルを切り換える可変長符号化器３６を示したが、図１１に示すように、これに加えて、図６及び図７について上述した入力画像の画素のビット精度ＮとＤＣＴ係数のビット精度αをも用いて可変長符号化テーブルと、量子化係数のレベル値を表す固定長符号長を適宜切り換えることもできる。
【０２４２】
因みに、図１１においては、可変長符号化器３６の内部に格納されている各種可変長符号化テーブルをその可変長符号化器３６の外部に描いて説明を簡略化している。
【０２４３】
また、可変長符号化器３６においては、入力画像の画素のビット精度Ｎ、ＤＣＴ係数のビット精度α、量子化スケールのうちの少なくとも１つ以上を用いて可変長符号化テーブルと、量子化係数のレベル値を表す固定長符号長を適宜切り換えることもできる。
【０２４４】
また、可変長符号化器３６においては、Ｉピクチャ、Ｐピクチャ、Ｂピクチャ（Ｉ−ＶＯＰ、Ｐ−ＶＯＰ、Ｂ−ＶＯＰ）のマクロブロックデータについて、スキップマクロブロックとするかどうかを決定し、その決定結果を示すフラグを設定し、そのフラグも可変長符号化して伝送する。
【０２４５】
因みに、エンコーダ３０においては、各ブロック毎にそのＤＣＴ係数の符号化を行うが、形状情報復号化器５２から出力される形状情報によりオブジェクトの外側にそのブロックがあると判断されたときには、ＤＣＴ係数の符号化を行わない。
【０２４６】
（３）本実施の形態によるデコーダの構成
一方、図１２において、１００は本発明を適用したデコーダを示し、図１について上述したエンコーダ３０（図１）から伝送路又は記録媒体等を介して供給される符号化ビットストリームを復号化するようになされている。
【０２４７】
このデコーダ１００においては、エンコーダ３０から伝送され、所定の受信装置（図示せず）で受信された符号化ビットストリーム、又は、エンコーダ３０により記録媒体に記録され、所定の再生装置（図示せず）によってその記録媒体から再生された符号化ビットストリームをバッファ１０１に取り込んで一時記憶する。
【０２４８】
可変長復号化器１０２は、後段におけるブロックの処理状態に対応して、バッファ１０１から符号化ビットストリームを適宜読み出し、その符号化ビットストリームを可変長復号することにより、量子化係数、動きベクトル、符号化モード情報、量子化スケールコード、サイズデータＦＳＺ＿Ｂ、オフセットデータＦＰＯＳ＿Ｂ等を分離する。
【０２４９】
そして、可変長復号化器１０２は、量子化係数、量子化スケールコード、動きベクトル及び符号化モード情報を逆量子化器１０３に送出すると共に、動きベクトル、符号化モード情報、サイズデータＦＳＺ＿Ｂ及びオフセットデータＦＰＯＳ＿Ｂを動き補償器１０７に送出し、形状情報を形状情報復号化器１１０に送出する。
【０２５０】
逆量子化器１０３、ＩＤＣＴ器１０４、演算器１０５、フレームメモリ１０６、形状復号化器１１０、パディング処理器１０８、動き補償器１０７は、図１について上述したエンコーダ３０の逆量子化器３８（図１）、ＩＤＣＴ器３９（図１）、演算器４０（図１）、フレームメモリ４１（図１）、形状情報復号化器５２（図１）、パディング処理器５１（図１）、動き補償器４２（図１）とそれぞれ同様の処理を実行する。
【０２５１】
形状情報復号化器１１０は、可変長復号化器１０２から与えられる符号化された形状情報を復号化し、当該復号化した形状情報をパディング処理器１０８に送出する。
【０２５２】
逆量子化器１０３は、可変長復号化器１０２から与えられる量子化スケールコードとピクチャ毎に設定される量子化スケールタイプ（線形量子化及び非線形量子化）とに基づいて、同様に可変長復号化器１０２から与えられる量子化係数を逆量子化し、得られたＤＣＴ係数をＩＤＣＴ器１０４に送出する。
【０２５３】
ＩＤＣＴ器１０４は、逆量子化器１０３か与えられたＤＣＴ係数をＩＤＣＴ処理し、得られたデータを演算器１０５に供給する。
【０２５４】
演算器１０５は、フレーム間予測が行われているときには動き補償器１０７からの出力とＩＤＣＴ器１０４の出力とを１画素単位で加算し、得られた加算結果をテクスチャ情報としてパディング処理器１０８に送出すると共に、外部に出力する。また、演算器１０５は、フレーム内予測（イントラ符号化）が行われてるときには、特に動作しない。
【０２５５】
パディング処理器１０８は、形状情報復号化器１１０から与えられた形状情報に基づいて、演算器１０５から与えられるテクスチャ情報に対してパディング処理を行い、当該パディング処理したテクスチャ情報をフレームメモリ１０６に送出して記憶する。
【０２５６】
フレームメモリ１０６に記憶されているテクスチャ情報は、動き補償器１０７により適宜読み出され、演算器１０５に送出され、この後、図１について上述したフレームメモリ４１及び動き補償器４２の同様に動作する。
【０２５７】
ここで、エンコーダ３０及びデコーダ１００にＭＰＥＧ４方式の規格を適用した場合について以下に説明する。
【０２５８】
まず、エンコーダ３０の量子化器３５及び逆量子化器３８と、デコーダ１００の逆量子化器１０３について説明する。
【０２５９】
図１３はＭＰＥＧ４方式のシンタックスのうちの、ＶＯＬ（Ｖｉｄｅｏ Ｏｂｊｅｃｔ Ｌａｙｅｒ）のシンタックスを示し、ＶＯＬは、符号化ビットストリーム内に格納された符号化されたビデオ情報全てに関わる情報が記述されているレイヤである。そして、このシンタックスのうち、入力画像の画素のビット精度を指定するフラグとしては、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌが準備されている。
【０２６０】
そして、本発明においては、ＤＣＴ係数のビット精度を指定するフラグとして、ｄｃｔ＿ｐｒｅｃｉｓｉｏｎを準備し、これにαの値を記述する。すなわち、ＤＣＴ係数のビット精度はｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌ＋１＋ｄｃｔ＿ｐｒｅｃｉｓｉｏｎビットとなる。
【０２６１】
また、本発明においては、そのビット精度に応じて、図１４に示すＶＯＰレイヤ（各ＶＯＰ毎の情報を記述）及び図１５に示す各マクロブロック毎の情報を記述しているマクロブロックレイヤ（Ｍａｃｒｏｂｌｏｃｋ Ｌａｙｅｒ））のシンタックスにおいて、量子化スケールコードを示すフラグとして、ｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅを設け、このフラグを用いて量子化スケールのビット長を変更する。
【０２６２】
すなわち、ＶＯＬシンタックスのｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとｄｃｔ＿ｐｅｒｃｉｓｉｏｎの値に応じて、ｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅのビット長をｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌ＋ｄｃｔ＿ｐｒｅｃｉｓｉｏｎ−６とする。因みに、ＭＰＥＧ２方式においては、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとｄｃｔ＿ｐｒｅｃｉｓｉｏｎがそれぞれ８と３であり、ｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅのビット長が５であるものの、本発明においては、ｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅのビット長は５となり、ＭＰＥＧ２方式と互換性を持っている。
【０２６３】
そして、エンコーダ３０及びデコーダ１００においては、これらシンタックスに従い、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌ、ｄｃｔ＿ｐｒｅｃｉｓｉｏｎ及びｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅが指定されて、次に、マクロブロックデータの量子化及び逆量子化を行う。
【０２６４】
ここでまず、量子化器３５においては、線形量子化を用いる場合、（７）式
【０２６５】
【数７】

【０２６６】
で表される量子化スケールコードｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅから量子化スケールｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅを計算する。
【０２６７】
また、量子化器３５は、非線形量子化を用いる場合、（８）式
【０２６８】
【数８】

【０２６９】
で表される量子化スケールコードｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅから量子化スケールｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅを計算する。
【０２７０】
因みに、エンコーダ３０及びデコーダ１００においては、符号化対象のピクチャに対して線形量子化を適用するか、非線形量子化を適用するかを、図１４に示すＶＯＰシンタックスのｑｕａｎｔ＿ｓｃａｌｅ＿ｔｙｐｅと呼ばれるフラグの値により、どちらの量子化タイプを用いるかを指定する。かくして、量子化器３５は、指定された量子化タイプを用いて計算した量子化スケールｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅを用いて量子化を行うことができる。
【０２７１】
ただし、マクロブロックの符号化モードがイントラ符号化モードのときには、ＤＣＴ係数の直流成分に対して異なる量子化方式を用いる。
【０２７２】
実際上、ＤＣＴ係数の直流成分の量子化スケールｄｃ＿ｓｃａｌｅｒは、以下の手順で導き出すことができる。
【０２７３】
すなわち、ＤＣＴ係数の直流成分のビット精度がｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌ＋ｄｃｔ＿ｐｒｅｃｉｓｉｏｎであるときには、量子化係数のビット精度として、図１６に示すビット精度の中からピクチャ単位で指定することが可能であり、それを例えば、ユーザ等が図１４に示すＶＯＰシンタックスのｉｎｔｒａ＿ｄｃ＿ｐｒｅｃｉｓｉｏｎと呼ばれるフラグで指定する。
【０２７４】
そして、量子化器３５は、ｉｎｔｒａ＿ｄｃ＿ｐｒｅｃｉｓｉｏｎにより、量子化係数のビット精度が指定されると、図１６に示すビット精度と、量子化スケールとの関係から対応する量子化スケールｄｃ＿ｓｃａｌｅｒを算出し、これをイントラ符号化モードのときのＤＣＴ係数の直流成分の量子化に用いる。
【０２７５】
次いで、逆量子化器３８及び１０３は、上述した量子化器３５と同様に、量子化スケールコードｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅ＿ｃｏｄｅから量子化スケールｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅを計算することにより、その量子化スケールｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅを用いて逆量子化を行う。
【０２７６】
ただし、逆量子化器３８及び１０３は、マクロブロックデータの符号化モードがイントラ符号化モードの場合には、ＤＣＴ係数の直流成分に対しては、異なる逆量子化方式を用いるが、その方法は図１６に示したｉｎｔｒａ＿ｄｃ＿ｐｒｅｃｉｓｉｏｎをもとに量子化スケールｄｃ＿ｓｃａｌｅｒを求め、それを用いて逆量子化を行う。
【０２７７】
このようにして、逆量子化器３８及び１０３は、量子化スケールｄｃ＿ｓｃａｌｅを計算して逆量子化に用いることにより、ＤＣＴ係数の直流成分の逆量子化を行うことができる。
【０２７８】
次に、本発明における可変長符号化器３６及び可変長復号化器１０２について説明する。
【０２７９】
図１７はＭＰＥＧ４方式のシンタックスのうちの、ブロックレイヤ（Ｂｌｏｃｋ Ｌａｙｅｒ）を示し、現行のＭＰＥＧ４方式においては、入力画像のビット精度ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとは無関係に、このブッロクシンタックスのＤＣＴ Ｃｏｅｆｆｉｃｉｅｎｔを表すシンボルを符号化するのに、単一の可変長符号化テーブルを用いる。
【０２８０】
ここで、その可変長符号化方式は、符号化対象の所定ブロック内の最終コード（ＬＡＳＴ）と、当該ブロック内の連続する０の個数（ＲＵＮ）と、ブロック内の非０係数の値（ＬＥＶＥＬ）との３種類のデータから３Ｄ可変長符号化を行うようになされている。因みに、現行のＭＰＥＧ４方式ではｄｃｔ＿ｐｒｅｃｉｓｉｏｎは３で固定されている。
【０２８１】
すなわち、可変長符号化器３６は、３Ｄ可変長符号化を行う場合、図１８〜図２０に示す可変長符号化テーブルを用いる。
【０２８２】
また、現行のＭＰＥＧ４方式においては、入力画像のビット精度ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとは無関係に、ブロックの可変長符号化の際にエスケープコードが選択されたときには、図２１に示すようにレベル値、ラン長を固定長符号を用いて符号化するが、このレベル値を符号化するビット長もｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとは無関係に固定されており、その長さは１２ビットである。
【０２８３】
これは本発明のｂｉｔｓ＿ｐｒｅ＿ｐｉｘｅｌ＝８，ｄｃｔ＿ｐｒｅｃｉｓｉｏｎ＝３の場合におけるＤＣＴ係数のビット精度であるので、８ビット精度入力よりもビット精度の高い入力画像に対しては、十分な値とは言えない。
【０２８４】
従って、可変長符号化器３６においては、図２２に示すように、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとｄｃｔ＿ｐｒｅｃｉｓｉｏｎとｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅの値に応じて、可変長符号化テーブルを切り換えるようになされている。
【０２８５】
因みに、図２２は、例えば、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌ＝８、１０、１２、ｄｃｔ＿ｐｒｅｃｉｓｉｏｎ＝５が選択できる場合を示してあり、ＶＬＣｔ＿０〜２０は図１８〜図２０に示すような可変長符号化テーブルであり、全て異なるテーブルとすることが可能である。
【０２８６】
また、可変長符号化器３６においては、レベル値を示す、固定長符号のビット長も、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとｄｃｔ＿ｐｒｅｃｉｓｉｏｎとｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅの値に応じて、切り換えることが可能であり、その長さは図２３に示す通りである。この例も、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌ＝８、１０、１２、ｄｃｔ＿ｐｒｅｃｉｓｉｏｎ＝５が選択できる場合を示してある。
【０２８７】
これに対して、可変長復号化器１０２においては、可変長符号化器３６おける可変長符号化と同様に、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとｄｃｔ＿ｐｒｅｃｉｓｉｏｎとｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅの値に応じて、可変長符号化テーブルとエスケープコード発生時におけるレベル値のビット長を切り換えることにより、可変長復号化を行う。
【０２８８】
（４）本実施の形態の動作及び効果
以上の構成において、エンコーダ３０では、任意に設定されたビット精度Ｎの入力画像を取り込むことができると共に、ＤＣＴ係数のビット精度αを任意に設定し得るようにし、当該入力画像のフレーム画像データからマクロブロック単位で動きベクトル等を用いて差分値データを生成すると、当該生成した差分値データをＤＣＴ処理して設定されたビット精度αのＤＣＴ係数を生成する。
【０２８９】
そして、エンコーダ３０では、そのＤＣＴ係数を、任意に設定された入力画像のビット精度Ｎ及びＤＣＴ係数のビット精度αとに基づいて拡張した量子化スケールを用いて量子化し、得られた量子化係数を、任意に設定された入力画像のビット精度Ｎ、ＤＣＴ係数のビット精度α及び量子化に用いた量子化スケールの値のうちの少なくともいずれか１つに基づいて選定した可変長符号化テーブルを用いて可変長符号化する。
【０２９０】
また、エンコーダ３０では、このとき、量子化係数の値が選定した可変長符号化テーブルで定義されている値の範囲外であるときには、その可変長符号化テーブルで定義されているエスケープコードを用いてその量子化係数を固定長符号として処理する。
【０２９１】
一方、デコーダ１００では、エンコーダ３０から与えられた符号化ビットストリームを、任意に設定された入力画像のビット精度Ｎ及びＤＣＴ係数のビット精度αと、当該ビット精度Ｎ及びαに基づいて拡張した量子化スケールとのうちの少なくとも１つに基づいて選定した可変長符号化テーブルを用いて復号化して各種データと共に量子化係数を分離する。
【０２９２】
そして、デコーダ１００では、その量子化係数を、任意に設定した入力画像のビット精度Ｎ及びＤＣＴ係数のビット精度αとに基づいて拡張した量子化スケールを用いて逆量子化し、当該設定されたビット精度αのＤＣＴ係数を生成し、当該ＤＣＴ係数にＩＤＣＴ処理するようにして、この後、復号化したフレーム画像データを得るようにした。
【０２９３】
従って、エンコーダ３０及びデコーダ１００では、量子化及び逆量子化を行う際に、任意に設定されたＤＣＴ係数のビット精度αに応じて、そのビット精度αに対して適切で、かつ、ＭＰＥＧ２方式と互換性を持つ線形量子化及び非線形量子化を行うことができる。
【０２９４】
また、エンコーダ３０及びデコーダ１００では、可変長符号化及び可変長復号化を行う際に、設定されたＤＣＴ係数のビット精度αと量子化スケールに対して、適切な可変長符号化テーブルとエスケープコードに続くレベル値のビット長とを選択することができる。
【０２９５】
この結果、エンコーダ３０及びデコーダ１００では、入力画像を圧縮符号化するときに、当該入力画像の画質が劣化することを未然に防止することができると共に、符号化した入力画像を復号化するときにもその画質が劣化することを未然に防止することができる。
【０２９６】
以上の構成によれば、任意に設定されたビット精度Ｎの入力画像を取り込み、かつＤＣＴ係数のビット精度αを任意に設定し得るようにし、そのＤＣＴ係数を当該入力画像のビット精度Ｎと、ＤＣＴ係数のビット精度αとに基づいて拡張した量子化スケールを用いて量子化し、得られた量子化係数を、その入力画像のビット精度Ｎ、ＤＣＴ係数のビット精度α及び量子化に用いた量子化スケールの値のうちの少なくともいずれか１つに基づいて選定した可変長符号化テーブルを用いて可変長符号化するようにしたことにより、入力画像を圧縮符号化するときに、当該入力画像の画質が劣化することを未然に防止し得るエンコーダを実現することができる。
【０２９７】
また、任意に設定されたビット精度Ｎの入力画像を取り込み、かつＤＣＴ係数のビット精度αを任意に設定し得るようにし、符号化ビットストリームを当該入力画像のビット精度Ｎ及びＤＣＴ係数のビット精度αと、これらビット精度Ｎ及びαに基づいて拡張した量子化スケールとのうちの少なくともいずれか１つに基づいて選定した可変長符号化テーブルを用いて可変長復号化し、得られた量子化係数をその入力画像のビット精度Ｎ及びＤＣＴ係数のビット精度αに基づいて拡張した量子化スケールを用いて逆量子化するようにしたことにより、圧縮符号化された入力画像を復号化するときに、当該入力画像の画質が劣化することを未然に防止し得るデコーダを実現することができる。
【０２９８】
従って、本実施の形態によれば、入力画像の圧縮符号化時及び復号化時に画質が劣化することを未然に防止し、かくして、入力画像を圧縮符号化した後、復号化して得られる画像の画質を入力画像の画質とほぼ同等にすることができるエンコーダ及びデコーダを実現することができる。
【０２９９】
（５）他の実施の形態
なお、上述の実施の形態においては、ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌ＝８、１０、１２、ｄｃｔ＿ｐｒｅｃｉｓｉｏｎ＝５が選択できるようにした場合について述べたが、本発明はこれに限らず、その他の組み合わせも可能であり、一方か両方をある値に固定することも可能である。これはそのシステムの利用目的に応じて選択されるべきであるが、本発明は、このようなシステムのいずれにも適応可能である。
【０３００】
また、上述の実施の形態においては、エンコーダ３０において、ビット精度に応じた量子化及び可変長符号化を実行するようにした場合について述べたが、本発明はこれに限らず、エンコーダにおいて、ビット精度に応じた量子化及び可変長符号化のうちのいずれか一方を実行するようにしても良く、この場合でも、画質の劣化を未然に防止することができる。
【０３０１】
さらに、上述の実施の形態においては、デコーダ１００において、ビット精度に応じた量子化及び可変長符号化を実行するようにした場合について述べたが、本発明はこれに限らず、デコーダにおいて、ビット精度に応じた量子化及び可変長符号化のうちのいずれか一方を実行するようにしても良く、この場合でも、画質の劣化を未然に防止することができる。
【０３０２】
【発明の効果】
上述のように本発明によれば、入力ビット精度の入力画像データと、予測データとの差分値を演算して離散コサイン変換処理の対象となる差分値データを生成し、当該生成した差分値データを、離散コサイン変換処理する際の演算ビット精度に応じて離散コサイン変換処理して、離散コサイン変換係数を生成し、演算ビット精度の増加に応じて量子化スケールコードのビット長を増加させることにより量子化スケールの範囲を変更し、当該範囲を変更した量子化スケールを用いて、離散コサイン変換係数を量子化して量子化係数を生成するようにしたことにより、入力画像データを圧縮符号化するときに、その画質が劣化することを大幅に低減させることができる。
【０３０３】
また、量子化係数を圧縮符号化する際、上記入力ビット精度、演算ビット精度、及び範囲を変更した量子化スケールのうちの少なくとも１つ以上に基づいて複数種類の可変長符号化テーブルから可変長符号化テーブルを選定し、当該選定した可変長符号化テーブルを用いて量子化係数を圧縮符号化するようにしたことにより、入力画像データを圧縮符号化するときに、その画質が劣化することをほぼ確実に防止することができる。
【０３０６】
従って、このように、画質の劣化を防止し得る符号化装置によれば、入力画像を圧縮符号化した後、復号化して生成した画像の画質を入力画像の画質とほぼ同等にすることができる。
【０３０７】
そして、あらゆる入力ビット精度の入力画像を圧縮符号化する際に、要求される画質に応じて離散コサイン変換係数の演算ビット精度を可変にすることを可能にする量子化方式、可変長符号化方式を提供することができる。
【図面の簡単な説明】
【図１】本発明によるエンコーダの構成の一実施の形態を示すブロック図である。
【図２】ＶＯＰの構成を示す略線図である。
【図３】ＤＣＴ係数のビット精度の変化に対する量子化区間の分割の説明に供する略線図である。
【図４】ＤＣＴ係数のビット精度の変化に対する量子化区間の分割の説明に供する略線図である。
【図５】ＤＣＴ係数のビット精度がＮ＋１＋αビットの場合における量子化スケールコードと量子化スケールとの関係の説明に供する略線図である。
【図６】入力画像の画素のビット精度に応じた可変長符号化テーブルの切り換えの説明に供するブロック図である。
【図７】ＤＣＴ係数に応じた可変長符号化テーブルの切り換えの説明に供するブロック図である。
【図８】入力画像の画素のビット精度と、ＤＣＴ係数とに応じた可変長符号化テーブルの切り換えの説明に供するブロック図である。
【図９】量子化スケールに応じた可変長符号化テーブルの切り換えの説明に供するブロック図である。
【図１０】量子化スケールと量子化係数のビット精度との関係の説明に供する略線図である。
【図１１】入力画像の画素のビット精度と、ＤＣＴ係数と、量子化スケールとの組み合わせに応じた可変長符号化テーブルの切り換えの説明に供するブロック図である。
【図１２】本発明によるデコーダの構成の一実施の形態を示すブロック図である。
【図１３】ＶＯＬのシンタックスを示す略線図である。
【図１４】ＶＯＰレイヤを示す略線図である。
【図１５】マクロブロックレイヤを示す略線図である。
【図１６】ＤＣＴ係数の直流成分の量子化係数精度と量子化スケールの関係の説明に供する略線図である。
【図１７】ブロックレイヤのシンタックスを示す略線図である。
【図１８】３Ｄ可変長符号化に用いる可変長符号化テーブルを示す略線図である。
【図１９】３Ｄ可変長符号化に用いる可変長符号化テーブルを示す略線図である。
【図２０】３Ｄ可変長符号化に用いる可変長符号化テーブルを示す略線図である。
【図２１】レベル長とラン長の符号化の説明に供する略線図である。
【図２２】ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとｄｃｔ＿ｐｒｅｃｉｓｉｏｎとｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅとによる可変長符号化テーブルの切り換えの説明に供する略線図である。
【図２３】ｂｉｔｓ＿ｐｅｒ＿ｐｉｘｅｌとｄｃｔ＿ｐｒｅｃｉｓｉｏｎとｑｕａｎｔｉｚｅｒ＿ｓｃａｌｅとによるレベル値の固定長符号長の切り換えの説明に供する略線図である。
【図２４】ＭＰＥＧ２方式を適用したエンコーダの構成を示すブロック図である。
【図２５】ＭＰＥＧ２方式の線形・非線形量子化方式の説明に供する略線図である。
【図２６】ＭＰＥＧ２方式における量子化スケールコードと量子化スケールとの関係を示す略線図である。
【図２７】ＭＰＥＧ２方式における量子化スケールコードと量子化スケールとの関係を示す略線図である。
【図２８】ＭＰＥＧ２方式を適用したデコーダの構成を示すブロック図である。
【符号の説明】
３０……エンコーダ、３１……フレームメモリ、３４……ＤＣＴ器、３５……量子化器、３６……可変長符号化器、３８、１０３……逆量子化器、３９、１０４……ＩＤＣＴ器、１００……デコーダ、１０２……可変長復号化器。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an encoding apparatus and its one To the law For example, the present invention is suitable for application to an encoder that compresses and encodes moving image data and a decoder that decodes the compressed and encoded moving image data.
[0002]
[Prior art]
Conventionally, as a system provided with this type of encoding device and decoding device, there is a system for transmitting moving image data to a remote place such as a video conference system or a video phone system.
[0003]
In such a system, in order to transmit moving image data efficiently using a transmission path, the moving image data is sequentially compressed and encoded in units of frames using line correlation or inter-frame correlation of images in units of frames. ing.
[0004]
Here, a representative example of a compression encoding method for efficiently encoding moving image data is an MPEG2 (Moving Picture Experts Group 2: moving image encoding for storage) method.
[0005]
This MPEG2 system is ISO-IEC / JTC1 / SC2 / WG11 (International Organization for Standardization-International Electrotechnical Commission / Joint Technical Committee 1 / Sub Committee 11 / Sub Committee 11). A hybrid method combining motion compensated prediction coding and DCT (Discrete Cosine Transform) coding is employed.
[0006]
Also, in the MPEG2 system, several profiles and levels are defined to cope with various applications and functions, and the most basic one is a main profile main level (MP @ ML: Main Profile at Main). Level).
[0007]
Here, as an encoder to which the main profile main level in the MPEG2 system is applied, for example, there is an encoder configured as shown in FIG.
[0008]
That is, in the encoder 1 shown in FIG. 24, moving image data to be compressed and encoded supplied from the outside is sequentially fetched into the frame memory 2 in units of frames, and the fetched frame-unit image data (hereinafter referred to as frame images) Temporarily called data).
[0009]
In this case, the frame image data supplied to the frame memory 2 is composed of a luminance component and two color difference components in accordance with the MPEG2 system, and the bit accuracy of each pixel value (that is, the accuracy of color gradation) is 8 bits. It is defined that only 8-bit images with the accuracy of can be supplied.
[0010]
Incidentally, in the frame image data, having an 8-bit accuracy means that the range of possible values (that is, color gradations) of the luminance component and the two color difference components is 0 to 225 (256 gradations). It turns out that.
[0011]
The motion vector detector 3 converts the frame image data stored in the frame memory 2 into, for example, 16 pixels × 16 line And the motion vector of the read macroblock data (hereinafter referred to as macroblock data) is detected.
[0012]
Here, in the motion vector detector 3, each frame image data is converted into an I (Intra) picture (intra-frame encoded image), a P (Predictive) picture (forward prediction encoded image) or a B (Bidirectionally predictive) picture ( Bi-directional prediction encoded image).
[0013]
Incidentally, in the motion vector detector 3, for example, which of the I picture, the P picture, and the B picture is to be processed as the frame image data that is sequentially input is determined in advance (for example, , Continuous frame image data is processed as a sequence of I picture, B picture, P picture, B picture, P picture,..., B picture, P picture).
[0014]
In practice, the motion vector detector 3 refers to predetermined predetermined reference frame image data (hereinafter referred to as reference frame image data) in the frame image data stored in the frame memory 2. Then, by performing pattern matching (block matching) between the reference frame image data and the 16-pixel × 16-line macroblock data of the frame image data currently targeted for compression encoding, the movement of the macroblock data Detect vectors.
[0015]
Here, in the MPEG system (MPEG1 system and MPEG2 system), as an encoding mode of macroblock data, an intra encoding (intraframe encoding) mode, a forward predictive encoding mode, a backward predictive encoding mode, and a bidirectional predictive code are used. Four types of conversion modes are defined.
[0016]
The macroblock data of the I picture is intra-coded according to the intra-coding mode. Further, the macroblock data of the P picture is intra-coded or forward-predicted coded according to either the intra-coding mode or the forward-predictive coding mode.
[0017]
Furthermore, the macroblock data of the B picture is an intra coding mode, a forward prediction coding mode, a backward prediction coding mode, or both. For Intra coding, forward prediction coding, backward prediction coding, or bidirectional prediction coding is performed according to one of the prediction coding modes. Incidentally, these encoding modes are defined so that they can be selected in units of macroblock data even in the same frame image data.
[0018]
For this reason, the motion vector detector 3 sets the coding mode to the intra coding mode for the macroblock data of the I picture, and sets the intra coding mode without detecting the motion vector of the macroblock data. Coding mode information indicating this is sent to a variable length coding (VLC) unit 4 and a motion compensator 5.
[0019]
In addition, the motion vector detector 3 detects the motion vector of the macroblock data by performing forward prediction on the macroblock data of the P picture, and generates a prediction error caused by performing the forward prediction, and compression coding. For example, the variance of the target macroblock data (macroblock data of P picture) is compared.
[0020]
Then, as a result of the comparison, when the variance of the macroblock data is smaller than the prediction error, the motion vector detector 3 sets the encoding mode to the intra encoding mode, and sets the encoding mode information representing this. This is sent to the variable length encoder 4 and the motion compensator 5.
[0021]
On the other hand, when the prediction error is smaller than the variance of the macroblock data, the motion vector detector 3 sets the encoding mode to the forward predictive encoding mode, and encodes the set forward encoding mode. Is transmitted to the variable length encoder 4 and the motion compensator 5 together with the detected motion vector.
[0022]
Further, the motion vector detector 3 detects the motion vector of the macroblock data for each of the forward prediction, backward prediction and bidirectional prediction by performing forward prediction, backward prediction and bidirectional prediction for the macroblock data of the B picture. .
[0023]
In this case, the motion vector detector 3 detects a minimum prediction error (hereinafter referred to as a minimum prediction error) from prediction errors caused by forward prediction, backward prediction, and bidirectional prediction, and detects the detected minimum prediction. The error is compared with, for example, the variance of macroblock data to be compression-encoded (macroblock data of a B picture).
[0024]
Then, as a result of the comparison, when the variance of the macroblock data is smaller than the minimum prediction error, the motion vector detector 3 sets the encoding mode to the intra encoding mode, and encodes mode information indicating this. Is sent to the variable length encoder 4 and the motion compensator 5.
[0025]
On the other hand, when the minimum prediction error is smaller than the variance of the macroblock data, the motion vector detector 3 determines the coding mode according to forward prediction, backward prediction, and bidirectional prediction from which the minimum prediction error is obtained. Forward prediction coding mode, backward prediction coding mode or bidirectional prediction coding mode, and the set forward prediction coding mode. De, Backward prediction coding mode Domata Sends the encoding mode information representing the bidirectional predictive encoding mode to the variable length encoder 4 and the motion compensator 5 together with the corresponding motion vector.
[0026]
The motion compensator 5 is based on the coding mode information and the motion vector supplied from the motion vector detector 3 and is compression-encoded and already locally decoded frame image stored in the frame memory 6. Data (hereinafter referred to as local decoded frame image data) is read out, and the read out local decoded frame image data is used as frame image data for macroblock data prediction (hereinafter referred to as predicted frame image data). To the arithmetic units 7 and 8.
[0027]
The computing unit 7 reads the same macroblock data as the macroblock data read from the frame memory 2 by the motion vector detector 3 from the frame memory 2, and is supplied from the read macroblock data and the motion compensator 5. A difference value with the corresponding macroblock data in the predicted frame image data is calculated, and this is sent to the DCT unit 9 as difference value data.
[0028]
Incidentally, the bit accuracy of the pixel value of the output image (input image to the DCT unit 9) obtained from the computing unit 7 is a difference value between corresponding macroblock data, so that the bit value is increased by 1 bit to 9 bits, The possible range of the value is −255 to +255.
[0029]
On the other hand, when only the coding mode information is given from the motion vector detector 3, the motion compensator 5 does not transmit the predicted frame image data because the coding mode is the intra coding mode.
[0030]
Therefore, at this time, the arithmetic unit 7 (the same applies to the arithmetic unit 8) sends the macroblock data read from the frame memory 2 without any particular processing as it is to the DCT unit 9 as difference value data.
[0031]
The DCT unit 9 performs a discrete cosine transform process (hereinafter referred to as DCT process) on the difference value data provided from the arithmetic unit 7, and a discrete cosine transform coefficient (hereinafter referred to as DCT) obtained as a result. Are sent to the quantizer 10.
[0032]
Incidentally, in the DCT unit 9, the macroblock data composed of 16 pixels × 16 lines is further subdivided into blocks composed of 8 pixels × 8 lines in accordance with the MPEG standard, and the data of the blocks of 8 pixels × 8 lines is divided. On the other hand, DCT processing is performed.
[0033]
Further, the DCT unit 9 quantizes the 12-bit precision DCT coefficient obtained by performing DCT processing on the difference value data by increasing the 9-bit precision of the difference value data by 3 bits in accordance with the MPEG standard. It is sent to the device 10. Incidentally, the possible range of the value of the DCT coefficient is −2048 to +2047.
[0034]
The quantizer 10 sets a quantization scale corresponding to the data accumulation amount (the amount of data stored in the buffer 11) given from the buffer 11, and based on the set quantization scale. The DCT coefficient given from the DCT unit 9 is quantized. Incidentally, the quantizer 10 converts the fraction generated as a result of quantizing the DCT coefficient into a whole number by performing a rounding process such as rounding to four.
[0035]
Here, in the quantizer 10, there are two methods of determining the value of the quantization scale: linear quantization and nonlinear quantization.
[0036]
As shown in FIG. 25, in the quantizer 10, when linear quantization is performed, a value twice that of the quantization scale code is used as the quantization scale value. In addition, in the quantizer 10, when nonlinear quantization is executed, a quantization scale value that is nonlinear with respect to the quantization scale code is used.
[0037]
That is, in the linear quantization, when the quantization scale code and the value of the quantization scale are graphed, the result is as shown in FIG. 26. The relationship between the quantization scale code and the value of the quantization scale is expressed by the quantization. When the scale code is qsc and the quantization scale is qs, the equation (1)
[0038]
[Expression 1]

[0039]
Can be expressed as
[0040]
Further, in the non-linear quantization, when the relationship between the quantization scale code and the value of the quantization scale is graphed, as shown in FIG. 27, the quantization scale code is set to qsc as in the above equation (1), When the quantization scale is qs, the relationship between the quantization scale code and the value of the quantization scale is expressed by equation (2).
[0041]
[Expression 2]

[0042]
It is represented by
[0043]
In the non-linear quantization, the quantization scale code is expressed by 5 bits in accordance with the MPEG2 standard, so that the value consisting of the upper 2 bits of the quantization scale code is k, and the value consisting of the remaining lower 3 bits is j Then, the above equation (2) is replaced with equation (3).
[0044]
[Equation 3]

[0045]
It can also be expressed instead of. Incidentally, the possible range of the value of k is 0-3, and the possible range of the value of j is 0-7. Further, in this equation (3), k = j = 0 is prohibited.
[0046]
By the way, in the quantizer 10 (FIG. 24), the quantization scale value is not directly specified, but the quantization scale code is specified in accordance with the MPEG2 standard, and linear quantization, nonlinear quantization, The quantization scale value corresponding to the designated quantization scale code is calculated from the corresponding expression (1), expression (2), or expression (3).
[0047]
Incidentally, in the quantizer 10, it is possible to set, in units of pictures, which one of linear quantization and nonlinear quantization is used in accordance with the MPEG2 standard.
[0048]
In the quantizer 10, since the quantization scale code is expressed by 5 bits in accordance with the MPEG2 standard, the possible range of the quantization scale code value is 1 to 31 (0 is prohibited). When linear quantization is used, the possible range of quantization scale values is 2 to 62 (FIG. 25).
[0049]
In the quantizer 10, when linear quantization is performed to quantize the DCT coefficient, the range of possible quantization coefficient values is −1024 to +1023 on a quantization scale of 2 values. In addition, the quantization scale of 62 is −33 to +33.
[0050]
By the way, in the quantizer 10, if the value of the quantization scale used for quantization is relatively small, a quantization coefficient having a relatively large value is transmitted as a result of the quantization. The amount of codes generated in the encoder 4 is relatively large, and the bit rate is increased.
[0051]
On the other hand, in the quantizer 10, if the value of the quantization scale used for quantization is relatively large, a quantization coefficient having a relatively small value is transmitted as a result of the quantization. The amount of code generated in the variable length encoder 4 is relatively small, and the bit rate is small. Thus, the value of the quantization scale is directly related to the bit rate after encoding.
[0052]
In the quantizer 10, as is clear from FIG. 25, when linear quantization is used, only even values can be used as quantization scale values. That is, it is difficult to finely adjust the bit rate when specifying a relatively small quantization scale code.
[0053]
On the other hand, in the quantizer 10, when it is desired to extremely reduce the bit rate, only the quantization scale having a value of 62 at the maximum can be used. Therefore, the bit rate cannot be extremely decreased.
[0054]
Therefore, in the MPEG2 system, it is specified that nonlinear quantization can be used in addition to linear quantization at the time of quantization. In the quantizer 10, as is clear from FIG. When performing linear quantization, since the quantization scale of an odd number can be used in the small range (1 to 8) of the value of the quantization scale code, the bit rate can be adjusted more finely.
[0055]
Also, in the quantizer 10, when performing nonlinear quantization, a quantization scale having a value of 112 can be used in correspondence with the maximum value 31 of the quantization scale code, so linear quantization is executed. Compared to the case, the bit rate can be further reduced.
[0056]
Incidentally, in the quantizer 10, when nonlinear quantization is performed and the DCT coefficient is quantized, the range of the quantized coefficient value obtained as a result of the quantization scale code value is designated as 1. -2048 to +2047, which is equivalent to sending the DCT coefficient to the variable length encoder 4 as it is without quantization and encoding.
[0057]
On the other hand, in the quantizer 10, when non-linear quantization is performed and a quantization scale code having a value of 31 is designated, the range of quantization coefficient values that can be taken is -18 to +18. The minimum level of image quality after encoding is ensured.
[0058]
However, the quantizer 10 uses the above-described linear quantization and nonlinear quantization because the DCT of the macroblock data when the coding mode set by the motion vector detector 3 is the intra coding mode is used. For all AC components except the DC component of the coefficient, Dora For all DCT coefficients of coding mode macroblock data Ah The
[0059]
Incidentally, in the quantizer 10, for the DC component of the DCT coefficient of the macroblock data in the intra coding mode, the bit accuracy after quantization of the DC component of the DCT coefficient in the intra coding mode specified in units of pictures. Quantize separately according to (quantization coefficient bit precision).
[0060]
As the quantization coefficient bit precision of the DC component of the DCT coefficient in the intra coding mode, any one of 11 bits, 10 bits, 9 bits, and 8 bits is determined in units of pictures, and the quantization coefficient bit precision is In the case of 11 bits, the DC component of the DCT coefficient given from the DCT unit 9 is quantized by the quantizer 10. Set This is equivalent to sending to the variable length encoder 4 as it is and encoding it.
[0061]
This describes the bit precision of the DCT coefficient defined in the MPEG2 system as 12 bits so far. However, since the DC component of the DCT coefficient does not take a negative value and does not require a sign bit, it can be expressed in substantially 11 bits. Because it is possible.
[0062]
In the quantizer 10, the quantization scale values of the DC components corresponding to the 11-bit, 10-bit, 9-bit, and 8-bit quantization coefficient bit precisions are 1, 2, 4, and 8, respectively. Using this quantization scale, linear quantization is performed on the DC component of the DCT coefficient in the intra coding mode. Incidentally, in the quantizer 10, when the direct current component of the DCT coefficient in the intra coding mode is quantized, if a fraction is generated, it is rounded by, for example, rounding off to four to obtain an integer. .
[0063]
In this way, when the quantizer 10 quantizes the DCT coefficient, the quantizer 10 obtained as a result is sent to the variable length encoder 4 together with the value of the quantization scale used for the quantization.
[0064]
The variable length encoder 4 converts the quantized coefficient supplied from the quantizer 10 into a variable length code such as a Huffman code and sends it to the buffer 11.
[0065]
Here, the variable-length coding method for quantized coefficients defined by the MPEG2 system will be described. The variable-length encoder 4 performs one-dimensional information by zigzag scanning the quantized coefficients given from the quantizer 10. The low-frequency coefficient of the one-dimensional information is sequentially converted into a symbol string of zero run length + level value, and each symbol is encoded with reference to a variable-length code table prepared in advance from the low frequency. .
[0066]
By the way, the variable length encoder 4 does not prepare a variable length code table for all symbols in advance, and assigns an escape code of the variable length code table to a symbol with a low frequency of appearance. For a symbol to which a code is assigned, the zero run length and the level value are encoded as a fixed length code.
[0067]
Incidentally, in the variable length encoder 4, the fixed length code length for the zero run length is 6 bits, and the fixed length code length for the level value is 12 bits. This is the maximum value of the zero run length is 63, This is because the value range is -2048 to +2047 (12-bit precision), which is the DCT coefficient range.
[0068]
The variable length encoder 4 also includes a quantization scale given from the quantizer 10 and coding mode information (intra coding (intraframe coding) mode, forward prediction coding given from the motion vector detector 3. The information indicating whether one of the mode, the backward prediction encoding mode, or the bidirectional prediction encoding mode is set) and the motion vector are also variable-length encoded, and the obtained encoded data is sent to the buffer 11.
[0069]
The buffer 11 temporarily stores the encoded data supplied from the variable-length encoder 4 to smooth the data amount, and outputs the encoded data as an encoded bit stream, for example, to a transmission path or recorded on a recording medium. To do.
[0070]
Further, the buffer 11 sends the data accumulation amount to the quantizer 10, and the quantizer 10 sets the quantization scale based on the data accumulation amount given from the buffer 11.
[0071]
That is, the quantizer 10 reduces the quantization coefficient data amount by relatively increasing the quantization scale when the buffer 11 is likely to overflow, and relatively decreasing the quantization scale when the buffer 11 is likely to underflow. Thus, the data amount of the quantization coefficient is increased. In this manner, the quantizer 10 can prevent the overflow and underflow of the buffer 11 in advance.
[0072]
By the way, the quantizer 10 sends the quantization coefficient and the quantization scale to the inverse quantizer 12 in addition to the variable length encoder 4.
[0073]
The inverse quantizer 12 converts the quantized coefficient into a DCT coefficient by inversely quantizing the quantized coefficient given from the quantizer 10 according to the quantization scale similarly given from the quantizer 10, The DCT coefficient is sent to an IDCT (Inverse Discrete Course Transform) unit 13.
[0074]
The IDCT unit 13 performs inverse DCT processing on the DCT coefficient given from the inverse quantizer 12 and sends the obtained data (prediction residual (difference value data)) to the computing unit 8.
[0075]
As described above, the computing unit 8 is provided with the same predicted frame image data as the predicted frame image data sent from the motion compensator 5 to the computing unit 7, and the data (prediction residual) provided from the IDCT unit 13. (Difference value data)) The The original frame image data is locally decoded by adding to the predicted frame image data, and the obtained locally decoded frame image data is sent to the frame memory 6 for temporary storage.
[0076]
Incidentally, when the encoding mode is set to the intra encoding mode, the arithmetic unit 8 sends the data provided from the IDCT unit 13 as it is to the frame memory 6 as the locally decoded frame image data and temporarily stores it.
[0077]
In this way, the arithmetic unit 8 temporarily stores the locally decoded frame image data in the frame memory 6 so as to update it. As a result, the frame image data decoded over the entire frame (hereinafter referred to as this). (Referred to as decoded frame image data). The decoded frame image data is the same as the decoded frame image data obtained in the decoder described later.
[0078]
The decoded frame image data constructed in the frame memory 6 is then used as reference frame image data for frame image data that is inter-coded (forward prediction coding, backward prediction coding, bidirectional prediction coding). .
[0079]
Next, as a decoder to which the main profile main level of the MPEG2 system, which can decode the encoded data given from the encoder 1 described above with reference to FIG. 24, is configured as shown in FIG.
[0080]
As shown in FIG. 28, in the decoder 20, an encoded bit stream transmitted through a transmission path and received by a receiving device (not shown) or reproduced from a recording medium by a reproducing device (not shown). The encoded bit stream is taken into the buffer 21 and temporarily stored.
[0081]
A variable length decoding (IVLC: Inverse Variable Length Coding) unit 22 reads an encoded bit stream stored in the buffer 21 as encoded data of a predetermined unit, and performs variable length decoding of the read encoded data. Thus, the encoded data is separated into motion vectors, encoding mode information, quantization scales, and quantization coefficients in units of macroblocks.
[0082]
Then, the variable length decoder 22 sends the motion vector and coding mode information out of the motion vector, coding mode information, quantization scale and quantization coefficient separated in macroblock units to the motion compensator 23, The quantization scale and the macroblock quantization coefficient are sent to the inverse quantizer 24.
[0083]
The inverse quantizer 24 inversely quantizes the quantization coefficient in units of macroblocks given from the variable length decoder 22 according to the quantization scale similarly given from the variable length decoder 22, and converts the obtained DCT coefficients into The data is sent to the IDCT unit 25.
[0084]
The IDCT unit 25 performs inverse DCT processing on the DCT coefficients in units of macroblocks supplied from the inverse quantizer 24 and sends the obtained data (prediction residual (difference value data)) to the calculator 26.
[0085]
The motion compensator 23 basically operates in the same manner as the motion compensator 5 of the encoder 1 described above with reference to FIG. 24. At this time, the motion compensator 23 converts the motion vector and the encoding mode information provided from the variable length decoder 22 into the motion vector. Based on this, the decoded frame image data stored in the frame memory 27 that has already been decoded is read out, and the read out decoded frame image data is sent to the computing unit 26 as predicted frame image data.
[0086]
Therefore, the arithmetic unit 26 adds the decoded frame image data by adding the data (prediction residual (difference value)) given from the IDCT unit 25 and the corresponding predicted frame image data given from the motion compensator 23. This is generated and sent to and stored in the frame memory 27, and as the reproduced image data of the original frame image, for example, it is sent to a predetermined display, so that a moving image based on the reproduced image data is displayed on the display. Is displayed.
[0087]
Incidentally, when the data supplied from the IDCT unit 25 is intra-encoded, the arithmetic unit 26 sends the data as it is to the frame memory 27 as decoded frame image data for storage. The frame memory 27 uses the stored decoded frame image data as reference frame image data for encoded data in units of macroblocks to be decoded thereafter.
[0088]
In the MPEG1 and MPEG2 systems, the B picture is not used as the reference frame image data. Therefore, in the encoder 1 (FIG. 24) and the decoder 20 (FIG. 28), the frame memories 6 (FIG. 24) and 27 (FIG. 28), respectively. ) Is not stored.
[0089]
[Problems to be solved by the invention]
Incidentally, the encoder 1 and the decoder 20 described above with reference to FIGS. 24 and 28 comply with the MPEG2 standard. At present, as a new compression and coding system that replaces the MPEG2 system, ISO 4 is called MPEG4 that compresses and encodes images in units of video objects, which are objects such as objects, according to ISO-IEC / JTC1 / SC29 / WG11. Standardization work for compression coding is underway.
[0090]
That is, in the MPEG2 system, it is stipulated that only an 8-bit precision input image is compressed and encoded. When the 8-bit precision image is used at home or the like, it is expressed with a practically sufficient image quality. can do.
[0091]
However, in the MPEG2 system, for use in a professional field such as a broadcasting station or video production, or in a field such as a digital cinema that will become widespread in the future, for example, an image quality with an accuracy of 10 bits or more is used in a broadcasting station. As the digital cinema demands the maximum 14-bit accuracy, it is difficult to cope with the image because the image quality is required to be higher than 8 bits.
[0092]
For this reason, recently, not only the accuracy of the input image is 8 bits by the MPEG4 system, but also the image data of N-bit accuracy such as 10-bit, 12-bit, 14-bit accuracy or the like is inputted and compressed and encoded. It is considered to provide a moving image having higher accuracy image quality by decoding.
[0093]
However, in the encoder and decoder to which the MPEG4 system is applied, although the accuracy of the input image can be expanded from 8 bits to N bits, the configuration of the quantizer and variable length encoder in the encoder and the inverse quantization in the decoder And the structure of the variable-length decoder are not extended to obtain high-precision data according to the N-bit precision of the input image, so a very high-quality image such as a broadcasting station or digital cinema is required. There were still insufficient problems to use it in the field.
[0094]
The present invention has been made in consideration of the above points, and an encoding apparatus capable of obtaining an image having an image quality substantially equivalent to the image quality of an input image and the method thereof The law It is what we are going to propose.
[0096]
[Means for Solving the Problems]
In order to solve this problem, in the present invention, , Enter Force bit precision of Input image data And the difference value between the prediction data and Discrete cosine transform processing of Target Become Generate difference value data, and the generated difference value data , Operations for discrete cosine transform processing Discrete cosine transform processing according to bit precision And Generate discrete cosine transform coefficients, Calculation Bit precision By increasing the bit length of the quantization scale code as it increases Quantization scale Change the range of Concerned Change range The quantized scale , Quantize discrete cosine transform coefficients to produce quantized coefficients Complete It was to so.
[0097]
Therefore, it is possible to greatly reduce the deterioration of the image quality when the input image data is compression-encoded.
[0098]
In the present invention, when the quantization coefficient is compression-encoded, the input bit precision described above, Calculation Bit precision , as well as Changed range At least one of the quantization scales more than Based on multiple types of variable length coding table Possible A variable length coding table is selected, and the quantized coefficients are compression-coded using the selected variable length coding table.
[0099]
Therefore, when the input image data is compression-encoded, it is possible to almost certainly prevent the image quality from deteriorating.
[0104]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described in detail with reference to the drawings.
[0105]
(1) Principle
Currently, in an encoder to which the MPEG4 system is applied, although the bit accuracy (color gradation) of the supplied input image can be made higher than 8-bit accuracy, The spirit of Assuming that the number of bits is N, when the bit accuracy of the difference value data (that is, the output data of the arithmetic unit) input to the DCT unit is N + 1 bits, the bit accuracy of the DCT coefficient obtained from the DCT unit is It is specified to be an accuracy of N + 4 bits by increasing 3 bits from N + 1 bits.
[0106]
In the encoder, since the limit of the image quality of the moving image after compression encoding (after quantization) is determined by the bit accuracy of the DCT coefficient, the image quality of the moving image after compression encoding is determined according to the bit accuracy of the input image. In order to achieve high accuracy, it is necessary to expand the bit accuracy of the DCT coefficient obtained from the DCT unit.
[0107]
Therefore, in the encoder according to the present invention, the number of bits increased by the DCT operation is α, and the bit accuracy of the DCT coefficient obtained from the DCT unit is N + 1 + α bits. The value of α can be arbitrarily set according to the image quality. Incidentally, in the MPEG4 system, α is fixed as 3.
[0108]
In the present invention, the encoder can input an input image with N-bit accuracy, and the bit accuracy of the DCT coefficient obtained from the DCT unit can be set arbitrarily so that α can be arbitrarily set, from N + 4 bits to N + 1 + α bits. The configuration of the quantizer and variable length encoder provided in the subsequent stage of the DCT unit and the configuration of the inverse quantizer and inverse variable length encoder of the decoder paired with the encoder Extended according to bit precision.
[0109]
In practice, in the present invention, a quantization method applied to an arbitrary N + 1 + α-bit precision DCT coefficient for an input image with an arbitrary N-bit accuracy is a linear quantization method or a nonlinear quantization method defined by the MPEG2 method. It is realized by expanding.
[0110]
Also, in the present invention, when the encoding mode of macroblock data in an arbitrary N-bit precision input image is the intra coding mode, the quantization method applied to the DC component of the DCT coefficient with N + α-bit precision is MPEG2. This is realized by extending the quantization method of the DC component of the DCT coefficient of the intra coding mode defined in the method.
[0111]
By the way, in the present invention, the expansion of the quantization method is made compatible with the quantization method of the MPEG2 method so that it is the same as the MPEG2 quantization method under the conditions of N = 8 and α = 3. .
[0112]
Further, in order to adjust the bit rate relatively finely even in the case of a relatively high bit rate, the step size of the quantization scale is reduced in a range where the value of the quantization scale code is relatively small.
[0113]
Furthermore, regardless of the value of N or α, no matter how large the value of N or α, the compression encoding can be performed up to the bit rate equivalent to N = 8 and α = 3 in the MPEG2 system. In addition, when the maximum value of the quantization scale is used, the range of values that the quantization coefficient can take is made equal.
[0114]
In this way, in the present invention, even when a high-precision input image is processed to obtain a high-quality image, it is possible to prevent the encoder and the decoder from causing problems in processing. Yes.
[0115]
By the way, in an encoder to which the MPEG4 system is applied at present, a DCT coefficient with N + 4 bits precision is quantized by a quantizer, and a single variable length code is obtained by the variable length encoder for the obtained quantized coefficient. Although it is specified that variable length coding is performed using a quantization table, since the statistical property of establishment of the occurrence of a quantized coefficient varies depending on N representing the bit accuracy of the input image, all input that can be set Using the same variable length coding table for the bit accuracy (N) of the image is not appropriate in terms of compression coding efficiency.
[0116]
Further, if the bit precision of the DCT coefficient is expanded to N + 1 + α bits, the statistical property of establishment of the quantization coefficient changes depending on α, and therefore the same variable length code is set for all α that can be set. The use of a conversion table is not appropriate in terms of compression encoding efficiency.
[0117]
Furthermore, if the bit precision of the DCT coefficient is expanded to N + 1 + α bits, the quantization scale needs to be expanded accordingly. However, even if the statistical nature of the occurrence of the quantization coefficient depends on the quantization scale, Therefore, using the same variable length coding table for all quantization scales is not appropriate for the efficiency of compression coding.
[0118]
Therefore, in the present invention, the variable length encoder switches the appropriate variable length coding table according to the bit accuracy of the input image, the bit accuracy of the DCT coefficient, and the quantization scale (that is, the quantization coefficient bit accuracy). In order to be able to use it, it was extended with a plurality of types of variable length coding tables.
[0119]
Thereby, in the present invention, the variable length coding table applied to the quantization coefficient of the DCT coefficient of arbitrary bit precision in the bit precision of the arbitrary input image is converted into the bit precision of the input image and the bit precision of the DCT coefficient, It is possible to select an appropriate one according to the range that the quantization coefficient can take (that is, the value of the quantization scale). Thus, compression encoding can be performed more efficiently than when a variable-length encoding table cannot be selected. Has been made to get.
[0120]
(2) Configuration of encoder according to this embodiment
In FIG. 1, reference numeral 30 denotes an encoder to which the present invention is applied as a whole. The image data of an input image supplied from the outside is taken into a frame memory 31 and the image data is stored in the frame memory 31 as VOP (Video Object Plane: video). Object plane).
[0121]
Here, as shown in FIG. 2, the VOP is a picture having shape information, data representing the shape information, size data FSZ_B of the VOP, offset data FPOS_B representing the position of the VOP in the frame, It consists of texture data representing VOP image data.
[0122]
Incidentally, in the present invention, since the shape information may be ignored for the VOP, the VOP is considered to be the same as a picture defined by the MPEG2 system or the like.
[0123]
In the encoder 30, the number of bits representing the accuracy (color gradation) of the pixel value of the image data stored in the frame memory 31 is N, and the possible range of the pixel value is 0 to 2N-1. Become. The values that N can take include values such as 8, 10, 12, and 14 that are normally used. In the present invention, any positive integer value can be taken.
[0124]
Then, the motion vector detector 32 (FIG. 1) detects a motion vector for each macroblock with respect to the VOP stored in the frame memory 31.
[0125]
Here, since the size and position of the VOP change depending on the time (picture), when detecting the motion vector, an absolute coordinate system serving as a reference for the detection is set, and the motion in the absolute coordinate system is determined. It needs to be detected.
[0126]
Therefore, the motion vector detector 32 uses the frame coordinate system as a reference absolute coordinate system, and based on the size data FSZ_B and the offset data FPOS_B, the absolute coordinate system uses the VOP to be encoded and the reference frame image data. A VOP is arranged and a motion vector is detected.
[0127]
Incidentally, the motion vector detector 32 includes a shape information encoder 50, a variable length encoder 36, a motion compensator 42, a quantizer 35 and an inverse quantizer together with the encoding mode information for the detected motion vector (MV). 38. Even when motion compensation is performed, since it is necessary to detect a motion vector in the reference absolute coordinate system as described above, the motion compensator 42 is supplied with size data FSZ_B and offset data FPOS_B. Yes.
[0128]
The calculator 33 has the same macro as that in the frame image data read out from the frame memory 31 by the motion vector detector 32, as in the calculator 7 (FIG. 24) of the encoder 1 (FIG. 24) described above with reference to FIG. 24. Block data is supplied, the difference between the macroblock data and the predicted frame image data given from the motion compensator 42 is calculated, and the obtained difference value is sent to the DCT unit 34 as difference value data.
[0129]
Here, the computing unit 33 computes the difference between the macroblock data read from the frame memory 31 and the corresponding predicted frame image data given from the motion compensator 42 to generate difference value data, thereby obtaining the difference. The range that the value data can take can be doubled from the range that the pixel value of the input image can take, such as-(2N-1) to 2N-1.
[0130]
Therefore, the computing unit 33 can set the bit accuracy of the difference value data sent to the DCT unit 34 to the accuracy of N + 1 bits obtained by increasing the bit accuracy of the pixel value of the input image by 1 bit.
[0131]
Similarly to the motion compensator 5 (FIG. 24) of the encoder 1 (FIG. 24) described above with reference to FIG. 24, the motion compensator 42 receives the arithmetic units 33 and 40 when the coding mode information is the intra coding mode. Do not send predicted frame image data. Accordingly, the calculator 33 (the same applies to the calculator 40) sends the macroblock data read from the frame memory 31 to the DCT unit 34 as it is without performing any particular processing.
[0132]
The DCT unit 34 performs DCT processing on the difference value data given from the computing unit 33 in units of blocks of 8 pixels × 8 lines, and sends the obtained DCT coefficients to the quantizer 35.
[0133]
Here, the DCT coefficient obtained from the DCT unit 34, that is, the bit accuracy of the input value to the quantizer 35 is N + 1 + α bits increased by α bits from N + 1 bits. -1. Incidentally, in the conventional MPEG2 system, α in the DCT coefficient is defined as 3, but in the present invention, an arbitrary positive integer value can be applied as α.
[0134]
The quantizer 35 quantizes the DCT coefficient given from the DCT unit 34 and varies the obtained quantized coefficient, similarly to the quantizer 10 (FIG. 24) of the encoder 1 (FIG. 24) described above with reference to FIG. The data is sent to the long encoder 36 and the inverse quantizer 38.
[0135]
In practice, the quantizer 35 performs linear quantization on a 12-bit precision DCT coefficient obtained from an 8-bit precision input image according to the MPEG2 standard, like the quantizer 10 described above with reference to FIG. Nonlinear quantization is extended to linear quantization for DCT coefficients with N + 1 + α-bit accuracy obtained from an input image with N-bit accuracy and nonlinear quantization.
[0136]
First, in the quantizer 10 described above with reference to FIG. 24, a quantization scale code having a length of 5 bits (1 to 31) is assigned to a DCT coefficient of 12 bits precision according to the MPEG2 system, In the unit 35, the bit length of the quantization scale code is also increased or decreased according to the increase or decrease of the bit precision of the DCT coefficient.
[0137]
That is, in the quantizer 35, for example, when α = 5 for an 8-bit precision input image, the bit precision of the DCT coefficient is 2 bits higher than that of α = 3 in the MPEG2 system. The bit length of the generalized scale code is also increased by 2 bits to 7 bits. Incidentally, at this time, the range that the quantization scale code can take is 1 to 127.
[0138]
For example, when α = 6 is set for an input image with 12-bit precision, the quantizer 35 increases N by 4 bits from the input bit precision in the MPEG2 system, and from α = 3 in the MPEG2 system. In addition, since the bit precision of the DCT coefficient is increased by 3 bits to increase 7 bits in total, the bit length of the quantization scale code is increased by 7 bits to 12 bits. Incidentally, at this time, the range of values that the quantization scale code can take is 1 to 4095.
[0139]
When the variable of the bit length of the quantization scale code in the quantizer 35 is generalized, the bit length of the quantization scale code is N + α−6 for any N and α, and the possible range of the value Becomes 1-2N + α-6-1.
[0140]
Incidentally, when the bit precision of the DCT coefficient becomes smaller than 12 bits, the bit length of the quantization scale code becomes shorter than 5 bits.
[0141]
Next, a method for mapping the quantization scale code whose number of bits has been determined to the quantization scale in the quantizer 35, that is, a method of linear quantization and nonlinear quantization will be described below.
[0142]
In the quantizer 35, when executing the linear quantization, the quantization scale code is obtained by doubling the quantization scale code as in the MPEG2 standard, and the quantization scale used for the linear quantization is determined. The value will simply extend upwards.
[0143]
In the quantizer 35, the bit accuracy of the DCT coefficient obtained by executing the linear quantization, the maximum value of the DCT coefficient, the range of the quantization scale code, the range of the quantization scale, and the quantized scale An example of the range of the maximum value of the quantization coefficient is as follows.
[0144]
That is, under the conditions of N = 8 and α = 3 (similar to the MPEG2 system), the accuracy of the DCT coefficient is 12 bits, the maximum value of the DCT coefficient is 2047, the quantization scale code range is 1 to 31, and the quantization scale. Is 2 to 62, and the range of the maximum value of the quantization coefficient is 33 to 1023.
[0145]
Under the conditions of N = 8 and α = 6, the accuracy of the DCT coefficient is 15 bits, the maximum value of the DCT coefficient is 16383, the quantization scale code range is 1 to 255, and the quantization scale range is 2 to 510. The range of the maximum value of the quantization coefficient is 33-8191.
[0146]
Further, under the conditions of N = 12, α = 6, the accuracy of the DCT coefficient is 19 bits, the maximum value of the DCT coefficient is 262143, the range of the quantization scale code is 1 to 4095, and the range of the quantization scale is 2 to 8190. The range of the maximum value of the quantization coefficient is 33 to 131071.
[0147]
When this is generalized, under the conditions of N and α, the accuracy of the DCT coefficient is N + 1 + α bits, the maximum value of the DCT coefficient is 2N + α-1, the range of the quantization scale code is 1 to 2N + α-6-1, the quantum The range of the quantization scale is 2 to 2N + α-5-2, and the range of the maximum value of the quantization coefficient is 33 to 2N + α-1-1.
[0148]
In this way, in the quantizer 35, when linear quantization is extended, the quantizer 35 is compatible with the MPEG2 linear encoding method, and the maximum value of the quantization scale regardless of the values of N and α. It is clear that compression coding is possible up to a bit rate equivalent to that of the MPEG2 system.
[0149]
By the way, the generalized linear quantization method has the following equation (4) when the quantization scale code is qsc and the quantization scale is qs.
[0150]
[Expression 4]

[0151]
It is represented by
[0152]
On the other hand, in the quantizer 35, when performing linear quantization, the value of the quantization scale is simply increased upward by increasing the quantization scale code. If the method is not correctly defined, compatibility with the achievable bit rate and MPEG2 nonlinear quantization may not be maintained.
[0153]
Therefore, in this quantizer 35, the nonlinear quantization method is extended so as to satisfy the purpose of realizing a desired bit rate and maintaining compatibility with the nonlinear quantization of the MPEG2 method.
[0154]
That is, in the quantizer 35, when nonlinear quantization is performed, the nonlinear quantization used for generating the 12-bit precision DCT coefficient in the MPEG2 system described above with reference to FIG. 26 in accordance with the increase in the bit length of the quantization scale code. Make the step size of the curve fine at regular intervals.
[0155]
For example, in the quantizer 35, when the bit precision of the DCT coefficient is 13 bits, the step size of the quantization scale code is set to 2 as shown in FIG. ¹ = Divide into two parts.
[0156]
Thereby, in the quantizer 35, the number of increments of the quantization scale code is doubled to +2. ¹ −1 is added to 63, and a smaller quantization scale code is assigned in ascending order, and the value on the quantization scale axis is doubled.
[0157]
Thus, in the quantizer 35, the quantization scale corresponding to the new quantization scale code becomes the quantization scale in the non-linear quantization for the 13-bit precision DCT coefficient.
[0158]
Further, in the quantizer 35, for example, when the bit precision of the DCT coefficient becomes 14-bit precision, the step size of the quantization scale code is set to 2 as shown in FIG. ² = Divide into 4 parts.
[0159]
Thereby, in the quantizer 35, the number of increments of the quantization scale code is multiplied by four to +2. ² -1 is added to 127, and a smaller quantization scale code is assigned in order from the smallest, and the value on the quantization scale axis is quadrupled.
[0160]
Thus, in the quantizer 35, the quantization scale corresponding to the new quantization scale code becomes the quantization scale in the non-linear quantization for the DCT coefficient with 14-bit accuracy.
[0161]
In the quantizer 35, when the definition of the nonlinear quantization is generalized, when the bit accuracy of the DCT coefficient becomes N + 1 + α bit accuracy, the quantization scale code increment is set to 2N + α as shown in FIG. -Divide into 11 pieces at equal intervals.
[0162]
Thereby, in the quantizer 35, the number of steps of the quantization scale code is 2N + α-11 times + 2N + α-11-1 (2N + α-6-1), and the smaller quantization scale codes are assigned in order from the smallest. At the same time, the value on the quantization scale axis is multiplied by 2N + α-11 times.
[0163]
Incidentally, 2N + α-11-1 is added to the number of steps, but this is to make the total number of steps (2N + α-6-1), and this added step is the maximum of the quantization scale code. Added in the value direction.
[0164]
Thus, in the quantizer 35, the quantization scale corresponding to the new quantization scale code becomes the quantization scale in the non-linear quantization for the DCT coefficient with N + 1 + α bit accuracy.
[0165]
Incidentally, in the quantizer 35, when the bit precision of the DCT coefficient becomes smaller than 12 bits, the increments of the quantization scale code described above with reference to FIG. 26 are integrated accordingly.
[0166]
That is, when the bit accuracy of the DCT coefficient is 11 bits, the quantization scale code has a length of 4 bits, and two adjacent ones of the quantization scale code steps described above with reference to FIG. 26 may be integrated. Further, when the bit accuracy of the DCT coefficient is 10 bits, the quantization scale code is 3 bits long, and it is only necessary to integrate four adjacent ones of the quantization scale code steps described above with reference to FIG.
[0167]
In the quantizer 35, the bit precision of the DCT coefficient obtained by executing the nonlinear quantization, the maximum value of the DCT coefficient, the range of the quantization scale code, the range of the quantization scale, and the quantized scale An example of the range of the maximum value of the quantization coefficient is as follows.
[0168]
That is, under the conditions of N = 8 and α = 3 (similar to the MPEG2 system), the accuracy of the DCT coefficient is 12 bits, the maximum value of the DCT coefficient is 2047, the quantization scale code range is 1 to 31, and the quantization scale. 1 to 112, and the range of the maximum value of the quantization coefficient is 18 to 2047.
[0169]
Under the conditions of N = 8 and α = 6, the precision of the DCT coefficient is 15 bits, the maximum value of the DCT coefficient is 16383, the quantization scale code range is 1 to 255, and the quantization scale range is 1 to 952. The range of the maximum value of the quantization coefficient is 18 to 16383.
[0170]
Further, under the conditions of N = 12, α = 6, the accuracy of the DCT coefficient is 19 bits, the maximum value of the DCT coefficient is 262143, the range of the quantization scale code is 1 to 4095, and the range of the quantization scale is 1 to 15352. The range of the maximum value of the quantization coefficient is 18 to 262143.
[0171]
When this is generalized, under the conditions of N and α, the accuracy of the DCT coefficient is N + 1 + α bits, the maximum value of the DCT coefficient is 2N + α-1, the range of the quantization scale code is 1 to 2N + α-6-1, the quantum The range of the quantization scale is 1 to 120 × 2N + α-11-8, and the range of the maximum value of the quantization coefficient is 18 to 2N + α-1.
[0172]
In this way, in the quantizer 35, when the nonlinear quantization is extended, the quantizer 35 is compatible with the MPEG2 nonlinear encoding method, and the quantization step size is increased at a relatively high bit rate. It is clear that when the maximum value of the quantization scale is used regardless of the values of N and α, compression encoding is possible up to a bit rate equivalent to that of the MPEG2 system. .
[0173]
Incidentally, the generalized non-linear quantization method has the following equation (5) when the quantization scale code is qsc and the quantization scale actually used for quantization is qs.
[0174]
[Equation 5]

[0175]
It is represented by
[0176]
In the quantizer 35, since the quantization scale code is represented by N + α-6 bits, assuming that the value consisting of the upper 2 bits is k and the value consisting of the remaining N + α-8 bits is j, (5 ) To (6)
[0177]
[Formula 6]

[0178]
Can be expressed as Incidentally, the possible range of the value of k is 0-3, and the possible range of the value of j is 0-2N + α-8-1. And k = j = 0 is prohibited.
[0179]
By the way, in the quantizer 35, when the coding mode of the macroblock data is set to the intra coding mode, the DC component of the DCT coefficient is obtained from an input image with 8-bit accuracy according to the MPEG2 system. The bit accuracy after the DC component of the 12-bit precision DCT coefficient is quantized, and the bit accuracy after the DC component of the N + 1 + α-bit accuracy DCT coefficient obtained from the N-bit precision input image is quantized. Extend to
[0180]
That is, in the quantizer 35, when the bit precision of the quantization coefficient is expanded. , M According to the PEG2 system, it was possible to select four types of quantization coefficients of 11-bit, 10-bit, 9-bit, and 8-bit precision for the DC component of the 11-bit precision DCT coefficient in picture units.
[0181]
In the quantizer 35, the range that the quantization coefficient can take in each bit precision is 0 to 2047, 0 to 1023, 0 to 511, and 0 to 255. The type of bit precision of the component quantization coefficient is also increased or decreased.
[0182]
In this case, in the quantizer 35, for example, when α = 5 for an input image with 8-bit accuracy, the bit accuracy of the DCT coefficient is 2 bits more than α = 3 in the MPEG2 system. The bit accuracy type of the quantization coefficient is also increased by 2 in the direction of increasing the bit accuracy to 13 bits, 12 bits, 11 bits, 10 bits, 9 bits, and 8 bits.
[0183]
And in the quantizer 35, the range which a quantization coefficient can take with each bit precision becomes 0-8191, 0-4095, 0-2047, 0-1023, 0-511, 0-255. That is, this is because the quantizer 35 can directly send the DCT coefficient as a quantized coefficient to the variable length coder 36, and even if the bit precision of the DCT coefficient increases, the bit rate is about the same as the MPEG2 system. This indicates that compression encoding is possible up to (quantization coefficient is 8 bit precision).
[0184]
In the quantizer 35, for example, when α = 6 for an input image having 12-bit precision, the bit precision of the input image in the MPEG2 system is increased by 4 bits, and α = 3 in the MPEG2 system. Since the bit accuracy of the DCT coefficient is increased by 3 bits to 7 bits in total, the bit accuracy type of the quantization coefficient is also increased by 7 in the direction of increasing the bit accuracy, 18 bits, 17 bits. 16 bits, 15 bits, 14 bits, 13 bits, 12 bits, 11 bits, 10 bits, 9 bits, and 8 bits.
[0185]
In the quantizer 35, the range that the quantization coefficient can take with each bit precision is 0 to 262143, 0 to 131071, 0 to 65535, 0 to 32767, 0 to 16383, 0 to 8191, and 0 to 4095. 0-2047, 0-1023, 0-511, 0-255. That is, it is possible to send the DCT coefficient directly from the quantizer 35 to the variable length coder 36 as a quantized coefficient, and even if the bit accuracy of the DCT coefficient increases, the bit rate (about the same as the MPEG2 system) This indicates that compression encoding is possible up to a quantization coefficient of 8 bits accuracy).
[0186]
By the way, in the quantizer 35, when the quantization accuracy of the DC component of the DCT coefficient is generalized, the bit accuracy of the DC component of the DCT coefficient is set to N + α bits (including the sign bit) with respect to the input image of N bit accuracy. N + 1 + α bit precision), the bit precision types of quantization coefficients are N + α bits, N + α-1 bits, N + α-2 bits,..., 9 bits, 8 bits.
[0187]
In the quantizer 35, the range that the quantization coefficient can take with each bit precision is 0-2N + α-1, 0-2N + α-1-1, 0-2N + α-2-1, ..., 0-511. 0 to 255.
[0188]
That is, it is possible to send the DCT coefficient directly from the quantizer 35 to the variable length coder 36 as a quantized coefficient, and even if the bit accuracy of the DCT coefficient increases, the bit rate (about the same as the MPEG2 system) This indicates that compression encoding is possible up to a quantization coefficient of 8 bits accuracy).
[0189]
In this way, in the quantizer 35, when the DCT coefficient DC component quantization method is expanded, the quantizer 35 is compatible with the DCT coefficient DC component quantization method according to the MPEG2 method, and has N and α. It is clear that compression coding can be performed up to a bit rate equivalent to that of the MPEG2 system when the minimum value of the quantization coefficient accuracy is used regardless of the value. At this time, it is not necessary for the quantizer 35 to make the quantization scale step size finer when the bit rate is relatively high.
[0190]
Incidentally, the inverse quantizer 38 (FIG. 1) inversely quantizes the DCT coefficient (that is, the quantized coefficient) quantized in units of blocks of 8 pixels × 8 lines provided from the quantizer 35, and generates an IDCT unit 39. To send.
[0191]
Here, when the quantization coefficient is inversely quantized, the inverse quantizer 38 uses a quantization scale code having the same value as that of the quantizer 35 described above and uses the same linear quantum as that of the quantizer 35. A quantization scale is calculated using the same method of quantization and nonlinear quantization, and inverse quantization is performed using the calculated quantization scale.
[0192]
Also, the DCT DC coefficient inverse quantization method when the macroblock prediction mode is the intra coding mode performs the reverse of the DCT DC coefficient quantization method.
[0193]
The IDCT unit 39 operates in the same manner as the IDCT unit 39 in FIG. 24, and performs DCT processing on the DCT coefficient inversely quantized by the inverse quantizer 38 and outputs the DCT coefficient to the computing unit 40.
[0194]
In addition to the output data of the IDCT unit 39, the calculator 40 is supplied with the same data as the predicted image supplied to the calculator 33 from the motion compensator 42. Calculation vessel 40 adds the output data (prediction residual (difference data)) of the IDCT unit 39 and the predicted image data from the motion compensator 42 to locally decode the original frame image data and obtain the obtained local The decoded frame image data (local decoded image data) is padded as texture information. Processor 51 To send.
[0195]
However, when the prediction mode is intra coding, the computing unit 40 sends the output data given from the IDCT unit 39 as it is to the padding processor 51 as texture information consisting of locally decoded frame image data.
[0196]
On the other hand, a shape signal (key signal), size data FSZ_B, and offset data FPOS_B are supplied to the shape information encoder 50 from the outside, and a motion vector and coding mode information are given from the motion vector detector 32.
[0197]
Then, the shape information encoder 50 encodes the shape information in accordance with the MPEG4 standard, and sends the encoded shape information to the shape information decoder 52 and the variable length encoder 36.
[0198]
The shape information decoder 52 performs local decoding of the encoded shape information given from the shape information encoder 50, and sends the data to the padding processor 51 and the variable length encoder 36.
[0199]
The padding processor 51 performs a padding process on the texture information in accordance with the MPEG4 standard, and sends the padded texture information to the frame memory 41 for storage.
[0200]
Thus, the texture information stored in the frame memory 41 is used as predicted frame image data for an image that is subsequently inter-coded (forward prediction coding, backward prediction coding, bidirectional prediction coding).
[0201]
That is, the motion compensator 42 stores the image data stored in the frame memory 41. The As an image used for forward prediction or image data used for backward prediction , Out Power The Will be.
On the other hand, the motion compensator 42 is given from the motion vector detector 32 to the image specified by the motion compensation reference image instruction signal (texture information consisting of a locally decoded image stored in the frame memory 41). Motion compensation is performed based on coding mode information and motion vectors. Suko To generate predicted frame image data and send it to the calculators 33 and 40.
[0202]
That is, the motion compensator 42 is the block of the block that is currently outputting the read address of the frame memory 41 to the computing unit 33 only in the forward predictive coding mode, backward predictive coding mode, and bidirectional predictive coding mode. The position is shifted from the position corresponding to the position by the amount corresponding to the motion vector, and the corresponding prediction frame image data used for forward prediction encoding or backward prediction encoding is read from the frame memory 41.
[0203]
Then, the motion compensator 42 sends the predicted frame image data to the calculators 33 and 40.
[0204]
Incidentally, in the bidirectional predictive coding mode, the motion compensator 42 reads both prediction frame image data used for forward prediction coding and backward prediction coding, for example, calculates an average value of the read prediction frame image data. The prediction data is sent to the calculators 33 and 40.
[0205]
As a result, the computing unit 33 can receive the frame memory 1 The corresponding predicted image data given from the motion compensator 42 is subtracted from the frame image data in units of a predetermined block (macroblock) read out from the above, thus generating difference value data.
[0206]
In addition, in the forward predictive coding mode, the backward predictive coding mode, and the bidirectional predictive coding mode, the computing unit 40 is differentiated by the predicted frame image data in addition to the predicted frame image data provided from the motion compensator 42. The difference value data is given from the inverse DCT unit 39.
[0207]
Therefore, the arithmetic unit 40 adds the difference value data to the predicted frame image data given from the motion compensator 42, thereby performing local decoding. The And texture information is generated.
[0208]
Incidentally, this texture information is locally decoded frame image data, which is exactly the same as the image data obtained by decoding with a decoder described later. As described above, the forward prediction is performed for the next processed image. It is stored in the frame memory 41 as predicted frame image data used when performing the coding mode, backward prediction coding mode, and bidirectional prediction coding mode.
[0209]
In addition, when the encoding mode is the intra encoding mode, the arithmetic unit 40 sends the image data as it is to the padding processor 51 as texture information because the image data itself is supplied from the inverse DCT unit 39.
[0210]
On the other hand, the variable length encoder 36 is supplied with the quantization coefficient, the quantization scale code, the motion vector, and the encoding mode information, as well as the size data FSZ_B and the offset data FPOS_B. Therefore, the variable length encoder 36 performs variable length encoding on all of these data.
[0211]
Here, the configuration of the variable-length encoder 36 will be described below based on the variable-length coding method of the quantization coefficient.
[0212]
In the MPEG2 system, it is defined that a 12-bit precision DCT coefficient for an 8-bit precision input image is encoded using a single variable-length coding table (combination of variable-length code codes). Yes.
[0213]
Also, when the value (or combination of values) of the quantization coefficient given to the variable length encoder 36 is outside the range of values (or combinations of values) defined in the variable length coding table, the variable length The value (or combination of values) is processed as a fixed length code using an escape code defined in the encoding table. That is, this escape code is a quantization coefficient value (or a combination of values) that has a relatively low probability of occurrence, and it is better to perform fixed-length coding than variable-length coding.
[0214]
Here, in the variable length encoder 36, the function of the MPEG2 system is expanded, and the N + 1 + α-bit precision DCT coefficient obtained from the N-bit precision input image is quantized, and the resulting quantum is obtained. The variable coefficients are variable length encoded.
[0215]
In the variable length encoder 36, the length of a fixed length code added when an escape code is used is changed according to the bit accuracy of the input image and the bit accuracy of the DCT coefficient. It is made like that. In addition, the encoding method can be changed according to the value of the quantization scale.
[0216]
First, the case where the variable length encoder 36 changes the variable length encoding table according to the bit accuracy of the input image will be described. This addresses the fact that the statistical properties of the occurrence of quantization coefficients change according to the input bit precision, and also prevents the deterioration of image quality by changing the range of values handled by escape codes from the establishment of the appearance. To do.
[0217]
Here, FIG. 6 shows a configuration in which the variable length coding table can be changed in the variable length coder 36 in accordance with the bit accuracy of the input image. In order to simplify the description, a plurality of types of variable-length coding tables stored in the memory are depicted outside the variable-length encoder 36.
[0218]
In the variable length encoder 36, for example, when the accuracy of the DCT coefficient output from the DCT unit 34 is fixed to α = 3, the bit accuracy of the DCT coefficient with respect to the bit accuracy N of the pixel of the input image is N + 4, and the quantized coefficient obtained by quantizing the DCT coefficient of N + 4 bit precision in the quantizer 35 is given.
[0219]
In this case, in the variable length encoder 36, a plurality of types of variable length encoding tables suitable for the bit accuracy of the pixels of the input image are stored in advance in the internal memory, and the bit accuracy N of the pixels of the input image is determined. Depending on the value, the length of the fixed-length code following the variable-length coding table and the escape code applied to the quantization coefficient can be changed.
[0220]
As a result, the variable length encoder 36 can compress and encode the quantized coefficient in an appropriate manner corresponding to the statistical property of the appearance establishment of the quantized coefficient that changes in accordance with the change in the input bit precision. Thus, it is possible to prevent the image quality from being deteriorated by the encoding process.
[0221]
Further, in the variable length encoder 36, the range that the level value of the quantization coefficient can take is −2N + 3 to 2N + 3-1, and it is necessary if the fixed length code length for representing the level value is N + 4 bits. Therefore, by changing the length of the fixed-length code in accordance with the value of N, it is possible to avoid wasting unnecessary bits on the fixed-length code, thus preventing deterioration in image quality. ing.
[0222]
Incidentally, FIG. 6 shows an example in which α = 3, but it is necessary and sufficient if the fixed length code length for expressing the level value is N + 1 + a bits even for α = a.
[0223]
That is, when the encoder 30 can handle three types of input images with pixel bit precision of N = 8 bits, 10 bits, and 12 bits, for example, and α = 6, the variable length encoder 36 has three types. A variable length coding table (for N = 8, 10, 12 respectively) may be provided, and fixed length code lengths for representing level values may be 15, 17, and 19.
[0224]
Next, in the variable length encoder 36, the bit accuracy of the pixel of the input image is set to N = n, and the variable length encoding table when encoding the DCT coefficient of n + 1 + α bit accuracy is changed according to the value of α. The case will be described. This deals with the fact that the appearance of the quantization coefficient and the statistical properties change according to the bit accuracy of the DCT coefficient, and the range of values handled by the escape code is changed from the establishment of the appearance to prevent the deterioration of the image quality. It is something to prevent.
[0225]
Here, FIG. 7 shows a configuration in which the variable length encoding table can be changed in accordance with the bit accuracy α of the DCT coefficient in the variable length encoder 36. In order to simplify the description, a plurality of types of variable-length coding tables stored in the internal memory are depicted outside the variable-length encoder 36.
[0226]
In the variable length encoder 36, for example, when considering the case where the bit precision of the pixel of the input image is fixed to N = 8, the bit precision of the DCT coefficient is 9 + α, and the DCT coefficient of 9 + α bit precision is converted into the quantizer. The quantization coefficient obtained by the quantization at 35 is given.
[0227]
In this case, the variable length coder 36 follows the variable length coding table applied to the quantized coefficient and the escape code according to the bit precision of the DCT coefficient output from the DCT unit 34, in this case, the value of α. The length of the level value of the fixed length code is changed.
[0228]
That is, the variable length encoder 36 stores in advance an internal memory suitable for the DCT coefficient bit precision as a variable length coding table, and converts the quantization coefficient into a quantization coefficient based on the bit precision α of the DCT coefficient. The variable length coding table to be applied and the length of the fixed length code following the escape code can be changed.
[0229]
Thereby, in the variable length encoder 36, it is possible to compression-encode the quantized coefficient corresponding to the establishment of the appearance of the quantized coefficient that changes with the change of the DCT coefficient bit precision and the statistical property appropriately, Thus, it is possible to prevent the image quality from being deteriorated by the encoding process.
[0230]
In the variable length coder 36, since the range of the level value of the quantized coefficient is −28 + α to 28 + α−1, it is necessary and sufficient that the fixed length code length for representing the level value is 9 + α bits. In other words, by changing the length of the fixed-length code according to the value of α, it is possible to avoid wasting unnecessary bits on the fixed-length code, and thus it is possible to prevent deterioration of the image quality.
[0231]
Incidentally, FIG. 7 shows an example in the case of N = 8, but it is necessary and sufficient that the fixed length code length for representing the level is n + 1 + α bits even for N = n.
[0232]
That is, in the encoder 30, when N = 10 and, for example, it is possible to handle an input image with bit accuracy of three types of DCT coefficients of α = 3, 4, and 5, the variable length encoder 36 has three types ( Each of them has a variable length coding table (for α = 3, 4, 5), and the fixed length code lengths for representing the level values may be 14, 15, and 16.
[0233]
Here, in the variable length encoder 36 described above with reference to FIGS. 6 and 7, a variable length coding table according to the bit accuracy N of the pixel of the individual input image and the bit accuracy α of the DCT coefficient, Although the case where the fixed-length code length representing the level value of the quantization coefficient is switched as appropriate has been described, it is also possible to combine these two variable-length coding schemes.
[0234]
That is, FIG. 8 shows a plurality of types of variable length coding tables drawn outside the variable length encoder 36 for the sake of simplicity of explanation. The variable length coding table and the fixed length code length are appropriately switched in consideration of both the bit accuracy N of the pixel of the input image and the bit accuracy α of the DCT coefficient. Incidentally, the fixed length code length in the variable length encoder 36 is N + 1 + α.
[0235]
By the way, in the variable length coder 36, the bit precision of the pixel of the input image is set to N = n, and the bit precision of the DCT coefficient at α = a is set to n + 1 + a. A case will be described in which the variable length coding table for variable length coding of the quantization coefficient obtained by the quantization and the fixed length code length of the level value are changed according to the value of the quantization scale. This deals with the fact that the statistical nature of the probability establishment of the quantization coefficient changes according to the value of the quantization scale, and the image quality deteriorates by changing the range of values handled by the escape code from the appearance establishment. This is to prevent this.
[0236]
Here, FIG. 9 shows a configuration in which the variable length encoding table can be changed in accordance with the value of the quantization scale in the variable length encoder 36. In order to simplify the description, a plurality of types of variable-length coding tables stored in the memory are depicted outside the variable-length encoder 36.
[0237]
In the variable-length encoder 36, for example, when the bit precision of the pixel of the input image is N = 8 and α = 3 is fixed, the bit precision of the DCT coefficient is 12, and the 12-bit precision DCT. A quantized coefficient obtained by quantizing the coefficient in the quantizer 35 is given.
[0238]
In the variable length encoder 36, the range of DCT coefficient values that are input to the quantizer 35 is -2048 to +2047. At this time, when the quantization scale is 1, The possible range of the value of the quantization coefficient is -2048 to +2047, and the bit precision of the quantization coefficient when the quantization scale is 1 is 12 bits.
[0239]
In the variable length encoder 36, when the quantization scale is 2, the range that the quantization coefficient can take is -1024 to +1023, and the bit precision of the quantization coefficient is 11 bits. Further, in the variable length encoder 36, when the quantization scale is 4, the range that the quantization coefficient can take is −512 to +511, and the bit precision of the quantization coefficient is 10 bits.
[0240]
FIG. 10 shows the bit accuracy of the quantization coefficient based on the value of the quantization scale. In this case, in the quantization scale, different variable-length coding tables and fixed-length code lengths of level values are assigned to the respective groups, and the variable-length encoder 36 gives the value of the given quantization scale. In response to this, the corresponding variable length coding table and the fixed length code length of the level value in the case of an escape code are switched. Incidentally, the fixed length code length of the level value is the same as the quantization coefficient bit precision value of FIG.
[0241]
FIG. 9 shows the variable length encoder 36 that switches the variable length encoding table based on the quantization scale. As shown in FIG. 11, in addition to this, FIG. 9 and FIG. The variable-length coding table and the fixed-length code length representing the level value of the quantization coefficient can be switched as appropriate using the bit precision N of the pixel of the input image and the bit precision α of the DCT coefficient.
[0242]
In FIG. 11, various variable length coding tables stored inside the variable length encoder 36 are drawn outside the variable length encoder 36 to simplify the description.
[0243]
Further, the variable length encoder 36 uses at least one of the bit accuracy N of the pixel of the input image, the bit accuracy α of the DCT coefficient, and the quantization scale, and the quantization coefficient. The fixed length code length representing the level value can be switched as appropriate.
[0244]
Further, the variable length encoder 36 determines whether or not to make a macroblock data of I picture, P picture, and B picture (I-VOP, P-VOP, B-VOP) to be a skip macroblock, A flag indicating the determination result is set, and the flag is also variable-length encoded and transmitted.
[0245]
Incidentally, in the encoder 30, the DCT coefficient is encoded for each block, but the outside of the object is determined by the shape information output from the shape information decoder 52. In When it is determined that the block exists, the DCT coefficient is not encoded.
[0246]
(3) Configuration of decoder according to this embodiment
On the other hand, in FIG. 12, reference numeral 100 denotes a decoder to which the present invention is applied, which decodes an encoded bit stream supplied from the encoder 30 (FIG. 1) described above with reference to FIG. 1 via a transmission line or a recording medium. Has been made.
[0247]
In this decoder 100, transmission from the encoder 30 is performed. Sent An encoded bit stream received by a predetermined receiving device (not shown) or encoded on a recording medium by the encoder 30 and reproduced from the recording medium by a predetermined reproducing device (not shown) The bit stream is taken into the buffer 101 and temporarily stored.
[0248]
The variable length decoder 102 appropriately reads the encoded bit stream from the buffer 101 corresponding to the processing state of the block in the subsequent stage, and performs variable length decoding on the encoded bit stream, thereby obtaining a quantization coefficient, a motion vector, The encoding mode information, quantization scale code, size data FSZ_B, offset data FPOS_B, and the like are separated.
[0249]
Then, the variable length decoder 102 sends the quantization coefficient, the quantization scale code, the motion vector, and the encoding mode information to the inverse quantizer 103, and the motion vector, the encoding mode information, the size data FSZ_B, and the offset Data FPOS_B is sent to the motion compensator 107, and shape information is sent to the shape information decoder 110.
[0250]
The inverse quantizer 103, the IDCT unit 104, the computing unit 105, the frame memory 106, the shape decoder 110, the padding processor 108, and the motion compensator 107 are the inverse quantizer 38 (see FIG. 1), IDCT unit 39 (FIG. 1), computing unit 40 (FIG. 1), frame memory 41 (FIG. 1), shape information decoder 52 (FIG. 1), padding processor 51 (FIG. 1), motion compensator The same processing as that in FIG.
[0251]
The shape information decoder 110 decodes the encoded shape information given from the variable length decoder 102 and sends the decoded shape information to the padding processor 108.
[0252]
Inverse quantum Conversion The unit 103 is a quantizer supplied from the variable length decoder 102. The Similarly, based on the Kale code and the quantization scale type (linear quantization and nonlinear quantization) set for each picture, the quantization coefficient given from the variable-length decoder 102 is inversely quantized, and the obtained DCT The coefficient is sent to the IDCT unit 104.
[0253]
The IDCT unit 104 performs IDCT processing on the DCT coefficient given from the inverse quantizer 103 and supplies the obtained data to the computing unit 105.
[0254]
The arithmetic unit 105 adds the output from the motion compensator 107 and the output of the IDCT unit 104 in units of one pixel when inter-frame prediction is performed, and the obtained addition result is sent to the padding processor 108 as texture information. Sends out and outputs to the outside. The computing unit 105 does not operate particularly when intra-frame prediction (intra coding) is performed.
[0255]
Based on the shape information given from the shape information decoder 110, the padding processor 108 performs padding processing on the texture information given from the computing unit 105, and sends the padded texture information to the frame memory 106. And remember.
[0256]
The texture information stored in the frame memory 106 is appropriately read out by the motion compensator 107 and sent to the computing unit 105, and thereafter operates in the same manner as the frame memory 41 and the motion compensator 42 described above with reference to FIG. .
[0257]
Here, a case where the MPEG4 standard is applied to the encoder 30 and the decoder 100 will be described below.
[0258]
First, the quantizer 35 and inverse quantizer 38 of the encoder 30 and the inverse quantizer 103 of the decoder 100 will be described.
[0259]
FIG. 13 shows the VOL (Video Object Layer) syntax in the MPEG4 syntax, where VOL describes information related to all the encoded video information stored in the encoded bitstream. Layer. In this syntax, bits_per_pixel is prepared as a flag for specifying the bit precision of the pixel of the input image.
[0260]
In the present invention, dct_precise is prepared as a flag for specifying the bit precision of the DCT coefficient, and the value of α is described therein. That is, the bit precision of the DCT coefficient is bits_per_pixel + 1 + dct_precise bits.
[0261]
In the present invention, according to the bit precision, the VOP layer shown in FIG. 14 (describes information for each VOP) and the macroblock layer (Macroblock layer) describing information for each macroblock shown in FIG. In the syntax of Layer)), a quantizer_scale_code is provided as a flag indicating a quantization scale code, and the bit length of the quantization scale is changed using this flag.
[0262]
That is, the bit length of the quantizer_scale_code is set to bits_per_pixel + dct_precise-6 according to the values of bits_per_pixel and dct_perition of the VOL syntax. Incidentally, in the MPEG2 system, bits_per_pixel and dct_precise are 8 and 3, respectively, and the bit length of the quantizer_scale_code is 5, but in the present invention, the bit length of the quantizer_scale_code is 5 and is compatible with the MPEG2 system. .
[0263]
In the encoder 30 and the decoder 100, bits_per_pixel, dct_precise, and quantizer_scale_code are designated according to these syntaxes, and then the macroblock data is quantized and dequantized.
[0264]
First, in the quantizer 35, when linear quantization is used, the equation (7) is used.
[0265]
[Expression 7]

[0266]
The quantization scale quantizer_scale is calculated from the quantization scale code quantizer_scale_code represented by
[0267]
Further, the quantizer 35 uses the equation (8) when using nonlinear quantization.
[0268]
[Equation 8]

[0269]
The quantization scale quantizer_scale is calculated from the quantization scale code quantizer_scale_code represented by
[0270]
Incidentally, in the encoder 30 and the decoder 100, whether to apply linear quantization or non-linear quantization to a picture to be encoded depends on the value of a flag called quant_scale_type of the VOP syntax shown in FIG. Specify which quantization type to use. Thus, the quantizer 35 can perform quantization using the quantization scale quantizer_scale calculated using the designated quantization type.
[0271]
However, when the macroblock coding mode is the intra coding mode, a different quantization method is used for the DC component of the DCT coefficient.
[0272]
In practice, the quantization scale dc_scaler of the DC component of the DCT coefficient can be derived by the following procedure.
[0273]
That is, when the bit precision of the DC component of the DCT coefficient is bits_per_pixel + dct_precise, it is possible to specify the bit precision of the quantization coefficient in units of pictures from the bit precision shown in FIG. Is specified by a flag called intra_dc_precise of the VOP syntax shown in FIG.
[0274]
Then, when the bit precision of the quantization coefficient is designated by intra_dc_precise, the quantizer 35 calculates a corresponding quantization scale dc_scaler from the relationship between the bit precision shown in FIG. 16 and the quantization scale, Used to quantize the DC component of the DCT coefficient in the intra coding mode.
[0275]
Next, the dequantizers 38 and 103 calculate the quantization scale quantizer_scale from the quantization scale code quantizer_scale_code and perform the dequantization using the quantization scale quantizer_scale, similarly to the quantizer 35 described above. .
[0276]
However, when the coding mode of the macroblock data is the intra coding mode, the inverse quantizers 38 and 103 use different inverse quantization methods for the DC component of the DCT coefficient. A quantization scale dc_scaler is obtained based on the intra_dc_precise shown in FIG. 16, and inverse quantization is performed using it.
[0277]
In this way, the inverse quantizers 38 and 103 can perform inverse quantization of the DC component of the DCT coefficient by calculating the quantization scale dc_scale and using it for inverse quantization.
[0278]
Next, the variable length encoder 36 and the variable length decoder 102 according to the present invention will be described.
[0279]
FIG. 17 shows a block layer (Block Layer) in the syntax of the MPEG4 system. In the current MPEG4 system, a symbol representing the DCT Coefficient of this block syntax is used regardless of the bit precision bits_per_pixel of the input image. A single variable length encoding table is used for encoding.
[0280]
Here, the variable-length coding method includes a final code (LAST) in a predetermined block to be encoded, the number of consecutive zeros (RUN) in the block, and a value of a non-zero coefficient (LEVEL) in the block. 3D variable length encoding is performed from the three types of data. Incidentally, in the current MPEG4 system, dct_precise is fixed at 3.
[0281]
That is, the variable length encoder 36 uses the variable length encoding table shown in FIGS. 18 to 20 when performing 3D variable length encoding.
[0282]
Further, in the current MPEG4 system, regardless of the bit precision bits_per_pixel of the input image, when an escape code is selected during variable length coding of a block, the level value and run length are fixed as shown in FIG. Encoding is performed using a long code, but the bit length for encoding the level value is also fixed irrespective of bits_per_pixel, and the length is 12 bits.
[0283]
This is the bit accuracy of the DCT coefficient in the case of bits_pre_pixel = 8 and dct_precision = 3 of the present invention, and thus cannot be said to be a sufficient value for an input image having a bit accuracy higher than that of an 8-bit accuracy input.
[0284]
Therefore, in the variable length encoder 36, as shown in FIG. 22, the variable length encoding table is switched according to the values of bits_per_pixel, dct_precise, and quantizer_scale.
[0285]
Incidentally, for example, FIG. 22 shows a case where bits_per_pixel = 8, 10, 12, and dct_precise = 5 can be selected, and VLCt_0 to 20 are variable length coding tables as shown in FIGS. Different tables are possible.
[0286]
In the variable-length encoder 36, the bit length of the fixed-length code indicating the level value can be switched according to the values of bits_per_pixel, dct_precise, and quantizer_scale, and the length is shown in FIG. Street. This example also shows a case where bits_per_pixel = 8, 10, 12, and dct_precise = 5 can be selected.
[0287]
On the other hand, in the variable length decoder 102, when the variable length coding table and the escape code are generated according to the values of bits_per_pixel, dct_precise, and quantizer_scale, similarly to the variable length coding in the variable length coder 36. The variable length decoding is performed by switching the bit length of the level value at.
[0288]
(4) Operation and effect of the present embodiment
In the above configuration, the encoder 30 can capture an input image having an arbitrarily set bit accuracy N, and can arbitrarily set the bit accuracy α of the DCT coefficient, so that the frame image data of the input image can be used. When difference value data is generated using a motion vector or the like in units of macro blocks, the generated difference value data is subjected to DCT processing to generate a DCT coefficient having a set bit accuracy α.
[0289]
Then, the encoder 30 quantizes the DCT coefficient using the quantization scale expanded based on the bit precision N of the input image and the bit precision α of the DCT coefficient which are arbitrarily set, and the obtained quantization coefficient Is a variable length coding table selected based on at least one of the bit precision N of the input image, the bit precision α of the DCT coefficient, and the value of the quantization scale used for quantization. Variable length coding.
[0290]
At this time, the encoder 30 uses the escape code defined in the variable length coding table when the value of the quantization coefficient is outside the range of values defined in the selected variable length coding table. The quantized coefficient is processed as a fixed length code.
[0291]
On the other hand, the decoder 100 quantizes the encoded bit stream given from the encoder 30 by expanding the bit precision N of the input image and the bit precision α of the DCT coefficient, which are arbitrarily set, and the bit precision N and α. Decoding is performed using a variable length coding table selected based on at least one of the quantization scales, and quantization coefficients are separated together with various data.
[0292]
In the decoder 100, the quantization coefficient is inversely quantized using the quantization scale expanded based on the bit precision N of the input image set arbitrarily and the bit precision α of the DCT coefficient, and the set bit is set. A DCT coefficient with accuracy α is generated, and IDCT processing is performed on the DCT coefficient. Thereafter, decoded frame image data is obtained.
[0293]
Therefore, the encoder 30 and the decoder 100 are suitable for the bit precision α of the DCT coefficient arbitrarily set when performing quantization and inverse quantization, and are suitable for the MPEG2 system. Compatible linear and nonlinear quantization can be performed.
[0294]
Further, in the encoder 30 and the decoder 100, when performing variable-length coding and variable-length decoding, an appropriate variable-length coding table and escape code are set with respect to the set bit precision α and quantization scale of the DCT coefficient. The bit length of the level value following can be selected.
[0295]
As a result, the encoder 30 and the decoder 100 can prevent the image quality of the input image from deteriorating when the input image is compressed and encoded, and can also decode the encoded input image. Also, it is possible to prevent the image quality from deteriorating.
[0296]
According to the above configuration, an input image with arbitrarily set bit accuracy N can be captured, and the bit accuracy α of the DCT coefficient can be arbitrarily set, and the DCT coefficient is set to the bit accuracy N of the input image, Quantization is performed using the quantization scale expanded based on the bit accuracy α of the DCT coefficient, and the obtained quantization coefficient is converted into the bit accuracy N of the input image, the bit accuracy α of the DCT coefficient, and the quantum used for the quantization. Since the variable length coding is performed using the variable length coding table selected based on at least one of the values of the conversion scale, when the input image is compressed and encoded, An encoder that can prevent deterioration in image quality can be realized.
[0297]
In addition, an input image with arbitrarily set bit precision N can be taken in, and the bit precision α of the DCT coefficient can be arbitrarily set, and the bit precision N of the input image and the bit precision of the DCT coefficient of the encoded bit stream can be set. Quantization coefficient obtained by variable length decoding using a variable length coding table selected based on at least one of α and a quantization scale expanded based on bit precision N and α Is decoded using a quantization scale expanded based on the bit accuracy N of the input image and the bit accuracy α of the DCT coefficient, so that when the compression-encoded input image is decoded, It is possible to realize a decoder that can prevent the image quality of the input image from deteriorating.
[0298]
Therefore, according to the present embodiment, it is possible to prevent the image quality from being deteriorated during compression encoding and decoding of the input image. Thus, after compressing and encoding the input image, the image obtained by decoding is decoded. It is possible to realize an encoder and a decoder that can make the image quality substantially equal to the image quality of the input image.
[0299]
(5) Other embodiments
In the above-described embodiment, the case where bits_per_pixel = 8, 10, 12, and dct_precise = 5 can be selected has been described. However, the present invention is not limited to this, and other combinations are possible. It is also possible to fix both to a certain value. This should be selected according to the purpose of use of the system, but the present invention is applicable to any such system.
[0300]
In the above-described embodiment, the encoder 30 performs the quantization and variable length coding according to the bit precision. However, the present invention is not limited to this, and the encoder is configured to perform bit encoding. Either one of quantization or variable length coding according to accuracy may be executed, and even in this case, deterioration of image quality can be prevented in advance.
[0301]
Furthermore, in the above-described embodiment, the case where the decoder 100 performs quantization and variable length coding according to the bit precision has been described. However, the present invention is not limited to this, and the decoder uses a bit. Either one of quantization or variable length coding according to accuracy may be executed, and even in this case, deterioration of image quality can be prevented in advance.
[0302]
【The invention's effect】
As mentioned above, according to the present invention , Enter Force bit precision of Input image data And the difference value between the prediction data and Discrete cosine transform processing of Target Become Generate difference value data, and the generated difference value data , Operations for discrete cosine transform processing Discrete cosine transform processing according to bit precision And Generate discrete cosine transform coefficients, Calculation Bit precision By increasing the bit length of the quantization scale code as it increases Quantization scale Change the range of Concerned Change range The quantized scale , Quantize discrete cosine transform coefficients to produce quantized coefficients Complete By doing so, it is possible to greatly reduce the deterioration of the image quality when the input image data is compression-encoded.
[0303]
In addition, when compressing and encoding the quantized coefficient, the input bit precision described above, Calculation Bit precision , as well as Changed range At least one of the quantization scales more than Based on multiple types of variable length coding table Possible Since the variable length coding table is selected and the quantization coefficient is compression-coded using the selected variable length coding table, the image quality deteriorates when the input image data is compression-coded. This can be almost certainly prevented.
[0306]
Therefore, in this way, an encoding device that can prevent deterioration of image quality. In place According to the input image The After compression encoding, the image quality of the image generated by decoding can be made substantially equal to the image quality of the input image.
[0307]
When compressing and encoding an input image with any input bit precision, the discrete cosine transform coefficient is set according to the required image quality. Calculation It is possible to provide a quantization method and a variable-length coding method that can change the bit precision.
[Brief description of the drawings]
FIG. 1 is a block diagram showing an embodiment of a configuration of an encoder according to the present invention.
FIG. 2 is a schematic diagram illustrating a configuration of a VOP.
FIG. 3 is a schematic diagram for explaining the division of a quantization interval with respect to a change in the bit precision of a DCT coefficient.
FIG. 4 is a schematic diagram for explaining the division of a quantization interval with respect to a change in the bit precision of a DCT coefficient.
FIG. 5 is a schematic diagram for explaining the relationship between a quantization scale code and a quantization scale when the bit accuracy of a DCT coefficient is N + 1 + α bits;
FIG. 6 is a block diagram for explaining switching of a variable-length coding table according to the bit accuracy of a pixel of an input image.
FIG. 7 is a block diagram for explaining switching of a variable-length coding table according to a DCT coefficient.
FIG. 8 is a block diagram for explaining switching of a variable-length coding table according to the bit accuracy of pixels of an input image and DCT coefficients.
FIG. 9 is a block diagram for explaining switching of a variable-length coding table according to a quantization scale.
FIG. 10 is a schematic diagram for explaining a relationship between a quantization scale and a bit accuracy of a quantization coefficient.
FIG. 11 is a block diagram for explaining switching of a variable-length coding table according to a combination of a bit accuracy of a pixel of an input image, a DCT coefficient, and a quantization scale.
FIG. 12 is a block diagram showing an embodiment of a decoder configuration according to the present invention.
FIG. 13 is a schematic diagram showing the syntax of VOL.
FIG. 14 is a schematic diagram illustrating a VOP layer.
FIG. 15 is a schematic diagram illustrating a macroblock layer.
FIG. 16 is a schematic diagram for explaining the relationship between the quantization coefficient accuracy of the DC component of the DCT coefficient and the quantization scale;
FIG. 17 is a schematic diagram illustrating a syntax of a block layer.
FIG. 18 is a schematic diagram illustrating a variable-length coding table used for 3D variable-length coding.
FIG. 19 is a schematic diagram illustrating a variable-length coding table used for 3D variable-length coding.
FIG. 20 is a schematic diagram illustrating a variable-length coding table used for 3D variable-length coding.
FIG. 21 is a schematic diagram for describing encoding of a level length and a run length.
FIG. 22 is a schematic diagram for explaining switching of a variable-length coding table by bits_per_pixel, dct_precise, and quantizer_scale.
FIG. 23 is a schematic diagram for explaining switching of a fixed length code length of a level value by bits_per_pixel, dct_precise, and quantizer_scale.
FIG. 24 is a block diagram showing a configuration of an encoder to which the MPEG2 system is applied.
FIG. 25 is a schematic diagram for explaining an MPEG2 linear / nonlinear quantization method;
FIG. 26 is a schematic diagram illustrating a relationship between a quantization scale code and a quantization scale in the MPEG2 system.
FIG. 27 is a schematic diagram illustrating a relationship between a quantization scale code and a quantization scale in the MPEG2 system.
FIG. 28 is a block diagram showing a configuration of a decoder to which the MPEG2 system is applied.
[Explanation of symbols]
30 ... Encoder, 31 ... Frame memory, 34 ... DCT device, 35 ... Quantizer, 36 ... Variable length encoder, 38, 103 ... Inverse quantizer, 39,104 ... IDCT device , 100... Decoder, 102... Variable length decoder.

Claims (26)

Differential value data generation means for calculating a differential value between input image data of input bit accuracy and prediction data and generating differential value data to be subjected to discrete cosine transform processing;
Discrete cosine transform coefficient generating means for generating a discrete cosine transform coefficient by subjecting the difference value data generated by the difference value data generating means to discrete cosine transform processing in accordance with an arithmetic bit accuracy when performing discrete cosine transform processing; ,
The range of the quantization scale is changed by increasing the bit length of the quantization scale code according to the increase of the arithmetic bit precision, and the discrete cosine transform coefficient is quantized using the quantization scale in which the range is changed. And a quantized coefficient generating means for generating quantized coefficients. The arithmetic bit precision is the number of bits increased by the discrete cosine transform, the input bit precision N, over SL arithmetic bit precision alpha, the number of bits increment from the number specified bits in the arithmetic bit precision In the case of A , the bit length of the quantization scale code is expressed by the following equation: N + α-6 (arithmetic bit accuracy: α = 3 + A)
The encoding device according to claim 1, calculated by: Upper SL bits of the increment from the prescribed number of bits in the arithmetic-bit accuracy, the coding apparatus of claim 2 wherein A = 3. The quantization coefficient generation means includes
The encoding apparatus according to claim 3, wherein the quantization scale range is changed with respect to a quantization scale range defined by an encoding standard. The encoding standard is
The encoding apparatus according to claim 4, which is MPEG2 (Moving Picture Experts Group 2). The quantization coefficient generation means includes
The encoding apparatus according to claim 5, wherein the bit length of the quantization scale code is increased in accordance with the increase in the input bit accuracy. The quantization coefficient generation means includes
The encoding apparatus according to claim 6, wherein when performing nonlinear quantization, the step size of the nonlinear quantization curve used for generating the discrete cosine transform coefficient is made fine. The encoding device according to claim 7, further comprising: an encoding unit that compresses and encodes the quantized coefficient generated by the quantized coefficient generating unit to generate a bitstream. The encoding means is
The encoding apparatus according to claim 8, wherein the quantization scale code with the bit length changed is described in the bit stream. The encoding means is
The encoding device according to claim 9, wherein the changed arithmetic bit precision is described in the bit stream. Coding means for compressing and coding the quantized coefficient using a predetermined variable length coding table;
The encoding means is
A plurality of types of the variable length coding tables are held in advance, and each of the variable length codings is based on at least one of the input bit accuracy, the arithmetic bit accuracy, and the quantization scale whose range is changed. The encoding apparatus according to claim 1, wherein the variable length encoding table is selected from a table, and the quantization coefficient is compression encoded using the selected variable length encoding table. The encoding means is
When the quantization coefficient is outside the range defined by the selected variable-length coding table, the quantization coefficient is fixed based on the escape code defined by the selected variable-length coding table. The encoding device according to claim 11, which performs long encoding. Differential value data generation means for calculating a differential value between input image data of input bit accuracy and prediction data and generating differential value data to be subjected to discrete cosine transform processing;
Discrete cosine transform coefficient generating means for generating a discrete cosine transform coefficient by subjecting the difference value data generated by the difference value data generating means to discrete cosine transform processing in accordance with an arithmetic bit accuracy when performing discrete cosine transform processing; ,
Quantized coefficient generating means for quantizing the discrete cosine transform coefficient generated by the discrete cosine transform coefficient generating means using a predetermined quantization scale to generate a quantized coefficient;
Holding a plurality of types of variable length coding tables in advance, selecting the variable length coding table from each of the variable length coding tables based on at least one of the input bit precision and the arithmetic bit precision, An encoding device comprising: encoding means for compressing and encoding the quantization coefficient using the selected variable-length encoding table. The quantization coefficient generation means includes
The range of the quantization scale is changed by increasing the bit length of the quantization scale code according to the increase of the arithmetic bit precision, and the discrete cosine transform coefficient is quantized using the quantization scale in which the range is changed. The encoding device according to claim 13, wherein the quantization coefficient is generated. The arithmetic bit precision is the number of bits increased by the discrete cosine transform, the input bit precision N, over SL arithmetic bit precision alpha, the number of bits increment from the number specified bits in the arithmetic bit precision In the case of A , the bit length of the quantization scale code is expressed by the following equation: N + α-6 (arithmetic bit accuracy: α = 3 + A)
The encoding device according to claim 14, calculated by: Upper SL bits of the increment from the prescribed number of bits in the arithmetic-bit accuracy, the coding apparatus according to claim 15 which is A = 3. The quantization coefficient generation means includes
The encoding apparatus according to claim 16, wherein the quantization scale range is changed with respect to a quantization scale range defined by an encoding standard. The encoding standard is
The encoding device according to claim 17, which is MPEG2 (Moving Picture Experts Group 2). The quantization coefficient generation means includes
The encoding apparatus according to claim 18, wherein the bit length of the quantization scale code is increased in accordance with an increase in the input bit precision. The quantization coefficient generation means includes
The encoding apparatus according to claim 19, wherein when performing nonlinear quantization, the step size of the nonlinear quantization curve used for generating the discrete cosine transform coefficient is made fine. The encoding means is
21. The quantization scale code with the bit length changed is described in the bit stream by compressing and encoding the quantization coefficient generated by the quantization coefficient generation unit. Encoding device. The encoding means is
The encoding device according to claim 21, wherein the changed arithmetic bit precision is described in the bit stream. The encoding means is
The variable length coding table is selected from each of the variable length coding tables based on at least one of the input bit precision, the arithmetic bit precision, and the quantization scale whose range is changed, and the selection The encoding apparatus according to claim 22, wherein the quantization coefficient is compression-encoded using the variable length encoding table. The encoding means is
When the quantization coefficient is outside the range defined by the selected variable length coding table, the quantization coefficient is fixed based on the escape code defined by the selected variable length coding table. The encoding device according to claim 23, which performs long encoding. A difference value data generation step for calculating a difference value between input image data of input bit accuracy and prediction data and generating difference value data to be subjected to discrete cosine transform processing;
A discrete cosine transform coefficient generating step for generating a discrete cosine transform coefficient by performing a discrete cosine transform process on the difference value data in accordance with an arithmetic bit accuracy when the discrete cosine transform process is performed;
The range of the quantization scale is changed by increasing the bit length of the quantization scale code according to the increase of the arithmetic bit precision, and the discrete cosine transform coefficient is quantized using the quantization scale in which the range is changed. And a quantization coefficient generation step for generating a quantization coefficient. A difference value data generation step for calculating a difference value between input image data of input bit accuracy and prediction data and generating difference value data to be subjected to discrete cosine transform processing;
A discrete cosine transform coefficient generating step for generating a discrete cosine transform coefficient by performing a discrete cosine transform process on the difference value data in accordance with an arithmetic bit accuracy when the discrete cosine transform process is performed;
A quantization coefficient generating step for generating a quantization coefficient by quantizing the discrete cosine transform coefficient using a predetermined quantization scale;
The variable length coding table is selected based on at least one of the input bit precision and the arithmetic bit precision from a plurality of types of variable length coding tables held in advance, and the selected variable length is selected. An encoding method comprising: an encoding step of compressing and encoding the quantization coefficient using an encoding table.

Images