WO1993003578A1

WO1993003578A1 - Apparatus for coding and decoding picture signal with high efficiency

Info

Publication number: WO1993003578A1
Application number: PCT/JP1992/000956
Authority: WO
Inventors: Katsuji Igarashi; Tomoyuki Sato
Original assignee: Sony Corporation
Priority date: 1991-07-30
Filing date: 1992-07-28
Publication date: 1993-02-18
Also published as: EP0907289A1; EP0598904A1; CA2092295C; AU687632B2; HK1032871A1; DE69232357D1; EP0898426A1; EP1049335A1; EP1047270A1; HK1033059A1; DE69232357T2; EP0598904A4; AU3443095A; CA2092295A1; DE69232784D1; EP0598904B1; AU662548B2; EP0907289B1; ATE180374T1; ATE209422T1

Description

明細書

^、- 画像信号の高能率符号化及び復号化装置技術分野本発明は、画像信号を直交変換によって高能率符号化する画像信号の高能率符号化装置に関するものである。技術背景画像信号を高能率符号化する方式として、例えば、 MP E G (Moving Picture Experts Group) による標準化案では、いわゆるディジタルストレ一ジメディア用の画像信号の高能率符号化方式が規定されている。

ここで、当該方式で対象としているストレ一ジメディアは、いわゆる C D (コンパクトディスク）や D A T (ディジタルオーディオテープレコーダ），ハードディスク等のように、連続的な転送速度が約 1 , 5 Mbit/sec以下のものである。また、これは、直接復号器に接続されるだけでなく、コンピュータのバス， L A N (ローカル 'エリア 'ネットワーク），テレコミュニケーシヨン等の伝送媒体を介して接続されることも想定されており、更に、正順再生だけでなく、ランダムァクセスゃ高速再生、逆順再生等のような特殊機能につレ、ても考慮されている。上記 M P E Gによる画像信号の高能率符号化方式の原理は、以下に示すようなものである。

v、すなわち、この高能率符号化方式では、先ず、画像間の差分を取ることで時間軸方向の冗長度を落とし、その後、いわゆる離散コサイン変換 (D C T) 処理と可変長符号とを使用して空間軸方向の冗長度を落とすようにしている。

先ず、上記時間軸方向の冗長度について以下に述べる。

一般に、連続した動画では、.時間的に前後の面像と、ある注目している画像 (すなわちある時刻の画像）とは良く似ているものである。

このため、例えば図 2 2に示すように、今から符号化しょうとしている面像と、時間的に前方の面像との差分を取り、その差分を伝送するようにすれば、時間軸方向の冗長度を減らして伝送する情報量を少なくすることが可能となる。

このようにして符号化される画像は、後述する前方予測符号化画像 (Predict! ve-coded picture, Pピクチャ或いは Pフレーム）と呼ばれる。

同様に、上記今から符号化しょうとしている画像と、時間的に前方或いは後方若しくは、前方及び後方から作られた捕間面像との差分をとり、それらのうち小さな値の差分を伝送するようにすれば、時間軸方向の冗長度を減らして伝送する情報量を少なくすることが可能となる。 '

このようにして符号化される画像は、後述する両方向予測符号化画像 (Bidire ctionally Predictive-coded picture. Bピクチャ或いは Bフレーム）と呼ばれなお、この図 2 2において、図中 Iで示す画像は後述する画像内符号化画像 (イントラ符号化画像： Intra- coded picture、 Iピクチャ或いは Iフレーム）を示し、図中 Pで示す面像は上記 Pピクチャを示し、図中 Bで示す画像は上記 B ピクチャを示している。

また、各予測画像を作るためには、レ、わゆる動き補償が行われる。

すなわちこの動き補償によれば、例えば 8 X 8画素の単位プロックにより構成される例えば 1 6 X 1 6画素のブロック（以下マクロプロックと呼ぶ）を作り、前面像の当該マク口プロックの位置の近傍で一番差分の少ないところを探索し、この探索されたマクロブロックとの差分をとることにより、送らなければならなレ、デ一夕を削減することができる。

実際には、例えば、上記 Pピクチャ（前方予測符号化画像）では、動き補償後の予測画と差分をとったものと、当該動き補償後の予測画と差分をとらないものとのうち、デ一夕量の少ないものを上記 1 6 X 1 6画素のマクロブロック単位で選択して符号化する。

し力、し、上述のような場合、例えば物体が動いた後ろから出てきた部分（画像）に関しては、多くのデータを送らなければならない。

そこで、例えば上記 Bピクチャ（両方向予測符号化画像）では、既に復号化された動き補償後の時間的に前方或いは後方の画像及び、その両者を足して作った補間画像と上記今から符号化しょうとしている画像との差分と、当該差分を取らないものすなわち今から符号化しょうとしている画像の四者のうち、一番データ量の少ないものが符号化される。

次に、上記空間軸方向の冗長度について以下に述べる。

画像デ一夕の差分は、そのまま伝送するのではなく、上記 8 X 8画素の単位ブロック毎に離散コサイン変換（D C T) をかける。

当該 D C Tは、画像を画素レベルでなく、コサイン関数のどの周波数成分がどれだけ含まれているかで表現するものであり、例えば 2次元 D C Tにより、 8 x 8画素の単位ブロックのデータは、 2次元 D C Tにより 8 X 8のコサイン関数の成分の係数ブロックに変換される。

例えば、テレビカメラで撮影したような自然画の画像信号は滑らかな信号になることが多く、この場合、当該画像信号に対して上記 D C T処理を施すことにより効率良くデータ量を落とすことができる。

すなわち例えば、上述の自然画の画像信号のような滑らかな信号の場合、上記 D C Tをかけることにより、ある係数の回りに大きな値が集中するようになる。この係数を量子化すると、上記 8 X 8の係数プロックは殆どが 0になり、大きな係数のみが残るようになる。

そこで、この 8 X 8の係数ブロックのデータを伝送する際には、いわゆるジグザグスキヤンの順で、非零係数とその係数の前にどれだけ 0が続いたかを示すいわゆる 0ランを一組としたいわゆるハフマン符号で送るようにすることで、伝送量を減らすことが可能となる。

また、復号器側では、逆の手順で画像を再構成する。

ここで、上述した符号化:^;が取り扱うデータの構造を図 2 3に示す。

すなわち、この図 2 3に示すデータ構造は、下から順に、ブロック層と、マクロブロック層と、スライス層と、ピクチャ層と、グループォブピクチャ（G〇

P： Group of Picture) 層と、ビデオシーケンス層とからなる。以下、この図 2

3において下の層から順に説明する。

先ず、上記ブロック層において、当該ブロック層のブロックは、輝度又は色差の隣合った 8 X 8の画素（8ライン X 8画素の画素）力、ら構成される。

上述した D C T (離散コサイン変換）は、この単位ブロック毎にかけられる。上記マク口ブロック層において、当該マクロブロック層のマクロブロックは、及び上卞に隣合った 4つの輝度ブロック（輝度の単位ブロック） Y0 , Y1 , Y2 , Y3 と、画像上では上記輝度ブロックと同じ位置に当たる色差ブロック (色差の単位ブロック） Cr , Cb との全部で 6個のブロックで構成される。これらブロックの伝送の順は、 Y0 , Yl , Y2 , Y3 , Cr , C の順である。

ここで、当該符号化方式において、予測画（差分をとる基準の画像）に何を用いるか、或いは差分を送らなくても良いか等は、このマクロブロック単位で判断される。上記スライス層は、画像の走査順に連なる 1つ又は複数のマクロプロックで構成されている。

このスライスの頭（ヘッダ）では、画像内における動きべクトル及び D C (直流）成分の差分がリセットされ、また、最初のマクロブロックは、画像内での位置を示すデータを持っており、したがってエラーが起こった場合でも復帰できるようになされている。

そのため、上記スライスの長さや始まる位置は任意となり、伝送路のエラ一状態によって変えられるようになつている。

上記ピクチャ層において、ピクチャすなわち 1枚 1枚の画像は、少なくとも 1 つ又は複数の上記スライスから構成される。そして、それぞれが符号化の方式にしたがって、上述のようなイントラ符号化画像 ( Iピクチャ或いは Iフレーム），上記前方予測符号化画像（Pピクチャ或いは Pフレーム），両方向予測符号化画像（Bピクチャ或いは Bフレーム）， D Cイントラ符号化画像 (DC coded (D) p icture) の 4種類の画像に分類される。

ここで、上記イントラ符号化画像（ Iピクチャ）においては、符号化される時に、その画像 1枚の中だけで閉じた情報のみを使用する。

したがって、言い換えれば、復号化する時に Iピクチャ自身の情報のみで画像が再構成できることになる。実際には、差分を取らずにそのまま D C T処理して符号化を行う。

この符号化方式は、一般的に効率が悪いが、これを随所に入れておけば、ランダムァクセスゃ高速再生が可能となる。

上記前方予測符号化画像（Pピクチャ）においては、予測画像（差分をとる基準となる画像）として、入力で時間的に前に位置し既に復号化された Iピクチャ又は Pピクチャを使用する。

実際には、動き補償された予測画像との差を符号化するのと、差を取らずにそのまま符号化する（イントラ符号）のと何れか効率の良い方を上記マクロブロック単位で選択する。

上記両方向予測符号化画像（Bピクチャ）においては、予測画像として時間的に前に位置し既に復号化された Iピクチャ又は Pピクチャ及び、その両方から作られた補間画像の 3種類を使用する。

これにより、上記 3種類の動き補償後の差分の符号化とイントラ符号との中で一番効率の良レ、ものをマクロブロック単位で選択できる。

上記 D Cイントラ符号化画像は、 D C Tの D C係数のみで構成されるィントラ符号化画像であり、他の 3種の画像と同じシーケンスには存在できないものである。

上記グループォブピクチャ（GOP)層は、 1又は複数枚の Iピクチャと、 0 又は複数枚の非 Iピクチャとから構成されている。ここで、符号器への入力順を、例えば、 I I， 2B, 3B, 4P*5B, 6 B, 71, 8 B, 9 B， 101, 1 IB, 12B， 13P, 14B, 15 B, 16P* 17B, 18 B, 191, 2 OB, 2 IB, 22 Pのようにした時、当該符号器の出力すなわち復号器の入力は、例えば、 I I, 4P, 2B， 3 B* 7 I, 5 B, 6 B， 101， 8 B, 9 B, 13P， 11 B, 12 B, 16 P, 14 B， 15 B * 191 , 17 B, 18 B, 22 P， 20 B, 21 Bとなる。

このように符号器の中で順序の入れ換えがなされるのは、例えば、上記 Bピクチヤを符号化又は復号化する場合には、その予測画像となる時閭的には後方である上記 Iピクチャ又は Pピクチャが先に符号化されていなくてはならないからでめる。

ここで、上記 Iピクチャの間隔（例えば 9)及び、 Iピクチャ又は Bピクチャの間隔（例えば 3)は自由である。

また、 Iピクチャ又は Pピクチャの間隔は、当該グループォブピクチャ層の内部で変わってもよいものである。

なお、グループォブピクチャ層の切れ目は、上記 *で表されている。

また、上記 Iは Iピクチャ、上記 Pは Pピクチヤ、上記 Bは Bピクチヤを示している。

上記ビデオシーケンス層は、画像サイズ、画像レート等が同じ 1又は複数のグループォブピクチャ層から構成される。

上述したように、上記 M P E Gによる高能率符号化方式で標準化された動画像を伝送する場合には、先ず 1枚の画像をピクチャ内で圧縮した画像が送られ、次にこの画像を動き補償した画像との差分が伝送される。

ところ力、上記 1枚の画像において、例えば、フィールドをピクチャとして処理する場合には、 2フィールドで交互に垂直位置が異なることになるため、. 例えば静止画を伝送する時にも差分情報を伝送しなければならなくなる。

また、例えば、フレームをピクチャとして処理する場合には、上記フレーム内で例えば動いている部分についてはいわゆる櫛形にぶれた画像を処理しなければならなくなる。

すなわち、例えば、図 2 4に示すように、静止した背景の手前に自動車等の動体 C Aがある場合、 1フレームを観るとフィールド間で動きがあるため、そのような部分は櫛型 K Sの画像となつてしまう。

更に、例えば、静止部分や動画部分が混在した画像を処理する場合には、上記フィールドをピクチャとして処理する場合或いはフレームをピクチャとして処理する場合のいずれの方法を用いたとしても、ピクチャ内に圧縮効率の悪い部分の画像ができてしまうようになる。

そこで、本発明は、上述のような実情に鑑みて提案されたものであり、フィールド構成の動画について、動きの少ない画像も動きの多い画像も、また、これら両者が混在した画像であつてもフィールド処理或レ、はフレーム処理を効率よく行うことのできる画像信号の高能率符号化装置を提供することを目的とするものであ。発明の開示このような課題を解決するために本発明による第一の高能率符号化装置は、複数の画素の 2次元配列からなるマクロプロックを単位として符号化を行う画像信号の高能率符号化装置において、上記マクロプロック単位でフレーム間の動きべクトルと各画素の絶対値差分和を検出する手段と上記マク口プロック単位で上記フレームの画素のスキヤンの奇数又は偶数で分けたものからなるフィールド間の動きべクトルと各画素の絶対値差分和を検出する手段とからなる動き検出手段と、上記マクロブロックにおけるフレームを単位として動き補償を行うフレーム予測モードと、上記マク口プロックにおけるフィールドを単位として動き補償を行うフィールド予測モードとの何れが動き補償を刷るに際して効率が良いかを上記動き検出手段から出力される情報により判定し、効率の良い予測モードを選択する第一のモード選択手段と、上記マクロブロックにおけるフレー厶を単位として直交変換を行うようにプロック化するフレーム直交変換モードと上記マク口プロックにおけるフィ一ルドを単位として直交変換を行うようにブロック化するフィ一ルド処理モードとの何れが直交変換を行うに際して効率が良いかを上記動き検出手段及び上記第一のモ一ド選択手段から出力される情報を用いて判定し、効率の良いブロック化のモードを選択する第二のモ一ド選択手段と、 1フレームについて符号化処理のインタレースにおける奇数フィールドのスキャンを行う期間の奇数サイクルか偶数フィ一ルドのスキャンを行う期間の偶数サイクルかを認識し、該奇数サイクルで上記プロック化のモードに対応してプロック化されたマクロブロックを出力するようにフレームメモリ群を制御するァドレス発生手段と、上記第一のモード手段で選択された動き予測モ一ド情報と上記第二のモード選択手段で選択されたブロック化モ一ド情報を受け取り、該モード情報に対応して動き補償フレーム又はフィールド間予測を実行する動き補償手段とを備えたものであるまた、第二の高能率符号化装置は、複数の画素の 2次元配列からなるマクロブ口ックを単位として符号化を行う画像信号の高能率符号化装置において、上記マクロブロック単位でフレーム間の動きベクトルと各画素の絶対値差分和を検出する手段と上記マクロブロック単位で上記フレームの画素のスキャンの奇数又は偶数で分けたものからなるフィールド間の動きベクトルと各画素の絶対値差分和を検出する手段とからなる動き検出手段と、上記マクロブロックにおけるフレームを単位として動き補償を行うフレーム予測モードと、上記マクロブロックにおけるフィールドを単位として動き補償を行うフィ一ルド予測モードとの何れが動き補償を刷るに際して効率が良いかを上記動き検出手段から出力される情報により判定し、効率の良い予測モードを選択する第一のモード選択手段と、上記マクロブロックにおけるフレームを単位として直交変換を行うようにブロック化するフレ一ム直交変換モードと上記マクロブロックにおけるフィ一ルドを単位として直交変換を行うようにブロック化するフィ一ルド処理モ一ドとの何れが直交変換を行うに際して効率が良いかを上記動き検出手段及び上記第一のモード選択手段から出力される情報を用いて判定し、効率の良いブロック化のモードを選択する第二のモード選択手段と、 1フレームについて符号化処理のインタレースにおける奇数フィールドのスキャンを行う期間の奇数サイクルか偶数フィールドのスキヤンを行う期間の偶数サイクルかを認識し、上記ブロック化のモードがフィールド処理モードの時のみ、該奇数サイクルでマク口プロック分の奇数フィールドを順次 1フレーム分出力し、次いで上記偶数サイクルでマクロブロック分の偶数フィ ―ルドを順次 1フレーム分出力するようにフレームメモリ群を制御するアドレス発生手段と、上記第一のモード手段で選択された動き予測モード情報と上記第二のモード選択手段で選択されたブロック化モード情報を受け取り、該モ一ド情報に対応して動き補償フレーム又はフィールド間予測を実行する動き補償手段とを備えたものである。

さらに、本発明による高能率復号化装置は、再生される符号化データとヘッダ情報を受信、復号し、検出動きベクトル情報と動き予測モード情報とブロック化モード情報とマクロブ口ックのへッダ情報中のマクロブロック 'アドレス 'インクリメントとを出力する逆可変長符号化手段と、上記マクロブロック ·了ドレス •インクリメン卜からフレームバッファでのァドレス 'インクリメント値を算出し、各々のマクロブロックの先頭アドレスを求め、該先頭アドレスを上記フレームバッファに与えるァドレス発生手段と、上記先頭ァドレス以外の上記マクロブロックの相対アドレスを上記フレームバッファに加えてデータをアクセスレ、上記検出動きべクトルと上記動き予測モード情報と上記ブロック化モ一ド情報を受け取り、該モ一ド情報に対応した動き補償フレーム又はフィ一ルド間予測を実行し、動き補償された画像信号をフレ一厶バッファに送るように構成した動き補償手段と、を備えたものである。

更に、本発明による高能率符号化装置は、複数の画素の 2次元配列からなるマク口プロックを単位として符号化を行う画像信号の高能率符号化装置にぉレ、て、上記マクロブロック単位でフレーム間の動きべクトルと各画素の絶対値差分和を検出する手段と上記マクロプロック単位で上記フレームの画素のスキヤンの奇数又は偶数で分けたものからなるフィールド間の動きべクトルと各画素の絶対値差分和を検出する手段とからなる動き検出手段と、上記マクロブロックにおけるフレームを単位として動き補償を行うフレーム予測モードと、上記マクロプロックにおけるフィールドを単位として動き補償を行うフィールド予測モードとの何れが動き捕俊をするに際して効率が良いかを判定し、効率の良い予測モードを選択する第一のモード選択手段と、上記マクロプロックにおけるフレームを単位として直交変換を行うようにブロック化するフレーム処理モ一ドと上記マクロプロックにおけるフィールドを単位として直交変換を行うようにブロック化するフィールド処理モードとの何れが直交変換を行うに際して効率が良いかを上記動き検出手段及び上記第一のモード選択手段から出力される情報を用いて判定し、効率の良いプロック化のモードを選択する第二のモード選択手段と、 1フレーム内の各マクロプロック毎に上記プロック化を上記フレーム処理モード又は上記フィールド処理モードに適応的に切り換え、各モ一ドに基づき各マクロプロックを符号化する第一の符号化処理モ一ドと、 1フレーム内の全てのマクロプロックの上記ブ πック化を上記フィ一ルド処理モードで行い、インタレースにおける奇数フィールドのスキヤンを行う期間の奇数サイクルでマクロプロックにおける奇数フィ一ルドのみ 1フレーム分符号化し、次いでィン夕レースにおける偶数フィールドのスキヤンを行う期間の偶数サイクルでマクロプロックにおける偶数フィ一ルドを

1フレーム分符号化する第二の符号化処理モードとの何れが符号化するに際して効率が良いかを判定し、効率の良い符号化処理乇—ドを選択する第三のモード選択手段と、上記奇数サイクルか上記偶数サイクルかを認識し、上記符号化処理モードが第一の符号化処理モードの場合には上記奇数サイクルで上記プロック化モ一ドに対応してブロック化されたマクロブロックを出力するようにフレームメモリ群を制御し、上記符号化処理モ一ドが第二の符号化処理モードの場合には上記奇数サイクル及び偶数サイクルで上記フィールド処理モードに対応してプロック化されたマクロブロックを出力するようにフレームメモリ群を制御するァドレス発生手段と、上記第一のモード選択手段で選択された動き予測モード情報と上記第二のモード選択手段で選択されたプロック化モード情報を受け取り、該モード情報に対応して動き補償フレーム又はフィ一ルド間予測を実行する動き補償手段とを備えたものである。

言い換えれば、本発明の高能率符号化装置は、 2フィールドから 1フレームが構成されている動面像の符号化において、フレーム内の全プロックについて奇数フィールド（第 1フィ一ルド)，偶数フィールド（第 2フィールド）を分割してブロック化し、第 1フィールドから第 2フィールドを動き予測可能とした符号化手段（第二の符号化処理モード）と、第 1フィールド，第 2フィールドを分割する Z分割しないをマクロプロック単位で切り換えてプロック化する符号化手段 (第一の符号化処理モード）とを有し、フレーム毎にこれらの符号化手段を適応的に切り換えるようにしたものである。

更に、この場合、符号にこれらの符号化手段を示す 1ビットの情報（選択されたモードを示す情報）を付加するものである。

更に、本発明の高能率復号化装置は、再生される画像符号化データ及び検出動きべクトル情報と動き予測モード情報とプロック化モード情報と符号化処理モード情報とを含むへッダ情報を受信して復号化し、上記復号化された面像復号化デ —夕と共に上記検出動きべクトル情報と動き予測モード情報とプロック化モ一ド情報と符号化処理モード情報とを出力する逆可変長符号化手段と、上記符号化処理モ一ド情報から上記画像復号化データを蓄積するフレー厶バッファでのァドレス*インクリメント値を算出し、各々のマクロブロックの先頭アドレスを求め、該先頭ァドレスを上記フレームバッファに与えるァドレス発生手段と、上記先頭了ドレス以外の上記マクロプロックの相対ァドレスを上記フレームバッファに加えてデータをアクセスし、上記検出動きべクトル情報と上記動き予測モード情報と上記プロック化モード情報と上記符号化処理モード情報とを受け取り、該モ一ド情報に対応した動き補償を実行し、動き補償された画像信号を上記フレームバッファに送るように構成した動き補償手段とを備えたものである。

本発明によれば、フレーム直交変換モ一ドとフィ一ルド直交変換モードをマクロブロック単位で切り換えることができ、したがって、マクロブロック単位で最も効率の良い符号化を選択することができる。また本発明によれば、 1フレームの処理をォッドサイクルとイーブンサイクルの 2つのサイクルに分け、ォッドサイクルではマクロブロック単位でフレーム直交変換モードとフィ一ルド直交変換モードとを切り換え、フレーム処理では奇数フィールドと偶数フィールドを共に復号化し、フィールド処理では奇数フィールドのみを復号化し、更にこのサイクルでの量子化幅を記憶しておき、次のィーブンサイクルではこの記憶した情報を用いてフィールド直交変換モードのマクロブロックのみを動き補償して再生画像を復号化するようにしているため、効率のよい符号化データを伝送することができる。すなわち、少ない伝送情報で高画質の動画を再生することが可能となる。

更に、本発明によれば、第一の符号化処理モードと第二の符号化処理モードとをマクロプロック単位で切り換えることができる。第一の符号化処理モードでは、例えば画像の動きの大きさに応じてフレーム処理モ一ドとフィ一ルド処理モードを適応的に選ぶことで、効率の良い符号化ができる。

第二の符号化処理モードでは、フレーム内の全てのマクロブロックのブ口ック化をフィールド処理モードとすることで、例えば特に動きの大きいフレームについて奇数フィールドから偶数フィールドの動き予測ができるようになり、効率良く動画を符号化できるようになる。

更に、本発明の画像信号の高能率符号化装置によれば、フィールド構成の動画について、動きの少ない画像も動きの多い画像も、また、これら両者が混在した画像であってもフィ一ルド処理或いはフレーム処理を効率よく行うことができるようになり、したがって、少ない伝送情報で後の本発明の高能率復号化装置における復号化の際に高画質の動画を再生することが可能となる。

更に、本発明の復号装置によれば、第一，第二の符号化処理モードに応じて、マクロプロック単位でフレーム直交変換モードとフィールド直交変換モードとを切り換えると共に、フレーム動き予測モードとフィ一ルド動き予測モ一ドをも切り換えて、フレ一厶処理では奇数フィールドと偶数フィールドを共に復号化し、フィ一ルド処理では奇数フィールドのみを復号化し、更にこのサイクルでの量子化幅を記憶しておき、次のイーブンサイクルではこの記億した情報を用いてフィールド直交変換モードのマクロプロックのみを動き補償して再生画像を復号化するようにしているため、効率のよい符号化データを伝送することができる。すなわち、少ない伝送情報で高画質の動画を再生することが可能となる。図面の簡単な説明図 1は実施例 1の面像信号の高能率符号化装置の概略構成を示すプロック図であ

図 2は実施例 2の画像信号の高能率符号化装置の概略構成を示すプロック図であ

図 3は実施例 3の画像信号の高能率符号化装置の概略構成を示すプロック図であ。

図 4は本実施例の符号化を説明するための図である。

図 5はマクロブロックを示す図である。

図 6は第 1の符号化処理モードでフレーム直交変換モードの場合の動き予測を示す図である。

図 7は第 1の符号化処理モ一ドでフィールド直交変換モードの場合の動き予測を示す図である。

図 8は第 2の符号化処理モードの場合の動き予測を示す図である。

図 9はディジタル VTRの一具体例フォーマツトにおけるフレーム直交変換モ一 ¥/ フィ—ルド処理モ一ドの D C T処理の単位ブロックを示す図である。図 1 0は動き予測の様子を示す図である。図 1 1は動き予測の様子を示す図である。

図 1 2はディジタル VT Rの具体例フォーマットにおけるフレーム直交変換モ一ドフィールド直交変換モードの D C T処理の単位プロックを示す図である。図 1 3はデイジ夕ル V T Rの他の具体例フォーマットにおけるフレーム直交変換モード Zフィ一ルド直交変換モードの D C T処理の単位プロックを示す図であ。

図 1 4はディジタル VT Rの他の具体例フォーマツトにおけるフレーム直交変換モードノフィ一ルド直交変換モードの D C T処理の単位ブロックを示す図であ。

図 1 5はマクロプロックの組及びフレーム直交変換モードでの処理の様子を説明するための図である。

図 1 6は図 1 5の例におけるフィールド直交変換モ一ドでの処理の様子を説明するための図である。

図 1 7は実施例 2における拡張ビット付加の変形例（前予測について）を説明するための図である。

図 1 8は実施例 4の画像信号の高能率符号化装置の概略構成を示すプロック図である。

図 1 9は復号器の構成を示すプロック図である。

図 2 0はォッドサイクルの画像を示す図である。

図 2 1はイーブンサイクルの画像を示す図である。

図 2 2は各予測画像を説明するための図である。

図 2 3はデータ構造を示す図である。

図 2 4は動く物体のある画像を示す図である。発明を実施するための最良の形態以下、本発明を適用した実施例にっレ、て図面を参照しながら説明する。

先ず、図 1の構成を用いて、実施例 1において符号化処理される画像デ一夕の主な流れについて説明する。

次に、図 2により実施例 2について、図 3により実施例 3について説明する。更に、図 1 8により実施例 4について説明する。最後に図 1 9により本発明の復号器の構成の実施例を説明する。

尚、本実施例の符号化装置では、何れも図 4に示すような、フレーム内符号化 ( Iフレーム或いは Iピクチャ），一方向予測フレーム間符号化（Pフレーム或いは Pピクチャ），双方向ピクチャ間符号化（Bフレーム或いは Bピクチャ）の 3通りに符号化を行うことができる。また、各ピクチャは、 8 X 8画素でブロック化され、 2 X 2ブロック（すなわち 1 6 X 1 6画素）でマクロブロックを構成する。

〔実施例 1の説明〕

図 1は実施例 1を示すものであり、一画面より小なる面素の 2次元配列からなるマクロブロック（例えばラスタスキャン順の入力画像データの空間配置における 1 6 X 1 6の画素を 1ブロックとするブロック）を単位として符号化を行う画像信号の高能率符号化装置である。

この高能率符号化装置は、次の構成よりなる。

即ち、上記 1 6 X 1 6面素の単位ブロックが複数個集まったものからなるフレ —ム（一画面）が複数枚、原画像としてメモリされているフレームメモリ群 1 0 と、

上記フレーム間及び上記マク口プロック単位で上記フレームの画素のスキヤンの奇数又は偶数で分けたものからなるフィールド間の動きべクトルと各画素の絶対値差分和を検出する動き検出手段であるフィールド動き検出回路 2 1及びフレー厶動き検出回路 2 2よりなる。

更に、上記マクロブロックにおけるフレームを単位として動き補償を行うフレー厶予測モードと、上記マクロブロックにおけるフィールドを単位として動き補償を行うフィールド予測モードと、の何れの効率が良いかを上記動き検出手段から出力される情報により判定し、効率の良い予測モ一ドを選択する第 1のモード選択手段である動き予測モード判定回路 2 3及びセレクタ 2 4よりなる。

更に、上記マクロプロックにおけるフレームを単位として直交変換を行うようにブロック化するフレーム直交変換モードと、上記マクロブロックにおけるフィールドを単位として直交変換を行うようにブロック化するフィ一ルド直交変換モ ―ドと、の何れが直交変換を行うに際して効率が良いかを上記動き検出手段及び上記第一のモ一ド選択手段から出力される情報を用いて判定し、効率の良いプロックかのモードを選択する第二のモード選択手段であるブロック化モード判定回路 2 5よりなる。

更に、 1フレーム（1画面）について符号化処理のインタレースにおける奇数フィールドのスキヤンを行う期間の奇数サイクルか偶数フィールドのスキャンを行う期間の偶数サイクルかを認識し、該奇数サイクルで上記ブロック化のモードに対応してブロック化されたマクロブロックを出力するようにフレームメモリ群を制御するァドレス発生手段であるァドレス発生器 1 1と、

上記第一のモード手段で選択された動き予測モード情報と上記第二のモード選択手段で選択されたブロック化モ一ド情報を受け取り、該モード情報に対応して動き補償フレーム又はフィールド間予測を実行する動き補償手段である動き補償器付フレームメモリ群 2 0とを備えている。

すなわち、この図 1において、入力端子 1にはディジタルの画像信号が供給され、上記フレームメモリ群 1 0に格納される。当該フレームメモリ群 1 0からは、 I 8

上記 1 6X 1 6画素の単位マクロブロックのデータが後述するァドレス発生器 1 1に制御されて読み出され、減算器 12に伝送される。当該減算器 12には、後述する動き補償器付フレームメモリ群 20からの動き補償された画像データも供耠され、当該減算器 12でこれらの差分が検出される。

上記減算器 12の出力は、直交変換（DCT)処理を行う DC T回路 13に送られる。直交変換としては、 DCTを例示してあるが、 FFT等の他の直交変換が適用できることは勿論である。

当該 DCT回路 13で DCT処理されて得られた DCT係数データは、量子化器 14に送られる。当該量子化器 14からの量子化データは、例えばいわゆるハフマン符号化ゃランレングス符号化等の可変長符号化処理を行う可変長符号化回路 15を及びバッファ 16を介して、出力端子 2から符号化データとして出力される。

この符号化データは、所定の通信路を介して伝送されるだけでなく、光デイスク、又は磁気テープ等の記録メディアに書込むことが可能とされる。

また、上記動き補償器付フレームメモリ群 20には、上記量子化器 14からの量子化デ一夕が、当該量子化器 14での量子化処理の逆量子化処理を行う逆量子化器 17と上記 DCT回路 13での DCT処理の逆 DCT処理を行う逆 DCT回路 18とを介し、更に加算器 19を介したデータが供給されるようになっている。また、上記加算器 19では、上記逆 DC T回路 18の出力と当該動き捕償器付フレームメモリ群 20の出力との加算がなされる。なお、バッファ 16からは、当該バッファ 16のオーバ一フロウを防止するための信号が、点線にて示すように、上記量子化器 14にフィードバックされるようになっている。

一方、上記フレームメモリ群 10から上記マクロブロック単位で出力された画像デ一夕は、フレーム動き検出回路 22及びフィールド動き検出回路 21に伝送される。上記フィールド動き検出回路 2 1は、上記マクロブロック単位でフィールド間の動きベクトルと各画素の絶対値差分和を検出し、これらのデータ（フィールド間の動きべクトルのデータ F DMVと絶対値差分和のデータ F DAD) を出力する。また、上記フレーム動き検出回路 2 2は、上記マクロブロック単位でフレーム間の動きベクトルと各画素の絶対値差分和を検出し、これらのデータ（フレーム間の動きべクトルのデータ F MMVと絶対値差分和のデータ F MAD) を出力する。これら動き検出回路 2 2及び 2 1の各動きべクトルのデ一夕 F MMVZF DMVは上記セレクタ 2 4に伝送され、各絶対値差分和のデ一夕 F MADZF DADは上記動き予測モード判定回路 2 3に伝送される。

当該動き予測モード判定回路 2 3は、上記フィールド動き検出回路 2 1からの絶対値差分和データ F DADと上記フレーム動き検出回路 2 2からの絶対値差分和デ一夕 FMADとに基づいて、後述する動き補償器付フレームメモリ群 2 0での動き予測処理の際に、上記フィ一ルド単位で動き予測処理を行うか或いは上記フレ —ム単位で動き予測処理を行うかの判定を行い、いずれか有利な方（効率の良い方）の処理モードを示すデータを出力する。

具体的にいうと、この動き予測モード判定回路 2 3において、例えば絶対値差分和データ F MADと絶対値差分和データ F D ADとの差があるしきレ、値 T 1 よりも大きい（F MAD— F DAD〉T1 の時）と判定された場合は、当該回路 2 3から上記フィールド単位で動き予測処理を行う方が効率が良いことを示すデータ（動き予測におけるフィールド直交変換モードのデータ MPFD) を出力する。

逆に、絶対値差分和データ F MADと絶対値差分和デ一夕 F DADとの差が上記しきい値 T1 よりも小さいか或いは等しい（F MAD— F DAD≤T1 の時）と判定された場合は、上記フレーム単位で動き予測処理を行う方が効率が良いことを示すデータ（動き予測におけるフレーム直交変換モードのデ一タ MPFM) を出力する _c これら何れかの動き予測モードデ一夕 MPFMZMPFDは、動き補償器付フレームメモリ群 2 0に送られ、これにより、当該フレームメモリ群 2 0では、フレーム単位或いはフィールド単位で動き補償を行う。また、これら動き予測モードデ一夕 MPFMZMPFDは、セレクタ 2 4にも送られる。

当該セレクタ 2 4は、上記動き予測モード判定回路 2 3からの動き予測モードデータ MPFMZMPFDに応じて、上記フレーム動き検出回路 2 2から供給されているフレーム間の動きべクトルのデータ FMMVと、上記フィールド動き検出回路 2 1から供給されているフィールド間の動きべクトルのデータ F DMVのいずれかを選択出力する。すなわち、上記動き予測モードデータがフィールド予測モードを示すデータ MPFDの時は上記フィールド動き検出回路 2 1からの動きべクトルデータ FDMVを選択して出力し、上記動き予灘モードデ一夕がフレーム予測モードを示すデータ MPFMの時には上記フレーム動き検出回路 2 2からの動きべクトルデー夕 F MMVを選択して出力する。

当該セレクタ 2 4で選択された動きべクトルデータ FMMVZF DMVは、上記ブロック化モード判定回路 2 5に送られる。

当該ブロック化モード判定回路 2 5には、上記フレームメモリ群 1 0からの出力データと、上記動き予渐モード判定回路 2 3からの上記処理モードデータ MP FMZMPFDも供給されるようになっている。当該ブロック化モード判定回路 2 5 では、上記動き予測モードデ一夕 MPFMZMPFDと上記動きべクトルデ一夕 FM MVZF DMVを受け取り、更に、上記フレームメモリ群 1 0からの画像を用いて差分面像を作り、当該差分画像に基づいて、上記フレームメモリ群 1 0から出力されて上記 D CT回路 1 3で D CT処理される面像に最も適するブロック化処理のモードを選択する。

なお、前記 Iピクチャ（或いは Iフレーム）の場合は、上記差分画像の代わりにフレームメモリ群 10の画像（原画）のデータを用いる。

すなわちここで、上記差分画像の例えばマクロブロックが例えば図 5 (A) に示すようなマクロブロックであったとする（ Iピクチャにおいては原画のマクロブロック）。

なお、図 5 (A) において、奇数ライン（ol， 02， ο3 , ' · · oN、ただし Nはマクロブロックの場合 16) は実線で示し、偶数ライン（el， e2 , e3 , · · · eN、ただし Nはマクロブロックの場合 16) は点線で示している。また、偶数ラインの各ピクセルは e(i, j) と表現し、奇数ラインの各ピクセル 0 (i, j) と表現している。この図 5 (A)のような差分画像或いは原画像 (Iピクチヤの画像）において、フィールド単位の上記差分画像の差分 EFDは数式 (1)で示すことができ、フレーム単位の上記差分画像の差分 EFMは数式 (2)で示すことがでさる。

16 】 5

EFD= ∑ ∑

j-1 i -1 o(i, j) -o(i+l, j) I + I e(i， j)一 e(i+l, j) I)

(1)

EFM= j∑-1 i∑ - 1 I o(i, j) — e(i， j) I + j∑―】 i∑_l I e (i, j) -o(i+l, j)

• · · (2) 上記ブロック化モード判定回路 25においては、具体的に、この数 1及び数 2 の数式を用いてフレームで求めた差分 E FMとフィールドで求めた差分 E FDとの差があるしきい値 T2よりも大きい（EFM— EFD>T2の時）と判定された場合は、上記 DCT回路 13での DCTをフィールド単位で行うことを示すデータ（プロック化処理におけるフィールド直交変換モードのデータ MDFD)を出力する。逆に、上記差分 EFMと上記差分 EFDとの差が上記しきい値 T2よりも小さいか或いは等しい（EFM— EFD≤T2の時）と判定された場合は、上記 DCT回路 13での D C Tを上記フレーム単位で行うことを示すデ一夕（ブロック化処理におけるフレーム直交変換モードのデータ MDFM)を出力する。これら何れかのブロック化処理モードデータ MDFM/MDFDは、上記アドレス発生器 1 1及び動き補償器付フレームメモリ群 2 0に伝送される。さらに、上記動きベクトルデータ（FM MVZFDMV) と上記ブロック化処理モードデータ（MDFMZMDFD) と上記予測モードデータ（MPFMZMPFD) は、上述の可変長符号化回路 1 5に送られてい ¾>。

上記アドレス発生器 1 1では、上記フレームメモリ群 1 0に蓄えられている面像データに対し、例えば上記マクロブロック単位で上記 D C T 1 3における処理モードデータ MDFMZMDFDに応じてブロック化されたマクロブ口ックを出力するようにフレームメモリ群を制御する。

すなわち、当該アドレス発生器 1 1において、上記ブロック化モードデータがフレーム単位での D CT処理を示すデータ MDFMの場合は、図 5 (B) に示すようにィ一ブンの画素とォッドの画素とが ¾Sに配列したマクロブ口ックを出力するようにフレームメモリ群を制御する。これにより、上記 D C T回路 1 3に送られるマクロブロックの単位プロックは、偶数フィールドと奇数フィールドとを合わせたものとなる。

逆に、上記ブロック化モードデータがフィールド単位での D C T処理を示すデ —夕 MDFDの場合は、図 5 (C) に示すように、イーブンの画素とォッドの画素とを別々に夯けて配列したマク口プロックを出力するようにフレームメモリ群を制御する。

これにより、上記 D C T回路 1 3に送られるマクロブロックの単位ブロックは、偶数フィールドと奇数フィールドとが別々に分けられたものとなる。ただし、ここで、上記 D C T回路 1 3では、上述したように、 8 X 8画素の単位ブロックで D C T変換を行う。なお、この図 5 (B)，図 5 (C) においては、奇数ラインは実線で示し、偶数ラインは点線で示している。

また、上記動き捕償器付フレームメモリ群 2 0には、上記動き予測モード判定回路 2 3からの予測モードデータ MPFM/M PFDと、上記 D C Tモード判定回路 2 5からの処理モードデータ MDFM/MDFDと、上記セレクタ 2 4で選択された動きベクトルデータ F MMVZF DMVとが供給されている。したがって、当該動き補償器付フレームメモリ群 2 0では、上記動き予測における予測モードデータ M PFM/M PFD及び D C T処理におけるブロック化モードデータ MDFM/MDFDに応じると共に、上記動きべクトルデータ F MMVZF DMVを用いた動き補償が行わ

〔実施例 2の説明〕

図 2は実施例 2を示すものである。尚、図 2において図 1と同じ番号が付されたブロックは同じ働きをするものである。従ってここでは図 1と異なる番号が付されたブロックについて述べる。

即ち、図 2の高能率符号化装置は、図 1の高能率符号化装置と同じ番号が付されたブロック以外に、

動き補償が上記フレーム予測モードで直交変換のブロック化が上記フレーム直交変換モードの場合と、動き補償が上記フィールド予測モードで直交変換のプロック化が上記フィールド直交変換モードの場合との何れの効率が良いかを上記動き検出手段から出力される情報により判定し、効率の良い予測モードを選択するモード選択手段であるモード判定回路 2 6及びセレクタ 2 4と、

1フレーム（1画面）について符号化処理のインタレースにおける奇数フィールドのスキャンを行う期間の奇数サイクルか偶数フィールドのスキャンを行う期間の偶数サイクルかを認識し、上記モード判定回路 2 6のモードがフィールド予測 'フィ一ルド処理の時のみ上記奇数サイクルでマク口プロック分の奇数フィ一ルドを順次 1フレーム分出力し、次いで上記偶数サイクルでマクロブロック分の偶数フィ一ルドを順次 1フレーム分出力するようにフレームメモリ群を制御するアドレス発生手段であるアドレス発生器 3 1とを備えたものである。尚、実施例 2は上記ブロック化のモードと上記動き捕償のモード分けのない符号化装置である。実施例 2が実施例 1と根本的に異なる点は上述のようにァドレス発生器の動作にある。

図 2における上記モード判定回路 2 6は、上記フレーム動き検出回路 2 2からの絶対値差分和データ FMADと上記フィールド動き検出回路 2 1からの絶対値差分和データ FDADとに基づいて、後述する動き捕償器付フレームメモリ群 2 0での動き予測処理の際に上記フレーム単位で動き予測処理を行うか或いはフィ—ルド単位で動き予測処理を行うかの判定を行うと共に、該判定結果（実施例 1の予測モードデータ MPFMZMPFDに相当する）と、上記動き検出回路（2 1、 2 2) からの動きべクトル FMMVZFDMVと、更に、上記フレームメモリ群 1 0からの画像とを用いて差分面像を作り、当該差分画像に基づいて、上記フレームメモリ群 I 0から出力されて上記 D C T回路 1 3で D C T処理される画像に最も適するブロック化処理のモードをも判定する。

即ち、当該モード判定回路 2 6では、動き予測がフレーム予測モードでブロック化がフレーム直交変換モード P DMと動き予測がフィールド予測モードでブ口ック化がフィ一ルド直交変換モ一ド P DFDの何れが効率良いかを判定しているのである。言い換えれば、当該モード判定回路は上記実施例 1におけ上記動き予測モ一ド判定回路 2 3と上記ブロック化モード判定回路 2 5の機能を合わせたような構成になっている。

尚、具体的なモードの判定は、例えば、実施例 1における動き予測モード及びブロック化モードの判定と同様に行うことができる。

また、上記ァドレス発生器 3 1では、上記フレームメモリ群 1 0に蓄えられてレ、る画像データに対し、例えば上記マクロブロック単位で上記モ一ドデータ P D FM/P DFDに応じてブロック化されたマクロブロックを出力するようにフレームメモリ群 1 0を制御する。すなわち、当該アドレス発生器 3 1において、上記モ一ドデータがフレーム単位での符号化処理を示すデータ P DFMの場合は、図 5 (B) に示すマクロブロックを出力するようにフレームメモリ群 1 0を制御する。これにより、上記 D C T回路 1 3に送られるマクロブロックの単位ブロックは、偶数フィールドと奇数フィールドを合わせたものとなる。

逆に、上記モードデータがフィールド単位での符号化処理を示すデータ P DFD の場合は、上記奇数サイクルで上記マクロブ口ック分の奇数フィールドを順次 1 フレーム（ 1画面）分出力し、次いで上記偶数サイクルで上記マクロブロック分の偶数フィールドを順次 1フレーム（1画面）分出力するようフレームメモリ群 1 0を制御する。これにより、上記 D C T回路 1 3に送られるマクロブロックの単位ブロックは、奇数サイクルでは奇数フィールドのみで構成されたマクロプロックとなり、偶数サイクルでは偶数フィールドのみで構成されたマクロプロックとなる。

すなわち、上述した本実施例 1、 2の画像信号の高能率符号化装置においては、動き予測におけるフレーム予測モードとフィールド予測モ一ド、及び又は D C T 処理のブロック化におけるフレーム直交変換モードとフィールド直交変換モードをマクロブロック単位で切り換えることができるため、当該マクロブロック単位で最も効率の良、符号化が可能となっている。

本実施例 1及び 2の符号化装置は、具体的には、例えばいわゆるディジタル V TRのフォーマット毎に以下に示すような動き予測及び D C T変換の処理を行つている。

ここで、図 1 1、図 1 0 (A) (B) においては、

前記 Iフレーム（ Iピクチャ）のフレームを構成するフィールドを I o フィールド（ Iフレームの奇数フィールド）， I e フィールド（ Iフレームの偶数フィ一ルド）とし、

上記 Pフレーム（Pピクチャ）を構成するフィールドを Po フィールド（奇数フィ一ルド）， Pe フィールド（偶数フィールド）とし、

上記 Bフレーム（Bピクチャ）を構成するフィールドを Bo フィールド（奇数フィ一ルド）， Be フィールド（偶数フィールド）としている。

また、本実施例 2においては、前述した図 5 (B) に示すように、ブロック化におけるフレーム直交変換モードは奇数フィ一ルドと偶数フィールドとを合わせて前記マクロブロックを構成（すなわちフレーム毎にマクロブロックを構成) してこのマクロブロックを処理単位とするモードである。また、前述した図 5 (C) に示すように、ブロック化におけるフィールド直交変換モードは、奇数フィールドと偶数フィ一ルドとで別々にマクロブ口ックを構成（すなわちフィ一ルド毎にマク口ブロックを構成）してこのマクロブロックを処理単位とするモードでぁる。したがつて、例えば、 Iフレームでは、上記マクロブロック毎にフレー厶直交変換モードと、フィ一ルド直交変換モードとが切り換えられることにな更に、本実施例 2の高能率符号化装置においては、 1つのフレームについて、符号化の処理がインターレースにおける奇数フィールドのスキャンを行う期間のォッドサイクルと、偶数フィールドのスキャンを行う期間のイーブンサイクルとで分けられている。

実施例 1の場合、例えば、いわゆる 4:2:0 コンポーネントのディジタル VTR フォーマットを扱う場合は、図 9に示すように、上記ブロック化がフレーム直交変換モードの時は、奇数フィ一ルド及び偶数フィ一ルドからなる輝度ブロック Υ 0， Y1， Υ2 , Υ3 と、奇数フィールドの色差ブロック CbO, Crlからなるマク口ブロックの各単位ブロックの D C T処理が行われる。

これに対し、上記ブロック化がフィールド直交変換モードの時は、各奇数フィールドの輝度プロック Υ02ο , Y13o と各偶数フィールドの輝度プロック Y02e , Y13e及び上記奇数フィールドの色差ブロック CbO, Crlからなるマクロプロック MBの各単位プロックの D C T処理が行われる。

また、この図 9の例の場合の動き予測は、図 1 0 (A) に示すように、上記フレーム予測モードの時は Iフレームと Pフレーム間の動き予測 MC Pとが可能となる。これに対しフィールド予測モードでは、

I 0 フィールドと Po フィールドとの間の動き予測 MCo Po と、

I 0 フィールドと Pe フィールドとの間の動き予測 MCo Pe と、

I e フィールドと Po フィールドとの間の動き予測 MCe Po と、

I e フィールドと Pe フィールドとの間の動き予測 MCe Pe とが可能となる。すなわち、この図 1 0 (A) の場合、動き予測及びブロック化がフレーム予測 / 処理モードとフィールド予測/処理モードとで独立に存在でき、フレーム予測モ一ドでは動きべクトルが 1つ求められ、フィ一ルド予測モードでは動きべ.クトルが 2つ求められる。

従って、本実施例 1においては、例えば、 Iフレームの上記ブロック化がフレーム直交変換モ一ドの時は、上記ォッドサイクルで、上記 I 0 フィールドと I e ' フィールドとが組み合わされて上記マクロブロックが構成され、例えば上記ォッドサイクルで、当該マクロブロック毎に D C T変換（ただし D C Tは 8 X 8の上記単位ブロック毎になされる），量子化，可変長符号化がなされる。これに対して、イーブンサイクルでは、何もデータは送らない。

また、上記ブロック化がフィールド直交変換モードの時は、上記ォッドサイクルでは上記 I 0 フィールドと I e フィールドとが別々に分かれた形で上記マクロブロックが構成され、当該マクロブロック毎に D C T変換（ただし D C Tは 8 X 8の上記単位ブロック毎になされる），量子化，可変長符号化がなされる。これに対して、イーブンサイクルでは、図 9からも分かるように何もデータは送らない。

次に Pフレームの場合は、以下の様な処理が行われる。例えば、 Pフレームの上記ブロック化がフレーム直交変換乇一ドで動き予測がフレーム予測モードの時は、上記ォッドサイクルでは参照画像を向の画像（Iフレームの画像）としてフレーム化間の動きベクトル MVPを検出し、 I o フィールドと I e フィ一ルドが交互に組み合わされた上記マクロブロックを予測画像として原画像との差分を符号化する。一方、イーブンサイクルでは、何もデータを送らない。

また、 Pフレームの上記ブロック化がフレーム直交変換モードで動き予測がフィールド予測モードの時は、上記ォッドサィクルでは I 0 フィールドと I e フィ一ルド（又は Po フィールドと Pe フィールド）をそれぞれ参照、画像として、 I o フィールドと Po フィールドとの間の動きべクトル MVo Po、

I e フィールドと Po フィールドとの間の動きべクトル MVe Po、

I o フィールドと Pe フィールドとの間の動きべクトル MVo Pe、

I e フィールドと Pe フィールドとの間の動きべクトル MVe Peを検出し、奇数フィールドの予測と偶数フィールドの予測と両方の予測（例えば、偶数フィールドの予測と奇数フィールドの予測の平均）の内、現 Pフレームとの予測誤差が最小となる予測を選択し、 I o フィールドと I e フィールドが組み合わされた上記マクロブロックを予測画像として原画像との差分を符号化する。一方、ィ一ブンサイクルでは何もデータは送らなレ、。

さらに、 Pフレームの上記ブロック化がフィ一ルド直交変換モードで動き予測がフレーム予測モードの時は、上記ォッドサイクルでは参照画像を Iフレームの面像（又は Pフレームの面像）として、フレーム間の動きベクトル MVPを検出し、 I o フィールドと I e フィールドが別々に分かれて構成された上記マクロブロックを予測画像として原画像 (Po フィールドと Pe フィ一ルドが別々に分かれてネ奪成されたマクロブロック）との差分を符号化する。一方、イーブンサイクルでは上記同様何もデータは送らない。

また、 Pフレームの上記ブロック化がフィールド直交変換モードで動き予測がフィールド予測モードの時は、上記ォッドサイクルでは I 0 フィールドと I e フィールド（又は Po フィールドと Pe フィールド）をそれぞれ参照画像として、

I 0 フィールドと Po フィールドとの間の動きべクトル MVo Po、

I e フィールドと Po フィールドとの間の動きベクトル MVe Po、

I e フィールドと Pe フィールドとの間の動きベクトル MVe Pe を検出し、奇数フィールドの予測と偶数フィールドの予測と両方の予測（例えば、偶数フィールドの予測と奇数フィールドの予測の平均）の内、現 Pフレームとの予測誤差が最小となる予測を選択し、 I 0 フィールドと I e フィ一ルドが別々に分かれて構成された上記マクロブロックを予測画像として原画像 (Po フィールドとフィ一ルドが別々に分かれて構成されたマクロブロック）との差分を符号化する。一方、イーブンサイクルでは何もデータは送らない。

さらに、 Bフレームの場合は以下の様な処理が行われる。

例えば、 Bフレームの上記ブロック化がフレーム直交変換モ一ドで動き予測がフレーム予測モードの時は、上記ォッドサイクルでは参照画像を前方と後方の画像としてフレーム間の動きベクトル、即ち、 Iフレームと Bフレームとの間の動きべクトル FMV B及び Pフレームと Bフレームとの間の動きべクトル BMV B を検出し、前方予測と後方予測と両方向予測（前方予測と後方予測との平均）との内、現フレームとの予測誤差が最小となる予測を選択し、奇数フィ一ルドと偶数フィ一ルドが交互に組み合わされた上記マクロブロックを予測画像として原画像との差分を符号化する。一方、イーブンサイクルでは何もデータは送らない。また、 Bフレームの上記ブロック化がフレーム直交変換モードで動き予測がフィールド予測モードの時は、上記ォッドサイクルでは参照画像を前方と後方の画像としてこれらの画像について、それぞれ奇数フィ一ルドの予測と偶数フィールドの予測を行い、それぞれの動きベクトル、即ち、

I o フィールドと Bo フィールドとの間の動きベクトル FMVo Bo、

I e フィールドと Bo フィールドとの間の動きべクトル FMVe Bo、

I o フィールドと Be フィールドとの間の動きべクトル FMVo Be、

I e フィールドと Be フィールドとの間の動きべクトル FMVe Be、

Po フィールドと Bo フィールドとの間の動きべクトル BMVo Bo、

Pe フィールドと Bo フィールドとの間の動きべクトル BMVe Bo、

Po フィールドと Be フィールドとの間の動きベクトル BMVo Be、

Pe フィールドと Be フィールドとの間の動きべクトル BMVe Beを検出し、それぞれのべクトルによる奇数フィールドの予測と偶数フィールドの予測両方の予測（例えば、偶数フィールドの予測と奇数フィールドの予澌の平均）の内、現フレームとの予測誤差が最小となる予測を選択し、 I o フィールドと I e フィ —ルド（又は Po フィールドと Pe フィールド）が組み合わされた上記マクロブロックを予測画像として原画像との差分を符号化する。一方、イーブンサイクルでは何もデータは送らない。

さらに、 Bフレームの上記ブロック化がフィ一ルド直交変換モードで動き予測がフレーム予測モードの時は、上記ォッドサイクルでは参照画像を前方と後方の画像としてフレーム間の動きベクトル、即ち、 Iフレームと Bフレームとの間の動きべクトル FMVB及び Pフレームと Bフレームとの間の動きべクトル BMV Bを検出し、前方予測と後方予測と両方向予測（前方予測と後方予測との平均）との内、現フレームとの予測誤差が最小となる予測を選択し、奇数フィールドと偶数フィ一ルドが別々に分かれて構成された上記マクロブロックを予測面像として原画像との差分を符号化する。一方、イーブンサイクルでは何もデータは送らない。また、 Bフレームの上記ブロック化がフィ一ルド直交変換モードで動き予測がフィ一ルド予測モードの時は、上記ォッドサイクルでは参照画像を前方と後方の画像としてこれらの画像にっレ、て、それぞれ奇数フィ一ルドの予測と偶数フィ一ルドの予測を行い、それぞれの動きベクトル、即ち、

I 0 フィールドと Bo フィールドとの間の動きベクトル FMVo Bo、

I e フィールドと Bo フィールドとの間の動きベクトル FMVe Bo、

I o フィールドと Be フィールドとの間の動きベクトル FMVo Be、

I e フィールドと Be フィールドとの間の動きベクトル FMVe Be、

Po フィールドと Bo フィールドとの間の動きベクトル BMVo Bo、

Po フィールドと Be フィールドとの間の動きべクトル BMVo Be、

Pe フィールドと Be フィールドとの間の動きべクトル BMVe Be を検出し、それぞれのべクトルによる奇数フィールドの予測と偶数フィ一ルドの予測と両方の予測（例えば、偶数フィールドの予測と奇数フィールドの予測の平均）の内、現フレームとの予測誤差が最小となる予測を選択し、 I o フィールドと I e フィ一ルド（又は Po フィールドと Pe フィールド）が別々に分かれて構成された上記マクロブロックを予測画像として原画像との差分を符号化する。一方、ィーブンサイクルでは何もデータは送らない。

ただし、実施例 1の場合、図 1 0 (A) からもわかる様に I o フィールドと I e フィールドとの間の動き予測と、 Po フィールドと Pe フィールドとの間の動き予測と、 Bo フィールドと Be フィールドとの間の動き予測ができない。

この場合、実施例 2を用いれば、それぞれのピクチャーにおいて、奇数フィ一ルドから偶数フィールドへの予測ができる。即ち、例えば図 1 2に示すように、上記ブロック化がフレーム直交変換モードの時は、ォッドサイクルで、奇数フィ一ルド及び偶数フィールドからなる輝度ブロック Y0 , Yl , Y2 , Y3 と、奇数フィールドの色差ブロック CbO, C rlからなるマク口ブロック MBの各単位ブロックの D C T処理を行うようにし、更に、上記ブロック化がフィールド直交変換モードの時は、ォッドサイクルで上記奇数フィールドの各輝度ブロック Y02o , Y13o と上記奇数フィールドの各色差ブロック CbO, Crlとの各単位ブロックを D CT処理する。その後、イーブンサイクルで偶数フィールドの各輝度ブロック Y02e , Y13e の各単位ブロックを D CT処理する。

この図 1 2の例の場合の動き予测ま、図 1 0 (B) に示すように、上記図 1 2 の各動き予測 MC P, MCo Po , MCo Pe , MCe Po , MCe Pe の他に、 I o フィールドと I eフィールドとの間の動き予測 SMC Iと、 Po フィールドと Pe フィールドとの間の動き予測 SMC Pが可能となる。

従って、実施例 2においては、例えば、 Iフレームの上記ブロック化が 7レーム直交変換モードの時は、上記ォッドサイクルで、上記 I o フィールドと I e フィールドとが組み合わされて上記マクロブロックが構成され、例えば上記ォッドサイクルで、当該マクロブロック毎に D C T変換（ただし D CTは 8 X 8の上記単位ブロック毎になされる），量子化，可変長符号化がなされる。これに対して、イーブンサイクルでは、何もデータは送らなレ、。

また、上記ブロック化がフィールド直交変換モードの時は、上記ォッドサイクルではマクブロックの奇数フィールドのみを同様に符号化する。これにより、例えば上記ォッドサイクルの終わった時点では、後述する復^側では上記 I 0 フィールドの全面及び、上記フレーム直交変換モードによる I e フィールドのマクロブロック部分が得られることになる。更に、 Iフレームの上記イーブンサイクルでは、上記フィールド直交変換モードによる I e フィ一ルドのマクロブ口ックについて、上記 I o フィールドを参照画像として動き予測を行い、その動きべクトル SMV I及び予測画像との差分画像を符号化する。

上記 Pフレームの場合は以下のような処理が行われる。例えば、上記 Pフレームの上記ブロック化がフレーム直交変換モードで動き予測がフレーム予測モードの時は、上記ォッドサイクルでは参照画像を前方向の画像 ( Iフレームの画像）としてフレーム間の動きべクトル MVPを検出し、 I o フィールドと I e フィールドが組み合わされた上記マクロプロックを予測画像として原画像との差分を符号化する。一方、イーブンサイクルでは何もデータは送らない。

また、上記ブロック化がフィールド直交変換モードで動き予測がフィールド予測モードの時は、上記ォッドサイクルでは I 0 フィ一ルドと I e フィールド（または Po フィールドと Pe フィールド）をそれぞれ参照画像像として、

I o フィールドと Po フィールドとの間の動きべクトル MVo Po及び、 I e フィールドと Po フィールドとの間の動きベクトル MVe Po を検出し、奇数フィールドの予測と偶数フィールドの予測と両方の予測（例えば偶数フィールドの予測と奇数フィールドの予測の平均）の内、現フレームの奇数フィールドとの予測誤差が最小となる予測を選択し、その予測画像との差分を符号化する。これに対し、このモードのイーブンサイクルでは、フィールド直交変換モードのマクロブロックに対し、

I o フィールドと Pe フィールドとの間の動きべクトル MVo Pe及び、 I e フィールドと Pe フィールドとの間の動きベクトル MVe Pe及び、 Po フィールドと Pe フィールドとの間の動きベクトル SMV Pを検出し、それぞれのベクトルによる奇数フィールドの予測と偶数フィ一ルドの予測と現フレームの奇数フィールドの予測（イーブンサイクルのみ行う Po フィールドからの動き予測）とそれらの内から 2つの予測の平均による予測との中から予測誤差が最小となる予測を選択し、その予測画像との差分を符号化する。

更に例えば、 Bフレームの上記ブロック化がフレーム直交変換モードで動き予測がフレーム予測モードの時は、上記ォッドサイクルで、参照画像を前方と後方の画像としてフレーム間の動きべクトルすなわち Iフレームと Bフレームとの間の動きべクトル FMVB及び Pフレームと Bフレームとの間の動きべクトノレ BM VBを検出し、前方予測と後方予測と両方向予測（前方予測と後方予測との平均）との内、現フレームとの予測誤差が最小となる予測を選択し、その予測画像との差分を符号化する。一方、イーブンサイクルでは何もデータは送らない。また、上記ブロック化がフィールド直交変換モードで動き予測がフィールド予測モードの時は、ォッドサイクルで参照画像を前方と後方としてこれら画像についてそれぞれ奇数フィールドの予測と偶数フィールドの予 tfを行い、それぞれの動きべクトル即ち、

- I o フィールドと Bo フィールドとの間の動きべクトル FMVo Bo ,

I e フィールドと Bo フィールドとの間の動きべクトル FMVe Bo，

Po フィールドと Bo フィールドとの間の動きべクトル BMVo Bo , .

Pe フィールドと Bo フィールドとの間の動きべクトル BMVe Boを検出する。以下上述と同様にして予測誤差が最小となる予測を選択し、その予測面像との差分を符号化する。更に、このモードのイーブンサイクルでは、

I o フィールドと Be フィールドとの間の動きベクトル FMVo Be ,

I e フィールドと Be フィールドとの間の動きべクトル FMVe Be，

Po フィールドと Be フィールドとの間の動きベクトル BMVo Be ,

Pe フィールドと Be フィールドとの間の動きべクトル BMVe Beによる各予測、更に、現フレームの奇数フィールドの予測（すなわち Bo フィールド Be フィールドとの間の動きベクトル SMVBによる予測）も加えて行い、予測誤差が最小となる予測を選択し、その予測画像との差分を符号化する。

更に、本実施例 1において、例えば、いわゆる 4:2:2 コンポーネントのデイジタル VTRフォーマットを扱う場合は、図 1 3に示すように、上記フレーム直交変換モードの時は、奇数フィールド及び偶数フィールドからなる輝度ブロック Y 0 , Yl , Y2 , Y3及び奇数フィールドと偶数フィールドからなる色差ブロック CbOl , CrOl , Cb23 , C r23で構成されるマクロブロックの各単位ブロックの D C T処理が行われる。フィールド直交変換モードの時は、奇数フィールドの各輝度ブロック Y02o， Y13o及び各奇数フィールドの色差ブロック Cb0123o, Cr0123oと、偶数フィールドの各輝度ブロック Y02e， Y13e及び各偶数フィ一ルドの色差ブロック C b0123e, C r0123eからなるマクロブロックの各単位ブ口ックの D C T処理が行われる。

また、この図 1 3の例の場合の動き予測は、上述した図 1 0 (A) に示すようになる。よって、 I o フィールドと I e フィールドとの間の動き予測、 P o フィ —ルドと P e フィールドとの間の動き予測と、 B o フィールドと B e フィールドとの間の動き予測ができない。

したがって、この場合は上述のように、実施例 2を用いればよい。即ち、例えば、図 1 3に示すように、上記ブロック化がフレーム直交変換モードの時は、ォッドサィクルで奇数フィールド及び偶数フィールドからなる輝度ブロック Y0， Y1， Y2， Y3及び色差ブロック CbOl , CrOl , Cb23 , Cr23からなるマクロブロックの各単位ブロックの D C T処理を行うようにし、更に、ブロック化がフィ一ルド直交変換モードの時は、ォッドサイクルで上記奇数フィ一ルドの各輝度ブロック Υ02ο， Υ13ο と上記奇数フィールドの各色差ブロック Cb0123o, Cr0123oとの各単位ブロックを D C T処理する。その後、イーブンサイクルで偶数フィールドの各輝度ブロック Y02e , Y13e及び偶数フィールドの各色差プロック C b0123e, C r0123eの各単位プロックを D C T処理する。

この図 1 3の例の場合の動き予測は、図 1 0 (B ) と同様になる。

また更に、本実施例し 2において、上記 4:2:2 コンポーネントのディジタル VT Rフォーマットを扱う場合は、上述した図 1 3のような処理の他に、例えば、図 1 4に示すように、フレームの動き予測はマクロブロック MB単位で行うが、フィールドの動き予測をする場合には、あるマクロブロック MB (i， j) と、その下に位置するマクロブロック MB (i+l，j) とを組にして、このマクロブロックの組 MBgに対して奇数フィールドの動き予測と偶数フィールドの動き予測を行うようにすることも可能である。

この図 1 4の例の場合のフレームの一部のマクロブロックを抜き出したものを図 1 5に示す。なお、図 1 5の図中矢印方向に処理が進むとする。すなわち、この図 1 5には、あるマクロブロック MB (i, j) に対して次のマクロブロック MB (i, j+1) と、それらの下に位置する（次のラインの）マクロブロック MB (i+l， j) 及び MB (i+l， j+1) を示している。

この図 1 5に示すようなマクロブロックにおいて、例えば、フレーム直交変換モードの場合は、各マクロブロック MB (i，j)， MB G, j+1) , · · ·， MB (i +1, j) , MB (i+l, j+1) · · '毎に、各輝度ブロック Y0， Y l及び色差.プロック CbOl , CrOl が D CT処理される。このため、当該フレーム直交変換モードの場合は、各マクロブ口ックの処理が他めマクロブロックの処理モードに影響されない。

これに対し、フィールド直交変換モードの場合は、図 1 6に示すように、上記マクロブロックの組 MBg に対して、当該マクロブロックの組 MBgを構成するマクロブロックを奇数フィ一ルドのマクロブロック M B goと偶数フィールドのマク口プロック MB geに分け、上記奇数フィールドのマクロブロック MB go内の各輝度ブロック YOo , Yloと色差ブロック CbOlo, CrOloを D CT処理する。ここで、例えば当該マクロブロックの組 M B gが、上記図 1 5のマクロブロック MB (i，j) と MB (i+l, j) とで構成されているとすると、当該マクロブロック MBg内の上記奇数フィールドのマクロブロック M B go内の輝度ブロック ΥΟο, Yloは、上記マクロブロック MB (i，j) の奇数フィールドの輝度ブロックと上記マクロブロック M B (i+I, j) の奇数フィールドの輝度プロックからなるものである。また、当該奇数フィールドのマクロブロック MB go内の色差ブロック CbOlo, CrOloは、同じく上記マクロブロック MB (i，j) の奇数フィールドの色差ブロックと上記マクロブロック M B (i+l， j) の奇数フィールドの色差プロックからなるものである。

同様なことから、上記偶数フィールドのマクロブロック M B ge内の輝度プロック YOe , Yleは、上記マクロブロック MB (i, j) の偶数フィールドの輝度プロックと上記マクロブロック MB (i+l， j) の偶数フィ一ルドの輝度ブロックからなるものであり、当該偶数フィールドのマクロブロック M B ge内の色差ブロック C b01e， CrOleは、上記マクロブロック MB (i， j) の偶数フィールドの色差ブロックと上記マクロブロック M B (i+l， j) の偶数フィールドの色差プロックからなるものである。

上述したようなことから、動き予測と D C T変換の各処理モードとの関係は、以下に述べるようになる。すなわち、本実施例の符号装置においては、例えば上記マクロブロック MB (i， j) について、フレーム直交変換乇一ドの動き予測で、フレーム直交変換モードの D C T変換である場合、例えば、前記動き補償器付フレームメモリ群 2 0の中で復号化された画像を参照フレームとし、この参照フレー厶から取り出した予測画像と、入力画像（原画像）との差分を D C T変換する。そしてその D C T係数とフレーム動きべクトルとを伝送する。

また、例えば、上記マクロブロック MB (i， j) において、フィールド直交変換モードの動き予測で、フィールド直交変換モードの D C T変換である場合、当該マクロブロック MB (i，； j) では、奇数フィールドから取り出した予測画像と奇数フィールドの原画像との差分と、奇数フィールドの動きべクトルとを符号化する。また、上記マクロブロック MB (i+l, j) では、偶数フィールドから取り出した予測画像と偶数フィールドの原画像との差分と、偶数フィールド動きべクトルとを符号化する。

更に、例えば、上記マクロブロック MB (i，j) において、フィールド直交変換モードの動き予測で、フレーム直交変換乇一ドの D C T変換である場合、当該マクロブロック MB (i，； i) では、参照フレームから取り出した当該マクロブロック MB (i，j) の位置に対する予測画像と入力画像とのフレーム差分と、奇数フィールドの動きべクトルと偶数フィールドの動きべクトルを伝送する。また、上記マクロブロック MB (i+l, j) では、参照フレームから取り出した当該マクロブロック MB (i+l, j) の位置に対する予測画像と入力面像とのフレーム差分を伝送する。また更に、例えば、上記マクロブロック MB (i, j) において、フレーム直交変換モードの動き予測で、フィールド直交変換モードの D CT変換である場合、当該マクロブロック MB(i，j) では、奇数フィールドから取り出した予測画像と奇数フィールドの原画像との差分と、当該マクロブロック MB (i， j) のフレーム動きベクトルと、上記マクロブロック MB (i+l, j) のフレーム動きベクトルを伝送する。また、上記マクロブロック MB (i+l, j) では、奇数フィールドの予測面像と入力画像との差分を伝送する。

ところで、本符号化装置では、従来のマクロブロックタイプに拡張ビットを付加して従来との互換性をとることにより本符号を実現してレ、る。

即ち、実施例 1の場合、例えば Bフレームにおいて、マクロブロックタイプは上述のように前予測、後予測、雨予測の 3つがあるが、前予測についてフィ一ルド予測モードの時は前フレームの奇数フィールドと偶数フィールドからの予測の 2通りが考えられるので、レ、ずれかの予測か認識する拡張ビットを加えることにより本符号を実現している。この場合の予測は 2通りなので、拡張ビットは 1つの方向（前、後予測）について、 1ビット付加すればよい。例えば、前又は後予測で奇数フィールドからの予測の場合は、符号 1を、偶数フィールドからの予測の場合は、符号 0を拡張ビットとして従来のマクロブロックタイプに付加すればよいのである。また、両予測では、前又は後予測について雨方の拡張ビットが付加される。尚、フレーム予測モードであれば、拡張ビットは付加せず、従来のビットストリーム（M P E G) と同じ形式となる。

以上のことは、 Pフレームの場合でも同様に適用される。

次に、実施例 2の場合、例えば Bフレームにおいて、マクロブロックタイプは、上述のように前予測、後予測、両予測があるが、前予測についてフィールド予測モードの時、奇数フィールドからの予測か、偶数フィールドからの予測か、自己のフレーム内の奇数フィールドからの予測か認識させる拡張ビットをマクロブ口ックタイプに付加しなければならない。即ち、前予測のフィールド予測モードでは、自己フレーム内からの予測があるので、奇数 ·偶数を含め、 3通りの予測を拡張ビットで表現するためには、 1又は 2ビットの拡張ビットが必要となり、後予測のフィールド予測モードでは、奇数'偶数の 2通りのみであるので、常に拡張ビットは 1ビット必要となる。例えば、前予測では、前フレームの奇数フィールドからの予測の場合は符号 1、前フレームの偶数フィールドからの予測の場合は符号 0 1、現フレームの奇数フィールドからの予測の場合は符号 1 1を付力 Πし、後予測では、後フレームの奇数フィールドからの予測の場合は符号 1、後フレームの偶数フィ一ルドからの予測の場合は符号 0を、拡張ビットとして従来のマクロブロックタイプに付加すればよいのである。

尚、フレームモードであれば、拡張ビットは付加せず、従来のビットストリーム（M P E G) と同じ形式となる。また、両予測では、前又は後予測について両方の拡張ビットが付加される。

以上のことは Pフレームの場合でも同様に適用される。

さらに、この変形として、上記前予測の場合の拡張ビットを 1 ビットに減らすこともできる。即ち、フィールド予測モードにおけるイーブンサイクルにおいて、図 1 7に示すように、時間的及び位置的に一番離れた前フレームの奇数フィ一ルドからの予測を廃止することにより、前予測を 2つに減らし、 1 ビットの拡張で前予測モードを伝送できる。具体的には、ォッドサイクルで前予測では、前フレームの奇数フィールドからの予測の場合は符号 1、前フレームの偶数フィ一ルドからの予測の場合は符号 0、又、イーブンサイクルで前予測では、現フレームの奇数フィ一ルドからの予測の場合は符号 1、前フレームの偶数フィールドからの予測の場合は符号 0、更に、後予測では、後フレームの奇数フィールドからの予測の場合は符号 1、後フレームの偶数フィ一ルドからの予測の場合は符号 0を、拡張ビットとして従来のマクロブロックタイプに付加すればよい。

〔実施例 3の説明〕

図 3は、本発明の第 3の実施例の画像信号の高能率符号化装置を示すものである。図 3において、図 1と同じ番号が付されたブロックは図 1のブロックと同じ働きをするものである。従って、ここでも図 1と異なる番号が付されたブ!？ックについて述べる。

即ち、図 3の高能率符号化装置は、動き補償が上記フレーム予測モードで直交変換のブロック化が上記フレーム直交変換モードの場合と、動き補償が上記フィ —ルド予測モードで直交変換のブロック化が上記フィ—ルド直交変換モードの場合との何れの効率が良いかを上記動き検出手段から出力される情報により判定し、効率の良い予測モードを選択するモード選択手段であるモード判定回路 3 3及びセレクタ 2 4と、 1フレーム（ 1画面）について符号化処理のィン夕レースにおける奇数フィ一ルドのスキャンを行う期間の奇数サイクルか偶数フィールドのスキャンを行う期間の偶数サイクルかを認識し、上記モ一ド判定回路 3 3のモ一ドがフィールド予測，フィールド処理の時のみ上記奇数サイクルでマク口ブロック分の奇数フィールドを順次 1フレーム分出力し、次いで上記偶数サイクルでマクロブロック分の偶数フィールドを順次 1フレーム分出力するようにフレームメモリ群を制御するァドレス発生手段であるァドレス発生器 3 5とを備えたものである。この図 3に示す第 3の実施例の画像信号の高能率符号化装置は、上記動き検出手段及びフレーム Zフィールドモード判定回路 3 3と共に、 1フレーム内の各マクロブロック毎に上記直交変換のプロック化を上記フレーム直交変換モード又は上記フィ一ルド直交変換モードに適応的に切り換えて各モードに基づき各マクロブロックを符号化する第一の符号化処理モードと、 1フレーム内の全てのマクロブロックの上記直交変換のプロック化を上記フィ一ルド直交変換モードで行いィン夕レースにおける奇数フィールドのスキャンを行う期間の奇数サイクル（ォッドサイクル）でマクロブロックにおける奇数フィールドのみ 1フレーム分符号化し次いでインタレースにおける偶数フィ一ルドのスキャンを行う期間の偶数サイクル（イーブンサイクル）でマクロブロックにおける偶数フィールドを 1フレーム分符号化する第二の符号化処理モードとの何れが符号化するに際して効率が良いかを判定し、効率の良い符号化処理モードを選択する第三のモード選択手段である符号化処理モード判定回路 3 4を有している。

またさらに、本実施例装置は、上記奇数サイクルか上記偶数サイクルかを認識し、上記符号化処理モードが第一の符号化処理モードの場合には上記奇数サイクルで上記直交変換のプロック化のモードに対応してブロック化されたマクロブロックを出力するように上記フレームメモリ群 1 0を制御し、上記符号化処理モードが第二の符号化処理モードの場合には上記奇数サイクル及び偶数サイクルで上記フィ一ルド直交変換モードに対応してプロック化されたマクロブロックを出力するように上記フレームメモリ群 1 0を制御するァドレス発生器 3 5とを備えたものである。

ここで、本実施例の符号化装置においては、上述した第一のモード選択手段によつて上記フレーム動き予測モードとフィールド動き予測モードの何れが動き補償をするに際して効率が良いかを選択し、上記第二のモード選択手段によって上記フレーム直交変換モードとフィールド直交変換モードの何れが直交変換を行うに際して効率が良いかを選択することができる。なお、この第—，第二のモード選択は上述のフレーム Zフィ一ルドモード判定回路 3 3によりなされる。

また、本実施例装置は、上記第—，第二のモード選択手段によるモード選択処理と &に、各フレームについて 2つの符号化処理モードの何れか効率の良い方で符号化を行うようになされている。すなわち、上述したように第一の符号化処理モードとしては、 1フレーム内の各マクロブロック毎に上記フレーム直交変換モ一ドと上記フィールド直交変換モードとを適応的に切り換えて各マクロブロックを符号化する。

更に、上述したように第二の符号化処理モードとしては、 1フレーム内の全てのマクロプロックの直交変換のブロック化を上記フィールド直交変換モ一ドで行レ、、奇数フィールド（第 1フィールド）のスキャンを行う期間の奇数サイクルでマクロブロックにおける奇数フィールドのみ 1フレーム分符号化し、次いで偶数フィールド（第 2フィールド）のスキャンを行う期間の偶数サイクルでマクロブロックにおける偶数フィールドを Iフレーム分符号化する。上記第三のモード選択手段によってこれら第—，第二の符号化処理モードのうち何れが符号化するに際して効率が良いかを判定し、効率の良い符号化処理モードを選択するようにしている。

すなわち、上記第一の符号化処理モードでは、各フレームを第 1フィールド (奇数フィールド）と第 2フィールド（偶数フィールド）に分割せずにブロック化して符号化するモード（上記フレーム直交変換モード）と、各フレームを第 1 , 第 2フィールドに分割してフィールドでブロック化して符号化するモード（上記フィ一ルド直交変換モード）とのうち、例えば画像の動きの小さいマクロブロックでは上記フレーム直交変換モードを用い、逆に例えば画像の動きの大きいマク口プロックでは上記フィールド直交変換モードを用いるように適応的に切り換える処理を行う。したがって、当該第一の符号化処理モードにおいて上記フレーム直交変換モードが選ばれた場合、例えば上記 P， Bフレームの動き予測では、前後のフレームから動き予測がなされ、この予測画との差分画像が直交変換（D C T) される。また、当該第一の符号化処理モードにおいて上記フィールド直交変換モードが選ばれた場合、例えば上記 P， Bフレームの動き予測は、マクロブロックの第 1フィールド，第 2フィールドのそれぞれについて前，後のフレームの第 1又は第 2 フィールドから動き予測され、この予測画との差分画像が D C T変換される。このようなことから、第一の符号化処理モードは、フレーム内フィールド間予測無しの符号化ということができる。また、この第一の符号化処理モードでは、上記奇数サイクルで符号化処理がなされる。なお、この第一の符号化処理モードは、フレーム内フィールド間予測無しの符号化と言うことができる。

ここで、上記第一の符号化処理モ一ドにおいては、.フレーム内の各フィールド間（同一フレーム内の奇数フィールドと偶数フィールドとの間の動き予測ができないことになる。

したがって、本実施例の上記第二の符号化処理モードでは、上述したように、各フレーム内の全てのマクロブロックの直交変換のブロック化を上記フィールド直交変換モードで行うようにしており、奇数サイクルでマクロブ口ックにおける奇数フィールドのみ 1フレーム分符号化し、次いで偶数サイクルでマクロブロックにおける偶数フィールドを 1フレーム分符号化している。したがって、この第二の符号化処理モードによれば、奇数フィールド（第 1フィールド）を先に符号化しているので、偶数フィールド（第 2フィールド）はこの奇数フィールド（第 1フィールド）からの動き予測が可能となる。なお、このようなことから、上記第二の符号化処理モードは、フレーム内フィールド間予測有りのフレームの符号化と言うことができる。

再び図 3に戻って、上記セレクタ 2 4は、上記フレーム /フィールドモード判定回路 3 3からの動き予測モ一ドデータ MPFMZMPFDに応じて、上記フレーム動き検出回路 2 2から俄給されているフレーム間の動きべクトルのデータ FMMV と、上記フィールド動き検出回路 2 1から供給されているフィールド間の動きべクトルのデータ F DMVのいずれかを選択出力する。すなわち、上記動き予測モードデータがフィールド動き予測モードを示すデータ MPFDの時は上記フィールド動き検出回路 2 1からの動きべクトルデ一夕 F DMVを選択して出力し、上記動き予測モードデータがフレーム動き予測モ一ドを示すデータ MPFMの時には上記フレーム動き検出回路 2 2からの動きべクトルデ一夕 FMMVを選択して出力する。当該セレクタ 2 4で選択された動きべクトルデータ FMMVZF DMVは、上記動き補償器付フレームメモリ群 2 0に送られるようになつている。これにより、当該フレームメモリ群 2 0では、上記動き予測モードデータ MPFMZMPFDと動きべクトルデータ FMMVZF DMVとに基づいて、フレーム単位或いはフィールド単位で動き補償を行うことが可能となる。

また更に、上記フレームノフィールドモード判定回路 3 3には、上記フレームメモリ群 1 0から読み出された上記マクロブロック単位の画像データも供給される。当該フレーム Zフィールドモード判定回路 3 3では、上記動き予測モードデ —夕 MPFM/MPFD及び上記動きべクトルデータ FMMVZF D Vと、上記フレームメモリ群 1 0からの画像データとを用いて差分画像を作り、当該差分画像に基づいて、上記フレームメモリ群 1 0から出力されて上記 D CT回路 1 3で D C T 処理される画像に最も適する直交変換のブロック化の処理のモード（上記フレーム直交変換モ一ド /フィールド直交変換モード）を選択する処理も同時に行われるようになっている。なお、前記 Iピクチャ（或いは Iフレーム）の場合は、上記差分面像の代わりにフレームメモリ群 1 0の画像（原画）のデータを用いる。上記フレームフィールドモ一ド判定回路 3 3においては、直交変換のブロック化処理におけるフィールド直交変換モードのデータ MDFDを出力する。または、直交変換のブロック化処理におけるフレーム直交変換モードのデータ MDFMを出力する。

ここで、上記フレーム/フィールドモード判定回路 3 3からのフレーム直交変換モードデ一夕 MDFM或いはフィールド直交変換モードデータ MDFDの出力は、上記符号化処理モード判定回路 3 4からの第一の符号化処理モ一ド或いは第二の符号化処理モードに対応する符号化モードデータ E N 1 ZE N 2に応じたものとなされる。

当該符号化処理モード判定回路 3 4は、上記フレームメモリ群 1 0から読み出された上記マクロブロック単位の画像データを用いて、上述したように、笋一の符号化処理モードと第二の符号化処理モードの何れが符号化するに際して効率が良いかを判定し、当該判定結果に応じた上記符号化モードデータ E N 1又は E N 2を出力する。具体的にいうと、当該符号化処理モード判定回路 3 4では、例えば、各フレームの奇数フィールド（第 1フィールド）と偶数フィールド（第 2フィ一ルド）との間の各画素の絶対値差分和を演算し、この絶対値差分和の値が例えばあるしきい値 TO未満（すなわち画像の動きが小さい場合）ならば、上記第一の符号化処理モードの符号化を行う方が効率が良いことを示す符号化モードデ一夕 E N 1を出力し、逆に、上記絶対値差分和の値が上記しきい値 TO以上（画像の動きが大きい場合）ならば、上記第二の符号化処理モードの符号化を行う方が効率が良いことを示す符号化モードデータ E N 2を出力するものである。

なお、上記符号化処理モード判定回路 3 4における判定の際には、上記フィールド動き検出回路 2 1からの動きべクトルデータ F DMVを用いて判定を行うことも可能である。すなわち、奇数フィールドと偶数フィールドとの間の動きべクトルデータ F DMVがあるしきい値 t O未満ならば第一の符号化処理モードを選択し、逆に上記しきい値 t 0以上ならば第二の符号化処理モードを選択するようなことも可能である。

当該符号化処理乇一ド判定回路 3 4からの上記符号化モードデータ EN 1 /E N 2が、上記フレーム Zフィールドモード判定回路 3 3に送られることで、当該フレーム/フィールドモード判定回路 3 3からは、上記符号化モードデータ EN 1 Z E N 2に応じたフレーム直交変換モ一ドデータ MD FM或レ、はフィールド直交変換モードデータ MDFDが出力されるようになる。

すなわち、上記符号化処理モード判定回路 3 4からの符号化モードデータが上記第一の符号化処理モ一ドを示すデ一夕 E N 1であつた場合、上記フレー厶ノフィ一ルド乇ード判定回路 3 3は、 1フレーム内の各マク口ブロック毎に上記フレーム直交変換モ一ド或いはフィールド直交変換モ一ドが適応的に切り換える処理を行う。したがって、当該フレーム Zフィールドモード判定回路 3 3からは、当該適応的に切り換えられた上記フレーム直交変換モード MDFM或いはフィ一ルド直交変換モードデ一夕 MDFDが出力されるようになる。

これに対し、上記符号化処理モード判定回路 3 4からの符号化モードデータが上記第二の符号化処理モードを示すデータ EN 2であった場合、上記フレームノフィールドモード判定回路 3 3では、上述したように、 1フレーム内の全てのマクロブロックの直交変換のプロック化が上記フィ一ルド直交変換モ一ドで行われる。したがって、当該フレーム Zフィールドモード判定回路 3 3からは、上記フィールド直交変換モードデータ MDFDが出力されるようになる。

当該フレーム Zフィールドモード判定回路 3 3から出力されるフレーム Zフィ —ルド何れかの直交変換のブロック化のモードデータ MDFMZMDFD及び、上記符号化処理モード判定回路 3 4からの上記符号化モードデ一夕 EN 1 ZEN 2は、上記アドレス発生器 3 5及び動き補償器付フレームメモリ群 2 0に伝送される。なお、上記直交変換モードデータ（MDFMZMDFD) と上記動き予測モードデ一夕（MPFMZMPFD) と上記符号化モードデータ E N 1 /E N 2と上記動きべクトルデータ（FMMV/F DMV) とは、上述の可変長符号化回路 1 5にも送られている。

上記アドレス発生器 3 5は、フレームメモリ群 1 0を制御する。すなわち、上述したように、上記第一の符号化処理モードの場合には上記奇数サイクルで上記直交変換のブロック化のモード（データ MDFMZMDFD) に対応してブロック化されたマクロブロックを出力するようにフレームメモリ群 1 0を制御し、上記第二の符号化処理モードの場合には上記奇数サイクル及び偶数サイクルで上記フィ一ルド直交変換モード（データ MDFD) に対応してブロック化されたマクロプロックを出力するようにフレームメモリ群 1 0を制御する。

言い換えれば、例えば、第一の符号化処理モードが選ばれて上記アドレス発生器 3 5に上記符号化モードデータ E N 1が供給されている場合において、例えば上記直交変換モードデ一夕がフレーム単での D C T処理を示すデータ MDFMとなっているならば、当該アドレス発生器 3 5は図 5 ( B) に示すようにイーブンとォッドが交互にスキャンされたマクロブロック（奇数フィールドと偶数フィールドとを合わせたフレーム単位のマクロブロック）を出力するようにフレー厶メモリ群 1 0を制御する。すなわち、この場合の上記アドレス発生器 3 4は、上記図 5 ( B ) に示すように、 1ライン〜 1 6ラインからなるマクロブロックを 1ライン〜 8ラインと 9ライン〜 1 6ラインのように分け、この 8 X 8のブロック 4 個づっ（マクロブロック）出力されるように上記フレームメモリ群 1 0を制御す。

また、第一の符号化処理モードが選ばれて上記アドレス発生器 3 5に符号化モ一ドデータ E N 1が供給されている場合において、例えば上記直交変換モードデ —夕がフィールド単位での D C T処理を示すデ一夕 M DFDとなっているならば、上記アドレス発生器 3 5は図 5 ( C) に示すようにイーブンとォッドのスキャンを別々に分けてスキャンされたマクロブ口ック（奇数フィールドと偶数フィ一ルドのそれぞれフィールド単位のマクロブロック）を出力するようにフレームメモリ群 1 0を制御する。すなわち、上記アドレス発生器 3 4は、上記図 5 ( C) に示すように、 1ライン， 3ライン， 5ライン， 7ライン， 9ライン， 1 1ライン, 1 3ライン， 1 5ライン（奇数フィールド或いは第 1フィールドの各ライン）、 2ライン， 4ライン， 6ライン， 8ライン， 1 0ライン， 1 2ライン， 1 4ライン， 1 6ライン（偶数フィールド或いは第 2フィールドの各ライン）のように分割して、これら奇数フィ一ルドと偶数フィールドとでそれぞれ 8 X 8のブロック 2個づっ（マクロブロック）出力されるように上記フレームメモリ群 1 0を制御する。

また、例えば、第二の符号化処理モードが選ばれて上記アドレス発生器 5に符号化モードデ一夕 EN 2が供給されている場合においては、上記ァドレス発生器 3 5は上述したように上記奇数サイクル及び偶数サイクルで上記フィールド直交変換モードに対応してプロック化されたマク口プロックを出力するようにフレ —ムメモリ群 1 0を制御する。すなわち、この第二の符号化処理モードが選ばれている時の上記アドレス発生器 3 5は、常に 8 X 8のブロック 2個分づっ（ただし後述するように輝度成分のみ）出力されるように上記フレームメモリ群 1 0を制御する。具体的に言うと、当該アドレス発生器 3 5は、上記奇数サイクルでは奇数フィールドのみ上記 8 X 8のブロック 2個分のマクロブロックが 1フレーム分（1 β分）出力されるように上記フレームメモリ群 1 0を制御し、次いで、上記偶数サイクルでは偶数フィ一ルドのみ上記 8 X 8のブロック 2個分のマク口ブロックが 1フレーム分（1面面分）出力されるように上記フレームメモリ群 1 0を制御する。

上述のようにして、アドレス発生器 3 5によって制御されたフレームメモリ群 1 0から出力された画像データが、前述のように D C T回路 1 3で D C T処理される。すなわち、例えば、上記第一の符号化処理モードが選ばれてフレーム直交変換モードが選ばれている場合、当該 DCT回路 1 3では、上述した図 5 (B) のような 8 X 8画素の単位ブロックで DCT変換を行う。また、例えば、上記第一の符号化処理モードが選ばれフィールド直交変換モードが選ばれている場合、上記 DCT回路 1 3では、上述した図 5 (C) のような 8 X 8画素の単位ブロックで DCT変換を行う。上記第二の符号化処理モードが選ばれている場合には、上述したように、奇数サイクルのとき奇数フィールドのみ上記 8 X 8のブロックで DC T変換を行い、偶数サイクルのとき偶数フィールドのみ上記 8 X 8のプロックで DCT変換を行う。

さらに、上記フレームフィールドモード判定回路 33からの動き予測モードデータ MPFM/MPFD及び直交変換モードデータ MDFM/MDFDと、上記.セレク夕 24で選択された動きべクトルデータ FMMV/FDMVと、上記符号化処理モード判定回路 34からの符号化モードデ一夕 EN1ZEN2とは、上記動き補償器付フレームメモリ群 20にも供給されるようになっている。したがって、当該動き補償器付フレームメモリ群 20では、上記動き予測における動き予測モードデ一夕 M P FM/M P FD及び D C T処理における直交変換乇一ドデータ M D F /M D FD及び符号化モードデータ EN1/EN2に応じると共に、上記動きべクトルデ一夕 F MMV/F DMVを用いた動き補償が行われる。

上述のようなことから、上記第一の符号化処理モードでかつ上記フレーム直交変換モードの時の例えば上記 P， Bフレームの動き予測は、図 6に示すように、前，後のフレームから動き予測される。したがって、上記 DCT回路 1 3では、当該予測画との差分画像が DC T変換（8 X 8画素の単位ブロックで DC T変換）されることになる。なお、図 6には、前フレーム，現フレーム，後フレームを示し、図中矢印は動きベクトルを、 MBはマクロブロックを示している。

また、上記第一の符号化処理モードでかつ上記フィールド直交変換モードの時の上記 P, Bフレームの動き予測では、図 7に示すようにマクロブロックの奇数フィールドと偶数フィールドのそれぞれについて前，後のフレームの奇数又は偶数フィールド（第 1又は第 2フィールド）から動き予測がなされる。したがって、上記 D CT回路 1 3では、当該予測画との差分面像が D CT変換（8 X 8画素の単位ブロックで D C T変換）されることになる。なお、図 7には、前フレーム，現フレーム，後フレームのそれぞれの奇数フィールド及び偶数フィールドを示し、図中矢印は動きべクトルを、 MBはマクロブロックを示している。

さらに、上記第二の符号化処理モードの場合の上記フィールド直交変換モードの時の動き予測は、例えば図 8に示すように、マクロブロックの奇数フィールドと偶数フィ一ルドのそれぞれについて前，後のフレームの奇数又は偶数フィールドから動き予測がなされると共に、各フレーム内の各フィールド間の動き予測も行われる。したがって、上記 D C T回路 1 3では、当該予測面との差分面像が D C T変換（8 X 8画素の単位ブロックで D C T変換）されることになる。なお、図 8には、前フレーム，現フレーム，後フレームのそれぞれの奇数フィールド及び偶数フィールドを示し、図中矢印は動きベクトルを、 MBはマクロブロックを示している。

上述したようなことから、第 3の実施例の画像信号の高能率符号化装置にぉレ、ては、第一, 第二の符号化処理モード（すなわち画像の動きの大きさ）に応じて、フレーム内のフィールド間予測を行わない符号化とフレーム内でフィールド間予測を行う符号化とを切り換えてレ、るため、最も効率の良、符号化が可能となっている。特に、動きの大きいフレームでは、上記第二の符号化処理モードが有効となる。

さらに、本実施例においては、 1つのフレームについて、符号化の処理がインタ一レースにおける奇数フィールドのスキャンを行う期間の上記奇数サイクル (ォッドサイクル）と、偶数フィールドのスキャンを行う期間の上記偶数サイクル（イーブンサイクル）とで分けられている。

上述のようなことから、図 1 1に示すように、更に、上記第一の符号化処理モ一ドで上記 Pフレーム及び Bフレームの場合は、第 1の実施例と同様の処理を行う。

さらに、上記第一の符号化処理モードで Bフレームの直交変換のブロック化が上記フィールド直交変換モードで、動き予測が上記フレーム動き予測モ一ドの時は、上記ォッドサイクルでは参照画像を前方と後方の画像としてフレーム間の動きベクトル、即ち、 Iフレームと Bフレームとの間の動きベクトル FMV B及び Pフレームと Bフレームとの間の動きべクトル BMV Bを検出し、前方予測と後方予測と両方向予測（前方予測と後方予測との平均）との内、現フレームとの予測誤差が最小となる予測を選択し、奇数フィールドと偶数フィ一ルドが別々に分かれて構成された上記マクロブロックを予測画像として原画像との差分を符号化する。

また、上記第一の符号化処理モードで Bフレームの直交変換のブロック化が上記フィールド直交変換モードで動き予測が上記フィールド動き予測モードの時は、上記ォッドサイクルでは参照画像を前方と後方の画像としてこれらの画像について、それぞれ奇数フィールドの予測と偶数フィールドの予測を行い、それぞれの動きべクトル、即ち、

I o フィールドと Bo フィールドとの間の動きべクトル FMVo Bo、

Pe フィールドと Bo フィールドとの間の動きベクトル BMVe Bo、

Po フィールドと Be フィールドとの間の動きべクトル BMVo Be、 Pe フィールドと Be フィールドとの間の動きべクトル BMVe Beを検出し、それぞれのべクトルによる奇数フィールドの予測と偶数フィ一ルドの予測と両方の予測（例えば、偶数フィールドの予測と奇数フィールドの予測の平均）の内、現フレームとの予測誤差が最小となる予測を選択し、 I o フィールドとのフィ一ルド（又は Po フィールドと Pe フィールド）が別々に分かれて構成された上記マクロブロックを予測画像として原画像との差分を符号化する。一方、このモ —ドのイーブンサイクルでは何もデータは送らない。

ただし、本実施例の第一の符号化処理モードの場合、第 1の実施例と同様に I 0 フィールドと I e フィールドとの間の動き予測と、 Po フィールドと Pe フィ一ルドとの間の動き予測と、 Bo フィールドと Be フィールドとの間の動き予測ができない。

この場合、本実施例の上記第二の符号化処理モードを用いれば、それぞれのピクチヤにお、て、奇数フィ一ルドから偶数フィールドへの予測ができる。

従って、上記第二の符号化処理モードの上記フィールド直交変換モードの場合は、上記ォッドサイクルでマク口ブロックの奇数フィ一ルドのみを符号化し、ィ —ブンサイクルでマクロブロックの偶数フィールドのみを符号化する。これにより例えば上記ォッドサイクルの終わった時点では、後述する復号器側では上記 I 0 フィールドの全面が得られることになる。したがって、 Iフレームの上記ィーブンサイクルでは、上言己フィールド直交変換モードによる I e フィールドのマクロブロックについて、図 1 1に示すように、上記 I o フィールドを参照画像として動き予測を行い、その動きべクトル SMV I及び予測画像との差分画像を符号化することができる。

また、図 1 1に示すように、上記第二の符号化処理モードの Pフレームの場合は以下のような処理が行われる。例えば、上記 Pフレームの動き予測がフレーム動ま予測モードの時は、上記ォッドサイクルとイーブンサイクルの後に参照画像を前方向の画像（ Iフレームの画像）としてフレーム間の動きべクトル MV Pを検出し、 I 0 フィールドと I e フィ一ルドが組み合わされた上記マクロブロックを予測画像として原画像との差分を符号化する。

第二の符号化処理モードの Pフレームの動き予測がフィールド動き予測モードの時は、上記ォッドサイクルでは I 0 フィールドと I eフィ一ルドをそれぞれ参照画像像として、

I o フィールドと Po フィールドとの間の動きべクトル MVo Po、

I e フィールドと P oフィールドとの間の動きベクトル MVe P oを検出する。このモードのイーブンサイクルでは、フィールド直交変換モードのマクロブロックに対し、

I o フィールドと Pe フィールドとの間の動きベクトル MVo Pe及び、 . I e フィールドと Pe フィールドとの間の動きベクトル MVe Pe 及び、 Po フィールドと Pe フィールドとの間の動きベクトル SMV Pを検出し、それぞれのべクトルによる奇数フィールドの予測と偶数フィールドの予測と現フレームの奇数フィールドの予測とそれらの内から 2つの予測の平均による予測との中から予測誤差が最小となる予測を選択し、その予測画像との差分を符号化する。更に例えば、第二の符号化処理モードで上記 Bフレームの動き予測がフレーム動き予測モードの時は、 Iフレームと Bフレームとの間の動きべクトル FMV B 及び Pフレームと Bフレームとの間の動きべクトル BMV Bを検出し、前方予測と後方予測と両方向予測（前方予測と後方予測との平均）との内、現フレームとの予測誤差が最小となる予測を選択し、その予測画像との差分を符号化する。また、第二の符号化処理モードで上記 Bフレームの動き予測がフィールド動き予測モードの時は、上記ォッドサイクルで参照画像を前方と後方としてこれら画像についてそれぞれ奇数フィールドの予測と偶数フィールドの予測を行い、それぞれの動きベクトル即ち、

I o フィールドと Bo フィールドとの間の動きベクトル FMVo Bo，

I e フィールドと B o フィールドとの間の動きべクトル FMVe Bo，

Po フィールドと B o フィールドとの間の動きベクトル BMVo Bo ,

Pe フィールドと Bo フィールドとの間の動きべクトル BMVe Boを検出する _c また、図 3の例の場合の第一の符号化処理モードにおける動き予測は、上述した図 1 0 (A) に示すようになる。したがって、この場合は上述のように、第二の符号化処理モードを用いればよい。

また更に、本実施例においても上記 4:2:2 コンポーネントのディジタル VTR フォーマットを扱う場合は、上述した図 1 3のような処理の他に、上述した図 1 4に示すように、フレームの動き予測はマクロブロック MB単位で行う力、.フィ一ルドの動き予測をする場合には、マクロブロックを組にして、このマクロブロックの組 MBg に対して奇数フィ一ルドの動き予測と偶数フィ一ルドの動き予測を行うようにすることも可能である。よって当該フレーム直交変換モードの場合は、各マク口ブロックの処理が他のマク口ブロックの直交変換モードに影響されない。

図 1 8に第 4の実施例の符号化装置の構成例を示す。なお、この図 1 8において、上述した図 1と同様の構成要素には同一の指示符号を付してその詳細な説明については省略する。

この第 4の実施例装置の構成は、 3パスによる符号化装置であり、 1フレームを処理するのに 3回処理を行うものである。

すなわち、この第 4の実施例装置においては、 1パス目は固定量子化幅による上記第二の符号化処理モード（フレーム内フレーム間予測有り）の処理を行い、 2パス巨は固定量子化幅による上記第一の符号化処理モード（フレーム内フレーム間予測無し）の処理を行い、 3パス目は上記 1パス， 2パス目のうちで発生ビット数が少なかった処理を選択し、量子化幅を制御して処理する。

ここで、第 4の実施例装置においては、上記フレームメモリ群 1 0の後段に後述するマクロブロック化器 5 5と切換スィッチ 5 7とフィールドブロック化変換回路 5 6と切換スィッチ 5 8とが挿入接続される。また、フレームメモリ群 1 0 からの画像データは、フレーム及びフィールド動き検出を行う動き検出回路 5 1 に送られる。この動き検出回路 5 1からの出力は、直交変換のブロック化及び動き予測のフレーム/フィールドモ一ドを選択するモード判定回路 5 2と前記フレー厶メモリ群 2 0及び可変長符号化回路 1 5に送られる。

上記モード判定回路 5 2からの出力モードデータは上記フレームメモリ群 2 0 及び可変長符号化回路 1 5に送られ、そのうちのフィールド直交変換モードデ一夕は 2入力 ANDゲート 5 3の一方の入力端子に送られる。当該 2入力 A N Dゲート 5 3の他方の入力端子には、インバ一タ 5 4を介して上記 1パス目， 2パス目， 3パス目に応じて切り換えられる切換スィッチ 5 9の出力が供給されるようになっている。また、上記 2入力 ANDゲートの出力端子は、上記切換スィッチ 5 7 , 5 8の切換制御端子と接続されている。

上記可変長符号化回路 1 5からは発生ビット数のデータが出力され、この発生ビット数のデータに基づいて上記第一，第二の符号化処理モードのうち何れか発生ビット数の少ない方のモードを選択する選択回路（フレーム内フィ一ルド間予測有無判定回路） 6 0に送られる。更に、上記バッファ 1 6からの蓄積量データは、上記可変長符号化回路 1 5と共に、切換スィッチ 6 1の一方の被切換端子に供給される。この切換スィッチ 6 1の他方の被切換端子には 1 , 2パス目の固定値が供給される。

このような第 4の実施例装置において、端子 1に入力された画像は、 1度フレームメモリ群 1 0に保存され、上記フレームメモリ群 1 0から必要なフレーム又はフィールドのデータが呼び出されると共にこれら画像データを用いて上記動き検出器 5 1により動きべクトルが求められる。上記モード判定回路 5 2では、上記動き検出器 5 1からの動き予測残差からマクロプロック毎にフィ一ルド Zフレームのモードの判定を行う。また、フレームメモリ群 1 0の後段に接続されるマクロブロック化器 5 5は、上記切換スィッチ 5 9を介して 1パス目， 2パス目， 3パス目に対応する情報（すなわち上記第一の符号化処理モ一ド或いは第二の符号化処理モードであるフレーム内フィ一ルド間予測の有り/無しの情報）を受け取り、この情報として第二の符号化処理モードの情報を受け取った場合には奇数フィールド（第 1フィールド）のブロックのみを伝送してから偶数フィールド (第 2フィールド）を伝送し、フレーム直交変換モードのブロック化は O F Fにする。また、上記マクロブロック化器 5 5において上記第一の符号化処理モードの情幸に基づいてマク口ブロックがフレーム直交変換モードのブ口ックとされた画像デ一夕は、動き検出器 5 1からの残差から上記モード判定回路 5 2においてフィ一ルドモ一ドと判定された場合にはフィールドブロック化変換回路 5 6でフレーム直交変換モードのブロックに変換される。

上記 1パス目， 2パス目でそれぞれ固定の量子化幅で符号化してゆき、上記選択回路 6 0でビット発生量が比べられフレーム内フィールド間予測有り Z無しのうち発生量の少ないモードがフレーム毎に選択され、 3パス目で実際の符号化が行われる。このとき選択されたモードの情報はフレーム毎に 1ビット付加される。上述のように、本発明の画像信号の高能率符号化装置によれば、フィールド構成の動画について、動きの少ない画像も動きの多い画像も、また、これら両者が混在した画像であってもフィ—ルド処理或いはフレーム処理を効率よく行うことができるようになり、したがつて、少ない伝送情報で後の本発明の高能率復号化装置における復号化の際に高画質の動画を再生することが可能となる。

図 1 9には、画像信号の復号器のブロック図を示す。上記高能率符号化装置により符号化されたデータは、一旦、 C D等のストレージメディアに記録される。この C D等から再生されてきた符号化データは、入力端子 5 0を介し、先ず、逆可変長符号化回路 5 1でシーケンス毎，フレームグループ毎，フレーム毎にへッダ情報等が復号化される。上記フレームのォッドサイクルでは、スライス（マクロブロックのグループ）毎にヘッダ情報が復号化され、量子化幅はこのスライスのヘッダに含まれる。そしてマクロブロック毎にマクロブロックのァドレスと、フィールド直交変換モードフレーム直交変換モード情報と、復号方式を示すマクロブロックタイプが復号化され、量子化幅は更新するときに復号化される。尚、マクロブロックにおけるブロック化がフレーム直交変換モ―ドであつた場合、ォッドサイクルでマクロブロック全体を復号し、イーブンサイクルでは何も復号しない。また、ブロック化がフィールド直交変換モードであった場合はマクロブ口ックの中の奇数フィ一ルドを含むプロックのみを奇数サイクルで復号し、イーブンサイクルで偶数フィールドを含むブロックを復号する。

画像情報は、逆量子化処理を行う逆量子化器 5 3と逆 D C T変換処理を行う逆 D C T回路 5 4とを介して復号化され、マクロブロックタイプにより、差分画像であるかどうかの判定が行われ、この判定結果に応じて、加算器 5 6により（M P E G符号化の非ィントラ Zィントラに対応する）参照画像に加算するか或いは加算しないことを切り換えるモードスィッチ 5 7を切り換える。復号化された画像は、 Iフレーム又は Pフレームの場合はフレームバッファ 6 4又は 6 1に（ I フレーム， Pフレームを処理する度毎に交互に）入力され、 Bフレームの場合はフレームバッファ 6 2に入力される。なお、各フレームバッファは、 2つのフィ —ルドバッファからなり、奇数 Z偶数フィールド画像は、それぞれのフィールドバッファにわけて蓄えられる。また、このフレームバッファへの書き込みはスィツチ 5 8の切り換えにより制御される。

このとき、フレームバッファに書き込まれるァドレスはァドレス発生器により与えられる。このァドレス発生器ではマクロブロックのヘッダ 1青報の中のマクロブロックァドレスインクリメン卜からフレームバッファでのァドレスインクリメント値を計算し、各々のマクロブロックの先頭ァドレスを求めている。

更に量子化幅のデータは、それぞれ 1フィールド分メモリ 5 2に記億される _c この量子化幅データは、逆可変長符号化回路 5 1の出力に応じて切り換えられるスィッチ 5 5を介して、逆量子化器 5 3に送られる。ここで、イーブンサイクルでは、フィ一ルド直交変換モードで処理されたマクロプロックのみを復号するので、マクロブロック毎に復号化されるマクロブロックアドレスとのマクロブロックタイプとこれが示す予灘方式に必要な動きべクトルが復号され、参照フィールドから動き補償された画像にさらに伝送されてくる差分画像が加算され、再生画を得る。

また、上記各フレームバッファ 6 4 , 6 2 , 6 1のデータは、各動き補償処理回路 6 5 , 6 6 , 5 9， 6 0 , 6 3により動き補償される。このとき、各動き補償回路は D C T処理におけるブロック化モード（フレーム Zフィールド）によりフレームの動き補償 Zフィ一ルドの動き捕償を切り換える。

これら動き補償された面像は切換選択スィッチ 6 7 , 6 8， 7 1の各被選択端子に送られる。これら切換選択スィッチ 6 7, 6 8 , 7 1は、マクロブロックタイプの復号方式が示す参照フィールド又はフレームが取り出せるように切り換えられるものである。ここで、上記切換選択スィッチ 7 1には、上記切換選択スイツチ 6 7及び 6 8の出力を加算器 6 9で加算した後に割算器 7 0で 1 Z2とされた信号と、上記スィッチ 6 7の出力とが供耠される。当該スィッチ 7 1の出力は、上記スィッチ 5 7に送られる。

更に、各フレームバッファ 6 4， 6 1 , 6 2の出力は、切換選択スィッチ 7 2 を介してディスプレイ 7 3に送られる。当該ディスプレイ 7 3には、復号された順番ではなく、再生画像の順で表示されるように切り換えられた上記切換選択スイッチ 7 2の出力が供給される。これにより面像が得られる。上述したようなことから、例えば、前述した図 2 3に示したように静止した背景の手前で動体 C Aがあるものの場合には 1フレームを観るとフィールド間で動きがあるためこのような部分は櫛型 K Sとなるが、本実施例装置によれば、このような動く部分は、フィールド直交変換モードで符号化されるので、フィールド別にされたぶれのない画像として処理でぎ、ォッド /イーブン間の動き補償により高能率で、高画質の動画が再生できる。すなわち、例えば図 2 0に示すように、ォッドサイクルの時、動く部分はフィールド直交変換モードで処理すると共に静止部分はフレーム直交変換モードで処理する。なお、イーブンサイクルで既に画像ができている部分は、図 2 1の図中斜線で示す部分となる。この図 2 1の図中斜線部分以外はすなわち動く部分は動き補償により復号化する。

ところで、本実施例においては、イーブンサイクルではフィールド直交変換モ一ドで処理されたマクロブロックのみを復号するのでマクロブロックアドレスを知る必要がある。このマクロブロックアドレスを知る方法は、 2つあり、 1つは先に述べたイーブンサイクルのマク口ブロック毎にマクロブロックのアドレスを伝送する方法で、もう 1つは、ォッドサイクルで 1フィールド分フィールド直交変換モードフレーム直交変換モードの情報を記憶しておき、各処理モ一ドの列からフィールド直交変換モードになっているマクロブロックのアドレスを換算する方法である。前者の利点はメモリの追加が必要ないことであり、後者の利点は伝送情報が増えないことである。量子化幅も同様で先に述べたォッドサイクルで 1フィ一ルド分記憶する方法を取らずにマクロブロック毎に伝送することで実現できる。

以上述べたようなことから、本実施例復号装置によれば、 1フレームの処理をォッドサイクルとイーブンサイクルの 2つのサイクルに分け、ォッドサイクルではマクロブロック単位でフレーム直交変換モ一ドとフィールド直交変換モードとを切り換え、又は第一，第二の符号化処理モードに応じて、マクロブロック単位でフレーム直交変換モードとフィールド直交変換モードとを切り換えると共に、フレーム動き予測モードとフィールド動き予測モードをも切り換えて、

フレーム処理では奇数フィ一ルドと偶数フィールドを共に復号化し、フィールド処理では奇数フィールドのみを復号化し、更にこのサイクルでの量子化幅を記憶しておき、次のィーブンサイクルではこの記憶した情報を用レ、てフィールド直交変換モードのマク口ブロックのみを動き補償して再生画像を復号化するようにしているため、効率のよい符号化データを伝送することができる。すなわち、少ない伝送情報で高画質の動面を再生することが可能となる。

Claims

請求の範囲

1 . 複数の画素の 2次元配列からなるマクロブロックを単位として符号化を行う画像信号の高能率符号化装置にぉレ、て、

上記マクロブロック単位でフレーム間の動きベクトルと各画素の絶対値差分和を検出する手段と上記マクロプロック単位で上記フレームの画素のスキヤンの奇数又は偶数で分けたものからなるフィールド間の動きべクトルと各画素の絶対値差分和を検出する手段とからなる動き検出手段と、

上記マクロブロックにおけるフレームを単位として動き補償を行うフレーム予測モードと、上記マクロブロックにおけるフィールドを単位として動き補償を行ぅフィールド予測モードとの何れが動き補償を刷るに際して効率が良いかを上記動き検出手段から出力される情報により判定し、効率の良い予測モードを選択する第一のモード選択手段と、

上記マクロブロックにおけるフレームを単位として直交変換を行うようにプロック化するフレーム処理モードと上記マクロブロックにおけるフィールドを単位として直交変換を行うようにブロック化するフィールド処理モードとの何れが直交変換を行うに際して効率が良いかを上記動き検出手段及び上記第一のモード選択手段から出力される情報を用いて判定し、効率の良いブロック化のモードを選択する第二のモード選択手段と、

1フレームについて符号化処理のィン夕レースにおける奇数フィールドのスキヤンを行う期間の奇数サイクルか偶数フィールドのスキャンを行う期間の偶数サイクルかを認識し、該奇数サイクルで上記ブロック化のモードに対応してブロック化されたマクロブロックを出力するようにフレームメモリ群を制御するァドレス発生手段と、

上記第一のモード手段で選択された動き予測モード情報と上記第二のモード選択手段で選択されたブロック化モ—ド情報を受け取り、該モ一ド情報に対応して動き補償フレーム又はフィールド間予測を実行する動き補償手段と、

を備えたことを特徴とする面像信号の高能率符号化装置。

2. 複数の画素の 2次元配列からなるマクロブロックを単位として符号化を行う面像信号の高能率符号化装置にぉレ、て、

上記マクロプロック単位でフレーム間の動きべクトルと各面素の絶対値差分和を検出する手段と上記マクロブロック単位で上記フレームの画素のスキャンの奇数又は偶数で分けたものからなるフィールド間の動きべク卜ルと各画素の絶対値差分和を検出する手段とからなる動き検出手段と、

上記マクロブ口ックにおけるフレームを単位として動き補償を行うフレーム予測モードと、上記マクロプロックにおけるフィ一ルドを単位として動き捕償を行ぅフィールド予測モードとの何れが動き補償を刷るに際して効率が良いかを上記動き検出手段から出力される情報により判定し、効率の良い予測モードを選択する第一のモード選択手段と、

上記マク口プロックにおけるフレームを単位として直交変換を行うようにプロック化するフレーム処理モードと上記マク口ブロックにおけるフィールドを単位として直交変換を行うようにブロック化するフィールド処理モードとの何れが直交変換を行うに際して効率が良いかを上記動き検出手段及び上記第一のモード選択手段から出力される情報を用いて判定し、効率の良いブロック化のモードを選択する第二のモード選択手段と、

1フレームについて符号化処理のィン夕レースにおける奇数フィ一ルドのスキヤンを行う期間の奇数サイクルか偶数フィ—ルドのスキャンを行う期間の偶数サィクルかを認識し、上記ブロック化のモ一ドがフィールド処理モ一ドの時のみ、該奇数サイクゾレでマクロブロック分の奇数フィールドを順次 1フレーム分出力し、次いで上記偶数サイクルでマクロブロック分の偶数フィ一ルドを順次 1フレーム分出力するようにフレームメモリ群を制御するァドレス発生手段と、

上記第一のモ一ド手段で選択された動き予測モ一ド情報と上記第二のモード選択手段で選択されたブ口ック化モード情報を受け取り、該モード情報に対応して動き補償フレーム又はフィ一ルド間予測を実行する動き補償手段と、

を備えたことを特徴とする画像信号の高能率符号化装置。

3 . 再生される符号化デ一夕とヘッダ情報を受信、復号し、検出動きべクトル情報と動き予測モード情報とブロック化モ一ド情報とマクロブロックのヘッダ 1青報中のマクロブロック ·アドレス 'インクリメントとを出力する逆可変長符号化手段と、

上記マクロブロック ·アドレス 'インクリメントから上記画像復号化データを蓄積するフレームバッファでのァドレス 'インクリメント値を算出し、各々のマクロブロックの先頭ァドレスを求め、該先頭ァドレスを上記フレームバッファに与えるアドレス発生手段と、

上記先頭ァドレス以外の上記マクロブロックの相対ァドレスを上記フレームバッファに加えてデータをアクセスし、上記検出動きべクトルと上記動き予測モード情報と上記ブロック化モード情報を受け取り、該モード情報に対応した動き補償フレーム又はフィールド間予測を実行し、動き補償された画像信号をフレームバッファに送るように構成した動き補償手段と、

を備えたことを特徴とする画像信号の高能率復号化装置。

4 . 複数の画素の 2次元配列からなるマクロプロックを単位として符号化を行う画像信号の高能率符号化装置において、

上記マクロプロック単位でフレーム間の動きべクトルと各画素の絶対値差分和を検出する手段と上記マクロプロック単位で上記フレームの画素のスキャンの奇数又は偶数で分けたものからなるフィールド間の動きべクトルと各画素の絶対値差分和を検出する手段とからなる動き検出手段と、

上記マクロプロックにおけるフレームを単位として動き補償を行うフレーム予測モードと、上記マクロプロックにおけるフィールドを単位として動き補償を行ぅフィールド予測モードとの何れが動き補償をするに際して効率が良いかを判定し、効率の良い予測モードを選択する第一のモード選択手段と、

上記マクロプロックにおけるフレームを単位として直交変換を行うようにプロック化するフレーム処理モ一ドと上記マクロプロックにおけるフィールドを単位として直交変換を行うようにプロック化するフィールド処理モードとの何れが直交変換を行うに際して効率が良いかを上記動き検出手段及び上記第一のモ一ド選択手段から出力される情報を用いて判定し、効率の良いプロック化のモ一ドを選択する第二のモード選択手段と、

1フレーム内の各マクロブロック毎に上記ブロック化を上記フレーム処理モード又は上記フィールド処理乇一ドに適応的に切り換え、各モードに基づき各マクロブ口ックを符号化する第一の符号化処理モードと、 1フレーム内の全てのマク口ブロックの上記ブロック化を上記フィールド処理モ一ドで行レ、、インタレースにおける奇数フィ一ルドのスキヤンを行う期間の奇数サイクルでマクロプロックにおける奇数フィールドのみ 1フレーム分符号化し、次いでインタレースにおける偶数フィールドのスキヤンを行う期間の偶数サイクルでマクロプロックにおける偶数フィールドを 1フレーム分符号化する第二の符号化処理モードとの何れが ^化するに際して効率が良いかを判定し、効率の良い符号化処理モードを選択する第三のモード選択手段と、

上記奇数サイクルか上記偶数サイクルかを認識し、上記符号化処理モードが第 —の符号化処理モードの場合には上記奇数サイクルで上記プロック化モ一ドに対応してブロック化されたマクロプロックを出力するようにフレームメモリ群を制御し、上記符号化処理モードが第二の符号化処理モードの場合には上記奇数サイクル及び偶数サイクルで上記フィールド処理モードに対応してプロック化されたマクロブロックを出力するようにフレームメモリ群を制御するァドレス発生手段と、

上記第一のモード選択手段で選択された動き予測モ一ド情報と上記第二のモード選択手段で選択されたプロック化モード情報を受け取り、該モ一ド情報に対応して動き補償フレーム又はフィールド間予測を実行する動き補償手段と

を備えたことを特徴とする画像信号の高能率符号化装置。

5 . 再生される画像符号化データ及び検出動きべクトル情報と動き予測モード情報とプロック化モード情報と符号化処理モード情報とを含むへッダ情報を受信して復号化し、上記復号化された画像復号化データと共に上記検出動きべクトル情報と動き予測モード情報とプロック化モ一ド情報と符号化処理モード情報とを出力する逆可変長符号化手段と、

上記符号化処理モード情報から上記画像復号化デー夕を蓄積するフレームバッファでのァドレス ·インクリメント値を算出し、各々のマクロブロックの先頭ァドレスを求め、該先頭ァドレスを上記フレームバッファに与えるァドレス発生手段と、

上記先頭アドレス以外の上記マクロプロックの相対ァドレスを上記フレームバッファに加えてデータをアクセスし、上記検出動きべクトル情報と上記動き予測モード情報と上記プロック化モード情報と上記符号化処理モード情報とを受け取り、該モード情報に対応した動き補償を実行し、動き補償された画像信号を上記フレームバッファに送るように構成した動き補償手段と

を備えたことを特徴とする画像信号の高能率復号化装置。