JPH09294262A - Image coding device - Google Patents
Image coding deviceInfo
- Publication number
- JPH09294262A JPH09294262A JP10802896A JP10802896A JPH09294262A JP H09294262 A JPH09294262 A JP H09294262A JP 10802896 A JP10802896 A JP 10802896A JP 10802896 A JP10802896 A JP 10802896A JP H09294262 A JPH09294262 A JP H09294262A
- Authority
- JP
- Japan
- Prior art keywords
- coding
- data
- image
- encoder
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 画像データを図面分割し、各分割画面のデー
タを並列処理する際の画質を向上するとともに制御を簡
素化すること。
【解決手段】 入力画面を複数領域に分割し、各領域を
符号化する部分符号化器を並列に動作させ、ある部分符
号化器により符号化された領域の境界付近の符号化情報
を、隣接する他の部分符号化器へ転送する。符号化情報
を受信した部分符号化器は、境界付近の符号化の際に、
隣接する領域の符号化条件を参照できるため、不連続な
符号化を回避できる。
(57) [Summary] [Object] To improve image quality when image data is divided into drawings and the data of each divided screen is processed in parallel, and control is simplified. SOLUTION: An input screen is divided into a plurality of areas, partial encoders for encoding the respective areas are operated in parallel, and encoding information near the boundary of the areas encoded by a certain partial encoder is adjacent to each other. Transfer to another partial encoder. The partial encoder that has received the encoded information, when encoding near the boundary,
Since the coding conditions of adjacent areas can be referred to, discontinuous coding can be avoided.
Description
【0001】[0001]
【発明の属する技術分野】本発明は、画像符号化装置、
特に並列処理によりディジタル圧縮された画像を符号化
する装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image coding device,
In particular, it relates to an apparatus for encoding a digitally compressed image by parallel processing.
【0002】[0002]
【従来の技術】画像データをディジタル表現して伝送ま
たは蓄積する場合、伝送または蓄積するデータ量を圧縮
するために符号化が行われる。このような符号化の方法
としては、画像情報(画像データ)の時間的または空間
的相関性を利用して冗長度を少なくする方法がある。2. Description of the Related Art When digitally expressing image data for transmission or storage, encoding is performed to compress the amount of data to be transmitted or stored. As such an encoding method, there is a method of reducing redundancy by utilizing temporal or spatial correlation of image information (image data).
【0003】一方、時間的相関性を利用して冗長度を少
なくする方法として、2画面(フレーム)の差分を符号
化したり、画像の動きを検出して、動き補償を行ったり
するものがある。また、空間的相関性を利用して冗長度
を少なくする方法として、画像を所定の大きさのブロッ
ク(例えば、縦方向、横方向とも8画素ずつ)に分け
て、ブロック内のデータを直交変換し、変換係数をスキ
ャン変換して(例えば、低周波数成分から高周波数成分
の順に並び変える)、可変長符号化を行うものがある。
ITU-Tが標準を定めた画像符号化方式H.261やH.263、ま
た、MPEG(MovingPicture Experts Group)が標準を定
めた画像符号化方式(以下、MPEGと略す)は、上記2つ
の方法を併用するものとなっている。このMPEGにはMPEG
1とMPEG2の2つがあり、MPEG1の勧告はISO/IEC11172-
2、MPEG2の勧告はISO/IEC13818-2に記載されている。本
発明はこれらのいずれにも適用可能である。On the other hand, as a method of reducing the redundancy by utilizing the temporal correlation, there is a method of encoding a difference between two screens (frames) or detecting a motion of an image to perform motion compensation. . Further, as a method of reducing redundancy by utilizing spatial correlation, an image is divided into blocks of a predetermined size (for example, 8 pixels in each of the vertical direction and the horizontal direction), and data in the blocks is orthogonally transformed. However, there is a method in which the conversion coefficient is scan-converted (for example, rearranged in order from a low frequency component to a high frequency component) and variable length coding is performed.
The ITU-T standardized image coding methods H.261 and H.263, and the MPEG (Moving Picture Experts Group) standardized image coding method (hereinafter abbreviated as MPEG) are the above two methods. Are used together. This MPEG is MPEG
There are two, 1 and MPEG2, and the recommendation of MPEG1 is ISO / IEC11172-
2, MPEG2 recommendation is described in ISO / IEC13818-2. The present invention can be applied to any of these.
【0004】図15は、このような一般的な方法によ
り、符号化されたデータを生成する画像符号化装置の構
成例である。FIG. 15 shows an example of the structure of an image coding apparatus for generating coded data by such a general method.
【0005】図15において、151は符号化のフレー
ム順を入れ替えるためのリオーダ制御部、152は符号
化フレームと参照フレームの差分を演算する減算器、1
53はディスクリート・コサイン・変換を行うDCT部、
154は量子化器、155はスキャン変換器、156は
可変長符号化部、157はビットストリーム出力バッフ
ァの制御を行うバッファ制御部である。また158は逆
量子化器、159は逆ディスクリート・コサイン・変換
を行う逆DCT部、1510は再生画像を生成する加算
器、1511、1512はそれぞれ参照画像を蓄積する
前方予測フレームメモリ、後方予測フレームメモリ、1
513は符号化フレームと参照画像の動き補償を行う動
き補償器、1514は参照画像に対する符号化フレーム
の動きを検出する動きベクトル検出器である。158、
159、1510、1511、1512は復号機能を有
し、符号器と復号器の整合性を確保するために符号器内
に設けるもので、局所復号器と呼ばれる。1515は符
号化すべきフレームに割り当てられる符号量を制御した
り、量子化のステップを制御したりする制御部である。In FIG. 15, reference numeral 151 is a reorder control unit for changing the coding frame order, 152 is a subtracter for calculating the difference between the coding frame and the reference frame,
53 is a DCT unit that performs discrete cosine conversion
Reference numeral 154 is a quantizer, 155 is a scan converter, 156 is a variable length coding unit, and 157 is a buffer control unit for controlling a bitstream output buffer. Further, 158 is an inverse quantizer, 159 is an inverse DCT unit that performs inverse discrete cosine transform, 1510 is an adder that generates a reproduced image, 1511 and 1512 are forward prediction frame memory and backward prediction frame that store reference images, respectively. Memory, 1
Reference numeral 513 is a motion compensator that performs motion compensation between the coded frame and the reference image, and 1514 is a motion vector detector that detects the motion of the coded frame with respect to the reference image. 158,
Reference numerals 159, 1510, 1511, and 1512 have a decoding function and are provided in the encoder to ensure the consistency between the encoder and the decoder, and are called local decoders. A control unit 1515 controls a code amount assigned to a frame to be encoded and controls a quantization step.
【0006】次に、図15に示した一般的な画像符号化
装置の動作について説明する。本装置はMPEGなどの種々
の画像符号化装置に適用できるが、MPEG2のハイレベル
として定められているHDTV画像を符号化する場合を例に
説明する。Next, the operation of the general image coding apparatus shown in FIG. 15 will be described. This apparatus can be applied to various image encoding apparatuses such as MPEG, but an example of encoding an HDTV image defined as a high level of MPEG2 will be described.
【0007】HDTV画像の1フレームは図16のように横
1920画素、縦1080ラインから成る。これを横、
縦とも16画素ずつに分割する。1分割の単位をマクロ
ブロックと呼ぶ(以下、MBと略す)。1枚のフレーム
は、横120MB、縦68MB、全部で8160MBに分割さ
れる。One frame of an HDTV image consists of horizontal 1920 pixels and vertical 1080 lines as shown in FIG. This sideways,
It is divided vertically into 16 pixels each. A unit of one division is called a macroblock (hereinafter abbreviated as MB). One frame is divided into a horizontal 120 MB, a vertical 68 MB, and a total of 8160 MB.
【0008】一方、HDTV画像は所定のフレームの順に、
前後のフレームを参照しながら符号化される。過去のフ
レームから現在のフレームを予測する場合を前方予測、
未来のフレームから現在のフレームを予測する場合を後
方予測、過去、未来両方のフレームから現在のフレーム
を予測する場合を双方向予測という。フレーム間予測を
用いないで符号化されるフレームをイントラフレーム
(Iフレーム)、前方予測により符号化されるフレーム
を前方予測フレーム(Pフレーム)、双方向予測により
符号化されるフレームを双方向予測フレーム(Bフレー
ム)と呼ぶ。Pフレーム、Bフレーム内の予測方法はマク
ロブロック毎に決定される。On the other hand, HDTV images are
It is encoded with reference to the preceding and following frames. Forward prediction when predicting the current frame from past frames,
The case of predicting the present frame from the future frame is called backward prediction, and the case of predicting the present frame from both past and future frames is called bidirectional prediction. An intra frame (I frame) is a frame that is encoded without interframe prediction, a forward prediction frame (P frame) is a frame that is encoded by forward prediction, and a bidirectional prediction is a frame that is encoded by bidirectional prediction. It is called a frame (B frame). The prediction method in the P frame and the B frame is determined for each macro block.
【0009】すなわち、Pフレーム内のマクロブロック
は動き補償をしないイントラマクロブロック、または前
方予測マクロブロックとなり、Bフレーム内のマクロブ
ロックはイントラマクロブロック、または前方予測マク
ロブロック、または後方予測マクロブロック、双方向予
測マクロブロックのいずれかになる。That is, the macroblock in the P frame becomes an intra macroblock without motion compensation or a forward prediction macroblock, and the macroblock in the B frame becomes an intra macroblock, a forward prediction macroblock, or a backward prediction macroblock. It will be one of the bi-predictive macroblocks.
【0010】さて、PフレームP0、BフレームB2、Bフレ
ームB3、IフレームI1、BフレームB5、BフレームB6、Pフ
レームP4、BフレームB8、BフレームB9、PフレームP7の
順の入力フレームを符号化する例を図17に示す。同図
に示した矢印は予測の方向を示している。Bフレームを
符号化するためには、その両側の参照フレームが先に符
号化されていなければならない。そこで、符号化の順
は、P0、I1、B2、B3、P4、B5、B6、P7、B8、B9のように
なる。入力画像を符号化の順に並び替える操作をリオー
ダと呼ぶ。図15のリオーダ制御部151はこの操作を
実行する。さらに前処理フィルタ、カラー信号のダウン
サンプリングなどの処理もリオーダ制御部151で行わ
れる。予測方法は、上述したようにマクロブロック毎に
決定される。Now, input frames in the order of P frame P0, B frame B2, B frame B3, I frame I1, B frame B5, B frame B6, P frame P4, B frame B8, B frame B9, P frame P7. An example of encoding is shown in FIG. The arrow shown in the figure indicates the direction of prediction. In order to encode a B-frame, the reference frames on both sides must first be encoded. Therefore, the encoding order is P0, I1, B2, B3, P4, B5, B6, P7, B8, B9. The operation of rearranging the input images in the order of encoding is called reordering. The reorder control unit 151 in FIG. 15 executes this operation. Further, the reorder control unit 151 also performs processing such as preprocessing filters and downsampling of color signals. The prediction method is determined for each macroblock as described above.
【0011】PフレームP4内のあるマクロブロックを、I
フレームI1を参照して符号化する場合の例を図18に示
す。P4内のあるマクロブロックともっとも似ている部分
をIフレームI1から検索して、その部分との誤差を符号
化する。それと共に、動いている量を動きベクトルとし
て符号化する。上記のもっとも似ている部分を検索する
処理を動きベクトル検出と呼び、図15の動きベクトル
検出器1514にて実行される。動きベクトル検出方法
としては、画素毎の誤差の最小の部分を検出する方法が
よく知られている。また、最も似ている部分を最終的に
取り出して符号化する操作を動き補償と呼び、図15の
動き補償器1513にて実行される。さらに、符号化す
るマクロブロックともっとも似ている部分との誤差は、
図15の減算器152にて算出される。DCT部153で
は、縦8画素、横8画素の単位で直交変換がなされ、空
間周波数成分の係数を生成する。さらにこのDCT係数
は、量子化器154により量子化される。この操作は、
DCT係数を所定の係数で割り算して、DCT係数の表現精度
を落として情報を圧縮するものである。A macroblock in the P frame P4 is assigned to I
FIG. 18 shows an example of encoding with reference to the frame I1. The portion of P4 that most resembles a macroblock is searched from the I frame I1 and the error from that portion is encoded. At the same time, the moving amount is encoded as a motion vector. The process of searching for the most similar part is called motion vector detection, and is executed by the motion vector detector 1514 of FIG. As a motion vector detecting method, a method of detecting a minimum error portion for each pixel is well known. The operation of finally extracting the most similar portion and encoding it is called motion compensation, and is executed by the motion compensator 1513 in FIG. Furthermore, the error between the most similar part to the macroblock to be encoded is
It is calculated by the subtractor 152 in FIG. The DCT unit 153 performs orthogonal transformation in units of vertical 8 pixels and horizontal 8 pixels to generate coefficients of spatial frequency components. Further, the DCT coefficient is quantized by the quantizer 154. This operation
The information is compressed by dividing the DCT coefficient by a predetermined coefficient to reduce the precision of expressing the DCT coefficient.
【0012】次に、スキャン変換155により、DCT係
数を低周波数から高周波数の順に並び替え、可変長符号
化器156により可変長符号化される。また、前述した
動きベクトルなどの付帯情報も可変長符号化器156に
より、可変長符号化される。バッファ制御部157で
は、このようにして得られたビットストリームは、出力
バッファに蓄積され、出力ビット量の平坦化がなされ
る。それと共に、出力バッファを監視して発生符号量を
検出し、発生符号量が多すぎる場合は、量子化精度を粗
くして発生符号量を抑圧する。このような制御は制御部
1515によって行われる。逆量子化器158では、量
子化の逆にDCT係数に所定の係数を乗ずる。逆DCT159
では、DCTと逆の演算により空間周波数成分の係数か
ら、実画像の誤差を再生する。得られた誤差と動き補償
後の画素とを、加算器1510により加算することによ
り符号化したマクロブロックが再生される。この再生デ
ータは、後のフレームの符号化に用いられる場合には、
フレームメモリ1511または1512に蓄積される。Next, the scan conversion 155 rearranges the DCT coefficients in order from low frequency to high frequency, and the variable length encoder 156 performs variable length coding. Further, the additional information such as the motion vector described above is also variable-length coded by the variable-length encoder 156. The buffer controller 157 accumulates the bit stream thus obtained in the output buffer and flattens the output bit amount. At the same time, the output buffer is monitored to detect the generated code amount, and when the generated code amount is too large, the quantization accuracy is coarsened to suppress the generated code amount. Such control is performed by the control unit 1515. The inverse quantizer 158 multiplies the DCT coefficient by a predetermined coefficient, which is the inverse of quantization. Inverse DCT159
Then, the error of the actual image is reproduced from the coefficient of the spatial frequency component by the calculation opposite to that of DCT. The added error and the pixel after motion compensation are added by the adder 1510 to reproduce the encoded macroblock. This playback data, when used to encode the subsequent frame,
It is stored in the frame memory 1511 or 1512.
【0013】さて、HDTV画像のような大きな画像を符号
化するためには、膨大な処理が必要であり、これを実時
間で実行するために、処理を分散させる方法が知られて
いる。処理の分散方法には、画面分割法がある。これに
ついては、例えば、1994年テレビジョン学会年次大会予
講集171ページ『画面分割形HDTV符号化方式の諸特性』
あるいは、同予講集173ページ『HDTV画面分割符号化方
式の検討』に述べられている。画面分割の例を図2に示
す。この例ではHDTV画像を、縦34マクロブロック、横
30マクロブロックからなる8個の領域に分割し、各画
面を並列に符号化する。通常のTV画像は、NTSC方式の場
合、縦30マクロブロック、横44〜45マクロブロッ
クであるので、図2のように分割された1画面より多く
のマクロブロックを含む。従って、NTSC方式の画像符号
化器と同等の処理能力を有する画像符号化器を8個並列
に動作させれば、HDTV画像の符号化が可能である。A huge amount of processing is required to encode a large image such as an HDTV image, and a method of distributing the processing is known to execute this in real time. There is a screen division method as a processing distribution method. For this, see, for example, the 1994 Annual Conference of the Television Society of Japan, pp. 171 "Characteristics of split screen HDTV encoding system".
Or, it is described in "Examination of HDTV screen division coding method" on page 173 of the same lecture collection. An example of screen division is shown in FIG. In this example, the HDTV image is divided into eight areas each including 34 macroblocks in the vertical direction and 30 macroblocks in the horizontal direction, and each screen is encoded in parallel. In the case of the NTSC system, a normal TV image has 30 macroblocks vertically and 44 to 45 macroblocks horizontally, and therefore includes more macroblocks than one screen divided as shown in FIG. Therefore, it is possible to encode an HDTV image by operating in parallel eight image encoders having the same processing capability as the NTSC image encoder.
【0014】[0014]
【発明が解決しようとする課題】一方、上述の如くHDTV
画像の如き大きな画面を8個の画面分割し、各分割画面
を独立の符号化条件で8個の符号化器で独立で並列処理
する符号化方法が、本願発明者等により検討された。し
かし、この独立で並列処理する符号化方法では、分割画
面の境界部の符号化条件が独立なるために、境界部での
画質の劣下が発生し、極端な場合では境界線が見えてし
まうと言う問題が本願発明者等により明らかとされた。On the other hand, as described above, the HDTV
The present inventors have studied a coding method in which a large screen such as an image is divided into eight screens, and each divided screen is independently processed in parallel by eight encoders under independent coding conditions. However, in this independent and parallel processing method, since the coding conditions at the boundary part of the divided screen are independent, the image quality is degraded at the boundary part, and the boundary line is visible in an extreme case. This problem has been clarified by the present inventors.
【0015】この問題を回避するために、符号化条件の
ひとつとなる動き補償の領域を分割画面の境界の両側で
オーバーラップさせて、境界を超えて動き補償可能にす
る方法も本願発明者等により検討された。しかし、この
ようにすると、局所復号器内にオーバーラップ分のフレ
ームメモリが追加になるだけでなく、オーバーラップ分
の参照画像を2個の部分符号化器で転送し合わなくては
ならなくなり、制御が非常に複雑になると言う欠点が明
らかとされた。In order to avoid this problem, the present inventors have also proposed a method in which the motion compensation area, which is one of the coding conditions, is overlapped on both sides of the boundary of the divided screen to enable motion compensation beyond the boundary. Was reviewed by. However, in this case, not only the frame memory for the overlap is added in the local decoder, but also the reference images for the overlap have to be transferred by the two partial encoders, The drawback was that the control became very complicated.
【0016】本発明は以上の様な背景によりなされたも
のであり、その目的とするところは、画像データを図面
分割し、各分割画面のデータを並列処理する際の画質を
向上するとともに制御を簡素化することの可能な画像符
号化装置を提供することにある。The present invention has been made in view of the above background, and an object of the present invention is to improve the image quality when the image data is divided into drawings and the data of each divided screen is processed in parallel, and control is performed. An object is to provide an image encoding device that can be simplified.
【0017】[0017]
【課題を解決するための手段】上記目的を達成するため
の本発明の代表的実施形態は、画像データの伝送または
蓄積のデータ量を圧縮する画像符号化装置であって、画
像データから分割画面の各データを分離する分離器(SWi
n)と、上記分離器(SWin)によって分離された上記分割画
面のデータを符号化する複数の分割画面データ符号化器
(0〜7)と、上記複数の分割画面データ符号化器(0〜
7)の出力を合成することにより上記画像データの圧縮
データを生成する合成器(SWout)とを具備してなり、上
記複数の分割画面データ符号化器(0〜7)のひとつの分
割画面データ符号化器(0)から他の分割画面データ符号
化器(1)へ該ひとつの分割画面データ符号化器の符号化
情報を転送せしめ、該符号化情報に従って上記他の分割
画面データ符号化器(1)の符号化動作が制御されること
を特徴とする(図2、図3参照)。A typical embodiment of the present invention for achieving the above object is an image coding apparatus for compressing a data amount of transmission or storage of image data, which is a divided screen from the image data. Separator (SWi
n) and a plurality of split screen data encoders that encode the split screen data separated by the separator (SWin)
(0 to 7) and the plurality of split screen data encoders (0 to 7)
And a synthesizer (SWout) for generating compressed data of the image data by synthesizing the output of 7), and one split screen data of the plurality of split screen data encoders (0 to 7). The encoding information of the one divided screen data encoder is transferred from the encoder (0) to the other divided screen data encoder (1), and the other divided screen data encoder according to the encoding information. The encoding operation of (1) is controlled (see FIGS. 2 and 3).
【0018】従って、符号化情報を受信した他の分割画
面データ符号化器(1)は、分割画面の境界付近の符号化
の際に、隣接する領域の符号化条件を参照できるため、
不連続な符号化を回避することができる。これにより、
境界部分での画質劣下を防止することが可能となる。Therefore, the other split screen data encoder (1) that has received the coding information can refer to the coding conditions of the adjacent areas when coding near the boundary of the split screen.
Discontinuous encoding can be avoided. This allows
It is possible to prevent deterioration of image quality at the boundary.
【0019】本発明の具体的な実施形態は、画像データ
の同一行に存在する分割画面の各データの符号化に際し
て、上記複数の分割画面データ符号化器は異なったタイ
ミングで動作することを特徴とする(図8、図9参照)。A specific embodiment of the present invention is characterized in that the plurality of divided screen data encoders operate at different timings when encoding each data of the divided screen existing in the same row of the image data. (See FIGS. 8 and 9).
【0020】かくして、ある分割画面データ符号化器
(0)がその境界部分を符号化した後に、隣接する他の分
割画面データ符号化器(1)がその境界部分を符号化でき
るようになるので、上記符号化情報の転送、参照が可能
になる。Thus, a certain split screen data encoder
After (0) encodes the boundary part, another adjacent divided screen data encoder (1) can encode the boundary part, so that the above-mentioned encoded information can be transferred and referred to. Become.
【0021】本発明のさらに具体的な実施形態は、上記
符号化情報は、量子化ステップ情報、動きベクトル情
報、イントラ/インター符号化情報のいずれかを含むこ
とを特徴とする。尚、このイントラ/インター符号化情
報は、フレーム間予測を用いないイントラ符号化かフレ
ーム間予測を用いるインター符号化かを示すものである
ことを特徴とする(図4、図5、図6、図7参照)。A more specific embodiment of the present invention is characterized in that the coding information includes any one of quantization step information, motion vector information, and intra / inter coding information. The intra / inter coding information is characterized by indicating whether it is intra coding that does not use interframe prediction or inter coding that uses interframe prediction (FIG. 4, FIG. 5, FIG. 6, FIG. (See FIG. 7).
【0022】符号化の制御には、量子化ステップ、イン
トラ/インター符号化情報、動きベクトルが重要であ
り、転送する符号化情報にこれらを含めることは、画質
向上の観点で効果が大きい。Quantization steps, intra / inter coding information, and motion vectors are important for coding control, and the inclusion of these in coding information to be transferred is highly effective from the viewpoint of improving image quality.
【0023】本発明のその他の目的と他の特徴は、以下
の実施例から明らかとなろう。Other objects and features of the present invention will be apparent from the following examples.
【0024】[0024]
【発明の実施の形態】以下、本発明の第1の実施例によ
る画像符号化装置を、図1から図9により説明する。BEST MODE FOR CARRYING OUT THE INVENTION An image coding apparatus according to a first embodiment of the present invention will be described below with reference to FIGS. 1 to 9.
【0025】図3は、本実施例の画像符号化装置の全体
の構成を示すものである。また、図2は本画像符号化装
置により符号化する画像の分割例である。この例ではHD
TV画像を、縦34マクロブロック、横30マクロブロッ
クからなる8個の領域に分割している。図2の画面0〜
画面7の8個の領域は、図3の符号器0〜符号器7の8
個の部分符号化器により、並列に符号化される。画像の
入力は走査線毎に左上から右下に向けて行われる。各部
分符号化器にはそれぞれ符号化すべき領域を設定してお
き、該当する領域の画素データを選択的に取り込むよう
にする。FIG. 3 shows the overall configuration of the image coding apparatus of this embodiment. Further, FIG. 2 is an example of division of an image encoded by the image encoding device. HD in this example
The TV image is divided into eight areas each including 34 macroblocks vertically and 30 macroblocks horizontally. Screen 0 of Figure 2
The eight areas of the screen 7 are the encoders 0 to 8 of the encoder 7 in FIG.
Are coded in parallel by the partial encoders. The image input is performed from the upper left to the lower right for each scanning line. An area to be encoded is set in each partial encoder, and pixel data in the corresponding area is selectively fetched.
【0026】画像データから分割画面の各データを分離
する分離器としての図3の画像入力部は8個のスイッチ
SWinはこれを模式的に示したものである。The image input section of FIG. 3 as a separator for separating each data of the split screen from the image data has eight switches.
SWin shows this schematically.
【0027】また、分割画面のデータを符号化する複数
の分割画面データ符号化器としての部分符号化器0〜7に
より部分ビットストリームが並列に生成される。Further, partial bitstreams are generated in parallel by the partial encoders 0 to 7 as a plurality of divided screen data encoders for encoding the divided screen data.
【0028】模式的に示した図3のビットストリーム出
力部の8個のスイッチSWoutは複数の分割画面データ符
号化器の出力を合成することにより画像データの圧縮デ
ータを生成する合成器として動作する。従って、部分符
号化器0〜7からの部分ビットストリームはスイッチSWou
tにより切り替えられ、画面全体の左上から右下に向け
て送出され、画像データの圧縮データが生成される。Eight switches SWout of the bit stream output section of FIG. 3 schematically shown operate as a synthesizer for producing compressed data of image data by synthesizing outputs of a plurality of divided screen data encoders. . Therefore, the partial bitstreams from the partial encoders 0-7 are switched SWou
It is switched by t and is sent from the upper left to the lower right of the entire screen to generate compressed data of image data.
【0029】図1は図3の8個の部分符号化器の各構成
を示したものである。図1において、11は符号化のフ
レーム順を入れ替えるためのリオーダ制御部、12は符
号化フレームと参照フレームの差分を演算する減算器、
13はDCT部、14は量子化器、15はスキャン変換
器、16は可変長符号化部、17はビットストリーム出
力バッファの制御を行うバッファ制御部である。また1
8は逆量子化器、19は逆DCT部、110は再生画像を
生成する加算器、111、112はそれぞれ参照画像を
蓄積する前方予測フレームメモリ、後方予測フレームメ
モリ、113は符号化フレームと参照画像の動き補償を
行う動き補償器、114は参照画像に対する符号化フレ
ームの動きを検出する動きベクトル検出器である。1
8、19、110、111、112は復号機能を有し、
符号器と復号器の整合性を確保するために符号器内に設
けるもので、局所復号器である。115は符号化すべき
フレームに割り当てられる符号量を制御したり、量子化
のステップを制御したりする制御部である。さらに、1
16は画面選択部、117は出力切り替え部である。FIG. 1 shows each structure of the eight partial encoders shown in FIG. In FIG. 1, 11 is a reorder control unit for changing the coding frame order, 12 is a subtractor for calculating the difference between the coding frame and the reference frame,
Reference numeral 13 is a DCT unit, 14 is a quantizer, 15 is a scan converter, 16 is a variable length coding unit, and 17 is a buffer control unit for controlling a bitstream output buffer. Also one
8 is an inverse quantizer, 19 is an inverse DCT unit, 110 is an adder that generates a reproduced image, 111 and 112 are forward prediction frame memories and backward prediction frame memories that store reference images, respectively, and 113 is an encoded frame and reference. A motion compensator that performs motion compensation on the image, and 114 is a motion vector detector that detects the motion of the encoded frame with respect to the reference image. 1
8, 19, 110, 111, 112 have a decoding function,
The local decoder is provided in the encoder to ensure the consistency between the encoder and the decoder. A control unit 115 controls a code amount assigned to a frame to be encoded and controls a quantization step. In addition, 1
Reference numeral 16 is a screen selection unit and 117 is an output switching unit.
【0030】次に、図1に示した部分符号化器の動作に
ついて説明する。分割された部分画像の符号化動作の概
要は次のようである。116では図2のような分割画面
から所定の部分を選択的に取り込む。リオーダ制御部1
1では入力画像を符号化の順に並び替える操作(リオー
ダ)を実行する。さらに前処理フィルタ、カラー信号の
ダウンサンプリングなどの処理も11で行われる。符号
化はマクロブロック毎に実行される。動きベクトル検出
は、114にて実行される。符号化するマクロブロック
と最も似ている画像を予測フレームメモリである111
または112のいずれかから検出する。動きベクトル検
出方法としては、画素毎の誤差の最小の部分を検出する
方法がよく知られている。また、最も似ている部分を最
終的に取り出す動き補償は、113にて実行される。さ
らに、符号化するマクロブロックともっとも似ている部
分との誤差は、12にて算出される。DCT13では、縦
8画素、横8画素の単位で直交変換がなされ、空間周波
数成分の係数を生成する。さらにDCT係数は、量子化器
14により量子化される。Next, the operation of the partial encoder shown in FIG. 1 will be described. The outline of the encoding operation of the divided partial images is as follows. At 116, a predetermined portion is selectively fetched from the split screen as shown in FIG. Reorder control unit 1
In 1, the operation (reorder) of rearranging the input images in the order of encoding is executed. Further, processing such as pre-processing filter and color signal down-sampling is also performed in 11. Encoding is performed for each macroblock. Motion vector detection is performed at 114. The image that most resembles the macroblock to be encoded is the prediction frame memory 111
Alternatively, it is detected from either 112. As a motion vector detecting method, a method of detecting a minimum error portion for each pixel is well known. Also, the motion compensation that finally retrieves the most similar portion is performed at 113. Further, the error between the most similar portion to the macroblock to be encoded is calculated at 12. In the DCT 13, orthogonal transformation is performed in units of vertical 8 pixels and horizontal 8 pixels to generate coefficients of spatial frequency components. Further, the DCT coefficient is quantized by the quantizer 14.
【0031】次に、スキャン変換15により、DCT係数
を低周波数から高周波数の順に並び替え、可変長符号化
器16により可変長符号化される。また。前述した動き
ベクトルなどの付帯情報も16により、可変長符号化さ
れる。バッファ制御部17では、このようにして得られ
たビットストリームは、出力バッファに蓄積され、出力
ビット量の平坦化がなされる。それと共に、出力バッフ
ァを監視して発生符号量を検出し、発生符号量が多すぎ
る場合は、量子化精度を粗くして発生符号量を抑圧す
る。このような制御は制御部115によって行われる。
逆量子化器18では、量子化の逆にDCT係数に所定の係
数を乗ずる。逆DCT19では、DCTと逆の演算により空間
周波数成分の係数から、実画像の誤差を再生する。得ら
れた誤差と動き補償後の画素とを、加算器110により
加算することにより符号化したマクロブロックが再生さ
れる。この再生データは、後のフレームの符号化に用い
られる場合には、フレームメモリ111または112に
蓄積される。117ではビットストリームの切り替え制
御が行われる。Next, the scan conversion 15 rearranges the DCT coefficients in order from low frequency to high frequency, and the variable length encoder 16 performs variable length coding. Also. The additional information such as the motion vector described above is also variable-length coded by 16. In the buffer control unit 17, the bit stream thus obtained is accumulated in the output buffer and the output bit amount is flattened. At the same time, the output buffer is monitored to detect the generated code amount, and when the generated code amount is too large, the quantization accuracy is coarsened to suppress the generated code amount. Such control is performed by the control unit 115.
The inverse quantizer 18 multiplies the DCT coefficient by a predetermined coefficient, which is the inverse of the quantization. The inverse DCT 19 reproduces the error of the actual image from the coefficient of the spatial frequency component by the calculation opposite to that of the DCT. The error thus obtained and the pixel after motion compensation are added by the adder 110 to reproduce the coded macroblock. This reproduction data is stored in the frame memory 111 or 112 when it is used for encoding a subsequent frame. At 117, bitstream switching control is performed.
【0032】次に、本実施例の特徴的処理を説明する。
本実施例では、部分画面の境界付近の符号化情報が隣接
部分符号化器へ転送され、隣接部分符号化器はこの符号
化情報に従って制御される。図3において、部分符号器
0からは図2の画面0の右境界部分の符号化情報が、部
分符号器1に送られる。図3ではこの情報を破線で示し
た。同様に、部分符号器1からは図2の画面1の右境界
部分の符号化情報が、部分符号器2に送られ、部分符号
器2からは図2の画面2の右境界部分の符号化情報が、
部分符号器3に送られる。部分符号器4〜7でも同様に
符号化情報が送られる。受信した符号化情報は、図1の
破線で示したように、制御部115に入力される。制御
部115がCPUで構成される場合は、符号化情報の転送
経路として、CPUのローカルバス(各部分符号化器間の
各CPUを接続するバス)を用いることができる。Next, the characteristic processing of this embodiment will be described.
In this embodiment, the coded information near the boundary of the partial screen is transferred to the adjacent partial coder, and the adjacent partial coder is controlled according to this coded information. In FIG. 3, the coding information of the right boundary portion of the screen 0 of FIG. 2 is sent from the partial encoder 0 to the partial encoder 1. This information is indicated by a broken line in FIG. Similarly, the encoding information of the right boundary portion of the screen 1 in FIG. 2 is sent from the partial encoder 1 to the partial encoder 2, and the partial encoder 2 encodes the right boundary portion of the screen 2 in FIG. Information
It is sent to the partial encoder 3. The coded information is similarly sent to the partial encoders 4 to 7. The received encoded information is input to the control unit 115, as indicated by the broken line in FIG. When the control unit 115 is composed of a CPU, a local bus of the CPU (a bus connecting each CPU between each partial encoder) can be used as a transfer path of the encoded information.
【0033】次に、受信した符号化の情報により符号化
を制御する方法について述べる。まず、量子化ステップ
については、境界の両側で同一にすれば(たとえば、画
面1の左端のマクロブロックの量子化ステップを画面0
の右端のマクロブロックの量子化ステップに一致させる
と)、または、大きく変化させないようにすれば、画像
の不連続さが緩和される。図4では、横軸に入力した量
子化ステップ(たとえば、画面0の右端のマクロブロッ
クの量子化ステップ)をとり、これにより制御されるマ
クロブロックの量子化ステップ(画面1の左端のマクロ
ブロックの量子化ステップ)縦軸にとって、制御の例を
示した。この例では、入力した量子化ステップに所定の
変化許容量を加算または減算した範囲で、当該マクロブ
ロックの量子化ステップを決定する。図4の2本の破線
の間の範囲の量子化ステップを許容値として制御する。Next, a method of controlling the coding based on the received coding information will be described. First, if the quantization steps are the same on both sides of the boundary (for example, the quantization step of the leftmost macroblock of the screen 1 is set to the screen 0).
(Equal to the quantization step of the rightmost macroblock of), or with no significant change, the image discontinuity is mitigated. In FIG. 4, the quantization step input on the horizontal axis (for example, the quantization step of the rightmost macroblock of the screen 0) is taken, and the quantization step of the macroblock controlled by this (the leftmost macroblock of the screen 1 (Quantization step) An example of control is shown on the vertical axis. In this example, the quantization step of the macroblock is determined within a range in which a predetermined allowable change amount is added to or subtracted from the input quantization step. The quantization step in the range between the two broken lines in FIG. 4 is controlled as an allowable value.
【0034】すなわち、部分符号器0の量子化ステップ
の符号化情報を部分符号器1へ転送すると、部分符号器
1の量子化ステップは部分符号器0の量子化ステップに
依存するようになる。その結果、画面0の右端のマクロ
ブロックの量子化ステップが小さい時には、画面1の左
端のマクロブロックの量子化ステップが小さくなるよう
に部分符号器1が制御されて、画面0と画面1との境界
部分の画質の劣化が防止される。That is, when the coding information of the quantization step of the partial encoder 0 is transferred to the partial encoder 1, the quantization step of the partial encoder 1 depends on the quantization step of the partial encoder 0. As a result, when the quantization step of the rightmost macroblock of the screen 0 is small, the subcoder 1 is controlled so that the quantization step of the leftmost macroblock of the screen 1 becomes small, so that the screen 0 and the screen 1 are separated from each other. The deterioration of the image quality at the boundary is prevented.
【0035】また、フレーム間予測を用いないイントラ
符号化かフレーム間予測を用いるインター符号化かを示
すイントラ/インター符号化情報については、当該マク
ロブロックのイントラ/インター符号化の判定条件を制
御する。For intra / inter coding information indicating intra coding without interframe prediction or inter coding with interframe prediction, the intra / inter coding determination condition of the macroblock is controlled. .
【0036】すなわち、部分符号器0がイントラ符号化
で符号化していると言うイントラ/インター符号化情報
を部分符号器1へ転送すると、部分符号器1の符号化動
作は部分符号器0のイントラ符号化動作に依存するよう
になる。その結果、画面0の右端のマクロブロックがイ
ントラ符号化で符号化されている時には、画面1の左端
のマクロブロックがイントラ符号化で符号化されなるよ
うに部分符号器1が制御されて、画面0と画面1との境
界部分の画質の劣化が防止される。That is, when the intra / inter coded information that the partial encoder 0 is coded by the intra coding is transferred to the partial encoder 1, the encoding operation of the partial encoder 1 is performed by the intra encoder of the partial encoder 0. It becomes dependent on the encoding operation. As a result, when the rightmost macroblock of screen 0 is encoded by intra-coding, the partial encoder 1 is controlled so that the leftmost macroblock of screen 1 is encoded by intra-coding, Degradation of image quality at the boundary between 0 and screen 1 is prevented.
【0037】イントラ符号化かインター符号化かの判定
方法は、符号化すべき当該マクロブロック自身の分散VA
RORと動き補償後の差分データの分散VARとを用いる。こ
れらは、次の式で表わされる。ただし、ORは符号化すべ
き当該マクロブロックの各輝度画素データ、Sは、動き
補償後の各予測画像データを表わす。また、Σは、マク
ロブロック内の輝度データに対する総和を表わす。The method of determining whether the coding is intra-coding or inter-coding is based on the variance VA of the macroblock itself to be coded.
The ROR and the variance VAR of the difference data after motion compensation are used. These are expressed by the following equations. However, OR represents each luminance pixel data of the macro block to be encoded, and S represents each prediction image data after motion compensation. Further, Σ represents the sum total of the luminance data in the macroblock.
【0038】VAR=Σ((OR−S )×(OR−S )) /256 VAROR=Σ(OR×OR) /256−((ΣOR ) /256)×((ΣOR ) /
256) すなわち、VARは各画素での輝度画素データと動き補償
後の予測画像データとの差分の二乗の総和を示し、VARO
Rは動き補償とは無関係の各画素での画像データの二乗
の総和と各画素の画像データの総和平均値の二乗との差
を示している。VAR = Σ ((OR−S) × (OR−S)) / 256 VAROR = Σ (OR × OR) / 256 − ((ΣOR) / 256) × ((ΣOR) /
256) That is, VAR represents the sum of squared differences between the luminance pixel data at each pixel and the predicted image data after motion compensation.
R represents the difference between the sum of the squares of the image data at each pixel and the square of the sum of the averages of the image data at each pixel, which has nothing to do with motion compensation.
【0039】これらの大小を比較して、フレーム間のデ
ータの画像データの相関が小さくVARがVARORより大きい
ときフレーム間予測を用いないイントラ符号化とし、逆
にVARORがVARより大きいときフレーム間予測を用いるイ
ンター符号化とするものである。By comparing these magnitudes, intra-coding without using interframe prediction is performed when the correlation of image data of data between frames is small and VAR is larger than VAROR, and conversely, when VAROR is larger than VAR, interframe prediction is performed. Is used for inter coding.
【0040】図5において、45度の傾きの線がイント
ラ符号化かインター符号化かの判定の境界となる。原点
付近は、インター符号としている。この例は、画像符号
化方式H.261のリファレンスモデル8やMPEG1のシミュレ
ーションモデル3に述べられている。In FIG. 5, a line having a slope of 45 degrees serves as a boundary for determining whether intra coding or inter coding. The vicinity of the origin is inter coded. This example is described in the reference model 8 of the image coding method H.261 and the simulation model 3 of MPEG1.
【0041】さて、本実施例では、部分符号器0のイン
トラ符号化かインター符号化かの符号化情報を部分符号
器1へ転送すると、部分符号器1のイントラ符号化かイ
ンター符号化かの符号化の制御は部分符号器0の符号化
情報に依存するようになる。その結果、画面0の右端の
マクロブロックの符号化がイントラ符号化の時には、画
面1の左端の符号化がイントラ符号化と成りやすいよう
に部分符号器1が制御されて、画面0と画面1との境界
部分の画質の劣化が防止される。In the present embodiment, when the coding information indicating whether the sub-coder 0 is intra-coded or inter-coded is transferred to the sub-coder 1, it is determined whether the sub-coder 1 is intra-coded or inter-coded. The encoding control depends on the encoding information of the partial encoder 0. As a result, when the rightmost macroblock of the screen 0 is intra-coded, the partial encoder 1 is controlled so that the leftmost coding of the screen 1 is likely to be intra-coded. It is possible to prevent the image quality from deteriorating at the boundary between the and.
【0042】すなわち図5または図6に示したように、
隣接分割画像の境界がイントラ符号であれば符号化すべ
き当該マクロブロックもイントラ符号になりやすく、隣
接分割画像の境界がインター符号であれば符号化すべき
当該マクロブロックもインター符号になりやすくなるよ
うに判定を制御する。図5では、判定境界線の傾きを変
え、図6では、所定のオフセットを設ける。That is, as shown in FIG. 5 or FIG.
If the boundary of the adjacent divided image is an intra code, the macroblock to be encoded is likely to be an intra code, and if the boundary of the adjacent divided image is an inter code, the macroblock to be encoded is likely to be an inter code. Control judgment. In FIG. 5, the inclination of the determination boundary line is changed, and in FIG. 6, a predetermined offset is provided.
【0043】一方、動きベクトル検出は、単独のマクロ
ブロックで決定するより、周辺のベクトルを参照しなが
ら決定したほうが、確度が高くなる。本実施例では、隣
接分割画像の境界のベクトルを参照して、符号化すべき
当該マクロブロックのベクトルもその近傍のものが選ば
れ易くする。図7に示す様に、分割画面の画面1と画面
2との境界での数マクロブロック分のベクトル(実線で
示した)を転送し、それと平行のベクトル(破線で示し
た)の近傍(矩型で示した)内のベクトルが選ばれ易く
なるように制御する。境界を超えてしまう場合は、参照
しないようにするか、ベクトル0(動きなし)が選ばれ
易くなるようにする。On the other hand, in the motion vector detection, the accuracy is higher when the motion vector is determined by referring to the surrounding vectors than when it is determined by a single macroblock. In the present embodiment, the vector of the boundary of the adjacent divided image is referred to, and the vector of the macroblock to be coded is easily selected in the vicinity thereof. As shown in FIG. 7, a vector (indicated by a solid line) for several macroblocks at the boundary between the split screens 1 and 2 is transferred, and a vector (indicated by a broken line) in parallel with the vector (indicated by a rectangle) The vector in (type) is controlled so that it can be easily selected. If it exceeds the boundary, it is not referred to or vector 0 (no motion) is easily selected.
【0044】すなわち、部分符号器1の動きベクトル検
出の符号化情報を部分符号器2へ転送すると、部分符号
器2の動きベクトル検出の符号化の制御は部分符号器1
の符号化情報に依存するようになる。その結果、画面1
の右端のマクロブロックの動きベクトル検出の符号化情
報が、画面2の左端のマクロブロックの動きベクトル検
出に参照されて、動きベクトル検出の確度が高くなる。That is, when the coding information for motion vector detection of the partial encoder 1 is transferred to the partial encoder 2, the motion vector detection coding control of the partial encoder 2 is controlled by the partial encoder 1.
It becomes to depend on the encoding information of. As a result, screen 1
The coding information for detecting the motion vector of the rightmost macro block of is referred to for detecting the motion vector of the leftmost macro block of the screen 2, and the accuracy of the motion vector detection is increased.
【0045】次に、各部分符号化器の動作タイミングを
説明する。図2において、画面0の右端の量子化ステッ
プ、イントラ/インター符号化情報、動きベクトル検出
等の符号化条件を、画面1の左端の符号化制御に用いる
ためには、画面0の右端のマクロブロックを画面1の左
端のマクロブロックより先行して符号化しなければなら
ない。本実施例では、図8に示す様に、画面0の最上ス
ライス(マクロブロック1行分)を符号化し、次に画面
0の2番目のスライスを符号化する期間に画面1の最上
スライスを符号化するように符号化器1の動作タイミン
グを符号化器0の動作タイミングより遅らせることが必
要となる。同様に、符号化器2の動作タイミングを符号
化器1の動作タイミングより遅らせ、符号化器3の動作
タイミングを符号化器2の動作タイミングより遅らせる
ことが必要となる。図8では矢印線が1スライスの符号
化を示しており、それに付した番号が符号化の順序を示
している。このように右側の部分画像を左側の部分画像
より1スライス期間遅らせて符号化すれば、符号化情報
を符号化器0から符号化器1へ、符号化器1から符号化
器2へ、符号化器2から符号化器3へそれぞれ転送する
ことが可能となる。Next, the operation timing of each partial encoder will be described. In FIG. 2, in order to use the coding conditions such as the quantization step at the right end of the screen 0, intra / inter coding information, and motion vector detection for the coding control at the left end of the screen 1, the macro at the right end of the screen 0 is displayed. The block must be encoded before the leftmost macroblock of screen 1. In the present embodiment, as shown in FIG. 8, the uppermost slice (one macroblock row) of the screen 0 is encoded, and then the uppermost slice of the screen 1 is encoded during the period in which the second slice of the screen 0 is encoded. Therefore, it is necessary to delay the operation timing of the encoder 1 with respect to the operation timing of the encoder 0. Similarly, it is necessary to delay the operation timing of the encoder 2 from the operation timing of the encoder 1 and delay the operation timing of the encoder 3 from the operation timing of the encoder 2. In FIG. 8, the arrow line indicates the encoding of one slice, and the number attached thereto indicates the encoding order. In this way, if the right partial image is encoded with a delay of one slice period from the left partial image, the encoded information is encoded from the encoder 0 to the encoder 1 and from the encoder 1 to the encoder 2. It is possible to transfer the data from the coder 2 to the coder 3.
【0046】図9は、各部分符号化器1〜7の符号化タ
イミングを示す図である。1画面の先頭を示すフレーム
同期信号とスライスの先頭を示すスライス同期、さらに
マクロブロックの処理の先頭を示すマクロブロック同期
信号も示した。各分割画面は34スライスから成るが、
各部分符号化器は1スライス毎にずれたタイミングで動
作するため、部分符号化器0または4が符号化を開始
後、部分符号化器3または7が符号化を終了するまで
に、37スライス期間(スライス同期期間1〜37)を
要する。スライス期間の−1と0とは、それぞれフレー
ム全体の符号化前処理と、部分符号化器0と4による先
頭スライスの符号化の前処理を行う期間である。また、
各スライス期間には30マクロブロック(マクロブロッ
ク同期期間1〜30)が符号化されるが、その前後に3
マクロブロック期間ずつ(マクロブロック同期期間−2
〜0とマクロブロック同期期間31〜33)設けて、こ
の間に符号化情報の転送を行う。各部分符号化器の符号
化タイミング期間中、下向きの矢印線で示したタイミン
グで符号化情報の転送を行うものである。FIG. 9 is a diagram showing the encoding timing of each of the partial encoders 1-7. A frame synchronization signal indicating the beginning of one screen, slice synchronization indicating the beginning of a slice, and a macroblock synchronization signal indicating the beginning of macroblock processing are also shown. Each split screen consists of 34 slices,
Since each partial encoder operates at a timing shifted for each slice, after the partial encoder 0 or 4 starts the encoding, it is 37 slices before the partial encoder 3 or 7 finishes the encoding. A period (slice synchronization period 1 to 37) is required. The slice periods -1 and 0 are periods during which precoding of the entire frame and precoding of the first slice by the partial encoders 0 and 4 are performed, respectively. Also,
30 macroblocks (macroblock synchronization periods 1 to 30) are coded in each slice period, and 3
Each macroblock period (Macroblock synchronization period-2
˜0 and macroblock synchronization periods 31 to 33) are provided, and the encoded information is transferred during this period. During the encoding timing period of each partial encoder, the encoded information is transferred at the timing shown by the downward arrow line.
【0047】以上、本発明の第1の実施例を詳細に説明
したが、本発明のその技術思想の範囲内で種々の変形が
可能であることは言うまでもない。以下、この変形実施
例を説明する。Although the first embodiment of the present invention has been described in detail above, it goes without saying that various modifications can be made within the scope of the technical idea of the present invention. Hereinafter, this modified embodiment will be described.
【0048】以下、本発明の第2の実施例を図10によ
り説明する。図10は、本実施例の画像符号化装置の構
成である。第1の実施例である図3との相違は、符号化
情報を双方向にした点である。例えば、第1の実施例で
は部分符号化器0から部分符号化器1へ符号化情報を転
送するだけでであるのに対し、本実施例では部分符号化
器0と部分符号化器1との間で双方向で符号化情報を転
送する。具体的には、部分符号化器0が画面0の右端の
マクロブロックを符号化するタイミングに合わせて、部
分符号化器1が画面1の左端のマクロブロックを符号化
する。すなわち、部分符号化器1は部分符号化器0より
29マクロブロック遅れて符号化を実行する。この様に
することにより、部分符号化器1は画面0の右端のマク
ロブロックがどのような条件で符号化されようとしてい
るのか、又部分符号化器0は画面1の左端のマクロブロ
ックがどのような条件で符号化されようとしているのか
を知ることが可能となる。この様に、境界の両側の動き
ベクトル情報、量子化ステップ情報、イントラ/インタ
ー符号化情報等を比較した後、最終的な符号化条件を決
定できる。これにより、境界部分の画質を非常に向上す
ることが可能となる。The second embodiment of the present invention will be described below with reference to FIG. FIG. 10 shows the configuration of the image coding apparatus according to this embodiment. The difference from FIG. 3 which is the first embodiment is that the encoded information is bidirectional. For example, in the first embodiment, only the coding information is transferred from the partial encoder 0 to the partial encoder 1, whereas in the present embodiment, the partial encoder 0 and the partial encoder 1 are transmitted. The encoded information is transferred bidirectionally between the two. Specifically, the partial encoder 1 encodes the leftmost macroblock of the screen 1 at the timing when the partial encoder 0 encodes the rightmost macroblock of the screen 0. That is, the partial encoder 1 executes the encoding with a delay of 29 macroblocks from the partial encoder 0. By doing so, under what conditions the partial encoder 1 is going to encode the rightmost macroblock of the screen 0, and the partial encoder 0 determines which of the leftmost macroblocks of the screen 1 is. It becomes possible to know whether the code is about to be encoded under such conditions. In this way, after the motion vector information on both sides of the boundary, the quantization step information, the intra / inter coding information, etc. are compared, the final coding condition can be determined. This makes it possible to greatly improve the image quality of the boundary portion.
【0049】以下、本発明の第3の実施例を図11によ
り説明する。図11は、本実施例の部分符号化器の動作
タイミングを示す図である。第1の実施例である図8と
の相違は、画面上半分と画面下半分を半フレーム(34
MB)ずらして動作させることである。このようにする
ことにより、上半画面の符号化情報を下半画面に転送可
能となり、両者の境界部分の符号化をこれにより制御す
ることにより、上半画面と下半画面の境界部分の画質を
向上できる。The third embodiment of the present invention will be described below with reference to FIG. FIG. 11 is a diagram showing the operation timing of the partial encoder of this embodiment. The difference from the first embodiment shown in FIG. 8 is that the upper half of the screen and the lower half of the screen are half frames (34
MB) It is to shift and operate. By doing so, the coded information of the upper half screen can be transferred to the lower half screen, and by controlling the coding of the boundary part between them, the image quality of the boundary part between the upper half screen and the lower half screen can be improved. Can be improved.
【0050】以下、本発明の第4の実施例を図12によ
り説明する。図12は、本実施例の部分符号化器の動作
タイミングを示す図である。第1の実施例である図8と
の相違は、画面上半分と画面下半分を半フレーム程度ず
らして動作させることである。このようにすることによ
り、上半画面の符号化情報を下半画面に転送可能とな
り、両者の境界部分の符号化をこれにより制御すること
により、上半画面と下半画面の境界部分の画質を向上で
きる。The fourth embodiment of the present invention will be described below with reference to FIG. FIG. 12 is a diagram showing the operation timing of the partial encoder of this embodiment. The difference from the first embodiment shown in FIG. 8 is that the upper half of the screen and the lower half of the screen are shifted by about a half frame for operation. By doing so, the coded information of the upper half screen can be transferred to the lower half screen, and by controlling the coding of the boundary part between them, the image quality of the boundary part between the upper half screen and the lower half screen can be improved. Can be improved.
【0051】以下、本発明の第5の実施例を図13、図
14により説明する。本実施例は、本発明をNTSC画像の
符号化に適用したものである。図13に示すように、横
704画素、縦480ラインの画像を、4分割する。部
分画像の大きさは、横22マクロブロック、縦15マク
ロブロックとなる。図13の画面0〜画面3の4個の領
域は、図14の符号器0〜符号器3の4個の部分符号化
器により、並列に符号化される。画像の入力は走査線毎
に左上から右下に向けて行われる。各部分符号化器には
それぞれ符号化すべき領域を設定しておき、該当する領
域の画素データを選択的に取り込むようにする。図14
の画像入力部の4個のスイッチSWinはこれを模式的に示
したものである。また、各部分符号化器により並列に生
成されたビットストリームは、図14のビットストリー
ム出力部の4個のスイッチSwoutにより切り替えられな
がら、マクロブロック毎に画面全体の左上から右下に向
けて送出される。図14の4個の部分符号化器の構成
は、基本的には図1と同様である。本実施例では、部分
画像の大きさが第1の実施例より小さく、部分符号化器
0〜3をマイクロプロセッサにより構成することも可能
である。The fifth embodiment of the present invention will be described below with reference to FIGS. 13 and 14. In the present embodiment, the present invention is applied to the coding of NTSC images. As shown in FIG. 13, an image of 704 horizontal pixels and 480 vertical lines is divided into four. The size of the partial image is 22 macroblocks horizontally and 15 macroblocks vertically. The four areas of screen 0 to screen 3 of FIG. 13 are encoded in parallel by the four partial encoders of encoder 0 to encoder 3 of FIG. The image input is performed from the upper left to the lower right for each scanning line. An area to be encoded is set in each partial encoder, and pixel data in the corresponding area is selectively fetched. FIG.
The four switches SWin in the image input section of are shown schematically. In addition, the bitstreams generated in parallel by the respective partial encoders are sent from the upper left to the lower right of the entire screen for each macroblock while being switched by the four switches Swout of the bitstream output unit in FIG. To be done. The configuration of the four partial encoders in FIG. 14 is basically the same as that in FIG. In this embodiment, the size of the partial image is smaller than that in the first embodiment, and the partial encoders 0 to 3 can be configured by a microprocessor.
【0052】[0052]
【発明の効果】本発明によれば、画像データを図面分割
し、各分割画面のデータを並列処理する際の画質を向上
するとともに制御を簡素化することの可能な画像符号化
装置を提供することが可能となる。According to the present invention, there is provided an image coding apparatus capable of dividing image data into drawings and improving the image quality when parallel processing of data of each divided screen and simplifying control. It becomes possible.
【図1】本発明の第1の実施例の部分符号化器の構成図
である。FIG. 1 is a configuration diagram of a partial encoder according to a first embodiment of the present invention.
【図2】本発明の第1の実施例の符号化画像の画面分割
例を示す図である。FIG. 2 is a diagram showing an example of screen division of an encoded image according to the first embodiment of the present invention.
【図3】本発明の第1の実施例の並列符号化装置の構成
図である。FIG. 3 is a configuration diagram of a parallel encoding device according to a first embodiment of the present invention.
【図4】本発明の第1の実施例の量子化ステップ制御を
示す図である。FIG. 4 is a diagram showing a quantization step control of the first embodiment of the present invention.
【図5】本発明の第1の実施例のイントラ/インター符
号化の判定制御の第1の例を示す図である。FIG. 5 is a diagram showing a first example of decision control for intra / inter coding according to the first embodiment of the present invention.
【図6】本発明の第1の実施例のイントラ/インター符
号化の判定制御の第2の例を示す図である。FIG. 6 is a diagram showing a second example of intra / inter coding determination control according to the first embodiment of the present invention.
【図7】本発明の第1の実施例の動きベクトル制御を示
す図である。FIG. 7 is a diagram showing motion vector control according to the first embodiment of the present invention.
【図8】本発明の第1の実施例の分割画面を符号化する
順序を説明する図である。[Fig. 8] Fig. 8 is a diagram illustrating an order of encoding divided screens according to the first embodiment of this invention.
【図9】本発明の第1の実施例の分割画面を符号化する
タイミングと符号化情報の転送タイミングを説明する図
である。FIG. 9 is a diagram illustrating a timing of encoding a split screen and a timing of transferring encoded information according to the first embodiment of this invention.
【図10】本発明の第2の実施例の並列符号化装置の構
成図である。FIG. 10 is a configuration diagram of a parallel encoding device according to a second embodiment of the present invention.
【図11】本発明の第3の実施例の分割画面を符号化す
る順序を説明する図である。[Fig. 11] Fig. 11 is a diagram illustrating the order of encoding divided screens according to the third embodiment of this invention.
【図12】本発明の第4の実施例の分割画面を符号化す
る順序を説明する図である。[Fig. 12] Fig. 12 is a diagram illustrating the order of encoding divided screens according to the fourth embodiment of the present invention.
【図13】本発明の第5の実施例の符号化画像の画面分
割例を示す図である。FIG. 13 is a diagram showing an example of screen division of an encoded image according to a fifth embodiment of the present invention.
【図14】本発明の第5の実施例の並列符号化装置の構
成図である。FIG. 14 is a configuration diagram of a parallel encoding device according to a fifth embodiment of the present invention.
【図15】従来の符号化装置の構成図である。FIG. 15 is a configuration diagram of a conventional encoding device.
【図16】HDTV画像のマクロブロック構成図である。FIG. 16 is a macroblock configuration diagram of an HDTV image.
【図17】予測符号化の予測方法を示す図である。FIG. 17 is a diagram showing a prediction method of predictive coding.
【図18】予測符号化の動き補償方法を示す図である。[Fig. 18] Fig. 18 is a diagram illustrating a motion compensation method for predictive coding.
11、151: リオーダ制御部 12、152: 減算器 13、153:DCT部 14、154: 量子化器 15、155: スキャン変換器 16、156: 可変長符号化器 17、157: バッファ制御部 18、158: 逆量子化器 19、159: 逆DCT部 110、1510: 加算器 111、1511: 前方予測フレームメモリ 112、1512: 後方予測フレームメモリ 113、1513: 動き補償部 114、1514: 動きベクトル検出部 115、1515: 符号化制御部 116: 画面選択部 117: ビットストリーム出力切り替え部 11, 151: Reorder control unit 12, 152: Subtractor 13, 153: DCT unit 14, 154: Quantizer 15, 155: Scan converter 16, 156: Variable length encoder 17, 157: Buffer control unit 18 158: Inverse quantizer 19, 159: Inverse DCT unit 110, 1510: Adder 111, 1511: Forward prediction frame memory 112, 1512: Backward prediction frame memory 113, 1513: Motion compensation unit 114, 1514: Motion vector detection Units 115 and 1515: Encoding control unit 116: Screen selection unit 117: Bitstream output switching unit
───────────────────────────────────────────────────── フロントページの続き (72)発明者 冨永 憲一 東京都小平市上水本町5丁目20番1号 株 式会社日立製作所半導体事業部内 (72)発明者 小林 孝之 東京都渋谷区代々木四丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 永井 律彦 東京都渋谷区代々木四丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 (72)発明者 新井 英雄 東京都渋谷区代々木四丁目36番19号 株式 会社グラフィックス・コミュニケーショ ン・ラボラトリーズ内 ─────────────────────────────────────────────────── ─── Continuation of the front page (72) Inventor Kenichi Tominaga 5-20-1 Kamimizuhoncho, Kodaira-shi, Tokyo Hitachi Ltd. Semiconductor Division (72) Inventor Takayuki Kobayashi 4-36 Yoyogi, Shibuya-ku, Tokyo No. 19 in Graphics Communications Laboratories, Inc. (72) Inventor Norihiko Nagai No. 36-19 Yoyogi, Shibuya-ku, Tokyo Incorporated in Graphics Communications Laboratories (72) Inventor Hideo Arai Tokyo 4 36-19 Yoyogi, Shibuya-ku, Tokyo Inside Graphics Communications Laboratories, Inc.
Claims (3)
を圧縮する画像符号化装置であって、 画像データから分割画面の各データを分離する分離器
と、 上記分離器によって分離された上記分割画面のデータを
符号化する複数の分割画面データ符号化器と、 上記複数の分割画面データ符号化器の出力を合成するこ
とにより上記画像データの圧縮データを生成する合成器
とを具備してなり、 上記複数の分割画面データ符号化器のひとつの分割画面
データ符号化器から他の分割画面データ符号化器へ該ひ
とつの分割画面データ符号化器の符号化情報を転送せし
め、該符号化情報に従って上記他の分割画面データ符号
化器の符号化動作が制御されることを特徴とする画像符
号化装置。1. An image coding apparatus for compressing a data amount of transmission or storage of image data, comprising a separator for separating each data of a divided screen from the image data, and the divided screen separated by the separator. A plurality of split screen data encoders for encoding data, and a synthesizer for producing compressed data of the image data by synthesizing outputs of the plurality of split screen data encoders, Transfer the encoding information of the one divided screen data encoder from one divided screen data encoder of the plurality of divided screen data encoders to another divided screen data encoder, and according to the encoding information An image coding apparatus, wherein the coding operation of the other split screen data encoder is controlled.
の各データの符号化に際して、上記複数の分割画面デー
タ符号化器は異なったタイミングで動作することを特徴
とする請求項1に記載の画像符号化装置。2. The plurality of divided screen data encoders operate at different timings when encoding each data of the divided screens existing in the same row of the image data. Image coding device.
と、動きベクトル情報と、フレーム間予測を用いないイ
ントラ符号化かフレーム間予測を用いるインター符号化
かを示すイントラ/インター符号化情報との少なくとも
いずれかを含むことを特徴とする請求項1または請求項
2のいずれかに記載の画像符号化装置。3. The coding information includes quantization step information, motion vector information, and intra / inter coding information indicating intra coding without interframe prediction or inter coding with interframe prediction. The image coding apparatus according to claim 1, further comprising at least one of the following.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10802896A JPH09294262A (en) | 1996-04-26 | 1996-04-26 | Image coding device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10802896A JPH09294262A (en) | 1996-04-26 | 1996-04-26 | Image coding device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH09294262A true JPH09294262A (en) | 1997-11-11 |
Family
ID=14474140
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10802896A Pending JPH09294262A (en) | 1996-04-26 | 1996-04-26 | Image coding device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH09294262A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6954503B1 (en) | 1999-03-01 | 2005-10-11 | Nec Corporation | Video image coding apparatus with individual compression encoding sections for different image divisions |
| JP2006135461A (en) * | 2004-11-04 | 2006-05-25 | Casio Comput Co Ltd | Moving picture coding apparatus and moving picture coding processing program |
| JP2006174138A (en) * | 2004-12-16 | 2006-06-29 | Sony Corp | Data processing apparatus, image processing apparatus, method and program thereof |
| JP2006295721A (en) * | 2005-04-13 | 2006-10-26 | Pioneer Electronic Corp | Image encoding apparatus and image encoding method |
| JP2007060487A (en) * | 2005-08-26 | 2007-03-08 | Sony Corp | Apparatus and method for processing picture, recording medium and program |
| WO2008020470A1 (en) * | 2006-08-15 | 2008-02-21 | Fujitsu Limited | Decoding method and device |
| JP2009027693A (en) * | 2007-06-18 | 2009-02-05 | Canon Inc | Video compression encoding device |
| JP2010035146A (en) * | 2008-07-02 | 2010-02-12 | Canon Inc | Encoder, and encoding method |
| US8175152B2 (en) | 2006-06-01 | 2012-05-08 | Oki Electric Industry Co., Ltd. | Picture coding apparatus and method |
| JP2013165514A (en) * | 2008-05-23 | 2013-08-22 | Panasonic Corp | Image decoder, image decoding method, image encoder and image encoding method |
| US8649615B2 (en) | 2007-06-18 | 2014-02-11 | Canon Kabushiki Kaisha | Moving picture compression coding apparatus |
| JP2015185979A (en) * | 2014-03-24 | 2015-10-22 | 富士通株式会社 | Moving picture encoding apparatus and moving picture encoder |
-
1996
- 1996-04-26 JP JP10802896A patent/JPH09294262A/en active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6954503B1 (en) | 1999-03-01 | 2005-10-11 | Nec Corporation | Video image coding apparatus with individual compression encoding sections for different image divisions |
| JP2006135461A (en) * | 2004-11-04 | 2006-05-25 | Casio Comput Co Ltd | Moving picture coding apparatus and moving picture coding processing program |
| JP2006174138A (en) * | 2004-12-16 | 2006-06-29 | Sony Corp | Data processing apparatus, image processing apparatus, method and program thereof |
| JP2006295721A (en) * | 2005-04-13 | 2006-10-26 | Pioneer Electronic Corp | Image encoding apparatus and image encoding method |
| JP2007060487A (en) * | 2005-08-26 | 2007-03-08 | Sony Corp | Apparatus and method for processing picture, recording medium and program |
| US8457212B2 (en) | 2005-08-26 | 2013-06-04 | Sony Corporation | Image processing apparatus, image processing method, recording medium, and program |
| US8175152B2 (en) | 2006-06-01 | 2012-05-08 | Oki Electric Industry Co., Ltd. | Picture coding apparatus and method |
| WO2008020470A1 (en) * | 2006-08-15 | 2008-02-21 | Fujitsu Limited | Decoding method and device |
| JP2009027693A (en) * | 2007-06-18 | 2009-02-05 | Canon Inc | Video compression encoding device |
| US8649615B2 (en) | 2007-06-18 | 2014-02-11 | Canon Kabushiki Kaisha | Moving picture compression coding apparatus |
| JP2013165514A (en) * | 2008-05-23 | 2013-08-22 | Panasonic Corp | Image decoder, image decoding method, image encoder and image encoding method |
| JP2013165515A (en) * | 2008-05-23 | 2013-08-22 | Panasonic Corp | Image decoder and image decoding method |
| JP2014161092A (en) * | 2008-05-23 | 2014-09-04 | Panasonic Corp | Image encoder and image encoding method |
| US8897583B2 (en) | 2008-05-23 | 2014-11-25 | Panasonic Corporation | Image decoding apparatus for decoding a target block by referencing information of an already decoded block in a neighborhood of the target block |
| JP2015128318A (en) * | 2008-05-23 | 2015-07-09 | パナソニックIpマネジメント株式会社 | Image coding apparatus and image coding method |
| US9319698B2 (en) | 2008-05-23 | 2016-04-19 | Panasonic Intellectual Property Management Co., Ltd. | Image decoding apparatus for decoding a target block by referencing information of an already decoded block in a neighborhood of the target block |
| JP2016146674A (en) * | 2008-05-23 | 2016-08-12 | パナソニックIpマネジメント株式会社 | Image decoding apparatus and image decoding method |
| JP2017099017A (en) * | 2008-05-23 | 2017-06-01 | パナソニックIpマネジメント株式会社 | Image decoding apparatus, image coding apparatus, image decoding method, image coding method, program and integrated circuit |
| JP2018078645A (en) * | 2008-05-23 | 2018-05-17 | パナソニックIpマネジメント株式会社 | Image decoding device, image encoder, image decoding method, image encoding method, program and integrated circuit |
| JP2010035146A (en) * | 2008-07-02 | 2010-02-12 | Canon Inc | Encoder, and encoding method |
| JP2015185979A (en) * | 2014-03-24 | 2015-10-22 | 富士通株式会社 | Moving picture encoding apparatus and moving picture encoder |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP0542195B1 (en) | Interframe predicting method and picture signal coding/decoding apparatus | |
| US20030095603A1 (en) | Reduced-complexity video decoding using larger pixel-grid motion compensation | |
| JP2002511669A (en) | Method and apparatus for adaptive encoding of video data stream | |
| JPH0998429A (en) | Digital video signal encoding device and decoding device | |
| JPH08223577A (en) | Moving image coding method and device therefor and moving image decoding method and device therefor | |
| JPH09294262A (en) | Image coding device | |
| US20020172282A1 (en) | Signal coding apparatus and method, signal recording medium, and signal transmitting method | |
| JPH0818979A (en) | Image processing device | |
| JP3426668B2 (en) | Video coding method | |
| JP3599942B2 (en) | Moving picture coding method and moving picture coding apparatus | |
| JP3240024B2 (en) | Image processing method | |
| KR100359819B1 (en) | An Efficient Edge Prediction Methods In Spatial Domain Of Video Coding | |
| JP3200199B2 (en) | Video compression encoding method | |
| JP3141149B2 (en) | Image coding device | |
| JP2820631B2 (en) | Image decoding method and apparatus | |
| JP3367992B2 (en) | Video encoding device and decoding device | |
| JP3240737B2 (en) | Image signal encoding method and apparatus, decoding method and apparatus | |
| JP4359273B2 (en) | Coding mode selection method | |
| KR100238087B1 (en) | Intrablock insertion method and video encoding device using same | |
| JP3770466B2 (en) | Image coding rate conversion apparatus and image coding rate conversion method | |
| JP4359274B2 (en) | Video compression encoding device | |
| JP3481207B2 (en) | Image signal transmission method and apparatus, and image signal decoding method and apparatus | |
| JP3168723B2 (en) | Video signal encoding device | |
| JPH11298902A (en) | Image coder and image coding method therefor | |
| JP4353928B2 (en) | Data compression method, recording method, and transmission method |