JP2004229314A - Image decoding method and apparatus - Google Patents
Image decoding method and apparatus Download PDFInfo
- Publication number
- JP2004229314A JP2004229314A JP2004060459A JP2004060459A JP2004229314A JP 2004229314 A JP2004229314 A JP 2004229314A JP 2004060459 A JP2004060459 A JP 2004060459A JP 2004060459 A JP2004060459 A JP 2004060459A JP 2004229314 A JP2004229314 A JP 2004229314A
- Authority
- JP
- Japan
- Prior art keywords
- decoding
- image
- processing
- unit
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Description
この発明は画像復号技術、とくに符号化された画像データを復号する方法および装置に関する。 The present invention relates to an image decoding technique, and more particularly to a method and apparatus for decoding encoded image data.
近年、PC(パーソナルコンピュータ)を代表とする各種情報機器の普及、デジタルカメラやカラープリンタなどの大衆化、インターネット人口の爆発的な増加などにより、一般人の日常生活にデジタル画像の文化が深く浸透した。こうした状況下、静止画像、動画像については、それぞれJPEG(Joint Photographic Expert Group)、MPEG(Motion Picture Expert Group)などの符号化圧縮技術が標準化され、CD−ROMなどの記録媒体や、ネットワークまたは放送波などの伝送媒体を通じた画像の配信および再生の利便性が改善されてきた。JPEGの系列において、その進化版ともいうべきJPEG2000が発表され、またMPEGについても中長期に及ぶ目標が策定されており、今後も画像処理技術が機器の機能向上へ寄与することに疑いはない。 2. Description of the Related Art In recent years, with the spread of various information devices represented by PCs (personal computers), the popularization of digital cameras and color printers, and the explosion of the Internet population, the culture of digital images has deeply penetrated into ordinary people's daily life. . Under these circumstances, encoding and compression techniques such as JPEG (Joint Photographic Expert Group) and MPEG (Motion Picture Expert Group) have been standardized for still images and moving images, respectively, and recording media such as CD-ROMs, networks or broadcast The convenience of distributing and reproducing images via transmission media such as waves has been improved. In the JPEG series, JPEG 2000, which can be called an advanced version of JPEG, has been announced, and a medium-to-long term goal has been set for MPEG.
たとえば、デジタルカメラひとつをとってみても、最近では動画撮影機能が充実し、ムービーカメラの独自領域が狭まっている。CCD(Charge Coupled Device)の画素数もミリオンオーダになり、高速連写撮影機能を搭載するものもある。銀塩カメラにこだわりつづけるユーザもいるが、デジタル化の波は音楽レコードをコンパクトディスクに置き換えたように、とどまるところを知らない。
しかしながら、民生機器の進展には、つねに機能、操作性、およびコストが一体に検討されなければならない。機能面の充実は、操作性とコストへの期待を生む。たとえば、動画再生機能や高速連写機能をデジタルカメラに搭載する場合、圧縮符号化されていったんメモリカード等へ格納された画像データを読み出し、これを表示に間に合うタイミングで復号および伸張しなければならない。このためには高速の画像デコーダを搭載しなければならず、一般にコスト、消費電力、実装面積などの面で不利になりやすい。 However, with the development of consumer electronics, functions, operability and cost must always be considered together. Enhancement of functions creates expectations for operability and cost. For example, when a digital camera is equipped with a moving image playback function and a high-speed continuous shooting function, image data that has been compressed and coded and stored in a memory card or the like must be read out and decoded and decompressed at a timing suitable for display. . For this purpose, a high-speed image decoder must be mounted, which is generally disadvantageous in terms of cost, power consumption, mounting area, and the like.
本発明はこうした課題に鑑みてなされたものであり、その目的は、コストまたは消費電力などの面で有利な画像復号技術を提供することにある。 The present invention has been made in view of such a problem, and an object of the present invention is to provide an image decoding technique that is advantageous in terms of cost, power consumption, and the like.
特許文献1には、伝送路の速度のばらつきを考慮し、画像データの送信元が適宜データ伝送をうち切る技術が開示されている。また、その中で、本発明が適用可能なウェーブレット変換を利用する旨も開示されている。この技術は、伝送路が正常な場合は働かないことを主眼として設計されている。一方、本発明は、伝送路には関係なく、復号側のコストダウン等を目的とする。 Patent Literature 1 discloses a technique in which a transmission source of image data appropriately stops data transmission in consideration of variations in transmission line speed. It also discloses that a wavelet transform to which the present invention can be applied is used. This technique is designed mainly to operate when the transmission path is normal. On the other hand, the present invention aims to reduce the cost on the decoding side irrespective of the transmission path.
本発明のある態様は、画像復号方法に関する。この方法は、規定時間内に符号化画像データの復号が完了しない状勢になったとき、以降の復号を簡略化処理に切り替えて行う。このため、さして複雑または高速な処理をしなくとも、一応の画質を維持しながらコマ落ちなどの好ましくない再生を防止できる。「完了しない状勢になったとき」とは、実際に完了しなかったときのほか、途中経過から判断して完了しないことが高い確率で予想されたときを含む。 One embodiment of the present invention relates to an image decoding method. In this method, when the decoding of the encoded image data is not completed within a specified time, the subsequent decoding is switched to a simplified process. Therefore, it is possible to prevent undesired reproduction such as dropped frames while maintaining a certain image quality without performing complicated or high-speed processing. The term “when the state of completion is not completed” includes not only the case where the completion is not actually completed, but also the case where it is predicted with a high probability that the completion is not determined based on the progress.
なお、この態様は、符号化画像データを取得する工程と、取得した符号化画像データを復号処理に投入する工程と、復号処理の経過時間を監視する工程と、監視の結果、復号処理の途中のチェックポイントにおける経過時間が所定の制限時間を上回ったとき、以降の復号処理を簡略化処理に切り替える工程とを含んでもよい。 Note that this aspect includes a step of acquiring the encoded image data, a step of inputting the acquired encoded image data to the decoding processing, a step of monitoring the elapsed time of the decoding processing, a result of the monitoring, and a step in the middle of the decoding processing. When the elapsed time at the check point exceeds a predetermined time limit, the subsequent decoding process may be switched to the simplified process.
本発明の別の態様は、画像復号装置に関する。この装置は、符号化画像データを復号する復号ユニットと、規定時間内にその符号化画像データの復号が完了しない状勢になったとき、以降の復号を簡略化処理に切り替える簡略化ユニットとを含む。簡略化ユニットは、復号ユニットに代わって自ら簡略化された復号を実行してもよいし、単に復号ユニットに対して簡略化処理を指示してもよい。 Another embodiment of the present invention relates to an image decoding device. The apparatus includes a decoding unit that decodes encoded image data, and a simplification unit that switches the subsequent decoding to a simplified process when decoding of the encoded image data is not completed within a specified time. . The simplification unit may execute the simplified decoding itself instead of the decoding unit, or may simply instruct the decoding unit to perform the simplification processing.
本発明のさらに別の態様も画像復号装置に関する。この装置は、撮像ブロックと、それを機構面で制御する機構制御ブロックと、撮像によって得られたデジタル画像を処理する処理ブロックとを含み、前記処理ブロックは、前記デジタル画像から生成された符号化画像データを復号する復号ユニットと、規定時間内にその符号化画像データの復号が完了しない状勢になったとき、以降の復号を簡略化処理に切り替える簡略化ユニットとを含む。 Still another preferred embodiment according to the present invention relates also to an image decoding apparatus. The apparatus includes an imaging block, a mechanism control block that controls the mechanism in terms of a mechanism, and a processing block that processes a digital image obtained by imaging, wherein the processing block includes an encoding unit that is generated from the digital image. A decoding unit for decoding the image data; and a simplification unit for switching the subsequent decoding to a simplification process when the decoding of the encoded image data is not completed within a prescribed time.
本発明のさらに別の態様も画像復号装置に関する。この装置は、受信ブロックと、受信信号を処理する処理ブロックと、処理後の信号を再生する再生ブロックを含み、前記処理ブロックは、前記受信信号から抽出されたデジタル画像の符号化画像データを復号する復号ユニットと、規定時間内にその符号化画像データの復号が完了しない状勢になったとき、以降の復号を簡略化処理に切り替える簡略化ユニットとを含む。 Still another preferred embodiment according to the present invention relates also to an image decoding apparatus. The apparatus includes a receiving block, a processing block for processing a received signal, and a reproduction block for reproducing the processed signal, wherein the processing block decodes encoded image data of a digital image extracted from the reception signal. And a simplification unit that switches the subsequent decoding to a simplification process when the decoding of the encoded image data is not completed within a specified time.
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。 Note that any combination of the above-described components and any conversion of the expression of the present invention between a method, an apparatus, a system, a computer program, a recording medium, and the like are also effective as embodiments of the present invention.
本発明によれば、比較的小さな規模の構成で、比較的高い画質の画像を復号することができる。 According to the present invention, a relatively high-quality image can be decoded with a relatively small-scale configuration.
以下、本発明の好適な実施の形態を説明する。この実施の形態は、JPEG2000によって符号化された画像データを復号する装置に関する。 Hereinafter, preferred embodiments of the present invention will be described. This embodiment relates to an apparatus for decoding image data encoded by JPEG2000.
図1は、JPEG2000にもとづく復号の過程を説明する図である。同図のごとく、まず符号化画像データCI(Coded Image)が入力され、後述のごとく、算術復号、ピットプレーン復号などの処理を経たのち、逆量子化処理を受ける。この段階で、原画像に対して2回ウェーブレット変換が施された画像(以下、第2階層の画像WI2という)が得られる。つづいてこの画像にウェーブレット逆変換が施され、第1階層の画像WI1が生成される。さらにこの画像に対してもう1度ウェーブレット逆変換が施され、復号画像DI(Decoded Image)が得られる。 FIG. 1 is a diagram for explaining a decoding process based on JPEG2000. As shown in the figure, first, coded image data CI (Coded Image) is input, and after being subjected to processing such as arithmetic decoding and pit plane decoding as described later, it is subjected to inverse quantization processing. At this stage, an image obtained by performing the wavelet transform twice on the original image (hereinafter, referred to as an image WI2 of the second hierarchy) is obtained. Subsequently, the image is subjected to inverse wavelet transform to generate a first-layer image WI1. Further, this image is subjected to another inverse wavelet transform to obtain a decoded image DI (Decoded Image).
いま、理解の容易のために符号化の手順を示せば、これは図1の処理の逆変換といえる。すなわち、図1において復号画像DIとされた部分が原画像であり、これに対して1回ウェーブレット変換が施され、第1階層の画像WI1が生成される。JPEG2000で利用されるウェーブレット変換のフィルタは、Daubechiesフィルタであり、その本質は、画像の縦横に対してそれぞれ同時にハイパスフィルタおよびローパスフィルタを作用させる点にある。したがって、その変換の結果画像はx、yの両方向に低周波成分を有するLLサブバンドと、x、yの一方向に低周波成分を有し、かつ他方向に高周波成分を有するHLサブバンドおよびLHサブバンドと、x、yの両方向に高周波成分を有するHHサブバンドの合計4つのバンドに分割される。またこのフィルタは、x、yの両方向について画素数を1/2に軽減する作用も併せもつ。したがって、図1に示すごとく、第1階層の画像WI1において、模式的に示された4つのサブバンド(ここではLL1、HL1、LH1、HH1と表記する)が生成される。 If an encoding procedure is shown for easy understanding, it can be said that this is an inverse transformation of the processing of FIG. That is, the portion that is designated as the decoded image DI in FIG. 1 is the original image, which is subjected to wavelet transform once to generate the first hierarchical image WI1. The filter of the wavelet transform used in JPEG2000 is a Daubechies filter, and its essence is to apply a high-pass filter and a low-pass filter simultaneously to the vertical and horizontal directions of an image. Therefore, the image resulting from the conversion has an LL subband having low frequency components in both x and y directions, an HL subband having a low frequency component in one direction of x and y, and a high frequency component in the other direction, and It is divided into a total of four bands, an LH subband and an HH subband having high frequency components in both the x and y directions. This filter also has the effect of reducing the number of pixels in both the x and y directions by half. Therefore, as shown in FIG. 1, in the image WI1 of the first hierarchy, four schematically illustrated subbands (here, denoted by LL1, HL1, LH1, and HH1) are generated.
符号化におけるウェーブレット変換では、所定の回数フィルタリングが施される。図1では、ウェーブレット変換は2回おこなわれ、第2階層の画像WI2が生成される。2回目以降のウェーブレット変換は、直前の階層の画像のうち、LLサブバンド成分に対してのみ施される。したがって、第2階層の画像WI2において、第1階層の画像WI1のLL1サブバンドが、4つのサブバンドであるLL2、HL2、LH2、HH2に分解されている。符号化処理においては、このあと量子化、その他の処理を経て最終的に符号化画像データCIが得られる。 In the wavelet transform in encoding, filtering is performed a predetermined number of times. In FIG. 1, the wavelet transform is performed twice, and an image WI2 of the second hierarchy is generated. The second and subsequent wavelet transforms are performed only on the LL subband components in the image of the immediately preceding layer. Therefore, in the image WI2 of the second hierarchy, the LL1 subband of the image WI1 of the first hierarchy is decomposed into four subbands LL2, HL2, LH2, and HH2. In the encoding process, the encoded image data CI is finally obtained through quantization and other processes.
階層化された画像について注意すべきは、原画像における低周波成分が、図1において、より左上に現れることである。図1の場合、第2階層の画像WI2の左上隅にあるLL2サブバンドがもっとも低周波であり、逆にいえば、このLL2サブバンドさえ得ることができれば、原画像のもっとも基本的な性質を再現することができる。この知見が、以下の実施の形態で利用されている。 One thing to note about the layered image is that the low frequency components in the original image appear at the upper left in FIG. In the case of FIG. 1, the LL2 sub-band at the upper left corner of the image WI2 of the second hierarchy has the lowest frequency. Conversely, if only the LL2 sub-band can be obtained, the most basic property of the original image is obtained. Can be reproduced. This finding is used in the following embodiments.
図2は画像復号装置10の構成を示す。この構成は、ハードウエア的には、任意のコンピュータのCPU、メモリ、その他のLSIで実現でき、ソフトウエア的にはメモリのロードされた画像復号機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
FIG. 2 shows the configuration of the
画像復号装置10は、おもに復号ユニット12と簡略化ユニット30からなる。復号ユニット12は、符号化画像データCIを受け取り、そのデータストリームを解析するストリーム解析器14と、解析の結果判明した復号すべきデータ列に対して算術復号を施す算術復号器16と、その結果得られたデータを色コンポーネント毎にビットプレーンの形で復号するビットプレーン復号器18と、その結果を逆量子化する逆量子化器20と、逆量子化の結果得られた第n階層の画像WInにウェーブレット逆変換を施すウェーブレット逆変換器24を含む。ウェーブレット逆変換器24は、フレームバッファ22をワークエリアとして利用する。最終的に復号が完了して得られた復号画像DIは、フレームバッファ22から任意の目的へ向けて出力される。
The
一方、簡略化ユニット30は、復号の進行状況を監視し、経過時間が所定の制限時間を超えたとき、復号処理を簡略化処理へ強制的に切り替える強制変換器32と、強制変換器32が参照する制限時間を格納する制限時間テーブル34と、ユーザが動画の再生中に停止を指示したときこれを検出する再生停止検出部36を含む。ユーザが動画を再生しているとき一時停止または再生終了を指示した場合、その瞬間に復号および再生されていたフレームは、事実上復号のための制限時間から解放される。したがって、再生停止検出部36によってそうした指示が検出された場合、そのフレームについては強制変換器32による簡略化処理を回避し、通常どおり完全な復号および再生をさせる。ただし、すでに強制変換器32による簡略化処理が始まっている場合もあり、その場合は可能なかぎり以降の復号処理を通常通りの方法でおこなえばよい。
On the other hand, the
強制変換器32は、経過時間を計時するためにクロックCLKを参照している。クロックCLKは、強制変換器32の内部で必要に応じて分周され、図示しないカウンタでカウントされ、所定の時間が計時される。ただし、強制変換器32はクロックCLKを利用する代わり、PIT(プログラマブル・インターラプト・タイマ)など、外部に設けられた計時手段を参照してもよい。またここでは、強制変換器32はウェーブレット逆変換器24における処理の進行を監視しているが、これは必ずしもそうである必要はなく、ストリーム解析器14からウェーブレット逆変換器24に至るいずれの段階の処理の経過時間を監視してもよい。以下、監視の対象となる処理を単に「復号」で代表させる。
The
図3は、復号処理の各段階における制限時間と経過時間、および簡略化処理の起動の関係を示す。同図のごとく、フレーム期間はTfとされ、動画の復号の場合、たとえばTf=1/24、1/30秒などと設定される。制限時間は処理の段階に応じ、3つ設定される。JPEG2000における復号は、色コンポーネントである輝度Y、色差Cb、Crのそれぞれを独立に処理する。同図では、輝度Yの復号の制限時間がTy、色差Cbの復号の制限時間がTb、同様に色差Crの復号の制限時間がTrと定められている。これらの制限時間は、制限時間テーブル34へあらかじめ格納されている。制限時間を色コンポーネント毎に定めることにより、ある色成分だけが復号され、他の成分がまったく復号されないと云った不自然な画像の再生が防止される。制限時間の比率は、それぞれの処理段階に必要な平均的時間の比をもとに設定されてもよいし、重要な色コンポーネント、たとえば輝度Yについて大きめに割り振ってもよいし、その他実験などを通じて任意に設定することができる。 FIG. 3 shows the relationship between the time limit and the elapsed time at each stage of the decoding process, and the activation of the simplification process. As shown in the drawing, the frame period is set to Tf, and in the case of decoding a moving image, for example, Tf is set to 1/24, 1/30 seconds, and the like. Three time limits are set according to the processing stage. The decoding in JPEG2000 independently processes each of the color components luminance Y, color difference Cb, and Cr. In the drawing, the time limit for decoding the luminance Y is set to Ty, the time limit for decoding the color difference Cb is set to Tb, and similarly, the time limit for decoding the color difference Cr is set to Tr. These time limits are stored in the time limit table 34 in advance. By setting the time limit for each color component, the reproduction of an unnatural image such that only a certain color component is decoded and other components are not decoded at all is prevented. The ratio of the time limit may be set based on the ratio of the average time required for each processing stage, may be allocated to an important color component, for example, the luminance Y, or may be set to a larger value through experiments. It can be set arbitrarily.
JPEG2000では、復号は同一階層の画像についてLL、HLまたはLH、HHサブバンドの順におこなわれる。したがって、まず輝度Yに関し4つのサブバンドがこの順に復号され、つづいて色差Cb、Crのそれぞれ4つのサブバンドが復号される。 In JPEG2000, decoding is performed on images of the same layer in the order of LL, HL or LH, and HH subbands. Accordingly, four sub-bands are first decoded for luminance Y in this order, and then four sub-bands for chrominance Cb and Cr are decoded.
いま、輝度Yの復号処理においてLL、HL、LHの3つのサブバンドの処理は正常に終了したが、最後のHHサブバンドの処理中に制限時間Tyが過ぎたとする。この場合、輝度Yに関する復号処理はうち切られ、同図において「処理A」と表記された簡略化処理へ移行する。つづいて、色差Cbの復号処理が開始され、LLサブバンドの復号は正常に完了したが、つぎのHLサブバンドの復号の途中で制限時間Tbが過ぎたとする。この場合、色差Cbに関する復号処理は中止され、同図で「処理B」と表記した簡略化処理へ移行する。つぎに、復号処理は色差Crへ移る。この復号処理においては、最初のサブバンドであるLLの処理中に制限時間Trが過ぎたとする。このとき復号処理は中止され、同図で「処理C」と表記された簡略化処理へ移行する。処理A、B、Cは、いずれも強制変換器32がそれぞれの制限時間および実際に処理にかかった経過時間を比較して起動する。
Now, it is assumed that the processing of the three sub-bands LL, HL, and LH has been completed normally in the decoding processing of the luminance Y, but the time limit Ty has passed during the processing of the last HH sub-band. In this case, the decoding process relating to the luminance Y is interrupted, and the process shifts to a simplification process denoted as “process A” in FIG. Subsequently, it is assumed that the decoding process of the color difference Cb is started and the decoding of the LL sub-band is completed normally, but the time limit Tb has passed in the middle of the decoding of the next HL sub-band. In this case, the decoding process for the color difference Cb is stopped, and the process shifts to a simplification process denoted as “process B” in FIG. Next, the decoding process proceeds to the color difference Cr. In this decoding process, it is assumed that the time limit Tr has passed during the processing of the first subband LL. At this time, the decoding process is stopped, and the process shifts to a simplification process denoted by “Processing C” in FIG. The processes A, B, and C are all activated by comparing the time limit of the
図4(a)、図4(b)、図4(c)は、それぞれ強制変換器32による処理A、B、Cの内容を模式的に示す。図4(a)に示すごとく、強制変換器32は処理Aとして、復号の途中で処理がうち切られたHHサブバンドについて、その係数を無効化する。すなわち、HHサブバンドの全成分を0に置き換える。強制変換器32はこの処理のためにウェーブレット逆変換器24と協調し、ウェーブレット逆変換器24が、本来であれば逆変換ののちにHHサブバンドの成分を格納するはずだった領域に対し、強制変換器32が「0」を格納する。この簡略化処理によれば、輝度Yの復号を制限時間Tyに収めることができ、かつ人の眼が一般に高周波成分にあまり敏感でないことを利用し、画質の低下を最小限にとどめることができる。
FIGS. 4A, 4B, and 4C schematically show the contents of processes A, B, and C by the forced
図4(b)は強制変換器32が処理Bとしておこなう簡略化処理を表す。同図のごとく、色差Cbの復号処理においては、正常に復号できたサブバンドがLLのみであった。そのため、同図に示すごとく、LLサブバンド以外の3つのサブバンドの係数をすべて無効化し、0で埋めている。この場合も、低周波成分を残す趣旨である。一般に、JPEG2000で採用されるウェーブレット変換用のフィルタは低ビットレートにおける画質を重視して設計されており、LLサブバンドのみによる画像の再生でも、比較的高い画質が維持できる。ここではその性質を利用する。
FIG. 4B shows a simplification process performed by the
図4(c)は、強制変換器32による処理を表す。色差Crの処理においては、最初のサブバンドであるLLですら完全には終わらなかった。このため、同図でLL’と示すごとく、LLサブバンドのデータに処理を施している。具体的には、LLサブバンドを構成する複数のビットプレーンのうち、下位のビットプレーンの処理をスキップすることにより、処理時間の短縮を図っている。
FIG. 4C shows the processing by the
図5(a)は、第2階層WI2におけるLL2サブバンドとビットプレーンの関係を示す。同図のごとく、第2階層の画像WI2において、まずLL2サブバンドが、同図において直方体50で示されるごとく、すべてのビットプレーンを縦断する形で復号される。したがって、そのLSB(最下位ビット)に近い方のビットプレーンからスキップすることにより、画質の低下を最小限に抑えつつ、処理時間の短縮を図ることができる。
FIG. 5A shows the relationship between the LL2 subband and the bit plane in the second hierarchy WI2. As shown in the figure, in the image WI2 of the second hierarchy, first, the LL2 subband is decoded in such a manner as to traverse all the bit planes as shown by the
図5(b)では、LL2サブバンドに関する直方体50が有効なビットプレーンによって形成される部分52とスキップする部分54に分けられている。ここでは、制限時間Trとの関連で、最下位のビットプレーン1枚が捨てられている。
In FIG. 5B, the
以上、簡略化ユニット30、特に強制変換器32の簡略化処理により、フレーム期間Tf毎に1枚のフレームが再生できるため、所望の速度で動画や連写画像をコマ落ちなく再生することができる。またその際、画質の低下の防止に配慮されているため、比較的自然な画像が得られる。さらに、色コンポーネント毎に制限時間を割り振っているため、フレーム間で色のばらつきが生じる可能性も低い。したがってこの実施の形態によれば、比較的小規模な構成で、実用上非常に大きなメリットを生むことができる。
As described above, since one frame can be reproduced for each frame period Tf by the simplification processing of the
いままでは、画像の復号中に制限時間が経過する場合を考えた。しかしながら、状況によっては逆に、制限時間が余る場合も考えられる。図6は、そうした状況において制限時間を再スケジューリングする方法を示す。 In such a case, a case has been considered in which a time limit elapses during decoding of an image. However, depending on the situation, conversely, a time limit may be left. FIG. 6 shows how to reschedule the time limit in such a situation.
同図において、フレーム期間Tfは図3と同じであり、また3つの制限時間Ty、Tb、Trもそれぞれ図3と同じである。この状態でまず、輝度Yの復号処理が開始され、LL、HL、LH、HHの4つのサブバンドがすべて制限時間Tyの範囲で完了したとする。同図では、制限時間Tyに対し時間的な余裕Tmが生じている。この場合、この余裕Tmを色差CbおよびCrの復号に算入することができる。したがって、同図のごとく、色差Cb、Crに対する制限時間Tb、Trがそれぞれ緩和され、より長い制限時間Tb’、Tr’に変更されている。 In this figure, the frame period Tf is the same as in FIG. 3, and the three time limits Ty, Tb, Tr are also the same as in FIG. In this state, first, it is assumed that the decoding process of the luminance Y is started and all the four sub-bands LL, HL, LH, and HH are completed within the time limit Ty. In the figure, there is a time margin Tm with respect to the time limit Ty. In this case, the margin Tm can be included in decoding the color differences Cb and Cr. Therefore, as shown in the figure, the time limits Tb and Tr for the color differences Cb and Cr are alleviated, and are changed to longer time limits Tb 'and Tr'.
この方法によれば、ある色コンポーネントの復号が完全に終了した場合、その波及効果として他の色コンポーネントの復号にも時間的な余裕が生じ、結果として完全に復号される色コンポーネントが増える。そのため、色のバランスを保ちながら全体の画質が向上する。 According to this method, when decoding of a certain color component is completely completed, there is a time margin in decoding other color components as a ripple effect, and as a result, the number of color components that are completely decoded increases. Therefore, the overall image quality is improved while maintaining the color balance.
なお、3つの色コンポーネントのすべて、またはいずれかが制限時間内に復号された場合、このフレーム全体の復号時間がもともとの規定時間であるフレーム期間Tfよりも短い場合がある。この場合は、同様の再スケジューリングの考え方をフレーム間に拡張する。すなわち、あるフレームを復号したときに時間的な余裕が発生した場合、この余裕を次のフレーム期間Tfに加算すればよい。この方法によれば、より多数のフレームを完全に、またはより高画質で再生することができる。また、この実施の形態によれば、画像復号装置10に過度な負担をかけることなく、低コストおよび低消費電力で所望の再生画像が得られる。
When all or any of the three color components is decoded within the time limit, the decoding time of the entire frame may be shorter than the frame period Tf which is the originally specified time. In this case, the same concept of rescheduling is extended between frames. That is, if a time margin occurs when a certain frame is decoded, this margin may be added to the next frame period Tf. According to this method, a larger number of frames can be reproduced completely or with higher image quality. Further, according to this embodiment, a desired reproduced image can be obtained at low cost and low power consumption without imposing an excessive burden on the
図7は別の実施の形態に係るデジタルカメラ200の構成を示す。デジタルカメラ200は、撮像ブロック202、機構制御ブロック204、処理ブロック206、LCDモニタ208、および操作ボタン群210を含む。
FIG. 7 shows a configuration of a
撮像ブロック202は、図示しないレンズ、絞り、光学ローパスフィルタ、CCD、信号処理部等を含む。CCDの受光面上に結像した被写体像の光量に応じてCCDに電荷が蓄積され、電圧信号として読み出される。電圧信号は信号処理部でR、G、B成分に分解され、ホワイトバランス調整、ガンマ補正が行われる。その後、R、G、B信号はA/D変換され、デジタル画像データとなって処理ブロック206へ出力される。
The
機構制御ブロック204は、撮像ブロック202の光学系の制御、すなわちズーム、フォーカス、絞りなどの駆動を制御する。処理ブロック206は、デジタルカメラ200全体の制御に利用されるCPU220とメモリ222のほか、YC処理部226、カード制御部228、通信部224を有する。これらのうち、CPU220の機能の一部とメモリ222にロードされた画像復号プログラムが、図2の画像復号装置10に相当する。図2のフレームバッファ22もこのメモリ222の一部を利用して実現することができる。なお、このデジタルカメラ200は、メモリカード230へ画像データを保存すべく、図示しない画像符号化装置もCPU220とメモリ222によって実現されている。したがって、以下符号化も復号も可能な構成として説明する。
The mechanism control block 204 controls the optical system of the
YC処理部226は、デジタル画像データから輝度Yと色差Cb、Crを生成する。輝度と色差は独立に順次符号化される。符号化画像データCIは、通信部224を介して外部へ出力され、またはカード制御部228を介してメモリカード230へ書き込まれる。
The
通信部224は、標準的な通信仕様に応じたプロトコル変換等の制御を行い、この他に、例えばプリンタ、ゲーム機等の外部機器との間で個別のインタフェイスによるデータ授受を行う。
The
LCDモニタ208は、撮影/再生モード、ズーム倍率、日時などのほかに、撮影した動画、高速連写画像、静止画などを表示する。したがって、ユーザが動画を撮影した場合、まずこれが符号化圧縮され、例えばメモリカード230へ記録される。ユーザがその動画を再生するとき、必要に応じて実施の形態に特徴的な簡略化処理がなされる。なお、操作ボタン群210は、ユーザが撮影を行い、または各種動作モードを設定するためのパワースイッチ、レリーズスイッチ等を含む。
The
以上の構成により、つぎの効果が生じる。 With the above configuration, the following effects occur.
1.静止画を撮影して再生する場合、復号に物理的な制限時間はない。そのため、復号は簡略化されず、最高画質による再生がなされる。ただし、静止画であっても長すぎる復号時間は問題になりうるため、実施の形態に係る簡略化処理を施してもよい。 1. When capturing and reproducing a still image, there is no physical time limit for decoding. Therefore, decoding is not simplified, and reproduction with the highest image quality is performed. However, even for a still image, a decoding time that is too long can be problematic, so the simplification processing according to the embodiment may be performed.
2.動画を撮影して再生する場合、フレームレートが決まっているため、場合により、簡略化処理がなされる。このため、画像復号装置10をさして高速化しないでも、画質の維持とコマ落ちの防止が実現する。画像復号装置10に高い仕様を要求しないでよいため、コストメリットと消費電力にメリットがある。
2. When a moving image is captured and reproduced, a simplification process is performed in some cases because the frame rate is fixed. For this reason, the image quality can be maintained and the drop of frames can be prevented without increasing the speed of the
3.動画の再生中に停止または一旦停止が指示されたとき、最後のフレームについては簡略化処理がなされないため、その画質は最高またはそれに近くなる。とくに、そのフレームは事実上静止画として比較的長い時間ユーザの目に触れるため、そのことによるメリットは大きい。 3. When stop or temporary stop is instructed during the reproduction of a moving image, the simplification process is not performed on the last frame, so that the image quality is the highest or close to it. In particular, since the frame is visible to the user as a still image for a relatively long time, the merit of this is great.
図8は、さらに別の実施の形態に係るテレビジョン受信装置300の構成を示す。テレビジョン受信装置300は、アンテナ302とそれを介して放送波を受信する受信ブロック304と、受信ブロック304による処理の結果得られた画像および音声データを処理する処理ブロック306と、処理ブロック306によって復号された音声および画像を再生する再生ブロック308を含む。またインタフェイスブロック336は、処理ブロック306による復号画像データを適宜外部機器へ出力する。
FIG. 8 shows a configuration of a
受信ブロック304はチューナ320およびパケット分離部322を含む。チューナ320はユーザが選んだチャネルを含むトランスポンダを選択し、QPSK復調を施す。復調で得られた複数のトランスポートパケットを含むストリームはパケット分離部322へ送られる。パケット分離部322はデマルチプレクサであり、所望のチャンネルに対応するパケットを分離して処理ブロック306へ出力する。
The
処理ブロック306の画像・音声デコーダ334はCPU330およびメモリ332と連携し、放送局で符号化され送信された画像および音声データを復号する。画像・音声デコーダ334は、入力されたパケットを復号し、音声データを音声出力部340へ、画像データを表示装置344へそれぞれ出力する。音声出力部340は、入力された音声データに所定の処理を施し、最終的に音声がスピーカ342へ出力される。処理ブロック306の構成、すなわち画像・音声デコーダ334、CPU330、メモリ332のうち、画像復号に関する部分が図2の画像復号装置10に相当する。以上の構成によれば、非常に低いコストと消費電力で、いわゆるデジタルテレビを実現することができる。このテレビは、例えば携帯電話などの小型機器に搭載することも可能である。
The image /
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を挙げる。 The present invention has been described based on the embodiments. These embodiments are exemplifications, and it is understood by those skilled in the art that various modifications can be made to the combination of each component and each processing process, and that such modifications are also within the scope of the present invention. By the way. Hereinafter, modified examples will be described.
図4(b)の処理Bでは、LLサブバンド以外の3つのサブバンドの成分をすべて無効化した。しかしながら、これ以外の方法として、LLサブバンド以外の成分は不問とし、単純にLLサブバンドを縦横2倍に拡大するスケールアップ処理をおこなってもよい。この場合、画素間を補間する処理が用いられるが、そのためのフィルタの特性がJPEG2000のウェーブレット逆変換に利用されるものと同一である場合、3つのサブバンドの成分を無効化した場合と同じ画像が得られる。 In the process B of FIG. 4B, all the components of the three subbands other than the LL subband are invalidated. However, as a method other than this, a scale-up process may be performed in which components other than the LL sub-band are not considered, and the LL sub-band is simply doubled vertically and horizontally. In this case, a process of interpolating between pixels is used. When the characteristics of the filter used for this process are the same as those used for the inverse JPEG2000 wavelet transform, the same image as when the components of the three subbands are invalidated is used. Is obtained.
実施の形態では、色コンポーネント毎に制限時間の割り当てを考えた。しかしながら、これ以外にも画像の他の属性に応じて制限時間を割り振ってもよい。たとえば、画像が複数の領域に分割され、領域毎に復号処理がおこなわれる場合、その領域毎に制限時間を割り当ててもよい。その場合、領域の面積に比例して時間を割り当てたり、画像の中央に近い領域に比較的長い時間を割り当てたり、画像の中で目立つ領域、たとえば輝度が高い領域に比較的長い時間を割り当てたり、動きが大きな領域、たとえば動きベクトル成分が大きな領域に比較的長い時間を割り当てたり、オブジェクトとして重要性の高い領域、たとえばテレビ電話における人の顔の領域に長い時間を割り当てるなどの方法が考えられる。また、JPEG2000では、画像をあらかじめタイルに分割する方法も可能であり、その場合はタイル毎に同様の割り当てをすればよい。この場合も、ある領域の処理が制限時間以内に終われば、他の領域の制限時間を再スケジューリングすればよい。 In the embodiment, a time limit is assigned to each color component. However, the time limit may be allocated in accordance with other attributes of the image. For example, when an image is divided into a plurality of regions and decoding processing is performed for each region, a time limit may be assigned to each region. In that case, time is allocated in proportion to the area of the region, a relatively long time is allocated to a region near the center of the image, a relatively long time is allocated to a region that is conspicuous in the image, for example, a region with high brightness, For example, a method of allocating a relatively long time to a region having a large motion, for example, a region having a large motion vector component, or a method of allocating a long time to a region having a high importance as an object, for example, a human face region in a videophone can be considered. . In JPEG2000, a method of dividing an image into tiles in advance is also possible. In that case, the same assignment may be made for each tile. Also in this case, if the processing of a certain area is completed within the time limit, the time limit of another area may be rescheduled.
図4(c)において、LLサブバンドの下位ビットプレーンの処理を省略した。別の方法として、より以前に復号が完了している階層の画像のLLサブバンドを利用してもよい。たとえば、図1において、第1階層の画像WI1のLL1サブバンドの復号が完了しなかった場合、そのひとつ前の階層である第2階層の画像WI2のLL2サブバンドを拡大して利用してもよい。 In FIG. 4C, the processing of the lower bit plane of the LL subband is omitted. As another method, the LL sub-band of the image of the layer that has been decoded earlier may be used. For example, in FIG. 1, when the decoding of the LL1 subband of the image WI1 of the first layer is not completed, the LL2 subband of the image WI2 of the second layer which is the immediately preceding layer is enlarged and used. Good.
図4(c)では、LLサブバンドについて下位ビットプレーンの処理を省略することにより、処理時間の短縮を図った。別の復号の方法として、最上位ビットプレーンから順に、ビットプレーン単位で4つのサブバンドの処理を行ってもよい。すなわち、あるビットプレーンについて、LL、HLまたはLH、HHサブバンドの順に処理が行われた後に、次の下位のビットプレーンについて、同じ順で処理が行われる。この復号方法においても、制限時間が過ぎたとき、未処理の下位ビットプレーンの処理を省略することにより、復号処理の簡略化を行うことができる。この場合、図5(a)、(b)に示した場合とは異なり、4つのサブバンド全体について、下位ビットプレーンの処理が省略される。 In FIG. 4C, the processing time is reduced by omitting the processing of the lower bit plane for the LL subband. As another decoding method, four subbands may be processed in bit plane units in order from the most significant bit plane. That is, for a certain bit plane, processing is performed in the order of LL, HL or LH, and HH subbands, and then processing is performed in the same order for the next lower bit plane. Also in this decoding method, when the time limit has elapsed, the decoding process can be simplified by omitting the processing of the unprocessed lower bit plane. In this case, unlike the case shown in FIGS. 5A and 5B, the processing of the lower bit plane is omitted for all four subbands.
10 画像復号装置、 12 復号ユニット、 14 ストリーム解析器、 16 算術復号器、 18 ビットプレーン復号器、 20 逆量子化器、 22 フレームバッファ、 24 ウェーブレット逆変換器、 30 簡略化ユニット、 32 強制変換器、 34 制限時間テーブル、 36 再生停止検出部、 200 デジタルカメラ、 202 撮像ブロック、 204 機構制御ブロック、 206 処理ブロック、 208 LCDモニタ、 210 操作ボタン群、 220 CPU、 222 メモリ、 224 通信部、 226 YC処理部、 228 カード制御部、 230 メモリカード、 300 テレビジョン受信装置、 302 アンテナ、 304 受信ブロック、 306 処理ブロック、 308 再生ブロック、 320 チューナ、 322 パケット分離部、 330 CPU、 332 メモリ、 334 画像・音声デコーダ、 336 インタフェイスブロック、 340 音声出力部、 342 スピーカ、 344 表示装置。
Claims (4)
規定時間内に前記符号化画像データの復号が完了しない状勢になったとき、以降の復号を簡略化処理に切り替えて行うことを特徴とする画像復号方法。 In a method for decoding encoded image data,
When the decoding of the encoded image data is not completed within a prescribed time, the subsequent decoding is switched to a simplified process to perform the decoding.
規定時間内にその符号化画像データの復号が完了しない状勢になったとき、以降の復号を簡略化処理に切り替える簡略化ユニットと、
を含むことを特徴とする画像復号装置。 A decoding unit for decoding encoded image data;
When the decoding of the encoded image data is not completed within the specified time, a simplification unit that switches the subsequent decoding to the simplification processing,
An image decoding device comprising:
前記処理ブロックは、
前記デジタル画像から生成された符号化画像データを復号する復号ユニットと、
規定時間内にその符号化画像データの復号が完了しない状勢になったとき、以降の復号を簡略化処理に切り替える簡略化ユニットと、
を含むことを特徴とする画像復号装置。 Including an imaging block, a mechanism control block that controls it mechanically, and a processing block that processes a digital image obtained by imaging,
The processing block comprises:
A decoding unit for decoding encoded image data generated from the digital image,
When the decoding of the encoded image data is not completed within the specified time, a simplification unit that switches the subsequent decoding to the simplification processing,
An image decoding device comprising:
前記処理ブロックは、
前記受信信号から抽出されたデジタル画像の符号化画像データを復号する復号ユニットと、
規定時間内にその符号化画像データの復号が完了しない状勢になったとき、以降の復号を簡略化処理に切り替える簡略化ユニットと、
を含むことを特徴とする画像復号装置。 A receiving block, a processing block for processing the received signal, and a reproduction block for reproducing the processed signal,
The processing block comprises:
A decoding unit for decoding encoded image data of a digital image extracted from the received signal,
When the decoding of the encoded image data is not completed within the specified time, a simplification unit that switches the subsequent decoding to the simplification processing,
An image decoding device comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2004060459A JP2004229314A (en) | 2001-02-20 | 2004-03-04 | Image decoding method and apparatus |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001044005 | 2001-02-20 | ||
| JP2004060459A JP2004229314A (en) | 2001-02-20 | 2004-03-04 | Image decoding method and apparatus |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002039612A Division JP3548163B2 (en) | 2001-02-20 | 2002-02-18 | Image decoding method and apparatus |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2004229314A true JP2004229314A (en) | 2004-08-12 |
Family
ID=32910686
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2004060459A Pending JP2004229314A (en) | 2001-02-20 | 2004-03-04 | Image decoding method and apparatus |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2004229314A (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006319556A (en) * | 2005-05-11 | 2006-11-24 | Mitsubishi Electric Corp | Image decoding device |
-
2004
- 2004-03-04 JP JP2004060459A patent/JP2004229314A/en active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006319556A (en) * | 2005-05-11 | 2006-11-24 | Mitsubishi Electric Corp | Image decoding device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100483101B1 (en) | Image decoding method and apparatus | |
| KR100512210B1 (en) | Method and apparatus for decoding image | |
| JP3012698B2 (en) | Image data encoding apparatus and encoding method | |
| US8260068B2 (en) | Encoding and decoding device and associated methodology for obtaining a decoded image with low delay | |
| JP4067281B2 (en) | Image processing method and image encoding apparatus and image decoding apparatus capable of using the method | |
| JP3548163B2 (en) | Image decoding method and apparatus | |
| JP2008187574A (en) | Information processing device and method, program, and recording medium | |
| JP2008187573A (en) | Information processing device and method, program, and recording medium | |
| JP4190157B2 (en) | Image data transmitting apparatus and image data receiving apparatus | |
| JP2004166224A (en) | Image generation apparatus and method | |
| JP2006074114A (en) | Image processing apparatus and imaging apparatus | |
| US7706583B2 (en) | Image processing apparatus and method | |
| US7254274B2 (en) | Image processing apparatus and method for efficiently compressing and encoding still images and motion pictures | |
| JP4154178B2 (en) | Video camera | |
| JP2004229314A (en) | Image decoding method and apparatus | |
| JP2003125331A (en) | Picture recording method and device and picture reproducing method and device | |
| JP2004194030A (en) | Image processing apparatus, image processing method, program, and recording medium | |
| JPH10294939A (en) | Image transmission system and image transmission device | |
| CN100407784C (en) | Image processing device and method | |
| JP2000333130A (en) | Method and device for moving picture data | |
| JP3384910B2 (en) | Imaging device and image reproducing device | |
| JP2000209592A (en) | Image transmission apparatus and method, system and control method thereof | |
| JP4359966B2 (en) | Image signal encoding apparatus, camera apparatus and recording method | |
| JPH10215454A (en) | Encoding device and method | |
| JP2008187571A (en) | Information processing device and method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20051227 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061017 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070403 |