JP2007142614A - 画像処理装置、画像処理方法、プログラム及び情報記録媒体 - Google Patents

Abstract

【課題】動画像の符号化データの復号処理において、コマ落ちを避けつつ、できるだけ高画質の画像データを生成する。
【解決手段】動画像の各フレームについて、制御部１０４は復号処理部１０２に対し解像度レベル、プリシンクト、コンポーネント、レイヤーの各属性により復号条件を指定し、復号処理部１０２でその復号条件によって決まる範囲の符号を対象とした復号処理を実行する。この復号処理に要した時間が設定時間以上ならば復号画像データを出力するが、復号処理時間が設定時間未満ならば、制御部１０４は復号対象の符号範囲を拡大した復号条件を再指定し、復号処理部１０２でより高画質の復号画像データを生成するための復号処理を実行する。
【選択図】図６

Description

本発明は、動画像を符号化する装置及び方法、並びに、符号化された動画像を復号する装置及び方法に関する。

特許文献１に、各フレームがＪＰＥＧ２０００で符号化された動画像の通常速度再生又はスロー再生を行うが、例えば３デコンポジションレベルのサブバンド分割が行われた符号化データに対し、スロー再生時にはデコンポジションレベル２，３のサブバンドの符号のみを復号し、通常速度再生時には、より高い周波数成分（より高い解像度成分）を含む全デコンポジションレベルの符号を復号する構成の画像処理装置が記載されている。

また、特許文献１に、各フレームがＪＰＥＧ２０００で符号化された動画像を高速再生する場合に、飛び飛びのフレームについて低周波成分（低解像度成分）から高周波数成分（高解像度成分）までの符号列を復号し、それ以外のフレームに対して低周波数成分の符号だけを復号し、上記飛び飛びのフレームの間隔を再生速度が高速になるほど増加させる構成の画像再生装置が記載されている。

特開２００４−１２９２１７号公報 特開２００３−３３８９９５号公報

現在、動画像の符号化方式として、各フレームをＪＰＥＧ２０００で階層的に符号化するＭｏｔｉｏｎ−ＪＰＥＧ２０００が普及し始めているが、ＪＰＥＧ２０００のアルゴリズムの複雑さなどからリアルタイム復号が難しいという問題が指摘されている。そのため、低周波数成分（低解像度成分）の符号のみ復号の対象とすることにより処理能力の不足を補って、リアルタイム復号を実現する手法がとられている。上記特許文献１，２に記載された装置も同様な観点に立つものである。

しかし、上記の従来の手法は、ＪＰＥＧ２０００に代表される符号化方式の特徴を十分に活用したものではない。すなわち、ＪＰＥＧ２０００などの符号化方式による符号化データは、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりから構成されているが、上記従来の手法は、それら複数の属性中の解像度レベルのみに着目したものと言うことができる。

本発明の目的は、各フレームがＪＰＥＧ２０００などで符号化された動画像を復号する画像処理装置又は方法において、各フレームの符号化データを構成する符号の持つ複数の属性を利用し、復号対象とする符号の範囲のより的確かつ多様な制御を可能にすることにある。

本発明のもう一つの目的は、動画像の各フレームをＪＰＥＧ２０００などで符号化する画像処理装置又は方法において、生成すべき符号の範囲のより的確かつ多様な制御を可能にすることにある。

請求項１記載の発明は、符号化動画像の各フレームの、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データに対する復号処理を実行するための復号処理手段と、前記復号処理手段を制御するための制御手段とを有し、
前記符号化動画像の各フレーム毎に、前記制御手段は、
（ａ）前記複数の属性に関する条件１を前記復号処理手段に指定し、前記復号処理手段によって、当該フレームの符号化データに対し、前記条件１を満たす属性を持つ符号を対象とした復号処理を実行させ、
（ｂ）一時停止要求又は低フレームレート再生要求が入力されていないならば当該フレームに対する処理を終了させ、
（ｃ）一時停止要求又は低フレームレート再生要求が入力されているならば、前記条件１と異なる前記複数の属性に関する条件２を前記復号処理手段に対し指定し、前記復号処理手段によって、当該フレームの符号化データに対し、前記条件２を満たす属性を持つ符号を対象とした復号処理を実行させることを特徴とする画像処理装置である。

請求項２記載の発明は、符号化動画像の各フレームの、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データに対する復号処理を実行するための復号処理手段と、前記復号処理手段を制御するための制御手段とを有し、
前記符号化動画像の各フレーム毎に、前記制御手段は、
（ａ）前記複数の属性に関する条件１を前記復号処理手段に指定し、前記復号処理手段によって、当該フレームの符号化データに対し、前記条件１を満たす属性を持つ符号を対象とした復号処理を実行させ、
（ｂ）前記（ａ）の復号処理に要した時間が設定時間以上ならば当該フレームに対する処理を終了させ、
（ｃ）前記（ａ）の復号処理に要した時間が設定時間未満ならば、前記条件１と異なる前記複数の属性に関する条件２を前記復号処理手段に対し指定し、前記復号処理手段によって、当該フレームの符号化データに対し、前記条件２を満たす属性を持つ符号を対象とした復号処理を実行させることを特徴とする画像処理装置である。

請求項３記載の発明は、請求項１又は２記載の発明に係る画像処理装置であって、前記復号処理手段において、前記（ｃ）の復号処理の際に前記（ａ）の復号処理により得られたデータを利用することを特徴とする画像処理装置である。

請求項４記載の発明は、動画像の各フレームの画像データに対し、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データを生成する符号化処理を実行するための符号化処理手段と、前記符号化処理手段を制御するための制御手段とを有し、
前記動画像の各フレーム毎に、前記制御手段は、
（ａ）前記複数の属性に関する条件１を前記符号化処理手段に指定し、前記符号化処理手段によって、当該フレームの画像データに対し、前記条件１を満たす属性を持つ符号の集まりからなる符号化データを生成するための符号化処理を実行させ、
（ｂ）前記（ａ）の符号化処理に要した時間が設定時間以上ならば当該フレームに対する処理を終了させ、
（ｃ）前記（ａ）の符号化処理に要した時間が設定時間未満ならば、前記条件１と異なる前記複数の属性に関する条件２を前記符号化処理手段に対し指定し、前記符号化処理手段によって、当該フレームの画像データに対し、前記条件２を満たす属性を持つ符号の集まりからなる符号化データを生成するための符号化処理を実行させることを特徴とする画像処理装置である。

請求項５記載の発明は、請求項４記載の発明に係る画像処理装置であって、前記符号化処理手段において、前記（ｃ）の符号化処理の際に前記（ａ）の符号化処理により得られたデータを利用することを特徴とする画像処理装置である。

請求項６記載の発明は、符号化動画像の各フレームの、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データに対する復号処理を行う画像処理方法であって、
前記符号化動画像の各フレーム毎に、
前記複数の属性に関する条件１を指定し、当該フレームの符号化データに対し、前記条件１を満たす属性を持つ符号を対象とした復号処理を実行する工程（ａ）と、
一時停止要求又は低フレームレート再生要求が入力されていないならば当該フレームに対する処理を終了する工程（ｂ）と、
一時停止要求又は低フレームレート再生要求が入力されているならば、前記条件１と異なる前記複数の属性に関する条件２を指定し、当該フレームの符号化データに対し、前記条件２を満たす属性を持つ符号を対象とした復号処理を実行する工程（ｃ）とを含むことを特徴とする画像処理方法である。

請求項７記載の発明は、符号化動画像の各フレームの、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データに対する復号処理を行う画像処理方法であって、
前記符号化動画像の各フレーム毎に、
前記複数の属性に関する条件１を指定し、当該フレームの符号化データに対し、前記条件１を満たす属性を持つ符号を対象とした復号処理を実行する工程（ａ）と、
前記工程（ａ）の復号処理に要した時間が設定時間以上ならば当該フレームに対する処理を終了する工程（ｂ）と、
前記工程（ａ）の復号処理に要した時間が設定時間未満ならば、前記条件１と異なる前記複数の属性に関する条件２を指定し、当該フレームの符号化データに対し、前記条件２を満たす属性を持つ符号を対象とした復号処理を実行する工程（ｃ）とを含むことを特徴とする画像処理方法である。

請求項８記載の発明は、請求項６又は７記載の発明に係る画像処理方法であって、前記工程（ｃ）の復号処理の際に前記工程（ａ）の復号処理により得られたデータを利用することを特徴とする画像処理方法である。

請求項９記載の発明は、動画像の各フレームの画像データに対し、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データを生成する符号化処理を行う画像処理方法であって、
前記動画像の各フレーム毎に、
前記複数の属性に関する条件１を指定し、当該フレームの画像データに対し、前記条件１を満たす属性を持つ符号の集まりからなる符号化データを生成するための符号化処理を実行する工程（ａ）と、
前記工程（ａ）の符号化処理に要した時間が設定時間以上ならば当該フレームに対する処理を終了する工程（ｂ）と、
前記工程（ａ）の符号化処理に要した時間が設定時間未満ならば、前記条件１と異なる前記複数の属性に関する条件２を指定し、当該フレームの画像データに対し、前記条件２を満たす属性を持つ符号の集まりからなる符号化データを生成するための符号化処理を実行する工程（ｃ）とを含むことを特徴とする画像処理方法である。

請求項１０記載の発明は、請求項９記載の発明に係る画像処理方法であって、前記工程（ｃ）の符号化処理の際に前記工程（ａ）の符号化処理により得られたデータを利用することを特徴とする画像処理方法である。

請求項１１記載の発明は、請求項１，２，３，４又は５記載の発明に係る画像処理装置の各手段としてコンピュータを機能させるプログラムである。

請求項１２記載の発明は、請求項１，２，３，４又は５記載の発明に係る画像処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体である。

（１）請求項１，６記載の発明によれば、一時停止要求又は低フレームレート再生要求が入力されない場合（通常フレームレートで動画像を再生する場合）には、１フレーム処理時間内で各フレームの復号処理が確実に終了するような条件１を指定することによって、コマ落ちを生じさせない動画像再生を行わせることができ、一方、一時停止要求又は低フレームレート再生要求が入力された場合には、通常フレームレートでの再生に比べ１フレーム処理時間に余裕があるため、より高画質な復号処理となるような条件２を指定することによって、高画質の動画像再生を行わせることができる。そして、復号対象の符号範囲を、解像度レベル、レイヤー（画質）、コンポーネント、プリシンクト（位置）などの複数の属性を用いて制御できるため、復号処理手段の処理能力などを考慮し、各フレームの復号対象符号範囲を容易に最適化することができる。
（２）請求項２，７記載の発明によれば、動画像の各フレームに対し、条件１に従った１回目の復号処理を実行し、それに要した時間が設定時間未満ならば、より高画質の復号のための条件２に従った２回目の復号処理を実行するため、復号処理に時間のかかるフレームのコマ落ちを防止しつつ、より高画質の動画像再生が可能となる。そして、復号対象の符号範囲を、解像度レベル、レイヤー（画質）、コンポーネント、プリシンクト（位置）などの複数の属性を用いて制御できるため、復号処理手段の処理能力などを考慮し、各フレームの復号対象符号範囲を容易に最適化することができる。
（３）請求項３，８記載の発明によれば、各フレームに対する２回目の復号処理の際に１回目の復号処理により得られたデータを利用することにより、２回目の復号処理における処理量を削減することができる。また、この処理量の削減される分だけ高い画質の条件を指定して２回目の復号処理を実行させ、復号画質を向上させることができる。
（４）請求項４，９記載の発明によれば、動画像の各フレームに対し、条件１に従った１回目の符号化処理を実行し、それに要した時間が設定時間未満ならば、より高画質の符号化の余地があるため、条件２に従った２回目の符号化処理を実行することにより、より高画質の符号化データを生成することができる。換言するならば、符号化処理に要する時間が短いほど、その符号化処理により生成された符号化コードの復号処理に要する時間も短くなるのが通常であるため、符号化処理時間に余裕がないフレームについては復号時にコマ落ちの生じにくいような符号化データを生成し、符号化処理時間に余裕があるフレームについては、より高画質の復号が可能な符号化データを生成することができる。そして、符号化の条件を、解像度レベル、レイヤー（画質）、コンポーネント、プリシンクト（位置）などの複数の属性を用いて制御できるため、符号化処理手段もしくは生成された符号化データを復号化する手段の処理能力などを考慮し、各フレームの符号化の条件を容易に最適化することができる。
（５）請求項５，１０記載の発明によれば、各フレームに対する２回目の復号化処理の際に１回目の符号化処理により得られたデータを利用することにより、２回目の符号化処理における処理量を削減することができる。また、この処理量の削減される分だけ高い画質の条件を指定して２回目の符号化処理を実行させ、符号化データをの画質を向上させることができる。
（６）請求項１１，１２記載の発明によれば、請求項１乃至５記載の発明に係る画像処理装置を、コンピュータを利用し実現することができる。

［ＪＰＥＧ２０００の概要］
後記実施形態１においては、動画像の各フレームが独立にＪＰＥＧ２０００によって符号化された符号データの復号処理を行う。また、後記実施形態２においては、動画像の各フレームを独立にＪＰＥＧ２０００によって符号化する処理を行う。そこで、予備的説明として、ＪＰＥＧ２０００の概要を説明する。

まず符号化（圧縮）について説明する。原画像の各コンポーネント（色成分）は、必要に応じてタイルと呼ばれる重複しない矩形の領域に分割され（動画像の場合はタイル数＝１，つまりタイル分割を行わないのが通常である）、各コンポーネントの各タイルのデータ（例えばＲＧＢデータ）はＹＣｒＣｂ（もしくはＹＵＶ）表色系へ変換される。この色空間変換後のデータはコンポーネント別に２次元ウェーブレット変換（順変換）を適用されることにより、周波数帯（サブバンド）に空間分割される。

図１に、デコンポジションレベル数＝３の場合の、各デコンポジションレベルにおけるサブバンドを示す。すなわち、図１（ａ）のタイル画像（０ＬＬ）（デコンポジションレベル０）に対して２次元ウェーブレット変換を施すことにより、図１（ｂ）に示すようにデコンポジションレベル１のサブバンド（１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨ）が得られる。この階層における低周波成分である１ＬＬサブバンドの係数に対して２次元ウェーブレット変換を施すことより、図１（ｃ）に示すようにデコンポジションレベル２のサブバンド（２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨ）が得られる。この階層での低周波成分である２ＬＬサブバンド係数に対し２次元ウェーブレット変換を施すことにより、図１（ｄ）に示すようにデコンポジションレベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）が得られる。図１（ｄ）中の各サブバンドに括弧書きされた数字は解像度レベルを示す。

各サブバンドの係数は必要に応じて線形量子化された後、エントロピー符号化される。ＪＰＥＧ２０００では、各サブバンド係数はビットプレーンに分解され、また、各サブバンドは重複しないプリシンクトと呼ばれる矩形領域に分割され、各プリシンクトはコードブロックと呼ばれる重複しない矩形領域に分割される。そして、各サブバンドの係数は上位のビットプレーンから下位のビットプレーンへ向かってコードブロック毎に符号化される（より正確には、各ビットプレーンは３つのサブビットプレーン（符号化パス）に分割されて符号化される）。このエントロピー符号化においては、指定した符号化の順番で符号化対象ビットが定められ、対象ビットの周辺ビットからコンテキストが生成され、このコンテキストと対象ビットの確率推定による算術符号化が行われる。

最後に、エントロピー符号をまとめてパケットを生成し、パケットをプログレッションオーダーに従って並べるとともに必要なタグ及びタグ情報を付加することにより、図５に略示するようなフォーマットの１本のコードストリーム（符号化データ）を生成する。コードストリームの先頭と各タイル部の先頭にはメインヘッダ（Main header）及びタイルパートヘッダ（Tile-part header）と呼ばれるタグ情報が付加され、その後に、各タイルの符号列（ビットストリーム）が続く。コードストリームの終端に終了タグ（End of codestream）が置かれる。

画像、タイル、サブバンド、プリシンクト、コードブロックの間には
画像≧タイル＞サブバンド≧プリシンクト≧コードブロック
の大小関係がある。

プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。前述のように、プリシンクトを分割した矩形領域がコードブロックである。図２にデコンポジションレベル２におけるプリシンクトと、そのコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が、１つのプリシンクトとして扱われる。なお、プリシンクトはタイル画像上の特定の矩形領域に対応する。つまり、図２に示す例では、タイル画像は３×３の矩形領域に分割され、その矩形領域がプリシンクトであると言うこともできる。

プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション・オーダーに従ってパケットを並べたものが、図５中のビットストリームである。

全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤーである（ただし、必ずしも全てのプリシンクトのパケットをレイヤーに含めなくともよい）。したがって、復号されるレイヤー数が多いほど再生画像の画質は向上する。つまり、レイヤーは画質の単位である。全てのレイヤーを集めると、画像全域の全てのビットプレーンの符号になる。

次にＪＰＥＧ２０００の符号化データの復号（伸長）について説明する。復号の場合、外部より入力したコードストリームに付加されたタグ情報を解釈し、コードストリームを各コンポーネントの各タイルのコードストリームに分解し、その各コンポーネントの各タイルのコードストリーム毎に復号処理を行う。コードストリーム内のタグ情報に基づく順番で復号対象となるビットの位置が定められるとともに、その対象ビット位置の周辺ビット（既に復号済み）の並びからコンテキストが生成される。このコンテキストとコードストリームから確率推定によって復号を行って対象ビットを生成し、それを対象ビットの位置に書き込む。

このようにして得られた各サブバンドの係数は、符号化時に量子化が行われているならば逆量子化された後、２次元逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルのデータが復元される。復元されたデータは、符号化時に色空間変換が行われたならば逆色空間変換変を施され、元の表色系のデータに戻される。

さて、以上に述べたようにＪＰＥＧ２０００の符号単位であるパケットは、
・どのコンポ−ネント（記号C）に属するか、
・どの解像度レベル（記号R）に属するか、
・どのプリシンクト(位置，記号P）に属するか、
・どのレイヤー（画質，記号L）に属するか
という４つの属性を有する。パケットの配列とは、パケットをどの属性の順に階層的に並べるかを意味する。この配列順をプログレッションオーダーと呼ぶ。ＪＰＥＧ２０００ではＬＲＣＰ，ＲＬＣＰ，ＲＰＣＬ，ＰＣＲＬ，ＣＰＲＬの５通りのプログレッションオーダーが規定されている。

ここで、符号化時にプログレッションオーダーの順にパケットを並べる様子、及び、復号時にプログレッションオーダーの順にパケットの属性を解釈する様子を説明する。

ＬＲＣＰプログレッションの場合、次に示すネストされたforループ
for(レイヤー)｛
for(解像度)｛
for(コンポ−ネント)｛
for(プリシンクト)｛
符号化時：パケットを配置
復号時：パケットの属性を解釈
｝
｝
｝
｝
に従ってパケットの配列（符号化時）および解釈（復号時）がなされる。

同様に、ＲＬＣＰプログレッションの場合、次に示すネストされたforループ
for(解像度)｛
for(レイヤー)｛
for(コンポ−ネント)｛
for(プリシンクト)｛
符号化時：パケットを配置
復号時：パケットの属性を解釈
｝
｝
｝
｝
に従ってパケットの配列（符号化時）および解釈（復号時）がなされる。

各パケットはパケットヘッダを有し、パケットヘッダには、
・そのパケットが空かどうか
・そのパケットにどのコードブロックが含まれるか
・そのパケットに含まれる各コードブロックのゼロビットプレーン数
・そのパケットに含まれる各コードブロック符号のコーディングパス数（ビットプレーン数）
・そのパケットに含まれる各コードブロックの符号長
が記載されている。

しかし、パケットヘッダには、レイヤー番号や解像度レベル等は一切記載されていない。復号時に、メインヘッダ中のＣＯＤマーカに記述されているプログレッションオーダーから上記のようなforループを形成し、そのパケットに含まれる各コードブロックの符号長の和からパケットの切れ目を判別し、各パケットがforループ内のどの位置でハンドリングされたかによって、各パケットがどのレイヤのどの解像度レベルのものか等が分かる。これは、パケットヘッダ中の符号長さえ読み出せば、エントロピー符号自体を復号しなくても、次のパケットを検出できることを意味する。

画像サイズ１００×１００画素、１タイル、２レイヤー、解像度レベル０〜２、３コンポ−ネント、プリシンクトサイズ３２×３２とした場合のＬＲＣＰプログレッションのパケット配列例を図３に、ＲＰＣＬプログレッションのパケットの配列例を図４に、それぞれ模式的に示す。

［実施形態１の説明］
図６は、本発明の実施形態１を説明するためのブロック図である。図示のように、本実施形態に係る画像処理装置１００は、例えばハードディスク装置などの記憶装置１０１より動画像の符号化データを取り込んで復号処理し、動画像の各フレームの画像データを生成して不図示のディスプレイ装置などへ出力するものである。取り込まれる動画像の符号化データは、フレーム毎に独立に符号化されたＪＰＥＧ２０００のコードストリームである。

この画像処理装置１００は、機能的に大きく分割すると、動画像の符号化データに対する復号処理を実行するための手段である復号処理部１０２、この復号処理部１０２の復号データから不図示のディスプレイ装置に出力するためのフレームの画像データを生成する手段である画像生成部１０３、復号処理部１０２及び画像生成部１０３の制御などを行う手段である制御部１０４から構成される。画像処理装置１００は、制御部１０４に対し、一時停止要求や低フレームレート再生要求の信号を入力する要求信号入力手段１０５も有する。これら要求は、例えば不図示の操作部を利用者が操作することによって発行される。制御部１０４には、復号処理部１０２による動画像の各フレームの復号処理開始時からの経過時間と設定時間との差（以下、残り時間）を計測するための計時手段１０６が含まれる。ここでは、計時手段１０６の計測値の最小値は０であり、負値をとることはないものとして説明する。

復号処理部１０２は、動画像の各フレームの符号化データを読み込む手段である符号入力手段１１１を含み、また、符号化データに対しＪＰＥＧ２０００のアルゴリズムに従った復号処理を実行するためのタグ処理手段１１２、エントロピー復号手段１１３、逆量子化手段１１４、逆ウェーブレット変換手段１１５及び及び逆色空間変換手段１１６を含み、また、入力された符号化データや復号処理の中間データ及び最終データを一時的に記憶するための記憶手段１１７を含む。この記憶手段１１７は画像生成部１０３及び制御部１０４からもアクセス可能である。

図７は、画像処理装置１００の動作説明のためのフローチャートである。以下、このフローチャートを参照しながら、画像処理装置１００の動作を説明する。なお、ここでは符号化データはタイル分割されていない（タイル数＝１）ものとする。

ｓｔｅｐ２０１において、制御部１０４は、その内部のフレーム番号カウンタの値を０にセットするとともに復号処理部１０２を初期化する。

ｓｔｅｐ２０２において、制御部１０４から復号処理部１０２に対し、フレーム番号カウンタの値Ｎに対応したフレーム（最初はフレーム０）の符号化データに対する処理開始が指示される。復号処理部１０２においては、符号入力手段１１１により該フレームの符号化データの少なくともメインヘッダ及びタイルパートヘッダを読み込み、タグ処理手段１１２によりそのヘッダ情報を解析する。この解析により、符号化データの原画像サイズ、タイル分割数、コンポーネント数、解像度レベル数、レイヤー分割数、プリシンクト分割数、パケットのプログレッションオーダーなどが分かる。メインヘッダ又はタイルパートヘッダにパケットヘッダの集合が記録されている場合には、パケットを参照することなく、各パケットの長さや位置なども知ることができる。そして、この解析結果に基づいて入力される符号化データの各符号（パケット）を解像度レベル、レイヤー、コンポーネント、プリシンクトの各属性により分類することができる。このようなヘッダ情報の解析結果及び入力手段１１１により読み込まれたデータは記憶手段１１７に一時記憶される。

ｓｔｅｐ２０３において、制御部１０４は、記憶手段１１７上のパケット情報解析結果を参照して、復号対象の符号（パケット）の範囲を定めるための、解像度レベル、レイヤー（画質）、コンポーネント、プリシンクト（位置）の各属性に関する条件（復号条件と呼ぶ）を決定し、それを復号処理部１０２に指定する。この復号条件の一例を挙げれば、「解像度レベル０，１、コンポーネント０、全プリシンクト、レイヤー０」というような内容である。

ｓｔｅｐ２０４において、復号処理部１０２は、復号条件を満たす属性を持つ符号を対象とした復号処理を実行する。上記復号条件の例の場合、解像度レベル０，１、コンポーネント０、全プリシンクト、レイヤー０の符号化が復号対象となる。当該フレームの符号データの全ての符号（パケット）がｓｔｅｐ２０２の段階で読み込まれている場合には、直ちに処理を開始できる。符号が全く読み込まれていないか、少なくとも復号対象の符号の一部が読み込まれていないならば、必要な符号を符号入力手段１１１で読み込み、タグ処理部１１２でそれら符号を分類して復号処理を実行する。この復号処理は、既に説明したように、エントロピー復号手段１１３によるエントロピー復号、エントロピー復号により生成された量子化係数（符号化時に量子化されたウェーブレット係数）に対する逆量子化手段１１４による逆量子化、逆量子化後のウェーブレット係数に対する逆ウェーブレット変換手段１１５による２次元逆ウェーブレット変換、この２次元逆ウェーブレット変換により生成された各コンポーネントデータに対する逆色空間変換手段１１６による逆色空間変換からなる。ただし、符号化時に量子化が行われていない符号化データに対しては、逆量子化手段１１４による逆量子化は行われない。以上の復号処理の中間データ及び最終データは記憶手段１１７に一時的に記憶される。

ｓｔｅｐ２０５において、画像生成手段１０３は記憶手段１１７に記憶されている当該フレームの復号データからディスプレイ装置へ出力するための画像データを生成する。

ｓｔｅｐ２０６において、制御部１０４は、要求入力手段１０５より一時停止要求又は低フレームレート再生要求の信号が入力されているか否かの判定を行い、それら要求の信号が入力されていない場合には計時手段１０６の計測値が０であるか否かの判定を行う。一時停止要求又は低フレームレート再生要求の信号が入力されていない場合で、かつ、計時手段１０６の計測値が０であるならば（残り時間無しの場合、ｓｔｅｐ２０６，Ｎｏ）、処理の流れをｓｔｅｐ２１０へ移行させる制御を行う。一時停止要求又は低フレームレート再生要求の信号が入力されている場合、あるいは、それら要求の信号が入力されておらず、かつ、計時手段１０６の計測値が０より大きい場合（残り時間あり、ｓｔｅｐ２０６，Ｙｅｓ）、処理の流れをｓｔｅｐ２０７へ移行させる制御を行う。

処理の流れがｓｔｅｐ２１０に移行した場合の動作は次の通りである。制御部１０４は画像生成部１０３より当該フレームの画像データを出力させ（ｓｔｅｐ２１０）、フレーム番号カウンタをインクリメントし（ｓｔｅｐ２１１）、フレーム番号カウンタの値Ｎが当該動画像の最終フレーム番号を超えたならば（ｓｔｅｐ２１２，Ｙｅｓ）、当該動画像に対する一連の動作を終了させる。フレーム番号カウンタの値Ｎが最終フレーム番号を超えていないならば（ｓｔｅｐ２１２，Ｎｏ）、ｓｔｅｐ２０２に戻り次のフレームに対する復号処理を開始する。

以下、ｓｔｅｐ２０６の判定により処理の流れがｓｔｅｐ２０７へ移行した場合の動作について説明する。

ｓｔｅｐ２０７において、制御部１０４は、記憶手段１１７に記憶されているヘッダ情報解析結果を参照し、ｓｔｅｐ２０３における復号対象となった符号範囲を拡大又は変更し、より高い復号画質を得られるような復号条件を決定し、それを復号処理部１０２に指定する。例えば、ｓｔｅｐ２０３の復号対象の符号範囲に含まれなかった、より高い解像度レベル、より下位のレイヤー、さらには復号対象とされていなかったプリシンクトやコンポーネントの符号などを復号対象に含めるような復号条件を再指定する。

ｓｔｅｐ２０８において、復号処理部１０２は、指定された復号条件を満たす属性を持つ符号を対象とした復号処理を実行する。この復号対象の符号が既に入力済みの場合には復号処理を直ちに実行できる。復号対象の符号の少なくとも一部が未入力の場合には、その未入力の符号を符号入力手段１１１によって読み込んだ後に復号処理を実行する。なお、復号対象の符号の全てを対象に復号処理を再度実行する態様と、復号対象の符号の中でｓｔｅｐ２０４で復号済みの符号を除いた符号（差分）のみを対象として例えばエントロピー復号まで（又は逆量子化まで）の処理を実行し、これにより得られたウェーブレット係数データとｓｔｅｐ２０４でのエントロピー復号（又は逆量子化）で得られて記憶手段１１７に記憶されているウェーブレット係数データとを合成し、合成後のウェーブレット係数データに対し、逆量子化（又は２次元逆ウェーブレット変換）以降の処理を行う態様とをとり得る。ｓｔｅｐ２０４の復号処理のデータを利用する後者の態様によれば、前者の態様に比べ処理量及び処理時間を短縮できる。ただし、後者の態様の場合であっても、エントロピー符号の終端処理の具合によっては、復号対象に追加された下位レイヤーの符号の復号のためには、既に復号済みの上位レイヤーの符号を含めたエントロピー復号が必要となることもある。

このような復号処理が終わると、画像生成手段１０３において、記憶手段１１７に記憶されている復号データからディスプレイ装置へ出力するための当該フレームの画像データを生成する（ｓｔｅｐ２０９）。制御部１０４は画像生成部１０３より当該フレームの画像データを出力させ（ｓｔｅｐ２１０）、フレーム番号カウンタをインクリメントし（ｓｔｅｐ２１１）、フレーム番号カウンタの値Ｎが当該動画像の最終フレーム番号を超えたならば（ｓｔｅｐ２１２，Ｙｅｓ）、一連の動作を終了させる。フレーム番号カウンタの値Ｎが最終フレーム番号を超えていないならば（ｓｔｅｐ２１２，Ｎｏ）、ｓｔｅｐ２０２に戻り次のフレームに対する処理を開始する。

以上の説明から明らかなように、本実施形態に係る画像処理装置１００によれば、復号処理に時間のかかるフレームに対してはコマ落ちのない復号が可能であり、復号処理時間に余裕がある場合や一時停止要求又は低フレームレート再生要求を受けた場合には復号対象の符号範囲を拡大して、より高画質の復号が可能となる。そして、符号の解像度レベル、レイヤー（画質）、コンポーネント、プリシンクト（位置）の各属性を用いて復号対象の符号の範囲を定めるため、例えば解像度レベルのみによって復号対象の符号を選択するような場合に比べ、復号処理部１０２の処理能力などを考慮し、ｓｔｅｐ２０３，２０７での復号対象符号範囲を容易に最適化することができる。

なお、画像処理装置１００は、例えば図１０に示すようなＣＰＵ５０１、メモリ５０２、ハードディスク装置５０３、ネットワーク・インターフェース５０４、ディスプレイ装置５０５、キーボードやマウスのような入力デバイス５０６などをバス５０７で接続した構成のコンピュータを利用し、プログラムにより実現することも可能である。すなわち、図６に示す復号処理部１０２、画像生成部１０３、制御部１０４、入力手段１０５としてコンピュータを機能させるプログラムをメモリ５０２にロードしＣＰＵ５０１で実行させることにより、コンピュータを画像処理装置１００として動作させることができる。符号化動画像は例えばネットワーク・インターフェース５０４を通じてネットワーク上のサーバなどから取り込まれてメモリ５０２又はハードディスク装置５０３に格納され、当該符号化動画像の各フレームの符号化データに対して以上に説明したような処理が実行され、生成された画像データはディスプレイ装置５０５に動画像として表示される。

このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶デバイスなどのコンピュータが読み取り可能な情報記録（記憶）媒体も本発明に包含される。

［実施形態２の説明］
図８は、本発明の実施形態２を説明するためのブロック図である。図示のように、本実施形態に係る画像処理装置３００は、例えばハードディスク装置などの記憶装置３０１より動画像の各フレームの画像データを取り込んで符号化処理し、符号化データを出力するものである。生成される動画像の符号化データは、フレーム毎に独立してＪＰＥＧ２０００のアルゴリズムに従って符号化されたコードストリームである。

この画像処理装置３００は、機能的に大きく分割すると、符号化処理を実行するための手段である符号化処理部３０２、この符号化処理部３０２により生成される符号化データを外部出力するための手段である符号出力部３０３、符号化処理部３０２及び符号出力部３０３の制御などを行う手段である制御部３０４から構成される。制御部３０４には、符号化処理部３０２による動画像の各フレームの符号化処理開始時からの経過時間と設定時間との差（残り時間）を計測するための計時手段３０６が含まれる。ここでは、計時手段３０６の計測値の最小値は０であり、負値をとることはないものとして説明する。

符号化処理部３０２は、動画像の各フレームの画像データを読み込む手段である画像入力手段３１１を含み、また、画像データに対しＪＰＥＧ２０００のアルゴリズムに従った符号化処理を実行するための色空間変換手段３１２、ウェーブレット変換手段３１３、量子化手段３１４、エントロピー符号化手段３１５及び符号形成手段３１６を含み、また、入力された画像データや符号化処理の中間データ及び最終データを一時的に記憶するための記憶手段３１７を含む。この記憶手段３１７は符号出力部３０３及び制御部３０４からもアクセス可能である。

図９は、画像処理装置３００の動作説明のためのフローチャートである。以下、このフローチャートを参照しながら、画像処理装置３００の動作を説明する。なお、符号化処理において画像データのタイル分割は行わない（タイル数＝１）ものとする。

ｓｔｅｐ４０１において、制御部３０４は、その内部のフレーム番号カウンタの値を０にセットするとともに符号化処理部３０２を初期化する。

ｓｔｅｐ４０２において、制御部３０４は、解像度レベル、レイヤー（画質）、コンポーネント、プリシンクト（位置）の各属性に関する条件（符号化条件と呼ぶ）を決定し、それを符号化処理部３０２に指定し、フレーム番号カウンタの値（Ｎ）に対応したフレームに対する符号化処理を開始させる。符号化条件の一例を挙げれば、「３解像度レベル中の解像度レベル０，１、４プリシンクト中の全プリシンクト、３コンポーネント中のコンポーネント０，１，２、２レイヤー中のレイヤー０」という内容である（これを符号化条件例１と呼ぶ）。

ｓｔｅｐ４０３において、符号化処理部３０２は、画像入力手段３１１によりフレーム番号Ｎのフレームの画像データを記憶装置３０１より読み込み、該画像データに対し制御部３０４より指定された符号化条件を満たす属性を持つ符号（パケット）の集まりからなる符号化データを生成するための符号化処理を実行する。この符号化処理は、既に説明したように、色空間変換手段３１２によるフレーム画像データ（例えばＲＧＢデータ）のＹＣｂＣｒデータへの色空間変換、色空間変換後の各コンポーネントのデータに対するウェーブレット変換手段３１３による２次元ウェーブレット変換、生成されたウェーブレット係数に対する量子化手段３１４による量子化（必要な場合）、量子化された（又は量子化されない）ウェーブレット係数に対するエントロピー符号化手段３１５によるエントロピー符号化、必要なエントロピー符号を集めたパケットを生成し、パケットを所定の順序に並べるとともに必要なヘッダ情報などを付加した符号化データ（コードストリーム）を生成する符号形成手段３１６による符号形成の各段階からなる。

上記の符号化条件例１が指定された場合、デコンポジションレベル数２（解像度レベル数３）の２次元ウェーブレット変換が行われ、解像度レベル０，１のウェーブレット係数に対し、４つのプリシンクトに分割したレイヤー０に対応したビットプレーンのエントロピー符号化が実行され、符号形成段階で解像度レベル０，１、全プリシンクト、３コンポーネント、レイヤー０のパケットからなる符号化データが形成される。以上の符号化処理の中間データ及び最終的な符号化データ、符号化処理部３０２の状態などが記憶手段３１７に一時的に記憶される。

ｓｔｅｐ４０４において、制御部３０４は、計時手段３０６の計測値が０であるか否かの判定を行い、計時手段３０６の計測値が０であるならば処理の流れをｓｔｅｐ４０７へ移行させる制御を行い、計時手段４０６の計測値が０より大きい（上記符号化処理に要した時間が設定時間より短い）場合には処理の流れをｓｔｅｐ４０５へ移行させる制御を行う。

処理の流れがｓｔｅｐ４０７に移行した場合の動作は次の通りである。制御部３０４は符号出力部３０３によって、記憶手段３１７に一時的に記憶されている当該フレームの符号化データの出力を行わせ（ｓｔｅｐ４０７）、フレーム番号カウンタをインクリメントし（ｓｔｅｐ４０８）、フレーム番号カウンタの値Ｎが当該動画像の最終フレーム番号を超えたならば（ｓｔｅｐ４０９，Ｙｅｓ）、一連の動作を終了させる。フレーム番号カウンタの値Ｎが最終フレーム番号を超えていないならば（ｓｔｅｐ４０９，Ｎｏ）、ｓｔｅｐ４０２に戻り次フレームに対する処理に進む。

以下、ｓｔｅｐ４０４の判定により処理の流れがｓｔｅｐ４０５へ移行した場合の動作について説明する。この場合、当該フレームについては、より高画質となるような符号化条件での符号化を行う余地があるということである。別の言い方をするならば、符号化処理に要する時間が短いほど、その符号化処理により生成された符号化コードの復号処理に要する時間も短くなるのが通常であるので、当該フレームについて、より高画質の復号が可能な符号化データを生成できる余地があるということである。

そこで、ｓｔｅｐ４０５において、制御部３０４は、ｓｔｅｐ４０３の符号化処理により生成された符号化データに比べ、より高画質の符号化データを生成するための符号化条件を符号化処理部３０２に指定し、符号化処理を開始させる。ｓｔｅｐ４０６において、符号化処理部４０６は改めて指定された符号化条件に従った符号化処理を実行する。

例えば、ｓｔｅｐ４０２で上記符号化条件例１が指定された場合において、ｓｔｅｐ４０５で、「３解像度レベル中の解像度レベル０，１，２、４プリシンクト中の全プリシンクト、３コンポーネント中のコンポーネント０，１，２、２レイヤー中のレイヤー０，１」という内容の符号化条件（以下、符号化条件例２）が指定されたとする。この場合、符号化条件例２に従った符号化処理全体を画像データに対し再度実行する態様をとることも、記憶手段３１７に一時的に保存されているｓｔｅｐ４０３の符号化処理時のデータを利用し、必要な処理のみを実行する態様をとることもできる。後者の態様においては、全てのコンポーネントの解像度レベル２のウェーブレット係数は既に得られているので、このウェーブレット係数に対する全ビットプレーンに対するエントロピー符号化を追加実行し、また、解像度レベル０，１のウェーブレット係数に対するレイヤ１に対応したビットプレーンのエントロピー符号化を追加実行し、それにより生成されたエントロピー符号から必要なパケットを追加生成することにより、解像度レベル０，１，２、全プリシンクト、コンポーネント０，１，２、レイヤー０，１の属性を持つ符号からなる符号化データを生成することができる。

このような符号化処理が終わると、制御部３０４は、符号化出力部３０３により記憶手段３１７に記憶されている符号化データを外部出力させる（ｓｔｅｐ４０７）。次に制御部３０４はフレーム番号カウンタをインクリメントし（ｓｔｅｐ４０８）、フレーム番号カウンタの値Ｎが当該動画像の最終フレーム番号を超えたならば（ｓｔｅｐ４０９，Ｙｅｓ）、一連の動作を終了させる。フレーム番号カウンタの値Ｎが最終フレーム番号を超えていないならば（ｓｔｅｐ４０９，Ｎｏ）、ｓｔｅｐ４０２に戻り次のフレームに対する処理を開始する。

以上の説明から明らかなように、本実施形態に係る画像処理装置３００は、１回目の符号化処理が設定時間未満のフレームについては条件を変更して２回目の符号化処理を行うため、より高画質の符号化データを生成することができる。また、符号化処理に要する時間が短いほど、その符号化処理により生成された符号化コードの復号処理に要する時間も短くなるのが通常であるため、符号化処理時間に余裕がないフレームについては復号時にコマ落ちの生じにくいような符号化データを生成し、符号化処理時間に余裕があるフレームについては、より高画質の復号が可能な符号化データを生成することができる。そして、符号化条件を、解像度レベル、レイヤー（画質）、コンポーネント、プリシンクト（位置）の各属性を用いて指定するため、例えば解像度レベルのみによって符号化条件を制御する場合に比べ、符号化処理部３０２の処理能力などを考慮し、ｓｔｅｐ４０３，４０５での符号化条件を容易に最適化することができる。

なお、画像処理装置３００は、例えば図１０に示すような構成のコンピュータを利用し、プログラムにより実現することも可能である。すなわち、図８に示す符号化処理部３０２、符号出力部３０３、制御部３０４としてコンピュータを機能させるプログラムをメモリ５０２にロードしＣＰＵ５０１で実行させることにより、コンピュータを画像処理装置３００として動作させることができる。動画像の画像データは例えばハードディスク装置５０３より１フレームずつメモリ５０２に読み込まれ、以上に説明したような処理が実行され、メモリ５０２上に生成された符号化データは例えばハードディスク装置５０３に格納され、必要な時にネットワーク・インターフェース５０４を介しネットワーク上の他の機器へ送信される。

このようなプログラム、及び、同プログラムが記録された磁気ディスク、光ディスク、光磁気ディスク、半導体記憶デバイスなどのコンピュータが読み取り可能な情報記録（記憶）媒体も本発明に包含される。

以上、本発明に係る画像処理装置について説明したが、以上の説明は本発明に係る画像処理方法の説明でもあることは明らかである。よって、本発明に係る画像処理方法の説明は繰り返さない。また、以上に説明した実施形態においては符号化方式としてＪＰＥＧ２０００が用いられたが、他の符号化方式を用い得ることは明らかである。

２次元ウェーブレット変換によるサブバンド分割の説明図である。 プリシンクト及びコードブロックの説明図である。 ＪＰＥＧ２０００のコードストリームにおけるＬＲＣＰプログレッションオーダーによるパケット配列を示す模式図である。 ＪＰＥＧ２０００のコードストリームにおけるＲＬＣＰプログレッションオーダーによるパケット配列を示す模式図である。 ＪＰＥＧ２０００のコードストリームの概略構造を示す図である。 実施形態１に係る画像処理装置のブロック図である。 実施形態１に係る画像処理装置の動作説明のためのフローチャートである。 実施形態２に係る画像処理装置のブロック図である。 実施形態２に係る画像処理装置の動作説明のためのフローチャートである。 コンピュータの一例を示すブロック図である。

符号の説明

１００ 画像処理装置
１０２ 復号処理部
１０３ 画像生成部
１０４ 制御部
１０５ 一時停止要求／低フレームレート再生要求入力手段
１０６ 計時手段
１１１ 符号入力手段
１１２ タグ処理手段
１１３ エントロピー復号手段
１１４ 逆量子化手段
１１５ 逆ウェーブレット変換手段
１１６ 逆色空間変換手段
１１７ 記憶手段
３００ 画像処理装置
３０２ 符号化処理部
３０３ 符号出力部
３０４ 制御部
３０６ 計時手段
３１１ 画像入力手段
３１２ 色空間変換手段
３１３ ウェーブレット変換手段
３１４ 量子化手段
３１５ エントロピー符号化手段
３１６ 符号形成手段
３１７ 記憶手段

Claims (12)

1. 符号化動画像の各フレームの、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データに対する復号処理を実行するための復号処理手段と、前記復号処理手段を制御するための制御手段とを有し、
   前記符号化動画像の各フレーム毎に、前記制御手段は、
   （ａ）前記複数の属性に関する条件１を前記復号処理手段に指定し、前記復号処理手段によって、当該フレームの符号化データに対し、前記条件１を満たす属性を持つ符号を対象とした復号処理を実行させ、
   （ｂ）一時停止要求又は低フレームレート再生要求が入力されていないならば当該フレームに対する処理を終了させ、
   （ｃ）一時停止要求又は低フレームレート再生要求が入力されているならば、前記条件１と異なる前記複数の属性に関する条件２を前記復号処理手段に対し指定し、前記復号処理手段によって、当該フレームの符号化データに対し、前記条件２を満たす属性を持つ符号を対象とした復号処理を実行させることを特徴とする画像処理装置。
2. 符号化動画像の各フレームの、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データに対する復号処理を実行するための復号処理手段と、前記復号処理手段を制御するための制御手段とを有し、
   前記符号化動画像の各フレーム毎に、前記制御手段は、
   （ａ）前記複数の属性に関する条件１を前記復号処理手段に指定し、前記復号処理手段によって、当該フレームの符号化データに対し、前記条件１を満たす属性を持つ符号を対象とした復号処理を実行させ、
   （ｂ）前記（ａ）の復号処理に要した時間が設定時間以上ならば当該フレームに対する処理を終了させ、
   （ｃ）前記（ａ）の復号処理に要した時間が設定時間未満ならば、前記条件１と異なる前記複数の属性に関する条件２を前記復号処理手段に対し指定し、前記復号処理手段によって、当該フレームの符号化データに対し、前記条件２を満たす属性を持つ符号を対象とした復号処理を実行させることを特徴とする画像処理装置。
3. 前記復号処理手段において、前記（ｃ）の復号処理の際に前記（ａ）の復号処理により得られたデータを利用することを特徴とする請求項１又は２記載の画像処理装置。
4. 動画像の各フレームの画像データに対し、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データを生成する符号化処理を実行するための符号化処理手段と、前記符号化処理手段を制御するための制御手段とを有し、 前記動画像の各フレーム毎に、前記制御手段は、
   （ａ）前記複数の属性に関する条件１を前記符号化処理手段に指定し、前記符号化処理手段によって、当該フレームの画像データに対し、前記条件１を満たす属性を持つ符号の集まりからなる符号化データを生成するための符号化処理を実行させ、
   （ｂ）前記（ａ）の符号化処理に要した時間が設定時間以上ならば当該フレームに対する処理を終了させ、
   （ｃ）前記（ａ）の符号化処理に要した時間が設定時間未満ならば、前記条件１と異なる前記複数の属性に関する条件２を前記符号化処理手段に対し指定し、前記符号化処理手段によって、当該フレームの画像データに対し、前記条件２を満たす属性を持つ符号の集まりからなる符号化データを生成するための符号化処理を実行させることを特徴とする画像処理装置。
5. 前記符号化処理手段において、前記（ｃ）の符号化処理の際に前記（ａ）の符号化処理により得られたデータを利用することを特徴とする請求項４記載の画像処理装置。
6. 符号化動画像の各フレームの、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データに対する復号処理を行う画像処理方法であって、
   前記符号化動画像の各フレーム毎に、
   前記複数の属性に関する条件１を指定し、当該フレームの符号化データに対し、前記条件１を満たす属性を持つ符号を対象とした復号処理を実行する工程（ａ）と、
   一時停止要求又は低フレームレート再生要求が入力されていないならば当該フレームに対する処理を終了する工程（ｂ）と、
   一時停止要求又は低フレームレート再生要求が入力されているならば、前記条件１と異なる前記複数の属性に関する条件２を指定し、当該フレームの符号化データに対し、前記条件２を満たす属性を持つ符号を対象とした復号処理を実行する工程（ｃ）とを含むことを特徴とする画像処理方法。
7. 符号化動画像の各フレームの、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データに対する復号処理を行う画像処理方法であって、
   前記符号化動画像の各フレーム毎に、
   前記複数の属性に関する条件１を指定し、当該フレームの符号化データに対し、前記条件１を満たす属性を持つ符号を対象とした復号処理を実行する工程（ａ）と、
   前記工程（ａ）の復号処理に要した時間が設定時間以上ならば当該フレームに対する処理を終了する工程（ｂ）と、
   前記工程（ａ）の復号処理に要した時間が設定時間未満ならば、前記条件１と異なる前記複数の属性に関する条件２を指定し、当該フレームの符号化データに対し、前記条件２を満たす属性を持つ符号を対象とした復号処理を実行する工程（ｃ）とを含むことを特徴とする画像処理方法。
8. 前記工程（ｃ）の復号処理の際に前記工程（ａ）の復号処理により得られたデータを利用することを特徴とする請求項６又は７記載の画像処理方法。
9. 動画像の各フレームの画像データに対し、解像度レベル、位置、コンポーネント、画質などの複数の属性を持つ符号の集まりからなる符号化データを生成する符号化処理を行う画像処理方法であって、
   前記動画像の各フレーム毎に、
   前記複数の属性に関する条件１を指定し、当該フレームの画像データに対し、前記条件１を満たす属性を持つ符号の集まりからなる符号化データを生成するための符号化処理を実行する工程（ａ）と、
   前記工程（ａ）の符号化処理に要した時間が設定時間以上ならば当該フレームに対する処理を終了する工程（ｂ）と、
   前記工程（ａ）の符号化処理に要した時間が設定時間未満ならば、前記条件１と異なる前記複数の属性に関する条件２を指定し、当該フレームの画像データに対し、前記条件２を満たす属性を持つ符号の集まりからなる符号化データを生成するための符号化処理を実行する工程（ｃ）とを含むことを特徴とする画像処理方法。
10. 前記工程（ｃ）の符号化処理の際に前記工程（ａ）の符号化処理により得られたデータを利用することを特徴とする請求項９記載の画像処理方法。
11. 請求項１，２，３，４又は５記載の画像処理装置の各手段としてコンピュータを機能させるプログラム。
12. 請求項１，２，３，４又は５記載の画像処理装置の各手段としてコンピュータを機能させるプログラムが記録された、コンピュータが読み取り可能な情報記録媒体。

Images