JP4055994B2

JP4055994B2 - Image processing apparatus, image processing method, program, and recording medium

Info

Publication number: JP4055994B2
Application number: JP2003030046A
Authority: JP
Inventors: 伸青木; 隆夫井上; 隆史牧; 宏幸作山; 卓児玉; 郁子草津; 隆則矢野; 彰高橋; 慶一池辺; 毅小山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2003-02-06
Filing date: 2003-02-06
Publication date: 2008-03-05
Anticipated expiration: 2023-02-06
Also published as: JP2004242107A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像表示手段に表示される画像の縮小処理に係り、特に、画像の性質に応じて縮小処理の縮小条件を自動的に調整する技術に関する。
【０００２】
【従来の技術】
ＣＲＴディスプレイなどに表示されることを想定した画像を、例えば携帯情報端末（ＰＤＡ）などの画素数の少ない表示デバイスに表示する際に、表示デバイスの表示領域ｋサイズに合わせて、画像を自動的に縮小する技術や、縦横回転と横方向縮小を行う技術が知られている（例えば特許文献１及び２参照）。
【０００３】
画像は蓄積又は伝送に先立って圧縮されることが多い。静止画像の圧縮にはＪＰＥＧが、動画像の圧縮にはＭＰＥＧが広く利用されているが、これに代わる圧縮方式としてＪＰＥＧ２０００（ＩＳＯ／ＩＥＣＦＣＤ１５４４４−１）と、その拡張方式Ｍｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣＦＣＤ１５４４４−３）が注目されている（例えば非特許文献１参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続した複数の静止画像それぞれをフレームとして動画像を扱うが、個々のフレームはＪＰＥＧ２０００により圧縮される。
【０００４】
【特許文献１】
特開２００１−２２８８５７号公報
【特許文献２】
特開２００２−１０８７５５号公報
【非特許文献１】
野水泰之、「次世代画像符号化方式ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００５】
【発明が解決しようとする課題】
前記従来技術のように表示領域のサイズに合わせて画像を自動的に縮小した場合に、画像の内容によっては縮小による弊害が大きい。例えば、紙文書を撮影した写真画像は、全体を表示できるように縮小されると、画像中の文字が潰れ判読不可能になることがある。
【０００６】
本発明の目的は、このような画像縮小に伴う不都合を回避するための手段を提供することにある。
【０００７】
【課題を解決するための手段】
前記目的を達成するため、請求項１に係る発明は、画像表示手段に表示される画像の縮小処理を行う画像処理装置であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価手段と、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定手段とを有し、
前記評価手段は、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が、全符号量の所定割合を越える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする。
【０００８】
また、請求項２に係る発明は、画像表示手段に表示される画像の縮小処理を行う画像処理装置であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価手段と、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定手段とを有し、
前記評価手段は、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする。
【０００９】
また、請求項３に係る発明は、請求項１又は２に係る発明の画像処理装置において、 JPEG2000 準拠の画像の符号化データの伸長処理の段階で前記縮小処理が行われることを特徴とする。
【００１０】
また、請求項４に係る発明は、画像表示手段に表示される画像の縮小処理を行う画像処理方法であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価ステップと、
前記評価ステップの評価結果に基づいて前記縮小処理の縮小条件を決定する決定ステップとを有し、
前記評価ステップは、低い解像度レベル又は高い解像度レベルよりサブバンド符号量を加算した値が、全符号量の所定割合を越える解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする。
【００１１】
また、請求項５に係る発明は、画像表示手段に表示される画像の縮小処理を行う画像処理方法であって、
JPEG2000 準拠の画像の符号化データのサブバンド符号量の分布に基づいて該画像の高周波成分の強度を評価する評価ステップと、
前記評価手段の評価結果に基づいて前記縮小処理の縮小条件を決定する決定ステップとを有し、
前記評価ステップは、サブバンド符号量が閾値を越える最も高い解像度レベルでの画像サイズと、前記画像表示手段の表示領域サイズとを比較することを特徴とする。
【００１２】
また、請求項６に係る発明は、請求項４又は５に係る発明の画像処理方法において、 JPEG2000 準拠の画像の符号化データの伸長処理の段階で前記縮小処理が行われることを特徴とする。
【００１９】
【発明の実施の形態】
以下の説明の理解を容易にするため、ＪＰＥＧ２０００について概説する。図６は、ＪＰＥＧ２０００の圧縮／伸長のアルゴリズムを説明するためのブロック図である。
【００２０】
ＪＰＥＧ２０００では、圧縮処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして処理することも可能である。各コンポーネントの各タイル画像は、色空間変換／逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により２次元のウェーブレット変換（離散ウェーブレット変換）を施されサブバンドに分解される。
【００２１】
図７はデコンポジション回数（レベル数）が３の場合のウェーブレット変換の説明図である。図７（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図７（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンド係数に対し２次元ウェーブレット変換が適用されることにより、図７（ｃ）に示すように２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンド係数に対し２次元ウェーブレット変換が適用されることにより、図７（ｄ）に示すように３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図７（ｄ）の各サブバンドに括弧で囲んで示した数字が、そのサブバンドの解像度レベルを示している。
【００２２】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、量子化／逆量子化部３によってサブバンド毎に量子化される。ＪＰＥＧ２０００ではロスレス（可逆）圧縮とロッシー（非可逆）圧縮のいずれも可能であり、ロスレス圧縮の場合には量子化ステップ幅は常に１であり、この段階では量子化されない。
【００２３】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Embedded Block Coding with Optimized Truncation）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００２４】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プレシンクト)、レイヤ、コンポーネント（色成分)の組み合わせによる５種類のプログレッション順序が定義されている。
【００２５】
このようにして生成されるＪＰＥＧ２０００の符号化データ（圧縮画像データ）のフォーマットを図８に示す。図８に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ(Main Header)と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ(Tile Header)と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Tile Data）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００２６】
図９にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。図１０にタイルヘッダの構成を示す。（ａ）はタイルデータの先頭に付加されるヘッダであり、（ｂ）はタイル内が複数に分割されている場合に分割されたタイル部分列の先頭に付加されるヘッダである。タイルヘッダでは必須のマーカセグメントはなく、すべてオプションである。
【００２７】
伸長処理は圧縮処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によってエントロピー復号化される。復号化されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００２８】
ＪＰＥＧ２０００においては、画像は複数の領域に分割され、各分割領域は依存関係にない状態で圧縮されるが、分割領域として前記のタイルとコードブロックのほかにプレシンクトがあり、画像≧タイル≧サブバンド≧プレシンクト≧コードブロックの大きさ関係がある。
【００２９】
プレシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図８の各タイルに関するＳＯＤ以下の部分がパケットの集合である。全てのプレシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、伸長時に復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００３０】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が規定されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト（位置)である。
【００３１】
ＲＬＣＰプログレッションの場合、Ｒ，Ｌ，Ｃ，Ｐの順にネストされた次のようなforループ

という順で、パケットのハンドリングがなされる。したがって、伸長時に、解像度レベル数をより少ない値に設定するならば、その解像度レベル数までのパケットだけをハンドリングさせ、符号化データを解像度の観点から部分的に伸長することができる（解像度スケーラビリティがある）。
【００３２】
具体例を示せば、画像サイズ＝１００×１００画素（タイル分割なし）、レイヤ数＝２、解像度レベル数＝３（レベル０〜２）、コンポーネント数＝３、プリシンクトサイズ＝３２×３２の場合における３６個のパケットは、図１１のような順に解釈される。この例で、解像度レベル数＝２にセットするならば、図中の「終了」の段階、すなわち解像度レベル０と１のパケットを伸長した段階で伸長動作を終了させることができる。
【００３３】
なお、パケットは、本体であるパケットデータ（符号）にパケットヘッダを付加した構造である。パケットヘッダには、パケットデータの長さなどの情報が含まれる。
【００３４】
図１は、本発明の画像処理方法及び装置の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、画像の圧縮データ（符号化データ）又は非圧縮データを取り込む手段として、無線又は有線ネットワークとのインターフェースである通信インターフェース部１００、外部機器とのインターフェースである外部インターフェース部１０２、各種メモリカード１０６の読み取りのための媒体インターフェース部１０４を有する。この画像処理装置は、具体的には例えば、携帯情報端末（ＰＤＡ）や携帯電話器などの通信と画像表示の機能を有する機器であるが、本発明と直接関係のない構成については図示されていない。
【００３５】
この画像処理装置を構成する要素の機能、例えば、伸長処理部１１０、表示画像処理部１１２、評価部１１６、縮小条件決定部１１８、制御部１２２の機能は、ハードウェアとして実現することも可能であるが、プログラムにより実現することも可能である。この画像処理装置において実行される画像処理手順（後述）を、携帯情報端末や携帯電話器に組み込まれたマイクロコンピュータや、パソコンなどの汎用コンピュータで実行させるためのプログラム、及び、同プログラムが記録された各種の記録（記憶）媒体も本発明に包含される。
【００３６】
この画像処理装置は、画像の符号化データの伸長処理のための伸長処理部１１０、表示画像の縮小処理などを行う表示画像処理部１１２、画像の高周波成分の強度を評価する評価部１１６、その評価結果に基づいて画像の縮小条件を決定するための縮小条件決定部１１８、画像データを画面表示するための画像表示部１１４、画像データなどの記憶域や処理のための作業記憶域を提供する記憶部１０８、上に述べた各部の動作の制御や処理手順の制御を行う制御部１２２、ユーザが各種の指定や画像表示部１１４の表示画像のスクロール指示などを入力するための操作部１２０を備える。伸長処理部１１０は、圧縮された画像データを扱う場合には画像の縮小処理にも利用される。
【００３７】
まず、通信インターフェース部１００、外部インターフェース部１０２又は媒体インターフェース部１０４より、画像の符号化データを取り込み、その画像を画像表示部１１４に表示する動作について説明する。ここで、画像の符号化データはＪＰＥＧ２０００フォーマットのＲＬＣＰプログレッションの符号化データで、そのデコンポジション回数が３であるものとして説明する。図２は処理の流れを示すフローチャートである。
【００３８】
画像の符号化データは、記憶部１０８にバッファ記憶された後、制御部１２２の制御により伸長処理部１１０に入力される（ステップＳ１００）。伸長処理部１１０は、前述のＪＰＥＧ２０００のアルゴリズムにより符号化データの伸長処理を行う手段であるが、メインヘッダの内容を解析し、ＳＩＺマーカセグメントに記述されている画像サイズ、メインヘッダのＰＰＭマーカセグメントに記述されているパケット長情報、メインヘッダのＣＯＤマーカセグメントに記述されているデコンポジション回数を抽出して記憶部１０８の所定記憶域に書き込む。なお、メインヘッダにＰＰＭマーカセグメントが存在しない場合には、タイルヘッダのＰＰＴマーカセグメントに記述されているパケット長情報が抽出される。メインヘッダ、タイルヘッダのいずれにも集約パケットヘッダが含まれていない場合には、タイルデータ中の各パケットのパケットヘッダよりパケット長情報が抽出される。
【００３９】
制御部１２２は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズを比較することにより処理の流れを制御する（ステップＳ１０２）。ここで、表示領域サイズとは、画像表示部１１４の画面上の画像が表示される領域のサイズであり、操作部１２０より予め指定されたときはそのサイズが、指定されないときはデフォルトのサイズが用いられる。
【００４０】
画像サイズが表示領域サイズ以下ならば、制御部１２２は、伸長処理部１１０で符号化データを最高解像度レベルまで伸長処理させ、表示画像処理部１１２には縮小処理を行わせない（ステップＳ１１４）。すなわち、縮小処理は抑止される。換言すれば、縮小倍率は１とされる。したがって、元の画像サイズと同じサイズの画像データが再生される。そして、この画像データをそのまま画像表示部１１４へ出力させ、画像表示部１１４の画像表示領域に画像を元のサイズで表示させる（ステップＳ１１６）。
【００４１】
画像サイズが表示領域サイズより大きい場合、制御部１２２は、選択されたモードに応じて処理の流れを切り替える（ステップＳ１０４）。選択可能なモードとして非縮小モード、強制縮小モード、自動縮小モードがあり、ユーザは操作部１２０よりモードを選択することができる。
【００４２】
非縮小モードが選択されている場合には、ステップＳ１１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００４３】
強制縮小モードが選択されている場合、制御部１２２からの指示に応じて、縮小条件決定部１１８は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズとから縮小条件、すなわち伸長処理部１１０で伸長すべき解像度レベルと表示画像処理１１２での縮小倍率とを決定する（ステップＳ１１０）。例えば、表示領域サイズが解像度レベル１での画像サイズより大きく解像度レベル２での画像サイズより小さい場合には、解像度レベル２までの伸長と、解像度レベル２での画像サイズから表示領域サイズへアスペクト比を変えることなく縮小するための倍率を決定する。そして、制御部１２２は、決定した解像度レベルまでの伸長処理を伸長処理部１１０に実行させ、決定した倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ１１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ１１６）。
【００４４】
自動縮小モードが選択されている場合、制御部１２２からの指示により、評価部１１６は画像の高周波成分の強度を評価するために、記憶部１０８の前記所定記憶域に記憶されているパケット長情報からサブバンド毎の符号量を計算し、図３に示すようなサブバンド符号量の分布を求める。そして、その分布が図３の（ａ），（ｂ），（ｃ）のいずれのパターンに該当するか調べることにより高周波成分の強度を「強」、「中間的」、「弱」の３段階で評価する（ステップＳ１０６）。
【００４５】
図３はサブバンド符号量を解像度レベル毎に表したヒストグラムである。この例ではデコンポジション回数が３であるので、解像度レベル０のサブバンド符号量（３ＬＬサブバンドの符号量）、解像度レベル１のサブバンド符号量（３ＨＬ，３ＬＨ，３ＨＨサブバンド符号量）、解像度レベル２のサブバンド符号量（２ＨＬ，２ＬＨ，２ＨＨサブバンド符号量）、解像度レベル３のサブバンド符号量（３ＨＬ，３ＬＨ，３ＨＨサブバンド符号量）の分布が求められる。デコンポジション回数が異なる場合には、そのデコンポジション回数に対応した解像度レベル毎のサブバンド符号量が求められる。ただし、解像度レベルによってサブバンドの面積が異なるため、各解像度レベルのサブバンド符号量は単位面積当たりに換算された値である。各サブバンド符号量は対応した周波数成分量と略比例する関係があり、解像度レベル０のサブバンド符号量は最も低い周波数成分の量を反映し、解像度レベル３のサブバンド符号量は最も高い周波数成分の量を反映している。すなわち、図３のヒストグラムは、４つの周波数帯域に分けた画像の周波数分布と見ることができる。
【００４６】
このように、この実施の形態においては、ＪＰＥＧ２０００フォーマットの符号化データのメインヘッダ又はタイルヘッダ中の集約パケットヘッダあるいは各パケットのパケットヘッダに含まれるパケット長情報を参照することにより、簡単かつ高速に画像の周波数分布を取得している。また、後述のように、オクターブ分割の２次元ウェーブレット変換によるサブバンド符号量は、解像度レベル毎の画像サイズと表示領域サイズとの関係を高周波成分強度の評価に利用できる利点もある。
【００４７】
次に、制御部１２２からの指示により、縮小条件決定部１１８は、評価部１１６の評価結果に基づいて縮小条件を決定する（ステップＳ１０８）。基本的には、高周波成分が強い画像では縮小による弊害が大きいため縮小しないか、縮小倍率を小さくするような縮小条件を決定し、高周波成分が弱い場合には表示領域サイズまで縮小するような縮小条件を決定する。さらに、高周波成分の強度が中間的な場合には、中間的なサイズまで縮小するような縮小条件を決定する。図３を参照して、より具体的に説明する。
【００４８】
一実施例によれば、評価部１１６は、解像度レベル０の側からサブバンド符号量を加算していき、その値が全符号量（単位面積当たりに換算されたサブバンド符号量の総和）の例えば５０％を越えるサブバンドを求める。図３では、網掛けされたサブバンドの符号量の合計が全符号量の５０％を越えたことを示している。そして、５０％を越えたサブバンドの解像度レベルでの画像サイズと表示領域サイズとを比較することにより、高周波成分の強度を評価する。
【００４９】
図３（ａ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル０）での画像サイズが表示領域サイズより小さいケースでは、評価部１１６は高周波成分の強度を「弱」と評価する。
【００５０】
このように評価された場合には、縮小条件決定部１１８は、表示領域サイズまで縮小するように縮小条件を決定する。すなわち、符号量が５０％を越えた解像度レベルの１つ上の解像度レベル（この例ではレベル１）までの伸長処理を伸長処理部１１０で実行させ、それにより再生された画像データを表示画像処理部１１２でアスペクト比を変えずに表示領域サイズまで縮小させる、という縮小条件とする。高周波成分が弱い画像は、大きな縮小倍率で縮小しても、文字画像の場合のような大きな悪影響は生じにくい。
【００５１】
図３（ｃ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル３）での画像サイズが表示領域サイズより相当に大きいケースでは、評価部１１６は高周波成分の強度を「強」と評価する。
【００５２】
このように評価された場合、縮小による弊害が大きいため、縮小条件決定部１１８は、伸長処理部１１０で最高解像度レベルまでの伸長処理を行わせ、表示画像処理部１１２では縮小処理を行わせない、という縮小条件に決定する。つまり、縮小は行われないことになる。紙文書の写真画像などは、高周波成分の強度が「強」と評価され縮小されないため、文字の潰れにより判読できなくなるような不都合は回避される。なお、高周波成分が「強」と評価された場合に、縮小処理を抑止するのではなく、縮小による悪影響が問題とならない程度の低い縮小倍率となる縮小条件を決定してもよく、この態様も本発明に包含される。
【００５３】
図３（ｂ）に示す例のように、符号量が５０％を越えた解像度レベル（この例ではレベル２）での画像サイズは表示領域サイズより大きいが、その差がそれほど大きくないケースでは、評価部１１６は、高周波成分の強度を「中間的」と評価する。
【００５４】
この場合、縮小条件決定部１１８は、中間的なサイズまで縮小するように縮小条件を決定する。例えば、最大解像度レベルより低レベルで、表示領域サイズより画像サイズが大きい解像度レベル（この例ではレベル２）までの伸長処理を伸長処理部１１０で行わせ、表示画像処理部１１２では縮小させない、という縮小条件とする。
【００５５】
なお、評価部１１６において、最高解像度レベルの側からサブバンド符号量を加算し、その値が全符号量の例えば５０％を越えるサブバンドを求め、そのサブバンドの解像度レベルでの画像サイズと表示領域サイズとを比較することにより、同様の評価を行ってもよい。このような態様も本発明に当然に包含される。
【００５６】
また、評価部１１６において、高周波成分の強度を「強」と「非強」の２段階で評価し、「非強」と評価された場合に縮小条件決定部１１８で表示領域サイズまで縮小するような縮小条件を決定することも可能であり、かかる態様も本発明に含まれる。
【００５７】
別の実施例によれば、評価部１１６において、最高解像度レベルの側から、サブバンド符号量を閾値Ｔｈと比較し、符号量が閾値Ｔｈを最初に越えた解像度レベルでの画像サイズと表示領域サイズとを比較することにより、前記実施例と同様な評価を行う。つまり、サブバンド符号量が閾値Ｔｈを越えた解像度レベルのなかで最も高い解像度レベルでの画像サイズと表示領域サイズとの比較によって、高周波成分の強度を評価する。閾値Ｔｈは、全符号量（単位面積当たりに換算されたサブバンド符号量の総和）に応じて適応的に決定されるのが好ましい。
【００５８】
以上のようにして縮小条件が決定されると、制御部１２２は、決定された解像度レベルまでの伸長処理を伸長処理部１１０に実行させ、決定された縮小倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ１１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ１１６）。
【００５９】
ここまでは、理解を容易にするためＲＬＣＰプログレッションの符号化データとして説明したが、他のプログレッションの符号化データであっても伸長処理部１１０の伸長処理の段階での縮小処理が可能である。ＪＰＥＧ２０００の符号化データを構成するパケットは領域、画質、コンポーネント、解像度の各インデックスを持っているので、符号状態で領域、画質、コンポーネント、解像度の各パラメータで符号の取捨選択が可能であるからである。
【００６０】
なお、強制縮小モード又は自動縮小モードにおいて、常に符号化データを最高解像度レベルまで伸長し、必要な倍率の縮小処理を表示画像処理部１１２のみで実施させることも可能であり、このような態様も本発明に包含される。ただし、必要に応じて縮小処理段階でも縮小を行う態様は、伸長処理部１１０と表示画像処理部１１２における処理時間の短縮効果がある。また、評価処理ステップＳ１０６は、符号化データが入力された直後から実行を開始させてもよい。
【００６１】
次に、通信インターフェース部１００、外部インターフェース部１０２又は媒体インターフェース部１０４より、非圧縮の画像データを取り込み、その画像を画像表示部１１４に表示する処理について説明する。図４は処理の流れを示すフローチャートである。
【００６２】
画像データは記憶部１０８にバッファ記憶される（ステップＳ１００）。この時に、制御部１２２は画像データの画像サイズを取得して記憶部１０８の所定記憶域に書き込む。
【００６３】
制御部１２２は、入力した画像データの画像サイズと表示領域サイズを比較し、その結果によって処理の流れを制御する（ステップＳ２０２）。前述のように、表示領域サイズは操作部１２０より予め指定されるが、指定されないときはデフォルトのサイズが用いられる。
【００６４】
画像サイズが表示領域サイズ以下ならば、制御部１２２は、入力した画像データをそのまま画像表示部１１４へ出力させ、画像表示部１１４の画像表示領域に画像を元のサイズで表示させる（ステップＳ２１４）。
【００６５】
画像サイズが表示領域サイズより大きい場合、制御部１２２は予め選択されたモードに応じて処理の流れを切り替える（ステップＳ２０４）。前述のように非縮小モード、強制縮小モード又は自動縮小モードを操作部１２０より指定することができる。
【００６６】
非縮小モードが選択されている場合には、ステップＳ２１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００６７】
強制縮小モードが選択されている場合、制御部１２２からの指示に応じて、縮小条件決定部１１８は、記憶部１０８の前記所定記憶域を参照し、画像サイズと表示領域サイズとから、アスペクト比を変えることなく画像を表示領域サイズへ縮小するための倍率を決定する。そして、制御部１２２は、決定した倍率の縮小処理を表示画像処理部１２２で実行させ（ステップＳ２１２）、処理後の画像データを画像表示装置１１４へ出力させ表示させる（ステップＳ２１４）。
【００６８】
自動縮小モードが選択されている場合、制御部１２２からの指示により、評価部１１６は画像の高周波成分の強度を評価し（ステップＳ２０６）、その結果に基づいて縮小条件決定部１１８で表示画像処理部１１２における縮小倍率を決定する（ステップＳ２０８）。そして、決定された縮小倍率による入力画像データの縮小処理が表示画像処理部１１２で実行され（ステップＳ２１２）、処理後の画像データが画像表示部１１４へ出力され表示される（ステップＳ２１４）。
【００６９】
一実施例によれば、評価部１１６において、入力画像データ、又は、入力画像データの画素を間引いた画像データに対して、図７に関連して説明したような２次元の離散ウェーブレット変換を行う。そして、各解像度レベル毎に、サブバンド係数の絶対値の総和を計算し、その値を単位面積当たりの値に換算する。この値は、各解像度レベルに対応した周波数成分の量と略比例する関係があるため、図３と同様のヒストグラムが得られる。このヒストグラムに基づいて、図２のステップＳ１０６と同様の評価を行う。この評価結果に基づいて、縮小条件決定部１１８は、図２のステップＳ１０８と同様な考え方で縮小倍率を決定する。例えば、高周波成分の強度が「弱」と評価された場合には、表示領域サイズまで縮小する縮小倍率を決定し、高周波成分の強度が「中間的」と評価された場合には表示領域サイズよりやや大きなサイズまで縮小する縮小倍率を決定し、高周波成分の強度が「強」と評価された場合には、縮小倍率を１とする（縮小しない）。
【００７０】
なお、評価部１１６において、離散コサイン変換、フーリエ変換あるいは単純な帯域フィルタなどを利用して、入力画像データの周波数分布を求め、その分布から高周波成分の強度を評価してもよい。このような態様も本発明に包含される。要は入力画像の高周波成分の強度を評価できればよい。また、評価ステップＳ２０６わ、画像データが入力された直後から実行させるようにしてもよい。
【００７１】
図５は、本発明の別の実施の形態を説明するためのブロック図である。この実施の形態に係る画像処理装置は、静止画像又は動画像を撮影する電子カメラ装置である。
【００７２】
図５において、３００は光学レンズ、絞り機構、シャッター機構などから構成される一般的な撮像光学系である。３０１はＣＣＤ型又はＭＯＳ型のイメージャであり、撮像光学系３００により結像される光学像を色分解してから光量に応じた電気信号に変換する。３０２はイメージャ３０１の出力信号をサンプリングしてデジタル信号に変換するＣＤＳ・Ａ／Ｄ変換部であり、相関二重サンプリング（ＣＤＳ）回路とＡ／Ｄ変換回路からなる。
【００７３】
３０３は画像プロセッサであり、例えばプログラム（マイクロコード）で制御される高速のデジタル信号プロセッサからなる。この画像プロセッサ３０３は、ＣＤＳ・Ａ／Ｄ変換部３０２より入力する画像データに対するガンマ補正処理、ホワイトバランス調整処理、エッジ強調などのためのエンハンス処理のような信号処理のほか、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２、表示部３０４を制御し、また、オートフォーカス制御、自動露出制御、ホワイトバランス調整などのための情報の検出などを行う。表示部３０４は例えば液晶表示装置であり、モニタリング画像（スルー画像）や撮影画像などの画像の表示、その他の情報の表示などに利用される。
【００７４】
以上に説明した撮像光学系３００、イメージャ３０１、ＣＤＳ・Ａ／Ｄ変換部３０２及び画像プロセッサ３０３は、静止画像又は動画像を撮影するための撮像手段を構成している。
【００７５】
圧縮／伸長処理部３２０は、ＪＰＥＧ２０００のアルゴリズムによる圧縮処理と伸長処理を行うための手段である。媒体インターフェース部３１２は、各種メモリカードなどの記録（記憶）媒体３１３に対する情報の書き込み／読み出しを行う手段である。３１４は有線又は無線の伝送路あるいはネットワークを通じ、外部の機器と接続するための外部インターフェース部である。
【００７６】
システムコントローラ３０６は、マイクロコンピュータからなり、操作部３０７から入力されるユーザの操作情報や画像プロセッサ３０３から与えられる情報などに応答して、撮像光学系３００のシャッター機構、絞り機構、ズーミング機構、画像プロセッサ３０３、圧縮／伸長処理部３２０、媒体インターフェース部３１２などの制御を行う。３０５はメモリであり、画像データやその符号化データなどの一時記憶域、画像プロセッサ３０３やシステムコントローラ３０６、圧縮／伸長処理部３２０、媒体インターフェース部３１２などの作業記憶域として利用される。
【００７７】
図示されていないが、図１中の評価部１１６と縮小条件決定部１１８の機能があり、これはシステムコントローラ３０６又は画像プロセッサ３０３で動作するプログラムにより実現される。また、画像プロセッサ３０３は、図１中の表示画像処理部１１２の機能も有する。以下、これらの機能のための手段を評価手段（１１６）、縮小条件決定手段（１１８）、表示画像処理手段（１１２）と記す。これら手段をハードウェアとして設けてもよく、そのような態様も本発明に包含されることは当然である。また、圧縮／伸長処理部３２０もシステムコントローラ３０６又は画像プロセッサ３０３で動作するプログラムにより実現するとも可能であり、このような態様も本発明に包含される。
【００７８】
動作は次の通りである。操作部３０７の撮影ボタンが押下されると、システムコントローラ３０６より撮影指示が画像プロセッサ３０３に与えられ、画像プロセッサ３０３は静止画像撮影又は動画像撮影の条件でイメージャ３０１を駆動する。撮影された画像のデータは画像プロセッサ３０３を経由してメモリ３０５に一時的に記憶される。そして、この画像データは、予め指定された又はデフォルトの圧縮率で圧縮／伸長処理部３０８でＪＰＥＧ２０００のアルゴリズムにより圧縮され、その符号化データは媒体インターフェース部３１２により記録媒体３１３に記録される。
【００７９】
この電子カメラ装置は、外部インターフェース部３１４を介し接続されたディスプレイ装置、携帯情報端末、携帯電話器などの画像表示画面を持つ外部機器、又は、表示部３０４に、その表示領域サイズに応じたサイズで記録画像を表示させることができる。この場合の動作を、図２のフローチャートを援用して説明する。
【００８０】
システムコントローラ３０６の制御により、記録媒体３１３に記録された画像の符号化データが媒体インターフェース部３１２によってメモリ３０５に読み出される（ステップＳ１００）。読み出される画像の選択は、例えば、表示部３０４に表示されたサムネイルを操作部３０７から指定することにより行われる。圧縮／伸長処理部３２０は、その符号化データのヘッダ情報を解析し、メインヘッダのＳＩＺマーカセグメントに含まれる画像サイズ、メインヘッダのＰＰＭマーカセグメント又はタイルヘッダのＰＰＴマーカセグメントに含まれるパケット長情報、メインヘッダのＣＯＤマーカセグメントに含まれるデコンポジション回数を抽出してメモリ３０５の所定記憶域に書き込む。なお、ＰＰＭマーカセグメントもＰＰＴマーカセグメントも存在しない場合には、タイルデータ中の各パケットのヘッダよりパケット長情報を抽出する。
【００８１】
システムコントローラ３０６は、メモリ３０５の前記所定記憶域を参照し、そこに記憶されている画像サイズと表示領域サイズを比較し、その結果によって処理の流れを制御する（ステップＳ１０２）。ここで、表示領域サイズとは、画像が表示される外部機器又は表示部３０４の画面又は画面上の領域のサイズであり、操作部３０７又は外部機器から予め指定されたときはそのサイズが、指定されないときはデフォルトのサイズが用いられる。
【００８２】
画像サイズが表示領域サイズ以下ならば、システムコントローラ３０６は、圧縮／伸長処理部３２０において符号化データを最高解像度レベルまで伸長処理させ（ステップＳ１１４）、再生された画像データを外部インターフェース部３１４より外部機器へ出力させる（ステップＳ１１６）。すなわち、元のサイズの画像が外部機器又は表示部３０４の表示領域に表示される。
【００８３】
画像サイズが表示領域サイズより大きい場合、システムコントローラ３０６は操作部３０７又は外部機器より予め選択されたモードに応じて処理の流れを切り替える（ステップＳ１０４）。
【００８４】
非縮小モードが選択されている場合には、ステップＳ１１４の処理に進む。すなわち、画像サイズが表示領域サイズ以下のときと同じ処理となる。
【００８５】
強制縮小モードが選択されている場合、縮小条件決定手段（１１８）によって、画像サイズと表示領域サイズとから縮小条件、すなわち圧縮／伸長処理部３２０で伸長すべき解像度レベルと、表示画像処理手段（１１２）による縮小倍率とを決定する（ステップＳ１１０）。例えば、表示領域サイズが解像度レベル１での画像サイズより大きく解像度レベル２での画像サイズより小さい場合には、解像度レベル２までの伸長と、解像度レベル２での画像サイズから表示領域サイズへアスペクト比を変えることなく縮小するための倍率を決定する。そして、決定された解像度レベルまでの伸長処理が圧縮／伸長処理部３２０で実行され、再生された画像データに対し、決定された倍率の縮小処理が表示画像処理手段（１２２）で実行され（ステップＳ１１２）、処理後の画像データが外部インターフェース部３１４を介し外部機器へ出力され、又は表示部３０４へ出力される（ステップＳ１１６）。
【００８６】
自動縮小モードが選択されている場合、評価手段（１１６）により画像の高周波成分の強度が評価され（ステップＳ１０６）、その評価結果に基づいて縮小条件決定手段（１１８）で縮小条件が決定される（ステップＳ１０８）。評価と縮小条件決定は図１の画像処理装置に関して説明した通りであるので説明を繰り返さない。そして、決定された解像度レベルまでの伸長処理が伸長処理部３２０で実行され、再生された画像データに対する決定された倍率の縮小処理が表示画像処理手段（１２２）で実行され（ステップＳ１１２）、処理後の画像データが外部機器又は表示部３０４へ出力される（ステップＳ１１６）。
【００８７】
なお、圧縮された画像データとしてＪＰＥＧ２０００フォーマットの符号化データを前提として説明したが、本発明は、ＪＰＥＧ２０００以外の圧縮方式で圧縮された画像データを扱う同様の画像処理装置に対しても本発明を適用し得ることは明らかである。空間解像度スケーラビリティを有する符号化データならば、前述のような伸長処理段階での縮小も可能である。
【００８８】
【発明の効果】
以上に説明したように、本発明の画像処理装置又は画像処理方法によれば、画像の高周波成分の強度に基づいて縮小条件を自動的に調整することができるため、紙文書の写真画像などの高周波成分の強い画像については縮小処理を抑止し又は縮小倍率を下げることにより、縮小処理による弊害を回避し、その一方で、高周波成分が強くない縮小による悪影響の少ない画像については表示領域サイズなどへ縮小することができる。また、ＪＰＥＧ２０００フォーマットの符号化データに関しては、サブバンド符号量の分布を利用することにより、簡単な処理で高周波成分の強度を的確に評価することができる。また、画像の符号化データを伸長して表示する場合に、符号化データの伸長処理の段階で縮小処理を行うことにより処理を効率化することができる。また、本発明のプログラム又は記録媒体によれば、パソコンなどの汎用コンピュータや各種機器に組み込まれたマイクロコンピュータなどを利用し、画像の縮小処理の縮小条件を画像の性質に応じて自動的に最適化することができる、等々の効果を得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するためのブロック図である。
【図２】画像の圧縮データを取り込み画像を表示する動作を説明するためフローチャートである。
【図３】サブバンド符号量分布に基づいた高周波成分の強度の評価方法及び縮小条件の決定方法の説明図である。
【図４】加増の非圧縮データを取り込み画像を表示する動作を説明するためのフローチャートである。
【図５】本発明の別の実施の形態を説明するためのブロック図である。
【図６】ＪＰＥＧ２０００の圧縮／伸長アルゴリズムを説明するためのブロック図である。
【図７】２次元ウェーブレット変換の説明図である。
【図８】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図９】メインヘッダの説明図である。
【図１０】タイルヘッダの説明図である。
【図１１】ＲＬＣＰプログレッションの符号化データにおけるパケットのハンドリングを説明するための図である。
【符号の説明】
１１０伸長処理部
１１２表示画像処理部
１１４画像表示部
１１６評価部
１１８縮小条件決定部
３０４表示部
３２０圧縮／伸長処理部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a reduction process for an image displayed on an image display means, and more particularly to a technique for automatically adjusting reduction conditions for a reduction process in accordance with the properties of an image.
[0002]
[Prior art]
When an image that is supposed to be displayed on a CRT display or the like is displayed on a display device with a small number of pixels such as a personal digital assistant (PDA), the image is automatically matched to the display area k size of the display device. There are known a technique for reducing the width and a technique for performing vertical and horizontal rotation and horizontal reduction (see, for example, Patent Documents 1 and 2).
[0003]
Images are often compressed prior to storage or transmission. JPEG is widely used for still image compression, and MPEG is widely used for moving image compression. As an alternative compression method, JPEG2000 (ISO / IEC FCD 15444-1) and its expansion method Motion-JPEG2000 (ISO) are used. / IEC FCD 15444-3) has attracted attention (for example, see Non-Patent Document 1). In Motion-JPEG2000, a moving image is handled by using a plurality of still images that are temporally continuous as frames, but each frame is compressed by JPEG2000.
[0004]
[Patent Document 1]
JP 2001-228857 A
[Patent Document 2]
JP 2002-108755 A
[Non-Patent Document 1]
Yasuyuki Nomizu, “Next Generation Image Coding JPEG2000”,
Triqueps, Inc. February 13, 2001
[0005]
[Problems to be solved by the invention]
When the image is automatically reduced in accordance with the size of the display area as in the prior art, depending on the content of the image, the adverse effect due to the reduction is great. For example, when a photographic image obtained by photographing a paper document is reduced so that the entire image can be displayed, characters in the image may be crushed and become unreadable.
[0006]
An object of the present invention is to provide means for avoiding the disadvantages associated with such image reduction.
[0007]
[Means for Solving the Problems]
  In order to achieve the above object, an invention according to claim 1 is an image processing apparatus for performing a reduction process of an image displayed on an image display means,
JPEG2000 Evaluation means for evaluating the strength of the high frequency component of the image based on the distribution of the subband code amount of the encoded data of the compliant image;
Determining means for determining a reduction condition of the reduction processing based on an evaluation result of the evaluation means;
The evaluation unit compares an image size at a resolution level in which a value obtained by adding a subband code amount from a low resolution level or a high resolution level exceeds a predetermined ratio of the total code amount, and a display area size of the image display unit. It is characterized by doing.
[0008]
  The invention according to claim 2 is an image processing apparatus for performing a reduction process of an image displayed on the image display means,
JPEG2000 Evaluation means for evaluating the strength of the high frequency component of the image based on the distribution of the subband code amount of the encoded data of the compliant image;
Determining means for determining a reduction condition of the reduction processing based on an evaluation result of the evaluation means;
The evaluation means compares the image size at the highest resolution level at which the subband code amount exceeds a threshold with the display area size of the image display means.
[0009]
  The invention according to claim 3 is the image processing apparatus according to

claim

1 or 2, JPEG2000 The reduction processing is performed at the stage of decompression processing of encoded data of a compliant image.
[0010]
  The invention according to claim 4 is an image processing method for performing reduction processing of an image displayed on the image display means,
JPEG2000 An evaluation step for evaluating the strength of the high-frequency component of the image based on the distribution of the subband code amount of the encoded data of the compliant image;
Determining a reduction condition for the reduction process based on an evaluation result of the evaluation step,
The evaluation step compares an image size at a resolution level in which a value obtained by adding a subband code amount from a low resolution level or a high resolution level exceeds a predetermined ratio of the total code amount and the display area size of the image display means. It is characterized by doing.
[0011]
  The invention according to claim 5 is an image processing method for performing reduction processing of an image displayed on the image display means,
JPEG2000 An evaluation step for evaluating the strength of the high-frequency component of the image based on the distribution of the subband code amount of the encoded data of the compliant image;
Determining a reduction condition for the reduction process based on an evaluation result of the evaluation means,
The evaluation step is characterized in that the image size at the highest resolution level where the subband code amount exceeds a threshold value is compared with the display area size of the image display means.
[0012]
  The invention according to claim 6 is the image processing method according to claim 4 or 5, wherein JPEG2000 The reduction processing is performed at the stage of decompression processing of encoded data of a compliant image.
[0019]
DETAILED DESCRIPTION OF THE INVENTION
In order to facilitate understanding of the following description, JPEG2000 will be outlined. FIG. 6 is a block diagram for explaining a JPEG2000 compression / decompression algorithm.
[0020]
In JPEG 2000, image data to be subjected to compression processing is divided into non-overlapping rectangular areas (tiles) for each component, and processed for each component in units of tiles. However, it is also possible to process the entire image as one tile. Each tile image of each component is subjected to color space conversion from RGB data or CMY data to YCrCb data by the color space conversion / inverse conversion unit 1 for the purpose of improving the compression rate. This color space conversion may be omitted. The tile image after the color space conversion is subjected to two-dimensional wavelet transform (discrete wavelet transform) by the wavelet transform / inverse transform unit 2 and is decomposed into subbands.
[0021]
FIG. 7 is an explanatory diagram of wavelet transform when the number of decomposition times (number of levels) is three. The tile image (decomposition level 0) shown in FIG. 7A is divided into 1LL, 1HL, 1LH, and 1HH subbands as shown in FIG. 7B by two-dimensional wavelet transform. By applying the two-dimensional wavelet transform to the 1LL subband coefficients, the subbands are divided into 2LL, 2HL, 2LH, and 2HH as shown in FIG. By applying the two-dimensional wavelet transform to the 2LL subband coefficient, it is divided into 3LL, 3HL, 3LH, and 3HH subbands as shown in FIG. Regarding the relationship between the decomposition level and the resolution level, the numbers enclosed in parentheses for each subband in FIG. 7D indicate the resolution level of the subband.
[0022]
The wavelet coefficient obtained by recursive division (octave division) of such a low frequency component (LL subband coefficient) is quantized for each subband by the quantization / inverse quantization unit 3. In JPEG2000, both lossless (lossless) compression and lossy (lossy) compression are possible. In the case of lossless compression, the quantization step width is always 1, and quantization is not performed at this stage.
[0023]
Each subband coefficient after quantization is entropy encoded by the entropy encoding / decoding unit 4. For this entropy coding, a block-based bit-plane coding method called EBCOT (Embedded Block Coding with Optimized Truncation) consisting of block division, coefficient modeling, and binary arithmetic coding is used. The bit plane of each subband coefficient after quantization is encoded for each block called a code block from the upper bit to the lower bit.
[0024]
In the tag processing unit 5, the codes of the code blocks generated by the entropy encoding / decoding unit 4 are collected to create a packet, and then the packets are arranged according to the progression order and necessary tag information is added. Thus, encoded data of a predetermined format is created. In JPEG2000, five types of progression orders are defined with respect to code order control by combinations of resolution level, position (precinct), layer, and component (color component).
[0025]
The format of JPEG2000 encoded data (compressed image data) generated in this way is shown in FIG. As shown in FIG. 8, the encoded data starts with a tag called an SOC marker indicating the beginning thereof, followed by tag information called a main header (Main Header) describing an encoding parameter, a quantization parameter, and the like, After that, the code data for each tile follows. The code data for each tile starts with a tag called an SOT marker, and consists of tag information called a tile header (Tile Header), a tag called an SOD marker, and tile data (Tile Data) containing the code string of each tile. Is done. A tag called an EOC marker indicating the end is placed after the last tile data.
[0026]
FIG. 9 shows the configuration of the main header. Each marker segment of SIZ, COD, and QCD is essential, but the other marker segments are optional. FIG. 10 shows the configuration of the tile header. (A) is a header added to the head of tile data, and (b) is a header added to the head of the divided tile subsequence when the inside of the tile is divided into a plurality. There is no mandatory marker segment in the tile header, all are optional.
[0027]
The decompression process is the reverse of the compression process. The encoded data is decomposed into a code string of each tile of each component by the tag processing unit 5. This code string is entropy-decoded by the entropy encoding / decoding unit 4. The decoded wavelet coefficients are inversely quantized by the quantization / inverse quantization unit 3 and then subjected to two-dimensional inverse wavelet transform by the wavelet transform / inverse transform unit 2, whereby each tile of each component is The image is played back. Each tile image of each component is subjected to reverse color conversion processing by the color space conversion / inverse conversion unit 1 and returned to a tile image composed of components such as RGB.
[0028]
In JPEG2000, an image is divided into a plurality of areas, and each divided area is compressed in a state where there is no dependency, but there are precincts as the divided areas in addition to the tiles and code blocks described above, and image ≧ tile ≧ subband ≧ Precinct ≧ Code block size relationship.
[0029]
A packet is obtained by collecting a part of codes of all code blocks included in the precinct (for example, codes of three bit planes from the most significant bit to the third bit). Packets with an empty code are allowed. The code of the code block is collected to generate a packet, and the encoded data is formed by arranging the packet according to a desired progression order. The portion below the SOD for each tile in FIG. 8 is a set of packets. When packets of all precincts (that is, all code blocks and all subbands) are collected, a part of the code of the entire image (for example, the bits from the most significant bit plane of the wavelet coefficient of the entire image to the third bit) This is a layer. Therefore, as the number of layers decoded at the time of expansion increases, the quality of the reproduced image improves. That is, a layer can be said to be a unit of image quality. When all layers are collected, it becomes the code of all bit planes of the entire image.
[0030]
JPEG2000 defines five progression orders: LRCP, RLCP, RPCL, PCRL, and CPRL. Here, L is a layer, R is a resolution level, C is a component, and P is a precinct (position).
[0031]
For RLCP progression, the following for loop nested in the order of R, L, C, P

Packets are handled in this order. Therefore, if the number of resolution levels is set to a smaller value at the time of decompression, only packets up to the number of resolution levels can be handled, and the encoded data can be partially decompressed from the viewpoint of resolution (resolution scalability is improved). is there).
[0032]
Specifically, the image size = 100 × 100 pixels (no tile division), the number of layers = 2, the number of resolution levels = 3 (level 0 to 2), the number of components = 3, and the precinct size = 32 × 32 The 36 packets in the case are interpreted in the order as shown in FIG. In this example, if the number of resolution levels is set to 2, the decompression operation can be terminated at the “end” stage in the figure, that is, at the stage where the packets of resolution levels 0 and 1 are decompressed.
[0033]
The packet has a structure in which a packet header is added to packet data (code) which is a main body. The packet header includes information such as the length of packet data.
[0034]
FIG. 1 is a block diagram for explaining an embodiment of an image processing method and apparatus according to the present invention. The image processing apparatus according to this embodiment is a communication interface unit 100 that is an interface with a wireless or wired network, and an interface with an external device as means for taking in compressed data (encoded data) or non-compressed data of an image. An external interface unit 102 and a medium interface unit 104 for reading various memory cards 106 are included. Specifically, this image processing apparatus is a device having communication and image display functions such as a personal digital assistant (PDA) and a mobile phone, but the configuration not directly related to the present invention is shown in the figure. Absent.
[0035]
The functions of the elements constituting the image processing apparatus, such as the functions of the decompression processing unit 110, the display image processing unit 112, the evaluation unit 116, the reduction condition determination unit 118, and the control unit 122, can also be realized as hardware. However, it can be realized by a program. A program for executing an image processing procedure (to be described later) executed in this image processing apparatus by a microcomputer incorporated in a portable information terminal or a mobile phone, a general-purpose computer such as a personal computer, and the program are recorded. Various recording (storage) media are also included in the present invention.
[0036]
The image processing apparatus includes an expansion processing unit 110 for expansion processing of encoded data of an image, a display image processing unit 112 that performs reduction processing of a display image, an evaluation unit 116 that evaluates the strength of high-frequency components of an image, A reduction condition determination unit 118 for determining an image reduction condition based on the evaluation result, an image display unit 114 for displaying image data on a screen, a storage area for image data, and a working storage area for processing are provided. The storage unit 108, the control unit 122 that controls the operation of each unit and the processing procedure described above, and the operation unit 120 for a user to input various designations, an instruction to scroll the display image of the image display unit 114, and the like. Prepare. The decompression processing unit 110 is also used for image reduction processing when handling compressed image data.
[0037]
First, an operation of taking encoded data of an image from the communication interface unit 100, the external interface unit 102, or the medium interface unit 104 and displaying the image on the image display unit 114 will be described. Here, it is assumed that the encoded data of the image is RLCP progression encoded data in the JPEG 2000 format, and the number of times of decomposition is three. FIG. 2 is a flowchart showing the flow of processing.
[0038]
The encoded data of the image is buffer-stored in the storage unit 108, and then input to the decompression processing unit 110 under the control of the control unit 122 (step S100). The decompression processing unit 110 is a means for decompressing encoded data using the above-described JPEG2000 algorithm. The decompression processing unit 110 analyzes the contents of the main header, and determines the image size described in the SIZ marker segment, the PPM marker segment of the main header. And the number of times of decomposition described in the COD marker segment of the main header are extracted and written in a predetermined storage area of the storage unit 108. Note that if there is no PPM marker segment in the main header, the packet length information described in the PPT marker segment of the tile header is extracted. If neither the main header nor the tile header contains an aggregate packet header, the packet length information is extracted from the packet header of each packet in the tile data.
[0039]
The control unit 122 refers to the predetermined storage area of the storage unit 108, and controls the processing flow by comparing the image size and the display area size (step S102). Here, the display area size is the size of the area where the image on the screen of the image display unit 114 is displayed. When the size is specified in advance from the operation unit 120, the size is the default size when the size is not specified. Used.
[0040]
If the image size is equal to or smaller than the display area size, the control unit 122 causes the decompression processing unit 110 to decompress the encoded data to the maximum resolution level, and does not cause the display image processing unit 112 to perform the reduction processing (step S114). That is, the reduction process is suppressed. In other words, the reduction ratio is 1. Accordingly, image data having the same size as the original image size is reproduced. Then, the image data is directly output to the image display unit 114, and the image is displayed in the original size in the image display area of the image display unit 114 (step S116).
[0041]
When the image size is larger than the display area size, the control unit 122 switches the processing flow according to the selected mode (step S104). As selectable modes, there are a non-reduction mode, a forced reduction mode, and an automatic reduction mode, and the user can select a mode from the operation unit 120.
[0042]
If the non-reduction mode is selected, the process proceeds to step S114. That is, the processing is the same as when the image size is equal to or smaller than the display area size.
[0043]
When the forced reduction mode is selected, in response to an instruction from the control unit 122, the reduction condition determination unit 118 refers to the predetermined storage area of the storage unit 108, reduces the reduction condition from the image size and the display area size, That is, the resolution level to be expanded by the expansion processing unit 110 and the reduction magnification in the display image processing 112 are determined (step S110). For example, when the display area size is larger than the image size at the resolution level 1 and smaller than the image size at the resolution level 2, the display area is expanded to the resolution level 2 and the aspect ratio from the image size at the resolution level 2 to the display area size. Determine the scale factor for reduction without changing. Then, the control unit 122 causes the decompression processing unit 110 to perform decompression processing up to the determined resolution level, causes the display image processing unit 122 to perform decompression processing of the determined magnification (step S112), and processes the processed image data. The image is output and displayed on the image display device 114 (step S116).
[0044]
When the automatic reduction mode is selected, in response to an instruction from the control unit 122, the evaluation unit 116 evaluates the intensity of the high frequency component of the image, and packet length information stored in the predetermined storage area of the storage unit 108. Then, the code amount for each subband is calculated, and the distribution of the subband code amount as shown in FIG. 3 is obtained. Then, by examining which of the patterns (a), (b), and (c) of FIG. 3 corresponds to the distribution, the intensity of the high frequency component is divided into three levels, “strong”, “intermediate”, and “weak”. (Step S106).
[0045]
FIG. 3 is a histogram showing the subband code amount for each resolution level. In this example, since the number of times of decomposition is 3, the resolution level 0 subband code amount (3LL subband code amount), resolution level 1 subband code amount (3HL, 3LH, 3HH subband code amount), resolution The distribution of the subband code amount at level 2 (2HL, 2LH, 2HH subband code amount) and the subband code amount at resolution level 3 (3HL, 3LH, 3HH subband code amount) is obtained. When the number of decomposition times is different, the subband code amount for each resolution level corresponding to the number of decomposition times is obtained. However, since the subband area varies depending on the resolution level, the subband code amount at each resolution level is a value converted per unit area. Each subband code amount is substantially proportional to the corresponding frequency component amount, the resolution level 0 subband code amount reflects the lowest frequency component amount, and the resolution level 3 subband code amount has the highest frequency. Reflects the amount of ingredients. That is, the histogram of FIG. 3 can be viewed as a frequency distribution of an image divided into four frequency bands.
[0046]
As described above, in this embodiment, by referring to the packet length information included in the packet header of each packet or the aggregate packet header in the main header or tile header of the encoded data in the JPEG 2000 format, it is easy and fast. The frequency distribution of the image is acquired. As will be described later, the subband code amount by the octave division two-dimensional wavelet transform also has an advantage that the relationship between the image size and the display area size for each resolution level can be used for the evaluation of the high frequency component intensity.
[0047]
Next, according to an instruction from the control unit 122, the reduction condition determination unit 118 determines a reduction condition based on the evaluation result of the evaluation unit 116 (step S108). Basically, for images with strong high-frequency components, the reduction effect is so great that the image is not reduced, or a reduction condition that reduces the reduction magnification is determined. If the high-frequency components are weak, the image is reduced to the display area size. Determine the conditions. Further, when the intensity of the high-frequency component is intermediate, a reduction condition for reducing the intermediate size is determined. A more specific description will be given with reference to FIG.
[0048]
According to one embodiment, the evaluation unit 116 adds the subband code amount from the resolution level 0 side, and the value is the total code amount (the sum of the subband code amounts converted per unit area). For example, subbands exceeding 50% are obtained. FIG. 3 shows that the total code amount of the shaded subbands exceeds 50% of the total code amount. Then, the intensity of the high frequency component is evaluated by comparing the image size at the resolution level of the subband exceeding 50% with the display area size.
[0049]
As in the example shown in FIG. 3A, in the case where the image size at the resolution level where the code amount exceeds 50% (level 0 in this example) is smaller than the display area size, the evaluation unit 116 determines the intensity of the high frequency component. Is evaluated as “weak”.
[0050]
If it is evaluated in this way, the reduction condition determination unit 118 determines the reduction condition so as to reduce the display area size. That is, the decompression processing unit 110 executes decompression processing up to a resolution level one level higher than the resolution level where the code amount exceeds 50% (level 1 in this example), and the reproduced image data is displayed as image processing. The reduction condition is that the image is reduced to the display area size without changing the aspect ratio in the unit 112. An image with a weak high-frequency component is unlikely to have a significant adverse effect as in the case of a character image even if it is reduced at a large reduction ratio.
[0051]
In the case where the image size at the resolution level where the code amount exceeds 50% (level 3 in this example) is considerably larger than the display area size as in the example shown in FIG. The strength of is evaluated as “strong”.
[0052]
If the evaluation is performed in this manner, the reduction condition determination unit 118 causes the decompression processing unit 110 to perform decompression processing up to the highest resolution level, and the display image processing unit 112 does not perform the reduction processing because the adverse effect due to the reduction is great. , And the reduction condition is determined. That is, no reduction is performed. A photographic image of a paper document is not reduced because the strength of the high frequency component is evaluated as “strong”, so that the inconvenience of being unreadable due to the collapse of characters is avoided. When the high-frequency component is evaluated as “strong”, the reduction process may be determined not to suppress the reduction process, but to have a reduction ratio that is low enough not to adversely affect the reduction. Included in the present invention.
[0053]
As in the example shown in FIG. 3B, in the case where the image size at the resolution level (level 2 in this example) where the code amount exceeds 50% is larger than the display area size, the difference is not so large. The evaluation unit 116 evaluates the intensity of the high frequency component as “intermediate”.
[0054]
In this case, the reduction condition determination unit 118 determines the reduction condition so as to reduce to an intermediate size. For example, the decompression processing unit 110 performs decompression processing up to a resolution level (level 2 in this example) that is lower than the maximum resolution level and larger in image size than the display area size, and the display image processing unit 112 does not perform decompression. Reduce condition.
[0055]
The evaluation unit 116 adds the subband code amount from the highest resolution level side to obtain a subband whose value exceeds, for example, 50% of the total code amount, and displays the image size and display at the resolution level of the subband. Similar evaluation may be performed by comparing the region size. Such an embodiment is naturally included in the present invention.
[0056]
Further, the evaluation unit 116 evaluates the strength of the high-frequency component in two stages, “strong” and “non-strong”, and when it is evaluated as “non-strong”, the reduction condition determining unit 118 reduces the display area size. It is also possible to determine an appropriate reduction condition, and such an aspect is also included in the present invention.
[0057]
According to another embodiment, the evaluation unit 116 compares the subband code amount with the threshold Th from the side of the highest resolution level, and the image size and display area at the resolution level where the code amount first exceeds the threshold Th. The evaluation similar to the said Example is performed by comparing with a size. That is, the strength of the high frequency component is evaluated by comparing the image size and the display area size at the highest resolution level among the resolution levels where the subband code amount exceeds the threshold Th. The threshold Th is preferably determined adaptively according to the total code amount (the sum of subband code amounts converted per unit area).
[0058]
When the reduction condition is determined as described above, the control unit 122 causes the expansion processing unit 110 to execute expansion processing up to the determined resolution level, and the display image processing unit 122 performs the reduction processing of the determined reduction magnification. (Step S112), and the processed image data is output to the image display device 114 for display (Step S116).
[0059]
Up to this point, the encoded data of the RLCP progression has been described for ease of understanding. However, even the encoded data of other progressions can be reduced at the expansion processing stage of the expansion processing unit 110. This is because the packets that make up the JPEG2000 encoded data have indexes of area, image quality, component, and resolution, so that the code can be selected according to the parameters of area, image quality, component, and resolution in the code state. is there.
[0060]
In the forced reduction mode or the automatic reduction mode, it is possible to always expand the encoded data to the maximum resolution level, and to perform a reduction process with a necessary magnification only by the display image processing unit 112. Included in the present invention. However, the aspect in which the reduction is performed at the reduction processing stage as necessary has the effect of reducing the processing time in the expansion processing unit 110 and the display image processing unit 112. In addition, the evaluation processing step S106 may be started immediately after the encoded data is input.
[0061]
Next, a process of taking uncompressed image data from the communication interface unit 100, the external interface unit 102, or the medium interface unit 104 and displaying the image on the image display unit 114 will be described. FIG. 4 is a flowchart showing the flow of processing.
[0062]
The image data is buffer-stored in the storage unit 108 (step S100). At this time, the control unit 122 acquires the image size of the image data and writes it in a predetermined storage area of the storage unit 108.
[0063]
The control unit 122 compares the image size of the input image data with the display area size, and controls the flow of processing based on the result (step S202). As described above, the display area size is specified in advance from the operation unit 120, but if not specified, the default size is used.
[0064]
If the image size is equal to or smaller than the display area size, the control unit 122 outputs the input image data as it is to the image display unit 114, and displays the image in the original size in the image display area of the image display unit 114 (step S214). .
[0065]
When the image size is larger than the display area size, the control unit 122 switches the processing flow according to a preselected mode (step S204). As described above, the non-reduction mode, the forced reduction mode, or the automatic reduction mode can be designated from the operation unit 120.
[0066]
If the non-reduction mode is selected, the process proceeds to step S214. That is, the processing is the same as when the image size is equal to or smaller than the display area size.
[0067]
When the forced reduction mode is selected, the reduction condition determination unit 118 refers to the predetermined storage area of the storage unit 108 in response to an instruction from the control unit 122, and determines the aspect ratio from the image size and the display area size. The magnification for reducing the image to the display area size without changing the is determined. Then, the control unit 122 causes the display image processing unit 122 to execute the reduction process of the determined magnification (Step S212), and outputs and displays the processed image data on the image display device 114 (Step S214).
[0068]
When the automatic reduction mode is selected, the evaluation unit 116 evaluates the intensity of the high frequency component of the image according to an instruction from the control unit 122 (step S206), and the reduction condition determination unit 118 performs display image processing based on the result. The reduction ratio in the unit 112 is determined (step S208). Then, reduction processing of the input image data with the determined reduction magnification is executed by the display image processing unit 112 (step S212), and the processed image data is output to the image display unit 114 and displayed (step S214).
[0069]
According to one embodiment, the evaluation unit 116 performs two-dimensional discrete wavelet transform as described with reference to FIG. 7 on input image data or image data obtained by thinning out pixels of the input image data. . Then, for each resolution level, the sum of absolute values of the subband coefficients is calculated, and the value is converted into a value per unit area. Since this value is substantially proportional to the amount of frequency component corresponding to each resolution level, a histogram similar to that in FIG. 3 is obtained. Based on this histogram, the same evaluation as in step S106 in FIG. 2 is performed. Based on the evaluation result, the reduction condition determination unit 118 determines the reduction magnification based on the same concept as in step S108 in FIG. For example, when the strength of the high frequency component is evaluated as “weak”, the reduction ratio to reduce the display region size is determined, and when the strength of the high frequency component is evaluated as “intermediate”, A reduction ratio for reducing to a slightly larger size is determined, and when the strength of the high frequency component is evaluated as “strong”, the reduction ratio is set to 1 (not reduced).
[0070]
Note that the evaluation unit 116 may obtain the frequency distribution of the input image data using discrete cosine transform, Fourier transform, or a simple band filter, and may evaluate the intensity of the high frequency component from the distribution. Such an embodiment is also encompassed by the present invention. In short, it is only necessary to evaluate the strength of the high frequency component of the input image. Further, the evaluation step S206 may be executed immediately after the image data is input.
[0071]
FIG. 5 is a block diagram for explaining another embodiment of the present invention. The image processing apparatus according to this embodiment is an electronic camera apparatus that captures still images or moving images.
[0072]
In FIG. 5, reference numeral 300 denotes a general imaging optical system including an optical lens, a diaphragm mechanism, a shutter mechanism, and the like. Reference numeral 301 denotes a CCD-type or MOS-type imager, which color-separates an optical image formed by the imaging optical system 300 and converts it into an electric signal corresponding to the amount of light. A CDS / A / D converter 302 samples the output signal of the imager 301 and converts it into a digital signal, and includes a correlated double sampling (CDS) circuit and an A / D converter circuit.
[0073]
Reference numeral 303 denotes an image processor, which includes, for example, a high-speed digital signal processor controlled by a program (microcode). The image processor 303 performs signal processing such as gamma correction processing, white balance adjustment processing, and enhancement processing for edge enhancement on the image data input from the CDS / A / D conversion unit 302, as well as the imager 301, the CDS • It controls the A / D conversion unit 302 and the display unit 304, and detects information for auto focus control, automatic exposure control, white balance adjustment, and the like. The display unit 304 is a liquid crystal display device, for example, and is used for displaying images such as monitoring images (through images) and captured images, and displaying other information.
[0074]
The imaging optical system 300, the imager 301, the CDS / A / D conversion unit 302, and the image processor 303 described above constitute imaging means for capturing a still image or a moving image.
[0075]
The compression / decompression processing unit 320 is means for performing compression processing and decompression processing using JPEG2000 algorithms. The medium interface unit 312 is means for writing / reading information to / from a recording (storage) medium 313 such as various memory cards. Reference numeral 314 denotes an external interface unit for connecting to an external device through a wired or wireless transmission path or network.
[0076]
The system controller 306 includes a microcomputer, and responds to user operation information input from the operation unit 307, information provided from the image processor 303, and the like, and includes a shutter mechanism, an aperture mechanism, a zooming mechanism, and an image of the imaging optical system 300. The processor 303, the compression / decompression processing unit 320, the medium interface unit 312 and the like are controlled. A memory 305 is used as a temporary storage area for image data and its encoded data, and a working storage area for the image processor 303, system controller 306, compression / decompression processing unit 320, medium interface unit 312, and the like.
[0077]
Although not shown, there are functions of the evaluation unit 116 and the reduction condition determination unit 118 in FIG. 1, and this is realized by a program operating on the system controller 306 or the image processor 303. The image processor 303 also has the function of the display image processing unit 112 in FIG. Hereinafter, means for these functions are referred to as evaluation means (116), reduction condition determination means (118), and display image processing means (112). These means may be provided as hardware, and such a mode is naturally included in the present invention. The compression / decompression processing unit 320 can also be realized by a program operating on the system controller 306 or the image processor 303, and such an aspect is also included in the present invention.
[0078]
The operation is as follows. When the shooting button of the operation unit 307 is pressed, a shooting instruction is given from the system controller 306 to the image processor 303, and the image processor 303 drives the imager 301 under still image shooting or moving image shooting conditions. The captured image data is temporarily stored in the memory 305 via the image processor 303. The image data is compressed by the JPEG 2000 algorithm at the compression / decompression processing unit 308 at a pre-specified or default compression rate, and the encoded data is recorded on the recording medium 313 by the medium interface unit 312.
[0079]
This electronic camera device is a display device, a portable information terminal, an external device having an image display screen such as a mobile phone connected via an external interface unit 314, or a size corresponding to the display area size of the display unit 304. The recorded image can be displayed. The operation in this case will be described with reference to the flowchart of FIG.
[0080]
Under the control of the system controller 306, the encoded data of the image recorded on the recording medium 313 is read into the memory 305 by the medium interface unit 312 (step S100). The selection of an image to be read out is performed, for example, by designating a thumbnail displayed on the display unit 304 from the operation unit 307. The compression / decompression processing unit 320 analyzes the header information of the encoded data, and the image size included in the SIZ marker segment of the main header, the packet length information included in the PPM marker segment of the main header or the PPT marker segment of the tile header Then, the number of times of decomposition included in the COD marker segment of the main header is extracted and written in a predetermined storage area of the memory 305. If neither the PPM marker segment nor the PPT marker segment exists, the packet length information is extracted from the header of each packet in the tile data.
[0081]
The system controller 306 refers to the predetermined storage area of the memory 305, compares the image size stored therein with the display area size, and controls the flow of processing based on the result (step S102). Here, the display area size is the size of an external device on which an image is displayed or the screen of the display unit 304 or an area on the screen. When the size is designated in advance from the operation unit 307 or the external device, the size is designated. If not, the default size is used.
[0082]
If the image size is equal to or smaller than the display area size, the system controller 306 causes the compression / decompression processing unit 320 to decompress the encoded data to the maximum resolution level (step S114), and the reproduced image data is externally transmitted from the external interface unit 314. Output to the device (step S116). That is, the original size image is displayed in the display area of the external device or the display unit 304.
[0083]
When the image size is larger than the display area size, the system controller 306 switches the processing flow according to the mode selected in advance from the operation unit 307 or the external device (step S104).
[0084]
If the non-reduction mode is selected, the process proceeds to step S114. That is, the processing is the same as when the image size is equal to or smaller than the display area size.
[0085]
When the forced reduction mode is selected, the reduction condition determination means (118) reduces the image size and the display area size to the reduction condition, that is, the resolution level to be decompressed by the compression / decompression processing unit 320, and the display image processing means ( 112) is determined (step S110). For example, when the display area size is larger than the image size at the resolution level 1 and smaller than the image size at the resolution level 2, the display area is expanded to the resolution level 2 and the aspect ratio from the image size at the resolution level 2 to the display area size. Determine the scale factor for reduction without changing. Then, decompression processing up to the determined resolution level is performed by the compression / decompression processing unit 320, and reduction processing of the determined magnification is performed on the reproduced image data by the display image processing means (122) (step). In step S112, the processed image data is output to an external device via the external interface unit 314 or output to the display unit 304 (step S116).
[0086]
When the automatic reduction mode is selected, the evaluation means (116) evaluates the intensity of the high frequency component of the image (step S106), and the reduction condition determination means (118) determines the reduction condition based on the evaluation result. (Step S108). Since the evaluation and the reduction condition determination are as described for the image processing apparatus of FIG. 1, the description will not be repeated. Then, expansion processing up to the determined resolution level is executed by the expansion processing unit 320, and reduction processing of the determined magnification for the reproduced image data is executed by the display image processing means (122) (step S112). The subsequent image data is output to the external device or display unit 304 (step S116).
[0087]
Although the description has been made on the assumption that the compressed image data is encoded data in the JPEG2000 format, the present invention is applicable to a similar image processing apparatus that handles image data compressed by a compression method other than JPEG2000. It is clear that it can be applied. If it is encoded data having spatial resolution scalability, it is possible to reduce at the expansion processing stage as described above.
[0088]
【The invention's effect】
As described above, according to the image processing apparatus or the image processing method of the present invention, the reduction condition can be automatically adjusted based on the intensity of the high-frequency component of the image. For images with strong high-frequency components, the reduction processing is suppressed or the reduction magnification is reduced to avoid the adverse effects of the reduction processing. Can be reduced. In addition, regarding the encoded data in the JPEG2000 format, the strength of the high frequency component can be accurately evaluated by simple processing by using the distribution of the subband code amount. Further, when the encoded data of the image is expanded and displayed, the processing can be made more efficient by performing a reduction process at the stage of the encoded data expansion process. In addition, according to the program or recording medium of the present invention, a general-purpose computer such as a personal computer or a microcomputer incorporated in various devices is used to automatically optimize the reduction conditions for image reduction processing according to the nature of the image. Can be obtained.
[Brief description of the drawings]
FIG. 1 is a block diagram for explaining an embodiment of the present invention.
FIG. 2 is a flowchart for explaining an operation of taking in compressed data of an image and displaying an image.
FIG. 3 is an explanatory diagram of a high-frequency component intensity evaluation method and a reduction condition determination method based on a subband code amount distribution;
FIG. 4 is a flowchart for explaining an operation of capturing additional uncompressed data and displaying an image;
FIG. 5 is a block diagram for explaining another embodiment of the present invention.
FIG. 6 is a block diagram for explaining a JPEG2000 compression / decompression algorithm;
FIG. 7 is an explanatory diagram of a two-dimensional wavelet transform.
FIG. 8 is a diagram illustrating a format of JPEG2000 encoded data.
FIG. 9 is an explanatory diagram of a main header.
FIG. 10 is an explanatory diagram of a tile header.
FIG. 11 is a diagram for explaining packet handling in encoded data of RLCP progression;
[Explanation of symbols]
110 Decompression processing unit
112 Display image processing unit
114 Image display
116 Evaluation Department
118 Reduction condition determination unit
304 display unit
320 Compression / decompression processor

Claims

An image processing apparatus that performs a reduction process of an image displayed on an image display means,
JPEG2000 Evaluation means for evaluating the strength of the high frequency component of the image based on the distribution of the subband code amount of the encoded data of the compliant image;
Determining means for determining a reduction condition of the reduction processing based on an evaluation result of the evaluation means;
The evaluation unit compares an image size at a resolution level in which a value obtained by adding a subband code amount from a low resolution level or a high resolution level exceeds a predetermined ratio of the total code amount, and a display area size of the image display unit. An image processing apparatus.

An image processing apparatus that performs a reduction process of an image displayed on an image display means,
JPEG2000 Evaluation means for evaluating the strength of the high frequency component of the image based on the distribution of the subband code amount of the encoded data of the compliant image;
Determining means for determining a reduction condition of the reduction processing based on an evaluation result of the evaluation means;
The evaluation means compares the image size at the highest resolution level at which the subband code amount exceeds a threshold with the display area size of the image display means.

The image processing apparatus according to claim 1 or 2, JPEG2000 An image processing apparatus, wherein the reduction processing is performed at a stage of decompression processing of encoded data of a compliant image.

An image processing method for performing reduction processing of an image displayed on an image display means,
JPEG2000 An evaluation step for evaluating the strength of the high-frequency component of the image based on the distribution of the subband code amount of the encoded data of the compliant image;
Determining a reduction condition for the reduction process based on an evaluation result of the evaluation step,
The evaluation step compares an image size at a resolution level in which a value obtained by adding a subband code amount from a low resolution level or a high resolution level exceeds a predetermined ratio of the total code amount and the display area size of the image display means. An image processing method.

An image processing method for performing reduction processing of an image displayed on an image display means,
JPEG2000 An evaluation step for evaluating the strength of the high-frequency component of the image based on the distribution of the subband code amount of the encoded data of the compliant image;
Determining a reduction condition for the reduction process based on an evaluation result of the evaluation means,
The image processing method characterized in that the evaluation step compares the image size at the highest resolution level where the subband code amount exceeds a threshold with the display area size of the image display means.

The image processing method according to claim 4 or 5, JPEG2000 An image processing method, wherein the reduction processing is performed at a stage of decompression processing of encoded data of a compliant image.