JP4214457B2

JP4214457B2 - 画像処理装置および方法、記録媒体、並びにプログラム

Info

Publication number: JP4214457B2
Application number: JP2003003134A
Authority: JP
Inventors: 知生光永
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-01-09
Filing date: 2003-01-09
Publication date: 2009-01-28
Anticipated expiration: 2023-01-09
Also published as: CN100366052C; CN1692629A; JP2004221644A

Description

【０００１】
【発明の属する技術分野】
本発明は、画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、見栄得を損なうことなく、画像のコントラストを強調する場合に用いて好適な画像処理装置および方法、記録媒体、並びにプログラムに関する。
【０００２】
【従来の技術】
従来、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)等の固体撮像素子がビデオカメラやスチルカメラなどの撮像機器、ＦＡ(Factory Automation)における部品検査装置、ME(Medical Electronics)における電子内視鏡などの光計測装置等に幅広く利用されている。
【０００３】
近年、これらの固体撮像素子を用いて光学フィルム写真に匹敵するような画素値のダイナミックレンジが広い画像（以下、広ＤＲ画像と記述する）を得るための技術が多数提案されている（例えば、特許文献１参照）。
【０００４】
一方、動画像や静止画像を表示するCRT(Cathode Ray Tube)、LCD(Liquid Crystal Display)等の表示装置、プロジェクタ等の投影装置、各種の印刷装置は、現在においても、対応できる画素値のダイナミックレンジは広域化されておらず、対応可能な輝度階調に制限がある。このため、広ＤＲ画像を撮影したとしても、それをその状態で表示、投影あるいは印刷可能な装置が存在していないのが現状である。
【０００５】
そこで、当面においては、広ＤＲ画像の画素値のダイナミックレンジを狭めて、換言すれば、輝度階調を圧縮して、表示装置などのダイナミックレンジに適応させた画像（以下、狭ＤＲ画像と記述する）を生成するための技術（以下、階調圧縮技術と記述する）が必要とされている。
【０００６】
ここで、従来において提案された階調圧縮技術について説明する。階調圧縮技術は、単純には、広ＤＲ画像の画素値の階調を、表示装置等が対応可能なより狭いダイナミックレンジの階調に合わせて再配分することにより実現される。
【０００７】
しかしながら、上述したように、単に、広ＤＲ画像の画素値の階調を、狭いダイナミックレンジに均等に階調を再配分しただけでは、画像全体の輝度変化が小さくなってしまい、コントラストが低下した見栄得が悪い画像に変換されてしまうことになる。そこで、従来、コントラスト低下を抑制することができる階調圧縮技術がいくつか提案されている。以下、従来提案されている３種類の階調圧縮技術について説明する。
【０００８】
第１の階調圧縮技術としては、入力する広ＤＲ画像の輝度のヒストグラムに基づき、階調の再配分規則を適応的に決定する（具体的には、階調変換曲線を、入力画像のヒストグラムを元に算出する）技術を挙げることができる。第１の階調圧縮技術は、画像中の重要な被写体が占める面積の比率は大きいことを前提として、ヒストグラムのピーク近辺の輝度値になるべく多くの階調を配分するように階調変換曲線を決定するようにし、少なくとも重要な被写体におけるコントラスト低下を抑制しようとするものである（例えば、特許文献２参照）。
【０００９】
しかしながら、このような階調配分のみの工夫ではあらゆる状況で満足が得られる結果を得ることは難しい。例えば、重要な被写体が画像中に複数存在する場合、背景が均一な輝度であって、かつ、比較的広い面積を占めている場合（例えば青空）などでは、しばしば被写体に十分な階調が配分されなくなることがある。
【００１０】
第２の階調圧縮技術としては、階調変換前または後のどちらか一方において画像中の高周波成分を強調する技術を挙げることができる。第２の階調圧縮技術は、階調変換によって失われた（または階調変換によって失われると思われる）コントラストを画像から見積もり、その分をアンシャープマスキングなどの高周波強調フィルタを用いて補償するものである（例えば、特許文献３参照）。
【００１１】
第２の階調圧縮技術は、第１の階調圧縮技術のように画像の構図に依存する問題は生じないという利点がある。しかしながら、高周波強調フィルタは被写体の輪郭部分においてオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があり、見栄得が良い画像を得られないことがある。
【００１２】
第３の階調変換技術としては、広ＤＲ画像を低周波成分画像と高周波成分画像に分離し、高周波成分画像はそのままに、低周波成分画像に対して適当な階調変換処理を施して、最後にそれらを１つの画像に加算合成する技術を挙げることができる（例えば、特許文献４参照）。
【００１３】
第３の階調変換技術によれば、広ＤＲ画像の高周波成分は階調圧縮を施さないので、生成される画像のコントラスト低下を防ぐことができる。しかしながら、第３の階調変換技術も、第２の階調変換技術と同様に、被写体の輪郭部分において輝度のオーバーシュートを生じたり、平坦な部分においてノイズを強調したりするなどの問題があるので、低周波成分画像と高周波成分画像に分離する処理に非線形フィルタ（例えば、メディアンフィルタ）を用いることにより、この問題を解決する方法も提案されている（例えば、特許文献４参照）。
【００１４】
【特許文献１】
特開平８−２２３４９１号公報
【特許文献２】
特開平９−３３１４６９号公報
【特許文献３】
特開２０００−１１５５３４号公報
【特許文献４】
特開平９−２１４７６６号公報
【００１５】
【発明が解決しようとする課題】
以上に説明した第１乃至第３の階調圧縮技術をまとめると以下の課題が存在する。
【００１６】
第１に、高周波成分を強調することに伴い、被写体の輪郭部分において輝度のオーバーシュートが生じることである。これを抑止するためには、比較的大きいサイズ（２０×２０画素）の２次元非線形フィルタが必要であるが、このようなサイズの２次元非線形フィルタをソフトウェアとして実現するには演算コストが非常に大きくなる課題があり、ハードウェアとして実現するためにはディレイラインを大量に必要とするため回路規模が大きくなってしまう課題があった。
【００１７】
第２に、高輝度域および低輝度域における高周波成分のコントラスト強調量の制御についてである。上述した第２および第３の階調圧縮技術では、輝度を低周波成分と高周波成分に分離して、低周波成分を比較的抑制し、高周波成分を強調することにより、コントラストを保持した階調圧縮を行うことが共通している。
【００１８】
しかしながら、表示装置などが許容する最大輝度と最小輝度の近辺では高周波成分を強調することによって輝度のクリッピングが生じて結果的に画像のディテールが失われ、適切な階調変換が行われたとはいえないので、輝度のクリッピングが生じないような対処が必要である課題があった。
【００１９】
さらに、輝度のクリッピングが生じないような状態でも、コントラストの強調が強すぎれば、被写体の輪郭部分が不自然に強調された画像となってしまう課題があった。
【００２０】
本発明はこのような状況に鑑みてなされたものであり、使用するメモリの容量がより小さく、演算が少なくて、ハードウェア化が容易であり、かつ、適切に画像のコントラストを強調できるようにすることを目的とする。
【００２１】
【課題を解決するための手段】
本発明の画像処理装置は、入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正手段と、トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化手段と、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正手段とを含み、平滑化手段は、入力されたトーンカーブ補正画像を縮小して、縮小画像を生成する縮小手段と、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lを演算する補間手段とを含む。
【００２２】
前記コントラスト補正手段は、コントラスト補正画像を構成する画素の輝度Ｌ_uを、次式
Ｌ_u＝ｇ・（Ｌ_c−Ｌ_l）＋Ｌ_l
に基づいて算出するようにすることができる。
【００２３】
前記縮小手段は、入力されたトーンカーブ補正画像を複数のブロックに分割し、各ブロックに属する画素の輝度の平均値を計算して、平均値を画素の輝度とする、ブロックの数と同数の画素から構成される縮小画像を生成する
請求項１に記載の画像処理装置。
【００２４】
前記補間手段は、平滑化手段によって補間される画素の位置である補間位置に対応する縮小画像上の位置を特定し、特定した位置の近傍に存在する縮小画像の画素を用いて、平滑化画像の画素の輝度Ｌ_lを演算するようにすることができる。
【００２５】
前記補間手段は、平滑化手段によって補間される画素の位置である補間位置に対応する縮小画像上の位置を特定し、特定した位置の近傍に存在する縮小画像の４×４画素を用いた双３次補間により、平滑化画像の画素の輝度Ｌ_lを演算するようにすることができる。
【００２６】
本発明の画像処理装置は、平滑化手段に入力する前のトーンカーブ補正画像を構成する画素の輝度Ｌ_cを対数変換する対数変換手段と、コントラスト補正手段によって出力されたコントラスト補正画像を構成する画素の輝度を対数逆変換する対数逆変換手段とをさらに含むことができる。
【００２７】
本発明の画像処理方法は、入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、平滑化ステップの処理は、入力されたトーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lを演算する補間ステップとを含む。
【００２８】
本発明の記録媒体は、入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、平滑化ステップの処理は、入力されたトーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lを演算する補間ステップとを含む処理をコンピュータに実行させるプログラムが記録されている。
【００２９】
本発明のプログラムは、入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、平滑化ステップの処理は、入力されたトーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lを演算する補間ステップとを含む処理をコンピュータに実行させる。
【００３０】
本発明においては、入力された画像の画素値が、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正されることにより、トーンカーブ補正画像が生成され、トーンカーブ補正画像の画素の輝度Ｌ_cが平滑化されて平滑化画像が生成され、トーンカーブ補正画像の画素の輝度Ｌ_c、平滑化画像を構成する画素の輝度Ｌ_l、およびトーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像が生成される。なお、平滑化の処理では、入力されたトーンカーブ補正画像が縮小されて縮小画像が生成され、縮小画像を構成する画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_lが演算される。
【００５２】
【発明の実施の形態】
図１は、本発明を適用した画像処理システムの構成例を示している。この画像処理システム１は、被写体を撮影し、通常よりも広いダイナミックレンジの画素値（輝度）を有する画素から構成される広ＤＲ画像Ｌを生成するビデオカメラ２、ビデオカメラ２によって生成された広ＤＲ画像Ｌの階調を、ディスプレイ１１が表示可能な階調の範囲に圧縮する画像処理装置１０、および画像処理装置１０によって生成される階調圧縮画像Ｌ_uを表示するディスプレイ１１から構成される。
【００５３】
ビデオカメラ２は、被写体の光画像を集光するレンズ３、光画像の光量を調整する絞り４、集光された光画像を光電変換して輝度信号を生成するCCDイメージセンサ５、生成された輝度信号からノイズ成分を除去する前置増幅器(Pre-amp.)６、ノイズ成分が除去された輝度信号を、例えば１４乃至１６ビット程度のビット幅のディジタルデータに変換するＡＤコンバータ（Ａ／Ｄ）７、およびディジタル化された輝度を有する画素から構成される広ＤＲ画像Ｌを画像処理装置１０に出力するＩ／Ｏインタフェース（Ｉ／Ｏ）８から構成される。
【００５４】
図２は、画像処理システム１の動作概要を示している。ステップＳ１において、ビデオカメラ２は、被写体を撮影し、対応する広ＤＲ画像Ｌを生成して、画像処理装置１０に出力する。ステップＳ２において、画像処理装置１０は、広ＤＲ画像Ｌに階調圧縮処理を施して階調圧縮画像Ｌ_uを生成し、ディスプレイ１１に出力する。ステップＳ３において、ディスプレイ１１は、階調圧縮画像Ｌ_uを表示する。
【００５５】
次に、図３は、画像処理装置１０の第１の構成例を示している。画像処理装置１０のトーンカーブ補正部２１は、ビデオカメラ２から入力される広ＤＲ画像Ｌを、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正し、その結果として得られるトーンカーブ補正画像Ｌ_cを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。なお、このトーンカーブ補正画像Ｌ_cは、階調が圧縮されており、階調が圧縮されたことに起因して、コントラストが弱められたものとなっている。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【００５６】
図４は、トーンカーブ補正部２１の構成例を示している。トーンカーブ補正部２１のLUTメモリ３１には、図５に示すような単調増加のトーンカーブに相当するルックアップテーブル（以下、LUTと記述する）と、トーンカーブの傾きを示す代表値γが予め保持されている。なお、LUTの代わりに、トーンカーブに相当する関数を保持するようにしてもよい。テーブル参照部３２は、LUTメモリ３１に保持されているLUTに基づき、広ＤＲ画像Ｌを、トーンカーブ補正画像Ｌ_cに補正する。
【００５７】
図５は、トーンカーブの一例を示しており、横軸が広ＤＲ画像Ｌの輝度を、縦軸が補正後のトーンカーブ補正画像Ｌ_cの輝度を、それぞれ［０，１］に正規化して表示している。図５に示されたトーンカーブは、正規化された広ＤＲ画像Ｌの輝度値が０．５よりも大きい場合にはその値を補正せず、正規化された広ＤＲ画像Ｌの輝度値が０．５よりも小さい場合には、その値が小さいほど、大きな補正量で補正する。つまり、ディスプレイ１１に表示されたとき、画像の中の暗い領域が黒くつぶれないように補正が行われる。なお、トーンカーブの傾きを示す代表値γは、例えば、輝度全域の傾きをそれぞれ求めて、それらの平均値を代表値γとすればよい。例えば、図５に示されたトーンカーブの代表値は、γ＝０．９４である。
【００５８】
図３に戻る。平滑化輝度生成部２２は、トーンカーブ補正画像Ｌ_cの輝度を平滑化し、得られる平滑化画像の輝度Ｌ_cl（ｐ）をコントラスト補正部２４に出力する。図６は、平滑化輝度生成部２２の構成例を示している。
【００５９】
平滑化輝度生成部２２の縮小画像生成部４１は、トーンカーブ補正部２１から入力されたトーンカーブ補正画像Ｌ_cの画素を、その画素位置に対応してｍ×ｎブロックに分類し、各ブロックに分類された画素の輝度の平均値を画素とする縮小画像Ｌ_clを生成する。縮小画像メモリ４２は、生成されたｍ×ｎ画素の縮小画像Ｌ_clを保持する。補間部４３は、順次指定される画素位置ｐの輝度を、縮小画像メモリ４２に保持されている縮小画像の画素を用いた補間処理により算出して、得られた補間値Ｌ_cl（ｐ）を、平滑化画像の画素の輝度としてコントラスト補正部２４に出力する。ここで、ｐ＝（ｘ，ｙ）は、画素位置を示す座標またはベクトルである。従って、補間部４３から出力される平滑化画像のサイズは、トーンカーブ補正画像Ｌ_cのサイズは同一である。
【００６０】
すなわち、平滑化輝度生成部２２では、トーンカーブ補正画像Ｌ_cが縮小されて縮小画像Ｌ_clが生成され、保持された縮小画像Ｌ_clが利用されて平滑化画像の輝度Ｌ_cl（ｐ）が１画素ずつ補間演算によって算出されることになる。
【００６１】
従来では、上述したように、効果的な階調圧縮処理を実施するためには比較的大きなサイズのフィルタ処理が必要であったが、平滑化輝度生成部２２では、ｍ×ｎ画素の縮小画像を保持する縮小画像メモリ４２を設ければ済むことになる。
【００６２】
図７は、図６の縮小画像生成部４１の構成例を示している。縮小画像生成部４１のソート部５１は、前段のトーンカーブ補正部２１から入力されたトーンカーブ補正画像Ｌ_cの画素を、その画素位置に応じてｍ×ｎ個のブロックに分類し、平均値計算部５２−１乃至５２−Ｎ（＝ｍ×ｎ）に供給する。例えば、１番目のブロックに分類されたものは平均値計算部５２−１に供給され、２番目のブロックに分類されたものは平均値計算部５２−２に供給される。以下同様であり、Ｎ番目のブロックに分類されたものは平均値計算部５２−Ｎに供給される。以下、平均値計算部５２−１乃至５２−Ｎを個々に区別する必要がない場合、単に平均値計算部７２と記述する。
【００６３】
平均値計算部５２−ｉ（ｉ＝１，２，…，Ｎ）は、ｉ番目のブロックに分類されたトーンカーブ補正画像Ｌ_cの画素の輝度の平均値を算出して、合成部５３に出力する。合成部５３は、平均値計算部５２−ｉからそれぞれ入力される輝度のの平均値を画素値とするｍ×ｎ画素の縮小画像を生成する。
【００６４】
図８は、図７の平均値計算部５２の構成例を示している。平均値計算部５２の加算器６１は、前段のソート部５１から入力されるトーンカーブ補正画像Ｌ_cの輝度に、レジスタ（ｒ）６２が保持する値を加算して、レジスタ（ｒ）６２が保持する値を更新する。除算器６３は、レジスタ６２が最終的に保持している値を、１個のブロックを構成する画素数Ｑで除算することにより、１個のブロックに分類されたＱ個の画素の輝度の平均値を算出する。
【００６５】
図９は、図６の補間部４３の構成例を示している。補間部４３の近傍選択部７１は、補間位置ｐの入力を受けて、縮小画像メモリ４２に保持されているｍ×ｎ画素の縮小画像Ｌ_clから、補間位置ｐの近傍の４×４画素の輝度ａ[4][4]を取得して、積和部７４に出力する。
【００６６】
ここでａ[i][j]の表記は、輝度ａがｉ×ｊの２次元配列データであることを示す。また、近傍選択部７１は、取得した輝度ａ[4][4]と補間位置ｐとの水平方向の位置ずれ量ｄｘ、垂直方向の位置ずれ量ｄｙを、それぞれ、水平係数算出部７２または垂直係数算出部７３に出力する。
【００６７】
ここで、補間位置ｐ、近傍の輝度ａ[4][4]、位置ずれ量ｄｘ，ｄｙの関係について、図１０を参照して説明する。
【００６８】
図１０のｍ×ｎのマス目は、縮小画像Ｌ_clを構成するｍ×ｎ画素を表している。いま、補間位置ｐ＝（ｐｘ，ｐｙ）が与えられたとすると、補間位置ｐに対応する縮小画像Ｌ_cl上の位置ｑは、ｑ＝（ｑｘ，ｑｙ）＝（ｐｘ／ｂｘ−０．５，ｐｙ／ｂｙ−０．５）である。ただし、（ｂｘ，ｂｙ）＝（トーンカーブ補正画像Ｌ_cの水平画素数／ｍ，トーンカーブ補正画像Ｌ_cの垂直画素数／ｎ）である。
【００６９】
補間位置ｐに対応する縮小画像Ｌ_cl上の位置ｑから近傍の画素を得るには、図１０においては斜線で示されたｑｘ−２＜ｘ＜ｑｘ＋２、ｑｙ−２＜ｙ＜ｑｙ＋２の範囲に位置する縮小画像Ｌ_clの画素を取得すればよい。斜線で示された領域内の４×４の”＋”マークで示された位置が取得される画素の位置である。近傍画素と補間位置ｐのずれ量（ｄｘ，ｄｙ）は、補間位置ｑの左下方向の最も近い画素との差分とする。すなわち、ずれ量（ｄｘ，ｄｙ）＝（ｑｘの小数部，ｑｙの小数部）である。
【００７０】
図９に戻る。水平係数算出部７２は、近傍選択部７１から入力された水平方向ずれ量ｄｘに基づき、水平方向の３次補間係数ｋ_x[4]を計算する。同様に、垂直係数算出部７３は、近傍選択部７１から入力された垂直方向ずれ量ｄｙに基づき、垂直方向の３次補間係数ｋ_y[4]を計算する。
【００７１】
例えば、水平方向の３次補間係数ｋ_x[4]は、次式（１）を用いて計算する。
【数１】

…（１）
【００７２】
また、例えば、垂直方向の３次補間係数ｋ_y[4]は、次式（２）を用いて計算する。
【数２】

…（２）
【００７３】
なお、３次補間係数ｋ_x[4]，ｋ_y[4]の計算には、上述した式（１），（２）の他、十分に滑らかな補間が得られるならば、任意の計算式を用いることができる。
【００７４】
積和部７４は、近傍の画素の輝度ａ[4][4]と、水平方向の補間係数ｋ_x[4]および垂直方向の補間係数ｋ_y[4]との積和計算により、縮小画像Ｌ_clの補間位置ｐの補間値Ｌ_cl（ｐ）を、次式（３）を用いて算出する。
【数３】

…（３）
【００７５】
図３に戻る。ゲイン設定部２３は、トーンカーブ補正部２１から入力される代表値γに基づき、コントラスト補正部２４において平滑化画像の輝度Ｌ_cl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【００７６】
ここで、ゲイン値ｇ（ｐ）について説明する。ゲイン値ｇ（ｐ）＝１である場合、コントラスト補正部２４においてコントラストは強調も抑制も行われない。ゲイン値ｇ（ｐ）＞１である場合、その値に対応してコントラストが強調される。反対に、ゲイン値ｇ（ｐ）＜１である場合、その値に対応してコントラストが抑制される。
【００７７】
ゲイン値設定の概略を説明する。トーンカーブ補正画像Ｌ_cのコントラストは、トーンカーブ補正による階調圧縮によって既に抑制されているが、その抑制量はトーンカーブの傾きに依存している。例えば強い階調圧縮を行うように傾きの小さなトーンカーブが適用されていれば、コントラストの抑制も強くなされていることになる。また、例えばトーンカーブとして傾き１の直線が適用されていれば、画像が変化しない、すなわち、コントラストの抑制は行われていないことになる。
【００７８】
そこで、ゲイン値設定部２３では、トーンカーブの傾きの代表値γが１よりも小さい場合には、ゲイン値が１より大きくなるように、トーンカーブの傾きの代表値γの逆数１／γをゲイン値として採用する。
【００７９】
また、入力されるトーンカーブ補正された輝度Ｌ_cが白レベルまたは黒レベルに近い場合には、中間輝度域と同じようなコントラスト強調を行うとクリッピングが生じて逆に画像のディテールを失う結果となるので、入力されたトーンカーブ補正された輝度Ｌ_cが白レベルまたは黒レベルに近くなるに従って、ゲイン値が１に近づくようする。
【００８０】
すなわち、代表値γの逆数１／γ＝ｇ₀として、ゲイン値ｇ（ｐ）を次式（４）のように算出する。

ここで、attn（ｐ）は、減衰する係数であって、次式（５）を用いて計算される。
【数４】

…（５）
【００８１】
なお、式（５）において、Ｌ_grayは、中庸なグレイレベルの輝度を示し、Ｌ_whiteは、白クリップレベル（最大の白レベル）の輝度を示しており、どちらも予め設定されている定数である。
【００８２】
図１１は、ゲイン値設定部２３の構成例を示している。除算器８１は、前段から入力される代表値γの逆数１／γ＝ｇ₀を算出して減算器８２に出力する。減算器８２は、（ｇ₀−１）を演算して乗算器８８に出力する。
【００８３】
減算器８３は、トーンカーブ補正画像Ｌ_cの各輝度と、中庸なグレイレベルの輝度Ｌ_grayの差（Ｌ_c−Ｌ_gray）を演算して、除算器８５に出力する。減算器８４は、白クリップレベルの輝度Ｌ_whiteと、輝度Ｌ_grayの差（Ｌ_white−Ｌ_gray）を演算して、除算器８５に出力する。除算器８５は、減算器８３の出力（Ｌ_c−Ｌ_gray）を、減算器８４の出力（Ｌ_white−Ｌ_gray）で除算して、絶対値計算器８６に出力する。絶対値計算器８６は、除算器８５の出力の絶対値を計算してクリップ器８７に出力する。クリップ器８７は、絶対値計算器８６の出力が１を超過する場合、その値を１にクリッピングし、絶対値計算器８６の出力が１を超過しない場合、その値をそのまま、attn（ｐ）として乗算器８８に出力する。
【００８４】
乗算器８８は、減算器８２の出力に、クリップ器８７の出力を乗算して、加算器８９に出力する。加算器８９は、乗算器８８の出力に１を加算し、演算結果をゲイン値ｇ（ｐ）として後段に出力する。
【００８５】
図３に戻る。コントラスト補正部２４は、ゲイン値設定部２３から入力される各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される平滑化画像の輝度Ｌ_cl（ｐ）に基づき、コントラストが弱められているトーンカーブ補正画像Ｌ_cのコントラストを強調して階調圧縮画像Ｌ_uを生成する。
【００８６】
図１２は、コントラスト補正部２４の構成例を示している。コントラスト補正部２４の減算器９１は、トーンカーブ補正画像Ｌ_cの各画素の輝度Ｌ_c（ｐ）と、平滑化画像の対応する画素の輝度（すなわち、縮小画像の補間値Ｌ_cl（ｐ））との差（Ｌ_c（ｐ）−Ｌ_cl（ｐ））を演算して、乗算器９２に出力する。乗算器９２は、減算器９１の出力と、ゲイン値設定部２３から入力されたゲイン値ｇ（ｐ）との積を演算して、加算器９３に出力する。加算器９３は、乗算器９２の出力に、平滑化画像の画素の輝度（縮小画像の補間値Ｌ_cl（ｐ））を加算して、その結果得られた輝度Ｌ_u（ｐ）を、コントラスト補正がなされた階調圧縮画像Ｌ_uを構成する画素の輝度として後段に出力する。
【００８７】
なお、平滑化画像の画素の輝度（縮小画像の補間値Ｌ_cl（ｐ））は、ｍ×ｎ画素の縮小画像Ｌ_clの画素を元にして補間された値であるから、縮小前のトーンカーブ補正画像Ｌ_cのごく低周波域成分だけをもつものである。
【００８８】
従って、減算器９１の出力（Ｌ_c（ｐ）−Ｌ_cl（ｐ））は、元のトーンカーブ補正画像logＬ_cから、ごく低域成分だけを差し引いたものとなる。このように輝度信号を、ごく低周波域の成分とそれ以外の成分に分離し、そのうち、低周波域成分以外（減算器９１の出力）を、ゲイン値ｇ（ｐ）を乗算することによってコントラストを強調した後、再び加算器９３により合成したものが、コントラスト補正がなされた階調圧縮画像の輝度Ｌ_u（ｐ）である。
【００８９】
このように、コントラスト補正部２４では、ごく低周波域を除く、低中周波域から高周波域の成分が同じゲイン値ｇ（ｐ）で強調されるようになされている。従って、コントラスト補正がなされた階調圧縮画像の輝度Ｌ_u（ｐ）は、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像が得られるようになされている。
【００９０】
次に、画像処理装置１０の第１の構成例による階調圧縮画像生成処理（すなわち、図２のフローチャートを参照して上述したステップＳ２の処理）の詳細について、図１３のフローチャートを参照して説明する。
【００９１】
ステップＳ１１において、トーンカーブ補正部２１は、ビデオカメラ２から入力された広ＤＲ画像Ｌの輝度を、予め用意されているLUTに基づいて補正し、その結果として得られるトーンカーブ補正画像Ｌ_cを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【００９２】
ステップＳ１２において、平滑化輝度生成部２２は、トーンカーブ補正画像Ｌ_cを縮小して、縮小画像Ｌ_clを生成し、さらに、縮小画像Ｌ_clの画素を用いた補間演算により、平滑化画像の画素の輝度Ｌ_cl（ｐ）を算出して、コントラスト補正部２４に出力する。
【００９３】
ステップＳ１３において、ゲイン設定部２３は、トーンカーブ補正部２１から入力された代表値γに基づき、コントラスト補正部２４において平滑化画像の輝度Ｌ_cl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【００９４】
なお、ステップＳ１２の処理と、ステップＳ１３の処理は、並行して実施することが可能である。
【００９５】
ステップＳ１４において、コントラスト補正部２４は、ゲイン値設定部２３から入力された各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される平滑化画像の輝度Ｌ_cl（ｐ）に基づき、トーンカーブ補正画像Ｌ_cの輝度を補正して、階調圧縮画像Ｌ_uの画素の輝度Ｌ_u（ｐ）を算出する。このようにして得られた、コントラスト補正がなされた階調圧縮画像Ｌ_uは、高周波域だけを強調したときに目立つ、エッジ部分の局所的なオーバーシュートは発生せず、見た目にもごく自然にコントラストが強調された画像となる。以上で、画像処理装置１０の第１の構成例による階調圧縮画像生成処理の説明を終了する。
【００９６】
次に、図１４は、画像処理装置１０の第２の構成例を示している。この第２の構成例は、図３に示された第１の構成例のトーンカーブ補正部２１の上段に、ビデオカメラ１から入力される広ＤＲ画像Ｌの輝度を対数変換する対数変換部１０１を設け、さらに、第１の構成例のコントラスト補正部２４の下段に、コントラスト補正部２４の出力を対数逆変換する対数逆変換部１０２を設けたものである。
【００９７】
画像処理装置１０の第２の構成例を構成する対数変換部１０１および対数逆変換部１０２以外の構成要素については、図３の第１の構成例と同等であるので、同一の符号を付しており、その説明は適宜省略する。ただし、第２の構成例において、トーンカーブ補正部２１乃至コントラスト補正部２４は、それぞれ対数変換された輝度を処理することになる。
【００９８】
図１５は、第２の構成例におけるトーンカーブ補正部２１で適用されるトーンカーブの一例であり、横軸が広ＤＲ画像Ｌの輝度を、縦軸がトーンカーブ補正画像Ｌ_cの輝度を、それぞれ［０，１］に正規化して対数軸で表示している。この例のように、単調増加であって、緩やかな逆Ｓ字形のトーンカーブを適用すると、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調が得られる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、コントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な階調圧縮画像Ｌ_uを得ることができる。図１５に示されたトーンカーブの場合、代表値γ＝０．６７である。
【００９９】
次に、画像処理装置１０の第２の構成例による階調圧縮画像生成処理の詳細について、図１６のフローチャートを参照して説明する。
【０１００】
ステップＳ２１において、対数変換部１０１は、ビデオカメラ２から入力された広ＤＲ画像Ｌの輝度を対数変換し、その結果得られた対数広ＤＲ画像logＬをトーンカーブ補正部２１に出力する。
【０１０１】
ステップＳ２２において、トーンカーブ補正部２１は、対数広ＤＲ画像logＬの輝度を、予め用意されている、例えば、図１５に示されたトーンカーブに相当するLUTに基づいて補正し、その結果として得られた対数トーンカーブ補正画像logＬ_cを、平滑化輝度生成部２２、ゲイン値設定部２３、およびコントラスト補正部２４に出力する。また、トーンカーブ補正部２１は、補正に用いたトーンカーブの傾きを示す代表値γをゲイン値設定部２３に出力する。
【０１０２】
ステップＳ２３において、平滑化輝度生成部２２は、対数トーンカーブ補正画像logＬ_cを縮小して、対数縮小画像logＬ_clを生成し、さらに、対数縮小画像logＬ_clの画素を用いた補間演算により、対数平滑化画像の画素の輝度logＬ_cl（ｐ）を算出して、コントラスト補正部２４に出力する。
【０１０３】
ステップＳ２４において、ゲイン設定部２３は、トーンカーブ補正部２１から入力された代表値γに基づき、コントラスト補正部２４において対数平滑化画像の輝度logＬ_cl（ｐ）のコントラストを補正するときの補正量を調整するゲイン値ｇ（ｐ）を各画素位置に対して算出し、コントラスト補正部２４に出力する。
【０１０４】
なお、ステップＳ２３の処理と、ステップＳ２４の処理は、並行して実施することが可能である。
【０１０５】
ステップＳ２５において、コントラスト補正部２４は、ゲイン値設定部２３から入力された各画素位置ｐのゲイン値ｇ（ｐ）および平滑化輝度生成部２２から入力される対数平滑化画像の輝度logＬ_cl（ｐ）に基づき、対数トーンカーブ補正画像logＬ_cの輝度を補正して、対数階調圧縮画像logＬ_uの画素の輝度logＬ_u（ｐ）を算出し、対数逆変換部１０２に出力する。
【０１０６】
ステップＳ２６において、対数逆変換部１０２は、対数階調圧縮画像logＬ_uの画素の輝度logＬ_u（ｐ）を対数逆変換して、その結果得られたＬ_u（ｐ）を階調圧縮画像Ｌ_uの画素の輝度として出力する。
【０１０７】
このようにして得られた、コントラスト補正がなされた階調圧縮画像Ｌ_uは、高輝度領域と低輝度領域では、階調圧縮があまり強く作用しないので、階調圧縮後でも白ツブレや黒ツブレが少ない良好な色調となる。逆に中間輝度域は階調圧縮が強く作用するが、その分だけ、中間輝度域に対しては、コントラスト補正が十分に適用されるので、中間輝度域でもコントラスト劣化のない良好な画像となる。以上で、画像処理装置１０の第２の構成例による階調圧縮画像生成処理の説明を終了する。
【０１０８】
以上説明したように、本発明の一実施の形態である画像処理装置１０によれば、従来の階調圧縮技術に必要であった大量のメモリ（フレームメモリや画素系列データのディレイラインとして使用される）を大幅に削減した構成で、通常よりも広いダイナミックレンジの輝度を有する広ＤＲ画像を、見栄得を損なうことなく、表示可能な輝度のダイナミックレンジがより狭いディスプレイ１１に表示させることができる階調圧縮画像に変換することが可能となる。また、従来大きなフィルタ処理をもって実現されていた階調圧縮処理と遜色のない階調圧縮画像を得ることができる。
【０１０９】
勿論、画像処理装置１０は、広ＤＲ画像を、ディスプレイ１１以外のプリンタやプロジェクタが表現可能なダイナミックレンジに適合させて、広ＤＲ画像を階調圧縮画像に変換することが可能である。
【０１１０】
なお、本発明は、例えば、ディジタルビデオカメラ、ディジタルスチルカメラの撮影デバイスの他、ディスプレイ、プリンタ、プロジェクタ等の表現デバイスに内蔵される画像信号処理回路に適用することができる。
【０１１１】
ところで、上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０１１２】
図１７は、汎用のパーソナルコンピュータの構成例を示している。このパーソナルコンピュータ１２０は、CPU(Central Processing Unit)１２１を内蔵している。CPU１２１にはバス１２４を介して、入出力インタフェース１２５が接続されている。バス１２４には、ROM(Read Only Memory)１２２およびRAM(Random Access Memory)１２３が接続されている。
【０１１３】
入出力インタフェース１２５には、ユーザが操作コマンドを入力するキーボード、マウスなどの入力デバイスよりなる入力部１２６、処理操作画面や処理結果の画像を表示デバイスに出力する出力部１２７、プログラムや各種データを格納するハードディスクドライブなどよりなる記憶部１２８、ビデオカメラ２等と画像データを通信するＩ／Ｏインタフェース１２９が接続されている。また、磁気ディスク１３１（フレキシブルディスクを含む）、光ディスク１３２（CD-ROM(Compact Disc-Read Only Memory)、DVD(Digital Versatile Disc)を含む）、光磁気ディスク１３３（ＭＤ(Mini Disc)を含む）、もしくは半導体メモリ１３４などの記録媒体に対してデータを読み書きするドライブ１３０が接続されている。
【０１１４】
CPU１２１は、ROM１２２に記憶されているプログラム、または磁気ディスク１３１乃至半導体メモリ１３４から読み出されて記憶部１２８にインストールされ、記憶部１２８からRAM１２３にロードされたプログラムに従って各種の処理を実行する。RAM１２３にはまた、CPU１２１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０１１５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理は勿論、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１１６】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１１７】
【発明の効果】
以上のように、本発明によれば、使用するメモリの容量がより小さく、演算量が少なくて、ハードウェア化が容易であり、かつ、適切に階調圧縮された画像のコントラストを強調することが可能となる。
【図面の簡単な説明】
【図１】本発明を適用した画像処理システムの構成例を示すブロック図である。
【図２】図１に示された画像処理システムの動作を説明するフローチャートである。
【図３】図１に示された画像処理装置の第１の構成例を示すブロック図である。
【図４】図３に示されたトーンカーブ補正部の構成例を示すブロック図である。
【図５】画像処理装置の第１の構成例において用いられるトーンカーブの一例を示す図である。
【図６】図３に示された平滑化輝度生成部の構成例を示すブロック図である。
【図７】図６に示された縮小画像生成部の構成例を示すブロック図である。
【図８】図７に示された平均値計算部部の構成例を示すブロック図である。
【図９】図６に示された補間部の構成例を示すブロック図である。
【図１０】図６に示された補間部の処理を説明するための図である。
【図１１】図３に示されたゲイン値設定部の構成例を示すブロック図である。
【図１２】図３に示されたコントラスト補正部の構成例を示すブロック図である。
【図１３】画像処理装置の第１の構成例による階調圧縮画像生成処理を説明するフローチャートである。
【図１４】図１に示された画像処理装置の第２の構成例を示すブロック図である。
【図１５】画像処理装置の第２の構成例において用いられるトーンカーブの一例を示す図である。
【図１６】画像処理装置の第２の構成例による階調圧縮画像生成処理を説明するフローチャートである。
【図１７】汎用のパーソナルコンピュータの構成例を示すブロック図である。
【符号の説明】
１画像処理システム，２ビデオカメラ，５ CCDイメージセンサ，１０画像処理装置，１１ディスプレイ，２１トーンカーブ補正部，２２平滑化輝度生成部，２３ゲイン値設定部，２４コントラスト補正部，１０１対数変換部，１０２対数逆変換部，１２１ CPU，１３１磁気ディスク，１３２光ディスク，１３３光磁気ディスク，１３４半導体メモリ

Claims

画像のコントラストを補正する画像処理装置において、
入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正手段と、
前記トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化手段と、
前記トーンカーブ補正画像の画素の輝度Ｌ_c、前記平滑化画像を構成する画素の輝度Ｌ_l、および前記トーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正手段とを含み、
前記平滑化手段は、
入力された前記トーンカーブ補正画像を縮小して、縮小画像を生成する縮小手段と、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌ_lを演算する補間手段と
を含む画像処理装置。
前記コントラスト補正手段は、前記コントラスト補正画像を構成する画素の輝度Ｌ_uを、次式
Ｌ_u＝ｇ・（Ｌ_c−Ｌ_l）＋Ｌ_l
に基づいて算出する
請求項１に記載の画像処理装置。
前記縮小手段は、入力された前記トーンカーブ補正画像を複数のブロックに分割し、各ブロックに属する画素の輝度の平均値を計算して、前記平均値を画素の輝度とする、前記ブロックの数と同数の画素から構成される前記縮小画像を生成する
請求項１に記載の画像処理装置。
前記補間手段は、前記平滑化手段によって補間される画素の位置である補間位置に対応する前記縮小画像上の位置を特定し、特定した前記位置の近傍に存在する前記縮小画像の画素を用いて、前記平滑化画像の画素の輝度Ｌ_lを演算する
請求項１に記載の画像処理装置。
前記補間手段は、前記平滑化手段によって補間される画素の位置である補間位置に対応する前記縮小画像上の位置を特定し、特定した前記位置の近傍に存在する前記縮小画像の４×４画素を用いた双３次補間により、前記平滑化画像の画素の輝度Ｌ_lを演算する
請求項４に記載の画像処理装置。
前記平滑化手段に入力する前の前記トーンカーブ補正画像を構成する画素の輝度Ｌ_cを対数変換する対数変換手段と、
前記コントラスト補正手段によって出力された前記コントラスト補正画像を構成する画素の輝度を対数逆変換する対数逆変換手段と
をさらに含む請求項１に記載の画像処理装置。
画像のコントラストを補正する画像処理方法において、
入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_c、前記平滑化画像を構成する画素の輝度Ｌ_l、および前記トーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、
前記平滑化ステップの処理は、
入力された前記トーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌ_lを演算する補間ステップと
を含む画像処理方法。
入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_c、前記平滑化画像を構成する画素の輝度Ｌ_l、および前記トーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、
前記平滑化ステップの処理は、
入力された前記トーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌ_lを演算する補間ステップと
を含む処理をコンピュータに実行させるプログラムが記録されている記録媒体。
入力された画像の画素値を、予め用意されているトーンカーブに基づいて、階調を圧縮する方向に補正することにより、トーンカーブ補正画像を生成するトーンカーブ補正ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_cを平滑化して、平滑化画像を生成する平滑化ステップと、
前記トーンカーブ補正画像の画素の輝度Ｌ_c、前記平滑化画像を構成する画素の輝度Ｌ_l、および前記トーンカーブの傾きの逆数を利用して設定されたゲイン値ｇに基づき、コントラスト補正画像を生成するコントラスト補正ステップとを含み、
前記平滑化ステップの処理は、
入力された前記トーンカーブ補正画像を縮小して、縮小画像を生成する縮小ステップと、
前記縮小画像を構成する画素を用いた補間演算により、前記平滑化画像の画素の輝度Ｌ_lを演算する補間ステップと
を含む処理をコンピュータに実行させるプログラム。