JP2019121053A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】表示される映像の立体感や距離感を損なうことなく、入力された映像データの画像処理をより適切に行うことができる画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置１００は、入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出手段１０１と、当該輪郭領域データに対して、平滑化処理を行う平滑化手段１０２と、を備える。また、画像処理方法は、入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出ステップと、当該輪郭領域データに対して、平滑化処理を行う平滑化ステップと、を備える。【選択図】図１

Description

本発明は、画像処理装置及び画像処理方法に関する。

最近、２Ｋ又は４Ｋ等と呼ばれる解像度の高精細映像を表示するための映像表示装置等が開発されており、さらに、８Ｋ等と呼ばれる解像度の超高精細映像を表示するための映像表示装置も開発が進んでいる。通常、解像度が２Ｋ又は４Ｋである高精細映像を表示する映像表示装置では、入力される映像データに対して強調処理等を行って映像を表示することが行われている。例えば、特許文献１では、エッジ部に関する映像データと、テクスチャ部に関する映像データとで、異なる強調処理を行うことが記載されている。

国際公開第２０１５−０３３６９５号

しかしながら、２Ｋ又は４Ｋ等の高精細映像よりも更に高精細な８Ｋ等の超高精細映像の映像データに対して、２Ｋ又は４Ｋ等の高精細映像の映像データに対する強調処理と同様の強調処理を行うと、かえって、表示される映像の立体感や距離感が損なわれてしまう場合があることを、本願発明者は見出した。

本発明は、表示される映像の立体感や距離感を損なうことなく、入力された映像データの画像処理をより適切に行うことができる画像処理装置及び画像処理方法を提供することを目的とするものである。

本発明の第１の態様に係る画像処理装置は、入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出手段と、前記輪郭領域データに対して、平滑化処理を行う平滑化手段と、を備える。

本発明の第１の態様に係る画像処理装置によれば、入力された映像データ内のエッジ領域に含まれる輪郭領域については平滑化処理が行われる。そのため、超高精細の映像データが入力された場合でも、表示される映像の立体感や距離感を損なわずに済む。具体的には、入力された映像データが超高精細の映像データである場合、輪郭領域についても、他の領域と同じように、従来と同様の画像強調処理を行うと、表示される映像の立体感や距離感が失われてしまい、不自然な映像となってしまう可能性があることを、本願発明者は見出した。本発明の第１の態様に係る画像処理装置では、入力された映像データのエッジ領域から輪郭領域を抽出し、当該輪郭領域については平滑化処理が行われる。そのため、輪郭領域の輝度の階調が増加する。これにより、輪郭領域に立体感及び距離感を付与することができる。よって、本発明の第１の態様に係る画像処理装置は、表示される映像の立体感や距離感を損なうことを防止することができる。

また、前記映像データに含まれる前記輪郭領域データ以外の領域データに対して画像強調処理を行う画像強調手段を備えることが好ましい。

映像データの輪郭領域以外の領域については、画像強調処理が行われるため、輪郭領域以外の領域については、適切に画像を強調することができる。

本発明の第２の態様に係る画像処理装置は、入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出手段と、前記映像データに含まれる前記輪郭領域データ以外の領域データに対して画像強調処理を行う画像強調手段と、を備える。

本発明の第２の態様に係る画像処理装置によれば、入力された映像データ内のエッジ領域に含まれる輪郭領域以外の領域については画像強調処理が行われる。すなわち、輪郭領域については画像強調処理が行われない。そのため、輪郭領域についても画像強調処理されることによって、表示される映像の立体感や距離感が失われてしまい、不自然な映像となってしまうことを防ぐことができる。よって、本発明の第２の態様に係る画像処理装置は、表示される映像の立体感や距離感を損なうことを防止することができる。

また、前記輪郭領域データの平滑度を検出する平滑度検出手段と、前記輪郭領域データのうち前記平滑度が所定の値以下の輪郭領域データに対して、平滑化処理を行う平滑化手段と、を備えることが好ましい。

入力された映像データの平滑度が低い輪郭領域については、平滑化処理される。そのため、平滑度が低く、立体感及び距離感が消失している輪郭領域の部分については、当該輪郭領域の輝度の階調が増加し、立体感及び距離感を付与することができる。一方、入力された映像データの平滑度が低くない輪郭領域については、平滑化処理されない。そのため、平滑度が十分であり、立体感及び距離感が損なわれていない輪郭領域が不必要にぼやけてしまうことを防ぐことができる。

また、本発明の第１の態様及び第２の態様に係る画像処理装置において、前記画像強調手段は、前記エッジ領域データとエッジ領域以外のデータとで異なる画像強調処理を行うことが更に好ましい。

入力された映像データの輪郭領域以外の領域については、少なくともエッジ領域とエッジ領域以外の領域とで異なる画像強調処理が行われる。そのため、輪郭領域以外の領域について、エッジ領域とエッジ領域以外の領域とのそれぞれに適した画像強調処理を行うことができる。

本発明の第３の態様に係る画像処理方法は、入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出ステップと、前記輪郭領域データに対して、平滑化処理を行う平滑化ステップと、を備える。

本発明の第３の態様に係る画像処理方法によれば、入力された映像データ内のエッジ領域に含まれる輪郭領域については平滑化処理が行われる。そのため、輪郭領域の輝度の階調が増加する。これにより、輪郭領域に立体感及び距離感を付与することができる。よって、本発明の第３の態様に係る画像処理方法は、表示される映像の立体感や距離感を損なうことを防止することができる。

また、前記映像データに含まれる前記輪郭領域データ以外の領域データに対して画像強調処理を行う画像強調ステップを備えることが好ましい。

映像データの輪郭領域以外の領域については、画像強調処理が行われるため、輪郭領域以外の領域については、適切に画像を強調することができる。

本発明の第４の態様に係る画像処理方法は、入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出ステップと、前記映像データに含まれる前記輪郭領域データ以外の領域データに対して画像強調処理を行う画像強調ステップと、を備える。

本発明の第４の態様に係る画像処理方法によれば、入力された映像データ内のエッジ領域に含まれる輪郭領域以外の領域については画像強調処理が行われる。すなわち、輪郭領域については画像強調処理が行われない。そのため、輪郭領域についても画像強調処理されることによって、表示される映像の立体感や距離感が失われてしまい、不自然な映像となってしまうことを防ぐことができる。よって、本発明の第４の態様に係る画像処理方法は、表示される映像の立体感や距離感を損なうことを防止することができる。

また、前記輪郭領域データの平滑度を検出する平滑度検出ステップと、前記輪郭領域データのうち前記平滑度が所定の値以下の輪郭領域データに対して、平滑化処理を行う平滑化ステップと、を備えることが好ましい。

入力された映像データの平滑度が低い輪郭領域については、平滑化処理される。そのため、平滑度が低く、立体感及び距離感が消失している輪郭領域の部分については、当該輪郭領域の輝度の階調が増加し、立体感及び距離感を付与することができる。一方、入力された映像データの平滑度が低くない輪郭領域については、平滑化処理されない。そのため、平滑度が十分であり、立体感及び距離感が損なわれていない輪郭領域が不必要にぼやけてしまうことを防ぐことができる。

また、本発明の第３の態様及び第４の態様に係る画像処理方法において、前記画像強調ステップでは、前記エッジ領域データとエッジ領域以外のデータとで異なる画像強調処理を行うことが更に好ましい。

入力された映像データの輪郭領域以外の領域については、少なくともエッジ領域とエッジ領域以外の領域とで異なる画像強調処理が行われる。そのため、輪郭領域以外の領域について、エッジ領域とエッジ領域以外の領域とのそれぞれに適した画像強調処理を行うことができる。

本発明により、表示される映像の立体感や距離感を損なうことなく、入力された映像データの強調処理をより適切に行うことができる画像処理装置及び画像処理方法を提供することができる。

実施の形態１に係る画像処理装置の一例を示すブロック図である。 実施の形態１に係る画像処理方法の一例を説明するフローチャートである。 実施例１に係る画像処理装置の一例を示すブロック図である。 実施例１に係る輪郭抽出部の一例を示すブロック図である。 実施例１に係る輪郭抽出部の他の例を示すブロック図である。 実施例１に係る輪郭抽出処理（輪郭抽出ステップ）において用いられるＦＩＲフィルタの一例を示す図である。 実施例１に係る輪郭抽出処理（輪郭抽出ステップ）において用いられるソーベルフィルタの一例を示す図である。 実施例１に係る輪郭抽出処理（輪郭抽出ステップ）の一例を説明するフローチャートである。 実施例１に係る輪郭平滑化部の一例を示すブロック図である。 実施例１に係るテクスチャ・エッジ強調部の一例を示すブロック図である。 入力画像の一例を示す図である。 図１１に示す入力画像に含まれるエッジ領域を示す図である。 図１２に示すエッジ領域から抽出された輪郭領域を示す図である。 図１１に示す入力画像に含まれるテクスチャ領域を示す図である。 従来の画像処理装置によって出力される画像を示す図である。 実施例１に係る画像処理装置によって出力される画像を示す図である。 実施の形態２に係る画像処理装置の一例を示すブロック図である。 実施の形態２に係る画像処理方法の一例を説明するフローチャートである。 実施例２に係る画像処理装置の一例を示すブロック図である。 実施例２に係る平滑度検出部の一例を示すブロック図である。 実施例２に係る平滑度検出部の他の例を示すブロック図である。 実施例２に係る平滑度検出部の他の例を示すブロック図である。 実施例２に係る平滑度検出処理（平滑度検出ステップ）の一例を説明するフローチャートである。 実施例２に係る平滑度検出処理（平滑度検出ステップ）の他の例を説明するフローチャートである。 実施例２に係る平滑度検出処理の一例を説明する図である。 実施例２に係る平滑度検出処理の一例を説明する図である。 実施例２に係る平滑度検出処理の一例を説明する図である。

以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の実施の形態１に係る画像処理装置１００の一例を示すブロック図である。図１に示すように、実施の形態１に係る画像処理装置１００は、輪郭抽出手段１０１、平滑化手段１０２、画像強調手段１０３、画像合成手段１０４等を備える。また、輪郭抽出手段１０１、平滑化手段１０２、画像強調手段１０３、画像合成手段１０４は、それぞれ、例えば、当該映像データをフレーム毎、又は、所定の画素（注目画素）と、当該所定の画素を中心とする周辺画素からなる縦ｘ画素×横ｘ画素の領域（ｘは正の整数。）毎に、処理を行う。

また、画像処理装置１００は、図示しないＣＰＵ（Central Processing Unit）及び図示しない記憶部等を備える。そして、ＣＰＵが記憶部に格納されたプログラムを実行することにより、輪郭抽出手段１０１、平滑化手段１０２、画像強調手段１０３、画像合成手段１０４の全ての処理が実現する。

輪郭抽出手段１０１は、画像処理装置１００に入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する。また、輪郭抽出手段１０１は、映像データから抽出した輪郭領域に含まれる画素の座標を含む輪郭信号を平滑化手段１０２及び画像強調手段１０３に出力する。ここで、エッジ領域データとは、映像データ中のエッジ領域に含まれる画素に関するデータであって、輝度等の画素値、当該画素の座標等を含む。同様に、輪郭領域データとは、映像データ中の輪郭領域に含まれる画素に関するデータであって、輝度等の画素値、当該画素の座標等を含む。また、画像処理装置１００に入力された映像データには、テクスチャ領域データ、フラット領域データ等が含まれる。そして、テクスチャ領域データ、フラット領域データ等は、それぞれ、映像データ中のテクスチャ領域、フラット領域等に含まれる画素に関するデータであって、輝度等の画素値、当該画素の座標等を含む。

平滑化手段１０２は、輪郭領域データに対して、平滑化処理を行う。また、平滑化手段１０２は、平滑化処理を行うことによって得られた平滑化画像データを画像合成手段１０４に出力する。

画像強調手段１０３は、映像データに含まれる輪郭領域データ以外の領域データに対して画像強調処理を行う。また、画像強調手段１０３は、画像強調処理を行うことによって得られた強調画像データを画像合成手段１０４に出力する。

画像合成手段１０４は、平滑化手段１０２から入力された平滑化画像データと、画像強調手段１０３から入力された強調画像データとを画像合成を行って、出力画像を生成する。そして、画像合成手段１０４は、画像合成された映像データを、出力画像データとして表示装置（図示省略）に出力する。
なお、平滑化手段１０２から平滑化画像データが画像強調手段１０３に入力されて、画像強調手段１０３において平滑化画像データと強調画像データとが画像合成されてもよい。同様に、画像強調手段１０３から強調画像データが平滑化手段１０２に入力されて、平滑化手段１０２において平滑化画像データと強調画像データとが画像合成されてもよい。この場合には、画像処理装置１００は、画像合成手段１０４を備えなくてもよい。

次に、図２を参照しながら、本発明の実施の形態１に係る画像処理方法を説明する。
まず、輪郭抽出手段１０１は、画像処理装置１００に入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出し、当該輪郭領域に含まれる画素の座標を含む輪郭信号を平滑化手段１０２及び画像強調手段１０３に出力する（ステップＳ１０１；輪郭抽出ステップ）。

次に、平滑化手段１０２は、輪郭領域データに対して、平滑化処理を行って、平滑化画像データを画像合成手段１０４に出力する（ステップＳ１０２；平滑化ステップ）。

次に、画像強調手段１０３は、映像データに含まれる輪郭領域データ以外の領域データに対して画像強調処理を行って、強調画像データを画像合成手段１０４に出力する（ステップＳ１０３；画像強調ステップ）。

次に、画像合成手段１０４は、平滑化画像データと強調画像データとを画像合成して出力画像データを生成し、当該出力画像データを表示装置（図示省略）に出力し（ステップＳ１０４）、本画像処理を終了する。
なお、ステップＳ１０２とステップＳ１０３の順番は逆でもよく、ステップＳ１０２の処理とステップＳ１０３の処理とが同時に行われてもよい。

以上に説明した、本実施の形態１に係る画像処理装置１００及び画像処理方法では、入力された映像データ内のエッジ領域に含まれる輪郭領域については平滑化処理が行われる。そのため、超高精細の映像データが入力された場合でも、表示される映像の立体感や距離感を損なわずに済む。具体的には、入力された映像データが超高精細の映像データである場合、輪郭領域についても、他の領域と同じように、従来と同様の画像強調処理を行うと、表示される映像の立体感や距離感が失われてしまい、不自然な映像となってしまう可能性があることを、本願発明者は見出した。本発明の実施の形態１に係る画像処理装置１００では、入力された映像データのエッジ領域から輪郭領域を抽出し、当該輪郭領域については平滑化処理が行われる。そのため、輪郭領域の輝度の階調が増加する。これにより、輪郭領域に立体感及び距離感を付与することができる。よって、本実施の形態１に係る画像処理装置１００は、表示される映像の立体感や距離感を損なうことを防止することができる。

また、映像データの輪郭領域以外の領域については、画像強調処理が行われるため、輪郭領域以外の領域については、適切に画像を強調することができる。

さらに、入力された映像データの輪郭領域以外の領域については、少なくともエッジ領域とエッジ領域以外の領域とで異なる画像強調処理が行われる。そのため、輪郭領域以外の領域について、エッジ領域とエッジ領域以外の領域とのそれぞれに適した画像強調処理を行うことができる。

実施例１
次に、本実施の形態１の実施例１について説明する。図３は、本発明の実施例１に係る画像処理装置１００Ａの一例を示すブロック図である。図３に示すように、実施例１に係る画像処理装置１００Ａは、ラインメモリ格納部１、輪郭抽出手段１０１としての輪郭抽出部２、平滑化手段１０２としての輪郭平滑化部３、画像強調手段１０３としての画像強調部４、画像合成手段１０４としての出力画素切替部５、制御部８等を備える。

制御部８は、図示しないＣＰＵ及び図示しない記憶部等を備える。そして、ＣＰＵが記憶部に格納されたプログラムを実行することにより、制御部８における全ての処理が実現する。
また、制御部８のそれぞれの記憶部に格納されるプログラムは、ＣＰＵに実行されることにより、制御部８のそれぞれにおける処理を実現するためのコードを含む。なお、記憶部は、例えば、このプログラムや、制御部８における処理に利用される各種情報を格納することができる任意の記憶装置を含んで構成される。記憶装置は、例えば、メモリ等である。

具体的には、制御部８は、画像処理装置１００Ａの各部の動作を制御する。より具体的には、ＣＰＵが記憶部に格納されたプログラムを実行することにより、ラインメモリ格納部１、輪郭抽出部２、輪郭平滑化部３、画像強調部４、出力画素切替部５等の画像処理装置１００Ａの各部の動作が実現する。

ラインメモリ格納部１は、ＳＲＡＭ（Static Random Access Memory）等によって構成された複数のラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎを備える。そして、ラインメモリ格納部１は、画像処理装置１００Ａに入力された映像データを、順次、複数のラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎに記憶する。具体的には、画像処理装置１００Ａに入力された映像データがフルＨＤ（すなわち、映像データの解像度が２Ｋ）である場合、１つのラインメモリＬは、水平方向に並ぶ１９２０画素のデータ（例えば、１画素当たり８ビットのデータ）を記憶する。また、ラインメモリ格納部１は、各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎに記憶されたデータに対してライン遅延処理を行う。そして、輪郭抽出部２、輪郭平滑化部３、画像強調部４は、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから、当該輪郭抽出部２、輪郭平滑化部３、画像強調部４における演算処理に必要な画素のデータを読み出す。

輪郭抽出部２は、画像処理装置１００Ａに入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出し、当該輪郭領域内の画素の座標を含む輪郭信号を出力する。ここで、輪郭信号とは、映像データに含まれる画素の座標と、当該画素が輪郭領域に含まれるか否かを示す輪郭度とを含む。当該輪郭度は、画素のエッジ特徴量から算出される値である。輪郭抽出部２は、輪郭度を算出することにより、各画素が輪郭領域に含まれるか否かを決定する。これにより、輪郭抽出部２は、入力された映像データから輪郭領域を抽出する。

本実施例１において、エッジ領域とは、輝度等の画素値のコントラストが高い部分を意味する。換言すれば、複数の画素間において画素値が急激に変化している部分を意味する。また、輪郭領域は、基本的に、エッジ領域に含まれている。本実施例１では、後述するように、輪郭領域については平滑化処理された平滑化画像データを用いて、出力画像データを画像合成する。そのため、平滑化処理によって所望する効果が得られる部分を輪郭領域として抽出する必要がある。そこで、以下の定義に基づいて、輪郭抽出部２は、映像データに含まれるエッジ領域データから輪郭領域データを抽出する。
定義１：輪郭領域内の画素値のコントラストは高い。換言すれば、画素値のコントラストが低い部分は、平滑化処理によって所望する効果が得られにくい。
定義２：輪郭領域内のエッジ特徴量の分散は低い。換言すれば、エッジ特徴量の分散が高い部分は、平滑化処理によって所望する効果が得られにくい。

図４に、輪郭抽出部２の一例を示すブロック図を示す。また、図５に、輪郭抽出部２の他の例を示すブロック図を示す。また、図６に、本実施例１に係る輪郭抽出処理（輪郭抽出ステップ）において用いられるＦＩＲ（Finite Impulse Response）フィルタの一例を示す。また、図７に、本実施例１に係る輪郭抽出処理において用いられるソーベルフィルタの一例を示す。また、図８に、図４に示す輪郭抽出部２による輪郭抽出処理を説明するフローチャートを示す。

図４に示す輪郭抽出部２は、第１のＬＰＦ（Low Pass Filter）２１、エッジ特徴量抽出部２２、低輪郭度エッジ特徴量除去部２３、第２のＬＰＦ２４を備える。そして、図４に示す輪郭抽出部は、上記定義１及び定義２を満たす領域のデータを輪郭領域データとして抽出する。以下、図４に示す輪郭抽出部２の輪郭抽出処理（輪郭抽出ステップ）について、図８を参照しながら説明する。

第１のＬＰＦ２１は、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータから高周波成分を除去することにより、ぼかす（平滑化する）（ステップＳ２０１）。具体的には、第１のＬＰＦ２１は、輪郭抽出処理（輪郭抽出ステップ）における前処理フィルタであり、ノイズ、孤立点、テクスチャ成分等の高周波成分をラインメモリ格納部１から読み出したデータから除去することにより、当該データを平滑化する。より具体的には、第１のＬＰＦ２１として、例えば、カーネルサイズがＮ×ＮのＦＩＲフィルタ（Ｎは、正の整数。）を用いる。図６に示すＦＩＲフィルタは、１つの注目画素Ｐ１と、当該注目画素Ｐ１を中心とする他の周辺画素Ｐ２を処理する、カーネルサイズが７×７のデジタルフィルタである。なお、第１のＬＰＦ２４として、線形（Ｌｉｎｅａｒ）なＦＩＲフィルタ、Ｂｉｌａｔｅｒａｌ Ｆｉｌｔｅｒ等の非線形（Ｎｏｎ Ｌｉｎｅａｒ）なＦＩＲフィルタが用いられてもよい。

エッジ特徴量抽出部２２は、第１のＬＰＦ２１によってぼかされた（平滑化された）映像データから、例えば、図７に示すソーベルフィルタを用いてエッジ特徴量を抽出する（ステップＳ２０２）。また、エッジ特徴量抽出部２２は、当該エッジ特徴量を低輪郭度エッジ特徴量除去部２３に出力する。なお、図７に示すソーベルフィルタは、一例であり、エッジ特徴量抽出部２２がエッジ特徴量を抽出するために用いるフィルタは、他のデジタルフィルタであってもよい。また、エッジ特徴量として、Ｈａｒｒ−ｌｉｋｅ特徴量、ピクセル差分特徴量、ＨＯＧ（Histograms of Oriented Gradients）特徴量、ＥＯＨ（Edge of Orientation Histograms）特徴量、Ｅｄｇｌｅｔｅ特徴量等が抽出されてもよい。また、図７に示すソーベルフィルタは、カーネルサイズが３×３のデジタルフィルタであり、図７の左側に水平方向のエッジ特徴量の抽出に用いられるソーベルフィルタを示し、図７の右側に垂直方向のエッジ特徴量の抽出に用いられるソーベルフィルタを示す。

低輪郭度エッジ特徴量除去部２３は、エッジ特徴量抽出部２２によって抽出されたエッジ特徴量が閾値以上か否かを判断する（ステップＳ２０３）。
ステップＳ２０３において、エッジ特徴量が閾値未満である場合（ステップＳ２０３；Ｎｏ）、低輪郭度エッジ特徴量除去部２３は、当該エッジ特徴量を有するエッジ領域は輪郭領域である可能性が少ないと判断し、当該エッジ領域を輪郭領域の候補から除去する（ステップＳ２０４）。具体的には、当該エッジ特徴量の値を所定の値より小さい値に変化させる。例えば、当該エッジ特徴量の値をゼロにする。そして、低輪郭度エッジ特徴量除去部２３は、当該所定の値より小さい値に変換された特徴量を、第２のＬＰＦ２４に出力する。
ステップＳ２０３において、エッジ特徴量が閾値以上である場合（ステップＳ２０３；Ｙｅｓ）、低輪郭度エッジ特徴量除去部２３は、当該閾値以上のエッジ特徴量を有するエッジ領域に含まれる画素の数が閾値以上か否かを判断する（ステップＳ２０５）。

ステップＳ２０５において、閾値以上のエッジ特徴量を有するエッジ領域に含まれる画素の数が閾値未満である場合（ステップＳ２０５；Ｎｏ）、低輪郭度エッジ特徴量除去部２３は、当該エッジ特徴量を有するエッジ領域は輪郭領域である可能性が少ないと判断し、当該エッジ領域を輪郭領域の候補から除去する（ステップＳ２０６）。具体的には、当該エッジ特徴量を所定の値より小さい値の特徴量に変換する。例えば、当該エッジ特徴量の値をゼロにする。そして、低輪郭度エッジ特徴量除去部２３は、当該所定の値より小さい値に変換された特徴量を、第２のＬＰＦ２４に出力する。
ステップＳ２０５において、閾値以上のエッジ特徴量を有するエッジ領域に含まれる画素の数が閾値以上である場合（ステップＳ２０５；Ｙｅｓ）、低輪郭度エッジ特徴量除去部２３は、当該エッジ特徴量を有するエッジ領域は輪郭領域である可能性が高い領域（以下、「輪郭候補領域」と称する。）と判断し、当該エッジ特徴量を、第２のＬＰＦ２４に出力する。

次に、第２のＬＰＦ２４は、輪郭抽出処理（輪郭抽出ステップ）における後処理フィルタであり、低輪郭度エッジ特徴量除去部２３から入力された所定の値より小さい値に変換された特徴量、及び、低輪郭度エッジ特徴量除去部２３から入力されたエッジ特徴量をぼかす（平滑化する）。これにより、輪郭とは関係ない画素を含む領域のエッジ特徴量の値が小さくなり、後述する強調画像データと平滑化画像データとの画像合成において、強調画素と平滑化画素との間の空間的な不連続及び時間的な不連続等の副作用が生じにくくなる。ここで、第２のＬＰＦ２４によって、ぼかされた（平滑化された）当該画素の特徴量（エッジ特徴量を含む）を輪郭度とする。そして、第２のＬＰＦ２４は、画素の座標と当該画素の輪郭度とを含む輪郭信号を出力画素切替部５に出力する（ステップＳ２０７）。第２のＬＰＦ２４として、第１のＬＰＦ２１と同様に、例えば、図６に示すような、カーネルサイズがＮ×ＮのＦＩＲフィルタ等を用いる。

すなわち、図８に示す、輪郭抽出部２の輪郭抽出処理（輪郭抽出ステップ）では、ラインメモリ格納部１から読み出したデータを第１のＬＰＦ２１によって前処理し（ステップＳ２０１）、エッジ特徴量抽出部２２によってエッジ特徴量を抽出し（ステップＳ２０２）、低輪郭度エッジ特徴量除去部２３によって輪郭領域である可能性が少ないエッジ領域を輪郭領域の候補から除去し（ステップＳ２０３〜ステップＳ２０６）、輪郭候補領域のエッジ特徴量を第２のＬＰＦ２４によって後処理する（ステップＳ２０７）。

なお、図５に示す輪郭抽出部２は、第１のＬＰＦ２１、エッジ特徴量抽出部２２、第２のＬＰＦ２４を備える。そして、図５に示す輪郭抽出部２は、上記定義１を満たす領域のデータを輪郭領域データとして抽出する。すなわち、図５に示す輪郭抽出部２は、図８に示すステップＳ２０１、Ｓ２０２、Ｓ２０７の処理を行い、図８に示すステップＳ２０３〜Ｓ２０６の処理を行わない。この場合、ステップＳ２０２において、エッジ特徴量抽出部２２は、抽出したエッジ特徴量をステップＳ２０７の処理で用いるため第２のＬＰＦ２４に出力する。

すなわち、図８に示すステップＳ２０１、Ｓ２０２、Ｓ２０７の処理は、第１のＬＰＦ２１によって映像データをぼかし（平滑化し）、さらに、第２のＬＰＦ２４を用いて、エッジ特徴量抽出部２２が抽出したエッジ特徴量をぼかす（平滑化する）ことにより、映像データに含まれる細かいテクスチャやエッジ等の領域に含まれる画素を輪郭領域の候補から除去し、特徴量が大きい輪郭度が高い画素を輪郭領域の候補として残す処理を行う。換言すれば、図８に示すステップＳ２０１、Ｓ２０２、Ｓ２０７の処理は、上記定義１を満たすエッジ領域のデータを輪郭領域データとして抽出する処理である。
また、図８に示すステップＳ２０３〜Ｓ２０６の処理は、エッジ特徴量の分散が高い場合には、当該エッジ特徴量を有するエッジ領域は輪郭領域である可能性が低いと判断する処理である。換言すれば、図８に示すステップＳ２０３〜Ｓ２０６の処理は、上記定義２を満たすエッジ領域のデータを輪郭領域データとして抽出する処理である。

輪郭平滑化部３は、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータに対して、平滑化処理（平滑化ステップ）を行う。図９に、本実施例１に係る輪郭平滑化部３の一例を示す。輪郭平滑化部３は、図９に示すように、第３のＬＰＦ３１を備える。

第３のＬＰＦ３１は、ラインメモリ格納部１から読み出したデータから高周波成分を除去することにより、平滑化する。第３のＬＰＦ３１として、第１のＬＰＦ２１、第２のＬＰＦ２４と同様に、例えば、図６に示すような、カーネルサイズがＮ×ＮのＦＩＲフィルタを用いる。そして、第３のＬＰＦ３１は、平滑化した映像データを平滑化画像データとして出力画素切替部５に出力する。なお、第１のＬＰＦ２１、第２のＬＰＦ２４、第３のＬＰＦ３１として使用されるデジタルフィルタは異なっていてもよい。

画像強調部４は、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータに対して、画像強調処理（画像強調ステップ）を行う。具体的には、画像強調部４は、エッジ領域データと当該エッジ領域以外のデータとで異なる画像強調処理を行う。図１０に、実施例１に係る画像強調部４の一例を示す。画像強調部４は、図１０に示すように、テクスチャ・エッジ強調部４１、エッジ検出部４２、画素切替部４３を備える。

テクスチャ・エッジ強調部４１は、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータに対して、画像強調処理を行う。具体的には、テクスチャ・エッジ強調部４１は、図６に示すような、カーネルサイズがＮ×ＮのＦＩＲフィルタを用いて、画像強調処理を行う。テクスチャ・エッジ強調部４１によって行われる画像強調処理は、例えば、Ｕｎｓｈａｒｐ Ｍａｓｋｉｎｇ処理等である。そして、テクスチャ・エッジ強調部４１は、画像強調処理を行った映像データを画素切替部４３に出力する。

エッジ検出部４２は、例えば、図７に示すソーベルフィルタを用いて、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータから特徴量を算出する。そして、画素の座標と当該画素の特徴量とを画素切替部４３に出力する。エッジ検出部４２が、特徴量を画素切替部４３に出力することにより、画素切替部４３が当該特徴量の値に応じて強調画像データを合成するのに用いるデータを切り替えることができる。そのため、画素切替部４３は、映像データに含まれるエッジ領域、テクスチャ領域、フラット領域毎に、異なる画像強調処理を行うことができる。

画素切替部４３は、エッジ検出部４２から入力される画素の座標及び当該画素の特徴量等に基づいて、エッジ領域、テクスチャ領域、フラット領域等の各領域毎に、出力画素切替部５に出力する映像データを切り替える。具体的には、画素切替部４３は、画素の特徴量に基づいて、画像合成に用いるデータを切り替える。より具体的には、画素切替部４３は、まず、エッジ検出部４２から入力される画素の特徴量を正規化する。例えば、画像処理装置１００Ａに入力された映像データが１画素当たり８ビットのデータである場合、当該特徴量を０．０以上１．０以下に正規化する。ここで、正規化された特徴量の値をＧａｉｎとする。また、テクスチャ・エッジ強調部４１から画素切替部４３に入力される画像強調処理された映像データをＰｅｎｈとする。また、画像強調部４がラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータをＰｉｎとする。このとき、画素切替部４３は、以下の式（１）に基づいて画素ごとにＰｏｕｔを算出することにより画像合成を行って、強調画像データを生成する。
これにより、画素切替部４３は、特徴量が比較的大きいエッジ領域及びテクスチャ領域等については、テクスチャ・エッジ強調部４１から入力される画像強調処理を行ったデータを比較的多く用いて、その他の領域については、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータ（画像強調処理を行っていないデータ）を比較的多く用いて、画像合成を行うことができる。すなわち、画像強調部４は、エッジ領域データと当該エッジ領域以外のデータとで異なる画像強調処理を行うことができる。そして、画素切替部４３は、画像合成された映像データを、強調画像データとして出力画素切替部５に出力する。なお、画素切替部４３は、特徴量を正規化せずに、上記式（１）のＧａｉｎの値として、そのまま用いてもよい。その場合には、例えば、特徴量の値が０以上２５５以下である場合には、上記式（１）の全体を２５６で除算すればよい。

出力画素切替部５は、輪郭抽出部２から入力される輪郭信号に基づいて、輪郭領域と、輪郭領域以外のエッジ領域、テクスチャ領域、フラット領域等の領域とで、表示装置（図示省略）に出力する画素のデータを切り替える（出力画素切替ステップ）。具体的には、出力画素切替部５は、輪郭抽出部２から入力される輪郭信号に含まれる画素の輪郭度に基づいて、画像合成に用いるデータを切り替える。より具体的には、出力画素切替部５は、まず、輪郭抽出部２から入力される画素の輪郭度を、例えば、０．０以上１．０以下に、正規化する。ここで、正規化された輪郭度の値をαとする。また、輪郭平滑化部３から出力画素切替部５に入力される平滑化画像データをＡとする。また、画像強調部４から出力画素切替部５に入力される強調画像データをＢとする。このとき、出力画素切替部５は、以下の式（２）に基づいて、画素ごとにＣを算出することにより画像合成を行って、出力画像データを生成する。
これにより、出力画素切替部５は、輪郭度が大きい輪郭領域については、輪郭平滑化部３から入力される平滑化画像データを比較的多く用いて、輪郭領域以外の領域については、画像強調部４から入力される強調画像データを比較的多く用いて、画像合成を行うことができる。そして、出力画素切替部５は、画像合成された映像データを、出力画像データとして表示装置（図示省略）に出力する。なお、出力画素切替部５は、輪郭度を正規化せずに、上記式（２）のαの値として、そのまま用いてもよい。その場合には、例えば、輪郭度の値が０以上２５５以下である場合には、上記式（２）の全体を２５６で除算すればよい。

図１１乃至図１６を参照しながら、本実施例１に係る画像処理装置１００Ａによって画像処理された映像と、従来の画像処理装置によって画像処理された映像とを比較する。
図１１は、本実施例１に係る画像処理装置１００Ａ及び従来の画像処理装置に入力される画像（入力画像）の一例を示す。図１１に示す入力画像には、空Ｉ１と、芝Ｉ２と、人物Ｉ３と、箱Ｉ４が表示されている。

図１２に、図１１に示す入力画像に含まれるエッジ領域を示す。また、図１３に、図１１に示す入力画像に含まれる輪郭領域を示す。すなわち、本実施例１において、輪郭領域とは、空Ｉ１、芝Ｉ２、人物Ｉ３、箱Ｉ４の境界となる領域である。また、図１４に、図１１に示す入力画像に含まれるテクスチャ領域を示す。

図１５に、従来の画像処理装置によって出力される画像を示す。従来の画像処理装置では、図１２に示すエッジ領域と図１３に示す輪郭領域とが区別されず、輪郭領域も他のエッジ領域と同様に画像強調処理される。そのため、図１５に示すように、空Ｉ１、芝Ｉ２、人物Ｉ３、箱Ｉ４の境界が不自然に強調されてしまっている。具体的には、従来の画像処理装置によって出力される画像では、空Ｉ１、芝Ｉ２、人物Ｉ３、箱Ｉ４の境界のコントラストが強く出過ぎているため、空Ｉ１、芝Ｉ２、人物Ｉ３、箱Ｉ４の各平面画像を並べて重ねたような画像となっており、立体感や距離感が失われてしまっている。

図１６に、本実施例１に係る画像処理装置１００Ａによって出力される画像を示す。本実施例１に係る画像処理装置１００Ａでは、輪郭抽出部２によって、図１２に示すエッジ領域から図１３に示す輪郭領域が抽出される。具体的には、入力画像の各画素の輪郭度を算出し、輪郭度に応じて、出力画像データの画像合成に用いられるデータが切り替えられる。そして、輪郭度が大きい輪郭領域については、輪郭平滑化部３によって平滑化処理された平滑化画像データを比較的多く用いて、輪郭領域以外の領域については、画像強調部４によって画像強調処理された強調画像データを比較的多く用いて、出力画素切替部５が画像合成を行って、画像合成されたデータを、出力画像データとして表示装置（図示省略）に出力する。そのため、図１６に示すように、空Ｉ１、芝Ｉ２、人物Ｉ３、箱Ｉ４の境界が平滑化され、当該境界の輝度の階調が増加している。これにより、空Ｉ１、芝Ｉ２、人物Ｉ３、箱Ｉ４の境界に立体感及び距離感を付与することができている。

以上に説明した、本実施例１に係る画像処理装置１００Ａ及び画像処理方法では、入力された映像データのエッジ領域から輪郭領域を抽出し、当該輪郭領域については平滑化画像データを用いて出力画像データが画像合成される。すなわち、輪郭領域に対して平滑化処理されることとなり、輪郭領域の輝度の階調が増加する。これにより、輪郭領域に立体感及び距離感を付与することができる。よって、本実施例１に係る画像処理装置１００Ａ及び画像処理方法は、表示される映像の立体感や距離感を損なうことを防止することができる。

また、映像データに対して、画像強調処理を行って強調画像データを出力する画像強調部４を備え、出力画素切替部５は、輪郭領域以外の領域については、強調画像データを用いて、出力画像データを画像合成する。これにより、映像データの輪郭領域以外の領域については、強調画像データを用いて出力画像データが画像合成されるため、輪郭領域以外の領域については、適切に画像強調処理を行うことができる。

さらに、画像強調部４は、エッジ領域データと当該エッジ領域以外のデータとで異なる画像強調処理を行う。これにより、入力された映像データの輪郭領域以外の領域については、少なくともエッジ領域とエッジ領域以外の領域とで異なる画像強調処理が行われた強調画像データを用いて出力画像データが画像合成される。そのため、輪郭領域以外の領域について、エッジ領域とエッジ領域以外の領域とのそれぞれに適した画像強調処理を行うことができる。

次に、図１７及び図１８を参照しながら、本発明の実施の形態２について説明する。図１７は、本実施の形態２に係る画像処理装置２００の一例を示すブロック図である。実施の形態２に係る画像処理装置２００は、図１７に示すように、輪郭抽出手段１０１、平滑度検出手段２０１、平滑化手段２０２、画像強調手段１０３、画像合成手段１０４等を備える。すなわち、実施の形態２に係る画像処理装置２００は、図１７に示すように、平滑度検出手段２０１及び平滑化手段２０２が、実施の形態１に係る画像処理装置１００と異なる。以下、実施の形態２に係る画像処理装置２００において、実施の形態１に係る画像処理装置１００と同様の構成については、同一の符号を付すとともに、その説明を省略する。

また、画像処理装置２００は、画像処理装置１００と同様に、図示しないＣＰＵ及び図示しない記憶部等を備える。そして、ＣＰＵが記憶部に格納されたプログラムを実行することにより、輪郭抽出手段１０１、平滑度検出手段２０１、平滑化手段２０２、画像強調手段１０３、画像合成手段１０４の全ての処理が実現する。

平滑度検出手段２０１は、輪郭領域データの平滑度を検出する。また、平滑度検出手段２０１は、当該輪郭領域の平滑度が所定の値より高いか否かを示す平滑度信号を平滑化手段２０２に出力する。ここで、平滑度は、例えば、画像処理装置２００に入力される映像データに含まれる画素の画素値の微分量の統計量に基づいて、決定される。

平滑化手段２０２は、輪郭領域データのうち平滑度が所定の値以下の輪郭領域データに対して、平滑化処理を行う。また、平滑化手段２０２は、輪郭領域データのうち平滑度が所定の値より高い輪郭領域データに対して、平滑化処理を行わない。また、平滑化手段２０２は、平滑化処理を行ったデータと平滑化処理を行わなかったデータとを画像合成して得られる平滑切替画像データを画像合成手段１０４に出力する。

次に、図１８を参照しながら、本発明の実施の形態２に係る画像処理方法を説明する。
まず、輪郭抽出手段１０１は、画像処理装置１００に入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出し、当該輪郭領域に含まれる画素の座標を含む輪郭信号を平滑度検出手段２０１及び画像強調手段１０３に出力する（ステップＳ３０１；輪郭抽出ステップ）。

次に、平滑度検出手段２０１は、輪郭領域データの平滑度を検出し、当該輪郭領域の平滑度が所定の値より高いか否かを示す平滑度信号を平滑化手段２０２に出力する（ステップＳ３０２；平滑度検出ステップ）。

次に、平滑化手段２０２は、平滑度が所定の値以下の輪郭領域データに対して平滑化処理を行い、平滑化処理を行ったデータと平滑化処理を行わなかったデータとを画像合成して得られる平滑切替画像データを画像合成手段１０４に出力する（ステップＳ３０３；平滑化ステップ）。

次に、画像強調手段１０３は、映像データに含まれる輪郭領域データ以外の領域データに対して画像強調処理を行って、強調画像データを画像合成手段１０４に出力する（ステップＳ３０４；画像強調ステップ）。

次に、画像合成手段１０４は、平滑切替画像データと強調画像データとを画像合成して出力画像データを生成し、当該出力画像データを表示装置（図示省略）に出力し（ステップＳ３０５）、本画像処理を終了する。
なお、ステップＳ３０４の処理は、ステップＳ３０２の前に行われてもよく、ステップＳ３０４の処理とステップＳ３０２及びステップＳ３０３の処理とが同時に行われてもよい。

以上に説明した本実施の形態２に係る画像処理装置２００及び画像処理方法では、実施の形態１に係る画像処理装置１００及び画像処理方法と同様の効果が得られるのは勿論のこと、入力された映像データ内のエッジ領域に含まれる輪郭領域以外の領域については画像強調処理が行われる。すなわち、輪郭領域については画像強調処理が行われない。そのため、輪郭領域についても画像強調処理されることによって、表示される映像の立体感や距離感が失われてしまい、不自然な映像となってしまうことを防ぐことができる。よって、本発明の第２の態様に係る画像処理装置は、表示される映像の立体感や距離感を損なうことを防止することができる。

また、入力された映像データの平滑度が低い輪郭領域については、平滑化処理される。そのため、平滑度が低く、立体感及び距離感が消失している輪郭領域の部分については、当該輪郭領域の輝度の階調が増加し、立体感及び距離感を付与することができる。一方、入力された映像データの平滑度が低くない輪郭領域については、平滑化処理されない。そのため、平滑度が十分であり、立体感及び距離感が損なわれていない輪郭領域が不必要にぼやけてしまうことを防ぐことができる。

実施例２
次に、図１９乃至図２７を参照しながら、本実施の形態２の実施例２について説明する。図１９は、本実施例２に係る画像処理装置２００Ａの一例を示すブロック図である。実施例２に係る画像処理装置２００Ａは、図１９に示すように、平滑度検出手段２０１として平滑度検出部６を備え、平滑化手段２０２として、輪郭平滑化部３及び平滑化画素切替部７を備える点が、実施例１に係る画像処理装置１００Ａと異なる。また、実施例２に係る画像処理装置２００Ａでは、輪郭平滑化部３が平滑化画像データを平滑化画素切替部７に出力する点、輪郭平滑化部３から平滑化画像データが出力画素切替部５に入力されず、平滑化画素切替部７から平滑切替画像データが出力画素切替部５に入力される点が、実施例１に係る画像処理装置１００Ａと異なる。以下、実施例２に係る画像処理装置２００Ａにおいて、実施例１に係る画像処理装置１００Ａと同様の構成については、同一の符号を付すとともに、その説明を省略する。

平滑度検出部６は、画像処理装置１００Ａに入力された映像データの平滑度を検出する。具体的には、平滑度検出部６は、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータに含まれる画素の画素値の微分量を算出する。そして、平滑度検出部６は、当該微分量の統計量に基づいて、入力画像に含まれる各領域の平滑度が所定の値より高いか否かを示す平滑度信号を平滑化画素切替部７に出力する。
図２０に、平滑度検出部６の一例を示す。また、図２１に、平滑度検出部６の他の例を示す。さらに、図２２に、平滑度検出部６のもう１つの他の例を示す。また、図２３に、図２０に示す平滑度検出部６による平滑度検出処理（平滑度検出ステップ）を説明するフローチャートを示す。また、図２４に、図２２に示す平滑度検出部６による平滑度検出処理（平滑度検出ステップ）を説明するフローチャートを示す。

図２０に示す平滑度検出部６は、微分量検出部６１、分散量検出部６２、閾値処理部６３を備える。以下、図２０に示す平滑度検出部６の平滑度検出処理（平滑度検出ステップ）について、図２３を参照しながら説明する。

微分量検出部６１は、ラインメモリ格納部１から読み出したデータに含まれる画素の画素値の微分量を算出する（ステップＳ４０１）。ここで、微分量は、各画素の画素値の１次微分又は２次微分によって算出されてもよい。
次に、微分量検出部６１は、入力画像の所定の領域毎に、当該所定領域に含まれる画素の微分量を分散量検出部６２に出力する（ステップＳ４０２）。例えば、微分量検出部６１は、隣接するＭ個（Ｍは、正の整数。）の画素の微分量をまとめて、分散量検出部６２に出力する。

次に、分散量検出部６２は、微分量検出部６１から入力された所定領域に含まれる画素の微分量の分散を算出し、算出により得られた値を分散量として、閾値処理部６３に出力する（ステップＳ４０３）。

次に、閾値処理部６３は、分散量検出部６２から入力された分散量が閾値以下か否かを判断する（ステップＳ４０４）。
ステップＳ４０４において、分散量検出部６２から入力された分散量が閾値以下である場合、閾値処理部６３は、当該所定領域の平滑度は高いという平滑度信号を平滑化画素切替部７に出力する（ステップＳ４０５）。
ステップＳ４０４において、分散量検出部６２から入力された分散量が閾値より大きい場合、閾値処理部６３は、当該所定領域の平滑度は低いという平滑度信号を平滑化画素切替部７に出力する（ステップＳ４０６）。

ここで、閾値処理部６３が用いる閾値について、図２５及び図２６を参照しながら説明する。図２５及び図２６は、入力画像の所定の水平方向ライン上に並ぶ画素の画素値を示すグラフであり、縦軸に画素値を示し、横軸に画素位置を示す。また、図２５及び図２６において、入力画像の解像度は、例えば、８Ｋであるとする。

図２５に示す、水平方向ライン上に並ぶ画素では、注目画素のプロットＰＰ１の左右の４つの周辺画素のプロットＰＰ２にわたって、画素値が徐々に変化している。すなわち、当該画素値の変化の解像度は２Ｋである。当該解像度２Ｋの画素値の変化は、解像度８Ｋの入力画像にとって、滑らかな変化である。つまり、当該水平方向ライン上に並ぶ画素の領域は、平滑度が高い。

図２６に示す、水平方向ライン上に並ぶ画素では、注目画素のプロットＰＰ１の隣の周辺画素のプロットＰＰ２との間で画素値が急激に変化している。すなわち、当該画素値の変化の解像度は８Ｋである。当該解像度８Ｋの画素値の変化は、解像度８Ｋの入力画像にとって、滑らかではない変化である。つまり、当該水平方向ライン上に並ぶ画素の領域は、平滑度が低い。

上記図２５及び図２６の説明に示すように、図２０に示す閾値処理部６３が用いる閾値は、入力画像の解像度等に基づいて、定められる。例えば、隣接するＭ個の画素からなる所定領域が、入力画像の解像度と同じ解像度の画素値の変化を有する場合、閾値処理部６３が当該所定領域の平滑度は低いという平滑度信号を平滑化画素切替部７に出力するように、閾値は定められる。

図２１に示す平滑度検出部６は、微分量検出部６１、ヒストグラム生成部６４、閾値処理部６５を備える。微分量検出部６１は、図２０に示す平滑度検出部６の微分量検出部６１と同様であるため、その説明を省略する。

ヒストグラム生成部６４は、微分量検出部６１から入力された所定領域に含まれる画素画素値の微分量のヒストグラムを生成し、生成したヒストグラムを閾値処理部６３に出力する。ここで、ヒストグラムの横軸は画素値の微分量を示し、縦軸は微分量の頻度（度数）を示す。

閾値処理部６５は、ヒストグラム生成部６４から入力されたヒストグラムに基づいて、当該所定領域の平滑度を決定する。例えば、微分量が所定の閾値より小さいビン（ＢＩＮ）の累積度数が、微分量が所定の閾値より大きいビン（ＢＩＮ）の累積度数より多い場合、閾値処理部６５は、当該所定領域の平滑度が高いという平滑度信号を平滑化画素切替部７に出力する。また、微分量が所定の閾値より大きいビン（ＢＩＮ）の累積度数が、微分量が所定の閾値より小さいビン（ＢＩＮ）の累積度数より多い場合、閾値処理部６５は、当該所定領域の平滑度が低いという平滑度信号を平滑化画素切替部７に出力する。

図２２に示す平滑度検出部６は、微分量検出部６６、反転回数積算部６７、閾値処理部６８を備える。以下、図２２に示す平滑度検出部６の平滑度検出処理について、図２４を参照しながら説明する。

微分量検出部６６は、ラインメモリ格納部１から読み出したデータに含まれる画素の画素値の微分量を算出する（ステップＳ５０１）。ここで、微分量は、各画素の画素値の１次微分によって算出される。
次に、微分量検出部６６は、入力画像の所定の領域毎に、当該所定領域に含まれる画素の微分量を反転回数積算部６７に出力する（ステップＳ５０２）。例えば、微分量検出部６６は、隣接するＭ個の画素の微分量をまとめて、反転回数積算部６７に出力する。

反転回数積算部６７は、微分量検出部６６から入力された所定領域に含まれる、隣接する画素の微分量の符号を比較し、隣接する画素の微分量の符号が反転しているか否かを判断する（ステップＳ５０３）。
ステップＳ５０３において、隣接する画素の微分量の符号が反転していない場合、反転回数積算部６７は、当該所定領域に画素値のシュートがないと判断し（ステップＳ５０３；Ｎｏ）、当該平滑度検出処理はステップＳ５０５に進む。
ステップＳ５０３において、隣接する画素の微分量の符号が反転している場合、反転回数積算部６７は、当該所定領域に画素値のシュートがあると判断し（ステップＳ５０３；Ｙｅｓ）、反転回数積算部６７は、当該所定領域にある画素値のシュートの個数を閾値処理部６８に出力する。具体的には、反転回数積算部６７は、隣接する画素の微分量の符号が反転している回数を積算し、積算した回数を閾値処理部６８に出力する。

閾値処理部６８は、反転回数積算部６７から入力された回数に基づいて、当該所定領域にある画素値のシュートの個数が閾値以下か否かを判断する（ステップＳ５０４）。具体的には、閾値処理部６８は、隣接する画素の微分量の符号が反転している回数が閾値以下か否かを判断する。
ステップＳ５０４において、当該所定領域にある画素値のシュートの個数が閾値以下である場合（ステップＳ５０４；Ｙｅｓ）、閾値処理部６８は、当該所定領域の平滑度は中程度〜高いという平滑度信号を平滑化画素切替部７に出力する（ステップＳ５０５）。
ステップＳ５０４において、当該所定領域にある画素値のシュートの個数が閾値より多い場合（ステップＳ５０４；Ｎｏ）、閾値処理部６８は、当該所定領域の平滑度は低いという平滑度信号を平滑化画素切替部７に出力する（ステップＳ５０６）。

ここで、閾値処理部６８が用いる閾値について、図２７を参照しながら説明する。図２７は、図２５及び図２６と同様に、入力画像の所定の水平方向ライン上に並ぶ画素の画素値を示すグラフであり、縦軸に画素値を示し、横軸に画素位置を示す。また、図２７において、入力画像の解像度は、例えば、８Ｋであるとする。

図２７に示す、水平方向ライン上に並ぶ画素では、注目画素のプロットＰＰ１の左右の４つの周辺画素のプロットＰＰ２にわたって、画素値が徐々に変化している。すなわち、当該画素値の変化の解像度は２Ｋである。しかし、４つの周辺画素のプロットＰＰ２の左側においてオーバーシュートがあり、４つの周辺画素のプロットＰＰ２の右側においてアンダーシュートがある。このように、シュートがある画素値の変化は、滑らかな変化ではない。つまり、当該水平方向ライン上に並ぶ画素の領域は、平滑度が低い。

上記図２７の説明に示すように、図２２に示す閾値処理部６８が用いる閾値は、注目画素のプロットＰＰ１と周辺画素のプロットＰＰ２を含む所定領域の画素値にシュートが何個含まれる場合、当該所定領域の平滑度が低いとするか等に基づいて、定められる。

平滑化画素切替部７は、平滑度検出部６から入力される平滑度信号に基づいて、平滑度が低い領域と、平滑度が高い又は中程度〜高い領域とで、出力画素切替部５に出力する画素のデータを切り替える（平滑化画素切替ステップ）。具体的には、平滑化画素切替部７は、平滑度が低い領域については、輪郭平滑化部３から入力される平滑化画像データを用い、平滑度が高い又は中程度〜高い領域については、ラインメモリ格納部１の各ラインメモリＬ１，Ｌ２，Ｌ３，・・・，Ｌｎから読み出したデータを用いて、画像合成を行い、画像合成された映像データを、平滑切替画像データとして出力画素切替部５に出力する。

出力画素切替部５は、輪郭抽出部２から入力される輪郭信号に基づいて、輪郭領域と、輪郭領域以外のエッジ領域、テクスチャ領域、フラット領域等の領域とで、表示装置（図示省略）に出力する画素のデータを切り替える。具体的には、出力画素切替部５は、輪郭抽出部２から入力される輪郭信号に含まれる画素の輪郭度に基づいて、画像合成に用いるデータを切り替える。より具体的には、出力画素切替部５は、輪郭度が大きい輪郭領域については、平滑化画素切替部７から入力される平滑切替画像データを比較的多く用いて、輪郭領域以外の領域については、画像強調部４から入力される強調画像データを比較的多く用いて、画像合成を行う。そして、出力画素切替部５は、画像合成された映像データを、出力画像データとして表示装置（図示省略）に出力する。

以上に説明した、本実施例２に係る画像処理装置２００Ａ及び画像処理方法では、実施例１に係る画像処理装置１００Ａ及び画像処理方法と同様の効果が得られるのは勿論のこと、入力された映像データの平滑度が低い領域については平滑化画像データを用いて平滑切替画像データが画像合成される。そして、輪郭領域については、当該平滑切替画像データを用いて、出力画像データが画像合成される。そのため、平滑度が低く、立体感及び距離感が消失している輪郭領域の部分については、当該輪郭領域の輝度の階調が増加し、立体感及び距離感を付与することができる。一方、入力された映像データの平滑度が低くない領域については、平滑化画像データを用いずに平滑切替画像データが画像合成される。そのため、平滑度が十分であり、立体感及び距離感が損なわれていない輪郭領域が不必要にぼやけてしまうことを防ぐことができる。

なお、本発明は上記実施の形態及び実施例に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１００、２００、１００Ａ、２００Ａ 画像処理装置
１０１ 輪郭抽出手段
１０２、２０２ 平滑化手段
１０３ 画像強調手段
１０４ 画像合成手段
２０１ 平滑度検出手段
１ ラインメモリ格納部
２ 輪郭抽出部
２１ 第１のＬＰＦ
２２ エッジ特徴量抽出部
２３ 低輪郭度エッジ特徴量除去部
２４ 第２のＬＰＦ
３ 輪郭平滑化部
３１ 第３のＬＰＦ
４ 画像強調部
４１ テクスチャ・エッジ強調部
４２ エッジ検出部
４３ 画素切替部
５ 出力画素切替部
６ 平滑度検出部
６１、６６ 微分量検出部
６２ 分散量検出部
６３、６５、６８ 閾値処理部
６４ ヒストグラム生成部
６７ 反転回数積算部
７ 平滑化画素切替部
８ 制御部
Ｉ１ 空
Ｉ２ 芝
Ｉ３ 人物
Ｉ４ 箱
Ｌ１、Ｌ２、Ｌ３、・・・、Ｌｎ ラインメモリ
Ｐ１ 注目画素
Ｐ２ 周辺画素
ＰＰ１ 注目画素のプロット
ＰＰ２ 周辺画素のプロット

Claims (10)

1. 入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出手段と、
   前記輪郭領域データに対して、平滑化処理を行う平滑化手段と、
   を備える、画像処理装置。
2. 前記映像データに含まれる前記輪郭領域データ以外の領域データに対して画像強調処理を行う画像強調手段を備える、請求項１に記載の画像処理装置。
3. 入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出手段と、
   前記映像データに含まれる前記輪郭領域データ以外の領域データに対して画像強調処理を行う画像強調手段と、
   を備える、画像処理装置。
4. 前記輪郭領域データの平滑度を検出する平滑度検出手段と、
   前記輪郭領域データのうち前記平滑度が所定の値以下の輪郭領域データに対して、平滑化処理を行う平滑化手段と、
   を備える、請求項３に記載の画像処理装置。
5. 前記画像強調手段は、前記エッジ領域データとエッジ領域以外のデータとで異なる画像強調処理を行う、請求項２乃至４の何れか一項に記載の画像処理装置。
6. 入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出ステップと、
   前記輪郭領域データに対して、平滑化処理を行う平滑化ステップと、
   を備える、画像処理方法。
7. 前記映像データに含まれる前記輪郭領域データ以外の領域データに対して画像強調処理を行う画像強調ステップを備える、請求項６に記載の画像処理方法。
8. 入力された映像データに含まれるエッジ領域データから輪郭領域データを抽出する輪郭抽出ステップと、
   前記映像データに含まれる前記輪郭領域データ以外の領域データに対して画像強調処理を行う画像強調ステップと、
   を備える、画像処理方法。
9. 前記輪郭領域データの平滑度を検出する平滑度検出ステップと、
   前記輪郭領域データのうち前記平滑度が所定の値以下の輪郭領域データに対して、平滑化処理を行う平滑化ステップと、
   を備える、請求項８に記載の画像処理方法。
10. 前記画像強調ステップでは、前記エッジ領域データとエッジ領域以外のデータとで異なる画像強調処理を行う、請求項７乃至９の何れか一項に記載の画像処理方法。