JP2016092576A - 画像処理装置、画像処理方法、及び、プログラム - Google Patents
画像処理装置、画像処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP2016092576A JP2016092576A JP2014224356A JP2014224356A JP2016092576A JP 2016092576 A JP2016092576 A JP 2016092576A JP 2014224356 A JP2014224356 A JP 2014224356A JP 2014224356 A JP2014224356 A JP 2014224356A JP 2016092576 A JP2016092576 A JP 2016092576A
- Authority
- JP
- Japan
- Prior art keywords
- luminance
- condition
- image data
- image
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Facsimile Image Signal Circuits (AREA)
Abstract
【課題】好適な輝度の画像データを得ることができる技術を提供する。
【解決手段】本発明の画像処理装置は、1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得手段と、前記輝度ヒストグラムから、度数が第1閾値以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出手段と、前記検出手段で検出されたクラスタが所定条件を満たすか否かを判断する判断手段と、前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、を有する。
【選択図】図1
【解決手段】本発明の画像処理装置は、1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得手段と、前記輝度ヒストグラムから、度数が第1閾値以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出手段と、前記検出手段で検出されたクラスタが所定条件を満たすか否かを判断する判断手段と、前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、を有する。
【選択図】図1
Description
本発明は、画像処理装置、画像処理方法、及び、プログラムに関する。
従来の表示装置が表示可能な輝度のダイナミックレンジはそれほど広くなく、ヒトが認識可能な輝度のダイナミックレンジよりも狭いものであった。そのため、従来から一般的に用いられている画像フォーマットで規定されたダイナミックレンジ(画像データのダイナミックレンジ)も広くなかった。
近年、従来よりも広いダイナミックレンジを有する画像を表示可能な表示装置が提案されている。また、従来よりも広いダイナミックレンジが規定された画像フォーマットが提案されている(特許文献1)。
このような、従来よりも広いダイナミックレンジは、“HDR(High Dynamic Range)”と呼ばれる。また、HDRを有する画像は“HDR画像”と呼ばれ、HDR画像を表す画像データは“HDR画像データ”と呼ばれる。HDR画像を表示可能な表示装置は、従来よりも暗い暗画像と従来よりも明るい明画像との両方を、画面に同時に表示することができる。そのため、HDR画像を表示可能な表示装置を使用すれば、リアリティ、光沢感、輝き感、迫力、等が高い表示画像(画面に表示された画像)を得ることができる。例えば、物体の表示画像として、ヒトが物体を見た際に知覚する輝度に近い輝度を有する表示画像を得ることができる。同様に、HDR画像データは、リアリティ、光沢感、輝き感、等が高い画像を表現することができる。
上述したように、HDR画像を表示可能な表示装置を使用すれば、リアリティ、光沢感、輝き感、等が高い表示画像を得ることができる。しかしながら、HDR画像を表示した場合、ヒトの視覚の順応の影響により、眼が疲れたり、気分が悪くなったりする視覚的障害が生じる虞がある。例えば、画像の輝度の時間的な増減が繰り返される明滅シーンは、上記視覚的障害をもたらすことがある。
このような課題に鑑みた従来技術は、例えば、特許文献2に開示されている。特許文献2には、明滅シーンのフレームを検出し、検出したフレームの画像データのダイナミックレンジを狭める技術が開示されている。
また、HDR画像を表示可能な表示装置を使用すれば、我々が日常において感じ得る、眼が眩むような「まぶしさ」を有する表示画像を得ることもできる。しかしながら、そのような「まぶしさ」は、視覚的な妨害感や不快感となる虞がある。視覚的な妨害感や不快感をもたらす「まぶしさ」は“グレア”と呼ばれる。特許文献2に開示の技術では、明滅シーンに限って画像データのダイナミックレンジが狭められる。そのため、特許文献2に開示の技術を用いたとしても、明滅シーン以外のシーンにおける視覚的な妨害感や不快感を低減することはできない。例えば、遮蔽物によって隠れていた太陽が現れるシーン、暗い夜道で自動車のヘッドライトから光が発せられるシーン、等における「まぶしさ」を低減することはできない。ユーザが太陽やヘッドライトの領域に注目することは考えにくく、ユーザは、通常、太陽やライトから発せられた光が照射された物体の領域に注目する。従って、太陽やライトの領域における「まぶしさ」に対して、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ可能性は低く、このような「まぶしさ」をユーザが妨害として認識する可能性が高い。
シーンに依らず、画像データのダイナミックレンジを狭める補正を常に行えば、上述した視覚的障害、視覚的な妨害感、及び、視覚的な不快感を低減することができる。しかしながら、画像データのダイナミックレンジを狭める補正を常に行ってしまうと、画像製作者の意図が反映された表示画像を得ることができない虞がある。舞台上でスポットライトを浴びる演者の領域、煌めく貴金属の領域、煌めく宝石の領域、等は、ユーザが注目する可能性が高い領域である。そして、ユーザが注目する領域における「まぶしさ」をユーザが妨害として認識する可能性は低く、このような「まぶしさ」に対して、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ可能性が高い。また、ユーザが注目する可能性が高い領域は、リアリティ、光沢感、輝き感、迫力、等が高い画像の表示を画像制作者が期待(意図)している領域である可能性も高い。しかしながら、画像データのダイナミックレンジを狭める補正を常に行ってしまうと、ユーザが注目する領域においてリアリティ、光沢感、輝き感、迫力、等が低い表示画像が得られてしまう。
本発明は、好適な輝度の画像データを得ることができる技術を提供することを目的とする。
本発明の第1の態様は、
1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得手段と、
前記輝度ヒストグラムから、度数が第1閾値以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出手段と、
前記検出手段で検出されたクラスタが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:第2閾値以下の数のカテゴリからなる
条件2:第3閾値よりも高い輝度値を含む
ことを特徴とする画像処理装置である。
1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得手段と、
前記輝度ヒストグラムから、度数が第1閾値以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出手段と、
前記検出手段で検出されたクラスタが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:第2閾値以下の数のカテゴリからなる
条件2:第3閾値よりも高い輝度値を含む
ことを特徴とする画像処理装置である。
本発明の第2の態様は、
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の空間周波数に関する空間周波数情報と、当該ブロックにおける画像の輝度に関する特徴量と、を前記入力画像データから取得する取得手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:画像の空間周波数が、第1閾値以上の空間周波数である高周波成分を含む
条件2:画像の輝度が、第2閾値よりも高い
ことを特徴とする画像処理装置である。
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の空間周波数に関する空間周波数情報と、当該ブロックにおける画像の輝度に関する特徴量と、を前記入力画像データから取得する取得手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:画像の空間周波数が、第1閾値以上の空間周波数である高周波成分を含む
条件2:画像の輝度が、第2閾値よりも高い
ことを特徴とする画像処理装置である。
本発明の第3の態様は、
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の輝度に関する特徴量を、前記入力画像データから取得する取得手段と、
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出手段で検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:前記所定のオブジェクトの画像の領域を含む
条件2:画像の輝度が、第1閾値よりも高い
ことを特徴とする画像処理装置である。
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の輝度に関する特徴量を、前記入力画像データから取得する取得手段と、
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出手段で検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:前記所定のオブジェクトの画像の領域を含む
条件2:画像の輝度が、第1閾値よりも高い
ことを特徴とする画像処理装置である。
本発明の第4の態様は、
フレーム毎に、そのフレームの入力画像データによって表された画像の輝度に関する特徴量を取得する取得手段と、
前記取得手段で取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出手段と、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出手段で検出された明滅シーンの入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:画像の輝度が第1閾値以上の変動幅で変動する頻度が、第2閾値以上である
条件2:画像の輝度の最大値が第3閾値よりも高い
ことを特徴とする画像処理装置である。
フレーム毎に、そのフレームの入力画像データによって表された画像の輝度に関する特徴量を取得する取得手段と、
前記取得手段で取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出手段と、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出手段で検出された明滅シーンの入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:画像の輝度が第1閾値以上の変動幅で変動する頻度が、第2閾値以上である
条件2:画像の輝度の最大値が第3閾値よりも高い
ことを特徴とする画像処理装置である。
本発明の第5の態様は、
1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得ステップと、
前記輝度ヒストグラムから、度数が第1閾値以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出ステップと、
前記検出ステップで検出されたクラスタが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:第2閾値以下の数のカテゴリからなる
条件2:第3閾値よりも高い輝度値を含む
ことを特徴とする画像処理方法である。
1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得ステップと、
前記輝度ヒストグラムから、度数が第1閾値以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出ステップと、
前記検出ステップで検出されたクラスタが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:第2閾値以下の数のカテゴリからなる
条件2:第3閾値よりも高い輝度値を含む
ことを特徴とする画像処理方法である。
本発明の第6の態様は、
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の空間周波数に関する空間周波数情報と、当該ブロックにおける画像の輝度に関する特徴量と、を前記入力画像データから取得する取得ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:画像の空間周波数が、第1閾値以上の空間周波数である高周波成分を含む
条件2:画像の輝度が、第2閾値よりも高い
ことを特徴とする画像処理方法である。
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の空間周波数に関する空間周波数情報と、当該ブロックにおける画像の輝度に関する特徴量と、を前記入力画像データから取得する取得ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:画像の空間周波数が、第1閾値以上の空間周波数である高周波成分を含む
条件2:画像の輝度が、第2閾値よりも高い
ことを特徴とする画像処理方法である。
本発明の第7の態様は、
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の輝度に関する特徴量を、前記入力画像データから取得する取得ステップと、
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出ステップで検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:前記所定のオブジェクトの画像の領域を含む
条件2:画像の輝度が、第1閾値よりも高い
ことを特徴とする画像処理方法である。
入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の輝度に関する特徴量を、前記入力画像データから取得する取得ステップと、
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出ステップで検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:前記所定のオブジェクトの画像の領域を含む
条件2:画像の輝度が、第1閾値よりも高い
ことを特徴とする画像処理方法である。
本発明の第8の態様は、
フレーム毎に、そのフレームの入力画像データによって表された画像の輝度に関する特徴量を取得する取得ステップと、
前記取得ステップで取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出ステップと、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出ステップで検出された明滅シーンの入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:画像の輝度が第1閾値以上の変動幅で変動する頻度が、第2閾値以上である
条件2:画像の輝度の最大値が第3閾値よりも高い
ことを特徴とする画像処理方法である。
フレーム毎に、そのフレームの入力画像データによって表された画像の輝度に関する特徴量を取得する取得ステップと、
前記取得ステップで取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出ステップと、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出ステップで検出された明滅シーンの入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:画像の輝度が第1閾値以上の変動幅で変動する頻度が、第2閾値以上である
条件2:画像の輝度の最大値が第3閾値よりも高い
ことを特徴とする画像処理方法である。
本発明の第9の態様は、上述した画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラムである。
本発明によれば、好適な輝度の画像データを得ることができる。
<実施例1>
以下、本発明の実施例1に係る画像処理装置及び画像処理方法について説明する。
本実施例に係る画像処理装置には、広いダイナミックレンジを有する画像を表す画像データを入力することができる。本実施例では、広いダイナミックレンジを“HDR(High Dynamic Range)”と記載し、HDRを有する画像を“HDR画像”と記載し、HDR画像を表す画像データを“HDR画像データ”と記載する。HDR画像は、例えば、照明光に照らされたオブジェクトの領域、発光体(太陽、照明、等)の領域、等の非常に明るい領域を有する画像である。
以下、本発明の実施例1に係る画像処理装置及び画像処理方法について説明する。
本実施例に係る画像処理装置には、広いダイナミックレンジを有する画像を表す画像データを入力することができる。本実施例では、広いダイナミックレンジを“HDR(High Dynamic Range)”と記載し、HDRを有する画像を“HDR画像”と記載し、HDR画像を表す画像データを“HDR画像データ”と記載する。HDR画像は、例えば、照明光に照らされたオブジェクトの領域、発光体(太陽、照明、等)の領域、等の非常に明るい領域を有する画像である。
本実施例では、HDR画像データの輝度ヒストグラムが分析される。それにより、HDR画像の高輝度領域が、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域であるか、「まぶしさ」をユーザが妨害として認識する領域であるか、が判断される。そして、高輝度領域の判断結果に基づいて、HDR画像データの輝度が好適な輝度に補正される。「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域は、ユーザが注目する可能性が高い領域である。そこで、本実施例では、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域を、“注目領域”と記載する。また、「まぶしさ」をユーザが妨害として認識する領域は、ユーザが注目しない可能性が高い領域である。そこで、本実施例では、「まぶしさ」をユーザが妨害として認識する領域を、“非注目領域”と記載する。
図2は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
本実施例に係る画像処理装置は、入力画像データ(画像処理装置に入力された画像データ)に画像処理を施し、画像処理が施された画像データを表示部104に出力する。
表示部104は、HDR画像を表示可能な表示部(表示装置)である。表示部104は、表示部104に入力された画像データに基づく画像を画面に表示する。
本実施例に係る画像処理装置は、入力画像データ(画像処理装置に入力された画像データ)に画像処理を施し、画像処理が施された画像データを表示部104に出力する。
表示部104は、HDR画像を表示可能な表示部(表示装置)である。表示部104は、表示部104に入力された画像データに基づく画像を画面に表示する。
なお、表示部104の表示方式や構成は特に限定されない。例えば、発光部と、発光部
から発せられた光を変調することで画面に画像を表示する表示パネルと、を有する表示装置を、表示部104として使用することができる。具体的には、バックライト部と液晶パネルとを有する液晶表示装置を、表示部104として使用することができる。液晶素子の代わりにMEMS(Micro Electro Mechanical System)シャッターを用いたMEMSシャッター方式ディスプレイ装置を、表示部104として使用することもできる。表示部104の発光部として、発光輝度を局所的に変更可能な発光部、発光輝度を局所的に変更不可能な発光部、等を使用することができる。発光輝度を局所的に変更可能な発光部を使用すれば、発光部の発光輝度を制御することによって表示画像(画面に表示された画像)のダイナミックレンジを拡大することができる。具体的には、明るい画像が表示される領域での発光輝度を高い値に制御したり、暗い画像が表示される領域での発光輝度を低い値に制御したりすることによって、表示画像のダイナミックレンジを拡大することができる。プラズマ表示装置、有機EL表示装置、等の自発光型ディスプレイ装置を、表示部104として使用することもできる。
また、図2には、表示部104が画像処理装置と別体の装置である場合の例が示されているが、表示部104は画像処理装置と一体の装置であってもよい。
から発せられた光を変調することで画面に画像を表示する表示パネルと、を有する表示装置を、表示部104として使用することができる。具体的には、バックライト部と液晶パネルとを有する液晶表示装置を、表示部104として使用することができる。液晶素子の代わりにMEMS(Micro Electro Mechanical System)シャッターを用いたMEMSシャッター方式ディスプレイ装置を、表示部104として使用することもできる。表示部104の発光部として、発光輝度を局所的に変更可能な発光部、発光輝度を局所的に変更不可能な発光部、等を使用することができる。発光輝度を局所的に変更可能な発光部を使用すれば、発光部の発光輝度を制御することによって表示画像(画面に表示された画像)のダイナミックレンジを拡大することができる。具体的には、明るい画像が表示される領域での発光輝度を高い値に制御したり、暗い画像が表示される領域での発光輝度を低い値に制御したりすることによって、表示画像のダイナミックレンジを拡大することができる。プラズマ表示装置、有機EL表示装置、等の自発光型ディスプレイ装置を、表示部104として使用することもできる。
また、図2には、表示部104が画像処理装置と別体の装置である場合の例が示されているが、表示部104は画像処理装置と一体の装置であってもよい。
特徴量取得部101は、入力画像データから、入力画像データの輝度に関する特徴量を取得する。本実施例では、特徴量取得部101は、入力画像データから輝度ヒストグラムPを取得する。そして、特徴量取得部101は、輝度ヒストグラムPを高輝度領域判断部102に出力する。輝度ヒストグラムPは、1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数F1として表す。カテゴリが1つの輝度値を含む場合、“カテゴリ”を“輝度値”と読み替えることができる。
高輝度領域判断部102は、特徴量取得部101によって取得された特徴量に基づいて、入力画像データによって表された画像(入力画像)がどのようなシーンの画像であるのかを判断する。具体的には、高輝度領域判断部102は、特徴量取得部101によって取得された特徴量に基づいて、非注目領域である高輝度領域が入力画像に存在するか否かを判断する。そして、高輝度領域判断部102は、判断結果を画像補正部103に出力する。高輝度領域判断部102の処理の詳細については、後述する。
画像補正部103は、高輝度領域判断部102の判断結果に基づいて、入力画像データを補正する(画像処理)。本実施例では、“非注目領域である高輝度領域が入力画像に存在する”と判断された場合に、画像補正部103は、非注目領域である高輝度領域を構成する画素の輝度値が低減されるように、入力画像データを補正する。
高輝度領域判断部102は、クラスタ検出部105と非注目領域検出部106を有する。
クラスタ検出部105は、特徴量取得部101で取得された輝度ヒストグラムPから、度数F1が閾値TH_F(第1閾値)以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する。そして、クラスタ検出部105は、検出結果を非注目領域検出部106に出力する。例えば、検出結果として、検出されたクラスタの最小輝度値と最大輝度値を表す情報が出力される。
非注目領域検出部106は、クラスタ検出部105の検出結果に基づいて、クラスタ検出部105で検出されたクラスタが所定条件を満たすか否かを判断する。そして、非注目領域検出部106は、判断結果を画像補正部103に出力する。例えば、判断結果として、所定条件を満たすクラスタの最小輝度値と最大輝度値を表す情報が出力される。本実施例に係る所定条件は、以下の条件1と条件2を含む。なお、所定条件は、条件1,2以外の条件をさらに含んでいてもよい。
条件1:閾値TH_C(第2閾値)以下の数のカテゴリからなる
条件2:基準値W(第3閾値)よりも高い輝度値を含む
本実施例では、所定条件(条件1,2)を満たすクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われる。そのため、クラスタが所定条件を満たすか否かを判断する処理は、“非注目領域である高輝度領域が入力画像に存在するか否かを判断する処理”と言うこともできる。
なお、輝度値が基準値Wよりも高いか否かに拘らず、所定条件を満たすクラスタに属す輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われてもよい。
条件1:閾値TH_C(第2閾値)以下の数のカテゴリからなる
条件2:基準値W(第3閾値)よりも高い輝度値を含む
本実施例では、所定条件(条件1,2)を満たすクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われる。そのため、クラスタが所定条件を満たすか否かを判断する処理は、“非注目領域である高輝度領域が入力画像に存在するか否かを判断する処理”と言うこともできる。
なお、輝度値が基準値Wよりも高いか否かに拘らず、所定条件を満たすクラスタに属す輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われてもよい。
クラスタ検出部105の処理の具体例を説明する。
本実施例では、クラスタ検出部105は、閾値TH_F以上の度数F1を1に、閾値TH_F未満の度数F1を0に、2値化する。そして、クラスタ検出部105は、2値化後の度数F2が1である1つ以上のカテゴリからなる輝度範囲を、クラスタとして検出する。本実施例では、2つのカテゴリ間の距離Dが閾値TH_D未満であり、且つ、当該2つのカテゴリの度数F2が1である場合、当該2つのカテゴリが同じクラスタに属すものとして扱われる。距離Dは、低輝度側のカテゴリの最大輝度値と、高輝度側のカテゴリの最小輝度値と、の差分値(絶対値)に対応する。
本実施例では、クラスタ検出部105は、閾値TH_F以上の度数F1を1に、閾値TH_F未満の度数F1を0に、2値化する。そして、クラスタ検出部105は、2値化後の度数F2が1である1つ以上のカテゴリからなる輝度範囲を、クラスタとして検出する。本実施例では、2つのカテゴリ間の距離Dが閾値TH_D未満であり、且つ、当該2つのカテゴリの度数F2が1である場合、当該2つのカテゴリが同じクラスタに属すものとして扱われる。距離Dは、低輝度側のカテゴリの最大輝度値と、高輝度側のカテゴリの最小輝度値と、の差分値(絶対値)に対応する。
非注目領域検出部106の処理の具体例を説明する。
本実施例では、非注目領域検出部106は、クラスタ検出部105で複数のクラスタが検出されたか否かを判断する。クラスタ検出部105で検出されたクラスタの総数が1つである場合には、非注目領域検出部106は、当該クラスタに対して重要度(注目度)“高”を割り当てる。そして、クラスタ検出部105で検出されたクラスタの総数が2つ以上である場合には、非注目領域検出部106は、各クラスタに対して、そのクラスタに含まれているカテゴリの総数に応じた重要度を割り当てる。具体的には、非注目領域検出部106は、閾値TH_Cよりも多くのカテゴリを含むクラスタに対して、重要度“高”を割り当て、それ以外のクラスタに対して、重要度“低”を割り当てる。重要度“低”が割り当てられたクラスタは、条件1を満たすクラスタである。そして、非注目領域検出部106は、重要度“低”が割り当てられたクラスタが基準値Wよりも高い輝度値を含むか否かを判断する。重要度“低”が割り当てられ、且つ、基準値Wよりも高い輝度値を含むクラスタは、所定条件(条件1,2)を満たすクラスタである。
本実施例では、非注目領域検出部106は、クラスタ検出部105で複数のクラスタが検出されたか否かを判断する。クラスタ検出部105で検出されたクラスタの総数が1つである場合には、非注目領域検出部106は、当該クラスタに対して重要度(注目度)“高”を割り当てる。そして、クラスタ検出部105で検出されたクラスタの総数が2つ以上である場合には、非注目領域検出部106は、各クラスタに対して、そのクラスタに含まれているカテゴリの総数に応じた重要度を割り当てる。具体的には、非注目領域検出部106は、閾値TH_Cよりも多くのカテゴリを含むクラスタに対して、重要度“高”を割り当て、それ以外のクラスタに対して、重要度“低”を割り当てる。重要度“低”が割り当てられたクラスタは、条件1を満たすクラスタである。そして、非注目領域検出部106は、重要度“低”が割り当てられたクラスタが基準値Wよりも高い輝度値を含むか否かを判断する。重要度“低”が割り当てられ、且つ、基準値Wよりも高い輝度値を含むクラスタは、所定条件(条件1,2)を満たすクラスタである。
本実施例に係る画像処理装置の処理フローの一例について、図3を用いて説明する。図3は、本実施例に係る画像処理装置の処理の流れの一例を示すフローチャートである。
まず、特徴量取得部101が、入力画像データから輝度ヒストグラムPを取得する(S01)。
次に、クラスタ検出部105が、S01で取得された輝度ヒストグラムPの度数F1を2値化することにより、2値化ヒストグラムQを生成する(S02)。具体的には、クラスタ検出部105は、閾値TH_F以上の度数F1を1に、閾値TH_F未満の度数F1を0に、2値化することにより、2値化ヒストグラムQを生成する。
次に、クラスタ検出部105が、S01で取得された輝度ヒストグラムPの度数F1を2値化することにより、2値化ヒストグラムQを生成する(S02)。具体的には、クラスタ検出部105は、閾値TH_F以上の度数F1を1に、閾値TH_F未満の度数F1を0に、2値化することにより、2値化ヒストグラムQを生成する。
そして、複数のカテゴリのそれぞれについて、S03〜S11の処理が行われる。本実施例では、クラスタ検出部105は、複数のカテゴリのそれぞれを、低輝度側のカテゴリから順番に、S03〜S11の処理の対象として選択する。本実施例では、N個(Nは2以上の整数)のカテゴリが設定されており、N個のカテゴリのそれぞれに対して、カテゴリに対応する輝度の増加にともなって番号が1ずつ増加するように、1以上N以下の番号が設定されている。そして、クラスタ検出部105は、変数nを1からNまで1ずつ増加させながら、番号nのカテゴリを処理対象として選択する処理を繰り返し行う。
S03では、クラスタ検出部105が、番号nのカテゴリの度数F2(S02で生成された2値化ヒストグラムQの度数)が0か否かを判断する。図3において、度数F2(n)は、番号nのカテゴリの度数F2である。度数F2(n)が0である場合には、S04に処理が進められ、度数F2(n)が1である場合には、S07に処理が進められる。
S04では、クラスタ検出部105が、以下の条件Aと条件Bの両方が満たされているか否かを判断する。本実施例では、距離Dの初期値は0である。
条件A:距離Dが0である
条件B:番号nが1(初期値)でない
条件Aと条件Bの両方が満たされている場合には、S05に処理が進められ、条件Aと条件Bの少なくとも一方が満たされていない場合には、S06に処理が進められる。
S05では、クラスタ検出部105が、直前に始端カテゴリが決定されたクラスタの終端カテゴリの番号Yeとして、番号n−1を設定する。始端カテゴリはクラスタの始端(低輝度側の端)に相当するカテゴリであり、終端カテゴリはクラスタの終端(高輝度側の端)に相当するカテゴリである。また、クラスタ検出部105は、クラスタ総数(クラスタの総数)CNに1を加算する。クラスタ総数CNの初期値は0である。詳細は後述するが、始端カテゴリは、S08の処理により決定される。
S06では、クラスタ検出部105が、距離Dに1を加算する。その後、N個のカテゴリのそれぞれを処理対象として選択する処理が完了している場合には、S12に処理が進められる。処理対象として選択されていないカテゴリが存在する場合には、番号nを1だけ増加させることによって処理対象のカテゴリが更新され、S03に処理が戻される。
条件A:距離Dが0である
条件B:番号nが1(初期値)でない
条件Aと条件Bの両方が満たされている場合には、S05に処理が進められ、条件Aと条件Bの少なくとも一方が満たされていない場合には、S06に処理が進められる。
S05では、クラスタ検出部105が、直前に始端カテゴリが決定されたクラスタの終端カテゴリの番号Yeとして、番号n−1を設定する。始端カテゴリはクラスタの始端(低輝度側の端)に相当するカテゴリであり、終端カテゴリはクラスタの終端(高輝度側の端)に相当するカテゴリである。また、クラスタ検出部105は、クラスタ総数(クラスタの総数)CNに1を加算する。クラスタ総数CNの初期値は0である。詳細は後述するが、始端カテゴリは、S08の処理により決定される。
S06では、クラスタ検出部105が、距離Dに1を加算する。その後、N個のカテゴリのそれぞれを処理対象として選択する処理が完了している場合には、S12に処理が進められる。処理対象として選択されていないカテゴリが存在する場合には、番号nを1だけ増加させることによって処理対象のカテゴリが更新され、S03に処理が戻される。
なお、複数のクラスタが存在する場合には、番号Ysと番号Yeの組み合わせが複数決定される。そのため、複数の番号Ysと複数の番号Yeを記憶可能な記憶装置を用意し、記憶装置に番号Ys,Yeを記録することが好ましい。記憶装置としては、半導体メモリ、磁気ディスク、光ディスク、等を使用することができる。
S07では、クラスタ検出部105が、以下の条件Cと条件Dの少なくとも一方が満たされているか否かを判断する。本実施例では、クラスタフラグFsの初期値は1である。
条件C:距離Dが閾値TH_D以上である
条件D:クラスタフラグFsが1である
条件Cと条件Dの少なくとも一方が満たされている場合には、S08に処理が進められ、条件Cと条件Dのいずれも満たされていない場合には、S09に処理が進められる。
S08では、クラスタ検出部105が、始端カテゴリの番号Ysとして番号nを設定する。また、クラスタ検出部105は、クラスタフラグFsの値として0を設定する。その後、S09に処理が進められる。
S09では、クラスタ検出部105が、距離Dを0にリセットする。その後、S10に処理が進められる。
条件C:距離Dが閾値TH_D以上である
条件D:クラスタフラグFsが1である
条件Cと条件Dの少なくとも一方が満たされている場合には、S08に処理が進められ、条件Cと条件Dのいずれも満たされていない場合には、S09に処理が進められる。
S08では、クラスタ検出部105が、始端カテゴリの番号Ysとして番号nを設定する。また、クラスタ検出部105は、クラスタフラグFsの値として0を設定する。その後、S09に処理が進められる。
S09では、クラスタ検出部105が、距離Dを0にリセットする。その後、S10に処理が進められる。
S10では、クラスタ検出部105が、番号nが番号Nと等しいか否かを判断する。番号nが番号Nと等しい場合には、S11に処理が進められる。番号nが番号Nよりも小さい場合には、番号nを1だけ増加させることによって処理対象のカテゴリが更新され、S03に処理が戻される。
S11では、クラスタ検出部105が、直前に始端カテゴリが決定されたクラスタの終端カテゴリの番号Yeとして、番号n(=N)を設定する。また、クラスタ検出部105は、クラスタ総数CNに1を加算する。その後、S12に処理が進められる。
S11では、クラスタ検出部105が、直前に始端カテゴリが決定されたクラスタの終端カテゴリの番号Yeとして、番号n(=N)を設定する。また、クラスタ検出部105は、クラスタ総数CNに1を加算する。その後、S12に処理が進められる。
S12では、非注目領域検出部106が、複数のクラスタが検出されたか否かを判断する。具体的には、非注目領域検出部106は、クラスタ総数CNが2以上であるか否かを判断する。複数のクラスタが検出された場合、即ちクラスタ総数CNが2以上である場合
には、S13に処理が進められる。複数のクラスタが検出されなかった場合、即ちクラスタ総数CNが2未満である場合には、本フローチャートが終了される。具体的には、クラスタ総数CNが2未満である場合には、画像補正部103による処理(入力画像データを補正する処理)が省略される。
には、S13に処理が進められる。複数のクラスタが検出されなかった場合、即ちクラスタ総数CNが2未満である場合には、本フローチャートが終了される。具体的には、クラスタ総数CNが2未満である場合には、画像補正部103による処理(入力画像データを補正する処理)が省略される。
複数のクラスタが検出された場合には、複数のクラスタのそれぞれについて、S13〜S15の処理が行われる。本実施例では、非注目領域検出部106は、複数のクラスタのそれぞれを、順番に、S13〜S15の処理の対象として選択する。
S13では、非注目領域検出部106が、処理対象のクラスタを構成するカテゴリの総数が閾値以下であるか否かを判断する。処理対象のクラスタを構成するカテゴリの総数が閾値TH_C以下である場合には、S14に処理が進められる。処理対象のクラスタを構成するカテゴリの総数が閾値TH_Cよりも多く、且つ、各クラスタを処理対象として選択する処理が完了している場合には、本フローチャートが終了される。処理対象のクラスタを構成するカテゴリの総数が閾値TH_Cよりも多く、且つ、処理対象として選択されていないクラスタが存在する場合には、処理対象のクラスタが更新され、S13に処理が戻される。
S14では、非注目領域検出部106が、処理対象のクラスタに基準値Wよりも高い輝度値が含まれているか否かを判断する。例えば、S14では、処理対象のクラスタに対応する番号Yeから、処理対象のクラスタの終端カテゴリが判断される。そして、終端カテゴリの最大輝度値が基準値Wよりも大きい場合に、“処理対象のクラスタに基準値Wよりも高い輝度値が含まれている”と判断される。終端カテゴリの最大輝度値が基準値W以下である場合には、“処理対象のクラスタに基準値Wよりも高い輝度値が含まれていない”と判断される。処理対象のクラスタに基準値Wよりも高い輝度値が含まれている場合には、S15に処理が進められる。処理対象のクラスタに基準値Wよりも高い輝度値が含まれておらず、且つ、各クラスタを処理対象として選択する処理が完了している場合には、本フローチャートが終了される。処理対象のクラスタに基準値Wよりも高い輝度値が含まれておらず、且つ、処理対象として選択されていないクラスタが存在する場合には、処理対象のクラスタが更新され、S13に処理が戻される。
S15では、画像補正部103が、処理対象のクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データを補正する。具体的には、画像補正部103は、処理対象のクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の輝度値からオフセット値を減算する。その後、各クラスタを処理対象として選択する処理が完了している場合には、本フローチャートが終了される。処理対象として選択されていないクラスタが存在する場合には、処理対象のクラスタが更新され、S13に処理が戻される。輝度値からオフセット値を減算する画像処理を行うことにより、処理対象のクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域における階調性を低減せずに、当該領域の輝度を低減することができる。
上記フローチャートを実行することにより、複数のクラスタが検出された場合に、“複数のクラスタに対応する複数のオブジェクト領域(オブジェクトの領域)が入力画像に存在する”と判断される。複数のクラスタが検出された場合には、複数のクラスタのそれぞれについて、そのクラスタが所定条件を満たすか否かが判断される。そして、所定条件を満たすクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域が非注目領域である高輝度領域として扱われて、当該領域を構成する画素の輝度値からオフセット値を減算する画像処理が行われる。検出されたクラスタの総数が1つである場合には、そのクラスタが所定条件を満たしていたとしても、当該クラスタに属す輝度値を有する画素の領域が非注目領域である可能性は低い。そのため、そのような場合には、クラスタが
所定条件を満たすか否かを判断する処理(S13とS14)、及び、入力画像データを補正する処理(S15)は省略される。
所定条件を満たすか否かを判断する処理(S13とS14)、及び、入力画像データを補正する処理(S15)は省略される。
本実施例に係る画像処理装置の処理の具体例について、図4(A)〜4(F)を用いて説明する。
図4(A)〜4(C)には、注目領域である高輝度領域を有し、且つ、非注目領域である高輝度領域を有さない画像データが画像処理装置に入力された場合の例が示されている。具体的には、図4(A)〜4(C)には、図1(A)に示されている画像を表す画像データが画像処理装置に入力された場合の例が示されている。図1(A)に示されている画像には、舞台上でスポットライトを浴びる演者の領域が存在する。舞台上でスポットライトを浴びる演者の領域は、ユーザが注目する可能性が高い領域であり、且つ、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ可能性が高い領域である。
図4(D)〜4(F)には、非注目領域である高輝度領域を有する画像データが画像処理装置に入力された場合の例が示されている。具体的には、図4(D)〜4(F)には、図1(B)に示されている画像を表す画像データが画像処理装置に入力された場合の例が示されている。図1(B)に示されている画像には、太陽の領域が存在する。太陽の領域は、ユーザが注目する可能性が低い領域であり、且つ、「まぶしさ」をユーザが妨害として認識する可能性が高い領域である。
図4(A),4(D)は、特徴量取得部101で取得された輝度ヒストグラムPを示す。図4(B),4(E)は、クラスタ検出部105で生成された2値化ヒストグラムQを示す。図4(C),4(F)は、画像補正部103が出力する画像データの輝度ヒストグラムを示す。
まず、図1(A)に示されている画像を表す画像データが画像処理装置に入力された場合の例について説明する。
クラスタ検出部105は、輝度ヒストグラムPの度数F1が閾値TH_F以上であるか否かの判断結果に基づいて、2値化ヒストグラムQを生成する。閾値TH_Fとして、例えば、入力画像データに含まれているノイズの影響を除外できる値が使用される。閾値TH_Fとして1が使用されてもよい。
図4(A)の輝度ヒストグラムPでは、番号Y11から番号Y12までのカテゴリの度数F1が閾値TH_F以上であり、他のカテゴリの度数F1が閾値TH_F未満である。そのため、番号Y11から番号Y12までのカテゴリの度数F2が1であり、且つ、他のカテゴリの度数F2が0である2値化ヒストグラムQが生成される(図4(B))。
図4(A)の輝度ヒストグラムPでは、番号Y11から番号Y12までのカテゴリの度数F1が閾値TH_F以上であり、他のカテゴリの度数F1が閾値TH_F未満である。そのため、番号Y11から番号Y12までのカテゴリの度数F2が1であり、且つ、他のカテゴリの度数F2が0である2値化ヒストグラムQが生成される(図4(B))。
また、クラスタ検出部105は、度数F2が1である1つ以上のカテゴリからなる輝度範囲を、クラスタとして検出する。
図4(B)の2値化ヒストグラムQでは、上述したように、番号Y11から番号Y12までのカテゴリの度数F2が1であり、他のカテゴリの度数F2が0である。そのため、番号Y11から番号Y12までの複数のカテゴリからなるクラスタ11が検出される(図4(B))。図4(B)の例では、クラスタ11を構成するカテゴリの総数はM11(=Y12−Y11+1)個である。また、クラスタ11は、基準値Wを跨いでいる。ここでは、総数M11が閾値TH_Cよりも多いものとする。
図4(B)の2値化ヒストグラムQでは、上述したように、番号Y11から番号Y12までのカテゴリの度数F2が1であり、他のカテゴリの度数F2が0である。そのため、番号Y11から番号Y12までの複数のカテゴリからなるクラスタ11が検出される(図4(B))。図4(B)の例では、クラスタ11を構成するカテゴリの総数はM11(=Y12−Y11+1)個である。また、クラスタ11は、基準値Wを跨いでいる。ここでは、総数M11が閾値TH_Cよりも多いものとする。
基準値Wとして、例えば、所定の視環境においてユーザがまぶしいと感じる明るさが使用される。そのような明るさ(基準値W)は、例えば、多数の被験者(ユーザ)に対する
実験の結果に基づいて決定することができる。具体的には、複数の被験者のそれぞれについて、その被験者がまぶしいと感じる明るさを調べる実験を行い、複数の被験者に対して得られた複数の明るさの代表値(平均値、最頻値、中間値、最大値、最小値)を、基準値Wとして決定することができる。
実験の結果に基づいて決定することができる。具体的には、複数の被験者のそれぞれについて、その被験者がまぶしいと感じる明るさを調べる実験を行い、複数の被験者に対して得られた複数の明るさの代表値(平均値、最頻値、中間値、最大値、最小値)を、基準値Wとして決定することができる。
図4(B)では、1つのクラスタ11のみが検出されている。そのため、非注目領域検出部106は、“クラスタ11に属す輝度値を有する画素の領域は注目領域である”と判断する。また、非注目領域検出部106は、“クラスタ11に属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域は高輝度領域である”と判断する。具体的には、非注目領域検出部106は、“基準値Wからクラスタ11の最大輝度値までの輝度値を有する画素の「まぶしさ」に対して、ユーザは“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ”と判断する。そして、画像補正部103は、入力画像データを補正する処理を行わずに、入力画像データを出力する。その結果、図4(C)の輝度ヒストグラムが図4(A)のヒストグラムと一致する。
次に、図1(B)に示されている画像を表す画像データが画像処理装置に入力された場合の例について説明する。
図4(D)の輝度ヒストグラムPでは、番号Y21から番号Y22までのカテゴリの度数F1と番号Y23から番号Y24までのカテゴリの度数F1とが閾値TH_F以上であり、他のカテゴリの度数F1が閾値TH_F未満である。そのため、番号Y21から番号Y22までのカテゴリの度数F2と番号Y23から番号Y24までのカテゴリの度数F2とが1であり、且つ、他のカテゴリの度数F2が0である2値化ヒストグラムQが生成される(図4(E))。
図4(E)の2値化ヒストグラムQでは、上述したように、番号Y21から番号Y22までのカテゴリの度数F2と番号Y23から番号Y24までのカテゴリの度数F2とが1であり、他のカテゴリの度数F2が0である。ここでは、番号Y22のカテゴリと番号23のカテゴリとの間の距離Dが、閾値TH_D以上であるものとする。そのため、番号Y21から番号Y22までの複数のカテゴリからなるクラスタ21と、番号Y23から番号Y24までの複数のカテゴリからなるクラスタ22と、の2つのクラスタが検出される(図4(E))。図4(E)の例では、クラスタ21を構成するカテゴリの総数はM21個であり、クラスタ22を構成するカテゴリの総数はM22個である。また、クラスタ21は、基準値Wよりも高い輝度値を含まず、クラスタ22は、基準値Wよりも高い輝度値のみを含む。ここでは、総数M21が閾値TH_Cよりも多く、総数M22が閾値TH_Cよりも少ないものとする。
図4(E)では、2つのクラスタ21,22が検出されている。そのため、非注目領域検出部106は、2つのクラスタ21,22のそれぞれについて、所定条件(条件1,2)を満たすか否かを判断する。
上述したように、クラスタ21は基準値Wよりも高い輝度値を含まず、クラスタ21を構成するカテゴリの総数M21は閾値TH_Cよりも多い。即ち、クラスタ21は所定条件を満たさない。そのため、非注目領域検出部106は、“クラスタ21に属す輝度値を有する画素の領域は注目領域である”と判断する。
上述したように、クラスタ22は基準値Wよりも高い輝度値のみを含み、クラスタ22を構成するカテゴリの総数M22は閾値TH_Cよりも少ない。即ち、クラスタ22は所定条件を満たす。そのため、非注目領域検出部106は、“クラスタ22に属す輝度値を有する画素の領域は非注目領域である”と判断する。また、非注目領域検出部106は、
“クラスタ22に属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域は高輝度領域である”と判断する。具体的には、非注目領域検出部106は、“クラスタ22に属し且つ基準値Wよりも高い輝度値を有する画素の「まぶしさ」を、ユーザが妨害として認識する”と判断する。
“クラスタ22に属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域は高輝度領域である”と判断する。具体的には、非注目領域検出部106は、“クラスタ22に属し且つ基準値Wよりも高い輝度値を有する画素の「まぶしさ」を、ユーザが妨害として認識する”と判断する。
そして、画像補正部103は、クラスタ22に属す輝度値のうち基準値Wよりも高い輝度値を有する画素の輝度値からオフセット値を減算する画像処理を入力画像データに施し、画像処理後の画像データを出力する。上記画像処理により、輝度ヒストグラムは図4(D)の輝度ヒストグラムから図4(F)の輝度ヒストグラムに変化する。また、画像は、図1(B)の画像から図1(C)の画像に変化する。図1(C)では、太陽の領域の輝度が低減されている。即ち、太陽の領域の「まぶしさ」が低減されている。
なお、図4(E)の距離Dが閾値TH_D未満である場合には、番号Y21のカテゴリから番号Y24のカテゴリまでの複数のカテゴリの集まりが1つのクラスタとして検出される。図4(E)の距離Dが閾値TH_D以上である場合には、S08で始端カテゴリの番号Ys=Y21が設定された後、S04で終端カテゴリの番号Ye=Y22が設定される。その後、S08で番号Ys=Y23が設定され、S04で番号Ye=Y24が設定される。しかしながら、図4(E)の距離Dが閾値TH_D未満である場合には、番号Ys=Y21と番号Ye=Y22が設定された後、番号Ys=Y23が設定されることなく、S04で番号Ye=Y24が設定される。その場合には、番号Y21のカテゴリから番号Y24のカテゴリまでの複数のカテゴリの集まりが1つのクラスタとして扱われ、番号Ye=Y24を設定する際に、クラスタ総数CNに1を加算する処理は省略される。
本実施例の効果について説明する。
本実施例では、基準値Wよりも高い輝度値を有する画素の領域が高輝度領域として扱われる。具体的には、条件2を満たすクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域が高輝度領域として扱われる。
オブジェクト領域の輝度範囲が狭い場合、オブジェクト領域にはディテール(細かい表現)が含まれていない可能性が高く、ディテールを確認するためにユーザがオブジェクト領域に注目する可能性は低い。また、発光体(太陽、照明、等)の領域にユーザが注目する可能性は低く、発光体の領域の輝度範囲は狭いことが多い。そして、非注目領域(ユーザが注目する可能性が低い領域)での「まぶしさ」は、ユーザが妨害として認識する「まぶしさ」である可能性が高い。
一方、オブジェクト領域の輝度範囲が広い場合、オブジェクト領域にはディテールが含まれている可能性が高く、ディテールを確認するためにユーザがオブジェクト領域に注目する可能性も高い。また、照明光に照らされたオブジェクトの領域にユーザが注目する可能性は高く、照明光に照らされたオブジェクトの領域の輝度範囲は広いことが多い。そして、注目領域(ユーザが注目する可能性が高い領域)での「まぶしさ」は、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」である可能性が高い。
そのため、クラスタが条件1を満たす場合、クラスタの輝度範囲が狭いため、クラスタに属す輝度値を有する画素の領域が非注目領域(ユーザが注目する可能性が低い領域)である可能性が高い。そして、クラスタが条件1を満たさない場合、クラスタの輝度範囲が広いため、クラスタに属す輝度値を有する画素の領域が注目領域(ユーザが注目する可能性が高い領域)である可能性が高い。そして、非注目領域での「まぶしさ」は、ユーザが妨害として認識する「まぶしさ」である可能性が高い。また、注目領域での「まぶしさ」
は、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」である可能性が高い。
は、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」である可能性が高い。
本実施例によれば、所定条件(条件1,2)を満たすクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の領域が非注目領域である高輝度領域として扱われて、非注目領域である高輝度領域を構成する画素の輝度値が低減される。それにより、ユーザが妨害として認識する「まぶしさ」を低減することができる。また、他の輝度値は補正されないため、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」をもたらす画像データを得ることができる。具体的には、注目領域での「まぶしさ」が維持された画像表示を実現する画像データを得ることができる。
なお、本実施例では、検出されたクラスタの総数が1つであった場合に、入力画像データを補正する処理が省略される例を説明したが、これに限らない。例えば、検出されたクラスタの総数に拘らず、所定条件を満たすクラスタが存在する場合に、入力画像データを補正する処理が行われてもよい。
なお、本実施例で述べた種々の閾値は、メーカー等によって予め定められた固定値であってもよいし、ユーザによって予め設定された値(変更可能な値)であってもよい。また、本実施例で述べた種々の閾値は、画像処理装置等によって自動で決定および変更される値であってもよい。
なお、所定の視環境(照明条件)における白色の輝度に相当する画像データの輝度値が、基準値Wとして使用されてもよい。
また、撮像装置では、LDR表示装置用の画像データを生成する場合に、視環境に応じて、白色を撮影したときの撮像素子のセンサ値が所定値となるように、撮影パラメータ値が設定されることが多い。LDR表示装置は、HDR画像を表示できない表示装置である。換言すれば、LDR表示装置は、ダイナミックレンジが狭い画像しか表示できない表示装置である。そして、撮像装置では、LDR表示装置用の画像データを生成する場合に、白色の輝度に相当する輝度値がLDR表示装置で表示可能な最大輝度値と一致する画像データが生成されることが多い。このような輝度値(白色に相当する輝度値;LDR表示装置で表示可能な最大輝度値)が基準値Wとして使用されてもよい。そのような基準値Wを使用すれば、LDR表示装置で表示可能な最大輝度値よりも高い輝度値によってもたらされる「まぶしさ」を好適に制御することができる。
また、画像処理装置から出力された画像データに基づく画像の視環境に基づいて、基準値Wが決定されてもよい。具体的には、画像処理装置から出力された画像データに基づく画像を表示する表示装置に設けられた外光センサ(表示装置の外光を検出するセンサ)の検出値に基づいて、基準値Wが決定されてもよい。
また、表示装置は、一般的に、ユーザ画質調整部を有する。ユーザ画質調整部は、ユーザ操作に応じた調整値を用いて、ブライトネス調整、ガンマ調整、等の画質調整を行う機能部である。ユーザ画質調整部から取得した調整値に基づいて、基準値Wが決定されてもよい。それにより、画像処理装置から出力された画像データに基づく画像の画質がユーザ画質調整部によって調整された場合にも、本実施例の上記効果を得ることが可能となる。
なお、非注目領域検出部106は、基準値Wよりも高い輝度値と基準値W以下の輝度値との両方を含むクラスタに対して重要度“高”を割り当ててもよい。また、非注目領域検出部106は、基準値Wよりも高い輝度値を含み、且つ、基準値W以下の輝度値を含まないクラスタに対して重要度“低”を割り当ててもよい。即ち、所定条件は、以下の条件3
をさらに含んでいてもよい。
条件3:基準値W以下の輝度値を含まない
をさらに含んでいてもよい。
条件3:基準値W以下の輝度値を含まない
基準値Wよりも高い輝度値と基準値W以下の輝度値とを含むオブジェクト領域に対して、基準値Wよりも高い輝度値のみを低減する画像処理を施した場合、当該オブジェクト領域における画像の印象が大きく変化してしまうことがある。上記条件3を考慮することにより、基準値W以下の輝度値を含むクラスタが所定条件を満たさなくなる。それにより、基準値Wよりも高い輝度値と基準値W以下の輝度値とを含むオブジェクト領域に対して上記画像処理が施されることを抑制できる。そして、基準値Wよりも高い輝度値と基準値W以下の輝度値とを含むオブジェクト領域における画像の印象が上記画像処理によって変化することを抑制することができる。また、基準値Wよりも高い輝度値のみを含むオブジェクト領域については、上記画像処理によりオブジェクト領域内の全ての画素の輝度値が一律に低減されるため、オブジェクト領域における画像の印象が上記画像処理によって大きく変化することはない。
なお、画像補正部103で使用されるオフセット値は、距離Dに基づいて決定されてもよい。例えば、処理対象のクラスタの最小輝度値と、処理対象のクラスタよりも低輝度側に存在するクラスタの最大輝度値と、の差分値(絶対値)以下の値が、オフセット値として使用されることが好ましい。処理対象のクラスタよりも低輝度側に複数のクラスタが存在する場合もある。その場合には、処理対象のクラスタの最小輝度値と、処理対象のクラスタよりも低輝度側に存在し且つ処理対象のクラスタに最も近いクラスタの最大輝度値と、の差分値以下の値が、オフセット値として使用されることが好ましい。それにより、処理対象のクラスタに属す輝度値が他のクラスタに属す輝度値に補正されることを抑制することができ、階調つぶれ等に起因する画質劣化を抑制することができる。
なお、入力画像データの補正方法は、輝度値からオフセット値を減算する上記方法に限らない。例えば、1よりも小さいゲイン値を輝度値に乗算することにより、入力画像データが補正されてもよい。上述したように、オフセット値として上記差分値以下の値を使用することが好ましい。しかしながら、オフセット値として上記差分値以下の値を使用し他場合、十分に輝度値を低減することができないことがある。上記ゲイン値を用いて階調圧縮を行えば、所定対象のクラスタに割り当てられた階調数が減ってしまうものの、十分に輝度値を低減することが可能となる。ゲイン値を用いて輝度値を低減する様子を図5に示す。
なお、入力画像データが静止画像データ(画像の動きが無い(小さい)静止シーンの画像データを含む)である場合には、輝度値の低減量を時間の経過にともなって徐々に低下させてもよい。例えば、時間の経過に伴って、オフセット値を徐々に0に近づけたり、ゲイン値を徐々に1に近づけたりしてもよい。ユーザが輝度の高い表示画像を見た場合、ユーザは、当初はまぶしく感じるが、ヒトの視覚の順応により、次第にまぶしさに慣れ、次第にまぶしさを感じなくなる。視覚の順応を考慮して低減量を徐々に低下させれば、「まぶしさ」をユーザが妨害として認識することを抑制することができ、最終的に本来の表示輝度(入力画像データの輝度値に応じた表示輝度)の表示画像を得ることができる。
なお、オブジェクト領域が非注目領域であるか否かを判断する際に、オブジェクト領域のサイズが考慮されてもよい。例えば、処理対象のクラスタの度数(クラスタに属すカテゴリの度数F1の総和)が閾値TH_S以下である場合に、“処理対象のクラスタに属す輝度値を有する画素の領域は非注目領域である”と判断されてもよい。そして、処理対象のクラスタの度数が閾値TH_S以上である場合に、“処理対象のクラスタに属す輝度値を有する画素の領域は注目領域である”と判断されてもよい。即ち、所定条件は、以下の条件4をさらに含んでいてもよい。
条件4:度数が閾値TH_S未満である
オブジェクト領域のサイズを考慮することにより、オブジェクト領域が非注目領域であるか否かをより高精度に判断することができる。具体的には、クラスタの度数を考慮することにより、クラスタに属す輝度値を有する画素の領域が非注目領域であるか否かをより高精度に判断することができる。
条件4:度数が閾値TH_S未満である
オブジェクト領域のサイズを考慮することにより、オブジェクト領域が非注目領域であるか否かをより高精度に判断することができる。具体的には、クラスタの度数を考慮することにより、クラスタに属す輝度値を有する画素の領域が非注目領域であるか否かをより高精度に判断することができる。
オブジェクト領域のサイズを考慮した場合の具体例を図6(A)〜6(F)に示す。図6(A),6(C),6(D),6(F)は、図4(A),4(C),4(D),4(F)と同じものである。図6(B),6(E)は、オブジェクト領域のサイズを考慮して生成されたヒストグラムである。図6(B),6(E)は、輝度ヒストグラムPと2値化ヒストグラムQから生成することができる。図6(B),6(E)のヒストグラムは、クラスタ毎に度数を表す。クラスタの度数としては、そのクラスタに属すカテゴリの度数F1の総和が使用される。図6(A)では、番号Y11から番号Y12までのカテゴリの総度数はTF11である。そのため、図6(B)では、クラスタ11の度数としてTF11が設定されている。また、図6(D)では、番号Y21から番号Y22までのカテゴリの総度数はTF21であり、番号Y23から番号Y24までのカテゴリの総度数はTF22である。そのため、図6(E)では、クラスタ21の度数としてTF21が設定されており、クラスタ22の度数としてTF22が設定されている。
なお、図7に示すように、画像処理装置は、空間LPF部107をさらに有していてもよい。空間LPF部107は、入力画像データに平滑化処理(2次元の空間ローパスフィルタ処理)を施す。それにより、入力画像を空間的に平滑化した画像を表す画像データが生成される。そして、入力画像データからではなく、空間LPF部107によって生成された画像データから、輝度ヒストグラムが取得されてもよい。平滑化処理は一般的な2次元FIRフィルタやIIRフィルタを用いて実現することができるが、平滑化処理の方法は特に限定されない。
ユーザは、空間的に連続する高輝度領域の面積が大きいほど「まぶしさ」を感じやすい。例えば、満天の星空の画像では、各星の領域(星領域)の面積は小さいため、ユーザは星領域に対して「まぶしさ」を感じにくい。そして、星領域の輝度を低減してしまうと、星領域のリアリティや輝き感が損なわれてしまう。そこで、平滑化処理を行えば、星領域の輝度が背景領域(夜空の暗い領域)の輝度に近づけられたり、星領域周辺の背景領域の輝度が星領域の輝度に近づけられたりする。その結果、星領域に対応する輝度範囲が所定条件を満たすクラスタとして検出されることを抑制することができ、星領域の輝度が低減されることを抑制することができる。ひいては、星領域のリアリティや輝き感が高い高画質な画像を表す画像データを得ることができる。
なお、本実施例で説明した処理(図3のフローチャート)は、フレーム単位で行われてもよいし、そうでなくてもよい。例えば、本実施例で説明した処理は、入力画像の領域を構成する複数のブロックのそれぞれについて行われてもよい。即ち、本実施例で説明した処理は、ブロック毎に行われてもよい。1つの画素の領域がブロックとして扱われてもよいし、複数の画素からなる領域がブロックとして扱われてもよい。画面の領域を構成する複数の部分領域のそれぞれについて発光輝度を個別に制御可能な発光部を有する表示装置が使用される場合には、部分領域に表示すべき画像の領域がブロックとして使用されてもよい。ブロック単位で本実施例に係る処理を行えば、本実施例に係る補正が不要な領域(補正不要領域)における輝度値が補正されてしまうことを抑制することができ、より高画質な画像を表す画像データを得ることができる。
なお、本実施例では、非注目領域である高輝度領域の輝度を低減し、且つ、注目領域である高輝度領域の輝度を低減しない(維持する)例を説明したが、これに限らない。
注目領域の輝度(まぶしさ)を低減して、当該領域の視認性を高めたいというユーザ需要もある。例えば、ユーザが注目する可能性が高い顔や文字の領域が明るすぎてユーザが当該領域のディテールを確認できない、ということが問題となることもある。また、非注目領域はまぶしくてもかまわない、というユーザ需要もある。
そのため、非注目領域である高輝度領域の輝度を低減せず、且つ、注目領域である高輝度領域の輝度を低減してもよい。そのような構成は、例えば、所定条件を満たさないクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データを補正することで、実現することができる。また、非注目領域である高輝度領域と、注目領域である高輝度領域と、のどちらの領域の輝度を低減するのかを、ユーザが選択可能としてもよい。
注目領域の輝度(まぶしさ)を低減して、当該領域の視認性を高めたいというユーザ需要もある。例えば、ユーザが注目する可能性が高い顔や文字の領域が明るすぎてユーザが当該領域のディテールを確認できない、ということが問題となることもある。また、非注目領域はまぶしくてもかまわない、というユーザ需要もある。
そのため、非注目領域である高輝度領域の輝度を低減せず、且つ、注目領域である高輝度領域の輝度を低減してもよい。そのような構成は、例えば、所定条件を満たさないクラスタに属す輝度値のうち基準値Wよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データを補正することで、実現することができる。また、非注目領域である高輝度領域と、注目領域である高輝度領域と、のどちらの領域の輝度を低減するのかを、ユーザが選択可能としてもよい。
注目領域である高輝度領域の輝度を維持すれば、当該領域のリアリティ、光沢感、輝き感、迫力、等が高い画像を表す画像データを得ることができる。また、非注目領域である高輝度領域の輝度を低減すれば、当該領域の「まぶしさ」による視覚的な妨害感や不快感を低減することができる。
一方、注目領域である高輝度領域の輝度を低減すれば、当該領域の視認性が高められた画像を表す画像データを得ることができる。また、非注目領域である高輝度領域の輝度を維持すれば、当該領域のリアリティ、光沢感、輝き感、迫力、等が高い画像を表す画像データを得ることができる。
一方、注目領域である高輝度領域の輝度を低減すれば、当該領域の視認性が高められた画像を表す画像データを得ることができる。また、非注目領域である高輝度領域の輝度を維持すれば、当該領域のリアリティ、光沢感、輝き感、迫力、等が高い画像を表す画像データを得ることができる。
<実施例2>
以下、本発明の実施例2に係る画像処理装置及び画像処理方法について説明する。
実施例1と同様に、本実施例に係る画像処理装置には、HDR画像データを入力することができる。また、本実施例に係る画像処理装置には、動画像を表す動画像データを入力することができる。即ち、本実施例に係る画像処理装置には、動画像のフレーム毎に、そのフレームの画像データを入力することができる。
以下、本発明の実施例2に係る画像処理装置及び画像処理方法について説明する。
実施例1と同様に、本実施例に係る画像処理装置には、HDR画像データを入力することができる。また、本実施例に係る画像処理装置には、動画像を表す動画像データを入力することができる。即ち、本実施例に係る画像処理装置には、動画像のフレーム毎に、そのフレームの画像データを入力することができる。
動画像のシーンとして、画像の輝度の時間的な増減が繰り返される明滅シーンがある。明滅シーンは、輝き感、迫力、等を高めるために、販売販促用の動画像、演劇の動画像、等の種々の動画像にしばしば含まれる。
しかしながら、輝度の増減が激しい明滅シーンは、眼が疲れたり、気分が悪くなったりする視覚的障害を伴う「まぶしさ」をもたらす。また、そのような明滅シーンに対してユーザが輝き感、迫力、等を求めておらず、当該明滅シーンがユーザに視覚的妨害として認識されてしまうことがある。例えば、報道の動画像における、カメラのストロボが連続的に発光する明滅シーンに対してユーザが輝き感、迫力、等を求めることは少なく、当該明滅シーンがユーザに視覚的妨害として認識されることが多い。
しかしながら、輝度の増減が激しい明滅シーンは、眼が疲れたり、気分が悪くなったりする視覚的障害を伴う「まぶしさ」をもたらす。また、そのような明滅シーンに対してユーザが輝き感、迫力、等を求めておらず、当該明滅シーンがユーザに視覚的妨害として認識されてしまうことがある。例えば、報道の動画像における、カメラのストロボが連続的に発光する明滅シーンに対してユーザが輝き感、迫力、等を求めることは少なく、当該明滅シーンがユーザに視覚的妨害として認識されることが多い。
本実施例では、入力画像の輝度の時間変化が分析され、ユーザに視覚的妨害として認識されてしまう明滅シーンが検出される。そして、明滅シーンの検出結果に基づいて、明滅シーンにおける入力画像データの輝度が好適な輝度に補正される。
図9は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
実施例1と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部104に出力する。図9の表示部104は、図2の表示部104と同じものであるため、その説明は省略する。
実施例1と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部104に出力する。図9の表示部104は、図2の表示部104と同じものであるため、その説明は省略する。
特徴量取得部201は、フレーム毎に、そのフレームの入力画像データによって表された画像(入力画像)の輝度に関する特徴量を取得する。そして、特徴量取得部201は、フレーム毎に、そのフレームについて取得した特徴量を、明滅シーン検出部202に出力する。本実施例では、特徴量として、入力画像データの平均輝度値が取得される。
なお、特徴量は平均輝度値(輝度値の平均値)に限らない。例えば、入力画像データの輝度値の最大値、最小値、最頻値、中間値、等が特徴量として取得されてもよい。平均値、最大値、最小値、最頻値、中間値、等は、“代表値”と呼ぶことができる。入力画像データの輝度値のヒストグラム(輝度ヒストグラム)が特徴量として取得されてもよい。
なお、特徴量は平均輝度値(輝度値の平均値)に限らない。例えば、入力画像データの輝度値の最大値、最小値、最頻値、中間値、等が特徴量として取得されてもよい。平均値、最大値、最小値、最頻値、中間値、等は、“代表値”と呼ぶことができる。入力画像データの輝度値のヒストグラム(輝度ヒストグラム)が特徴量として取得されてもよい。
明滅シーン検出部202は、特徴量取得部201によって取得された特徴量に基づいて、明滅シーンとして、所定条件を満たすシーンを検出する。本実施例では、明滅シーン検出部202は、複数のフレームについて取得された複数の特徴量に基づいて、当該複数のフレームのシーンが明滅シーン(所定条件を満たすシーン)か否かを判断する。明滅シーン検出部202は、フレーム毎に、そのフレームを期間基準とする判断対象期間について取得された複数の特徴量に基づいて、当該フレームが明滅シーンのフレームか否かを判断する。判断対象期間は、期間基準のフレームに対して時間的に前に連続する1つ以上のフレームと、期間基準のフレームに対して時間的に後に連続する1つ以上のフレームと、の少なくとも一方の時間位置を含む期間である。判断対象期間は、期間基準のフレームの時間位置を含む期間であってもよいし、期間基準のフレームの時間位置を含まない期間であってもよい。
本実施例に係る所定条件は、以下の条件1と条件2を含む。なお、所定条件は、条件1,2以外の条件をさらに含んでいてもよい。
条件1:画像の輝度(本実施例では平均輝度値)が閾値TH_W(第1閾値)以上の変動幅で変動する頻度が、閾値TH_Fr(第2閾値)以上である
条件2:画像の輝度の最大値が閾値TH_Bm(第3閾値)よりも高い
条件1:画像の輝度(本実施例では平均輝度値)が閾値TH_W(第1閾値)以上の変動幅で変動する頻度が、閾値TH_Fr(第2閾値)以上である
条件2:画像の輝度の最大値が閾値TH_Bm(第3閾値)よりも高い
入力画像の輝度が大きな変動幅且つ高い頻度で繰り返し増減するシーンが高輝度の入力画像を含む場合、当該シーンがユーザに視覚的妨害として認識される可能性が高い。即ち、条件1と条件2の両方を満たすシーンがユーザに視覚的妨害として認識される可能性は高い。そのため、明滅シーン検出部202は、ユーザに視覚的妨害として認識される可能性が高いシーンを、明滅シーンとして検出することができる。
画像補正部203は、明滅シーン検出部202の検出結果に基づいて、入力画像データを補正する。本実施例では、画像補正部203は、表現可能範囲が時間的に徐々に変化し且つ変動幅が閾値TH_W未満の値に制限されるように、検出された明滅シーンの入力画像データを補正する。表現可能範囲は、輝度値の下限値から上限値までの輝度範囲である。変動幅は、入力画像データの輝度値を補正したり、表現可能範囲の幅を狭めたりすることによって、低減することができる。
明滅シーン検出部202の処理の具体例を説明する。
本実施例では、明滅シーン検出部202は、フレーム毎に、そのフレームについて取得された平均輝度値と、当該フレームを隣接基準とする隣接フレームについて取得された平均輝度値と、の差分値(絶対値)を、上記変動幅として算出する。本実施例では、隣接基準のフレームに対して時間的に前に隣接するフレームが、隣接フレームとして扱われる。また、明滅シーン検出部202は、フレーム毎に、そのフレームを期間基準のフレームとして扱う。そして、明滅シーン検出部202は、少なくとも判断対象期間分の平均輝度値と差分値を記憶し、以下の処理を行う。
まず、明滅シーン検出部202は、記憶している差分値のうち閾値TH_W以上の差分値の総数を上記頻度としてカウントし、カウントされた総数TFrが閾値TH_Fr以上であるか否かを判断する。この処理により、判断対象期間のシーンが1フレーム間隔で輝度が増減するシーンか否かを判断することができる。また、明滅シーン検出部202は、記憶している平均輝度値の最大値Bmが閾値TH_Bmよりも高いか否かを判断する。
そして、明滅シーン検出部202は、総数TFr≧閾値TH_Fr且つ最大値Bm>閾
値TH_Bmである場合に、判断対象期間のシーンが明滅シーン(所定条件を満たすシーン)であると判断し、期間対象のフレームが明滅シーンのフレームであると判断する。
本実施例では、明滅シーン検出部202は、フレーム毎に、そのフレームについて取得された平均輝度値と、当該フレームを隣接基準とする隣接フレームについて取得された平均輝度値と、の差分値(絶対値)を、上記変動幅として算出する。本実施例では、隣接基準のフレームに対して時間的に前に隣接するフレームが、隣接フレームとして扱われる。また、明滅シーン検出部202は、フレーム毎に、そのフレームを期間基準のフレームとして扱う。そして、明滅シーン検出部202は、少なくとも判断対象期間分の平均輝度値と差分値を記憶し、以下の処理を行う。
まず、明滅シーン検出部202は、記憶している差分値のうち閾値TH_W以上の差分値の総数を上記頻度としてカウントし、カウントされた総数TFrが閾値TH_Fr以上であるか否かを判断する。この処理により、判断対象期間のシーンが1フレーム間隔で輝度が増減するシーンか否かを判断することができる。また、明滅シーン検出部202は、記憶している平均輝度値の最大値Bmが閾値TH_Bmよりも高いか否かを判断する。
そして、明滅シーン検出部202は、総数TFr≧閾値TH_Fr且つ最大値Bm>閾
値TH_Bmである場合に、判断対象期間のシーンが明滅シーン(所定条件を満たすシーン)であると判断し、期間対象のフレームが明滅シーンのフレームであると判断する。
なお、明滅シーンの検出方法は、上記方法に限らない。例えば、隣接基準のフレームに対して時間的に後に隣接するフレームが、隣接フレームとして扱われてもよい。また、動画像の期間を構成する複数の部分期間のそれぞれについて、その部分期間が明滅シーンか否かを判断してもよい。
なお、明滅シーンは、1フレーム間隔で輝度が増減するシーンに限らない。ユーザが明滅を感じる程度の時間間隔で画像の輝度が増減するシーンであり、且つ、ユーザに視覚的妨害として認識される可能性が高いシーンが、明滅シーンとして検出されればよい。複数フレーム間隔で輝度が増減するシーンが明滅シーンとして検出されてもよい。例えば、複数の明フレーム(明るい画像のフレーム)と複数の暗フレーム(暗い画像のフレーム)とが交互に繰り返されるシーンが明滅シーンとして検出されてもよい。そのような明滅シーンは、時間的に隣り合う極小輝度値と極大輝度値の差分値を変動幅として扱って上記処理を行うことで検出することができる。極小輝度値は、判断対象期間や部分期間での入力画像の輝度の時間変化における輝度の極小値であり、極大輝度値は、判断対象期間や部分期間での入力画像の輝度の時間変化における輝度の極大値である。極小輝度値から極大輝度値へ時間変化する際の差分値のみが変動幅として扱われてもよいし、極大輝度値から極小輝度値へ時間変化する際の差分値のみが変動幅として扱われてもよい、それら両方の差分値が変動幅として扱われてもよい。極大輝度値とその前後の2つの極小輝度値との差分を表す値が、変動幅として扱われてもよい。例えば、極大輝度値と上記2つの極小輝度値の平均値との差分値が、変動幅として扱われてもよい。
なお、明滅シーンは、1フレーム間隔で輝度が増減するシーンに限らない。ユーザが明滅を感じる程度の時間間隔で画像の輝度が増減するシーンであり、且つ、ユーザに視覚的妨害として認識される可能性が高いシーンが、明滅シーンとして検出されればよい。複数フレーム間隔で輝度が増減するシーンが明滅シーンとして検出されてもよい。例えば、複数の明フレーム(明るい画像のフレーム)と複数の暗フレーム(暗い画像のフレーム)とが交互に繰り返されるシーンが明滅シーンとして検出されてもよい。そのような明滅シーンは、時間的に隣り合う極小輝度値と極大輝度値の差分値を変動幅として扱って上記処理を行うことで検出することができる。極小輝度値は、判断対象期間や部分期間での入力画像の輝度の時間変化における輝度の極小値であり、極大輝度値は、判断対象期間や部分期間での入力画像の輝度の時間変化における輝度の極大値である。極小輝度値から極大輝度値へ時間変化する際の差分値のみが変動幅として扱われてもよいし、極大輝度値から極小輝度値へ時間変化する際の差分値のみが変動幅として扱われてもよい、それら両方の差分値が変動幅として扱われてもよい。極大輝度値とその前後の2つの極小輝度値との差分を表す値が、変動幅として扱われてもよい。例えば、極大輝度値と上記2つの極小輝度値の平均値との差分値が、変動幅として扱われてもよい。
画像補正部203の処理の具体例について、図10(A)〜10(C)を用いて説明する。図10(A)は、入力画像の輝度の時間変化の一例を示す。図10(A)の例では、入力画像の輝度の時間的な増減が繰り返されている。また、図10(A)の例では、極大輝度値PH1が高く、変動幅(極大輝度値PH1と極小輝度値PLの差分値)が大きい。そのため、図10(A)の時間変化を示すシーンは、ユーザに視覚的妨害として認識されたり、ユーザに不快感を与えたりする可能性が高い。ここでは、明滅シーン検出部202により、図10(A)の時間変化を示すシーンが、明滅シーン(所定条件を満たすシーン)として検出されたとする。
従来は、図10(B)に示すように、極大輝度値PH1を極大輝度値PH2に低減することにより、変動幅を低減し、視覚的な妨害感や不快感を低減していた。しかしながら、このような補正をしてしまうと、シーンの輝度が常に暗い値となり、輝き感、迫力、等が低減してしまう。
そこで、画像補正部203は、図10(C)に示すように、表現可能範囲が時間的に徐々に変化し且つ変動幅が閾値TH_W未満の値に制限されるように、検出された明滅シーンの入力画像データを補正する。それにより、視覚的な妨害感や不快感を低減することだけでなく、輝き感、迫力、等が低減されることを抑制することも可能となる。
例えば、図10(C)の例では、変動幅R1〜R4が閾値TH_W未満の値に制限されているため、視覚的な妨害感や不快感が低減されている。また、極大輝度値が輝度値PH2から輝度値PH1まで徐々に増加するため、輝き感、迫力、等が徐々に高められる。
なお、変動幅を閾値TH_W未満の値に制限することは必須の処理ではない。表現可能範囲が時間的に徐々に変化させるだけで“視覚的な妨害感や不快感を低減することができ、且つ、輝き感、迫力、等が低減されることを抑制することができる”という上記効果を得ることもできる。
例えば、図10(C)の例では、変動幅R1〜R4が閾値TH_W未満の値に制限されているため、視覚的な妨害感や不快感が低減されている。また、極大輝度値が輝度値PH2から輝度値PH1まで徐々に増加するため、輝き感、迫力、等が徐々に高められる。
なお、変動幅を閾値TH_W未満の値に制限することは必須の処理ではない。表現可能範囲が時間的に徐々に変化させるだけで“視覚的な妨害感や不快感を低減することができ、且つ、輝き感、迫力、等が低減されることを抑制することができる”という上記効果を得ることもできる。
本実施例の効果について図8(A)〜8(C)を用いて説明する。
図8(A)は、入力画像の一例を示す。図8(A)の例では、入力画像の輝度の時間的な増減が繰り返されている。ここでは、明滅シーン検出部202により、図8(A)のフレーム1〜4を含むシーンが、明滅シーン(所定条件を満たすシーン)として検出されたとする。
図8(A)は、入力画像の一例を示す。図8(A)の例では、入力画像の輝度の時間的な増減が繰り返されている。ここでは、明滅シーン検出部202により、図8(A)のフレーム1〜4を含むシーンが、明滅シーン(所定条件を満たすシーン)として検出されたとする。
上述したように、従来は、極大輝度値を低減することにより、変動幅を低減し、視覚的な妨害感や不快感を低減していた。そのため、図8(B)に示すように、図8(A)の明滅シーンが、輝度が常に低いシーンに変換されてしまう。
本実施例によれば、図8(C)に示すように、変動幅が低減されることにより、視覚的な妨害感や不快感を低減することができる。画像の輝度が徐々に高められるように表現可能範囲が徐々に変更されることにより、輝き感、迫力、等を徐々に高めることができる。
なお、本実施例で説明した種々の処理は、フレーム単位で行われてもよいし、そうでなくてもよい。例えば、本実施例で説明した処理は、入力画像の領域を構成する複数のブロックのそれぞれについて行われてもよい。即ち、本実施例で説明した処理は、ブロック毎に行われてもよい。1つの画素の領域がブロックとして扱われてもよいし、複数の画素からなる領域がブロックとして扱われてもよい。画面の領域を構成する複数の部分領域のそれぞれについて発光輝度を個別に制御可能な発光部を有する表示装置が使用される場合には、部分領域に表示すべき画像の領域がブロックとして使用されてもよい。図8(C)は画素単位で処理を行った場合の例を示し、図8(D)はフレーム単位で処理を行った場合の例を示す。図8(C),8(D)から、フレーム単位で処理を行っても、上述した効果と同等の効果が得られることがわかる。画素単位(ブロック単位)で処理を行えば、本実施例に係る補正が不要な領域(補正不要領域)における輝度値が補正されてしまうことを抑制することができ、より高画質な画像を表す画像データを得ることができる。
なお、表現可能範囲を徐々に変化させる際の変化速度は、ヒトの視覚の順応速度に基づいて決定することが好ましい。ヒトの視覚は、視野の明るさに応じて、認識可能なダイナミックレンジが変動する。そして、明滅の速さが視覚の順応速度よりも速い場合、ヒトは、画像の明るさを正確に認識することはできない。そのため、認識可能なダイナミックレンジの変化に合うように、表現可能範囲を変化させることが好ましい。それにより、ユーザに違和感を与えることなく、視覚的な妨害感や不快感を低減することができる。
なお、画像の輝度の時間的な増減が繰り返される周期(明滅周期)よりも長い周期で表現可能範囲が周期的に変化するように、明滅シーン(所定条件を満たすシーン)の入力画像データが補正されてもよい。図11(A)は入力画像の輝度の時間変化の一例を示す。図11(B),11(C)は、図11(A)の明滅周期よりも長い周期で表現可能範囲が周期的に変化させた画像の輝度の時間変化の一例を示す。図11(B)は、変動幅を閾値TH_W未満の値に制限した場合の例を示し、図11(C)は、明滅周期よりも長い周期で変動幅も変化させた場合の例を示す。明滅周期よりも長い周期で表現可能範囲を周期的に変化させることにより、明滅の周波数(明滅周波数)を疑似的に低減することができる。ヒトの視覚が明滅を認識できる明滅周波数の範囲においては、明滅周波数が高いほど視覚的な妨害感や不快感は大きい。そのため、明滅周波数を疑似的に低減することにより、視覚的な妨害感や不快感を低減することができる。また、明滅シーンの極大輝度値として従来よりも高い輝度値を使用することができるため、従来よりも明滅シーンの輝き感、迫力、等が高い画像データを得ることができる。
なお、本実施例で述べた種々の閾値は、メーカー等によって予め定められた固定値であってもよいし、ユーザによって予め設定された値(変更可能な値)であってもよい。また、本実施例で述べた種々の閾値は、画像処理装置等によって自動で決定および変更される
値であってもよい。
値であってもよい。
<実施例3>
以下、本発明の実施例3に係る画像処理装置及び画像処理方法について説明する。
実施例1と同様に、本実施例に係る画像処理装置には、HDR画像データを入力することができる。
以下、本発明の実施例3に係る画像処理装置及び画像処理方法について説明する。
実施例1と同様に、本実施例に係る画像処理装置には、HDR画像データを入力することができる。
本実施例では、入力画像の空間周波数と輝度が分析される。それにより、入力画像の領域が、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域であるか、「まぶしさ」をユーザが妨害として認識する領域であるか、が判断される。そして、領域の判断結果に基づいて、入力画像データの輝度が好適な輝度に補正される。
図13は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
実施例1と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部104に出力する。図13の表示部104は、図2の表示部104と同じものであるため、その説明は省略する。
実施例1と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部104に出力する。図13の表示部104は、図2の表示部104と同じものであるため、その説明は省略する。
ブロック特徴量取得部301は、入力画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける入力画像の空間周波数に関する空間周波数情報と、当該ブロックにおける入力画像の輝度に関する特徴量と、を入力画像データから取得する。そして、ブロック特徴量取得部301は、各ブロックの空間周波数情報と特徴量を、高輝度領域判断部302に出力する。本実施例では、ブロックの特徴量として、当該ブロックにおける入力画像データの最大輝度値(輝度値の最大値)が取得される。また、ブロックにおける画像データを用いて一般的なエッジ検出処理を行うことにより、当該ブロックの空間周波数情報として、エッジ画像データが取得される。エッジ検出処理は、画像に存在するエッジを検出する処理であり、エッジ画像データは、検出されたエッジを表す画像データである。
ブロックの空間周波数情報は、エッジ画像データに限らない。例えば、ブロックにおける画像データを離散コサイン変換(DCT)することにより、当該ブロックの空間周波数情報として、係数(DCT係数)が取得されてもよい。
なお、ブロックの特徴量は、当該ブロックにおける画像データの最大輝度値に限らない。例えば、ブロックにおける入力画像データの輝度値の最小値、最頻値、中間値、平均値、等が、当該ブロックの特徴量として取得されてもよい。ブロックにおける入力画像データの輝度値のヒストグラム(輝度ヒストグラム)が、当該ブロックの特徴量として取得されてもよい。
なお、ブロックの特徴量は、当該ブロックにおける画像データの最大輝度値に限らない。例えば、ブロックにおける入力画像データの輝度値の最小値、最頻値、中間値、平均値、等が、当該ブロックの特徴量として取得されてもよい。ブロックにおける入力画像データの輝度値のヒストグラム(輝度ヒストグラム)が、当該ブロックの特徴量として取得されてもよい。
高輝度領域判断部302は、ブロック特徴量取得部301によって取得された空間周波数情報と特徴量に基づいて、入力画像がどのようなシーンの画像であるのかを判断する。具体的には、高輝度領域判断部302は、ブロック特徴量取得部301によって取得された空間周波数情報と特徴量に基づいて、非注目領域である高輝度領域が入力画像に存在するか否かを判断する。そして、高輝度領域判断部302は、判断結果を画像補正部303に出力する。高輝度領域判断部302の処理の詳細については、後述する。
画像補正部303は、高輝度領域判断部302の判断結果に基づいて、入力画像データを補正する。本実施例では、“非注目領域である高輝度領域が入力画像に存在する”と判断された場合に、画像補正部303は、非注目領域である高輝度領域を構成する画素の輝度値が低減されるように、入力画像データを補正する。
高輝度領域判断部302は、空間周波数解析部305と非注目領域検出部306を有する。
空間周波数解析部305は、複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報に基づいて、当該ブロックにおける入力画像の空間周波数Sfが高周波成分を含むか否かを判断する。高周波成分は、閾値TH_Sf(第1閾値)以上の空間周波数である。本実施例では、空間周波数解析部305は、ブロックにおける入力画像の空間周波数が閾値TH_Sa(第3閾値)以上の量の高周波成分を含む場合に、当該ブロックを、空間周波数が高周波成分を含むブロックとして検出する。具体的には、空間周波数解析部305は、ブロック内のエッジ画素(エッジを構成する画素)の総数が閾値TH_Sa以上である場合に、当該ブロックを、空間周波数が高周波成分を含むブロックとして検出する。そして、空間周波数解析部305は、処理結果を非注目領域検出部306に出力する。例えば、処理結果として、空間周波数が高周波成分を含むブロックを表す情報、等が出力される。
なお、高周波成分の量が大きいか否かに拘らず、空間周波数が高周波成分を含むブロックが検出されてもよい。
なお、高周波成分の量が大きいか否かに拘らず、空間周波数が高周波成分を含むブロックが検出されてもよい。
非注目領域検出部306は、複数のブロックのそれぞれについて、そのブロックが所定条件を満たすか否かを判断する。そして、非注目領域検出部306は、判断結果を画像補正部303に出力する。例えば、判断結果として、所定条件を満たすブロックを表す情報が出力される。本実施例では、空間周波数解析部305の処理結果と、ブロック特徴量取得部301で取得された特徴量と、に基づいて、ブロックが所定条件を満たすか否かが判断される。
本実施例では、非注目領域検出部306は、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、所定条件を満たすと判断する。なお、第1所定条件は、条件1,2以外の条件をさらに含んでいてもよい。
条件1:画像の空間周波数が、高周波成分を含む
条件2:画像の輝度が、閾値TH_B(第2閾値)よりも高い
上述したように、本実施例では、ブロックにおける入力画像の空間周波数が閾値TH_Sa以上の量の高周波成分を含む場合に、当該ブロックが、空間周波数が高周波成分を含むブロックとして検出される。そのため、本実施例では、条件1は、“画像の空間周波数が、閾値TH_Sa以上の量の高周波成分を含む”という条件である。
条件1:画像の空間周波数が、高周波成分を含む
条件2:画像の輝度が、閾値TH_B(第2閾値)よりも高い
上述したように、本実施例では、ブロックにおける入力画像の空間周波数が閾値TH_Sa以上の量の高周波成分を含む場合に、当該ブロックが、空間周波数が高周波成分を含むブロックとして検出される。そのため、本実施例では、条件1は、“画像の空間周波数が、閾値TH_Sa以上の量の高周波成分を含む”という条件である。
また、本実施例では、非注目領域検出部306は、さらに、上記条件2と以下の条件3とを含む第2所定条件を満たすブロックに対して、所定条件を満たすと判断する。なお、第2所定条件は、条件2,3以外の条件をさらに含んでいてもよい。
条件3:第1所定条件を満たすブロックに隣接する
なお、画質の観点から、第2所定条件を満たすブロックに対しても所定条件を満たすと判断されることが好ましいが、第2所定条件を満たすブロックに対しては所定条件を満たすと判断されなくてもよい。
条件3:第1所定条件を満たすブロックに隣接する
なお、画質の観点から、第2所定条件を満たすブロックに対しても所定条件を満たすと判断されることが好ましいが、第2所定条件を満たすブロックに対しては所定条件を満たすと判断されなくてもよい。
本実施例では、所定条件を満たすブロックに含まれる、基準値W(第4閾値)よりも高い輝度値を有する画素の領域が、注目領域である高輝度領域として扱われる。そして、所定条件を満たさないブロックに含まれる、基準値Wよりも高い輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われる。そのため、ブロックが所定条件を満たすか否かを判断する処理は、“非注目領域である高輝度領域が入力画像に存在するか否かを判断する処理”と言うこともできる。
なお、輝度値が基準値Wよりも高いか否かに拘らず、所定条件を満たすブロックが、注目領域である高輝度領域として扱われてもよい。輝度値が基準値Wよりも高いか否かに拘
らず、所定条件を満たさないブロックが、非注目領域である高輝度領域として扱われてもよい。
なお、輝度値が基準値Wよりも高いか否かに拘らず、所定条件を満たすブロックが、注目領域である高輝度領域として扱われてもよい。輝度値が基準値Wよりも高いか否かに拘
らず、所定条件を満たさないブロックが、非注目領域である高輝度領域として扱われてもよい。
画像補正部303の処理の具体例について、図14を用いて説明する。図14は、補正前の輝度値(入力輝度値)と補正後の輝度値(出力輝度値)との対応関係の一例を示す図である。
画像補正部303は、所定条件を満たさないブロックに含まれる、基準値Wよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データを補正する。具体的には、画像補正部303は、所定条件を満たさないブロックに含まれる画素の輝度値を、図14の対応関係に従って変換(非線形変換)する。図14の対応関係によれば、基準値W以下の輝度値を有する画素の輝度値は変換されず、基準値Wよりも高い輝度値を有する画素の輝度値が低減される。
なお、補正前の輝度値と補正後の輝度値との対応関係は、図14の対応関係に限らない。
画像補正部303は、所定条件を満たさないブロックに含まれる、基準値Wよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データを補正する。具体的には、画像補正部303は、所定条件を満たさないブロックに含まれる画素の輝度値を、図14の対応関係に従って変換(非線形変換)する。図14の対応関係によれば、基準値W以下の輝度値を有する画素の輝度値は変換されず、基準値Wよりも高い輝度値を有する画素の輝度値が低減される。
なお、補正前の輝度値と補正後の輝度値との対応関係は、図14の対応関係に限らない。
本実施例によれば、所定条件を満たさないブロックに含まれる、基準値Wよりも高い輝度値を有する画素の領域が非注目領域である高輝度領域として扱われて、非注目領域である高輝度領域を構成する画素の輝度値が低減される。それにより、ユーザが妨害として認識する「まぶしさ」を低減することができる。また、他の輝度値は補正されないため、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」をもたらす画像データを得ることができる。
図12を用いて、本実施例の効果について具体的に説明する。
図12(A)に示されている画像には、舞台上でスポットライトを浴びる演者の領域が存在する。演者の領域の空間周波数は高周波成分を含み、演者の領域の輝度は高い。そのため、本実施例では、図12(A)の画像データが画像処理装置に入力された場合、演者の領域の輝度値は低減されず、演者の領域のリアリティ、光沢感、輝き感、迫力、等が高い画像データを得ることができる。
図12(B)に示されている画像には、太陽の領域と人物の領域とが存在する。太陽の領域の空間周波数は高周波成分を含まず、人物の領域の空間周波数は高周波成分を含む。また、太陽の領域の輝度は高い。そのため、本実施例では、図12(B)の画像データが画像処理装置に入力された場合、図12(C)に示すように、人物の領域の輝度値は低減されず、太陽の領域の輝度値は低減される。その結果、太陽の領域の「まぶしさ」(ユーザが妨害として認識する「まぶしさ」)が低減され、且つ、人物の領域(ユーザが注目する可能性が高い領域)の「まぶしさ」が維持された画像データを得ることができる。
図12(A)に示されている画像には、舞台上でスポットライトを浴びる演者の領域が存在する。演者の領域の空間周波数は高周波成分を含み、演者の領域の輝度は高い。そのため、本実施例では、図12(A)の画像データが画像処理装置に入力された場合、演者の領域の輝度値は低減されず、演者の領域のリアリティ、光沢感、輝き感、迫力、等が高い画像データを得ることができる。
図12(B)に示されている画像には、太陽の領域と人物の領域とが存在する。太陽の領域の空間周波数は高周波成分を含まず、人物の領域の空間周波数は高周波成分を含む。また、太陽の領域の輝度は高い。そのため、本実施例では、図12(B)の画像データが画像処理装置に入力された場合、図12(C)に示すように、人物の領域の輝度値は低減されず、太陽の領域の輝度値は低減される。その結果、太陽の領域の「まぶしさ」(ユーザが妨害として認識する「まぶしさ」)が低減され、且つ、人物の領域(ユーザが注目する可能性が高い領域)の「まぶしさ」が維持された画像データを得ることができる。
なお、本実施例で述べた種々の閾値は、メーカー等によって予め定められた固定値であってもよいし、ユーザによって予め設定された値(変更可能な値)であってもよい。また、本実施例で述べた種々の閾値は、画像処理装置等によって自動で決定および変更される値であってもよい。
なお、非注目領域である高輝度領域の輝度を低減せず、且つ、注目領域である高輝度領域の輝度を低減してもよい。例えば、所定条件を満たすブロックに含まれる、基準値Wよりも高い輝度値を有する画素の輝度値が低減されるように、入力画像データが補正されてもよい。
<実施例4>
以下、本発明の実施例4に係る画像処理装置及び画像処理方法について説明する。
実施例1と同様に、本実施例に係る画像処理装置には、HDR画像データを入力することができる。
以下、本発明の実施例4に係る画像処理装置及び画像処理方法について説明する。
実施例1と同様に、本実施例に係る画像処理装置には、HDR画像データを入力することができる。
本実施例では、入力画像の領域から特定オブジェクト領域(所定のオブジェクトの画像の領域)が検出される。そして、その検出結果に基づいて、入力画像の領域が、「まぶしさ」に対してユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ領域であるか、「まぶしさ」をユーザが妨害として認識する領域であるか、が判断される。その後、その判断結果に基づいて、入力画像データの輝度が好適な輝度に補正される。
図15は、本実施例に係る画像処理装置の機能構成の一例を示すブロック図である。
実施例1と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部104に出力する。図15の表示部104は、図2の表示部104と同じものであるため、その説明は省略する。
実施例1と同様に、本実施例に係る画像処理装置は、入力画像データに画像処理を施し、画像処理が施された画像データを表示部104に出力する。図15の表示部104は、図2の表示部104と同じものであるため、その説明は省略する。
ブロック特徴量取得部401は、入力画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける入力画像の輝度に関する特徴量を、入力画像データから取得する。そして、ブロック特徴量取得部401は、各ブロックの特徴量を、高輝度領域判断部402に出力する。本実施例では、ブロックの特徴量として、当該ブロックにおける入力画像データの最大輝度値が取得される。
なお、ブロックの特徴量は、当該ブロックにおける画像データの最大輝度値に限らない。例えば、ブロックにおける入力画像データの輝度値の最小値、最頻値、中間値、平均値、等が、当該ブロックの特徴量として取得されてもよい。ブロックにおける入力画像データの輝度値のヒストグラム(輝度ヒストグラム)が、当該ブロックの特徴量として取得されてもよい。
なお、ブロックの特徴量は、当該ブロックにおける画像データの最大輝度値に限らない。例えば、ブロックにおける入力画像データの輝度値の最小値、最頻値、中間値、平均値、等が、当該ブロックの特徴量として取得されてもよい。ブロックにおける入力画像データの輝度値のヒストグラム(輝度ヒストグラム)が、当該ブロックの特徴量として取得されてもよい。
高輝度領域判断部402は、ブロック特徴量取得部401によって取得された特徴量に基づいて、入力画像がどのようなシーンの画像であるのかを判断する。具体的には、高輝度領域判断部402は、ブロック特徴量取得部401によって取得された特徴量に基づいて、非注目領域である高輝度領域が入力画像に存在するか否かを判断する。そして、高輝度領域判断部402は、判断結果を画像補正部303に出力する。高輝度領域判断部402の処理の詳細については、後述する。
図15の画像補正部303は、図13の画像補正部303と同じものであるため、その説明は省略する。
図15の画像補正部303は、図13の画像補正部303と同じものであるため、その説明は省略する。
高輝度領域判断部402は、オブジェクト検出部405と非注目領域検出部406を有する。
オブジェクト検出部405は、入力画像データに基づいて、入力画像の領域から特定オブジェクト領域を検出する。本実施例では、入力画像の領域から、顔の画像の領域(顔領域)が検出される。そして、オブジェクト検出部405は、検出結果を非注目領域検出部406に出力する。例えば、検出結果として、特定オブジェクト領域を表す情報が出力される。
なお、特定オブジェクト領域を検出する処理は、画像単位(フレーム単位)で行われてもよいし、ブロック単位で行われてもよい。
なお、特定オブジェクト領域の検出方法は特に限定されない。例えば、特定オブジェクト領域は、パターンマッチングを用いて検出することができる。具体的には、入力画像の領域から肌色の領域を検出し、検出した肌色の領域における入力画像と、予め用意された顔画像(平均的な顔画像)と、の類似度を、パターンマッチングによって決定してもよい。そして、決定した類似度が閾値以上である場合に、“検出された肌色の領域が顔領域で
ある”と判断し、決定した類似度が閾値未満である場合に、“検出された肌色の領域が顔領域でない”と判断してもよい。
ある”と判断し、決定した類似度が閾値未満である場合に、“検出された肌色の領域が顔領域でない”と判断してもよい。
なお、所定のオブジェクトは「顔」に限らない。例えば、特定オブジェクト領域として、文字の画像の領域(文字領域)、発光体(太陽、照明、等)の画像の領域(発光体領域)、等が検出されてもよい。文字領域は、例えば、スキャナ、コピー機、等でしばしば利用されるOCRの技術を用いて検出することができる。文字領域は、パターンマッチングを用いて検出することもできる。発光体領域は、例えば、パターンマッチングを用いて検出することができる。具体的には、画像の平均輝度に対して閾値以上高い輝度を有する領域を検出してもよい。そして、検出した領域における入力画像と、予め用意された発光体画像(発光体の画像)と、の類似度を、パターンマッチングによって決定してもよい。その後、決定した類似度が閾値以上である場合に、“検出された領域が発光体領域である”と判断し、決定した類似度が閾値未満である場合に、“検出された領域が発光体領域でない”と判断してもよい。通常、地球から見た太陽の形状はあまり変化しない。そのため、夜明け、昼間、夕暮れ等のいくつかの時刻における太陽の画像(パターン画像)を用意しておけば、パターンマッチングによって、太陽の領域を検出することができる。オブジェクトの種類が互いに異なる複数の特定オブジェクト領域を検出する場合には、例えば、検出された特定オブジェクト領域とその種類(オブジェクトの種類)とを表す情報が、オブジェクト検出部405から出力される。
非注目領域検出部406は、複数のブロックのそれぞれについて、そのブロックが所定条件を満たすか否かを判断する。そして、非注目領域検出部406は、判断結果を画像補正部303に出力する。例えば、判断結果として、所定条件を満たすブロックを表す情報が出力される。本実施例では、オブジェクト検出部405の検出結果と、ブロック特徴量取得部401で取得された特徴量と、に基づいて、ブロックが所定条件を満たすか否かが判断される。
本実施例では、非注目領域検出部406は、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、所定条件を満たすと判断する。なお、第1所定条件は、条件1,2以外の条件をさらに含んでいてもよい。
条件1:特定オブジェクト領域(顔領域)を含む
条件2:画像の輝度が、閾値TH_B(第1閾値)よりも高い
条件1:特定オブジェクト領域(顔領域)を含む
条件2:画像の輝度が、閾値TH_B(第1閾値)よりも高い
また、本実施例では、非注目領域検出部406は、さらに、上記条件2と以下の条件3とを含む第2所定条件を満たすブロックに対して、所定条件を満たすと判断する。なお、第2所定条件は、条件2,3以外の条件をさらに含んでいてもよい。
条件3:第1所定条件を満たすブロックに隣接する
なお、画質の観点から、第2所定条件を満たすブロックに対しても所定条件を満たすと判断されることが好ましいが、第2所定条件を満たすブロックに対しては所定条件を満たすと判断されなくてもよい。
条件3:第1所定条件を満たすブロックに隣接する
なお、画質の観点から、第2所定条件を満たすブロックに対しても所定条件を満たすと判断されることが好ましいが、第2所定条件を満たすブロックに対しては所定条件を満たすと判断されなくてもよい。
本実施例では、条件1の対象である特定オブジェクト領域として、ユーザが注目する可能性が高い顔領域が使用される。そして、本実施例では、所定条件を満たすブロックに含まれる、基準値W(第2閾値)よりも高い輝度値を有する画素の領域が、注目領域である高輝度領域として扱われる。また、所定条件を満たさないブロックに含まれる、基準値Wよりも高い輝度値を有する画素の領域が、非注目領域である高輝度領域として扱われる。そのため、ブロックが所定条件を満たすか否かを判断する処理は、“非注目領域である高輝度領域が入力画像に存在するか否かを判断する処理”と言うこともできる。
なお、輝度値が基準値Wよりも高いか否かに拘らず、所定条件を満たすブロックが、注目領域である高輝度領域として扱われてもよい。輝度値が基準値Wよりも高いか否かに拘
らず、所定条件を満たさないブロックが、非注目領域である高輝度領域として扱われてもよい。
なお、輝度値が基準値Wよりも高いか否かに拘らず、所定条件を満たすブロックが、注目領域である高輝度領域として扱われてもよい。輝度値が基準値Wよりも高いか否かに拘
らず、所定条件を満たさないブロックが、非注目領域である高輝度領域として扱われてもよい。
上述したように、本実施例では、条件1の対象である特定オブジェクト領域として、ユーザが注目する可能性が高いオブジェクト領域が使用される。しかし、上述したように、オブジェクトの種類が互いに異なる複数の特定オブジェクト領域が検出されることもある。そのような場合には、例えば、以下の処理を行うことにより、第1所定条件を満たすブロックを検出すればよい。
まず、非注目領域検出部406は、検出された特定オブジェクト領域に対して、予め用意された重要度情報に応じた重要度(注目度)を割り当てる。重要度情報は、オブジェクトの種類毎に重要度を表す。顔領域、文字領域、等に対しては、ユーザが注目する可能性が高いため、重要度“高”が割り当てられ、発光体領域、等に対しては、ユーザが注目する可能性が低いため、重要度“低”が割り当てられる。
次に、非注目領域検出部406は、重要度“高”が割り当てられたブロックについて、そのブロックおける入力画像の輝度が閾値TH_Bよりも高いか否かを判断する。
そして、非注目領域検出部406は、重要度“高”が割り当てられ、且つ、画像の輝度が閾値TH_Bよりも高いブロックを、第1所定条件を満たすブロックとして検出する。
次に、非注目領域検出部406は、重要度“高”が割り当てられたブロックについて、そのブロックおける入力画像の輝度が閾値TH_Bよりも高いか否かを判断する。
そして、非注目領域検出部406は、重要度“高”が割り当てられ、且つ、画像の輝度が閾値TH_Bよりも高いブロックを、第1所定条件を満たすブロックとして検出する。
その後、実施例3と同様に、画像処理(補正)が行われる。
本実施例によれば、所定条件を満たさないブロックに含まれる、基準値Wよりも高い輝度値を有する画素の領域が非注目領域である高輝度領域として扱われて、非注目領域である高輝度領域を構成する画素の輝度値が低減される。それにより、ユーザが妨害として認識する「まぶしさ」を低減することができる。また、他の輝度値は補正されないため、ユーザが“リアリティ、光沢感、輝き感、迫力、等が高い”という良い印象を持つ「まぶしさ」をもたらす画像データを得ることができる。
図12を用いて、本実施例の効果について具体的に説明する。
図12(A)に示されている画像には、舞台上でスポットライトを浴びる演者の領域が存在する。本実施例では、図12(A)の画像データが画像処理装置に入力された場合、演者全体の領域、演者の顔の領域、等が、ユーザが注目する可能性が高い特定オブジェクト領域として検出される。そのため、演者の領域の輝度値は低減されず、演者の領域のリアリティ、光沢感、輝き感、迫力、等が高い画像データを得ることができる。
図12(B)に示されている画像には、太陽の領域と人物の領域とが存在する。本実施例では、図12(B)の画像データが画像処理装置に入力された場合、太陽の領域が、ユーザが注目する可能性が低い特定オブジェクト領域として検出されたり、人物の領域が、ユーザが注目する可能性が高い特定オブジェクト領域として検出されたりする。そのため、図12(C)に示すように、人物の領域の輝度値は低減されず、太陽の領域の輝度値は低減される。その結果、太陽の領域の「まぶしさ」(ユーザが妨害として認識する「まぶしさ」)が低減され、且つ、人物の領域(ユーザが注目する可能性が高い領域)の「まぶしさ」が維持された画像データを得ることができる。
図12(A)に示されている画像には、舞台上でスポットライトを浴びる演者の領域が存在する。本実施例では、図12(A)の画像データが画像処理装置に入力された場合、演者全体の領域、演者の顔の領域、等が、ユーザが注目する可能性が高い特定オブジェクト領域として検出される。そのため、演者の領域の輝度値は低減されず、演者の領域のリアリティ、光沢感、輝き感、迫力、等が高い画像データを得ることができる。
図12(B)に示されている画像には、太陽の領域と人物の領域とが存在する。本実施例では、図12(B)の画像データが画像処理装置に入力された場合、太陽の領域が、ユーザが注目する可能性が低い特定オブジェクト領域として検出されたり、人物の領域が、ユーザが注目する可能性が高い特定オブジェクト領域として検出されたりする。そのため、図12(C)に示すように、人物の領域の輝度値は低減されず、太陽の領域の輝度値は低減される。その結果、太陽の領域の「まぶしさ」(ユーザが妨害として認識する「まぶしさ」)が低減され、且つ、人物の領域(ユーザが注目する可能性が高い領域)の「まぶしさ」が維持された画像データを得ることができる。
なお、本実施例で述べた種々の閾値は、メーカー等によって予め定められた固定値であってもよいし、ユーザによって予め設定された値(変更可能な値)であってもよい。また、本実施例で述べた種々の閾値は、画像処理装置等によって自動で決定および変更される値であってもよい。
なお、非注目領域である高輝度領域の輝度を低減せず、且つ、注目領域である高輝度領域の輝度を低減してもよい。例えば、所定条件を満たすブロックに含まれる、基準値Wよ
りも高い輝度値を有する画素の輝度値が低減されるように、入力画像データが補正されてもよい。
りも高い輝度値を有する画素の輝度値が低減されるように、入力画像データが補正されてもよい。
なお、条件1の対象である特定オブジェクト領域として、ユーザが注目する可能性が高いオブジェクト領域ではなく、ユーザが注目する可能性が低いオブジェクト領域が使用されてもよい。
<実施例1〜4に共通の事項>
なお、実施例1〜4では、画像処理装置が表示装置に画像データを出力する例を説明したが、これに限らない。画像処理装置は、補正後の画像データを、表示装置ではなく、記憶装置(磁気ディスク、光ディスク、半導体メモリ、等)に記録してもよい。記憶装置は、画像処理装置に対して着脱可能な装置であってもよいし、画像処理装置から取り外し不可能な装置(画像処理装置に内蔵された装置)であってもよい。画像処理装置により、表示用途の画像データではなく、編集用途の画像データが生成されてもよい。画像処理装置によって編集用途の画像データが生成されれば、ユーザの安全性に配慮した高画質な画像データを作成する際の、画像編集者の手間を減らし、画像編集者が行う編集作業を効率化できる。画像処理装置として、専用の装置が用意されてもよいし、そうでなくてもよい。実施例1〜4で述べた処理を行うソフトウェアプログラム(アプリケーションプログラム)が一般的なパーソナルコンピュータ(PC)で実行されることにより、PCが画像処理装置として機能されてもよい。
なお、実施例1〜4では、画像処理装置が表示装置に画像データを出力する例を説明したが、これに限らない。画像処理装置は、補正後の画像データを、表示装置ではなく、記憶装置(磁気ディスク、光ディスク、半導体メモリ、等)に記録してもよい。記憶装置は、画像処理装置に対して着脱可能な装置であってもよいし、画像処理装置から取り外し不可能な装置(画像処理装置に内蔵された装置)であってもよい。画像処理装置により、表示用途の画像データではなく、編集用途の画像データが生成されてもよい。画像処理装置によって編集用途の画像データが生成されれば、ユーザの安全性に配慮した高画質な画像データを作成する際の、画像編集者の手間を減らし、画像編集者が行う編集作業を効率化できる。画像処理装置として、専用の装置が用意されてもよいし、そうでなくてもよい。実施例1〜4で述べた処理を行うソフトウェアプログラム(アプリケーションプログラム)が一般的なパーソナルコンピュータ(PC)で実行されることにより、PCが画像処理装置として機能されてもよい。
発光輝度を局所的に変更可能な発光部を表示装置の発光部として使用した場合の効果について説明する。このような発光部を使用すれば、部分領域単位で表示画像のダイナミックレンジを向上することができる。しかしながら、部分領域における表示画像のダイナミックレンジが、表示部(表示パネル)のコントラスト比を上回ることはない。このコントラスト比は、発光部から発せられた光を変調することだけで実現可能な表示輝度の範囲に相当する。そのため、部分領域の発光輝度を高い値に制御した場合、明るい画像の表示輝度として高い値を得ることができるが、暗い画像の表示輝度としても高い値が得られてしまうことがある。そのため、画質が劣化した表示画像が得られてしまうことがある。具体的には、黒浮き、ハロー、等が生じた表示画像が得られてしまうことがある。実施例1〜4によれば、注目領域である高輝度領域についてのみ、輝度値が高い値に設定されたり、非注目領域である高輝度領域についてのみ、輝度値が高い値に設定されたりする。それにより、部分領域の発光輝度が不必要に高められることを抑制し、上記画質の劣化を抑制することができる。例えば、注目領域である高輝度領域の輝度値を高い値に設定し、非注目領域である高輝度領域の輝度値を高い値に設定する構成であれば、非注目領域である高輝度領域における発光輝度が低い値に設定される。それにより、非注目領域である高輝度領域やその周辺で黒浮きやハローが発生することを抑制することができる。
<その他の実施例>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
101,201:特徴量取得部 102,302,402:高輝度領域判断部
103,203,303:画像補正部 105:クラスタ検出部
106,306,306:非注目領域検出部 202:明滅シーン検出部
301,401:ブロック特徴量取得部 305:空間周波数解析部
405:オブジェクト検出部
103,203,303:画像補正部 105:クラスタ検出部
106,306,306:非注目領域検出部 202:明滅シーン検出部
301,401:ブロック特徴量取得部 305:空間周波数解析部
405:オブジェクト検出部
Claims (25)
- 1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得手段と、
前記輝度ヒストグラムから、度数が第1閾値以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出手段と、
前記検出手段で検出されたクラスタが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:第2閾値以下の数のカテゴリからなる
条件2:第3閾値よりも高い輝度値を含む
ことを特徴とする画像処理装置。 - 前記所定条件は、以下の条件3をさらに含む
条件3:前記第3閾値以下の輝度値を含まない
ことを特徴とする請求項1に記載の画像処理装置。 - 前記補正手段は、前記検出手段で検出されたクラスタの総数が1つである場合に、前記入力画像データを補正する処理を省略する
ことを特徴とする請求項1または2に記載の画像処理装置。 - 前記入力画像データに平滑化処理を施すことにより、前記入力画像データによって表わされた画像を空間的に平滑化した画像を表す画像データを取得する平滑化手段をさらに有し、
前記取得手段は、前記平滑化手段によって生成された画像データから前記輝度ヒストグラムを取得する
ことを特徴とする請求項1〜3のいずれか1項に記載の画像処理装置。 - 前記補正手段は、前記所定条件を満たすクラスタに属す輝度値のうち前記第3閾値よりも高い輝度値を有する画素の輝度値が低減されるように、前記入力画像データを補正することを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。
- 前記補正手段は、前記所定条件を満たさないクラスタに属す輝度値のうち前記第3閾値よりも高い輝度値を有する画素の輝度値が低減されるように、前記入力画像データを補正する
ことを特徴とする請求項1〜4のいずれか1項に記載の画像処理装置。 - 入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の空間周波数に関する空間周波数情報と、当該ブロックにおける画像の輝度に関する特徴量と、を前記入力画像データから取得する取得手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:画像の空間周波数が、第1閾値以上の空間周波数である高周波成分を含む
条件2:画像の輝度が、第2閾値よりも高い
ことを特徴とする画像処理装置。 - 前記条件1は、“画像の空間周波数が、第3閾値以上の量の高周波成分を含む”という条件である
ことを特徴とする請求項7に記載の画像処理装置。 - 前記判断手段は、さらに、前記条件2と以下の条件3とを含む第2所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件3:前記第1所定条件を満たすブロックに隣接する
ことを特徴とする請求項7または8に記載の画像処理装置。 - 前記補正手段は、前記所定条件を満たすブロックに含まれる、第4閾値よりも高い輝度値を有する画素の輝度値が低減されるように、前記入力画像データを補正する
ことを特徴とする請求項7〜9のいずれか1項に記載の画像処理装置。 - 前記補正手段は、前記所定条件を満たさないブロックに含まれる、第4閾値よりも高い輝度値を有する画素の輝度値が低減されるように、前記入力画像データを補正する
ことを特徴とする請求項7〜9のいずれか1項に記載の画像処理装置。 - 入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の輝度に関する特徴量を、前記入力画像データから取得する取得手段と、
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出手段と、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出手段で検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断手段と、
前記判断手段の判断結果に基づいて、前記入力画像データを補正する補正手段と、
を有し、
前記判断手段は、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:前記所定のオブジェクトの画像の領域を含む
条件2:画像の輝度が、第1閾値よりも高い
ことを特徴とする画像処理装置。 - 前記判断手段は、さらに、前記条件2と以下の条件3とを含む第2所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件3:前記第1所定条件を満たすブロックに隣接する
ことを特徴とする請求項12に記載の画像処理装置。 - 前記所定のオブジェクトは、発光体を含む
ことを特徴とする請求項12または13に記載の画像処理装置。 - 前記所定のオブジェクトは、顔と文字の少なくとも一方を含む
ことを特徴とする請求項12または13に記載の画像処理装置。 - 前記補正手段は、前記所定条件を満たすブロックに含まれる、第2閾値よりも高い輝度値を有する画素の輝度値が低減されるように、前記入力画像データを補正する
ことを特徴とする請求項12〜15のいずれか1項に記載の画像処理装置。 - 前記補正手段は、前記所定条件を満たさないブロックに含まれる、第2閾値よりも高い輝度値を有する画素の輝度値が低減されるように、前記入力画像データを補正する
ことを特徴とする請求項12〜15のいずれか1項に記載の画像処理装置。 - フレーム毎に、そのフレームの入力画像データによって表された画像の輝度に関する特徴量を取得する取得手段と、
前記取得手段で取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出手段と、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出手段で検出された明滅シーンの入力画像データを補正する補正手段と、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:画像の輝度が第1閾値以上の変動幅で変動する頻度が、第2閾値以上である
条件2:画像の輝度の最大値が第3閾値よりも高い
ことを特徴とする画像処理装置。 - 前記補正手段は、前記変動幅が前記第1閾値未満の値に制限されるように、前記明滅シーンの入力画像データを補正する
ことを特徴とする請求項18に記載の画像処理装置。 - 前記補正手段は、画像の輝度の時間的な増減が繰り返される周期よりも長い周期で前記表現可能範囲が周期的に変化するように、前記明滅シーンの入力画像データを補正する
ことを特徴とする請求項18または19に記載の画像処理装置。 - 1つ以上の輝度値を含む輝度範囲であるカテゴリ毎に、そのカテゴリに属す輝度値を有する画素の総数を度数として表す、輝度ヒストグラムを、入力画像データから取得する取得ステップと、
前記輝度ヒストグラムから、度数が第1閾値以上である1つ以上のカテゴリからなる輝度範囲であるクラスタを検出する検出ステップと、
前記検出ステップで検出されたクラスタが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:第2閾値以下の数のカテゴリからなる
条件2:第3閾値よりも高い輝度値を含む
ことを特徴とする画像処理方法。 - 入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の空間周波数に関する空間周波数情報と、当該ブロックにおける画像の輝度に関する特徴量と、を前記入力画像データから取得する取得ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された空間周波数情報と特徴量に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:画像の空間周波数が、第1閾値以上の空間周波数である高周波成分を含む
条件2:画像の輝度が、第2閾値よりも高い
ことを特徴とする画像処理方法。 - 入力画像データが表す画像の領域を構成する複数のブロックのそれぞれについて、そのブロックにおける画像の輝度に関する特徴量を、前記入力画像データから取得する取得ステップと、
前記入力画像データが表す画像の領域から、所定のオブジェクトの画像の領域を検出する検出ステップと、
前記複数のブロックのそれぞれについて、そのブロックに対して取得された特徴量と、前記検出ステップで検出された領域と、に基づいて、当該ブロックが所定条件を満たすか否かを判断する判断ステップと、
前記判断ステップの判断結果に基づいて、前記入力画像データを補正する補正ステップと、
を有し、
前記判断ステップでは、以下の条件1と条件2を含む第1所定条件を満たすブロックに対して、前記所定条件を満たすと判断する
条件1:前記所定のオブジェクトの画像の領域を含む
条件2:画像の輝度が、第1閾値よりも高い
ことを特徴とする画像処理方法。 - フレーム毎に、そのフレームの入力画像データによって表された画像の輝度に関する特徴量を取得する取得ステップと、
前記取得ステップで取得された特徴量に基づいて、画像の輝度の時間的な増減が繰り返される明滅シーンとして、所定条件を満たすシーンを検出する検出ステップと、
輝度値の下限値から上限値までの輝度範囲である表現可能範囲が時間的に徐々に変化するように、前記検出ステップで検出された明滅シーンの入力画像データを補正する補正ステップと、
を有し、
前記所定条件は、以下の条件1と条件2を含む
条件1:画像の輝度が第1閾値以上の変動幅で変動する頻度が、第2閾値以上である
条件2:画像の輝度の最大値が第3閾値よりも高い
ことを特徴とする画像処理方法。 - 請求項21〜24のいずれか1項に記載の画像処理方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014224356A JP2016092576A (ja) | 2014-11-04 | 2014-11-04 | 画像処理装置、画像処理方法、及び、プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014224356A JP2016092576A (ja) | 2014-11-04 | 2014-11-04 | 画像処理装置、画像処理方法、及び、プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2016092576A true JP2016092576A (ja) | 2016-05-23 |
Family
ID=56019729
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014224356A Pending JP2016092576A (ja) | 2014-11-04 | 2014-11-04 | 画像処理装置、画像処理方法、及び、プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2016092576A (ja) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016194362A1 (en) * | 2015-06-04 | 2016-12-08 | Canon Kabushiki Kaisha | Image display apparatus, image output apparatus, and control methods thereof |
| WO2018092467A1 (ja) * | 2016-11-15 | 2018-05-24 | シャープ株式会社 | 表示装置、表示方法および画像処理装置 |
| WO2018180843A1 (ja) * | 2017-03-29 | 2018-10-04 | シャープ株式会社 | 表示装置 |
| CN109461419A (zh) * | 2018-12-24 | 2019-03-12 | 惠科股份有限公司 | 一种显示数据处理方法、系统及显示装置 |
| JP2020009136A (ja) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
| CN116109526A (zh) * | 2023-04-12 | 2023-05-12 | 深圳市昂星科技有限公司 | 基于车辆后视镜的显示画面增强方法及系统 |
| JP2024543288A (ja) * | 2022-10-31 | 2024-11-21 | グーグル エルエルシー | 低ダイナミックレンジと互換性を有する高ダイナミックレンジ画像フォーマット |
-
2014
- 2014-11-04 JP JP2014224356A patent/JP2016092576A/ja active Pending
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2016194362A1 (en) * | 2015-06-04 | 2016-12-08 | Canon Kabushiki Kaisha | Image display apparatus, image output apparatus, and control methods thereof |
| US10839758B2 (en) | 2015-06-04 | 2020-11-17 | Canon Kabushiki Kaisha | Image display apparatus, image output apparatus, and control methods thereof |
| WO2018092467A1 (ja) * | 2016-11-15 | 2018-05-24 | シャープ株式会社 | 表示装置、表示方法および画像処理装置 |
| WO2018180843A1 (ja) * | 2017-03-29 | 2018-10-04 | シャープ株式会社 | 表示装置 |
| JP2020009136A (ja) * | 2018-07-06 | 2020-01-16 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
| JP7280670B2 (ja) | 2018-07-06 | 2023-05-24 | キヤノン株式会社 | 画像処理装置、制御方法、及びプログラム |
| CN109461419A (zh) * | 2018-12-24 | 2019-03-12 | 惠科股份有限公司 | 一种显示数据处理方法、系统及显示装置 |
| JP2024543288A (ja) * | 2022-10-31 | 2024-11-21 | グーグル エルエルシー | 低ダイナミックレンジと互換性を有する高ダイナミックレンジ画像フォーマット |
| CN116109526A (zh) * | 2023-04-12 | 2023-05-12 | 深圳市昂星科技有限公司 | 基于车辆后视镜的显示画面增强方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2016092576A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
| US20230419463A1 (en) | System and method for real-time tone-mapping | |
| Zhou et al. | Lednet: Joint low-light enhancement and deblurring in the dark | |
| KR100782845B1 (ko) | 비로그 도메인 조도 수정을 이용한 디지털 영상 개선방법과 시스템 | |
| Lin et al. | Multi-scale retinex improvement for nighttime image enhancement | |
| KR102145201B1 (ko) | 이미지의 동적 범위 향상을 위한 방법 및 장치 | |
| JP6758891B2 (ja) | 画像表示装置及び画像表示方法 | |
| US7573533B2 (en) | Method of generating transfer curves for adaptive contrast enhancement | |
| US9396526B2 (en) | Method for improving image quality | |
| CN105191277B (zh) | 基于引导式滤波器的细节增强 | |
| JP2010503056A (ja) | 画像の強調の方法及び装置 | |
| EP3190585A1 (en) | Image adjusting method capable of executing optical adjustment according to environmental variation and related display | |
| EP1703462B1 (en) | System or method for enhancing an image | |
| Simon Chane et al. | Event-based tone mapping for asynchronous time-based image sensor | |
| US11310440B2 (en) | Image processing apparatus, surveillance camera system, and image processing method | |
| CN114022390B (zh) | 星芒添加方法、装置、计算机设备及可读存储介质 | |
| CN112819699A (zh) | 视频处理方法、装置及电子设备 | |
| CN105210360A (zh) | 影像显示装置 | |
| CN110402455B (zh) | 影像显示装置 | |
| JP6627530B2 (ja) | 画像処理装置及びプログラム | |
| Ahila Priyadharshini et al. | A combined approach of color correction and homomorphic filtering for enhancing underwater images | |
| Carbonaro et al. | A comprehensive approach to image-contrast enhancement | |
| JP4795314B2 (ja) | フリッカ補正装置及びフリッカ補正方法 | |
| Lee et al. | Visual sensitivity correlated tone reproduction for low dynamic range images in the compression field | |
| CN113436106A (zh) | 水下图像的增强方法、装置及计算机存储介质 |