WO2006059365A1

WO2006059365A1 - 画像処理装置、非撮像色信号算出装置及び画像処理方法

Info

Publication number: WO2006059365A1
Application number: PCT/JP2004/017769
Authority: WO
Inventors: Masashi Tamura; Narihiro Matoba; Hiroaki Sugiura; Tetsuya Kuno
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2004-11-30
Filing date: 2004-11-30
Publication date: 2006-06-08
Also published as: EP1819175B1; US7889252B2; US20080043131A1; EP1819175A1; JPWO2006059365A1; CN101049027A; EP1819175A4; JP4725520B2; CN100589582C

Abstract

注目する画素の第Ｈの補間色に対応する非撮像色信号を算出する第１の算出手段と、注目する画素の撮像色に対応する第Ｊの撮像色信号に、第Ｈの二次元ローパスフィルタ出力と第Ｊの二次元ローパスフィルタ出力の比を乗じ非撮像色信号を算出する第２の算出手段と、第１の算出手段による算出結果と上記第２の算出手段による算出結果とを使用して注目する画素の第Ｈの補間色に対応する非撮像色信号を算出する第３の算出手段とを備えた。

Description

明細書

画像処理装置、非撮像色信号算出装置及び画像処理方法

技術分野

[0001] 各光電変換素子上に赤色 (R色）、緑色 (G色）、又は青色 (B色)用のいずれか 1種類のカラーフィルタを貼り付け、光電変換素子を画像を形成する画素として、二次元状に配置した 1枚の二次元撮像素子 (以下、撮像素子)を用い、撮像で得られた画像情報につ、て各光電変換素子では得られな、色信号 (補間色)をその光電変換素子の周辺に配置された光電変換素子力得られる同じ色の色信号を用いて算出し、疑似的に各光電変換素子で R色、 G色及び B色の各色の信号レベルを得る手段に関するものである。

背景技術

[0002] CCD (Charge Coupled Devices)の撮像素子を用いた画像入力装置にお!/、ては、各光電変換素子上に赤色 (R色）、緑色 (G色）、又は青色 (B色)用のいずれか 1種類のカラーフィルタを貼り付け、光電変換素子を画像を形成する画素として、二次元状に配置した 1枚の撮像素子を用い、撮像で得られた画像情報にっヽて各光電変換素子では得られない色信号 (補間色)をその光電変換素子の周辺に配置された光電変換素子力得られる同じ色の色信号を用いて算出し、疑似的に各光電変換素子で R 色、 G色及び B色の各色の信号レベルを得る撮像方法がある。図 10は一般的な Bay er型配列で光電変換素子を配置した例を示している。なお、各光電変換素子は、撮像素子によって撮像される画像の各画像を担っている。また、 m行 n列の位置の画素の色は、この位置に配置されている光電変換素子で得られる信号 (撮像色信号）に依存する。

[0003] 撮像素子で得られた画像情報力ゝら色信号補間を行ってカラー画像を得る方法として従来技術の線形補間法について説明する（以下、従来技術 1)。各光電変換素子は、 1種類の色信号 (撮像色信号)しか得られず、各光電変換素子において得ることのできな!/、他の色の信号 (非撮影色信号)をこの非撮像色信号と同じ色の信号を出力する周辺に配置された他の光電変換素子の出力信号力生成する。今、 G色の信号に着目すると、図 11に示す位置で、撮像によって得られた G信号 (大文字" G"で表記）が存在する。色信号を補間生成する対象の画素である注目画素について、この注目画素に隣接する前後左右の 4つの画素の信号力線形補間法によって平均値を算出し G信号の存在しない画素における G信号 (小文字" g"で表記）を生成することにより全画素分の G信号を得ることができる。また、 B信号に着目すると、図 12に示すように隣接する上下の 2つ画素の B信号力も bl信号を、上下左右の 4つの画素の B信号力も b2信号を、左右の 2つの画素の B信号力も b3信号を生成することにより全画面分の B信号をそれぞれ線形補間法等によって得る。 R信号においても図 13に示すように B信号と同様の方法にて全画素分の信号を補間することが出来る。上記の方法によって全画素における R, G及び B信号を得ることが出来る（この線形補間は、例えばローパスフィルタを使う）。

[0004] しかしながら、従来技術 1の方法では、十分な解像度を得ることが出来ず画像のエツジ部分に本来の被写体には存在しない偽色が発生するという問題があった。これは、画像が各画素上に 1色のカラーフィルタを配置して撮像されていることに起因する。すなわち、各画素上に 1色のカラーフィルタを配置して撮像されるため空間周波数特性や位相が異なり、従来技術 1の線形補間法では高周波成分を十分に復元できずに各 R、 G、 B色とも画素数分だけの解像度が得られないことよる。

[0005] 力かる問題を解決するために、本出願人は特開平 5— 56446号公報（以下、従来技術 2)にお、て色相関性を用いて高解像度かつ偽色を良好に抑制した色補間を行う方法について出願をしている。以下、従来技術 2について説明する。

[0006] 図 10において、注目画素が m行 n列の Gの位置である場合の R、 B信号レベルの算出方法は式 1、式 2のように異なる色間での信号変化の変化率 (式 1では、 G に対

LPF

する R の比、式 2では、 G に対する B の比）を求めることで行う。ここで、 R は

LPF LPF LPF LPF

R信号をローパスフィルタ (LPF)に入力させた場合の出力値である LPF出力値、 G

LP

は Gの LPF出力値、 B は Bの LPF出力値を示し、 G (m, n)は撮像画素のうち注

F LPF

目画素 Gの位置の光電変換素子により実際に撮像され得られる出力信号である撮像色信号を示す。 R (m, n)は Gの位置において算出する補間色 Rの信号値を示し、 B ( m, n)は Gの位置において算出する補間色 Bの信号値を示している。これら R(m, n) 、 B (m, n)は実際に撮像された撮像色信号である G (m, n)を用いて以下に示す式 1 と式 2によって求めることができる。なお、 G (m, n)は R(m, n)、 B (m, n)を求める際に参照される色であるため参照色とも呼ばれる。

[0007] [数 1] {πι, ή) = β{πι, η) — ~ ――— (式 ι ) ijLPF .

[0008] [数 2]

5(m,w) = G(w,«) x - ~ ———— （式 2 )

LTLPF 式 1又は式 2を一般ィ匕して、注目画素の撮像色を J色とし、この位置を (m,n)とすると、位置 (m, n)において、 J色とは異なる種類の Hの色を補間色として補間生成する場合の算出方法は式 3で表される。

[0009] [数 3]

Him, n) = J(m,n) x (式 3 )

従来技術 2の方法は、輝度信号の変化に比べて色信号の変化が少ない、言い換えれば異なる色間で色相関性が高い領域があるという、撮像画像の一般的な特徴を用いている。図 14は、式 3を用いて Gカラーフィルタが存在する画素位置において R色を補間生成する場合の模式図である。図は説明の簡略化のため一次元方向のみの撮像素子を考えた場合を示している。図において、黒丸印及び白丸印で示される信号は実際に撮像素子により撮像された各色の信号レベルを示している。 2点鎖線で示すグラフは参照色である G色信号の信号変化を、実線で示すグラフは G色のカラ一フィルタが存在する画素位置で R色信号が正しく補間された場合の期待される信号変化を示している。図において、従来技術 1の線形補間法を用いて補間した場合に生成される R色信号は二重線上のバッ印の信号レベルとして生成される。この場合、信号レベル変化の緩慢な領域では問題なく妥当な信号レベル値が生成されるが、画像のエッジにおける信号レベル変化の急峻な領域では補間される色信号が十分再現されず、色間の信号変化に偏りが生じて本来な、偽色として知覚されるようになる。これに対して、従来技術 2の方法を用いて補間色の補間を行った場合生成される色信号は、図の星印に示される信号レベルとして再現される。従って、画像中のエツジを十分に再現することで得られるフルカラー画像は高解像度かつ偽色の少ない高画質なものとなる。

[0010] しかし、従来技術 2の方法は補間色を求める際に参照色の局所的な信号レベルの変化率を用いているため、特有の画質劣化を生じる場合があった。図 15は従来技術 2 の方法で色補間を行った場合に画質劣化を生じる場合の模式図である。図のように、参照する信号レベルの LPF出力値が小さぐかつセンサ出力信号が暗部ノイズの影響等によって変化を伴い、補間生成する信号レベルの LPF出力値が高い場合、即ち有彩色領域では参照色信号の変化に比例的に反応するかたちで補間色信号が大きな変化を生じ、結果的に注目画素が本来画像中にない黒ずみや白抜けを生じることがある。

[0011] 例えば、 R、 G、 B信号が各 10ビット（0乃至 1023の範囲、 0:暗、 1023:明）である撮像装置を想定し、図 15において局所的な信号レベルとして G 1=4、 G3 = l、 G5=4 、 R2=R4= 1023であり、かつ各 LPFは単純平均で算出するものとした場合、式 3 は具体的には式 4乃至式 6の演算を行うことになる。

[0012] 画

G L P F = (4 + 1 + 4) / 3 = 3 ― ~— (式 4 )

[0013] [数 5]

R L P F = ( 1 0 2 3 + 1 0 2 3 ) / 2 = 1 0 2 3― (式 5 )

[0014] 園

r 3 =G 3 X R L P F/G L P F = 1 X I 0 2 3 / 3 = 3 4 1 (式 6 ) 従って、生成される補間信号値 r3は同色の周辺に配置された画素の信号レベルに比較して極端に小さい値になる。すなわち、従来技術 2は、撮像素子を用いた撮像

、て色信号を補間する方法として高画質かつ偽色の少な、有効なものである力センサのノイズ特性の影響や撮像した絵柄によっては方法固有の画質劣化を引き起こすと、う問題点があった。 [0015] 特許文献 1 :日本国特許出願公開番号特開平 5-56446号

特許文献 2 :日本国特許出願公開番号特開 2001-078211号

特許文献 3 :日本国特許出願公開番号特開 2000-165894号

非特許文献 1：「National Technical Report] (Vol. 31 No. 1 Feb. 1985)株式会社松下テクノリサーチ発行、株式会社オーム社発売

発明の開示

発明が解決しょうとする課題

[0016] 本発明は、従来技術 1だけを使用した場合には画像において十分な解像度を得ることが出来ず画像のエッジ部分に本来の被写体には存在しない偽色が発生するという問題点があり、従来技術 2だけを使用した場合には画素が本来画像中にない黒ずみや白抜けを生じることがあるという問題点がある。

課題を解決するための手段

[0017] かかる目的を達成するために、第 1から第 Nの N種類の分光感度特性のうちの何れ力一種類の分光感度特性を有する光電変換素子を二次元平面上に配列した撮像素子により画像を得る画像処理装置において、注目する画素の周辺の画素の第 Hの分光感度特性の光電変換素子力出力される撮像色信号に基づいて、注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 1の算出手段と、光電変換素子の撮像色信号を二次元ローパスフィルタに入力することにより二次元ローノスフィルタ出力を得、注目する画素の撮像色に対応する第 Jの撮像色信号に、注目する画素における第 Hの二次元ローパスフィルタ出力と注目する画素における第 Jの二次元ローパスフィルタ出力の比を乗じ、注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 2の算出手段と、第 1の算出手段による算出結果と上記第 2の算出手段による算出結果とを使用して注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 3の算出手段と、を備えたことを特徴とするものである。発明の効果

[0018] 本発明によれば、第 1から第 Nの N種類の分光感度特性のうちの何れか一種類の分光感度特性を有する光電変換素子を二次元平面上に配列した撮像素子により画像を得る画像処理装置において、注目する画素の周辺の画素の第 Hの分光感度特性の光電変換素子力出力される撮像色信号に基づいて、注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 1の算出手段と、光電変換素子の撮像色信号を二次元ローパスフィルタに入力することにより二次元ローパスフィルタ出力を得、注目する画素の撮像色に対応する第 Jの撮像色信号に、注目する画素における第 Hの二次元ローパスフィルタ出力と注目する画素における第 Jの二次元ローパスフィルタ出力の比を乗じ、注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 2の算出手段と、第 1の算出手段による算出結果と上記第 2の算出手段による算出結果とを使用して注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 3の算出手段と、を備えるために、従来技術 1と従来技術 2の特長を生力したまま画質劣化の発生を良好に抑制可能な実用性の高い撮像装置を得ることができる。

図面の簡単な説明

[図 1]は、本発明の実施の形態 1における全体ブロック図である。

[図 2]は、 Rの信号が 2次元メモリ 6aに書き込まれている様子示す図である。

[図 3]は、 Gの信号が 2次元メモリ 6bに書き込まれている様子示す図である。

[図 4]は、 Bの信号が 2次元メモリ 6cに書き込まれて、る様子示す図である。

[図 5]は、 2次元 LPF7aの出力を示す図である。

[図 6]は、 2次元 LPF7bの出力を示す図である。

[図 7]は、 2次元 LPF7cの出力を示す図である。

[図 8]は、本実施の形態 2における定数項 Mを変化させた場合の、 J (m, n)、 J 力も

LPF

の補間演算数に及ぼす影響度合、を示した図である。

[図 9]は、本発明の実施の形態 3における全体ブロック図である。

[図 10]は、撮像素子として一般的な Bayer型配列で原カラーフィルタを構成する例

[図 11]は、線形補間により「G」を生成する例を示す図である。

[図 12]は、線形補間により「b」を生成する例を示す図である。

[図 13]は、線形補間により「r」を生成する例を示す図である。

[図 14]は、 Gカラーフィルタが存在する画素位置の R色を補間生成する場合の模式図である。

[図 15]は、 Gカラーフィルタが存在する画素位置の R色を補間生成する場合の模式図である。

符号の説明

[0020] 1 レンズ

2 撮像素子

3 Α/Ό

4 フレームメモリ

5 マルチプレクサ

6a乃至 6c 2次元メモリ

7a乃至 7c 2次元 LPF

8 演算回路

9 係数演算回路

10 レジスタ

発明を実施するための最良の形態

[0021] 実施の形態 1.

以下、本発明の実施の形態 1を図を用いて説明する。図 1は、本発明の実施の形態 1を示す全体ブロック図である。 R色、 G色及び B色の 3原色のカラーフィルタが貼り付けられた光電変換素子を Bayer型に配列した撮像素子を用いて、 R信号、 G信号及び B信号の 10ビットのディジタル静止画像をディジタルスチルカメラで実現する場合について説明する。

[0022] 図 1にお、て、 1は被写体からの入射光を集光するレンズ、 2はレンズを通して入射した光を光電変換する撮像素子、 3は撮像素子から出力されるアナログ画像信号をデイジタル画像信号に変換する A,D変換器、 4は 1画面分のディジタル画像信号を一時記憶するフレームメモリ、 5はフレームメモリ 4上の画像データ力画素位置に応じて R、 G、 B各信号に分別するマルチプレクサ、 6a乃至 6cは各々 R、 G、 B信号に対応した 2次元メモリ、 7a乃至 7cは各々 R、 G、 B信号に対応したローパスフィルタ（以下、 LPFと称す）、 8は各色の LPF出力値を参照して注目画素における非撮像色信号を算出する演算回路、 9は 2次元 LPF7a乃至 7cの出力値を元に後述する補間強度係数値 K (以下、係数 K)を算出する係数演算回路である。

[0023] 次に、動作について説明する。図 1において、レンズ 1から入射した光は、撮像素子 2 に結像する。撮像素子 2では入射光を光電変換しアナログ電気信号として出力する。出力されたアナログ電気信号は AZD変換器 3によりディジタル電気信号に変換されフレームメモリ 4へ入力される。フレームメモリ 4に蓄積された画像信号は図示しない制御手段によってマルチプレクサ 5に順次送信され、マルチプレクサ 5で各色ごとに分配され R、 G、 B色の各信号がそれぞれ別々に 2次元メモリ 6a乃至 6cに書き込まれる。各色の有意な画像信号が 2次元メモリ 6a乃至 6cに書き込まれている様子を図 2 乃至図 4に示す。これらの図に示された画像信号は LPF7a乃至 7cを通すことにより平滑化される。即ち、 LPFは注目画素を中心として例えば図 2乃至図 4内の画像信号の平均値として線形補間出力する。図 5乃至図 7に 2次元 LPF7a乃至 7cの出力を示す。 2次元 LPF7a乃至 7cから出力された R、 G、 B各色の LPF出力値は係数演算回路 9に入力される。

[0024] 次に、係数演算回路 9について説明する。例えば Rカラーフィルタが配置されて撮像されている画素（以下、 R画素位置）における G色の補間色を生成する場合、係数演算回路 9では撮像色である R色の周辺に配置された画素から算出した LPF出力値 R LPF、 G色の周辺周辺に配置された画素力算出した LPF出力値 GLPF、注目画素における撮像された撮像色 (参照色)である Rの信号値 RRから、式 7に従って係数 Kを算出する。

[0025] [数 7]

(式 7 )

ここで、変数 Drは入力画像信号のダイナミックレンジを示し、 Dr²で割ることによって係数 Kの取りうる範囲を 0≤K≤1に正規ィ匕している。また、（式 7)の分子における乗算の第 1項 (左項）に関して、注目画素における R信号値 RRと R色の LPF出力値 RL PFの差分の絶対値をとることで注目画素における撮像色の凹凸度（注目画素の撮像色の信号レベルと注目画素の撮像色の二次元ローパスフィルタ出力の信号レべルとの信号レベル差)を算出し、それをダイナミックレンジ Drから減算することによつて、この第 1項は注目画素における撮像色の凹凸度が小さいほど第 1項の値が大きくなり撮像色の凹凸度が大きいほど第 1項の値力、さくなるように定めている。

[0026] さらに、上式の分子における乗算の第 2項 (右項）は R色の LPF出力値 RLPF及び G 色の LPF出力値 GLPFの差分（注目画素における第 Hの二次元ローパスフィルタ出力と注目画素における第 Jの二次元ローパスフィルタ出力との差)の絶対値をとることで注目画素における色差 (色味の度合い)を算出しており、色差が大きいほど第 2項の値が大きくなり色差が小さいほど第 2項の値が小さくなるように定めている。

[0027] 即ち、式 7における係数 Kは、注目画素における撮像色の凹凸度が小さく色差が大き、ほど（注目画素の撮像色の信号レベルと注目画素の撮像色の二次元ローパスフィルタ出力の信号レベルとの信号レベル差が小さぐ注目画素における撮像色の二次元ローパスフィルタ出力と注目画素における補間色の二次元ローパスフィルタ出力との差が大きい場合)大きな値をとることになる。逆に係数 Kは、注目画素における撮像色の凹凸度が大きく色差が小さ!、ほど（注目画素の撮像色の信号レベルと注目画素の撮像色の二次元ローノスフィルタ出力の信号レベルとの信号レベル差が大きぐ注目画素における撮像色の二次元ローパスフィルタ出力と注目画素における補間色の二次元ローパスフィルタ出力との差が小さい場合)小さな値をとることになる。次に、式 7で算出した係数 Kを用いて、式 8のように注目画素における G成分値 GRを算出する。

[0028] [数 8] (式 8 )

式 8において、例えば K=0の場合に代表されるように係数 Kが小さい場合は従来技術 2に示される式 3の色補間演算力も得られる効果が大きくる。一方、例えば K= lの場合に代表されるように、係数 Κが大き、場合は GRが G色の LPF出力値 GLPFに近づき、従来技術 1で説明の線形補間法による色補間結果に近いものになる。

[0029] ここで、注目画素の撮像色が Jであり、注目画素の位置が（m,n)であり、補間色が H である場合に式 7を一般化した係数演算式を式 9に、式 8を一般化した補間色信号演算式を式 10に示す。

[0030] [数 9]

K二 (式 9 )

[0031] [数 10] iⁱ(m,n) - -^tl LPF ^X (式 1 0 )

ここで、色を表す J及び Hは、排他的に R、 G又は Bのいずれかの色成分に該当する。

[0032] 以上の説明から、撮像^ Jと補間色 Hに関して、注目画素におけるそれぞれの LPF 出力値に大きな差がある場合は式 9の係数 Kが大きくなる（1に近づく）ことにより、生成される H (m, n)は HLPFに近い値をとることがわかる。つまりこのケースでは、生成される色成分 H (m, n)は撮像^ Jに左右されることなく同色の周辺に配置された画素値を線形補間した結果に近づくことで、図 15に示した画質劣化が排除される効果がある。

[0033] また、参照^ Jと補間色 Hの LPF出力値が大きく異なる場合でも、注目画素における撮像色の凹凸度が大きい場合には撮像色の信号変化はノイズの影響ではなく画像のエッジを構成する部分であると考えられる。この場合、式 9の分子の乗算第 1項が小さい値になることにより係数 Kが小さくなるため、式 10の（1 K)項が K項に比べて大きくなり、特開平 5-56446号公報に示される式 (3)の補間方式力もの影響度が増加し、図 14のピーク再現が可能になり高解像度化と偽色低減を図ることができるという効果がある。

[0034] 本方式の有効性を具体的に説明する。 10ビットの信号レベルとして G1 =4、G3 = 1 、 G5=4、 R2=R4= 1023で、各 LPFは単純平均で算出すると仮定した場合、式 9 と式 10に従って注目画素における R信号値を算出する（図 15参照)。すなわち、式 1 1乃至式 14の演算を行う。

[0035] [数 11]

G _{L P F} = ( 4 + 1 + 4 )■ / 3 = 3―"： (式 .1 1 ) [0036] [数 12]

R _{L P F}= ( 1 0 2 3 + 1 0 2 3 ) / 2 = X 0 2 3—— (式: [ 2 )

[0037] [数 13]

K= ( 10 2 4 - J 1 - 3 | ) X I 3 - 10 2 31 / 1 0 2 4 ²

= 1 0 2 2 X 1 0 2 0 / 1 0 2 4 ² = 0. 9 9 4 (式 1 3 )

[0038] [数 14]

R = 1.0 2 3 X { 1 X (.1 - 0 . 9 9 4 ) + 3 X 0 . 9 9 4 } / 3

= 10 1 8 ―. ^—― (式 14 ) 従って、生成される補間信号値 Rは従来技術 2の方法とは異なり同色の周辺に配置された画素の信号レベルと遜色なヽレベルになるため、有彩色の領域で極端に黒ずみや白抜け等の画質劣化を発生することがなくなる。

[0039] 次に、 Gl = 20、 G3 = 100、 G5 = 30、 R2=R4 = 700で、各 LPFは単純平均で算出するものと仮定した場合、式 9と式 10に従って注目画素における R信号値を算出する（図 14参照)。すなわち、式 15乃至式 18の演算を行う

[0040] [数 15]

G _L p ,- = ( 2 0 + 1 0 0 + 3 0 ) / 3 = 5 0 (式 1 5 )

[0041] [数 16]

Rし _{P F} = ( 7 0 0 + 7 0 0 ) / 2 = 7 0 0 (式 16 )

[0042] [数 17]

-K= ( 1 0 2 4 - | 1 0 0 - 5 0 | ) X j 5 0 - 7 0 0 | / 1 0 2 4 '

= 9 7 4 X 6 5 0 / 1 0 2 4 ² = 0. 6 0 3—— ： (式 1 7 )

[0043] [数 18]

R_G = 7 0 0 X { 1 0 0 X ( 1 - 0. 6 0 3 ) + 5 0 X 0. 6 0 3 } / 5 0

= 9 7 7 ~ ^: ― (式 1 8 ) 従って、生成される補間信号値 Rは隣接した同色画素 (R2 = 700、 R4 = 700)に比較して明確なピークを形成する結果になっており、撮像色 Gの凹凸度に追従して上に凸の形をなすように再現されるため、従来技術 2に示されると同様に高解像度で偽色の少ない色補間を実現することができる。なお、従来技術 1で Rを算出した場合に

R

は、 R =R =700となる。 [0044] 以上の説明した方法を用いて、撮像素子 2によって得られる撮像画像の画面全体に対し注目画素位置 (m, n)を水平または垂直方向に順次 1画素ずつずらしながら走查していき、 R画素位置における G及び B成分、 G画素位置における R及び B成分、 B 画素位置における R及び G成分を算出することにより、各画素が全ての色成分を備えた 1画面分のフルカラー画像を得ることができる。特にディジタルスチルカメラ等の撮像装置で撮像した画像は CG画像とは異なり、画像中のエッジ近傍は低彩度の影（明暗）になる場合が多い。従って、本発明を用いることにより、解像度に寄与するエツジ近傍は従来法の特長を十分に発揮しながら、非エッジの領域にっ、てはノイズの影響で撮像色信号にゆらぎが発生した場合でも黒ずみ等の画質劣化を排除した高画質のフルカラー画像を得ることが可能になるという効果がある。

[0045] 実施の形態 2

以下、実施の形態 2を図を用いて説明する。実施の形態 2の全体構成を表すブロック図は実施の形態 1と同様に図 1であり、内部の構成は実施の形態 1において係数 Kを算出する式 19が含まれる係数演算回路 9のみが異なる。

[0046] 次に、動作について説明する。本実施の形態では、係数演算回路 9における演算を式 19によって実現する。

[0047] [数 19]

K

― (式 1 。）

M

但し K≥ lの場合には、 K =. l

[0048] ここで、実施の形態 1にお!/、ては、 Μは、 M = Dr²であり係数 Κを正規ィ匕する目的で用いた。それに対して、実施の形態 2においては、光学系やセンサを含む撮像系固有の特性、アナログゲイン調整に代表される感度調節に起因するノイズ特性等を予め考慮したうえで、使用者は、 M (Drとの相関はない）を選択できる。すなわち、この画像処理装置の使用者が、 Mの値を予め選択することにより、係数 Kのとる値を 0よりに偏らせたり、 1よりに偏らせることができる。

[0049] 図 8は、本実施の形態における式 19の定数項 Mを変化させた場合に、 Kの値が 0よりに偏る場合、 1よりに偏る場合を示す図である。本図では、定数項 Mを例えば Drのべき乗として変化させた際の様子を示している。図において、 M = Dr^xにおいて、 X= 2 、 X> 2、 Xく 2の場合に分けて図示している。

[0050] 係数 Kは 0≤K≤ 1になるように制限をかけており、 Dr ( > 1)の指数 xが大きくなるほど M値も大きくなり、分母が大きくなるために式 19の係数 K力^に飽和し易くなる。 M の値を大きくし係数 Kを 0に飽和し易くなるように調整を行うことによって、式 10力j (m , n) (従来技術 2に記載の方法)の影響を強く受けるようにすることができる。具体的には、図 8に示すように、 X= 2である Mの場合には、係数 Kの値が 0. 9であり、X> 2 にすることにより 0. 5になることがある。

[0051] 一方、 Dr ( > l)の指数 Xが小さくなるほど M値も小さくなり式 19の係数 Kが 1に飽和し易くなる。 Mの値を小さくし係数 Kを 1に飽和し易くなるように調整を行うことによって、式 10が J (従来技術 1の線形補間法)の影響を強く受けることになる。具体的には、し PF

図 8に示すように、 X= 2である Mの場合には、係数 Kの値が 0. 9であり、 Xく 2にすることにより、係数 Kが 1. 3になり、 K≥lであるために、 1になることがある。

[0052] 以上のように、本実施の形態 2においては、図 1の係数演算回路 9における係数 Κを式 19のように定義することにより、光学系やセンサを含む撮像系固有の特性、アナ口グゲイン調整に代表される感度調節に起因するノイズ特性等を考慮したうえで使用者が定数 Μを予め選択することができ、高解像度かつ低偽色効果を重視した色補間結果と暗部等の耐ノイズ性能を重視した色補間結果の最適なバランスを考慮した画像処理が可能となる。

[0053] 実施の形態 3

以下、実施の形態 3について図を用いて説明する。図 9は、実施の形態 3の全体構成を表すブロック図であり、内部の構成は従来例において色補間演算を行う演算回路 8において、式 10を使用すると共に、式 10における係数 Κを与えるレジスタ 10が付加されている点が異なる。

[0054] 実施の形態 3の動作としては、式 10の係数 Κを定数として予め直接与える。この点において、実施の形態 1では式 9から動的に係数 Κを算出し、実施の形態 2では使用者が Μを選択することにより式 19から動的に係数 Κを算出するのと異なる。

[0055] この場合の係数 Κは、撮像条件に応じて画像毎に変化させることは実施の形態 1及び実施の形態 2と同様に可能である。しかし、実施の形態 3では、実施の形態 1及び実施の形態 2と異なり、単一画像内では同一の係数 Kを使用する。これにより係数演算回路 9を配置せずに済むため回路規模 (ソフトウェアで実現した場合は処理所要時間やプログラムコード量)を削減することが可能になり、装置の低価格化や処理の高速ィ匕が可能になるという効果がある。

[0056] 実施の形態 1及び実施の形態 2においては、式 10の色補間演算を画面全体に対して実施する構成にしたが、それに限定されるわけではない。即ち、従来技術 2に記載の方法を使用した場合、白飛びや黒ずみが発生するのは撮像色の信号レベルが低い場合であるため、撮像色の LPF出力値が一定以上の画像領域に対しては K=0として従来技術 2に記載の方法を用いるようにしてもよい。また、その反対に、撮像色の LPF出力値が一定以下の画像領域に対しては Κ = 0として従来技術 1の線形補間法に準じた方法を用いるようにしてもょ、。

[0057] また、以上の全ての実施の形態においては、撮像素子として原色系のカラーフィルタを Bayer型に配列した単板センサを用いる構成のものについて示した力補色系力ラーフィルタを用いるもの、原色系で他の配列 (第 1から第 Nの N種類の分光感度特性を利用した配列等）を用いるものでもよ、。

[0058] また、以上の全ての実施の形態においては、従来技術 1として、画像信号が 2次元 L PF7a乃至 7cにより平滑ィ匕されるとして説明したが、 LPFを通さなくても、注目画素の周辺の画素の光電変換素子から出力される撮像色信号に基づいて、当該注目画素の補間色に対応する非撮像色信号を算出する場合がある（図示せず)。

[0059] また、以上の全ての実施の形態においては、撮像素子が正方配列でるとして示した力正方形配列以外の配列、例えばノ、二カム形状のものを用いた場合においても、同様の効果を得ることができる。

[0060] また、以上の全ての実施の形態においては、撮像後の画像処理として色補間処理についてのみで構成するブロック構成を示したが、実際の撮像装置を構成する際にォートホワイトバランス処理（白色補正）、 y補正処理（階調特性の補正）、フィルタ処理 (輪郭強調やノイズ除去)、 JPEG圧縮処理 (画像データ圧縮保存)等の通常使用する処理と組合せても同等の効果が得られることは言うまでもない。 [0061] また、 LCDインタフェース（画像表示確認用液晶インタフェース）、フラッシュメモリインタフエース (撮像画像保存媒体インタフェース)等の入出力インタフェースを付加しても同等の効果が得られることも言うまでもない。

[0062] また、以上の全ての実施の形態においては、撮像素子 2において光電変換された画像データを AZD変換回路 3でディジタルィ匕した後一且フレームメモリ 4に 1画面分保持する構成を示したがこの限りでない。即ち、撮像時のデータストリームに同期して画素あるいは複数ライン毎に色補間を含む画像処理を実施するように構成することも可能である。

[0063] また、以上の全ての実施の形態においては、撮像装置の内部で色補間処理を実行可能な構成例を示したがこの限りでなぐパーソナルコンピュータやカラープリンタ等、撮像装置に直接あるいは記憶媒体を間接的に経由して接続可能で単板式センサを使用して入力した画像を扱う、ずれの機器上で構成してもよ、。

Claims

請求の範囲

[1] 第 1から第 Nの N種類の分光感度特性のうちの何れか一種類の分光感度特性を有する光電変換素子を二次元平面上に配列した撮像素子により画像を得る画像処理装置において、

注目する画素の周辺の画素の第 H (第 1から第 Nの何れか)の分光感度特性の光電変換素子力出力される撮像色信号に基づいて、当該注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 1の算出手段と、

光電変換素子の撮像色信号を二次元ローパスフィルタに入力することにより二次元ローパスフィルタ出力を得、上記注目する画素の撮像色に対応する第 J (第 1から第 N の何れか)の撮像色信号に、上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力の比を乗じ、上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 2の算出手段と、

上記第 1の算出手段による算出結果と上記第 2の算出手段による算出結果とを使用して上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出する第 3の算出手段と、

を備えた画像処理装置。

[2] 第 1の算出手段は、

注目する画素における第 Hの二次元ローノスフィルタ出力に基づいて当該注目する画素の第 Hの補間色に対応する非撮像色信号を算出する

ことを特徴とする請求項 1の画像処理装置。

[3] 第 3の算出手段は、

注目する画素の撮像色の信号レベルと上記注目する画素の撮像色の二次元ローバスフィルタ出力の信号レベルとの信号レベル差が小さい場合には第 1の算出手段の算出結果の使用比率を大きくし、

注目する画素の撮像色の信号レベルと上記注目する画素の撮像色の二次元ローバスフィルタ出力の信号レベルとの信号レベル差が大きい場合には第 2の算出手段の算出結果の使用比率を大きくすることを特徴とする請求項 1又は 2に記載の画像処理装置。

[4] 第 3の算出手段は、

注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力との差が大きい場合には第 1の算出手段の算出結果の使用比率を大きくし、

注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力との差力 S小さい場合には第 2の算出手段の算出結果の使用比率を大きくする

ことを特徴とする請求項 1又は 2に記載の画像処理装置。

[5] 第 3の算出手段は、

注目する画素の撮像色の信号レベルと上記注目する画素の撮像色の二次元ローバスフィルタ出力の信号レベルとの信号レベル差が小さぐ上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローバスフィルタ出力との差が大きい場合には第 1の算出手段の算出結果の使用比率を大きくし、

注目する画素の撮像色の信号レベルと上記注目する画素の撮像色の二次元ローバスフィルタ出力の信号レベルとの信号レベル差が大きぐ上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローバスフィルタ出力との差力、さい場合には第 2の算出手段の算出結果の使用比率を大きくする

ことを特徴とする請求項 1又は 2に記載の画像処理装置。

[6] 第 3の算出手段は、

注目する座標 (m, n)の画素における第 Jの分光感度特性の光電変更素子の撮像色信号を J (m, n)とし、

上記注目する画素における第 Hの二次元ローノスフィルタ出力を H とし、

LPF

上記注目する画素における第 Jの二次元ローノスフィルタ出力を J とし、

LPF

係数 Kのとりうる範囲を 0以上 1以下にする変数 Drとした場合に、

数 1における Kの値が大きい場合には、第 1の算出手段の算出結果の使用比率を大きくし、 Kの値が小さい場合には、第 2の算出手段の算出結果の使用比率を大きくする

ことを特徴とする請求項 1又は 2に記載の画像処理装置。

[数 1]

^ \P^R ~ |" (m,n) ~ " LPF |j^X \^ LPF ~ ^ LPF |

JV =

Dr¹

[7] 第 3の算出手段は、

LPF

ダイナミックレンジを Drとし、変数を Mとした場合に、

数 2における Mの値を、

耐ノイズ性を重視する場合には大きくし、

高解像度を重視する場合には小さくする

ことを特徴とする請求項 1又は 2に記載の画像処理装置。

[数 2]

[8] 第 3の算出手段は、

注目画素の非撮像色信号を H (m, n)とした場合に、数 2を用いて算出することを特徴とする請求項 6又は 7に記載の画像処理装置。

[数 3]

[9] 注目する画素の第 H (第 1から第 Nの何れか)の補間色を生成する際に周辺の画素の第 Hの分光感度特性の光電変換素子の撮像色信号に基づ、て、上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出する算出手段を有する非撮像色信号算出装置において、

当該算出手段は、

上記注目する画素の撮像色の信号レベルと上記注目する画素の撮像色の二次元口一パスフィルタ出力の信号レベルとの信号レベル差が大きぐ上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力との差が小さい場合に、

分光感度特性の光電変換素子の撮像色信号を二次元ローパスフィルタに入力することにより二次元ローパスフィルタ出力を得、上記注目する画素の撮像色である第 J ( 第 1から第 Nの何れか)の撮像色信号に、上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力の比を乗じ、上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出することを特徴とする非撮像色信号算出装置。

[10] 分光感度特性の光電変換素子の撮像色信号を二次元ローパスフィルタに入力することにより二次元ローパスフィルタ出力を得、注目する画素の撮像色である第 J (第 1 から第 Nの何れか）の撮像色信号に、上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力の比を乗じ、上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出する算出手段を有する非撮像色信号算出装置において、

当該算出手段は、

上記注目する画素の撮像色の信号レベルと上記注目する画素の撮像色の二次元口一パスフィルタ出力の信号レベルとの信号レベル差が小さぐ上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力との差が大きい場合に上記注目する画素の第 Hの補間色を生成する際に周辺の画素の第 Hの分光感度特性の出力信号に基づいて、上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出することを特徴とする非撮像色信号算出装置。

[11] 注目する画素の周辺の画素の第 H (第 1から第 Nの何れか)の分光感度特性の光電変換素子力出力される撮像色信号に基づいて、当該注目する画素の第 Hの補間色に対応する非撮像色信号を算出する線形補間算出ステップと、

分光感度特性の光電変換素子の撮像色信号を二次元ローパスフィルタに入力することにより二次元ローパスフィルタ出力を得、上記注目する画素の撮像色に対応する第 J (第 1から第 Nの何れか)の撮像色信号に、上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力の比を乗じ、上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出する色相関算出ステップと、

線形補間算出ステップによる算出結果と色相関算出ステップによる算出結果とを使用して注目する画素の第 Hの補間色に対応する非撮像色信号を算出する算出併合ステップと、

を備えた画像処理方法。

分光感度特性の光電変換素子の撮像色信号を二次元ローパスフィルタに入力することにより二次元ローパスフィルタ出力を得、注目する画素の撮像色に対応する第 J ( 第 1から第 Nの何れか)の撮像色信号に、上記注目する画素における第 Hの二次元ローパスフィルタ出力と上記注目する画素における第 Jの二次元ローパスフィルタ出力の比を乗じ、上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出する色相関算出ステップと、

注目する画素の周辺の画素の第 H (第 1から第 Nの何れか)の分光感度特性の光電変換素子から出力される撮像色信号に基づいて、上記注目する画素の第 Hの補間色に対応する非撮像色信号を算出する線形補間算出ステップと、

を備えた画像処理方法。