JPWO2011122284A1 - 画像処理装置、およびそれを用いた撮像装置 - Google Patents

Abstract

収差の非対称性を補正しつつ、高精細な画像を得ることが可能な画像処理装置を提供することを課題とする。本発明の画像処理装置は、入力画像を取得する画像取得手段と、被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する画像回復手段とを有し、前記画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくすることを特徴とする画像処理装置。

Description

本発明は画像処理を行う画像処理装置に関する発明であり、特に画像回復（復元）を行う画像処理装置に関する。

デジタルカメラ等の撮像装置により得られた画像は、ぼけによって画像が劣化している。画像のボケは、撮像光学系の球面収差、コマ収差、像面湾曲、非点収差などが原因である。これら収差は、点像分布関数（PSF、Point Spread Function）により表すことができる。点像分布関数（以下、ＰＳＦ）をフーリエ変換して得られる光学伝達関数（OTF、Optic Transfer Function）は、収差の周波数空間での情報であり、複素数で表される。光学伝達関数（以下、ＯＴＦ）の絶対値、即ち振幅成分はＭＴＦ（Modulation Transfer Function）、位相成分はＰＴＦ（Phase Transfer Function）と呼ばれる。撮像光学系のＯＴＦは画像の振幅成分と位相成分に影響（劣化）を与える。このため、ＯＴＦの影響により劣化した画像（以下、劣化画像）は、被写体の各点がコマ収差のように非対称にボケた画像になる。

これについて図２３を用いて説明する。図２３Ａ、Ｂ、Ｃは、主光線（光学系の瞳の中心を通る光線）と垂直に交わる面における、点像分布関数（ＰＳＦ）の拡がりを表した模式図である。図２３に示した面内において、光軸を通り互いに垂直な線を軸ｘ１、軸ｘ２とし、図２３に示した面内において光軸を通る任意の直線と軸ｘ１が成す角θをアジムス角とする。また、図２３の座標軸の原点を主光線の結像位置としたときに、アジムス角θが表す方向をアジムス方向とする。アジムス方向とは、サジタル方向およびメリジオナル方向を含み、それ以外の角度θ方向も含む全方向の総称である。

既に述べたように、収差の位相成分（ＰＴＦ）の劣化はＰＳＦに非対称性を発生させる。また、振幅成分（ＭＴＦ）の劣化はアジムス方向ごとのＰＳＦの広がりの大きさに影響する。図２３Ａは、コマ収差の発生しているＰＳＦを模式的に表した図である。光軸の偏芯が無く、回転対称形状のレンズからなる光学系の場合の光軸上以外の画角のＰＳＦは、像面上で光軸と主光線を通る直線に関して対称であるので、線対称形状をしている。図２３Ａでは、ＰＳＦが軸ｘ２に対して線対称となっている。

図２３Ｂは、位相ずれの無い状態のＰＳＦを示している。各アジムス方向において対称な形状をしているが、振幅（ＭＴＦ）の差異があるため、軸ｘ１方向と軸ｘ２方向ではＰＳＦの広がりの異なった非対称なＰＳＦとなっている。ちなみに、光軸上のＰＳＦは、製造誤差を無視すると位相ずれが無く、振幅劣化のアジムス依存性も無いので図２３Ｃのように回転対称な形状になる。つまり図２３Ａ、Ｂに示したように、ＰＳＦはアジムス方向ごとの位相（ＰＴＦ）のずれと、アジムス方向間の振幅（ＭＴＦ）の差異により非対称な形状となり、画像のボケとして、高精細な画像生成を阻害する要因となっている。

画像のボケを補正する技術として、特許文献１は、画像回復フィルタを設計する際のパラメータαを式１のように設けている。調整パラメータαを調整することにより、画像回復フィルタは何も作用しないフィルタ（α＝０）から逆フィルタ（α＝１）に変化する。これにより、もとの撮影画像から最大に回復した画像までの範囲で画像の回復度合いをパラメータ１つで調整することができる。

ここで、Ｆ（ｕ，ｖ）、Ｇ（ｕ，ｖ）はそれぞれ、回復画像および劣化画像のフーリエ変換である。

その他に、画像のボケを補正し、鮮鋭度を向上させるフィルタとしてウィナーフィルタが知られている。式２にウィナーフィルタの周波数特性Ｍ（ｕ，ｖ）を示す。

ここで、Ｈ（ｕ、ｖ）は光学伝達関数（ＯＴＦ）である。｜Ｈ（ｕ，ｖ）｜はＯＴＦの絶対値（ＭＴＦ）である。ＳＮＲはノイズ信号の強度比である。以下、ウィナーフィルタや特許文献１に記載されているような、光学伝達関数（ＯＴＦ）に基づいた画像回復フィルタを用いて画像の回復を行う処理を画像回復処理と称する。

特開２００７−１８３８４２号公報

しかしながら、上記のウィナーフィルタや特許文献１の画像回復フィルタは、撮像光学系による振幅成分および位相成分の劣化を補正することはできるが、アジムス方向間の振幅成分の相違を補正することはできない。ウィナーフィルタは、回復前のＭＴＦがアジムス方向間で差異があると、回復後のＭＴＦのアジムス方向の差異は拡大してしまう。これについて図２０を用いて説明する。

図２０は画像回復処理を行う前のＭＴＦとウィナーフィルタを用いて画像回復処理を行った後のＭＴＦを表した図である。破線（ａ）、実線（ｂ）はそれぞれ回復前の第１アジムス方向、第２アジムス方向のＭＴＦである。破線（ｃ）、実線（ｄ）はそれぞれ回復後の前記第１アジムス方向、前記第２アジムス方向のＭＴＦである。第１、第２アジムス方向とは、例えば、サジタル方向およびメリジオナル方向である。ウィナーフィルタはＭＴＦが高ければ回復ゲイン（回復度合い）を低くし、ＭＴＦが低ければ回復ゲイン（回復度合い）を高くする画像回復フィルタである。従って、ＭＴＦの低いアジムス方向である破線（ａ）は、ＭＴＦの高いアジムス方向（ｂ）よりも回復ゲインが低くなる。そのため、回復前の第１アジムス方向のＭＴＦ（ａ）、第２アジムス方向のＭＴＦ（ｂ）の差よりも、回復後の第１アジムス方向のＭＴＦ（ｃ）、第２アジムス方向のＭＴＦ（ｄ）の差が拡大されてしまう。つまり、画像回復処理を行ったにも関わらず、非対称な収差が画像に現れてしまう。これは、特許文献１に開示されている画像回復フィルタに関しても同様である。

本発明は以上の課題を鑑みてなされたものであり、画像回復処理により生じ得る非対称な収差を低減させ、より高精細な画像を得ることができる画像処理装置を提供することを課題とする。

上記課題を解決するために本発明は、
入力画像を取得する画像取得手段と、
被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する画像回復手段とを有し、
前記画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくすることを特徴とする。

本発明の効果は、非対称な収差が低減された高精細な回復画像を生成することが可能な点である。

本発明の実施例である画像処理全体のフローチャート 画像回復フィルタの説明図 画像回復フィルタの説明図 各アジムス方向間のＭＴＦの補正量に関する第１説明図 各アジムス方向間のＭＴＦの補正量に関する第２説明図 撮像装置の基本構成を示すブロック図 実施例１における画像回復フィルタの選択、補正に関する説明図 実施例１の画像処理手順を示すフローチャート 実施例１の画像処理前後のＭＴＦ変化を示す図 エッジ強調フィルタの説明図 エッジ強調フィルタを適用した場合のエッジ断面図 エッジ強調フィルタを適用した場合のエッジ断面図 エッジ強調フィルタを適用した場合のエッジ断面図 実施例２の画像処理システムの説明図 実施例２の画像処理システムの説明図 実施例２の補正情報の説明図 実施例３の画像処理手順の説明図。 第１の画像回復処理のフローチャート。 調整パラメータ設定についてのフローチャート。 実施例３における画像処理のフローチャート。 実施例４の画像回復処理手順の説明図。 点像分布関数（ＰＳＦ）の説明図 点像分布関数（ＰＳＦ）の説明図 点像分布関数（ＰＳＦ）の説明図 画像の振幅成分（ＭＴＦ）と位相成分（ＰＴＦ）の説明図 従来の画像回復処理前後のＭＴＦ変化を示す図 従来の画像処理方法を示すフローチャート。 偽色の説明図。 アジムス方向の説明図 アジムス方向の説明図 アジムス方向の説明図

はじめに、本発明の画像処理の流れについて図１を用いて説明する。図１に画像の入力から出力までの処理工程を示す。まずステップＳ１１の画像取得工程において、撮像系により生成された画像を取得する。以下、画像取得工程において取得された画像を入力画像と記す。

次にステップＳ１２において、ステップＳ１１で取得された入力画像の撮影された条件に対応する画像回復フィルタを生成する。尚、このステップＳ１２は、予め用意された複数の画像回復フィルタの中から適当なフィルタを選択する工程であってもよいし、フィルタを選択後、適宜そのフィルタを補正する工程であってもよい。ステップＳ１３の画像回復処理工程では、ステップＳ１２において、撮像系の伝達関数（撮像光学系の光学伝達関数）に基づいて生成、あるいは選択された画像回復フィルタを用いて画像回復処理（補正処理）を実行する。より詳しく説明すれば、入力画像の位相成分（ＰＴＦ）については零を目標値に補正し、振幅成分（ＭＴＦ）については２つのアジムス方向間でその差が減少するように補正する。そしてステップＳ１４において、ステップＳ１３で補正された補正画像を出力画像として出力する。

尚、図１の工程の前後、あるいは途中に他の画像処理に関する工程を挿入しても構わない。他の画像処理とは、例えば歪曲収差補正、周辺光量補正などの電子収差補正やデモザイキング、ガンマ変換、画像圧縮などの処理である。次に、図１に示した各工程についてより詳細に説明する。

尚、ＭＴＦは撮像系の伝達関数（撮像光学系の光学伝達関数）の振幅成分（絶対値）であるが、被写体（被写界内の物体）が白色点光源の場合、ＭＴＦを画像のスペクトルと捉えることができる。

（画像取得工程）
画像取得工程により取得される画像（以下、入力画像）は、撮像光学系を介して撮像素子で撮像することで得られたデジタル画像である。ここで得られたデジタル画像は、撮像光学系（レンズ）と各種の光学フィルタ類を含む撮像光学系の収差等に基づく光学伝達関数（ＯＴＦ）により、被写界内での物体と比較して劣化している。この光学伝達関数（ＯＴＦ）は、上記のような撮像光学系の光学素子の収差やその他の撮像装置の特性に基づいた伝達関数であることが望ましい。撮像光学系はレンズの他にも曲率を有するミラー（反射面）を用いることもできる。

また、入力画像は色空間により表される。色空間の表し方には、例えばＲＧＢがあるが、ＲＧＢ以外にもＬＣＨで表現される明度、色相、彩度や、ＹＣｂＣｒで表現される輝度、色差信号などがある。その他の色空間として、ＸＹＺ、Ｌａｂ、Ｙｕｖ、ＪＣｈや色温度がある。これら一般に用いられている色空間により表される値を、色成分として本発明を適用することができる。

また、入力画像は各画素に一つの色成分の信号値を有するモザイク画像でも良いし、このモザイク画像を色補間処理（デモザイキング処理）して各画素に複数の色成分の信号値を有したデモザイク画像でも良い。モザイク画像は色補間処理（デモザイキング処理）やガンマ変換やＪＰＥＧ等の画像圧縮などの画像処理を行う前の画像として、ＲＡＷ画像とも呼ぶ。例えば単板の撮像素子で複数の色成分の情報を得る場合には、各画素に分光透過率の異なるカラーフィルタを配置して、各画素に一つの色成分の信号値を有するモザイク画像を取得する。このモザイク画像に色補間処理を行うことで各画素に複数の色成分の信号値を有した画像を取得することができる。また、多板、例えば３板の撮像素子を用いる場合には各撮像素子ごとに分光透過率の異なるカラーフィルタを配置して、撮像素子ごとに異なる色成分の画像信号値を有したデモザイク画像を取得することになる。この場合、各撮像素子間で、対応する画素に対してそれぞれの色成分の信号値を有しているので、特に色補間処理を行わなくとも各画素に複数の色成分の信号値を有した画像を取得することができる。

また入力画像には、入力画像を補正するための各種の補正情報を付帯することができる。補正情報には、レンズの焦点距離（ズーム位置）、絞り値、撮影距離（合焦距離）、露光時間、ＩＳＯ感度などの撮像状態に関する情報（撮像状態情報）が含まれる。撮像から画像の出力までの一連の処理を一つの撮像装置で行う場合には、入力画像に撮像状態情報や補正情報を付帯しなくとも装置内で取得することもできる。しかし、撮像装置からＲＡＷ画像を取得し、撮像装置とは別体の画像処理装置で画像回復処理や現像処理等を行う場合には、上記のように画像に撮像状態情報や補正情報を付帯することが好ましい。ただしこれに限られず、画像処理装置に予め補正情報を記憶させ、入力画像に付帯された撮像状態情報から補正情報を選択可能なシステムを構成すれば、必ずしも画像に補正情報を付帯する必要はない。

尚、入力画像は撮像光学系を介して撮像素子で撮像することで得られたデジタル画像と記述したが、入力画像は撮像光学系を含まない撮像系により得られたデジタル画像でも良い。例えば、被写体面に撮像素子を密着させて撮像を行うスキャナ（読み取り装置）や線撮像装置はレンズのような撮像光学系を持たない撮像装置により得られた画像であってもよい。これら、撮像光学系を持たないが、撮像素子による画像サンプリングによって生成された画像は少なからず劣化する。この場合の劣化特性は、撮像光学系の光学伝達関数（狭義の光学伝達関数）によるものではないが、撮像系のシステム伝達関数によるものでありこのシステム伝達関数は光学伝達関数に相当するものと言える。このため、本発明の実施例にいう「光学伝達関数」は、このような撮像光学系を含まない撮像系のシステム伝達関数を含む広義の光学伝達関数である。

（画像回復フィルタ生成工程）
次に、画像回復フィルタの生成について図２Ａ、Ｂを参照しながら説明する。図２Ａは実空間において入力画像の画素に対してコンボリューション処理が行われる画像回復フィルタの模式図である。画像回復フィルタのタップ（セル）数は、撮像系の収差特性や要求される回復精度に応じて決めることができ、画像が２次元のときは、一般的に画像の各画素に対応したタップ数を有する２次元の画像回復フィルタとなる。図２Ａには、例として１１×１１タップの２次元画像回復フィルタを示した。また、画像回復フィルタのタップ数に関しては、一般的に多いほど回復精度が向上するので、タップ数は要求画質、画像処理能力、収差の特性等に応じて設定される。

図２Ａでは各タップ内の値を省略しているが、この画像回復フィルタの１断面を図２Ｂに示す。この画像回復フィルタの各タップのもつ値（係数値）の分布が、コンボリューション処理の際に、収差によって空間的に広がった信号値を理想的には元の１点に戻す役割を果たしている。つまり、本明細書において画像回復フィルタを取得するとは、この画像回復フィルタの各タップの値（係数）を取得することである。

この画像回復フィルタを生成するためには、まず、撮像光学系の光学伝達関数（ＯＴＦ）を計算若しくは計測する。元画像（劣化画像）が撮像光学系を持たないシステムにより得られた画像である場合には、その劣化特性は撮像システム伝達関数で表すことができるので、撮像システムの伝達関数を光学伝達関数（ＯＴＦ）として画像回復フィルタを生成すればよい。以下で使用する光学伝達関数（ＯＴＦ）という表現は、この撮像光学系を有ない撮像システムの伝達関数も含む。

本発明で用いる画像回復フィルタは、従来の画像回復フィルタとは異なり、ＭＴＦのアジムス方向間の差異を補正する機能を有している。本発明の画像回復フィルタの作成工程について説明する前に、従来のウィナーフィルタについて図１８、図１９を用いて説明する。

画像上のある位置でのある色成分の点像分布関数（ＰＳＦ）のメリジオナル方向の断面を図１８Ａに、その周波数特性を図１９に示す。図１９（Ｍ）は振幅成分であるＭＴＦを、図１９（Ｐ）は位相成分であるＰＴＦを示している。また、図１８Ａ、Ｂ、ＣのＰＳＦ（点像強度分布）に対応した周波数特性が、図１９の破線（ａ）、２点鎖線（ｂ）、１点鎖線（ｃ）である。

図１８Ａに示す補正前のＰＳＦは、コマ収差等により非対称な形状をしており、図１９（Ｍ）の破線（Ａ）のように高周波ほど振幅応答の低いＭＴＦ特性を持ち、図１９（Ｐ）の破線（ａ）のように位相ずれが発生している。これを光学伝達関数（ＯＴＦ）の逆数（１／ＯＴＦ（ｕ，ｖ））を逆フーリエ変換して作成した画像回復フィルタを用いて補正すると、理想的には図１８ＢのようにＰＳＦが広がりをもたないデルタ関数のように補正される。

尚、ＯＴＦの逆数は逆フィルタと呼ばれ、該逆フィルタ（画像回復フィルタ）による回復度合いを本明細書では最大回復度合いと定義する。

図１８Ｂに対応するＭＴＦは図１９（Ｍ）の２点鎖線（ｂ）のように全周波数に渡って１になり、ＰＴＦは図１９（Ｐ）の２点鎖線（ｂ）のように全周波数に渡って０になっている。

しかしながら、前記したように、画像回復フィルタの作成にあたっては、ノイズ増幅の影響を制御する必要がある。図１８ＡのＰＳＦを、式１に示したウィナーフィルタで回復したＰＳＦは図１８Ｃのように、位相が補正されることで対称形状になり、振幅が向上されることでＰＳＦの広がりが小さく先鋭な形状になる。図１８Ｃに対応するＭＴＦは図１９（Ｍ）の１点鎖線（ｃ）のように回復ゲインを抑制したものになり、ＰＴＦは図１９（Ｐ）の１点鎖線（ｃ）のように全周波数に渡って０になっている。回復ゲインを抑制したにも関わらず、ＰＴＦが０に補正される理由をについて、式３を用いて説明する。

被写体として白色点光源を仮定すると、被写体の周波数特性は位相ずれが無く、振幅特性が全周波数に渡って１となる。よって、撮像光学系を通して得られる画像の周波数特性は光学伝達関数（ＯＴＦ）そのものとなり、画像としてはＰＳＦ形状の画素値分布になる。即ち、入力画像の周波数特性をＯＴＦとして、これに画像回復フィルタの周波数特性を掛け合わせれば回復画像の周波数特性を知ることができる。これを式で表現すると、式３のように、ＯＴＦであるＨ（ｕ，ｖ）は相殺され、回復画像の周波数特性は右辺のようになる。

右辺の｜Ｈ（ｕ，ｖ）｜はＯＴＦの絶対値（ＭＴＦ）であるため、回復度合いを決定するパラメータＳＮＲの値に関わらず位相成分は消滅することになる。従って、位相劣化成分が補正されることで、ＰＳＦは対称な形状に補正される。

しかしながら、各アジムス方向ごと位相劣化成分が補正されることでＰＳＦはアジムス方向ごとには対称に補正されるものの、各アジムス方向ごとに振幅成分が異なるため回転対称には補正されない。例えば、図２３Ａの線対象であるコマ収差が点対称に補正されることで図２３Ｂの非点収差のようなＰＳＦに補正される。即ち、各アジムス方向ごとに、位相が補正され振幅が異なっているＰＳＦは点対称な状態にまでしか補正されない。従来の画像回復方法において、アジムス方向間のＭＴＦの差異が補正されず、むしろ拡大されてしまうことは図２０を用いて上述したとおりである。したがって、従来の画像回復方法では、非対称収差を十分に補正することができない。

次に、本発明の非対称な収差を補正する機能を有した本発明の画像回復フィルタについて説明する。式１と式３から分かるように、式４のｒＯＴＦの部分が白色点光源を撮影した画像の回復後の周波数特性になる。

ここで、ｒＯＴＦは、任意の関数である。回復画像の位相劣化成分は零であることが望ましいので、ｒＯＴＦは位相成分を持たないようにすれば良く、ｒＯＴＦは実数部のみを有するため実質的にはｒＭＴＦと等しい。ｒＯＴＦは実部のみを有することが好ましいが、許容可能な範囲で虚数部に値を持たせたとしても本発明の変形の範囲内であることはいうまでも無い。つまり式４に表した画像回復フィルタとすることで、点光源に関わらずどのような被写体でも、あたかも光学伝達関数（ＯＴＦ）がｒＯＴＦの特性を持った撮像光学系で撮影された画像のようにすることができるということである。

従って、アジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いた式５のようにすることで、あたかもアジムス方向間にＭＴＦ差の無い撮像光学系で撮影した画像を得ることができる。つまり、本実施例に用いる画像回復フィルタは、撮像系の２つのアジムス方向間のＭＴＦの差を減少させるフィルタである。

これについて図３を用いて説明する。図３は被写体が点光源の場合に本発明の画像回復フィルタを用いて処理した場合の、回復前と回復後の２つのアジムス方向におけるＭＴＦの変化を示した図である。破線（ａ）、実線（ｂ）はそれぞれ第１、第２のアジムス方向における回復前のＭＴＦを、破線（ｃ）、実線（ｄ）はそれぞれ第１、第２のアジムス方向における回復後のＭＴＦを表している。回復前のＭＴＦは図３（ａ）、（ｂ）のようにアジムス方向ごとに異なっているが、回復後のＭＴＦは（ｃ）、（ｄ）のようにアジムス方向間で揃っている。図３の（ａ）、（ｂ）は、例えばメリジオナル方向、サジタル方向のＭＴＦに相当する。このように、上記画像回復フィルタによりアジムス方向間のＭＴＦの差異を補正しながら回復することが可能となる。

また、式５ではアジムス方向間で共通なＯＴＦ（ｒＨ（ｕ，ｖ））を用いたが、ｒＨ（ｕ，ｖ）をアジムス方向ごとのＯＴＦの差が回復前のＯＴＦの差よりも低減するように補正することで回転対称性を制御することができる。一例を図４に示す。図４（ｃ）、（ｄ）のように２つのアジムス方向間の回復後のＭＴＦが一致しなくとも、図２０（ｃ）、（ｄ）に対してアジムス方向間のＭＴＦ差が低減し、ＰＳＦの非対称性が低減されることになる。非対称性の補正効果を得るためには、少なくとも回復前のアジムス方向間のＭＴＦの差よりも小さくなるように回復するフィルタにすることが望ましい。

本実施例の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間のＭＴＦ（伝達関数の絶対値）の差が、撮像系の該２つのアジムス方向間のＭＴＦの差よりも小さくなるように構成する。

言い換えれば、本実施例の画像回復フィルタは、被写体が白色点光源である場合、回復画像における２つアジムス方向のスペクトルの差が、入力画像における該２つのアジムス方向のスペクトルの差よりも減少するように回復する。

言い換えれば、本実施例の画像回復フィルタは、２つのアジムス方向で異なる周波数特性を有する伝達関数と、該２つのアジムス方向間の伝達関数の絶対値の差が減少するように補正した補正伝達関数に基づいて生成される。

以上説明したとおり、本発明の画像回復フィルタを用いた画像回復処理を実行することにより、収差のアジムス方向ごとの位相成分とアジムス方向間の振幅成分の差異を補正することができ、収差の非対称性を低減させより高精細な画像を得ることが可能となる。

尚、画像回復フィルタは、式５のＨ（ｕ，ｖ）の部分がアジムス方向ごとに異なるため、ｒＨ（ｕ，ｖ）がアジムス方向間で共通であろうが、異なっていようが、非対称な係数配列を有する。即ち、図２の断面図がアジムス方向ごとに異なる。

尚、光学伝達関数（ＯＴＦ）は撮像光学系のみならず、撮像の過程で光学伝達関数（ＯＴＦ）を劣化させる要因を含めることができる。例えば、複屈折を有する光学ローパスフィルタは光学伝達関数（ＯＴＦ）の周波数特性に対して高周波成分を抑制するものである。また、撮像素子の画素開口の形状や開口率も周波数特性に影響している。他にも光源の分光特性や各種波長フィルタの分光特性が挙げられる。これらを含めた広義の光学伝達関数（ＯＴＦ）に基づいて、画像回復フィルタを作成することが望ましい。

（画像回復処理工程（補正工程））
次に、生成した画像回復フィルタを用いて、補正画像を得る方法について説明する。既に説明しているが、補正工程においては劣化画像に画像回復フィルタをコンボリューションすることにより、補正画像（回復画像）を得ることができる。ここでは、画像回復フィルタのタップ内に含まれる各画素に対してコンボリューション（畳み込み積分、積和）処理が行われる。コンボリューションは、ある画素の信号値を改善するために、その画素を画像回復フィルタの中心と一致させる。そして、画像と画像回復フィルタの対応画素ごとに画像の信号値と画像回復フィルタの係数値の積をとり、その総和を中心画素の信号値として置き換える処理である。

入力画像に対して画像回復フィルタを作用させたり、コンボリューション処理を行ったりすることの利点は、画像回復処理で画像のフーリエ変換や逆フーリエ変換を行うことなく画像を回復することができる。一般的にコンボリューション処理の負荷は、フーリエ変換を行う負荷に比べると小さい。したがって、画像回復処理を行うにあたって、処理負担を軽減することができる。

尚、画像回復フィルタの縦横のタップ数について既に述べたが、縦横のタップ数が必ずしも同じである必要はなく、コンボリューションの処理を行う際に考慮するようにすれば任意に変更することができる。

その他、本発明の画像回復処理は、画像の劣化過程が線形である方が劣化前の元画像に回復するための逆過程を高精度に処理できるため、入力画像は諸々の適応的な非線形処理が行われていないことが好ましい。つまり、モザイク画像（ＲＡＷ画像）に対して行うことがより好ましい。しかし、入力画像がモザイク画像であってもデモザイク画像であっても本発明の画像回復処理を適用することができる。理由は、色補間処理による劣化過程が線形であれば、画像回復フィルタの生成において、この劣化関数を考慮することで画像回復処理を行うことができるからである。また、回復の要求精度が低い場合や諸々の画像処理が行われた画像しか入手できない場合には、デモザイク画像に対して画像回復処理を行ってもボケの非対称性を低減するという効果を得ることができる。

（画像出力工程）
以上の処理により取得した補正画像（回復画像）を、所望のデバイスに出力する。撮像装置であれば表示部あるいは記録媒体等に出力する。画像回復処理を行った画像に対して、その他の画像処理などを行うのであれば、後の工程を実行するデバイスに画像を出力すればよい。

ここまでに、本発明の画像処理について各工程に分けて順に説明してきたが、各工程のうち、いくつかの工程を同時に処理できる場合はまとめて処理することができる。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理の具体的なアルゴリズムをこれに限定するものではなく、目的を達成しうる範囲で必要に応じた変形が可能である。

以下、上述した画像処理を適用した実施例について図面を用いて説明する。

図５は実施例１における撮像装置の構成概略図である。不図示の被写体像を撮像光学系１０１で撮像素子１０２に結像する。撮像素子１０２は、結像した光を電気信号に変換（光電変換）し、該電気信号をＡ／Ｄコンバータ１０３がデジタル信号に変換する。そして画像処理部１０４は、該デジタル信号（入力画像）に対して所定の処理と併せて画像処理を行う。ここでの所定の処理とは、例えば、倍率色収差補正、歪曲収差補正、周辺光量補正などの電子収差補正やデモザイキング、ガンマ変換、画像圧縮などの処理である。

まず、状態検知部１０７から撮像装置の撮像状態情報を得る。状態検知部１０７はシステムコントローラ１１０から直接、撮像状態の情報を得ても良いし、例えば撮像光学系１０１に関する撮像状態情報は撮像系制御部１０６から得ることもできる。次に撮像状態に応じた画像回復フィルタを記憶部１０８から選択し、画像処理部１０４に入力された画像に対して画像回復処理を行う。画像回復フィルタは撮像状態に応じて記憶部１０８から選択したものをそのまま用いても良いし、予め用意した画像回復フィルタを補正して、
より撮像状態に適した画像回復フィルタに補正したものを用いることもできる。

そして、画像処理部１０４で処理した出力画像を画像記録媒体１０９に所定のフォーマットで保存する。この出力画像は収差の非対称性が補正され鮮鋭度が向上した画像である。また、表示部１０５には、画像回復処理後の画像に表示のための所定の処理を行った画像を表示しても良いし、高速表示のために補正処理を行わない、又は簡易的な補正処理を行った画像を表示しても良い。

上述した一連の制御はシステムコントローラ１１０で行われ、撮像系の機械的な駆動はシステムコントローラ１１０の指示により撮像系制御部１０６で行う。絞り１０１ａは、Ｆナンバーの撮影状態設定として開口径が制御される。フォーカスレンズ１０１ｂは、撮影距離に応じてピント調整を行うために不図示のオートフォーカス（ＡＦ）機構や手動のマニュアルフォーカス機構によりレンズの位置が制御される。

この撮像系にはローパスフィルタや赤外線カットフィルタ等の光学素子を入れても構わない。ローパスフィルタ等の光学伝達関数（ＯＴＦ）の特性に影響を与える素子を用いる場合には画像回復フィルタを作成する時点でこの素子の影響を考慮すれば、より高精度に回復処理を行うことが可能である。赤外カットフィルタにおいても、分光波長の点像分布関数（ＰＳＦ）の積分値であるＲＧＢチャンネルの各ＰＳＦ、特にＲチャンネルのＰＳＦに影響するため、画像回復フィルタを作成する時点で考慮するとより好ましい。

また、撮像光学系１０１は撮像装置の一部として構成されているが、一眼レフカメラにあるような交換式のものであっても良い。絞りの開口径制御やマニュアルフォーカスなどの機能は撮像装置の目的に応じて用いなくても良い。

また、光学伝達関数（ＯＴＦ）は１つの撮影状態においても撮像系の像高（画像の位置）に応じて変化するので、本発明の画像回復処理を像高に応じて変更して行うことが望ましい。

また、画像処理部１０４は少なくとも演算部と一時的記憶部（バッファー）を有する。上記の画像処理の各工程ごとに必要に応じて一時的に記憶部に対して画像の書き込み（記憶）および読み出しを行う。また、一時的に記憶するための記憶部は前記一時的記憶部（バッファー）に限定せず、記憶部１０８でも良く、記憶機能を有する記憶部のデータ容量や通信速度に応じて好適なものを適宜選択して用いることができる。その他、記憶部１０８には画像回復フィルタ、補正情報などのデータが記憶されている。

図６を用いて、画像回復フィルタの選択と補正について説明する。図６には、撮像状態情報と該撮像状態情報に基づいて記憶部１０８に格納された複数の画像回復フィルタ（黒丸）を模式的に示す。記憶部１０８に格納された画像回復フィルタは、焦点位置（状態Ａ）、絞り値（状態Ｂ）および被写体距離（合焦距離）（状態Ｃ）の３つの撮像状態を軸とした撮像状態空間中に離散的に配置されている。撮像状態空間中の各点（黒丸）の座標が、記憶部１０８に記憶されている画像回復フィルタを示す。尚、図６では、画像回復フィルタを各各撮像状態に対して直交した線上の格子点に配置しているが、画像回復フィルタを格子点から外して配置しても構わない。また、撮像状態の種類は、焦点距離、絞り値および被写体距離に限らず、その数も３つでなくてもよく、４つ以上の撮像状態による４次元以上の撮像状態空間を構成して、その中に画像回復フィルタを離散的に配置してもよい。

図６において、大きな白丸で示した撮像状態が、状態検知部１０７により検知された実際の撮像状態であるとする。実際の撮像状態位置に対応する位置、またはその近傍に予め格納された画像回復フィルタが存在する場合には、その画像回復フィルタを選択して画像回復処理に用いることができる。際の撮像状態に対応する位置の近傍の画像回復フィルタを選択する際の１つの方法は、実際の撮像状態と画像回復フィルタが格納された複数の撮像状態との間の撮像状態空間で距離（撮像状態の相違量）を算出する。そして、最も距離の短い位置の画像回復フィルタを選択する方法である。この方法により、図６に小さな白丸で示した位置の画像回復フィルタが選択される。

また、他の方法として、画像回復フィルタ選択に撮像状態空間中の方向による重み付けをする方法がある。すなわち、撮像状態空間中の距離と重み付けした方向の積を評価関数として、該評価関数の値が最も高い画像回復フィルタを選択する方法である。

次に、選択された画像回復フィルタを補正することで、新たな画像回復フィルタを生成する方法について説明する。画像回復フィルタを補正するにあたり、まず実際の撮像状態と画像回復フィルタが格納された撮像状態との間の撮像状態空間での距離（状態相違量）を算出し、最も距離の短い（状態相違量が最も小さい）位置の画像回復フィルタを選択する。状態相違量が最も小さい画像回復フィルタを選択することで、画像回復フィルタの補正量も少なくすることができ、撮像状態での本来の画像回復フィルタに近い画像回復フィルタを生成することができる。

図６では、小さな白丸で示した位置の画像回復フィルタが選択される。この選択された画像回復フィルタに対応する撮像状態と、実際の撮像状態との状態相違量ΔＡ、ΔＢ、ΔＣを算出する。この状態相違量に基づいて状態補正係数を算出し、該状態補正係数を用いて選択された画像回復フィルタを補正する。これにより、実際の撮像状態に対応した画像回復フィルタを生成することができる。

また、他の方法として、実際の撮像状態の近傍に位置する複数の画像回復フィルタを選択し、該複数の画像回復フィルタと実際の撮像状態との状態相違量に応じて補間処理することで、撮像状態に適した画像回復フィルタを生成することができる。ここでの補間処理は、２次元の画像回復フィルタ同士の対応タップの係数値を線形補間、多項式補間およびスプライン補間等を用いて補間すれば良い。

また、画像回復フィルタの生成に用いる光学伝達関数（ＯＴＦ）は、光学設計ツールや光学解析ツールを用いて計算により求めることができる。さらに、撮像光学系単体や撮像装置の実際の状態における光学伝達関数（ＯＴＦ）を、計測して求めることもできる。

図７に画像処理部１０４で実行される本実施例の画像回復処理の具体的なフローチャートを示す。図中の●印は画像等の画素データを少なくとも一時的に記憶するステップを表す。

画像処理部１０４は画像取得工程で入力画像を取得する。次に状態検知部１０７から撮像状態情報を得る（ステップＳ７２）。そして、記憶部１０８から撮像状態に応じた画像回復フィルタを選択し（ステップＳ７３）、画像回復処理工程（補正工程）でこの画像回復フィルタを用いて入力画像に対して回復処理を行う（ステップＳ７４）。

次に画像形成に必要なその他の処理を行い回復された画像を出力する（ステップＳ７６）。ここでのその他の処理としては、前記の補正画像がモザイク画像の状態であれば、色補間処理（デモザイキング処理）、シェーディング補正（周辺光量補正）、歪曲収差補正などがある。また、ここで説明したその他の処理を含めた諸々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。

ここで、画像回復処理の流れとしてより好ましい例について図８を用いて説明する。図８は、回復処理を行う前と後のＭＴＦの変化を表す。破線（ａ）、実線（ｂ）はそれぞれ画像回復処理を行う前の第１アジムス方向、第２アジムス方向のＭＴＦであり、破線（ｃ）、実線（ｄ）は回復処理を行った後の第１アジムス方向、第２アジムス方向のＭＴＦである。図８に示すように、回復前の２つのアジムス方向のＭＴＦ（ａ）、（ｂ）に対して、画像回復処理を低い回復度合いで行う。これにより、（ｃ）、（ｄ）のように、ＭＴＦは低い状態で、アジムス方向の差異は補正された状態になる。この状態は、収差の位相成分および収差の非対称性は補正されているが、鮮鋭度は低い状態である。言い換えれば、画像回復フィルタが逆フィルタであるときの回復画像の回復度合いを最大回復度合いとすると、最大回復度合いよりも低い回復度合いの回復画像である。好ましくは、ナイキスト周波数内において、２つのアジムス方向の回復後のＭＴＦの周波数平均が、回復前の最大のＭＴＦの１．５倍以下とすることが好ましい。さらに好ましくは１．２倍以下とすることが好ましい。さらに好ましくは、２つのアジムス方向のうち、ＭＴＦのより高い第１のアジムス方向は位相のみを回復し、ＭＴＦは実質的に変化させない。そして、ＭＴＦのより低い第２のアジムス方向は位相を回復し、該第２のアジムス方向のＭＴＦは第１のアジムス方向のＭＴＦに揃えることが好ましい。このような回復処理を行った回復画像に対してエッジ強調処理を行う。

これにより、エッジ部のみの鮮鋭度を向上することができるので、画像全体に対して回復処理を行うよりも、ノイズ増幅を抑制することができる。

エッジ強調処理については図９を用いて説明する。エッジ強調フィルタの一例を図９に示す。エッジ強調を行うためのフィルタは、図９に示すように、入力画像をそのまま出力するフィルタと微分フィルタの差分によって生成することができる。微分フィルタは１次微分を行うソーベルフィルタや２次微分を行うラプラシアンフィルタなどがよく知られている。図９の微分フィルタはラプラシアンフィルタである。エッジ強調フィルタは隣接画素との画素値の関係により処理を行うため、図のようにタップ数が３×３程度のフィルタがよく用いられている。

図１０に図９に示したエッジ強調フィルタを用いた場合のエッジ部分の強調効果を示す。図１０Ａ、Ｂ、Ｃは画像中のエッジ部の輝度をある断面で見たとき図である。横軸は座標、縦軸は振幅を表している。図１０Ａは、画像中のエッジ部分の輝度断面であり、これに微分フィルタでエッジ部を抽出して符号反転したものが図１０Ｂである。元の画像図１０Ａに図１０Ｂを足し合わせることで図１０Ｃのように、エッジの傾きを急峻に強調することができる。エッジ強調処理は特にエッジの急峻な部分にのみ作用し、先鋭化するので画像全体に対してはノイズ増幅の影響が少ないという利点やフィルタのタップ数が比較的小さいため高速な処理が可能であるという利点がある。よって、低い回復度合いの画像回復処理を行った後に、エッジ強調処理をするのがより好ましい。このようにエッジ強調処理と組み合わせる場合には、図７のその他必要な処理にエッジ強調処理を含めれば良い。画像のエッジ部が強調処理が可能なその他の処理としては、シャープネス処理等が挙げられる。

以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序に対して別の観点での制約がある場合にはこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、撮像装置に関する実施例を示したが、その要旨の範囲内で種々の変形及び変更が可能である。

図１１Ａには、本発明の実施例２である画像処理システムの構成図を示した。画像処理装置１１１は、情報処理装置により構成され、実施例１にて説明した画像処理方法を該情報処理装置に実行させるための画像処理ソフトウェア（画像処理プログラム）１１２を搭載している。

撮像装置１１３は、カメラ、顕微鏡、内視鏡、スキャナ等を含む。記憶媒体１１４は、半導体メモリ、ハードディスク、ネットワーク上のサーバー等、撮像により生成された画像（撮影画像データ）を記憶する。

画像処理装置１１１は、撮像装置１１３または記憶媒体１１４から画像データを取得して、所定の画像処理を行った出力画像（補正画像）データを出力機器１１６、撮像装置１１３および記憶媒体１１４の少なくとも１つに出力する。また、出力先を画像処理装置１１１に内蔵された記憶部にし、該記憶部に出力画像データを保存しておくこともできる。出力機器１１６としては、プリンタ等が挙げられる。画像処理装置１１１には、モニタである表示機器１１５が接続されており、ユーザはこの表示機器１１５を通して画像処理作業を行うとともに、回復調整画像（出力画像）を評価することができる。画像処理ソフトウェア１１２は、画像回復処理機能および回復度合い調整機能の他に、必要に応じて現像機能やその他の画像処理機能を有している。

また、図１１Ｂには、別の画像処理システムの構成を示している。実施例１のように、撮像装置１１８単体で実施例１の画像処理を行う場合は、撮像装置１１８から直接、出力機器１１９に回復調整画像を出力することができる。

また、出力機器１１９に、実施例１の画像処理方法を実行する画像処理装置を搭載することで、出力機器１１９で画像の特徴量に応じて調整係数を設定し、回復度合いの調整を行うことも可能である。さらに、出力機器１１９の出力画像の劣化特性に応じて回復度合いを調整することで、より高画質な画像を提供することができる。

ここで、画像回復処理および回復度合いの調整を含む画像処理を行うための補正情報の内容と、その受渡しについて説明する。図１２に補正情報の一例を示し、この複数の補正情報を補正情報セットと記す。各補正情報について以下に説明する。

「補正制御情報」
補正制御情報は、撮像装置１１３、画像処理装置１１１および出力機器１１６のいずれかで回復処理および回復度合い調整処理を行うかを示す設定情報と、該設定情報に応じて他の機器に伝送するデータを選択するための選択情報である。例えば、撮像装置１１３で回処理のみ行い、画像処理装置１１１で回復度合いの調整を行う場合、画像回復フィルタを画像処理装置１１１に伝送する必要は無いが、少なくとも撮影画像と回復画像あるいは回復成分情報（差分情報）を伝送する必要がある。

「撮像装置情報」
撮像装置情報は、製品名称に相当する撮像装置１１３の識別情報である。レンズとカメラ本体が交換可能な場合はその組み合わせを含む識別情報である。

「撮像状態情報」
撮像状態情報は、撮影時の撮像装置１１３の状態に関する情報である。例えば、焦点距離（ズーム位置）、絞り値、被写体距離（合焦距離）、ＩＳＯ感度、ホワイトバランス設定等である。

「撮像装置個別情報」
撮像装置個別情報は、上記の撮像装置情報に対して、個々の撮像装置の識別情報である。製造誤差のばらつきにより撮像装置の光学伝達関数（ＯＴＦ）は個体ばらつきがあるため、撮像装置個別情報は個々に最適な回復度合い調整パラメータを設定するために有効な情報である。回復度合い調整パラメータとは、実施例３以降で説明する回復強度調整係数μや色合成比調整係数ωである。

「画像回復フィルタ群」
画像回復フィルタ群は、画像回復処理で用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合、別の装置（機器）から画像回復フィルタを伝送する必要がある。

「ユーザ設定情報」
ユーザ設定情報は、ユーザの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザは調整パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザ設定情報は、ユーザが調整パラメータを決定した履歴から、最も好む鮮鋭度を学習機能により更新することが好ましい。

さらに、撮像装置の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。

上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、実施例２の画像処理装置を搭載した機器であれば画像回復処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

実施例３では、実施例１、２の画像回復フィルタを用いてさらに好適な画像を生成する処理を行う例を説明する。本実施例の処理により、より自由度の高い画質の回復画像を生成することができる。実施例３について図面を参照しながら説明する。

図１３には、実施例において実行される画像処理方法のフローを示す。以下の説明において、記号ｍは、画像の色成分（例えばＲ，Ｇ，Ｂ）を表す。つまり、Ａ_ｍは（Ａ_Ｒ，Ａ_Ｇ，Ａ_Ｂ）を示し、それぞれＡのＲ成分、ＡのＧ成分、ＡのＢ成分を表す。Ａは図１３のｇ，ｆ，ｆｄ，Ｓ，Ｓｄ等に相当する。

ＲＧＢの色成分を有する入力画像ｇ_ｍに対して、色成分ごとに選択又は生成された画像回復フィルタを用いて、第１の回復処理を行い、第１の画像ｆｄ１_ｍ（第１回復画像）を生成する（第１回復画像生成手段）。

第１の画像ｆｄ１_ｍ（第１回復画像）は、ＯＴＦ（光学伝達関数）の位相成分が補正されているため、鮮鋭度が向上している。また、色成分ごとにアジムス方向間のＭＴＦの特性が相対的に揃うよう（アジムス方向間の特性の差が低減するように）に補正されているため、収差の非対称性が低減することができる。ＭＴＦは撮像系の伝達関数（撮像光学系の光学伝達関数）の振幅成分（絶対値）であるが、被写体（被写界内の物体）が白色点光源の場合、ＭＴＦを画像のスペクトルと捉えることができる。この場合、第１の画像ｆｄ１_ｍの画像の第１アジムス方向のスペクトルの周波数平均と第２アジムス方向のスペクトルの周波数平均の差が、回復前の画像の第１アジムス方向のスペクトルの周波数平均と第２アジムス方向のスペクトルの周波数平均の差より減少する。言い換えると、画像回復後の回復画像の２つのアジムス方向におけるスペクトルの平均値の差が、画像回復前の画像の同じ２つのアジムス方向におけるスペクトルの平均値の差よりよりも小さくなる。以下、第１の回復画像を生成する処理を第１の（画像）回復処理を記す。

ただし、この画像にはノイズ、リンギングや偽色等が含まれている。偽色とは画像回復処理により生じ得る色付きである。

一方、入力画像ｇ_ｍに対して色成分ごとに第２の回復処理を行い、第２の画像ｆｄ２_ｍ（第２回復画像）を得る。第２の画像ｆｄ２_ｍは、第１の画像ｆｄ１_ｍよりも回復度合い（ＭＴＦの回復量）を低く設定する。より限定すれば、被写体が白色点光源の場合、第２の画像ｆｄ２_ｍの特定の色成分の画像のスペクトルの周波数平均が、第１の画像ｆｄ１_ｍの該特定の色成分の画像のスペクトルの周波数平均よりも低い。以下、第２の回復画像を生成する処理を第２の（画像）回復処理と記す。

ただし、第２の回復処理も、第１の回復処理のようにアジムス方向間のＭＴＦ特性の差が、回復前より低減するように回復することがより好ましい。

尚、第２の画像ｆｄ２_ｍとしては上述した第２の回復処理を行わずに、入力画像を用いることもできる。

第１の画像ｆｄ１_ｍから第２の画像ｆｄ２_ｍを式６のように対応する画素ごとに信号値を減算することで、第１の画像ｆｄ１_ｍと第２の画像ｆｄ２_ｍの色成分ごとの差分情報としての回復成分情報Ｓ_ｍ（差分情報）を生成する。

そして、式７のように、色成分ごとに回復成分情報Ｓ_ｍを回復強度調整係数μ_ｍに応じて第２の画像ｆｄ２_ｍに合成することで、回復調整画像（出力画像）としての補正画像ｆ_ｍを得る。

補正画像ｆ_ｍは、式７から分かるように、回復強度調整係数μ_ｍが０のときに第２の画像ｆｄ２_ｍとして得られ、回復強度調整係数μ_ｍが１のときに第１の画像ｆｄ１_ｍとして得られる。また、回復強度調整係数μ_ｍが０から１の間においては、第２の画像ｆｄ２_ｍから第１の画像ｆｄ１_ｍの間で連続的に回復度合いが調整される。

ここで、回復成分情報Ｓ_ｍの演算量（加算量）を調整することで回復度合いが制御できる。尚、回復強度調整係数μ_ｍは負の係数であってもよい。

回復強度調整係数μ_ｍを（以下、μとも記す）調整可能にすることで、画像回復に伴う弊害を抑制するために、回復度合いと弊害発生リスクのバランスを制御することができる。

また、本実施例の方法では、回復度合い、すなわち回復強度調整係数μを変更しても、画像回復フィルタの再計算や画像回復フィルタと画像の再コンボリューション処理を行う必要が無いので、画像処理の負担を軽減することができる。

次に、上記フローの順に、各工程を具体的な処理について説明する。

「入力画像ｇ_ｍ」
入力画像ｇ_ｍは、実施例１の画像取得工程により説明した入力画像と同じである。

「画像回復処理」
画像回復処理に用いる画像回復フィルタは実施例１の画像回復フィルタ生成工程に説明した画像回復フィルタと同じである。

ここで、第１の画像ｆｄ１ｍを得るための画像回復処理における画像回復フィルタの収差補正の特性は実施例１の式４において説明を行った。回復画像の位相成分が零になるよう補正されることが望ましいので、［ｒＯＴＦ］は位相成分を持たないようにすればよい。

「第１の画像ｆｄ１_ｍ」
振幅成分および位相成分を回復する画像回復フィルタを用いた画像回復処理により、第１の画像ｆｄ１_ｍが得られる。従来における画像回復では、この第１の画像ｆｄ１_ｍを回復画像（補正画像）として出力している。第１の画像ｆｄ１_ｍが必要な画質を満たしていれば、補正画像ｆ_ｍとして用いることができるが、実際には上記のようにノイズが増幅されていたり、リンギングや偽色が含まれている。ノイズに関しては、予め画像回復フィルタの回復度合いを適正に設定することで抑制できるが、リンギングや偽色に関しては、その発生量の予測が困難であるため、回復画像を評価して再度、回復度合いを調整する必要がある。

第１の画像を得るまでの画像処理のフローチャートを図１４に示す。図中の●印は画像データをメモリ等に記憶する工程を表している。画像取得工程で、入力画像を取得する。画像回復フィルタ取得工程で、入力画像の撮影された条件に対応する画像回復フィルタを選択、または補正して取得する。画像回復工程では、上記の第１の画像回復処理により画像の位相成分と振幅成分の劣化に対して、位相成分は零を目標値に補正し、振幅成分は向上するとともにアジムス方向間でその差が低減するように補正する画像回復フィルタ（第１の画像回復フィルタ）を用いる。以上の処理により、収差の非対称性が低減された第１の画像ｆｄ１_ｍを得ることができる。

「第２の画像ｆｄ２_ｍ」
第２の画像ｆｄ２_ｍは、第１の画像ｆｄ１_ｍよりも低い回復度合いの画像回復フィルタ（第２の画像回復フィルタ）を用いて画像回復処理を行う。より好ましくは、第１の画像ｆｄ１_ｍのようにアジムス方向間の振幅特性が相対的に揃うように回復するのがよい。第２の画像ｆｄ２_ｍは、例えば図８に示したように、回復前の２つのアジムス方向のＭＴＦ、破線（ａ）、実線（ｂ）に対して、低回復ゲインでアジムス方向間のＭＴＦを揃えることで、破線（ｃ）、実線（ｄ）のように、非対称収差を補正することができる。

この状態は、収差の位相成分およびＭＴＦのアジムス依存性は補正されているが、ＭＴＦそのものが低い、即ち鮮鋭度が低い状態である。第１の画像ｆｄ１_ｍ、第２の画像ｆｄ２_ｍの互いの回復度合いは異なるが、ともに非対称収差が補正されていれば、回復度合いを変更しても常に非対称収差が補正された補正画像（回復調整画像）を得ることができる。

また、第２の画像ｆｄ２_ｍとして入力画像をそのまま用いることもできる。この場合、回復強度調整係数μを調整し、回復度合いを最も低くした状態では補正画像として入力画像が得ることができる。また、回復度合いを高くするに従って、ＭＴＦが向上し鮮鋭度が向上するとともに、アジムス方向間のＭＴＦの差も減少されていくので、収差の非対称収差も補正された良質な画像を得ることができる。第２の画像ｆｄ２ｍを得る工程のフローチャートも図１４と同じであり、第１の画像ｆｄ１ｍの工程画像回復フィルタの回復度合いが異なるのみであるので、説明は省略する。

「回復成分情報Ｓ_ｍ」
第１の画像ｆｄ１_ｍから第２の画像ｆｄ２_ｍを式６のように減算する（色成分および画素ごとの減算処理を行う）ことで、色成分ごとの回復成分情報Ｓ_ｍを生成することができる。第１の画像ｆｄ１_ｍおよび第２の画像ｆｄ２_ｍは、撮像系（撮像光学系）で劣化した位相成分（位相成分の劣化）が揃うように補正されている場合、位相成分の状態は実質的に等しいが、振幅成分の状態は異なっている。したがって、回復成分情報Ｓ_ｍは、第１の画像ｆｄ１_ｍと第２の画像ｆｄ２_ｍの振幅成分の差分情報ということができる。

ここで、位相成分の状態は、第１の画像ｆｄ１_ｍおよび第２の画像ｆｄ２_ｍともに、撮像系による位相成分の劣化が十分に除去された状態として揃っていることが望ましい。一方、振幅成分の状態は、後述する回復強度調整係数により回復度合いを制御できるため、異なった状態である必要がある。

このため、回復成分情報Ｓ_ｍは、第２の画像ｆｄ２_ｍの位相ずれ以外の収差成分と画像回復処理により発生したノイズの増加成分やリンギングの成分、さらに偽色の成分も含んでいる。

「回復強度調整係数μ_ｍおよび補正画像ｆ_ｍ」
上記、アジムス方向間のＭＴＦの差を低減する画像回復フィルタを用いて回復処理を行った回復画像は、収差の非対称性が改善されている。しかし、一般的に被写体は奥行きがあり、実際に撮像された状態で発生している収差特性と画像回復フィルタが想定している収差特性とに相違がある場合には、回復画像にアーティファクトとしてリンギング等の弊害が発生することがある。

さらに、２つの色成分ごとの回復度合いが想定しているものと異なると、回復画像に色付き、すなわち偽色が発生してしまうことがある。この偽色も、ノイズやリンギングと同様にアーティファクトの１つである。

図２２には、回復画像に発生した偽色の例を示している。図中の破線部に偽色が発生している。偽色Ａは、製造誤差によりエッジ部が回復処理前の画像よりも色づいた状態になることで発生している。偽色Ｂは、太陽の反射光が強いために発生した輝度飽和により、輝度飽和部の周辺が回復処理前の画像よりも色づいた状態になることで発生している。偽色Ｃは、ピントずれによりエッジ部が回復処理前の画像よりも色づいた状態になることで発生している。

そこで、回復度合い（回復強度）を調整可能な回復強度調整係数μを用いる。これにより、画像回復に伴う色付き（偽色）、ノイズ、リンギング等の弊害発生リスクと回復度合いとのバランスを制御することが可能となる。図２２に示した例のように、画像回復フィルタの補正特性に対応した収差特性と画像の収差特性が異なっている場合においても、偽色やリンギング等のアーティファクトの発生を抑えた良質な画質をえることができる。以下、回復強度調整係数μについて説明する。

式７に示すように、色成分ごとに回復成分情報Ｓ_ｍを回復強度調整係数μ_ｍに応じて第２の画像ｆｄ２_ｍに合成することで、補正画像ｆ_ｍを得る。補正画像ｆ_ｍは回復強度調整係数μ_ｍが０のときに第２の画像ｆｄ２_ｍとして得られ、回復強度調整係数μ_ｍが１のときに第１の画像ｆｄ１_ｍとして得られる。また、回復強度調整係数μ_ｍが０から１の間においては、第２の画像ｆｄ２_ｍから第１の画像ｆｄ１_ｍの間で連続的に回復度合いを調整することができる。

つまり、収差の非対称性を補正しつつ、画像回復処理による弊害（偽色、リンギング、ノイズの増幅）を考慮しながら鮮鋭度を高めることができるので、より質の高い画像を得ることができる。

また、ユーザが所望の画質を有する画像を処理負担の増大を抑えつつ提供することができる。

第２の画像ｆｄ２_ｍと回復成分情報Ｓ_ｍは共に位相成分と収差の非対称性が補正され、振幅成分（ぼけ量）のみが異なる状態である。このため、回復度合いの調整量に応じて位相成分や収差の非対称性が変動することは無く、収差の非対称性が補正された状態を維持できる。また、回復強度調整係数μの基本範囲は、０≦μ≦１であるが、μ＞１とすることで強調補正した画像を得ることもできる。つまり、回復強度調整係数μは、可変に設定可能である。

さらに、回復強度調整係数μを色成分ごとに変更すると、色成分ごとに回復度合いを調整することができる。これは、被写体の照明光源の分光変動や撮像光学系の製造誤差等の要因で、色成分ごとに光学伝達関数（ＯＴＦ）が変化し、収差の非対称性のバランスが変化した場合に、色成分ごとの回復度合いの強弱を調整するのに有効である。照明光源の分光特性が変化することは、波長ごとの強度比が変化することであるため、色成分ごとに収差量が変化する。したがって、撮影時の分光特性に応じて回復強度調整係数μを色成分ごとに設定することで、各色成分に適した補正画像ｆ_ｍを得ることができる。

また、撮像光学系に製造誤差がある場合の影響の１つに、例えば、画像の左右対称な位置で劣化度合いが異なることがあり、この劣化度合いの差異は、画像上でのぼけ成分やその相対的な色付き成分の差異として現れる。ぼけ成分については、回復強度調整係数μを画像の位置によるぼけ量の変動に応じて設定することで、製造誤差を吸収することができる。また、色付きは、画像の位置による色付き量の変動に応じて回復強度調整係数μを色成分ごとに設定することで、製造誤差を吸収することができる。

出力画像の画質の評価は目的に応じて異なる。例えば、ポートレートの場合、ノイズやリンギングは非常に邪魔な存在である。一方、監視カメラなどで、車のナンバープレートから数字を読み取りたい場合にはノイズやリンギングがあっても、数字を特定することが最重要となる。また、何らかの要因でノイズやリンギングや偽色等の弊害が画像に大きく現れた場合、出力画像として回復度合いが低くても十分に弊害の無い画像を出力できることは出力画像の保障として重要である。これらの場合に対して、回復強度調整係数μを調整することで対応を行うことができる。

また、一般の写真撮影においても、収差が残っていることでフレアが存在する柔らか味のある画像から収差を除去した鮮鋭な画像まで出力画像として要求される画質はユーザや被写体によって様々である。この場合に対しても回復強度調整係数μを調整することで対応を行うことができる。

また、式６を変形して、第２の画像ｆｄ２_ｍから第１の画像ｆｄ１_ｍを減算して回復成分情報を抽出してもよい。この場合、式６を変形して、第２の画像ｆｄ２_ｍからこの回復成分情報を回復強度調整係数に応じて減算（これも「合成」に含む）しても、数式上は等価であり、同じ効果が得られる。

上記のように回復度合いを変更するためには、従来は画像回復フィルタを生成する際のパラメータを変更する必要があったため、回復度合いを変更する度に画像回復フィルタを再計算する必要があった。さらに、再計算した画像回復フィルタを用いて入力画像に対してコンボリューション処理を行う必要があった。これは画像処理を高速に行うための大きな障壁となっていた。

しかし、本実施例の画像処理方法では、回復度合いを調整する場合にも、画像の合成比を変化させるだけであるので、画像回復フィルタを再計算する必要がない。さらに、調整パラメータの変更の度に入力画像に対してコンボリューション処理を行う必要もない。また、回復度合いを下げても収差の非対称性が少なくとも点対称な状態に補正されているため、倍率収差の非対称性が除去された状態で変動が無く、コマ収差の特徴である像の流れも補正されている。

従来の画像処理方法と本実施例の画像処理方法とを、図１５および図２１を用いて比較する。図２１は従来の画像処理方法（画像回復処理）のフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像を評価して、そのまま出力画像とするか再度、回復度合いを変更するかを判定する。回復度合いを変更する場合には、回復パラメータを変更し、画像回復フィルタを再計算し、再度、入力画像に対して画像回復処理を行う。これを繰り返して所望の画像が得られたら回復画像（出力画像）として出力する。

一方、図１５は本実施例の画像処理方法（画像回復処理）のフローである。撮影画像を入力画像とし、初期値としての回復パラメータを用いて画像回復フィルタを生成するか、初期値として予め用意された画像回復フィルタを用いて入力画像に対して画像回復処理を行う。この回復画像に対して予め用意された調整パラメータか、ユーザが設定した調整パラメータか、画像情報から自動的に決定された調整パラメータを用いて画像合成処理を行い、回復調整画像とする。この回復調整画像を評価して、そのまま補正画像（出力画像）とするか再度、回復度合いを変更するかを判定する。回復度合いを変更する場合には、調整パラメータを変更し、再度、画像合成処理を行う。ここにいう調整パラメータが、上述した回復強度調整係数μである。

このように、従来の画像回復処理と本実施例の画像回復処理では、調整時の画像回復フィルタの再計算の必要の有無および画像回復処理である入力画像と画像回復フィルタのコンボリューション処理の必要の有無の点で大きく異なる。つまり、回復度合いいを変更しても、画像回復フィルタの再計算や画像回復フィルタと画像の再コンボリューション処理を行う必要が無いため、画像処理の負荷を低減し高速な処理を行うことができる。

また、出力画像としての採用の可否の判定や、回復度合いの変更に伴う調整パラメータの変更は、ユーザが主観的な評価に基づいて行ってもよいし、予め画像の評価関数を設定しておいて自動的に行ってもよい。

さらに、入力画像の画素の特徴量に応じて自動的に調整パラメータを変更することもできる。「画素の特徴量」とは、入力画像の部分的なコントラストや輝度レベル等である。画像の部分的なコントラストの高低を検出する方法として、例えば微分フィルタを用いる方法が知られている。これを用いることで、画像中のエッジ部とそうでない部分を分離することができる。エッジ部の鮮鋭度は画像全体の鮮鋭度に影響するので、エッジ部については回復度合いが高くなるように調整パラメータを設定する。一方、エッジ部でない比較的濃淡の少ない部分は回復度合いを高くしても画像全体の鮮鋭度には影響せず、むしろこの部分のノイズを増強してしまうと弊害となるので、回復度合いが低くなるように調整パラメータを設定する。

また、輝度レベルが低い部分は、本来の画像信号とノイズ信号のＳＮ比が低いため、回復度合いを高くするとノイズが目立ち易いので、回復度合いが低くなるように調整パラメータを設定する。一方、輝度飽和をしている部分は、本来の画像信号が撮像素子のレンジの上限でクリップ（制限）されており、ここでは収差の状態も想定している状態とは大きく異なるので、画像回復による弊害が発生し易い。そこで、回復度合いが低くなるように調整パラメータを設定することで弊害を回避することができる。

その他にも、被写体を認識して被写体の種別に応じた回復度合いの調整を行うことができる。例として、近年のデジタルカメラには顔認識機能が搭載されている。しかし、画像回復により人物の顔にノイズや偽色などのアーティファクトが発生すると、非常に不自然な画像になってしまうため、回復度合いを適度に調整することが好ましい。

また、画素の特徴量に応じて調整パラメータを変更することは、画像の位置によって調整パラメータを変更することを意味している。本実施例では、画像合成処理において画像を画素単位で合成するので、その際の混合比を変更するだけで比較的容易に調整することができる。このように画素単位で回復度合いを調整できることも本実施例の特徴の１つである。

調整パラメータの設定値は、他にもＩＳＯ感度、焦点距離（ズーム位置）、被写体距離（合焦距離）、絞り値等の撮像状態に応じて変更することもできる。

また、本発明の画像処理方法の基本的なフローを説明したが、ここで説明した工程のうちいくつかの工程を一括して同時に行ってもよい。また、各工程の前後に適宜必要な処理工程を追加することも可能である。さらに、説明に用いた式や等号記号は本発明の画像処理方法の具体的なアルゴリズムをこれに限定するものではなく、必要に応じて変形が可能である。

本実施例の画像回復処理（画像処理方法）は、図５に示した画像処理部１０４で実行される。図１６に、画像処理部１０４で実行される本実施例の画像回復処理に関わる具体的なフローを示す。図中の●印は画像等の画素データを少なくとも一時的に記憶するステップを表す。

画像処理部１０４は、画像取得工程（画像取得ステップ）で入力画像を取得する。次に、画像処理部１０４は、状態検知部１０７から撮像状態情報を得て、記憶部１０８から撮像状態に応じた画像回復フィルタを選択する。そして、画像回復工程（画像回復ステップ）で、画像処理部１０４は、画像回復フィルタを用いて入力画像に対して回復処理を行う。画像回復工程では、振幅成分および位相成分を補正（回復）した第１の画像と、位相成分のみを補正（回復）した第２の画像とを生成する。

回復成分情報生成工程（回復成分情報生成ステップ）では、画像処理部１０４は、第１の画像と第２の画像の各画素の信号値の差分から回復成分情報を生成する。回復成分情報は、第１の画像と第２の画像との差分情報であるため、値としては正の値や負の値を持っている。

そして、この回復成分情報生成工程（差分情報取得工程）では、画像処理部１０４は、回復強度調整係数μとしての調整パラメータの設定値を取得する。調整パラメータの設定方法としては、撮像状態や像高に応じて予め用意された設定値から自動的に選択して用いることができる。また、画像から画素の特徴量を判別して自動的に調整パラメータを変更して設定することができる。または、ユーザが任意に設定することもできる。

次に、回復画像生成工程（回復調整画像生成工程）で、画像処理部１０４は、調整パラメータに応じて回復成分情報を第２の画像に合成して補正画像を生成する。具体的には、回復成分情報の各画素値に回復強度調整係数μを乗じた画素値を画素ごとに第２の画像に加えることで補正画像（回復調整画像）を得る。

次に、画像処理部１０４は、画像形成に必要なその他の処理を行い、回復された画像（補正画像）を出力する。ここでの「その他の処理」としては、補正処理を受けた画像がモザイク画像であれば、色補間処理（デモザイキング処理）を行う。その他、エッジ強調処理、シェーディング補正（周辺光量補正）、歪曲収差補正等がある。また、ここで説明したその他の処理を含めた種々の画像処理は、上記フローの前後や中間に必要に応じて挿入することもできる。

以上、各処理工程の好ましい前後関係や考慮すべき処理について説明したが、処理工程の順序はこれに限るものではなく、処理上の制約条件や要求画質に応じて変更しても構わない。また、本実施例では、補正処理において位相成分のみを回復する処理を行っているが、前述したように、ノイズ増幅が許容範囲である場合には振幅成分に多少の変化を与えてもよい。

本実施例では、画像回復処理に伴う偽色の発生をさらに抑制する画像処理方法について説明する。図１７は、色成分ごとの回復成分情報Ｓ_ｍを色合成比調整係数ωに応じて色合成することで、色成分ごとの色合成回復成分情報Ｓｄ_ｍを生成し、この色合成回復成分情報Ｓｄ_ｍを第２の画像Ｓ_ｍに合成する処理のフローを示している。

色合成比調整係数ωは、各色成分について全ての色成分の回復成分情報（差分量）Ｓ_ｍをこの色合成比調整係数ωに応じて色合成することにより色合成回復成分情報（差分情報）Ｓｄ_ｍを生成するための係数であり、色成分の混合比である。したがって、回復成分情報Ｓ_ｍから色合成回復成分情報Ｓｄ_ｍを生成する処理は、式１２およびこれを色成分ｍ，ｎについて展開して記した式１３として表現することができる。

次に、式１３の９つの色合成比調整係数ωの決定方法について説明する。はじめに、色合成比調整係数ωの２つの例について説明する。

１つ目は、回復強度調整係数μを１とした場合に、補正画像として第１の画像ｆｄ１_ｍと同じ画像を得るための色合成比調整係数ωである。式１３の色合成比調整係数ωの対角成分を１として残りの成分を０として単位行列をとすると、色合成回復成分情報Ｓｄ_ｍは、それ自身の色成分の回復成分情報Ｓ_ｍと等しくなる。これは、補正画像ｆ_ｍを第１の画像ｆｄ１_ｍと同じ画像として出力する場合の係数設定である。この場合、前述した通り、補正画像としては収差成分を最大限に補正しようとするものであるが、同時に偽色の発生リスクも大きい。

２つ目は、偽色を発生させないための色合成比調整係数ωである。式１３の色合成比調整係数ωの全要素を１／３とおくと、色合成回復成分情報Ｓｄ_ｍは全ての色成分の回復成分情報Ｓ_ｍを平均化したものになり、色合成回復成分情報Ｓｄ_Ｒ，Ｓｄ_Ｇ，Ｓｄ_Ｂともに同じものになる。色合成回復成分情報Ｓｄ_ｍが全ての色成分で等しいということは、この後の工程で第２の画像ｆｄ２_ｍに色合成回復成分情報Ｓｄ_ｍを合成する際に、色成分に関する付加情報の相違が無いことになるので、偽色が発生しない。

ただし、各色成分の収差情報を平均化しているので、１つ目の第１の画像ｆｄ１_ｍを出力画像とする場合に比べて回復度合い、すなわち鮮鋭度は低下することになる。しかし、回復成分情報Ｓ_ｍを平均化しても、各色成分の回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの間には少なからず正の相関（類似性）があるので、入力画像ｇ_ｍに対して補正画像の鮮鋭度は向上している。したがって、これが偽色の発生リスクを除去した回復条件となる。

上では、偽色の発生リスクを最大化した場合と最小化した場合の色合成比調整係数ωの設定について説明した。この色合成比調整係数ωを連続的に変化させることで、偽色の発生リスクと回復度合いのバランスを連続的に調整することができる。

式１３の色合成比調整係数ωを単位行列とした場合と全て１／３とした場合以外の中間的な色合成比調整係数ωの決定方法の例を以下に説明する。色合成比調整係数ωは、９つの設定自由度を有しているため、各要素値の設定が難しい場合がある。色合成比調整係数ωは可変に設定可能であり、例えば、撮像装置や画像処理システム上で一般ユーザがこの色合成比調整係数ωを可変に設定する場合がその一つの例である。

この困難性を解決するために、色合成比調整係数ωの各要素間に従属関係を持たせて、制御する自由度を低減する。ただし、この従属関係は、回復度合いと偽色の発生リスクとのバランスを調整できる関係である必要がある。また、撮像装置や画像処理システムを提供する側としても好適な調整パラメータを少ない自由度で制御できることは、装置の開発工程や生産工程での作業効率を向上することができる。

色合成比調整係数ωの決定方法の例として、はじめに２つの制約条件を設ける。１つ目の制約条件は、式１４のように、式１３の行列ωの行ごとの和をそれぞれ１とするものである。これは、例えばＲ成分の色合成回復成分情報Ｓｄ_Ｒを生成するための回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂの混合比を正規化していることを意味している。このように混合比を正規化することで、異なる色合成回復成分情報Ｓｄ_ｍ間でそれぞれ如何なる比率で重み付けされているかが容易に比較できるようになる。

２つ目の制約条件は、式１５のように、式１３の行列ωの列ごとの和を１とするものである。これは、各色合成回復成分情報Ｓｄ_Ｒ，Ｓｄ_Ｇ，Ｓｄ_Ｂを生成する際に、回復成分情報Ｓ_Ｒ，Ｓ_Ｇ，Ｓ_Ｂを各色成分に分配してそれぞれ使い果たすことを意味している。

上記の２つの制約条件を設けると、色合成比調整係数ωは式１６のように表現することができる。

さらに、本実施例の目的は、回復度合いを確保しながら偽色の発生リスクを抑制することであるので、各色合成回復成分情報Ｓｄ_ｍは色成分間での類似性が高い、すなわち相違が小さい方が好ましいことになる。前述したω＝１／３とした場合の説明は、各色合成回復成分情報Ｓｄ_ｍの色成分間での相違が無いために偽色の発生リスクが最小、すなわち偽色の発生が無い状態であった。したがって、ある色成分の回復成分情報Ｓ_ｍを各色成分の色合成回復成分情報Ｓｄ_ｍにできるだけ均等に配分すればよいことになるので、式１６の各列の分散が小さい方が偽色の発生リスクを低減できる。

これに基づいて、式１６の各列の分散を最小化すると、式１７のように記すことができる。式１７は、設定パラメータがωの１つになっているので、回復度合いと偽色の発生リスクのバランスの調整を容易に制御することができる。

式１７においてω＝１とすると、行列ωは単位行列となり、回復度合いと偽色の発生リスクがともに最大になる。また、ω＝１／３とすると、行列ωは全ての要素が１／３となり、回復度合いが低下するとともに偽色の発生リスクが無くなる。したがって、１／３≦ω≦１の範囲で色合成比調整係数ωを低下させていくと、偽色の発生リスクを低減していく調整が可能となる。

ここでは、色合成比調整係数ωの決定方法の例を示したが、決定方法に関してはこれに限るものではない。例えば、行列ωの全要素を０（ゼロ）にすると、色合成回復成分情報Ｓｄ_ｍが全ての色成分で０（ゼロ）になるので、補正画像ｆ_ｍは第２の画像ｆｄ２_ｍそのものとなる。このように、０≦ω≦１の範囲で色合成比調整係数ωを調整することで、位相成分のみ回復した第２の画像ｆｄ２_ｍから、振幅成分および位相成分を回復した第１の画像ｆｄ１_ｍまでの範囲で出力画像を調整して得ることができる。また、式１４を１よりも大きく設定することで、さらに補正を強調させることも可能である。

このように、行列ωの各要素の設定自由度は１つに限定せず、９つの自由度や別の制約条件に基づいて低減された自由度で調整することもできる。例えば、式１６に基づいて設定すれば自由度は６である。

また、色合成比調整係数ωの範囲についても、上記した補正画像ｆ_ｍとして入力画像や強調画像を得る場合のように、１／３≦ω≦１に限定せず設定することもできる。すなわち、式１７は、回復度合いと偽色の発生リスクを１つの設定パラメータωで容易に決定するための例にすぎない。本実施例の本質は、回復成分情報Ｓ_ｍを色成分間で合成し、色合成回復成分情報Ｓｄ_ｍの色成分間の類似性を制御することで、偽色の発生リスクを抑制することである。

また、式１８のように色合成比調整係数ωと回復成分調整係数μを組み合わせて制御することもできる。これらを組み合わせることにより、色合成比調整係数ωは１／３≦ω≦１の範囲として偽色の発生を抑制し、回復成分調整係数μの範囲を０≦ω≦１として回復度合いを制御することが可能である。

回復成分調整係数μを色成分で共通にして、式１９のようにすることもできる。

また、上記のように色成分間の回復成分情報Ｓ_ｍを色合成する際には、各画素に複数の色成分情報を持っていることが必要になる。したがって、上記の画像回復処理を各画素に１つの色成分情報しか持たないモザイク画像で行う場合には、この色合成処理を行う前に色補間処理（デモザイキング処理）を行う必要がある。そのために、各色成分の回復成分情報Ｓ_ｍに対して色補間処理を行うか、あるいは第１の画像ｆｄ１_ｍと第２の画像ｆｄ２_ｍに対してそれぞれ色補間処理を行うことで、各画素に複数の色成分情報をもった回復成分情報Ｓ_ｍを生成すればよい。

以上説明したように、色合成比調整係数ωを用いることで、収差の非対称性を補正しつつ、画像回復処理により生じてしまう偽色の発生リスクも低減することが可能となり、より良質な画像を得ることができる。

尚、実施例３、実施例４の回復成分情報を用いた回復度合いの調整を行う場合は、図●に示した補正情報に以下の情報を加えて、記憶部に格納してもよい。あるいは、以下の説明のような情報に替えて記憶部に格納してもよい。また、全ての補正情報を記憶部に格納しておく必要はなく、本発明の画像回復処理を行う装置やシステムの形態に合わせて、必要な情報を適宜記憶部に対して書込み、読み込みを行えばよい。

「画像回復フィルタ群」
画像回復フィルタ群は、画像回復処理に用いる画像回復フィルタのセットである。画像回復処理を行う装置が画像回復フィルタを有していない場合は、別の装置（機器）から画像回復フィルタを伝送する必要がある。

「回復成分情報」
すでに画像回復処理が行われ、回復成分情報が生成されている場合、位相が補正された第２の画像と回復成分情報を別の機器に伝送すれば、該別の機器で回復度合い調整処理を行うことができる。

「調整パラメータ群」
調整パラメータ群は、色合成比調整係数ωおよび回復強度調整係数μのセットである。色合成比調整係数ωおよび回復強度調整係数μは、前述したように、画像上の位置に応じて変更可能である。また、撮影状態に応じて変更することも可能である。調整パラメータ群のデータとしては、調整係数そのもののテーブルデータでもよいし、調整係数を決定するための関数でもよい。

「ユーザ設定情報」
ユーザ設定情報は、ユーザの好みに応じた回復度合いに調整するための調整パラメータまたは調整パラメータの補正関数である。ユーザは調整パラメータを可変に設定可能であるが、ユーザ設定情報を用いれば、常に初期値として好みの出力画像を得ることができる。また、ユーザ設定情報は、ユーザが調整パラメータを決定した履歴から最も好む鮮鋭度を学習機能により更新することが好ましい。

さらに、撮像装置の提供者（メーカー）がいくつかの鮮鋭度パターンに応じたプリセット値をネットワークを介して提供することもできる。

上記の補正情報セットは、個々の画像データに付帯させることが好ましい。必要な補正情報を画像データに付帯させることで、画像処理装置を搭載した装置又は機器は画像回復処理および回復度合い調整処理を行うことができる。また、補正情報セットの内容は必要に応じて、自動および手動で取捨選択可能である。例えば、別の機器で回復度合い調整処理を行う場合に、補正情報セットに第２の画像と回復成分情報が含まれていれば、画像回復フィルタ群は基本的には必要ない。

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

本発明は上記実施の形態に制限されるものではなく、本発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、本発明の範囲を公にするために以下の請求項を添付する。

１０１ 撮像光学系
１０２ 撮像素子
１０４ 画像処理部
１０６ 撮像系制御部
１０８ 記憶部
１１０ システムコントローラ

上記課題を解決するために本発明は、
入力画像を取得する画像取得手段と、
被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する画像回復手段とを有し、
前記画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるよう回復することを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第１の画像回復フィルタと該入力画像とを用いて第１回復画像を生成する第１回復画像生成手段と、
前記入力画像と前記第１回復画像との差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記第１の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復することを特徴とする。
本発明の他の一側面としての画像処理装置は、
被写体像を入力画像として取得する撮像系の伝達関数に基づいた第１の画像回復フィルタと該入力画像とを用いて生成された第１回復画像と、
前記撮像系の伝達関数に基づいた第２の画像回復フィルタと前記入力画像とを用いて生成された第２回復画像と、の差分情報を取得する差分情報取得手段と、
前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
前記第１の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、
前記第２の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくなるように回復し、且つ、
前記第２回復画像の回復度合いは前記第１回復画像の回復度合いよりも低いことを特徴とする。
上記特徴を有する撮像装置、画像処理方法、画像処理プログラムも本発明の他の一側面を構成する。
本発明の他の一側面としての画像処理装置は、
撮像系を介して撮像素子で得られた画像を取得する画像取得手段と、
前記撮像系の光学伝達関数と、少なくとも２つのアジムス方向間における光学伝達関数のＭＴＦの差が減少するように補正したＭＴＦとに基づいて生成された画像回復フィルタを用いて、前記画像を回復処理する画像回復手段を有することを特徴とする。

Claims (19)

1. 入力画像を取得する画像取得手段と、
   被写体像を前記入力画像として形成するために用いた撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する画像回復手段とを有し、
   前記画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくすることを特徴とする画像処理装置。
2. 前記画像回復手段は、取得された画像の画素に対して前記画像回復フィルタを畳み込み積分することにより画像回復を行うことを特徴とする請求項１に記載の画像処理装置。
3. 前記画像回復フィルタは、２つのアジムス方向で異なる周波数特性を有する伝達関数と、該２つのアジムス方向間の伝達関数の絶対値の差が減少するように補正した補正伝達関数に基づいて生成されることを特徴とする請求項１または２に記載の画像処理装置。
4. 撮像系により形成された被写体像を光電変換して撮影画像を生成する撮像素子と、
   前記撮影画像を前記入力画像として処理する請求項１乃至３いずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
5. 撮像系により生成された画像を入力画像として取得する工程と、
   前記撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する工程とを有し、
   前記画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の差よりも小さくすることを特徴とする画像処理方法。
6. 撮像系により生成された画像を入力画像として取得する画像取得工程と、
   前記撮像系の伝達関数に基づいて生成または選択された画像回復フィルタを用いて前記入力画像を回復し、回復画像を生成する画像回復工程とを情報処理装置に実行させる画像処理プログラムであって、
   前記画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくすることを特徴とする画像処理プログラム。
7. 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第１の画像回復フィルタと該入力画像を演算することにより第１回復画像を生成する第１回復画像生成手段と、
   前記入力画像と前記第１回復画像との差分情報を取得する差分情報取得手段と、
   前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
   前記第１の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復することを特徴とする画像処理装置。
8. 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第１の画像回復フィルタと該入力画像を演算することにより生成された第１回復画像と、
   前記撮像系の伝達関数に基づいた第２の画像回復フィルタと前記入力画像を演算することにより生成された第２回復画像と、の差分情報を取得する差分情報取得手段と、
   前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成手段とを有し、
   前記第１の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復し、
   前記第２の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復し、且つ、
   前記第２回復画像の回復度合いは前記第１回復画像の回復度合いよりも低いことを特徴とする画像処理装置。
9. 前記第１の画像回復フィルタは、２つのアジムス方向で異なる周波数特性を有する伝達関数と、該２つのアジムス方向間の伝達関数の絶対値の差が減少するように補正した補正伝達関数に基づいて生成されることを特徴とする請求項７または８に記載の画像処理装置。
10. 前記回復調整画像生成手段は、前記撮像系と前記第１の画像回復フィルタとを含む系の２つのアジムス方向間の伝達関数の振幅成分の差が、前記撮像系の該２つのアジムス方向間の伝達関数の振幅成分の差よりも減少するように回復することを特徴とする請求項７乃至９いずれか１項に記載の画像処理装置。
11. 前記調整係数は、前記第１回復画像に対する前記入力画像の演算量を調整する回復強度調整係数であることを特徴とする請求項７乃至１０いずれか１項に記載の画像処理装置。
12. 前記差分情報を、前記第１回復画像と前記入力画像の色成分ごとの差分量を前記色成分の混合比を示す色合成比調整係数に応じて合成することで取得し、
    前記回復強度調整係数を、前記色成分ごとに設定することを特徴とする請求項１１に記載の画像処理装置。
13. 前記調整係数は、前記第１回復画像に対する前記第２回復画像の演算量を調整する回復強度調整係数であることを特徴とする請求項８乃至１０いずれか１項に記載の画像処理装置。
14. 前記差分情報を前記第１回復画像と前記第２回復画像の色成分ごとの差分量を前記色成分の混合比を示す色合成比調整係数に応じて合成することで取得し、
    前記回復強度調整係数を、前記色成分ごとに設定することを特徴とする請求項１３に記載の画像処理装置。
15. 撮影画像を前記入力画像として処理する請求項７乃至１４いずれか１項に記載の画像処理装置とを有することを特徴とする撮像装置。
16. 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第１の画像回復フィルタと該入力画像を演算することにより生成された第１回復画像と、前記入力画像との差分情報を取得する差分情報取得工程と、
    前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成工程とを情報処理装置に実行させる画像処理プログラムであって、
    前記第１の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復することを特徴とする画像処理プログラム。
17. 被写体像を入力画像として取得する撮像系の伝達関数に基づいた第１の画像回復フィルタと該入力画像を演算することにより生成された第１回復画像と、
    前記撮像系の伝達関数に基づいた第２の画像回復フィルタと前記入力画像を演算することにより生成された第２回復画像と、の差分情報を取得する差分情報取得工程と、
    前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する回復調整画像生成工程とを情報処理装置に実行させる画像処理プログラムであって、
    前記第１の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復し、
    前記第２の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復し、且つ、
    前記第２回復画像の回復度合いは前記第１回復画像の回復度合いよりも低いことを特徴とする画像処理プログラム。
18. 入力画像を取得する工程と、
    前記入力画像を取得するために用いた撮像系の伝達関数に基づいた第１の画像回復フィルタと前記入力画像を用いて生成された第１回復画像と、前記入力画像との差分情報を取得する工程と、
    前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する工程とを有し、
    前記第１の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復することを特徴とする画像処理方法。
19. 入力画像として取得する工程と、
    前記入力画像を取得するために用いた撮像系の伝達関数に基づいた第１の画像回復フィルタと前記入力画像を演算することにより生成された第１回復画像と、
    前記撮像系の伝達関数に基づいた第２の画像回復フィルタと前記入力画像を演算することにより生成された第２回復画像と、の差分情報を取得する工程と、
    前記差分情報を調整係数に応じて前記入力画像に合成することで回復調整画像を生成する工程とを有し、
    前記第１の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復し、
    前記第２の画像回復フィルタは、被写体から回復画像を得る際の２つのアジムス方向間の伝達関数の絶対値の差が、前記撮像系の該２つのアジムス方向間の伝達関数の絶対値の差よりも小さくするように回復し、且つ、
    前記第２回復画像の回復度合いは前記第１回復画像の回復度合いよりも低いことを特徴とする画像処理方法。