JP5719148B2 - 撮像装置及びその制御方法、プログラム - Google Patents

Description

本発明は、撮像装置における画像処理技術に関する。

デジタルカメラなどの撮像装置では、ユーザからの更なる高感度化や高画素化の要求によりノイズ成分を精度よく除去することが求められている。

従来におけるノイズ除去の方法として、例えば特許文献１には、複数の周波数帯域に分割して、高周波成分からノイズを除去かつエッジを保存して、それと低周波成分を合成する方法が記載されている。

特開２００８−０１５７４１号公報

しかし、上記特許文献１では、元画像データに加えて、ダウンサンプリング処理を施したデータを記憶するためのメモリを必要とする。デジタルカメラなどの撮像装置は、通常の静止画撮影だけでなく、高速連写機能や動画記録機能なども搭載するため、メモリ容量及びバンド幅を必要とするが、メモリのバンド幅が不足するとカメラのコマ速度の低下、連続撮影可能枚数の減少を招いてしまう。

本発明は、上記課題に鑑みてなされ、その目的は、ノイズ除去性能を維持しながら、高速処理が可能な画像処理技術を実現することである。

上記課題を解決し、目的を達成するために、本発明の撮像装置は、第１の画像データを記憶する第１の記憶手段と、前記第１の画像データを縮小することにより低解像度の第２の画像データを生成する縮小手段と、前記第２の画像データにノイズを低減する処理を施して生成された画像データを、前記第１の画像データと同じ画素数に拡大した拡大画像データを生成する拡大手段と、前記第１の画像データから、前記縮小手段とは異なる処理で、当該第１の画像データと同じ画素数であって、かつ、当該第１の画像データより低解像度の低解像度画像データを作成する低解像度画像作成手段と、前記第１の画像データと前記拡大画像データとを合成する第１の画像処理と、前記第１の画像データと前記低解像度画像データとを合成する第２の画像処理のいずれかを実行する合成手段と、撮影動作に応じて、前記合成手段で前記第１の画像処理を実行するか、前記第２の画像処理を実行するかを切り替える制御手段と、を有する。

本発明によれば、ノイズ除去性能を維持しながら、高速処理が可能な画像処理技術を実現できる。

本発明に係る実施形態１の画像処理装置の構成を示すブロック図。 本実施形態の画像データの周波数空間を例示する図。 実施形態１の変形例の構成を示すブロック図。

以下に、本発明を実施するための最良の形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。

［実施形態１］図１を参照して、本発明に係る実施形態１の撮像装置における画像処理装置の構成について説明する。

図１において、不図示のデジタルカメラなどの撮像装置の撮像素子から出力された入力画像データ１０００はメモリ１０１０に記憶される。メモリ１００１は、メモリ１０１０，１１１０，１２１０で構成されている。入力画像データ１０００は、固定パターンノイズ補正や欠陥画素補正などの公知のセンサ補正処理が行われた入力画像データである。また、入力画像データ１０００は、ＬＰＦ１１０１でＬＰＦ（ローパスフィルタ）処理、ＤＳ部１１０２でダウンサンプリング（縮小）処理が施されることによって、第１の低解像度の画像データを生成し、このデータをメモリ１１１０に記憶する。さらに、ＤＳ部１１０２から出力された画像データは、ＬＰＦ１２０１でＬＰＦ処理、ＤＳ部１２０２でダウンサンプリング処理が施されることによって、第１の解像度より低解像度の第２の低解像度の画像データが生成され、メモリ１２１０に記憶される。このように、互いの解像度が異なる複数階層の画像データが生成される。

メモリ１０１０から出力された画像データはＮＲ処理部１０１１によって後述のＮＲ処理が施される。また、メモリ１０１０から出力された画像データは、エッジ検出部１０１２に入力される。エッジ検出部１０１２は、例えば公知のエッジ検出用フィルタで構成されていて、入力信号にエッジ検出用フィルタをかけて、その出力をエッジ強度出力信号とする。低解像度信号作成部１０１３は、詳細は後述するが、メモリ１０１０から出力された画像データから低解像度信号（画像データ）を作成する。セレクタ部１０１４は、低解像度信号作成部１０１３から出力される低解像度信号とＵＳ部１０２１でアップサンプリング（拡大）された低解像度信号（画像データ）を撮影動作に応じて切り替える。なお、ＵＳ部１０２１の入力信号は、後述の合成部１１２０から出力された画像データである。合成部１０２０は、ＮＲ処理部１０１１から出力される高解像度信号（画像データ）とセレクタ部１０１４から出力される低解像度信号（画像データ）をエッジ検出部１０１２からの出力であるエッジ強度出力信号に応じて合成する。具体的には、エッジ強度出力信号が大きい（エッジの度合いが大きい）ほど、より高解像度信号の割合を大きくする。あるいは、合成部１０２０は、エッジ強度出力信号が閾値以上であれば高解像度信号を選択し、閾値未満であれば低解像度信号を選択するように構成してもよい。

メモリ１１１０からの出力データも上記と同様のため、詳細な説明は省略するが、合成部１１２０はＮＲ処理部１１１１から出力される高解像度信号とセレクタ部１１１４から出力される低解像度信号をエッジ検出部１１１２からの出力に応じて合成する。なお、セレクタ部１１１４は、低解像度信号作成部１１１３から出力される低解像度信号とＵＳ部１１２１でアップサンプリングされた低解像度信号を撮影動作に応じて切り替える。メモリ１２１０の出力データはＮＲ処理部１２１１によってＮＲ処理が施され、ＵＳ部１１２１でアップサンプリングされる。

なお、本実施形態において、本発明の第１の記憶手段はメモリ１０１０、第２の記憶手段はメモリ１１１０、第３の記憶手段はメモリ１２１０に対応する。また、第１の画像データが入力画像データ１０００、第２の画像データがメモリ１１１０に記憶される画像データ、第３の画像データがメモリ１２１０に記憶される画像データに対応する。また、低解像度画像作成手段が低解像度信号作成部１０１３、第２の低解像度画像作成手段が低解像度信号作成部１１１３に対応する。また、第１の縮小手段がＤＳ部１１０２、第２の縮小手段がＤＳ部１２０２に対応する。更に、制御手段がセレクタ部１０１４、セレクタ部１１１４に対応する。更にまた、合成手段が合成部１０２０、第２の合成手段が合成部１１２０に対応する。更に、低解像度信号作成部１０１３で作成される画像データが低解像度画像データ、低解像度信号作成部１１１３で作成される画像データが第２の低解像度画像データに対応する。更に、ＵＳ部１０２１で作成される画像データが拡大画像データ、ＵＳ部１１２１で作成される画像データが第２の拡大画像データに対応する。

＜第１の画像処理＞次に、第１の画像処理について説明する。第１の画像処理では、セレクタ部１０１４はＵＳ部１０２１でアップサンプリングされた低解像度信号を出力するように切り替える。同様に、セレクタ部１１１４はＵＳ部１１２１でアップサンプリングされた低解像度信号を出力するように切り替える。したがって、メモリ１０１０，１１１０，１２１０の３階層分の全てのデータを利用する。図２（ａ）は画像データの周波数空間を例示しており、メモリ１０１０の画像データに含まれる最大周波数はｆ１、メモリ１１１０の画像データに含まれる最大周波数はｆ２、メモリ１２１０の画像データに含まれる最大周波数はｆ３で表される（ｆ１＞ｆ２＞ｆ３）。

周波数ｆ１を有する画像データはエッジ信号だけでなく細かなノイズも含む。ＮＲ処理部１０１１でエッジ信号を保存しつつ、エッジとしては振幅が小さいレベルの信号をノイズとして除去する。ＮＲ処理は、例えば公知の画像に含まれるエッジ成分の方向を検出し、当該方向に沿った低域通過フィルタによる平滑化処理によってノイズを低減する方法を用いればよい。ここでは、ＮＲ処理部１０１１で微小レベルのノイズを除去したが、エッジ信号の判定に微小レベルのエッジ信号をノイズとして、エッジ信号と判定しないようにしてもよい。その場合は、ＮＲ処理部１０１１での処理を省略することも可能となる。

この例では、エッジ検出部１０１２は、図２の領域１に含まれる周波数（ｆ２より高く、かつ、ｆ１以下の周波数）の画像データのエッジ領域を検出するよう構成されている。合成部１０２０は、エッジ検出部１０１２がエッジ領域として検出した場合は、そうでない場合に比較して、その画素位置におけるセレクタ部１０１４からの画像データに対する、ＮＲ処理部１０１１からの画像データの合成比率を大きくする。

エッジ検出部１１１２は、図２の領域２に含まれる周波数（ｆ３より高く、かつ、ｆ２以下の周波数）の画像データのエッジ領域を検出するよう構成されている。合成部１１２０は、エッジ検出部１１１２がエッジ領域として検出した場合は、そうでない場合に比較して、その画素位置におけるセレクタ部１１１４からの画像データに対する、ＮＲ処理部１１１１からの画像データの合成比率を大きくする。

このように、高解像度画像にてエッジ領域であると判定された画素については、鮮鋭度の低下を抑えるため、低解像度画像に対する高解像度画像の合成比率を高くしている。反対に、高解像度画像にてエッジ領域であると判定されなかった画素については、ノイズをより目立たなくするため、低解像度画像に対する高解像度画像の合成比率を低くしている。このように構成することによって、各階層の画像データから適切な周波数の画像データが選択される。

なお、本実施形態において、合成部１１２０における、ＮＲ処理部１１１１から出力される高解像度信号とＵＳ部１１２１から出力される低解像度信号を合成する処理が第３の画像処理に対応する。

＜第２の画像処理＞次に、第２の画像処理について説明する。第２の画像処理では、セレクタ部１０１４は低解像度信号作成部１０１３で作成された低解像度信号を出力するように切り替える。第２の画像処理では、メモリ１０１０のデータのみを利用するため、メモリ１１１０，１２１０にデータを保持しておくために用いるバンド幅を節約できる。低解像度信号作成部１０１３は、例えば７ｘ７のＬＰＦで構成されており、入力された画像データをダウンサンプリング処理することなく、平滑化処理を行うことによって画素数を維持したまま低解像度信号を生成する。図２（ｂ）は画像データの周波数空間を例示しているが、メモリ１０１０の画像データの最大周波数はｆ１、低解像度信号作成部１０１３から出力される画像データの最大周波数はｆ４で表される（ｆ１＞ｆ４）。この低解像度信号作成部１０１３で生成した画像信号は、タップ数が有限のＬＰＦのみによって生成されるものであるため、ＤＳ部１１０２でダウンサンプリング処理を施して生成される画像データよりも、画質は低くなる。

ここで、合成部１０２０は、エッジ検出部１０１２がエッジ領域として検出した場合は、そうでない場合に比較して、その画素位置におけるセレクタ部１０１４からの画像データに対する、ＮＲ処理部１０１１からの画像データの合成比率を大きくする。

このように、２種類の切り替えではあるが、セレクタ部によって各階層の画像データから適切な周波数の画像データが選択される。
また、第２の画像処理の別のパターンとして、セレクタ部１１１４は低解像度信号作成部１１１３で作成された低解像度信号を、セレクタ部１０１４はＵＳ部１０２１でアップサンプリングされた低解像度信号を、出力するように切り替えてもよい。すなわち、合成部１１２０は、ＮＲ処理部１１１１からの画像データと低解像度信号作成部１１１３からの画像データを合成し、合成部１０２０はＮＲ処理部１０１１からの画像データとＵＳ部１０２１からの画像データを合成する。なお、低解像度信号作成部１１１３から出力される低解像度信号の最大周波数は不図示のｆ５で表される（ｆ４＞ｆ５）。

この例では、メモリ１１１０にデータを記憶させるためのバンド幅は節約対象とならないが、途中の階層で低解像度信号作成部の画像データを低解像度信号とすることにより、一部のメモリ容量およびバンド幅を削減することができる。さらに、セレクタ部１０１４が低解像度信号作成部１０１３で作成された低解像度信号を選択した場合よりも、画質の向上が期待できる。

なお、本実施形態において、合成部１１２０における、ＮＲ処理部１１１１から出力される高解像度信号と低解像度信号作成部１１１３から出力される低解像度信号を合成する処理が第４の画像処理に対応する。

上述したように、第１の画像処理では、アップサンプリングされた低解像度信号を画像データとして利用することで、より詳細に画像データの周波数に応じて適切な周波数の画像データを選択することができ、より高いＮＲ効果を得ることができる。

第２の画像処理では、低解像度信号作成部での低解像度信号を画像データとして利用することで、必要なメモリ容量およびバンド幅を削減することができ、高速な処理が可能となる。

本実施形態では、第１の画像処理は、３階層の処理について説明を行ったが、これに限られるものでなく、Ｎ階層（Ｎ＞２）の処理を行うようにしてもよい。

また、セレクタ部１０１４が低解像度信号作成部１０１３から出力される画像データを選択する場合には、入力画像データ１０００を、ＮＲ処理部１０１１、エッジ検出部１０１２および解像度信号作成部１０１３に、直接入力させることができる。こうすることで、メモリ１００１に画像データを記憶させることなく処理することが可能となり、必要なメモリ容量およびバンド幅を削減することができる。

同様にセレクタ部１０１４が低解像度信号作成部１０１３から出力される画像データを選択する場合には、ＤＳ部１１０２から出力された画像データを、ＮＲ処理部１１１１、エッジ検出部１１１２および解像度信号作成部１１１３に、直接入力させることができる。こうすることで、メモリ１１１０およびメモリ１２１０に画像データを記憶させることなく処理することが可能となり、必要なメモリ容量およびバンド幅を削減することができる。

デジタルカメラなどでは、静止画を撮影する機能だけでなく、動画を記録する機能や高速に連写する機能など複数の撮影機能が搭載されている。動画記録モードや高速連写モードで撮影する場合、特に問題となるのはメモリのバンド幅である。

よって、カメラが動画記録モードや高速連写モードなどに設定され、メモリのバンド幅を大量に消費する場合には、第２の画像処理に設定して必要なメモリ容量を削減すればよい。

また、高速連写モード時であっても、必ずしも連写をずっと続けるわけではない。したがって、メモリ１００１の残容量を検出して、残容量が閾値より低下したら、第１の画像処理から第２の画像処理に切り替えるように制御してもよい。ここで、残容量の閾値は、カメラの撮影動作（例えば、静止画撮影と動画記録）によって切り替えられることはいうまでもない。

また、図３に示す変形例のように、図１の構成に対して、メモリ１００１の前段に第３の縮小手段として、入力画像データ１０００を縮小する縮小部４００２を追加した構成としてもよい。例えば、要求される出力画像サイズが入力画像の１／ｎ倍の場合に、縮小部４００２で１／ｎ倍のサイズに縮小処理を施すことで、メモリ１０１０，１１１０，１２１０の容量を１／ｎ倍の大きさにすることが可能となる。縮小部４００２以外の構成は、図１と同様であるので、同一の符号を付して説明は省略する。

［他の実施形態］本発明は、以下の処理を実行することによっても実現される。即ち、上記実施形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムコードを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。

Claims (9)

1. 第１の画像データを記憶する第１の記憶手段と、
   前記第１の画像データを縮小することにより低解像度の第２の画像データを生成する縮小手段と、
   前記第２の画像データにノイズを低減する処理を施して生成された画像データを、前記第１の画像データと同じ画素数に拡大した拡大画像データを生成する拡大手段と、
   前記第１の画像データから、前記縮小手段とは異なる処理で、当該第１の画像データと同じ画素数であって、かつ、当該第１の画像データより低解像度の低解像度画像データを作成する低解像度画像作成手段と、
   前記第１の画像データと前記拡大画像データとを合成する第１の画像処理と、前記第１の画像データと前記低解像度画像データとを合成する第２の画像処理のいずれかを実行する合成手段と、
   撮影動作に応じて、前記合成手段で前記第１の画像処理を実行するか、前記第２の画像処理を実行するかを切り替える制御手段と、を有することを特徴とする撮像装置。
2. 前記第２の画像処理において、前記第１の画像データが前記第１の記憶手段に記憶されずに前記合成手段に出力されることを特徴とする請求項１に記載の撮像装置。
3. 前記制御手段は、前記撮影動作が動画記録モード又は高速連写モードである場合に、前記合成手段が前記第２の画像処理を実行するように制御することを特徴とする請求項１又は２に記載の撮像装置。
4. 前記第１の記憶手段の残容量を検出する手段を更に有し、
   前記制御手段は、前記残容量が閾値より低下した場合に、前記合成手段が前記第２の画像処理を実行するように制御することを特徴とする請求項１又は２に記載の撮像装置。
5. 前記第２の画像データを記憶する第２の記憶手段と、
   前記第２の画像データを縮小することにより低解像度の第３の画像データを生成する第２の縮小手段と、
   前記第３の画像データにノイズを低減する処理を施して生成された画像データを、前記第２の画像データと同じ画素数に拡大した第２の拡大画像データを生成する第２の拡大手段と、
   前記第２の画像データから、前記第２の縮小手段とは異なる処理で、当該第２の画像データと同じ画素数であって、かつ、当該第２の画像データより低解像度の第２の低解像度画像データを作成する第２の低解像度画像作成手段と、
   前記第２の画像データと前記第２の拡大画像データとを合成する第３の画像処理と、前記第２の画像データと前記第２の低解像度画像データとを合成する第４の画像処理のいずれかを行う第２の合成手段とを有し、
   前記制御手段は、前記撮影動作に応じて、前記第２の合成手段で前記第３の画像処理を実行するか、前記第４の画像処理を実行するかを切り替え、
   前記拡大画像データは、前記第２の合成手段により作成された画像データを前記拡大手段にて拡大したものであることを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
6. 前記制御手段は、前記撮影動作が動画記録モード又は高速連写モード時に、前記第２の合成手段が前記第４の画像処理を実行するように制御することを特徴とする請求項５に記載の撮像装置。
7. 前記第１の記憶手段及び前記縮小手段の前段に、前記第１の画像データの画像サイズを縮小する第３の縮小手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 記憶手段が、第１の画像データを記憶する工程と、
   縮小手段が、前記第１の画像データを縮小することにより低解像度の第２の画像データを生成する縮小工程と、
   拡大手段が、前記第２の画像データにノイズを低減する処理を施して生成された画像データを、前記第１の画像データと同じ画素数に拡大した拡大画像データを生成する拡大工程と、
   低解像度画像作成手段が、前記第１の画像データから、前記縮小工程とは異なる処理で、当該第１の画像データと同じ画素数であって、かつ、当該第１の画像データより低解像度の低解像度画像データを作成する低解像度画像作成工程と、
   合成手段が、前記第１の画像データと前記拡大画像データとを合成する第１の画像処理と、前記第１の画像データと前記低解像度画像データとを合成する第２の画像処理のいずれかを、撮影動作に応じて切り替えて実行する合成工程と、を有することを特徴とする撮像装置の制御方法。
9. コンピュータを、請求項１乃至７のいずれか１項に記載された撮像装置の各手段として機能させるためのプログラム。

Images