JP2020080458A - 撮像装置及び制御方法 - Google Patents

Abstract

【課題】ユーザーが注目する領域に応じた最適な画像を取得することができる撮像装置を提供する。【解決手段】撮像装置において、可視光に感度を有し輝度情報と色情報を含む第１の画像信号１０７を出力する第１撮像素子１０３と、赤外光に感度を有し輝度情報を含む第２の画像信号１０８を出力する第２の撮像素子１０４と、第１の撮像素子１０３から出力された第１の画像信号１０７と、第２の撮像素子１０４から出力された第２の画像信号１０８とを合成し、第３の画像信号を生成する合成処理手段と、注目領域１１３を選択する選択手段と、を有し、合成処理手段は、注目領域１１３の合成評価値を求め、合成評価値に基づいて、第１の画像信号１０７と第２の画像信号１０８との合成割合を変更する。【選択図】図１

Description

本発明は撮像装置及びその制御方法に関するものである。

監視用途などの撮像装置においては、夜間などの低照度時にも鮮明な被写体像を取得することが要求される。低照度時にも鮮明な被写体像を取得できる撮像装置として、可視光に感度を有する撮像素子に加えて、赤外光に感度を有する撮像素子を備え、これら二つの撮像素子で取得した画像信号を合成して表示する撮像装置が提案されている（例えば特許文献１）。

特開２０１３−２４７４９２号公報

特許文献１では、撮影環境に応じて自動的に合成処理時の合成パラメータを決定している。しかしながら、ユーザーが注目する領域によっては、ユーザーが所望する画像が取得できない場合がある。

そこで、本発明は、ユーザーが注目する領域に応じた最適な画像を取得することができる撮像装置を提供することを目的とする。

撮像装置であって可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１撮像素子と、赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、第１の撮像素子から出力された第１の画像信号と、第２の撮像素子から出力された第２の画像信号を合成し、第３の画像信号を生成する合成処理手段と、第３の画像信号の中の注目領域を選択する選択手段と、を有し、合成処理手段は、注目領域の合成評価値を求め、合成評価値に基づいて、第１の画像信号と第２の画像信号との合成割合を変更する、ことを特徴とする。

本発明によれば、ユーザーが注目する領域に応じた最適な画像を取得することができる。

第１実施形態に係る撮像装置の構成図である。 波長選択プリズムのスペクトル分布図である。 第１実施形態に係る動作を示すフローチャートである。 注目領域を説明する図である。 撮像装置を含む撮像システムとしての監視システムの一例を示す構成図である。

以下、図を用いて、本発明の実施例における撮像装置について説明する。その際、全ての図において同一の機能を有するものは同一の数字を付け、その繰り返しの説明は省略する。

＜第１実施形態＞
本実施形態における撮像装置を図１に示す。図１において、撮像装置１００は、結像光学系１０１、光分離部１０２、第１の撮像素子１０３、第２の撮像素子１０４、合成処理部１０５、制御部１０６、注目領域選択部１１０を有する。

光分離部１０２は、結像光学系１０１を通って入射した光を、第１の撮像素子１０３と第２の撮像素子１０４に分離している。具体的には、光分離部１０２は波長選択プリズムから構成されており、特定の閾値の波長よりも短い波長の光（可視光）は波長選択プリズムを透過し、特定の閾値の波長よりも長い波長の光（赤外光）は波長選択プリズムで反射されるように構成されている。なお、ここで透過する／反射するとは８０％以上の光が透過する／反射することを意味する。

即ち、可視光は第１の撮像素子１０３に入射し、赤外光は第２の撮像素子１０４に入射するように構成されている。ここで、特定の閾値は６００ｎｍ以上７５０ｎｍ以下である。即ち、可視光と赤外光の境目は６００ｎｍ以上７５０ｎｍ以下と定義する。また、赤外光とは特定の閾値から２５００ｎｍまでの波長の光を意味する。図２に、波長選択プリズムの分光透過スペクトルと分光反射スペクトルの例を示した。実線が透過、点線が反射である。

第１の撮像素子１０３は少なくとも可視光に感度を有し、第２の撮像素子１０４は少なくとも赤外光に感度を有している。例えば、光電変換部の材料としてＳｉを使用すれば、波長３８０ｎｍ以上波長１１００ｎｍ以下の光に感度を有する撮像素子が実現できる。従って、第１の撮像素子１０３、第２の撮像素子１０４ともに、光電変換部をＳｉで形成すればよい。なお、第１の撮像素子１０３、第２の撮像素子１０４としては、例えばＣＣＤやＣＭＯＳタイプの撮像素子などを用いることができる。

第１の撮像素子１０３中の画素は、ＲＧＢベイヤー配列のオンチップカラーフィルタを備えており、第１の撮像素子１０３から出力されるＲＧＢ形式の第１の画像信号１０７には輝度情報のほかに色情報が含まれている。一方、第２の撮像素子１０４から出力される第２の画像信号１０８には、輝度情報のみが含まれている。なお、第１の撮像素子１０３は可視光をメインとした感度分布を持っていればよく、可視光以外の感度分布を持っていてもよい。

また、第２の撮像素子１０４は赤外光をメインとした感度分布を持っていればよく、赤外光以外の光に対しても感度分布を持っていてもよい。第１の撮像素子１０３、第２の撮像素子１０４の駆動および画像信号の読み出しは、制御部１０６が制御している。制御部１０６にはＣＰＵなどのコンピュータや、メモリが含まれている。なお、メモリには、ＣＰＵによって後述のフローチャートの動作を実行させるためのコンピュータプログラムが記憶されている。また、制御部１０６にはＣＰＵからの指示に基づき各種回路の動作を制御するための駆動回路も内蔵されている。

合成処理部１０５は、第１の画像信号１０７と第２の画像信号１０８とを合成して、第３の画像信号１０９を生成する。具体的には、例えば以下のような処理を行う。まず、ＲＧＢ形式で読み出された第１の画像信号１０７をデモザイク処理し、現像してＹＵＶ形式の画像信号に変換する。この際の第１の画像信号１０７から得られたＹＵＶ信号を各々、Ｙ１、Ｕ１、Ｖ１とする。同様に、第２の画像信号１０８も現像してＹＵＶ形式に変換する。この際の第２の画像信号１０８のＹ信号をＹ２とする。なお、第２の画像信号１０８は色情報を有さず、ＵとＶの値はゼロである。

次に、Ｙ１信号とＹ２信号を合成して、第３の画像信号１０９を生成する。具体的には、第３の画像信号１０９のＹＵＶ信号を各々、Ｙ３、Ｕ３、Ｖ３とした時、以下のような式を用いて第３の画像信号１０９を生成する。
Ｙ３＝α×Ｙ１＋（１−α）×Ｙ２ （式１）
Ｕ３＝Ｕ１ （式２）
Ｖ３＝Ｖ１ （式３）

ここで、αは０以上１以下の実数である。式１からわかるように、Ｙ信号で決まる輝度情報に関しては、αの値が大きいほど、第３の画像信号１０９は第１の画像信号１０７に近くなり、αの値が小さいほど、第３の画像信号１０９は第２の画像信号１０８に近くなる。また、Ｕ信号、Ｖ信号とＹ信号の比で決まる色情報に関しても、αの値が大きいほど、第３の画像信号１０９は第１の画像信号１０７に近くなり、αの値が小さいほど、第３の画像信号１０９は第２の画像信号１０８に近くなる。即ち、αの値が変更されることで、第１の画像信号１０７と第２の画像信号１０８との合成割合が変更される。

夜間などの低照度時には可視光成分よりも赤外光成分の方が強い場合が多い。従って、合成処理部１０５によって合成処理を行うことで、第１の画像信号１０７よりもＳＮ比に優れ、輝度情報と色情報の両方の情報を持つ第３の画像信号１０９を取得することができる。

式１より、第３の画像信号１０９は、αの値が大きいほど第１の画像信号１０７に近いため、色再現性に優れた画像信号となる。一方、αの値が小さいほど第２の画像信号１０８に近いため、ＳＮ比に優れた画像信号となる。即ち、色再現性とＳＮ比はトレードオフの関係となっており、αの値を制御することでＳＮ比と色再現性のどちらを重視するかを変更することができる。

撮影環境の照度などを測定し、それに応じて、αの値を決定する場合、照度が高いほどαを大きく、照度が低いほどαを小さくすることがある。このようにすることで、照度が高いほど色再現性を重視した合成画像、照度が低いほどＳＮ比を重視した合成画像を生成することができる。しかしながら、照度が同じであっても、ユーザーが注目する領域によっては、色再現性を重視したい場合、ＳＮ比を重視したい場合が異なる。本実施形態の撮像装置１００では、ユーザーが注目する領域によって、色再現性とＳＮ比のどちらを重視するかを切り替える。以下で詳細な説明を行う。

図３は、本実施形態における動作を示すフローチャートである。各ステップは、制御部１０６による撮像装置１００の各部の制御により実行されうる。まず、Ｓ３０１において、ユーザーが注目する領域である注目領域を選択する。ここで、注目領域を選択する方法について説明を行う。図４は、注目領域を説明する図である。注目領域選択部１１０は、合成処理部１０５で生成した第３の画像信号１０９を表示する表示部１１１と、表示された第３の画像信号１０９において、ユーザーが注目する注目領域１１３を選択するインターフェース１１２を備える。ユーザーがカーソルやタッチパネルなどのインターフェース１１２を用いて注目領域１１３を選択すると、表示部１１１に表示された第３の画像信号１０９に注目領域１１３が重畳して表示される。

なお、撮像装置１００そのものが表示部１１１やインターフェース１１２を備えていなくても良い。例えば、撮像装置１００がネットワークを介して第３の画像信号１０９をクライアント装置に転送し、クライアント装置側に配置された表示部やインターフェースを用いて、ユーザーが注目領域１１３を選択する構成となっていても良い。この場合、クライアント装置が注目領域選択部１１０を備えていても良い。

更には合成処理部１０５もクライアント装置側に配置してもよく、クライアント装置からの指示に応じて撮像装置１００から第１の画像信号と第２の画像信号をクライアント装置に送り、クライアント装置側で合成を行ってもよい。

図３に戻り、Ｓ３０２において合成処理部１０５は、注目領域１１３の合成評価値を求める。即ち、第３の画像信号１０９における注目領域１１３から、合成割合評価値を求め、色再現性とＳＮ比のどちらを重視するかの判定を行う。具体的には、注目領域１１３の彩度、空間周波数、ＳＮ比のいずれか、あるいはこれらのうちの複数の情報を用いて合成評価値を求め、合成割合を決定する。なお、第３の画像信号１０９の注目領域１１３だけではなく、他の情報も用いて合成評価値を求めても良い。例えば、第１の画像信号１０７における注目領域１１３に対応する領域や第２の画像信号１０８における注目領域１１３に対応する領域の彩度、空間周波数、ＳＮ比を用いて、合成評価値を求めても良い。

Ｓ３０３において、合成処理部１０５は、注目領域１１３の彩度に応じてαの値を決定する。注目領域１１３の彩度が低い場合、色情報の重要度が低い。従って、注目領域１１３の彩度が低い場合には、合成処理部１０５は、色再現性よりもＳＮ比を重視して第３の画像信号１０９を生成する。一方、注目領域１１３の彩度が高い場合、色情報の重要度が高い。従って、注目領域１１３の彩度が高い場合には、ＳＮ比よりも色再現性を重視して第３の画像信号１０９を生成する。前述したように、αの値が大きいほど、第１の画像信号１０７の合成割合が大きく、第３の画像信号１０９が第１の画像信号１０７に近いため、色再現性に優れた画像となる。

具体的には、例えば彩度の値に応じて、αから加減する値をあらかじめ設定しておいても良い。また、注目領域１１３の彩度と比較するための閾値Ｄ１を設定し、彩度が閾値Ｄ１より低い場合には、色再現性よりもＳＮ比を重視してαの値を小さくし、彩度が閾値Ｄ１以上の場合には、ＳＮ比よりも色再現性を重視してαの値を大きくしても良い。さらに、彩度の値に応じたαの値を予め設定しておいても良い。この場合、例えば、注目領域１１３の色の彩度の値が高いほど、αの値を大きく設定しておく。これにより、彩度が高いほど第１の画像信号１０７の合成割合が大きくなり、第１の画像信号１０７に近く、色再現性に優れた第３の画像信号１０９を生成することができる。

次に、Ｓ３０４において、合成処理部１０５は、注目領域１１３のテクスチャの空間周波数に応じてαの値を決定する。注目領域１１３のテクスチャの空間周波数が低い場合、画像のＳＮ比が小さくても、ユーザーはテクスチャを視認することができる。従って、注目領域１１３のテクスチャの空間周波数が低い場合、ＳＮ比よりも色再現性を重視して第３の画像信号１０９を生成する。一方、注目領域１１３のテクスチャの空間周波数が高い場合、ＳＮ比が大きい画像でなければ、ユーザーがテクスチャを正確に視認することが難しくなる。従って、注目領域１１３のテクスチャの空間周波数が高い場合、色再現性よりもＳＮ比を重視して第３の画像信号１０９を生成する。前述したように、αの値が小さいほど、第２の画像信号１０８の合成割合が大きく、第３の画像信号１０９が第２の画像信号１０８に近いため、ＳＮ比に優れた画像となる。

具体的には、例えば、空間周波数の値に応じて、αから加減する値をあらかじめ設定しておいても良い。また、注目領域１１３のテクスチャの空間周波数と比較するための閾値Ｄ２を設定しても良い。この場合、空間周波数が閾値Ｄ２より高い場合には、色再現性よりもＳＮ比を重視してαの値を小さくし、空間周波数が閾値Ｄ２以下の場合には、ＳＮ比よりも色再現性を重視してαの値を大きくしても良い。さらに、空間周波数の値に応じたαの値を予め設定しておいても良い。この場合、例えば、注目領域１１３のテクスチャの空間周波数の値が高いほど、αの値を小さく設定しておく。これにより、空間周波数が高いほど第２の画像信号１０８の合成割合が大きくなり、第２の画像信号１０８に近く、ＳＮ比に優れた第３の画像信号１０９を生成することができる。

次に、Ｓ３０５において、合成処理部１０５は、注目領域１１３のＳＮ比に応じてαの値を決定する。注目領域１１３のＳＮ比が低い場合、ＳＮ比を重視して第３の画像信号１０９を生成する。一方、注目領域１１３のＳＮ比が高い場合には、ＳＮ比をそれ以上高めなくても十分な画像の視認性が得られているため、色再現性を重視して第３の画像信号１０９を生成する。前述したように、αの値が小さいほど、第２の画像信号１０８の合成割合が大きく、第３の画像信号１０９が第２の画像信号１０８に近いため、ＳＮ比に優れた画像となる。

具体的には、例えば、ＳＮ比の値に応じて、αから加減する値をあらかじめ設定しておいても良い。また、注目領域１１３のＳＮ比と比較するための閾値Ｄ３を設定してもよい。この場合、ＳＮ比が閾値Ｄ３より低い場合には、色再現性よりもＳＮ比を重視してαの値を小さくし、ＳＮ比が閾値Ｄ３以上の場合には、ＳＮ比よりも色再現性を重視してαの値を大きくしても良い。さらに、ＳＮ比の値に応じたαの値を予め設定しておいても良い。この場合、例えば、注目領域１１３のＳＮ比の値が高いほど、αの値を大きく設定しておく。これにより、ＳＮ比が高いほど第１の画像信号１０７の合成割合が大きくなり、第１の画像信号１０７に近く、ＳＮ比に優れた第３の画像信号１０９を生成することができる。

なお、ＳＮ比は、注目領域１１３の内、テクスチャが無い部分の輝度の平均値を、輝度の標準偏差で除算した値とする。色の彩度、テクスチャの空間周波数、ＳＮ比は、注目領域１１３内での最大値を求めても良いし、平均値や中間値を求めても良い。そして、Ｓ３０５において、合成処理部１０５は、上述のステップによって決定されたαを用いて第３の画像信号１０９を生成する。このように、ユーザーの注目する領域に応じた最適な画像を取得することが可能となる。

なお、本実施形態では、注目領域１１３の彩度、空間周波数、ＳＮ比の全てを用いてαを決定する例について説明したが、上述の通り彩度、空間周波数、ＳＮ比のいずれか、あるいはこれらのうちの複数の情報を用いてαを決定すればよく、これに限られない。また、図３では、注目領域１１３の彩度、空間周波数、ＳＮ比の順番でαを決定（加減）している場合を示したが、この順序でなくてもよい。また、Ｓ３０６の後でユーザーは第３の画像信号１０９の表示状態を確認して、αを更に手動で設定（微調整）できるようにしてもよい。この場合、例えば、ユーザーはインターフェース１１２を用いて微調整を行う。

さらに、注目領域１１３中に含まれる被写体に応じて、ＳＮ比と色再現性のどちらを重視するかを変更しても良い。例えば、被写体が人物の顔、車のナンバープレート等であれば、テクスチャ情報が重要となるため、ＳＮ比を重視して第３の画像信号１０９を生成する。即ち、αの値を大きくし、第１の画像信号１０７の合成割合を大きくする。

一方、被写体が人物の服装、車のボディ等であれば、色情報が重要となるため、色再現性を重視して第３の画像信号１０９を生成する。即ち、αの値を小さくし、第２の画像信号１０８の合成割合を大きくする。被写体の種類を判別するためには、例えば、注目領域１１３内で特徴点の検出を行い、あらかじめ登録しておいた特徴点情報とのマッチングを行う。

また、図４では、注目領域１１３そのものをユーザーが指定する場合を示したが、撮像装置１００が、別の方法で注目領域１１３を選択しても良い。例えば、ユーザーが設定した測光領域（ＡＥ領域）の位置および大きさを示す指標（例えば枠状の指標（ＡＥ枠））の範囲を注目領域１１３としても良い。また、ホワイトバランス補正値決定用の特定領域である自動色バランス調整領域（ＡＷＢ領域）の位置および大きさを示す指標（例えば、枠状の指標（ＡＷＢ枠））の範囲を注目領域１１３としても良い。また、撮像装置１００が焦点位置を調整する機構を有している場合には、現在の焦点検出領域（ＡＦエリア）の位置および大きさを示す指標（例えば枠状の指標（ＡＦ枠））を注目領域１１３としても良い。

さらに、本実施形態においては、第３の画像信号１０９のみを表示する場合を示したが、第１の画像信号１０７、第２の画像信号１０８のいずれか、または両方を同時に表示部１１１に表示させても良い。但し、特に撮像装置１００がネットワークを介して画像をクライアント装置に転送している場合、表示する画像の種類が多いほど、データ量が増大して、表示画像の遅延を招くため、第３の画像信号１０９のみを表示する方が好ましい。

また、撮影環境に応じて、表示する画像を変更しても良い。例えば、十分な照度が得られている場合にはαを１にして第１の画像信号１０７を表示し、照度が低下するにつれて、αを小さくして連続的に重みを変更して合成画像信号である第３の画像信号１０９を表示する。そして最終的にはαを０にして第２の画像信号１０８を表示する。

＜第２実施形態＞
第２実施形態に示す撮像装置では、注目領域１１３に含まれる情報（例えば、空間周波数またはＳＮ比）に基づいて、αの値以外の変更も合わせて行う。具体的には、第１の撮像素子１０３、第２の撮像素子１０４の蓄積時間、および、第１の画像信号１０７、第２の画像信号１０８の解像度の少なくとも１つを変更する。これにより、更に視認性の高い第３の画像信号１０９を生成することができる。

まず、注目領域１１３に応じて、画像の解像度を変更する場合について説明する。一般的に、画像の解像度が高いほど、空間周波数の高いテクスチャを有する被写体の視認性が向上する。一方で、撮像素子中の複数の画素信号を加算して出力したり、画像にローパスフィルタをかけたりすると、平均化効果によって画像のＳＮ比が向上する。即ち、画像の解像度を低くすることで、画像のＳＮ比を向上させることができる。

そこで、本実施形態に示す撮像装置では、制御部１０６が注目領域１１３のテクスチャの空間周波数が高い場合、相対的にＳＮ比の高い画像が取得できる第２の画像信号１０８については、空間周波数の高いテクスチャの視認性を重視して、解像度を高くする。一方で、相対的にＳＮ比の低い第１の画像信号１０７については、ＳＮ比を重視して、解像度を低くする。即ち、制御部１０６は、注目領域１１３のテクスチャの空間周波数が低いほど、第１の画像信号１０７の解像度に対する第２の画像信号１０８の解像度の比を１に近づける。一方で、注目領域１１３のテクスチャの空間周波数が高いほど、第１の画像信号１０７の解像度に対する第２の画像信号１０８の解像度の比を大きくする。このようにすることで、空間周波数の高いテクスチャに対する視認性と、画像のＳＮ比の両立を実現することができる。

なお、注目領域１１３のテクスチャの空間周波数だけではなく、ＳＮ比に応じても、画像の解像度を変更する方が好ましい。注目領域１１３内のＳＮ比が低い場合、第１の画像信号１０７と第２の画像信号１０８で同じ解像度を使用した場合、空間周波数の高いテクスチャに対する視認性と、画像のＳＮ比の両立が困難になる。

そこで、制御部１０６は注目領域１１３のＳＮ比が高いほど、第１の画像信号１０７の解像度に対する第２の画像信号１０８の解像度の比を１に近づける。一方で、注目領域１１３のＳＮ比が低いほど、第１の画像信号１０７の解像度に対する第２の画像信号１０８の解像度の比を大きくして、第２の画像で空間周波数の高いテクスチャの視認性を確保し、第１の画像についてはＳＮ比の低下を抑制する。このようにすることで、空間周波数の高いテクスチャに対する視認性と、ＳＮ比低下の抑制の両立を実現することができる。

次に、注目領域１１３に含まれる情報（例えば、空間周波数またはＳＮ比）に基づいて、撮像素子の蓄積時間を変更する場合について説明する。一般に、蓄積時間が短いほど、動体ブレが小さくなるため、動き量の大きい被写体の視認性が向上する。一方で、蓄積時間が長いほど、撮像素子中の画素に入射する光の量が増加するため、画像のＳＮ比が向上する。

そこで、本実施形態に示す撮像装置では、注目領域１１３の動き量が大きい場合、相対的にＳＮ比の高い画像が取得できる第２の画像信号１０８については、動き量の大きい被写体の視認性を重視して、蓄積時間を短くする。一方で、相対的にＳＮ比の低い第１の画像信号１０７については、ＳＮ比を重視して蓄積時間を長くする。即ち、制御部１０６は、注目領域１１３の動き量が小さいほど、第２の撮像素子１０４の蓄積時間に対する第１の撮像素子１０３の蓄積時間の比を１に近づける。一方で、注目領域１１３の動き量が大きいほど、第２の撮像素子１０４の蓄積時間に対する第１の撮像素子１０３の蓄積時間の比を大きくする。このようにすることで、動き量の大きい被写体に対する視認性と、画像のＳＮ比の両立を実現することができる。

なお、制御部１０６は、注目領域１１３の動き量の大きさだけではなく、ＳＮ比に応じても、撮像素子の蓄積時間を変更する方が好ましい。注目領域１１３内のＳＮ比が低い場合、第１の撮像素子１０３と第２の撮像素子１０４で同じ蓄積時間を使用した場合、動き量の大きい被写体に対する視認性と、画像のＳＮ比の両立が困難になる。

そこで、制御部１０６は、注目領域１１３のＳＮ比が高いほど、第２の撮像素子１０４の蓄積時間に対する第１の撮像素子１０３の蓄積時間の比を１に近づける。一方で、注目領域１１３のＳＮ比が低いほど、第２の撮像素子１０４の蓄積時間に対する第１の撮像素子１０３の蓄積時間の比を大きくして、第２の画像で動き量の大きい被写体の視認性を確保し、第１の画像についてはＳＮ比の低下を抑制する。このようにすることで、動き量の大きい被写体に対する視認性と、ＳＮ比低下の抑制の両立を実現することができる。

注目領域１１３の動き量は、以下のように求めればよい。まず、複数フレームで取得した第３の画像信号１０９から注目領域１１３を抽出する。そして、注目領域１１３を面内方向にずらしながら、相関係数を求め、最も相関係数が高かったずらし量を動き量の大きさとすればよい。

＜その他の実施形態＞
なお、実施例における撮像装置はクライアント装置とネットワークを介して相互に通信可能な状態に接続されていても良い。図５は、撮像装置を含む撮像システムとしての監視システム４００の一例を示す構成図である。監視システム４００は、クライアント装置４０１、撮像装置４０３を含む。クライアント装置４０１は、撮像装置４０３を制御する各種コマンドをネットワーク４０２を介して送信する。それを受けて、撮像装置４０３は、コマンドに対するレスポンスや撮像した画像データをクライアント装置４０１に送信する。そして撮像装置４０３の撮影パラメータは、クライアント装置４０１側からユーザーが選択することができる。

クライアント装置４０１は例えばＰＣやスマホなどの外部機器であり、ネットワーク４０２は、有線ＬＡＮ、無線ＬＡＮ等により構成されうる。また、ネットワーク４０２を介して撮像装置に電源を供給する構成となっていても良い。

なお、上記実施形態においては光分離部１０２により第１の撮像素子と第２の撮像素子に異なる分光特性の光を導くように構成しているが、例えば、第１の撮像素子と第２の撮像素子のそれぞれの前に異なる分光特性のフィルタが配置されていてもよい。また、第１の撮像素子と第２の撮像素子は光分離部１０２を介さずに別々の独立した光学系を介した光を受光する２眼タイプであってもよい。更には第１の撮像素子と第２の撮像素子は、一つの撮像素子内に例えば第１の撮像素子用の分光特性フィルタを配置した画素と第２の撮像素子用の分光特性フィルタを配置した画素を交互に配置したものであってもよい。

また、本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００、４０３：撮像装置
１０１：結像光学系
１０２：光分離部
１０３：第１の撮像素子
１０４：第２の撮像素子
１０５：合成処理部
１０６：制御部
１０７：第１の画像信号
１０８：第２の画像信号
１０９：第３の画像信号
１１０：注目領域選択部
１１１：表示部
１１２：インターフェース
１１３：注目領域
４００：監視システム
４０１：クライアント装置
４０２：ネットワーク

Claims (20)

1. 可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、
   赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、
   前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号とを合成し、第３の画像信号を生成する合成処理手段と、
   注目領域を選択する選択手段と、を有し、
   前記合成処理手段は、前記注目領域の合成評価値を求め、前記合成評価値に基づいて、前記第１の画像信号と前記第２の画像信号との合成割合を変更する、ことを特徴とする撮像装置。
2. 前記合成処理手段は、前記注目領域の色の彩度が高いほど、前記第１の画像信号の合成割合を大きくする、ことを特徴とする請求項１に記載の撮像装置。
3. 前記合成処理手段は、前記注目領域のテクスチャの空間周波数が高いほど、前記第２の画像信号の合成割合を大きくする、ことを特徴とする請求項１または２に記載の撮像装置。
4. 前記合成処理手段は、前記注目領域のＳＮ比が低いほど、前記第２の画像信号の合成割合を大きくする、ことを特徴とする請求項１から３のいずれか１項に記載の撮像装置。
5. 前記合成処理手段は、前記注目領域に含まれる被写体に応じて、前記第１の画像信号と前記第２の画像信号との合成割合を変更する、ことを特徴とする請求項１から４のいずれか１項に記載の撮像装置。
6. 前記注目領域は、測光領域である、ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
7. 前記注目領域は、自動色バランス調整領域である、ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
8. 焦点位置を調整する機構を含む結像光学系を有し、
   前記注目領域は、焦点検出領域である、ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
9. 前記注目領域に含まれる情報に基づいて、前記第１の撮像素子の蓄積時間、前記第２の撮像素子の蓄積時間、前記第１の画像信号の解像度、前記第２の画像信号の解像度の少なくとも１つを変更する制御手段を備える、ことを特徴とする請求項１から８のいずれか１項に記載の撮像装置。
10. 前記制御手段は、前記注目領域のテクスチャの空間周波数が低いほど、前記第１の画像信号の解像度に対する前記第２の画像信号の解像度の比を１に近く、前記注目領域のテクスチャの空間周波数が高いほど、前記第１の画像信号の解像度に対する第２の画像信号の解像度の比を大きくする、ことを特徴とする請求項９に記載の撮像装置。
11. 前記制御手段は、前記注目領域のＳＮ比が高いほど、前記第１の画像信号の解像度に対する前記第２の画像信号の解像度の比を１に近く、前記注目領域のＳＮ比が低いほど、前記第１の画像信号の解像度に対する前記第２の画像信号の解像度の比を大きくする、ことを特徴とする請求項９または１０に記載の撮像装置。
12. 前記制御手段は、前記注目領域の動き量が小さいほど、前記第２の撮像素子の蓄積時間に対する前記第１の撮像素子の蓄積時間の比を１に近く、前記注目領域の動き量が大きいほど、前記第２の撮像素子の蓄積時間に対する前記第１の撮像素子の蓄積時間の比を大きくする、ことを特徴とする請求項９から１１のいずれか１項に記載の撮像装置。
13. 前記制御手段は、前記注目領域のＳＮ比が高いほど、前記第２の撮像素子の蓄積時間に対する前記第１の撮像素子の蓄積時間の比を１に近く、前記注目領域のＳＮ比が低いほど、前記第２の撮像素子の蓄積時間に対する前記第１の撮像素子の蓄積時間の比を大きくする、ことを特徴とする請求項９から１２のいずれか１項に記載の撮像装置。
14. 撮像装置と、前記撮像装置とネットワークを介して通信可能に接続される情報処理装置と、を含む撮像システムであって、
    前記撮像装置は、
    可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、
    赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、
    前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号とを合成し、第３の画像信号を生成する合成処理手段と、
    注目領域を選択する選択手段と、を有し、
    前記合成処理手段は、前記注目領域の合成評価値を求め、前記合成評価値に基づいて、前記第１の画像信号と前記第２の画像信号との合成割合を変更する、ことを特徴とする撮像システム。
15. 撮像装置と、前記撮像装置とネットワークを介して通信可能に接続される情報処理装置と、を含む撮像システムであって、
    前記撮像装置は、
    可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、
    赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、
    前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号とを合成し、第３の画像信号を生成する合成処理手段と、を有し、
    前記情報処理装置は、
    注目領域を選択する選択手段を有し、
    前記合成処理手段は、前記注目領域の合成評価値を求め、前記合成評価値に基づいて、前記第１の画像信号と前記第２の画像信号との合成割合を変更する、ことを特徴とする撮像システム。
16. 撮像装置と、前記撮像装置とネットワークを介して通信可能に接続される情報処理装置と、を含む撮像システムであって、
    前記撮像装置は、
    可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、
    赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、
    注目領域を選択する選択手段と、を有し、
    前記情報処理装置は、
    前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号で取得した第２の画像を合成し、第３の画像信号を生成する合成処理手段を有し
    前記合成処理手段は、前記注目領域の合成評価値を求め、前記合成評価値に基づいて、前記第１の画像信号と前記第２の画像信号との合成割合を変更する、ことを特徴とする撮像システム。
17. 撮像装置と、前記撮像装置とネットワークを介して通信可能に接続される情報処理装置と、を含む撮像システムであって、
    前記撮像装置は、
    可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、
    赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、を有し、
    前記情報処理装置は、
    注目領域を選択する選択手段と、
    前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号とを合成し、第３の画像信号を生成する合成処理手段と、を有し、
    前記合成処理手段は、前記注目領域の合成評価値を求め、前記合成評価値に基づいて、前記第１の画像信号と前記第２の画像信号との合成割合を変更する、ことを特徴とする撮像システム。
18. 請求項１から１３のうちいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのコンピュータプログラム。
19. 請求項１８に記載のコンピュータプログラムを記憶したコンピュータで読み取り可能な記憶媒体。
20. 可視光に感度を有し輝度情報と色情報を含む第１の画像信号を出力する第１の撮像素子と、赤外光に感度を有し輝度情報を含む第２の画像信号を出力する第２の撮像素子と、を少なくとも有する撮像装置を制御するための制御方法であって、
    前記第１の撮像素子から出力された前記第１の画像信号と、前記第２の撮像素子から出力された前記第２の画像信号とを合成し、第３の画像信号を生成する合成処理ステップと、
    前記第３の画像信号の中の注目領域を選択する選択ステップと、を有し、
    前記合成処理ステップは、前記注目領域の合成評価値を求め、前記合成評価値に基づいて、前記第１の画像信号と前記第２の画像信号との合成割合を変更する、ことを特徴とする撮像装置を制御するための制御方法。
    
    

Images