JP2004191893A

JP2004191893A - 撮像装置

Info

Publication number: JP2004191893A
Application number: JP2002363117A
Authority: JP
Inventors: Yasuo Suda; 康夫須田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2002-12-13
Filing date: 2002-12-13
Publication date: 2004-07-08
Also published as: US7233359B2; US20040125230A1

Abstract

【課題】焦点検出性能と高精細かつ高品位な画質を両立させた撮像装置を実現する。
【解決手段】複数の画素を有する撮像素子１０６と、撮像素子の複数の画素のうちの所定数の画素毎に１つずつ対応する複数の光学要素１５６ｃを有する光学要素アレイ１５６と、複数の光学要素毎に、光学要素を通過した光から１組の焦点検出用信号を画素１７３−２，１７３−３で生成し、光学要素毎に１組ずつ生成された焦点検出用信号に基づいて焦点合わせを行なう焦点合わせ装置とを備える。
【選択図】図６

Description

【０００１】
【発明の属する技術分野】
本発明は撮像装置に関し、詳しくは、撮像素子による撮像機能に加えて焦点検出機能を有した撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラでは、レリーズボタンの押下に応動して、ＣＣＤやＣＭＯＳセンサなどの撮像素子に被写界像を所望の時間露光し、これより得られた１つの画面の静止画像を表わす画像信号をデジタル信号に変換して、ＹＣ処理などの所定の処理を施して、所定の形式の画像信号を得る。撮像された画像を表わすデジタルの画像信号は、それぞれの画像毎に、半導体メモリに記録される。記録された画像信号は、随時読み出されて表示または印刷可能な信号に再生され、また、ディスプレイ装置などに出力されて表示される。
【０００３】
従来よりデジタルカメラでは撮像素子の出力を利用して焦点検出を行っているが、ここではコントラスト検出方式の焦点検出が用いられている。コントラスト検出方式の焦点調節とは撮像光学系によって形成された物体像の鮮鋭度を撮像素子の出力を所定の関数で評価することによって求め、関数値が極値をとるように撮像光学系の光軸上位置を調節するものである。
【０００４】
評価関数としては、隣接する輝度信号の差の絶対値を焦点検出領域内で加算するものや、隣接する輝度信号の差の２乗を焦点検出領域内で加算するもの、あるいはＲ、Ｇ、Ｂの各画像信号について隣接する信号の差を同様に処理するもの等がある。
【０００５】
【特許文献１】
特開２００１−２１５４０６号公報
【特許文献２】
ＵＳＰ４４１０８０４号公報
【特許文献３】
特開平０７−１６８１２５号公報
【特許文献４】
特開平１１−１１９０８９号公報
【発明が解決しようとする課題】
一般に、このようなコントラスト検出方式の焦点検出においては、撮像光学系の光軸上位置を僅かに移動させながら評価関数値を求めていくために、合焦するまでの焦点調節にかなりの時間を要するという問題がある。
【０００６】
特開２００１−２１５４０６号公報は、合焦制御における方向判定を高速化するために、撮像素子の光検出面に段差をもたせた構成を開示している。すなわち、光路長を微小距離だけ異ならせて複数の画像信号を収集し、該収集された画像信号に基づき合焦方向を判定し、判定された合焦方向に向かって撮像レンズを合焦位置まで移動させるものである。しかしながら、短光路長の画素と長光路長の画素とが混在するために高品の高い画像を得るための装置には適合しない。また、短光路長の画素と長光路長の画素との光路長差を短くすれば、画質は向上するが、今度は、合焦制御における方向判定がし難くなり、高速な合焦制御と画質を両立させることはできない。
【０００７】
一方、ＵＳＰ４４１０８０４号公報に開示されているように、一組あるいは二組の受光部を２次元的に配列したマイクロレンズアレイ毎に設け、このマイクロレンズによって受光部を撮像光学系の瞳に投影することで瞳を分割する、いわゆる位相差検出方式の焦点検出装置を組み込んだ撮像装置もある。位相差検出方式とは撮像光学系の瞳の異なる部分を通過した２光束を用いて物体像をそれぞれ形成し、二つの物体像間の位置的位相差を撮像素子の出力に基づいて検出し、これを撮像光学系のデフォーカス量に換算するものである。
【０００８】
位相差検出方式の焦点検出ではデフォーカス量を求めることができるので、コントラスト検出方式に比して合焦するまでの時間を大幅に短縮することができるという利点がある。
【０００９】
しかしながら、ＵＳＰ４４１０８０４号公報に開示されている構造の撮像素子にあっては、撮像光学系の瞳の一部分を通った光束で形成される一組あるいは二組の画像が出力されるために、これらを物体像の撮像性能という視点で評価した場合には、極めて低品位の画像となる。これは、特にピントが合っていない背景や前景において、偏心した光束による不自然な像のボケが生じることが主な原因である。
【００１０】
このような不自然なボケを解消するためには、瞳の一部分を使って形成された一組あるいは二組の画像を合成し、擬似的に撮像光学系の瞳の全光束を使った画像を得る方法がある。しかし、撮像素子から出力された後の信号を合成するために撮像素子内外のアンプによるノイズレベルが高く、元々撮像光学系の瞳の全光束を使った画像を得るように設計された撮像素子で得られるのと同レベルのＳ／Ｎ的に優れた高品位画像を得ることは難しい。
【００１１】
特開平０７−１６８１２５号公報は、撮像素子のマイクロレンズと光検出面の間に複数の画素を持つ液晶空間光変調器を備え、三次元イメージを形成する構成を開示している。撮像素子のマイクロレンズと受光部との間の位置において光路を遮る空間光変調器と、空間光変調器のあるセグメントのみを選択的に透過させる制御回路を有し、空間光変調器がシャッターとして作用する。
【００１２】
このような構成は、撮影レンズの瞳の一部分を通過した光束による画像と、全光束によって形成された画像とが切り替え可能であることを示唆するが、液晶層と偏光子で構成した空間光変調器で光の吸収を生じるために、十分に明るい物体しか捉えることができないといった問題がある。
【００１３】
また、特開平１１−１１９０８９号公報には、一眼レフカメラのミラーボックス内で再結像光学系を進退させ、単一の撮像素子を撮像のためだけでなく焦点検出にも利用する技術が開示されている。この技術によれば、位相差検出方式による高速なピント調節が可能となるが、大型の再結像光学系を高速に移動させるために、大きな退避スペースと多くのエネルギーが必要であって、撮像機器が大型化せざるを得ないと言う欠点がある。
【００１４】
本発明は、このような従来の問題点に鑑みてなされたものであり、その目的は、焦点検出性能と高精細かつ高品位な画質を両立させた撮像装置を実現することである。
【００１５】
また、本発明の他の目的は、単一の撮像素子で焦点検出動作と画像のディスプレイとを並行して行うことができる撮像装置を実現することである。
【００１６】
また、本発明のさらに他の目的は、撮像装置の小型化を実現することである。
【００１７】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、複数の画素を有する撮像素子と、該撮像素子の複数の画素のうちの所定数の画素毎に１つずつ対応する複数の光学要素を有する光学要素アレイと、前記複数の光学要素毎に、該光学要素を通過した光から１組の焦点検出用信号を前記画素で生成し、前記光学要素毎に１組ずつ生成された焦点検出用信号に基づいて焦点合わせを行なう焦点合わせ手段とを備えることを特徴としている。
【００１８】
【発明の実施の形態】
以下、本発明の好適な実施形態について説明する。
【００１９】
まず、本実施形態の概要について説明する。
【００２０】
本実施形態の撮像装置は、複数の画素を配列した撮像素子を備えた撮像装置であって、該撮像素子の複数の画素を包含する複数の光学要素が並列配置された光学要素アレイを有し、該光学要素アレイの複数の光学要素毎に該光学要素を介して受光した光束による一組の撮像素子信号出力を得て、該信号出力に基づいて焦点検出信号を生成する。
【００２１】
この構成において、光学要素アレイの複数の光学要素毎に光学要素を介して受光した光束による一組の撮像素子信号出力を得て、この信号出力に基づいて焦点検出信号を生成するように構成したので、単一の撮像素子を用いながらも高い焦点検出性能と高精細かつ高品位な画質の両方を満たすことができ、さらには、小型の撮像装置を実現することが可能である。
【００２２】
また、本実施形態の撮像装置は、複数の画素を配列した撮像素子を備えた撮像装置であって、該撮像素子の複数の画素を包含する複数の光学要素よりなる光学要素アレイを透して受光する際、該光学要素アレイに形成された複数の光学要素の間隙を通して受光する画素の出力に基づいて画像信号を形成する。
【００２３】
この構成において、光学要素アレイに形成された複数の光学要素の間隙を通して受光する画素の出力に基づいて画像信号を形成するように構成したので、撮影画像をモニタするためのディスプレイ動作と焦点検出動作とを並行して行うことができる。
【００２４】
また、本実施形態では、前記光学要素アレイは複数の再結像光学系を並列配置して成る。
【００２５】
この構成において、光学要素アレイに複数の再結像光学系を並列配置したので、位相差検出方式による高速な焦点検出が実現でき、しかも光学要素アレイが小型であるために多くの機構スペースを必要とせず、光学要素アレイを退避させた時には撮像素子が持っている画素を全て使った状態での高い撮像画質を得ることができる。
【００２６】
また、本実施形態では、前記撮像素子が前記撮像素子の複数の画素を包含する複数の光学要素よりなる光学要素アレイを透さずに受光する第１の光学構成の状態と、前記撮像素子が該光学要素アレイを透して受光する第２の光学構成の状態とを切り換え可能とした。
【００２７】
この構成において、第１の光学構成の状態と第２の光学構成の状態とを切り換え可能としたので、単一の撮像素子を用いながら焦点検出性能と画質を両立させた撮像装置を実現することができる。
【００２８】
また、本実施形態では、前記撮像素子上に物体像を形成する結像光学系の結像状態に応じて信号出力が変化する一組の撮像素子信号出力値配列を用いて焦点検出信号を生成する。
【００２９】
この構成において、撮像素子上に物体像を形成する結像光学系の結像状態に応じて信号出力が変化する一組の撮像素子信号出力値配列を用いて焦点検出信号を生成するように構成したので、位相差検出方式による高速な焦点検出を実現することができる。
また、本実施形態では、前記撮像素子の複数の画素のうち離散的に位置する複数の画素の出力値を連結して得た信号出力値配列を用いて焦点検出信号を形成する。
【００３０】
この構成において、撮像素子の複数の画素のうち離散的に位置する複数の画素の出力値を連結して得た信号出力値配列を用いて焦点検出信号を形成するように構成したので、焦点検出のための機構を小型化しながらも、十分な大きさの焦点検出視野を備えることによる高い焦点検出性能を得ることができる。
【００３１】
以下、本発明の実施形態について、具体的に説明する。
【００３２】
（第１の実施形態）
図１は本発明の第１の実施形態に係わる撮像装置を搭載した撮像機器であるデジタルカラーカメラの概略構成を示す図である。本カメラは、ＣＣＤあるいはＣＭＯＳセンサなどの撮像素子を用いた単板式のデジタルカラーカメラであり、撮像素子を連続的または単発的に駆動して動画像または静止画像を表わす画像信号を得る。ここで、撮像素子は、露光した光を各画素毎に電気信号に変換してその光量に応じた電荷をそれぞれ蓄積し、その電荷を読み出すタイプのエリアセンサである。
【００３３】
図１において、１０１はカメラ本体、１０２は内部に結像光学系１０３を有した取り外し可能な撮影レンズである。撮影レンズ１０２は、公知のマウントを介してカメラ本体１０１に電気的、機械的に接続されている。焦点距離の異なる撮影レンズに交換することによって、様々な画角の撮影画面を得ることが可能である。また、撮影レンズ１０２は不図示の駆動機構を有し、結像光学系１０３の一部の要素であるフォーカシングレンズを光軸Ｌ１に沿って移動させることや、フォーカシングレンズを柔軟性のある透明弾性部材や液体レンズで構成し、界面形状を変化させ屈折力を変えることで、物体に対するピント合わせを行う。
【００３４】
１０６は撮像素子である。結像光学系１０３から撮像素子１０６に至る光路中には、撮像素子１０６上に必要以上に高い物体像の空間周波数成分が形成されないように結像光学系１０３のカットオフ周波数を制限する光学ローパスフィルター（不図示）が設けられている。また、結像光学系１０３には赤外線カットフィルターも配置されている。
【００３５】
撮像素子１０６の受光面の直前には、レンズアレイプレート１５６が進退可能に配設され、後述するリニア超音波モータとともに外部からの塵や湿気の進入無く有効に光を取り込むことができるパッケージ１０４に収められている。レンズアレイプレート１５６は、撮像素子１０６の前に挿入されたときに、撮像素子１０６の全面を覆う大きさを有する。なお、レンズアレイプレート１５６は、光学要素アレイと呼ぶこともできる。
【００３６】
撮像素子１０６で捉えられた物体像はディスプレイ装置１０７上に表示される。ディスプレイ装置１０７は有機ＥＬ空間変調素子や液晶空間変調素子、微粒子の電気泳動を利用した空間変調素子、あるいはデジタルマイクロミラーデバイスなどで構成すると消費電力が小さく都合が良い。
【００３７】
撮像素子１０６は、増幅型固体撮像素子の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降ＣＭＯＳセンサと略す）である。ＣＭＯＳセンサの特長の１つに、エリアセンサ部のＭＯＳトランジスタと周辺回路のＭＯＳトランジスタを同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できるということが挙げられる。また、任意の画素へのランダムアクセスが可能といった特長を有し、焦点検出視野に限定した信号の読み出しや、ディスプレイ用に間引いた信号読み出しが容易である。
【００３８】
撮像素子１０６は、この特長を利用し、焦点検出動作、ディスプレイ画像出力動作、高精彩画像出力動作を行う。
【００３９】
１０８、１０９はディスプレイ装置１０７を観察するための凹レンズと凸レンズであって、総合的に正のパワーを有し、これらはファインダー光学系を構成する。凸レンズ１０９をファインダー光軸Ｌ２に沿って移動させることにより視度を調節し、観察者に対して適切なディスプレイ装置１０７の見え具合を提供することができる。
【００４０】
１１９はメインスイッチ、１２０はレリーズボタンである。
【００４１】
図２はデジタルカラーカメラの電気的構成を示すブロック図である。
【００４２】
まず、カメラの撮像、記録に関する部分から説明する。カメラは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、結像光学系１０３、撮像素子１０６を含み、画像処理系は、Ａ／Ｄ変換器１３０、ＲＧＢ画像処理回路１３１、およびＹＣ処理回路１３２を含む。また、記録再生系は、記録処理回路１３３および再生処理回路１３４を含み、制御系は、カメラシステム制御回路１３５、操作検出回路１３６および撮像素子駆動回路１３７を含む。１３８は外部のコンピュータ等に接続して、データの送受信をするための規格化された接続端子である。これらの電気回路は不図示の小型燃料電池によって駆動される。
【００４３】
撮像系は、物体からの光を結像光学系１０３を介して撮像素子１０６の撮像面に結像する光学処理系であり、撮影レンズ１０２の不図示の絞りと、必要に応じてさらに不図示のメカニカルシャッターを調節し、適切な光量の物体像を撮像素子１０６に露光する。撮像素子１０６は、正方形画素が長辺方向に３７００個、短辺方向にそれぞれ２８００個の合計約１０００万個の画素数を有する撮像素子が適用されて、各画素にＲ（赤色）、Ｇ（緑色）、Ｂ（青色）のカラーフィルターを交互に配して、図１１に示すように４画素が一組となる所謂ベイヤー配列を形成している。
【００４４】
ベイヤー配列では、観察者が画像を見たときに強く感じやすいＧの画素をＲやＢの画素よりも多く配置することで、総合的な画像性能を上げている。一般に、この方式の撮像素子を用いる画像処理では、輝度信号は主にＧから生成し、色信号はＲ，Ｇ，Ｂから生成する。
【００４５】
撮像素子１０６から読み出された画像信号は、それぞれＡ／Ｄ変換器１３０を介して画像処理系に供給される。Ａ／Ｄ変換器１３０は、露光した各画素の信号の振幅に応じた、たとえば１０ビットのデジタル信号に変換して出力する信号変換回路であり、以降の画像信号処理はデジタル処理にて実行される。
【００４６】
画像処理系は、Ｒ,Ｇ,Ｂのデジタル信号から所望の形式の画像信号を得る信号処理回路であり、Ｒ,Ｇ,Ｂの色信号を輝度信号Ｙおよび色差信号(Ｒ−Ｙ),(Ｂ−Ｙ) にて表わされるＹＣ信号などに変換する。
【００４７】
ＲＧＢ画像処理回路１３１は、Ａ／Ｄ変換器１３０を介して撮像素子１０６から受けた３７００×２８００画素の画像信号を処理する信号処理回路であり、ホワイトバランス回路、ガンマ補正回路、補間演算による高解像度化を行う補間演算回路を有する。
【００４８】
ＹＣ処理回路１３２は、輝度信号Ｙおよび色差信号Ｒ−Ｙ,Ｂ−Ｙを生成する信号処理回路である。高域輝度信号ＹＨを生成する高域輝度信号発生回路、低域輝度信号ＹＬを生成する低域輝度信号発生回路、および、色差信号Ｒ−Ｙ,Ｂ−Ｙを生成する色差信号発生回路で構成されている。輝度信号Ｙは高域輝度信号ＹＨと低域輝度信号ＹＬを合成することによって形成される。
【００４９】
記録再生系は、メモリへの画像信号の出力と、ディスプレイ装置１０７への画像信号の出力とを行う処理系であり、記録処理回路１３３はメモリへの画像信号の書き込み処理および読み出し処理を行ない、再生処理回路１３４はメモリから読み出された画像信号を再生して、ディスプレイ装置１０７に出力する。
【００５０】
記録処理回路１３３は、静止画像および動画像を表わすＹＣ信号を所定の圧縮形式にて圧縮し、また、圧縮データを読み出した際に伸張する圧縮伸張回路を内部に有する。圧縮伸張回路は、信号処理のためのフレームメモリなどを含み、このフレームメモリに画像処理系からのＹＣ信号をフレーム毎に蓄積して、それぞれ複数のブロック毎に読み出して圧縮符号化する。圧縮符号化は、たとえば、ブロック毎の画像信号を２次元直交変換、正規化およびハフマン符号化することにより行なわれる。
【００５１】
再生処理回路１３４は、輝度信号Ｙおよび色差信号Ｒ−Ｙ,Ｂ−Ｙをマトリックス変換して、例えばＲＧＢ信号に変換する回路である。再生処理回路１３４によって変換された信号はディスプレイ装置１０７に出力され、可視画像が表示再生される。再生処理回路１３４とディスプレイ装置１０７の間はBluetoothなどの無線通信手段を介して接続されてもよく、このように構成すれば、このデジタルカラーカメラで撮像する画像を離れたところからモニタすることができる。
【００５２】
一方、制御系は、レリーズボタン１２０等の操作を検出する操作検出回路１３６と、その検出信号に応動してレンズアレイプレート１５６の位置を含む各部を制御し、撮像の際のタイミング信号などを生成して出力するカメラシステム制御回路１３５と、このカメラシステム制御回路１３５の制御の下に撮像素子１０６を駆動する駆動信号を生成する撮像素子駆動回路１３７とを含む。
【００５３】
制御系は、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御し、例えば、レリーズボタン１２０の押下を検出して、撮像素子１０６の駆動、ＲＧＢ画像処理回路１３１の動作、記録処理回路１３３の圧縮処理などを制御する。
【００５４】
次に、焦点調節に関する部分について説明する。カメラシステム制御回路１３５にはさらにＡＦ制御回路１４０とレンズシステム制御回路１４１が接続されている。これらはカメラシステム制御回路１３５を中心にして各々の処理に必要とされるデータを相互に通信している。
【００５５】
ＡＦ制御回路１４０は撮影画面上の任意の位置に設定された焦点検出視野での撮像素子信号出力を得て、この信号出力に基づいて焦点検出信号を生成し、結像状態を検出する。デフォーカスが検出されると、これを結像光学系１０３の一部の要素であるフォーカシングレンズの駆動量に変換し、カメラシステム制御回路１３５を中継してレンズシステム制御回路１４１に送信する。また、移動する物体に対しては、レリーズボタン１２０が押下されてから実際の撮像制御が開始されるまでのタイムラグを勘案し、適切なレンズ位置を予測した結果によるフォーカシングレンズ駆動量を指示する。物体の輝度が低く十分な焦点検出精度が得られないと判定されるときには、物体を不図示の白色ＬＥＤや蛍光管によって照明する。
【００５６】
レンズシステム制御回路１４１はフォーカシングレンズの駆動量を受信すると、撮影レンズ１０２の不図示の駆動機構によってフォーカシングレンズを光軸Ｌ１に沿って移動させるなどの動作によって、物体にピントを合わせる。
【００５７】
また、ＡＦ制御回路１４０によって、物体にピントが合ったことが検出されると、この情報はカメラシステム制御回路１３５に伝えられる。このとき、レリーズボタン１２０が押下されれば、前述のごとく撮像系、画像処理系、記録再生系による撮像制御が成される。
【００５８】
図３は第１の実施形態における撮像装置の部分構成を示す斜視図である。
【００５９】
撮像装置には、撮像素子１０６とリニア超音波モータで駆動されるレンズアレイプレート１５６および画像信号や焦点検出信号を生成する電気回路を含み、このうち撮像素子１０６とレンズアレイプレート１５６は、前述のように光を取り込む窓を有するパッケージ１０４に収納されている。
【００６０】
リニア超音波モータは、レンズアレイプレート１５６を撮像素子１０６上から進退させて、結像光学系１０３からの光束を直接的に撮像素子１０６に入射させる第１の光学構成の状態と、レンズアレイプレート１５６を透過させてから撮像素子１０６に入射させる第２の光学構成の状態とを切り替える。第１の光学構成の状態は大型のプリントなどに好適な高精細な画像を生成するために、第２の光学構成の状態は焦点検出のための信号とディスプレイ用の比較的データ量の少ない画像信号を生成するためにそれぞれ用いられる。レンズアレイプレート１５６は撮像素子１０６の前面を覆う大きさの薄板であるので、極めて小型の撮像装置を実現することができる。また、撮像素子１０６そのものには、特殊な構造を必要としないので、極めて入手しやすく安価である。
【００６１】
リニア超音波モータの構成は、基板１５１上に直方体のセラミックからなる圧電振動体１５２ａ，１５２ｂが平行に配置され、圧電振動体１５２ａ，１５２ｂ上には、金属体の振動体１５３ａ，１５３ｂが、圧電振動体１５２ａ，１５２ｂの下には電極１５４ａ，１５４ｂが圧電振動体１５２ａ，１５２ｂに平行に重なるようにそれぞれ密着して取り付けられている。また、振動体１５３ａ，１５３ｂにまたがって、レンズアレイプレート１５６の支持部材としての役割を果たすポリフェニレンサルファイト樹脂質の可動部１５５が、振動体１５３ａ，１５３ｂの長手方向のみに直線移動できるように支持されている。さらに、この可動部１５５は振動体１５３ａ，１５３ｂからずれることがないように、可動部１５５の両端が振動体１５３ａ，１５３ｂ側へ鍵状に折れ曲がっている。
【００６２】
撮像素子１０６は、基板１５１上の圧電振動体１５２ａ，１５２ｂに挟まれる位置に配置され、可動部１５５で支えられたレンズアレイプレート１５６と撮像素子１０６とが数μmから数１００μmの距離を隔てて対峙するようになっている。
【００６３】
以上のように構成された撮像装置のレンズアレイプレート駆動動作を説明する。
【００６４】
図４は動作中のリニア超音波モータの振動体と可動部の接触面を示す斜視図である。
【００６５】
圧電振動体１５２は数極に分かれて分極されており、分極方向を交互に逆にしながら配置されている。圧電振動体１５２に密着接合された電極１５４と振動体１５３に電圧を印加すると、分極方向の違いによって、圧電振動体１５２内部に歪みが発生して、振動体１５３にこの歪みが伝わる。この動作を歪みの方向を変えつつ連続して行うと振動体１５３に振動を発生させ、進行波及び超音波振動１５８ａ，１５８ｂを励起させる。この超音波振動１５８ａ，１５８ｂが駆動力源となり、摩擦力を介して可動部１５５を移動させる。このとき、進行波の移動方向と超音波振動１５８ａ，１５８ｂの回転方向が逆向きであるので、可動部１５５は進行波の移動方向とは逆向きに移動する。
【００６６】
一般に、リニア超音波モータは高トルクを有するので高速応答性があり、可動部１５５に支持されたレンズアレイプレート１５６の移動を高速に効率良く行うことができる。
【００６７】
このように構成されたデジタルカラーカメラの主な撮影シーケンスを以下に示す。
（１）メインスイッチ１１９をオンにする。
（２）カメラシステム制御回路１３５がレンズアレイプレート１５６の位置を制御して第２の光学構成の状態を設定する。
（３）撮像系、画像処理系、記録再生系により、ディスプレイ装置１０７にモニタ画像を表示する。
（４）撮像系、ＡＦ制御回路１４０及びレンズシステム制御回路１４１は結像光学系のフォーカシングレンズを制御して、ピント合わせを行う。
（５）操作検出回路１３６がレリーズボタン１２０の押下を検出すると、カメラシステム制御回路１３５はレンズアレイプレート１５６の位置を制御して第１の光学構成の状態に切り換える。
（６）撮像系、画像処理系は高精彩画像の取り込みを行う。
（７）（２）に戻る。
【００６８】
上記構成と以上のような撮影シーケンスによれば、焦点調節と撮像画像のディスプレイ装置でのモニタ、および、高精彩画像の撮像を単一の撮像素子からの信号で可能にし、しかも、位相差検出方式による高速な焦点調節と、画像モニタでの光学像との被写界深度の同一性や小さいタイムラグ、さらには滑らかな動画像表示を同時に得ることができる。
【００６９】
次に、撮像素子１０６の構造について述べる。
【００７０】
図５は撮像素子１０６の断面図であって、断面方向は画素配列を斜め４５度に横切る方向である。図は、結像光学系からの光束を直接撮像素子１０６に入射させる第１の光学構成の状態を示し、結像光学系１０３は図の左側に位置し、撮像素子１０６上には画素１７４−１、１７４−２、１７４−３、１７４−４、１７４−５、１７４−６が密に配列されている。
【００７１】
撮像素子１０６の画素は、それぞれがマイクロレンズ、カラーフィルター、受光部のセットで構成されている。
【００７２】
結像光学系１０３を射出した光束は、不図示の光学ローパスフィルターを通って、マイクロレンズ１７１−１、１７１−２、１７１−３、１７１−４、１７１−５、１７１−６に入射する。各マイクロレンズの後方にはカラーフィルターが配置され、ここで所望の波長域のみが選択されて１７２−１から１７２−６の各受光部に到達する。カラーフィルターには、ＲＧＢの３種があるが、前述のようにベイヤー配列であることから、この断面に現れているのはこのうちの１種であって、図の場合は緑色透過カラーフィルター１７２−１ｇ、１７２−２ｇ、１７２−３ｇ、１７２−４ｇ、１７２−５ｇ、１７２−６ｇである。
【００７３】
各マイクロレンズの屈折力は撮像素子の各受光部１７３−１、１７３−２、１７３−３、１７３−４、１７３−５、１７３−６を結像光学系１０３の射出瞳に投影するように設定されている。このとき、各受光部の投影像が結像光学系１０３の絞り開放時の射出瞳よりも大きくなるように投影倍率を設定して、受光部に入射する光量と結像光学系１０３の絞りの開口面積との関係をおおよそ線形にすると良い。第１の光学構成の状態においては、画素１７４−２に代表させて受光光束を斜線部１７５で示すように、結像光学系１０３の射出瞳の全体を通った光束による高精細かつ高品位な画像出力を得ることができる。
【００７４】
なお、各マイクロレンズの表面に可視光の波長よりも小さなピッチを持つ微細な角錐状の周期構造を形成し、いわゆるフォトニック結晶として作用させることによって、空気とマイクロレンズの屈折率差による光の表面反射を低減して、光の利用効率を高めることも可能である。
【００７５】
さて、次に、焦点検出処理とディスプレイ用等のデータ量の少ない画像出力を行う第２の光学構成の状態について説明する。
【００７６】
図６は、結像光学系１０３を射出した光束がレンズアレイプレート１５６を透過してから撮像素子１０６に入射する状態を示す断面図である。図５に示した撮像素子１０６に近接してレンズアレイプレート１５６が挿入されている。撮像素子１０６については図５を用いてすでに説明したので、ここではレンズアレイプレート１５６とその作用について詳述する。
【００７７】
図において、１５６はレンズアレイプレート、１５６ａはレンズアレイプレートの基板ガラス、１５６ｂは基板ガラス１５６ａにレプリカや印刷といった製法で付加された光学ローパスフィルター、１５６ｃは基板ガラス１５６ａにレプリカ形成されたレンズ、１５６ｄは基板ガラス１５６ａにレプリカ形成された平面部である。ここでレプリカ製法とは単純な形状の基板に樹脂で形状を付加し一体化する製造技術である。一般には紫外線硬化性の樹脂や熱硬化性の樹脂が用いられ、金型と基板とするガラスとの間に樹脂を挟み込んだ状態で紫外線を照射するなどして硬化させて、ガラス上に金型の形状を転写する。光学ローパスフィルター１５６ｂは、元々結像光学系の光路に組み込まれているものとは異なり、第２の光学構成の状態では撮像素子１０６の全画素を用いて撮像しないことに対応して、さらに強いローパス効果を付与するためのものである。
【００７８】
レンズ１５６ｃは、光学要素ということもできる。
【００７９】
レプリカ製法でレンズアレイプレート１５６を作製することにより製造コストを低く抑えられる。また、樹脂は一般に比較的大きい線膨張係数と低いヤング率を有するが、一般に比較的小さい線膨張係数と高いヤング率を有するガラス基板と一体化することで、熱変形が抑えられ、一般的に結晶シリコンをベースとして作られる撮像素子１０６に対する温度変化の位置ずれを小さくできるという利点がある。これは、広い温度範囲での使用を可能とすることを意味する。
【００８０】
また、レンズアレイプレート１５６の光射出面側には、レンズ１５６ｃとその間隙である平面部１５６ｄがあり、それぞれ、焦点検出のための画素に至る光束と、ディスプレイ用の画素に至る光束が独立に透過する。
【００８１】
図７と図８はレンズアレイプレート１５６と撮像素子１０６を重ねて描いた平面図である。撮像素子の多数の画素のうちの一部分を拡大して示しており、光線は紙面表側から入射する。
【００８２】
先ず、図７を用いて焦点検出のために用いる画素について説明する。
【００８３】
図７において、１７４−１から１７４−６は断面図５にも示した画素である。また、太線の枠を付した画素は焦点検出のために用いる画素を表し、先の図５に現れた画素１７４−１から１７４−６の中では画素１７４−２と１７４−３がこれに該当する。
【００８４】
レンズアレイプレート１５６のレンズ１５６ｃは縦方向横方向ともに撮像素子１０６の画素の５倍のピッチをもって規則的に形成されており、画素数に対するレンズ１５６ｃの数の割合は２５画素に１となる。レンズアレイプレート１５６は撮像素子１０６の全面を覆う大きさを持っているので、撮像素子１０６の画素数１０００万画素に対してレンズ１５６ｃの数は４０万個である。
【００８５】
焦点検出のために用いる画素の受光部への入射光路は、図６に示したような形となり、何れの画素についてもレンズアレイプレート１５６のレンズ１５６ｃを透過する。この結果、画素１７４−２に代表させて受光光束を斜線部１７６で示したように、図６においてレンズ１５６ｃの右下方に位置する画素は、図の左上方からの光束を受光し、逆に、画素１７４−３のようにレンズ１５６ｃの右上方に位置する画素は、図の左下方からの光束を受光することになる。
【００８６】
撮像素子１０６の画面全体に渡って、レンズ１５６ｃ毎にこのような光路は形成され、レンズ１５６ｃの右下方に位置する画素は、図の左上方からの光束を、レンズ１５６ｃの右上方に位置する画素は、図の左下方からの光束をそれぞれ受光する。図５、図６の断面方向は撮像素子１０６の画素配列を斜め４５度に横切る方向であったので、図６の光路は、焦点検出用画素が結像光学系１０３の瞳を斜めに分割した半月状の瞳からの光束を受光することを意味している。
【００８７】
さて、次に焦点検出視野と信号処理について述べる。
【００８８】
図７に楕円１６１で示した画素列｛１７４−２、１７４−３、１７４−７、１７４−８、１７４−１２、１７４−１３、１７４−１７、１７４−１８、・・・・・・・・｝は焦点検出視野を構成する焦点検出用画素列である。画素列を構成する画素はすべて緑色透過カラーフィルターを備えている。
【００８９】
焦点検出信号処理の第１の段階として、結像光学系１０３の瞳上の領域別に画素を分類し、この画素列を２つのグループに分ける。レンズ１５６ｃ−１に対する画素１７４−２と１７４−３、レンズ１５６ｃ−２に対する画素１７４−７と１７４−８、レンズ１５６ｃ−３に対する画素１７４−１２と１７４−１３、レンズ１５６ｃ−４に対する画素１７４−１７と１７４−１８、・・・・のそれぞれが結像光学系１０３の瞳上の領域で区別された一組の画素であって、複数のレンズ１５６ｃ毎にレンズ１５６ｃを介して受光した撮像素子１０６からの一組の信号出力を得ることができる。
【００９０】
すなわち、これらは光学要素アレイの複数の光学要素毎に光学要素を介して受光した光束による一組の撮像素子信号出力である。
【００９１】
焦点検出信号は、上記の画素を一まとめにして再構成画素列｛１７４−２、１７４−７、１７４−１２、１７４−１７、・・・・｝と再構成画素列｛１７４−３、１７４−８、１７４−１３、１７４−１８、・・・・｝を得て、これらの信号出力波形を処理することによって生成する。つまり、撮像素子１０６の複数の画素のうち離散的に位置する複数の画素を連結して再構成画素列を形成し、こうして得られる信号出力値配列を用いて焦点検出信号を形成する。より詳しくは、２つの再構成画素列の信号出力波形の間には、焦点検出視野上に結像光学系１０２によって形成された物体像の結像状態に応じて、相対的に横シフトした状態が観測され、前ピン、後ピンでは信号出力波形のシフト方向が逆になる。相関演算などの手法を用いてこの位相差（シフト量）を検出するのが焦点検出の原理である。
【００９２】
なお、一つの焦点検出視野内の焦点検出用画像信号を実質的に同一タイミングで光電変換したものとすることで、物体が移動している場合にも高い焦点検出精度を保つことができる。
【００９３】
また、縦方向や横方向に焦点検出視野を設定すると、画素列には赤色透過カラーフィルターや青色透過カラーフィルターを備えたものとすることができる。この場合には、先ず画素をカラーフィルター別に分類した後、さらに瞳上の領域別の観点で分類して、再構成画素列を形成すればよい。
【００９４】
撮像素子１０６上の任意の位置に焦点検出視野を設定し、一組の画像信号の相対的位置変化を調べれば、この位置における結像光学系１０３の結像状態を知ることができる。
【００９５】
図７に示した楕円１６１だけではなく、例えば楕円１６２で示した焦点検出用画素の画素列を同時に抽出すれば、一方の画素列に平行な物体像パターンが投影されて信号出力波形の振幅が発生せず、この画素列による焦点検出ができない場合でも、他方の画素列では信号出力波形に振幅が発生して、焦点検出が可能となる。
【００９６】
焦点検出信号処理の位相差検出部分について説明する。再構成画素列｛１７４−２、１７４−７、１７４−１２、１７４−１７、・・・・｝の信号出力値配列を第１の撮像素子信号出力波形、再構成画素列｛１７４−３、１７４−８、１７４−１３、１７４−１８、・・・・｝の信号出力値配列を第２の撮像素子信号出力波形としたとき、焦点検出処理は、結像光学系１０３の射出瞳を分離した領域を通過した光束による第１の撮像素子信号出力波形と、前記結像光学系の射出瞳を分離した他の領域を通過した光束による第２の撮像素子信号出力波形との相対的位置変化すなわち位相差を検出する演算手段を用いる。
【００９７】
図９と図１０はＡＦ制御部４０に入力された撮像素子信号出力値配列の値である画像信号を表す図である。図９は物体像にピントが合っていない状態での撮像素子信号出力波形、図１０は物体像にピントが合った状態での撮像素子信号出力波形をそれぞれ表している。
【００９８】
図９の撮像素子信号出力波形１８１は再構成画素列｛１７４−２、１７４−７、１７４−１２、１７４−１７、・・・・｝の信号出力値配列｛５９８、４９６、２１０、６０２、７８４、４０２、９５、４８７｝、撮像素子信号出力波形１８２は再構成画素列｛１７４−３、１７４−８、１７４−１３、１７４−１８、・・・・｝の信号出力値配列｛３８５、３０１、３８７、７１９、６５５、２６４、２４６、５７９｝である。図の状態ではピントが合っていないので、撮像素子信号出力波形１８１と撮像素子信号出力波形１８２は一致せず、横シフトした関係になっている。
【００９９】
一方、図１０の撮像素子信号出力波形１８３は再構成画素列｛１７４−２、１７４−７、１７４−１２、１７４−１７、・・・・｝の信号出力値配列｛５００、４０３、２８９、６７５、７７６、２９７、２０４、５０１｝、撮像素子信号出力波形１８４は再構成画素列｛１７４−３、１７４−８、１７４−１３、１７４−１８、・・・・｝の信号出力値配列｛４８６、４０３、２６８、６９８、７５４、３２１、２０４、５２１｝であって、ここではピントが合っているため、撮像素子信号出力波形１８３と撮像素子信号出力波形１８４は実質的に一致している。
【０１００】
したがって、一組の信号の同一性を判定することで合焦検知を行うことができる。さらには、相関演算を用いた公知の手法、例えば特公平０５−０８８４４５号公報に開示されている手法を用いて位相差を検出することにより、デフォーカス量を求めることができる。すなわち、撮像素子１０６上に物体像を形成する結像光学系１０３の結像状態に応じて信号出力波形の位相が変化する一組の撮像素子信号出力値配列を用いて焦点検出信号を生成する。得られたデフォーカス量を結像光学系１０３のフォーカシングレンズを駆動すべき量に換算すれば、自動焦点調節が可能である。レンズを駆動すべき量をあらかじめ知ることができるので、通常、合焦位置までのレンズ駆動はほぼ一回で済み、極めて高速な焦点調節を実現できる。
【０１０１】
第２の光学構成の状態では、焦点検出の他にディスプレイ用などに用いられるデータ量の少ない画像出力が可能である。図８はディスプレイ用の画像出力を得る画素を説明するための図である。
【０１０２】
図８において、１７４−１から１７４−６は断面図である図５にも示した画素である。また、太線で示した画素はデータ量の少ない画像出力のために用いる画素を表し、画素１７４−１から１７４−６の中では画素１７４−５がこれに該当する。
【０１０３】
データ量の少ない画像出力のために用いる画素の受光部への入射光路は、図６に示したようにレンズアレイプレート１５６の平面部１５６ｄを透過する。この結果、画素１７４−５に代表させて受光光束を斜線部１７７で示したように、先に図５に示した画素１７４−２の受光光束を示す斜線部１７５とほぼ同様の広がりを有する。すなわち、レンズアレイプレート１５６が無い第１の光学構成の状態に比べて、光学ローパスフィルター１５６ｂの作用による高い空間周波数成分の減少と、レンズアレイプレート１５６の屈折率が空気と異なることによる僅かな光路長差だけが異なり、結像光学系１０３の瞳の全体からの光束を受光する構成になっている。
【０１０４】
撮像素子１０６の画面全体に渡って、各平面部１５６ｄでは、このような光路が形成されているので、平面部１５６ｄの背後に図示のような位置関係に置かれた全ての画素は、結像光学系１０３の瞳全体からの光束を受光する。つまり、撮像素子１０６の複数の画素を包含する複数のレンズ１５６ｃよりなるレンズアレイを透して受光する際、このレンズアレイに形成された複数のレンズ１５６ｃの間隙を通して受光する画素の出力に基づいて画像信号を形成することができる。
【０１０５】
一般にディスプレイ装置１０７で画像を表示する際には、画像をプリントするときほど精細なものでなくて良く、むしろ、光学像と表示画像との被写界深度の同一性や物体像を捉えてから液晶空間変調素子などに映し出すまでの表示タイムラグの小ささが求められる。
【０１０６】
この画像をディスプレイ装置１０７に表示すれば、瞳全体からの光束を受光するので、第１の光学構成の状態で撮像する高精細な画像と同じ画像のボケ具合を得ることができる。したがって、背景をぼかして主被写体を引き立たせるといった絞り効果をディスプレイ装置１０７を観察することによって完全に知ることが可能である。
【０１０７】
第２の光学構成の状態から、レンズアレイプレート１５６が退避し、高精彩画像を取り込むための第１の光学構成の状態に移行すると、レンズアレイプレート１５６と空気の光路長差分だけ結像光学系１０３のピントがずれるが、この光路長差は既知の固定値であるので、レンズアレイプレート１５６が退避するタイミングに同期して結像光学系１０３のピントを所定量だけ補正すればよい。
【０１０８】
また、画像のデータ量が少ないので、処理時間が短く、光学像と表示画像とのタイムラグは極めて短い。したがって、１秒間に６０フレーム程度の滑らかな動画像を表示することも可能である。データ量が少ないとはいえ、テレビ放送などには充分に耐えられる画質を得ることができるので、この撮像装置を利用して静止画像／動画像兼用の撮像機器を構成しても良い。
【０１０９】
さらに、図８に戻って、太線で示した画素の配列に注目すると、縦方向、横方向ともに５画素に１画素を使用していることから、抽出されたこれらの画素の並びもまたベイヤー配列になる。したがって、カラー画像を得るための信号処理は、第１の光学構成の状態で高精細な画像を得るときと変わらない。この結果、信号処理回路を第１の光学構成の状態と第２の光学構成の状態で共通に使用できるという利点がある。
【０１１０】
以上の説明では、光学要素アレイとしてレプリカ製法で作製したレンズアレイプレート１５６を用いた例を挙げたが、これに限定されるものではなく、例えば、光学要素アレイを屈折率分布型のレンズや液晶レンズで構成することもできる。何れも小さい機構スペースしか必要としないので撮像機器を小型化できる。液晶レンズを用いれば、レンズアレイプレートを機械的に駆動する代わりに、液晶を電気的に制御すればよく、機構スペースをさらに省くことが可能である。
【０１１１】
（第２の実施形態）
図１２と図１３は本発明の第２の実施形態に係わる撮像装置を搭載したデジタルカラーカメラの概略構成を示す図であって、図１２はカメラの側方視断面図、図１３は図１２の左方向から見たカメラの正面透視図である。本カメラは、ＣＣＤあるいはＣＭＯＳセンサなどの撮像素子を用いた単板式のデジタルカラーカメラであり、撮像素子を連続的または単発的に駆動して動画像または静止画像を表わす画像信号を得る。ここで、撮像素子は、露光した光を各画素毎に電気信号に変換してその光量に応じた電荷をそれぞれ蓄積し、その電荷を読み出すタイプのエリアセンサである。。
【０１１２】
図１２において、２０３は結像光学系であって、不図示の駆動機構を有し、結像光学系２０３の一部の要素であるフォーカシングレンズを光軸方向に移動させることや、フォーカシングレンズを柔軟性のある透明弾性部材や液体レンズで構成し、界面形状を変化させ屈折力を変えることで、物体に対するピント合わせを行う。
【０１１３】
２０６は撮像素子である。撮像素子２０６は光を取り込む窓部材となるカバーガラス２２４を有したパッケージに収納されている。また、結像光学系２０３から撮像素子２０６に至る光路中には、撮像素子２０６上に必要以上に高い物体像の空間周波数成分が形成されないように結像光学系２０３のカットオフ周波数を制限する光学ローパスフィルター（不図示）が設けられ、さらに、結像光学系２０３には赤外線カットフィルターも配置されている。
【０１１４】
撮像素子２０６の受光面の前方には、撮像素子２０６のパッケージに隣接してレンズアレイプレート２５６が進退可能に配設されている。撮像装置には、撮像素子２０６、レンズアレイプレート２５６、および画像信号や焦点検出信号を生成する電気回路を含む。レンズアレイプレート２５６は、撮像素子２０６の前方に挿入されたときに、撮像素子２０６の全面を覆う大きさを有する薄板であるので、極めて小型の撮像装置を実現することができる。
【０１１５】
撮像素子２０６で捉えられた物体像はディスプレイ装置２０７上に表示される。ディスプレイ装置２０７はカメラの背面に取り付けられており、直接観察できる。ディスプレイ装置２０７は有機ＥＬ空間変調素子や液晶空間変調素子、微粒子の電気泳動を利用した空間変調素子などで構成すると消費電力が小さく都合が良い。
【０１１６】
撮像素子２０６は、増幅型固体撮像装置の１つであるＣＭＯＳプロセスコンパチブルのセンサ（以降ＣＭＯＳセンサと略す）である。ＣＭＯＳセンサの特長の１つに、エリアセンサ部のＭＯＳトランジスタと周辺回路のＭＯＳトランジスタを同一工程で形成できるため、マスク枚数、プロセス工程がＣＣＤと比較して大幅に削減できるということが挙げられる。また、任意の画素へのランダムアクセスが可能といった特長も有する。また、カラーフィルター配列はベイヤー配列である。
【０１１７】
撮像素子２０６は、この特長を利用し、焦点検出動作、ディスプレイ画像出力動作、高精彩画像出力動作を行う。
【０１１８】
なお、第１の実施形態とは異なって、レンズアレイプレート２５６は撮像素子２０６のパッケージの外側に位置し、撮像素子２０６と一緒にパッケージに収納されているわけではない。レンズアレイプレート２５６の駆動機構は種々のものから選択可能であって、例えば電磁モータとギア列で構成される回転駆動機構が採用できる。２１４はレンズアレイプレート２５６を駆動する機構の回転軸であり、不図示の回転駆動機構によりレンズアレイプレート２５６は２５６'で示す位置まで移動し、撮像素子２０６上から退避する。なお、撮像素子２０６には、そのパッケージも含めて、特殊な構造を必要とせず、第１の実施の形態での撮像素子よりもさらに入手しやすく安価である。
【０１１９】
２１１は光学ファインダーに結像光学系２０３からの光路を分割するハーフミラー、２１２はペンタプリズム、２０９は光学ファインダー像を観察するための凸レンズである。
【０１２０】
デジタルカラーカメラの電気的構成は基本的に第１の実施形態と同じである。
【０１２１】
不図示の電磁モータとギア列からなる回転駆動機構は、レンズアレイプレート２５６を撮像素子２０６上から進退させて、結像光学系２０３からの光束を直接的に撮像素子２０６に入射させる第１の光学構成の状態と、レンズアレイプレート２５６を透過させてから撮像素子２０６に入射させる第２の光学構成の状態とを切り替える。レンズアレイプレート２５６'で示す位置は第１の光学構成の状態、２５６で示す位置は第２の光学構成の状態である。第１の光学構成の状態は大型のプリントなどに好適な高精細な画像を生成するために、第２の光学構成の状態は焦点検出のための信号とディスプレイ用の比較的データ量の少ない画像信号を生成するためにそれぞれ用いられる。
【０１２２】
第１の光学構成の状態と第２の光学構成の状態とを切り替え可能とすることにより、焦点調節と撮像画像のディスプレイ装置でのモニタ、および、高精彩画像の撮像を単一の撮像素子からの信号で可能にし、しかも、位相差検出方式による高速な焦点調節と、画像モニタの小さいタイムラグ、さらには滑らかな動画像表示を同時に得ることができる。デジタルカラーカメラの主な撮影シーケンスは第１の実施形態と同じであって、撮像素子がこの撮像素子の複数の画素を包含する複数の光学要素よりなる光学要素アレイを透さずに受光する第１の光学構成の状態と、撮像素子が光学要素アレイを透して受光する第２の光学構成の状態とを適宜切り換える動作を行う。
【０１２３】
次に、撮像素子２０６とレンズアレイプレート２５６の構造について述べる。
図１４は光学要素アレイであるところのレンズアレイプレート２５６の分解斜視図である。
【０１２４】
レンズアレイプレート２５６は３層構造を有し、光入射側から、コンデンサレンズアレイプレート２２１、隔壁集合体２２２、再結像レンズアレイプレート２２３で構成されている。隔壁集合体２２２で仕切られた光学ユニット一つひとつがコンデンサレンズアレイプレート２２１の光入射面に接する平面を撮像素子２０６上に結像する再結像光学系である。すなわち、光学要素アレイは複数の再結像光学系を並列配置して成る。再結像する面を細分化し、これらのそれぞれに小型の再結像光学系を対応させているので、全体としては薄い板状となり、必要な機構スペースは極めて小さい。
【０１２５】
結像光学系２０３による物体像は撮像素子２０６の近傍に形成され、特にピント調節後は撮像素子２０６上に形成される。レンズアレイプレート２５６による再結像は、結像光学系２０３によってコンデンサレンズアレイプレート２２１上に形成された物体像を撮像素子２０６上に再結像し、多くの場合、コンデンサレンズアレイプレート２２１上に形成された物体像はボケ像である。しかも、合焦時には必ずボケ像を再結像することになるが、位相差検出方式による焦点検出においてはこの対処として初期位相差を設定するだけなので、全く障害とはならない。
【０１２６】
図１５はレンズアレイプレート２５６と撮像素子２０６のさらに詳しい構造を説明するための部分断面図である。図において光線は左から右に進む。
【０１２７】
コンデンサレンズアレイプレート２２１は平板基板ガラス２２１ａにレンズ部をレプリカ成形したものである。レンズ部（例えば２２１−１）は入射側に凸の形状となっており、背後にある再結像レンズアレイプレート２２３の再結像レンズに効率よく光を導くための所謂コンデンサーレンズとなっている。隣接するレンズ部間に隙間は無く、コンデンサレンズアレイプレート上に形成されている物体像は遮蔽されること無く撮像素子２０６に導かれる。
【０１２８】
再結像レンズアレイプレート２２３もコンデンサレンズアレイプレート２２１と同様に平板基板ガラス２２３ａにレンズ部をレプリカ成形したものである。ただし、再結像レンズアレイプレート２２３では基板ガラスの両面にレンズ部を形成していることが異なる。再結像レンズアレイプレート２２３の再結像レンズは光入射面側に１軸、光射出側に４軸の光軸を有する両凸レンズ構造となっており、撮像素子２０６上には射出側の光軸の数に相当する４つの物体像を形成する。
【０１２９】
図１６は再結像レンズアレイプレート２２３を光入射面から見た平面図であって、入射側のレンズ部２２３−１と射出側のレンズ部２２３−１−Ａ、２２３−１−Ｂ、２２３−１−Ｃ、２２３−１−Ｄの位置関係を示している。
【０１３０】
また、基板ガラス２２３ａの光射出側には酸化クロムとクロムの多層蒸着膜による４つの絞り開口２２３ｂが形成されており、通過した光を上記４軸レンズの各々に導く。なお、遮光性の絞りがあるため、射出面側のレプリカ成形には熱硬化性の樹脂を使用し、加熱によって金型の形状を転写することとなる。
【０１３１】
コンデンサレンズアレイプレート２２１のレンズ部２２１−１を透過して、基板ガラス２２１ａから射出した光束は、再結像レンズアレイプレート２２３のレンズ部２２３−１に入射し、基板ガラス２２３ａの絞り２２３ｂを通って、レンズ部２２３−１−Ａ、２２３−１−Ｂ、２２３−１−Ｃ、２２３−１−Ｄから射出する。なお、図１５にはレンズ部２２３−１−Ａ、２２３−１−Ｂのみを示した。
【０１３２】
レンズアレイプレート２５６から射出した光束は、撮像素子２０６のパッケージのカバーガラス２２４を透過して、撮像素子２０６のエリアセンサ領域に到る。
【０１３３】
以上のように、再結像光学系は、コンデンサレンズ、絞り開口、再結像レンズで構成され、この構造が密に並んでいる。
【０１３４】
図１７は撮像素子２０６上に投影される物体像の様子を示す平面図である。
【０１３５】
先ず、領域２２９−１は一つの再結像光学系２２６−１（２２１−１、２２２−１、２２３−１、２２３−１−Ａ、２２３−１−Ｂ、２２３−１−Ｃ、２２３−１−Ｄ）を射影した時の大きさであって、これと同じ大きさの領域が隙間を空けずに密に並んでいる。
【０１３６】
２２５−１−Ａ、２２５−１−Ｂ、２２５−１−Ｃ、２２５−１−Ｄは再結像光学系によるコンデンサレンズアレイプレート２２１のレンズ部２２１−１の外周の像である。再結像レンズアレイプレート２２３のレンズ部２２３−１−Ａ、２２３−１−Ｂ、２２３−１−Ｃ、２２３−１−Ｄの作用によって、４個の像が形成される。この４個の像の内部には、結像光学系２０３によってレンズ部２２１−１に接する平面に形成されている物体像が再結像されている。なお、再結像レンズアレイプレート２２３のレンズ部の符号Ａ、Ｂ、Ｃ、Ｄと像の符号Ａ、Ｂ、Ｃ、Ｄはそれぞれが対応していることを表している。
【０１３７】
一つの再結像光学系を射影したスペースの中に４つのコンデンサレンズアレイプレート２２１のレンズ部２２１−１の外周の像を形成するので、再結像倍率βは少なくとも
β≧−０.５
である必要がある。ただし、隣接する像間の光の漏れ込みを抑えるためには
β≧−０.４
であることが、望ましい。また、焦点検出に用いる画素の数を多くするために、
−０.１≧β
に設定すると、焦点検出精度を高く維持することができる。したがって、再結像倍率βは−０.１倍から−０.４倍の範囲、望ましくは−０.２５倍程度に設定するのが良い。
【０１３８】
コンデンサレンズアレイプレート２２１のレンズ部２２１−１は絞り２２３ｂを結像光学系２０３の瞳に投影しているので、４個の像２２５−１−Ａ、２２５−１−Ｂ、２２５−１−Ｃ、２２５−１−Ｄは結像光学系２０３の異なる瞳領域を通過した光束による像ということになる。したがって、２個の像２２５−１−Ａと２２５−１−Ｃに注目すれば、結像光学系２０３による物体の結像状態が変化すると、これに応じて矢印２２７Ａと２２７Ｃのように互いに近づいたり遠ざかったりする動きを示す。この像を光電変換し、光学要素アレイの複数の光学要素毎にこの光学要素を介して受光した光束による一組の撮像素子信号出力を得る。さらに、他の２個の像２２５−１−Ｂと２２５−１−Ｄに注目して、矢印２２７Ｂと２２７Ｄの方向に移動する他の一組の撮像素子信号出力を得る。
【０１３９】
ところで、像２２５−１−Ａ、２２５−１−Ｂ、２２５−１−Ｃ、２２５−１−Ｄは一つの再結像光学系２２６−１による物体像であって、この大きさの中には物体像の輝度分布のごく一部しか投影されない。すなわち、信号出力に振幅が現れるのは物体像に十分に高い周波数成分を含んでいたときだけであって、偶然性のものである。低い空間周波数の輝度分布を短い窓で切り出したときには、信号出力に振幅が無い。この状態で物体像の位相差を検出することは勿論不可能である。
【０１４０】
そこで、撮像素子の複数の画素のうち離散的に位置する複数の画素の出力値を連結することによって焦点検出視野を拡大し、物体の輝度分布を捉えやすくする。
【０１４１】
図１８は複数の再結像光学系、ここでは３×３の９個の再結像光学系によって撮像素子２０６上に投影された物体像の様子を示す平面図である。
【０１４２】
図１７で説明した物体像は図の左上に示されている。また、結像光束が通過する結像光学系２０３の瞳上の領域を区別するために、Ａ、Ｂ、Ｃ、Ｄのレンズ部によって投影された像をそれぞれ異なるハッチングで示した。
【０１４３】
焦点検出視野を拡大するためには、物体像が投影されている位置の画素出力を繋げて使用すればよい。このとき、画素出力を繋げることが可能であるためには、対象となる２つの画素列がそれぞれ光電変換する２つの物体像について、次の条件が必要である。
（１）２つの物体像が、再結像光学系の結像面と共役な物体側の面上において連続した面を結像して得られた像であること。
（２）２つの物体像が、結像光学系２０３の同じ瞳上の領域を通った光束によって形成された像であること。
【０１４４】
図１９と図２０はこの条件に当てはまるように、物体像が投影されている位置の画素列の出力値を演算処理上で連結した状態を表す説明図である。
【０１４５】
これらの図において、例えば２２８−１−Ａは、図１８の物体像２２５−１−Ａを光電変換する画素列の信号出力値配列を表している。なお、ここでは、焦点検出に２次元の配列を使用し、良好な検出精度を得る。
【０１４６】
図１９では、符号Ａと符号Ｃを有する信号出力値配列を繋げて、全体としてデータ配列２３１Ａと２３１Ｃを形成しており、図の左上と右下を結ぶ方向に像が移動して出力値に反映される。また、図２０では、符号Ｂと符号Ｄを有する信号出力値配列を繋げて、全体としてデータ配列２３１Ｂと２３１Ｄを形成しており、図の左下と右上を結ぶ方向に像が移動して出力値に反映される。データ配列２３１Ａ、２３１Ｃ、２３１Ｂ、２３１Ｄには、それぞれ連続した全体として意味を持つデータが格納される。
【０１４７】
なお、図１９と図２０で示したように、２つの方向の像の移動を捉えれば、一方の画素列に平行な物体像パターンが投影されて信号出力波形の振幅が発生せず、この画素列による焦点検出ができない場合でも、他方の画素列では信号出力波形に振幅が発生して、焦点検出が可能である。
【０１４８】
図２１は連続した全体として意味を持つデータが格納される状態をより分かりやすく説明するための図で、一例として、結像光学系２０３が人間を捉え、焦点調節がためされた状態を示している。
【０１４９】
図１９に示した信号出力値配列には、人間の像２３０Ａと２３０Ｃを光電変換した値が格納される。このように、上述の２つの条件を満たすことによって、撮像素子２０６上で不連続な領域の出力値を繋げても、連続した信号を得ることができる。
【０１５０】
また、結像光学系２０３の焦点調節がためされているにもかかわらず、信号出力値配列２３１Ａ、２３１Ｃ上の物体像２３０Ａと２３０Ｃの位置が異なっているのは、次の理由による。
【０１５１】
再結像光学系（２２６−１、２２６−２、２２６−３、・・・）はコンデンサレンズアレイプレート２２１のレンズ部２２１−１に接する平面に形成されている物体像を撮像素子２０６上に再結像する。一方、結像光学系２０３の焦点調節は、レンズアレイプレート２５６が撮像素子２０６上から図１３の２５６'で示す位置まで退避したしたときに、撮像素子２０６上に鮮明な物体像を形成するようにためされる。したがって、結像光学系２０３の焦点調節が撮像素子２０６に対して成された状態では、コンデンサレンズアレイプレート２２１のレンズ部２２１−１に接する平面上における物体像は若干ピントがずれた状態となる。この結果、信号出力値配列２３１Ａ、２３１Ｃ内の物体像データは、図２１に示すように互いに若干離れた位置に対応する情報を有することになる。ただし、この位相差を初期位相差として記憶しておき、検出された位相差から差し引くようにすれば、実際の焦点検出処理での不都合はない。
【０１５２】
撮像素子は、各種のカラーフィルターを備えた画素を備えているので、カラーフィルター別に位相差を検出する処理を行っても、あるいは輝度信号を用いて位相差を検出する処理を行っても良い。
【０１５３】
以上のように、像２２５−１−Ａ、２２５−１−Ｂ、２２５−１−Ｃ、２２５−１−Ｄ、２２５−２−Ａ、２２５−２−Ｂ、２２５−２−Ｃ、２２５−２−Ｄ、２２５−３−Ａ、２２５−３−Ｂ、２２５−３−Ｃ、２２５−３−Ｄ、・・・が投影されている位置の画素出力を抽出し、これらを連結して得た信号出力値配列を用いて、信号出力波形の間の横シフトした状態を観測し、像の位置関係を調べることによって、結像光学系２０３の結像状態を知ることができる。つまり、一組の信号の同一性を判定することで合焦検知を行うことができる。さらには、相関演算を用いた公知の手法、例えば特公平０５−０８８４４５号公報に開示されている手法を用いて相対的な位置変化量を検出することにより、デフォーカス量を求めることができる。得られたデフォーカス量を結像光学系２０３のフォーカシングレンズを駆動すべき量に換算すれば、自動焦点調節が可能である。レンズの駆動量をあらかじめ知ることができるので、通常、合焦位置までのレンズ駆動はほぼ一回で済み、極めて高速な焦点調節を実現できる。
【０１５４】
焦点検出視野を形成する合成信号出力値配列は、撮像素子２０６上の任意位置の出力値から設定可能である。
【０１５５】
第２の光学構成の状態では、焦点検出の他にディスプレイ用途などに使用されるデータ量の少ない画像出力が可能である。ディスプレイのためには、図１９と図２０に示した信号出力値配列２３１Ａ、２３１Ｂ、２３１Ｃ、２３１Ｄの対応する位置のデータを足し合わせて、新たに一つのデータ配列を形成すれば、等価的に結像光学系２０３の瞳を均等に使った物体像を光電変換した画像データを得ることができる。特に撮像素子２０６の全体に渡ってこの演算処理を行えば、撮像しようとしている高精細画像をモニタするための画像として好適である。データ量が少ないので処理時間は短く、物体像を捉えてから液晶空間変調素子などに映し出すまでの表示タイムラグを小さく抑えることができる。
【０１５６】
第２の光学構成の状態から、レンズアレイプレート２５６が退避し、高精細画像を取り込むための第１の光学構成の状態に移行すると、レンズアレイプレート２５６と空気の光路長差分だけ結像光学系２０３のピントがずれるが、この光路長差は既知の固定値であるので、レンズアレイプレート２５６が退避するタイミングに同期して結像光学系２０３のピントを所定量だけ補正すればよい。
【０１５７】
また、逆に、画像をモニタする機能を必要とせず、焦点検出のみで十分な場合には、レンズアレイプレート２５６は撮像素子２０６の全面をカバーする大きさである必要は無く、例えば中央部の５０％の面積を覆えればよい。
【０１５８】
なお、以上の説明では、カラーカメラを例に挙げたが、本発明はこれに限定されるものではなく赤外線撮像機器やモノクロカメラに適用できることは言うまでも無い。
【０１５９】
なお、本発明の実施態様を以下に列挙する。
【０１６０】
（実施態様１）複数の画素を有する撮像素子と、
該撮像素子の複数の画素のうちの所定数の画素毎に１つずつ対応する複数の光学要素を有する光学要素アレイと、
前記複数の光学要素毎に、該光学要素を通過した光から１組の焦点検出用信号を前記画素で生成し、前記光学要素毎に１組ずつ生成された焦点検出用信号に基づいて焦点合わせを行なう焦点合わせ手段とを備えることを特徴とする撮像装置。
【０１６１】
（実施態様２）前記光学要素アレイにおける前記複数の光学要素の間隙を通過した光から前記画素で画像信号を生成することを特徴とする実施態様１に記載の撮像装置。
【０１６２】
（実施態様３）前記光学要素は、再結像光学系であることを特徴とする実施態様１に記載の撮像装置。
【０１６３】
（実施態様４）前記光学要素アレイを透さずに前記撮像素子に光を受光させる第１の状態と、前記光学要素アレイを透して前記撮像素子に光を受光させる第２の状態とを切り換える切り換え手段をさらに備えることを特徴とする実施態様１に記載の撮像装置。
【０１６４】
（実施態様５）前記撮像素子の複数の画素のうち、離散的に配置された複数の画素から得られる前記焦点検出用信号を連結して生成された信号を用いて前記焦点合わせを行なうことを特徴とする実施態様１に記載の撮像装置
【発明の効果】
以上説明したように、本発明によれば、焦点検出性能と高精細かつ高品位な画質を両立させた撮像装置を実現することができる。
【０１６５】
また、単一の撮像素子で焦点検出動作と画像のディスプレイとを並行して行うことができる撮像装置を実現することができる。
【０１６６】
さらには、撮像装置の小型化を実現することができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係わるデジタルカラーカメラの概略構成を示す図である。
【図２】デジタルカラーカメラの電気的構成を示すブロック図である。
【図３】撮像部の構成を示す斜視図である。
【図４】動作中のリニア超音波モータの振動体と可動部の接触面を示す斜視図である。
【図５】撮像素子の断面図である。
【図６】レンズアレイプレートを透過させてから撮像素子に入射させる第２の光学構成の状態を示す断面図である。
【図７】レンズアレイプレートと撮像素子を重ねて描いた平面図である。
【図８】レンズアレイプレートと撮像素子を重ねて描いた平面図である。
【図９】ＡＦ制御部に入力された画像のデジタル信号を表す図である。
【図１０】ＡＦ制御部に入力された画像のデジタル信号を表す図である。
【図１１】ベイヤー配列の説明図である。
【図１２】カメラの側方視断面図である。
【図１３】図１２の左方向から見たカメラの正面透視図である。
【図１４】レンズアレイプレートの分解斜視図である。
【図１５】レンズアレイプレートと撮像素子の部分断面図である。
【図１６】再結像レンズアレイプレートを光入射面から見た平面図である。
【図１７】撮像素子上に投影される物体像の様子を示す平面図である。
【図１８】９個の再結像光学系によって撮像素子上に投影された物体像の様子を示す平面図である。
【図１９】物体像が投影されている位置の画素列の出力値を演算処理上で連結した状態を表す説明図である。
【図２０】物体像が投影されている位置の画素列の出力値を演算処理上で連結した状態を表す説明図である。
【図２１】結像光学系が人間を捉え、焦点調節がためされた状態での信号出力値配列を説明する図である。
【符号の説明】
１０６，２０６撮像素子
１５６，２５６レンズアレイプレート

Claims

複数の画素を有する撮像素子と、
該撮像素子の複数の画素のうちの所定数の画素毎に１つずつ対応する複数の光学要素を有する光学要素アレイと、
前記複数の光学要素毎に、該光学要素を通過した光から１組の焦点検出用信号を前記画素で生成し、前記光学要素毎に１組ずつ生成された焦点検出用信号に基づいて焦点合わせを行なう焦点合わせ手段とを備えることを特徴とする撮像装置。