JP2016206556A - 測距像の取得方法、およびそれを用いる撮像装置 - Google Patents

Abstract

【課題】撮像装置のズームやフォーカス状態の変化などにより、同一画素に含まれる複数の光電変換部の間に感度差が生じても、高精度な測距を実現する方法及び装置を提供する。【解決手段】相対的に感度の高い第一光電変換部１１１と相対的に感度の低い第二光電変換部１１２とを有する第一の画素１１０と、相対的に感度の高い第三光電変換部１２１と相対的に感度の低い第四光電変換部１２２とを有する第二の画素１２０とを含む場合、１フレームあたりに、第一光電変換部と第二光電変換部に蓄積される電荷量を、それぞれ第三光電変換部と第四光電変換部に蓄積される電荷量よりも多くし、第一光電変換部から第四光電変換部で取得される信号を、第一の画素および第二の画素で取得される測距信号として、測距像の生成に用いる。【選択図】図２

Description

本発明は、固体撮像素子を用いた測距像の取得方法に関し、特にデジタルカメラやビデオカメラなどの撮像装置に好適な測距像を取得する方法、およびそれを用いる撮像装置に関するものである。

近年、デジタルカメラやビデオカメラなどの撮像装置に対して、さらなる自動焦点調節の高速化が求められている。特許文献１には、撮像素子の一部あるいは全部の画素に測距機能を有する距離測定用の画素（以下、測距画素）を配置し、位相差方式を用いて短時間で焦点調節状態を検出可能な固体撮像素子が提案されている。測距画素は、同一画素内に複数の光電変換部が設けられ、撮影レンズの瞳上において、撮影レンズの光軸に対して互いに反対向きにずれた領域を通過した光束が、それぞれの光電変換部に導かれるように構成されている。

各測距画素に配置された複数の光電変換部で得た信号により、撮像レンズの光軸に対して、互いに反対向きにずれた瞳領域を通過した光束から生成される信号（以後、測距像）を取得する。測距像間のずれ量を基に、三角測量の原理を用いて距離を測定することができる。また、画素内の複数の光電変換部の出力を合算することにより、同時に撮像信号を得ることができる。

特開２００９−１５８８００号公報

一般に、撮像装置の結像光学系の射出瞳位置は、結像光学系のズームやフォーカス状態によって変化するため、固体撮像素子の設計瞳位置と実際の結像光学系の射出瞳位置とが、一致しない場合が生じる。固体撮像素子の設計瞳位置と結像光学系の射出瞳位置とが一致しない場合、各測距画素で受光する光束が通過する撮影レンズの瞳領域の、光軸に対するずれ量が、固体撮像素子内の各測距画素の位置によって異なる。その結果、各測距画素で受光される光束が通過する瞳領域の瞳透過率分布が、各測距画素の位置によって異なってしまう。そのため、単位時間当たりに測距画素に入射する光量によって光電変換部に蓄積される電荷量（以下、感度）が、光電変換部間で異なってしまう。このような光電変換部間の感度差は、口径食や固体撮像素子の製造時に発生する製造誤差によっても、生じる場合がある。

複数の光電変換部間の感度に差が生じた場合、感度の低い光電変換部に露光時間を合わせると感度の高い画素が飽和しやすくなり、感度の高い光電変換部に露光時間を合わせると感度の低い画素の信号強度が不足しやすくなる。結果として、特にコントラストの高い被写体を撮影した場合、測距像の品質が低下し、測距精度が低下する。また、飽和や感度不足が生じない場合でも、複数の光電変換部間に感度差が生じた場合、測距像間の信号強度差によって、測距像間のずれ量の検出精度が低下するため、測距精度が低下する。

本発明は、測距画素中の複数の光電変換部の感度に差がある場合でも、高精度な測距が可能な測距像の取得方法を提供することを目的とする。

本発明は、同一画素に含まれる複数の光電変換部の間に感度差が生じても、高精度な測距が可能な固体撮像素子の提供を目的とする。

本発明にかかる測距像の取得方法は、
複数の画素が行方向および列方向に配置され、前記複数の画素のそれぞれに複数の光電変換部が設けられている固体撮像素子を用いた測距像の取得方法であって、
前記複数の画素に、第一光電変換部と第二光電変換部とが設けられた第一の画素と、第三光電変換部と第四光電変換部とが設けられた第二の画素とが含まれており、
前記第一の光電変換部の重心から前記第二の光電変換部の重心へ向かう方向と、前記第三の光電変換部の重心から前記第四の光電変換部の重心へ向かう方向とが、同じであり、
単位時間当たりに、前記第一の光電変換部に蓄積される電荷量が、前記第二の光電変換部に蓄積される電荷量よりも多く、前記第三の光電変換部に蓄積される電荷量が、前記第四の光電変換部に蓄積される電荷量よりも多い場合に、
１フレームあたりに、前記第一の光電変換部に蓄積される電荷量を前記第三の光電変換部に蓄積される電荷量よりも多く、前記第二の光電変換部に蓄積される電荷量を前記第四の光電変換部に蓄積される電荷量よりも多くし、
前記１フレームに、前記第一の光電変換部から前記第四の光電変換部で取得される信号を、それぞれｓ（１）、ｓ（２）、ｓ（３）、ｓ（４）として、

で表されるＳ（Ａ）とＳ（Ｂ）を、前記第一の画素および前記第二の画素で取得される測距信号として、測距像の生成に用いることを特徴とする。

本発明によれば、同一画素に含まれる複数の光電変換部の間に感度差が生じても、高精度な測距を行うことができる。

本発明が適用される固体撮像素子の概略例を示す。 本発明が適用される固体撮像素子に設けられた、画素の光入射面における構成例を示す。 本発明が適用される固体撮像素子に設けられた、画素の光入射面における別の構成例を示す。 実施形態１において、本発明が適用される固体撮像素子に設けられた画素のＸＺ断面を示す。 実施形態２において、本発明が適用される固体撮像素子の概略図を示す。 結像光学系の射出瞳位置が固体撮像素子の設計瞳位置よりも近い場合に、固体撮像素子が受光する光束の状態を示す。 実施形態３において、本発明が適用される固体撮像素子の周辺領域に設けられた画素の光入射面の構成例を示す。 実施形態４にかかる固体撮像素子に設けられた画素におけるＸＺ断面を示す。 実施形態５にかかる固体撮像素子に設けられた画素の光入射面における構成例を示す。 本発明に基づいて測距信号を算出するために用いられる加算回路の例を示す。 実施形態６にかかる撮像装置の構成例を示す。 画素の断面概略図と、画素に所定の角度で入射する光束が光電変換部に導かれる様子を示す。

以下、図面を用いて、本発明について説明する。各図面において、同一の機能または対応する機能を有する部材には同一の数字を付け、その繰り返しの説明は省略する。

図１は、本発明にかかる測距像の取得方法が適用可能な固体撮像素子１０の構成例を示す概略図である。固体撮像素子１０は、基板１１に、１画素内に２つの光電変換部が行方向（Ｘ方向）に沿って設けられている画素１００が、行および列方向に複数設けられている。図１には簡単のために画素数を４行×５列としているが、この数に限定されるものではない。

各画素１００には、図１２に示すように、基板１１にＸ方向に並んで光電変換部１０１、光電変換部１０２が設けられ、基板１１よりも光の入射側に、マイクロレンズなどの入射方向分割手段１６０が設けられている。入射方向分割手段１６０は、画素に所定の角度で入射する光束を、所定の光電変換部へ導くことができる。具体的には、図１２（ａ）のように、＋Ｘかつ−Ｚ方向に入射した光束Ｌ２を、画素１００内の＋Ｘ側に位置する第二の光電変換部１０２に選択的に導いている。そして、図１２（ｂ）のように、−Ｘかつ−Ｚ方向に入射した光束Ｌ１を、画素１００内の−Ｘ側に位置する第一の光電変換部１０１に選択的に導いている。

光電変換部１０１、１０２は、行毎に設けられた水平信号線１２と列毎に設けられた垂直信号線１３とに接続されている。画素の露光時間は、垂直走査回路１４から水平信号線１２に供給される走査信号によって、行単位で制御することができる。露光時間は、電子シャッタの開閉タイミングを制御することにより、任意に変えることが可能である。画素行毎に光電変換部１０１と１０２に共通の水平信号線１２を１本設ければ、光電変換部１０１と光電変換部１０２を、同じ走査信号で制御することができる。また、画素行毎に光電変換部１０１に接続する水平信号線１２と、光電変換部１０２に接続する水平信号線の２本を設けることで、光電変換部１０１と光電変換部１０２を別の走査信号で制御してもよい。

光電変換部１０１、１０２で取得された信号は、垂直信号線１３を介して水平走査回路１５へと送られ、外部からの信号に応じて、距離を測定するための信号（測距信号）、被写体像を生成するための信号（撮像信号）、あるいはその両方が出力される。以下、垂直走査回路１４と水平走査回路１５を、まとめて周辺回路と記述する場合がある。

外部から撮像信号の出力を指示する信号が固体撮像素子１０に入力されると、光電変換部１０１および１０２で取得される信号が、画素１００毎に合算され、１画素分の撮像信号として出力される。複数の画素１００で取得された複数の撮像信号からは、１枚の被写体像を生成することができる。

外部から測距信号の出力を指示する信号が固体撮像素子１０に入力されると、光束Ｌ１を受光して光電変換部１０１で取得される信号（Ａ信号）と、光束Ｌ２を受光して光電変換部１０２で取得される信号（Ｂ信号）とが出力される。複数の光電変換部１０１で取得された複数のＡ信号および複数の光電変換部１０２で取得された複数のＢ信号から、測距像を生成することができる。−Ｘかつ−Ｚ方向に入射した光束Ｌ１を選択的に受光する光電変換部で取得されたＡ信号によって生成された測距像を第一の測距像と呼ぶ。また、＋Ｘかつ−Ｚ方向に入射した光束Ｌ２を選択的に受光する光電変換部で取得されたＢ信号によって生成された測距像を第二の測距像と呼ぶ。

得られた第一の測距像と第二の測距像との間のずれ量に対して三角測量の原理を適用すれば、固体撮像素子１０から被写体までの距離を測定することができる。

しかし、前述したとおり、結像光学系のズームやフォーカスの状態、口径食や固体撮像素子の製造時に発生する製造誤差に起因して、同一画素内に設けられた複数の光電変換部間に感度差が生じる場合がある。結像光学系のズームやフォーカスの状態、口径食によって感度差が生じている場合には、固体撮像素子の画素が設けられている領域（周辺回路以外の領域）の周辺近傍に位置する画素において、２つの光電変換部間に感度差が生じる。製造誤差によって感度差が生じている場合には、固体撮像素子内の画素の位置によらず、画素１００に設けられた２つの光電変換部間に感度差が生じる。

本発明は、画素１００のうち、同一画素内に設けられた複数の光電変換部間に感度差が生じている場合において、光電変換部間の感度差に起因する測距精度の低下を抑制している。以下では、光電変換部間に感度差が生じている画素を、第一の画素１１０および第二の画素１２０とする。図１では、第一の画素１１０と第二の画素１２０は、それぞれ異なる画素行に含まれている。図２および図３に、画素の光入射面における第一の画素１１０と第二の画素１２０の構成例を示す。第一の画素１１０には、Ｘ方向（行方向）に沿って、第一の光電変換部１１１と第二の光電変換部１１２とが設けられており、第一の光電変換部１１１の感度が、第二の光電変換部１１２の感度よりも高くなっている。第二の画素１２０には、Ｘ方向（行方向）に沿って、第三の光電変換部１２１と第四の光電変換部１２２とが設けられており、第三の光電変換部１２１の感度が、第四の光電変換部１２２の感度よりも高くなっている。

第一の画素１１０と第二の画素１２０のどちらの基板表面においても、感度が高い方の光電変換部の重心を始点、感度が低い方の光電変換部の重心を終点とするベクトルは、同じ方向を向いている。即ち、第一の光電変換部１１１の重心から第二の光電変換部１１２の重心へ向かうベクトルの向き（＋Ｘ方向）と、第三の光電変換部１２１の重心から第四の光電変換部１２２の重心へ向かうベクトルの向き（＋Ｘ方向）とが同じになっている。ここで、同じ方向とは、必ずしも厳密に成立する必要はなく、製造誤差程度のずれがあっても良い。例えば、±１０度の範囲で誤差があっても良い。以下、第一の光電変換部１１１の重心から第二の光電変換部１１２の重心へ向かうベクトルの方向を、単に、第一の光電変換部１１１の重心から第二の光電変換部１１２の重心へ向かう向きと表現する。第三の光電変換部１２１の重心から第四の光電変換部１２２の重心へ向かうベクトルの方向も、同様に表現する。

第一の画素１１０では、−Ｘかつ−Ｚ方向に入射した光束Ｌ１は、−Ｘ側に位置する第一の光電変換部１１１に、＋Ｘかつ−Ｚ方向に入射した光束Ｌ２は、＋Ｘ側に位置する第二の光電変換部１１２に、選択的に導かれる。また、第二の画素１２０では、−Ｘかつ−Ｚ方向に入射した光束Ｌ１は、−Ｘ側に位置する第三の光電変換部１２１に、＋Ｘかつ−Ｚ方向に入射した光束Ｌ２は、＋Ｘ側に位置する第四の光電変換部１２２に選択的に導かれる。

第一の画素１１０や第二の画素１２０において、各々の光電変換部で取得される信号をそのまま測距像の生成に用いた場合、光電変換部間の感度差に起因した飽和や感度不足が生じ、測距精度が低下する。特にコントラストの高い被写体を撮影した場合には、測距精度の低下が大きくなってしまう。また、飽和や感度不足が生じない場合でも、測距像間の信号強度差によって、測距像間のずれ量の検出精度が低下するため、測距精度が低下する。

そこで、本発明は、測距に用いられる信号の強度差を低減して、測距精度を向上させるための工夫を施している。具体的には、２通りの手法が挙げられる。

１つ目は、第一の画素１１０の露光時間を第二の画素１２０の露光時間よりも長くして、第一の画素１１０と第二の画素１２０とから１対の測距信号（Ａ信号とＢ信号）を取得する。２つ目は、基板表面において、第一の画素１１０の光電変換部が占める領域の面積を、第二の画素１２０の光電変換部が占める領域よりも広くして、第一の画素１１０と第二の画素１２０とから１対の測距信号（Ａ信号とＢ信号）を取得する。

以下、それぞれの手法について詳細に説明する。

［１．第一の画素の露光時間を第二の画素の露光時間よりも長くする場合］
以下、図２を用いて説明する。図２は、図１の固体撮像素子１０に含まれる第一の画素１１０と第二の画素１２０における、基板１１の光入射面を示す図である。

図２において、第一から第四の光電変換部それぞれが基板表面に占める領域は、いずれも矩形でかつ同じ面積を有している。ただし、光電変換部の形状は矩形に限定されるものではなく、多角形であっても良いし、丸みを帯びた形状であっても良い。ここでいう「同じ」は、±１０％程度の誤差を許容する。本発明において、「同一」、「等しい」も、「同じ」と同様の意味で用いる。

第一の画素において、第一の光電変換部１１１は、第二の光電変換部１１２よりも感度が高くなっており、第二の画素において、第三の光電変換部１２１は、第四の光電変換部１２２よりも感度が高くなっている。図では、同一画素に含まれる光電変換部の感度の違いを区別するため、感度が相対的に低い第二の光電変換部１１２と第四の光電変換部１２２に、ハッチングが施してある。

光電変換部の露光時間は、周辺回路から水平信号線１２に供給される走査信号によって行単位に制御され、第一の画素が配置された行の露光時間が第二の画素が配置された行の露光時間よりも長くなっている。即ち、第一の光電変換部１１１の露光時間は第三の光電変換部１２１よりも長く、第二の光電変換部１１２の露光時間は第四の光電変換部１２２よりも長くなっている。

１フレームあたりに光電変換部に蓄積される電荷の量は、［光電変換部の感度］×［露光時間］で表わされ、この電荷量が光電変換部で取得される信号強度に対応する。

そのため、第一の光電変換部１１１に蓄積される電荷量は第三の光電変換部１２１よりも大きく、第二の光電変換部１２１に蓄積される電荷量は第四の光電変換部１２２よりも大きい。従って、４つの光電変換部のうち、第一の光電変換部１１１に蓄積される電荷量が最も大きく、第四の光電変換部１２２に蓄積される電荷量が最も小さくなる。そのため、第一の光電変換部１１１の画素が最も飽和しやすく、第四の光電変換部１２２の信号強度が最も不足しやすい。従って、特にコントラストの高い被写体を撮影した場合、第一の光電変換部１１１での飽和や第四の光電変換部１２２での信号強度不足による信号の品質低下が生じやすい。そこで、本発明では、第一の画素１１０と第二の画素１２０とから、１対の測距信号（Ａ信号とＢ信号）を取得する。

具体的には、以下の式（１）で表されるＳ（Ａ）、Ｓ（Ｂ）を、第一の画素１１０と画素１２０とから取得される、一対の測距信号として出力する。式（１）において、ｓ（１）、ｓ（２）、ｓ（３）、ｓ（４）は、それぞれ前記第一から第四の光電変換部で取得される信号を表す。α、βは補正係数である。

α、βの値は、一対の測距信号Ｓ（Ａ）、Ｓ（Ｂ）の強度差が小さくなるよう、各画素に設けられた光電変換部間の感度差に応じて決定すればよい。（１）式を用いれば、第一の光電変換部１１１で取得される信号の飽和や、第四の光電変換部１２２で取得される信号の強度不足の影響を低減することが可能となり、測距精度が向上する。また、第一の光電変換部での信号の飽和や第四の光電変換部での信号の強度不足が生じていない場合でも、測距像間の信号強度差を低減させることによって、測距像間のずれ量の検出精度を向上させることができ、測距精度が向上する。

α＝β＝０とすれば、第一の光電変換部１１１の画素や、第四の光電変換部１２２の信号強度の影響を受けることなく、測距を行うことができる。その結果、特にコントラストの高い被写体を撮影したときに、測距精度が向上するため好ましい。また、α＝β＝０とした場合、測距像を生成するための（１）式の演算が不要になり、必要な消費電力を低減できたり、（１）式を演算するための回路が不要になってコストの増加が抑えられたりするため、更に好ましい。一対の測距信号Ｓ（Ａ）、Ｓ（Ｂ）を取得するために演算が必要な場合、即ち、α≠０、β≠０の場合は、各光電変換部で取得された信号ｓ（１）〜ｓ（４）を周辺回路に伝送した後、例えば図１０に示した加算回路を用いて、周辺回路で演算処理をすればよい。また、ｓ（１）〜ｓ（４）をデジタル値に加算したのち、数値的に加算しても良い。α、βの値は、外部から周辺回路に与えても良いし、周辺回路にメモリを設けて保存しておき、適宜読み出すようにしても良い。

図１では、露光時間の異なる第一の画素１１０と第二の画素１２０が別々の行に配置されている例を示したが、同じ行に配置しても良い。第一の画素１１０と第二の画素１２０が同じ行に配置されている場合、第一の画素１１０と第二の画素１２０の露光時間を別々に制御するため、画素毎に別々の水平信号線を設ける必要がある。それに対して、第一の画素１１０と第二の画素１２０を別々の行に配置すれば、行毎に共通の水平信号線を用いて、第一の画素１１０と第二の画素１２０の露光時間を別々に制御できるため好ましい。

［２．第一の画素の光電変換部の開口面積を第二の画素の光電変換部の開口面積よりも広くする場合］
以下、図３を用いて説明する。図３は、基板１１の光入射面における、第一の画素１１０と第二の画素１２０の構成例を示す図である。本方法は、第一の画素１１０に設けられた光電変換部の開口面積が、第二の画素１２０に設けられた光電変換部の開口面積よりも広い点と、第一の画素１１０と第二の画素１２０が同じ露光時間で制御される点で、図２を用いて説明した方法とは異なっている。

光電変換部の開口面積とは、基板の光入射面において、光電変換部が占める領域の面積を意味する。光電変換部の開口面積を変えるには、イオンを打ち込む面積を変えればよい。

光電変換部の開口面積が小さいほど、１フレームあたりに画素に入射する光量のうち光電変換部に蓄積される電荷量も少なくなるため、光電変換部で取得される信号強度も小さくなる。そのため、第一の光電変換部１１１に蓄積される電荷量は第二の光電変換部１２１よりも大きく、第三の光電変換部１２１に蓄積される電荷量は第四の光電変換部１２２よりも大きい。従って、４つの光電変換部のうち、第一の光電変換部１１１に蓄積される光電子の量が最も大きく、第三の光電変換部１２２に蓄積される光電子の量が最も小さい。そのため、第一の光電変換部１１１の画素が最も飽和しやすく、第四の光電変換部１２２の信号強度が最も不足しやすい。従って、特にコントラストの高い被写体を撮影した場合、第一の光電変換部１１１で取得した信号や第二の光電変換部１２２で取得した信号の品質が低下しやすい。

そこで、本方法でも、第一の画素１１０と第二の画素１２０とを用いて、１対の測距信号（Ａ信号とＢ信号）を取得する。具体的には、前述の式（１）で表されるＳ（Ａ）、Ｓ（Ｂ）を、第一の画素１１０および画素１２０における測距信号として出力する。つまり、第一の画素の露光時間を第二の画素の露光時間よりも長くした場合と同様に、測距を行うことができる。その結果、一対の測距信号間の強度差が低減するため、測距精度が向上する。

なお、第一の画素１１０と第二の画素１２０の間で、露光時間と光電変換部の開口面積を、両方とも変えても良い。このような構成とすることで、同一画素の光電変換部間で更に大きな感度差が生じた場合でも、測距精度の低下を抑制することが可能となる。

また、第一の光電変換部１１１と第二の光電変換部１１２の露光時間が互いに等しく、第三の光電変換部１２１と第四の光電変換部１２２の露光時間が互いに等しい場合、同一の画素の複数の光電変換部で取得した信号の和から撮像信号を生成する際に好適である。以下で理由を説明する。

同一の画素に設けられる複数の光電変換部間で露光時間が異なっている場合、動く被写体を撮影したときに、各々の光電変換部で取得した信号間で動きブレの量が異なってしまう。その結果、複数の光電変換部で取得した信号の和によって生成した撮像信号に不自然な動きブレが付加されてしまい、撮影画像の品質が低下してしまう。そのため、第一の光電変換部１１１と第二の光電変換部１１２の露光時間が互いに等しく、かつ、第三の光電変換部１２１と第四の光電変換部１２２の露光時間が互いに等しい方が好ましい。

また、配線レイアウトの観点からも、第一の光電変換部１１１と第二の光電変換部１１２の露光時間が互いに等しく、第三の光電変換部１２１と第四の光電変換部１２２の露光時間が互いに等しいほうが好ましい。なぜなら、同一の画素に設けられた複数の光電変換部間で露光時間を変える場合には、光電変換部毎に水平信号線を接続する必要があり、構成が複雑になってしまうからである。同一画素に設けられた光電変換部間の露光時間が等しければ、複数の光電変換部で共通の水平信号線を用いることができるため、必要な配線数が削減でき、製造が容易となる。また、光電変換部の開口面積が向上して感度が向上するため、撮影画像の品質も向上する。

図２や図３の画素を有する固体撮像素子１０の場合、距離情報の取得は、測距像のＸ方向のずれ量に基づいて行われる。もし第一の画素１１０と第二の画素１２０とが異なる画素列にあると、Ｘ方向にずれたサンプリング位置で取得した信号から測距像が生成されることになり、測距精度が低下する。従って、第一の画素１１０と第二の画素１２０は、第一光電変換部１１１の重心と第二光電変換部１１２の重心を結ぶ方向（Ｘ方向）に垂直な方向（Ｙ方向）、即ち、同じ画素列に位置している方が好ましい。

図１では、第一の画素１１０と第二の画素１２０とが、列方向（Ｙ方向）に隣接している場合を示したが、必ずしもこの位置関係でなくても良い。但し、第一の画素１１０と第二の画素１２０とは、なるべく近傍に位置することが好ましく、互いに隣接している場合が最も好ましい。１対の測距信号を取得する光電変換部間の位置ずれが小さい方が、測距精度が向上するためである。

図２および図３では、画素中に複数の光電変換部をＸ方向に並べて配置する例を示したが、これに限定されるものではなく、画素中に複数の光電変換部をＹ方向に並べて配置してもよい。この場合、距離情報の取得は、測距像のＹ方向のずれ量に基づいて行われる。

本発明において、被写体像を取得する際には、特開２００９−６２７８５号公報に開示の方法を採用することができる。即ち、第一の光電変換部１１１と第二の光電変換部１１２で取得した信号の和が、ある閾値よりも小さい場合には、第一の光電変換部１１１と第二の光電変換部１１２で取得した信号の和を撮像信号として使用する。第一の光電変換部１１１と第二の光電変換部１１２で取得した信号の和が、前記閾値よりも大きい場合には、第三の光電変換部１２１と第四の光電変換部１２２で取得した信号の和を撮像信号として使用する。前記閾値は、第一の光電変換部１１１と第二の光電変換部１１２の飽和電荷量で決まる値である。このように、撮像された複数の画像を合成することにより、撮影画像のダイナミックレンジを広げることができるため、好ましい。

以下では、より具体的な例を挙げて、本発明にかかる固体撮像素子について説明する。

（実施形態１）
本実施形態は、製造時のアライメント誤差やプロセス中のゴミ付着、放射線による劣化などによって、第一の画素１１０および第二の画素１２０に設けられる複数の光電変換部の感度に差が生じる場合について説明する。具体的には、マイクロレンズの製造時に、画素とマイクロレンズ間のアライメントがずれてしまった場合を例にとる。ここでは、第一の画素１１０、第二の画素１２０以外の画素１００では、画素とマイクロレンズ間のアライメントずれは発生していないとする。ただし、固体撮像素子１０に含まれる第一の画素１１０と第二の画素１２０の個数に限定はなく、全画素が第一の画素１１０と第二の画素１２０のいずれかである場合を含む。

本実施形態の説明に用いる固体撮像素子１０の概略は、図１と同じである。

図４（ａ）、（ｂ）は、それぞれ第一の画素１１０、第二の画素１２０を説明するＸＺ断面図である。第一の画素１１０、第二の画素１２０は、光の入射側から、マイクロレンズ１６０、基板１１を有している。第一の画素１１０の基板１１には、第一の光電変換部１１１と第二の光電変換部１１２とがＸ方向に並んで形成されている。同様に、第二の画素１２０の基板１１には、第三の光電変換部１２１、第四の光電変換部１２２がＸ方向に並んで形成されている。各々の光電変換部は、基板１１にイオンを打ち込むことによって形成されている。

マイクロレンズ１６０は、各光電変換部で検出する波長帯域の光に対して透明な材料で形成されている。Ｓｉや有機半導体などの材料からなる基板１１を用いた場合、基板１１に吸収される波長に対して透明な材料、例えば酸化シリコンや窒化シリコンなどでマイクロレンズ１６０を形成するとよい。不図示の配線回路は、ポリシリコンや、アルミニウムや銅などの金属によって形成されている。

図４（ａ）に示すように、第一の画素１１０では、製造時のアライメント誤差によって、マイクロレンズ１６０の光軸ａ１が、第一の画素１１０の中心軸ｃ１に対して−Ｘ方向にずれている。同様に、図４（ｂ）に示すように、第二の画素１２０でも、マイクロレンズ１６０の光軸ａ２が、第二の画素１２０の中心軸ｃ２に対して−Ｘ方向にずれている。なお、画素の中心軸とは、同一画素内に設けられた２つの光電変換部それぞれの重心を結ぶ線分の中点を通り、基板１１の光入射面に対して垂直な線を指す。

このようにマイクロレンズ１６０の光軸が画素の中心軸に対して−Ｘ方向にずれてしまった場合、同一画素に設けられた複数の光電変換部の間に感度に差が生じる。これは、図４（ｃ）に示すように、第一の光電変換部１１１と第三の光電変換部１２１に入射する光束の拡がり角１７１が、第二の光電変換部１１２と第四の光電変換部１２２に入射する光束の拡がり角１７２よりも大きくなるためである。その結果、−Ｘ側にある第一の光電変換部１１１、第三の光電変換部１２１の感度が、ぞれぞれ＋Ｘ側にある第二の光電変換部１１２、第四の光電変換部１２２の感度よりも高くなる。図４（ａ）〜（ｃ）では、相対的に感度が低い光電変換部に、ハッチングが施してある。この時、第一の光電変換部１１１の重心から第二の光電変換部１１２の重心へ向かう方向（＋Ｘ方向）と、第三光電変換部１２１の重心から第四光電変換部１２２の重心へ向かう方向（＋Ｘ方向）とが同じ向きとなっている。

そこで、第一の画素の露光時間を第二の画素の露光時間よりも長くし、第一の画素１１０と第二の画素１２０とから、１対の測距信号を取得する。そして、前述の式（１）で表されるＳ（Ａ）、Ｓ（Ｂ）を、第一の画素１１０および第二の画素１２０における測距信号として出力する。測距信号Ｓ（Ａ）、Ｓ（Ｂ）を使用することで、最も強度が飽和しやすい第一の光電変換部１１１や、強度が最も不足しやすい第の四光電変換部１２２で取得される信号の影響を低減することが可能となり、測距精度を向上させることができる。また、また、第一の光電変換部での信号の飽和や第四の光電変換部での信号の強度不足が生じていない場合でも、一対の測距信号間の信号強度差を低減させることによって、測距像間のずれ量の検出精度を向上させることができ、測距精度が向上する。

第一の画素１１０や第二の画素１２０以外の画素１００では、マイクロレンズ１６０アライメントズレが生じていないため、同一画素に設けられた複数の光電変換部間の感度差は無視できる。従って、これらの画素１００においては、他の画素と組み合わせずに、画素１００単独で取得した信号を測距信号として用いるのが好ましい。画素１００で取得される一対の測距信号Ｓ´（Ａ）、Ｓ´（Ｂ）は、下記の式（２）で表わされる。

ここで、ｓ（−Ｘ）は、画素１００において、−Ｘ側にある光電変換素子で取得される信号である。ｓ（＋Ｘ）は、画素１００において＋Ｘ側にある光電変換素子で取得される信号を表している。

そして、第一の画素１１０および第二の画素１２０で取得した測距信号Ｓ（Ａ）と各画素１００で取得した測距信号Ｓ´（Ａ）を用いて、第一の測距像を生成する。そして、第一の画素１１０および第二の画素１２０で取得した測距信号Ｓ（Ｂ）と各画素１００で取得した測距信号Ｓ´（Ｂ）を用いて、第二の測距像を生成する。このように生成された第一の測距像と第二の測距像との間の強度差は小さくなり、測距像間のずれ量の検出精度が高まって測距精度が向上する。

なお、画素の露光時間は、水平信号線１２によって行単位で制御されるため、画素１１０と同じ行に配置されている画素１００の露光時間の方が、画素１２０と同じ行に配置されている画素１００の露光時間よりも長い。そこで、画素１００で取得される測距信号Ｓ´（Ａ）、Ｓ´（Ｂ）として、露光時間の長い画素で取得された信号と、露光時間の短い信号のどちらか一方のみを使用しても良いし、両方を使用しても良い。例えば、露光時間の長い画素で取得された信号強度が閾値以上の場合には露光時間の短い画素で取得された信号を使用し、閾値以下の場合には露光時間の長い画素で取得された信号を使用することで、被写体の輝度によらず高精度な測距を行うことができる。また、被写体の動きが速い場合には露光時間の短い画素で取得された信号を使用することで、被写体の動きブレの影響を低減することができ、測距精度を向上させることができる。

図４では、製造時のアライメント誤差によるマイクロレンズ１６０の光軸が、第一の画素１１０および第二の画素１２０において、各画素の中心軸に対して−Ｘ方向にずれている場合を示しているが、ずれる方向は＋Ｘ方向であっても良いし、斜め方向であっても良い。マイクロレンズ１６０が画素の中心軸に対して＋Ｘ方向にずれている場合は、＋Ｘ側にある光電変換部の方が−Ｘ側にある光電変換部よりも感度が高くなる。この場合も、第一の画素において相対的に感度の高い方を第一光電変換部、低い方を第二光電変換部、第二の画素において相対的に感度の高い方を第三光電変換部、低い方を第四光電変換部として、同様に測距信号を取得すればよい。ただし、測距信号Ｓ（Ａ）及びＳ´（Ｂ）から第二の測距像が生成され、測距信号Ｓ（Ｂ）及びＳ´（Ａ）から第一の測距像が生成される点が異なる。

以上、同一画素に設けられた複数の光電変換部間の感度差の発生要因として、マイクロレンズのアライメント誤差を例に挙げて説明したが、それ以外の製造誤差によっても感度差は発生する。例えば配線のアライメント誤差、マイクロレンズの形状誤差などによっても感度差が発生する場合がある。更に、画素に導波路やカラーフィルタが設けられる場合にはそれらのアライメント誤差や形状誤差によっても、感度差が発生する。また、光電変換部を形成する際のイオン注入分布誤差などによって、基板に入射した光電子の、各々の光電変換部への電荷の収集率が異なる場合にも、感度差が発生する。更に、ゴミの付着、配線層から光電変換部への金属イオンの混入、界面準位へのキャリアトラップ、放射線の影響などによっても感度差が発生する場合がある。感度差の発生原因によらず、同一画素に設けられた複数の光電変換部の間で感度に差がある画素に対して、本発明を適用することができる。ここで、感度に差があるとは、片方の光電変換部の感度がゼロ（暗点）になってしまう場合や、片方の光電変換部の感度が無限大（白傷）になってしまう場合を含む。

本実施形態において、撮像信号を取得する場合は、各画素に含まれる光電変換部で取得される信号の和を、その画素における撮像信号として用いることができる。

この時、特開２００９−６２７８５号公報に開示の方法を適用して、撮影画像のダイナミックレンジを向上させることもできる。その結果、撮影画像の品質も向上するため、好ましい。

具体的には、第一光電変換部１１１と第二光電変換部１１２で取得した信号の和が、閾値よりも小さい場合には、第一光電変換部１１１と第二光電変換部１１２それぞれで取得した信号の和を撮像信号として使用する。第一光電変換部１１１と第二光電変換部１１２で取得した信号の和が、閾値よりも大きい場合には、第三光電変換部１２１と第四光電変換部１２２で取得した信号の和を使用すればよい。なお、閾値は第一光電変換部１１１と第二光電変換部１１２の飽和電荷量によって決まる値である。

（実施形態２）
本実施形態では、使用する結像光学系や、そのズームやフォーカス状態によって、同一画素に含まれる複数の光電変換部間で感度差が生じる例について説明する。ここでは、固体撮像素子１０の周辺領域１０ａおよび１０ｂに含まれる画素に注目して説明する。

本実形態の説明に用いる固体撮像素子１０の概略を、図５に示す。周辺領域１０ａおよび１０ｂは、中心線１６からの距離が、所定の値よりも大きい領域で、周辺領域１０ａは中心線１６に対して−Ｘ側、周辺領域１０ｂは中心線１６に対して＋Ｘ側にある。ここで、中心線１６は、同一画素に設けられた２つの光電変換部の重心同士を結ぶ線に垂直で、かつ、固体撮像素子の画素が配置された領域の中心を通る線である。所定の値は、同一画素に含まれる複数の光電変換部の間の感度差を無視できない領域の範囲によって決定する。例えば、固体撮像素子１０の画素が配置されている領域のＸ方向の長さの０．２５倍、あるいは、０．４０倍という固定値であってもよいし、使用する結像光学系やそのズームやフォーカス状態、目標とする測距精度に応じて変えてもよい。

以下、周辺領域１０ａもしくは１０ｂに含まれる画素や光電変換部に特定したい場合は、部材を示す符号の後に、ａもしくはｂを付与するが、周辺領域１０ａ、１０ｂのどちらに含まれるかにこだわらない場合は、ａ、ｂを省略して記述する。

前述したように、結像光学系のズームやフォーカス状態によって、固体撮像素子の設計瞳位置と結像光学系の射出瞳位置とが一致しなくなる。そのため、固体撮像素子内の各画素の位置に応じて、各画素で受光する光束が通過する瞳領域の光軸からのずれ量は変化する。ずれ量が大きくなると、測距に用いる第一の測距像を形成する光束の瞳透過率分布と第二の測距像を形成する光束の瞳透過率分布との間で差が生じる。また、口径食によっても、第一の測距像を形成する光束の瞳透過率分布と第二の測距像を形成する光束の瞳透過率分布との間で差が生じる。

［結像光学系の射出瞳がセンサ瞳よりも近い場合］
図６に、結像光学系の射出瞳位置が、固体撮像素子１０の設計瞳位置よりも近い場合に、固体撮像素子１０が受光する光束の状態を示す。

図６（ａ）は、図５の周辺領域１０ａに含まれる第一の画素１１０ａや第二の画素１２０ａで受光される光束の状態である。瞳領域２０１ａを通過した光束が、各画素１００の＋Ｘ側にある光電変換部にて受光され、瞳領域２０２ａを通過した光束が、各画素１００の−Ｘ側にある光電変換部にて受光される。

図６（ａ）からわかるように、−Ｘかつ−Ｚの方向で画素に入射し、瞳領域２０２ａを通過した光束の拡がり角（破線で挟まれた角）は、＋Ｘかつ−Ｚの方向で画素に入射して瞳領域２０１ａを通過した光束の拡がり角（実線で挟まれた角）よりも大きい。従って、周辺領域１０ａでは、単位時間当たりに第一の画素１１０ａに入射する光量によって、−Ｘ側にある光電変換部に蓄積される電荷量が、＋Ｘ側にある光電変換部に蓄積される電荷量よりも多くなる。第二の画素１２０ａにおいても同様である。

図６（ｂ）は、周辺領域１０ｂに含まれる第一の画素１１０ｂや第二の画素１２０ｂで受光される光束の状態である。第一の画素１１０ｂおよび第二の画素１２０ｂにおいて、瞳領域２０２ｂを通過した光束は、＋Ｘ側にある光電変換部にて受光され、瞳領域２０１ｂを通過した光束は、−Ｘ側にある光電変換部にて受光される。

図６（ｂ）からわかるように、瞳領域２０２ｂを通過した光束の拡がり角は、瞳領域２０１ｂを通過した光束の拡がり角よりも大きい。従って、周辺領域１０ｂでは、単位時間当たりに第一の画素１１０ａに入射する光量によって、＋Ｘ側にある光電変換部に蓄積される電荷量は、−Ｘ側にある光電変換部に蓄積される電荷量よりも多くなる。第二の画素１２０ｂにおいても同様である。

このように、周辺領域１０ａと１０ｂとの間で、各画素内の相対的に感度の高い光電変換部と、相対的に感度の低い光電変換部の並びが反転する。つまり、第一の光電変換部１１１と第二の光電変換部１１２のＸ方向の位置関係が、第一の画素１１０ａと１１０ｂとの間で反転し、第三の光電変換部１２１と第四の光電変換部１２２のＸ方向の位置関係が、第二の画素１２０ａと１２０ｂとの間で反転する。

図７（ａ）は、周辺領域１０ａにおける第一の画素１１０ａと第二の画素の光入射面における構成を示し、図７（ｂ）は、周辺領域１０ｂにおける第一の画素１１０ｂと第二の画素の光入射面における構成を示している。

図から分かるように、第一の画素１１０ａでは、−Ｘ側が第一の光電変換部１１１ａ、＋Ｘ側が第二の光電変換部１１２ａとなり、第一の画素１１０ｂでは、−Ｘ側が第二の光電変換部１１２ｂ、＋Ｘ側が第一の光電変換部１１１ｂとなる。また、第二の画素１２０ａでは、−Ｘ側が第三の光電変換部１２１ａ、＋Ｘ側が第四の光電変換部１２２ａとなり、第二の画素１２０ｂでは、−Ｘ側が第四の光電変換部１２２ｂ、＋Ｘ側が第三の光電変換部１２１ｂとなる。従って、周辺領域１０ａ、１０ｂどちらにおいても、第一の光電変換部１１１の重心から第二の光電変換部１１２の重心へ向かう方向と、第三の光電変換部１２１の重心から第四の光電変換部１２２の重心へ向かう方向とが、同じ向きとなっている。

ここで、第一の画素１１０の露光時間を第二の画素１２０の露光時間よりも長くすると、第一の光電変換部１１１の感度は、第三の光電変換部１２１の感度より高くなる。第二の光電変換部１１２の感度は、第四の光電変換部１２２の感度よりも高くなる。従って、４つの光電変換部のうち、第一の光電変換部１１１で取得される信号の強度が最も大きく、第四の光電変換部１２２で取得される信号の強度が最も小さくなる。

そこで、周辺領域１０ａ、１０ｂにおいて、第一の画素１１０および第二の画素１２０から１対の測距信号を取得する。第一の画素１１０および第二の画素１２０で取得される信号と式（１）から算出されるＳ（Ａ）、Ｓ（Ｂ）を一対の測距信号として用いて、測距像を生成する。式（１）のα、βは、結像光学系のズームやフォーカス状態に応じて、適切な値を用いればよい。ただし、周辺領域１０ａにおいては、Ｓ（Ａ）から第一の測距像、Ｓ（Ｂ）から第二の測距像が生成され、周辺領域１０ｂにおいては、Ｓ（Ｂ）から第一の測距像、Ｓ（Ａ）から第二の測距像が生成される。

コントラストの高い被写体を撮影した時など、第一の光電変換部１１１の画素が飽和しやすく、第四の光電変換部１２２の信号強度が不足しやすい状況では、式（１）において、α＝β＝０として、Ｓ（Ａ）、Ｓ（Ｂ）を算出すればよい。その結果、測距に用いる信号の飽和や輝度不足の発生が抑制され高精度な測距を行うことができる。

また、第一の光電変換部での信号の飽和や第四の光電変換部での信号の強度不足が生じていない場合には、適切な補正係数α、β（０＜α＜１、０＜β＜１）を用いて、測距信号Ｓ（Ａ）、Ｓ（Ｂ）を算出すればよい。これにより、測距信号Ｓ（Ａ）、Ｓ（Ｂ）間の強度差が低減し、測距精度を向上させることができる。

α、βの値は使用する結像光学系やそのズームやフォーカス状態に応じて決定すればよく、外部から周辺回路に与えても良いし、周辺回路にメモリを設けて保存しておき、適宜読み出すようにしても良い。

［結像光学系の射出瞳がセンサ瞳よりも遠い場合］
結像光学系の射出瞳位置が固体撮像素子１０の設計瞳位置よりも遠い場合について説明する。

結像光学系の射出瞳位置が固体撮像素子１０の設計瞳位置よりも遠い場合は、各画素における光電変換部の感度の大小関係が、像光学系の射出瞳位置が固体撮像素子１０の設計瞳位置よりも近い場合とは、逆になる。

具体的には、周辺領域１０ａでは＋Ｘかつ−Ｚ方向で画素に入射する光束を受光する光電変換部の方が、−Ｘかつ−Ｚ方向で画素に入射する光束を受光する光電変換部よりも感度が高くなる。周辺領域１０ｂでは−Ｘかつ−Ｚ方向で画素に入射する光束を受光する光電変換部の方が、＋Ｘかつ−Ｚ方向で画素に入射する光束を受光する光電変換部よりも感度が高くなる。つまり、周辺領域１０ａにおける第一の光電変換部１１１と第二の光電変換部１１２は、図７（ｂ）と同じ配置となり、周辺領域１０ｂにおける第三の光電変換部１２１と第四の光電変換部１２２は、図７（ａ）と同じ配置となる。

このように、結像光学系の射出瞳がセンサ瞳よりも遠い場合は、結像光学系の射出瞳がセンサ瞳よりも近い場合とは、各画素における光電変換部の感度の大小関係が逆になるだけであるため、同様に測距を行うことができる。

［結像光学系の射出瞳の位置の変化への対応］
前述したように、結像光学系や、そのズームやフォーカス状態によって、結像光学系の射出瞳位置は変化する。そのため、例えばズーム比の大きい結像光学系を使用した場合などでは、結像光学系の射出瞳距離と撮像素子の設計瞳位置距離の大小関係が、入れ替わる場合がある。その場合、使用する結像光学系やそのズーム、フォーカス状態によって、測距に用いる信号を変える方が好ましい。

具体的には、結像光学系の射出瞳位置が固体撮像素子の設計瞳位置よりも近い場合と、結像光学系の射出瞳位置が固体撮像素子の設計瞳位置よりも遠い場合とで、測距像の生成に用いる信号を取得する、光電変換部の位置を変える。

結像光学系の射出瞳位置が固体撮像素子の設計瞳位置よりも近い場合は、第一の画素において、中心線１６から遠い側に位置する光電変換部が第一光電変換部、近い側に位置する光電変換部が第二光電変換部となる。そして、第二の画素において、中心線１６から遠い側に位置する光電変換部が第三の光電変換部、中心線１６に近い側に位置する光電変換部が第四の光電変換部となる。

結像光学系の射出瞳位置が固体撮像素子の設計瞳位置よりも遠い場合は、第一の画素において、中心線１６から遠い側に位置する光電変換部が第二光電変換部、近い側に位置する光電変換部が第一光電変換部となる。第二の画素においては、中心線１６から遠い側に位置する光電変換部が第四光電変換部、中心線１６から近い側に位置する光電変換部が第三光電変換部となる。

なお、本実施形態においても、特開２００９−６２７８５号公報に開示の方法を適用して、撮影画像のダイナミックレンジを向上させることもできる。その結果、撮影画像の品質も向上するため、好ましい。

（実施形態３）
実施形態２では、固体撮像素子１０の周辺領域１０ａ、１０ｂに含まれる画素に注目して説明したが、本実施例では、固体撮像素子１０の様々な位置にある画素について説明する。

中心線１６から遠い画素ほど、結像光学系やそのズーム、フォーカス状態の影響が大きいため、同一画素に含まれる光電変換部間の感度差が大きくなる。なぜなら、各々の光電変換部が受光する瞳領域からの光束の拡がり角が、中心線１６から離れた位置にある画素ほど大きく異なるためである。

従って、複数の測距画素で取得した測距像間の強度差を抑制するためには、式（１）のＳ（Ａ）、Ｓ（Ｂ）の強度差が小さくなるよう、固体撮像素子における画素の位置によって、α、βを変化させるのが好ましい。具体的には、係数α、βの値を、中心線１４０から遠い画素ほど小さくすればよい。α、βの値は、列毎に変えるのが好ましいが、複数列毎に変えても構わないし、任意の画素ブロック毎に変えても構わない。

α、βの値は、外部から周辺回路に与えても良いし、周辺回路にメモリを設けて保存しておき、適宜読み出すようにしても良い。

本発明は、実施形態３のように、複数の測距画素における測距像間の強度差を抑制する場合に特に有効である。なぜなら、このような場合、予め光電変換部間の露光時間を変えることによって測距像間で強度をそろえる、という手法を適用することは好ましくないためである。以下で理由を説明する。

上述したように、露光時間を変えるためには水平信号線に与える電子シャッタのタイミングを変える必要がある。従って、複数の測距画素毎に、光電変換部間の露光時間を変える場合、各々の測距画素に別々の水平信号線を接続する必要がある。その結果、水平信号線が測距画素分必要となり、光電変換部の開口率が低下して感度が低下してしまう。また、消費電力も増大し、製造も困難となる。

（実施形態４）
実施形態４では、第一の画素と第二の画素の露光時間は互いに等しいが、光電変換部の開口面積を異ならせる場合を説明する。具体的には、第一の光電変換部１１１の開口面積は、第三の光電変換部２１１の開口面積よりも大きく、第二の光電変換部１１２の開口面積は第四の光電変換部２１２の開口面積よりも大きい固体撮像素子を用いた場合について説明する。

図８（ａ）、（ｂ）は、第一の画素１１０と第二の画素１２０のＸＺ断面構成例とそれらの画素に入射する光の伝搬を説明する図である。実施形態３と同様、第一と第二の画素に設けられたマイクロレンズの光軸は、製造誤差により、画素の中心軸に対して−Ｘ側にずれている。その結果、第一の光電変換部１１１の感度は第二の光電変換部１１２よりも高く、第三の光電変換部１２１の感度は第四の光電変換部１２２よりも高くなっている。

本実施例では、第一の画素と第二の画素で、光電変換部の開口面積を変えているため、開口面積の差に起因する感度差が生じる。図から分かるように、第一の光電変換部１１１が受光する光束の拡がり角１７１は、第三の光電変換部１２１が受光する光束の拡がり角１７３よりも大きい。また、第二の光電変換部１１２が受光する光束の拡がり角１７２は、第四の光電変換部１２２が受光する光束の拡がり角１７４よりも大きい。従って、第一の光電変換部１１１の感度は第三の光電変換部１２１よりも高く、第二の光電変換部１１２の感度は第四の光電変換部１２２よりも高くなる。

つまり、実施形態１乃至３で説明した場合と同様に、４つの光電変換部のうち、第一の光電変換部１１１に蓄積される電荷量が最も大きく、第四の光電変換部１２２に蓄積される電荷量が最も小さくなる。従って、特にコントラストの高い被写体を撮影した場合など、第一の光電変換部１１１で取得される信号の強度が飽和しやすく、第四の光電変換部１２２で取得される信号の強度が不足しやすくなる。

そこで、本実施形態においても、第１乃至第３実施形態と同様に、第一の画素と第二の画素を合わせて、１つの測距画素として用いる。即ち、第一の画素に設けられた複数の光電変換部と第二の画素に設けられた複数の光電変換部とで取得した信号と式（１）とから、測距信号Ｓ（Ａ）、Ｓ（Ｂ）を算出し、測距像を生成すればよい。その結果、測距信号Ｓ（Ａ）と測距信号Ｓ（Ｂ）との間の強度差が低減され、高精度な測距が行える。特にコントラストの高い被写体を撮影した場合に、本発明の効果が大きい。

図８（ｃ）、（ｄ）は、第三の光電変換部１２１と第四の光電変換部１２２との距離を、図８（ａ）、（ｂ）における第三の光電変換部１２１と第四の光電変換部１２２との距離よりも短くする例である。第三の光電変換部１２１と第四の光電変換部１２２との間の距離は限定されるものではないが、図８（ｂ）のようにできるだけ長くした方が、測距精度が向上するため、好ましい。なぜなら、図８（ｂ）と（ｄ）とを比較してわかるように、光電変換部間の距離が長いほど、各々の光電変換部が受光する光束間に角度差がつくため、測距精度が向上するからである。

本実施形態のように、第一の画素１１０と第二の画素１２０との間で光電変換部の開口面積が異なる場合でも、両画素１１０、１２０で取得した信号の両方を利用して、撮影画像のダイナミックレンジを向上させることができる。但し、撮影画像の画質の観点からは、実施形態１から３で説明した固体撮像素子のように、第一の画素と第二の画素間で露光時間を変える方が好ましい。以下で理由を説明する。

図８からわかるように、第一の光電変換部１１１が受光する光束の拡がり角と第二の光電変換部１１２が受光する光束の拡がり角、第三の光電変換部が受光する光束の拡がり角と第四の光電変換部２１２が受光する光束の拡がり角とが、それぞれ互いに異なる。そのため、第一の画素１１０で取得した画像の実効的なＦ値と、第二の画素１２０で取得した画像の実効的なＦ値とが異なってしまう。その結果、第一の画素１１０と第二の画素１２０で取得した撮影画像を合成すると、特に切り替え部分において画像が不自然になってしまう。

それに対して、実施形態１から３で説明したように、第一の画素と第二の画素の露光時間を変えた場合、光電変換部の開口面積差に起因する画素間の光束の拡がり角の相違が生じない。そのため、第一の画素１１０と第二の画素１２０で取得した撮影画像の両方を利用してダイナミックレンジを向上させても、自然な画像が得られる。以上の理由から、本実施例よりは、実施形態１乃至３の固体撮像素子の方が、撮影画像の画質の観点で優れている。 なお、実施形態１から３の手法と実施形態４の手法を組み合わせて、第一の画素と第二の画素との間で、露光時間と開口面積の両方を変化させても良い。第一の画素の露光時間と開口面積の両方を、第二の画素よりも大きくすれば、更にダイナミックレンジの広い撮影画像を取得することが可能である。

（実施形態５）
実施形態５では、第一の係数α、第二の係数βを０に固定した場合における、光電変換部に蓄積された電荷の読み出し方法に特徴を有する。図９は、第一の画素１１０、第二の画素１２０の構成を説明する図である。第一の画素１１０および第二の画素１２０には、それぞれ２つの光電変換部とマイクロレンズとが設けられているが、図４と同様に、製造誤差により、マイクロレンズの光軸が各画素の中心軸に対してずれている。

各画素１１０、１２０には、それぞれ電荷蓄積部１１５、１２５が設けられており、各々の光電変換部で取得した電荷は、電荷蓄積部に順次転送されて、ソースフォロア回路を介して電圧信号として加算読み出しされる。

加算読み出しとは、複数の光電変換部間で読み出し回路を共有し、複数の光電変換部の信号を加算して読み出す方法である。具体的には、同一画素に設けられている複数の光電変換部のうち、一方の光電変換部に蓄積された電荷を電荷蓄積部に転送し、一旦電圧信号として読み出す。その後、他方の光電変換部に蓄積された電荷を電荷蓄積部に転送し、両方の光電変換部の電荷の和を、電圧信号として読み出す方法である。後で転送した光電変換部に蓄積された電荷による信号は、周辺回路において、両方の光電変換部の電荷の和による信号と、先に転送した光電変換部の電荷による信号との差分を演算することによって求めることができる。これによって、各々の信号を別々に読み出す場合に比べ、読み出し回路のリセット回数が減るため、高速な読み出しが可能となる。

実施形態にかかる固体撮像素子１０は、加算読み出し時の電荷転送順序を工夫することで、測距信号および撮像信号を取得するための演算負荷を低減している。その結果、演算誤差に起因する測距誤差が抑制でき、また、必要な消費電力も低減できる。以下で、具体的な転送順序を説明する。

第一の画素１１０では、最初に第二の光電変換部１１２に蓄積された電荷を第一の電荷蓄積部１１５に転送し、電圧信号に変換して読み出す。続いて、第一の光電変換部１１１に蓄積された電荷を第一の電荷蓄積部１１５に転送し、先に第一の光電変換部１１１から転送された電荷との和を電圧信号に変換して、を読み出す。また、第二の画素１２０では、最初に第三の光電変換部１２１に蓄積された電荷を第二の電荷蓄積部１２５に転送し、電圧信号に変換して読み出す。続いて、第四の光電変換部１２２に蓄積された電荷を第二の電荷蓄積部１２５に転送し、先に第三の光電変換部１２１から転送された電荷との和を電圧信号に変換して読み出す。

本実施形態では、第二の光電変換部で取得した信号から生成した測距像と、第三の光電変換部で取得した信号から生成した測距像とを比較して測距を行うため、それぞれの測距像は、信号を差分演算する必要がなく、直接生成することができる。

即ち、本発明では、測距像の生成に用いる光電変換部に蓄積された電荷を先に電荷蓄積部に転送しているため、加算読み出し後の差分演算を行わずに、測距信号を直接取得することができる。その結果、信号の差分演算時に生じる演算誤差による測距精度の低下が抑制でき、必要な消費電力も低減できるため、好ましい。

なお、第一の光電変換部１１１に蓄積された電荷と第二の光電変換部１１２に蓄積された電荷との和から得られる電圧信号から、第一の画素１１０の撮影画像が取得できる。また、第三の光電変換部１２１に蓄積された電荷と第四の光電変換部１２２に蓄積された電荷との和から得られる電圧信号から、第二の画素１２０の撮影画像が取得できる。このように、本実施形態では、撮影画像の信号も直接取得することが可能となる。

（実施形態６）
図１１は、本発明の測距像の取得方法を適用する撮像装置の一例として、デジタルスチルカメラ１９０の概略図を示している。撮像装置１９０は、撮像レンズ１９１を取り付けるためのレンズ取付部１９６を有する筺体１９７を備え、筺体内１９７に、固体撮像素子１００と、撮像装置１９０の動作を制御する制御部１９８と、を備えている。そして、撮像レンズ１９１が、レンズ取付部１９６にて筺体１９７に取り付けられている。撮像レンズ１９１を介して入射する光学像を固体撮像素子１０にて光電変換し、被写体までの距離あるいは被写体像を取得することができる。

撮像装置１９０は、撮像レンズ１９１が、筺体１９７から取り外して交換可能な構成であってもよいし、交換ができない構成であってもよい。制御部１９８は、ＣＰＵ１９２、転送回路１９３、及び信号処理部１９４、素子駆動回路１９５を含んでいる。

ＣＰＵ１９２は、転送回路１９３、信号処理部１９４、素子駆動回路１９５を制御する回路である。素子駆動回路１９５は、ＣＰＵ１９２からの信号をうけて、固体撮像素子１００を駆動する回路であり、例えば各画素に設けられた光電変換部の露光時間や光電変換部で取得した信号の読み出しのタイミング等を制御する。転送回路１９３は、固体撮像素子１００から読みだされた信号を記憶したり、信号処理部１９４へ転送したりする。信号処理部１９４は、転送回路１９３を介して取得した信号の画像処理を行う。

固体撮像素子１００は、各画素で取得した信号を、周辺回路を介して転送回路１９３へと出力し、転送回路１９３に出力された信号は信号処理部１９４へと伝送される。

信号処理部１９４では、ＣＰＵ１９２から測距を指示する信号を受けて、各光電変換部で取得した信号から、被写体までの距離の検出や被写体の画像が生成され、撮像を指示する信号を受けて、被写体の画像が生成される。

ここでは、実施形態２で説明した固体撮像素子を備える撮像装置を例にとって説明する。

ＣＰＵ１９２が、撮像装置の状態に関する情報と共に、測距を指示する信号を各回路へ伝送すると、素子駆動回路１９５は固体撮像装置１００を制御して、各画素にて信号を取得する。各画素で取得された信号は周辺回路に送られ、固体撮像装置１００の周辺回路では各画素で取得した信号を式（１）に基づいて演算し、転送回路１９３へと出力する。周辺回路は、式（１）で用いる係数α、βに関して、結像光学系の状態に基づくテーブル１と、固体撮像素子１００における画素の位置に基づくテーブル２を備えており、撮像装置の状態に関する情報に基づいて適切な係数を読み出して用いる。係数α、βは、テーブル１または２の値をそのまま、あるいは、テーブル１の値とテーブル２の値から算出した値が用いられる。

転送回路１９３は、Ｓ（Ａ）、Ｓ（Ｂ）を信号処理部１９４へと伝送し、信号処理部１９４では距離信号Ｓ（Ａ）、Ｓ（Ｂ）を用いて第一の測距像、第二の測距像を生成し、それらを比較して被写体までの距離を算出する。

ＣＰＵ１９２が、撮像装置の状態に関する情報と共に撮像を指示する信号を各回路へ伝送すると、素子駆動回路１９５は固体撮像装置１００を制御して各画素にて信号を取得する。各画素で取得された信号は周辺回路に送られ、周辺回路にて同一画素に設けられた複数の光電変換素子が蓄積した電荷の和から取得した信号を、画素毎の撮像信号として転送回路に出力する。

信号処理部１９４では、画素に入射する光量が所定の閾値以下の場合には、第一の画素で取得した信号を使用し、画素に入射する光量が閾値より大きい場合には、第二の画素で取得した信号を使用し、被写体像を生成する。

以上、固体撮像装置１０の周辺回路にて式（１）の演算を行い、撮像装置に出力する例を説明してきたが、式（１）の演算を撮像装置側で行っても良い。

例えば、信号処理部１９４が係数α、βに関する情報を備えており、ＣＰＵ１９２から送られてくる撮像装置の状態に関する情報に基づいて、適切な係数α、βを決定する。そして、転送回路１９３を介して送られてくる各画素の信号について、式（１）の演算を行って測距信号Ｓ（Ａ）、Ｓ（Ｂ）を取得すると共に、一対の測距像を生成する。これらの測距像を比較して被写体までの距離を算出する。

１０ 固体撮像素子
１１ 基板
１４、１５ 周辺回路
１００、１１０、１２０ 画素
１０１、１０２、１１１、１１２、１２１、１２２ 光電変換部
１１５、１２５ 電荷蓄積部
１６０ マイクロレンズ
１９０ 撮像装置
１９１ 撮像レンズ（結像光学系）
１９２ ＣＰＵ
１９３ 転送回路
１９４ 信号処理部
１９５ 素子駆動回路

Claims (15)

1. 複数の画素が行方向および列方向に配置され、前記複数の画素のそれぞれに複数の光電変換部が設けられている固体撮像素子を用いた測距像の取得方法であって、
   前記複数の画素に、第一光電変換部と第二光電変換部とが設けられた第一の画素と、第三光電変換部と第四光電変換部とが設けられた第二の画素とが含まれており、
   前記第一の光電変換部の重心から前記第二の光電変換部の重心へ向かう方向と、前記第三の光電変換部の重心から前記第四の光電変換部の重心へ向かう方向とが、同じであり、
   単位時間当たりに、前記第一の光電変換部に蓄積される電荷量が、前記第二の光電変換部に蓄積される電荷量よりも多く、前記第三の光電変換部に蓄積される電荷量が、前記第四の光電変換部に蓄積される電荷量よりも多い場合に、
   １フレームあたりに、前記第一の光電変換部に蓄積される電荷量を前記第三の光電変換部に蓄積される電荷量よりも多く、前記第二の光電変換部に蓄積される電荷量を前記第四の光電変換部に蓄積される電荷量よりも多くし、
   前記１フレームに、前記第一の光電変換部から前記第四の光電変換部で取得される信号を、それぞれｓ（１）、ｓ（２）、ｓ（３）、ｓ（４）として、
   

   

   
   で表されるＳ（Ａ）とＳ（Ｂ）を、前記第一の画素および前記第二の画素で取得される測距信号として、測距像の生成に用いることを特徴とする測距像の取得方法。
2. １フレームあたりの、第一の光電変換部の露光時間が第三の光電変換部の露光時間よりも長く、第二の光電変換部の露光時間が第四の光電変換部の露光時間よりも長いことを特徴とする請求項１に記載の測距像の取得方法。
3. 前記第一の画素と前記第二の画素とが、互いに異なる行に含まれることを特徴とする請求項１または２に記載の測距像の取得方法。
4. 第一の光電変換部の開口面積が第三の光電変換部の開口面積よりも大きく、第二の光電変換部の開口面積が第四の光電変換部の開口面積よりも大きいことを特徴とする請求項１乃至３のいずれか１項に記載の測距像の取得方法。
5. 第三の光電変換部と第四の光電変換部の間の距離の方が、第一の光電変換部と第二の光電変換部の間の距離よりも長いことを特徴とする、請求項４に記載の測距像の取得方法。
6. 前記第一光電変換部の露光時間と前記第二光電変換部の露光時間が互いに等しく、前記第三光電変換部の露光時間と前記第四の光電変換部の露光時間が互いに等しいことを特徴とする、請求項１乃至５のいずれか１項に記載の測距像の取得方法。
7. 前記第一の画素と前記第二の画素とが、同じ列に含まれることを特徴とする請求項１乃至６のいずれか１項に記載の測距像の取得方法。
8. 前記第一の画素と前記第二の画素とが、互いに隣接していることを特徴とする請求項１乃至７のいずれか１項に記載の測距像の取得方法。
9. 式（１）において、αおよびβを共に０とすることを特徴とする請求項１乃至８のいずれか１項に記載の測距像の取得方法。
10. 前記第一の画素に第一電荷蓄積部、前記第二の画素に第二電荷蓄積部を備え、
    前記第二光電変換部に蓄積された電荷を前記第一電荷蓄積部に転送して第一信号を取得した後、前記第一光電変換部に蓄積された電荷を前記第一電荷蓄積部に転送して第二信号を取得し、
    前記第三光電変換部に蓄積された電荷を前記第二電荷蓄積部に転送して第三信号を取得した後、前記第四光電変換部に蓄積された電荷を前記第二電荷蓄積部に転送して第四信号を取得することを特徴とする請求項９に記載の測距像の取得方法。
11. 前記固体撮像素子における前記第一の画素および前記第二の画素の位置によって、α、βの値が異なることを特徴とする請求項１乃至１０のいずれか１項に記載の測距像の取得方法。
12. 前記第一の画素および前記第二の画素の位置が、前記第一光電変換部の重心と前記第二光電変換部の重心とを結ぶ線に垂直で、かつ、前記固体撮像素子の前記第一の画素および前記第二の画素が配置された領域の中心を通る線からの距離が遠いほど、α、βの値を小さくすることを特徴とする請求項１１に記載の測距像の取得方法。
13. 固体撮像素子の中心を通り、第一の光電変換部と第二の光電変換部を結ぶ方向に垂直な線からの距離が所定の値よりも遠い固体撮像素子の周辺領域において、前記線を軸として、第一の光電変換部と第二の光電変換部の配置および、第三の光電変換部と第四の光電変換部の配置が反転することを特徴とする請求項１乃至１２のいずれか１項に記載の測距像の取得方法。
14. 複数の画素が行方向および列方向に配置され、前記複数の画素のそれぞれに複数の光電変換部が設けられており、撮像レンズを介して入射する光学像を光電変換する固体撮像素子と、
    前記固体撮像素子で光電変換された前記光学像の情報を処理する制御部と、を備える撮像装置であって、
    前記複数の画素に、第一光電変換部と第二光電変換部とが設けられた第一の画素と、第三光電変換部と第四光電変換部とが設けられた第二の画素とが含まれ、
    前記第一の光電変換部の重心から前記第二の光電変換部の重心へ向かう方向と、前記第三の光電変換部の重心から前記第四の光電変換部の重心へ向かう方向とが、同じであり、
    単位時間当たりに、前記第一の光電変換部に蓄積される電荷量が、前記第二の光電変換部に蓄積される電荷量よりも多く、前記第三の光電変換部に蓄積される電荷量が、前記第四の光電変換部に蓄積される電荷量よりも多い場合に、
    請求項１乃至１３のいずれか１項に記載の測距像の取得方法を用いることを特徴とする撮像装置。
15. 前記複数の画素に、第一光電変換部と第二光電変換部とが設けられた第一の画素と、第三光電変換部と第四光電変換部とが設けられた第二の画素とが含まれ、
    前記第一の光電変換部の重心から前記第二の光電変換部の重心へ向かう方向と、前記第三の光電変換部の重心から前記第四の光電変換部の重心へ向かう方向とが、同じであり、
    単位時間当たりに、前記第一の光電変換部に蓄積される電荷量が、前記第二の光電変換部に蓄積される電荷量よりも多く、前記第三の光電変換部に蓄積される電荷量が、前記第四の光電変換部に蓄積される電荷量よりも多い場合に、被写体像を取得する際、
    前記第一光電変換部で蓄積した電荷から取得した信号と前記第二光電変換部に蓄積した電荷から取得した信号との和が閾値よりも小さい場合は、前記第一光電変換部で蓄積した電荷から取得した信号と前記第二光電変換部に蓄積した電荷から取得した信号との和を撮像信号として用い、
    前記第一光電変換部で蓄積した電荷から取得した信号と前記第二光電変換部に蓄積した電荷から取得した信号との和が前記閾値よりも大きい場合、前記第三光電変換部に蓄積した電荷から取得した信号と第四光電変換部に蓄積した電荷から取得した信号との和を撮像信号として用いることを特徴とする請求項１４に記載の撮像装置。

Images