JP2004282552A

JP2004282552A - Solid state imaging device and solid state imaging apparatus

Info

Publication number: JP2004282552A
Application number: JP2003073282A
Authority: JP
Inventors: Takahisa Ueno; 貴久上野
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-03-18
Filing date: 2003-03-18
Publication date: 2004-10-07
Anticipated expiration: 2023-03-18
Also published as: JP4501350B2

Abstract

<P>PROBLEM TO BE SOLVED: To obtain an address control solid state imaging device in which an image of wide dynamic range can be attained by switching exposure control flexibly through a simple arrangement. <P>SOLUTION: A read select transistor 34 and a floating diffusion 38 are provided between a charge generating section 32 and a pixel signal generating section 5. Transfer clock lines for driving the read select transistor 34 and reset clock lines for sweeping charges stored in the floating diffusion 38 are divided into a plurality of systems such that pulses can be applied independently and are arranged to intersect each other. A drive clock is inputted with a different timing to each clock line of the plurality of systems, and imaging is performed while setting a different exposure storage time for each column in a unit matrix being formed by each clock line of the plurality of systems. An image of wide dynamic range is attained by performing a processing for uniforming the sensitivity based on a sensitivity mosaic image being outputted from the solid state imaging device. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、単位画素が２次元マトリクス状に配置された固体撮像素子、並びにこのような固体撮像素子を有してなる固体撮像装置に関する。より詳細には、ＭＯＳ型やＣＭＯＳ型など、単位画素からの画素信号をアドレス制御にて読み出す方式におけるダイナミックレンジの拡大技術に関する。
【０００２】
【従来の技術】
撮像部内に複数の光電変換素子（フォトダイオードなど）からなる電荷生成部から画素信号を読み出す際、画素位置をアドレス制御によりコントロールして読み出す方式の固体撮像素子（アクティブピクセルイメージセンサ；以下アドレス制御型固体撮像素子という）として、ＭＯＳ（ＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型やＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ０ｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）型（以下特に断りのない限りＭＯＳ型で代表して説明する）のものがある。たとえば、単位画素が２次元マトリクス状に配設されたものを、Ｘ−Ｙアドレス制御型固体撮像素子と称している。
【０００３】
アドレス制御型固体撮像素子は、たとえば画素を選択するスイッチング素子や、信号電荷を読み出すスイッチング素子にＭＯＳトランジスタが用いられている。また、水平走査回路や垂直走査回路にＭＯＳトランジスタが用いられ、スイッチング素子と一連の構成で製造を行なうことができる利点を有している。
【０００４】
そして、たとえばＭＯＳ型固体撮像素子では、各単位画素がＭＯＳトランジスタを有して構成され、光電変換により画素に蓄積された信号電荷を画素信号生成部に読み出して、信号電荷を電流信号や電圧信号に変換して出力する構成となっている。
【０００５】
画素信号生成部からは、光電変換によって単位画素に蓄積される電荷量に対してほぼ線形な出力信号が得られ、単位画素に蓄積できる電荷量によって撮像素子のダイナミックレンジが決定される。この撮像素子のダイナミックレンジは、画素の飽和信号量とノイズレベルで一義的に決まる。つまり、撮像素子の出力レベルの下限はノイズレベルで限定され、上限は飽和レベルで限定されて使用可能な動作レンジが定まるとともに、撮像素子の出力レベル特性の傾きは一定の値となっているために、結果として撮像素子のダイナミックレンジは一義的に定まる。
【０００６】
このようなダイナミックレンジの制限により、被写体の高輝度部分（たとえば金属光沢を有する部分など）でハレーションが発生したり、逆に自動露光調節がこの高輝度部分の影響を受けて、被写体の全体が暗くなってしまうことがある。
【０００７】
このような問題を解消する一手法として、ＣＣＤ（電荷結合素子；ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅ）を撮像素子として備える方式においては、低速シャッタ（長時間の電荷蓄積）で撮像した低輝度部分が比較的明瞭な画像と、高速シャッタ（短時間の電荷蓄積）で撮像した高輝度部分が比較的明瞭な画像とを混合するなど、異なった露光時間により得られた複数の画像を合成することで、広ダイナミックレンジの画像を生成する技術が提案されている。
【０００８】
たとえば、インタレース読出しをする方式においては、１フレーム中のたとえば奇数フィールドで低速シャッタ撮像を行なうとともに偶数フィールドで高速シャッタ撮像を行ない、これにより得た２つの画像に基づいてダイナミックレンジ拡大処理を行なうようになっている。しかしながら、この方式では、２フィールドの画像から１画像を生成するために、撮像素子が本来有する画素構成に比して、垂直解像度が半分に低下してしまうという難点がある。
【０００９】
また、この垂直解像度の低下の問題を解消しつつ広ダイナミックレンジの画像を生成する技術が特許文献１に提案されている。
【００１０】
【特許文献１】
特開平１１−１５０６８７号公報
【００１１】
この特許文献１に記載の技術は、撮像素子を構成する奇数ライン画素と偶数ライン画素とで異なる時間の電荷蓄積を行ない、奇数ライン画素からの撮像信号と偶数ライン画素からの撮像信号とに基づいてダイナミックレンジを拡大した１つの画像を得るものである。
【００１２】
【発明が解決しようとする課題】
しかしながら、特許文献１に記載の技術では、ＣＣＤのデバイス構成上の理由から、垂直方向の偶奇ラインで蓄積時間を制御することしかできない、つまり蓄積時間の制御の自由度が２段階しかないという難点がある。
【００１３】
本発明は、上記事情に鑑みてなされたものであり、蓄積時間の制御の自由度を持ちつつ広ダイナミックレンジの画像を得ることのできる固体撮像素子およびこの固体撮像素子を備えてなる固体撮像装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
すなわち、本発明に係る第１の固体撮像素子は、画素信号の読出し配線の配置形態に着目してなされたものであり、それぞれ画素に対応して、光を受光する受光面を有し受光した光に対応する電荷を生成する電荷生成部と、電荷生成部により生成された電荷を蓄積する電荷蓄積部と、電荷生成部と電荷蓄積部との間に配設され電荷生成部により生成された電荷を電荷蓄積部に転送する転送ゲート部と、電荷蓄積部に蓄積した電荷に応じた画素信号を生成する画素信号生成部とを含む単位画素を２次元状に備えてなり、転送ゲート部を駆動するための転送クロック線と電荷蓄積部に蓄積されている電荷を掃き出させるためのリセットクロック線がそれぞれ独立に前記パルスを印加可能なように複数系統に分けられ、また転送クロック線とリセットクロック線とが互いに交差するように配置されているものとした。
【００１５】
本発明に係る第２の固体撮像素子は、得られる画像パターンの側面に着目してなされたものであり、それぞれ画素に対応して、光を受光する受光面を有し受光した光に対応する電荷を生成する電荷生成部と、電荷生成部により生成された電荷を蓄積する電荷蓄積部と、電荷生成部と電荷蓄積部との間に配設され電荷生成部により生成された電荷を電荷蓄積部に転送する転送ゲート部と、電荷蓄積部に蓄積した電荷に応じた画素信号を生成する画素信号生成部とを含む単位画素を２次元状に備えてなり、単位画素が光強度に対する複数の感度特性のうちの何れかの感度特性を有する感度モザイク画像を生成可能なように、転送ゲート部を駆動するための転送クロック線と電荷蓄積部に蓄積されている電荷を掃き出させるためのリセットクロック線とが配置されているものとした。
【００１６】
また、本発明に係る固体撮像装置は、本発明に係る第１や第２の固体撮像素子を備えてなるものであって、転送クロック線とリセットクロック線に対して対応する駆動パルスを印加することで感度特性がモザイク状を呈する感度モザイク画像が固体撮像素子から出力されるようにする駆動制御部や、出力された感度モザイク画像から感度が均一化された被写体画像を復元する画像処理部などを備えてなるものとした。
【００１７】
また従属項に記載された発明は、本発明に係る固体撮像素子や固体撮像装置のさらなる有利な具体例を規定する。たとえば、単位画素の表面には光を遮光する遮光部材を、少なくとも電荷生成部の上部には開口部が形成されるように配置することが望ましい。
【００１８】
また、駆動制御部は、固体撮像素子から得られる感度モザイク画像の単位マトリクス内では、カラムごとに、それぞれ異なる蓄積露光時間となるように駆動パルスの印加タイミングを制御するとよい。
【００１９】
また、カラー画像を撮像するためのカラーフィルタが配列されたものとしてもよい。この場合、３原色成分がベイヤ配列されたものであることが望ましい。また、カラーフィルタの配列における繰返し単位ごとに露光蓄積時間（すなわち感度特性）が制御されるものとすることが望ましい。つまり、カラーフィルタの配列における繰返し単位では全画素が同一の露光蓄積時間となり、複数の繰返し単位で形成される単位マトリクスでは、各繰返し単位に対して異なる露光蓄積時間（好ましくは全繰返し単位がそれぞれ異なる露光蓄積時間）となるようにするとよい。
【００２０】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態について詳細に説明する。なお、以下においては、Ｘ−Ｙアドレス型の固体撮像装置の一例である、ＣＭＯＳ撮像素子に適用した場合を例に説明する。
【００２１】
＜固体撮像装置の構成＞
図１は、本発明の一実施形態に係る固体撮像装置の概略構成図である。この固体撮像装置１は、カラー画像を撮像し得る電子スチルカメラとして適用されるようになっている。また、静止画撮像モードに限らず、３０フレーム／秒に近いフレームレート（たとえば１０フレーム以上／秒）での動画撮影モードも用意されている。また、通常の露光制御を行なう通常モードと、広ダイナミックレンジの画像を得る広ダイナミックレンジモードとが用意されている。
【００２２】
固体撮像装置１は、画素が行および列に配列された（すなわち２次元マトリクス状の）撮像部を有し、各画素からの信号出力が電圧信号であって、ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ；相関２重サンプリング）処理機能部が各列ごとに設けられたカラム型のものである。すなわち、図１（Ａ）に示すように、固体撮像装置１は、複数の単位画素３が行および列に配列された撮像部１０と、撮像部１０の外側に設けられた駆動制御部７と、ＣＤＳ処理部２６とを備えている。駆動制御部７としては、たとえば、水平走査回路１２と垂直走査回路１４を備える。
【００２３】
図１（Ａ）では、簡単のため行および列の一部を省略して示しているが、現実には、各行や各列には、数十から数千の画素が配置される。また、駆動制御部７の他の構成要素として、水平走査回路１２、垂直走査回路１４、およびＣＤＳ処理部２６に所定タイミングのパルス信号を供給するタイミングジェネレータ２０が設けられている。これらの駆動制御部７の各要素は、撮像部１０とともに、半導体集積回路製造技術と同様の技術を用いて単結晶シリコンなどの半導体領域に一体的に形成され固体撮像素子として構成される。
【００２４】
単位画素３は、垂直列選択のための垂直制御線１５を介して垂直走査回路１４と、垂直信号線１９を介してＣＤＳ処理部２６と、それぞれ接続されている。水平走査回路１２や垂直走査回路１４は、たとえばシフトレジスタによって構成され、タイミングジェネレータ２０から与えられる駆動パルスに応答してシフト動作（走査）を開始するようになっている。このため、垂直制御線１５には、単位画素３を駆動するための種々のパルス信号が含まれる。
【００２５】
ＣＤＳ処理部２６は列ごとに設けられており、タイミングジェネレータ２０から与えられるサンプルパルスＳＨＰとサンプルパルスＳＨＤといった２つのサンプルパルスに基づいて、垂直信号線１９を介して入力された電圧モードの画素信号に対して、画素リセット直後の信号レベル（ノイズレベル）と信号レベルとの差分をとる処理を行なうことで、固定パターンノイズ（ＦＰＮ；ＦｉｘｅｄＰａｔｔｅｒｎＮｏｉｓｅ）やリセットノイズといわれるノイズ信号成分を取り除く。なお、ＣＤＳ処理部２６の後段には、必要に応じてＡＧＣ（ＡｕｔｏＧａｉｎＣｏｎｔｒｏｌ）回路やＡＤＣ（ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）回路などをＣＤＳ処理部２６と同一の半導体領域に設けることも可能である。
【００２６】
ＣＤＳ処理部２６により処理された電圧信号は、水平信号線１８に伝達され、その後、水平走査回路１２からの水平選択信号により駆動される図示しない水平選択スイッチを介して出力バッファ２８に入力され、この後、撮像信号Ｓ０として外部回路１００に供給される。つまり、カラム型の固体撮像装置１においては、単位画素３からの出力信号（電圧信号）が、垂直信号線１９→ＣＤＳ処理部２６→水平信号線１８→出力バッファ２８の順で出力される。その駆動は、１行分の画素出力信号を垂直信号線１９を介してパラレルにＣＤＳ処理部２６に送り、ＣＤＳ処理後の信号を水平信号線１８を介してシリアルに出力するようにする。垂直制御線１５は、各行の選択を制御するものである。
【００２７】
ここで、本実施形態の固体撮像装置１の特徴部分として、駆動制御部７は、撮像部１０における単位画素３の行方向および列方向ともに複数を１つの単位マトリクスとして、単位マトリクス内の各単位画素３の電荷蓄積時間を個別に制御するようになっている。こうすることで、撮像部１０を中心とする図示しない光学系の撮像処理によって、被写体を画素ごとに異なる色と感度（露光時間を変えることで感度可変を実現）で撮像し、色と感度がモザイク（２次元マトリクス）状になった画像（以下、色・感度モザイク画像と記述し、その詳細は後述する）を得ることができるようになる。
【００２８】
なお、垂直列や水平列ごとの駆動が可能である限り、それぞれのパルス信号を単位画素３に対して行方向および列方向の何れに配するか、すなわちパルス信号を印加するための駆動クロック線の物理的な配線方法は自由である。典型例としては、蓄積部間の電荷の移動を行なう転送クロック線と蓄積部のリセットを行なうリセットクロック線とを、それぞれ独立に駆動パルスを印加可能な複数系統に分けるとともに、転送クロック線とリセットクロック線とを交差するように配置し、マトリクス状に蓄積時間を制御する構成とする。
【００２９】
固体撮像装置１の外部回路１００としては、広ダイナミックレンジモードに対応した回路構成が採られる。この場合、蓄積時間の制御手法に応じた回路構成とする。たとえば、図１（Ｂ）に示すように、出力バッファ２８から出力されたアナログの撮像信号Ｓ０をデジタルの撮像データＤ０に変換するＡ／Ｄ（ＡｎａｌｏｇｔｏＤｉｇｉｔａｌ）変換部１１０と、電荷蓄積時間に応じた色・感度モザイク画像に対して所定の画像処理を施すことで各画素が全ての色成分を有しかつ均一の感度を有する画像を表す画像データＤ１を生成するダイナミックレンジ拡大処理部の一例であるデモザイク処理部１２０と、Ａ／Ｄ変換部１１０から出力された撮像データＤ０に基づいてデジタル信号処理を施すデジタル信号処理部（ＤＳＰ；ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ）１３０とを備える。
【００３０】
デモザイク処理部１２０は、行方向および列方向ともに複数の単位画素３からなる２次元マトリクス内において個別の電荷蓄積時間が設定されて読み出された各単位画素３からの画素信号により表される色・感度モザイク画像に基づいて、信号処理（デモザイク処理）により画像のダイナミックレンジを拡大する信号処理部としての機能を備える。このダイナミックレンジを拡大するデモザイク処理に際しては、色・感度モザイク画像を元にして、補間処理にて、正常な被写体画像を取得する。
【００３１】
補間処理は、カラーフィルタの色配列や電荷蓄積時間の配列、すなわち色や感度のモザイクパターンに応じて、その仕組みを工夫する。たとえばデモザイク処理部１２０は、色・感度モザイク画像をフィールド単位で色や感度のモザイクパターンに応じて画素補間することにより広ダイナミックレンジの画像を生成する。あるいは、読出フィールドごとに単位マトリクス内の各単位画素３の電荷蓄積時間の組合せを切り替えることで得られる複数の色・感度モザイク画像に基づいて時間補間により広ダイナミックレンジの画像を生成する。
【００３２】
デジタル信号処理部１３０は、通常モードのときに、従来と同様の色分離処理を施してＲ（赤），Ｇ（緑），Ｂ（青）の各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニター出力用の画像データＤ２を生成する。
【００３３】
また外部回路１００は、通常モードのときにはデジタル信号処理部１３０にてデジタル処理された画像データＤ２を選択し広ダイナミックレンジモードのときにはデモザイク処理部１２０から出力された画像データＤ１を選択する選択部１３２と、この選択部１３２から出力されたデータＤ３（Ｄ１およびＤ２のうちの何れか一方）をアナログの画像信号Ｓ１に変換するＤ／Ａ（ＤｉｇｉｔａｌｔｏＡｎａｌｏｇ）変換部１３６とを備える。Ｄ／Ａ変換部１３６から出力された画像信号Ｓ１は、図示しない液晶モニターなどの表示デバイスに送られる。操作者は、この表示デバイスの表示画像を見ながら各種の操作を行なうことが可能になっている。
【００３４】
また図１（Ｃ）に示す構成の外部回路１００では、選択部１３２の配置位置が図１（Ｂ）に示す構成と異なる。すなわち、この外部回路１００は、広ダイナミックレンジモードのときにはデモザイク処理部１２０から出力された画像データＤ１を選択し、通常モードのときにはＡ／Ｄ変換部１１０から出力された撮像データＤ０を選択する選択部１３２と、この選択部１３２から出力されたデータＤ３（Ｄ０およびＤ１のうちの何れか一方）に対してデジタル信号処理を施すデジタル信号処理部（ＤＳＰ）１３０と、デジタル信号処理部１３０にてデジタル処理された画像データＤ２をアナログの画像信号Ｓ１に変換するＤ／Ａ変換部１３６とを備える。
【００３５】
デジタル信号処理部１３０は、通常モードのときには従来と同様の色分離処理を施してＲ，Ｇ，Ｂの各画像を表す画像データＲＧＢを生成し、この画像データＲＧＢに対してその他の信号処理を施してモニター出力用の画像データＤ２を生成し、Ｄ／Ａ変換部１３６に渡す。また、広ダイナミックレンジモードのときには、デモザイク処理部１２０からＲ，Ｇ，Ｂの各画像を表す画像データＤ２（画像データＲＧＢ）を取得し、通常モードと同様にしてモニター出力用の画像データＤ２を生成し、Ｄ／Ａ変換部１３６に渡す。つまり、この図１（Ｃ）に示す構成は、通常モードと広ダイナミックレンジモードとで、デジタル信号処理部１３０を共用する構成となっている。
【００３６】
＜単位画素の構成；第１例＞
図２は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第１実施形態の詳細例を示した図である。ここで図２（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図２（Ｂ）は断面図である。
【００３７】
この第１実施形態の単位画素３は、ｍ×ｎ（画素またはエリア；ｍ，ｎは正の整数でｍ＝ｎも可）の単位マトリクスからなる組について、組（単位マトリクス）内では蓄積時間差を有するが組（単位マトリクス）間では蓄積時間差を生じることのない電子シャッタ機能である“擬似グローバルシャッタ機能”を実現するように構成されている。以下、具体的に説明する。
【００３８】
単位画素３は、図２（Ａ）に示すように、光を電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えた電荷生成部３２と、電荷生成部３２に対して、電荷読出部（転送ゲート部／読出ゲート部）の一例である読出選択用トランジスタ３４、リセットゲート部の一例であるリセットトランジスタ３６、垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位変化を検知する検知素子の一例であるソースフォロア構成の増幅用トランジスタ４２の４つのＭＯＳトランジスタを有する。また、単位画素３は、電荷蓄積部の機能を備えた電荷注入部の一例であるフローティングディフュージョン３８とからなるＦＤＡ（ＦｌｏａｔｉｎｇＤｉｆｆｕｓｉｏｎＡｍｐ）構成の画素信号生成部５を有するものとなっている。なお、このような単位画素３の構成は、汎用的な４トランジスタ画素のＣＭＯＳセンサであって、従来からよく知られた構成である。
【００３９】
画素信号生成部５におけるリセットトランジスタ３６は、ソースがフローティングディフュージョン３８に、ドレインが電源ＶＤＤにそれぞれ接続され、ゲート（リセットゲートＲＧ）にはリセットパルスが入力される。このリセットトランジスタ３６は、フローティングディフュージョン３８を電源ＶＤＤにリセットするためにデプレッション型である。また、増幅用トランジスタ４２は、ドレインが電源ＶＤＤに接続され、ソースが垂直選択用トランジスタ４０のドレインに接続されている。また、垂直選択用トランジスタ４０は、ドレインが画素線５１を介して垂直信号線１９に接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。この垂直選択線５２には、垂直選択信号が印加される。
【００４０】
この第１実施形態の単位画素３は、単位マトリクス内では蓄積時間差を有するが組間では蓄積時間差を生じることのない“擬似グローバルシャッタ機能”を実現するために、電荷生成部３２（フォトダイオードＰＤ）にて生成された信号電荷を全画素同時に転送させた後一定期間保持する電荷蓄積部をフローティングディフュージョン３８のみで機能させるようにした点に特徴を有する。この場合、読出選択用トランジスタ３４の読出ゲートＲＯＧが、フレームシフトゲートＦＳＧの機能を果たす。すなわち、電荷生成部３２を構成するフォトダイオードＰＤのカソードには読出選択用トランジスタ３４のソースが接続され、読出選択用トランジスタ３４のドレインが電荷蓄積部であるフローティングディフュージョン３８に接続されている。
【００４１】
単位画素３は、その断面図を図２（Ｂ）に示すように、シリコンからなる半導体基板ＮＳＵＢ（ｎ型のＳｉ基板）上にオーバーフローバリアを形成するｐ型層であるｐ型ウェル（Ｐ−Ｗｅｌｌ）が形成されている。そして、このｐ型ウェル上にｎ型層（Ｎ＋）が形成されることで、ｐｎ接合のフォトダイオードＰＤによる電荷生成部３２が構成されている。
【００４２】
単位画素３の最終的な構造としては、単位画素３のほぼ全面に光を遮光する遮光部材（遮光膜）３９を設け、電荷生成部３２上に開口部３９ａを設けて電荷生成部３２の受光面を形成する。つまり、電荷生成部３２よりも感光性の弱いフローティングディフュージョン３８などの、この開口部３９ａを除く部分を遮光膜で覆うことで、電荷生成部３２以外の部分への外部光の入射を阻止する構造を採る。なお、この遮光部材３９は、電荷生成部３２上の開口部３９ａを除く全面を覆うものでなくてもよい。ただしこの場合でも、少なくとも、転送ゲート部をなす読出選択用トランジスタ３４部分と画素信号生成部５との間に配されている電荷蓄積部をなすフローティングディフュージョン３８上には遮光部材３９が配されるようにする。このフローティングディフュージョン３８は、画素信号生成部５にて検知される信号電荷を蓄積する直接的な部分であるので、この部分への光の入射により不要な電荷が発生することを防止するためである。
【００４３】
こうすることで、電荷生成部３２で光電変換された電荷のみを信号電荷量として考慮すればよくなり、各画素に対する露光時間制御の精度を高めることができる。また、電荷生成部３２上には、カラーフィルタやマイクロレンズなどをオンチップにて形成する。こうすることで、カラー撮像が可能となるとともに、画像電荷生成部３２への入射光量を高めることでＳ／Ｎの良好な画像が得られるようになる。
【００４４】
電荷生成部３２を構成するフォトダイオードＰＤは、界面準位によって発生する電荷の湧出し（暗電流）を抑制するようにＳｉ界面をピニングさせるｐ型高濃度（ｐ＋＋）層を正孔蓄積層として感光領域の基板表面側に付加形成した構造となっている。そして、この電荷生成部３２は、入射光をその光量に応じた電荷量の信号電荷に光電変換し、かつその信号電荷をｎ型層（Ｎ＋）に蓄積する。
【００４５】
そして、このフォトダイオードＰＤに対して図２（Ｂ）中左側に、読出選択用トランジスタ３４、フローティングディフュージョン３８を形成するＮ＋＋層、リセットトランジスタ３６、電源ＶＤＤに接続されリセットドレインＲＤを形成するＮ＋＋層、およびチャネルストップＣＳａを形成するＰ＋層およびＳｉＯ２層がこの順に水平方向（図の左方向）に形成されている。電荷生成部３２の図中右側にも、チャネルストップＣＳｂを形成するＰ＋層およびＳｉＯ２層が設けられている。チャネルストップＣＳａ，ＣＳｂは、当該単位画素３に隣接する他の単位画素３のチャネルストップＣＳａを意味する。これらの構造は従来のＣＭＯＳ型固体撮像素子のそれと同じである。
【００４６】
読出選択用トランジスタ３４およびリセットトランジスタ３６の基板表面側には、たとえばポリシリコンによって単層もしくは２層構造にて形成された電極（ゲート電極）が配設されている。そして、読出選択用トランジスタ３４のゲート電極（特に読出ゲートＲＯＧという）には読出パルスが入力され、リセットトランジスタ３６のゲート電極（特にリセットゲートＲＧという）にはリセットパルスが入力されるようになっている。
【００４７】
また、電荷生成部３２のフォトダイオードＰＤとフローティングディフュージョン３８との間に配される読出選択用トランジスタ３４、あるいはフローティングディフュージョン３８とリセットドレインＲＤとしての電源ＶＤＤとの間に配されるリセットトランジスタ３６は、オフ状態でチャネルの表面が信号電荷とは反対の導電形の電荷を蓄積した状態を形成可能となる。なお、このような状態を形成させるためにオフ時にゲート電極に印加する電圧は、各素子の不純物のイオン濃度（ドーズ量）やゲート電極の膜厚に依存する。このため、読出選択用トランジスタ３４やリセットトランジスタ３６の部分には、ｎ−またはｐ−によるイオンインプランテーションにて不純物濃度差を付ける、あるいは、読出選択用トランジスタ３４とリセットトランジスタ３６との酸化膜厚差を付ける、などによる障壁（ポテンシャル差）を付けておくとよい。
【００４８】
イオンインプランテーション量や酸化膜厚差を制御することでポテンシャル差を制御することができるので、電荷生成部３２からフローティングディフュージョン３８への信号電荷の転送効率を調整することも可能となる。加えて、ゲート電極下のチャネル領域表面が反転状態になるよう所定の電位を印加してオフさせると界面準位が正孔で埋められる（ピニング；ｐｉｎｎｉｎｇという）。このため、電荷転送路としての読出選択用トランジスタ３４やリセットトランジスタ３６では、オフ時に所定の電位を印加することで界面準位が原因となって発生する暗電流を抑制することもできる。
【００４９】
このように、第１実施形態の単位画素３は、高感度側の撮像を伴う高ダイナミックレンジモード時においてもノイズの少ない良好な画像が得られるように、様々な観点から、ノイズ対策が採られている。
【００５０】
図３は、第１実施形態の単位画素３を備えた固体撮像装置１における走査のタイミングチャートの一例である。ここでは、先ず、全画素について共通の電荷蓄積時間を設定する通常モードでの動作で示す。単位マトリクス内の単位画素３に対して個別に電荷蓄積時間を設定する広ダイナミックレンジモードの場合には、図示する露光蓄積期間内で、後述するようなタイミングで、転送ゲートパルス（読出パルス）ＲＯＧとリセットパルスＲＳＴ（ＲＧ）を単位マトリクス内の各単位画素３に対して個別に設定するとよい。
【００５１】
先ず、電荷生成部３２のフォトダイオードＰＤを露光して信号電荷をそのフォトダイオードＰＤに蓄積するのに先立って、読出パルスをアクティブ（Ｈ；ハイ）にして読出選択用トランジスタ３４をオンさせることで、この時点においてフォトダイオードＰＤに蓄積されている不要な電荷（不要電間）をフローティングディフュージョン３８側に掃き捨てる（ｔ０〜ｔ２）。その後、フォトダイオードＰＤとフローティングディフュージョン３８との間のゲート機能部分である読出選択用トランジスタ３４を閉じて、露光蓄積開始となる。これらの処理は、全画素について略同時に行なう。
【００５２】
この露光蓄積状態と並行して、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせることで、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットする。これにより、電荷生成部３２から読出選択用トランジスタ３４を経由してフローティングディフュージョン３８に転送された不要電荷が電源ＶＤＤに掃き出される。この処理は、信号電荷蓄積の完了前に完結していればよい。図では、ｔ２〜ｔ４にてリセットパルスをアクティブにしているが、この例に限らず、図中において、多少右側にシフトした位置にてこの処理を行なってもよい。
【００５３】
次に、電荷生成部３２にて得た信号電荷を全画素同時にフローティングディフュージョン３８に転送させる（フレームシフトさせる）のに先立って、再度フローティングディフュージョンＦＤをクリアにしておく。このため、露光蓄積完了時にフレームシフトパルスをアクティブにするのに先立って、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせる（ｔ６〜ｔ８）。
【００５４】
次に、電荷生成部３２にて得た信号電荷を全画素同時にフローティングディフュージョン３８に転送させるため、全画素について略同時に、読出パルスをアクティブにして、フォトダイオードＰＤが露光されることで生成された信号電荷をフローティングディフュージョンＦＤに転送させる（ｔ１０〜ｔ１２）。こうすることで、信号電荷がフローティングディフュージョンＦＤに注入され、フローティングディフュージョンＦＤでは、その電荷量に応じた電位変化が現れる。
【００５５】
次に、信号電荷を電荷生成部３２からフローティングディフュージョン３８に転送させた後の所定の時点において、読出対象画素である、任意の水平ラインにおける所定位置の画素について、水平選択信号をアクティブにすることで、水平選択用トランジスタ５０をオンさせる（ｔ１４）。
【００５６】
次に、サンプルパルスＳＨＤをアクティブにすることで、ＣＤＳ処理部２６においては、信号電荷量に応じた画素信号レベルを保持する（ｔ１６〜ｔ１８）。この後、リセットゲートパルスをアクティブにしてリセットトランジスタ３６をオンさせ、フローティングディフュージョンＦＤをクリアにしてからリセットゲートパルスをインアクティブにする（ｔ２０〜ｔ２２）。この状態にてサンプルパルスＳＨＰをアクティブにすることで、ＣＤＳ処理部２６においては、クリアにされた時点の画素信号レベル（リセットレベル）を保持する（ｔ２８〜ｔ３０）。この後、水平選択信号をインアクティブにする（ｔ３２）。ＣＤＳ処理部２６は、サンプルパルスＳＨＰにて取得したリセットレベルとサンプルパルスＳＨＤにて取得した画素信号レベルとの差を取ることで、固定パターンノイズＦＰＮやリセットノイズを取り除く。このように、第１実施形態の単位画素３の構成では、通常モード時にグローバルシャッタ機能を実現することができる。
【００５７】
なお、第１実施形態の単位画素３の構成においては、通常の駆動制御方法のようにして、フローティングディフュージョン３８に信号電荷を転送させるタイミングは、画素ごとに異なるものとしてもよい。つまり、第１実施形態の単位画素３のような構造の場合、グローバルシャッタ機能を使わないこともできる。この点は、後述する広ダイナミックレンジモード時でも同様である。
【００５８】
＜マトリクス制御形態＞
図４、図５、および図６は、第１実施形態の単位画素３を備えた固体撮像装置１において、単位マトリクス内で個々の単位画素３に蓄積時間差を持たせる仕組みについて説明する図である。説明を簡単にするため、先ず、単位画素３を２×２画素とする単位マトリクスを１組として、この単位マトリクス内にて、個々の単位画素３の電荷蓄積時間をコントロールすることを例に説明する。図４に２×２画素の単位マトリクスの概略構成図を示し、図５に２×２画素の単位マトリクスとする場合のリセットトランジスタ３６を駆動するためのリセットクロック線（リセットＴｒ駆動クロック線）と読出選択用トランジスタ３４を駆動するための転送クロック線（転送ゲート駆動クロック線）の配線形態の一例を示し、図６に単位マトリクス内の個々の単位画素３に対する駆動タイミングと電荷量の時間変化の一例を示す。
【００５９】
図４に示すように、単位マトリクス内の画素構成は、電荷生成部３２（フォトダイオードＰＤ）、フローティングディフュージョン３８、行方向の画素を選択するための垂直選択用トランジスタ４０、およびフローティングディフュージョン３８の電位を検出するための増幅用トランジスタ４２を有する単位画素３、フローティングディフュージョン３８の電位をリセットレベルにリセットするリセットトランジスタ３６、電荷生成部３２からフローティングディフュージョン３８に電荷を転送するための読出選択用トランジスタ３４が２次元状に配列されている。なお、図４では垂直選択用トランジスタ４０および増幅用トランジスタ４２を割愛して示している。
【００６０】
図４および図５（Ａ）に示すように、リセットトランジスタ３６を駆動するためのリセットＴｒ駆動クロック線は行方向に、読出選択用トランジスタ３４を駆動するための転送ゲート駆動クロック線は列方向に、互いに交差するように配線されている。そして、図４に示すようにそれぞれバッファ６０，６２を介して対応するパルス信号が入力されることで、図４および図５（Ａ）に示すようにマトリクス状に電荷蓄積時間を制御可能な構成となっている。
【００６１】
リセットトランジスタ３６は奇数行（２ｐ−１；ｐは正の整数）と偶数行（２ｐ）とで個別に駆動されるようになっている。たとえば、奇数行を駆動するためのクロック線は奇数行用のバッファ６０ｏを介し、また偶数行を駆動するためのクロック線は偶数行用のバッファ６０ｅを介し、対応するリセットゲートパルス信号ＲＳＴが入力されるようになっている。また、読出選択用トランジスタ３４は奇数列（２ｑ−１；ｑは正の整数）と偶数列（２ｑ）とで個別に駆動されるようになっている。たとえば、奇数列を駆動するためのクロック線は奇数列用のバッファ６２ｏを介し、また偶数列を駆動するためのクロック線は偶数列用のバッファ６２ｅを介し、対応する転送パルス信号ＲＯＧが入力されるようになっている。
【００６２】
すなわち、リセットＴｒ駆動クロック線は奇数行と偶数行とで、転送ゲート駆動クロック線は奇数列と偶数列とで、図６（Ａ）の各図における上部のタイミングチャートに示された駆動が行なわれる。このとき、電荷生成部３２（フォトダイオードＰＤ）とフローティングディフュージョン３８の電荷量の時間変化は図６（Ａ）の各図における下部のようになる。シャッタ動作をさせる前には、リセットゲートパルスＲＳＴをリセットトランジスタ３６に印加してフローティングディフュージョン３８の電荷をクリアしておく（図６（Ａ）中のｔａ）。この状態で撮像を行なうと、先ず電荷生成部３２に電荷が蓄積される。この蓄積電荷は読出選択用トランジスタ３４への転送ゲートパルスの印加によりフローティングディフュージョン３８に渡される（図６（Ａ）中のｔｂ，ｔｃ時点）。したがって、増幅用トランジスタ４２のドレインには、このフローティングディフュージョン３８の電荷量に応じた信号電圧が現れる。しかしながら、この時点では垂直選択用トランジスタ４０がオンしないので、実質的には読出しが行なわれない。
【００６３】
撮像し電荷生成部３２に電荷を蓄積している過程の所定のタイミングで、リセットトランジスタ３６にリセットゲートパルスが印加され、フローティングディフュージョン３８がクリアされる（図６（Ａ）中のｔｒ）。この後、実質的な読出タイミングを規定するべく、選択用トランジスタ３４に転送ゲートパルスが印加にされ、リセットゲートパルスＲＳＴがリセットトランジスタ３６に印加される直前の転送パルスＲＯＧ以降の期間に電荷生成部３２に蓄積されていた信号電荷がフローティングディフュージョン３８に渡される（図６（Ａ）中のｔｅ時点）。
【００６４】
したがって、増幅用トランジスタ４２のドレインには、このフローティングディフュージョン３８の電荷量に応じた信号電圧が現れる。この後、所定のタイミングで垂直選択用トランジスタ４０に垂直シフトパルスが印加され、ｔｅ時点におけるフローティングディフュージョン３８の電荷量に応じた信号電圧が、垂直信号線１９を介してＣＤＳ処理部２６に入力される。つまり、ｔｅ時点が実質的な読出タイミングとなり、最終的なリセットゲートパルスＲＳＴが立つ直前の転送パルスＲＯＧ以降の期間がその画素での電荷蓄積時間（露光蓄積期間）となり、２×２マトリクスのカラムごとに異なった電荷蓄積時間（つまり感度やシャッタ速度）を持たせることができる。
【００６５】
たとえば、奇数行かつ奇数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｅ時点にフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“２”で示すように、ｔｂ時点からｔｅ時点までの２単位時間分が実質的な電荷蓄積時間となる。また、奇数行かつ偶数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡されさらにｔｃ時点にもフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｅ時点にフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“１”で示すように、ｔｃ時点からｔｅ時点までの１単位時間分が実質的な電荷蓄積時間となる。
【００６６】
さらに、偶数行かつ奇数列の単位画素３では、ｔａ後のｔｂ時点の前にフローティングディフュージョン３８に対して行なわれるリセット動作は事実上何の影響も与えないので、ｔｂ時点にフローティングディフュージョン３８に渡されさらにｔｅ時点にもフローティングディフュージョン３８に渡された信号電荷が有効に利用されるので、図中“４”で示すように、ｔａ時点からｔｅ時点までの４単位時間分が実質的な電荷蓄積時間となる。また、偶数行かつ偶数列の単位画素３では、ｔｂ時点にフローティングディフュージョン３８に渡された信号電荷がその後のｔｒ時点のリセット動作により無効化されるため、ｔｃ時点にフローティングディフュージョン３８に渡されさらにｔｅ時点にもフローティングディフュージョン３８に渡された信号電荷のみが有効に利用されるので、図中“３”で示すように、ｔｂ時点からｔｅ時点までの３単位時間分が実質的な電荷蓄積時間となる。
【００６７】
よって、２×２画素の単位マトリクスについて、図６に示すようなタイミングで各単位画素３を駆動制御すれば、単位マトリクスにおける最大露光蓄積時間は、偶数行かつ奇数列の単位画素３の電荷蓄積時間にて決定される。そして、各単位画素３の電荷蓄積時間Ｔ１〜Ｔ４すなわち感度Ｓ０〜Ｓ３は、駆動パルスタイミングに応じた重み付けが設定されることとなる。つまり、駆動パルスの印加タイミングを調整することで、単位マトリクス内のそれぞれの感度が全て異なるようにすることができる。また、行および列の各駆動パルスによる重付けの組合せ変更することで、図６（Ｃ）に示すように、単位マトリクス内の各単位画素３の電荷蓄積時間（感度）の組合せを切り替えることができる。つまり、単位マトリクス内の各単位画素３の露光蓄積時間を違えることで、様々な感度モザイクパターンを構成することが可能となる。
【００６８】
また、カラーフィルタの配列パターンに対して上述した露光蓄積時間を違えることで実現される感度の配列パターンを適用することで、様々な色・感度モザイクパターンを構成することが可能となる。何れの場合も、同一の感度特性を有する複数の単位画素３に直目すればその単位画素３は格子状に配置され、感度モザイク画像を生成するようになる。また、色にも着目すれば、同一の色成分および感度特性を有する複数の単位画素３が格子状に配置され、かつ、感度特性に拘わらず、同一の色成分を有する複数の単位画素３も格子状に配置された色・感度モザイク画像を生成するようになる。
【００６９】
ただし、様々な感度モザイクパターンを構成することが可能となるとはいっても、たとえば２×２の単位マトリクスにて４段階の露光蓄積時間を設定する際の配列順には一定の制限があり、形成可能なモザイクパターンにも制限が生じる。たとえば、３段階の感度を設定することはできないし、たとえば感度Ｓ０の画素の上（下）あるいは右（左）には必ず感度Ｓ１もしくは感度Ｓ２の画素が存在するため、４段階の感度であっても対応できない配列パターンがある。たとえば、図６（Ｄ）に示すように、感度Ｓ０の画素の上（下）あるいは右（左）に感度Ｓ３が配されたものは対応できない。
【００７０】
なお、上記実施形態の駆動方法では、図６（Ｂ１）に示すように、単位マトリクス内の各画素からの実質的な読出しを同じタイミングとすることで、単位マトリクス内の各単位画素３の電荷蓄積期間を、最も長い蓄積時間を持つ画素すなわち最も感度の高い画素（本例では偶数行かつ奇数列の感度レベルＳ３の単位画素３）の蓄積期間に内包させることができる。図６（Ｂ２）に示すように、単位マトリクス内の各画素の露光期間がずれていると移動物体に対する破綻（具体的には画像のブレ）が多くなるが、図６（Ｂ１）に示すように駆動することで、単位マトリクス内の各画素からの読出しを同じタイミングとすることができ、各画素の電荷蓄積時間は異なるものの露光期間をほぼ同じ期間とすることができる。これにより、各画素の露光期間の同時性が高く、移動物体があった場合でも、広ダイナミックレンジ画像を生成したときの破綻が少ないという利点が得られる。
【００７１】
ただし、移動物体を対象としないケースや移動物体のブレを許容するケースでは、図６（Ｂ２）に示すような駆動タイミングで読出選択用トランジスタ３４やリセットトランジスタ３６を制御するようにしても構わない。つまり、第１実施形態の単位画素３の構成においては、通常の駆動制御方法のようにして、フローティングディフュージョン３８に信号電荷を転送させるタイミングは、画素ごとに異なるものとすることで、擬似グローバルシャッタ機能を使わないこともできる。
【００７２】
また、個々の単位画素３にそれぞれ異なる電荷蓄積時間を持たせることができるため、広ダイナミックレンジモード時には各単位画素３に対応するそれぞれ電荷蓄積時間の異なる画像を用いて１つの画像を合成することで、滑らかな階調を持つ広ダイナミックレンジ画像を示す映像出力信号を生成することができる。
【００７３】
加えて、電子シャッタのシャッタ速度、すなわち画素の電荷蓄積時間に相当する時間は信号電荷の排出時点から信号電荷の読み出し時点までで決まるが、各単位マトリクスに対しての実質的な読出タイミング（ｔｅ）を共通としているので、水平方向の右と左で蓄積時間が異なってしまうという問題も生じないので、ライン方向（行方向）のシェーディングを防止することができる。つまり、この方式では、電荷生成部３２の光電変換素子（フォトダイオードＰＤ）に光が入射することで発生した信号電荷を全画素同時に一旦電荷蓄積部としてのフローティングディフュージョン３８に転送して蓄積させておき、所定の読出タイミング（本例ではｔｅ時点）で順次画素信号に変換する。また転送後に光電変換素子に光が入射することで、電荷生成部３２に蓄積される電荷を、次の露光蓄積に先立って排出させる。これにより、電荷蓄積部としてのフローティングディフュージョン３８に蓄積された信号電荷量に応じた画素信号が得られ、電荷生成部３２に対する露光後のフローティングディフュージョン３８への転送タイミングを調整することで、単位マトリクス相互の間では露光蓄積時間差を生じることのない電子シャッタ機能（擬似グローバルシャッタ機能）を実現することができる。
【００７４】
たとえば、上述のようなタイミングで読出選択用トランジスタ３４とリセットトランジスタ３６とを２次元マトリクス状に駆動することで、電荷蓄積時間を、一定の制限の元で（任意に制御可能という訳ではなく）、画素ごとに制御することができる。たとえば、低速シャッタ時の電荷蓄積時間を１／６０秒とする場合、駆動制御部７による広ダイナミックレンジモード時の読出制御は次のようになる。なお、１／６０秒以外でも同様に考えることができる。たとえば、電荷生成部３２（フォトダイオードＰＤ）に電荷の蓄積を行なうが、このとき、奇数行かつ奇数列の単位画素３には１／１２０秒（＝２／２４０秒）、奇数行かつ偶数列の単位画素３には１／２４０秒、偶数行かつ奇数列の単位画素３には１／６０秒（＝４／２４０秒）、偶数行かつ偶数列の単位画素３には１／８０秒（＝３／２４０秒）、というように、駆動制御部７は、各単位画素３が各々異なる電荷蓄積時間となるように制御する。
【００７５】
つまり、偶数行かつ奇数列の単位画素３を１／６０秒のシャッタ速度とする場合は、この偶数行かつ奇数列の単位画素３が電荷を蓄積する１／６０秒（＝４／２４０秒）の内、奇数行かつ奇数列の単位画素３では２／２４０秒の間は電荷の掃き出しを行ない残りの２／２４０秒のみで電荷の蓄積を行なうようにすればよい。同様に、奇数行かつ偶数列の単位画素３では、３／２４０秒の間は電荷の掃き出しを行ない残りの１／２４０秒のみで電荷の蓄積を行ない、偶数行かつ偶数列の単位画素３では１／２４０秒の間は電荷の掃き出しを行ない残りの３／２４０秒のみで電荷の蓄積を行なうようにすればよい。
【００７６】
増幅用トランジスタ４２は、電荷生成部３２が各電荷蓄積時間に受光して得た信号電荷に対応する画素信号を生成する。この後、垂直選択用トランジスタ４０への垂直シフトパルスの駆動により、ｔｅ時点における増幅用トランジスタ４２の電圧信号が、実質的に有効な画素信号として垂直信号線１９に伝達され、ＣＤＳ処理部２６に入力される。そして、水平選択用トランジスタ５０への水平シフトパルスの駆動により水平信号線１８を介して出力バッファ２８に伝達され、外部回路１００に出力される。
【００７７】
このような構成により、たとえば、カラーフィルタを備えていない撮像部の場合には、ｍ×ｎ画素のマトリクスからなる組について、各単位画素３の蓄積時間をそれぞれ異なるものに制御し、その画素信号を処理することにより、すなわち、撮像により得られる感度モザイク画像に対して感度に着目したデモザイク処理を施すことにより、広ダイナミックレンジのモノクロ画像を得ることができる。また、通常モード時には、通常の映像出力信号を得ることができる。
【００７８】
すなわち、各単位画素３は１種類の露光蓄積時間が設定されるので１種類の感度だけを有する。よって、撮像された画像の各画素は本来の撮像素子が有するダイナミックレンジの情報しか取得することができない。しかしながら、外部回路１００では、出力バッファ２８からの撮像信号Ｓ０に基づいてデモザイク処理を施して、全ての画素の感度が均一になるようにすることによって、結果的にダイナミックレンジが広い画像を生成することができる。その詳細については後述するが、画素補間処理により通常のフィールド周期（たとえば１／６０秒や１／５０秒）に対応して広ダイナミックレンジ処理された画像データを得ることができるために、垂直解像度が低下することはない。また、全ての単位画素３がほぼ同時に露光されるので、動きのある被写体を正しく撮像することができる。さらに、１つの受光素子が出力画像の１画素に対応しているので、ユニットセルサイズが大きくなる問題も生じない。
【００７９】
また、カラーフィルタを備えてなる撮像部１０の場合には、色や感度の配列パターンを参照して、画素ごとに色や感度が異なる画像から、全ての画素について、全ての色成分の画像信号を生成し、かつ、感度を均一化することで、モノクロ画像に限らず、広ダイナミックレンジのカラー画像を得ることも可能である。たとえば、図５（Ｂ）に示すように、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線とをカラーフィルタ単位を１ブロックとしてブロックについてマトリクス状に（図ではベイヤ（Ｂａｙｅｒ）配列）動作させ、すなわちカラーフィルタ繰返し単位を単位エリアとして、ｍ×ｎ単位エリアのマトリクスからなる組について、各単位エリア内の複数の単位画素３を纏めてかつ各単位エリアの蓄積時間をそれぞれ異なるものに制御する。たとえば、リセットトランジスタ３６はベイヤブロックの奇数番目の行（２ｓ−１；ｓは正の整数）と偶数番目の行（２ｓ）とで個別に駆動され、また読出選択用トランジスタ３４はベイヤブロックの奇数番目の列（２ｔ−１；ｔは正の整数）と偶数番目の列（２ｔ）とで個別に駆動されるようにする。
【００８０】
そしてこれにより得られる色・感度モザイク画像に対して感度の配列パターンに着目したデモザイク処理を施すことにより、ダイナミックレンジの広いカラー画像を得ることができる。カラーフィルタ繰返し単位内の全単位画素３に対しては共通の蓄積時間を設定するので、通常の色分離処理をカラーフィルタ繰返し単位ごとに施して感度モザイク画像を色成分ごとに生成した後に感度均一化処理を施すことで、ダイナミックレンジの広いカラー画像を得ることができる。つまり、カラーフィルタ単位で処理を行なうことにより、広ダイナミックレンジ画像の生成が行ない易くなる。
【００８１】
なお、カラーフィルタを備えてなる撮像部１０の場合においても、カラーフィルタ繰返し単位に拘わらず、モノクロ時と同様に、ｍ×ｎ画素のマトリクスからなる組について、各単位画素３の蓄積時間をそれぞれ異なるものに制御してもよい。ただしこの場合には、カラーフィルタ繰返し単位内で各単位画素３の電荷蓄積時間が異なるものとなるので、同一の電荷蓄積時間が設定されていることを前提とした通常の色分離処理を用いたのでは、適切に色分離を行なうことができない。よって、カラーフィルタ繰返し単位内でのフィルタ配列と各単位画素３に対する露光時間に応じた補間処理を伴うデモザイク処理、すなわち色・感度モザイク画像に対して色および感度の双方の配列に着目したデモザイク処理を施すことが必要となる。一方この場合、１つの単位画素３を出力画像の１画素に対応させることができ、ユニットセルサイズが大きくなる問題が生じないという利点がある。ただし、空間的な補間処理を伴うので鮮鋭度低下を避けることはできない。
【００８２】
なお、読出フィールドで単位マトリクス内の各単位画素３の電荷蓄積時間の組合せを切り替えることで、時間補間を利用しかつ感度に着目したデモザイク処理を行なうようにしてもよい。こうすることで、フリッカが生じ得るものの、同一画素位置には全ての電荷蓄積時間の信号が得られるので画素補間によらずにデモザイク処理を行なうことができ、高解像度かつ広ダイナミックレンジの画像を生成することができる。フィールド単位での画素補間処理により得られる画像は、鮮鋭度が低下し暈けた画像となるがフィールドフリッカは生じない。これに対して、ｎフィールド単位での時間補間処理により得られる画像は、フィールドフリッカが生じるものの鮮鋭度の良好な画像となる。
【００８３】
たとえば図６では、２×２画素を単位マトリクスとしているので、図６（Ｃ）に円状に矢指するように、４つのフィールドでその組合せが順次切り替わるようにするとよい。このとき、基準のフィールド周期を通常のフィールド周期の４倍としておき、合成して得た広ダイナミックレンジの画像をレート変換して通常のフィールド周期あるいはフレーム周期の画像を生成することで、通常のモニタ（インタレーススキャンおよびプログレッシブスキャンの何れでもよい）との整合を採るようにしてもよい。こうすることで、フリッカも目立たず、高解像度かつ広ダイナミックレンジの画像を通常のＴＶモニタ上に提示することができる。時間補間を伴わないデモザイク処理では、空間的な補間処理を伴うので鮮鋭度低下を避けることはできないのと対照的である。また、通常のフィールド周期（たとえば１／６０秒や１／５０秒）に対応して広ダイナミックレンジ処理されたデータを得ることができるために、垂直解像度が低下することはない。
【００８４】
＜単位画素のその他の構成例＞
図７は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第２実施形態の詳細例を示した図である。ここで図７（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図７（Ｂ）は断面図である。第１実施形態の単位画素３は、２箇所の電荷蓄積部として電荷生成部３２とフローティングディフュージョン３８を持つ構成であったが、この第２実施形態の単位画素３は、フォトゲート６６とフローティングディフュージョン３８とにより構成している点に特徴を有する。
【００８５】
図示するように、フォトゲート６６をなすポリシリコン電極が電荷生成部３２の感光面上を覆って形成されている。この場合、開口部については光透過性を呈し、開口部を除く部分は遮光性を呈するものとする。このフォトゲート６６の電極は読出選択用トランジスタ３４のゲート電極と共通に転送ゲート駆動クロック線に接続される。通常モードおよび広ダイナミックレンジモードの何れについても、電荷蓄積時間の制御や読出タイミングの制御などに関しては、第１実施形態と同様であるので、説明を割愛する。
【００８６】
図８は、図１に示した固体撮像装置１の撮像部１０における単位画素３の第３実施形態の詳細例を示した図である。ここで図８（Ａ）は単位画素３（一部周辺部を含む）の基本的な等価回路図、図８（Ｂ）は断面図である。この第３実施形態の単位画素３は、フローティングディフュージョン３８を有するとともに、フローティングディフュージョン３８とは別に電荷蓄積部４４を構成するようにした点、つまり２箇所の蓄積部として電荷生成部３２と蓄積専用キャパシタとを備える構成とした点に特徴を有する。以下具体的に説明する。
【００８７】
第３実施形態の電荷生成部３２は、第１実施形態のものと同様に、光を電荷に変換する光電変換機能とともに、その電荷を蓄積する電荷蓄積機能の各機能を兼ね備えたものを使用する。そして、この電荷生成部３２のフォトダイオードＰＤに対して、単位マトリクス間では蓄積時間差を生じることのない電子シャッタ機能である擬似グローバルシャッタ機能を実現するために、単位画素３ごとに、電荷生成部３２の読出選択用トランジスタ３４と画素信号生成部５との間に電荷蓄積部４４と、全画素についての電荷生成部３２（フォトダイオードＰＤ）を露光した後その電荷生成部３２にて生成された信号電荷を同時に電荷蓄積部４４に転送させる転送ゲート部４６とを備えた構造となっている。電荷蓄積部４４は、１Ｈ（Ｈ：水平走査期間）以上の期間電荷を蓄積する部分である。
【００８８】
たとえば、単位画素３の断面図を図８（Ｂ）に示すように、フォトダイオードＰＤと読出選択用トランジスタ３４との間に、転送ゲート部４６および電荷蓄積部４４がこの順に水平方向（図の左方向）に形成されている。そして、読出選択用トランジスタ３４、電荷蓄積部４４、および転送ゲート部４６は、ソースおよびドレイン端子を共通とするマルチゲート構造となっている。そして、これらの３つの中間に配置される電荷蓄積部４４は、事実上、ゲートを持つＭＯＳダイオードとして構成されている。
【００８９】
転送ゲート部４６および電荷蓄積部４４の部分の基板表面側には、たとえばポリシリコンによって単層もしくは２層構造で形成された転送電極（ゲート電極）が配設されている。そして、転送ゲート部４６のゲート電極（特にフレームシフトゲートＦＳＧという）には蓄積部転送駆動線を介してフレームシフトパルスが入力され、電荷蓄積部４４のゲート電極（特にストレージゲートＳＴＧという）にはストレージパルスが入力される構造とする。
【００９０】
垂直選択用トランジスタ４０は、ドレインが電源ＶＤＤに、ソースが増幅用トランジスタ４２のドレインにそれぞれ接続され、ゲート（特に垂直選択ゲートＳＥＬＶという）は垂直選択線５２に接続されている。この垂直選択線５２には、垂直選択信号が印加される。増幅用トランジスタ４２は、ゲートがフローティングディフュージョン３８に接続され、ドレインが垂直選択用トランジスタ４０のソースに、ソースは画素線５１に接続されている。なお、垂直選択用トランジスタ４０と増幅用トランジスタ４２は、第１実施形態と同様の接続構成であってもよい。
【００９１】
フレームシフトゲートＦＳＧに入力されるフレームシフトパルス、ストレージゲートＳＴＧに入力されるストレージパルス、読出ゲートＲＯＧに入力される読出パルス、リセットゲートＲＧに入力されるリセットパルス、垂直選択ゲートＳＥＬＶに入力される垂直選択信号、および水平選択ゲートＳＥＬＨに入力される水平選択信号は、単位画素３に対して行方向もしくは列方向に配線される。
【００９２】
図８（Ｂ）に示した第３実施形態の単位画素３の素子構造では、電荷蓄積部４４がゲートを持つＭＯＳダイオードであり、電荷蓄積部４４のゲート電極下には電荷を蓄積する部分が形成される。この場合、フォトダイオードＰＤと電荷蓄積部４４との間に配される転送ゲート部４６のゲート電極を、電荷蓄積部４４のゲート電極と共通にし、このゲート電極を電荷生成部３２の際まで延在するように形成した１枚ゲート構成にしている。この場合、当然に、フレームシフトパルスとストレージパルスとが共通に使用される。この構造の転送ゲート部４６としての働きは、ｎ−またはｐ−によるイオンインプランテーションにて転送ゲート部４６と電荷蓄積部４４との不純物濃度差を付ける、あるいは、転送ゲート部４６と電荷蓄積部４４との酸化膜厚差を付ける、などによる障壁（ポテンシャル差）を付けることで行なうとよい。なお、図２（Ｂ）に示すように、読出選択用トランジスタ３４やリセットトランジスタ３６の部分にも、ｎ−またはｐ−によるイオンインプランテーションをしておく。
【００９３】
１枚ゲート構成とした場合の電荷蓄積部４４および転送ゲート部４６近傍の等価回路図を図８（Ｃ）に、また各ゲートがオフ時の電圧ポテンシャル図を図８（Ｄ）に示す。この１枚ゲート構成に限らず、電荷蓄積部４４と転送ゲート部４６の各ゲートを別々に設けた２枚ゲート構成としてもよい。ただし、２枚ゲート構成とすると、２つのゲート電極の加工位置ズレの問題や、電極間にギャップがあることにより、電荷生成部３２から電荷蓄積部４４に信号電荷を転送させ難い部分が生じる。これに対して１枚ゲート構成とすると、単位画素３への配線を１つ減らすことやゲートと配線コンタクトを減らすことができる（図８（Ｃ）参照）。加えて、イオンインプランテーション量や酸化膜厚差を制御することでポテンシャル差を制御することができるので、素子の加工精度が高まる。また、ゲート電極間にギャップが生じないので、電荷生成部３２から電荷蓄積部４４への信号電荷の転送効率が高まる。
【００９４】
なお、１枚ゲート構成であるのか２枚ゲート構成であるのかに拘わらず、電荷生成部３２のフォトダイオードＰＤと電荷蓄積部４４との間に配される転送ゲート部４６は、オフ状態でチャネルの表面が信号電荷とは反対の導電形の電荷を蓄積した状態を形成可能にする。また、読出選択用トランジスタ３４やリセットトランジスタ３６についても同様である。なお、このような状態を形成させるためにオフ時にゲート電極に印加する電圧は、各素子の不純物のイオン濃度（ドーズ量）やゲート電極の膜厚に依存する。ゲート電極下のチャネル領域表面が反転状態になるよう所定の電位を印加してオフさせると界面準位が正孔で埋められる（ピニング；ｐｉｎｎｉｎｇという）。このため、電荷転送路としての転送ゲート部４６や読出選択用トランジスタ３４やリセットトランジスタ３６では、オフ時に所定の電位を印加することで界面準位が原因となって発生する暗電流を抑制することができる。
【００９５】
このように、第３実施形態の単位画素３においても、高感度側の撮像を伴う高ダイナミックレンジモード時においてもノイズの少ない良好な画像が得られるように、様々な観点から、ノイズ対策が採られている。
【００９６】
図９は、第３実施形態の単位画素３を備えた固体撮像装置１における走査のタイミングチャートの一例である。なお、第３実施形態では、フレームシフトゲートＦＳＧに入力されるフレームシフトパルスを、ストレージゲートＳＴＧに入力されるストレージパルスと共通に使用する。
【００９７】
先ず、電荷生成部３２のフォトダイオードＰＤを露光して信号電荷をそのフォトダイオードＰＤに蓄積するのに先立って、フレームシフトパルスをアクティブ（Ｈ；ハイ）にして転送ゲート部４６をオンさせることで、この時点においてフォトダイオードＰＤに蓄積されている不要な電荷（不要電間）を電荷蓄積部４４側に掃き捨てる（ｔ０〜ｔ２）。その後、フォトダイオードＰＤと電荷蓄積部４４との間のゲート機能部分である転送ゲート部４６を閉じて、露光蓄積開始となる。これらの処理は、全画素について略同時に行なう。
【００９８】
次に、フレームシフトパルスもインアクティブにして、フォトダイオードＰＤが露光されることで生成される信号電荷を、そのフォトダイオードＰＤに蓄積する動作を開始する（ｔ２）。そして、通常モード時には、全画素共通に、信号電荷の露光蓄積状態をｔ１２まで継続する。また、露光蓄積状態と並行して、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に掃き出した不要電荷をフローティングディフュージョン３８に転送する。そして読出選択用トランジスタ３４をオフさせ、さらにリセットパルスをアクティブにしてリセットトランジスタ３６をオンさせることで、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットする。これにより、電荷生成部３２から、転送ゲート部４６、電荷蓄積部４４、読出選択用トランジスタ３４を順に経由してフローティングディフュージョン３８に転送された不要電荷が電源ＶＤＤに掃き出される。
【００９９】
通常モード時におけるこれらの処理は、信号電荷蓄積の完了前に完結していればよい。図では、ｔ２〜ｔ４にて読出パルスをアクティブにし、ｔ４〜ｔ６にてリセットパルスをアクティブにしているが、この例に限らず、図中において、多少右側にシフトした位置にてこれらの処理を行なってもよい。また、単位マトリクス内の単位画素３に対して個別に電荷蓄積時間を設定する広ダイナミックレンジモードの場合には、図示する露光蓄積期間内で、第１実施形態で示したと同様のタイミングで、転送ゲートパルス（読出パルス）ＲＯＧとリセットパルスＲＳＴ（ＲＧ）を単位マトリクス内の各単位画素３に対して個別に設定するとよい。
【０１００】
次に、モードに拘わらず、電荷生成部３２にて得た信号電荷を全画素同時に電荷蓄積部４４に転送させる（フレームシフトさせる）のに先立って、電荷蓄積部４４をクリアにしておく。このため、露光蓄積完了時にフレームシフトパルスをアクティブにするのに先立って、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に蓄積されている不要電荷をフローティングディフュージョン３８に転送する（ｔ８〜ｔ１０）。そして、読出選択用トランジスタ３４をオフさせ、さらにリセットパルスをアクティブにしてリセットトランジスタ３６をオンさせて、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットすることで、電荷蓄積部４４からフローティングディフュージョン３８に転送された不要電荷を電源ＶＤＤに掃き出す（ｔ１０〜ｔ１２）。なお、前述のｔ２〜ｔ４，ｔ４〜ｔ６の処理を割愛し、ｔ８〜ｔ１０，ｔ１０〜ｔ１２の処理にて兼用するようにしてもかまわない。
【０１０１】
次に、電荷生成部３２にて得た信号電荷を全画素同時に電荷蓄積部４４に転送させるため、全画素について略同時に、フレームシフトパルスをアクティブにして、フォトダイオードＰＤが露光されることで生成された信号電荷を電荷蓄積部４４に転送させる（ｔ１０〜ｔ１２）。次に、信号電荷を電荷生成部３２から電荷蓄積部４４に転送させた後の所定の時点において、画素信号生成部５は、電荷蓄積部４４から信号電荷を読み出して（ラインシフトして）画素信号を得る。このため、先ず読出対象画素である、任意の水平ラインにおける所定位置の画素について、水平選択信号をアクティブにすることで、水平選択用トランジスタ５０をオンさせる（ｔ１４）。
【０１０２】
この後、リセットパルスをアクティブにしてリセットトランジスタ３６をオンさせて、フローティングディフュージョン３８をリセットトランジスタ３６を通して電源ＶＤＤにリセットすることで、フローティングディフュージョン３８をクリアにする（ｔ１６〜ｔ１８）。こうすることで、リセットレベルに応じた電圧が画素線５１に現れ、さらに垂直信号線１９、ＣＤＳ処理部２６、水平選択用トランジスタ５０を介して出力バッファ２８に伝達される。そして、この直後に、サンプルパルスＳＨＰをアクティブにすることで、ＣＤＳ処理部２６においては、クリアにされた時点の画素信号レベル（リセットレベル）を保持する（ｔ２０〜ｔ２２）。たとえば、その時点の電圧値を予め定められている所定電圧にクランプする。
【０１０３】
次に、読出パルスをアクティブにして読出選択用トランジスタ３４をオンさせることで、電荷蓄積部４４に蓄積されている不要電荷をフローティングディフュージョン３８に読み出す（ｔ２４〜ｔ２６）。この後、読出パルスをインアクティブにすることで（ｔ２６）、読出対象画素について、フローティングディフュージョン３８に読み出された信号電荷は、その電荷量に応じて増幅用トランジスタ４２で増幅されて信号電圧となり垂直信号線１９に現れ、さらにＣＤＳ処理部２６、水平信号線１８、および水平選択用トランジスタ５０を介して出力バッファ２８に伝達される。
【０１０４】
そして、この直後に、サンプルパルスＳＨＤをアクティブにすることで、ＣＤＳ処理部２６においては、信号電荷量に応じた画素信号レベルを保持する（ｔ２８〜ｔ３０）。この後、水平選択信号をインアクティブにする（ｔ３２）。ＣＤＳ処理部２６は、サンプルパルスＳＨＰにて取得したリセットレベルとサンプルパルスＳＨＤにて取得した画素信号レベルとの差を取ることで、固定パターンノイズＦＰＮやリセットノイズを取り除く。
【０１０５】
上述した一連の動作の繰り返しにより、単位画素３が２次元マトリクス状に配設された撮像部１０から画素信号が順次出力され、最終的にＣＤＳ処理部２６から撮像信号が得られる。
【０１０６】
このように、第３実施形態の単位画素３の場合、電荷蓄積部４４への転送後にフォトダイオードＰＤに光が入射することで電荷生成部３２に蓄積される電荷を、次の露光蓄積に先立って排出させる。これにより、電荷蓄積部４４に蓄積された信号電荷量に応じた画素信号が増幅用トランジスタ４２から得られ、露光後の電荷蓄積部４４への転送タイミングを調整することで、単位マトリクス間では露光蓄積時間差を生じることのない擬似グローバル電子シャッタ機能を実現することができる。また、フローティングディフュージョンＦＤに掃き出した不要電荷をリセットドレインＲＤとして機能する電源ＶＤＤに排出するモード（ｔ４〜ｔ６期間）で、電荷蓄積期間を除く期間に擬似ブルーミング現象によって電荷蓄積部４４などに漏れ込んだ不要電荷や電荷蓄積部４４内に発生した暗電流を排出することができ、擬似ブルーミング現象や暗電流に伴う画質劣化を抑制することができるという利点がある。
【０１０７】
ここで、「擬似ブルーミング現象」とは、ＣＣＤ撮像デバイスにおけるブルーミング現象に似た現象のことである。たとえば、電荷生成部の光電変換素子に強い光が入射すると、光電変換素子で蓄積できる最大電荷量以上の電荷が生成されることで、その電荷が光電変換素子から溢れ出し、転送ゲートやチャネルストップ領域を通って、画素信号生成部や隣接画素内の電荷生成部などへ流出してしまう、いわゆる「ブルーミング現象」が問題となる。光電変換素子で得た信号電荷を全画素同時に一旦電荷蓄積部に転送させるなどによりグローバルシャッタ機能を実現する構造においても同様に「ブルーミング現象」が生じる。
【０１０８】
そして、「ブルーミング現象」が生じると、撮像画像に白い帯状または白い円状パターンが観察され、画質が劣化する。特に、電荷蓄積部を設けてグローバルシャッタ機能を実現する構造のものでは、電荷生成部で生成された過剰電荷が自身の画素内の電荷蓄積部にも溢れ出す。前述のように、電荷蓄積部に蓄積された信号電荷量に応じて画素信号を得るので、ブルーミング現象が自身の画素そのものの信号成分を変化させることになる。また、信号電荷を電荷蓄積部に転送した後に光電変換素子に光が入射することで生じる電荷が電荷蓄積部に漏れると、「ブルーミング現象」と同様の問題（擬似ブルーミング現象）が生じる。
【０１０９】
＜他のマトリクス制御形態＞
図１０〜図１２は、単位マトリクスのサイズや単位マトリクス内の読出選択用トランジスタ３４およびリセットトランジスタ３６に対する駆動手法の他の事例を説明する図である。
【０１１０】
図１０は、３×３画素を単位マトリクスとした駆動手法を説明する図である。図１０（Ａ）に示すように、リセットトランジスタ３６は３ｐ−２番目の行（ｐは正の整数）、３ｐ−１番目の行、および３ｐ番目の行とで個別に駆動され、また読出選択用トランジスタ３４は３ｑ−２番目の列（ｑは正の整数）、３ｑ−１番目の行、および３ｑ番目の列とで個別に駆動されるようにしている。また、図１０（Ｂ）に示すように、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、３ｐ−２番目および３ｑ−２番目については“１”、３ｐ−１番目および３ｑ−１番目については“２”、３ｐ番目および３ｑ番目については“３”を設定することで、３×３画素の単位マトリクス全体としては、９段階の電荷蓄積時間の重付けが設定されるようにしている。ｉ行ｊ列の単位画素３の重付け値は、ｉ行の重付け加算分（＝ｉ行の重付け値ｓ×（ｉ−１））とｊ列の重付け値ｔの和となる。
【０１１１】
このことから推測されるように、ｍ×ｎ画素を単位マトリクスに展開した場合、リセットトランジスタ３６は行ごとに個別に駆動され、また読出選択用トランジスタ３４は列ごとに個別に駆動されるようにし、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、１，２，…と設定することで、ｍ×ｎ画素の単位マトリクス全体としては、ｍ×ｎ段階の電荷蓄積時間の重付けを設定することが可能となる。この場合においても、ｉ行ｊ列の単位画素３の重付け値は、ｉ行の重付け加算分（＝ｉ行の重付け値ｓ×（ｉ−１））とｊ列の重付け値ｔの和となる。また、それぞれの行や列に対する電荷蓄積時間の重付けの配列順を変えることで、単位マトリクス内における電荷蓄積時間の重付けの配列順を組み替えることができる（図６（Ｃ）参照）。
【０１１２】
図１１は、２×２画素を単位マトリクスとしつつ、読出選択用トランジスタ３４とリセットトランジスタ３６の配線対象の行／列を第１〜第３実施形態と逆にした構成を示す図である。すなわち、読出選択用トランジスタ３４は奇数行（２ｐ−１；ｐは正の整数）と偶数行（２ｐ）とで個別に駆動され、またリセットトランジスタ３６は奇数列（２ｑ−１；ｑは正の整数）と偶数列（２ｑ）とで個別に駆動されるようにしている。また、図１１（Ｂ）に示すように、それぞれの行や列に対する電荷蓄積時間の重付けの関係として、２ｐ−１番目および２ｑ−１番目については“１”、２ｐ番目および２ｑ番目については“２”を設定することで、２×２画素の単位マトリクス全体としては、４段階の電荷蓄積時間の重付けが設定されるようにしている。同様の手法は、ｍ×ｎ画素を単位マトリクスとする場合にも適用可能である。そして、何れのマトリクスサイズであっても、ｉ行ｊ列の単位画素３の重付け値は、ｊ列の重付け加算分（＝ｊ列の重付け値ｔ×（ｊ−１））とｉ行の重付け値ｓの和となる。
【０１１３】
図１２は、２×２画素を単位マトリクスとしつつ、行列方向に対して斜め方向に読出選択用トランジスタ３４とリセットトランジスタ３６の駆動クロック線を設けた構成を示す図である。この場合、これまでに述べてきた形態と異なり、リセットトランジスタ３６に対して咬み合う読出選択用トランジスタ３４の駆動線の番号が同じものとなる。このため、それぞれのクロック線には異なるレベルの電荷蓄積時間の重付けを設定しているにも拘わらず、２×２画素の単位マトリクス全体としては、４（＝２×２）段階とはならずに２段階の電荷蓄積時間の重付けに限定されたものとなる。
【０１１４】
たとえば、図１２（Ａ）に示す配線形態では、レベル１の重付けが設定された第１リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル１の重付けが設定された第１番目のものとなり、電荷蓄積時間の重付けとして“１”が設定される。また、レベル２の重付けが設定された第２リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル２の重付けが設定された第２番目のものとなり、電荷蓄積時間の重付けとして“４”が設定される。
【０１１５】
これに対して図１２（Ｂ）に示す配線形態では、レベル１の重付けが設定された第１リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル２の重付けが設定された第２番目のものとなり、電荷蓄積時間の重付けとして“３”が設定される。また、レベル２の重付けが設定された第２リセットＴｒ駆動クロック線と交差する転送ゲート駆動クロック線は必ずレベル１の重付けが設定された第１番目のものとなり、電荷蓄積時間の重付けとして“２”が設定される。同様の手法は、ｍ×ｎ画素を単位マトリクスとする場合にも適用可能である。そして、何れのマトリクスサイズであっても、ｉ行ｊ列の単位画素３の重付け値は、ｉ番目のリセットＴｒ駆動クロック線の重付け加算分とｊ番目の転送ゲート駆動クロック線の重付け値ｓの和となるが、ｍ×ｎ段階とはならずに限定されたものとなる。
【０１１６】
次に、広ダイナミックレンジモード時における出力バッファ２８から出力された撮像信号Ｓ０を用いた外部回路１００内でのデモザイク処理について説明する。この広ダイナミックレンジモード時には、選択部１３２はデモザイク処理部１２０側に切り替えられている。出力バッファ２８からの撮像信号Ｓ０は、Ａ／Ｄ変換部１１０によりデジタル信号Ｄ０に変換された後に、たとえば図示しないルック・アップ・テーブルにより後段の加算器で加算して広ダイナミックレンジ処理された出力とするための、所定のデータに変換される。以下、具体的に説明する。
【０１１７】
＜色・感度モザイクパターン＞
図１３〜図１６は、色・感度モザイク画像を構成する画素の色成分および感度（つまり露光蓄積期間）の配列パターン（色・感度モザイクパターン）を説明する図である。なお、図１３〜図１６においては、各正方形が１画素に対応しており、英文字がその色を示し、英文字の添え字としての数字がその感度を示している。たとえば、Ｇ１と表示された画素は、色がＧ（緑）であって感度がＳ１であることを示している。また、感度については数字が大きいほど、より露光蓄積時間が長く高感度であるとする。なお、図１３〜図１６に示す色・感度モザイクパターンＰ１〜Ｐ４に関連し、画素の感度に拘わらず色だけに注目して「色のモザイク配列」と記述する。また、色に拘わらず感度だけに注目して「感度のモザイク配列」と記述する。
【０１１８】
色・感度モザイクパターンを構成する色の組合せとしては、Ｒ（赤），Ｇ（緑），およびＢ（青）からなる３色の組合せに限らず、たとえば、Ｙ（黄），Ｍ（マゼンタ），Ｃ（シアン），およびＧ（緑）からなる４色の組合せなどもある。露光蓄積時間を違えることで実現される感度の段階としては、Ｓ０，Ｓ１の２段階や、２×２画素の単位マトリクスとする場合にはＳ０，Ｓ１，Ｓ２，Ｓ３からなる４（＝２×２）段階が設定される。ｍ×ｎ画素の単位マトリクスとする場合において、それぞれを独立とする場合にはｍ×ｎ段階が設定される。
【０１１９】
図１３に示す色・感度モザイクパターンＰ１は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、感度に拘わらず同一の色を有する画素に注目した場合、それらが格子状に配列されている。すなわち、図１３の色・感度モザイクパターンＰ１において、感度に拘わらず色がＲである画素に注目した場合、図面を右回りに４５度だけ回転させた状態で見れば明らかなように、それらは、水平方向には２＾１／２（＾はべき乗を示す）の間隔で、垂直方向には２＾３／２の間隔で格子状の配置されている。また、感度に拘わらず色がＢである画素に注目した場合、それらも同様に配置されている。感度に拘わらず色がＧである画素に注目した場合、それらは、水平方向および垂直方向に２＾１／２の間隔で格子状の配置されている。
【０１２０】
なお、図１３に示す色・感度モザイクパターンＰ１を２×２画素の単位マトリクスに適用する場合には、第１〜第３実施形態で説明したように、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を撮像部１０の全面について維持する構成でよい。
【０１２１】
図１４に示す色・感度モザイクパターンＰ２は、色・感度モザイクパターンＰ１と同様の特徴を有しており、さらに、３種類の色が用いられていて、それらがベイヤ（Ｂａｙｅｒ）配列をなしている。すなわち、図１４の色・感度モザイクパターンＰ２において、感度に拘わらず色がＧである画素に注目した場合、それらは１画素おきに市松状に配置されている。感度に拘わらず色がＲである画素に注目した場合、それらは１ラインおきに配置されている。また、感度に拘わらず色がＢである画素に注目した場合も同様に、１ラインおきに配置されている。したがって、このパターンＰ２は、画素の色だけに注目すれば、ベイヤ配列であるといえる。この図１４に示す色・感度モザイクパターンＰ２を２×２画素の単位マトリクスに適用する場合には、単位画素３の配列位置に応じて、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の配線対象の行／列を逆にする（図１１参照）などの対応を採ることで実現する。
【０１２２】
図１５に示す色・感度モザイクパターンＰ３は、同一の色および感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、色に拘わらず同一の感度を有する画素に注目した場合、それらが格子状に配列されており、かつ、任意の画素に注目した場合、その画素とその上下左右に位置する４画素の合計５画素が有する色の中に、当該色・感度モザイクパターンに含まれる全ての色が含まれている。感度だけに着目すれば、そのパターンは図１３に示す色・感度モザイクパターンＰ１と同様である。
【０１２３】
図１６に示す色・感度モザイクパターンＰ４は、色・感度モザイクパターンＰ３の特徴に加えて、同一の感度を有する画素に注目した場合、それらの配列がベイヤ配列をなしている。たとえば、図１６の色・感度モザイクパターンＰ４において、感度Ｓ０の画素だけに注目した場合、図面を斜め４５度だけ傾けて見れば明らかなように、それらは２＾１／２の間隔を空けてベイヤ配列をなしている。また、感度Ｓ３の画素だけに注目した場合も同様に、それらはベイヤ配列をなしている。図１６に示す色・感度モザイクパターンＰ４を２×２画素の単位マトリクスに適用する場合には、図１２に示したように、画素配列における行列方向に対して斜め方向に読出選択用トランジスタ３４とリセットトランジスタ３６の駆動クロック線を設けることで、２段階の感度を設定する構成とすればよい。
【０１２４】
上記において、色・感度モザイクパターンＰ１〜Ｐ３を２×２画素の単位マトリクスにて実現する場合について、それぞれ示したが、ここで述べた３つの手法を組み合わせたり、配線の接続順序を切り替えたりなどすることで、一定の制限はあるものの、他のパターンについても、実現することが可能となる。
【０１２５】
上述した色・感度モザイクパターンを実現するに際して、色のモザイク配列については、電荷生成部３２のフォトダイオードＰＤの上面に、画素ごとに異なる色の光だけを透過させるオンチップカラーフィルタを配置することによって実現する。また、色・感度モザイクパターンのうち、感度のモザイク配列については、上記第１〜第３実施形態で説明したように、読出選択用トランジスタ３４とリセットトランジスタ３６に対する駆動パルスの印加タイミングを調整することで、隣接する２つの受光素子（第１および第２の受光素子）に対し制御のタイミングを違えることにより２つの受光素子を異なる感度に設定する電子的な方法によって実現する。必要に応じて配線形態（行／列や偶／奇などの順序）を組み替える。つまり、上述した感度のモザイク配列を電子的に実現するには、感度がＳ０，Ｓ１，Ｓ２，Ｓ３の各画素グループについて、それぞれに露光時間を制御可能な電極構造とすればよい。要するに、複数種類の感度設定に応じてリセットＴｒ駆動クロック線や転送ゲート駆動クロック線を複数系統に分け、それぞれの駆動クロック線が蓄積時間の違う信号に対応するように、それぞれの駆動クロック線に独立にパルスを印加する構造とすればよい。
【０１２６】
このとき、２次元マトリクス状に蓄積時間を異なるように単位画素３を配列する場合、理解の容易さから言えば、リセットトランジスタ３６を駆動するためのリセットＴｒ駆動クロック線は行方向に、読出選択用トランジスタ３４を駆動するための転送ゲート駆動クロック線は列方向に配線する、つまり、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を撮像部１０の全面について維持する構成が望ましいが、これに限らず、リセットＴｒ駆動クロック線と転送ゲート駆動クロック線の奇数／偶数の配線順序を組み替えても構わない。何れにしても、感度モザイクパターンによって、その接続形態が決まる。なお、カラー画像撮像の構成とする場合には、色分離処理と広ダイナミックレンジ化処理との関わりから言えば、画素単位で露光蓄積時間を制御するのではなく、先にも述べたように、カラーフィルタ繰返し単位内の全単位画素３に対しては共通の露光蓄積時間を設定しかつカラーフィルタ繰返し単位で露光蓄積時間を制御してもよい。
【０１２７】
＜デモザイク処理の詳細＞
次に、広ダイナミックレンジモード時におけるデモザイク処理部１２０を中心とする画像処理系のモザイク処理、すなわちモザイク画像から元画像を復元する処理について説明する。最初に、カラー画像撮像時においても１つの単位画素３が出力画像の１画素に対応するようにする４つの手法について説明する。なお、以下の説明では、特に断りのない限り、最も基本的なものとして、画素の色は３原色ＲＧＢのうちの何れかの色であり、２×２画素を単位マトリクスとして感度をＳ０，Ｓ１、Ｓ２，Ｓ３の４段階（つまり露光蓄積時間が４段階）のうちの何れかに設定するものとして説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色あるいはそれ以上からなる色・感度モザイク画像に適用することも可能である。また、感度が４段階以上などである色・感度モザイクパターンに適用することも可能である。
【０１２８】
何れの手法においても、色・感度モザイク画像の画素配列パターンにおける、色に着目した色モザイクパターン情報と感度に着目した感度モザイクパターン情報を参照して画素補間処理などを施すことで、Ｒ，Ｇ，Ｂのそれぞれについて感度の均一化された画像を得る。色モザイクパターン情報は、色・感度モザイク画像の各画素の色の種類（本例では、Ｒ，Ｇ，Ｂの何れかの色）を示す情報であり、画素位置をインデックスとして、その画素が有する色成分の情報を取得できるようになされている。また、感度モザイクパターン情報は、色・感度モザイク画像の各画素の感度の種類（本例では、Ｓ０，Ｓ１，Ｓ２，Ｓ３）を示す情報であり、画素位置をインデックスとして、その画素の感度の情報を取得できるようになされている。
【０１２９】
図１７は、デモザイク処理部１２０を中心とする画像処理系の第１のデモザイク処理の概要を示している。ここでは図１４に示す色・感度モザイクパターンＰ２で例示しているが、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。この第１のデモザイク処理は、図１７に示すように、感度を均一化して色モザイク画像Ｍを生成する感度均一化処理と、色・感度モザイク画像Ｍの各画素のＲＧＢ成分を復元する色補正処理からなる。
【０１３０】
感度均一化処理に際しては、撮像系の処理によって得られた色・感度モザイク画像の画素の色を変更することなく、補間処理を行なって本来の光強度を復元する。たとえば、第１段階の処理として、当該画素の感度と異なる感度の画素値を、近傍に存在する同色であって対象感度の画素の画素値を用いて補間することで対象感度の推定値を求める。たとえば、色βであって感度Ｓ０の画素については、感度Ｓ０での画素値はそのまま用いられる。また、感度Ｓ１での推定値が、当該画素の近傍に存在する色βであって感度Ｓ１の画素の画素値を用いて補間される。同様に、感度Ｓ２での推定値が、当該画素の近傍に存在する色βであって感度Ｓ２の画素の画素値を用いて補間され、感度Ｓ３での推定値が、当該画素の近傍に存在する色βであって感度Ｓ３の画素の画素値を用いて補間される。これにより、各画素は、元の色β感度Ｓ０の画素値と、感度Ｓ１の画素値と、感度Ｓ２の画素値と、感度Ｓ３の画素値とを有するようになる。
【０１３１】
このような補間処理に際しては、フィルタ処理が適用される。たとえば、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に設定する。そして、色・感度モザイク画像の各画素の色を変更せずに補間処理を施すことにより、それぞれ感度Ｓ０，Ｓ１，Ｓ２、または感度Ｓ３に対応する補間値を生成する。すなわち、色・感度モザイク画像の注目画素の近傍に位置する画素（たとえば注目画素を中心とする５×５画素）のうち、色が注目画素と同じであり、かつ、感度がＳαである画素を検出し、検出した参照画素の画素値を抽出する。
【０１３２】
そして、検出した参照画素の注目画素に対する相対的な位置に対応して予め設定されているフィルタ係数を参照画素の数だけ取得する。この後、各参照画素の画素値と対応するフィルタ係数とを乗算し、それらの積の総和を演算し、さらに、その積の総和を用いたフィルタ係数の総和で除算し、その商を注目画素の感度Ｓαに対応する補間値とする。最後に、求めた注目画素に対応する全ての感度Ｓαの各補間値を加算し、その和を注目画素に対応する色モザイク候補画像の画素値とし、色モザイク候補画像の画素値をインデックスとして色モザイク画像Ｍの画素値を取得できるように設定されている合成感度補償ＬＵＴ（ルック・アップ・テーブル；図２５，図２６参照）に照らし合わせ、得られた値を注目画素に対応する色モザイク画像Ｍの画素値とする。このような処理を全ての画素について繰り返すことで、感度が均一化された色モザイク画像Ｍを生成する。
【０１３３】
色補正処理に際しては、感度均一化処理によって得られた色モザイク画像Ｍに対し、色モザイクパターン情報を用いる色補間処理（フィルタ処理）を施すことによって出力画像Ｒ，Ｇ，Ｂを生成する。この際には、予め、色モザイク画像Ｍに対して階調変調処理を施す（たとえば変調色モザイク画像Ｍｇの各画素値をγ乗する）ことにより、変調色モザイク画像Ｍｇを生成し、この変調色モザイク画像Ｍｇを処理対象画として用いる。出力画像Ｒ，Ｇ，Ｂを生成する際には、先ず色差画像Ｃ，Ｄと輝度画像Ｌとを生成する色分離処理を行ない、得られた色差画像Ｃ，Ｄと輝度画像Ｌとを用いて色空間変換処理を行なうことで出力画像Ｒ，Ｇ，Ｂを生成する。
【０１３４】
図１８は、デモザイク処理部１２０を中心とする画像処理系の第２のデモザイク処理の概要を示している。ここでは図１６に示す色・感度モザイクパターンＰ４で例示しているが、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。この第２のデモザイク処理は、最初に色成分ごとに感度別の色補間処理を行なって色成分ごとの感度モザイク画像Ｍｓを生成した後に、この感度モザイク画像Ｍｓのそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成するというもので、第１のデモザイク処理と色補間処理と感度均一化処理が逆の手順となっている点に特徴を有する。
【０１３５】
すなわち、第２のデモザイク処理は、図１８に示すように、撮像部の処理によって得られた色・感度モザイク画像の画素の感度を変更することなく、各画素のＲＧＢ成分を補間してＲ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢを生成する感度別色補間処理と、Ｒ成分の感度モザイク画像ＭｓＲ、Ｇ成分の感度モザイク画像ＭｓＧ、およびＢ成分の感度モザイク画像ＭｓＢのそれぞれの感度を均一化して出力画像Ｒ，Ｇ，Ｂを生成する感度均一化処理からなる。
【０１３６】
第２のデモザイク処理における感度別色補間処理は、色・感度モザイク画像から同一の感度の画素だけを抽出する抽出処理と、抽出処理で抽出された画素のＲＧＢ成分の画素値を補間する色補間処理と、色補間処理で補間された画素値をＲＧＢ成分ごとに合成して感度モザイク画像を生成する挿入処理からなる。
【０１３７】
図１９は、第２のデモザイク処理における抽出処理と色補間処理の概要を示している。抽出処理では、図１９（Ａ）に示すような色・感度モザイク画像から、対象感度Ｓαごとに、対象感度Ｓαの画素だけを抽出して、画素が市松状に配置された色モザイク画像ＭｃＳαを生成する。たとえば、感度Ｓ０の画素だけを抽出して、画素が市松状に配置された図１９（Ｂ）に示すような色モザイク画像ＭｃＳ０を生成する。
【０１３８】
色補間処理では、対象感度Ｓαごとに、色モザイク画像ＭｃＳαから、対象感度Ｓαであってβ色成分を有する画素が市松状に配置された画像βＳαを各色成分について生成する。たとえば、図１９（Ｂ）に示す色モザイク画像ＭｃＳ０から、たとえば感度Ｓ０であってＲ成分を有する画素が市松状に配置された図１９（Ｃ）に示すような画像ＲＳ０、感度Ｓ０であってＧ成分を有する画素が市松状に配置された画像ＧＳ０、および感度Ｓ０であってＢ成分を有する画素が市松状に配置された画像ＢＳ０を生成する。この色補間処理に際しては、第１のデモザイク処理における補間処理と同様にフィルタ処理を適用する。
【０１３９】
図２０は、第２のデモザイク処理における挿入処理の概要を示している。挿入処理では、処理対象色βごとに、色補間処理によって生成された各感度に対応する画像βＳαを組み合わせて、感度モザイク画像Ｍｓβを生成する。たとえば、Ｒ成分については、図２０（Ａ）に示すような画像ＲＳ０と図２０（Ｂ）に示すような画像ＲＳ３とを組み合わせて、図２０（Ｃ）に示すような感度モザイク画像ＭｓＲを生成する。
【０１４０】
第２のデモザイク処理における感度均一化処理では、第１のデモザイク処理における感度均一化処理と同様にフィルタ処理を適用して、処理対象色βについて、感度モザイク画像ＭｓＸβの左下の画素から右上の画素まで、順次１画素ずつ注目画素に設定し、注目画素に対応する局所和を算出する。たとえば、注目画素を中心とする５×５画素からなる参照画素の画素値を抽出し、それらの画素値と、参照画素の注目画素に対する相対的な位置に対応して予め設定されている所定のフィルタ係数とをそれぞれ乗算し、それらの積の総和を演算する。そして、その積の総和を、たとえば２５個のフィルタ係数の総和で除算し、その商を注目画素に対応する局所和とする。最後に、インデックスとして対応する補償値を供給するように設定されている合成感度補償ＬＵＴ（図２５，図２６参照）に、求めた局所和を照らし合わせることにより、感度特性を補償した対応する補償値を取得し、補償値を注目画素に対応する出力画像Ｒの画素値とする。これを全画素について繰り返すことで、処理対象色βの出力画像βを生成する。
【０１４１】
図２１は、デモザイク処理部１２０を中心とする画像処理系の第３のデモザイク処理を主に実行するデモザイク処理部１２０の構成例を示している。なお、以下、特に断りがある場合を除き、色・感度モザイク画像は、図１４の色・感度モザイクパターンＰ２であるとする。すなわち、画素の色は３原色ＲＧＢのうちのいずれかの色であり、感度はＳ０，Ｓ１，Ｓ２，Ｓ３のうちの一方であって、さらに、感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしているものとする。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１４２】
この第３のデモザイク処理は、撮像部の処理によって得られた色・感度モザイク画像から輝度画像を生成する輝度画像生成処理、および、色・感度モザイク画像と輝度画像を用いて出力画像Ｒ，Ｇ，Ｂを生成する単色画像処理からなる。この第３のデモザイク処理は、画素の色は３原色ＲＧＢのうちの何れかの色であり、さらに感度に拘わらず色だけに注目すれば、それらはベイヤ配列をなしているものに適用するのに好適である。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色からなる色・感度モザイク画像に適用することも可能である。
【０１４３】
第３のデモザイク処理を実行するデモザイク処理部１２０の構成例において、撮像系からの色・感度モザイク画像、色・感度モザイク画像の色モザイク配列を示す色モザイクパターン情報、および、色・感度モザイク画像の感度モザイク配列を示す感度モザイクパターン情報は、輝度画像生成部１８１、並びに単色画像生成部１８２〜１８４に供給される。
【０１４４】
単色画像生成部１８２は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｒを生成する。単色画像生成部１８３は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｇを生成する。単色画像生成部１８４は、供給される色・感度モザイク画像および輝度画像を用いて出力画像Ｂを生成する。
【０１４５】
図２２は、デモザイク処理部１２０による第３のデモザイク処理の手順の概要を示すフローチャートである。デモザイク処理部１２０は、先ず、色・感度モザイク画像に輝度画像生成処理を施することによって輝度画像を生成するとともに、ノイズ除去処理を施す（Ｓ２１１）。この後、色・感度モザイク画像および輝度画像を用いて、それぞれ出力画像Ｒ，Ｇ，Ｂを生成する（Ｓ２１２）。
【０１４６】
図２３は、輝度画像生成処理（Ｓ２１１）の詳細手順を示すフローチャートである。先ず、色・感度モザイク画像の全ての画素を注目画素としたか否かを判定する（Ｓ２２１）。そして、全ての画素を注目画素としていないと判定した場合、色・感度モザイク画像の左下の画素から右上の画素まで、順次１画素ずつ注目画素に決定する（Ｓ２２１−Ｎｏ，Ｓ２２２）。
【０１４７】
そして、色・感度モザイク画像に対して処理対象色βごとに、β成分推定処理を施すことにより、注目画素に対応する推定値Ｒ’を推定する（Ｓ２２３）。たとえば、色モザイクパターン情報および感度モザイクパターン情報を参照することにより、注目画素の近傍の画素（たとえば、注目画素を中心とする１５×１５画素）のうち、β成分を有し、かつ、感度Ｓαである画素を検出し、検出した画素（参照画素）の画素値を抽出する。そして、参照画素の注目画素に対する相対的な位置に対応し、予め設定されているβ成分用補間フィルタ係数を参照画素の数だけ取得し、各参照画素の画素値と対応するフィルタ係数を乗算し、それらの積の総和を演算し、その積の総和を、用いたβ成分用補間フィルタ係数の総和で除算して感度Ｓαについての商を取得する。これを、全ての感度Ｓα（本例ではＳ０，Ｓ１，Ｓ２，Ｓ３）について求める。この後、それぞれの商を加算して和を求める（感度均一化処理に相当する）。この後、合成感度補償ＬＵＴ（図２５，図２６参照）に照らし合わせることにより、感度特性を補償した補償値を取得することで、注目画素に対応する推定値β’とする。
【０１４８】
各色ごとに推定値β’を求めた後には、この推定値β’に色バランス係数ｋβを乗算する。そして、それぞれの積β’・ｋβを加算して、その和を注目画素に対応する輝度候補画像の画素値（輝度候補値）とする（Ｓ２２４）。ここで、色バランス係数ｋβは、予め設定されている値であり、たとえば、ｋＲ＝０．３、ｋＧ＝０．６、ｋＢ＝０．１である。なお、色バランス係数ｋＲ，ｋＧ，ｋＢの値は、基本的には輝度候補値として輝度変化に相関がある値を算出することができればよい。したがって、たとえば、ｋＲ＝ｋＧ＝ｋＢとしてもよい。
【０１４９】
処理は、ステップＳ２２１に戻り、全ての画素を注目画素としたと判定されるまで、ステップＳ２２１〜２２４の処理が繰り返される。ステップＳ２２１において、全ての画素を注目画素としたと判定された場合、ステップＳ２２５にすすむ。なお、ステップＳ２２１〜２２４の処理によって生成された輝度候補画像はノイズ除去処理に供される（Ｓ２２５）。
【０１５０】
ノイズ除去処理（Ｓ２２５）においては、輝度候補画像にノイズ除去処理を施すことによって輝度画像を生成する。具体的には、先ず、輝度候補画像の左下の画素から右上の画素まで順次１画素ずつ注目画素に設定する。そして、注目画素の上下左右に位置する画素の画素値（輝度候補値）を取得し、取得した注目画素の上下左右に位置する画素輝度候補値を、それぞれ変数ａ３，ａ０，ａ１，ａ２に代入する。次に、輝度勾配を考慮した方向選択的平滑化処理、すなわち注目画素に対応する水平方向の平滑化成分Ｈｈと垂直方向の平滑化成分Ｈｖの寄与率を考慮した平滑化処理を実行することにより、注目画素に対応する平滑化値Ａｖｅを取得する。この後、注目画素の画素値（輝度候補値）と注目画素に対応する平滑化値Ａｖｅの平均値を演算し、当該平均値を注目画素に対応する輝度画像の画素値（輝度値）とする。これを全ての画素について繰り返すことで、ノイズ除去処理が施された輝度画像を生成する。単純な平滑化処理ではノイズを低減可能であるもののエッジ成分も平滑化されしまうが、この処理により、エッジ成分を保存しつつノイズだけを低減可能で、エッジ保存性のよい平滑化処理となる。
【０１５１】
なお、ノイズ除去処理に際しては、注目画素の勾配ベクトルと位置ベクトルとの内積の絶対値を１から除算し、その差のρ乗を演算することにより、参照画素に対する重要度を求め、この重要度を加味した平滑化処理を実行してもよい。この場合、画像内の物体の輪郭を検出し、輪郭に平行して平滑化を実行するようになるので、色モアレの発生を抑止するこができる。
【０１５２】
図２４は、単色画像生成処理の詳細手順を示したフローチャートである。単色画像生成処理においては、先ず、色・感度モザイク画像に補間処理を施すことによって、全ての画素がＲ成分の画素値を有するＲ候補画像を生成する（Ｓ１６１）。なお、補間処理は、輝度画像生成処理におけるβ成分推定処理と同様であるので、その説明は省略する。
【０１５３】
この後、比率値算出処理を施すことによって強度比率を算出し、さらに、各画素に対応する強度比率を示す比率値情報を生成する（Ｓ１６２）。たとえば、β成分候補画像の左下の画素から右上の画素まで順次１画素ずつ注目画素に設定する。そして、注目画素の近傍に位置する画素（たとえば注目画素を中心とする７×７画素）を参照画素し、それらの画素値（β成分の単色候補値）と、参照画素と同じ座標に位置する輝度画像の画素値（輝度値）を抽出する。そして、参照画素の注目画素に対する相対的な位置に対応し、予め設定されている平滑化フィルタ係数を参照画素の数だけ取得する。この後、各参照画素のβ成分の単色候補値に対応する平滑化フィルタ係数を乗算し、その積を対応する輝度値で除算して、それらの商の総和を演算する。さらに、その商の総和を、用いた平滑化フィルタ係数の総和で除算して、その商を注目画素に対応する強度比率として、比率値情報を生成する。これをβ候補画像の全ての画素を注目画素としたと判定するまで繰り返すことで、β候補画像の全ての画素についての強度比率を生成する。
【０１５４】
この後、輝度画像の各画素の画素値に、対応する強度比率を乗算することで、処理対象色βについて、その積を画素値とする出力画像βを生成する（Ｓ１６３）。
【０１５５】
図２５および図２６は、２×２（画素あるいはエリア）を単位マトリクスとして、異なるシャッタ速度（電荷蓄積時間）で撮像を行なったときの、感度均一化処理や推定処理（Ｓ２２３）にて用いる合成感度補償ＬＵＴの一例を示す図である。先ず図２５（Ａ）は、低感度側Ｓ０，Ｓ１の画素の特性曲線と、高感度側Ｓ２，Ｓ３の画素の特性曲線を示しており、図２５（Ｂ）は、合成処理により得られる広ダイナミックレンジ画像の特性曲線を示しており、それぞれ、横軸は入射光の強度（Ｌ）、縦軸は画素値（Ｉ）を示す。また図２６は、合成感度補償ＬＵＴの特性曲線を示しており、縦軸は入射光の強度（Ｌ）、横軸は画素値（Ｉ）を示す。図２５（Ｂ）において、符号ＢＤ１（ＢＤ；ＢｒｏａｄＤｙｎａｍｉｃｒａｎｇｅ）に示す非線形の曲線は上述した第１や第３のデモザイク処理におけるもので、符号ＢＤ２に示す非線形の曲線は上述した第２のデモザイク処理におけるものである。
【０１５６】
図２５（Ａ）において、高感度側つまり電荷蓄積時間の最も長い感度Ｓ３は、最も低感度側つまり電荷蓄積時間の短い方の感度Ｓ０に対して４倍の感度を有しており、また、２番目に高感度側つまり電荷蓄積時間が２番目に長い感度Ｓ２は、最も電荷蓄積時間の短い感度Ｓ０に対して３倍の感度を有する。また、２番目に低感度側つまり電荷蓄積時間が２番目に長短い感度Ｓ１は、最も電荷蓄積時間の短い感度Ｓ０に対して２倍の感度を有している。
【０１５７】
すなわち、低速シャッタ速度に相当する長時間露光蓄積（感度Ｓ２，Ｓ３）での撮像は、電荷の蓄積時間が長いために、被写体の暗部をより明確に撮像することができる一方で、被写体の明るさが、感度Ｓ３のものは１００％、感度Ｓ２のものは２００％を越える高輝度部分については撮像素子出力が１００％のレベルで飽和してしまい、良好な画像を得ることができない。
【０１５８】
一方、高速なシャッタ速度に相当する短時間露光蓄積（感度Ｓ０，Ｓ１）で撮像を行なうと、電荷生成部３２に蓄積される光量が減少することになるために、より傾斜の緩やかな撮像素子出力を得ることができ、図２５（Ａ）の前記１００％，２００％を越える明るさの被写体についても撮像信号が飽和してしまうことはない。ただしこの場合でも、それぞれ図示の３００％あるいは４００％を越える高輝度部分については撮像素子出力が１００％のレベルで飽和してしまう。
【０１５９】
こうして、相対的に低速のシャッタでの撮像において飽和してしまうような高輝度部分の画像を、相対的に高速のシャッタでの画像で補うことにより、図２５（Ｂ）の符号ＢＤ１，ＢＤ２に示す非線形の曲線で示されるように、暗部が潰れることがなく、かつ高輝度部分が白飛びすることのない広ダイナミックレンジの画像を得ることができる。なお、符号ＢＤ１で示す曲線は、感度設定すなわち露光蓄積時間設定を４段階としているので、符号ＢＤ２で示す２段階で設定される場合よりも滑らかな階調を持つ広ダイナミックレンジ画像となる。
【０１６０】
このとき、高速側のシャッタで得られるデータをそれぞれｘ０（感度Ｓ０），ｘ１（感度Ｓ１）、低速側のシャッタで得られるデータをｙ２（感度Ｓ２），ｙ３（感度Ｓ３）とすると、第１や第３のデモザイク処理にてダイナミックレンジ拡大処理されたデータｚ１（曲線ＢＤ１に相当）は式（１−１）、第２のデモザイク処理にてダイナミックレンジ拡大処理されたデータｚ２（曲線ＢＤ２に相当）は式（１−２）のように表される。なお、関数ＬＳ０，ＬＳ１，ＨＳ０，ＨＳ１は、単位マトリクス内の個々の単位画素３の出力特性その他を考慮して定義される関数である。
ｚ１＝Ｌｓ０（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｌｓ１（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｈｓ０（ｘ０，ｘ１，ｙ２，ｙ３）＋Ｈｓ１（ｘ０，ｘ１，ｙ２，ｙ３）…（１−１）
ｚ２＝Ｌｓ０（ｘ０，ｙ３）＋Ｌｓ１（ｘ０，ｙ３）＋Ｈｓ０（ｘ０，ｙ３）＋Ｈｓ１（ｘ０，ｙ３）…（１−２）
【０１６１】
このようにダイナミックレンジ拡大処理は、一般的に非線形の処理となるために、各撮像の度に演算処理を行なっていたのでは、処理の負担が増加して処理時間も長くなってしまう。そこで、この数式（１−１），（１−２）により行なわれる処理を予めテーブル化してルック・アップ・テーブルとしておき、実際の処理ではこれを参照した結果を出力すれば良いように構成することが望ましい。
【０１６２】
たとえば、推定処理（Ｓ２２３）では、図２５（Ａ）の特性曲線Ｓ０，Ｓ１に示すような特性で測定された低感度側の画素から算出された商と、同図の特性曲線Ｓ２，Ｓ３に示すような特性で測定された高感度側の画素を用いて算出された商とが加算されている。したがって、求められた和は、図２５（Ｂ）の特性曲線ＢＤ１に示すように、低感度側と高感度側の特性が合成された特性を有することになる。この合成された特性曲線ＢＤ１は、低輝度から高輝度にわたる広ダイナミックレンジの特性となるが、図２５（Ａ）に示すように折れ線となっているので、感度特性曲線ＢＤの逆特性曲線を用いることにより、元のリニアな特性を復元するようにする。
【０１６３】
具体的には、図２６に示すように、全ての感度についての商の和を図２５（Ｂ）の感度特性曲線ＢＤ１の逆特性曲線ｄ１に適用して非線形性を補償するようにする。第１のデモザイク処理でも、逆特性曲線ｄ１に適用して非線形性を補償する。また、第２のデモザイク処理では感度特性曲線ＢＤ２の逆特性曲線ｄ２に適用して非線形性を補償する。すなわち、合成感度補償ＬＵＴは、図２６の逆特性曲線ｄ１，ｄ２をルック・アップ・テーブル化したものである。
【０１６４】
以上説明したように、本実施形態の固体撮像装置１の構成によれば、フォトダイオードＰＤなどの電荷生成部により生成された電荷を蓄積する電荷蓄積部（電荷蓄積機能を兼ね備えていてもよい）、この電荷生成部と電荷蓄積部との間に配設され電荷生成部により生成された電荷を電荷蓄積部に転送する転送ゲート部、および電荷蓄積部に蓄積した電荷に応じた画素信号を生成する画素信号生成部を含む単位画素を２次元状に備えてなるアクティブピクセルイメージセンサにおいて、２次元状の複数の単位画素からなる単位マトリクスごとに、各単位画素についての電荷蓄積時間を所定の段階で制御するようにした。たとえば、電荷の移動を行なう転送ゲート部を駆動するための転送クロック線と電荷蓄積部をリセットするためのリセットクロック線とを、それぞれ独立に駆動パルスを印加可能な複数系統に分けるとともに、転送クロック線とリセットクロック線とを交差するように配置する。
【０１６５】
これにより、偶奇ラインだけの制御に限らずライン内でも細かに電荷蓄積時間を制御可能となり、たとえば単位エリアをｍ×ｎのマトリクスで蓄積時間をコントロールすることができる。そしてこのような制御の元で得られる画素信号を処理することにより、ダイナミックレンジの広いモノクロ画像やカラー画像を得ることができるようになった。加えて、ライン内でも細かに電荷蓄積時間を制御可能としたので、２段階に限らずより多段階（たとえば４段階以上）の蓄積時間を細かに設定することが可能となり、非常に滑らかな階調をもつ広ダイナミックレンジ画像の生成に有利となる。
【０１６６】
また、電荷生成部により生成された電荷をフローティングディフュージョンＦＤなどの電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成としているので、グローバルシャッタ機能と組み合わせることで、異なった蓄積時間を持つ画素の露光期間の同時性を高めることができる。このことは、ライン方向（行方向）のシェーディングを防止しつつ、動きのある被写体（移動体）を広ダイナミックレンジで正しく撮像する上で有利である。
【０１６７】
図２７は、第４のデモザイク処理の概要を示す図である。この第４のデモザイク処理は、カラー画像撮像時において、カラーフィルタ繰返し単位で露光制御を行なう場合の第１例の処理手法を示すものである。ここでは、Ｒ，Ｇ，Ｂのカラーフィルタ配列がベイヤ配列であり、感度がＳ０，Ｓ１，Ｓ２，Ｓ３の４段階でる場合で説明する。ただし、以下に説明する構成や動作は、ＲＧＢ以外の３色からなる色・感度モザイク画像や、４色あるいはそれ以上からなる色・感度モザイク画像に適用することも可能である。また、感度が９段階やそれ以上などである色・感度モザイクパターンに適用することも可能である。
【０１６８】
第４のデモザイク処理は、図２７に示すように、撮像系の処理によって得られたカラーフィルタ繰返し単位で露光制御された色・感度モザイク画像について、そのカラーフィルタ繰返し単位ごとに色分離処理を行なうことでＲＧＢ成分ごとに感度モザイク画像を復元する色分離処理と、色分離処理により得られる感度モザイク画像の感度を均一化して画像を復元する感度均一化処理と、復元された画像に基づいて最終的な出力画像（輝度信号Ｙ＋色信号Ｃ）を生成する出力画像生成処理とからなる。
【０１６９】
色分離処理としては、ベイヤ配列に応じた処理を施すのは言うまでもない。これにより、感度に拘わらず、カラーフィルタ繰返し単位ごとに、比較的低周波のＲＬ成分およびＢＬ成分（参照符号ＬはＬｏｗＦｒｅｑｕｅｎｃｙを示す）と、Ｒ成分およびＢ成分に対して２倍の周波数成分を有する比較的高周波のＧＨ成分（参照符号ＨはＨｉｇｈＦｒｅｑｕｅｎｃｙを示す）とが得られる。ただし、カラーフィルタ繰返し単位で露光蓄積時間がそれぞれ異なる値に設定されているので、得られる各画像は、感度の面でモザイク状となった感度モザイク画像となっている。
【０１７０】
そこで、感度均一化処理では、先ず、比較的低周波のＲＬ成分およびＢＬ成分の各感度モザイク画像に基づいて、カラーフィルタ繰返し単位（本例では２×２画素の単位マトリクス）で、各単位マトリクスについての画素値を、その近傍の同じ色の有効な単位マトリクスの画素値を用いて補間する。また、比較的高周波のＧＨ成分の感度モザイク画像に基づいて、各画素についての画素値を、その近傍の同じ色の有効な画素の画素値を用いて補間する。これにより、Ｒ成分およびＢ成分についての単位マトリクスは、元の色の感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の各画素値を有するようになる。この後、単位マトリクスごとに感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の画素値を合成することで、Ｒ成分とＢ成分とについて感度が均一化された画像を得る。このＲ成分およびＢ成分の画像は、１つの単位マトリクスが出力画像の４画素に対応する。一方、Ｇ成分についての画素は、元の色の感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の各画素値を有するようになる。この後、画素ごとに感度Ｓ０，Ｓ１，Ｓ２，Ｓ３の画素値を合成することで、Ｇ成分について感度が均一化された画像を得る。このＧ成分の画像は、１つの単位画素３が出力画像の１画素に対応する。
【０１７１】
出力画像生成処理においては、従来から行なわれていると同様にして、専ら色情報の生成に寄与するＲ成分およびＢ成分と、Ｒ成分およびＢ成分に対して２倍の周波数成分を有するＧ成分とに基づいて、高域および低域に分けた輝度信号生成処理と色差信号生成処理を伴う色信号生成処理を行なうことで、最終的な出力画像（輝度信号＋色信号）を生成する。
【０１７２】
このように、第４のデモザイク処理によれば、カラーフィルタ繰返し単位での露光制御を行なうことによりえた画素信号に基づいて、通常の色分離処理を行なった後に感度均一化処理にて画像を復元することができ、広ダイナミックレンジのカラー画像の生成が容易であるという利点が得られる。
【０１７３】
図２８は、第５のデモザイク処理の概要を示す図である。この第５のデモザイク処理は、カラー画像撮像時において、カラーフィルタ繰返し単位で露光制御を行なう場合の第２例の処理手法を示すものである。この第５のデモザイク処理は、図２８に示すように、撮像系の処理によって得られたカラーフィルタ繰返し単位で露光制御された色・感度モザイク画像の感度を均一化することで、通常の露光状態と同様の画像を得る感度均一化処理と、通常露光状態に戻された画像から各画素のＲＧＢ成分を復元する色分離処理と、色分離処理により得られる画像に基づいて最終的な出力画像（輝度信号Ｙ＋色信号Ｃ）を生成する出力画像生成処理とからなる。第４のデモザイク処理との違いは、色分離処理と感度均一化処理が逆の手順となっている点にある。この第５のデモザイク処理の場合、感度均一化処理後の処理は、通常モード時の処理と完全に同じにすることができるので、全体の回路構成がコンパクトになり、たとえば、図１（Ｃ）に示した外部回路１００のように、デジタル信号処理部（ＤＳＰ）１３０を兼用することが可能となる。
【０１７４】
以上、本発明を実施形態を用いて説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。発明の要旨を逸脱しない範囲で上記実施形態に多様な変更または改良を加えることができ、そのような変更または改良を加えた形態も本発明の技術的範囲に含まれる。
【０１７５】
また、上記の実施形態は、クレーム（請求項）にかかる発明を限定するものではなく、また実施形態の中で説明されている特徴の組合せの全てが発明の解決手段に必須であるとは限らない。前述した実施形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜の組合せにより種々の発明を抽出できる。実施形態に示される全構成要件から幾つかの構成要件が削除されても、効果が得られる限りにおいて、この幾つかの構成要件が削除された構成が発明として抽出され得る。
【０１７６】
たとえば、上記実施形態では、複数系統に分けられた各転送クロック線とリセットクロック線とを互いに交差するように配置していたが、これに限らず、少なくとも水平列と垂直列の単位画素がそれぞれ複数系統に分けられて駆動される構造として、結果的に、転送クロック線とリセットクロック線に対して対応する駆動パルスを印加することで感度特性がモザイク状を呈する感度モザイク画像が固体撮像素子から出力されるようになっていればよい。たとえば、単位画素ごとにゲート回路を設けて単位マトリクス内で個別の露光蓄積時間が設定可能な構造としてもよい。
【０１７７】
また、上記実施形態では、電荷注入部の一例であるフローティングディフュージョンを利用したＦＤＡ構成の画素信号生成部５を一例に説明したが、画素信号生成部５は、必ずしもＦＤＡ構成のものでなくてもよい。たとえば、転送電極の下の基板に電荷注入部の一例であるフローティングゲートＦＧ（ＦｌｏａｔｉｎｇＧａｔｅ）を設け、フローティングゲートＦＧ下のチャネルを通過する信号電荷の量でフローティングゲートＦＧの電位変化が生じることを利用した検出方式の構成としてもよい。
【０１７８】
また、電荷蓄積部４４は、転送電極を備えた構成のものとして説明したが、転送電極を持たないバーチャルゲートＶＧ（ＶｉｒｔｕａｌＧａｔｅ）構造のものとしてもよい。
【０１７９】
また、上記実施形態では、行および列状に配列された画素からの信号出力が電圧信号であって、ＣＤＳ処理機能部が各列ごとに設けられたカラム型の固体撮像装置を一例として説明したが、固体撮像装置は、カラム型のものに限らない。たとえば、画素からの信号出力が電流信号である固体撮像装置に、単位マトリクス実施形態の構成を適用することも可能である。
【０１８０】
また、上記実施形態の固体撮像装置は、水平走査回路１２や垂直走査回路１４などの駆動制御部７の各要素を撮像部１０とともに単結晶シリコンなどの半導体領域に一体的に形成されているものとして説明したが、撮像部１０と駆動制御部７とは別体のものであってもよい。たとえば、撮像部１０と駆動制御部７とが別体の半導体領域に形成され、撮像部１０がカメラヘッドとして使用される形態の構成としてもよい。あるいは、上記実施形態で示した駆動制御部７の一部のみが撮像部１０と一体的に形成されたものであってもよい。この場合、水平走査回路１２、垂直走査回路１４、垂直列選択駆動部１６の部分を撮像部１０と一体化するのが好ましい。
【０１８１】
【発明の効果】
以上のように、本発明によれば、電荷生成部により生成された電荷を電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成のアドレス制御型固体撮像素子において、２次元状の複数の単位画素や色フィルタ単位からなる単位マトリクスごとに、各単位画素や色フィルタ単位についての電荷蓄積時間を所定の段階で制御するようにした。
【０１８２】
これにより、偶奇ラインに拘わらずライン内でも細かに電荷蓄積時間を制御可能となり、ｍ×ｎの単位マトリクス内の単位画素や単位フィルタごとに蓄積時間を違えて撮像することで感度モザイク画像が得られる。そして、この感度モザイク画像の単位画素の感度を均一化する処理を施すことで、ダイナミックレンジの広いモノクロ画像やカラー画像を得ることができるようになった。
【０１８３】
加えて、ライン内でも細かに電荷蓄積時間を制御することができるので、２段階に限らずより多段階（たとえば４段階以上）の蓄積時間を細かに設定することが可能となり、非常に滑らかな階調をもつ広ダイナミックレンジ画像を得ることができる。
【０１８４】
また、電荷生成部により生成された電荷を電荷蓄積部に一旦転送してから所定のタイミングで信号電荷を取り出す構成としているので、グローバルシャッタ機能と組み合わせることで、異なった蓄積時間を持つ画素の露光期間の同時性を高めることができ、ライン方向のシェーディングを防止しつつ、動きのある被写体（移動体）を広ダイナミックレンジで正しく撮像することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る固体撮像装置の概略構成図である。
【図２】図１に示した固体撮像装置の撮像部における単位画素の第１実施形態の詳細例を示した図である。
【図３】第１実施形態の単位画素を備えた固体撮像装置における走査のタイミングチャートの一例である。
【図４】２×２画素の単位マトリクスの概略構成を示す図である。
【図５】２×２画素の単位マトリクスとする場合のリセットＴｒ駆動クロック線と転送ゲート駆動クロック線の配線形態の一例を示す図である。
【図６】単位マトリクス内の個々の単位画素に対する駆動タイミングと電荷量の時間変化の一例を示す図である。
【図７】図１に示した固体撮像装置の撮像部における単位画素の第２実施形態の詳細例を示した図である。
【図８】図１に示した固体撮像装置の撮像部における単位画素の第３実施形態の詳細例を示した図である。
【図９】第３実施形態の単位画素を備えた固体撮像装置における走査のタイミングチャートの一例である。
【図１０】３×３画素を単位マトリクスとした駆動手法を説明する図である。
【図１１】２×２画素を単位マトリクスとしつつ、読出選択用トランジスタとリセットトランジスタの配線対象の行／列を逆にした構成を示す図である。
【図１２】２×２画素を単位マトリクスとしつつ、行列方向に対して斜め方向に読出選択用トランジスタとリセットトランジスタの駆動クロック線を設けた構成を示す図である。
【図１３】色・感度モザイクパターンＰ１を示す図である。
【図１４】色・感度モザイクパターンＰ２を示す図である。
【図１５】色・感度モザイクパターンＰ３を示す図である。
【図１６】色・感度モザイクパターンＰ４を示す図である。
【図１７】第１のデモザイク処理の概要を示す図である。
【図１８】第２のデモザイク処理の概要を示す図である。
【図１９】第２のデモザイク処理における抽出処理と色補間処理の概要を示す図である。
【図２０】第２のデモザイク処理における挿入処理の概要を示す図である。
【図２１】第３のデモザイク処理の概要を示す図である。
【図２２】第３のデモザイク処理の手順を示すフローチャートである。
【図２３】輝度画像生成処理（Ｓ１１１）の詳細手順を示すフローチャートである。
【図２４】単色画像生成処理の詳細手順を示したフローチャートである。
【図２５】合成感度補償ＬＵＴについて説明するための図である。（その１）
【図２６】合成感度補償ＬＵＴについて説明するための図である。（その１）
【図２７】第４のデモザイク処理の概要を示す図である。
【図２８】第５のデモザイク処理の概要を示す図である。
【符号の説明】
１…固体撮像装置、３…単位画素、５…画素信号生成部、７…駆動制御部、１０…撮像部、１２…水平走査回路、１４…垂直走査回路、１６…垂直列選択駆動部、２０…タイミングジェネレータ、２６…ＣＤＳ処理部、２８…出力バッファ、３２…電荷生成部、３４…読出選択用トランジスタ、３６…リセットトランジスタ、３８…フローティングディフュージョン、３９…遮光部材、４０…垂直選択用トランジスタ、４２…増幅用トランジスタ、４４…電荷蓄積部、４６…転送ゲート部、４８…制御スイッチ、５０…水平選択用トランジスタ、１００…外部回路１００、１１０…Ａ／Ｄ変換部、１２０…デモザイク処理部、１３０…デジタル信号処理部、１３２…選択部、１３６…Ｄ／Ａ変換部[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a solid-state imaging device in which unit pixels are arranged in a two-dimensional matrix, and a solid-state imaging device having such a solid-state imaging device. More specifically, the present invention relates to a technique of expanding a dynamic range in a method of reading out a pixel signal from a unit pixel by address control, such as a MOS type or a CMOS type.
[0002]
[Prior art]
A solid-state image sensor (active pixel image sensor; hereinafter referred to as an address control type) in which a pixel position is read by controlling the pixel position by address control when reading a pixel signal from a charge generation unit including a plurality of photoelectric conversion elements (photodiodes or the like) in the imaging unit. As a solid-state imaging device, there are a MOS (Metal Oxide Semiconductor) type and a CMOS (Complementary Metal Oxide Semiconductor) type (hereinafter, a MOS type is described unless otherwise specified). For example, an arrangement in which unit pixels are arranged in a two-dimensional matrix is called an XY address control type solid-state imaging device.
[0003]
In the address control type solid-state imaging device, for example, a MOS transistor is used as a switching element for selecting a pixel or a switching element for reading out signal charges. Further, there is an advantage that a MOS transistor is used for the horizontal scanning circuit and the vertical scanning circuit, and the switching element can be manufactured in a series of configurations.
[0004]
For example, in a MOS solid-state imaging device, each unit pixel is configured to have a MOS transistor, and the signal charges accumulated in the pixels by photoelectric conversion are read out to a pixel signal generation unit, and the signal charges are converted into a current signal or a voltage signal. And output.
[0005]
From the pixel signal generation unit, an output signal that is substantially linear with respect to the amount of charge accumulated in the unit pixel by photoelectric conversion is obtained, and the dynamic range of the imaging device is determined by the amount of charge that can be accumulated in the unit pixel. The dynamic range of this image sensor is uniquely determined by the amount of saturation signal of the pixel and the noise level. In other words, the lower limit of the output level of the image sensor is limited by the noise level, the upper limit is limited by the saturation level, the usable operating range is determined, and the slope of the output level characteristic of the image sensor has a constant value. Further, as a result, the dynamic range of the image sensor is uniquely determined.
[0006]
Due to such a limitation of the dynamic range, halation occurs in a high-brightness part (for example, a part having metallic luster) of the subject, and conversely, the automatic exposure adjustment is affected by the high-brightness part, and the entire subject is affected. It may be dark.
[0007]
As a method for solving such a problem, in a method including a CCD (Charge Coupled Device) as an image pickup device, a low-brightness portion picked up by a low-speed shutter (charge accumulation for a long time) is relatively clear. Wide dynamic range by combining multiple images obtained with different exposure times, such as mixing an image with an image with a relatively clear high-brightness portion captured by a high-speed shutter (short-time charge accumulation) A technique for generating an image has been proposed.
[0008]
For example, in a method of interlaced reading, low-speed shutter imaging is performed in, for example, an odd field in one frame, and high-speed shutter imaging is performed in an even field, and a dynamic range expansion process is performed based on two images obtained thereby. It has become. However, in this method, since one image is generated from an image of two fields, there is a problem that the vertical resolution is reduced to half as compared with the pixel configuration originally included in the image sensor.
[0009]
Patent Document 1 proposes a technique for generating an image with a wide dynamic range while solving the problem of the reduction in vertical resolution.
[0010]
[Patent Document 1]
JP-A-11-150687
[0011]
The technology described in Patent Document 1 performs charge accumulation at different times between odd-numbered line pixels and even-numbered line pixels constituting an image sensor, and is based on image signals from odd-numbered line pixels and image signals from even-numbered line pixels. To obtain one image with an increased dynamic range.
[0012]
[Problems to be solved by the invention]
However, the technique described in Patent Literature 1 has a drawback that the storage time can be controlled only by the even-odd lines in the vertical direction, that is, the degree of freedom of the control of the storage time is only two stages because of the device configuration of the CCD. There is.
[0013]
The present invention has been made in view of the above circumstances, and has a solid-state imaging device capable of obtaining an image of a wide dynamic range while having a degree of freedom of control of an accumulation time, and a solid-state imaging device including the solid-state imaging device The purpose is to provide.
[0014]
[Means for Solving the Problems]
That is, the first solid-state imaging device according to the present invention is made by paying attention to the arrangement of the pixel signal readout wiring, and has a light receiving surface for receiving light corresponding to each pixel. A charge generation unit configured to generate a charge corresponding to light, a charge storage unit configured to store the charge generated by the charge generation unit, and a charge generation unit disposed between the charge generation unit and the charge storage unit. A unit pixel including a transfer gate unit for transferring charges to the charge storage unit and a pixel signal generation unit for generating a pixel signal corresponding to the charges stored in the charge storage unit is two-dimensionally provided. A transfer clock line for driving and a reset clock line for sweeping out the charge stored in the charge storage unit are divided into a plurality of systems so that the pulses can be applied independently of each other. It was assumed that the clock line is arranged to cross each other.
[0015]
The second solid-state imaging device according to the present invention focuses on the side surface of the obtained image pattern, and has a light receiving surface for receiving light, corresponding to each pixel, and corresponds to the received light. A charge generation unit for generating charges, a charge storage unit for storing charges generated by the charge generation unit, and a charge storage unit disposed between the charge generation units and storing the charges generated by the charge generation unit A two-dimensional unit pixel including a transfer gate unit that transfers the pixel signal to a pixel unit and a pixel signal generation unit that generates a pixel signal corresponding to the charge stored in the charge storage unit. A transfer clock line for driving the transfer gate unit and a reset for sweeping out charges accumulated in the charge accumulation unit so that a sensitivity mosaic image having any one of the sensitivity characteristics can be generated. clock Bets are assumed to be located.
[0016]
A solid-state imaging device according to the present invention includes the first and second solid-state imaging devices according to the present invention, and applies a corresponding driving pulse to a transfer clock line and a reset clock line. A drive control unit that outputs a sensitivity mosaic image having a mosaic-like sensitivity characteristic from the solid-state imaging device, an image processing unit that restores a subject image with uniform sensitivity from the output sensitivity mosaic image, and the like. It was provided with.
[0017]
The invention described in the dependent claims defines further advantageous specific examples of the solid-state imaging device and the solid-state imaging device according to the present invention. For example, it is desirable to dispose a light blocking member for blocking light on the surface of the unit pixel such that an opening is formed at least above the charge generation unit.
[0018]
Further, the drive control unit may control the application timing of the drive pulse so that the accumulation exposure time differs for each column in the unit matrix of the sensitivity mosaic image obtained from the solid-state imaging device.
[0019]
Further, color filters for capturing a color image may be arranged. In this case, it is desirable that the three primary color components are arranged in a Bayer array. Further, it is desirable that the exposure accumulation time (that is, the sensitivity characteristic) be controlled for each repeating unit in the color filter array. That is, in the repeating unit in the color filter array, all pixels have the same exposure accumulation time. In a unit matrix formed by a plurality of repeating units, a different exposure accumulation time (preferably, all the repeating units are respectively different) for each repeating unit. (Different exposure accumulation times).
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the following, a case where the present invention is applied to a CMOS image sensor, which is an example of an XY address type solid-state image sensor, will be described.
[0021]
<Configuration of solid-state imaging device>
FIG. 1 is a schematic configuration diagram of a solid-state imaging device according to an embodiment of the present invention. This solid-state imaging device 1 is adapted to be applied as an electronic still camera capable of capturing a color image. In addition to the still image capturing mode, a moving image capturing mode at a frame rate close to 30 frames / second (for example, 10 frames / second or more) is also provided. Further, a normal mode for performing normal exposure control and a wide dynamic range mode for obtaining an image with a wide dynamic range are prepared.
[0022]
The solid-state imaging device 1 has an imaging unit in which pixels are arranged in rows and columns (that is, in a two-dimensional matrix), a signal output from each pixel is a voltage signal, and a CDS (Correlated Double Sampling; correlation 2) It is a column type in which a processing function unit is provided for each column. That is, as shown in FIG. 1A, the solid-state imaging device 1 includes an imaging unit 10 in which a plurality of unit pixels 3 are arranged in rows and columns, and a drive control unit 7 provided outside the imaging unit 10. , CDS processing unit 26. The drive control unit 7 includes, for example, a horizontal scanning circuit 12 and a vertical scanning circuit 14.
[0023]
In FIG. 1A, some rows and columns are omitted for simplicity, but in reality, tens to thousands of pixels are arranged in each row and each column. Further, as another component of the drive control unit 7, a timing generator 20 for supplying a pulse signal at a predetermined timing to the horizontal scanning circuit 12, the vertical scanning circuit 14, and the CDS processing unit 26 is provided. Each element of the drive control unit 7 is formed integrally with the imaging unit 10 in a semiconductor region such as single crystal silicon using the same technology as the semiconductor integrated circuit manufacturing technology, and is configured as a solid-state imaging device.
[0024]
The unit pixel 3 is connected to a vertical scanning circuit 14 via a vertical control line 15 for vertical column selection, and to a CDS processing unit 26 via a vertical signal line 19, respectively. The horizontal scanning circuit 12 and the vertical scanning circuit 14 are configured by, for example, a shift register, and start a shift operation (scanning) in response to a driving pulse given from the timing generator 20. For this reason, the vertical control line 15 includes various pulse signals for driving the unit pixel 3.
[0025]
The CDS processing section 26 is provided for each column, and based on two sample pulses such as a sample pulse SHP and a sample pulse SHD given from the timing generator 20, a voltage-mode pixel signal input via the vertical signal line 19 is provided. By performing a process of calculating the difference between the signal level (noise level) immediately after the pixel reset and the signal level, noise signal components called fixed pattern noise (FPN) and reset noise are removed. Note that an AGC (Auto Gain Control) circuit, an ADC (Analog Digital Converter) circuit, or the like can be provided in the same semiconductor region as the CDS processing unit 26, if necessary, at a stage subsequent to the CDS processing unit 26.
[0026]
The voltage signal processed by the CDS processing unit 26 is transmitted to the horizontal signal line 18 and then input to an output buffer 28 via a horizontal selection switch (not shown) driven by a horizontal selection signal from the horizontal scanning circuit 12. After that, it is supplied to the external circuit 100 as the imaging signal S0. That is, in the column-type solid-state imaging device 1, the output signal (voltage signal) from the unit pixel 3 is output in the order of the vertical signal line 19, the CDS processing unit 26, the horizontal signal line 18, and the output buffer 28. In the driving, pixel output signals for one row are sent to the CDS processing unit 26 in parallel via the vertical signal lines 19, and the signals after CDS processing are serially output via the horizontal signal lines 18. The vertical control line 15 controls selection of each row.
[0027]
Here, as a characteristic part of the solid-state imaging device 1 of the present embodiment, the drive control unit 7 includes a plurality of unit pixels 3 in the row direction and the column direction of the imaging unit 10 as one unit matrix, and each unit in the unit matrix. The charge accumulation time of the pixel 3 is individually controlled. By doing so, the subject is imaged with different colors and sensitivities for each pixel (variable sensitivity by changing the exposure time) by the imaging process of an optical system (not shown) centered on the imaging unit 10, and the color and sensitivity are changed. It is possible to obtain a mosaic (two-dimensional matrix) image (hereinafter referred to as a color / sensitivity mosaic image, the details of which will be described later).
[0028]
In addition, as long as the driving can be performed for each of the vertical column and the horizontal column, whether each pulse signal is arranged in the row direction or the column direction with respect to the unit pixel 3, that is, a driving clock line for applying the pulse signal The physical wiring method is arbitrary. As a typical example, a transfer clock line for transferring charges between the storage units and a reset clock line for resetting the storage units are divided into a plurality of systems to which drive pulses can be independently applied. Clock lines are arranged so as to intersect with each other, and the accumulation time is controlled in a matrix.
[0029]
The external circuit 100 of the solid-state imaging device 1 has a circuit configuration corresponding to a wide dynamic range mode. In this case, a circuit configuration according to the storage time control method is used. For example, as shown in FIG. 1B, an A / D (Analog to Digital) converter 110 that converts an analog imaging signal S0 output from the output buffer 28 into digital imaging data D0, An example of a dynamic range expansion processing unit that performs predetermined image processing on a corresponding color / sensitivity mosaic image to generate image data D1 representing an image in which each pixel has all color components and has uniform sensitivity. And a digital signal processor (DSP) 130 that performs digital signal processing based on the imaging data D0 output from the A / D converter 110.
[0030]
The demosaic processing unit 120 sets a color represented by a pixel signal from each of the unit pixels 3 read out with the individual charge accumulation time set in a two-dimensional matrix including a plurality of unit pixels 3 in the row direction and the column direction. A function as a signal processing unit for expanding the dynamic range of the image by signal processing (demosaic processing) based on the sensitivity mosaic image. In the demosaic processing for expanding the dynamic range, a normal subject image is acquired by interpolation processing based on the color / sensitivity mosaic image.
[0031]
The mechanism of the interpolation processing is devised in accordance with the color arrangement of the color filters and the arrangement of the charge accumulation times, that is, the mosaic pattern of the colors and the sensitivities. For example, the demosaic processing unit 120 generates a wide dynamic range image by performing pixel interpolation on a color / sensitivity mosaic image in a field unit according to a color or sensitivity mosaic pattern. Alternatively, a wide dynamic range image is generated by time interpolation based on a plurality of color / sensitivity mosaic images obtained by switching the combination of the charge accumulation times of the unit pixels 3 in the unit matrix for each readout field.
[0032]
In the normal mode, the digital signal processing unit 130 performs the same color separation processing as before to generate image data RGB representing each of R (red), G (green), and B (blue) images. Other signal processing is performed on the image data RGB to generate image data D2 for monitor output.
[0033]
The external circuit 100 selects the image data D2 digitally processed by the digital signal processing unit 130 in the normal mode, and selects the image data D1 output from the demosaic processing unit 120 in the wide dynamic range mode. And a D / A (Digital to Analog) converter 136 for converting the data D3 (either D1 or D2) output from the selector 132 into an analog image signal S1. The image signal S1 output from the D / A converter 136 is sent to a display device (not shown) such as a liquid crystal monitor. The operator can perform various operations while viewing the display image on the display device.
[0034]
Further, in the external circuit 100 having the configuration illustrated in FIG. 1C, the arrangement position of the selection unit 132 is different from the configuration illustrated in FIG. That is, the external circuit 100 selects the image data D1 output from the demosaic processing unit 120 in the wide dynamic range mode, and selects the imaging data D0 output from the A / D conversion unit 110 in the normal mode. A digital signal processor (DSP) 130 for performing digital signal processing on the data D3 (either D0 or D1) output from the selector 132, and a digital signal processor 130. A D / A converter 136 for converting the digitally processed image data D2 into an analog image signal S1.
[0035]
In the normal mode, the digital signal processing unit 130 performs the same color separation processing as that of the related art to generate image data RGB representing each of the R, G, and B images, and performs other signal processing on the image data RGB. Then, the image data D2 for monitor output is generated and passed to the D / A converter 136. In the case of the wide dynamic range mode, image data D2 (image data RGB) representing R, G, and B images is acquired from the demosaic processing unit 120, and image data D2 for monitor output is obtained in the same manner as in the normal mode. Generated and passed to the D / A converter 136. That is, the configuration shown in FIG. 1C has a configuration in which the digital signal processing unit 130 is shared between the normal mode and the wide dynamic range mode.
[0036]
<Configuration of Unit Pixel; First Example>
FIG. 2 is a diagram illustrating a detailed example of the first embodiment of the unit pixel 3 in the imaging unit 10 of the solid-state imaging device 1 illustrated in FIG. Here, FIG. 2A is a basic equivalent circuit diagram of the unit pixel 3 (including some peripheral portions), and FIG. 2B is a cross-sectional view.
[0037]
The unit pixel 3 of the first embodiment has a storage time difference within a set (unit matrix) of a set of unit matrices of m × n (pixels or areas; m and n are positive integers and m = n is also possible). However, it is configured to realize a “pseudo global shutter function” which is an electronic shutter function that does not cause an accumulation time difference between sets (unit matrices). This will be specifically described below.
[0038]
As shown in FIG. 2A, the unit pixel 3 includes a charge generation unit 32 having both a photoelectric conversion function of converting light into charges and a charge storage function of storing the charges, and a charge generation unit 32. In contrast, the potential change of the readout selection transistor 34 as an example of the charge readout section (transfer gate section / readout gate section), the reset transistor 36 as an example of the reset gate section, the vertical selection transistor 40, and the floating diffusion 38 Has four MOS transistors of an amplifying transistor 42 having a source-follower configuration, which is an example of a detecting element for detecting the voltage. Further, the unit pixel 3 has a pixel signal generation unit 5 having an FDA (Floating Diffusion Amp) configuration including a floating diffusion 38 which is an example of a charge injection unit having a function of a charge storage unit. The configuration of such a unit pixel 3 is a general-purpose 4-transistor pixel CMOS sensor, and is a conventionally well-known configuration.
[0039]
The reset transistor 36 in the pixel signal generator 5 has a source connected to the floating diffusion 38, a drain connected to the power supply VDD, and a gate (reset gate RG) to which a reset pulse is input. The reset transistor 36 is of a depression type for resetting the floating diffusion 38 to the power supply VDD. The drain of the amplification transistor 42 is connected to the power supply VDD, and the source is connected to the drain of the vertical selection transistor 40. The drain of the vertical selection transistor 40 is connected to the vertical signal line 19 via the pixel line 51, and the gate (particularly, the vertical selection gate SELV) is connected to the vertical selection line 52. A vertical selection signal is applied to the vertical selection line 52.
[0040]
The unit pixel 3 of the first embodiment has a charge generation unit 32 (photodiode PD) in order to realize a “pseudo global shutter function” in which there is an accumulation time difference in a unit matrix but there is no accumulation time difference between sets. ) Is characterized in that the charge accumulating portion, which holds the signal charges generated in step (1) simultaneously for all pixels and holds it for a certain period of time, functions only with the floating diffusion 38. In this case, the read gate ROG of the read select transistor 34 functions as the frame shift gate FSG. That is, the source of the readout selection transistor 34 is connected to the cathode of the photodiode PD constituting the charge generation unit 32, and the drain of the readout selection transistor 34 is connected to the floating diffusion 38 which is a charge storage unit.
[0041]
As shown in FIG. 2B, the unit pixel 3 has a p-type well (P-type) which is a p-type layer for forming an overflow barrier on a semiconductor substrate NSUB (n-type Si substrate) made of silicon. Well) is formed. By forming an n-type layer (N +) on the p-type well, a charge generation unit 32 including a pn junction photodiode PD is configured.
[0042]
As a final structure of the unit pixel 3, a light-blocking member (light-shielding film) 39 for blocking light is provided on almost the entire surface of the unit pixel 3, and an opening 39 a is provided on the charge generation unit 32 so that the light reception of the charge generation unit 32 is performed. Form a surface. That is, a structure excluding the opening 39a, such as the floating diffusion 38, which is less photosensitive than the charge generation unit 32, is covered with the light-shielding film, thereby preventing external light from being incident on parts other than the charge generation unit 32. Take. The light shielding member 39 does not have to cover the entire surface of the charge generation unit 32 except the opening 39a. However, even in this case, a light-shielding member 39 is provided at least on the floating diffusion 38 serving as a charge storage portion provided between the readout selection transistor 34 serving as a transfer gate portion and the pixel signal generating portion 5. To do. Since the floating diffusion 38 is a direct portion for accumulating the signal charges detected by the pixel signal generating section 5, it is for preventing unnecessary charges from being generated due to the incidence of light on this portion. .
[0043]
By doing so, only the charge photoelectrically converted by the charge generation unit 32 needs to be considered as the signal charge amount, and the accuracy of exposure time control for each pixel can be improved. Further, a color filter, a micro lens, and the like are formed on the charge generation unit 32 on a chip. By doing so, color imaging can be performed, and an image having a good S / N can be obtained by increasing the amount of light incident on the image charge generation unit 32.
[0044]
The photodiode PD constituting the charge generation unit 32 uses a p-type high-concentration (p ++) layer in which the Si interface is pinned so as to suppress the discharge (dark current) of charges generated by the interface state as a hole accumulation layer. The structure is additionally formed on the substrate surface side of the photosensitive area. Then, the charge generation unit 32 photoelectrically converts the incident light into a signal charge having a charge amount corresponding to the light amount, and accumulates the signal charge in the n-type layer (N +).
[0045]
Then, on the left side in FIG. 2B with respect to the photodiode PD, an N ++ layer forming the read selection transistor 34, the floating diffusion 38, a reset transistor 36, and an N ++ layer connected to the power supply VDD and forming the reset drain RD. , And a P + layer and a SiO2 layer forming a channel stop CSa are formed in this order in the horizontal direction (left direction in the figure). The P + layer and the SiO 2 layer forming the channel stop CSb are also provided on the right side of the charge generation unit 32 in the drawing. The channel stops CSa and CSb mean channel stops CSa of another unit pixel 3 adjacent to the unit pixel 3. These structures are the same as those of the conventional CMOS solid-state imaging device.
[0046]
On the substrate surface side of the read selection transistor 34 and the reset transistor 36, an electrode (gate electrode) formed of, for example, polysilicon in a single-layer or two-layer structure is provided. Then, a read pulse is input to the gate electrode (particularly, read gate ROG) of the read selection transistor 34, and a reset pulse is input to the gate electrode (particularly, reset gate RG) of the reset transistor 36. I have.
[0047]
The readout selection transistor 34 disposed between the photodiode PD of the charge generation unit 32 and the floating diffusion 38 or the reset transistor 36 disposed between the floating diffusion 38 and the power supply VDD as the reset drain RD In the off state, it is possible to form a state in which the surface of the channel stores charges of the conductivity type opposite to the signal charges. Note that the voltage applied to the gate electrode in the off state to form such a state depends on the ion concentration (dose) of impurities of each element and the thickness of the gate electrode. For this reason, a difference in impurity concentration is given between the read selection transistor 34 and the reset transistor 36 by ion implantation by n− or p−, or the oxide film thickness between the read selection transistor 34 and the reset transistor 36 is reduced. It is preferable to add a barrier (potential difference) due to a difference or the like.
[0048]
Since the potential difference can be controlled by controlling the ion implantation amount and the oxide film thickness difference, the transfer efficiency of the signal charge from the charge generation unit 32 to the floating diffusion 38 can also be adjusted. In addition, when a predetermined potential is applied to turn off the surface of the channel region below the gate electrode, the interface state is filled with holes (pinning). For this reason, in the readout selection transistor 34 and the reset transistor 36 as the charge transfer path, a dark current generated due to the interface state can be suppressed by applying a predetermined potential when off.
[0049]
As described above, in the unit pixel 3 of the first embodiment, noise measures are taken from various viewpoints so that a good image with little noise can be obtained even in the high dynamic range mode accompanied by imaging on the high sensitivity side. ing.
[0050]
FIG. 3 is an example of a scanning timing chart in the solid-state imaging device 1 including the unit pixel 3 of the first embodiment. Here, first, an operation in the normal mode in which a common charge accumulation time is set for all pixels will be described. In the case of the wide dynamic range mode in which the charge accumulation time is individually set for the unit pixels 3 in the unit matrix, the transfer gate pulse (read pulse) ROG is generated within the illustrated exposure accumulation period at a timing described later. And the reset pulse RST (RG) may be set individually for each unit pixel 3 in the unit matrix.
[0051]
First, prior to exposing the photodiode PD of the charge generation unit 32 to accumulate signal charges in the photodiode PD, the read pulse is activated (H; high) to turn on the read selection transistor. At this point, unnecessary charges (unnecessary charges) accumulated in the photodiode PD are swept away to the floating diffusion 38 side (t0 to t2). Thereafter, the readout selection transistor 34, which is a gate function part between the photodiode PD and the floating diffusion 38, is closed, and exposure accumulation starts. These processes are performed substantially simultaneously for all pixels.
[0052]
In parallel with the exposure accumulation state, the reset pulse is activated to turn on the reset transistor 36, thereby resetting the floating diffusion 38 to the power supply VDD through the reset transistor 36. Thus, unnecessary charges transferred from the charge generation unit 32 to the floating diffusion 38 via the readout selection transistor 34 are swept out to the power supply VDD. This process only needs to be completed before the signal charge accumulation is completed. In the figure, the reset pulse is activated from t2 to t4. However, the present invention is not limited to this example, and this processing may be performed at a position slightly shifted rightward in the figure.
[0053]
Next, the floating diffusion FD is cleared again before the signal charges obtained by the charge generation unit 32 are simultaneously transferred to all the pixels to the floating diffusion 38 (frame shift). Therefore, prior to activating the frame shift pulse when the exposure accumulation is completed, the reset pulse is activated to turn on the reset transistor 36 (t6 to t8).
[0054]
Next, in order to transfer the signal charges obtained by the charge generation unit 32 to the floating diffusion 38 at the same time for all the pixels, the readout pulse is activated and the photodiode PD is exposed substantially simultaneously for all the pixels. The signal charges are transferred to the floating diffusion FD (t10 to t12). By doing so, the signal charge is injected into the floating diffusion FD, and a potential change corresponding to the charge amount appears in the floating diffusion FD.
[0055]
Next, at a predetermined time after the signal charge is transferred from the charge generation unit 32 to the floating diffusion 38, the horizontal selection signal is activated for a pixel at a predetermined position on an arbitrary horizontal line, which is a pixel to be read. Then, the horizontal selection transistor 50 is turned on (t14).
[0056]
Next, by activating the sample pulse SHD, the CDS processing unit 26 holds a pixel signal level corresponding to the signal charge amount (t16 to t18). Thereafter, the reset gate pulse is activated to turn on the reset transistor 36, the floating diffusion FD is cleared, and then the reset gate pulse is made inactive (t20 to t22). By activating the sample pulse SHP in this state, the CDS processing unit 26 holds the pixel signal level (reset level) at the time when it is cleared (t28 to t30). Thereafter, the horizontal selection signal is made inactive (t32). The CDS processing unit 26 removes the fixed pattern noise FPN and the reset noise by calculating the difference between the reset level obtained by the sample pulse SHP and the pixel signal level obtained by the sample pulse SHD. As described above, in the configuration of the unit pixel 3 of the first embodiment, the global shutter function can be realized in the normal mode.
[0057]
In the configuration of the unit pixel 3 according to the first embodiment, the timing at which the signal charge is transferred to the floating diffusion 38 as in a normal drive control method may be different for each pixel. That is, in the case of the structure like the unit pixel 3 of the first embodiment, the global shutter function may not be used. This point is the same in a wide dynamic range mode described later.
[0058]
<Matrix control mode>
4, 5, and 6 are diagrams illustrating a mechanism in which each unit pixel 3 has an accumulation time difference in a unit matrix in the solid-state imaging device 1 including the unit pixel 3 according to the first embodiment. . In order to simplify the description, first, an example will be described in which a unit matrix in which the unit pixels 3 are 2 × 2 pixels is set as a set, and the charge accumulation time of each unit pixel 3 is controlled in the unit matrix. I do. FIG. 4 shows a schematic configuration diagram of a unit matrix of 2 × 2 pixels, and FIG. 5 shows a reset clock line (reset Tr drive clock line) for driving the reset transistor 36 in the case of a unit matrix of 2 × 2 pixels. FIG. 6 shows an example of a wiring form of a transfer clock line (transfer gate drive clock line) for driving the readout selection transistor 34. FIG. 6 shows the drive timing for each unit pixel 3 in the unit matrix and the time change of the charge amount. An example is shown.
[0059]
As shown in FIG. 4, the pixel configuration in the unit matrix includes a charge generation unit 32 (photodiode PD), a floating diffusion 38, a vertical selection transistor 40 for selecting a pixel in a row direction, and a potential of the floating diffusion 38. , A reset transistor 36 for resetting the potential of the floating diffusion 38 to a reset level, and a readout selecting transistor 34 for transferring charges from the charge generation unit 32 to the floating diffusion 38. Are two-dimensionally arranged. In FIG. 4, the vertical selection transistor 40 and the amplification transistor 42 are omitted.
[0060]
As shown in FIGS. 4 and 5A, the reset Tr drive clock line for driving the reset transistor 36 is in the row direction, and the transfer gate drive clock line for driving the readout selection transistor 34 is in the column direction. , So as to cross each other. Then, as shown in FIG. 4, a corresponding pulse signal is input via buffers 60 and 62, respectively, so that the charge accumulation time can be controlled in a matrix as shown in FIGS. 4 and 5A. It has become.
[0061]
The reset transistors 36 are individually driven in odd rows (2p-1; p is a positive integer) and even rows (2p). For example, a clock line for driving an odd-numbered row passes through a buffer 60o for an odd-numbered row, a clock line for driving an even-numbered row passes through a buffer 60e for an even-numbered row, and receives a corresponding reset gate pulse signal RST. It is supposed to be. The read selection transistors 34 are individually driven in odd columns (2q-1; q is a positive integer) and even columns (2q). For example, a clock line for driving an odd-numbered column is supplied via a buffer 62o for an odd-numbered column, and a clock line for driving an even-numbered column is supplied via a buffer 62e for an even-numbered column, to which a corresponding transfer pulse signal ROG is inputted. It has become so.
[0062]
That is, the drive shown in the upper timing chart in each figure of FIG. 6A is performed by the reset Tr drive clock line in the odd row and the even row, and the transfer gate drive clock line in the odd column and the even column. It is. At this time, the change over time of the charge amount of the charge generation unit 32 (photodiode PD) and the floating diffusion 38 is as shown in the lower part of each drawing of FIG. Before the shutter operation is performed, a reset gate pulse RST is applied to the reset transistor 36 to clear the electric charge of the floating diffusion 38 (ta in FIG. 6A). When imaging is performed in this state, first, charges are accumulated in the charge generation unit 32. This accumulated charge is transferred to the floating diffusion 38 by applying a transfer gate pulse to the readout selection transistor 34 (at times tb and tc in FIG. 6A). Therefore, a signal voltage corresponding to the charge amount of the floating diffusion 38 appears at the drain of the amplifying transistor 42. However, at this time, since the vertical selection transistor 40 does not turn on, reading is not substantially performed.
[0063]
At a predetermined timing in the process of capturing an image and accumulating charge in the charge generation unit 32, a reset gate pulse is applied to the reset transistor 36, and the floating diffusion 38 is cleared (tr in FIG. 6A). Thereafter, a transfer gate pulse is applied to the selection transistor 34 in order to substantially define the read timing, and the charge generation section is applied during a period after the transfer pulse ROG immediately before the reset gate pulse RST is applied to the reset transistor 36. The signal charges stored in the memory 32 are transferred to the floating diffusion 38 (point te in FIG. 6A).
[0064]
Therefore, a signal voltage corresponding to the charge amount of the floating diffusion 38 appears at the drain of the amplifying transistor 42. Thereafter, a vertical shift pulse is applied to the vertical selection transistor 40 at a predetermined timing, and a signal voltage corresponding to the charge amount of the floating diffusion 38 at the time te is input to the CDS processing unit 26 via the vertical signal line 19. You. That is, the point in time te becomes the substantial readout timing, and the period after the transfer pulse ROG immediately before the final reset gate pulse RST rises becomes the charge accumulation time (exposure accumulation period) in the pixel, and the column of the 2 × 2 matrix is used. A different charge accumulation time (that is, sensitivity or shutter speed) can be provided for each.
[0065]
For example, in the unit pixels 3 in the odd-numbered rows and the odd-numbered columns, the signal charges passed to the floating diffusion 38 at the time tb are invalidated by the reset operation at the time tr, and thus the signal charges are passed to the floating diffusion 38 at the time te. Since only the signal charges are effectively used, as shown by "2" in the figure, two unit times from the time point tb to the time point te become a substantial charge accumulation time. Further, in the unit pixels 3 in the odd-numbered rows and the even-numbered columns, the signal charges transferred to the floating diffusion 38 at the time tb and further to the floating diffusion 38 at the time tc are invalidated by the reset operation at the subsequent tr. , Te, only the signal charges passed to the floating diffusion 38 are effectively used, and as shown by “1” in the figure, one unit time from the time tc to the time te is substantially equal to the charge accumulation time. It becomes.
[0066]
Further, in the unit pixels 3 in the even-numbered rows and the odd-numbered columns, since the reset operation performed on the floating diffusion 38 before the point in time tb after the ta has substantially no effect, the reset operation is not transferred to the floating diffusion 38 in the point in time tb. Further, since the signal charges passed to the floating diffusion 38 are effectively used also at the time point te, as shown by "4" in the figure, the substantial charge accumulation for four unit times from the time point ta to the time point te. Time. In addition, in the unit pixels 3 in the even-numbered rows and the even-numbered columns, the signal charges transferred to the floating diffusion 38 at the time tb are invalidated by the reset operation at the time tr, and are then transferred to the floating diffusion 38 at the time tc. Since only the signal charge passed to the floating diffusion 38 is effectively used at the time point te, as shown by "3" in the figure, three unit times from the time point tb to the time point te are substantially equal to the charge accumulation time. It becomes.
[0067]
Therefore, if the unit pixels 3 are driven and controlled at the timing shown in FIG. 6 for the unit matrix of 2 × 2 pixels, the maximum exposure accumulation time in the unit matrix will be the electric charge accumulation of the unit pixels 3 in the even rows and the odd columns. Determined by time. The charge accumulation times T1 to T4 of the unit pixels 3, that is, the sensitivities S0 to S3 are weighted according to the drive pulse timing. That is, by adjusting the application timing of the drive pulse, all the sensitivities in the unit matrix can be made different. Also, by changing the combination of weighting by each drive pulse in the row and column, as shown in FIG. 6C, the combination of the charge accumulation time (sensitivity) of each unit pixel 3 in the unit matrix can be switched. it can. That is, by changing the exposure accumulation time of each unit pixel 3 in the unit matrix, various sensitivity mosaic patterns can be formed.
[0068]
Further, by applying the above-described sensitivity array pattern realized by changing the exposure accumulation time to the color filter array pattern, it is possible to configure various color / sensitivity mosaic patterns. In any case, when looking directly at a plurality of unit pixels 3 having the same sensitivity characteristic, the unit pixels 3 are arranged in a lattice, and a sensitivity mosaic image is generated. In addition, if attention is paid to colors, a plurality of unit pixels 3 having the same color component and the same sensitivity characteristic are arranged in a lattice, and a plurality of unit pixels 3 having the same color component regardless of the sensitivity characteristic are also provided. A color / sensitivity mosaic image arranged in a lattice is generated.
[0069]
However, although it is possible to form various sensitivity mosaic patterns, there is a certain limitation in the arrangement order when setting the exposure accumulation time of four stages in a 2 × 2 unit matrix, for example, and it is possible to form them. There are also restrictions on the various mosaic patterns. For example, it is not possible to set three levels of sensitivity. For example, there is always a sensitivity S1 or S2 pixel above (below) or right (left) a pixel of sensitivity S0. There is an array pattern that cannot be handled even if it is. For example, as shown in FIG. 6 (D), the case where the sensitivity S3 is arranged above (below) or right (left) the pixel of the sensitivity S0 cannot be handled.
[0070]
In the driving method according to the above-described embodiment, as shown in FIG. 6 (B1), by substantially reading the pixels from the unit matrix at the same timing, the electric charge of each unit pixel 3 in the unit matrix is changed. The accumulation period can be included in the accumulation period of the pixel having the longest accumulation time, that is, the pixel with the highest sensitivity (in this example, the unit pixel 3 of the sensitivity level S3 in the even-numbered row and the odd-numbered column). As shown in FIG. 6 (B2), if the exposure period of each pixel in the unit matrix is shifted, the number of breakdowns (specifically, image blurring) of the moving object increases, but as shown in FIG. 6 (B1). , The reading from each pixel in the unit matrix can be performed at the same timing, and the exposure period can be substantially the same, although the charge accumulation time of each pixel is different. As a result, there is obtained an advantage that the synchronism of the exposure periods of the pixels is high, and even when there is a moving object, there is little breakdown when a wide dynamic range image is generated.
[0071]
However, in the case where the moving object is not targeted or the case where the moving object is allowed to shake, the read selection transistor 34 and the reset transistor 36 may be controlled at the drive timing as shown in FIG. 6B2. . That is, in the configuration of the unit pixel 3 of the first embodiment, the timing at which the signal charge is transferred to the floating diffusion 38 according to the normal driving control method is different for each pixel, and thus the pseudo global shutter is performed. You can also use no features.
[0072]
In addition, since the individual unit pixels 3 can have different charge storage times, it is possible to combine one image using images with different charge storage times corresponding to the unit pixels 3 in the wide dynamic range mode. Thus, a video output signal indicating a wide dynamic range image having a smooth gradation can be generated.
[0073]
In addition, the shutter speed of the electronic shutter, that is, the time corresponding to the charge storage time of the pixel, is determined from the time when the signal charge is discharged to the time when the signal charge is read out. ) Is common, so that there is no problem that the accumulation time differs between the right and left sides in the horizontal direction, so that shading in the line direction (row direction) can be prevented. That is, in this method, the signal charges generated by the light incident on the photoelectric conversion element (photodiode PD) of the charge generation unit 32 are simultaneously transferred to the floating diffusion 38 as the charge storage unit and accumulated at the same time for all pixels. The pixel signals are sequentially converted into pixel signals at a predetermined readout timing (time point te in this example). When light is incident on the photoelectric conversion element after the transfer, the charge accumulated in the charge generation unit 32 is discharged prior to the next exposure accumulation. As a result, a pixel signal corresponding to the signal charge amount stored in the floating diffusion 38 as a charge storage unit is obtained, and by adjusting the transfer timing of the charge generation unit 32 to the floating diffusion 38 after exposure, the unit matrix is adjusted. An electronic shutter function (pseudo global shutter function) that does not cause a difference in exposure accumulation time between each other can be realized.
[0074]
For example, by driving the readout selection transistor 34 and the reset transistor 36 in a two-dimensional matrix at the above-described timing, the charge accumulation time can be controlled under a certain limitation (not arbitrarily controllable). , Can be controlled for each pixel. For example, when the charge accumulation time at the time of the low-speed shutter is set to 1/60 second, the read control in the wide dynamic range mode by the drive control unit 7 is as follows. Note that the same can be applied to other than 1/60 second. For example, charge is stored in the charge generation unit 32 (photodiode PD). At this time, the odd-row and odd-column unit pixels 3 have 1/120 seconds (= 2/240 seconds) and the odd-row and even columns. 1/240 seconds for unit pixels 3 of 1, 1/60 seconds (= 4/240 seconds) for unit pixels 3 of even rows and odd columns, and 1/80 seconds for unit pixels 3 of even rows and even columns (= = 3/240 seconds), the drive control unit 7 controls the unit pixels 3 to have different charge accumulation times.
[0075]
In other words, when the unit pixels 3 in the even rows and the odd columns have a shutter speed of 1/60 seconds, the unit pixels 3 in the even rows and the odd columns store electric charge in 1/60 seconds (= 4/240 seconds). Of the above, in the odd-numbered row and odd-numbered unit pixels 3, the charge is swept out for 2/240 seconds, and the charge is accumulated only for the remaining 2/240 seconds. Similarly, in the unit pixels 3 in the odd-numbered rows and the even-numbered columns, the charges are swept out for 3/240 seconds, and the charges are accumulated only in the remaining 1 / 240-seconds. The charge may be swept out during 1/240 sec, and the charge may be accumulated only in the remaining 3/240 sec.
[0076]
The amplification transistor 42 generates a pixel signal corresponding to the signal charge obtained by the charge generation unit 32 receiving light during each charge storage time. Thereafter, by driving the vertical shift pulse to the vertical selection transistor 40, the voltage signal of the amplification transistor 42 at the time te is transmitted to the vertical signal line 19 as a substantially effective pixel signal, and the CDS processing unit 26 Is entered. Then, the signal is transmitted to the output buffer 28 via the horizontal signal line 18 by the driving of the horizontal shift pulse to the horizontal selection transistor 50, and is output to the external circuit 100.
[0077]
With such a configuration, for example, in the case of an imaging unit not provided with a color filter, the storage time of each unit pixel 3 is controlled to be different for each set including a matrix of m × n pixels, and the pixel signal , That is, by applying a demosaic process focusing on the sensitivity to a sensitivity mosaic image obtained by imaging, a monochrome image with a wide dynamic range can be obtained. In the normal mode, a normal video output signal can be obtained.
[0078]
That is, each unit pixel 3 has only one type of sensitivity since one type of exposure accumulation time is set. Therefore, each pixel of the captured image can only acquire information on the dynamic range of the original image sensor. However, the external circuit 100 performs demosaic processing based on the imaging signal S0 from the output buffer 28 so that the sensitivity of all pixels is uniform, thereby generating an image having a wide dynamic range. be able to. Although the details will be described later, since it is possible to obtain image data that has been subjected to a wide dynamic range processing corresponding to a normal field cycle (for example, 1/60 seconds or 1/50 seconds) by pixel interpolation processing, vertical resolution is required. Does not decrease. In addition, since all the unit pixels 3 are exposed almost simultaneously, a moving subject can be correctly imaged. Further, since one light receiving element corresponds to one pixel of the output image, there is no problem that the unit cell size increases.
[0079]
In the case of the imaging unit 10 including a color filter, the image signals of all the color components are obtained for all the pixels from an image having different colors and sensitivities for each pixel with reference to the array pattern of the colors and sensitivities. Is generated and the sensitivity is made uniform, so that not only a monochrome image but also a color image with a wide dynamic range can be obtained. For example, as shown in FIG. 5B, a reset Tr drive clock line and a transfer gate drive clock line are operated in a matrix (in the figure, a Bayer array) with respect to blocks, with a color filter unit as one block. Using a color filter repetition unit as a unit area, for a set composed of a matrix of m × n unit areas, a plurality of unit pixels 3 in each unit area are integrated and the storage time of each unit area is controlled to be different. For example, the reset transistor 36 is individually driven in the odd-numbered row (2s-1; s is a positive integer) and the even-numbered row (2s) of the Bayer block, and the read selection transistor 34 is in the odd number of the Bayer block. The second column (2t-1; t is a positive integer) and the even-numbered column (2t) are individually driven.
[0080]
By applying demosaic processing to the obtained color / sensitivity mosaic image with focus on the sensitivity array pattern, a color image with a wide dynamic range can be obtained. Since a common accumulation time is set for all the unit pixels 3 in the color filter repetition unit, a normal color separation process is performed for each color filter repetition unit to generate a sensitivity mosaic image for each color component, and then the sensitivity uniformity is set. By performing the conversion process, a color image having a wide dynamic range can be obtained. That is, by performing the processing in units of color filters, it becomes easy to generate a wide dynamic range image.
[0081]
Note that, even in the case of the imaging unit 10 including the color filter, the accumulation time of each unit pixel 3 is set for a set including a matrix of m × n pixels, similarly to the monochrome mode, regardless of the color filter repetition unit. You may control to a different thing. However, in this case, since the charge accumulation time of each unit pixel 3 is different within the color filter repetition unit, a normal color separation process is used on the assumption that the same charge accumulation time is set. Therefore, color separation cannot be performed properly. Accordingly, demosaic processing involving interpolation processing according to the filter arrangement within the color filter repetition unit and the exposure time for each unit pixel 3, that is, demosaic processing that focuses on both color and sensitivity arrays for a color / sensitivity mosaic image Must be applied. On the other hand, in this case, one unit pixel 3 can correspond to one pixel of the output image, and there is an advantage that the problem that the unit cell size becomes large does not occur. However, since a spatial interpolation process is involved, a reduction in sharpness cannot be avoided.
[0082]
By switching the combination of the charge accumulation times of the unit pixels 3 in the unit matrix in the readout field, demosaicing processing using time interpolation and focusing on the sensitivity may be performed. By doing so, although flicker can occur, signals of all charge accumulation times can be obtained at the same pixel position, so that demosaic processing can be performed without pixel interpolation, and an image with high resolution and a wide dynamic range can be obtained. Can be generated. An image obtained by pixel interpolation processing in units of fields becomes a blurred image with reduced sharpness, but does not cause field flicker. On the other hand, an image obtained by the time interpolation process in units of n fields is an image with good sharpness although field flicker occurs.
[0083]
For example, in FIG. 6, since 2 × 2 pixels are used as a unit matrix, the combination may be sequentially switched in four fields as indicated by a circular arrow in FIG. 6C. At this time, the reference field period is set to four times the normal field period, and a wide dynamic range image obtained by the synthesis is rate-converted to generate an image having the normal field period or frame period. Matching with a monitor (either interlaced scan or progressive scan) may be adopted. This makes it possible to present an image with high resolution and a wide dynamic range on a normal TV monitor without noticeable flicker. In contrast, demosaic processing without temporal interpolation involves spatial interpolation processing, so that sharpness reduction cannot be avoided. Further, since data having been subjected to a wide dynamic range process corresponding to a normal field period (for example, 1/60 seconds or 1/50 seconds) can be obtained, the vertical resolution does not decrease.
[0084]
<Other Configuration Examples of Unit Pixel>
FIG. 7 is a diagram illustrating a detailed example of the second embodiment of the unit pixel 3 in the imaging unit 10 of the solid-state imaging device 1 illustrated in FIG. Here, FIG. 7A is a basic equivalent circuit diagram of the unit pixel 3 (including some peripheral portions), and FIG. 7B is a cross-sectional view. The unit pixel 3 of the first embodiment has a configuration in which the charge generation unit 32 and the floating diffusion 38 are provided as two charge storage units. However, the unit pixel 3 of the second embodiment has a photogate 66 and a floating diffusion. 38.
[0085]
As shown in the figure, a polysilicon electrode forming the photogate 66 is formed so as to cover the photosensitive surface of the charge generation unit 32. In this case, it is assumed that the opening has a light-transmitting property, and the portion other than the opening has a light-shielding property. The electrode of the photogate 66 is connected to the transfer gate drive clock line in common with the gate electrode of the readout selection transistor 34. In both the normal mode and the wide dynamic range mode, the control of the charge accumulation time, the control of the readout timing, and the like are the same as those in the first embodiment.
[0086]
FIG. 8 is a diagram illustrating a detailed example of the third embodiment of the unit pixel 3 in the imaging unit 10 of the solid-state imaging device 1 illustrated in FIG. Here, FIG. 8A is a basic equivalent circuit diagram of the unit pixel 3 (including some peripheral portions), and FIG. 8B is a sectional view. The unit pixel 3 according to the third embodiment has a floating diffusion 38 and forms a charge storage unit 44 separately from the floating diffusion 38, that is, the charge generation unit 32 and the storage exclusive unit as two storage units. It is characterized in that it is configured to include a capacitor. This will be specifically described below.
[0087]
As in the first embodiment, the charge generation unit 32 of the third embodiment has both a photoelectric conversion function of converting light into charges and a charge storage function of storing the charges. . In order to realize a pseudo global shutter function, which is an electronic shutter function that does not cause an accumulation time difference between the unit matrices, for the photodiode PD of the charge generation unit 32, the charge generation unit After exposing the charge storage section 44 and the charge generation section 32 (photodiode PD) for all pixels between the readout selection transistor 34 and the pixel signal generation section 32, the charge generation section 32 generates the charge. It has a structure including a transfer gate section 46 for simultaneously transferring signal charges to the charge storage section 44. The charge accumulating section 44 is a section for accumulating charges for a period of 1H (H: horizontal scanning period) or more.
[0088]
For example, as shown in FIG. 8B, a cross-sectional view of the unit pixel 3 has a transfer gate 46 and a charge storage 44 between the photodiode PD and the readout selection transistor 34 in the horizontal direction (in the drawing) in this order. (Left direction). The readout selection transistor 34, the charge storage unit 44, and the transfer gate unit 46 have a multi-gate structure having a common source and drain terminal. In addition, the charge storage section 44 disposed between these three is actually configured as a MOS diode having a gate.
[0089]
A transfer electrode (gate electrode) formed of, for example, polysilicon in a single-layer or two-layer structure is provided on the substrate surface side of the transfer gate section 46 and the charge storage section 44. Then, a frame shift pulse is input to a gate electrode (particularly, a frame shift gate FSG) of the transfer gate section 46 via a storage section transfer drive line, and a gate electrode (particularly, a storage gate STG) of the charge storage section 44 is inputted. The storage pulse is input.
[0090]
The vertical selection transistor 40 has a drain connected to the power supply VDD, a source connected to the drain of the amplification transistor 42, and a gate (particularly, a vertical selection gate SELV) connected to the vertical selection line 52. A vertical selection signal is applied to the vertical selection line 52. The amplification transistor 42 has a gate connected to the floating diffusion 38, a drain connected to the source of the vertical selection transistor 40, and a source connected to the pixel line 51. Note that the vertical selection transistor 40 and the amplification transistor 42 may have the same connection configuration as in the first embodiment.
[0091]
Frame shift pulse input to the frame shift gate FSG, storage pulse input to the storage gate STG, read pulse input to the read gate ROG, reset pulse input to the reset gate RG, input to the vertical selection gate SELV The vertical selection signal and the horizontal selection signal input to the horizontal selection gate SELH are wired to the unit pixel 3 in the row direction or the column direction.
[0092]
In the element structure of the unit pixel 3 of the third embodiment shown in FIG. 8B, the charge storage section 44 is a MOS diode having a gate, and a portion for storing charges is provided below the gate electrode of the charge storage section 44. It is formed. In this case, the gate electrode of the transfer gate unit 46 disposed between the photodiode PD and the charge storage unit 44 is made common to the gate electrode of the charge storage unit 44, and this gate electrode extends to the position of the charge generation unit 32. It has a one-gate structure formed to exist. In this case, naturally, the frame shift pulse and the storage pulse are commonly used. The function of the transfer gate section 46 of this structure is to provide an impurity concentration difference between the transfer gate section 46 and the charge storage section 44 by ion implantation by n- or p-, or This may be performed by providing a barrier (potential difference) by, for example, providing a difference in oxide film thickness from that of 44. Note that, as shown in FIG. 2B, ion implantation using n- or p- is also performed on the read selection transistor 34 and the reset transistor 36.
[0093]
FIG. 8C shows an equivalent circuit diagram in the vicinity of the charge storage section 44 and the transfer gate section 46 in the case of a single gate configuration, and FIG. 8D shows a voltage potential diagram when each gate is off. The present invention is not limited to the single-gate configuration, but may be a two-gate configuration in which the gates of the charge storage unit 44 and the transfer gate unit 46 are separately provided. However, in the case of a two-gate configuration, there is a portion where it is difficult to transfer signal charges from the charge generation unit 32 to the charge storage unit 44 due to a problem of misalignment of processing positions of the two gate electrodes and a gap between the electrodes. On the other hand, with a single-gate structure, the number of wirings to the unit pixel 3 can be reduced by one, and the number of gates and wiring contacts can be reduced (see FIG. 8C). In addition, since the potential difference can be controlled by controlling the ion implantation amount and the oxide film thickness difference, the processing accuracy of the element is improved. In addition, since there is no gap between the gate electrodes, the transfer efficiency of the signal charge from the charge generation unit 32 to the charge storage unit 44 increases.
[0094]
Regardless of the single-gate configuration or the two-gate configuration, the transfer gate unit 46 disposed between the photodiode PD of the charge generation unit 32 and the charge storage unit 44 is turned off and the channel is turned off. Can form a state in which a charge of the opposite conductivity type to that of the signal charge is accumulated on the surface. The same applies to the readout selection transistor 34 and the reset transistor 36. Note that the voltage applied to the gate electrode in the off state to form such a state depends on the ion concentration (dose) of impurities of each element and the thickness of the gate electrode. When a predetermined potential is applied to turn off the surface of the channel region below the gate electrode, the interface state is filled with holes (pinning). For this reason, in the transfer gate portion 46, the readout selection transistor 34, and the reset transistor 36 as the charge transfer path, the dark current generated due to the interface state is suppressed by applying a predetermined potential when the transistor is off. Can be.
[0095]
As described above, in the unit pixel 3 of the third embodiment, noise countermeasures are taken from various viewpoints so that a good image with little noise can be obtained even in the high dynamic range mode involving imaging on the high sensitivity side. Have been.
[0096]
FIG. 9 is an example of a timing chart of scanning in the solid-state imaging device 1 including the unit pixel 3 of the third embodiment. In the third embodiment, the frame shift pulse input to the frame shift gate FSG is used in common with the storage pulse input to the storage gate STG.
[0097]
First, before exposing the photodiode PD of the charge generation unit 32 to accumulate signal charges in the photodiode PD, the frame shift pulse is activated (H; high) to turn on the transfer gate unit 46. At this point, unnecessary charges (unnecessary charges) accumulated in the photodiode PD are swept away toward the charge storage unit 44 (t0 to t2). Thereafter, the transfer gate portion 46, which is a gate function portion between the photodiode PD and the charge accumulation portion 44, is closed, and exposure accumulation starts. These processes are performed substantially simultaneously for all pixels.
[0098]
Next, the frame shift pulse is also made inactive, and the operation of accumulating the signal charge generated by exposing the photodiode PD to the photodiode PD is started (t2). Then, in the normal mode, the exposure accumulation state of the signal charge is continued until t12 for all pixels. Also, in parallel with the exposure accumulation state, the read pulse is activated to turn on the read selection transistor 34, thereby transferring the unnecessary charges swept out to the charge accumulation section 44 to the floating diffusion 38. Then, by turning off the readout selection transistor 34 and further activating the reset pulse to turn on the reset transistor 36, the floating diffusion 38 is reset to the power supply VDD through the reset transistor 36. As a result, unnecessary charges transferred from the charge generation unit 32 to the floating diffusion 38 via the transfer gate unit 46, the charge storage unit 44, and the readout selection transistor 34 in that order are discharged to the power supply VDD.
[0099]
These processes in the normal mode need only be completed before the signal charge accumulation is completed. In the figure, the read pulse is activated from t2 to t4, and the reset pulse is activated from t4 to t6. However, the present invention is not limited to this example, and these processes are performed at positions slightly shifted rightward in the figure. You may do it. Further, in the case of the wide dynamic range mode in which the charge accumulation time is individually set for the unit pixels 3 in the unit matrix, the transfer is performed at the same timing as shown in the first embodiment within the exposure accumulation period shown. The gate pulse (readout pulse) ROG and the reset pulse RST (RG) may be set individually for each unit pixel 3 in the unit matrix.
[0100]
Next, regardless of the mode, the charge storage unit 44 is cleared before the signal charges obtained by the charge generation unit 32 are simultaneously transferred to all the pixels to the charge storage unit 44 (frame shift). Therefore, prior to activating the frame shift pulse when the exposure and accumulation are completed, the read pulse is activated to turn on the read selection transistor 34, so that the unnecessary charges accumulated in the charge accumulation unit 44 are floating-diffused. 38 (t8 to t10). Then, the read selection transistor 34 is turned off, the reset pulse is activated, the reset transistor 36 is turned on, and the floating diffusion 38 is reset to the power supply VDD through the reset transistor 36. Of unnecessary charges transferred to the power supply VDD (t10 to t12). Note that the processing of t2 to t4 and t4 to t6 described above may be omitted, and the processing of t8 to t10 and t10 to t12 may be shared.
[0101]
Next, in order to transfer the signal charges obtained by the charge generation unit 32 to the charge accumulation unit 44 simultaneously for all pixels, the frame shift pulse is activated for all pixels and the photodiodes PD are exposed at substantially the same time. The transferred signal charges are transferred to the charge storage unit 44 (t10 to t12). Next, at a predetermined point in time after the signal charge is transferred from the charge generation unit 32 to the charge storage unit 44, the pixel signal generation unit 5 reads out the signal charge from the charge storage unit 44 (line-shifts) and Get the signal. Therefore, first, the horizontal selection signal is activated for a pixel at a predetermined position on an arbitrary horizontal line, which is a pixel to be read, so that the horizontal selection transistor 50 is turned on (t14).
[0102]
Thereafter, the reset pulse is activated to turn on the reset transistor 36, and the floating diffusion 38 is reset to the power supply VDD through the reset transistor 36, thereby clearing the floating diffusion 38 (t16 to t18). Thus, a voltage corresponding to the reset level appears on the pixel line 51 and is transmitted to the output buffer 28 via the vertical signal line 19, the CDS processing unit 26, and the horizontal selection transistor 50. Immediately thereafter, the sample pulse SHP is activated, so that the CDS processing unit 26 holds the pixel signal level (reset level) at the time when it is cleared (t20 to t22). For example, the voltage value at that time is clamped to a predetermined voltage.
[0103]
Next, by activating the read pulse and turning on the read selection transistor 34, unnecessary charges stored in the charge storage unit 44 are read out to the floating diffusion 38 (t24 to t26). After that, by making the read pulse inactive (t26), the signal charge read out to the floating diffusion 38 for the pixel to be read out is amplified by the amplifying transistor 42 in accordance with the charge amount to become a signal voltage. The signal appears on the vertical signal line 19, and is further transmitted to the output buffer 28 via the CDS processing unit 26, the horizontal signal line 18, and the horizontal selection transistor 50.
[0104]
Immediately thereafter, the sample pulse SHD is activated, so that the CDS processing unit 26 holds a pixel signal level corresponding to the signal charge amount (t28 to t30). Thereafter, the horizontal selection signal is made inactive (t32). The CDS processing unit 26 removes the fixed pattern noise FPN and the reset noise by calculating the difference between the reset level obtained by the sample pulse SHP and the pixel signal level obtained by the sample pulse SHD.
[0105]
By repeating the series of operations described above, pixel signals are sequentially output from the imaging unit 10 in which the unit pixels 3 are arranged in a two-dimensional matrix, and finally, an imaging signal is obtained from the CDS processing unit 26.
[0106]
As described above, in the case of the unit pixel 3 according to the third embodiment, the charge accumulated in the charge generation unit 32 due to the incidence of light on the photodiode PD after the transfer to the charge accumulation unit 44 is performed before the next exposure accumulation. And let it drain. As a result, a pixel signal corresponding to the signal charge amount stored in the charge storage unit 44 is obtained from the amplifying transistor 42, and the transfer timing to the charge storage unit 44 after exposure is adjusted, so that exposure between unit matrices is performed. A pseudo global electronic shutter function that does not cause an accumulation time difference can be realized. In addition, in a mode (t4 to t6 period) in which unnecessary charges swept out to the floating diffusion FD are discharged to the power supply VDD functioning as the reset drain RD, the unnecessary charges leak into the charge storage unit 44 and the like by a pseudo blooming phenomenon during a period excluding the charge storage period. Unnecessary charges and a dark current generated in the charge storage section 44 can be discharged, and there is an advantage that a pseudo-blooming phenomenon and image quality deterioration due to the dark current can be suppressed.
[0107]
Here, the “pseudo-blooming phenomenon” is a phenomenon similar to the blooming phenomenon in a CCD imaging device. For example, when strong light is incident on the photoelectric conversion element of the charge generation unit, charges larger than the maximum amount of charge that can be accumulated by the photoelectric conversion element are generated, and the charge overflows from the photoelectric conversion element, and the transfer gate or the channel stop. The so-called "blooming phenomenon" that flows out through the region to the pixel signal generation unit or the charge generation unit in an adjacent pixel becomes a problem. The "blooming phenomenon" also occurs in a structure in which the global shutter function is realized by, for example, temporarily transferring the signal charges obtained by the photoelectric conversion elements to the charge storage section for all pixels at once.
[0108]
Then, when the “blooming phenomenon” occurs, a white band or white circular pattern is observed in the captured image, and the image quality deteriorates. In particular, in a structure in which a charge accumulation unit is provided to realize a global shutter function, excess charge generated by the charge generation unit overflows to the charge accumulation unit in its own pixel. As described above, since a pixel signal is obtained in accordance with the amount of signal charge stored in the charge storage unit, the blooming phenomenon changes the signal component of the pixel itself. In addition, if the charge generated by light incident on the photoelectric conversion element after transferring the signal charge to the charge storage unit leaks to the charge storage unit, a problem similar to the “blooming phenomenon” (pseudo-blooming phenomenon) occurs.
[0109]
<Other matrix control modes>
FIGS. 10 to 12 are diagrams illustrating another example of the driving method for the size of the unit matrix and the readout selection transistor 34 and the reset transistor 36 in the unit matrix.
[0110]
FIG. 10 is a diagram illustrating a driving method using 3 × 3 pixels as a unit matrix. As shown in FIG. 10A, the reset transistor 36 is individually driven in the 3p-2nd row (p is a positive integer), the 3p-1st row, and the 3pth row, and the read selection is made. The transistors 34 are individually driven in the 3q−2nd column (q is a positive integer), the 3q−1st row, and the 3qth column. Further, as shown in FIG. 10B, as the weighting relationship of the charge accumulation time for each row or column, "1", 3p-1st, and 3q-th for the 3p-2nd and 3q-2nd. By setting "2" for the first and "3" for the 3p-th and 3q-th, nine levels of charge accumulation time weighting are set for the entire unit matrix of 3 × 3 pixels. ing. The weight value of the unit pixel 3 at the i-th row and the j-th column is the sum of the weighted addition of the i-th row (= weight value s × (i−1) of the i-th row) and the weight value t of the j-th column.
[0111]
As can be inferred from this, when m × n pixels are developed in a unit matrix, the reset transistors 36 are individually driven for each row, and the readout selection transistors 34 are individually driven for each column. By setting the charge accumulation time weighting relationship for each row or column to 1, 2,..., The charge accumulation time weighting in m × n stages is achieved for the entire unit matrix of m × n pixels. Can be set. Also in this case, the weight value of the unit pixel 3 in the i-th row and the j-th column is the weighted addition of the i-th row (= the weight value s × (i−1) of the i-th row) and the weight value t of the j-th column. Is the sum of Further, by changing the arrangement order of the charge accumulation times for each row or column, the arrangement order of the charge accumulation times in the unit matrix can be rearranged (see FIG. 6C).
[0112]
FIG. 11 is a diagram showing a configuration in which the rows / columns to be wired of the readout selection transistor 34 and the reset transistor 36 are reversed from those of the first to third embodiments, while using 2 × 2 pixels as a unit matrix. That is, the read selection transistor 34 is individually driven in an odd row (2p-1; p is a positive integer) and an even row (2p), and the reset transistor 36 is in an odd row (2q-1; q is a positive row). (An integer) and an even-numbered column (2q). Also, as shown in FIG. 11B, as the weighting relation of the charge accumulation time for each row or column, "1" is given for the 2p-1st and 2q-1st, and "1" for the 2pth and 2qth. By setting “2”, four stages of weighting of the charge accumulation time are set for the entire unit matrix of 2 × 2 pixels. The same method can be applied to a case where m × n pixels are used as a unit matrix. Then, regardless of the matrix size, the weight value of the unit pixel 3 in the i-th row and the j-th column is the weighted addition of the j-th column (= weight value t × (j−1) of the j-th column) and i It is the sum of the row weights s.
[0113]
FIG. 12 is a diagram showing a configuration in which drive clock lines for the readout selection transistor 34 and the reset transistor 36 are provided obliquely with respect to the matrix direction while using 2 × 2 pixels as a unit matrix. In this case, different from the above-described embodiments, the numbers of the drive lines of the read selection transistor 34 that engage with the reset transistor 36 are the same. For this reason, despite the fact that different levels of charge accumulation times are assigned to the respective clock lines, the entire unit matrix of 2 × 2 pixels does not have four (= 2 × 2) stages. Instead, the charge accumulation time is limited to two stages.
[0114]
For example, in the wiring configuration shown in FIG. 12A, the transfer gate drive clock line that intersects the first reset Tr drive clock line to which the level 1 weight is set is always the first level to which the level 1 weight is set. In this case, “1” is set as the weight of the charge accumulation time. Also, the transfer gate drive clock line that intersects with the second reset Tr drive clock line in which the level 2 weight is set is always the second one in which the level 2 weight is set, and the charge accumulation time is weighted. Is set to “4”.
[0115]
On the other hand, in the wiring configuration shown in FIG. 12B, the transfer gate drive clock line that intersects the first reset Tr drive clock line to which the level 1 weight is set is always set to the level 2 weight. This is the second one, and “3” is set as the weight of the charge accumulation time. Also, the transfer gate drive clock line that intersects with the second reset Tr drive clock line in which the level 2 weight is set is always the first one in which the level 1 weight is set, and the charge accumulation time is weighted. Is set to “2”. The same method can be applied to a case where m × n pixels are used as a unit matrix. Regardless of the matrix size, the weight value of the unit pixel 3 in the i-th row and the j-th column is the weighted addition of the i-th reset Tr drive clock line and the weight of the j-th transfer gate drive clock line. The sum of the values s is obtained, but is not limited to m × n steps and is limited.
[0116]
Next, demosaic processing in the external circuit 100 using the imaging signal S0 output from the output buffer 28 in the wide dynamic range mode will be described. In the wide dynamic range mode, the selection unit 132 has been switched to the demosaic processing unit 120 side. The image signal S0 from the output buffer 28 is converted into a digital signal D0 by the A / D converter 110, and is added to the digital signal D0 by, for example, a look-up table (not shown) in a subsequent adder, and the output is subjected to wide dynamic range processing. Is converted into predetermined data. This will be specifically described below.
[0117]
<Color / sensitivity mosaic pattern>
FIG. 13 to FIG. 16 are diagrams illustrating an arrangement pattern (color / sensitivity mosaic pattern) of color components and sensitivities (that is, exposure accumulation periods) of pixels constituting a color / sensitivity mosaic image. In FIGS. 13 to 16, each square corresponds to one pixel, an alphabetic character indicates its color, and a number as a subscript of the English character indicates its sensitivity. For example, a pixel displayed as G1 indicates that the color is G (green) and the sensitivity is S1. As for the sensitivity, the larger the number, the longer the exposure accumulation time and the higher the sensitivity. It should be noted that in connection with the color / sensitivity mosaic patterns P1 to P4 shown in FIGS. 13 to 16, “color mosaic arrangement” is described focusing on only the color regardless of the pixel sensitivity. In addition, the “mosaic arrangement of sensitivity” is described by focusing only on the sensitivity regardless of the color.
[0118]
The combination of colors constituting the color / sensitivity mosaic pattern is not limited to a combination of three colors consisting of R (red), G (green), and B (blue). For example, Y (yellow), M (magenta) , C (cyan), and G (green). As the sensitivity stage realized by changing the exposure accumulation time, there are two stages of S0 and S1, and when a unit matrix of 2 × 2 pixels is used, 4 (= 2 × 2) consisting of S0, S1, S2, and S3. 2) The stage is set. In the case of a unit matrix of m × n pixels, if each is independent, m × n stages are set.
[0119]
In the color / sensitivity mosaic pattern P1 shown in FIG. 13, when attention is paid to pixels having the same color and sensitivity, attention is paid to pixels in which they are arranged in a grid and have the same color regardless of sensitivity. In some cases, they are arranged in a grid. That is, in the color / sensitivity mosaic pattern P1 in FIG. 13, when attention is paid to the pixel whose color is R regardless of the sensitivity, as can be seen when the drawing is rotated clockwise by 45 degrees, they are as follows. Are arranged in a grid at intervals of 2 ＾ 1/2 (＾ indicates a power) in the horizontal direction and at intervals of 2 ＾ 3/2 in the vertical direction. In addition, when attention is paid to pixels whose color is B regardless of the sensitivity, they are similarly arranged. When attention is paid to pixels whose color is G regardless of the sensitivity, they are arranged in a grid at intervals of 2 ＾ 1/2 in the horizontal and vertical directions.
[0120]
When the color / sensitivity mosaic pattern P1 shown in FIG. 13 is applied to a unit matrix of 2 × 2 pixels, as described in the first to third embodiments, the reset Tr drive clock line and the transfer gate drive clock are used. A configuration in which the odd / even wiring order of the lines is maintained over the entire surface of the imaging unit 10 may be employed.
[0121]
The color / sensitivity mosaic pattern P2 shown in FIG. 14 has the same characteristics as the color / sensitivity mosaic pattern P1, and further uses three types of colors, which form a Bayer array. I have. That is, in the color / sensitivity mosaic pattern P2 in FIG. 14, when attention is paid to pixels whose color is G regardless of the sensitivity, they are arranged in a checkered pattern every other pixel. When attention is paid to pixels whose color is R regardless of the sensitivity, they are arranged every other line. Similarly, when attention is paid to a pixel whose color is B regardless of the sensitivity, the pixels are arranged every other line. Therefore, it can be said that this pattern P2 has a Bayer arrangement if attention is paid only to the pixel colors. When the color / sensitivity mosaic pattern P2 shown in FIG. 14 is applied to a unit matrix of 2 × 2 pixels, the wiring target of the reset Tr drive clock line and the transfer gate drive clock line is determined according to the arrangement position of the unit pixels 3. This is realized by taking measures such as reversing the row / column (see FIG. 11).
[0122]
In the color / sensitivity mosaic pattern P3 shown in FIG. 15, when attention is paid to pixels having the same color and sensitivity, attention is paid to pixels in which they are arranged in a grid and have the same sensitivity regardless of color. In the case, when they are arranged in a grid and when attention is paid to an arbitrary pixel, the color / sensitivity mosaic pattern is included in a total of five pixels including the pixel and four pixels located above, below, left and right thereof. All the colors included in are included. Focusing only on the sensitivity, the pattern is the same as the color / sensitivity mosaic pattern P1 shown in FIG.
[0123]
In the color / sensitivity mosaic pattern P4 shown in FIG. 16, when attention is paid to pixels having the same sensitivity in addition to the features of the color / sensitivity mosaic pattern P3, their arrangement forms a Bayer arrangement. For example, in the color / sensitivity mosaic pattern P4 of FIG. 16, if attention is paid only to the pixels of the sensitivity S0, as is clear when the drawing is inclined at an angle of 45 degrees, they are spaced apart by 2 ＾ 1/2. It has a Bayer array. Similarly, when attention is paid only to the pixels having the sensitivity S3, they are in a Bayer arrangement. When the color / sensitivity mosaic pattern P4 shown in FIG. 16 is applied to a unit matrix of 2 × 2 pixels, as shown in FIG. By providing a drive clock line for the reset transistor 36, a two-stage sensitivity may be set.
[0124]
In the above description, the case where the color / sensitivity mosaic patterns P1 to P3 are realized by the unit matrix of 2 × 2 pixels has been shown. However, the three methods described here are combined, the connection order of the wiring is switched, and the like. By doing so, it is possible to realize other patterns with certain restrictions.
[0125]
In realizing the above-described color / sensitivity mosaic pattern, for the color mosaic arrangement, an on-chip color filter that transmits only light of a different color for each pixel is disposed on the upper surface of the photodiode PD of the charge generation unit 32. It is realized by. In the mosaic arrangement of the sensitivities of the color / sensitivity mosaic patterns, the application timing of the drive pulse to the readout selection transistor 34 and the reset transistor 36 is adjusted as described in the first to third embodiments. This is realized by an electronic method in which two light receiving elements (first and second light receiving elements) are set at different sensitivities by changing the control timing for the two adjacent light receiving elements. The wiring form (order such as row / column or even / odd) is rearranged as necessary. That is, in order to electronically realize the above-described mosaic arrangement of the sensitivities, an electrode structure capable of controlling the exposure time for each of the pixel groups having the sensitivities of S0, S1, S2, and S3 may be used. In short, a reset Tr drive clock line and a transfer gate drive clock line are divided into a plurality of systems according to a plurality of types of sensitivity settings, and each drive clock line is adapted to correspond to a signal having a different accumulation time. What is necessary is just to make the structure which applies a pulse independently.
[0126]
At this time, when the unit pixels 3 are arranged in a two-dimensional matrix so that the accumulation times are different, for easy understanding, the reset Tr drive clock line for driving the reset transistor 36 is set in the row direction in the read selection. Transfer gate drive clock line for driving the transistor 34 for wiring is arranged in the column direction, that is, the odd / even wiring order of the reset Tr drive clock line and the transfer gate drive clock line is maintained over the entire surface of the imaging unit 10. However, the present invention is not limited thereto, and the odd / even wiring order of the reset Tr drive clock line and the transfer gate drive clock line may be changed. In any case, the connection form is determined by the sensitivity mosaic pattern. In the case of a color image capturing configuration, in view of the relationship between the color separation process and the wide dynamic range process, instead of controlling the exposure accumulation time in pixel units, as described above, A common exposure accumulation time may be set for all the unit pixels 3 in the color filter repetition unit, and the exposure accumulation time may be controlled in the color filter repetition unit.
[0127]
<Demosaic processing details>
Next, the mosaic processing of the image processing system centered on the demosaic processing unit 120 in the wide dynamic range mode, that is, the processing of restoring the original image from the mosaic image will be described. First, four methods for making one unit pixel 3 correspond to one pixel of an output image even when capturing a color image will be described. In the following description, unless otherwise specified, as the most basic, the color of a pixel is any one of the three primary colors RGB, and the sensitivity is set to S0, S1 using 2 × 2 pixels as a unit matrix. , S2 and S3 (that is, four stages of exposure accumulation time) will be described. However, the configuration and operation described below can also be applied to a color / sensitivity mosaic image composed of three colors other than RGB and a color / sensitivity mosaic image composed of four or more colors. Further, the present invention can be applied to a color / sensitivity mosaic pattern having four or more sensitivities.
[0128]
In any of the methods, the R and G pixels are subjected to pixel interpolation processing and the like with reference to color mosaic pattern information focusing on color and sensitivity mosaic pattern information focusing on sensitivity in the pixel array pattern of the color / sensitivity mosaic image. , B are obtained with uniform sensitivity. The color mosaic pattern information is information indicating the type of color of each pixel of the color / sensitivity mosaic image (in this example, any one of R, G, and B), and the pixel has the pixel position as an index. Information on color components can be obtained. The sensitivity mosaic pattern information is information indicating the type of sensitivity of each pixel of the color / sensitivity mosaic image (in this example, S0, S1, S2, S3), and the pixel position is used as an index to determine the sensitivity of that pixel. Information has been made available.
[0129]
FIG. 17 shows an outline of the first demosaic processing of the image processing system centered on the demosaic processing unit 120. Although the color / sensitivity mosaic pattern P2 shown in FIG. 14 is exemplified here, the present invention can be applied to a color / sensitivity mosaic image composed of three colors other than RGB and a color / sensitivity mosaic image composed of four colors. . As shown in FIG. 17, the first demosaic processing is a sensitivity equalization processing for uniforming the sensitivity to generate a color mosaic image M, and a color correction for restoring the RGB components of each pixel of the color / sensitivity mosaic image M. Processing.
[0130]
In the sensitivity uniformization processing, interpolation processing is performed to restore the original light intensity without changing the color of the pixels of the color / sensitivity mosaic image obtained by the processing of the imaging system. For example, as a first stage process, an estimated value of the target sensitivity is obtained by interpolating a pixel value having a sensitivity different from the sensitivity of the pixel using a pixel value of a pixel of the same color and having a target sensitivity in the vicinity. . For example, for a pixel of color β and sensitivity S0, the pixel value at sensitivity S0 is used as is. Further, the estimated value at the sensitivity S1 is the color β existing in the vicinity of the pixel and is interpolated using the pixel value of the pixel having the sensitivity S1. Similarly, the estimated value at the sensitivity S2 is interpolated using the pixel value of the pixel of the sensitivity S2, which is the color β existing in the vicinity of the pixel, and the estimated value at the sensitivity S3 exists in the vicinity of the pixel. Is interpolated using the pixel value of the pixel having the sensitivity β and the color β. Thereby, each pixel has the pixel value of the original color β sensitivity S0, the pixel value of the sensitivity S1, the pixel value of the sensitivity S2, and the pixel value of the sensitivity S3.
[0131]
In such an interpolation process, a filter process is applied. For example, from the lower left pixel to the upper right pixel of the color / sensitivity mosaic image, one pixel is sequentially set as a target pixel. Then, by performing interpolation processing without changing the color of each pixel of the color / sensitivity mosaic image, interpolation values corresponding to the sensitivities S0, S1, S2, or S3 are generated. That is, among the pixels located near the target pixel of the color / sensitivity mosaic image (for example, 5 × 5 pixels centered on the target pixel), the pixel whose color is the same as the target pixel and whose sensitivity is Sα is determined. Detect and extract the pixel value of the detected reference pixel.
[0132]
Then, filter coefficients that are set in advance corresponding to the relative positions of the detected reference pixels with respect to the target pixel are obtained by the number of reference pixels. Thereafter, the pixel value of each reference pixel is multiplied by the corresponding filter coefficient, the sum of the products is calculated, the sum is then divided by the sum of the filter coefficients using the sum of the products, and the quotient is calculated as the pixel of interest. Is an interpolation value corresponding to the sensitivity Sα. Finally, the respective interpolated values of all the sensitivities Sα corresponding to the obtained target pixel are added, and the sum thereof is set as the pixel value of the color mosaic candidate image corresponding to the target pixel, and the pixel value of the color mosaic candidate image is used as an index to calculate the color. The color mosaic image corresponding to the target pixel is obtained by comparing the obtained value with a synthetic sensitivity compensation LUT (look-up table; see FIGS. 25 and 26) set so that the pixel value of the mosaic image M can be acquired. Let M be the pixel value. By repeating such processing for all the pixels, a color mosaic image M with uniform sensitivity is generated.
[0133]
In the color correction processing, output images R, G, and B are generated by performing color interpolation processing (filter processing) using color mosaic pattern information on the color mosaic image M obtained by the sensitivity uniformization processing. In this case, the modulation mosaic image Mg is generated in advance by performing a gradation modulation process on the color mosaic image M (for example, each pixel value of the modulation mosaic image Mg is raised to the γ-th power). The color mosaic image Mg is used as a processing target image. When generating the output images R, G, and B, first, a color separation process for generating the color difference images C and D and the luminance image L is performed, and the obtained color difference images C and D and the luminance image L are used. Output images R, G, and B are generated by performing a color space conversion process.
[0134]
FIG. 18 shows an outline of a second demosaic process of the image processing system centering on the demosaic processing unit 120. Although the color / sensitivity mosaic pattern P4 shown in FIG. 16 is illustrated here, the present invention can be applied to a color / sensitivity mosaic image composed of three colors other than RGB and a color / sensitivity mosaic image composed of four colors. . In the second demosaic process, first, a sensitivity mosaic image Ms for each color component is generated by performing a color interpolation process for each color component for each sensitivity, and then the sensitivity of each sensitivity mosaic image Ms is equalized and output. It generates images R, G, and B, and is characterized in that the first demosaic process, the color interpolation process, and the sensitivity equalization process are performed in reverse order.
[0135]
That is, as shown in FIG. 18, the second demosaicing process interpolates the RGB components of each pixel without changing the sensitivity of the pixels of the color / sensitivity mosaic image obtained by the processing of the imaging unit, and changes the R component. Of the sensitivity mosaic image MsR, the G component sensitivity mosaic image MsG, and the B component sensitivity mosaic image MsB, the R component sensitivity mosaic image MsR, the G component sensitivity mosaic image MsG, and B The sensitivity mosaic image MsB of the component comprises sensitivity equalization processing for equalizing the respective sensitivities to generate output images R, G, and B.
[0136]
The sensitivity-based color interpolation processing in the second demosaic processing includes extraction processing for extracting only pixels having the same sensitivity from the color / sensitivity mosaic image and color interpolation for interpolating the RGB component pixel values of the pixels extracted in the extraction processing. And an insertion process for generating a sensitivity mosaic image by combining the pixel values interpolated by the color interpolation process for each of the RGB components.
[0137]
FIG. 19 shows an outline of the extraction processing and the color interpolation processing in the second demosaic processing. In the extraction process, only the pixels of the target sensitivity Sα are extracted from the color / sensitivity mosaic image as shown in FIG. 19A for each target sensitivity Sα, and the color mosaic image McSα in which the pixels are arranged in a checkered pattern is extracted. Generate. For example, only the pixels having the sensitivity S0 are extracted, and a color mosaic image McS0 in which the pixels are arranged in a checkered pattern as shown in FIG. 19B is generated.
[0138]
In the color interpolation processing, for each target sensitivity Sα, an image βSα in which pixels each having the target sensitivity Sα and having a β color component are arranged in a checkered pattern is generated from the color mosaic image McSα for each color component. For example, from the color mosaic image McS0 shown in FIG. 19B, for example, an image RS0 and a sensitivity S0 as shown in FIG. 19C in which pixels having the sensitivity S0 and having an R component are arranged in a checkered pattern. An image GS0 in which pixels having a G component are arranged in a checkered pattern and an image BS0 in which pixels having a sensitivity S0 and having a B component are arranged in a checkered pattern are generated. In this color interpolation processing, filter processing is applied in the same manner as the interpolation processing in the first demosaic processing.
[0139]
FIG. 20 shows an outline of the insertion processing in the second demosaic processing. In the insertion process, a sensitivity mosaic image Msβ is generated by combining images βSα corresponding to respective sensitivities generated by the color interpolation process for each processing target color β. For example, for the R component, a sensitivity mosaic image MsR as shown in FIG. 20C is generated by combining an image RS0 as shown in FIG. 20A and an image RS3 as shown in FIG. I do.
[0140]
In the sensitivity uniformization processing in the second demosaic processing, the filter processing is applied in the same manner as the sensitivity uniformization processing in the first demosaic processing, and for the processing target color β, the lower left pixel to the upper right pixel of the sensitivity mosaic image MsXβ Up to this point, the pixel of interest is sequentially set as a pixel of interest, and a local sum corresponding to the pixel of interest is calculated. For example, a pixel value of a reference pixel composed of 5 × 5 pixels centered on the target pixel is extracted, and a predetermined value set in advance corresponding to the pixel value and the relative position of the reference pixel with respect to the target pixel is extracted. The filter coefficients are respectively multiplied, and the sum of the products is calculated. Then, the sum of the products is divided by the sum of, for example, 25 filter coefficients, and the quotient is set as a local sum corresponding to the pixel of interest. Finally, by comparing the obtained local sum with a combined sensitivity compensation LUT (see FIGS. 25 and 26) set to supply a corresponding compensation value as an index, the corresponding compensation for which the sensitivity characteristic has been compensated is obtained. The value is obtained, and the compensation value is set as the pixel value of the output image R corresponding to the pixel of interest. By repeating this for all pixels, an output image β of the processing target color β is generated.
[0141]
FIG. 21 illustrates a configuration example of the demosaic processing unit 120 that mainly performs the third demosaic processing of the image processing system centered on the demosaic processing unit 120. Hereinafter, it is assumed that the color / sensitivity mosaic image is the color / sensitivity mosaic pattern P2 in FIG. 14 unless otherwise specified. That is, the color of the pixel is any one of the three primary colors RGB, and the sensitivity is one of S0, S1, S2, and S3. Assume a Bayer arrangement. However, the configuration and operation described below can also be applied to a color / sensitivity mosaic image composed of three colors other than RGB and a color / sensitivity mosaic image composed of four colors.
[0142]
The third demosaicing process includes a luminance image generating process of generating a luminance image from the color / sensitivity mosaic image obtained by the processing of the imaging unit, and output images R and G using the color / sensitivity mosaic image and the luminance image. , B are generated by monochrome image processing. In the third demosaic processing, the color of the pixel is any one of the three primary colors RGB, and if attention is paid only to the color regardless of the sensitivity, it is applied to those having a Bayer array. It is suitable for. However, the configuration and operation described below can also be applied to a color / sensitivity mosaic image composed of three colors other than RGB and a color / sensitivity mosaic image composed of four colors.
[0143]
In the configuration example of the demosaic processing unit 120 that executes the third demosaic processing, the color / sensitivity mosaic image from the imaging system, the color mosaic pattern information indicating the color mosaic array of the color / sensitivity mosaic image, and the color / sensitivity mosaic image The sensitivity mosaic pattern information indicating the sensitivity mosaic arrangement is supplied to the luminance image generation unit 181 and the monochrome image generation units 182 to 184.
[0144]
The monochrome image generation unit 182 generates an output image R using the supplied color / sensitivity mosaic image and luminance image. The monochrome image generation unit 183 generates an output image G using the supplied color / sensitivity mosaic image and luminance image. The single-color image generation unit 184 generates an output image B using the supplied color / sensitivity mosaic image and luminance image.
[0145]
FIG. 22 is a flowchart illustrating the outline of the procedure of the third demosaic processing by the demosaic processing unit 120. The demosaic processing unit 120 first generates a luminance image by performing a luminance image generation process on the color / sensitivity mosaic image, and performs a noise removal process (S211). Thereafter, output images R, G, and B are generated using the color / sensitivity mosaic image and the luminance image (S212).
[0146]
FIG. 23 is a flowchart illustrating a detailed procedure of the luminance image generation processing (S211). First, it is determined whether or not all the pixels of the color / sensitivity mosaic image have been set as the target pixel (S221). When it is determined that all the pixels are not set as the target pixel, the target pixel is determined one pixel at a time from the lower left pixel to the upper right pixel of the color / sensitivity mosaic image (S221-No, S222).
[0147]
Then, a β component estimation process is performed on the color / sensitivity mosaic image for each processing target color β, thereby estimating an estimated value R ′ corresponding to the target pixel (S223). For example, by referring to the color mosaic pattern information and the sensitivity mosaic pattern information, among the pixels in the vicinity of the pixel of interest (for example, 15 × 15 pixels centered on the pixel of interest), there is a β component and the sensitivity Sα Is detected, and the pixel value of the detected pixel (reference pixel) is extracted. Then, a preset β component interpolation filter coefficient corresponding to the relative position of the reference pixel to the target pixel is obtained by the number of reference pixels, and the pixel value of each reference pixel is multiplied by the corresponding filter coefficient. , And the sum of the products is divided by the sum of the used β component interpolation filter coefficients to obtain a quotient for the sensitivity Sα. This is obtained for all the sensitivities Sα (S0, S1, S2, S3 in this example). Thereafter, the respective quotients are added to obtain a sum (corresponding to sensitivity equalization processing). Thereafter, a compensation value obtained by compensating the sensitivity characteristic is obtained by comparing the resultant value with the combined sensitivity compensation LUT (see FIGS. 25 and 26), thereby obtaining an estimated value β ′ corresponding to the target pixel.
[0148]
After obtaining the estimated value β ′ for each color, the estimated value β ′ is multiplied by a color balance coefficient kβ. Then, the respective products β ′ · kβ are added, and the sum is set as a pixel value (luminance candidate value) of the luminance candidate image corresponding to the target pixel (S224). Here, the color balance coefficient kβ is a preset value, for example, kR = 0.3, kG = 0.6, and kB = 0.1. Note that the values of the color balance coefficients kR, kG, and kB basically need only be calculated as values that have a correlation with luminance changes as luminance candidate values. Therefore, for example, kR = kG = kB may be set.
[0149]
The process returns to step S221, and the processes of steps S221 to S224 are repeated until it is determined that all the pixels have been set as the target pixel. If it is determined in step S221 that all pixels have been set as the target pixel, the process proceeds to step S225. Note that the luminance candidate image generated by the processing of steps S221 to S224 is subjected to noise removal processing (S225).
[0150]
In the noise removal process (S225), a brightness image is generated by performing a noise removal process on the brightness candidate image. Specifically, first, one pixel is sequentially set as a target pixel from the lower left pixel to the upper right pixel of the luminance candidate image. Then, pixel values (brightness candidate values) of pixels located above, below, left, and right of the target pixel are obtained, and the obtained pixel brightness candidate values located above, below, left, and right of the target pixel are substituted for variables a3, a0, a1, a2, respectively. I do. Next, by performing a direction-selective smoothing process in consideration of the luminance gradient, that is, a smoothing process in consideration of the contribution ratio of the horizontal smoothing component Hh and the vertical smoothing component Hv corresponding to the pixel of interest, , A smoothed value Ave corresponding to the pixel of interest is obtained. Thereafter, the average value of the pixel value (luminance candidate value) of the target pixel and the smoothed value Ave corresponding to the target pixel is calculated, and the average value is set as the pixel value (luminance value) of the luminance image corresponding to the target pixel. . By repeating this for all pixels, a luminance image on which noise removal processing has been performed is generated. Although simple smoothing processing can reduce noise but also smoothes edge components, this processing can reduce only noise while preserving edge components, resulting in smoothing processing with good edge preservation.
[0151]
At the time of the noise removal processing, the absolute value of the inner product of the gradient vector and the position vector of the target pixel is divided by 1 and the difference is raised to the power ρ to obtain the importance for the reference pixel. May be performed in consideration of the above. In this case, since the contour of the object in the image is detected and smoothing is performed in parallel with the contour, the occurrence of color moiré can be suppressed.
[0152]
FIG. 24 is a flowchart showing the detailed procedure of the monochrome image generation processing. In the single-color image generation processing, first, an R candidate image in which all pixels have the pixel value of the R component is generated by performing interpolation processing on the color / sensitivity mosaic image (S161). Note that the interpolation processing is the same as the β component estimation processing in the luminance image generation processing, and a description thereof will be omitted.
[0153]
Thereafter, an intensity ratio is calculated by performing a ratio value calculation process, and ratio value information indicating an intensity ratio corresponding to each pixel is generated (S162). For example, from the lower left pixel to the upper right pixel of the β component candidate image, one pixel is sequentially set as the target pixel. Then, pixels located in the vicinity of the target pixel (for example, 7 × 7 pixels centered on the target pixel) are referred to as reference pixels, and their pixel values (single-color candidate values of β components) and the same coordinates as the reference pixels are located. The pixel value (luminance value) of the luminance image is extracted. Then, a predetermined number of smoothing filter coefficients corresponding to the relative position of the reference pixel with respect to the target pixel are obtained by the number of reference pixels. Thereafter, a single filter candidate value of the β component of each reference pixel is multiplied by a smoothing filter coefficient, the product is divided by the corresponding luminance value, and the sum of the quotients is calculated. Further, the sum of the quotient is divided by the sum of the used smoothing filter coefficients to generate ratio value information as the intensity ratio corresponding to the pixel of interest. This is repeated until it is determined that all the pixels of the β candidate image have been set as the target pixel, thereby generating an intensity ratio for all the pixels of the β candidate image.
[0154]
Thereafter, by multiplying the pixel value of each pixel of the luminance image by the corresponding intensity ratio, an output image β having the product value as the pixel value for the processing target color β is generated (S163).
[0155]
FIGS. 25 and 26 show the composition used in the sensitivity equalization processing and the estimation processing (S223) when imaging is performed at different shutter speeds (charge accumulation times) using 2 × 2 (pixels or areas) as a unit matrix. FIG. 3 is a diagram illustrating an example of a sensitivity compensation LUT. First, FIG. 25A shows the characteristic curves of the pixels on the low-sensitivity side S0 and S1, and the characteristic curves of the pixels on the high-sensitivity side S2 and S3, and FIG. The horizontal axis indicates the intensity (L) of the incident light, and the vertical axis indicates the pixel value (I). FIG. 26 shows a characteristic curve of the combined sensitivity compensation LUT. The vertical axis represents the intensity (L) of the incident light, and the horizontal axis represents the pixel value (I). In FIG. 25B, the non-linear curve indicated by a code BD1 (BD; Broad Dynamic range) is obtained in the above-described first and third demosaic processings, and the non-linear curve indicated by a code BD2 is obtained in the second demosaic processing described above. It is in processing.
[0156]
In FIG. 25A, the sensitivity S3 on the high sensitivity side, that is, the longest charge accumulation time, has four times the sensitivity on the lowest sensitivity side, that is, the sensitivity S0 with the short charge accumulation time. The sensitivity S2 on the second highest sensitivity side, that is, the sensitivity S2 with the second longest charge accumulation time, has three times the sensitivity of the sensitivity S0 with the shortest charge accumulation time. The sensitivity S1 on the second lowest sensitivity side, that is, the sensitivity S1 with the second longest charge accumulation time has twice the sensitivity of the sensitivity S0 with the shortest charge accumulation time.
[0157]
That is, in the imaging with the long-time exposure accumulation (sensitivity S2, S3) corresponding to the low shutter speed, since the charge accumulation time is long, the dark part of the subject can be more clearly imaged, while the brightness of the subject is brighter. However, the output of the image sensor is saturated at a level of 100% in a high luminance portion exceeding 100% in the case of the sensitivity S3 and 200% in the case of the sensitivity S2, so that a good image cannot be obtained.
[0158]
On the other hand, when imaging is performed with short-time exposure accumulation (sensitivity S0, S1) corresponding to a high shutter speed, the amount of light accumulated in the charge generation unit 32 decreases, so that the imaging device with a gentler inclination An output can be obtained, and the imaging signal does not saturate even for a subject having a brightness exceeding 100% or 200% in FIG. However, even in this case, the output of the image sensor is saturated at the level of 100% for the high luminance portion exceeding 300% or 400%, respectively.
[0159]
In this way, by supplementing an image of a high-brightness portion that is saturated in imaging with a relatively low-speed shutter with an image of a relatively high-speed shutter, the codes BD1 and BD2 in FIG. As shown by the non-linear curve shown, it is possible to obtain an image with a wide dynamic range in which dark portions are not crushed and high-brightness portions are not overexposed. It should be noted that the curve denoted by reference numeral BD1 has a wide dynamic range image having smoother gradation than the case where the sensitivity setting, that is, the exposure accumulation time setting is set in four steps, as compared with the case of setting in two steps denoted by reference sign BD2.
[0160]
At this time, if the data obtained by the high-speed shutter is x0 (sensitivity S0) and x1 (sensitivity S1), and the data obtained by the low-speed shutter is y2 (sensitivity S2) and y3 (sensitivity S3), the first And the data z1 (corresponding to the curve BD1) subjected to the dynamic range expansion processing in the third demosaic processing are expressed by Equation (1-1), and the data z2 (corresponding to the curve BD2) subjected to the dynamic range expansion processing in the second demosaic processing ) Is represented as in equation (1-2). The functions LS0, LS1, HS0, and HS1 are functions defined in consideration of the output characteristics and the like of the individual unit pixels 3 in the unit matrix.
z1 = Ls0 (x0, x1, y2, y3) + Ls1 (x0, x1, y2, y3) + Hs0 (x0, x1, y2, y3) + Hs1 (x0, x1, y2, y3) (1-1)
z2 = Ls0 (x0, y3) + Ls1 (x0, y3) + Hs0 (x0, y3) + Hs1 (x0, y3) (1-2)
[0161]
As described above, the dynamic range expansion processing is generally a non-linear processing. Therefore, if the arithmetic processing is performed for each imaging, the processing load increases and the processing time increases. Therefore, the processing performed by the equations (1-1) and (1-2) is tabulated in advance to form a look-up table, and in an actual processing, the result obtained by referring to the table may be output. It is desirable.
[0162]
For example, in the estimation process (S223), the quotient calculated from the pixels on the low sensitivity side measured with the characteristics as shown by the characteristic curves S0 and S1 in FIG. 25A and the characteristic curves S2 and S3 in FIG. The quotient calculated using the pixel on the high sensitivity side measured with the characteristics as shown is added. Therefore, the obtained sum has a characteristic in which the characteristics on the low sensitivity side and the characteristics on the high sensitivity side are combined, as shown by the characteristic curve BD1 in FIG. The synthesized characteristic curve BD1 has characteristics of a wide dynamic range from low luminance to high luminance, but has a polygonal line as shown in FIG. 25A, so that the inverse characteristic curve of the sensitivity characteristic curve BD is used. Thus, the original linear characteristics are restored.
[0163]
Specifically, as shown in FIG. 26, the sum of the quotients for all the sensitivities is applied to the inverse characteristic curve d1 of the sensitivity characteristic curve BD1 in FIG. 25B to compensate for the non-linearity. Even in the first demosaic processing, the nonlinearity is compensated by applying the inverse demodulation curve d1. In the second demosaic process, the nonlinearity is compensated by applying the inverse demodulation curve d2 to the sensitivity characteristic curve BD2. That is, the combined sensitivity compensation LUT is obtained by converting the inverse characteristic curves d1 and d2 of FIG. 26 into a look-up table.
[0164]
As described above, according to the configuration of the solid-state imaging device 1 of the present embodiment, the charge accumulation unit that accumulates the charge generated by the charge generation unit such as the photodiode PD (may also have a charge accumulation function). A transfer gate unit disposed between the charge generation unit and the charge storage unit for transferring the charge generated by the charge generation unit to the charge storage unit; and a pixel signal corresponding to the charge stored in the charge storage unit. In an active pixel image sensor including a two-dimensional unit pixel including a pixel signal generation unit that performs a charge accumulation time for each unit pixel in a two-dimensional unit matrix including a plurality of unit pixels, the charge accumulation time for each unit pixel is determined by a predetermined level. It was controlled by. For example, a transfer clock line for driving a transfer gate unit for transferring charges and a reset clock line for resetting a charge storage unit are divided into a plurality of systems to which drive pulses can be independently applied. And the reset clock line.
[0165]
This makes it possible not only to control the even / odd lines but also to finely control the charge storage time within the line. For example, it is possible to control the storage time in a unit area using an m × n matrix. By processing pixel signals obtained under such control, a monochrome image or a color image with a wide dynamic range can be obtained. In addition, since the charge accumulation time can be finely controlled even in the line, the accumulation time can be set not only in two stages but also in more stages (for example, four stages or more), and a very smooth floor can be set. This is advantageous for generating a wide dynamic range image having a tone.
[0166]
In addition, since the charge generated by the charge generation unit is temporarily transferred to a charge storage unit such as a floating diffusion FD, and the signal charge is extracted at a predetermined timing, the storage time can be changed by combining with the global shutter function. , The synchronization of the exposure periods of the pixels having This is advantageous for correctly capturing a moving subject (moving body) with a wide dynamic range while preventing shading in the line direction (row direction).
[0167]
FIG. 27 is a diagram illustrating an outline of the fourth demosaic process. The fourth demosaic processing shows a processing method of a first example in which exposure control is performed in color filter repetition units at the time of capturing a color image. Here, a case will be described in which the R, G, and B color filter arrays are Bayer arrays, and the sensitivity has four levels of S0, S1, S2, and S3. However, the configuration and operation described below can also be applied to a color / sensitivity mosaic image composed of three colors other than RGB and a color / sensitivity mosaic image composed of four or more colors. Further, the present invention can be applied to a color / sensitivity mosaic pattern having nine or more sensitivities.
[0168]
In the fourth demosaic process, as shown in FIG. 27, a color separation process is performed for each color filter repetition unit on a color / sensitivity mosaic image whose exposure is controlled in the color filter repetition unit obtained by the processing of the imaging system. In this way, a color separation process for restoring the sensitivity mosaic image for each of the RGB components, a sensitivity uniformization process for equalizing the sensitivity of the sensitivity mosaic image obtained by the color separation process to restore the image, and a finalization process based on the restored image Image generation processing for generating a typical output image (luminance signal Y + color signal C).
[0169]
It goes without saying that the color separation processing is performed according to the Bayer arrangement. Thereby, irrespective of the sensitivity, for each color filter repetition unit, the RL component and the BL component of a relatively low frequency (reference symbol L indicates Low Frequency) and the frequency component twice as large as the R component and the B component And a relatively high-frequency GH component (reference symbol H indicates High Frequency). However, since the exposure accumulation time is set to a different value for each color filter repetition unit, each obtained image is a sensitivity mosaic image in a mosaic form in terms of sensitivity.
[0170]
Therefore, in the sensitivity uniformization process, first, based on each sensitivity mosaic image of the RL component and the BL component of a relatively low frequency, each unit matrix is used in a color filter repetition unit (a unit matrix of 2 × 2 pixels in this example). Is interpolated using the pixel values of the effective unit matrix of the same color in the vicinity thereof. Also, based on the sensitivity mosaic image of the GH component of a relatively high frequency, the pixel value of each pixel is interpolated using the pixel value of a valid pixel of the same color in the vicinity. As a result, the unit matrices for the R component and the B component have the pixel values of the original color sensitivities S0, S1, S2, and S3. Thereafter, by synthesizing the pixel values of the sensitivities S0, S1, S2, and S3 for each unit matrix, an image in which the sensitivities of the R component and the B component are equalized is obtained. In the R component and B component images, one unit matrix corresponds to four pixels of the output image. On the other hand, the pixel for the G component has the pixel values of the original color sensitivities S0, S1, S2, and S3. Thereafter, by synthesizing the pixel values of the sensitivities S0, S1, S2, and S3 for each pixel, an image with uniform sensitivity for the G component is obtained. In the G component image, one unit pixel 3 corresponds to one pixel of the output image.
[0171]
In the output image generation processing, in the same manner as conventionally performed, an R component and a B component exclusively contributing to generation of color information, and a G component having a frequency component twice as high as the R component and the B component. Based on the above, a final output image (luminance signal + color signal) is generated by performing a color signal generation process including a luminance signal generation process and a color difference signal generation process divided into a high band and a low band.
[0172]
As described above, according to the fourth demosaic process, the image is restored by the sensitivity uniformization process after performing the normal color separation process based on the pixel signal obtained by performing the exposure control in the color filter repetition unit. And it is easy to generate a color image with a wide dynamic range.
[0173]
FIG. 28 is a diagram illustrating an outline of the fifth demosaic process. This fifth demosaic processing shows a processing method of a second example in which exposure control is performed in color filter repetition units at the time of capturing a color image. In the fifth demosaic process, as shown in FIG. 28, the sensitivity of a color / sensitivity mosaic image whose exposure is controlled in a color filter repetition unit obtained by the processing of the imaging system is made uniform, so that a normal exposure state is obtained. , A color separation process for restoring the RGB components of each pixel from the image returned to the normal exposure state, and a final output image (based on the image obtained by the color separation process). Output image generation processing for generating a luminance signal Y + color signal C). The difference from the fourth demosaic process is that the color separation process and the sensitivity equalization process are performed in reverse order. In the case of the fifth demosaic processing, the processing after the sensitivity uniformization processing can be made completely the same as the processing in the normal mode, so that the overall circuit configuration becomes compact, for example, as shown in FIG. The digital signal processing unit (DSP) 130 can also be used like the external circuit 100 shown in FIG.
[0174]
As described above, the present invention has been described using the embodiment. However, the technical scope of the present invention is not limited to the scope described in the embodiment. Various changes or improvements can be made to the above-described embodiment without departing from the spirit of the invention, and embodiments with such changes or improvements are also included in the technical scope of the present invention.
[0175]
Further, the above embodiments do not limit the invention according to the claims (claims), and all combinations of the features described in the embodiments are not necessarily essential to the means for solving the invention. Absent. The embodiments described above include inventions at various stages, and various inventions can be extracted by appropriately combining a plurality of disclosed constituent features. Even if some components are deleted from all the components shown in the embodiment, as long as the effect is obtained, a configuration from which some components are deleted can be extracted as an invention.
[0176]
For example, in the above embodiment, the transfer clock lines and the reset clock lines divided into a plurality of systems are arranged so as to intersect each other. However, the present invention is not limited to this. As a structure that is driven by being divided into a plurality of systems, as a result, a sensitivity mosaic image having a mosaic sensitivity characteristic is obtained from the solid-state imaging device by applying a corresponding drive pulse to the transfer clock line and the reset clock line. It just needs to be output. For example, a structure in which a gate circuit is provided for each unit pixel and an individual exposure accumulation time can be set in a unit matrix may be adopted.
[0177]
Further, in the above-described embodiment, the pixel signal generation unit 5 having the FDA configuration using the floating diffusion, which is an example of the charge injection unit, has been described as an example. Good. For example, a floating gate FG (Floating Gate), which is an example of a charge injection portion, is provided on the substrate below the transfer electrode, and the potential change of the floating gate FG is caused by the amount of signal charge passing through the channel below the floating gate FG. The configuration of the detection method used may be adopted.
[0178]
In addition, although the charge storage unit 44 has been described as having a configuration including the transfer electrode, the charge storage unit 44 may have a virtual gate (VG) structure without the transfer electrode.
[0179]
In the above-described embodiment, the signal output from the pixels arranged in rows and columns is a voltage signal, and the column-type solid-state imaging device in which the CDS processing function unit is provided for each column has been described as an example. However, the solid-state imaging device is not limited to the column type. For example, the configuration of the unit matrix embodiment can be applied to a solid-state imaging device in which a signal output from a pixel is a current signal.
[0180]
In the solid-state imaging device according to the above-described embodiment, each element of the drive control unit 7 such as the horizontal scanning circuit 12 and the vertical scanning circuit 14 is formed integrally with the imaging unit 10 in a semiconductor region such as single crystal silicon. However, the imaging unit 10 and the drive control unit 7 may be separate components. For example, the imaging unit 10 and the drive control unit 7 may be formed in separate semiconductor regions, and the imaging unit 10 may be used as a camera head. Alternatively, only a part of the drive control unit 7 shown in the above embodiment may be formed integrally with the imaging unit 10. In this case, it is preferable that the horizontal scanning circuit 12, the vertical scanning circuit 14, and the vertical column selection driving unit 16 are integrated with the imaging unit 10.
[0181]
【The invention's effect】
As described above, according to the present invention, in the address control type solid-state imaging device having the configuration in which the charge generated by the charge generation unit is temporarily transferred to the charge accumulation unit and the signal charge is extracted at a predetermined timing, For each unit matrix including a plurality of unit pixels and color filter units, the charge accumulation time for each unit pixel and color filter unit is controlled at a predetermined stage.
[0182]
This makes it possible to finely control the charge accumulation time within a line regardless of whether it is an even or odd line, and obtain a sensitivity mosaic image by imaging with a different accumulation time for each unit pixel or unit filter in an mxn unit matrix. Can be By performing processing for equalizing the sensitivity of the unit pixels of the sensitivity mosaic image, a monochrome image or a color image having a wide dynamic range can be obtained.
[0183]
In addition, since the charge accumulation time can be finely controlled even in the line, the accumulation time can be set not only in two stages but also in more stages (for example, four stages or more), and the smoothness can be very smooth. A wide dynamic range image having a gradation can be obtained.
[0184]
In addition, since the charge generated by the charge generation unit is temporarily transferred to the charge storage unit and the signal charge is extracted at a predetermined timing, the exposure of pixels having different storage times can be performed in combination with the global shutter function. Synchronization of periods can be improved, and a moving subject (moving body) can be correctly imaged in a wide dynamic range while preventing shading in the line direction.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram of a solid-state imaging device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a detailed example of a first embodiment of a unit pixel in an imaging unit of the solid-state imaging device illustrated in FIG. 1;
FIG. 3 is an example of a timing chart of scanning in the solid-state imaging device including the unit pixels according to the first embodiment.
FIG. 4 is a diagram showing a schematic configuration of a unit matrix of 2 × 2 pixels.
FIG. 5 is a diagram showing an example of a wiring configuration of a reset Tr drive clock line and a transfer gate drive clock line when a unit matrix of 2 × 2 pixels is used.
FIG. 6 is a diagram illustrating an example of a drive timing and an electric charge amount of the unit pixel in the unit matrix over time;
FIG. 7 is a diagram illustrating a detailed example of a second embodiment of a unit pixel in the imaging unit of the solid-state imaging device illustrated in FIG. 1;
FIG. 8 is a diagram illustrating a detailed example of a third embodiment of a unit pixel in an imaging unit of the solid-state imaging device illustrated in FIG. 1;
FIG. 9 is an example of a scan timing chart in a solid-state imaging device including a unit pixel according to the third embodiment.
FIG. 10 is a diagram illustrating a driving method using 3 × 3 pixels as a unit matrix.
FIG. 11 is a diagram showing a configuration in which a row / column as a wiring target of a readout selection transistor and a reset transistor is reversed while 2 × 2 pixels are used as a unit matrix.
FIG. 12 is a diagram showing a configuration in which a drive clock line for a readout selection transistor and a reset transistor is provided in a direction oblique to the matrix direction while using 2 × 2 pixels as a unit matrix.
FIG. 13 is a diagram showing a color / sensitivity mosaic pattern P1.
FIG. 14 is a diagram showing a color / sensitivity mosaic pattern P2.
FIG. 15 is a diagram showing a color / sensitivity mosaic pattern P3.
FIG. 16 is a diagram showing a color / sensitivity mosaic pattern P4.
FIG. 17 is a diagram illustrating an outline of a first demosaic process.
FIG. 18 is a diagram illustrating an outline of a second demosaic process.
FIG. 19 is a diagram illustrating an outline of an extraction process and a color interpolation process in a second demosaic process.
FIG. 20 is a diagram illustrating an outline of an insertion process in a second demosaic process.
FIG. 21 is a diagram illustrating an outline of a third demosaic process.
FIG. 22 is a flowchart illustrating a procedure of a third demosaic process.
FIG. 23 is a flowchart showing a detailed procedure of a luminance image generation process (S111).
FIG. 24 is a flowchart showing a detailed procedure of a single-color image generation process.
FIG. 25 is a diagram for describing a combined sensitivity compensation LUT. (Part 1)
FIG. 26 is a diagram for describing a combined sensitivity compensation LUT. (Part 1)
FIG. 27 is a diagram illustrating an outline of a fourth demosaic process.
FIG. 28 is a diagram illustrating an outline of a fifth demosaic process.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 1 ... Solid-state imaging device, 3 ... Unit pixel, 5 ... Pixel signal generation part, 7 ... Drive control part, 10 ... Image pickup part, 12 ... Horizontal scanning circuit, 14 ... Vertical scanning circuit, 16 ... Vertical column selection drive part, 20 .. Timing generator 26 CDS processing unit 28 output buffer 32 charge generation unit 34 readout selection transistor 36 reset transistor 38 floating diffusion 39 light blocking member 40 vertical selection transistor 42 amplifying transistor, 44 charge storage unit, 46 transfer gate unit, 48 control switch, 50 horizontal selection transistor, 100 external circuit 100, 110 A / D conversion unit, 120 demosaic processing unit, 130 ... Digital signal processing unit, 132 ... Selection unit, 136 ... D / A conversion unit

Claims

A charge generation unit that has a light receiving surface for receiving light and generates a charge corresponding to the received light, corresponding to each pixel;
A charge storage unit that stores the charge generated by the charge generation unit;
A transfer gate unit that is disposed between the charge generation unit and the charge storage unit and that transfers the charge generated by the charge generation unit to the charge storage unit;
A two-dimensional unit pixel including a pixel signal generation unit that generates a pixel signal according to the charge stored in the charge storage unit;
A transfer clock line for driving the transfer gate unit and a reset clock line for sweeping out charges stored in the charge storage unit are divided into a plurality of systems so that the pulses can be applied independently. And a solid-state image sensor arranged so as to cross each other.

On the light receiving surface of the charge generation unit, a color filter for capturing a color image composed of a plurality of color components is arranged,
2. The solid-state imaging device according to claim 1, wherein the transfer clock line and the reset clock line are arranged so as to intersect with each other in a repeating unit in the color filter array. 3.

A charge generation unit that has a light receiving surface for receiving light and generates a charge corresponding to the received light, corresponding to each pixel;
A charge storage unit that stores the charge generated by the charge generation unit;
A transfer gate unit that is disposed between the charge generation unit and the charge storage unit and that transfers the charge generated by the charge generation unit to the charge storage unit;
A two-dimensional unit pixel including a pixel signal generation unit that generates a pixel signal according to the charge stored in the charge storage unit;
A clock line for reading a signal from the unit pixel is arranged so that the unit pixel can generate a sensitivity mosaic image having any one of a plurality of sensitivity characteristics with respect to light intensity. Characterized solid-state imaging device.

The solid-state imaging device according to claim 3, wherein the clock line is arranged so that the plurality of unit pixels having the same sensitivity characteristic are arranged in a grid and the sensitivity mosaic image can be generated. .

On the light receiving surface of the charge generation unit, a color filter for capturing a color image composed of a plurality of color components is arranged,
A color / sensitivity in which a plurality of the unit pixels having the same color component and sensitivity characteristics are arranged in a grid, and a plurality of the unit pixels having the same color component are arranged in a grid regardless of the sensitivity characteristics. 4. The solid-state imaging device according to claim 3, wherein the clock lines are arranged so that a mosaic image can be generated.

The plurality of color components are three primary color components,
6. The solid-state imaging device according to claim 5, wherein the unit pixel is configured to be able to generate the color / sensitivity mosaic image forming a Bayer array when attention is paid only to a color component.

In the case where attention is paid only to the sensitivity, the unit pixel is a color / sensitivity array in which a plurality of color filter array repeating units having the same sensitivity characteristic are arranged in a grid pattern for each repeating unit in the color filter array. 7. The solid-state imaging device according to claim 5, wherein a mosaic image can be generated.

4. The light-blocking member for blocking light is provided on a surface of the unit pixel, and an opening is formed at least above the charge generation unit of the light-blocking member. 5. The solid-state imaging device according to any one of the preceding claims.

The light-blocking member is provided at least on a surface portion of the charge accumulation unit disposed between the transfer gate unit and the pixel signal generation unit.
The solid-state imaging device according to claim 8, wherein:

The solid-state imaging device according to claim 1, wherein the charge generation unit has a function of a second charge storage unit that stores charge generated by the charge generation unit.

A charge generation unit that has a light receiving surface for receiving light and generates a charge corresponding to the received light, and a charge storage unit that stores the charge generated by the charge generation unit; A transfer gate unit disposed between a charge generation unit and the charge storage unit to transfer the charge generated by the charge generation unit to the charge storage unit; and a pixel signal corresponding to the charge stored in the charge storage unit. A two-dimensional unit pixel including a pixel signal generation unit for generating a transfer clock line for driving the transfer gate unit and a reset for sweeping out the charge stored in the charge storage unit Clock lines are divided into a plurality of systems so that the pulses can be applied independently of each other, and solid-state imaging devices arranged so as to intersect with each other,
A drive control unit that applies a corresponding drive pulse to the transfer clock line and the reset clock line, so that a sensitivity mosaic image having a mosaic sensitivity characteristic is output from the solid-state imaging device. A solid-state imaging device.

A charge generation unit that has a light receiving surface for receiving light and generates a charge corresponding to the received light, and a charge storage unit that stores the charge generated by the charge generation unit; A transfer gate unit disposed between a charge generation unit and the charge storage unit to transfer the charge generated by the charge generation unit to the charge storage unit; and a pixel signal corresponding to the charge stored in the charge storage unit. A solid-state imaging device including a two-dimensional unit pixel including a pixel signal generation unit that generates the pixel signal;
The sensitivity to the light intensity of the unit pixel has any one of a plurality of sensitivity characteristics, so that the solid-state imaging device can generate a sensitivity mosaic image, for driving the transfer gate unit. A solid-state imaging device, comprising: a transfer clock line; and a drive control unit that applies a corresponding drive pulse to a reset clock line for sweeping out charges stored in the charge storage unit.

The solid-state imaging device according to claim 11, wherein the drive control unit adjusts an application timing of the drive pulse such that all sensitivities in a unit matrix of the sensitivity mosaic image are different from each other.

The solid-state imaging device according to claim 11, further comprising an image processing unit configured to restore a subject image having uniform sensitivity based on the mosaic image output from the solid-state imaging device.

The solid-state imaging device according to claim 14, wherein the image processing unit restores the subject image by performing a spatial interpolation process using one mosaic image.

The drive control unit adjusts the application timing of the drive pulse so that the pixels at the same position can take pixel values of all sensitivities that can be obtained in one mosaic image, and converts the plurality of mosaic images into Let the solid-state image sensor take an image,
The solid-state imaging device according to claim 14, wherein the image processing unit restores the subject image by performing temporal interpolation processing using the mosaic images of a plurality of images each having a different sensitivity pattern. apparatus.