JP2010074649A

JP2010074649A - Imaging apparatus

Info

Publication number: JP2010074649A
Application number: JP2008241286A
Authority: JP
Inventors: Ko Tajima; 香田島
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-09-19
Filing date: 2008-09-19
Publication date: 2010-04-02

Abstract

【課題】ＸＹアドレス方式の固体撮像素子の使用を前提とし、加算読み出しモードと非加算読み出しモードを切り替える際に発生するライン毎の蓄積時間の差を解消することができる撮像装置を提供する。
【解決手段】ＸＹアドレス方式のＣＭＯＳイメージセンサ１０２と、ＣＭＯＳイメージセンサ１０２において、Ｙアドレスで指定されたラインの順序とは異なる順序でリセット、及び、信号読み出しを行うＳＳＧ１０４及びＣＰＵ１０５とを備える。またＣＭＯＳイメージセンサ１０２から読み出された信号のラインの順序を並べ替える並べ替え手段としてのラインメモリ１２０、１２１及びセレクタ１２２を備える。
【選択図】図１Provided is an imaging apparatus capable of eliminating a difference in accumulation time for each line that occurs when switching between an addition readout mode and a non-addition readout mode on the premise of using an XY address type solid-state imaging device.
An XY address type CMOS image sensor includes an SSG and a CPU that perform reset and signal readout in an order different from the order of lines designated by the Y address in the CMOS image sensor. In addition, line memories 120 and 121 and a selector 122 are provided as rearranging means for rearranging the order of signal lines read from the CMOS image sensor 102.
[Selection] Figure 1

Description

本発明は、ＸＹアドレス方式の固体撮像素子を用いた撮像装置に関するものである。 The present invention relates to an imaging apparatus using an XY address type solid-state imaging device.

ＣＭＯＳイメージセンサに代表される、ＸＹアドレス方式の固体撮像素子を用い、原色ベイヤー配列の色フィルタを備える撮像装置において、動画撮影と、静止画撮影をシームレスに切り替えるものがある。 In an imaging apparatus using an XY address type solid-state imaging device typified by a CMOS image sensor and having a primary color Bayer array color filter, there is one that seamlessly switches between moving image shooting and still image shooting.

このような撮像装置では、動画撮影時に高いフレームレートでの連続動作が必要となるため、センサ上で同色の色フィルタが配置された複数の画素の信号を加算して読み出し、システムの処理負荷を低減させている。一方、静止画撮影時には、高解像度な画像を得るために、センサの各画素から非加算で信号を読み出している。 In such an imaging apparatus, since continuous operation at a high frame rate is required during moving image shooting, signals from a plurality of pixels in which color filters of the same color are arranged on the sensor are added and read out, thereby reducing the processing load on the system. It is reduced. On the other hand, at the time of still image shooting, in order to obtain a high-resolution image, signals are read out from each pixel of the sensor without addition.

また、上記のようなＸＹアドレス方式の固体撮像素子を用いた撮像装置では、多くの場合、固体撮像素子上の電荷変換素子からの電荷読み出し、及び、リセット動作をライン毎に異なるタイミングで行う、ローリングシャッタ機構を有している。 Further, in an imaging apparatus using an XY address type solid-state imaging device as described above, in many cases, charge readout from the charge conversion element on the solid-state imaging device and reset operation are performed at different timings for each line. It has a rolling shutter mechanism.

ローリングシャッタ機構を有する撮像装置では、リセット動作のタイミングから、電荷読み出しのタイミングまでの時間が蓄積時間となり、各ラインでの蓄積時間が等しくなるよう、リセット動作、及び、電荷読み出しのタイミングが制御されている。 In an imaging device having a rolling shutter mechanism, the reset operation and the charge readout timing are controlled so that the time from the reset operation timing to the charge readout timing is the accumulation time, and the accumulation time in each line is equal. ing.

ここで、原色ベイヤー配列の色フィルタでは、Ｇ、Ｒの行とＢ、Ｇの行が１行毎に繰り返し配置されている。従って、動画撮影時に、同色の色フィルタが配置された画素同士を加算して読み出す場合には、４ｎ−３、４ｎ−１、４ｎ−２、４ｎというラインの順番で、ライン毎の電荷のリセット動作、及び、電荷変換素子からの電荷読み出しを行う。 Here, in the primary color Bayer array color filter, the G and R rows and the B and G rows are repeatedly arranged for each row. Therefore, when adding and reading out pixels with the same color filter arranged at the time of moving image shooting, the charge is reset for each line in the order of 4n-3, 4n-1, 4n-2, 4n. Operation and charge reading from the charge conversion element are performed.

一方、静止画撮影時に、非加算で信号を読み出す場合には、４ｎ−３、４ｎ−２、４ｎ−１、４ｎというラインの順番で、ライン毎の電荷のリセット動作、及び、電荷変換素子からの電荷読み出しを行う（ｎは自然数とする）。 On the other hand, when a signal is read out without addition during still image shooting, the charge reset operation for each line is performed in the order of the lines 4n-3, 4n-2, 4n-1, 4n, and the charge conversion element. Is read (n is a natural number).

このような駆動制御を行うことにより、同色画素での加算読み出しを行う動画撮影時、及び、非加算読み出しを行う静止画撮影時のそれぞれで、ライン毎の蓄積時間が等しくなる。 By performing such drive control, the accumulation time for each line becomes equal in each of the moving image shooting in which addition reading is performed with the same color pixel and the still image shooting in which non-addition reading is performed.

しかし、電荷読み出し、リセットの動作を制御する制御信号は、１Ｖ単位での更新となるため、加算読み出しモードから非加算読み出しモードに切り替わる時には、加算読み出し用のリセット動作の直後に、非加算読み出し用の電荷読み出し動作が行われる。 However, since the control signal for controlling the charge readout and reset operations is updated in units of 1 V, when switching from the addition readout mode to the non-addition readout mode, immediately after the reset operation for addition readout, The charge reading operation is performed.

同様に、非加算読み出しモードから加算読み出しモードに切り替わる時には、非加算読み出し用のリセット動作の直後に、加算読み出し用の電荷読み出し動作が行われる。即ち、加算読み出しモードと非加算読み出しモードが切り替わる際に、リセット動作の行われるラインの順序と、電荷読み出しの行われるラインの順序が異なってしまうため、ライン毎の蓄積時間が一定にならないという問題がある。 Similarly, when switching from the non-addition readout mode to the addition readout mode, the charge readout operation for addition readout is performed immediately after the reset operation for non-addition readout. That is, when the addition reading mode and the non-addition reading mode are switched, the order of the lines on which the reset operation is performed differs from the order of the lines on which the charge reading is performed, so that the accumulation time for each line is not constant. There is.

そこで、従来、ＸＹアドレス方式の固体撮像素子を用い、動画撮影と静止画撮影をシームレスに切り替える撮像装置において、静止画撮影時のリセット動作のタイミングを、静止画用の電荷読み出しのタイミングに合わせて制御し、ライン毎の蓄積時間が等しくなるようにしたものがある（非特許文献１）。
平成１８年度公開定例会次世代画像入力ビジョン・システム部会第１１１回定例会講演資料「動画機能とイメージセンサ」ソニー（株）広田功（主催：社団法人日本工業技術振興協会、平成１９年１月２２日） Therefore, conventionally, in an imaging device that uses an XY address type solid-state imaging device and seamlessly switches between moving image shooting and still image shooting, the timing of the reset operation at the time of still image shooting matches the timing of charge readout for still images. There is one that is controlled so that the accumulation time for each line is equal (Non-Patent Document 1).
2006 Public Regular Meeting Next Generation Image Input Vision / System Subcommittee 111th Regular Meeting Presentation Material “Video Function and Image Sensor” Isao Hirota Sony Corporation (Organizer: Japan Industrial Technology Promotion Association, January 2007) 22nd)

しかしながら、上記従来技術では、動画撮影用に電荷読み出し、リセット動作が行われた後、静止画撮影用のリセット動作を追加する必要があり、撮像素子の駆動制御が複雑になる。また、静止画撮影が指示される１Ｖ前での電荷読み出しのタイミングによって、当該静止画の蓄積時間が制約を受けるという課題がある。 However, in the above prior art, it is necessary to add a reset operation for still image shooting after charge reading and reset operations are performed for moving image shooting, which complicates drive control of the image sensor. In addition, there is a problem that the accumulation time of the still image is limited by the charge read timing before 1 V when the still image shooting is instructed.

本発明の目的は、ＸＹアドレス方式の固体撮像素子の使用を前提とし、加算読み出しモードと非加算読み出しモードを切り替える際に発生するライン毎の蓄積時間の差を解消することができる撮像装置を提供することにある。 An object of the present invention is to provide an imaging apparatus capable of eliminating the difference in accumulation time for each line that occurs when switching between an addition readout mode and a non-addition readout mode on the premise of using an XY address type solid-state imaging device. There is to do.

上記目的を達成するために、請求項１記載の撮像装置は、ＸＹアドレス方式の撮像素子と、前記撮像素子において、Ｙアドレスで指定されたラインの順序とは異なる順序でリセット、及び、信号読み出しを行う駆動手段と、前記駆動手段により前記撮像素子から読み出された信号のラインの順序を並べ替える並べ替え手段とを備えることを特徴とする。 In order to achieve the above object, an image pickup apparatus according to claim 1 is an XY address type image pickup device, and resets and reads a signal in an order different from the order of lines designated by the Y address in the image pickup device. And a rearrangement unit that rearranges the order of signal lines read from the image sensor by the drive unit.

本発明の撮像装置によれば、ＸＹアドレス方式の固体撮像素子の使用を前提とし、加算読み出しモードと非加算読み出しモードを切り替える際に発生するライン毎の蓄積時間の差を解消することができる。 According to the imaging apparatus of the present invention, on the premise of using an XY address type solid-state imaging device, it is possible to eliminate the difference in accumulation time for each line that occurs when switching between the addition readout mode and the non-addition readout mode.

以下、本発明を図面を参照しながら詳細に説明する。 Hereinafter, the present invention will be described in detail with reference to the drawings.

図１は、本発明の実施の形態に係る撮像装置としてのビデオカメラのブロック構成図である。 FIG. 1 is a block configuration diagram of a video camera as an imaging apparatus according to an embodiment of the present invention.

図１において、本ビデオカメラは、結像レンズ１０１、ＣＭＯＳイメージセンサ（撮像素子）１０２、ＣＭＯＳイメージセンサ１０２から読み出されたアナログ映像信号をデジタルデータに変換するＡＤコンバータ（ＡＤＣ）１０３を備える。 In FIG. 1, the video camera includes an imaging lens 101, a CMOS image sensor (imaging device) 102, and an AD converter (ADC) 103 that converts an analog video signal read from the CMOS image sensor 102 into digital data.

また、本ビデオカメラは、同期信号生成回路（ＳＳＧ）１０４、ビデオカメラ全体の動作を制御するＣＰＵ１０５、ユーザが動画撮影または静止画撮影の開始、終了を指示するための操作部１０６を備える。 In addition, the video camera includes a synchronization signal generation circuit (SSG) 104, a CPU 105 that controls the operation of the entire video camera, and an operation unit 106 for a user to instruct start and end of moving image shooting or still image shooting.

ここで、ＳＳＧ１０４及びＣＰＵ１０５は、ＣＭＯＳイメージセンサ１０２において、Ｙアドレスで指定されたラインの順序とは異なる順序でリセット、及び、信号読み出しを行う駆動手段として機能する。 Here, in the CMOS image sensor 102, the SSG 104 and the CPU 105 function as a driving unit that performs reset and signal readout in an order different from the order of the lines specified by the Y address.

また、本ビデオカメラは、ＡＤＣ１０３から出力される映像信号を１Ｈ分遅延させるラインメモリ１２０、１２１、ラインメモリ１２０、１２１の出力をＳＳＧ１０４からの制御信号に基づいて切り替えるセレクタ１２２を備える。 The video camera also includes line memories 120 and 121 that delay the video signal output from the ADC 103 by 1H, and a selector 122 that switches the outputs of the line memories 120 and 121 based on a control signal from the SSG 104.

また、本ビデオカメラは、カメラ信号処理部１０８、記録用信号処理部１０９、液晶パネルなどの表示装置１１０、ＤＶＤディスクなどの記録メディア１１１を備える。 The video camera also includes a camera signal processing unit 108, a recording signal processing unit 109, a display device 110 such as a liquid crystal panel, and a recording medium 111 such as a DVD disk.

次に、本ビデオカメラの動作の概要を説明する。 Next, an outline of the operation of the video camera will be described.

結像レンズ１０１を通じ、ＣＭＯＳイメージセンサ１０２の受光面上に光学像が結像されると、ＣＭＯＳイメージセンサ１０２の各画素に配置されたフォトダイオードで、入射光量に応じた光電荷が発生する。 When an optical image is formed on the light receiving surface of the CMOS image sensor 102 through the imaging lens 101, photocharges corresponding to the amount of incident light are generated by the photodiodes arranged in the respective pixels of the CMOS image sensor 102.

ユーザが操作部１０６を操作して動画撮影または静止画撮影を指示すると、ＳＳＧ１０４では、ＣＭＯＳイメージセンサ１０２を駆動するための同期信号を生成する。その同期信号とＣＰＵ１０５からの制御信号に基づいて、ＣＭＯＳイメージセンサ１０２の内部駆動回路が駆動され、所定の順番でＣＭＯＳイメージセンサ１０２の出力端子からアナログ映像信号が出力される。 When the user operates the operation unit 106 to instruct moving image shooting or still image shooting, the SSG 104 generates a synchronization signal for driving the CMOS image sensor 102. Based on the synchronization signal and the control signal from the CPU 105, the internal drive circuit of the CMOS image sensor 102 is driven, and an analog video signal is output from the output terminal of the CMOS image sensor 102 in a predetermined order.

アナログ映像信号は、ＡＤＣ１０３においてデジタルデータに変換される。セレクタ１２２では、ＣＰＵ１０５の制御に基づいて、ＡＤＣ１０３の出力信号、ＡＤＣ１０３の出力をラインメモリ１２０で１Ｈ遅延させた信号、ＡＤＣ１０３の出力をラインメモリ１２０、１２１で２Ｈ遅延させた信号のいずれかを選択して出力する。 The analog video signal is converted into digital data by the ADC 103. Based on the control of the CPU 105, the selector 122 selects one of the output signal of the ADC 103, the signal obtained by delaying the output of the ADC 103 by 1H in the line memory 120, and the signal obtained by delaying the output of the ADC 103 by 2H in the line memories 120 and 121. And output.

セレクタ１２２の出力信号は、カメラ信号処理回路１０８に入力され、輝度信号、色差信号の生成、輪郭補償等の信号処理が行われる。カメラ信号処理回路１０８の出力は、表示装置１１０に表示されるとともに、記録用信号処理手段１０９を経て、記録メディア１１１に記録される。 An output signal of the selector 122 is input to the camera signal processing circuit 108, and signal processing such as generation of a luminance signal and a color difference signal and contour compensation is performed. The output of the camera signal processing circuit 108 is displayed on the display device 110 and is recorded on the recording medium 111 via the recording signal processing means 109.

図２は、図１におけるＣＭＯＳイメージセンサの構成図である。 FIG. 2 is a configuration diagram of the CMOS image sensor in FIG.

次に、図２を用いて、ＣＭＯＳイメージセンサ１０２の構成について説明する。 Next, the configuration of the CMOS image sensor 102 will be described with reference to FIG.

ＣＭＯＳイメージセンサ１０２は、ＣＭＯＳイメージセンサ１０２の画素（ｘ行ｙ列目の分を２０１−ｙｘと表記）２０１を備える。画素２０１は、原色ベイヤー配列となるよう、画素毎に所定の色フィルタが配置されている。 The CMOS image sensor 102 includes the pixels 201 of the CMOS image sensor 102 (the x-th row and y-th column are expressed as 201-yx) 201. In the pixel 201, a predetermined color filter is arranged for each pixel so as to form a primary color Bayer array.

また、ＣＭＯＳイメージセンサ１０２は、フローティングディフュージョンアンプ（以下、ＦＤアンプと略記し、ｘ行ｙ列目の分を２０２−ｙｘと表記）２０２、行読み出し制御線（ｘ行目の分を２０３−ｘと表記）２０３を備える。 Further, the CMOS image sensor 102 includes a floating diffusion amplifier (hereinafter abbreviated as FD amplifier, the x-th row and y-th column is represented as 202-yx) 202, and the row readout control line (the x-th row is represented by 203-x). 203).

また、ＣＭＯＳイメージセンサ１０２は、行リセット制御線（ｘ行目の分を２０４−ｘと表記）２０４、行選択線（ｘ行目の分を２０５−ｘと表記）２０５、列信号線（ｙ列目の分を２０６−ｙと表記）２０６を備える。 Further, the CMOS image sensor 102 includes a row reset control line (the x-th line is expressed as 204-x) 204, a row selection line (the x-th line is expressed as 205-x) 205, a column signal line (y 206 is indicated as 206-y).

また、ＣＭＯＳイメージセンサ１０２は、列アンプ（ｙ列目の分を２０７−ｙと表記）２０７、列アンプ２０７の出力をチャージする列信号バッファ容量（ｙ列目の分を２０８−ｙ、２０９−ｙと表記）２０８、２０９を備える。 Further, the CMOS image sensor 102 includes a column amplifier (the y-th column is expressed as 207-y) 207, a column signal buffer capacity for charging the output of the column amplifier 207 (the y-th column is 208-y, 209-). 208, 209).

また、ＣＭＯＳイメージセンサ１０２は、列信号バッファ容量２０８、２０９へのチャージをＯＮ／ＯＦＦするための列信号バッファ容量制御スイッチ（ｙ列目の分を２１０−ｙ、２１１−ｙと表記）２１０、２１１、水平信号線２１４、２１５を備える。 Further, the CMOS image sensor 102 includes column signal buffer capacity control switches (indicated by 210-y and 211-y for the y-th column) 210 for turning on / off the charge to the column signal buffer capacitors 208 and 209, 210, 211 and horizontal signal lines 214 and 215.

また、ＣＭＯＳイメージセンサ１０２は、列信号バッファ容量２０８、２０９にチャージされた信号を、水平信号線２１４、２１５に順次出力するための列選択スイッチ（ｙ列目の分を２１２−ｙ、２１３−ｙと表記）２１２、２１３を備える。 The CMOS image sensor 102 also includes column selection switches for sequentially outputting the signals charged in the column signal buffer capacitors 208 and 209 to the horizontal signal lines 214 and 215 (212-y and 213-for the y-th column). (denoted y) 212, 213.

また、ＣＭＯＳイメージセンサ１０２は、水平走査回路２１６、垂直走査回路２１７、垂直同期信号入力端子２１８、読み出し開始行設定入力端子２１９、水平同期信号入力端子２２０、出力バッファアンプ２２１、２２２を備える。また、ＣＭＯＳイメージセンサ１０２は、映像信号出力端子２２３、２２４を備える。 The CMOS image sensor 102 includes a horizontal scanning circuit 216, a vertical scanning circuit 217, a vertical synchronization signal input terminal 218, a read start row setting input terminal 219, a horizontal synchronization signal input terminal 220, and output buffer amplifiers 221 and 222. The CMOS image sensor 102 includes video signal output terminals 223 and 224.

次に、ＣＭＯＳイメージセンサ１０２での撮像動作について、図２を参照しながら説明する。 Next, the imaging operation in the CMOS image sensor 102 will be described with reference to FIG.

本実施の形態では、動画撮影時には、ＣＭＯＳイメージセンサ１０２において、同色の色フィルタ配置となるラインの信号を加算して映像信号出力端子２２３から読み出すものとする。また、静止画撮影時には、ＣＭＯＳイメージセンサ１０２からの映像信号を非加算で、映像信号出力端子２２３、２２４から１ラインずつ読み出すものとする。 In the present embodiment, at the time of moving image shooting, the CMOS image sensor 102 adds signals of lines having the same color filter arrangement and reads out from the video signal output terminal 223. Further, at the time of still image shooting, the video signal from the CMOS image sensor 102 is not added, and is read from the video signal output terminals 223 and 224 line by line.

まず、ＣＭＯＳイメージセンサ１０２において、同色の色フィルタが配置された行の映像信号を、センサ上で加算して読み出す場合（加算読み出しモード）の動作について説明する。 First, the operation of the CMOS image sensor 102 when the video signals in the row where the color filters of the same color are arranged are added and read on the sensor (addition read mode) will be described.

１行目の画素２０１−１１、２０１−１２、２０１−１３、２０１−１４の電荷は、行読み出し制御線２０３−１の制御に基づいて、それぞれ、ＦＤアンプ２０２−１１、２０２−１２、２０２−１３、２０２−１４に読み出される。 The charges of the pixels 201-11, 201-12, 201-13, and 201-14 in the first row are respectively controlled by the FD amplifiers 202-11, 202-12, and 202 based on the control of the row readout control line 203-1. -13 and 202-14.

ＦＤアンプ２０２−１１、２０２−１２、２０２−１３、２０２−１４の出力は、行選択線２０５−１の制御に基づいて選択される。そしてその後、それぞれ、列信号線２０６−１、２０６−２、２０６−３、２０６−４を介して、列アンプ２０７−１、２０７−２、２０７−３、２０７−４で増幅される。 The outputs of the FD amplifiers 202-11, 202-12, 202-13 and 202-14 are selected based on the control of the row selection line 205-1. Thereafter, the signals are amplified by the column amplifiers 207-1, 207-2, 207-3, and 207-4 via the column signal lines 206-1, 206-2, 206-3, and 206-4, respectively.

同時に、列信号バッファ容量制御スイッチ２１０−１、２１０−２、２１０−３、２１０−４がＯＮになる。そして、列アンプ２０７−１、２０７−２、２０７−３、２０７−４の出力が、列信号バッファ容量２０８−１、２０８−２、２０８−３、２０８−４にチャージされる。 At the same time, the column signal buffer capacity control switches 210-1, 210-2, 210-3, 210-4 are turned on. Then, the outputs of the column amplifiers 207-1, 207-2, 207-3, and 207-4 are charged to the column signal buffer capacitors 208-1, 208-2, 208-3, and 208-4.

列信号バッファ容量２０８−１、２０８−２、２０８−３、２０８−４のチャージ後、列信号バッファ容量制御スイッチ２１０−１、２１０−２、２１０−３、２１０−４はＯＦＦになる。 After the column signal buffer capacitors 208-1, 208-2, 208-3, 208-4 are charged, the column signal buffer capacitor control switches 210-1, 210-2, 210-3, 210-4 are turned off.

次に、行読み出し制御線２０３−３の制御に基づいて、３行目の画素２０１−３１、２０１−３２、２０１−３３、２０１−３４の電荷がＦＤアンプ２０２−３１、２０２−３２、２０２−３３、２０２−３４に読み出される。 Next, based on the control of the row readout control line 203-3, the charges of the pixels 201-31, 201-32, 201-33, 201-34 in the third row are transferred to the FD amplifiers 202-31, 202-32, 202. -33, 202-34.

ＦＤアンプ２０２−３１、２０２−３２、２０２−３３、２０２−３４の出力は、行選択線２０５−３の制御に基づいて選択される。そして、その後、それぞれ、列信号線２０６−１、２０６−２、２０６−３、２０６−４を介して、列アンプ２０７−１、２０７−２、２０７−３、２０７−４で増幅される。 The outputs of the FD amplifiers 202-31, 202-32, 202-33, 202-34 are selected based on the control of the row selection line 205-3. Thereafter, the signals are amplified by the column amplifiers 207-1, 207-2, 207-3, and 207-4 via the column signal lines 206-1, 206-2, 206-3, and 206-4, respectively.

同時に、列信号バッファ容量制御スイッチ２１１−１、２１１−２、２１１−３、２１１−４がＯＮになる。そして、列アンプ２０７−１、２０７−２、２０７−３、２０７−４の出力が、列信号バッファ容量２０９−１、２０９−２、２０９−３、２０９−４にチャージされる。 At the same time, the column signal buffer capacity control switches 211-1, 211-2, 211-3, 211-4 are turned on. The outputs of the column amplifiers 207-1, 207-2, 207-3, and 207-4 are charged into the column signal buffer capacitors 209-1, 209-2, 209-3, and 209-4.

列信号バッファ容量２０９−１、２０９−２、２０９−３、２０９−４のチャージ後、列信号バッファ容量制御スイッチ２１０−１、２１０−２、２１０−３、２１０−４が再びＯＮになる。 After the column signal buffer capacitors 209-1, 209-2, 209-3, and 209-4 are charged, the column signal buffer capacitor control switches 210-1, 210-2, 210-3, and 210-4 are turned on again.

そして、１行目の電荷をチャージした列信号バッファ容量２０８−１、２０８−２、２０８−３、２０８−４と、３行目の電荷をチャージした列信号バッファ容量２０９−１、２０９−２、２０９−３、２０９−４の信号レベルが平均化される。 Then, column signal buffer capacitors 208-1, 208-2, 208-3, 208-4 charged with charges in the first row and column signal buffer capacitors 209-1, 209-2 charged with charges in the third row. , 209-3, 209-4 are averaged.

平均化された１行目と３行目の信号レベルは、以下のように出力される。即ち、水平走査回路２１６の制御に基づき、列選択スイッチ２１２−１、２１２−２、２１２−３、２１２−４を順次開閉することにより、水平信号線２１４と出力バッファアンプ２２１を通じて映像信号出力端子２２３から出力される。 The averaged signal levels of the first and third rows are output as follows. That is, based on the control of the horizontal scanning circuit 216, by sequentially opening and closing the column selection switches 212-1, 212-2, 212-3, 212-4, the video signal output terminal through the horizontal signal line 214 and the output buffer amplifier 221. 223.

以上のようにして、Ｒ、Ｇの色フィルタが配置された１行目と３行目の信号がＣＭＯＳイメージセンサ１０２上で加算されて読み出される。次に、Ｂ、Ｇの色フィルタが配置された２行目の信号と４行目の信号が、同様に、センサ上で加算されて読み出される。 As described above, the signals in the first and third rows in which the R and G color filters are arranged are added on the CMOS image sensor 102 and read out. Next, the signals in the second row and the signals in the fourth row in which the B and G color filters are arranged are similarly added and read on the sensor.

図２では、１行目から４行目までを示したが、５行目以降についても同様であり、４ｎ−３行目と４ｎ−１行目をセンサ上で加算して読み出した後、４ｎ−２行目と４ｎ行目をセンサ上で加算して読み出す（但し、ｎは自然数とする）。 In FIG. 2, the first to fourth lines are shown, but the same applies to the fifth and subsequent lines, and after 4n-3 lines and 4n-1 lines are added and read on the sensor, 4n -2nd line and 4nth line are added and read on the sensor (where n is a natural number).

また、各行の画素２０１−ｘｙの電荷は、それぞれ、行リセット制御線２０４−ｘの制御に基づいてリセットされる。リセット後、行読み出し制御線２０３−ｘの制御に基づいて、次の電荷読み出しが行われるまでが、次のフレームでの各行の蓄積時間となる。 Further, the charges of the pixels 201-xy in each row are reset based on the control of the row reset control line 204-x. After the reset, the time until the next charge reading is performed based on the control of the row reading control line 203-x is the accumulation time of each row in the next frame.

ここで、本実施の形態のＣＭＯＳイメージセンサ１０２は、ローリングシャッタ機構の撮像素子である。そのため、行毎の蓄積時間（リセット動作後から電荷読み出しまでの時間）を等しくするために、電荷読み出しの行われる行の順番と行リセットの行われる行の順番を揃える。 Here, the CMOS image sensor 102 of the present embodiment is an image pickup element having a rolling shutter mechanism. For this reason, in order to equalize the accumulation time for each row (the time from the reset operation to the charge readout), the order of the rows from which the charge readout is performed and the order of the rows from which the row reset is performed are aligned.

上記のように、４ｎ−３行目と４ｎ−１行目をセンサ上で加算して読み出した後、４ｎ−２行目と４ｎ行目をセンサ上で加算して読み出す場合には、行リセットが行われる行の順番が以下のように制御されている。即ち、４ｎ−３行目、４ｎ−１行目、ｎ−２行目、４ｎ行目となるように、行リセット制御線２０４−ｘが制御されている。 If the 4n-3 and 4n-1 lines are added and read on the sensor as described above, then the 4n-2 and 4n lines are added and read on the sensor. The order of the lines on which is performed is controlled as follows. That is, the row reset control line 204-x is controlled so as to be the 4n-3th row, the 4n-1th row, the n-2th row, and the 4nth row.

次に、ＣＭＯＳイメージセンサ１０２からの映像信号を非加算で１ラインずつ読み出す場合（非加算読み出しモード）の動作について説明する。 Next, the operation when the video signal from the CMOS image sensor 102 is read line by line without addition (non-addition read mode) will be described.

ＦＤアンプ２０２−１１、２０２−１２、２０２−１３、２０２−１４の出力は、行選択線２０５−１の制御に基づいて選択された後、それぞれ、列信号線２０６−１、２０６−２、２０６−３、２０６−４を介して、列アンプ２０７−１、２０７−２、２０７−３、２０７−４で増幅される。 The outputs of the FD amplifiers 202-11, 202-12, 202-13, and 202-14 are selected based on the control of the row selection line 205-1, and then the column signal lines 206-1, 206-2, respectively. Amplified by the column amplifiers 207-1, 207-2, 207-3, and 207-4 via 206-3 and 206-4.

列信号バッファ容量２０８−１、２０８−２、２０８−３、２０８−４にチャージされた１行目の信号は、以下のように出力される。即ち、水平走査回路２１６の制御に基づき、列選択スイッチ２１２−１、２１２−２、２１２−３、２１２−４を順次開閉することにより、水平信号線２１４と出力バッファアンプ２２１を通じて映像信号出力端子２２３から出力される。 The signals in the first row charged in the column signal buffer capacitors 208-1, 208-2, 208-3, 208-4 are output as follows. That is, based on the control of the horizontal scanning circuit 216, by sequentially opening and closing the column selection switches 212-1, 212-2, 212-3, 212-4, the video signal output terminal through the horizontal signal line 214 and the output buffer amplifier 221. 223.

次に、３行目の画素２０１−３１、２０１−３２、２０１−３３、２０１−３４の電荷は、行読み出し制御線２０３−３の制御に基づいて、それぞれ、ＦＤアンプ２０２−３１、２０２−３２、２０２−３３、２０２−３４に読み出される。 Next, the charges of the pixels 201-31, 201-32, 201-33, and 201-34 in the third row are respectively controlled by the FD amplifiers 202-31 and 202- based on the control of the row readout control line 203-3. 32, 202-33, 202-34.

列信号バッファ容量２０９−１、２０９−２、２０９−３、２０９−４のチャージ後、列信号バッファ容量制御スイッチ２１１−１、２１１−２、２１１−３、２１１−４はＯＦＦになる。 After the column signal buffer capacitors 209-1, 209-2, 209-3, and 209-4 are charged, the column signal buffer capacitor control switches 211-1, 211-2, 211-3, and 211-4 are turned off.

列信号バッファ容量２０９−１、２０９−２、２０９−３、２０９−４にチャージされた１行目の信号は、以下のように出力される。即ち、水平走査回路２１６の制御に基づき、列選択スイッチ２１３−１、２１３−２、２１３−３、２１３−４を順次開閉することにより、水平信号線２１５と出力バッファアンプ２２２を通じて映像信号出力端子２２４から出力される。 The first row signals charged in the column signal buffer capacitors 209-1, 209-2, 209-3, and 209-4 are output as follows. That is, based on the control of the horizontal scanning circuit 216, the video signal output terminal is connected through the horizontal signal line 215 and the output buffer amplifier 222 by sequentially opening and closing the column selection switches 213-1, 213-2, 213-3, and 213-4. 224.

以上のように、１行目と３行目の信号が非加算で２チャンネルに分割して読み出された後、２行目、４行目も、同様に、非加算で読み出される。 As described above, after the signals in the first and third rows are read out after being divided into two channels by non-addition, the second and fourth rows are similarly read out by non-addition.

図２では、１行目から４行目までを示したが、５行目以降についても同様であり、４ｎ−３行目と４ｎ−１行目が非加算で２チャンネルに分割して読み出された後、４ｎ−２行目と４ｎ行目が非加算で２チャンネルに分割して読み出される（但し、ｎは自然数とする）。 In FIG. 2, the first to fourth lines are shown, but the same applies to the fifth and subsequent lines, and the 4n-3 line and the 4n-1 line are read by dividing into 2 channels without addition. After that, the 4n-2 line and the 4n line are read by being divided into two channels without addition (where n is a natural number).

次に、ユーザが動画撮影中（加算読み出しモード）に操作部１０６を操作し、静止画撮影（非加算読み出しモード）が指示された場合の、ＣＭＯＳイメージセンサ１０２の撮像動作について、図３のタイミングチャートを参照しながら説明する。 Next, regarding the imaging operation of the CMOS image sensor 102 when the user operates the operation unit 106 during moving image shooting (addition read mode) and still image shooting (non-addition read mode) is instructed, the timing of FIG. This will be described with reference to the chart.

図３において、垂直同期信号ＶＤの立ち上がりを以って、当該フレームでの信号読み出しが開始される。水平同期信号ＨＤの立ち上がり間隔で、１行分の信号が読み出される。垂直同期期間Ｔａ１は、加算読み出しモードであり、次の垂直同期期間Ｔａ２で非加算読み出しモードに切り替わる。 In FIG. 3, signal readout in the frame starts with the rising edge of the vertical synchronizing signal VD. A signal for one row is read at the rising interval of the horizontal synchronization signal HD. The vertical synchronization period Ta1 is an addition reading mode, and is switched to a non-addition reading mode in the next vertical synchronization period Ta2.

符号３０３−ｘ、３０４−ｘ、３０５−ｘは、それぞれ、ｘ行目の行読み出し制御線２０３−ｘ、行リセット制御線２０４−ｘ、行選択線２０５−ｘの制御タイミングを示す（ｘ＝１，２，３，４，・・・）。 Reference numerals 303-x, 304-x, and 305-x indicate control timings of the row read control line 203-x, the row reset control line 204-x, and the row selection line 205-x of the x-th row (x = 1, 2, 3, 4, ...).

符号３０６、３０７は、それぞれ、列信号バッファ容量制御スイッチ２１０−ｙ、２１１−ｙをＯＮ／ＯＦＦするための制御タイミングを示す。符号３０８は、ＣＭＯＳイメージセンサ１０２の動作モードを示し、加算読み出しモードのときはＬレベル、非加算読み出しモードのときはＨレベルとなる。符号３０９、３１０は、映像信号出力端子２２３、２２４からの出力データを示す。 Reference numerals 306 and 307 indicate control timings for turning on / off the column signal buffer capacity control switches 210-y and 211-y, respectively. Reference numeral 308 denotes an operation mode of the CMOS image sensor 102, which is at the L level in the addition reading mode and at the H level in the non-addition reading mode. Reference numerals 309 and 310 denote output data from the video signal output terminals 223 and 224, respectively.

本実施の形態では、加算読み出しモードから非加算読み出しモードに切り替わっても、行リセットと行読み出しが行われるタイミングは変化しない。 In the present embodiment, even when the addition read mode is switched to the non-addition read mode, the timing at which row reset and row read are performed does not change.

従って、図３に示すように、垂直同期期間Ｔａ１、Ｔａ２のいずれにおいても、行読み出し制御線２０３、行選択線２０５、行リセット制御線２０４は、それぞれ、１行目、３行目、２行目、４行目の順に制御される。 Therefore, as shown in FIG. 3, the row readout control line 203, the row selection line 205, and the row reset control line 204 are in the first row, the third row, the second row, respectively, in any of the vertical synchronization periods Ta1 and Ta2. Control is performed in the order of the fourth and fourth rows.

そのため、加算読み出しモードから非加算読み出しモードに切り替わる際でも、各行の蓄積時間Ｔ１、Ｔ２、Ｔ３、Ｔ４（垂直同期期間Ｔａ１で行リセットが行われてから、垂直同期期間Ｔａ２で行読み出しが行われるまでの期間）は等しくなる。 Therefore, even when switching from the addition readout mode to the non-addition readout mode, the row readout is performed in the vertical synchronization period Ta2 after the row reset times T1, T2, T3, and T4 (the row reset is performed in the vertical synchronization period Ta1). The period until is equal.

しかし、非加算読み出しモードの時に、１行目、３行目、２行目、４行目の順で信号を読み出してしまうと、図４（ｂ）に示すように、行の順番が周期的に逆転し、画像の垂直方向の位相が破綻してしまう。図４（ａ）は、行順の正しい画像を示す。 However, if the signals are read in the order of the first row, the third row, the second row, and the fourth row in the non-addition read mode, the row order is cyclic as shown in FIG. And the vertical phase of the image breaks down. FIG. 4A shows a correct image in the row order.

そこで、本実施の形態では、ラインメモリ１２０、１２１及び、セレクタ１２２を用いた行の並べ替えを行うことにより、加算読み出しモード用の行の順番で、行リセット、行選択、行読み出しを行った後、非加算で画像を読み出した場合に、画像の垂直方向の位相が破綻するのを防ぐことができる。 Therefore, in this embodiment, by performing line rearrangement using the line memories 120 and 121 and the selector 122, line reset, line selection, and line read are performed in the order of the lines for the addition read mode. Thereafter, when the image is read out by non-addition, it is possible to prevent the vertical phase of the image from collapsing.

次に、図５のタイミングチャートを参照しながら、ラインメモリ１２０、１２１及び、セレクタ１２２を用いた行の並べ替えの動作について説明する。 Next, the operation of rearranging rows using the line memories 120 and 121 and the selector 122 will be described with reference to the timing chart of FIG.

ＡＤＣ１０３では、ＣＭＯＳイメージセンサ１０２から読み出された行の順番でＡＤ変換が行われ、その結果が出力される。従って、図５のＡＤＣ出力では、１、３、２、４、５、７、６、８、・・・・、４ｎ−３、４ｎ−１、４ｎ−２、４ｎという行順で信号が出力される。 The ADC 103 performs AD conversion in the order of the rows read from the CMOS image sensor 102, and outputs the result. Therefore, the ADC output of FIG. 5 outputs signals in the row order of 1, 3, 2, 4, 5, 7, 6, 8,..., 4n-3, 4n-1, 4n-2, 4n. Is done.

ラインメモリ１２０では、ＡＤＣ出力が１Ｈ遅延して出力され、ラインメモリ１２１では、ＡＤＣ出力が２Ｈ分遅延して出力される。セレクト信号は、ＳＳＧ１０４で生成され、１Ｈ単位で、０、１、２、３、を繰り返す。 In the line memory 120, the ADC output is output with a delay of 1H, and in the line memory 121, the ADC output is output with a delay of 2H. The select signal is generated by the SSG 104 and repeats 0, 1, 2, 3 in 1H units.

セレクタ１２２では、上記のセレクト信号に基づいて、ＡＤＣ１０３の出力信号、ラインメモリ１２０の出力信号、ラインメモリ１２１の出力信号を選択して出力する。 The selector 122 selects and outputs the output signal of the ADC 103, the output signal of the line memory 120, and the output signal of the line memory 121 based on the select signal.

セレクト信号が０及び１のときには、ラインメモリ１２０の出力信号を選択し、セレクト信号が２のときには、ＡＤＣ出力を選択し、セレクト信号が３のときはラインメモリ１２１の出力信号を選択する。このことにより、セレクタ１２２の出力信号は、１、２、３、４、５、６、７、８、・・・、４ｎ−３、４ｎ−２、４ｎ−１、４ｎ（但しｎは自然数）という行順となる。 When the select signal is 0 or 1, the output signal of the line memory 120 is selected. When the select signal is 2, the ADC output is selected. When the select signal is 3, the output signal of the line memory 121 is selected. Thereby, the output signal of the selector 122 is 1, 2, 3, 4, 5, 6, 7, 8,..., 4n-3, 4n-2, 4n-1, 4n (where n is a natural number). This is the line order.

従って、ＣＭＯＳイメージセンサ１０２の出力で、図４（ｂ）のように垂直方向の位相が破綻した画像が、セレクタ１２２の出力では図４（ａ）のように、行順の正しい画像となる。 Therefore, an image whose vertical phase is broken as shown in FIG. 4B at the output of the CMOS image sensor 102 becomes an image with the correct row order as shown in FIG. 4A at the output of the selector 122.

以上のように、本実施の形態では、加算読み出しモード用の行の順番で、行リセット、行選択、行読み出しを行った後、非加算で画像を読み出した場合に、画像の垂直方向の位相が破綻するのを防ぐことができる。 As described above, in the present embodiment, when an image is read out by non-addition after performing row reset, row selection, and row readout in the order of the rows for the addition readout mode, the vertical phase of the image Can be prevented.

また、行リセット、行選択、行読み出しの駆動タイミングを変えることなく、後段の並べ替え処理で対応するため、加算読み出しモードから非加算読み出しモードへの切り替えをシームレスに行うことができる。 In addition, since the rearrangement process is supported without changing the driving timing of row reset, row selection, and row readout, the switching from the addition readout mode to the non-addition readout mode can be performed seamlessly.

尚、本実施の形態では、画像の行順の並べ替え処理を、ラインメモリ１２０、１２１とセレクタ１２２を用いた構成で実現したが、フレームメモリを用いて、フレームメモリのアドレス制御を行うことによって並べ替えを行ってもよい。 In this embodiment, the image row order rearrangement processing is realized by the configuration using the line memories 120 and 121 and the selector 122. However, the frame memory is used to control the address of the frame memory. Sorting may be performed.

この場合、ＣＰＵ１０５は、フレームメモリにおけるラインのアドレスを制御することによって、ＣＭＯＳイメージセンサ１０２から読み出された信号のラインの順序を並べ替える制御手段として機能する。 In this case, the CPU 105 functions as control means for rearranging the line order of the signals read from the CMOS image sensor 102 by controlling the address of the line in the frame memory.

本発明の実施の形態に係る撮像装置としてのビデオカメラのブロック構成図である。It is a block block diagram of the video camera as an imaging device which concerns on embodiment of this invention. 図１におけるＣＭＯＳイメージセンサの構成図である。It is a block diagram of the CMOS image sensor in FIG. 加算読み出しモードと非加算読み出しモードが切り替わる際の図２のＣＭＯＳイメージセンサの駆動タイミングチャートである。FIG. 3 is a drive timing chart of the CMOS image sensor of FIG. 2 when an addition reading mode and a non-addition reading mode are switched. 図１におけるセレクタから出力される画像を示す模式図である。It is a schematic diagram which shows the image output from the selector in FIG. 図１のビデオカメラにおける並べ替えの動作を説明するタイミングチャートである。2 is a timing chart for explaining the rearrangement operation in the video camera of FIG. 1.

Explanation of symbols

１０１結像レンズ
１０２ＣＭＯＳイメージセンサ
１０３ＡＤコンバータ（ＡＤＣ）
１０４同期信号生成回路（ＳＳＧ）
１０５ＣＰＵ
１０８カメラ信号処理部
１０９記録用信号処理部
１１０表示装置
１１１記録メディア
１２０、１２１ラインメモリ
１２２セレクタ 101 Imaging Lens 102 CMOS Image Sensor 103 AD Converter (ADC)
104 Synchronization signal generation circuit (SSG)
105 CPU
108 Camera signal processor 109 Recording signal processor 110 Display device 111 Recording medium 120, 121 Line memory 122 Selector

Claims

An XY addressing image sensor;
In the imaging device, driving means for performing reset and signal readout in an order different from the order of the lines designated by the Y address;
Rearranging means for rearranging the order of signal lines read from the image sensor by the driving means;
An imaging apparatus comprising:

In the imaging device, the driving unit simultaneously resets signals of a plurality of continuous lines in an order different from the order of lines designated by the Y address, and then the order of the lines designated by the Y address. Read out signals in different sequential order,
The imaging apparatus according to claim 1, wherein the rearranging unit rearranges the order of the lines of the signals read from the imaging element so as to be the order of the lines specified by the Y address.

The rearrangement unit includes a plurality of line memories and a selection unit, and the signals read from the image sensor are written in the plurality of line memories,
3. The imaging according to claim 1, wherein the selection unit rearranges the order of the lines of the signal read from the imaging device by selecting and outputting the outputs of the plurality of line memories. 4. apparatus.

The rearrangement unit includes a frame memory and a control unit, and a signal for each line read from the image sensor is written to the frame memory,
The imaging apparatus according to claim 1, wherein the control unit rearranges the order of the lines of the signal read from the imaging element by controlling an address of the line in the frame memory.