JP2008263314A - Imaging device and imaging method - Google Patents
Imaging device and imaging method Download PDFInfo
- Publication number
- JP2008263314A JP2008263314A JP2007103240A JP2007103240A JP2008263314A JP 2008263314 A JP2008263314 A JP 2008263314A JP 2007103240 A JP2007103240 A JP 2007103240A JP 2007103240 A JP2007103240 A JP 2007103240A JP 2008263314 A JP2008263314 A JP 2008263314A
- Authority
- JP
- Japan
- Prior art keywords
- imaging
- signal
- correction
- frame
- imaging signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Ceased
Links
- 238000003384 imaging method Methods 0.000 title claims abstract description 155
- 238000012937 correction Methods 0.000 claims abstract description 114
- 238000012545 processing Methods 0.000 claims description 29
- 238000006243 chemical reaction Methods 0.000 claims description 23
- 230000015654 memory Effects 0.000 claims description 9
- 230000003287 optical effect Effects 0.000 claims description 3
- 238000000034 method Methods 0.000 abstract description 31
- 230000001360 synchronised effect Effects 0.000 abstract description 22
- 238000007792 addition Methods 0.000 description 51
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 101000860173 Myxococcus xanthus C-factor Proteins 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 238000009825 accumulation Methods 0.000 description 3
- 238000012544 monitoring process Methods 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 239000003086 colorant Substances 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Studio Devices (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Color Television Image Signal Generators (AREA)
Abstract
Description
本発明は、低フレームレートでの撮像が可能なビデオカメラに適用される撮像装置、及びその撮像装置に適用される撮像方法に関する。 The present invention relates to an imaging apparatus applied to a video camera capable of imaging at a low frame rate, and an imaging method applied to the imaging apparatus.
テレビジョン放送用のフォーマットなどに準拠した映像信号を得るビデオカメラの場合、イメージャで撮像を行うフレーム周期としては、1/60秒や1/50秒などに決められている。例えば1/60秒をフレーム周期としたビデオカメラでは、イメージャで各フレームの撮像光を受光して蓄積する期間(いわゆるシャッタ期間)は、最大で1/60秒である。
いわゆる電子シャッタと称される、撮像光の受光期間を1フレーム周期内で短くする処理を行えば、1/100秒や1/1000秒などの高速シャッタでの撮像については可能であるが、1フレーム周期より長いいわゆる低速シャッタは、通常は不可能である。
In the case of a video camera that obtains a video signal compliant with a format for television broadcasting or the like, the frame period for imaging with an imager is determined to be 1/60 seconds or 1/50 seconds. For example, in a video camera having a frame period of 1/60 seconds, the maximum period (so-called shutter period) in which the imager receives and accumulates imaging light of each frame is 1/60 seconds.
If a process called a so-called electronic shutter, which shortens the light receiving period of imaging light within one frame period, imaging with a high-speed shutter such as 1/100 second or 1/1000 second is possible. So-called low speed shutters longer than the frame period are usually not possible.
1/60秒よりも低速シャッタを実現するためには、イメージャで複数のフレーム期間期間に亘る長期間の撮像光の受光を行って、その複数フレーム期間に亘って受光された信号を、イメージャから読み出すことで可能である。例えば、CCD(Charge Coupled Devices)型のイメージセンサをイメージャとして使用した場合には、各画素に受光により電荷が蓄積する期間を長時間化することで可能である。例えば、各画素で電荷が蓄積する期間を2フレーム期間の1/30秒とし、その1/30秒間に蓄積した信号を読み出すことで、蓄積期間を2倍化した低速撮像が可能となる。そのようにして得た撮像信号としては、通常のフレーム周期の2倍の1/30秒ごとに変化する、間欠的に変化する映像信号となるが、電荷の蓄積期間が長いため、それだけ感度の高い撮像が可能である。例えば、夜間などの暗い状況での撮像が可能となる。ここでは2倍の期間蓄積する処理を行う例を説明したが、イメージャに電荷を蓄積させる期間の調整で、例えば数十フレーム期間のような長時間の撮像が可能となる。 In order to realize a shutter at a speed lower than 1/60 seconds, the imager receives long-term imaging light over a plurality of frame periods, and the signals received over the plurality of frame periods are received from the imager. It is possible by reading. For example, when a CCD (Charge Coupled Devices) type image sensor is used as an imager, it is possible to lengthen the period in which charges are accumulated in each pixel by receiving light. For example, a period in which charges are accumulated in each pixel is 1/30 second of a two-frame period, and a signal accumulated in 1/30 seconds is read, so that low-speed imaging can be performed with the accumulation period doubled. The imaging signal thus obtained is an intermittently changing video signal that changes every 1/30 second, which is twice the normal frame period. However, since the charge accumulation period is long, the sensitivity of the image signal is increased. High imaging is possible. For example, it is possible to capture an image in a dark situation such as at night. Here, an example of performing the process of accumulating twice the period has been described, but by adjusting the period for accumulating charges in the imager, imaging for a long time such as several tens of frame periods can be performed.
特許文献1には、フレーム加算を行ってフレームレートを加算する処理を行う撮像装置の例についての記載がある。
ところが、上述したようにイメージセンサの受光素子に電荷を蓄積させる期間が長くなると、イメージセンサの補正機能のダイナミックレンジが不足して、イメージセンサが持つ固定パターンノイズが露顕した画像となったり、或いは間欠画像であるためホワイトバランスなどの自動制御系が実用に耐えない状態となり、画質が非常に悪化してしまう。 However, as described above, when the period for accumulating charges in the light receiving element of the image sensor becomes long, the dynamic range of the correction function of the image sensor is insufficient, and the fixed pattern noise of the image sensor becomes an exposed image, or Since it is an intermittent image, an automatic control system such as white balance cannot be put into practical use, and the image quality is greatly deteriorated.
この問題点を解決するためには、例えばイメージセンサの出力を、そのイメージセンサが出力する撮像信号がリニアな信号の段階で、デジタル同期加算する構成が考えられる。撮像信号がリニアな信号の段階とは、ホワイトバランス調整やガンマ補正などの各種撮像信号処理が行われる前の、イメージセンサの出力がそのまま反映した信号の段階である。 In order to solve this problem, for example, a configuration in which the output of the image sensor is digitally added at the stage where the imaging signal output by the image sensor is a linear signal can be considered. The stage in which the imaging signal is linear is a stage in which the output of the image sensor is reflected as it is before various imaging signal processing such as white balance adjustment and gamma correction is performed.
このイメージセンサの出力をそのまま加算する構成とするためには、イメージセンサの出力をそのまま加算するフレームメモリが必要になるが、イメージセンサが出力する撮像信号は、信号レートが非常に高いため、非常に高価なメモリが必要になるという問題点を有する。 In order to add the output of the image sensor as it is, a frame memory that adds the output of the image sensor as it is is necessary. However, since the image signal output from the image sensor has a very high signal rate, In addition, an expensive memory is required.
ガンマ補正などの非線形変換を施した後に、各フレームの信号を加算する構成とする場合には、単純に加算を行うと、非線形処理のパラメータが加算される各フレームでずれてしまい、映像信号として劣化したものになってしまう可能性が高いという問題がある。
特許文献1に記載された処理は、ガンマ補正などの非線形変換を施した後に、各フレームの信号を加算する構成であるが、この特許文献1では、ガンマ補正後に加算した場合に特性が劣化する問題については触れられていない。
When the signal of each frame is added after performing nonlinear conversion such as gamma correction, if the addition is simply performed, the nonlinear processing parameters will be shifted in each frame to be added, and as a video signal There is a problem that there is a high possibility of deterioration.
The process described in
本発明はかかる点に鑑みてなされたものであり、低フレームレートでの撮像が、簡単な構成で高画質に行えるようにすることを目的とする。 The present invention has been made in view of the above points, and an object of the present invention is to enable imaging at a low frame rate to achieve high image quality with a simple configuration.
本発明は、撮像光を撮像信号に変換するイメージセンサから取り出した撮像信号に、非線形補正を施し、非線形補正が施された撮像信号を、フレーム単位で所定フレーム数加算する。そして、所定フレーム数加算された撮像信号に、前記加算により生じた非線形補正の補正特性のずれを修正し、修正された撮像信号を出力又は記録するようにした。 In the present invention, nonlinear correction is performed on an imaging signal extracted from an image sensor that converts imaging light into an imaging signal, and the imaging signal that has been subjected to the nonlinear correction is added a predetermined number of frames in units of frames. Then, the deviation of the correction characteristic of the nonlinear correction caused by the addition is corrected to the imaging signal added with the predetermined number of frames, and the corrected imaging signal is output or recorded.
かかる処理を行うことで、撮像信号をフレーム加算する前に行ったガンマ補正などの非線形補正について、フレーム加算後に修正され、正しい非線形補正が行われたフレーム加算が行われた低フレームレートの撮像信号が得られるようになる。 By performing such processing, the low-frame-rate imaging signal that has been corrected after the frame addition for the nonlinear correction such as gamma correction performed before the imaging signal is added to the frame and that has been subjected to the correct nonlinear correction is added. Can be obtained.
本発明によると、撮像信号をフレーム加算する前に行ったガンマ補正などの非線形補正について、フレーム加算後に修正されるので、フレーム加算を行う前のガンマ補正については、フレーム加算をしない撮像時(即ち低フレームレートでない通常の撮像時)と同じ特性での非線形補正が可能となり、フレーム加算後の後段の処理回路を追加するだけで、正しく非線形補正された信号とすることができる。従って、従来の撮像装置にわずかな回路を追加するだけの簡単な構成で、正しくガンマ補正などが行われた高画質の低フレームレートの撮像信号が得られるようになる。 According to the present invention, the non-linear correction such as gamma correction performed before adding the imaging signal to the frame is corrected after the frame addition. Therefore, the gamma correction before the frame addition is performed at the time of imaging without frame addition (that is, Non-linear correction can be performed with the same characteristics as during normal imaging without a low frame rate, and a signal subjected to correct non-linear correction can be obtained simply by adding a subsequent processing circuit after frame addition. Therefore, an image signal with a high image quality and a low frame rate that has been correctly subjected to gamma correction or the like can be obtained with a simple configuration in which only a few circuits are added to the conventional image pickup apparatus.
以下、本発明の一実施の形態の例を、図1〜図7を参照して説明する。
図1は本実施の形態の例による撮像装置の構成例を示した図である。図1に従って構成を説明すると、レンズ11を介して得た撮像光を、プリズム12で3原色に分解し、その分解されたそれぞれの色の撮像光を、青色,緑色,赤色のイメージセンサ13B,13G,13Rの撮像面に入射させる。各色のイメージセンサ13B,13G,13Rの撮像面に結像した撮像光は、それぞれのイメージセンサ13B,13G,13Rで電気信号に変換し、その変換された電気信号を読み出す。イメージセンサ13B,13G,13Rから読み出された電気信号を、撮像信号と称する。
Hereinafter, an example of an embodiment of the present invention will be described with reference to FIGS.
FIG. 1 is a diagram illustrating a configuration example of an imaging apparatus according to an example of the present embodiment. The configuration will be described with reference to FIG. 1. The imaging light obtained through the
レンズ11は、図1では説明を簡単にするために1枚のレンズだけを示してあるが、実際には複数枚(複数群)のレンズで構成され、ズームレンズとして構成してもよい。また、図示しないが、絞り機構であるアイリスについてもレンズ11の光路中に配置してある。イメージセンサ13B,13G,13Rとしては、例えば、CCD型のイメージセンサ、或いはCMOS型のイメージセンサを使用する。
In FIG. 1, only one lens is shown in FIG. 1 for ease of explanation, but the
イメージセンサ13B,13G,13Rから読み出された撮像信号は、カメラプロセス部14に供給される。カメラプロセス部14では、撮像信号の各種補正処理が行われる。補正処理としては、リニア信号処理による補正と、ノンリニア信号処理による補正とがある。リニア信号処理としては、例えば青色,緑色,赤色の撮像信号のバランスを調整するホワイトバランス調整の補正処理がある。ノンリニア信号処理による補正としては、ガンマ(γ)補正、ニー補正などがある。ガンマ補正は、ガンマ補正カーブに基づいて各色の輝度値を非線形の入出力特性で変換する補正処理であり、ニー補正は画像中の明るい部分の明るさを調整する非線形補正処理である。これらのカメラプロセス部14でのノンリニア信号処理による補正は、フレーム加算をしないことが前提の補正特性としてある。
また、カメラプロセス部14では、青色,緑色,赤色の原色信号(以下RGB信号と称する)を、輝度信号(以下Y信号と称する)とクロマ信号(以下C信号と称する)の撮像信号に変換して、カメラプロセス部14から出力させる。これらのカメラプロセス部14での処理は、制御部25の制御により実行される。
The imaging signals read from the
The
カメラプロセス部14から出力された撮像信号(Y信号及びC信号)は、切換スイッチ27に供給する。切換スイッチ27は、後述する切換スイッチ28と連動して、低フレームレート撮像の有無により切換わるスイッチであり、低フレームレート撮像でない場合(つまり通常撮像の場合)には、カメラプロセス部14の出力を切換スイッチ27,28を介してコーデック部19に供給する。コーデック部19では、供給される撮像信号を所定のフォーマットの映像信号に変換するコーデック処理を行い、変換された映像信号を、記録系回路20に供給して、記録媒体(記憶媒体)に記録させる。記録媒体としては、メモリカード、光ディスク、磁気テープなどの各種媒体が適用可能である。
The imaging signals (Y signal and C signal) output from the
低フレームレート撮像を行う場合には、カメラプロセス部14から出力された撮像信号を、切換スイッチ27を介して同期加算回路15に供給する。同期加算回路15には、フレームメモリで構成されるフレームバッファ24が接続してあり、供給される撮像信号を、フレーム単位で加算させる処理が行われる。加算フレーム数などは制御部25により制御される。加算された撮像信号は、同期加算回路15から読み出されて、RGB変換回路16に供給する。なお、同期加算回路15で毎フレームの撮像信号をフレームバッファ24に加算している間には、その加算中の撮像信号の1つ前のタイミングの撮像信号を、1フレーム周期で読み出して、RGB変換回路16に供給する構成としてある。この加算と読出し状態の詳細については、図3のタイミング図を参照して後述する。
When performing low frame rate imaging, the imaging signal output from the
RGB変換回路16では、供給されるY信号及びC信号の撮像信号を、RGB信号に変換する。変換されたRGB信号は、補正回路17に供給する。補正回路17では、ガンマ補正やニー補正などの非線形補正の加算による乱れを修正する補正が、原色信号ごとに行われる。補正特性については後述するが、フレーム加算処理により生じた非線形補正の乱れを修正するものである。修正する特性は、同期加算回路15でのフレーム加算数に応じて変化する。
補正回路17で補正されたRGB信号は、YC変換回路18に供給して、Y信号及びC信号に変換し、変換された撮像信号を、切換スイッチ28を介してコーデック部19に供給する。なお、図1の構成では、通常のフレームレートでの撮像時には、同期加算回路15からYC変換回路18までの系を通過しない構成としたが、例えば通常のフレームレートでの撮像時にもこの系を通過する構成として、同期加算回路15でフレーム加算をしない構成としてもよい。
The
The RGB signal corrected by the
また、カメラプロセス部14が出力する撮像信号と、切換スイッチ28に供給される撮像信号は、セレクタ21に送る構成としてあり、制御部25の制御に基づいて、セレクタ21でモニタを行う撮像信号を選択する。例えば、セレクタ21では、低フレームレートでの撮像時には、その低フレームレートで撮像された撮像信号をモニタする際に、切換スイッチ28に得られる撮像信号を選択し、低フレームレートで撮像中の加算されていない毎フレームの撮像信号をモニタする場合に、カメラプロセス部14の出力を選択する。通常の撮像時は、いずれの撮像信号を選択しても同じである。
The imaging signal output from the
セレクタ21で選択された撮像信号は、フレームレート変換部22でモニタ用又は外部出力用にフレームレートの変換処理が行われた後、表示部23に表示させる。或いは、図示しない出力端子から、フレームレート変換部22で変換された映像信号を出力させる。フレームレート変換部22での変換と、表示部23での表示についても、制御部25の制御で実行される。フレームレート変換部22でフレームレートを変換する際には、フレームバッファ24を一時記憶手段として使用して変換処理が行われる。
The imaging signal selected by the
この撮像装置の各部の動作を制御する制御部25には、操作スイッチなどで構成される操作部26から操作指令が供給され、撮像の開始や停止などの撮像動作が制御される他に、撮像モードの設定なども、操作部26での操作に基づいて設定される。フレームバッファ24での撮像信号の蓄積動作についても制御部24により制御される。なお、フレームバッファ24は、撮像信号をY信号及びC信号の形式で記憶するメモリである。
The
ここで、図2を参照して、フレームバッファ24を同期加算用の記憶回路として使用する場合の構成を示す。入力端子24aに得られる撮像信号を、切換スイッチ24bを介して加算器24cに供給する。切換スイッチ24bは、撮像信号を加算しない期間は、入力端子24a側ではなく、0データが得られる側を選択する。加算器24cは、記憶部24dの出力を加算するものである。そして、加算器24cの出力を、記憶部24dに供給して記憶させる。そして、記憶部24dに記憶された撮像信号を、出力端子24eから出力させる。この図2に示す構成として、記憶部24dで1フレームの撮像信号を記憶して、加算器24cでその記憶された撮像信号を入力信号に加算させる処理を、1フレームごとに同期して行うことで、毎フレームに撮像された信号が、順に加算される。そして、必要なフレーム数加算された撮像信号を、出力端子24eから出力させる。フレームバッファ24で加算を行う際には、各フレーム内の加算される画素位置が等しくなるように設定してある。
Here, with reference to FIG. 2, a configuration in the case where the
図3は、本例の撮像装置の同期加算回路15で、加算処理を行う場合の撮像動作を示したタイミング図である。この図3の例では、3フレームの撮像信号を加算する例としてある。図3(a)は、撮像信号のフレーム周期を示してあり、図3(b)に示すように、3フレームの露光期間の撮像信号を加算して1フレームの信号とするようにしてある。即ち、露光期間1.1と1.2と1.3の3フレーム期間のイメージセンサ出力を加算して、同期加算回路15で3フレーム加算されたフレーム番号1の撮像信号を得る。このフレーム番号1の撮像信号は、3フレーム期間連続して、同期加算回路15から出力される。次の露光期間2.1と2.2と2.3の3フレーム期間のイメージセンサ出力を加算して、同期加算回路15で3フレーム加算されたフレーム番号2の撮像信号を得る。このフレーム番号2の撮像信号も、3フレーム期間連続して、同期加算回路15から出力される。
FIG. 3 is a timing diagram illustrating an imaging operation when the addition processing is performed in the
このようにして、3フレームの加算が行われた撮像信号は、通常撮像時の撮像信号に比べて、イメージセンサ13B,13G,13Rでの露光時間が約3倍となり、撮像のフレームレートとしては、1/3の低フレームレートとなり、暗い状況でも良好に撮像できるようになる。但し、画像の変化する周期も1/3に低下する。図3の例では、3フレーム加算の例を示したが、加算フレーム数は2フレーム以上の任意のフレーム数とすることができる。例えば、1フレームが1/60秒である場合に60フレーム加算すれば、1秒ごとの低フレームレートでの撮像が行える。 In this way, the image signal that has been subjected to the addition of 3 frames has an exposure time of about three times that of the image signal at the time of normal imaging, and the image capture frame rate is as follows. The frame rate is 1/3, and good imaging can be performed even in a dark situation. However, the cycle of changing the image is also reduced to 1/3. In the example of FIG. 3, an example of adding three frames is shown, but the number of added frames can be any number of two or more frames. For example, when one frame is 1/60 second, if 60 frames are added, imaging can be performed at a low frame rate every second.
次に、本例の撮像装置で行われるガンマ補正処理について、図4以降を参照して説明する。図4(a)は、低フレームレートモードでの理想的なガンマ補正状態を示した図であり、図4(b)は本例で行われる低フレームレートモードでのガンマ補正状態を示した図である。
まず、理想的なガンマ補正状態を図4(a)に示すと、イメージセンサ1からの撮像信号の出力を、加算回路3でkフレーム加算した後に(kは加算するフレーム数)、ガンマ補正回路2aで、そのkフレーム加算された信号に対して正しくガンマ補正することで、正しくガンマ補正された撮像信号Yaを得ることができる。
Next, gamma correction processing performed in the imaging apparatus of this example will be described with reference to FIG. 4A shows an ideal gamma correction state in the low frame rate mode, and FIG. 4B shows a gamma correction state in the low frame rate mode performed in this example. It is.
First, when an ideal gamma correction state is shown in FIG. 4A, the output of the imaging signal from the
この図4(a)に示したガンマ補正と同じ特性を得るために、本例の場合には、図4(b)に示す処理を行うようにしてある。即ち、イメージセンサ1からの撮像信号の出力を、ガンマ補正回路2bで通常のフレームレートでの撮像時と同様の特性でガンマ補正して、そのガンマ補正された撮像信号を、加算回路3でkフレーム加算する(kは加算するフレーム数)。その後、加算回路3の出力を、補正回路4に供給して、ガンマ特性の補正特性H(x)で修正して、ガンマ特性が修正された撮像信号とし、最終的にkフレーム加算された場合において正しくガンマ補正された撮像信号Ybを得る。補正回路4は、図1では補正回路17に相当する。
In order to obtain the same characteristics as the gamma correction shown in FIG. 4A, in this example, the processing shown in FIG. 4B is performed. That is, the output of the imaging signal from the
次に、実際のガンマ特性について特性図を参照して説明すると、図5(a)のガンマ特性G11は、4フレーム加算を行った撮像信号の最適なガンマ特性を示したものである。図5においては、横軸がイメージセンサが出力する撮像信号の各色の輝度レベルであり、縦軸がガンマ補正後の出力例である。なお、図5(a)において、特性G11のガンマゲインを1とした場合に、ガンマ特性G12,G13,G14は、それぞれガンマゲインを2/3,1/3,0に制限した例の特性である。ガンマ補正を全く行わない特性G14の場合には、変換特性が直線であり、適正なガンマ特性G11になるに従って、特性曲線がカーブしている。
図5(b)は、図5(a)の特性曲線の立ち上がり部の近傍を拡大して示す図である。図5(b)を見ると判るように、特性G11は他の特性G12,G13,G14と1点で交差する特性となっている。この図5に示したガンマ特性は、SMPTE規格で規定されたガンマ特性である。
Next, an actual gamma characteristic will be described with reference to a characteristic diagram. A gamma characteristic G11 in FIG. 5A indicates an optimum gamma characteristic of an imaging signal obtained by adding four frames. In FIG. 5, the horizontal axis represents the luminance level of each color of the imaging signal output from the image sensor, and the vertical axis represents an output example after gamma correction. In FIG. 5A, when the gamma gain of the characteristic G11 is 1, the gamma characteristics G12, G13, and G14 are characteristics of an example in which the gamma gain is limited to 2/3, 1/3, and 0, respectively. In the case of the characteristic G14 in which no gamma correction is performed, the conversion characteristic is a straight line, and the characteristic curve is curved as the appropriate gamma characteristic G11 is reached.
FIG. 5B is an enlarged view showing the vicinity of the rising portion of the characteristic curve of FIG. As can be seen from FIG. 5B, the characteristic G11 intersects the other characteristics G12, G13, G14 at one point. The gamma characteristic shown in FIG. 5 is a gamma characteristic defined by the SMPTE standard.
図6は、低フレームレートモードで撮像を行う場合に、補正回路17で行われるガンマ特性の修正例(補正特性例)を示した図である。図6の例は、4フレーム加算を行う場合の例である。図6(a)に示した補正特性G11,G12,G13,G14は、1フレームごとに適正にガンマ補正された撮像信号が4フレーム加算された場合に、それぞれ図5に示した適正な変換特性G11,G12,G13,G14を得るための補正特性を示している。図6(b)は、図6(a)の立ち上がり部の近傍を拡大して示す図である。
いずれのガンマゲインの場合でも、補正特性はほぼ直線に近い状態であり、直線近似で示すことができる。図6(b)の拡大図に示したように、ガンマカーブ自体が2つのセグメントから構成されていることに起因して、補正特性も立ち上がり付近に折れ点を持つようになっている。特に、ガンマゲイン1の場合の補正特性G11で顕著に現れている。このようにガンマゲインによってカーブの形が大きく変化しているため、ガンマゲインの変更に応じて、補正特性の設定も変更する必要がある。
なお、図5及び図6は、4フレーム加算の場合の例であり、加算数に応じて補正特性は変化する。
FIG. 6 is a diagram illustrating a gamma characteristic correction example (correction characteristic example) performed by the
In any of the gamma gains, the correction characteristic is almost in a straight line state and can be represented by a straight line approximation. As shown in the enlarged view of FIG. 6B, the correction characteristic also has a fold point near the rising edge because the gamma curve itself is composed of two segments. In particular, it appears remarkably in the correction characteristic G11 in the case of
5 and 6 are examples in the case of 4-frame addition, and the correction characteristics change depending on the number of additions.
ここで、例えば図4(a)に示した1つのガンマ補正回路2aでのガンマ補正で、フレーム加算された信号が正しくガンマ補正された撮像信号Yaが得られたと想定し、本例の構成である図4(b)の構成により補正回路4で補正したことで、最終的に正しくガンマ補正された撮像信号Ybが得られたとする。補正特性が正しいとすると、Ya=Ybであり、このときの補正回路4での補正特性H(x)は、以下の式で示される。Kはフレーム加算数である。
Ya=Gamma1(KX)・・・・(1)
Zb=K・Gamma1(X)・・・・(2)
H(Zb)を求めるために、Xを消去することを考えると、(2)式から
X=Gamma1−1(Zb/K)・・・・(3)
よって、H(Zb)は、次式のように示される。
H(Zb)=Gamma1{K・Gamma1−1(Zb/K)}・・・・(4)
この(4)式において、フレーム加算をしない場合には、加算数1であるので、(4)式のKが1になり、補正特性は1である。
Here, for example, it is assumed that an imaging signal Ya in which a frame-added signal is correctly gamma corrected by gamma correction in one
Ya = Gamma1 (KX) (1)
Zb = K · Gamma1 (X) (2)
Considering that X is deleted in order to obtain H (Zb), X = Gamma1 −1 (Zb / K) (3) from equation (2).
Therefore, H (Zb) is expressed as the following equation.
H (Zb) = Gamma1 {K · Gamma1 −1 (Zb / K)} (4)
In the equation (4), when the frame addition is not performed, since the addition number is 1, K in the equation (4) is 1, and the correction characteristic is 1.
この(4)式のガンマ修正の関数を解析的に求める場合には、逆関数が必要になる。ここで、図5に示した如き、SMPTE規格で規定されたガンマ特性の場合には、逆関数の導出が可能であるため、図6に示したように比較的簡単な形での補正特性を得ることができる。
SMPTE規格で規定されたガンマ特性の第2曲線を一般化して示すと、次式に示すようになる。
γ(L)=aLd+e・・・・(5)
aとdとeは、それぞれ規格で決められた定数となる。例えば、SMPTE274Mと称される規格では、a=1.099、d=0.45、e=0.099となる。
(5)式の逆関数を求めると、
γ−1(L)={(L−e)/a}−d・・・・(6)
となる。これらをガンマ補正の関数とその逆関数として、(4)式に当てはめると、以下の補正特性を求めることができる。
H(x)=Kd−1x+(1−Kd)e・・・・(7)
この(7)式は直線で、傾きと切片がわかる。このように、SMPTE規格で規定されたガンマ特性を適用することで、非常に単純な補正特性(修正特性)となり、補正回路として振幅伝達特性変換回路で実現できることが判る。
In order to analytically obtain the gamma correction function of equation (4), an inverse function is required. Here, in the case of the gamma characteristic defined by the SMPTE standard as shown in FIG. 5, since an inverse function can be derived, the correction characteristic in a relatively simple form as shown in FIG. Obtainable.
When the second curve of the gamma characteristic defined by the SMPTE standard is generalized, the following equation is obtained.
γ (L) = aL d + e (5)
a, d, and e are constants determined by the standards. For example, in a standard called SMPTE274M, a = 1.99, d = 0.45, and e = 0.099.
When the inverse function of equation (5) is obtained,
γ −1 (L) = {(L−e) / a} −d (6)
It becomes. When these are applied to the equation (4) as a gamma correction function and its inverse function, the following correction characteristics can be obtained.
H (x) = Kd −1 x + (1−K d ) e (7)
This equation (7) is a straight line, and the slope and intercept can be understood. Thus, it can be seen that by applying the gamma characteristic defined in the SMPTE standard, a very simple correction characteristic (correction characteristic) can be obtained, and that the correction circuit can be realized by an amplitude transfer characteristic conversion circuit.
次に、図7のフローチャートを参照して、制御部25の制御で行われる、低フレームレートでの撮像時の処理例を説明する。まず、制御部25は、現在の撮像モードが通常のフレームレートでの撮像か、或いは低フレームレートでの撮像かを判断する(ステップS11)。ここで、通常のフレームレートでの撮像時には、同期加算回路15及び補正回路17で処理を行わないように、切換スイッチ27,28を切換えた上で(或いは同期加算回路15及び補正回路17で何も処理を行わないようにスルーさせて)、記録や表示などを行う(ステップS12)。
Next, an example of processing at the time of imaging at a low frame rate performed under the control of the
これに対して、低フレームレートでの撮像時には、同期加算回路15で、フレーム加算数Kだけ加算された撮像信号を得る(ステップS13)。この加算された撮像信号に対して、補正回路17で加算数に応じたガンマ特性の補正を行い(ステップS14)、そのフレーム加算数で正しくガンマ補正された撮像信号を得る。
On the other hand, when imaging at a low frame rate, the
また、表示部23で表示させる映像として、通常のフレーム周期の映像であるのか、或いは、フレーム加算された低フレームレートの映像であるのかを選択する(ステップS15)。通常のフレーム周期の映像を選択した場合には、セレクタ21でカメラプロセス部14の出力を選択し、その選択された撮像信号による映像を表示部23で表示させる(ステップS16)。この通常のフレーム周期で撮像された映像を表示させた場合には、通常のフレーム周期(即ち1/60秒などの周期)で変化する映像であり、実際の撮像状態が判り、例えば表示映像から、レンズのフォーカス調整やズームレンズの画角調整などが迅速かつ正確に行える。但しフレーム加算されていない映像であるので、明るさは暗い映像になる。
また、フレーム加算された低フレームレートの映像を表示するように選択した場合には、セレクタ21でYC変換回路18の出力を選択し、その選択された撮像信号による映像を表示部23で表示させる(ステップS17)。この低フレームレートで撮像された映像の表示時には、実際に低フレームレートで撮像することによる映像の明るさが確認できる。但し、低フレームレートであるので、映像中の動体の追随性が悪くなる。
Also, it is selected whether the video to be displayed on the
Further, when it is selected to display a frame-added low frame rate video, the
以上説明したように、本実施の形態による撮像装置によると、低フレームレートで撮像された撮像信号を得る構成とした場合に、ガンマ補正をフレーム加算後に修正する構成としたことで、簡単な構成で正しくガンマ補正された撮像信号が得られるようになる。即ち、カメラプロセス部14では、フレーム加算をしない通常の撮像時と、フレーム加算をする場合とで、全く同一の特性でガンマ補正を行えばよく、フレーム加算を行う同期加算回路15の後段に、補正回路を設けるだけよく、簡単な構成で実現できる。
また、同期加算回路15としては、輝度信号とクロマ信号で処理して加算する構成としたため、撮像装置内の各種画像処理用の他のフレームメモリと共用化することができ、それだけ簡単に構成することができる。図1の構成では、フレームレート変換用のフレームメモリと共用化してあり、それだけ撮像装置の構成を簡単にすることができる。
As described above, according to the imaging apparatus according to the present embodiment, when the configuration is such that an imaging signal captured at a low frame rate is obtained, the configuration in which gamma correction is corrected after frame addition is simplified. Thus, an image signal that has been correctly gamma corrected can be obtained. That is, the
Further, since the
さらに、低フレームレートでの撮像時の表示部23での表示映像として、通常のフレームレートの撮像信号を表示させた場合と、低フレームレートの撮像信号を表示させた場合とがセレクタ21で選択できる構成としたために、低フレームレートでの撮像時であっても、通常のフレームレートで撮像される映像の確認が行え、例えばフォーカスの合焦状態などを迅速に判断でき、またフレーム加算された映像を表示させることで、フレーム加算よりどの程度の明るさの映像となったのか、などが簡単に確認できる。
Further, the
また本実施の形態の場合には、低フレームレートでの撮像時の表示部23での表示映像として、通常のフレームレートの撮像信号を表示させた場合と、低フレームレートの撮像信号を表示させた場合とのいずれの表示を行う場合でも、正しくガンマ補正された映像を表示させることができる。即ち、フレーム加算する前の撮像信号については、カメラプロセス部14で1フレームごとに正しくガンマ補正された撮像信号であり、表示部23で良好な画像が表示できる。また、フレーム加算された撮像信号についても、そのフレーム加算数に応じたガンマ補正の修正が行われた撮像信号であり、表示部23で良好な表示ができる。
In the case of the present embodiment, a normal frame rate imaging signal is displayed as a display image on the
なお、上述した実施の形態では、フレーム加算を行って低フレームレートで撮像を行う場合のガンマ補正処理について説明したが、撮像装置で行われるその他の非線形補正について、同様にフレーム加算後に補正量を修正するようにしてもよい。例えば、図1のカメラプロセス部14で行われるニー補正について、フレーム加算する場合に、図1の補正回路17で補正するようにしてもよい。
また、以上の説明では、フレーム単位で処理を行った場合の例について説明したが、フィールド単位でも同様の処理を行うことができ、同様の効果を得ることができる。
In the above-described embodiment, the gamma correction processing in the case of performing image addition at a low frame rate by performing frame addition has been described. However, for other nonlinear correction performed by the imaging apparatus, the correction amount is similarly set after frame addition. You may make it correct. For example, the knee correction performed by the
In the above description, an example in which processing is performed in units of frames has been described. However, similar processing can be performed in units of fields, and similar effects can be obtained.
11…レンズ、12…プリズム、13B,13G,13R…イメージセンサ、14…カメラプロセス部、15…同期加算回路、16…RGB変換回路、17…補正回路、18…YC変換回路、19…コーデック部、20…記録系回路、21…セレクタ、22…フレームレート変換部、23…表示部、24…フレームバッファ、25…制御部、26…操作部
DESCRIPTION OF
Claims (6)
前記イメージセンサから取り出した撮像信号に、非線形補正を施す撮像信号処理部と、
前記撮像信号処理部で処理された撮像信号を、フレーム単位で所定フレーム数加算するフレーム加算部と、
前記フレーム加算部で所定フレーム数加算された撮像信号に、前記フレーム加算部での加算により生じた前記非線形補正の補正特性のずれを修正する補正部とを備え、
前記補正部で前記非線形補正の補正特性が修正された撮像信号を出力又は記録することを特徴とする
撮像装置。 An image sensor for converting imaging light obtained through the optical system into an imaging signal;
An imaging signal processing unit that performs nonlinear correction on the imaging signal extracted from the image sensor;
A frame addition unit for adding a predetermined number of frames for each imaging signal processed by the imaging signal processing unit;
A correction unit that corrects a shift in the correction characteristic of the nonlinear correction caused by the addition in the frame addition unit to the imaging signal that has been added a predetermined number of frames in the frame addition unit;
An image pickup apparatus that outputs or records an image pickup signal in which the correction characteristic of the nonlinear correction is corrected by the correction unit.
前記非線形補正はガンマ補正であることを特徴とする
撮像装置。 The imaging device according to claim 1,
The non-linear correction is a gamma correction.
前記撮像信号処理部は、撮像信号を輝度信号及びクロマ信号として出力し、
前記フレーム加算部は、その出力された輝度信号及びクロマ信号を、フレームメモリに記憶させてフレーム単位での加算を行い、
前記補正部は、前記フレーム加算部で所定フレーム数加算された輝度信号及びクロマ信号としての撮像信号を、原色信号の撮像信号に変換してから補正し、その補正された原色信号の撮像信号を、輝度信号及びクロマ信号に変換して出力することを特徴とする
撮像装置。 The imaging device according to claim 1,
The imaging signal processing unit outputs the imaging signal as a luminance signal and a chroma signal,
The frame addition unit stores the output luminance signal and chroma signal in a frame memory and performs addition in units of frames.
The correction unit corrects the imaging signal as the luminance signal and the chroma signal added by a predetermined number of frames by the frame addition unit after converting the imaging signal as a primary color signal, and the corrected imaging signal of the primary color signal is corrected. An imaging device characterized by converting into a luminance signal and a chroma signal for output.
前記フレーム加算部が備えるフレームメモリは、撮像装置内の輝度信号及びクロマ信号を扱う変換処理部が備えるフレームメモリと共用化したことを特徴とする
撮像装置。 The imaging device according to claim 3.
A frame memory provided in the frame addition unit is shared with a frame memory provided in a conversion processing unit that handles luminance signals and chroma signals in the imaging device.
撮像画像を表示する表示部に供給する撮像信号として、前記撮像信号処理部が出力した撮像信号と、前記補正部が補正した所定フレーム数加算された撮像信号とのいずれか一方を選択する選択部を備えたことを特徴とする
撮像装置。 The imaging device according to claim 1,
A selection unit that selects one of an imaging signal output from the imaging signal processing unit and an imaging signal added by a predetermined number of frames corrected by the correction unit as an imaging signal to be supplied to a display unit that displays a captured image An imaging apparatus comprising:
前記非線形補正が施された撮像信号を、フレーム単位で所定フレーム数加算し、
前記所定フレーム数加算された撮像信号に、前記加算により生じた前記非線形補正の補正特性のずれを修正し、
前記修正された撮像信号を出力又は記録することを特徴とする
撮像方法。 Apply non-linear correction to the imaging signal taken from the image sensor that converts the imaging light into the imaging signal,
The imaging signal subjected to the nonlinear correction is added a predetermined number of frames per frame,
Correcting the deviation of the correction characteristic of the nonlinear correction caused by the addition to the imaging signal added with the predetermined number of frames,
An imaging method comprising outputting or recording the corrected imaging signal.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007103240A JP2008263314A (en) | 2007-04-10 | 2007-04-10 | Imaging device and imaging method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2007103240A JP2008263314A (en) | 2007-04-10 | 2007-04-10 | Imaging device and imaging method |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008263314A true JP2008263314A (en) | 2008-10-30 |
Family
ID=39985498
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007103240A Ceased JP2008263314A (en) | 2007-04-10 | 2007-04-10 | Imaging device and imaging method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008263314A (en) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06315463A (en) * | 1993-05-10 | 1994-11-15 | Olympus Optical Co Ltd | Electronic endoscope device |
| JPH0750786A (en) * | 1993-08-06 | 1995-02-21 | Fujitsu General Ltd | Method for expanding dynamic range of image sensor |
| JPH1169226A (en) * | 1997-08-14 | 1999-03-09 | Konica Corp | Electronic camera |
| JPH11242737A (en) * | 1998-02-26 | 1999-09-07 | Ricoh Co Ltd | Image processing method and apparatus, and information recording medium |
| WO2003063472A1 (en) * | 2002-01-22 | 2003-07-31 | Sony Corporation | Imaging apparatus and imaging method |
| JP2004128558A (en) * | 2002-09-30 | 2004-04-22 | Minolta Co Ltd | Imaging unit |
| JP2005039710A (en) * | 2003-07-18 | 2005-02-10 | Sony Corp | Imaging apparatus |
| JP2006005536A (en) * | 2004-06-16 | 2006-01-05 | Olympus Corp | Digital imaging apparatus |
| JP2006203450A (en) * | 2005-01-19 | 2006-08-03 | Canon Inc | Imaging apparatus and control method thereof |
| WO2007032156A1 (en) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | Image processing method and image processing device |
-
2007
- 2007-04-10 JP JP2007103240A patent/JP2008263314A/en not_active Ceased
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH06315463A (en) * | 1993-05-10 | 1994-11-15 | Olympus Optical Co Ltd | Electronic endoscope device |
| JPH0750786A (en) * | 1993-08-06 | 1995-02-21 | Fujitsu General Ltd | Method for expanding dynamic range of image sensor |
| JPH1169226A (en) * | 1997-08-14 | 1999-03-09 | Konica Corp | Electronic camera |
| JPH11242737A (en) * | 1998-02-26 | 1999-09-07 | Ricoh Co Ltd | Image processing method and apparatus, and information recording medium |
| WO2003063472A1 (en) * | 2002-01-22 | 2003-07-31 | Sony Corporation | Imaging apparatus and imaging method |
| JP2004128558A (en) * | 2002-09-30 | 2004-04-22 | Minolta Co Ltd | Imaging unit |
| JP2005039710A (en) * | 2003-07-18 | 2005-02-10 | Sony Corp | Imaging apparatus |
| JP2006005536A (en) * | 2004-06-16 | 2006-01-05 | Olympus Corp | Digital imaging apparatus |
| JP2006203450A (en) * | 2005-01-19 | 2006-08-03 | Canon Inc | Imaging apparatus and control method thereof |
| WO2007032156A1 (en) * | 2005-09-16 | 2007-03-22 | Fujitsu Limited | Image processing method and image processing device |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5715436B2 (en) | Imaging apparatus and control method thereof | |
| CN102082902B (en) | Camera device and control method thereof | |
| US9843735B2 (en) | Image processing apparatus, imaging apparatus comprising the same, and image processing method | |
| CN101494797B (en) | Image picking-up device and method | |
| US8913161B2 (en) | Image capturing apparatus and control method thereof | |
| US7245318B2 (en) | Imaging apparatus that corrects an imbalance in output levels of image data | |
| JP5240213B2 (en) | IMAGING DEVICE AND IMAGING DEVICE CONTROL METHOD | |
| JP2007300368A (en) | Solid-state imaging device | |
| US8325246B2 (en) | Imaging apparatus and imaging method capable of imaging at a low frame rate | |
| JP2007027845A (en) | Imaging apparatus | |
| JP2010068331A (en) | Imaging device and imaging method | |
| JP2001352552A (en) | Video signal processing apparatus and video signal processing method | |
| JP7234015B2 (en) | Imaging device and its control method | |
| JP3938098B2 (en) | Correction apparatus and imaging apparatus | |
| JP5061697B2 (en) | Imaging apparatus and imaging method | |
| JP2006121165A (en) | Imaging apparatus and image forming method | |
| JP2008263314A (en) | Imaging device and imaging method | |
| JP2008109582A (en) | Imaging apparatus and imaging method | |
| JP2006165937A (en) | Imaging device | |
| JP2006157535A (en) | Imaging device | |
| JP2006148645A (en) | Image pickup device | |
| JP2007142693A (en) | Device and method for image pickup | |
| JP5504905B2 (en) | Imaging device | |
| JP2014022992A (en) | Imaging apparatus and imaging method | |
| JP2009076978A (en) | Electronic camera and photographing method thereof |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100310 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120207 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120313 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120710 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120824 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20121127 |
|
| A045 | Written measure of dismissal of application [lapsed due to lack of payment] |
Free format text: JAPANESE INTERMEDIATE CODE: A045 Effective date: 20130326 |