[go: up one dir, main page]

WO2018101077A1 - 撮像素子および撮像方法、並びに電子機器 - Google Patents

撮像素子および撮像方法、並びに電子機器 Download PDF

Info

Publication number
WO2018101077A1
WO2018101077A1 PCT/JP2017/041418 JP2017041418W WO2018101077A1 WO 2018101077 A1 WO2018101077 A1 WO 2018101077A1 JP 2017041418 W JP2017041418 W JP 2017041418W WO 2018101077 A1 WO2018101077 A1 WO 2018101077A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
pixel array
array unit
blur
eis
Prior art date
Application number
PCT/JP2017/041418
Other languages
English (en)
French (fr)
Inventor
圭一 千田
Original Assignee
ソニーセミコンダクタソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーセミコンダクタソリューションズ株式会社 filed Critical ソニーセミコンダクタソリューションズ株式会社
Priority to KR1020197011987A priority Critical patent/KR102423991B1/ko
Priority to JP2018553777A priority patent/JP7118893B2/ja
Priority to CN201780072808.2A priority patent/CN109983758B/zh
Priority to US16/340,903 priority patent/US11095816B2/en
Publication of WO2018101077A1 publication Critical patent/WO2018101077A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/683—Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • H04N23/6845—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by combination of a plurality of images sequentially taken
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H10—SEMICONDUCTOR DEVICES; ELECTRIC SOLID-STATE DEVICES NOT OTHERWISE PROVIDED FOR
    • H10F—INORGANIC SEMICONDUCTOR DEVICES SENSITIVE TO INFRARED RADIATION, LIGHT, ELECTROMAGNETIC RADIATION OF SHORTER WAVELENGTH OR CORPUSCULAR RADIATION
    • H10F39/00—Integrated devices, or assemblies of multiple devices, comprising at least one element covered by group H10F30/00, e.g. radiation detectors comprising photodiode arrays
    • H10F39/80—Constructional details of image sensors
    • H10F39/802—Geometry or disposition of elements in pixels, e.g. address-lines or gate electrodes
    • H10F39/8023—Disposition of the elements in pixels, e.g. smaller elements in the centre of the imager compared to larger elements at the periphery

Definitions

  • the present disclosure relates to an imaging device, an imaging method, and an electronic device, and more particularly, to an imaging device, an imaging method, and an electronic device that can obtain a better camera shake correction effect.
  • optical image stabilization can correct image blur by moving the lens in the opposite direction to the movement detected by a gyro sensor or the like and shifting the image formed on the image sensor. it can.
  • the optical camera shake correction for example, not only the system for moving the lens becomes complicated and the power consumption increases, but also the camera shake correction control system and the image sensor are made up of individual components. Therefore, it is difficult to control them in conjunction with each other. Further, in the optical image stabilization, it is necessary to have a configuration including a driving portion for each correction direction. In order to avoid the complexity of the system, only the shake in the yaw direction and the pitch direction is corrected in a small device. The correction of the blur in the roll direction was not performed.
  • image blur can be corrected by performing image processing that superimposes a plurality of images obtained by continuously performing high-speed imaging with a short time with less blur.
  • Patent Document 1 discloses an image processing method capable of outputting a clear image converted to the same brightness as the appropriate exposure from a plurality of images captured at a speed higher than the shutter speed at the appropriate exposure. It is disclosed.
  • Japanese Patent Application Laid-Open No. 2004-228688 can effectively correct distortion generated in an image due to camera shake according to a correction amount based on a blur angle detected by a gyro sensor and an arrangement position of pixels constituting the image.
  • a solid-state image sensor is disclosed.
  • the present disclosure has been made in view of such a situation, and makes it possible to obtain a better camera shake correction effect.
  • An imaging device includes a pixel array unit that outputs a plurality of frames by EIS imaging in which a plurality of pixels are arranged in an array, and imaging with a short exposure time is performed continuously at high speed; It is determined whether or not the blur of the pixel array unit exceeds a specified value based on blur information indicating physical blur when the pixel array unit is shaken, and is determined that the blur of the pixel array unit exceeds a specified value
  • An exposure control unit that controls the pixel array unit to perform EIS imaging until the above timing.
  • An imaging method is an imaging method including a pixel array unit in which a plurality of pixels are arranged in an array, and a plurality of frames are output by EIS imaging that continuously performs imaging with a short exposure time at high speed.
  • it is determined whether or not the blur of the pixel array unit exceeds a specified value based on blur information indicating physical blur when the pixel array unit is shaken, and the blur of the pixel array unit is determined.
  • the pixel array unit is controlled to perform EIS imaging until it is determined that exceeds the specified value.
  • An electronic apparatus includes a pixel array unit that outputs a plurality of frames by EIS imaging in which a plurality of pixels are arranged in an array, and imaging with a short exposure time is performed continuously at high speed; It is determined whether or not the blur of the pixel array unit exceeds a specified value based on blur information indicating physical blur when the pixel array unit is shaken, and is determined that the blur of the pixel array unit exceeds a specified value Until this timing, the pixel array unit includes an exposure control unit that controls to perform EIS imaging.
  • a plurality of frames are output by EIS imaging in which imaging with a short exposure time is continuously performed at high speed by a pixel array unit in which a plurality of pixels are arranged in an array. Then, it is determined whether or not the blur of the pixel array unit exceeds a specified value based on the blur information indicating the physical blur when the pixel array unit is shaken, and is determined that the blur of the pixel array unit exceeds the specified value. Until this timing, the pixel array unit is controlled to perform EIS imaging.
  • a better camera shake correction effect can be obtained.
  • FIG. 1 is a block diagram illustrating a configuration example of an embodiment of an image sensor to which the present technology is applied.
  • the imaging chip 12 includes a pixel array unit 21, an ADC (Analog to Digital Converter) unit 22, a gyro interface unit 23, an exposure control unit 24, an image composition unit 25, an output frame configuration unit 26, an output unit 27, and an input unit 28. It is prepared for.
  • ADC Analog to Digital Converter
  • the pixel array unit 21 is an imaging surface in which a plurality of pixels are arranged in an array.
  • the pixel array unit 21 receives light collected by an optical system (not shown) and responds to the amount of light received by each pixel. Output a pixel signal of a certain level.
  • the pixel array unit 21 performs EIS imaging that continuously performs imaging with a short exposure time with less blurring at a high speed according to control by the exposure control unit 24, and outputs pixel signals constituting a plurality of frames. .
  • the ADC unit 22 performs, for example, CDS (Correlated Double Sampling) processing on the pixel signal output from the pixel array unit 21 to perform AD conversion of the pixel signal and remove reset noise. To do.
  • CDS Correlated Double Sampling
  • the gyro interface unit 23 acquires the gyro data (blur information) output from the gyro sensor 14 and supplies it to the exposure control unit 24, the image composition unit 25, and the output frame configuration unit 26 as appropriate. Further, the gyro interface unit 23 manages the supply of gyro data so that the image and the gyro data are synchronized, as will be described later with reference to FIG.
  • the exposure control unit 24 performs exposure control based on gyro data supplied from the gyro interface unit 23 and control information (such as exposure time and gain) supplied via an input unit 28 from an external processor (not shown). .
  • control information such as exposure time and gain
  • the exposure control unit 24 controls the pixel array unit 21 so that EIS imaging is performed by dividing the exposure time given from the processor into short exposure times with less blur.
  • the exposure control unit 24 controls the image composition unit 25 to perform image composition.
  • the exposure control unit 24 controls the light emitting device 15 so as to emit strobe light at a predetermined timing.
  • a pixel signal is supplied from the ADC unit 22 to the image synthesis unit 25, and the image synthesis unit 25 performs image synthesis to synthesize a plurality of frames captured by the pixel array unit 21 under the control of the exposure control unit 24. This is supplied to the output frame configuration unit 26.
  • the image synthesizing unit 25 synthesizes each of a plurality of frames while shifting in a direction for correcting a camera shake generated on the image based on a motion vector obtained from gyro data supplied from the gyro interface unit 23. I do.
  • the output frame configuration unit 26 configures an output format in which embedded data or the like is added to the image supplied from the image synthesis unit 25, and outputs the output format via the output unit 27.
  • the output unit 27 is an interface that outputs the output frame supplied from the output frame configuration unit 26 to the outside of the imaging device 11 in accordance with, for example, CSI-2 (Camera Serial Interface).
  • the input unit 28 is an interface that receives control information from a processor (not shown) based on, for example, CCI (Camera Control Interface) and supplies the control information to the exposure control unit 24.
  • a processor not shown
  • CCI Cara Control Interface
  • the memory chip 13 includes an image data buffer 29.
  • the image data buffer 29 temporarily stores, for example, a plurality of frames used by the image composition unit 25 to perform image composition.
  • the gyro sensor 14 is mounted in the vicinity of the image sensor 11 and physically (not in terms of image processing) detects a blur angle when the image sensor 11 is shaken.
  • the gyro sensor 14 is a detection unit that detects an angular velocity, and outputs gyro data indicating a shake amount represented by a shake angle obtained from the detected angular velocity at a certain timing.
  • the light emitting device 15 emits strobe light with strong brightness to the subject under the control of the exposure control unit 24.
  • the imaging device 11 is configured, and the exposure control unit 24 determines that the blur of the pixel array unit 21 is based on the gyro data output from the gyro sensor 14 (for example, angular velocity: 2 degrees / second). It is possible to control the pixel array unit 21 to perform EIS imaging until the timing when it is determined that the blur exceeds a specified value. Thereby, the image sensor 11 can acquire a higher quality EIS image by extending the total exposure time of the EIS image than the exposure time given from the processor. Alternatively, the imaging device 11 can avoid the occurrence of blurring in the EIS image even within the exposure time given from the processor.
  • CMOS Complementary Metal Oxide Semiconductor
  • a focal plane shutter in which exposure is started and pixel signals are read out sequentially for each row of pixels.
  • an image acquired by such a focal plane shutter is represented by a parallelogram.
  • OIS imaging normal imaging is performed in which an image subjected to camera shake correction by OIS is acquired according to the exposure time and gain given from the processor.
  • the exposure time given by the processor (equivalent to the exposure time in OIS imaging) is divided into short periods that do not cause camera shake, and multiple frames are imaged, and those frames are combined. As a result, one EIS image corrected for camera shake is acquired.
  • imaging is performed according to imaging conditions (exposure time, gain, etc.) given from the processor. Since this imaging condition is controlled based on the longest exposure time estimated from OIS performance, etc., image quality can be improved by performing imaging with further long exposure within the range where camera shake correction characteristics are allowed. It is thought that we can plan.
  • the broken parallelogram represents the exposure time given from the processor, and conventionally, the total exposure time of EIS imaging is equivalent to the exposure time given from the processor. Control is performed as follows.
  • the exposure control unit 24 directly observes the gyro information output from the gyro sensor 14 via the gyro interface unit 23, and the gyro data has a specified value (dashed line). It is determined whether or not a large blur has occurred. Then, the exposure control unit 24 controls the pixel array unit 21 so as to continue the EIS imaging until it is determined that blurring has occurred so much that the gyro data exceeds the specified value.
  • the exposure control unit 24 ends EIS imaging at that timing. In this way, the pixel array unit 21 is controlled. Then, the exposure control unit 24 controls the image composition unit 25 so as to compose an image using the frames immediately before the occurrence of the blur, and the image composition unit 25 synthesizes these frames to shake the camera shake. Output one corrected EIS image.
  • the image sensor 11 can extend the total exposure time in EIS imaging rather than the exposure time given from the processor.
  • the image pickup device 11 acquires a high-quality image that can provide a better camera shake correction effect. Can do.
  • the exposure control unit 24 ends the EIS imaging at that timing.
  • the pixel array unit 21 is controlled.
  • the exposure control unit 24 controls the image composition unit 25 so as to compose an image using the frames immediately before the occurrence of the blur, and the image composition unit 25 synthesizes these frames to shake the camera shake. Output one corrected EIS image.
  • the image sensor 11 can stop the EIS imaging before the blur occurs in the image, and the image in which such a blur has occurred can be excluded from being used for image synthesis.
  • the image pickup device 11 cannot obtain a high-quality image as described with reference to FIG. 3, but can prevent the image pickup from failing due to camera shake.
  • the imaging device 11 directly acquires the gyro data output from the gyro sensor 14 by the imaging chip 12 and performs exposure as long as possible, for example, in imaging in a low-light environment.
  • the image quality can be improved as compared with the conventional case.
  • the imaging device 11 can avoid failure of imaging even if unexpected large camera shake occurs during the exposure time given by the processor.
  • a camera shake correction function is realized by moving one of the optical component and the image sensor in a direction that cancels camera shake. Therefore, it is necessary to provide a drive component for each correction axis. Therefore, in general, in an imaging apparatus employed in a small device such as a so-called smartphone, only the blur in the yaw direction and the pitch direction is corrected.
  • the imaging device 11 can take advantage of EIS imaging and can correct blur in the roll direction in addition to the yaw direction and the pitch direction without the need to add driving components.
  • the image pickup device 11 synchronizes the image and the gyro data and accurately recognizes the amount of blur for each vertical position in each frame, thereby correctly correcting the deviation, thereby generating an image. It is possible to effectively correct the camera shake.
  • the exposure control unit 24 can synchronize the gyro data supplied from the gyro interface unit 23 with the imaging timing of the pixel array unit 21, so that the exposure of the frame 2 from the exposure center of the frame 1.
  • the motion vector to the center can be obtained accurately.
  • the image pickup device 11 can perform control in which the image pickup chip 12 and the gyro sensor 14 are interlocked with each other, the exposure time by mounting camera shake correction is higher than that of a conventional image pickup device in which such interlock control is difficult. The effect of extension can be maximized.
  • the exposure control unit 24 first controls the light emitting device 15 to emit strobe light by setting the light emission signal supplied to the light emitting device 15 to the H level. Then, the exposure control unit 24 controls the pixel array unit 21 to perform EIS imaging so as to be within the period in which the strobe light is emitted while the subject is irradiated with the strobe light in synchronization with the light emission signal. Do. As a result, an EIS image obtained by capturing the subject irradiated with the strobe light is acquired.
  • the exposure control unit 24 sets the light emission signal supplied to the light emitting device 15 to L level, and terminates the light emission of the strobe light by the light emitting device 15. Then, the exposure control unit 24 avoids the timing at which the strobe light emission ends, causes the pixel array unit 21 to perform EIS imaging again, and converts the gyro data into the gyro data as described above with reference to FIGS. 3 and 4. Based on long-time EIS imaging. As a result, an EIS image in which a background where the strobe light does not reach is captured is acquired.
  • the image sensor 11 controls the EIS imaging by the pixel array unit 21 in conjunction with the light emission signal (control signal to the outside) supplied to the light emitting device 15, and the EIS image in which the subject is imaged and the background. After the captured EIS image is acquired, they are combined. Thereby, the image sensor 11 can fit an image in an environment with strobe light and an image in an environment without strobe light into one EIS image. This can achieve the same effect as slow sync imaging, which is one of the imaging techniques.
  • FIG. 6 shows an example in which the leading curtain sync is adopted, the trailing curtain sync may be adopted.
  • the image sensor 11 also uses the gyro data to acquire an EIS image that does not cause a deviation when combining an EIS image in which the subject is imaged with an EIS image in which the background is imaged. Can do.
  • a motion vector based on gyro data is added to a plurality of frames and output to a subsequent processor, and the processor performs a combining process. It is good also as such a structure.
  • the imaging device 11 performs EIS imaging twice at a high speed continuously, and holds and uses motion vector information between them, thereby extending the apparent imaging time and imaging environment such as strobe light emission. It will be possible to respond to changes in Thereby, the image sensor 11 can achieve high image quality in a low illumination environment.
  • the image sensor 11 acquires a plurality of frames continuously by EIS imaging, thereby acquiring a better EIS image even in a low illumination environment in combination with strobe light emission. Can do.
  • the optical system 102 includes one or more lenses, guides image light (incident light) from a subject to the image sensor 103, and forms an image on a light receiving surface (sensor unit) of the image sensor 103.
  • the above-described image sensor 11 is applied.
  • the image sensor 103 electrons are accumulated for a certain period according to an image formed on the light receiving surface via the optical system 102. Then, a signal corresponding to the electrons accumulated in the image sensor 103 is supplied to the signal processing circuit 104.
  • the signal processing circuit 104 performs various signal processing on the pixel signal output from the image sensor 103.
  • An image (image data) obtained by performing signal processing by the signal processing circuit 104 is supplied to the monitor 105 and displayed, or supplied to the memory 106 and stored (recorded).
  • a high-quality image can be captured even in a low illumination environment.
  • FIG. 8 is a diagram showing a usage example in which the above-described image sensor (imaging device 11) is used.
  • the image sensor described above can be used in various cases for sensing light such as visible light, infrared light, ultraviolet light, and X-ray as follows.
  • Devices for taking images for viewing such as digital cameras and mobile devices with camera functions
  • Devices used for traffic such as in-vehicle sensors that capture the back, surroundings, and interiors of vehicles, surveillance cameras that monitor traveling vehicles and roads, and ranging sensors that measure distances between vehicles, etc.
  • Equipment used for home appliances such as TVs, refrigerators, air conditioners, etc. to take pictures and operate the equipment according to the gestures ⁇ Endoscopes, equipment that performs blood vessel photography by receiving infrared light, etc.
  • Equipment used for medical and health care ⁇ Security equipment such as security surveillance cameras and personal authentication cameras ⁇ Skin measuring instrument for photographing skin and scalp photography Such as a microscope to do beauty Equipment used for sports-Equipment used for sports such as action cameras and wearable cameras for sports applications-Used for agriculture such as cameras for monitoring the condition of fields and crops apparatus
  • a pixel array unit that outputs a plurality of frames by EIS (Electronic Image Stabilization) imaging, in which a plurality of pixels are arranged in an array, and imaging with a short exposure time is performed continuously at high speed; It is determined whether or not blur of the pixel array unit exceeds a specified value based on blur information indicating physical blur when the pixel array unit is shaken, and when the blur of the pixel array unit exceeds a specified value
  • An imaging device comprising: an exposure control unit that controls the pixel array unit to perform EIS imaging until the determined timing.
  • an imaging method of an imaging apparatus having a pixel array unit that outputs a plurality of frames by EIS (Electronic Image Stabilization) imaging in which a plurality of pixels are arranged in an array and continuously performs imaging with a short exposure time at high speed It is determined whether or not blur of the pixel array unit exceeds a specified value based on blur information indicating physical blur when the pixel array unit is shaken, and when the blur of the pixel array unit exceeds a specified value
  • a pixel array unit that outputs a plurality of frames by EIS (Electronic Image Stabilization) imaging, in which a plurality of pixels are arranged in an array, and imaging with a short exposure time is performed continuously at high speed; It is determined whether or not blur of the pixel array unit exceeds a specified value based on blur information indicating physical blur when the pixel array unit is shaken, and when the blur of the pixel array unit exceeds a specified value
  • An electronic device comprising an imaging device having an exposure control unit that controls the pixel array unit to perform EIS imaging until the determined timing.
  • image sensor 11 image sensor, 12 image pickup chip, 13 memory chip, 14 gyro sensor, 15 light emitting device, 21 pixel array unit, 22 ADC unit, 23 gyro interface unit, 24 exposure control unit, 25 image composition unit, 26 output frame configuration unit, 27 output section, 28 input section, 29 image data buffer

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

本開示は、より良好な手振れ補正効果を得ることができるようにする撮像素子および撮像方法、並びに電子機器に関する。 複数の画素がアレイ状に配置される画素アレイ部は、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する。そして、露光制御部は、画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて画素アレイ部のブレが規定値を超えるか否かを判定し、画素アレイ部のブレが規定値を超えると判定したタイミングまで、画素アレイ部がEIS撮像を行うように制御する。本技術は、例えば、電子式手振れ補正機能を備えたCMOSイメージセンサに適用できる。

Description

撮像素子および撮像方法、並びに電子機器
　本開示は、撮像素子および撮像方法、並びに電子機器に関し、特に、より良好な手振れ補正効果を得ることができるようにした撮像素子および撮像方法、並びに電子機器に関する。
　従来、画像を撮像する際における手振れにより画像に発生するブレを補正する技術として、一般的に、光学式手振れ補正（OIS：Optical Image Stabilization）および電子式手振れ補正（EIS：Electronic Image Stabilization）が用いられている。
　例えば、光学式手振れ補正は、ジャイロセンサなどにより検出される動きに対して反対の方向にレンズを移動させ、撮像素子に結像される像をシフトさせることで、画像のブレを補正することができる。
　ところが、光学式手振れ補正においては、例えば、レンズを移動させるためのシステムが複雑化したり、消費電力が増加したりするだけでなく、手振れ補正の制御系と撮像素子とが個別部品で構成されているため、それらを連動した制御が困難であった。さらに、光学式手振れ補正では、補正方向それぞれに対して駆動部分を備える構成とする必要があり、システムの複雑さを回避するために、小型機器においてはヨー方向およびピッチ方向のブレのみの補正を行い、ロール方向のブレの補正は行われていなかった。
　一方、電子式手振れ補正では、ブレの少ない短時間露光による撮像を連続して高速で行って得られる複数枚の画像を重ね合わせる画像処理を行うことで、画像のブレを補正することができる。
　例えば、特許文献１には、適正露出におけるシャッター速度よりも高速に撮像された複数枚の画像から、適正露出と同一の明るさに変換された鮮明な画像を出力することができる画像処理方法が開示されている。また、特許文献２には、ジャイロセンサにより検出されたブレ角と、画像を構成する画素の配置位置とに基づいた補正量に従って、手振れにより画像に発生する歪を効果的に補正することができる固体撮像素子が開示されている。
国際公開第２０１４／１５６７３１号 特開２００５－３８３９６号公報
　しかしながら、従来の電子式手振れ補正は、光学式手振れ補正と比較して手振れ補正効果が低いため、より良好な手振れ補正効果を得ることができる電子式手振れ補正が求められていた。
　本開示は、このような状況に鑑みてなされたものであり、より良好な手振れ補正効果を得ることができるようにするものである。
　本開示の一側面の撮像素子は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部と、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部とを備える。
　本開示の一側面の撮像方法は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する。
　本開示の一側面の電子機器は、複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームを出力する画素アレイ部と、前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部とを有する撮像素子を備える。
　本開示の一側面においては、複数の画素がアレイ状に配置される画素アレイ部により、短時間の露光時間の撮像を高速で連続的に行うEIS撮像により複数枚のフレームが出力される。そして、画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて画素アレイ部のブレが規定値を超えるか否かを判定し、画素アレイ部のブレが規定値を超えると判定したタイミングまで、画素アレイ部がEIS撮像を行うように制御される。
　本開示の一側面によれば、より良好な手振れ補正効果を得ることができる。
本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。 従来のOIS撮像およびEIS撮像について説明する図である。 本技術を適用したEIS撮像について説明する図である。 本技術を適用したEIS撮像について説明する図である。 画像とジャイロデータとの同期について説明する図である。 ストロボ発光を組み合わせたEIS撮像について説明する図である。 撮像装置の構成例を示すブロック図である。 イメージセンサを使用する使用例を示す図である。
　以下、本技術を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
　＜撮像素子の構成例＞
　図１は、本技術を適用した撮像素子の一実施の形態の構成例を示すブロック図である。
　図１に示されている撮像素子１１は、センサ基板および信号処理基板の積層構造からなる撮像チップ１２に、メモリチップ１３が積層されて構成されており、撮像チップ１２にジャイロセンサ１４および発光装置１５が接続されている。
　撮像チップ１２は、画素アレイ部２１、ＡＤＣ（Analog to Digital Converter）部２２、ジャイロインタフェース部２３、露光制御部２４、画像合成部２５、出力フレーム構成部２６、出力部２７、および入力部２８を備えて構成される。
　画素アレイ部２１は、複数の画素がアレイ状に配置されて構成される撮像面であり、図示しない光学系により集光される光を受光して、それぞれの画素が受光した光の光量に応じたレベルの画素信号を出力する。例えば、画素アレイ部２１は、露光制御部２４による制御に従って、ブレの少ない短時間の露光時間の撮像を高速で連続的に行うEIS撮像を行い、複数枚のフレームを構成する画素信号を出力する。
　ＡＤＣ部２２は、画素アレイ部２１から出力される画素信号に対して、例えば、CDS(Correlated Double Sampling：相関２重サンプリング)処理を施すことにより、画素信号のＡＤ変換を行うとともにリセットノイズを除去する。
　ジャイロインタフェース部２３は、ジャイロセンサ１４から出力されるジャイロデータ（ブレ情報）を取得し、適宜、露光制御部２４、画像合成部２５、および出力フレーム構成部２６に供給する。また、ジャイロインタフェース部２３は、図５を参照して後述するように、画像とジャイロデータとが同期されるように、ジャイロデータの供給を管理する。
　露光制御部２４は、ジャイロインタフェース部２３から供給されるジャイロデータ、および、図示しない外部のプロセッサから入力部２８を介して供給される制御情報（露光時間やゲインなど）に基づいた露光制御を行う。例えば、露光制御部２４は、プロセッサから与えられた露光時間を、ブレの少ない短時間の露光時間に分割してEIS撮像を行うように画素アレイ部２１に対する制御を行う。また、露光制御部２４は、画素アレイ部２１によるEIS撮像が終了すると、画像合成を行うように画像合成部２５に対する制御を行う。さらに、露光制御部２４は、所定のタイミングでストロボ発光を行うように発光装置１５に対する制御を行う。
　画像合成部２５にはＡＤＣ部２２から画素信号が供給され、画像合成部２５は、露光制御部２４による制御に従って、画素アレイ部２１により撮像された複数枚のフレームを合成する画像合成を行い、出力フレーム構成部２６に供給する。例えば、画像合成部２５は、ジャイロインタフェース部２３から供給されるジャイロデータから求められる動きベクトルに基づいて、複数枚のフレームそれぞれを、画像に発生する手振れを補正する方向にずらしながら合成する画像処理を行う。
　出力フレーム構成部２６は、画像合成部２５から供給される画像にエンベデッドデータなどを付加した出力フォーマットに構成して、出力部２７を介して出力する。
　出力部２７は、出力フレーム構成部２６から供給される出力フレームを、例えば、CSI-2（Camera Serial Interface）に準拠して撮像素子１１の外部に出力するインタフェースである。
　入力部２８は、図示しないプロセッサからの制御情報を、例えば、CCI（Camera Control Interface）に準拠して受け取って、露光制御部２４に供給するインタフェースである。
　メモリチップ１３は、画像データバッファ２９を備えて構成され、画像データバッファ２９は、例えば、画像合成部２５が画像合成を行うのに用いる複数枚のフレームを一時的に記憶する。
　ジャイロセンサ１４は、撮像素子１１の近傍に実装され、撮像素子１１が振れた際のブレ角を物理的に（画像処理的にではなく）検出する。例えば、ジャイロセンサ１４は、角速度を検出する検出部であり、一定のタイミングで、検出した角速度から求められるブレ角により表される手振れ量を示すジャイロデータを出力する。
　発光装置１５は、露光制御部２４による制御に従って、被写体に対して強力な明るさのストロボ光を発光する。
　このように撮像素子１１は構成されており、露光制御部２４は、ジャイロセンサ１４から出力されるジャイロデータに基づいて、画素アレイ部２１のブレが規定値（例えば、角速度：２度／秒）を超えるか否かを判定し、そのブレが規定値を超えると判定したタイミングまで、画素アレイ部２１がEIS撮像を行うように制御することができる。これにより、撮像素子１１は、EIS画像の総露光時間を、プロセッサから与えられた露光時間よりも延長して、より高画質なEIS画像を取得することができる。または、撮像素子１１は、プロセッサから与えられた露光時間内であっても、EIS画像にブレが発生することを回避することができる。
　なお、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサは、一般的に、画素の行ごとに順次、露光が開始されるとともに画素信号の読み出しが行われるフォーカルプレーンシャッタにより画像が撮像される。以下の図面を参照した説明では、このようなフォーカルプレーンシャッタにより取得される画像が平行四辺形で表されている。
　＜従来のOIS撮像およびEIS撮像＞
　図２を参照して、従来のOIS撮像およびEIS撮像について説明する。
　例えば、OIS撮像では、プロセッサから与えられた露光時間およびゲインに従って、OISにより手振れ補正された画像が取得される通常の撮像が行われる。
　また、EIS撮像では、プロセッサから与えられた露光時間（OIS撮像における露光時間と同等）を、手振れが発生しない程度の短時間に分割して複数枚のフレームが撮像され、それらのフレームを合成することで手振れ補正された１枚のEIS画像が取得される。
　このようなOIS撮像およびEIS撮像では、プロセッサから与えられた撮像条件（露光時間やゲインなど）に従った撮像が行われる。この撮像条件は、OIS性能などから推定された最長露光時間に基づいて制御されていることより、手振れ補正特性が許容される範囲内で、さらなる長時間露光による撮像を行うことで、高画質化を図ることができると考えられる。
　＜本技術を適用したEIS撮像＞
　図３および図４を参照して、図１の撮像素子１１によるEIS撮像について説明する。
　例えば、図３および図４において、破線の平行四辺形は、プロセッサから与えられた露光時間を表しており、従来においては、EIS撮像の露光時間の総和が、プロセッサから与えられた露光時間と同等となるような制御が行われる。
　これに対し、撮像素子１１では、露光制御部２４は、ジャイロインタフェース部２３を介してジャイロセンサ１４から出力されるジャイロ情報を直接的に観測して、ジャイロデータが規定値（破線の直線）を超えるほど大きなブレが発生したか否かを判定する。そして、露光制御部２４は、ジャイロデータが規定値を超えるほど大きなブレが発生したと判定するまで、EIS撮像を継続するように画素アレイ部２１に対する制御を行う。
　例えば、図３に示すように、プロセッサから与えられた露光時間を経過した後に、ジャイロデータが規定値を超えるほど大きなブレが発生すると、そのタイミングで、露光制御部２４は、EIS撮像を終了するように画素アレイ部２１に対する制御を行う。そして、露光制御部２４は、そのブレが発生する直前までのフレームを用いて、画像合成するように画像合成部２５に対する制御を行い、画像合成部２５は、それらのフレームを合成することで手振れ補正された１枚のEIS画像を出力する。
　これにより、撮像素子１１は、プロセッサから与えられた露光時間よりも、EIS撮像における露光時間の総和を延長することができる。一般的に、特に低照度環境下においては、露光時間の総和が長いほど画質を向上させることができるため、撮像素子１１は、より良好な手振れ補正効果が得られる高画質な画像を取得することができる。
　一方、図４に示すように、プロセッサから与えられた露光時間が経過する前に、ジャイロデータが規定値を超えるほど大きなブレが発生すると、そのタイミングで、露光制御部２４は、EIS撮像を終了するように画素アレイ部２１に対する制御を行う。そして、露光制御部２４は、そのブレが発生する直前までのフレームを用いて、画像合成するように画像合成部２５に対する制御を行い、画像合成部２５は、それらのフレームを合成することで手振れ補正された１枚のEIS画像を出力する。
　これにより、撮像素子１１は、画像にブレが発生する前にEIS撮像を打ち切ることができ、そのようなブレが発生した画像が画像合成に用いられないように排除することができる。この場合、撮像素子１１は、図３を参照して説明したような高画質な画像を取得することはできないが、手振れにより撮像が失敗することを回避することができる。
　このように、撮像素子１１は、撮像チップ１２がジャイロセンサ１４から出力されるジャイロデータを直接的に取得して、可能な限り長時間露光を行うことにより、例えば、低照度環境下における撮像で、従来よりも画質の向上を図ることができる。さらに、撮像素子１１は、プロセッサから与えられた露光時間中に予期しない大きな手振れが起きたとしても、撮像が失敗することを回避することができる。
　また、OIS撮像では、例えば、手振れを打ち消す方向に光学部品および撮像素子の一方を動かすことにより手振れ補正機能を実現しているため、補正軸ごとに駆動部品を備える必要がある。従って、一般的に、いわゆるスマートフォンなどの小型機器に採用される撮像装置では、ヨー方向およびピッチ方向のブレのみの補正が行われていた。これに対し、撮像素子１１は、EIS撮像による利点を生かし、駆動部品などを追加する必要なく、ヨー方向およびピッチ方向に加えてロール方向のブレの補正を行うことができる。
　＜ジャイロデータの同期＞
　図５を参照して、撮像素子１１における画像とジャイロデータとの同期について説明する。
　一般的に、EIS撮像において複数枚のフレームを合成する際のフレーム間のズレ情報が重要であり、ズレを打ち消すことによって手振れを補正することができる。さらに、撮像素子１１に用いられるCMOSイメージセンサにおいては電子シャッターの方式としてフォーカルプレーンシャッタを用いることより、画像内での読み出し時間ずれが生じることになる。このため、フォーカルプレーンシャッタによる画像内での読み出し時間ずれと、手振れによるフレーム間の位置ズレとが重なることにより、さらなる画質の劣化が発生することになる。
　そこで、撮像素子１１は、画像とジャイロデータとを同期させて、それぞれのフレームにおける垂直方向の位置ごとにブレ量を正確に認識することによって、それらのズレを正しく補正することで、画像に発生する手振れに対する補正を効果的に行うことができる。
　図５の上側には、画素アレイ部２１がEIS撮像を行って得られる複数枚のフレームが示されており、図５の下側には、それらのフレームの行ごとの露光開始タイミングおよび読み出しタイミングが示されている。
　例えば、１枚目のフレーム１と２枚目のフレーム２において破線で囲われた垂直方向の位置における露光について考える。このとき、フレーム１において破線で囲われた位置の露光中心は、時刻Ｔ１＋（（時刻Ｔ２－Ｔ１）／２となる。また、フレーム２において破線で囲われた位置の露光中心は、時刻Ｔ３＋（（時刻Ｔ４－Ｔ３）／２となる。そして、EIS撮像でのフレーム重ね合わせに使用する動きベクトルは、フレーム１の露光中心からフレーム２の露光中心までの移動量ということになる。
　そして、撮像素子１１は、露光制御部２４が、ジャイロインタフェース部２３から供給されるジャイロデータを、画素アレイ部２１による撮像タイミングに同期させることができるので、フレーム１の露光中心からフレーム２の露光中心までの動きベクトルを正確に取得することができる。
　即ち、撮像素子１１は、画像読み出しとジャイロデータの読み出しとを同期させることにより、フレーム間の垂直方向の各位置でのズレ量を正確に認識することができる。これにより、画像合成部２５は、それぞれのフレームの垂直方向の位置ごとに同期されているズレ量を用いて、フレームを合成することができる。従って、撮像素子１１は、フォーカルプレーンシャッタによる画像内での読み出し時間ずれと、手振れによるフレーム間の位置ズレとが重なることに起因する画質の劣化を抑制して、より効果的な手振れ補正を行うことができる。即ち、撮像素子１１は、高精度かつ詳細にズレ量に基づく手振れ補正を行うことができるので、フレームの合成を高品質に行うことができ、複数枚のフレームを合成したEIS画像の高画質化を図ることができる。
　また、撮像素子１１は、撮像チップ１２およびジャイロセンサ１４が連動した制御を行うことができるため、そのような連動した制御が困難な従来の撮像素子よりも、手振れ補正を搭載することによる露光時間延長の効果を最大化することができる。
　＜ストロボ発光を組み合わせたEIS撮像＞
　図６を参照して、ストロボ発光を組み合わせたEIS撮像について説明する。
　図６に示すように、まず、露光制御部２４は、発光装置１５に供給する発光信号をＨレベルにして、発光装置１５がストロボ光を発光するように制御する。そして、露光制御部２４は、発光信号と同期して、被写体にストロボ光が照射されている間に、ストロボが発光する期間内に収まるようにEIS撮像を行うように画素アレイ部２１に対する制御を行う。これにより、ストロボ光が照射された被写体が撮像されたEIS画像が取得される。
　その後、露光制御部２４は、発光装置１５に供給する発光信号をＬレベルにして、発光装置１５によるストロボ光の発光を終了させる。そして、露光制御部２４は、ストロボの発光が終了するタイミングを回避して、再度、画素アレイ部２１によるEIS撮像を行わせ、図３および図４を参照して上述したように、ジャイロデータに基づいた長時間のEIS撮像を行わせる。これにより、ストロボ光が届かない背景が撮像されたEIS画像が取得される。
　このように、撮像素子１１では、発光装置１５に供給する発光信号（外部に対する制御信号）と連動させて、画素アレイ部２１によるEIS撮像を制御し、被写体が撮像されたEIS画像と、背景が撮像されたEIS画像とが取得された後、それらを合成する。これにより、撮像素子１１は、ストロボ光がある環境での画像と、ストロボ光がない環境での画像とを１枚のEIS画像に収めることができる。これは、撮像技法のひとつであるスローシンクロ撮像と同じ効果を得ることができる。なお、図６には、先幕シンクロが採用された一例が示されているが、後幕シンクロを採用してもよい。
　さらに、撮像素子１１は、被写体が撮像されたEIS画像と、背景が撮像されたEIS画像とを合成する際にも、ジャイロデータを活用して、ズレが発生しないようなEIS画像を取得することができる。
　なお、上述したように撮像素子１１の内部で処理を行う他、例えば、複数枚のフレームにジャイロデータに基づいた動きベクトルを付加して後段のプロセッサに出力し、そのプロセッサにおいて合成処理を行わせるような構成としてもよい。
　例えば、従来のEIS撮像では、１回の撮像で１つの連続するフレームのみを使用していたため、ストロボ光を使用した撮像では、複数の短時間露光のフレームに対しても画面内の輝度均一性を保つために、同期をとる必要があった。しかしながら、従来、短時間露光の複数のフレームに対してこのような制御を行うことは困難であった。
　これに対し、撮像素子１１では、EIS撮像を高速で２回連続で行い、かつ、その間の動きベクトル情報を保持、利用することにより、見かけ上の撮像時間を伸ばしつつ、ストロボ発光などによる撮像環境の変化にも対応できるようになる。これにより、撮像素子１１は、低照度環境下における高画質化を図ることができる。
　以上のように、撮像素子１１は、EIS撮像により複数枚のフレームを連続して取得することにより、ストロボ発光などと組み合わせて低照度環境下であっても、より良好なEIS画像を取得することができる。
　なお、上述したような撮像素子１１は、例えば、デジタルスチルカメラやデジタルビデオカメラなどの撮像システム、撮像機能を備えた携帯電話機、または、撮像機能を備えた他の機器といった各種の電子機器に適用することができる。
　＜撮像装置の構成例＞
　図７は、電子機器に搭載される撮像装置の構成例を示すブロック図である。
　図７に示すように、撮像装置１０１は、光学系１０２、撮像素子１０３、信号処理回路１０４、モニタ１０５、およびメモリ１０６を備えて構成され、静止画像および動画像を撮像可能である。
　光学系１０２は、１枚または複数枚のレンズを有して構成され、被写体からの像光（入射光）を撮像素子１０３に導き、撮像素子１０３の受光面（センサ部）に結像させる。
　撮像素子１０３としては、上述した撮像素子１１が適用される。撮像素子１０３には、光学系１０２を介して受光面に結像される像に応じて、一定期間、電子が蓄積される。そして、撮像素子１０３に蓄積された電子に応じた信号が信号処理回路１０４に供給される。
　信号処理回路１０４は、撮像素子１０３から出力された画素信号に対して各種の信号処理を施す。信号処理回路１０４が信号処理を施すことにより得られた画像（画像データ）は、モニタ１０５に供給されて表示されたり、メモリ１０６に供給されて記憶（記録）されたりする。
　このように構成されている撮像装置１０１では、上述した撮像素子１１を適用することで、例えば、低照度環境下であっても高画質な画像を撮像することができる。
　＜イメージセンサの使用例＞
　図８は、上述のイメージセンサ（撮像素子１１）を使用する使用例を示す図である。
　上述したイメージセンサは、例えば、以下のように、可視光や、赤外光、紫外光、X線等の光をセンシングする様々なケースに使用することができる。
　・ディジタルカメラや、カメラ機能付きの携帯機器等の、鑑賞の用に供される画像を撮影する装置
　・自動停止等の安全運転や、運転者の状態の認識等のために、自動車の前方や後方、周囲、車内等を撮影する車載用センサ、走行車両や道路を監視する監視カメラ、車両間等の測距を行う測距センサ等の、交通の用に供される装置
　・ユーザのジェスチャを撮影して、そのジェスチャに従った機器操作を行うために、TVや、冷蔵庫、エアーコンディショナ等の家電に供される装置
　・内視鏡や、赤外光の受光による血管撮影を行う装置等の、医療やヘルスケアの用に供される装置
　・防犯用途の監視カメラや、人物認証用途のカメラ等の、セキュリティの用に供される装置
　・肌を撮影する肌測定器や、頭皮を撮影するマイクロスコープ等の、美容の用に供される装置
　・スポーツ用途等向けのアクションカメラやウェアラブルカメラ等の、スポーツの用に供される装置
　・畑や作物の状態を監視するためのカメラ等の、農業の用に供される装置
　なお、本技術は以下のような構成も取ることができる。
（１）
　複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
　前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
　を備える撮像素子。
（２）
　前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
　上記（１）に記載の撮像素子。
（３）
　前記露光制御部は、外部のプロセッサから与えられた露光時間未満の場合であっても、前記画素アレイ部のブレが規定値を超えると判定すると、前記画素アレイ部がEIS撮像を終了するように制御する
　上記（１）に記載の撮像素子。
（４）
　前記画素アレイ部から出力される複数枚の前記フレームを、前記ブレ情報に従ってブレを補正する方向にずらして合成する画像処理を行う画像合成部
　をさらに備える上記（１）から（３）までのいずれかに記載の撮像素子。
（５）
　前記画像合成部は、前記画素アレイ部により撮像されるフレームにおける位置ごとに同期されている前記ブレ情報を用いて、前記フレームを合成する画像処理を行う
　上記（４）に記載の撮像素子。
（６）
　前記露光制御部は、外部に対する所定の制御を行う制御信号と連動させて、前記画素アレイ部のEIS撮像を制御する
　上記（１）から（５）までのいずれかに記載の撮像素子。
（７）
　複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、
　前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
　撮像方法。
（８）
　複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
　前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
　を有する撮像素子を備える電子機器。
　なお、本実施の形態は、上述した実施の形態に限定されるものではなく、本開示の要旨を逸脱しない範囲において種々の変更が可能である。
　１１　撮像素子，　１２　撮像チップ，　１３　メモリチップ，　１４　ジャイロセンサ，　１５　発光装置，　２１　画素アレイ部，　２２　ＡＤＣ部，　２３　ジャイロインタフェース部，　２４　露光制御部，　２５　画像合成部，　２６　出力フレーム構成部，　２７　出力部，　２８　入力部，　２９　画像データバッファ

Claims (8)

  1. 　複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
    　前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
    　を備える撮像素子。
  2. 　前記露光制御部は、外部のプロセッサから与えられた露光時間を超えた場合であっても、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
    　請求項１に記載の撮像素子。
  3. 　前記露光制御部は、外部のプロセッサから与えられた露光時間未満の場合であっても、前記画素アレイ部のブレが規定値を超えると判定すると、前記画素アレイ部がEIS撮像を終了するように制御する
    　請求項１に記載の撮像素子。
  4. 　前記画素アレイ部から出力される複数枚の前記フレームを、前記ブレ情報に従ってブレを補正する方向にずらして合成する画像処理を行う画像合成部
    　をさらに備える請求項１に記載の撮像素子。
  5. 　前記画像合成部は、前記画素アレイ部により撮像されるフレームにおける位置ごとに同期されている前記ブレ情報を用いて、前記フレームを合成する画像処理を行う
    　請求項４に記載の撮像素子。
  6. 　前記露光制御部は、外部に対する所定の制御を行う制御信号と連動させて、前記画素アレイ部のEIS撮像を制御する
    　請求項１に記載の撮像素子。
  7. 　複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部を備える撮像装置の撮像方法において、
    　前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する
    　撮像方法。
  8. 　複数の画素がアレイ状に配置され、短時間の露光時間の撮像を高速で連続的に行うEIS（Electronic Image Stabilization）撮像により複数枚のフレームを出力する画素アレイ部と、
    　前記画素アレイ部が振れた際の物理的なブレを示すブレ情報に基づいて前記画素アレイ部のブレが規定値を超えるか否かを判定し、前記画素アレイ部のブレが規定値を超えると判定したタイミングまで、前記画素アレイ部がEIS撮像を行うように制御する露光制御部と
    　を有する撮像素子を備える電子機器。
PCT/JP2017/041418 2016-12-02 2017-11-17 撮像素子および撮像方法、並びに電子機器 WO2018101077A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020197011987A KR102423991B1 (ko) 2016-12-02 2017-11-17 촬상 소자 및 촬상 방법, 및 전자 기기
JP2018553777A JP7118893B2 (ja) 2016-12-02 2017-11-17 撮像素子および撮像方法、並びに電子機器
CN201780072808.2A CN109983758B (zh) 2016-12-02 2017-11-17 成像元件、成像方法以及电子设备
US16/340,903 US11095816B2 (en) 2016-12-02 2017-11-17 Image pickup element, image pickup method, and electronic device for image stabilization

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2016-235132 2016-12-02
JP2016235132 2016-12-02

Publications (1)

Publication Number Publication Date
WO2018101077A1 true WO2018101077A1 (ja) 2018-06-07

Family

ID=62242576

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/041418 WO2018101077A1 (ja) 2016-12-02 2017-11-17 撮像素子および撮像方法、並びに電子機器

Country Status (5)

Country Link
US (1) US11095816B2 (ja)
JP (1) JP7118893B2 (ja)
KR (1) KR102423991B1 (ja)
CN (1) CN109983758B (ja)
WO (1) WO2018101077A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024503662A (ja) * 2021-01-11 2024-01-26 ビ－エイイ－ システムズ パブリック リミテッド カンパニ－ 画像を修正するための方法および装置

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109983758B (zh) 2016-12-02 2021-11-16 索尼半导体解决方案公司 成像元件、成像方法以及电子设备
CN111193866B (zh) * 2020-01-08 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111193867B (zh) * 2020-01-08 2021-03-23 Oppo广东移动通信有限公司 图像处理方法、图像处理器、拍摄装置和电子设备
CN111246088A (zh) * 2020-01-13 2020-06-05 Oppo广东移动通信有限公司 防抖方法、电子设备和计算机可读存储介质
EP4319613A1 (en) 2021-04-07 2024-02-14 Pentax of America, Inc. Laryngeal stroboscope utilizing solid state light sources
KR20230001760A (ko) * 2021-06-29 2023-01-05 삼성전자주식회사 이미지 안정화 방법 및 이를 위한 전자 장치
EP4135311B1 (en) 2021-06-29 2025-07-09 Samsung Electronics Co., Ltd. Image stabilization method and electronic device therefor

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228297A (ja) * 2006-02-23 2007-09-06 Olympus Imaging Corp 電子的ぶれ補正装置
JP2008219124A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
JP2015220690A (ja) * 2014-05-20 2015-12-07 株式会社東芝 カメラモジュール及びイメージセンサ

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11326978A (ja) * 1998-05-08 1999-11-26 Olympus Optical Co Ltd ブレ補正カメラ
JP3804617B2 (ja) * 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
JP4613510B2 (ja) 2003-06-23 2011-01-19 ソニー株式会社 画像処理方法および装置、並びにプログラム
KR20050038396A (ko) 2003-10-22 2005-04-27 주식회사 대우일렉트로닉스 영상 기기의 오디오 출력 제한방법
EP1684506A4 (en) * 2003-11-11 2008-06-04 Seiko Epson Corp IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM THEREFOR AND RECORDING MEDIUM
US7457789B2 (en) * 2005-08-17 2008-11-25 Tacton Systems Ab Configuration assistance for complex products
US7952612B2 (en) 2006-06-22 2011-05-31 Nokia Corporation Method and system for image construction using multiple exposures
JP5024520B2 (ja) * 2006-10-03 2012-09-12 コニカミノルタアドバンストレイヤー株式会社 手振れ補正装置及びレンズユニット並びに撮像装置
US7796872B2 (en) * 2007-01-05 2010-09-14 Invensense, Inc. Method and apparatus for producing a sharp image from a handheld device containing a gyroscope
JP4905187B2 (ja) * 2007-03-09 2012-03-28 ソニー株式会社 画像処理装置、撮像装置、および画像処理方法、並びにコンピュータ・プログラム
KR101371775B1 (ko) * 2007-07-09 2014-03-24 삼성전자주식회사 카메라의 손떨림 보정 방법 및 장치
JP2009284394A (ja) * 2008-05-26 2009-12-03 Olympus Imaging Corp 撮像装置および撮像方法
JP4661922B2 (ja) * 2008-09-03 2011-03-30 ソニー株式会社 画像処理装置、撮像装置、固体撮像素子、画像処理方法およびプログラム
JP5290834B2 (ja) * 2009-03-30 2013-09-18 住友精密工業株式会社 ホスト機器
CN101692692A (zh) 2009-11-02 2010-04-07 彭健 电子稳像方法及系统
JP5121911B2 (ja) 2010-10-19 2013-01-16 キヤノン株式会社 防振制御装置、撮像装置、及び防振制御方法
JP5569357B2 (ja) 2010-11-19 2014-08-13 富士通株式会社 画像処理装置、画像処理方法及び画像処理プログラム
US8692933B1 (en) * 2011-10-20 2014-04-08 Marvell International Ltd. Method and apparatus for buffering anchor frames in motion compensation systems
US9332192B2 (en) * 2012-02-07 2016-05-03 Seiko Epson Corporation Image generating device and exposure start timing adjustment method
JP2015097301A (ja) * 2012-03-09 2015-05-21 ソニー株式会社 画像処理装置、画像処理方法、プログラム
EP2981062B1 (en) 2013-03-29 2019-11-20 Sony Corporation Image-capturing device, solid-state image-capturing element, camera module, electronic device, and image-capturing method
JP6209002B2 (ja) * 2013-07-16 2017-10-04 キヤノン株式会社 撮像装置およびその制御方法
US9596411B2 (en) * 2014-08-25 2017-03-14 Apple Inc. Combined optical and electronic image stabilization
CN104994305B (zh) 2015-06-12 2018-06-05 青岛海信电器股份有限公司 一种拍照方法及设备
CN109983758B (zh) 2016-12-02 2021-11-16 索尼半导体解决方案公司 成像元件、成像方法以及电子设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007228297A (ja) * 2006-02-23 2007-09-06 Olympus Imaging Corp 電子的ぶれ補正装置
JP2008219124A (ja) * 2007-02-28 2008-09-18 Sanyo Electric Co Ltd 撮像装置
JP2010239277A (ja) * 2009-03-30 2010-10-21 Fujifilm Corp 撮像装置および撮像方法
JP2015220690A (ja) * 2014-05-20 2015-12-07 株式会社東芝 カメラモジュール及びイメージセンサ

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024503662A (ja) * 2021-01-11 2024-01-26 ビ－エイイ－ システムズ パブリック リミテッド カンパニ－ 画像を修正するための方法および装置
JP7739436B2 (ja) 2021-01-11 2025-09-16 ビ－エイイ－ システムズ パブリック リミテッド カンパニ－ 画像を修正するための方法および装置

Also Published As

Publication number Publication date
JPWO2018101077A1 (ja) 2019-10-24
KR102423991B1 (ko) 2022-07-25
CN109983758B (zh) 2021-11-16
CN109983758A (zh) 2019-07-05
US20190281220A1 (en) 2019-09-12
KR20190089855A (ko) 2019-07-31
US11095816B2 (en) 2021-08-17
JP7118893B2 (ja) 2022-08-16

Similar Documents

Publication Publication Date Title
JP7118893B2 (ja) 撮像素子および撮像方法、並びに電子機器
US9185308B2 (en) Imaging apparatus and imaging method
CN102857700B (zh) 摄像设备及其控制方法
JP6947590B2 (ja) 撮像装置、撮像装置の制御方法
JP5199736B2 (ja) 画像撮像装置
WO2019151030A1 (ja) 撮像装置、固体撮像素子、カメラモジュール、駆動制御部、および撮像方法
JP6517573B2 (ja) 画像処理装置および内視鏡装置
JP2017046260A (ja) 固体撮像素子および電子機器
JP2022187873A (ja) 撮像装置
JP2006148550A (ja) 画像処理装置及び撮像装置
CN104717420A (zh) 抖动校正装置、摄影机系统以及摄像方法
JP4834406B2 (ja) 撮像装置
JP6329505B2 (ja) 固体撮像素子、撮像モジュール、および電子機器
WO2017163925A1 (ja) 半導体装置、固体撮像装置、および電子機器
JP2006135501A (ja) 撮像装置
JP6079196B2 (ja) 撮像装置
JP2018007076A (ja) 撮像装置および画像処理装置
JP2010093451A (ja) 撮像装置および撮像装置用プログラム
JP4662835B2 (ja) 撮像装置
JP2016187072A (ja) イメージセンサ、処理方法、及び、電子機器
JP2007235247A (ja) 電子的ぶれ補正装置
JP2011234279A (ja) 撮像システムおよびその動作制御方法
JP2005347901A (ja) 撮像装置および撮像方法
JP2007110347A (ja) カメラ装置
JP2006254139A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17876959

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018553777

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20197011987

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17876959

Country of ref document: EP

Kind code of ref document: A1