[go: up one dir, main page]

JP2017134185A - Image blur correction apparatus, imaging apparatus, lens apparatus, image blur correction apparatus control method, program, and storage medium - Google Patents

Image blur correction apparatus, imaging apparatus, lens apparatus, image blur correction apparatus control method, program, and storage medium Download PDF

Info

Publication number
JP2017134185A
JP2017134185A JP2016012906A JP2016012906A JP2017134185A JP 2017134185 A JP2017134185 A JP 2017134185A JP 2016012906 A JP2016012906 A JP 2016012906A JP 2016012906 A JP2016012906 A JP 2016012906A JP 2017134185 A JP2017134185 A JP 2017134185A
Authority
JP
Japan
Prior art keywords
exposure time
image
subject
motion vector
blur correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2016012906A
Other languages
Japanese (ja)
Other versions
JP2017134185A5 (en
JP6702737B2 (en
Inventor
泰予 小鮒
Horoyo Kobuna
泰予 小鮒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2016012906A priority Critical patent/JP6702737B2/en
Priority to US15/414,732 priority patent/US10205885B2/en
Publication of JP2017134185A publication Critical patent/JP2017134185A/en
Priority to US15/976,211 priority patent/US10623652B2/en
Publication of JP2017134185A5 publication Critical patent/JP2017134185A5/ja
Application granted granted Critical
Publication of JP6702737B2 publication Critical patent/JP6702737B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Exposure Control For Cameras (AREA)
  • Adjustment Of Camera Lenses (AREA)
  • Studio Devices (AREA)

Abstract

PROBLEM TO BE SOLVED: To provide an image blur correction device capable of easily acquiring a shot image with presence.SOLUTION: The image blur correction device includes: calculation means (281) that calculates a motion vector of a subject included in an image; acquisition means (280) that acquires a focus distance; and control means (282) that controls exposure time on the basis of the motion vector of the subject and a piece of shake information and a focus distance detected by detection means.SELECTED DRAWING: Figure 1

Description

本発明は、手振れなどにより生じる像ブレを補正する像ブレ補正装置に係り、特に、流し撮り撮影の際のアシスト機能を有する像ブレ補正装置に関する。   The present invention relates to an image blur correction apparatus that corrects an image blur caused by camera shake or the like, and more particularly to an image blur correction apparatus having an assist function during panning shooting.

従来から、流し撮り撮影を行うことが可能な撮像装置が知られている。流し撮り撮影とは、被写体がある速度で移動している場合、撮像装置を被写体の動きに合わせてパンニングしながら通常よりも長い露光時間で露光することにより、背景は流れ、被写体が止まっているような画像を撮影する手法である。また、このような流し撮り撮影を簡単に行うことを可能とするため、像ブレ補正装置を用いる方法が知られている。   2. Description of the Related Art Conventionally, an imaging device capable of performing panning shooting is known. Panning shot is when the subject is moving at a certain speed, the background is flowing and the subject is stopped by panning the imaging device according to the movement of the subject and exposing with a longer exposure time than usual. This is a technique for capturing such an image. Also, a method using an image blur correction device is known in order to enable such a panning shot to be easily performed.

特許文献1には、撮像面上の被写体像の移動量と振れ検出手段の出力タイミングを一致させ、被写体に係る角速度の検出精度を高める像振れ補正装置が開示されている。特許文献2には、角速度および焦点距離に基づいて、撮像素子により被写体光を撮像する際に用いられるシャッタースピードを決定する撮影装置が開示されている。   Patent Document 1 discloses an image shake correction apparatus that matches the amount of movement of a subject image on an imaging surface with the output timing of a shake detection unit to increase the detection accuracy of angular velocity related to the subject. Patent Document 2 discloses a photographing apparatus that determines a shutter speed used when photographing subject light with an image sensor based on an angular velocity and a focal length.

特開2015―161730号公報Japanese Unexamined Patent Publication No. 2015-161730 特開2015―102774号公報JP2015-102774A

しかしながら、特許文献1には、流し撮りの際の露光時間を設定するためのアシスト機能について開示されていない。このため、流し撮り撮影に不慣れな撮影者が、意図する流し量を得るための適切な露光時間を算出することは困難である。特許文献2の撮像装置は、同一被写体内での速度のばらつきを考慮していない。例えば、走る動物を撮影する際に、設定によっては被写体の一部が流れて撮影されることがある。この現象は、被写体内に動きの速い部分が存在し、かつその部分の動きの速度に対して長い露光時間が設定された場合に生じ、その際に撮影された画像は、流し撮り撮影の臨場感が損なわれる可能性がある。   However, Patent Document 1 does not disclose an assist function for setting an exposure time for panning. For this reason, it is difficult for a photographer unfamiliar with panning shot shooting to calculate an appropriate exposure time for obtaining an intended sink amount. The imaging device disclosed in Patent Document 2 does not consider variations in speed within the same subject. For example, when shooting a running animal, a part of the subject may flow and be shot depending on the setting. This phenomenon occurs when there is a fast-moving part in the subject and a long exposure time is set for the speed of movement of that part. The feeling may be impaired.

そこで本発明は、簡易に臨場感のある流し撮り画像を取得可能な像ブレ補正装置、撮像装置、レンズ装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体を提供する。   Therefore, the present invention provides an image blur correction device, an imaging device, a lens device, a control method for the image blur correction device, a program, and a storage medium that can easily obtain a panoramic image with a sense of reality.

本発明の一側面としての像ブレ補正装置は、画像に含まれる被写体の動きベクトルを算出する算出手段と、焦点距離を取得する取得手段と、前記被写体の動きベクトルと、検出手段により検出された振れ情報と、前記焦点距離とに基づいて露光時間を制御する制御手段とを有する。   An image blur correction apparatus according to one aspect of the present invention is detected by a calculation unit that calculates a motion vector of a subject included in an image, an acquisition unit that acquires a focal length, the motion vector of the subject, and a detection unit. Control means for controlling the exposure time based on shake information and the focal length.

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、前記像ブレ補正装置とを有する。   An image pickup apparatus according to another aspect of the present invention includes an image pickup element that photoelectrically converts an optical image formed through an image pickup optical system and outputs image data, and the image blur correction apparatus.

本発明の他の側面としてのレンズ装置は、撮像光学系と、前記像ブレ補正装置とを有する。   A lens apparatus according to another aspect of the present invention includes an imaging optical system and the image blur correction apparatus.

本発明の他の側面としての像ブレ補正装置の像ブレ補正装置の制御方法は、画像に含まれる被写体の動きベクトルを算出するステップと、振れ情報を検出するステップと、焦点距離を取得するステップと、前記被写体の動きベクトルと、前記振れ情報と、前記焦点距離とに基づいて露光時間を制御するステップとを有する。   According to another aspect of the present invention, there is provided a control method for an image blur correction device of an image blur correction device, a step of calculating a motion vector of a subject included in an image, a step of detecting shake information, and a step of acquiring a focal length. And controlling the exposure time based on the motion vector of the subject, the shake information, and the focal length.

本発明の他の目的及び特徴は、以下の実施形態において説明される。   Other objects and features of the invention are described in the following embodiments.

本発明によれば、簡易に臨場感のある流し撮り画像を取得可能な像ブレ補正装置、撮像装置、レンズ装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体を提供することができる。   According to the present invention, it is possible to provide an image blur correction device, an imaging device, a lens device, a control method for the image blur correction device, a program, and a storage medium that can easily obtain a panoramic image with a sense of reality. .

本実施形態における撮像装置の制御方法を示すフローチャートである。5 is a flowchart illustrating a method for controlling the imaging apparatus according to the present embodiment. 本実施形態における撮像装置のブロック図である。It is a block diagram of the imaging device in this embodiment. 本実施形態における手振れ補正制御部のブロック図である。It is a block diagram of a camera shake correction control unit in the present embodiment. 本実施形態における撮像装置の各軸および方向の説明図である。It is explanatory drawing of each axis | shaft and direction of the imaging device in this embodiment. 本実施形態における動きベクトルの説明図である。It is explanatory drawing of the motion vector in this embodiment. 本実施形態における像ブレ補正レンズの駆動量の算出方法を示すフローチャートである。5 is a flowchart illustrating a method for calculating the driving amount of the image blur correction lens according to the present embodiment. 本実施形態における露出制御方法を示すフローチャートである。It is a flowchart which shows the exposure control method in this embodiment.

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

まず、図2aを参照して、本実施形態における撮像装置の構成および動作について説明する。図2aは、撮像装置201のブロック図である。図2aにおいて、光学ユニット210(撮像光学系)は、ズームレンズ211、像ブレ補正レンズ212、焦点調整レンズ213、絞り214、および、シャッタ215を有する。レンズ駆動制御ユニット220は、光学ユニット210の各構成部材を駆動させるための制御手段である。レンズ駆動制御ユニット220は、ズーム制御部221、手振れ補正制御部222、フォーカス制御部223、絞り制御部224、シャッタ制御部225を有する。   First, the configuration and operation of the imaging apparatus according to the present embodiment will be described with reference to FIG. FIG. 2 a is a block diagram of the imaging apparatus 201. In FIG. 2 a, the optical unit 210 (imaging optical system) includes a zoom lens 211, an image blur correction lens 212, a focus adjustment lens 213, a diaphragm 214, and a shutter 215. The lens drive control unit 220 is control means for driving each component of the optical unit 210. The lens drive control unit 220 includes a zoom control unit 221, a camera shake correction control unit 222, a focus control unit 223, an aperture control unit 224, and a shutter control unit 225.

撮像素子231は、光学ユニット210を介して形成された光学像を光電変換してアナログ画像信号(画像データ)を出力する。撮像素子231の動作タイミングは、撮像制御部232により制御される。A/D変換器233は、撮像素子231から出力されたアナログ画像信号をデジタル画像信号に変換する。A/D変換器233から出力されたデジタル画像信号は、画像入力部234を介して、内部メモリ243に格納される。画像入力部234は、メモリ制御回路241により制御される。内部メモリ243は、システムコントローラ280により制御される。画像処理部251は、A/D変換器233からのデータ(デジタル画像データ)またはメモリ制御回路241からのデータに対して、所定の画素補間処理や色変換処理などを行う。メモリ制御回路241は、A/D変換器233、画像処理部251、圧縮伸長回路242、および、内部メモリ243を制御する。またメモリ制御部214は、記録メディア244へのデータの記録を制御する。   The image sensor 231 photoelectrically converts an optical image formed via the optical unit 210 and outputs an analog image signal (image data). The operation timing of the imaging element 231 is controlled by the imaging control unit 232. The A / D converter 233 converts the analog image signal output from the image sensor 231 into a digital image signal. The digital image signal output from the A / D converter 233 is stored in the internal memory 243 via the image input unit 234. The image input unit 234 is controlled by the memory control circuit 241. The internal memory 243 is controlled by the system controller 280. The image processing unit 251 performs predetermined pixel interpolation processing, color conversion processing, and the like on the data (digital image data) from the A / D converter 233 or the data from the memory control circuit 241. The memory control circuit 241 controls the A / D converter 233, the image processing unit 251, the compression / decompression circuit 242, and the internal memory 243. The memory control unit 214 controls data recording on the recording medium 244.

内部メモリ243に書き込まれた表示用の画像データは、画像表示制御部261を介して、TFTやLCDなどの画像表示部206により表示される。内部メモリ243は、撮影した静止画像や動画像を格納する記憶手段であり、システムコントローラ280の作業領域としても利用可能である。圧縮伸長回路242は、画像データを圧縮または伸長する回路である。圧縮伸長回路242は、内部メモリ243に格納された画像を読み込んで圧縮処理または伸長処理を行い、処理後のデータを再び内部メモリ243に書き込む。   The display image data written in the internal memory 243 is displayed on the image display unit 206 such as a TFT or LCD via the image display control unit 261. The internal memory 243 is a storage unit that stores captured still images and moving images, and can also be used as a work area of the system controller 280. The compression / decompression circuit 242 is a circuit that compresses or decompresses image data. The compression / decompression circuit 242 reads an image stored in the internal memory 243, performs compression processing or decompression processing, and writes the processed data to the internal memory 243 again.

システムコントローラ280は、CPUやMPUなどを備え、撮像装置201の全体を制御する。電源ボタン202、レリーズボタン203、ズームキー204、および、メニュー操作キー205は、システムコントローラ280の各種の動作指示を入力するための操作手段である。操作手段は、スイッチ、ダイアル、タッチパネルなどの単数または複数の組み合わせで構成される。レリーズボタン203の操作に応じて出力される信号は、静止画を記録するためのシャッタを動作させるトリガ信号や、動画記録をスタートやストップさせるためのトリガ信号として利用される。   The system controller 280 includes a CPU, an MPU, and the like, and controls the entire imaging apparatus 201. A power button 202, a release button 203, a zoom key 204, and a menu operation key 205 are operation means for inputting various operation instructions of the system controller 280. The operation means is composed of one or a plurality of combinations such as a switch, a dial, and a touch panel. A signal output in response to the operation of the release button 203 is used as a trigger signal for operating a shutter for recording a still image or a trigger signal for starting or stopping moving image recording.

本実施形態において、システムコントローラ280は、動き量検出部281(算出手段)、露出制御部282(制御手段)、および、焦点距離取得部283(取得手段)を有する。動き量検出部281は、撮像された前後のフレーム間(互いに異なるタイミングで取得された画像フレーム間)における動き量を検出する。本実施形態において、動き量検出部281は、画像(撮像素子231から出力された画像データに対応する画像)に含まれる被写体の動きベクトルを算出する。焦点距離取得部283は、撮影の際における焦点距離を取得する。露出制御部282は、測光された輝度レベルに基づいて適正露出値を算出し、算出した適正露出値に基づいて露出制御を行う。本実施形態において、露出制御部282は、被写体の動きベクトルと、振れ情報と、焦点距離とに基づいて露光時間を制御する。   In the present embodiment, the system controller 280 includes a motion amount detection unit 281 (calculation unit), an exposure control unit 282 (control unit), and a focal length acquisition unit 283 (acquisition unit). The motion amount detection unit 281 detects a motion amount between the frames before and after the captured image (between image frames acquired at different timings). In the present embodiment, the motion amount detection unit 281 calculates a motion vector of a subject included in an image (an image corresponding to image data output from the image sensor 231). The focal length acquisition unit 283 acquires a focal length at the time of shooting. The exposure control unit 282 calculates an appropriate exposure value based on the measured luminance level, and performs exposure control based on the calculated appropriate exposure value. In the present embodiment, the exposure control unit 282 controls the exposure time based on the motion vector of the subject, shake information, and the focal length.

システムコントローラ280は、ズームキー204の操作に応じて出力される信号に基づいて、ズームレンズ211を光軸方向に駆動して焦点距離を制御する。本実施形態において、ズーム制御部221は、システムコントローラ280の指示に従い、撮影者により操作されたズームキー204の方向および操作量に基づいてズーム駆動速度および駆動方向を算出する。ズームレンズ211は、この算出結果に従って光軸に沿って移動する。電源制御部271は、電源ボタン202からの信号をトリガとして、撮像装置201の各部に対して電源を供給するように電源272を制御する。   The system controller 280 controls the focal length by driving the zoom lens 211 in the optical axis direction based on a signal output in response to an operation of the zoom key 204. In the present embodiment, the zoom control unit 221 calculates the zoom drive speed and the drive direction based on the direction and operation amount of the zoom key 204 operated by the photographer in accordance with an instruction from the system controller 280. The zoom lens 211 moves along the optical axis according to the calculation result. The power control unit 271 controls the power source 272 so that power is supplied to each unit of the imaging apparatus 201 using a signal from the power button 202 as a trigger.

本実施形態において、例えば、手振れ補正制御部222(振れ検出部2221)、および、システムコントローラ280(動き量検出部281、露出制御部282、焦点距離取得部283)により像ブレ補正装置が構成される。   In the present embodiment, for example, the image blur correction apparatus is configured by the camera shake correction control unit 222 (shake detection unit 2221) and the system controller 280 (motion amount detection unit 281, exposure control unit 282, focal length acquisition unit 283). The

次に、図2bを参照して、手振れ補正制御部222の構成および動作について説明する。図2bは、手振れ補正制御部222のブロック図である。手振れ補正制御部222は、光学ユニット210に含まれる像ブレ補正レンズ212を光軸と直交する方向に駆動することにより像ブレ補正を行う補正手段である。手振れ補正制御部222は、振れ検出部2221(検出手段)は、角速度(角速度に関する情報)を検出する角速度センサ(角速度検出手段)などの振れ検出センサを有し、撮像装置201に加わる手振れ信号(振れ情報)を検出(取得)する。振れ検出部2221aは、撮像装置201のピッチ方向の振動を検出する。振れ検出部2221bはヨー方向の振動を検出する。   Next, the configuration and operation of the camera shake correction control unit 222 will be described with reference to FIG. FIG. 2 b is a block diagram of the camera shake correction control unit 222. The camera shake correction control unit 222 is a correction unit that performs image blur correction by driving an image blur correction lens 212 included in the optical unit 210 in a direction orthogonal to the optical axis. The shake correction control unit 222 includes a shake detection sensor such as an angular velocity sensor (angular velocity detection unit) that detects an angular velocity (information on angular velocity), and a shake detection unit 2221 (detection unit). Shake information) is detected (acquired). The shake detection unit 2221 a detects vibration in the pitch direction of the imaging device 201. The shake detector 2221b detects vibration in the yaw direction.

図3は、撮像装置201の各軸および方向の説明図である。撮像装置201において、光軸302はZ軸と平行であり、ピッチ方向303pはX軸周りの回転方向、ヨー方向303yはY軸周りの回転方向にそれぞれ対応する。また、ロール方向は、光軸302(Z軸)周りの回転方向に対応する。   FIG. 3 is an explanatory diagram of each axis and direction of the imaging apparatus 201. In the imaging apparatus 201, the optical axis 302 is parallel to the Z axis, the pitch direction 303p corresponds to the rotation direction around the X axis, and the yaw direction 303y corresponds to the rotation direction around the Y axis. The roll direction corresponds to the rotation direction around the optical axis 302 (Z axis).

振れ検出部2221a、2221bにより取得された信号はそれぞれ、A/D変換器2222a、2222bを介して、デジタル信号に変換される。フィルタ2223a、2223bは、A/D変換器2222a、222bのそれぞれにより変換された角速度信号から、所定の低域カットオフ周波数以下の低周波成分を除去して出力する。またA/D変換器2222a、2222bから出力された角速度信号を積分することにより、撮像装置201に加わる振れ角度を算出する。   The signals acquired by the shake detection units 2221a and 2221b are converted into digital signals via the A / D converters 2222a and 2222b, respectively. The filters 2223a and 2223b remove and output a low frequency component equal to or lower than a predetermined low frequency cutoff frequency from the angular velocity signals converted by the A / D converters 2222a and 222b, respectively. Further, by integrating the angular velocity signals output from the A / D converters 2222a and 2222b, the shake angle applied to the imaging apparatus 201 is calculated.

目標位置算出部2224は、フィルタ2223a、2223bにより算出された振れ角度を、ズーム位置、フォーカス位置、および、これらより求められる焦点距離や撮影倍率に基づいて増幅し、角度目標値を算出する。これは、焦点距離や撮影倍率などの光学的な変化により、像ブレ補正のストロークに対する撮像面上のブレ補正敏感度が変化するためである。目標位置算出部2224は、角度目標値に基づいて、像ブレ補正レンズ212の駆動量を算出する。なお、ズーム位置、フォーカス位置、および、これらから求められる焦点距離や撮影倍率は、システムコントローラ280を介して取得可能である。   The target position calculation unit 2224 amplifies the shake angle calculated by the filters 2223a and 2223b based on the zoom position, the focus position, and the focal length and photographing magnification obtained from these, and calculates an angle target value. This is because the blur correction sensitivity on the imaging surface with respect to the image blur correction stroke changes due to optical changes such as the focal length and the shooting magnification. The target position calculation unit 2224 calculates the drive amount of the image blur correction lens 212 based on the angle target value. Note that the zoom position, the focus position, and the focal length and photographing magnification obtained from these can be acquired via the system controller 280.

目標位置算出部2224により算出された目標位置と、ブレ補正レンズ位置検出部2227a、2227bにより取得された現在の像ブレ補正レンズ212の位置との差分を示す信号が、位置制御部2225に入力される。ドライバ2226は、位置制御部2225からドライバ2226に出力された信号に従い、像ブレ補正レンズ212の駆動量に応じた駆動電流を供給して像ブレ補正レンズ212を駆動する。   A signal indicating the difference between the target position calculated by the target position calculation unit 2224 and the current position of the image blur correction lens 212 acquired by the blur correction lens position detection units 2227a and 2227b is input to the position control unit 2225. The The driver 2226 drives the image blur correction lens 212 by supplying a drive current corresponding to the driving amount of the image blur correction lens 212 in accordance with a signal output from the position control unit 2225 to the driver 2226.

次に、図1を参照して、本実施形態の撮像装置201が流し撮りアシストモードに設定されている場合の処理(撮像装置の制御方法)について説明する。図1は、撮像装置201(像ブレ補正装置)の制御方法を示すフローチャートである。図1の各ステップは、主に、撮像装置201のシステムコントローラ280の指令に基づいて実行される。   Next, with reference to FIG. 1, processing (imaging device control method) when the imaging device 201 of the present embodiment is set to the panning assist mode will be described. FIG. 1 is a flowchart illustrating a method for controlling the imaging apparatus 201 (image blur correction apparatus). Each step in FIG. 1 is mainly executed based on a command from the system controller 280 of the imaging apparatus 201.

まず、ステップS101において、システムコントローラ280は、撮像装置201が流し撮りアシストモードに設定されているか否かを判定する。流し撮りアシストモードに設定されている場合、ステップS102に進む。一方、流し撮りアシストモードに設定されていない場合、システムコントローラ280は、通常の防振処理を行い、流し撮りアシストモードが設定されるまでステップS101の判定を繰り返す。   First, in step S101, the system controller 280 determines whether or not the imaging apparatus 201 is set to the panning assist mode. If the panning assist mode is set, the process proceeds to step S102. On the other hand, if the panning assist mode is not set, the system controller 280 performs normal image stabilization processing and repeats the determination in step S101 until the panning assist mode is set.

ステップS102において、システムコントローラ280は、流し撮り撮影を行う際の背景流し量を設定する。このとき、撮影者は、撮像装置201の操作手段を介して、任意の背景流し量を設定(選択)する。背景流し量は、例えば、大・中・小などのレベルとして表記することができる。また、背景流し量を直感的に把握できるように、背景流し量のレベルとイメージ図とを一緒に表示することや、それぞれの背景流し量のレベルに対して、全画角に占める割合を表示してもよい。   In step S <b> 102, the system controller 280 sets a background sink amount when performing panning shooting. At this time, the photographer sets (selects) an arbitrary amount of background flow via the operation unit of the imaging apparatus 201. The background sink amount can be expressed as, for example, a level such as large, medium, or small. In addition, the background sink level and the image diagram are displayed together so that the background sink amount can be grasped intuitively, and the ratio of each background sink amount to the total angle of view is displayed. May be.

続いてステップS103において、システムコントローラ280は、サーボAFを開始する。サーボAFを行うことにより、常に被写体にピントを合わせることができる。なお本実施形態において、フォーカス制御方法としてサーボAFを行うが、これに限定されるものではなく、他のフォーカス制御方法を用いてもよい。   In step S103, the system controller 280 starts servo AF. By performing servo AF, it is possible to always focus on the subject. In this embodiment, servo AF is performed as the focus control method, but the present invention is not limited to this, and other focus control methods may be used.

続いてステップS104において、システムコントローラ280は、動きベクトルの検出を開始する。ここでシステムコントローラ280(動き量検出部281)は、所定のフレームレートで取得されるライブビュー画像から動きベクトルを検出(算出)する。動き量検出部281は、例えば、画像を複数の領域に分割した探索用のブロックを設定し、探索用ブロック単位で画像間における動きベクトルを検出する。   Subsequently, in step S104, the system controller 280 starts detecting a motion vector. Here, the system controller 280 (motion amount detection unit 281) detects (calculates) a motion vector from a live view image acquired at a predetermined frame rate. For example, the motion amount detection unit 281 sets a search block obtained by dividing an image into a plurality of regions, and detects a motion vector between images in units of search blocks.

時系列的に取得された2枚の画像が存在する場合、動き量検出部281は、先に取得された画像(画像データ)の全ての領域を複数のブロック(例えば、図4(a)中の複数の画像ブロック401a)に分割する。次に、動き量検出部281は、時系列的に後に取得された画像(画像データ)にも同様の処理を行う。そして動き量検出部281は、時系列的に先に取得された画像ブロックと、時系列的に後に取得された方の画像ブロックとを比較して、類似度を算出する。動き量検出部281は、このような処理を他方の画像データにおける比較領域をずらしながら全体の領域に対して行い、最も類似度が高い領域を移動先の領域として決定する。動き量検出部281は、この処理を画像データの全てのブロックに対して行い、全てのブロックについて動きベクトルを算出する。このような処理方法をブロックマッチング法と呼ぶが、別の方法で動きベクトルを算出してもよい。   When there are two images acquired in time series, the motion amount detection unit 281 selects all regions of the previously acquired image (image data) as a plurality of blocks (for example, in FIG. 4A). Are divided into a plurality of image blocks 401a). Next, the motion amount detection unit 281 performs the same process on images (image data) acquired later in time series. Then, the motion amount detection unit 281 compares the image block acquired earlier in time series with the image block acquired later in time series to calculate the similarity. The motion amount detection unit 281 performs such processing on the entire region while shifting the comparison region in the other image data, and determines the region with the highest similarity as the destination region. The motion amount detection unit 281 performs this process on all the blocks of the image data, and calculates motion vectors for all the blocks. Such a processing method is called a block matching method, but the motion vector may be calculated by another method.

動き量検出部281は、このように算出された値を、信頼性が所定の値よりも低くならない限り、露光直前まで常に更新する。これにより、露光直前まで演算結果が反映されるため、露光中に高精度な流し撮り制御を行うことができる。   The motion amount detection unit 281 constantly updates the value calculated in this way until just before the exposure unless the reliability is lower than a predetermined value. Thereby, since the calculation result is reflected until immediately before the exposure, it is possible to perform the panning control with high accuracy during the exposure.

続いて、ステップS105において、手振れ補正制御部222の振れ検出部2221は、各軸に関して、撮像装置201に加わる角速度を検出する。続いてステップS106において、システムコントローラ280は、レリーズボタン203が半押し状態(以下、「S1_ON」と表記する)であるか否かを判定する。S1_ONである場合、ステップS107に進む。一方、S1_OFFである場合、システムコントローラ280は、S1_ONとなるまでステップS107の判定を繰り返す。   Subsequently, in step S105, the shake detection unit 2221 of the camera shake correction control unit 222 detects an angular velocity applied to the imaging device 201 with respect to each axis. Subsequently, in step S106, the system controller 280 determines whether or not the release button 203 is half-pressed (hereinafter referred to as “S1_ON”). If S1_ON, the process proceeds to step S107. On the other hand, when it is S1_OFF, the system controller 280 repeats the determination of step S107 until it becomes S1_ON.

続いてステップS107において、システムコントローラ280は、レリーズボタン203が全押し状態(以下、「S2_ON」と表記する)であるか否かを判定する。S2_ONである場合、ステップS108に進む。一方、S2_OFFである場合、S2_ONとなるまでステップS107の判定を繰り返す。   Subsequently, in step S107, the system controller 280 determines whether or not the release button 203 is fully pressed (hereinafter referred to as “S2_ON”). If it is S2_ON, the process proceeds to step S108. On the other hand, when it is S2_OFF, the determination of step S107 is repeated until it becomes S2_ON.

続いてステップS108において、システムコントローラ280(焦点距離取得部283)は、撮影の際の焦点距離(撮影焦点距離)を取得する。続いてステップS109において、システムコントローラ280(動き量検出部281)は、像ブレ補正レンズ212の駆動量を算出する。ここで、図5を参照して、像ブレ補正レンズ212の駆動量の算出方法について説明する。図5は、像ブレ補正レンズ212の駆動量の算出方法を示すフローチャートである。図5の各ステップは、主に、動き量検出部281および手振れ補正制御部222により実行される。   Subsequently, in step S108, the system controller 280 (focal length acquisition unit 283) acquires a focal length (shooting focal length) at the time of shooting. Subsequently, in step S109, the system controller 280 (motion amount detection unit 281) calculates the drive amount of the image blur correction lens 212. Here, a method of calculating the drive amount of the image blur correction lens 212 will be described with reference to FIG. FIG. 5 is a flowchart showing a method for calculating the drive amount of the image blur correction lens 212. Each step in FIG. 5 is mainly executed by the motion amount detection unit 281 and the camera shake correction control unit 222.

まずステップS501において、動き量検出部281は、ステップS104にて検出(算出)された動きベクトルに基づいて、ヒストグラム処理を行う。ここで、算出された動きベクトルが図4に示される場合を考える。図4(a)は動きベクトルの方向、図4(b)は動きベクトルの数値、および、図4(c)は動きベクトルをヒストグラム処理した結果をそれぞれ示している。図4(a)、(b)に示されるように、本実施形態において、画像中の全ての領域は、動き量検出部281により複数の画像ブロック401aに分割される。なお本実施形態では、説明を簡単にするため、画像の横方向の動きに限定して動きベクトルを算出しているが、これに限定されるものではない。   First, in step S501, the motion amount detection unit 281 performs histogram processing based on the motion vector detected (calculated) in step S104. Here, consider a case where the calculated motion vector is shown in FIG. 4A shows the direction of the motion vector, FIG. 4B shows the numerical value of the motion vector, and FIG. 4C shows the result of histogram processing of the motion vector. As shown in FIGS. 4A and 4B, in the present embodiment, all regions in the image are divided into a plurality of image blocks 401 a by the motion amount detection unit 281. In the present embodiment, for simplicity of explanation, the motion vector is calculated only for the horizontal movement of the image, but the present invention is not limited to this.

続いてステップS502において、動き量検出部281は、撮像装置201に加わる角速度に基づいて、背景移動量を推測する。背景移動量A[ピクセル]は、以下の式(1)のように求めることができる。   Subsequently, in step S502, the motion amount detection unit 281 estimates the background movement amount based on the angular velocity applied to the imaging device 201. The background movement amount A [pixel] can be obtained by the following equation (1).

A=f・tan(−ω/FR)/PP … (1)
式(1)において、fは焦点距離[mm]、FRはフレームレート[fps]、PPはセルピッチ[mm]をそれぞれ示している。なお、角速度ω[rad/sec]は、振れ検出部2221(振れ検出センサ)により取得可能である。
A = f · tan (−ω / FR) / PP (1)
In Expression (1), f represents a focal length [mm], FR represents a frame rate [fps], and PP represents a cell pitch [mm]. The angular velocity ω [rad / sec] can be acquired by the shake detection unit 2221 (a shake detection sensor).

続いてステップS503において、動き量検出部281は、画像中の動きベクトルを、背景ベクトル(背景の動きベクトル)と被写体ベクトル(被写体の動きベクトル)とに切り分ける(分離する)処理を行う。ステップS502にて背景移動量Aは「5」と求められたとすると、図4(c)に示されるように、大きさ「5」以外の数値が被写体ベクトルであると推定することができる。このようにして、動き量検出部281は、動きベクトルから被写体ベクトルを抽出する。なお本実施形態において、撮像装置201に加わる角速度から背景ベクトルと被写体ベクトルとを分離しているが、これに限定されるものではなく、他の方法を用いて画像中の動きベクトルを背景ベクトルと被写体ベクトルとに分離してもよい。一般的に、撮影者は、被写体を画角内の一点に留めるためにパンニングしながら撮影を行う。このため、背景のほうが動きベクトルが大きく出力され、被写体はブレ残り量分の動きベクトルとして出力される。この傾向を利用して、画像中の動きベクトルを背景ベクトルと被写体ベクトルとに分離してもよい。このようにして、背景として分離可能な領域(背景領域)は、図4(b)に示される斜線部であり、残りの部分は被写体(被写体領域)である判定することができる。   In step S503, the motion amount detection unit 281 performs a process of dividing (separating) the motion vector in the image into a background vector (background motion vector) and a subject vector (subject motion vector). If the background movement amount A is determined to be “5” in step S502, it can be estimated that a numerical value other than the size “5” is the subject vector, as shown in FIG. In this way, the motion amount detection unit 281 extracts the subject vector from the motion vector. In this embodiment, the background vector and the subject vector are separated from the angular velocity applied to the imaging apparatus 201. However, the present invention is not limited to this, and the motion vector in the image is used as the background vector by using another method. It may be separated into subject vectors. In general, a photographer takes a picture while panning in order to keep the subject at one point within the angle of view. Therefore, a larger motion vector is output for the background, and the subject is output as a motion vector for the remaining blur amount. Using this tendency, a motion vector in an image may be separated into a background vector and a subject vector. In this way, it is possible to determine that the region (background region) that can be separated as the background is the shaded portion shown in FIG. 4B and the remaining portion is the subject (subject region).

続いてステップS504において、システムコントローラ280は、像ブレ補正レンズ212の駆動量を算出する。像ブレ補正レンズ212の駆動量は、被写体ベクトルから算出することができる。これは、前述のとおり、被写体ベクトルはブレ残り量分の動きベクトルであり、撮影者がパンニング操作を行った場合における角速度の差分に相当するためである。手振れ補正制御部222は、システムコントローラ280の指令に基づいて、このブレ残り量を像ブレ補正レンズ212で補正し、被写体の動きを止めるように制御する。ブレ残り量は、例えば、被写体ベクトルの中で最も数値の大きい支配的なベクトルを用いて補正することができる。また、被写体ベクトルの平均値Vaを用いてブレ残り量を補正してもよい。以上で、図5のフローチャート(ステップS109)が終了する。   In step S504, the system controller 280 calculates the driving amount of the image blur correction lens 212. The driving amount of the image blur correction lens 212 can be calculated from the subject vector. This is because, as described above, the subject vector is a motion vector corresponding to the remaining blur amount, and corresponds to the difference in angular velocity when the photographer performs the panning operation. Based on a command from the system controller 280, the camera shake correction control unit 222 corrects the remaining blur amount with the image blur correction lens 212 and controls to stop the movement of the subject. The remaining blur amount can be corrected using, for example, a dominant vector having the largest numerical value among the subject vectors. Further, the blur remaining amount may be corrected using the average value Va of the subject vector. Thus, the flowchart of FIG. 5 (Step S109) is completed.

続いてステップS110において、システムコントローラ280(露出制御部282)は、露光条件を設定する。ここで、図6を参照して、露出制御方法について説明する。図6は、露出制御方法を示すフローチャートである。図6の各ステップは、主に、露出制御部282により実行される。   Subsequently, in step S110, the system controller 280 (exposure control unit 282) sets exposure conditions. Here, the exposure control method will be described with reference to FIG. FIG. 6 is a flowchart showing an exposure control method. Each step of FIG. 6 is mainly executed by the exposure control unit 282.

まずステップS601において、露出制御部282は、ステップS102にて設定された背景流し量と、振れ検出部2221の出力とに基づいて、第1の露光時間Tv’[sec]を算出する。ここで、背景流し量を画角に対してX[%](ステップS102にて撮影者が設定)、撮像装置201に加わる角速度をω[deg/sec]、焦点距離をf[mm]とする。また、撮像素子231(センサ)のセルピッチをPP[mm/ピクセル]、画素サイズを縦方向においてGv[ピクセル]、横方向においてGh[ピクセル]とする。また、撮影者は横方向にパンニングしていると仮定する。   First, in step S601, the exposure control unit 282 calculates the first exposure time Tv ′ [sec] based on the background flow amount set in step S102 and the output of the shake detection unit 2221. Here, the background flow amount is X [%] with respect to the angle of view (set by the photographer in step S102), the angular velocity applied to the imaging apparatus 201 is ω [deg / sec], and the focal length is f [mm]. . The cell pitch of the image sensor 231 (sensor) is PP [mm / pixel], the pixel size is Gv [pixel] in the vertical direction, and Gh [pixel] in the horizontal direction. Further, it is assumed that the photographer is panning in the horizontal direction.

これらの値を用いて背景流し量をピクセル数に換算すると、背景流し量B[ピクセル]は、以下の式(2)のように表すことができる。   When the background flow amount is converted into the number of pixels using these values, the background flow amount B [pixel] can be expressed as the following equation (2).

B=Gh×X×PP … (2)
第1の露光時間Tv’[sec]は、背景流し量B[ピクセル]を用いて、以下の式(3)のように表される。
B = Gh × X × PP (2)
The first exposure time Tv ′ [sec] is expressed by the following equation (3) using the background flow amount B [pixel].

Tv’=C・B/(f・ω) … (3)
式(3)において、Cは任意の定数である。
Tv ′ = C · B / (f · ω) (3)
In the formula (3), C is an arbitrary constant.

続いてステップS602において、露出制御部282は、被写体ベクトルの演算結果(被写体の動きベクトル)に基づいて露光時間の上限値(最大露光時間)を設定する。ここで、露光時間の上限値を、第2の露光時間Tvm[sec]とする。第2の露光時間Tvmは、例えば以下のように求めることができる。まず、露出制御部282は、図4(c)の結果から、被写体ベクトルの平均値Vaを求める。次に、露出制御部282は、被写体ベクトルの最大値Vmを求める。被写体流れ許容値(所定の許容値)をI[ピクセル]とすると、第2の露光時間Tvmは以下の条件式(4)を満たす必要がある。   In step S602, the exposure control unit 282 sets an upper limit value (maximum exposure time) of the exposure time based on the calculation result of the subject vector (subject motion vector). Here, the upper limit value of the exposure time is defined as a second exposure time Tvm [sec]. The second exposure time Tvm can be obtained, for example, as follows. First, the exposure control unit 282 obtains the average value Va of the subject vector from the result of FIG. Next, the exposure control unit 282 calculates the maximum value Vm of the subject vector. When the subject flow tolerance (predetermined tolerance) is I [pixel], the second exposure time Tvm needs to satisfy the following conditional expression (4).

(Vm−Va)×Tvm<I … (4)
従って、第2の露光時間Tvmは、以下の式(5)のように表される。
(Vm−Va) × Tvm <I (4)
Therefore, the second exposure time Tvm is expressed as the following formula (5).

Tvm=I/(Vm−Va) … (5)
なお、被写体流れ許容値Iは任意の数値であり、撮影する被写体や撮影シーンに応じて決定(変更)してもよい。
Tvm = I / (Vm−Va) (5)
The subject flow allowable value I is an arbitrary numerical value, and may be determined (changed) according to the subject to be photographed and the photographing scene.

続いてステップS603において、露出制御部282は、ステップS601にて算出した第1の露光時間Tv’と、ステップS602にて算出した第2の露光時間Tvmとを比較する。第1の露光時間Tv’と第2の露光時間Tvmとを比較した結果、第1の露光時間Tv’が第2の露光時間Tvmよりも小さい場合(Tv’<Tvm)、ステップS604に進み、露出制御部282は、撮影に用いる露光時間を第1の露光時間Tv’に設定する。一方、第1の露光時間Tv’が第2の露光時間Tvm以上である場合(Tv’≧Tvm)、ステップS605に進み、露出制御部282は、撮影に用いる露光時間を第2の露光時間Tvmに設定する。   Subsequently, in step S603, the exposure control unit 282 compares the first exposure time Tv 'calculated in step S601 with the second exposure time Tvm calculated in step S602. When the first exposure time Tv ′ is smaller than the second exposure time Tvm as a result of comparing the first exposure time Tv ′ and the second exposure time Tvm (Tv ′ <Tvm), the process proceeds to step S604. The exposure control unit 282 sets the exposure time used for shooting to the first exposure time Tv ′. On the other hand, when the first exposure time Tv ′ is equal to or longer than the second exposure time Tvm (Tv ′ ≧ Tvm), the process proceeds to step S605, and the exposure control unit 282 sets the exposure time used for photographing to the second exposure time Tvm. Set to.

このように本実施形態において、好ましくは、露出制御部282は、被写体の動きベクトルに応じた最大露光時間(第2の露光時間Tvm)を超えないように露光時間を制御する。より好ましくは、動き量検出部281は、被写体の動きベクトルとして、被写体の複数の位置における動きベクトルの最大値Vmおよび平均値Vaを算出する。そして露出制御部282は、動きベクトルの最大値Vmと平均値Vaとの差(Vm−Va)に基づいて、最大露光時間を決定する。より好ましくは、露出制御部282は、動きベクトルの最大値Vmと平均値Vaとの差(Vm−Va)と、被写体または撮影シーンに応じて決定される被写体流れ許容値Iとに基づいて(例えば式(5)に従って)、最大露光時間を決定する。好ましくは、露出制御部282は、振れ情報と、ユーザにより設定された背景流し量とに基づいて第1の露光時間Tv’を算出し(S601)、第1の露光時間と最大露光時間とを比較する(S603)。第1の露光時間が最大露光時間よりも短い場合、露光時間として第1の露光時間を設定し(S604)、第1の露光時間が最大露光時間よりも長い場合、露光時間として最大露光時間を設定する(S605)。このように、被写体の速度を考慮して露光時間を制限することにより、被写体の流れ過ぎを防止し、被写体に応じて適切な露光時間を設定することができる。   Thus, in the present embodiment, preferably, the exposure control unit 282 controls the exposure time so as not to exceed the maximum exposure time (second exposure time Tvm) corresponding to the motion vector of the subject. More preferably, the motion amount detection unit 281 calculates a maximum value Vm and an average value Va of motion vectors at a plurality of positions of the subject as motion vectors of the subject. Then, the exposure control unit 282 determines the maximum exposure time based on the difference (Vm−Va) between the maximum value Vm and the average value Va of the motion vector. More preferably, the exposure control unit 282 is based on the difference (Vm−Va) between the maximum value Vm and the average value Va of the motion vector and the subject flow allowable value I determined according to the subject or the shooting scene ( For example, according to equation (5), the maximum exposure time is determined. Preferably, the exposure control unit 282 calculates a first exposure time Tv ′ based on the shake information and the background flow amount set by the user (S601), and calculates the first exposure time and the maximum exposure time. Compare (S603). When the first exposure time is shorter than the maximum exposure time, the first exposure time is set as the exposure time (S604), and when the first exposure time is longer than the maximum exposure time, the maximum exposure time is set as the exposure time. Setting is made (S605). Thus, by limiting the exposure time in consideration of the speed of the subject, it is possible to prevent the subject from flowing too much and set an appropriate exposure time according to the subject.

続いてステップS606において、露出制御部282は、適正露光の演算を行う。ここで演算された測光値をBv(Bv値)とする。続いてステップS607において、ステップS606にて求めたBv値と、ステップS604またはステップS605にて設定された露光時間(Tv値)と、流し撮りモード用の線図とに基づいて、露出制御部282は、Av値とISO感度とを算出して設定する。   In step S606, the exposure control unit 282 performs an appropriate exposure calculation. The photometric value calculated here is Bv (Bv value). Subsequently, in step S607, based on the Bv value obtained in step S606, the exposure time (Tv value) set in step S604 or step S605, and the diagram for the panning mode, the exposure control unit 282 is provided. Calculates and sets the Av value and ISO sensitivity.

ここで、露出演算には、以下の式(6)〜(9)が用いられる。   Here, the following expressions (6) to (9) are used for the exposure calculation.

Bv=Tv+Av−Sv … (6)
Tv=−log2 … (7)
Av=2log2 … (8)
Sv=log2(0.3×ISO感度) … (9)
露出制御部282は、これらにより求められた露出値を設定し、図6のフロー(ステップS110)を終了する。
Bv = Tv + Av−Sv (6)
Tv = −log2 (7)
Av = 2log2 (8)
Sv = log2 (0.3 × ISO sensitivity) (9)
The exposure control unit 282 sets the exposure value obtained from these, and ends the flow of FIG. 6 (step S110).

続いてステップS111において、システムコントローラ280は露光を開始する。そしてステップS112において、システムコントローラ280の指令に基づいて、手振れ補正制御部222は、露光しながら像ブレ補正レンズ212を駆動する。像ブレ補正レンズ212は、ステップS109にて算出された駆動量に従って駆動される。本実施形態において、撮像素子231は、ステップS110にて設定された露光時間で、手振れ補正制御部222により像ブレ補正レンズ212を光軸と直交する方向に駆動しながら、光学像を光電変換して画像データを出力する。   In step S111, the system controller 280 starts exposure. In step S112, based on a command from the system controller 280, the camera shake correction control unit 222 drives the image blur correction lens 212 while performing exposure. The image blur correction lens 212 is driven according to the driving amount calculated in step S109. In the present embodiment, the image sensor 231 photoelectrically converts an optical image while driving the image blur correction lens 212 in a direction orthogonal to the optical axis by the camera shake correction control unit 222 with the exposure time set in step S110. Output the image data.

続いてステップS113において、システムコントローラ280は、設定された露光時間が終了したか否かを判定する。露光がまだ終了していない場合、ステップS112の処理に戻る。露光が終了した場合、ステップS114に進む。ステップS114において、システムコントローラ280(手振れ補正制御部222)は、像ブレ補正レンズ212の位置を初期位置に戻す。   Subsequently, in step S113, the system controller 280 determines whether or not the set exposure time has ended. If the exposure has not been completed yet, the process returns to step S112. When the exposure is completed, the process proceeds to step S114. In step S114, the system controller 280 (camera shake correction control unit 222) returns the position of the image blur correction lens 212 to the initial position.

本実施形態によれば、背景流利量より求められる露光時間と、被写体ベクトルの最大値から求められる露光時間とを比較して露光時間を制限する。これにより、被写体が流れて、流し撮り撮影の臨場感が損なわれることを防止することができる。なお、露光時間の算出方法はこれに限定されるものではない。例えば、背景ベクトルと被写ベクトルとの差分から露光時間を算出する方法、または、合焦点の動きベクトルと被写体ベクトルとの差分から露光時間を算出する方法を用いてもよい。   According to the present embodiment, the exposure time is limited by comparing the exposure time obtained from the background flow rate with the exposure time obtained from the maximum value of the subject vector. As a result, it is possible to prevent the subject from flowing and impairing the sense of reality of panning shot shooting. In addition, the calculation method of exposure time is not limited to this. For example, a method for calculating the exposure time from the difference between the background vector and the subject vector, or a method for calculating the exposure time from the difference between the in-focus motion vector and the subject vector may be used.

また、露光時間の制限方法もこれに限定されるものではない。例えば、第1の露光時間を定数倍した露光時間を設定し、被写体ベクトルの大きさに関わらず、流し撮りの効果を確実に残すように構成してもよい。これにより、流し撮りに慣れない撮影者でも、被写体に依存することなく、背景を流しつつ被写体の動きを止めることのできる露光時間を自動で設定可能である。従って、不慣れな撮影者でも簡単に臨場感のある流し撮り画像を得ることができる。   Further, the method for limiting the exposure time is not limited to this. For example, an exposure time obtained by multiplying the first exposure time by a constant may be set so that the effect of panning is surely left regardless of the size of the subject vector. Thus, even a photographer who is not accustomed to panning can automatically set an exposure time that can stop the movement of the subject while flowing the background without depending on the subject. Therefore, even an inexperienced photographer can easily obtain a panoramic image with a sense of reality.

以上、本発明をその好適な実施形態に基づいて詳述したが、本発明は特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。例えば、動き量検出部281は、被写体の動きベクトルとして被写体の複数の位置における動きベクトルの最小値を算出し、露出制御部282は、動きベクトルの最小値に基づいて露光時間を制御してもよい。また、動き量検出部281は、画像に含まれる被写体の動きベクトルと背景の動きベクトルとを算出し、露出制御部282は、被写体の動きベクトルと背景の動きベクトルとに基づいて露光時間を制御してもよい。また、手振れ補正制御部222は、像ブレ補正レンズ212に代えて、撮像素子231を光軸と直交する方向に駆動することにより像ブレ補正を行うこともできる。この場合、撮像素子231は、設定された露光時間において、手振れ補正制御部222により駆動されながら、光学像を光電変換して画像データを出力する。   As mentioned above, although this invention was explained in full detail based on the suitable embodiment, this invention is not limited to specific embodiment, Various forms of the range which does not deviate from the summary of this invention are also included in this invention. . A part of the above-described embodiments may be appropriately combined. For example, the motion amount detection unit 281 calculates the minimum value of the motion vector at a plurality of positions of the subject as the motion vector of the subject, and the exposure control unit 282 controls the exposure time based on the minimum value of the motion vector. Good. The motion amount detection unit 281 calculates the subject motion vector and the background motion vector included in the image, and the exposure control unit 282 controls the exposure time based on the subject motion vector and the background motion vector. May be. The camera shake correction control unit 222 can also perform image blur correction by driving the image sensor 231 in a direction orthogonal to the optical axis instead of the image blur correction lens 212. In this case, the image sensor 231 photoelectrically converts the optical image and outputs image data while being driven by the camera shake correction control unit 222 during the set exposure time.

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線/無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、OSに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光/光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。   Also, when a software program that realizes the functions of the above-described embodiments is supplied from a recording medium directly to a system or apparatus having a computer that can execute the program using wired / wireless communication, and the program is executed Are also included in the present invention. Accordingly, the program code itself supplied and installed in the computer in order to implement the functional processing of the present invention by the computer also realizes the present invention. That is, the present invention includes a computer program for realizing the functional processing of the present invention. In this case, the program may be in any form as long as it has a program function, such as an object code, a program executed by an interpreter, or script data supplied to the OS. As a recording medium for supplying the program, for example, a magnetic recording medium such as a hard disk or a magnetic tape, an optical / magneto-optical storage medium, or a nonvolatile semiconductor memory may be used. As a program supply method, a computer program that forms the present invention is stored in a server on a computer network, and a connected client computer downloads and programs the computer program.

本実施形態の撮像装置は、流し撮りに不慣れな撮影者でも、被写体に依存することなく、背景を流しつつ被写体の動きを止めることのできる露光時間を自動に設定可能である。このため本実施形態によれば、簡易に臨場感のある流し撮り画像を取得可能な像ブレ補正装置、撮像装置、レンズ装置、像ブレ補正装置の制御方法、プログラム、および、記憶媒体を提供することができる。   The imaging apparatus of the present embodiment can automatically set an exposure time that can stop the movement of the subject while flowing the background without depending on the subject, even for a photographer unfamiliar with panning. For this reason, according to the present embodiment, an image blur correction device, an imaging device, a lens device, a control method for the image blur correction device, a program, and a storage medium that can easily acquire a realistic shot image are provided. be able to.

281 動き量検出部(算出手段)
282 露出制御部(制御手段)
283 焦点距離取得部(取得手段)
281 Motion amount detection unit (calculation means)
282 Exposure control unit (control means)
283 Focal length acquisition unit (acquisition means)

Claims (16)

画像に含まれる被写体の動きベクトルを算出する算出手段と、
焦点距離を取得する取得手段と、
前記被写体の動きベクトルと、検出手段により検出された振れ情報と、前記焦点距離とに基づいて露光時間を制御する制御手段と、を有することを特徴とする像ブレ補正装置。
Calculating means for calculating a motion vector of a subject included in the image;
An acquisition means for acquiring a focal length;
An image blur correction apparatus comprising: a control unit that controls an exposure time based on the motion vector of the subject, shake information detected by a detection unit, and the focal length.
前記制御手段は、前記被写体の動きベクトルに応じた最大露光時間を超えないように前記露光時間を制御することを特徴とする請求項1に記載の像ブレ補正装置。   The image blur correction apparatus according to claim 1, wherein the control unit controls the exposure time so as not to exceed a maximum exposure time corresponding to a motion vector of the subject. 前記算出手段は、前記被写体の動きベクトルとして、該被写体の複数の位置における動きベクトルの最大値および平均値を算出し、
前記制御手段は、前記動きベクトルの前記最大値と前記平均値との差に基づいて、前記最大露光時間を決定することを特徴とする請求項2に記載の像ブレ補正装置。
The calculation means calculates a maximum value and an average value of motion vectors at a plurality of positions of the subject as the motion vector of the subject,
The image blur correction apparatus according to claim 2, wherein the control unit determines the maximum exposure time based on a difference between the maximum value and the average value of the motion vectors.
前記制御手段は、前記動きベクトルの前記最大値と前記平均値との差と、前記被写体または撮影シーンに応じて決定される被写体流れ許容値とに基づいて、前記最大露光時間を決定することを特徴とする請求項3に記載の像ブレ補正装置。   The control means determines the maximum exposure time based on a difference between the maximum value and the average value of the motion vector, and a subject flow allowable value determined according to the subject or a shooting scene. The image blur correction apparatus according to claim 3, wherein 前記制御手段は、
前記振れ情報と、ユーザにより設定された背景流し量とに基づいて第1の露光時間を算出し、
前記第1の露光時間と前記最大露光時間とを比較し、
前記第1の露光時間が前記最大露光時間よりも短い場合、前記露光時間として前記第1の露光時間を設定し、
前記第1の露光時間が前記最大露光時間よりも長い場合、前記露光時間として前記最大露光時間を設定する、ことを特徴とする請求項2または3に記載の像ブレ補正装置。
The control means includes
Calculating a first exposure time based on the shake information and a background flow amount set by a user;
Comparing the first exposure time and the maximum exposure time;
If the first exposure time is shorter than the maximum exposure time, the first exposure time is set as the exposure time;
4. The image blur correction device according to claim 2, wherein when the first exposure time is longer than the maximum exposure time, the maximum exposure time is set as the exposure time. 5.
前記算出手段は、前記被写体の動きベクトルとして、該被写体の複数の位置における動きベクトルの最小値を算出し、
前記制御手段は、前記動きベクトルの前記最小値に基づいて前記露光時間を制御することを特徴とする請求項1に記載の像ブレ補正装置。
The calculation means calculates a minimum value of a motion vector at a plurality of positions of the subject as the motion vector of the subject,
The image blur correction apparatus according to claim 1, wherein the control unit controls the exposure time based on the minimum value of the motion vector.
前記算出手段は、前記画像に含まれる前記被写体の動きベクトルと背景の動きベクトルとを算出し、
前記制御手段は、前記被写体の動きベクトルと前記背景の動きベクトルとに基づいて前記露光時間を制御することを特徴とする請求項1に記載の像ブレ補正装置。
The calculating means calculates a motion vector of the subject and a background motion vector included in the image;
The image blur correction apparatus according to claim 1, wherein the control unit controls the exposure time based on a motion vector of the subject and a motion vector of the background.
前記振れ情報は、前記検出手段としての角速度検出手段により検出された角速度に関する情報であることを特徴する請求項1乃至7のいずれか1項に記載の像ブレ補正装置。   8. The image blur correction apparatus according to claim 1, wherein the shake information is information related to an angular velocity detected by an angular velocity detection unit serving as the detection unit. 前記制御手段は、流し撮りアシストモードに設定されている場合、前記露光時間を制御することを特徴とする請求項1乃至8のいずれか1項に記載の像ブレ補正装置。   9. The image blur correction apparatus according to claim 1, wherein the control unit controls the exposure time when the panning assist mode is set. 撮像光学系を介して形成された光学像を光電変換して画像データを出力する撮像素子と、
前記画像データに対応する画像に含まれる被写体の動きベクトルを算出する算出手段と、
焦点距離を取得する取得手段と、
前記被写体の動きベクトルと、検出手段により検出された振れ情報と、前記焦点距離とに基づいて露光時間を制御する制御手段と、を有することを特徴とする撮像装置。
An image sensor that photoelectrically converts an optical image formed via the imaging optical system and outputs image data; and
Calculating means for calculating a motion vector of a subject included in an image corresponding to the image data;
An acquisition means for acquiring a focal length;
An image pickup apparatus comprising: a control unit that controls an exposure time based on the motion vector of the subject, shake information detected by a detection unit, and the focal length.
前記撮像光学系に含まれる像ブレ補正レンズを光軸と直交する方向に駆動することにより像ブレ補正を行う補正手段を更に有し、
前記撮像素子は、前記露光時間において、前記補正手段により前記像ブレ補正レンズを駆動しながら、前記光学像を光電変換して前記画像データを出力することを特徴とする請求項10に記載の撮像装置。
A correction unit that performs image blur correction by driving an image blur correction lens included in the imaging optical system in a direction orthogonal to the optical axis;
The image pickup device according to claim 10, wherein the image pickup device photoelectrically converts the optical image and outputs the image data while driving the image blur correction lens by the correction unit during the exposure time. apparatus.
前記撮像素子を光軸と直交する方向に駆動することにより像ブレ補正を行う補正手段を更に有し、
前記撮像素子は、前記露光時間において、前記補正手段により駆動されながら、前記光学像を光電変換して前記画像データを出力することを特徴とする請求項10に記載の撮像装置。
A correction unit that performs image blur correction by driving the image sensor in a direction orthogonal to the optical axis;
The image pickup apparatus according to claim 10, wherein the image pickup device photoelectrically converts the optical image and outputs the image data while being driven by the correction unit during the exposure time.
撮像光学系と、
前記撮像光学系を介して取得された画像に含まれる被写体の動きベクトルを算出する算出手段と、
振れ情報を検出する検出手段と、
焦点距離を取得する取得手段と、
前記被写体の動きベクトルと、前記振れ情報と、前記焦点距離とに基づいて露光時間を制御する制御手段と、を有することを特徴とするレンズ装置。
An imaging optical system;
Calculating means for calculating a motion vector of a subject included in an image acquired via the imaging optical system;
Detecting means for detecting shake information;
An acquisition means for acquiring a focal length;
A lens apparatus comprising: control means for controlling an exposure time based on the motion vector of the subject, the shake information, and the focal length.
画像に含まれる被写体の動きベクトルを算出するステップと、
振れ情報を検出するステップと、
焦点距離を取得するステップと、
前記被写体の動きベクトルと、前記振れ情報と、前記焦点距離とに基づいて露光時間を制御するステップと、を有することを特徴とする像ブレ補正装置の制御方法。
Calculating a motion vector of a subject included in the image;
Detecting shake information;
Obtaining a focal length;
And a step of controlling an exposure time based on the motion vector of the subject, the shake information, and the focal length.
画像に含まれる被写体の動きベクトルを算出するステップと、
振れ情報を検出するステップと、
焦点距離を取得するステップと、
前記被写体の動きベクトルと、前記振れ情報と、前記焦点距離とに基づいて露光時間を制御するステップと、をコンピュータに実行させることを特徴とするプログラム。
Calculating a motion vector of a subject included in the image;
Detecting shake information;
Obtaining a focal length;
A program that causes a computer to execute an exposure time control step based on the motion vector of the subject, the shake information, and the focal length.
請求項15に記載のプログラムを記憶していることを特徴とする記憶媒体。   A storage medium storing the program according to claim 15.
JP2016012906A 2016-01-26 2016-01-27 Image blur correction apparatus and method for controlling image blur correction apparatus Active JP6702737B2 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016012906A JP6702737B2 (en) 2016-01-27 2016-01-27 Image blur correction apparatus and method for controlling image blur correction apparatus
US15/414,732 US10205885B2 (en) 2016-01-26 2017-01-25 Image capturing apparatus for controlling shutter speed during panning shooting and method for controlling the same
US15/976,211 US10623652B2 (en) 2016-01-26 2018-05-10 Image capturing apparatus and method for image stabilization and control using motion vectors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016012906A JP6702737B2 (en) 2016-01-27 2016-01-27 Image blur correction apparatus and method for controlling image blur correction apparatus

Publications (3)

Publication Number Publication Date
JP2017134185A true JP2017134185A (en) 2017-08-03
JP2017134185A5 JP2017134185A5 (en) 2019-02-28
JP6702737B2 JP6702737B2 (en) 2020-06-03

Family

ID=59503723

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016012906A Active JP6702737B2 (en) 2016-01-26 2016-01-27 Image blur correction apparatus and method for controlling image blur correction apparatus

Country Status (1)

Country Link
JP (1) JP6702737B2 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2021171774A1 (en) * 2020-02-25 2021-09-02
CN114339051A (en) * 2021-12-30 2022-04-12 维沃移动通信有限公司 Shooting method, shooting device, electronic equipment and readable storage medium
US11457148B2 (en) * 2019-09-18 2022-09-27 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, and control method

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05122590A (en) * 1991-10-24 1993-05-18 Sanyo Electric Co Ltd Motion vector specifying circuit for video camera with blurring correcting function
JPH0651384A (en) * 1990-12-07 1994-02-25 Olympus Optical Co Ltd Shaking prevention device for camera
JP2007097195A (en) * 2005-09-29 2007-04-12 Seiko Epson Corp A method for determining the maximum exposure time in order to limit motion blur when capturing an image with an image capture device, a method for capturing an image using an image capture device, and a motion blur when capturing an image with an image capture device Device for determining the maximum exposure time for limiting
JP2013110754A (en) * 2013-01-17 2013-06-06 Casio Comput Co Ltd Camera device, and photographing method and program of the same
JP2015185925A (en) * 2014-03-20 2015-10-22 キヤノン株式会社 Imaging apparatus and control method thereof
JP2015198439A (en) * 2014-04-03 2015-11-09 キヤノン株式会社 Image processing apparatus, control method therefor, imaging apparatus, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0651384A (en) * 1990-12-07 1994-02-25 Olympus Optical Co Ltd Shaking prevention device for camera
JPH05122590A (en) * 1991-10-24 1993-05-18 Sanyo Electric Co Ltd Motion vector specifying circuit for video camera with blurring correcting function
JP2007097195A (en) * 2005-09-29 2007-04-12 Seiko Epson Corp A method for determining the maximum exposure time in order to limit motion blur when capturing an image with an image capture device, a method for capturing an image using an image capture device, and a motion blur when capturing an image with an image capture device Device for determining the maximum exposure time for limiting
JP2013110754A (en) * 2013-01-17 2013-06-06 Casio Comput Co Ltd Camera device, and photographing method and program of the same
JP2015185925A (en) * 2014-03-20 2015-10-22 キヤノン株式会社 Imaging apparatus and control method thereof
JP2015198439A (en) * 2014-04-03 2015-11-09 キヤノン株式会社 Image processing apparatus, control method therefor, imaging apparatus, and program

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11457148B2 (en) * 2019-09-18 2022-09-27 Canon Kabushiki Kaisha Image processing apparatus, imaging apparatus, and control method
JPWO2021171774A1 (en) * 2020-02-25 2021-09-02
JP7462240B2 (en) 2020-02-25 2024-04-05 パナソニックIpマネジメント株式会社 Shutter speed determination device and image capture device
US12238425B2 (en) 2020-02-25 2025-02-25 Panasonic Intellectual Property Management Co., Ltd. Shutter speed determination device and imaging device
CN114339051A (en) * 2021-12-30 2022-04-12 维沃移动通信有限公司 Shooting method, shooting device, electronic equipment and readable storage medium

Also Published As

Publication number Publication date
JP6702737B2 (en) 2020-06-03

Similar Documents

Publication Publication Date Title
US10244170B2 (en) Image-shake correction apparatus and control method thereof
US10205885B2 (en) Image capturing apparatus for controlling shutter speed during panning shooting and method for controlling the same
JP7086571B2 (en) Image pickup device, lens device and control method thereof
JP6338424B2 (en) Image processing apparatus, control method therefor, imaging apparatus, and program
CN106470317B (en) Image pickup apparatus and control method thereof
US10708503B2 (en) Image capture system, image capturing apparatus, lens unit, control methods therefor, and storage medium
JP6276644B2 (en) Image blur correction apparatus, image blur correction method, program, and storage medium
CN112995498B (en) Image processing apparatus, image capturing apparatus, image processing method, and storage medium
JP2016201626A (en) Shift element controller, shift element control program and optical apparatus
JP2018037772A (en) Imaging apparatus and control method of the same
JP2016170285A (en) Image blur correction apparatus, optical apparatus, imaging apparatus, and control method
JP5843525B2 (en) Imaging apparatus and control method thereof
JP6702737B2 (en) Image blur correction apparatus and method for controlling image blur correction apparatus
CN108737698B (en) Image stabilization apparatus and method, image pickup apparatus, image pickup system, and storage medium
US20170171475A1 (en) Zoom control apparatus, image capturing apparatus and zoom control method
JP2017116924A (en) Zoom control device, zoom control method, and imaging device
US11330179B2 (en) Imaging device and control method thereof
JP7625401B2 (en) Tracking device, control method thereof, and imaging device
JP6833381B2 (en) Imaging equipment, control methods, programs, and storage media
JP6778014B2 (en) Imaging device and its control method, program, storage medium
JP6465553B2 (en) Imaging apparatus and control method thereof
JP2020101730A (en) Imaging device and control method for the same
US11956538B2 (en) Image capturing apparatus that performs blur correction and method of controlling same
JP2018146606A (en) Image processing device, imaging apparatus, and control method
JP2025083919A (en) CONTROL DEVICE, CONTROL METHOD AND PROGRAM THEREOF, AND IMAGING DEVICE

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190115

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190115

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20191114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191126

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191220

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200507

R151 Written notification of patent or utility model registration

Ref document number: 6702737

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151