JP2011027846A

JP2011027846A - Automatic af frame tracking system

Info

Publication number: JP2011027846A
Application number: JP2009171359A
Authority: JP
Inventors: Kunio Tanida; 邦男谷田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2009-07-22
Filing date: 2009-07-22
Publication date: 2011-02-10
Anticipated expiration: 2029-07-22
Also published as: JP5276538B2

Abstract

【課題】ＡＦ枠自動追尾を開始する際の煩雑な操作を不要にし、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラにおいても適用することができるＡＦ枠自動追尾システムを提供する。
【解決手段】画像処理ユニット１８のＣＰＵ３０は、撮影画像の所定位置にＡＦ枠を設定し、ＡＦ枠の範囲内に人物の顔が含まれているか否かを判別し、ＡＦ枠の範囲内に人物の顔が含まれている場合には顔検出追尾モードによるＡＦ枠自動追尾の開始を指示し、人物の顔が含まれていない場合には物体追尾モードによるＡＦ枠自動追尾の開始を指示する。
【選択図】図１An AF frame automatic tracking system that eliminates the need for complicated operations when starting AF frame automatic tracking and can be applied to a small camera in which installation of an AF frame operating device such as a handy camera is difficult in space. I will provide a.
A CPU of an image processing unit sets an AF frame at a predetermined position of a photographed image, determines whether or not a person's face is included in the range of the AF frame, and within the range of the AF frame. When a person's face is included, the start of AF frame automatic tracking in the face detection tracking mode is instructed. When no person's face is included, the start of AF frame automatic tracking in the object tracking mode is instructed. .
[Selection] Figure 1

Description

本発明はＡＦ枠自動追尾システムに係り、特に、オートフォーカス（ＡＦ）によりピントを合わせる被写体の範囲を示すＡＦ枠（ＡＦエリア）を所定の被写体に自動追尾させる機能を備えたＡＦ枠自動追尾システムに関する。 The present invention relates to an AF frame automatic tracking system, and in particular, an AF frame automatic tracking system having a function of automatically tracking an AF frame (AF area) indicating a range of a subject to be focused by autofocus (AF) to a predetermined subject. About.

従来、カメラのフォーカスを自動的に合わせるオートフォーカス（ＡＦ）システムにおいては、どこにフォーカスを合わせるかをカメラに対して指示しなければならない。このとき、一般のカメラなどでは、フォーカスを合わせる位置は撮影範囲のセンターに固定されていて、例えば撮影範囲の中央にいる人物等にフォーカスが合うようになっている。 Conventionally, in an autofocus (AF) system that automatically adjusts the focus of a camera, the camera must be instructed where to focus. At this time, in a general camera or the like, the position to be focused is fixed at the center of the shooting range, and for example, the person in the center of the shooting range is focused.

しかし、動いている被写体を撮影する場合などにおいては、このようにフォーカスを合わせる位置が固定されていては都合が悪い。そこで、例えば、テレビカメラなどで、スポーツのように被写体の動きの激しいシーンを撮影する場合において、被写体にピントを合わせる目的でＡＦエリア（ＡＦ枠）を被写体に自動追尾させるＡＦ枠自動追尾システムが知られている（例えば、特許文献１等参照）。尚、本明細書では、ＡＦエリアの範囲の輪郭を示すＡＦ枠をＡＦエリアと同様にピントを合わせる被写体の範囲を意味する用語として主に使用するものとする。 However, when shooting a moving subject, it is inconvenient if the focus position is fixed in this way. Therefore, for example, when shooting a scene where the subject is moving rapidly, such as sports, using a TV camera or the like, there is an AF frame automatic tracking system that automatically tracks an AF area (AF frame) to the subject for the purpose of focusing on the subject. It is known (see, for example, Patent Document 1). In this specification, an AF frame indicating the outline of the range of the AF area is mainly used as a term meaning the range of the subject to be focused in the same manner as the AF area.

また、撮像された画像中から人物の顔を表す画像を検出し、その被写体となった顔に対して自動的にピントを合わせたり、あるいは上記検出された画像中の顔を表す領域が拡大されるように自動的にズーム倍率を変更させるデジタルカメラが知られている（例えば、特許文献２等参照）。 Also, an image representing a person's face is detected from the captured image, and the face that is the subject is automatically focused, or the area representing the face in the detected image is enlarged. There is known a digital camera that automatically changes the zoom magnification (see, for example, Patent Document 2).

特開２００６−２６７２２１号公報JP 2006-267221 A 特開２００４−３２０２８６号公報JP 2004-320286 A

ところで、上記のように所定の被写体にＡＦ枠を自動追尾させるＡＦ枠自動追尾を開始する場合、操作者は、ピントを合わせる被写体、即ち、追尾対象の被写体を指定する必要がある。そのため、操作者は、撮影範囲内でのＡＦ枠の位置をジョイスティック等の操作装置で移動させ、ＡＦ枠の位置を追尾対象としたい被写体の位置に合わせるという操作を行う。そして、追尾開始スイッチのオン操作などによって、現在のＡＦ枠の範囲内の被写体を追尾対象の被写体として設定（確定）すると共に、ＡＦ枠自動追尾の開始を指示するための操作を行っている。 By the way, when the AF frame automatic tracking for automatically tracking the AF frame to a predetermined subject is started as described above, the operator needs to specify a subject to be focused, that is, a subject to be tracked. For this reason, the operator performs an operation of moving the position of the AF frame within the shooting range with an operation device such as a joystick to match the position of the AF frame with the position of the subject to be tracked. Then, by turning on the tracking start switch or the like, the subject within the current AF frame range is set (determined) as the subject to be tracked, and an operation for instructing the start of AF frame automatic tracking is performed.

しかしながら、上記のようにＡＦ枠の位置を追尾対象の被写体の位置に設定する操作は、手間や時間を要するという問題がある。また、取材などで使用される肩担ぎタイプのテレビカメラ(ハンディカメラ)では、ＡＦ枠を操作するための操作装置を操作者（カメラマン）が操作し易い場所に設置することも難しいという問題があった。 However, the operation of setting the position of the AF frame to the position of the subject to be tracked as described above has a problem that it takes time and effort. In addition, shoulder-shoulder-type TV cameras (handy cameras) used for news gathering have a problem that it is difficult to install an operating device for operating the AF frame in a place where the operator (cameraman) can easily operate. It was.

また、操作者は常にビューファインダを見てカメラワークを行っているので、なるべく簡単な操作でＡＦ枠を自動追尾できるようにすることも要望されている。 In addition, since the operator always performs camera work while looking at the viewfinder, it is desired that the AF frame can be automatically tracked with as simple an operation as possible.

本発明は、このような事情に鑑みてなされたもので、ＡＦ枠自動追尾を開始する際の煩雑な操作を不要にし、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラにおいても適用することができるＡＦ枠自動追尾システムを提供することを目的とする。 The present invention has been made in view of such circumstances, and does not require a complicated operation when starting AF frame automatic tracking, and is small in size that makes it difficult to install an AF frame operation device such as a handy camera. An object of the present invention is to provide an AF frame automatic tracking system that can be applied to a camera.

前記目的を達成するために、請求項１に係るＡＦ枠自動追尾システムは、光学系により結像された被写体像を撮像する撮像手段と、前記撮像手段により撮像された撮影画像のうち、所定のＡＦ枠の範囲の被写体にピントが合うように前記光学系のフォーカス調整を行うオートフォーカス手段と、所定の追尾対象の被写体にピントが合うように前記ＡＦ枠を前記追尾対象の被写体に自動追尾させるＡＦ枠自動追尾手段と、を備え、前記ＡＦ枠自動追尾手段による自動追尾の動作モードとして、逐次撮像される撮影画像の中から追尾対象の顔を顔検出処理により検出し、該追尾対象の顔に前記ＡＦ枠を自動追尾させる顔検出追尾モードと、追尾対象の被写体の画像を記憶すると共に、逐次撮像される撮影画像の中から追尾対象の被写体の画像をパターンマッチング処理により検出し、該追尾対象の被写体に前記ＡＦ枠を自動追尾させる物体追尾モードとが含まれるＡＦ枠自動追尾システムにおいて、前記ＡＦ枠の範囲を前記撮影画像の所定位置に設定するＡＦ枠設定手段と、前記ＡＦ枠設定手段によって設定された前記ＡＦ枠の範囲の被写体を判別する被写体判別手段と、前記被写体判別手段による判別結果に応じて、前記ＡＦ枠自動追尾手段による動作モードを決定し、当該決定された動作モードによる前記自動追尾の開始を指示する開始指示手段と、を備えたことを特徴とする。 In order to achieve the above object, an AF frame automatic tracking system according to a first aspect includes an imaging unit that captures a subject image formed by an optical system, and a predetermined image out of a captured image captured by the imaging unit. Autofocus means for adjusting the focus of the optical system so that the subject within the range of the AF frame is in focus, and automatically tracking the AF frame to the subject to be tracked so as to focus on a predetermined subject to be tracked AF frame automatic tracking means, and as a tracking mode of automatic tracking by the AF frame automatic tracking means, a face to be tracked is detected by face detection processing from sequentially captured images, and the face to be tracked is detected. In addition, a face detection tracking mode for automatically tracking the AF frame and an image of the subject to be tracked are stored, and an image of the subject to be tracked is captured from sequentially captured images. In an AF frame automatic tracking system that includes an object tracking mode in which the AF frame is automatically tracked on a subject to be tracked that is detected by a matching process, an AF frame that sets a range of the AF frame to a predetermined position of the captured image An operation mode by the AF frame automatic tracking unit is determined according to a determination unit, a subject determination unit that determines a subject within the range of the AF frame set by the AF frame setting unit, and a determination result by the subject determination unit And start instruction means for instructing the start of the automatic tracking according to the determined operation mode.

請求項２に係るＡＦ枠自動追尾システムは、請求項１に記載の発明において、前記被写体判別手段は、前記ＡＦ枠の範囲に人物の顔が含まれるか否かを判別する手段であることを特徴とする。 According to a second aspect of the present invention, in the AF frame automatic tracking system according to the first aspect of the invention, the subject determination means is means for determining whether or not a person's face is included in the range of the AF frame. Features.

請求項３に係るＡＦ枠自動追尾システムは、請求項２に記載の発明において、前記開始指示手段は、前記被写体判別手段によって前記ＡＦ枠の範囲に人物の顔が含まれると判別された場合には、前記顔検出追尾モードによる前記自動追尾の開始を指示することを特徴とする。 An AF frame automatic tracking system according to a third aspect is the invention according to the second aspect, wherein the start instructing unit determines that the subject determination unit includes a human face within the range of the AF frame. Indicates the start of the automatic tracking in the face detection tracking mode.

請求項４に係るＡＦ枠自動追尾システムは、請求項３に記載の発明において、前記ＡＦ枠自動追尾手段は、前記ＡＦ枠の範囲に複数の人物の顔が含まれる場合には、前記複数の人物の顔の中で最も大きい顔を追尾対象の顔とし、該追尾対象の顔に前記ＡＦ枠を自動追尾させることを特徴とする。 The AF frame automatic tracking system according to a fourth aspect of the present invention is the invention according to the third aspect, wherein the AF frame automatic tracking means includes the plurality of human faces when the range of the AF frame includes a plurality of human faces. The largest face among the human faces is set as the tracking target face, and the AF frame is automatically tracked on the tracking target face.

請求項５に係るＡＦ枠自動追尾システムは、請求項４に記載の発明において、前記ＡＦ枠自動追尾手段は、前記複数の人物の顔の大きさが同一である場合には、前記複数の人物の顔の中で前記ＡＦ枠の範囲の中央側に位置する顔を追尾対象の顔とし、該追尾対象の顔に前記ＡＦ枠を自動追尾させることを特徴とする。 The AF frame automatic tracking system according to claim 5 is the invention according to claim 4, wherein the AF frame automatic tracking means is configured such that when the face sizes of the plurality of persons are the same, the plurality of persons A face located in the center of the range of the AF frame is set as a tracking target face, and the AF frame is automatically tracked to the tracking target face.

請求項６に係るＡＦ枠自動追尾システムは、請求項２乃至５のいずれか１項に記載の発明において、前記開始指示手段は、前記被写体判別手段によって前記ＡＦ枠の範囲に人物の顔が含まれないと判別された場合には、前記物体追尾モードによる前記自動追尾の開始を指示することを特徴とする。 The AF frame automatic tracking system according to claim 6 is the invention according to any one of claims 2 to 5, wherein the start instruction means includes a human face within the range of the AF frame by the subject determination means. When it is determined that the automatic tracking is not performed, the start of the automatic tracking in the object tracking mode is instructed.

請求項７に係るＡＦ枠自動追尾システムは、請求項１乃至６のいずれか１項に記載の発明において、前記ＡＦ枠自動追尾システムは、ハンディタイプのカメラに搭載されることを特徴とする。 According to a seventh aspect of the present invention, in the AF frame automatic tracking system according to any one of the first to sixth aspects, the AF frame automatic tracking system is mounted on a handy type camera.

請求項８に係るＡＦ枠自動追尾システムは、請求項７に記載の発明において、前記ＡＦ枠の位置を変更するＡＦ枠操作装置を有していないことを特徴とする。 An AF frame automatic tracking system according to an eighth aspect is the invention according to the seventh aspect, wherein the AF frame automatic tracking system does not have an AF frame operation device for changing the position of the AF frame.

本発明によれば、操作者（カメラマン）は、撮影画像の所定位置に設定されているＡＦ枠の範囲内に追尾対象としたい被写体が含まれるようにテレビカメラの撮影画角をパン／チルト操作などによって設定することによって、ＡＦ枠の範囲内の被写体の判別が行われ、その判別結果に応じた動作モード（顔検出追尾モード又は物体追尾モード）でＡＦ枠自動追尾が自動的に開始される。したがって、ＡＦ枠自動追尾を開始する際の煩雑な操作が不要となり、操作者の負担を大幅に軽減することができる。 According to the present invention, the operator (cameraman) performs pan / tilt operation on the shooting angle of view of the television camera so that the subject to be tracked is included within the range of the AF frame set at a predetermined position of the shot image. Thus, the subject within the range of the AF frame is determined, and AF frame automatic tracking is automatically started in an operation mode (face detection tracking mode or object tracking mode) according to the determination result. . Therefore, a complicated operation when starting AF frame automatic tracking is not required, and the burden on the operator can be greatly reduced.

本発明に係るＡＦ枠自動追尾システムの全体構成を示したブロック図The block diagram which showed the whole structure of the AF frame automatic tracking system which concerns on this invention ＡＦ枠（ＡＦエリア）の説明図Illustration of AF frame (AF area) タッチパネル付き液晶ディスプレイに表示される画面の一例を示した図The figure which showed an example of the screen displayed on a liquid crystal display with a touch panel 画像処理ユニットのＣＰＵにおける全自動追尾モードが選択されたときのＡＦ枠自動追尾の処理手順を示したフローチャートFlowchart showing the processing procedure of AF frame automatic tracking when the fully automatic tracking mode is selected in the CPU of the image processing unit

以下、添付図面を参照して、本発明に係るＡＦ枠自動追尾システムについて詳細に説明する。 Hereinafter, an AF frame automatic tracking system according to the present invention will be described in detail with reference to the accompanying drawings.

図１は、本発明に係るＡＦ枠自動追尾システムの全体構成を示したブロック図である。同図に示すＡＦ枠自動追尾システム１には、放送用又は業務用で使用されるテレビカメラ１０と、ＡＦ枠自動追尾装置を構成する画像処理ユニット１８及びＡＦ枠操作部２０とから構成されている。 FIG. 1 is a block diagram showing the overall configuration of an AF frame automatic tracking system according to the present invention. The AF frame automatic tracking system 1 shown in FIG. 1 includes a television camera 10 used for broadcasting or business use, an image processing unit 18 and an AF frame operation unit 20 constituting an AF frame automatic tracking device. Yes.

テレビカメラ１０は、ハイビジョンテレビ［ＨＤ（High Definition)ＴＶ］方式に対応したＨＤカメラからなるカメラ本体１４と、カメラ本体１４のレンズマウントに装着される撮影レンズ（光学系）を備えたレンズ装置１２とから構成される。 The television camera 10 includes a camera body 14 composed of an HD camera compatible with a high-definition television [HD (High Definition) TV] system, and a lens device 12 having a photographing lens (optical system) attached to a lens mount of the camera body 14. It consists of.

カメラ本体１４には、撮像素子（例えばＣＣＤ）や所要の信号処理回路等が搭載されており、レンズ装置１２の撮影レンズにより結像された像は、撮像素子により光電変換された後、信号処理回路によって所要の信号処理が施されてＨＤＴＶ方式の映像信号（ＨＤＴＶ信号）として、カメラ本体１４の映像信号出力端子等から外部に出力される。 The camera body 14 is equipped with an image sensor (for example, a CCD), a required signal processing circuit, and the like. The image formed by the photographing lens of the lens device 12 is photoelectrically converted by the image sensor and then subjected to signal processing. Necessary signal processing is performed by the circuit and output as an HDTV video signal (HDTV signal) from the video signal output terminal of the camera body 14 to the outside.

また、カメラ本体１４には、ビューファインダ１６が設置されており、そのビューファインダ１６にテレビカメラ１０の撮影映像が表示されるようになっている。また、ビューファインダ１６には、撮影映像以外の各種情報が表示されるようになっており、例えば、現在の設定されているＡＦ枠の範囲（位置、大きさ、形状）を示す画像（枠画像）が撮影映像に重畳されて表示されるようになっている。ＡＦ枠はオートフォーカス（ＡＦ）によりピントを合わせる被写体の範囲（輪郭）を示す。 In addition, a viewfinder 16 is installed in the camera main body 14, and a captured image of the television camera 10 is displayed on the viewfinder 16. The viewfinder 16 displays various types of information other than the captured video. For example, an image (frame image) showing the currently set AF frame range (position, size, shape). ) Is superimposed on the captured video and displayed. The AF frame indicates a range (outline) of a subject to be focused by autofocus (AF).

レンズ装置１２は、カメラ本体１４のレンズマウントに装着される撮影レンズ（ズームレンズ）を備えており、その撮影レンズにより、被写体２８がカメラ本体１４の撮像素子の撮像面に結像されるようになっている。撮影レンズには、図示を省略するが、その構成要素としてフォーカスレンズ群、ズームレンズ群、絞りなどの撮影条件を調整するための可動部が設けられており、それらの可動部は、モータ（サーボ機構）によって電動駆動されるようになっている。例えば、フォーカスレンズ群やズームレンズ群は光軸方向に移動し、フォーカスレンズ群が移動することによってフォーカス（被写体距離）調整が行われ、またズームレンズ群が移動することによって焦点距離（ズーム倍率）調整が行われる。 The lens device 12 includes a photographing lens (zoom lens) attached to the lens mount of the camera body 14 so that the subject 28 is imaged on the imaging surface of the imaging element of the camera body 14 by the photographing lens. It has become. Although not shown, the photographic lens is provided with movable parts for adjusting photographing conditions such as a focus lens group, a zoom lens group, and a diaphragm as its constituent elements. The mechanism is electrically driven. For example, the focus lens group and the zoom lens group move in the optical axis direction, the focus (subject distance) adjustment is performed by moving the focus lens group, and the focal length (zoom magnification) is adjusted by moving the zoom lens group. Adjustments are made.

尚、ＡＦに関するシステムにおいては、少なくともフォーカスレンズ群が電動で駆動できればよく、その他の可動部は手動でのみ駆動可能であってもよい。 In the AF-related system, it is sufficient that at least the focus lens group can be driven electrically, and other movable parts may be driven only manually.

また、レンズ装置１２には、ＡＦユニット４０及び図示しないレンズＣＰＵ等が搭載されている。レンズＣＰＵはレンズ装置１２全体を統括制御するものである。また、ＡＦユニット４０は、ＡＦによるフォーカス制御（自動ピント調整）を行うために必要な情報を取得するための処理部であり、図示を省略するが、ＡＦ処理部、ＡＦ用撮像回路等から構成されている。 The lens device 12 includes an AF unit 40 and a lens CPU (not shown). The lens CPU controls the entire lens device 12. The AF unit 40 is a processing unit for acquiring information necessary for performing focus control (automatic focus adjustment) by AF, and is configured from an AF processing unit, an AF imaging circuit, and the like (not shown). Has been.

ＡＦ用撮像回路はＡＦ処理用の映像信号を取得するためにレンズ装置１２に配置されており、ＣＣＤ等の撮像素子（ＡＦ用撮像素子という）やＡＦ用撮像素子の出力信号を所定形式の映像信号として出力する処理回路等を備えている。尚、ＡＦ用撮像回路から出力される映像信号は輝度信号である。 The AF imaging circuit is disposed in the lens device 12 to acquire an AF processing video signal, and an output signal from an imaging device such as a CCD (referred to as an AF imaging device) or an AF imaging device is output in a predetermined format. A processing circuit for outputting as a signal is provided. The video signal output from the AF imaging circuit is a luminance signal.

ＡＦ用撮像素子の撮像面には、撮影レンズの光路上に配置されたハーフミラー等によってカメラ本体１４の撮像素子に入射する被写体光から分岐された被写体光が結像するようになっている。ＡＦ用撮像素子の撮像エリアに対する撮影範囲及び被写体距離（ピントが合う被写体の距離）は、カメラ本体１４の撮像素子の撮像エリアに対する撮影範囲及び被写体距離に一致するように構成されており、ＡＦ用撮像素子により取り込まれる被写体画像は、カメラ本体１４の撮像素子により取り込まれる被写体画像と一致している。なお、両者の撮影範囲に関しては完全に一致している必要はなく、例えば、ＡＦ用撮像素子の撮影範囲の方がカメラ本体１４の撮像素子の撮影範囲を包含する大きな範囲であってもよい。 On the imaging surface of the AF imaging element, subject light branched from subject light incident on the imaging element of the camera body 14 is imaged by a half mirror or the like disposed on the optical path of the photographing lens. The shooting range and subject distance (distance of the subject in focus) with respect to the imaging area of the AF imaging element are configured to match the shooting range and subject distance with respect to the imaging area of the imaging element of the camera body 14. The subject image captured by the image sensor coincides with the subject image captured by the image sensor of the camera body 14. It should be noted that the shooting ranges of the two do not need to be completely the same. For example, the shooting range of the AF imaging element may be a larger range including the shooting range of the imaging element of the camera body 14.

ＡＦ処理部は、ＡＦ用撮像回路から映像信号を取得し、その映像信号に基づいてＡＦの対象範囲とするＡＦエリア（ＡＦ枠）の範囲内における被写体画像のコントラストの高低を示す焦点評価値を算出する。例えば、ＡＦ用撮像素子から得られた映像信号から高域周波数成分の信号をハイパスフィルタによって抽出した後、その高域周波数成分の信号のうち後述のようにして設定されるＡＦエリアに対応する範囲の信号を１画面（１フレーム）分ずつ積算する。このようにして１画面分ごとに得られる積算値はＡＦエリア内の被写体画像のコントラストの高低を示し、その積算値が焦点評価値としてレンズＣＰＵに与えられる。 The AF processing unit acquires a video signal from the AF imaging circuit, and based on the video signal, calculates a focus evaluation value indicating the level of contrast of the subject image within an AF area (AF frame) that is an AF target range. calculate. For example, a high frequency component signal is extracted from a video signal obtained from an AF image sensor by a high-pass filter, and then a range corresponding to an AF area set as described later in the high frequency component signal. Are integrated for each screen (one frame). The integrated value obtained for each screen in this manner indicates the level of contrast of the subject image in the AF area, and the integrated value is given to the lens CPU as a focus evaluation value.

レンズＣＰＵは、ＡＦエリアの範囲（輪郭）を示すＡＦ枠の情報（ＡＦ枠情報）を、後述するように画像処理ユニット１８から取得し、そのＡＦ枠情報により指定されたＡＦ枠内の範囲をＡＦエリアとしてＡＦ処理部に指定する。そして、そのＡＦエリア内の画像（映像信号）により求められる焦点評価値をＡＦ処理部から取得する。 The lens CPU obtains AF frame information (AF frame information) indicating the range (contour) of the AF area from the image processing unit 18 as will be described later, and the range within the AF frame specified by the AF frame information is obtained. The AF area is designated as the AF area. Then, the focus evaluation value obtained from the image (video signal) in the AF area is acquired from the AF processing unit.

このようにしてＡＦ用撮像回路から１画面分の映像信号が取得されるごとに（ＡＦ処理部で焦点評価値が求められるごとに）ＡＦ処理部から焦点評価値を取得すると共に、取得した焦点評価値が最大（極大）、即ち、ＡＦ枠内の被写体画像のコントラストが最大となるようにフォーカスレンズ群を制御する。例えば、焦点評価値に基づくフォーカスレンズ群の制御方式として山登り方式が一般的に知られており、フォーカスレンズ群を焦点評価値が増加する方向に移動させて行き、焦点評価値が減少し始める点を検出すると、その位置にフォーカスレンズ群を設定する。これにより、ＡＦ枠内の被写体に自動でピントが合わせられる。 In this way, every time a video signal for one screen is acquired from the AF imaging circuit (each time the focus evaluation value is obtained by the AF processing unit), the focus evaluation value is acquired from the AF processing unit, and the acquired focus is obtained. The focus lens group is controlled so that the evaluation value is maximum (maximum), that is, the contrast of the subject image in the AF frame is maximum. For example, a hill-climbing method is generally known as a control method for a focus lens group based on a focus evaluation value, and the focus evaluation value starts to decrease by moving the focus lens group in a direction in which the focus evaluation value increases. Is detected, the focus lens group is set at that position. Thereby, the subject in the AF frame is automatically focused.

尚、上述のＡＦ処理部は、焦点評価値を算出するために、レンズ装置１２に搭載されたＡＦ用撮像素子から映像信号を取得しているが、カメラ本体１４の撮像素子より撮影された映像の映像信号をカメラ本体１４から取得するような構成としてもよい。また、ＡＦ枠内の被写体に自動でピントを合わせるためのＡＦ手段はどのようなものであってもよい。 Note that the above-described AF processing unit obtains a video signal from the AF image sensor mounted on the lens device 12 in order to calculate the focus evaluation value, but the video imaged by the image sensor of the camera body 14 The video signal may be obtained from the camera body 14. Also, any AF means for automatically focusing on the subject within the AF frame may be used.

ここで、ＡＦエリア２００は、図２に示すようにカメラ本体１４における撮像素子の撮像エリア２０２（又は撮影範囲）に対して四角形状の領域として設定され、その輪郭を示す枠２０４がＡＦ枠を示し、撮像素子のＡＦエリア２００（ＡＦ枠２０４内）の範囲で撮影される被写体がＡＦによりピントを合わせる対象となる。 Here, as shown in FIG. 2, the AF area 200 is set as a rectangular area with respect to the imaging area 202 (or imaging range) of the imaging element in the camera body 14, and a frame 204 indicating its outline is an AF frame. In this case, a subject photographed in the range of the AF area 200 (within the AF frame 204) of the image sensor is a target to be focused by AF.

尚、本明細書では、撮像エリア２０２に対するＡＦ枠２０４（ＡＦエリア２００）の範囲は、ＡＦ枠２０４の位置、大きさ、及び、形状（縦横比）の３つの要素によって決まるものとし、ＡＦ枠の位置、大きさ、及び、形状の３つの要素のうち、少なくとも１つの要素が変更された場合にはＡＦ枠の範囲が変更されたものとする。 In the present specification, the range of the AF frame 204 (AF area 200) with respect to the imaging area 202 is determined by three factors including the position, size, and shape (aspect ratio) of the AF frame 204. It is assumed that the range of the AF frame is changed when at least one of the three elements of position, size, and shape is changed.

また、レンズ装置１２は、ケーブルを介して、又は、直接的にカメラ本体１４と接続され、レンズ装置１２とカメラ本体１４の各々に設けられたシリアル通信インターフェース（ＳＣＩ）１２ａ、１４ａを通じて各種情報のやり取りが行えるようになっている。これによりＡＦユニット４０において現在設定されているＡＦ枠の情報もカメラ本体１４に送信され、カメラ本体１４内での処理によってビューファインダ１６に表示される撮影映像に現在設定されているＡＦ枠の位置、大きさ、形状に対応したＡＦ枠の画像が重畳表示されるようになっている。 The lens device 12 is connected to the camera body 14 via a cable or directly, and various kinds of information are transmitted through serial communication interfaces (SCI) 12a and 14a provided in the lens device 12 and the camera body 14, respectively. You can communicate. As a result, information on the AF frame currently set in the AF unit 40 is also transmitted to the camera body 14, and the position of the AF frame currently set in the captured image displayed on the viewfinder 16 by processing in the camera body 14. The image of the AF frame corresponding to the size and shape is superimposed and displayed.

画像処理ユニット１８は、ＡＦ枠自動追尾装置の構成要素であり、レンズ装置１２のＡＦユニット４０において設定されるＡＦ枠の範囲（位置、大きさ、形状（縦横比））を後述のマニュアル操作又はＡＦ枠自動追尾の処理により指定するための処理部である。例えば、筐体内に納められて、レンズ装置１２の撮影レンズの鏡胴側部やカメラ本体１４の筐体外壁面等に設置される。尚、画像処理ユニット１８をレンズ装置１２やカメラ本体１４に設置する位置はこれに限らず他の任意の位置に設置するようにしてもよく、また、レンズ装置１２やカメラ本体１４以外の部分に配置するようにしてもよい。 The image processing unit 18 is a component of the AF frame automatic tracking device, and an AF frame range (position, size, shape (aspect ratio)) set in the AF unit 40 of the lens device 12 is manually operated as described later. This is a processing unit for specifying by AF frame automatic tracking processing. For example, it is housed in a housing and installed on the lens barrel side portion of the taking lens of the lens device 12 or the housing outer wall surface of the camera body 14. The position where the image processing unit 18 is installed in the lens device 12 or the camera body 14 is not limited to this, and may be installed in any other position. It may be arranged.

画像処理ユニット１８は、ＳＣＩ５８を備えており、そのＳＣＩ５８は、レンズ装置１２に接続され、ＳＣＩ１２ａを通じてレンズＣＰＵとの間で各種信号のやり取りが行えるようになっている。これにより、ＡＦ枠の範囲を指定するＡＦ枠情報が画像処理ユニット１８からレンズ装置１２のレンズＣＰＵに与えられ、そのＡＦ枠情報に基づいてＡＦユニット４０におけるＡＦ枠の範囲が設定される。 The image processing unit 18 includes an SCI 58. The SCI 58 is connected to the lens device 12, and can exchange various signals with the lens CPU through the SCI 12a. Thereby, AF frame information for designating the range of the AF frame is given from the image processing unit 18 to the lens CPU of the lens device 12, and the range of the AF frame in the AF unit 40 is set based on the AF frame information.

また、画像処理ユニット１８には映像信号を取り込むための映像入力コネクタが設けられており、その映像入力コネクタにカメラ本体１４の映像出力コネクタがダウンコンバータ４６を介してケーブルで接続される。これによって、カメラ本体１４の映像出力コネクタから出力されたＨＤＴＶ信号が、ダウンコンバータ４６によって、標準テレビ［ＮＴＳＣ（National Television System Committee)]方式の映像信号（ＳＤＴＶ信号）に変換（ダウンコンバート）されて、画像処理ユニット１８に入力されるようになっている。 The image processing unit 18 is provided with a video input connector for capturing a video signal, and a video output connector of the camera body 14 is connected to the video input connector via a down converter 46 with a cable. As a result, the HDTV signal output from the video output connector of the camera body 14 is converted (down-converted) into a standard television [NTSC (National Television System Committee)] video signal (SDTV signal) by the down converter 46. Are input to the image processing unit 18.

詳細は後述するが画像処理ユニット１８は、ＡＦ枠自動追尾処理を実行する際に、カメラ本体１４から入力された映像信号から１コマ分の撮撮画像を順次取り込み、撮影画像の中から所定の追尾対象の被写体を検出する処理を行う。そして、ＡＦによりその被写体にピントが合わせられるようにＡＦ枠の範囲を決定し、決定したＡＦ枠の範囲をレンズ装置１２のレンズＣＰＵに送信する。尚、画像処理ユニット１８の構成及び処理内容については後述する。 Although details will be described later, when executing the AF frame automatic tracking process, the image processing unit 18 sequentially captures one frame of the captured image from the video signal input from the camera body 14 and selects a predetermined image from the captured image. A process for detecting the subject to be tracked is performed. Then, the AF frame range is determined so that the subject can be focused by AF, and the determined AF frame range is transmitted to the lens CPU of the lens device 12. The configuration and processing contents of the image processing unit 18 will be described later.

ＡＦ枠操作部２０は、ＡＦ枠自動追尾装置の構成要素であり、画像処理ユニット１８と一体の装置として設けられる。尚、ＡＦ枠操作部２０の一部又は全てが、画像処理ユニット１８とは別体の装置として構成され、画像処理ユニット１８とケーブル等で接続される態様であってもよい。また、本実施形態では、後述するタッチパネル付き液晶ディスプレイ（ＬＣＤ）６６は、画像処理ユニット１８から取り外し可能に構成されている。 The AF frame operation unit 20 is a component of the AF frame automatic tracking device, and is provided as an apparatus integrated with the image processing unit 18. A part or all of the AF frame operation unit 20 may be configured as a separate device from the image processing unit 18 and connected to the image processing unit 18 with a cable or the like. In the present embodiment, a liquid crystal display (LCD) 66 with a touch panel, which will be described later, is configured to be removable from the image processing unit 18.

ＡＦ枠操作部２０は、主にＡＦ枠の制御に関する操作を行うための操作部であり、ＡＦ枠の範囲を操作者がマニュアル操作で指示入力するための操作部材や、ＡＦ枠を所望の被写体に自動で追尾させるＡＦ枠自動追尾に関する操作を行うための操作部材を備えている。 The AF frame operation unit 20 is an operation unit for mainly performing operations related to control of the AF frame, and an operation member for an operator to manually input an AF frame range or an AF frame to a desired subject. There is provided an operation member for performing an operation related to AF frame automatic tracking to be automatically tracked.

詳細は省略するが、ＡＦ枠操作部２０には、ＡＦ枠の位置をユーザの手動操作により上下左右に移動させるための位置操作部材６０（例えば、ジョイスティックやトラックボール）、ＡＦ枠の大きさを手動操作により変更するためのサイズ操作部材６２（例えば、ツマミ)、ＡＦ枠の形状を手動操作により変更するための形状操作部材６４（例えば、ツマミ）、ＡＦ枠自動追尾の開始を指示する追尾開始スイッチ６８、ＡＦ枠自動追尾の停止を指示する追尾停止スイッチ７０が設けられており、これらの操作部材６０、６２、６４、６８、７０の設定状態が、画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により読み取られるようになっている。 Although details are omitted, the AF frame operation unit 20 includes a position operation member 60 (for example, a joystick or a trackball) for moving the position of the AF frame up and down and left and right manually by the user, and the size of the AF frame. A size operation member 62 (for example, a knob) for changing by manual operation, a shape operation member 64 (for example, a knob) for changing the shape of the AF frame by manual operation, and a tracking start for instructing the start of AF frame automatic tracking A switch 68 and a tracking stop switch 70 for instructing stop of AF frame automatic tracking are provided. The setting states of these operation members 60, 62, 64, 68 and 70 are determined by the CPU 38 of the main board 30 in the image processing unit 18. It can be read by.

また、ＡＦ枠操作部２０には、タッチパネル付き液晶ディスプレイ（以下、ＬＣＤという。）６６が設けられている。ＬＣＤ６６は、ＡＦ枠自動追尾に関するモード等の設定をタッチ操作（タップ操作）で入力できるようにしたもので、画像処理ユニット１８のＣＰＵ３８によりＬＣＤ６６に表示される画像が設定内容に応じて適宜切り換えられるようになっている。 The AF frame operation unit 20 is provided with a liquid crystal display (hereinafter referred to as LCD) 66 with a touch panel. The LCD 66 can input settings such as a mode relating to AF frame automatic tracking by a touch operation (tap operation), and an image displayed on the LCD 66 can be appropriately switched according to the setting contents by the CPU 38 of the image processing unit 18. It is like that.

尚、本実施の形態では、後述する全自動追尾モードによるＡＦ枠自動追尾のみが行われる場合には、ＡＦ枠操作部２０の各操作部材６０、６２、６４、６８、７０の一部又は全てが設けられていなくてもよい。また、ＬＣＤ６６も必ずしも設けられていなくてもよい。後述する全自動追尾モードによれば、これらの操作部材６０、６２、６４、６８、７０や、ＬＣＤ６６の操作を必要とすることなく、ＡＦ枠の自動追尾が可能であり、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラに好ましく適用することができる。もし、スペース的に問題なく、操作性にも影響を与えなければ各操作部材６０、６２、６４、６８、７０の一部又は全て、或いはＬＣＤ６６を適宜設けて、ＡＦ枠の位置をマニュアルで変更できるようにしてもよい。 In the present embodiment, when only AF frame automatic tracking in the fully automatic tracking mode described later is performed, some or all of the operation members 60, 62, 64, 68, 70 of the AF frame operation unit 20 are performed. May not be provided. In addition, the LCD 66 is not necessarily provided. According to the fully automatic tracking mode to be described later, the AF frame can be automatically tracked without the need to operate these operating members 60, 62, 64, 68, 70 and the LCD 66, like a handy camera. The present invention can be preferably applied to a small camera in which installation of the AF frame operation device is difficult in terms of space. If there is no problem in space and the operability is not affected, a part or all of each operation member 60, 62, 64, 68, 70, or LCD 66 is provided as appropriate, and the position of the AF frame is changed manually. You may be able to do it.

次に画像処理ユニット１８の構成及び処理内容について説明する。 Next, the configuration and processing contents of the image processing unit 18 will be described.

画像処理ユニット１８は、主としてメインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４から構成されている。メインボード３０、パターンマッチング処理演算ボード３２、顔認識処理演算ボード３４の各々にはＣＰＵ３８、５０、５２が搭載されており、各ボード毎に個別の演算処理が行われると共に、各ＣＰＵ３８、５０、５２は、バスや制御線で接続され、相互にデータのやり取りや、演算処理の同期等が図られるようになっている。 The image processing unit 18 mainly includes a main board 30, a pattern matching processing calculation board 32, and a face recognition processing calculation board 34. The main board 30, the pattern matching processing calculation board 32, and the face recognition processing calculation board 34 are equipped with CPUs 38, 50, 52, respectively, and perform individual calculation processing for each board, and each CPU 38, 50, 52 are connected by a bus or a control line so that data can be exchanged and arithmetic processing can be synchronized with each other.

画像処理ユニット１８における処理は、メインボード３０において統括的に行われるようになっている。そのメインボード３０には、演算処理を行う上記ＣＰＵ３８の他に、ＳＣＩ５８、デコーダ（Ａ／Ｄ変換器）３６、スーパーインポーザ４２、ＲＡＭ３９等が搭載されている。 The processing in the image processing unit 18 is performed on the main board 30 in an integrated manner. The main board 30 is equipped with an SCI 58, a decoder (A / D converter) 36, a superimposer 42, a RAM 39, etc., in addition to the CPU 38 that performs arithmetic processing.

ＳＣＩ５８は、上述のようにレンズ装置１２のＳＣＩ１２ａとの間でシリアル通信を行うためのインターフェース回路であり、上記ＡＦ枠情報等をレンズ装置１２に送信する。 The SCI 58 is an interface circuit for performing serial communication with the SCI 12 a of the lens device 12 as described above, and transmits the AF frame information and the like to the lens device 12.

デコーダ３６は、上記ダウンコンバータ４６から画像処理ユニット１８に入力されるテレビカメラ１０の撮影映像の映像信号（ＳＤＴＶ信号）を、画像処理ユニット１８においてデジタル処理可能なデータに変換するための回路であり、アナログのＳＤＴＶ信号をデジタルデータの映像信号に変換するＡ／Ｄ変換処理等を行っている。このデコーダ３６から出力される撮影映像の映像信号は、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４にも送られ、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４においてもテレビカメラ１０の撮影映像を１コマ単位の撮影画像として取得することができるようになっている。 The decoder 36 is a circuit for converting the video signal (SDTV signal) of the captured video of the television camera 10 input from the down converter 46 to the image processing unit 18 into data that can be digitally processed by the image processing unit 18. A / D conversion processing for converting an analog SDTV signal into a video signal of digital data is performed. The video signal of the captured video output from the decoder 36 is also sent to the pattern matching processing calculation board 32 and the face recognition processing calculation board 34, and the TV camera 10 is also used in the pattern matching processing calculation board 32 and the face recognition processing calculation board 34. The captured video can be acquired as a captured image for each frame.

尚、画像処理ユニット１８は、ＣＰＵ３８により書込み・読出し可能なメモリ等も備えており、処理データの記憶などに適宜使用される。また、このメモリには、後述する全自動追尾モードにおけるＡＦ枠設定処理（図４のステップＳ１０）において設定されるＡＦ枠の位置、大きさ、形状に関する情報が記憶されている。このＡＦ枠の位置、大きさ、形状に関する設定情報は、操作者（カメラマン）の好みに応じてＡＦ枠操作部２０の所定操作により変更可能に構成されていることが好ましい。 The image processing unit 18 also includes a memory that can be written and read by the CPU 38, and is appropriately used for storing processing data. In addition, information regarding the position, size, and shape of the AF frame set in the AF frame setting process (step S10 in FIG. 4) in the fully automatic tracking mode described later is stored in this memory. It is preferable that the setting information regarding the position, size, and shape of the AF frame can be changed by a predetermined operation of the AF frame operation unit 20 according to the preference of the operator (cameraman).

スーパーインポーザ４２は、上記のデコーダ３６により得られた撮影映像の映像信号と、ＣＰＵ３８により生成される画像信号とを合成し、その合成した映像信号をＬＣＤ６６に出力・表示する回路である。これにより、カメラ本体１４に設置されているビューファインダ１６と同様にテレビカメラ１０の撮影映像がＬＣＤ６６に表示されると共に、その撮影映像に重ねて、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像や、タッチパネルでの入力操作を行えるようにしたメニュー画面（メニュー画像）等がＬＣＤ６６に表示される。尚、撮影映像に重畳させることなくＣＰＵ３８で生成された画像のみを表示させることも当然可能である。 The superimposer 42 is a circuit that synthesizes the video signal of the captured video obtained by the decoder 36 and the image signal generated by the CPU 38 and outputs and displays the synthesized video signal on the LCD 66. As a result, the image captured by the television camera 10 is displayed on the LCD 66 in the same way as the viewfinder 16 installed in the camera body 14, and an AF indicating the range of the currently set AF frame is superimposed on the image captured. An image of the frame, a menu screen (menu image) that allows input operations on the touch panel, and the like are displayed on the LCD 66. Of course, it is also possible to display only the image generated by the CPU 38 without being superimposed on the captured video.

ＲＡＭ３９は、ＣＰＵ３８の演算処理において使用するデータを一時的に格納するメモリである。 The RAM 39 is a memory that temporarily stores data used in the arithmetic processing of the CPU 38.

一方、パターンマッチング処理演算ボード３２や顔認識処理演算ボード３４は、パターンマッチングと顔検出・認証処理を個別に行うための演算ボードであり、各々、演算処理を行うＣＰＵ５０、５２の他に画像データを一時的に格納するＶＲＡＭ５４、５６等を備えている。 On the other hand, the pattern matching processing calculation board 32 and the face recognition processing calculation board 34 are calculation boards for individually performing pattern matching and face detection / authentication processing. In addition to the CPUs 50 and 52 that perform calculation processing, image data VRAM 54, 56, etc. are temporarily stored.

また、画像処理ユニット１８には、ＳＤ（Secure Digital）カードやＵＳＢメモリなどの外部メモリとして顔認証データカード７４を装填するスロット（不図示）が設けられており、顔認識により特定の人物の顔を検出する際に、その特定の人物の顔を示す認証データを予め顔認証データカード７４に保存しておき、その顔認証データカード７４をスロットに装填することで、顔認識に必要な認証データを顔認証データカード７４からＣＰＵ３８が読み込めるようになっている。 In addition, the image processing unit 18 is provided with a slot (not shown) into which a face authentication data card 74 is loaded as an external memory such as an SD (Secure Digital) card or a USB memory. Authentication data indicating the face of the specific person is stored in advance in the face authentication data card 74, and the face authentication data card 74 is loaded in the slot so that authentication data necessary for face recognition is detected. Can be read from the face authentication data card 74 by the CPU 38.

続いて、上記のごとく構成された画像処理ユニット１８によるＡＦ枠の制御についてＬＣＤ６６の表示及び操作に関する処理と共に説明する。 Subsequently, control of the AF frame by the image processing unit 18 configured as described above will be described together with processing related to display and operation of the LCD 66.

図３に示すようにＬＣＤ６６の画面６６ａには、テレビカメラ１０の撮影映像に重畳して各種ボタン３００〜３１２からなるメニュー画面（メニュー画像）と、現在設定されているＡＦ枠の範囲を示すＡＦ枠の画像２０４（単にＡＦ枠２０４という）が表示される。メニュー画面の各種ボタン３００〜３１２やＡＦ枠２０４のように撮影映像に重畳される画像は、図１に示した画像処理ユニット１８におけるメインボード３０のＣＰＵ３８により生成され、それらの画像が、スーパーインポーザ４２においてデコーダ３６から出力されるテレビカメラ１０の撮影映像に重畳されてＬＣＤ６６に表示されるようになっている。尚、ＬＣＤ６６の表示（表示内容）に関する制御はＣＰＵ３８により行われるものである。 As shown in FIG. 3, the screen 66a of the LCD 66 has a menu screen (menu image) composed of various buttons 300 to 312 superimposed on the video image taken by the TV camera 10 and an AF indicating the currently set AF frame range. A frame image 204 (simply referred to as AF frame 204) is displayed. Images to be superimposed on the captured video, such as the various buttons 300 to 312 and the AF frame 204 on the menu screen, are generated by the CPU 38 of the main board 30 in the image processing unit 18 shown in FIG. The poser 42 is displayed on the LCD 66 so as to be superimposed on the video image taken by the television camera 10 output from the decoder 36. Control relating to display (display contents) on the LCD 66 is performed by the CPU 38.

一方、ＬＣＤ６６はタッチパネルを備えており、ＬＣＤ６６の画面６６ａに対して指先等が触れるタッチ操作が行われると、触れた位置（座標）を示す位置情報がＣＰＵ３８に与えられるようになっている。これにより、ＬＣＤ６６の画面６６ａに対して行われたタッチ操作の位置や操作の種類（タップ操作、ダブルタップ操作等）がＣＰＵ３８により検出されるようになっている。そして、その操作に従った処理がＣＰＵ３８により実行されるようになっている。 On the other hand, the LCD 66 is provided with a touch panel, and when a touch operation with which a fingertip or the like touches the screen 66a of the LCD 66 is performed, position information indicating the touched position (coordinates) is given to the CPU 38. Thereby, the position of the touch operation performed on the screen 66a of the LCD 66 and the type of operation (tap operation, double tap operation, etc.) are detected by the CPU 38. A process according to the operation is executed by the CPU 38.

ＬＣＤ６６の画面６６ａにおける基本的な操作として、各ボタン３００〜３１２に予め割り当てられた指示を入力する操作や、ＡＦ枠２０４の範囲を指定する操作があり、前者の操作は、各ボタン３００〜３１２の位置を指先等でタップ操作するものである。後者のＡＦ枠２０４の範囲を指定する操作は、例えば、撮影映像が表示されたＬＣＤ６６の画面６６ａ上において、ＡＦ枠２０４を移動させたい位置をタップ操作すれば、その位置が中心となるようにＡＦ枠２０４を移動させることができる。また、ＡＦ枠２０４の頂点や辺を指先等でタッチしてそのままスライドするドラッグ操作によってドラッグ操作した位置までタッチした頂点や辺の位置を移動させてＡＦ枠２０４の大きさや形状を変更することができる。 As basic operations on the screen 66a of the LCD 66, there are an operation of inputting an instruction assigned in advance to each of the buttons 300 to 312 and an operation of designating the range of the AF frame 204. The former operation is performed by using the buttons 300 to 312. Is tapped with a fingertip or the like. The latter operation of designating the range of the AF frame 204 is performed, for example, by tapping the position where the AF frame 204 is to be moved on the screen 66a of the LCD 66 on which the photographed image is displayed, so that the position becomes the center. The AF frame 204 can be moved. Also, the size and shape of the AF frame 204 can be changed by moving the position of the touched vertex or side to the position where the drag operation is performed by a drag operation of touching and sliding the vertex or side of the AF frame 204 with a fingertip or the like. it can.

尚、ＡＦ枠２０４の位置、大きさ、形状は、ＡＦ枠操作部２０の位置操作部材６０、サイズ操作部材６２、形状操作部材６４の操作でも変更可能である。 The position, size, and shape of the AF frame 204 can be changed by operating the position operation member 60, the size operation member 62, and the shape operation member 64 of the AF frame operation unit 20.

ＬＣＤ６６の画面６６ａに表示されるメニュー画面（メニュー画像）について説明すると、図３において、”固定”と表示された固定モード選択ボタン３００、”物体追尾”と表示された物体追尾モード選択ボタン３０２、”顔検出”と表示された顔検出追尾モード選択ボタン３０４、”顔認識”と表示された顔認識追尾モード選択ボタン３０６、”全自動追尾”と表示された全自動追尾モード選択ボタン３０８は、ＡＦ枠の制御モードを選択するボタンであり、これらのボタン３００〜３０８のいずれかをタップ操作することで、固定モード、物体追尾モード、顔検出追尾モード、顔認識追尾モード、全自動追尾モードのうちから所望のモードを選択することできるようになっている。 The menu screen (menu image) displayed on the screen 66a of the LCD 66 will be described. In FIG. 3, a fixed mode selection button 300 displayed as “fixed”, an object tracking mode selection button 302 displayed as “object tracking”, A face detection tracking mode selection button 304 displayed as “face detection”, a face recognition tracking mode selection button 306 displayed as “face recognition”, and a fully automatic tracking mode selection button 308 displayed as “full automatic tracking” This button is used to select an AF frame control mode. By tapping any of these buttons 300 to 308, the fixed mode, object tracking mode, face detection tracking mode, face recognition tracking mode, and fully automatic tracking mode can be selected. A desired mode can be selected from among them.

固定モードは、ＡＦ枠の範囲（位置、大きさ、形状）を操作者がマニュアル操作で指定し、その指定した位置にＡＦ枠を固定するモード（マニュアルモード）である。この固定モードは、カメラをほとんど動かさないニュース番組などでの撮影に有益なモードである。 The fixed mode is a mode (manual mode) in which the operator manually designates the range (position, size, shape) of the AF frame and fixes the AF frame at the designated position. This fixed mode is a mode that is useful for shooting news programs that hardly move the camera.

図３のＬＣＤ６６の画面６６ａにおいて固定モード選択ボタン３００をタップ操作すると固定モードが選択され、画像処理ユニット１８のメインボード３０に搭載されたＣＰＵ３８は、固定モードの処理を実行する。 When the fixed mode selection button 300 is tapped on the screen 66a of the LCD 66 in FIG. 3, the fixed mode is selected, and the CPU 38 mounted on the main board 30 of the image processing unit 18 executes the process of the fixed mode.

即ち、ＣＰＵ３８は、上記のようにＬＣＤ６６の画面６６ａに対するＡＦ枠の範囲を変更する操作や、ＡＦ枠操作部２０に設けられたＡＦ枠２０４をマニュアル操作で変更するための操作部材（位置操作部材６０、サイズ操作部材６２、形状操作部材６４）の操作に基づいてＡＦ枠の範囲を決定する。ＣＰＵ３８は、ＡＦ枠の範囲を決定すると、そのＡＦ枠の範囲を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。 That is, the CPU 38 operates to change the AF frame range on the screen 66a of the LCD 66 as described above, or an operation member (position operation member) for manually changing the AF frame 204 provided in the AF frame operation unit 20. 60, the range of the AF frame is determined based on the operation of the size operation member 62 and the shape operation member 64). When determining the range of the AF frame, the CPU 38 transmits AF frame information indicating the range of the AF frame to the lens CPU of the lens device 12 through the SCI 58.

物体追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、任意の種類の物体をＡＦ枠で追尾させるモードである。この物体追尾モードは、人物の顔以外を追尾する競馬中継、カ−レース中継などでの撮影に有益なモードである。このモードでは、撮影映像に対して操作者が追尾対象としたい任意の物体の画像を含むようにＡＦ枠の範囲を指定すると、その範囲の物体が追尾対象として設定される。そして、その追尾対象の画像が基準パターンとして登録され、パターンマッチング処理演算ボード３２のＣＰＵ５０において、順次得られる撮影画像に対して、基準パターンに一致する画像範囲を検出するためのパターンマッチング処理が行われる。メインボード３０のＣＰＵ３８は、その基準パターンが検出された範囲をＡＦ枠の範囲として決定し、レンズ装置１２のレンズＣＰＵに送信する。尚、ＡＦ枠自動追尾を開始する際にレンズ装置１２においてＡＦによるフォーカス制御が行われていない場合（ＡＦモードとなっていない場合）には、ＡＦ枠自動追尾の開始と連動してＡＦの開始も指示される。 The object tracking mode is one mode for automatically tracking the AF frame, and is a mode for tracking an arbitrary type of object with the AF frame. This object tracking mode is a mode useful for photographing at a horse race relay, a car race relay, etc. for tracking other than a person's face. In this mode, when the range of the AF frame is specified so that the operator includes an image of an arbitrary object that is desired to be a tracking target for the captured video, the object in that range is set as the tracking target. Then, the image to be tracked is registered as a reference pattern, and the CPU 50 of the pattern matching processing calculation board 32 performs pattern matching processing for detecting an image range that matches the reference pattern on the sequentially obtained captured images. Is called. The CPU 38 of the main board 30 determines the range where the reference pattern is detected as the range of the AF frame, and transmits it to the lens CPU of the lens device 12. When focus control by AF is not performed in the lens device 12 when AF frame automatic tracking is started (when AF mode is not set), AF is started in conjunction with the start of AF frame automatic tracking. Is also instructed.

顔検出追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、任意の人物の顔をＡＦ枠で追尾させるモードである。この顔検出追尾モードは、人物の顔を検出して追尾する歌謡番組などでの撮影に有益なモードである。このモードでは、まず、顔認識処理演算ボード３４のＣＰＵ５２において撮影画像の中から任意の人物の顔画像を検出するための周知の顔検出処理が行われる。そして、検出された顔画像の中から追尾対象とする顔画像を操作者が指定すると、その顔画像が追尾対象として設定される。以後、順次得られる撮影画像に対して顔認識処理演算ボード３４のＣＰＵ５２により顔検出処理が行われると共に、検出された顔画像の中から追尾対象の顔画像を特定する処理がメインボード３０のＣＰＵ３８により行われる。メインボード３０のＣＰＵ３８は、検出された追尾対象の顔画像の範囲をＡＦ枠の範囲として決定し、レンズ装置１２のレンズＣＰＵに送信する。 The face detection tracking mode is one mode for automatically tracking the AF frame, and is a mode for tracking the face of an arbitrary person using the AF frame. This face detection tracking mode is a mode useful for shooting in a song program or the like that detects and tracks a person's face. In this mode, first, a well-known face detection process for detecting a face image of an arbitrary person from a photographed image is performed by the CPU 52 of the face recognition processing calculation board 34. When the operator designates a face image to be tracked from the detected face images, the face image is set as the track target. Thereafter, face detection processing is performed on the captured images sequentially obtained by the CPU 52 of the face recognition processing calculation board 34, and processing for specifying a tracking target face image from the detected face images is performed by the CPU 38 of the main board 30. Is done. The CPU 38 of the main board 30 determines the detected range of the face image to be tracked as the range of the AF frame and transmits it to the lens CPU of the lens device 12.

顔認識追尾モードは、ＡＦ枠の自動追尾を行う１つのモードであり、事前に認証データとして登録した人物の顔をＡＦ枠で追尾させるモードである。この顔認識追尾モードは、撮影する人物が事前に決まっている歌謡番組やスポーツ中継などでの撮影に有益なモードである。このモードでは、図１に示したスロット（不図示）に装填された顔認証データカード７４から追尾対象とする人物の顔の認証データが取り込まれる。そして、顔検出追尾モードと同様に顔認識処理演算ボード３４のＣＰＵ５２において顔検出処理が行われると共に、検出された顔画像の中から追尾対象の顔画像が認証データを用いた周知の顔認証処理により検出される。メインボード３０のＣＰＵ３８は、検出された追尾対象の顔画像の範囲をＡＦ枠の範囲として決定し、レンズ装置１２のレンズＣＰＵに送信する。 The face recognition tracking mode is one mode for automatically tracking the AF frame, and is a mode for tracking the face of a person registered in advance as authentication data using the AF frame. This face recognition tracking mode is a mode useful for shooting in a song program or a sports broadcast in which a person to be shot is determined in advance. In this mode, the face authentication data of the person to be tracked is fetched from the face authentication data card 74 loaded in the slot (not shown) shown in FIG. Then, face detection processing is performed in the CPU 52 of the face recognition processing calculation board 34 in the same manner as in the face detection tracking mode, and the face image to be tracked from the detected face images is a well-known face authentication process using authentication data. Is detected. The CPU 38 of the main board 30 determines the detected range of the face image to be tracked as the range of the AF frame and transmits it to the lens CPU of the lens device 12.

全自動追尾モードは、ＡＦ枠自動追尾を行う１つのモードであり、ＡＦ枠自動追尾の開始の指示を操作者が行うことなく、ＡＦ枠の範囲内の被写体（物体または人物の顔）の判別結果に応じて、上述した顔検出追尾モード又は物体追尾モードによるＡＦ枠の自動追尾が自動的に開始されるモードである。この全自動追尾モードについては、後で詳しく説明する。 The fully automatic tracking mode is a mode in which AF frame auto-tracking is performed, and the subject (object or person's face) within the range of the AF frame is determined without the operator giving an instruction to start AF frame auto-tracking. According to the result, the AF frame automatic tracking in the face detection tracking mode or the object tracking mode described above is automatically started. This fully automatic tracking mode will be described in detail later.

尚、図３において、”セット”と表示されたセットボタン３１０と、”リセット”と表示されたリセットボタン３１２は、ＡＦ枠自動追尾の開始と停止を指示するボタンであり、これらのボタン３１０、３１２は、ＡＦ枠自動追尾の開始又は停止の指示を操作者が行う制御モード（物体追尾モード、顔検出モード）が選択された場合にのみ表示される。尚、これらのセットボタン３１０とリセットボタン３１２は、ＡＦ枠操作部２０の追尾開始スイッチ６８と追尾停止スイッチ７０（図１参照）と同様に作用するボタンである。 In FIG. 3, a set button 310 displayed as “SET” and a reset button 312 displayed as “RESET” are buttons for instructing start and stop of AF frame automatic tracking. 312 is displayed only when a control mode (object tracking mode, face detection mode) in which the operator instructs to start or stop AF frame automatic tracking is selected. The set button 310 and the reset button 312 are buttons that operate in the same manner as the tracking start switch 68 and the tracking stop switch 70 (see FIG. 1) of the AF frame operation unit 20.

続いて、上記のごとく構成された画像処理ユニット１８によるＡＦ枠自動追尾において全自動追尾モードが選択されたときの処理について説明する。図４は、画像処理ユニットのＣＰＵにおける全自動追尾モードが選択されたときのＡＦ枠自動追尾の処理手順を示したフローチャートである。 Next, processing when the fully automatic tracking mode is selected in the AF frame automatic tracking by the image processing unit 18 configured as described above will be described. FIG. 4 is a flowchart showing the AF frame automatic tracking processing procedure when the fully automatic tracking mode is selected in the CPU of the image processing unit.

所定操作によって全自動追尾モードが選択されると、まず、メインボード３０のＣＰＵ３８は、ＡＦ枠の範囲を設定するＡＦ枠設定処理を行う（ステップＳ１０）。このＡＦ枠設定処理では、メインボード３０のメモリ（不図示）に記憶されているＡＦ枠の位置、大きさ、形状に関する情報に基づいて、ＡＦ枠が撮影範囲（撮像エリア）の所定位置（例えば中心位置）となるように設定する。そして、このようにして設定したＡＦ枠の範囲（位置、大きさ、形状）を示すＡＦ枠情報をＳＣＩ５８を通じてレンズ装置１２のレンズＣＰＵに送信する。これによって、レンズ装置１２のＡＦユニット４０において設定されるＡＦ枠の範囲がＡＦ枠情報により指定した範囲となる。 When the fully automatic tracking mode is selected by a predetermined operation, first, the CPU 38 of the main board 30 performs an AF frame setting process for setting an AF frame range (step S10). In this AF frame setting process, the AF frame is based on information on the position, size, and shape of the AF frame stored in the memory (not shown) of the main board 30. Center position). Then, AF frame information indicating the range (position, size, shape) of the AF frame set in this way is transmitted to the lens CPU of the lens device 12 through the SCI 58. Thereby, the range of the AF frame set in the AF unit 40 of the lens apparatus 12 becomes the range designated by the AF frame information.

尚、メインボード３０のＣＰＵ３８は、ＬＣＤ６６が接続されているか否かを判断し、ＬＣＤ６６が接続されていないと判断した場合には、全自動追尾モードが選択されているものとして図４に示したフローチャートに従って各処理を行うようになっている。 The CPU 38 of the main board 30 determines whether or not the LCD 66 is connected. If it is determined that the LCD 66 is not connected, the fully automatic tracking mode is selected as shown in FIG. Each process is performed according to the flowchart.

続いてＣＰＵ３８からの指示により顔認識処理演算ボード３４のＣＰＵ５２は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ１２）。そして、その撮影画像の中に含まれる任意の人物の顔（顔画像）を検出する周知の顔検出処理を行う（ステップＳ１４）。尚、ＡＦ枠の範囲を含むＡＦ枠の周辺部分に限定して顔検出処理を行うようにしてもよい。そして、検出した顔画像の範囲をメインボード３０のＣＰＵ３８に通知する。 Subsequently, in response to an instruction from the CPU 38, the CPU 52 of the face recognition processing calculation board 34 takes in the image data of the photographed image for one frame from the decoder 36 (step S12). Then, a known face detection process for detecting a face (face image) of an arbitrary person included in the photographed image is performed (step S14). Note that the face detection process may be performed only on the periphery of the AF frame including the range of the AF frame. Then, the CPU 38 of the main board 30 is notified of the detected face image range.

次にＣＰＵ３８は、ステップＳ１４における顔検出処理によりＡＦ枠内に顔が検出されたか否かを判定する（ステップＳ１６）。ここで、検出された顔の一部がＡＦ枠の範囲内となっている場合には、その顔がＡＦ枠内に検出されたものとする。 Next, the CPU 38 determines whether or not a face is detected in the AF frame by the face detection process in step S14 (step S16). Here, when a part of the detected face is within the range of the AF frame, it is assumed that the face is detected within the AF frame.

このステップＳ１６においてＮＯと判定した場合には、ステップＳ２０〜ステップＳ３０のパターンマッチング処理によるＡＦ枠自動追尾の処理に移行し、ＹＥＳと判定した場合には、ステップＳ４０〜ステップＳ５０の顔検出処理によるＡＦ枠自動追尾の処理に移行する。 If NO is determined in step S16, the process proceeds to AF frame automatic tracking processing by the pattern matching process in steps S20 to S30. If YES is determined, the face detection process is performed in steps S40 to S50. The process proceeds to AF frame automatic tracking processing.

ステップＳ１６においてＮＯと判定した場合、即ち、ＡＦ枠の範囲内に設定された追尾対象の被写体が顔以外の物体と判定した場合には、ＣＰＵ３８（及びパターンマッチング処理演算ボード３２のＣＰＵ５０）は、ステップＳ２０〜ステップＳ３０のパターンマッチング処理によるＡＦ枠自動追尾の処理を開始する。この場合、ＣＰＵ３８は、まず、ステップＳ１２により取り込んだ撮影画像のうちＡＦ枠の範囲内の画像を基準パターンの画像として登録（記憶）する（ステップＳ２０）。そして、以下のステップＳ２２〜Ｓ３０の処理を繰り返し実行する。 If NO is determined in step S16, that is, if it is determined that the tracking target subject set within the range of the AF frame is an object other than the face, the CPU 38 (and the CPU 50 of the pattern matching processing calculation board 32) The AF frame automatic tracking process by the pattern matching process in steps S20 to S30 is started. In this case, the CPU 38 first registers (stores) an image within the range of the AF frame among the captured images captured in step S12 as a reference pattern image (step S20). Then, the following steps S22 to S30 are repeatedly executed.

基準パターンの画像を登録すると、ＣＰＵ３８からの指示によりパターンマッチング処理演算ボード３２のＣＰＵ５０は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ２２）。そして、ＣＰＵ５０は、パターンマッチング処理を行って、撮影画像の中から基準パターンの画像に一致する画像範囲を検出する（ステップＳ２４）。そして、その検出した画像範囲をメインボードのＣＰＵ３８に通知する。 When the image of the reference pattern is registered, the CPU 50 of the pattern matching processing calculation board 32 takes in the image data of the photographed image for one frame from the decoder 36 in accordance with an instruction from the CPU 38 (step S22). Then, the CPU 50 performs a pattern matching process to detect an image range that matches the image of the reference pattern from the captured images (step S24). Then, the detected image range is notified to the CPU 38 of the main board.

続いて、ＣＰＵ３８は、基準パターンの画像が移動したか否か、即ち、基準パターンを検出した画像範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ２６）。尚、撮影画像内での基準パターンの画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。 Subsequently, the CPU 38 determines whether or not the image of the reference pattern has moved, that is, whether or not the image range in which the reference pattern has been detected is different from the currently set AF frame range (step S26). ). It should be noted that the determination processing also determines YES when the size of the image of the reference pattern in the captured image changes.

ステップＳ２６においてＹＥＳと判定した場合には、ステップＳ２４において検出した画像範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ２８）。 If YES is determined in step S26, the image range detected in step S24 is set (updated) as a new AF frame range, and AF frame information indicating the AF frame range is set in the lens CPU of the lens device 12. Transmit (step S28).

また、ステップＳ２４において検出した画像範囲の画像を新たな基準パターンの画像として更新する（ステップＳ３０）。 Further, the image in the image range detected in step S24 is updated as a new reference pattern image (step S30).

ステップＳ２６においてＮＯと判定した場合には、ステップＳ２８におけるＡＦ枠の更新は行わず、ステップＳ３０における基準パターンの更新のみを行う。 If NO is determined in step S26, the AF frame is not updated in step S28, and only the reference pattern is updated in step S30.

ステップＳ３０の処理が終了すると、ステップＳ２２の処理に戻る。 When the process of step S30 ends, the process returns to step S22.

尚、操作者によりＡＦ枠自動追尾の停止を指示する操作、即ち、追尾停止スイッチがオンされると、ＡＦ枠自動追尾の処理を停止し、ステップＳ１０に戻る。即ち、ＡＦ枠が撮影画像の所定位置（例えば中心位置）に戻されて固定され、ＡＦ枠自動追尾が実行されなくなる。 When the operator instructs to stop the AF frame automatic tracking, that is, when the tracking stop switch is turned on, the AF frame automatic tracking process is stopped and the process returns to step S10. That is, the AF frame is returned and fixed to a predetermined position (for example, the center position) of the captured image, and AF frame automatic tracking is not executed.

また、操作者によって追尾対象の被写体を撮影画像から意図的に外すカメラ操作が行われた場合にも、追尾停止スイッチがオンされた場合と同様、ＡＦ枠自動追尾の処理を停止するようにしてもよい。簡易な操作でＡＦ枠自動追尾を停止させることができる。 Also, when the operator performs a camera operation that intentionally removes the subject to be tracked from the captured image, the AF frame automatic tracking process is stopped as in the case where the tracking stop switch is turned on. Also good. The AF frame automatic tracking can be stopped with a simple operation.

一方、ステップＳ１６においてＹＥＳと判定した場合、即ち、ＡＦ枠の範囲内に設定された追尾対象の被写体が顔であると判定した場合には、ＣＰＵ３８（及び顔認識処理演算ボード３４のＣＰＵ５２）は、ステップＳ４０〜ステップＳ５０の顔検出処理によるＡＦ枠自動追尾の処理を開始する。この場合、ＣＰＵ３８は、まず、ＡＦ枠の範囲内に検出された顔に適合する位置、大きさ、形状の範囲となるようにＡＦ枠の範囲を変更（更新）する（ステップＳ４０）。例えば、ステップＳ１４の顔検出処理により検出した際の顔と認識した範囲をＡＦ枠の範囲に変更する。そして、ステップＳ４２〜ステップＳ５０の処理を繰り返す。 On the other hand, if it is determined YES in step S16, that is, if it is determined that the subject to be tracked set within the AF frame is a face, the CPU 38 (and the CPU 52 of the face recognition processing calculation board 34) Then, AF frame automatic tracking processing by the face detection processing in steps S40 to S50 is started. In this case, the CPU 38 first changes (updates) the range of the AF frame so that the position, size, and shape are suitable for the face detected within the range of the AF frame (step S40). For example, the range recognized as the face when detected by the face detection process in step S14 is changed to the AF frame range. And the process of step S42-step S50 is repeated.

ここで、ステップＳ４０のＡＦ枠更新処理について詳しく説明すると、メインボード３０のＣＰＵ３８は、まず、ステップＳ１４における顔検出処理によりＡＦ枠内に検出された顔が１つか否かを判定する（ステップＳ６０）。 Here, the AF frame update process in step S40 will be described in detail. First, the CPU 38 of the main board 30 determines whether or not there is one face detected in the AF frame by the face detection process in step S14 (step S60). ).

このステップＳ６０においてＹＥＳと判定した場合、即ち、ＡＦ枠の範囲内に検出された顔は１つであると判定した場合には、ＣＰＵ３８は、顔検出処理により検出された顔を追尾対象（ＡＦ対象）としてその顔の範囲（顔枠）をＡＦ枠の範囲に変更（更新）する（ステップＳ６２）。 When it is determined YES in step S60, that is, when it is determined that one face is detected within the range of the AF frame, the CPU 38 detects the face detected by the face detection process as the tracking target (AF The face range (face frame) is changed (updated) to the AF frame range as a target (step S62).

一方、ステップＳ６０においてＮＯと判定した場合、即ち、ステップＳ１６における顔検出処理によりＡＦ枠の範囲内に検出された顔は複数であると判定した場合には、ＣＰＵ３８は、これらの複数の顔の大きさに差があるか否かを判定する（ステップＳ６４）。 On the other hand, when it is determined as NO in step S60, that is, when it is determined that there are a plurality of faces detected within the AF frame range by the face detection process in step S16, the CPU 38 determines the plurality of faces. It is determined whether there is a difference in size (step S64).

このステップＳ６４においてＹＥＳと判定した場合、即ち、顔検出処理により検出された複数の顔の大きさに差があると判定した場合には、ＣＰＵ３８は、これらの複数の顔のうち最も大きい顔の範囲をＡＦ枠の範囲に変更（更新）する（ステップＳ６６）。 If it is determined as YES in step S64, that is, if it is determined that there is a difference in the size of the plurality of faces detected by the face detection process, the CPU 38 selects the largest face among the plurality of faces. The range is changed (updated) to the AF frame range (step S66).

一方、ステップＳ６４においてＮＯと判定した場合、即ち、顔検出処理により検出された複数の顔の大きさに差がないと判定した場合には、ＣＰＵ３８は、これらの複数の顔のうちＡＦ枠の範囲の中央側に位置する顔の範囲をＡＦ枠の範囲に変更（更新）する（ステップＳ６８）。 On the other hand, when it is determined as NO in step S64, that is, when it is determined that there is no difference in the sizes of the plurality of faces detected by the face detection process, the CPU 38 selects the AF frame among the plurality of faces. The face range located on the center side of the range is changed (updated) to the AF frame range (step S68).

このようにステップＳ４０のＡＦ枠更新処理では、ＡＦ枠内に複数の人物の顔画像が検出された場合には、複数の顔画像の大きさに差がある場合には最も大きい顔画像を追尾対象（ＡＦの対象）としてその顔画像の範囲（顔枠）にＡＦ枠が設定され、複数の顔画像の大きさに差がない場合（各顔画像の大きさが同一の場合）にはＡＦ枠内の中央側に位置する顔画像を追尾対象（ＡＦの対象）としてその顔画像の範囲（顔枠）にＡＦ枠が設定される。 As described above, in the AF frame update process in step S40, when face images of a plurality of persons are detected in the AF frame, the largest face image is tracked if there is a difference in the size of the plurality of face images. When an AF frame is set in the range (face frame) of the face image as a target (AF target) and there is no difference in the size of the plurality of face images (when the size of each face image is the same), AF An AF frame is set in the range (face frame) of the face image with the face image positioned at the center in the frame as a tracking target (AF target).

次に、ＣＰＵ３８の指示により顔認識処理演算ボード３４のＣＰＵ５２は、デコーダ３６から１コマ分の撮影画像の画像データを取り込む（ステップＳ４２）。そして、ＣＰＵ５２は、ステップＳ１４と同様に、その撮影画像の中に含まれる任意の人物の顔を検出する顔検出処理を行う（ステップＳ４４）。そして、検出した顔画像の範囲をメインボード３０のＣＰＵ３８に通知する。 Next, in response to an instruction from the CPU 38, the CPU 52 of the face recognition processing calculation board 34 takes in the image data of the photographed image for one frame from the decoder 36 (step S42). And CPU52 performs the face detection process which detects the face of the arbitrary persons contained in the picked-up image similarly to step S14 (step S44). Then, the CPU 38 of the main board 30 is notified of the detected face image range.

続いて、ＣＰＵ３８は、検出された顔画像の範囲のうち、現在設定されているＡＦ枠の範囲に最も近接したものを追尾対象の顔画像の範囲として検出する（ステップＳ４６）。尚、ステップＳ４６において、顔を検出する範囲を撮影画像全体の範囲ではなく、現在設定されているＡＦ枠の位置の周辺部分に制限してもよい。 Subsequently, the CPU 38 detects the face image range closest to the currently set AF frame range as the range of the face image to be tracked (step S46). In step S46, the face detection range may be limited to the peripheral portion of the currently set AF frame position instead of the entire captured image range.

そして、ＣＰＵ３８は、追尾対象の顔が移動したか否か、即ち、検出した顔画像の範囲が、現在設定されているＡＦ枠の範囲と相違しているか否かを判定する（ステップＳ４８）。尚、顔画像の大きさが変化した場合もこの判定処理でＹＥＳと判定される。 Then, the CPU 38 determines whether or not the tracking target face has moved, that is, whether or not the detected face image range is different from the currently set AF frame range (step S48). In addition, when the size of the face image is changed, it is determined YES in this determination process.

ステップＳ４８においてＹＥＳと判定した場合には、ステップＳ４６において検出した顔画像の範囲を新たなＡＦ枠の範囲として設定（更新）し、そのＡＦ枠の範囲を示すＡＦ枠情報をレンズ装置１２のレンズＣＰＵに送信する（ステップＳ５０）。そして、ステップＳ４２の処理に戻る。ステップＳ４８においてＮＯと判定した場合には、ステップＳ５０におけるＡＦ枠の更新は行わず、ステップＳ４２の処理に戻る。 If YES is determined in step S48, the face image range detected in step S46 is set (updated) as a new AF frame range, and AF frame information indicating the AF frame range is set in the lens of the lens device 12. It transmits to CPU (step S50). Then, the process returns to step S42. If NO is determined in step S48, the AF frame is not updated in step S50, and the process returns to step S42.

本実施形態のＡＦ枠自動追尾システムによれば、全自動追尾モードによるＡＦ枠の自動追尾処理では、操作者（カメラマン）は、撮影画像の所定位置に設定（固定）されているＡＦ枠の範囲内に追尾対象としたい被写体が含まれるようにテレビカメラの撮影画角をパン／チルト操作などによって設定することによって、ＡＦ枠の範囲内の被写体が人物の顔であるか否かが判定され、その被写体が顔であれば顔検出処理によるＡＦ枠自動追尾が自動的に選択されて実行され、顔以外であればパターンマッチング処理によるＡＦ枠自動追尾が自動的に選択されて実行される。即ち、ＡＦ枠の範囲内の被写体の判別結果に応じて、顔検出追尾モード又は物体追尾モードによるＡＦ枠自動追尾が自動的に開始される。 According to the AF frame automatic tracking system of the present embodiment, in the AF frame automatic tracking process in the fully automatic tracking mode, the operator (cameraman) sets the range of the AF frame that is set (fixed) at a predetermined position of the captured image. By setting the shooting angle of view of the TV camera by pan / tilt operation etc. so that the subject to be tracked is included, it is determined whether or not the subject within the AF frame is a human face, If the subject is a face, AF frame automatic tracking by face detection processing is automatically selected and executed. If the subject is not a face, AF frame automatic tracking by pattern matching processing is automatically selected and executed. That is, the AF frame automatic tracking in the face detection tracking mode or the object tracking mode is automatically started according to the determination result of the subject within the range of the AF frame.

これにより、操作者は、追尾対象としたい被写体が人物の顔であるか否かを意識することなく、しかも自動追尾の開始操作を行うことなく、追尾対象としたい被写体をＡＦ枠の範囲内となるように撮影画角を操作するだけでＡＦ枠自動追尾を行うことができるようになる。したがって、ＡＦ枠自動追尾を開始する際の煩雑な操作が不要となり、操作者の負担を大幅に軽減することができる。 This allows the operator to keep the subject to be tracked within the AF frame without being aware of whether or not the subject to be tracked is a human face and without performing an automatic tracking start operation. Thus, AF frame automatic tracking can be performed simply by operating the shooting angle of view. Therefore, a complicated operation when starting AF frame automatic tracking is not required, and the burden on the operator can be greatly reduced.

ＡＦ枠の範囲内に人物の顔画像が含まれると判定された際、ＡＦ枠の範囲内に複数の人物の顔画像が含まれる場合には、これらの顔画像のうち最も大きい顔画像が追尾対象の顔画像とされる。また、これらの顔画像の大きさが同一である場合には、ＡＦ枠の範囲内の中央側の顔画像が追尾対象の顔画像とされる。これにより、ＡＦ枠の範囲内に複数の人物の顔画像が含まれる場合でも、ＡＦ枠内の顔画像の大きさ又は位置に応じて追尾対象とする顔画像が決定され、煩雑な操作を要することなく、ＡＦ枠自動追尾を開始させることが可能となる。 When it is determined that the face image of a person is included in the range of the AF frame, if the face image of a plurality of persons is included in the range of the AF frame, the largest face image among these face images is tracked. The target face image is used. When these face images have the same size, the face image on the center side within the range of the AF frame is set as the face image to be tracked. As a result, even when face images of a plurality of persons are included in the range of the AF frame, the face image to be tracked is determined according to the size or position of the face image in the AF frame, requiring complicated operations. Thus, AF frame automatic tracking can be started.

また、本実施形態のＡＦ枠自動追尾システムでは、上述のように全自動追尾モードを備えているので、ＡＦ枠操作部２０の一部又は全部（例えば操作部材６０、６２、６４、６８、７０やＬＣＤ６６）が設けられていなくても、全自動追尾モードによるＡＦ枠自動追尾が可能であり、ハンディカメラのようなＡＦ枠操作装置の設置がスペース上困難な小型のカメラにおいても好ましく適用することができる。 In addition, since the AF frame automatic tracking system of the present embodiment includes the fully automatic tracking mode as described above, a part or all of the AF frame operation unit 20 (for example, the operation members 60, 62, 64, 68, and 70). Even if the LCD 66) is not provided, the AF frame automatic tracking in the fully automatic tracking mode is possible, and the present invention is preferably applied to a small camera in which it is difficult to install an AF frame operation device such as a handy camera. Can do.

以上、本発明のＡＦ枠自動追尾システムについて詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。 Although the AF frame automatic tracking system of the present invention has been described in detail above, the present invention is not limited to the above examples, and various improvements and modifications may be made without departing from the spirit of the present invention. Of course.

１…ＡＦ枠自動追尾システム、１０…テレビカメラ、１２…レンズ装置、１４…カメラ本体、１６…ビューファインダ、１８…画像処理ユニット、２０…ＡＦ枠操作部、３０…メインボード、４０…ＡＦユニット、３２…パターンマッチング処理演算ボード、３４…顔認識処理演算ボード、３８、５０、５２…ＣＰＵ、６６…タッチパネル付き液晶ディスプレイ（ＬＣＤ） DESCRIPTION OF SYMBOLS 1 ... AF frame automatic tracking system, 10 ... Television camera, 12 ... Lens apparatus, 14 ... Camera body, 16 ... Viewfinder, 18 ... Image processing unit, 20 ... AF frame operation part, 30 ... Main board, 40 ... AF unit 32 ... Pattern matching processing calculation board, 34 ... Face recognition processing calculation board, 38, 50, 52 ... CPU, 66 ... Liquid crystal display (LCD) with touch panel

Claims

An imaging unit that captures a subject image formed by the optical system, and a focus adjustment of the optical system is performed so that a subject within a predetermined AF frame is in focus among the captured images captured by the imaging unit. Auto-focusing means, and AF frame automatic tracking means for automatically tracking the AF frame to the tracking target subject so that a predetermined tracking target subject is in focus, and automatic tracking by the AF frame automatic tracking means As an operation mode, a face detection tracking mode in which a face to be tracked is detected by face detection processing from captured images that are sequentially captured, and the AF frame is automatically tracked on the face to be tracked, and an image of a subject to be tracked The image of a subject to be tracked is detected by pattern matching processing from captured images that are sequentially captured, and the AF frame is placed on the subject to be tracked. In AF frame auto-tracking system which includes the object tracking mode for dynamic tracking,
AF frame setting means for setting the range of the AF frame to a predetermined position of the captured image;
Subject determination means for determining a subject within the range of the AF frame set by the AF frame setting means;
A start instruction means for determining an operation mode by the AF frame automatic tracking means in accordance with a determination result by the subject determination means, and instructing start of the automatic tracking by the determined operation mode;
An AF frame automatic tracking system characterized by comprising:

2. The AF frame automatic tracking system according to claim 1, wherein the subject determining unit is a unit that determines whether or not a person's face is included in a range of the AF frame. 3.

The start instructing unit instructs the start of the automatic tracking in the face detection tracking mode when the subject determining unit determines that a human face is included in the range of the AF frame. The AF frame automatic tracking system according to claim 2.

When the AF frame automatic tracking means includes a plurality of human faces within the range of the AF frame, the largest face of the plurality of human faces is set as the tracking target face, and the tracking target face is selected. The AF frame automatic tracking system according to claim 3, wherein the AF frame is automatically tracked.

If the size of the faces of the plurality of persons is the same, the AF frame automatic tracking means selects a face located on the center side of the range of the AF frame among the faces of the plurality of persons as a tracking target. The AF frame automatic tracking system according to claim 4, wherein the AF frame is automatically tracked on the face to be tracked as a face.

The start instructing unit instructs the start of the automatic tracking in the object tracking mode when the subject determining unit determines that a human face is not included in the range of the AF frame. The AF frame automatic tracking system according to any one of claims 2 to 5.

The AF frame automatic tracking system according to any one of claims 1 to 6, wherein the AF frame automatic tracking system is mounted on a handy type camera.

The AF frame automatic tracking system according to claim 7, wherein an AF frame operation device that changes a position of the AF frame is not provided.