JP2010004480A

JP2010004480A - Imaging apparatus, control method thereof and program

Info

Publication number: JP2010004480A
Application number: JP2008163664A
Authority: JP
Inventors: Michihiko Tsunekawa; 道彦恒川
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2008-06-23
Filing date: 2008-06-23
Publication date: 2010-01-07

Abstract

【課題】所定の被写体を自動的に撮影できるようにする。
【解決手段】撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置であって、前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理手段と、前記第１の撮影処理手段により撮影された画像から被写体を識別する被写体識別手段と、前記被写体識別手段により識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定手段と、前記被写体特定手段により特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理手段と、前記第１の撮影処理手段により撮影された画像及び前記第２の撮影処理手段により撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理手段とを有する。
【選択図】図５To automatically photograph a predetermined subject.
An imaging apparatus including an imaging unit that performs imaging, wherein the imaging direction of the imaging unit is variable, the first imaging processing unit performing imaging while changing the imaging direction of the imaging unit, and the first Subject identifying means for identifying a subject from an image photographed by one photographing processing means; subject identifying means for identifying a subject based on information from outside among the subjects identified by the subject identifying means; A second imaging processing unit that performs imaging by changing the imaging direction of the imaging unit so as to image the subject specified by the specifying unit; an image captured by the first imaging processing unit; and the second imaging Transmission processing means for transmitting image information of at least one of images taken by the processing means.
[Selection] Figure 5

Description

本発明は、撮像部の撮影方向を可変とした撮像装置、ネットワークシステム、制御方法及びプログラムに関する。 The present invention relates to an imaging apparatus, a network system, a control method, and a program in which the imaging direction of an imaging unit is variable.

近年、専用回線、ＩＳＤＮ等の電話回線、インターネット回線等を用いたテレビ会議システムと称されるネットワークシステムにより、複数の遠隔地間でテレビ会議を行うことが盛んになってきている（例えば、特許文献１参照）。 In recent years, video conferences have been actively conducted between a plurality of remote locations by a network system called a video conference system using a dedicated line, a telephone line such as ISDN, and an Internet line (for example, patents). Reference 1).

ここで、一般的なテレビ会議システムについて図８を参照して説明する。図８は、テレビ会議が行われている状態を示す俯瞰図である。会議テーブル２０１が中央に配置され、会議の出席者２０５〜２０９が会議テーブル２０１を囲むように着席している。会議テーブル２０１上には、会議用の集音マイク２１０が配置されている。会議テーブル２０１の前方には、全ての出席者２０５〜２０９が見られるように大型スクリーンのモニタ２０２が配置されている。モニタ２０２にはスピーカが内蔵されている。また、モニタ２０２の上部やモニタ２０２の側方等には、カメラ２０３、２０４が配置されている。カメラ２０３、２０４は、一点差線で示すように全ての出席者２０５〜２０９を撮影できるように配置されている。 Here, a general video conference system will be described with reference to FIG. FIG. 8 is an overhead view showing a state in which a video conference is being held. A conference table 201 is arranged in the center, and conference attendees 205 to 209 are seated so as to surround the conference table 201. On the conference table 201, a conference sound collecting microphone 210 is arranged. A large screen monitor 202 is arranged in front of the conference table 201 so that all attendees 205 to 209 can be seen. The monitor 202 has a built-in speaker. Cameras 203 and 204 are arranged on the upper part of the monitor 202, the side of the monitor 202, and the like. The cameras 203 and 204 are arranged so that all attendees 205 to 209 can be photographed as indicated by a one-dot chain line.

上述したカメラ２０３、２０４は、レンズ部をパン方向に回動させるパンニング駆動機構及びチルト方向に回動させるチルティング駆動機構を有する、いわゆるパンチルトカメラである。さらに、カメラ２０３、２０４は、ズーム機構を有する。上述したパンニング駆動機構、チルティング駆動機構及びズーム機構は、会議の出席者（例えば出席者２０７）がリモートコントローラ（リモコン２１１）を用いて遠隔操作できるように構成されている。したがって、必要に応じてリモコン２１１を操作することで、例えば出席者２０５〜２０９の一人をズームアップ等することができる。 The cameras 203 and 204 described above are so-called pan / tilt cameras having a panning drive mechanism that rotates the lens unit in the pan direction and a tilting drive mechanism that rotates the lens unit in the tilt direction. Furthermore, the cameras 203 and 204 have a zoom mechanism. The above-described panning drive mechanism, tilting drive mechanism, and zoom mechanism are configured such that a conference attendee (for example, attendee 207) can remotely operate using a remote controller (remote controller 211). Therefore, for example, one of the attendees 205 to 209 can zoom up by operating the remote controller 211 as necessary.

ここで、図８に示すシステムは、同様に構成された一又は複数の遠隔地のシステムと接続されている。すなわち、モニタ２０２等に内蔵されている回路や回線２１２を介して、インターネット２１３に接続され、遠隔地に設置されたシステムと通信することができる。より具体的に説明すると、カメラ２０３、２０４により撮影された映像は、カメラ２０３、２０４又はモニタ２０２内に内蔵されたコーデック回路に入力される。また、集音マイク２１０により集音された音声は、音声ミキシングされて、コーデック回路に入力される。コーデック回路に入力された映像と音声とは、符号化や多重化等の処理が行われた後、回線２１２を介して遠隔地に設置されたシステムに送信される。遠隔地に設置されたシステムでは、符号化等の処理が行われた映像と音声とを、コーデック回路により復号化する。復号化された映像はモニタに出力される。また、復号化された音声は、モニタの内蔵スピーカにより出力される。 Here, the system shown in FIG. 8 is connected to one or more remote systems configured in the same manner. That is, it is possible to communicate with a system installed in a remote place connected to the Internet 213 via a circuit or line 212 built in the monitor 202 or the like. More specifically, video captured by the cameras 203 and 204 is input to a codec circuit built in the cameras 203 and 204 or the monitor 202. The sound collected by the sound collecting microphone 210 is mixed by sound and input to the codec circuit. The video and audio input to the codec circuit are subjected to processing such as encoding and multiplexing, and then transmitted to a system installed at a remote location via the line 212. In a system installed in a remote place, video and audio that have been subjected to processing such as encoding are decoded by a codec circuit. The decoded video is output to the monitor. The decoded sound is output from the built-in speaker of the monitor.

このように構成されたテレビ会議システムでは、モニタ２０２に、遠隔地に設置されたカメラにより撮影された映像と、現地のカメラ２０３、２０４により撮影された映像とが、ピクチャー・イン・ピクチャー形式等で表示される。したがって、複数の遠隔地間でリアルタイムでの会議を行うことができる。 In the video conferencing system configured as described above, a picture taken by a camera installed at a remote place on the monitor 202 and a picture taken by local cameras 203 and 204 are in a picture-in-picture format or the like. Is displayed. Therefore, a real-time conference can be performed between a plurality of remote locations.

特開平６−１４１３１６号公報JP-A-6-141316

しかしながら、上述したテレビ会議システムでは、カメラ２０３、２０４は、全ての出席者２０５〜２０９を撮影できるように配置されているため、モニタ２０２では、出席者が小さく表示されてしまう。例えば、発言者等をモニタ２０２上で確認することが困難になるという問題が生じ、この問題は出席者が多くなるほど顕著になってしまう。 However, in the video conference system described above, the cameras 203 and 204 are arranged so that all attendees 205 to 209 can be photographed, so that the attendees are displayed small on the monitor 202. For example, there arises a problem that it becomes difficult to confirm a speaker or the like on the monitor 202, and this problem becomes more prominent as the number of attendees increases.

ここで、出席者２０７がリモコン２１１を介して、カメラ２０３、２０４に設けられたパンニング駆動機構、チルティング駆動機構及びズーム機構を操作して、発言者等をズームアップして、モニタ２０２上に表示することが考えられる。
しかしながら、この場合、出席者２０７が発言者等を探し出し、リモコン２１１を介して、パンニング駆動機構、チルティング駆動機構及びズーム機構を操作することは容易ではない。また、出席者２０７がリモコン２１１を介して操作した場合、操作情報が送信された後、カメラの姿勢動作、カメラのズーム動作、画像のコーデック処理、画像の伝送及びデコード等を経て、モニタ２０２に表示されるため、表示までの時間を要してしまう。 Here, the attendee 207 operates the panning drive mechanism, the tilting drive mechanism and the zoom mechanism provided in the cameras 203 and 204 via the remote controller 211 to zoom up the speaker and the like on the monitor 202. It is possible to display.
However, in this case, it is not easy for the attendee 207 to search for a speaker or the like and operate the panning drive mechanism, the tilting drive mechanism, and the zoom mechanism via the remote controller 211. Also, when the attendee 207 operates through the remote controller 211, after the operation information is transmitted, the camera pose operation, camera zoom operation, image codec processing, image transmission and decoding, etc. are sent to the monitor 202. Since it is displayed, it takes time to display.

本発明は上述したような問題点に鑑みてなされたものであり、所定の被写体を自動的に撮影できるようにすることを目的とする。 The present invention has been made in view of the above-described problems, and an object thereof is to automatically photograph a predetermined subject.

本発明は、撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置であって、前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理手段と、前記第１の撮影処理手段により撮影された画像から被写体を識別する被写体識別手段と、前記被写体識別手段により識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定手段と、前記被写体特定手段により特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理手段と、前記第１の撮影処理手段により撮影された画像及び前記第２の撮影処理手段により撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理手段とを有することを特徴とする。
本発明は、撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置と、少なくとも表示部を備えた外部機器とがネットワークを介して接続されるネットワークシステムであって、前記撮像装置は、前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理手段と、前記第１の撮影処理手段により撮影された画像から被写体を識別する被写体識別手段と、前記被写体識別手段により識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定手段と、前記被写体特定手段により特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理手段と、前記第１の撮影処理手段により撮影された画像及び前記第２の撮影処理手段により撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理手段とを有し、前記外部機器は、前記撮像装置から受信した画像情報を前記表示部に表示する表示制御手段を有することを特徴とする。
本発明は、撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置の制御方法であって、前記撮像部の撮影方向を変えながら撮影を行う第１の撮影処理ステップと、前記第１の撮影処理ステップにより撮影された画像から被写体を識別する被写体識別ステップと、前記被写体識別ステップにより識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定ステップと、前記被写体特定ステップにより特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理ステップと、前記第１の撮影処理ステップにより撮影された画像及び前記第２の撮影処理ステップにより撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理ステップとを有することを特徴とする。
本発明は、撮影を行う撮像部を備え、前記撮像部の撮影方向を可変とした撮像装置を制御するためのプログラムであって、撮像部の撮影方向を変えながら撮影を行う第１の撮影処理ステップと、前記第１の撮影処理ステップにより撮影された画像から被写体を識別する被写体識別ステップと、前記被写体識別ステップにより識別された被写体のうち、外部からの情報に基づいて被写体を特定する被写体特定ステップと、前記被写体特定ステップにより特定された被写体を撮影するように前記撮像部の撮影方向を変えて撮影を行う第２の撮影処理ステップと、前記第１の撮影処理ステップにより撮影された画像及び前記第２の撮影処理ステップにより撮影された画像のうち少なくとも何れか一方の画像情報を送信する送信処理ステップとをコンピュータに実行させるためのプログラムである。 The present invention is an imaging apparatus that includes an imaging unit that performs imaging, the imaging direction of the imaging unit being variable, and a first imaging processing unit that performs imaging while changing the imaging direction of the imaging unit; Subject identifying means for identifying a subject from an image photographed by one photographing processing means; subject identifying means for identifying a subject based on information from outside among the subjects identified by the subject identifying means; A second imaging processing unit that performs imaging by changing the imaging direction of the imaging unit so that the subject specified by the specifying unit is imaged; an image captured by the first imaging processing unit; and the second imaging Transmission processing means for transmitting image information of at least one of images taken by the processing means.
The present invention is a network system in which an imaging device that performs imaging, an imaging device in which the imaging direction of the imaging unit is variable, and an external device that includes at least a display unit are connected via a network, The imaging apparatus includes: a first imaging processing unit that performs imaging while changing a shooting direction of the imaging unit; a subject identification unit that identifies a subject from an image captured by the first imaging processing unit; and the subject identification unit Shooting is performed by changing the shooting direction of the imaging unit so as to shoot the subject specified by the subject specifying means and the subject specified by the subject specifying means. At least one of a second imaging processing unit, an image captured by the first imaging processing unit, and an image captured by the second imaging processing unit And a transmission processing means for transmitting a square image information, the external device is characterized by comprising a display control means for displaying the image information received from the imaging device to the display unit.
The present invention is a method of controlling an imaging apparatus including an imaging unit that performs imaging, wherein the imaging direction of the imaging unit is variable, and a first imaging process step that performs imaging while changing the imaging direction of the imaging unit; A subject identifying step for identifying a subject from the image photographed in the first photographing processing step, and a subject identifying step for identifying a subject based on information from the outside among the subjects identified by the subject identifying step; , A second shooting process step of shooting by changing the shooting direction of the imaging unit so as to shoot the subject specified by the subject specifying step, the image shot by the first shooting process step, and the first And a transmission processing step of transmitting image information of at least one of the images captured by the two imaging processing steps. To.
The present invention is a program for controlling an imaging apparatus that includes an imaging unit that performs imaging, and in which the imaging direction of the imaging unit is variable, and is a first imaging process that performs imaging while changing the imaging direction of the imaging unit A subject identifying step for identifying the subject from the image photographed in the first photographing processing step; and subject identification for identifying the subject based on information from outside among the subjects identified by the subject identifying step A step, a second photographing process step of photographing by changing a photographing direction of the image pickup unit so as to photograph the subject specified by the subject specifying step, an image photographed by the first photographing processing step, and A transmission processing step of transmitting image information of at least one of the images captured in the second imaging processing step. Is a program for executing the Yuta.

本発明によれば、外部からの情報に基づいて被写体を特定し、所定の被写体（例えば発言者）を自動的に撮影することができる。したがって、本発明の撮像装置をテレビ会議システムに用いた場合、会議の臨場感を損なわず、円滑な会議が可能となる。 According to the present invention, a subject can be specified based on information from the outside, and a predetermined subject (for example, a speaker) can be automatically photographed. Therefore, when the imaging device of the present invention is used in a video conference system, a smooth conference is possible without impairing the sense of reality of the conference.

以下、本発明の実施形態について図面を参照して説明する。
図１は、本実施形態に係る撮像装置であるテレビ会議用モニタリングカメラ（以下、カメラ１００という）の一例を示す外観斜視図である。図２は、カメラ１００を図１に示す矢印Ａ方向からみた背面図である。 Embodiments of the present invention will be described below with reference to the drawings.
FIG. 1 is an external perspective view showing an example of a video conference monitoring camera (hereinafter referred to as a camera 100) which is an imaging apparatus according to the present embodiment. 2 is a rear view of the camera 100 as seen from the direction of the arrow A shown in FIG.

図１に示すように、カメラ１００は、下方から順に本体部６、ディスプレイ５を具備する液晶パン部４、カメラヘッド部２を搭載したパン部３を備え、全体が略円錐台形状を呈する卓上型のカメラである。 As shown in FIG. 1, the camera 100 includes a main body 6, a liquid crystal pan 4 having a display 5, and a pan 3 with a camera head 2 mounted in order from below, and the entire table has a substantially truncated cone shape. A type camera.

パン部３には、水平方向に配置された撮像部であるカメラヘッド部２が搭載されている。カメラヘッド部２は略円柱状をなし、その長手方向における中央にはレンズ部１が設けられている。カメラ１００には、図１及び図２に示すＸ軸を中心としてカメラヘッド部２を回動させるチルティング駆動機構が設けられている。また、カメラ１００には、図１及び図２に示すＺ軸を中心としてパン部３を回動させるパンニング駆動機構が設けられている。パンニング駆動機構としては、例えば差動ギアを用い、さらにスリップリング機構を付加することにより３６０度エンドレスにパンニング可能に構成されている。 The pan unit 3 is equipped with a camera head unit 2 that is an imaging unit arranged in the horizontal direction. The camera head portion 2 has a substantially cylindrical shape, and a lens portion 1 is provided at the center in the longitudinal direction. The camera 100 is provided with a tilting drive mechanism that rotates the camera head unit 2 about the X axis shown in FIGS. 1 and 2. In addition, the camera 100 is provided with a panning drive mechanism that rotates the pan portion 3 about the Z axis shown in FIGS. 1 and 2. As the panning drive mechanism, for example, a differential gear is used, and a slip ring mechanism is further added so that panning can be performed endlessly at 360 degrees.

また、パン部３の外周部には、後述するリモートコントローラ（以下、リモコンという）からの指示を受光するリモコン受光部７、８が左右２箇所に設けられている。また、パン部３の外周部には、音声を入力する音声入力装置としてパン側マイク９が設けられている。 In addition, remote control light receiving portions 7 and 8 that receive instructions from a remote controller (hereinafter referred to as a remote controller), which will be described later, are provided on the outer peripheral portion of the pan portion 3 at two positions on the left and right. A pan side microphone 9 is provided on the outer periphery of the pan unit 3 as a voice input device for inputting voice.

液晶パン部４の外周面には、表示部として液晶ディスプレイ等のディスプレイ５が設けられている。また、液晶パン部４の外周部には、音声を出力する音声出力装置としてスピーカ１０が左右２箇所に設けられている。カメラ１００には、図１及び図２に示すＺ軸を中心として液晶パン部４を回動させるパンニング駆動機構が設けられている。 A display 5 such as a liquid crystal display is provided on the outer peripheral surface of the liquid crystal pan unit 4 as a display unit. Further, on the outer peripheral portion of the liquid crystal pan unit 4, speakers 10 are provided at two places on the left and right sides as a sound output device that outputs sound. The camera 100 is provided with a panning drive mechanism that rotates the liquid crystal pan unit 4 about the Z axis shown in FIGS. 1 and 2.

本体部６の外周部には、音声を入力する音声入力装置として本体側マイク部１１が設けられている。また、図２に示すように、本体部６の外周部には、インターネット接続用の外部インターネット端子１２、メモリ取り付け用のスロット１３、外部マイク端子１４、オーディオ出力端子１５及びビデオ出力端子１６が設けられている。 A main body side microphone unit 11 is provided on the outer periphery of the main body unit 6 as a voice input device for inputting voice. As shown in FIG. 2, an external Internet terminal 12 for connecting to the Internet, a memory mounting slot 13, an external microphone terminal 14, an audio output terminal 15, and a video output terminal 16 are provided on the outer periphery of the main body 6. It has been.

なお、上述したパン部３及び液晶パン部４は、それぞれが互いに独立してパン方向に回動できるように構成する場合について説明したが、この場合に限られずパン部３及び液晶パン部４を一体で構成してもよい。 Although the above-described pan unit 3 and liquid crystal pan unit 4 have been described as being configured to be able to rotate in the pan direction independently of each other, the present invention is not limited to this case, and the pan unit 3 and the liquid crystal pan unit 4 are provided. You may comprise integrally.

次に、カメラ１００の機能構成について図３を参照して説明する。図３はカメラ１００の機能構成を示すブロック図である。
コントローラ２１は、ＣＰＵ、ＲＯＭ、ＲＡＭ、Ｉ／Ｏインターフェース等を内蔵したマイクロコンピュータである。このコントローラ２１の制御に基づいて、カメラ１００の各構成要素が動作する。 Next, the functional configuration of the camera 100 will be described with reference to FIG. FIG. 3 is a block diagram illustrating a functional configuration of the camera 100.
The controller 21 is a microcomputer incorporating a CPU, ROM, RAM, I / O interface, and the like. Based on the control of the controller 21, each component of the camera 100 operates.

例えば、カメラユニット２２により撮影された画像情報は、カメラユニット２２の内部のＣＣＤ等で電気信号に変換され、カメラ回路２３に出力される。その後、画像情報は、液晶表示回路２４に出力され、コントローラ２１の指示によりディスプレイ５に表示される。
また、カメラユニット２２により撮影された画像情報は、同時にカメラ回路２３を介して画像処理回路２６に出力される。そして、画像処理回路２６により画像処理された後、人物認識回路２７により画像に含まれる人物の認識（識別）、確認が行われる。人物の識別情報は、コントローラ２１に出力される。 For example, image information captured by the camera unit 22 is converted into an electrical signal by a CCD or the like inside the camera unit 22 and output to the camera circuit 23. Thereafter, the image information is output to the liquid crystal display circuit 24 and displayed on the display 5 according to an instruction from the controller 21.
Further, image information photographed by the camera unit 22 is simultaneously output to the image processing circuit 26 via the camera circuit 23. After the image processing is performed by the image processing circuit 26, the person recognition circuit 27 recognizes (identifies) and confirms a person included in the image. The person identification information is output to the controller 21.

第１マイク部２８、第２マイク部２９に入力された音声情報は、音声電気信号に変換され、音声回路３０に出力される。音声電気信号は、音声回路３０により増幅、Ａ／Ｄ変換され、コントローラ２１の指示により音量等が適切に調整された後、音声方向検出回路３１に出力される。ここで、例えば第１マイク部２８は、図１に示すパン側マイク９である。また、第２マイク部２９は、図１に示す本体側マイク部１１である。さらに、外部マイク用を接続することができる外部マイク端子１４も設けられている。 The audio information input to the first microphone unit 28 and the second microphone unit 29 is converted into an audio electrical signal and output to the audio circuit 30. The audio electrical signal is amplified and A / D converted by the audio circuit 30, and the sound volume and the like are appropriately adjusted according to an instruction from the controller 21, and then output to the audio direction detection circuit 31. Here, for example, the first microphone unit 28 is the pan-side microphone 9 shown in FIG. Moreover, the 2nd microphone part 29 is the main body side microphone part 11 shown in FIG. Further, an external microphone terminal 14 to which an external microphone can be connected is also provided.

音声方向検出回路３１は、第１マイク部２８、第２マイク部２９等、複数のマイク部に入力された音声信号情報から、音声が発生する方向を検出し、方向情報としてコントローラ２１に出力する。 The sound direction detection circuit 31 detects the direction in which sound is generated from sound signal information input to a plurality of microphone units such as the first microphone unit 28 and the second microphone unit 29, and outputs the detected direction to the controller 21 as direction information. .

カメラ駆動回路／駆動機構３３は、コントローラ２１の指示により、対応するモータを駆動して、フォーカス、ズーム及びアイリスの制御、調整を行う。
また、パンチルト駆動回路／駆動機構３４は、パンニング駆動機構、チルティング駆動機構を駆動する。パンチルト駆動回路／駆動機構３４は、コントローラ２１の指示により、パン／チルト駆動モータを駆動して、カメラユニット２２（図１に示すカメラヘッド部２）の姿勢の駆動動作を制御、位置制御を行う。 The camera drive circuit / drive mechanism 33 controls the focus, zoom, and iris control and adjustment by driving the corresponding motors according to instructions from the controller 21.
The pan / tilt drive circuit / drive mechanism 34 drives a panning drive mechanism and a tilting drive mechanism. The pan / tilt drive circuit / drive mechanism 34 drives the pan / tilt drive motor according to an instruction from the controller 21 to control the drive operation of the posture of the camera unit 22 (camera head unit 2 shown in FIG. 1) and perform position control. .

上述した人物認識回路２７では、人物の認識等を行い、識別情報をコントローラ２１に出力したとき、その時点でのレンズの位置情報をコントローラ２１に出力する。通常、パン方向及びチルト方向に回動できるカメラは、電源投入時又はリセット時にホームポジションを確認するためにイニシャライズ動作を行う必要がある。したがって、イニシャライズ動作されたホームポジション位置からカメラユニット２２がパン方向及びチルト方向に移動した位置までに発生した信号等をカウントすることで、位置情報を検出する。位置情報の検出方法としては、例えばパンニング駆動機構及びチルティング駆動機構を駆動するモータがパルスモータであれば、パルス駆動をカウントすることにより検出する。また、パンニング駆動機構及びチルティング駆動機構を駆動するモータにエンコーダを内蔵されていれば、エンコーダ情報より検出する。さらに、パンニング駆動機構のパン軸及びチルティング駆動機構のチルト軸に外部エンコーダを設けることにより位置情報を検出してもよく、位置情報の検出方法はどのようなものであってもよい。 In the person recognition circuit 27 described above, when a person is recognized and identification information is output to the controller 21, lens position information at that time is output to the controller 21. Normally, a camera that can rotate in the pan direction and the tilt direction needs to perform an initialization operation to confirm the home position when the power is turned on or reset. Accordingly, the position information is detected by counting signals generated from the home position position where the initialization operation has been performed to the position where the camera unit 22 has moved in the pan direction and the tilt direction. As a method for detecting the position information, for example, if the motor driving the panning drive mechanism and the tilting drive mechanism is a pulse motor, the position information is detected by counting the pulse drive. Further, if an encoder is built in the motor that drives the panning drive mechanism and the tilting drive mechanism, the encoder information is detected. Further, the position information may be detected by providing an external encoder on the pan axis of the panning drive mechanism and the tilt axis of the tilting drive mechanism, and any method for detecting the position information may be used.

次に、カメラ回路２３からの映像信号は、ビデオエンコード回路３５に出力され、デジタル信号に符号化される。また、音声回路３０からの音声信号は、オーディオエンコード回路３６に出力され、デジタル信号に符号化される。符号化された映像信号、符号された音声信号及び位置情報等は、多重化回路３７に出力される。多重化回路３７では、映像信号、音声信号及び位置情報等が多重化されて、通信制御回路３８に出力される。その後、これらの信号は、インターネット回路３９を介して、コントローラ２１の指示により図２に示す外部インターネット端子１２から外部に送信される。 Next, the video signal from the camera circuit 23 is output to the video encoding circuit 35 and encoded into a digital signal. The audio signal from the audio circuit 30 is output to the audio encoding circuit 36 and encoded into a digital signal. The encoded video signal, encoded audio signal, position information, and the like are output to the multiplexing circuit 37. In the multiplexing circuit 37, the video signal, the audio signal, the position information, and the like are multiplexed and output to the communication control circuit 38. Thereafter, these signals are transmitted to the outside from the external internet terminal 12 shown in FIG.

一方、インターネットを介して外部から入力された信号は、インターネット回路３９及び通信制御回路３８に入力された後、分離回路４０に出力される。分離回路４０では、多重化された映像信号、音声信号及び位置情報等を分離する。
分離された映像信号は、ビデオデコード回路４１に出力され復号化される。復号化された映像信号は、液晶表示回路２４に出力されて、ディスプレイ５に表示される。また、ビデオ出力端子１６にモニタ等が接続されている場合、復号化された映像信号は、映像表示回路４３に出力されて、モニタにも表示される。
分離された音声信号は、オーディオデコード回路４２に出力され復号化される。復号化された音声信号は、スピーカ駆動回路４５に出力された後、スピーカ１０により音声出力される。また、オーディオ出力端子１５に外部スピーカが接続されている場合、復号化された音声信号は、外部スピーカにより音声出力することができる。
分離回路４０で分離された、遠隔地にある相手側のカメラの位置情報は、コントローラ２１に出力される。 On the other hand, a signal input from the outside via the Internet is input to the Internet circuit 39 and the communication control circuit 38 and then output to the separation circuit 40. The separation circuit 40 separates the multiplexed video signal, audio signal, position information, and the like.
The separated video signal is output to the video decoding circuit 41 and decoded. The decoded video signal is output to the liquid crystal display circuit 24 and displayed on the display 5. When a monitor or the like is connected to the video output terminal 16, the decoded video signal is output to the video display circuit 43 and displayed on the monitor.
The separated audio signal is output to the audio decoding circuit 42 and decoded. The decoded audio signal is output to the speaker drive circuit 45 and then output from the speaker 10. When an external speaker is connected to the audio output terminal 15, the decoded audio signal can be output as audio through the external speaker.
The position information of the remote camera at the remote location separated by the separation circuit 40 is output to the controller 21.

カメラ１００には、記憶装置であるメモリ４８が設けられている。メモリ４８は、カメラ１００に対して着脱可能なメモリ及び内蔵されたメモリ等が含まれる。着脱可能なメモリとして、例えばＣＦカードやＳＤカード等のようなリムーバブル記憶媒体及びリムーバブル型のＨＤ（ハードディスク）等がある。また、内蔵されたメモリとして、例えば内蔵されたＨＤ（ハードディスク）やメモリ等がある。メモリ４８には、インターネットから取得した情報、ユーザが作成又は準備した画像やテキストデータ等を記憶することができる。メモリ４８に記憶されたデータは、コントローラ２１の指示により、例えば液晶表示回路２４を介してディスプレイ５に表示することができる。 The camera 100 is provided with a memory 48 that is a storage device. The memory 48 includes a memory that can be attached to and detached from the camera 100, a built-in memory, and the like. Examples of the removable memory include a removable storage medium such as a CF card and an SD card, and a removable HD (hard disk). In addition, examples of the built-in memory include a built-in HD (hard disk) and a memory. The memory 48 can store information acquired from the Internet, images or text data created or prepared by the user, and the like. The data stored in the memory 48 can be displayed on the display 5 via, for example, the liquid crystal display circuit 24 according to an instruction from the controller 21.

また、リモコン受光部７、８では、リモコンからの指示を受信する。なお、リモコン受光部７、８では、赤外線通信やブルートゥース通信等の無線通信を受信することができる。リモコン受光部７、８で受信された信号は、受信回路５０を介して、コントローラ２１に指示信号として出力される。 The remote control light receiving units 7 and 8 receive instructions from the remote control. The remote control light receiving units 7 and 8 can receive wireless communication such as infrared communication and Bluetooth communication. Signals received by the remote control light receiving units 7 and 8 are output as instruction signals to the controller 21 via the receiving circuit 50.

また、ディスプレイ５の表面にはタッチパネル５１が設けられている。タッチパネル５１には、ユーザのタッチパネル５１に対するタッチパネル操作を検出したり、タッチパネル５１を駆動、制御及び動作させたりするタッチパネル駆動回路５２が接続されている。 A touch panel 51 is provided on the surface of the display 5. Connected to the touch panel 51 is a touch panel drive circuit 52 that detects a touch panel operation of the user on the touch panel 51 and drives, controls, and operates the touch panel 51.

また、パン駆動回路／駆動機構５３は、液晶パン部４のパンニング駆動機構を駆動する回路及び駆動機構である。 The pan driving circuit / driving mechanism 53 is a circuit and driving mechanism for driving the panning driving mechanism of the liquid crystal pan unit 4.

次に、上述したカメラ１００を用いたテレビ会議システムについて、図４を参照して説明する。ここでは、Ｐ地点とＱ地点との間で行うテレビ会議システムについて説明する。図４は、Ｐ地点及びＱ地点で会議が行われている状態を示す俯瞰図である。 Next, a video conference system using the above-described camera 100 will be described with reference to FIG. Here, a video conference system performed between the point P and the point Q will be described. FIG. 4 is a bird's-eye view showing a state in which a conference is held at the P point and the Q point.

図４に示すように、Ｐ地点では、会議テーブル７２が中央に配置され、会議の出席者７７〜８１が会議テーブル７２を囲むように着席している。会議テーブル７２上には、カメラ１００が配置されている。会議テーブル７２の前方には、全ての出席者７７〜８１が見られるように大型スクリーンのモニタ７３が配置されている。モニタ７３にはスピーカが内蔵されている。カメラ１００とモニタ７３とは、映像接続ケーブル７４及び音声接続ケーブル７５により接続されている。また、カメラ１００はインターネット接続用ケーブル７６により、インターネットに接続、通信できるように構成されている。なお、Ｑ地点のシステムも同様な構成であり、カメラ１００やモニタ７３と同様のカメラ１００´やモニタ７３´等が設けられている。ここで、カメラ１００´は、表示部を備えた外部機器に対応する。 As shown in FIG. 4, at the point P, the conference table 72 is arranged in the center, and conference attendees 77 to 81 are seated so as to surround the conference table 72. A camera 100 is disposed on the conference table 72. A large screen monitor 73 is arranged in front of the conference table 72 so that all attendees 77 to 81 can be seen. The monitor 73 has a built-in speaker. The camera 100 and the monitor 73 are connected by a video connection cable 74 and an audio connection cable 75. The camera 100 is configured to be able to connect to and communicate with the Internet via an internet connection cable 76. The system at the point Q has the same configuration, and a camera 100 ′, a monitor 73 ′, and the like similar to the camera 100 and the monitor 73 are provided. Here, the camera 100 ′ corresponds to an external device including a display unit.

会議の出席者７７〜８１のうち出席者７９は、カメラ１００に対して操作を行うことができるリモコン８２を所持している。出席者７９は、リモコン８２を用いてカメラ１００のパン部３や液晶パン部４のパン方向又はチルト方向への回動、ズームアップ、スピーカ１０の音量調整等のカメラ操作を行うことができる。出席者７９は、リモコン８２を用いて、切り替え操作を行うことで、Ｑ地点に設置されたカメラ１００´を操作することもできる。 Among the attendees 77 to 81 of the conference, the attendant 79 has a remote controller 82 that can operate the camera 100. The attendee 79 can use the remote controller 82 to perform camera operations such as turning the pan part 3 and the liquid crystal pan part 4 of the camera 100 in the pan direction or tilt direction, zooming up, and adjusting the volume of the speaker 10. The attendee 79 can also operate the camera 100 ′ installed at the Q point by performing a switching operation using the remote controller 82.

次に、上述したように構成されたカメラ１００の処理動作について図５のフローチャートを参照して説明する。図５に示すフローチャートの処理は、カメラ１００の電源がオンにされてから開始される。なお、ここでは、Ｐ地点に設置されたカメラ１００の処理を中心に説明するが、Ｑ地点に設置されたカメラ１００´においても同様な処理を行う。 Next, the processing operation of the camera 100 configured as described above will be described with reference to the flowchart of FIG. The process of the flowchart shown in FIG. 5 is started after the power of the camera 100 is turned on. Here, the description will focus on the processing of the camera 100 installed at the point P, but the same processing is also performed for the camera 100 ′ installed at the point Q.

まず、ステップＳ１０において、カメラ１００のコントローラ２１は、イニシャライズ動作を行い、カメラユニット２２のホームポジションを確認する。ここで、本実施形態のホームポジション位置は、カメラユニット２２における撮影方向が図４に示す矢印Ｂ方向の位置とする。
次に、ステップＳ１１において、コントローラ２１は、パンチルト駆動回路／駆動機構３４を介して、カメラユニット２２をホームポジション位置から、３６０度、パンニングさせる。ここでは、カメラユニット２２は時計方向に回動するものとする。
このとき、コントローラ２１は、パンニングしているカメラユニット２２により所定間隔で静止画の撮影を行う。具体的には、カメラユニット２２が３６０度回動している間、撮影した静止画を並べたときに少なくとも静止画間で隙間ができないような間隔で撮影を行う。カメラ１００は、出席者７７〜８１の中央に設置されていることから、撮影された画像には被写体として、出席者７７〜８１が洩れなく写っていることになる。なお、カメラユニット２２は、静止画の代わりに動画を撮影してもよい。上述した処理は、第１の撮影処理手段の一例に対応する。 First, in step S 10, the controller 21 of the camera 100 performs an initialization operation and confirms the home position of the camera unit 22. Here, the home position position of the present embodiment is a position in which the shooting direction in the camera unit 22 is in the direction of arrow B shown in FIG.
Next, in step S 11, the controller 21 pans the camera unit 22 360 degrees from the home position via the pan / tilt drive circuit / drive mechanism 34. Here, it is assumed that the camera unit 22 rotates clockwise.
At this time, the controller 21 captures still images at predetermined intervals by the panning camera unit 22. Specifically, while the camera unit 22 is rotated 360 degrees, shooting is performed at intervals such that there is no gap between the still images when the shot still images are arranged. Since the camera 100 is installed at the center of the attendees 77 to 81, the attendees 77 to 81 are captured as a subject in the captured image without omission. The camera unit 22 may shoot a moving image instead of a still image. The above-described processing corresponds to an example of a first photographing processing unit.

次に、ステップＳ１２において、コントローラ２１は、人物認識回路２７を介して、撮影した画像の画像情報から人物の識別を行う。ここで、人物認識回路２７に用いられる人物認識のアルゴリズムとしては、例えば、時間的に近接した２枚の映像を比較し、全く動かないものと僅かに動くものとを識別し、僅かに動くものを人物として特定し、その輪郭を切り抜く方法等がある。上述した処理は、被写体識別手段の一例に対応する。
また、人物の識別を行うとき、コントローラ２１は、識別した人物の位置情報を取得する。具体的には、上述したように、ホームポジション位置からのパンニング機構のパルスモータのパルス駆動をカウントしたり、エンコーダ情報を取得したりすることにより位置情報を取得する。上述した処理は、位置情報取得手段の一例に対応する。 Next, in step S 12, the controller 21 identifies the person from the image information of the photographed image via the person recognition circuit 27. Here, as a human recognition algorithm used in the human recognition circuit 27, for example, two images that are close in time are compared, a moving image is discriminated from a moving image, and a moving image is slightly moved. Is identified as a person, and the outline is cut out. The above-described processing corresponds to an example of subject identification means.
Further, when identifying a person, the controller 21 acquires position information of the identified person. Specifically, as described above, the position information is acquired by counting the pulse drive of the pulse motor of the panning mechanism from the home position position or acquiring encoder information. The above-described processing corresponds to an example of position information acquisition means.

ここで、コントローラ２１は、識別した人物とその人物に対応する位置情報とを関連付けてメモリ４８に記憶する。なお、ステップＳ１２の処理は、ステップＳ１１において、カメラユニット２２が３６０度パンニングし、撮影している処理と並行して行ってもよく、カメラユニット２２が３６０度パンニングし、撮影が終了した後に行ってもよい。また、人物の識別の精度を向上させるために、カメラユニット２２は、再度３６０度パンニングして、人物を確認する処理を行ってもよい。 Here, the controller 21 stores the identified person and the position information corresponding to the person in the memory 48 in association with each other. Note that the process of step S12 may be performed in parallel with the process in which the camera unit 22 pans 360 degrees and shoots in step S11, or after the camera unit 22 pans 360 degrees and shoots. May be. Further, in order to improve the accuracy of person identification, the camera unit 22 may perform a process of confirming the person by panning 360 degrees again.

次に、ステップＳ１３において、撮影した画像をＰ地点又はＱ地点に設置されたモニタ７３、７３´等に表示するために、コントローラ２１は、画像処理回路２６を介してパノラマ画像を生成する。具体的には、ステップＳ１１にて撮影した複数の画像を合成することによりパノラマ画像を生成する。上述した処理は、パノラマ画像生成手段の一例に対応する。
ここで、Ｐ地点において生成されたパノラマ画像の一例を図６（ａ）に示す。図６（ａ）には、カメラユニット２２がパン方向に回動した１周分の画像がパノラマ画像として表示されている。図６（ａ）では、図４に対応する出席者７９、７８、７７、８１、８０が左側から順番に並んで表示されている。また、出席者７７と出席者８１との間には、モニタ７３が表示されている。
ここで、図６（ａ）に示す画像では、人物と人物との間に余分な画像があるため、画像を視聴し難い。そこで、コントローラ２１は、画像処理回路２６を介して、人物と人物との間に生じる空間を間引いて合成した画像を生成する。具体的には、コントローラ２１は、図６（ａ）に示す空間部分ｈ１〜ｈ４を間引いた、人物のサムネイル画像を生成し、合成する。ここで、空間を間引いて生成されたパノラマ画像の一例を図６（ｂ）に示す。図６（ｂ）に示す画像では、人物のみが表示されて、画像が簡略化されるので画像を視聴し易くなる。 Next, in step S 13, the controller 21 generates a panoramic image via the image processing circuit 26 in order to display the photographed image on the monitors 73 and 73 ′ installed at the P point or the Q point. Specifically, a panoramic image is generated by combining a plurality of images taken in step S11. The above-described processing corresponds to an example of a panoramic image generation unit.
Here, an example of the panoramic image generated at the point P is shown in FIG. In FIG. 6A, an image for one round in which the camera unit 22 is rotated in the pan direction is displayed as a panoramic image. In FIG. 6A, attendees 79, 78, 77, 81, and 80 corresponding to FIG. 4 are displayed in order from the left side. A monitor 73 is displayed between the attendee 77 and the attendee 81.
Here, in the image shown in FIG. 6A, since there is an extra image between persons, it is difficult to view the image. Therefore, the controller 21 generates an image synthesized by thinning out a space generated between persons via the image processing circuit 26. Specifically, the controller 21 generates and synthesizes a thumbnail image of a person obtained by thinning out the space portions h1 to h4 shown in FIG. Here, an example of a panoramic image generated by thinning out a space is shown in FIG. In the image shown in FIG. 6B, only the person is displayed and the image is simplified, so that it is easy to view the image.

次に、ステップＳ１４において、コントローラ２１は、通信制御回路３８及びインターネット回路３９を介して、生成したパノラマ画像情報をＱ地点のカメラ１００´に送信する。上述した処理は送信処理手段の一例に対応する。
また、後述するように、パノラマ画像情報を受信したＱ地点のカメラ１００´は、受信したパノラマ画像をカメラ１００´に設けられたディスプレイに表示する。上述した処理は、表示制御手段の一例に対応する。また、パノラマ画像の画像情報を受信したＱ地点のカメラ１００´は、受信したパノラマ画像をカメラ１００´に接続されたモニタ７３´にも表示する。 Next, in step S14, the controller 21 transmits the generated panorama image information to the camera 100 ′ at the Q point via the communication control circuit 38 and the Internet circuit 39. The above-described processing corresponds to an example of transmission processing means.
Further, as will be described later, the camera 100 ′ at the point Q that has received the panoramic image information displays the received panoramic image on a display provided in the camera 100 ′. The above-described processing corresponds to an example of display control means. In addition, the camera 100 ′ at the point Q that has received the image information of the panoramic image also displays the received panoramic image on the monitor 73 ′ connected to the camera 100 ′.

次に、ステップＳ１５において、カメラ１００のコントローラ２１は、外部からの情報を検出したか否か、すなわち音声方向検出回路３１を介して方向情報を取得したか否かを判定する。例えば、会議中に出席者７７〜８１の何れかの者が発言した場合、第１マイク部２８、第２マイク部２９及び外部用マイク等により音声が入力される。入力された音声は、音声回路３０により適正な出力に変更される。音声方向検出回路３１では、第１マイク部２８、第２マイク部２９及び外部用マイクの位置関係から、音声回路３０により変更された音声が、どの方向から入力（発声）されたかを判断し、コントローラ２１に方向情報として出力する。コントローラ２１は、方向情報を取得した場合、ステップＳ１６に処理を進め、方向情報を取得していない場合、ステップＳ１７に処理を進める。 Next, in step S 15, the controller 21 of the camera 100 determines whether or not information from the outside has been detected, that is, whether or not direction information has been acquired via the audio direction detection circuit 31. For example, when any one of the attendees 77 to 81 speaks during the conference, sound is input from the first microphone unit 28, the second microphone unit 29, the external microphone, and the like. The input voice is changed to an appropriate output by the voice circuit 30. The sound direction detection circuit 31 determines from which direction the sound changed by the sound circuit 30 is input (spoken) from the positional relationship of the first microphone unit 28, the second microphone unit 29, and the external microphone, It outputs to the controller 21 as direction information. If the direction information is acquired, the controller 21 proceeds to step S16. If the direction information is not acquired, the controller 21 proceeds to step S17.

ステップＳ１６において、コントローラ２１は、取得した方向情報とステップＳ１２において記憶した位置情報とを比較して、取得した方向情報と合致する又は略合致する位置情報を検出する。次に、コントローラ２１は、検出した位置情報から、位置情報に関連付けて記憶した人物を特定する。上述した処理は被写体特定手段の一例に対応する。
次に、コントローラ２１は、カメラユニット２２の撮影方向が、特定した人物を撮影する方向になるように、パンチルト駆動回路／駆動機構３４を介して、カメラユニット２２をパンニングさせる。なお、このとき、コントローラ２１は、カメラユニット２２の撮影方向が特定した人物になるように、カメラユニット２２をチルティングさせてもよい。また、コントローラ２１は、カメラ駆動回路／駆動機構３３を介して特定した人物をズームアップしてもよい。続いて、コントローラ２１は、カメラユニット２２を介して特定した人物の動画を撮影する。上述した処理は、第２の撮影処理手段の一例に対応する。 In step S16, the controller 21 compares the acquired direction information with the position information stored in step S12, and detects position information that matches or substantially matches the acquired direction information. Next, the controller 21 specifies a person stored in association with the position information from the detected position information. The processing described above corresponds to an example of the subject specifying unit.
Next, the controller 21 pans the camera unit 22 via the pan / tilt drive circuit / drive mechanism 34 so that the shooting direction of the camera unit 22 is the direction of shooting the specified person. At this time, the controller 21 may tilt the camera unit 22 so that the shooting direction of the camera unit 22 is a specified person. Further, the controller 21 may zoom up the person specified via the camera drive circuit / drive mechanism 33. Subsequently, the controller 21 captures a moving image of the person specified through the camera unit 22. The above-described processing corresponds to an example of a second photographing processing unit.

また、コントローラ２１は、通信制御回路３８及びインターネット回路３９を介して、撮影した人物の動画情報を逐次、Ｑ地点のカメラ１００´に送信する。上述した処理は送信処理手段の一例に対応する。
なお、コントローラ２１は、撮影した人物の動画情報をＱ地点のカメラ１００´に最初に送信するとき、特定した人物を識別する特定情報も送信するものとする。 Further, the controller 21 sequentially transmits the moving image information of the photographed person to the camera 100 ′ at the Q point via the communication control circuit 38 and the Internet circuit 39. The above-described processing corresponds to an example of transmission processing means.
Note that when the moving image information of the photographed person is first transmitted to the camera 100 ′ at the Q point, the controller 21 also transmits specific information for identifying the specified person.

次に、動画情報を受信したＱ地点のカメラ１００´は、受信した動画をカメラ１００´に設けられたディスプレイに逐次表示する。上述した処理は、表示制御手段の一例に対応する。また、Ｑ地点のカメラ１００´は、受信した動画をカメラ１００´に接続されたモニタ７３´にも表示する。 Next, the camera 100 ′ at the point Q that has received the moving image information sequentially displays the received moving image on a display provided in the camera 100 ′. The above-described processing corresponds to an example of display control means. Further, the camera 100 ′ at the point Q also displays the received moving image on the monitor 73 ′ connected to the camera 100 ′.

ここで、Ｑ地点のカメラ１００´のディスプレイに表示される画面の画像の一例を図７に示す。なお、Ｑ地点のカメラ１００´に接続されたモニタ７３´にも同様な画像が表示される。図７に示す画面では、表示領域Ｋ１、表示領域Ｋ２及び表示領域Ｋ３に区分けされている。表示領域Ｋ１には、Ｑ地点のカメラ１００´のコントローラが、受信したパノラマ画像を表示する。したがって、表示領域Ｋ１には、Ｐ地点にいる会議の出席者７９、７８、７７、８１、８０のサムネイル画像からなるパノラマ画像が表示される。表示領域Ｋ２には、Ｑ地点のカメラ１００´のコントローラが、受信した動画情報を表示する。ここで、例えばＰ地点において、出席者７７が発言している場合、表示領域Ｋ２には、出席者７７の動画がリアルタイムで表示される。表示領域Ｋ３には、Ｑ地点のカメラ１００´が撮影している画像、すなわちＰ地点のカメラ１００のディスプレイ５に表示されている画像がサブ画面として表示される。 Here, an example of the image of the screen displayed on the display of the camera 100 ′ at the Q point is shown in FIG. A similar image is also displayed on the monitor 73 ′ connected to the camera 100 ′ at the point Q. The screen shown in FIG. 7 is divided into a display area K1, a display area K2, and a display area K3. In the display area K1, the controller of the camera 100 ′ at the point Q displays the received panoramic image. Accordingly, a panoramic image composed of thumbnail images of the attendees 79, 78, 77, 81, and 80 at the point P is displayed in the display area K1. In the display area K2, the controller of the camera 100 'at the point Q displays the received moving image information. Here, for example, when the attendee 77 is speaking at the point P, the moving image of the attendee 77 is displayed in real time in the display area K2. In the display area K3, an image taken by the camera 100 'at the Q point, that is, an image displayed on the display 5 of the camera 100 at the P point is displayed as a sub screen.

また、表示領域Ｋ１には、Ｑ地点のカメラ１００´のコントローラがステップＳ１６で受信した特定情報に基づいて、識別表示を表示している。上述した処理は、識別情報表示制御手段の一例に対応する。具体的には、表示領域Ｋ２において、動画が表示されている出席者７７、すなわち発言者に対応する人物に識別表示が表示されている。ここで、識別表示は、例えば図７に示すように人物の背景の色を変更したり、人物の背景や人物自体を点滅させたりする表示である。なお、識別表示は上述したものに限られず、例えば、図７に示す出席者７９に付加されているようなマーク７９ｂ及びマーク７９ｂを点滅させるようにしてもよく、他の人物と識別できるものであればどのようなものであってもよい。 In the display area K1, an identification display is displayed based on the specific information received by the controller of the camera 100 'at the point Q in step S16. The above-described processing corresponds to an example of identification information display control means. Specifically, in the display area K2, the identification display is displayed on the attendee 77 displaying the moving image, that is, the person corresponding to the speaker. Here, for example, the identification display is a display that changes the background color of the person or blinks the background of the person or the person itself as shown in FIG. Note that the identification display is not limited to that described above. For example, the mark 79b and the mark 79b added to the attendee 79 shown in FIG. Anything is acceptable.

また、図７に示す画面の表示領域Ｋ２の端部には、表示領域８３〜８６が区分けされて表示されている。ここで、Ｑ地点のカメラ１００´はＰ地点のカメラ１００と同様、ディスプレイの表面にタッチパネルが設けられている。したがって、表示領域８３〜８６にディスプレイ操作に関する操作ボタンを割り当てておくことで、Ｑ地点のカメラ１００´は表示領域８３〜８６に応じた処理を行うことができる。例えば、表示領域８３には、表示領域Ｋ２と表示領域Ｋ３とを切り替える表示ボタンａを割り当てる。また、表示領域８４には、カメラ操作に関するコマンドボタンｂを割り当てる。また、表示領域８５には、カメラの起動の終了コマンドを含むメニューボタンｃを割り当てる。また、表示領域８６には、カメラのメモリに記憶されている会議のアジェンダ、原稿及びデータ等を表示したり、選択したりするコマンドボタンｄを割り当てる。また、発言者の順番を決めることにより、タッチパネル上のボタンａ〜ｄ、又はリモコンの操作により、次に発言する予定の人物に液晶パン部をあらかじめ回転させておき、その人物に原稿やデータ等を予め表示しておくことができる。 In addition, display areas 83 to 86 are divided and displayed at the end of the display area K2 of the screen shown in FIG. Here, the camera 100 'at the Q point is provided with a touch panel on the surface of the display, like the camera 100 at the P point. Therefore, by assigning operation buttons related to the display operation to the display areas 83 to 86, the camera 100 'at the Q point can perform processing according to the display areas 83 to 86. For example, the display area 83 is assigned a display button a for switching between the display area K2 and the display area K3. In addition, a command button b related to camera operation is assigned to the display area 84. A menu button c including a camera activation end command is assigned to the display area 85. In addition, a command button d for displaying or selecting a conference agenda, a manuscript and data stored in the memory of the camera is assigned to the display area 86. Further, by determining the order of the speakers, the liquid crystal pan unit is rotated in advance for the person who is scheduled to speak next by operating the buttons a to d on the touch panel or the remote controller, and the manuscript, data, etc. Can be displayed in advance.

次に、図５に示すフローチャートに戻り、ステップＳ１５において、Ｐ地点のカメラ１００が音声を検出せず、ステップＳ１７の処理に進んで場合について説明する。
ステップＳ１７において、カメラ１００のコントローラ２１は、外部からの情報を検出したか否か、すなわち通信制御回路３８及びインターネット回路３９を介して、人物の選択情報を受信したか否かを判定する。より具体的に説明すると、Ｑ地点にいるユーザが、図７に示す表示領域Ｋ１に表示されている出席者７７〜８１のうち任意の人物を直接、押下して、選択するタッチパネル操作を行う場合について想定する。その場合、Ｑ地点のカメラ１００´のコントローラは、タッチパネル駆動回路を介して、タッチパネル操作において選択された人物の選択情報を検出する。上述した処理は選択情報検出手段の一例に対応する。
次に、Ｑ地点のカメラ１００´のコントローラは、検出した選択情報を通信制御回路及びインターネット回路を介してＰ地点のカメラ１００に送信する。上述した処理は選択情報送信処理手段の一例に対応する。
Ｐ地点のカメラ１００のコントローラ２１は、通信制御回路３８及びインターネット回路３９を介して人物の選択情報を受信した場合、ステップＳ１８に処理を進める。上述した処理は選択情報受信処理手段の一例に対応する。人物の選択情報を受信しない場合、ステップＳ１９に処理を進める。 Next, returning to the flowchart shown in FIG. 5, a case will be described in which, in step S15, the camera 100 at the point P does not detect audio and proceeds to the process of step S17.
In step S 17, the controller 21 of the camera 100 determines whether or not information from the outside is detected, that is, whether or not person selection information is received via the communication control circuit 38 and the Internet circuit 39. More specifically, when the user at the point Q performs a touch panel operation to select by directly pressing any person among the attendees 77 to 81 displayed in the display area K1 shown in FIG. Assuming that In that case, the controller of the camera 100 'at the point Q detects selection information of the person selected in the touch panel operation via the touch panel drive circuit. The above-described processing corresponds to an example of selection information detection means.
Next, the controller of the camera 100 'at the Q point transmits the detected selection information to the camera 100 at the P point via the communication control circuit and the Internet circuit. The above-described processing corresponds to an example of a selection information transmission processing unit.
When the controller 21 of the camera 100 at the point P receives the person selection information via the communication control circuit 38 and the Internet circuit 39, the process proceeds to step S18. The above-described processing corresponds to an example of a selection information reception processing unit. If no person selection information is received, the process proceeds to step S19.

ステップＳ１８では、コントローラ２１は取得した選択情報に基づいて人物を特定する。上述した処理は被写体特定手段の一例に対応する。
その後、ステップＳ１６の処理と同様に、コントローラ２１は、カメラユニット２２の撮影方向が、特定した人物を撮影する方向になるように、パンチルト駆動回路／駆動機構３４を介して、カメラユニット２２をパンニングさせる。また、コントローラ２１は、カメラユニット２２を介して特定した人物の動画を撮影する。さらに、コントローラ２１は、通信制御回路３８及びインターネット回路３９を介して、撮影した人物の動画の動画情報を逐次、Ｑ地点のカメラ１００´に送信する。Ｑ地点のカメラ１００´のディスプレイでは、タッチパネル操作において選択された人物が動画で表示される。
その後、ステップＳ１５に戻り、カメラ１００のコントローラ２１は、音声方向検出回路３１を介して方向情報を取得したか否かを判定する。 In step S18, the controller 21 specifies a person based on the acquired selection information. The processing described above corresponds to an example of the subject specifying unit.
Thereafter, similarly to the process of step S16, the controller 21 pans the camera unit 22 via the pan / tilt drive circuit / drive mechanism 34 so that the shooting direction of the camera unit 22 is the shooting direction of the specified person. Let Further, the controller 21 captures a moving image of the person specified through the camera unit 22. Furthermore, the controller 21 sequentially transmits the moving image information of the moving image of the photographed person to the camera 100 ′ at the Q point via the communication control circuit 38 and the Internet circuit 39. On the display of the camera 100 'at the point Q, the person selected in the touch panel operation is displayed as a moving image.
Thereafter, the process returns to step S 15, and the controller 21 of the camera 100 determines whether or not direction information has been acquired via the audio direction detection circuit 31.

ステップＳ１７において、コントローラ２１が、人物の選択情報を取得せず、ステップＳ１９の処理に進んだ場合について説明する。
ステップＳ１９では、コントローラ２１が、タッチパネル駆動回路５２を介して、ユーザによるタッチパネル操作を検出したか否かを判定する。コントローラ２１は、タッチパネル操作を検出した場合、ステップＳ２０に処理を進め、タッチパネル操作を検出しない場合、ステップＳ１５に処理を進める。 A case will be described in which the controller 21 proceeds to the process of step S19 without acquiring the person selection information in step S17.
In step S 19, the controller 21 determines whether or not the user has detected a touch panel operation via the touch panel drive circuit 52. If the controller 21 detects a touch panel operation, the process proceeds to step S20. If the touch panel operation is not detected, the controller 21 proceeds to step S15.

ステップＳ２０において、コントローラ２１は、タッチパネル駆動回路５２を介して、タッチパネル操作が撮影を終了する指示であるか否かを判定する。コントローラ２１は、撮影を終了する指示のタッチパネル操作である場合、図５に示すフローチャートを終了し、その他の指示のタッチパネル操作である場合、ステップＳ２１に処理を進める。
ステップＳ２１では、コントローラ２１は、タッチパネル操作に応じた処理を行う。例えば、タッチパネル操作がメモリ４８に記憶されている会議のアジェンダ、原稿及びデータ等をディスプレイ５に表示する指示の場合、コントローラ２１はこの指示に応じた処理を行う。 In step S 20, the controller 21 determines whether or not the touch panel operation is an instruction to end shooting through the touch panel drive circuit 52. The controller 21 ends the flowchart shown in FIG. 5 when the touch panel operation is an instruction to end the shooting, and proceeds to step S21 when the touch panel operation is another instruction.
In step S21, the controller 21 performs processing according to the touch panel operation. For example, in the case where the touch panel operation is an instruction to display the conference agenda, manuscript, data, and the like stored in the memory 48 on the display 5, the controller 21 performs processing according to this instruction.

また、会議中には出席者が退席したり、新たな出席者が参加したりする場合がある。そこで、上述したステップＳ１６又はステップＳ１８において、カメラユニット２２をパンニングさせるときに、コントローラ２１は、パンニングしているカメラユニット２２により再度、所定間隔で静止画の撮影を行ってもよい。静止画の撮影を行った後、上述したステップＳ１２〜ステップＳ１４のように、再度、人物を認識する等の処理を行うことにより、コントローラ２１は、動画を撮影するための人物特定の精度を向上させることができる。また、Ｑ地点において、ディスプレイ及びモニタにより、現在Ｐ地点の会議に参加している出席者を確認することができる。 Also, attendees may leave the meeting or new attendees may join during the meeting. Therefore, when panning the camera unit 22 in the above-described step S16 or step S18, the controller 21 may again take a still image at a predetermined interval by the panning camera unit 22. After capturing a still image, the controller 21 improves the accuracy of identifying a person for capturing a moving image by performing processing such as recognizing a person again as in steps S12 to S14 described above. Can be made. In addition, at the Q point, the attendees currently participating in the conference at the P point can be confirmed by the display and the monitor.

このように、本実施形態によれば所定の被写体、すなわち発言者や他地点のユーザによって選択された人物の動画を自動的にリアルタイムで撮影することができる。したがって、例えばユーザがリモコンにより発言者や選択された人物を撮影する操作等を行う必要がないので、撮影を円滑に行うことができる。
また、他地点のディスプレイ又はモニタには、表示された複数の人物のうち、発言者には識別表示が表示されるため、視聴者は容易に発言者を特定することができる。 As described above, according to the present embodiment, a moving image of a predetermined subject, that is, a person selected by a speaker or a user at another point can be automatically captured in real time. Therefore, for example, since it is not necessary for the user to perform an operation of photographing a speaker or a selected person using the remote controller, photographing can be performed smoothly.
Moreover, since the identification display is displayed on the speaker among the plurality of displayed persons on the display or monitor at another point, the viewer can easily identify the speaker.

また、テレビ会議システムに用いるときに、カメラ１００を会議テーブル７２の中央に配置することにより、カメラ１００から会議の出席者７７〜８１までの距離が略同じ距離であり、全ての出席者７７〜８１を撮影することができる。
また、カメラ１００にはディスプレイ５とスピーカ１０とが設けられている。ディスプレイ５には他の地点の発言者の動画が表示されると共に、スピーカ１０では発言者の音声が出力される。このように映像の出力方向と音声の出力方向とが同一であるために、視聴者は違和感なく視聴することができる。 When the camera 100 is used in the video conference system, the camera 100 is arranged at the center of the conference table 72 so that the distance from the camera 100 to the conference attendees 77 to 81 is substantially the same. 81 can be photographed.
The camera 100 is provided with a display 5 and a speaker 10. A video of a speaker at another point is displayed on the display 5, and a voice of the speaker is output from the speaker 10. Since the video output direction and the audio output direction are the same in this way, the viewer can view without discomfort.

また、カメラ１００にはカメラユニット２２とパン側マイク９とが設けられている。カメラユニット２２では発言者の動画を撮影すると共にパン側マイク９では音声を入力する。このように、撮影の入力方向と音声の入力方向とが同一であるため、発言者の撮影及び発言者の音声の何れも良好に入力することができる。
また、パン部３と液晶パン部４とが同期して回動する場合、発言者はディスプレイ５を見ながら発言するため、発言者の顔正面とカメラユニット２２のレンズ部１とが対面する。したがって、他の地点のディスプレイには、発言者の顔正面の動画が表示されるために、顔の表情の変化等が分かり、会議の臨場感を向上させることができる。 The camera 100 is provided with a camera unit 22 and a pan-side microphone 9. The camera unit 22 takes a video of the speaker and the pan side microphone 9 inputs voice. As described above, since the shooting input direction and the voice input direction are the same, both the shooting of the speaker and the voice of the speaker can be input satisfactorily.
Further, when the pan unit 3 and the liquid crystal pan unit 4 rotate in synchronization, the speaker speaks while looking at the display 5, so the front face of the speaker and the lens unit 1 of the camera unit 22 face each other. Therefore, since the moving image in front of the speaker's face is displayed on the display at other points, changes in facial expressions and the like can be known, and the realism of the conference can be improved.

なお、本実施形態ではＰ地点のカメラ１００とＱ地点のカメラ１００´とを接続してテレビ会議システムを構成したが、他の複数の地点のカメラと接続してテレビ会議システムを構成してもよい。
また、本実施形態ではテレビ会議モニタリングカメラをテレビ会議システムに用いる場合について説明したが、この場合に限られない。例えば家庭でのコミュニケーションカメラやネットワークカメラ等を用いてシステムを構成してもよい。また、管理カメラやセキュリティカメラ等を用いてセキュリティシステムを構成してもよい。
また、本実施形態では、カメラユニット２２が撮影する被写体を人物とする場合についてのみ説明したが、この場合に限られない。例えば、被写体は動物や物品であってもよい。 In this embodiment, the video conference system is configured by connecting the camera 100 at the point P and the camera 100 'at the point Q. However, the video conference system may be configured by connecting the camera at other points. Good.
Moreover, although this embodiment demonstrated the case where a video conference monitoring camera was used for a video conference system, it is not restricted to this case. For example, the system may be configured using a home communication camera, a network camera, or the like. In addition, a security system may be configured using a management camera, a security camera, or the like.
In the present embodiment, the case where the subject to be photographed by the camera unit 22 is a person has been described, but the present invention is not limited to this case. For example, the subject may be an animal or an article.

上述した本発明の実施形態における撮像装置及びネットワークシステムを構成する各手段、並びに撮像装置の制御方法の各ステップは、コンピュータのＲＡＭやＲＯＭ等に記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。 Each unit constituting the imaging apparatus and the network system and the steps of the imaging apparatus control method in the embodiment of the present invention described above can be realized by operating a program stored in a RAM, a ROM, or the like of the computer. This program and a computer-readable recording medium recording the program are included in the present invention.

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体等としての実施形態も可能であり、具体的には、一つの機器からなる装置に適用してもよい。 Further, the present invention can be implemented as, for example, a system, apparatus, method, program, or recording medium, and may be applied to an apparatus composed of a single device.

なお、本発明は、上述した実施形態の機能を実現するソフトウェアのプログラムを、システム又は装置に直接、又は遠隔から供給する。そして、そのシステム又は装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。 The present invention supplies a software program for realizing the functions of the above-described embodiments directly or remotely to a system or apparatus. In addition, this includes a case where the system or the computer of the apparatus is also achieved by reading and executing the supplied program code.

従って、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。 Accordingly, since the functions of the present invention are implemented by computer, the program code installed in the computer also implements the present invention. In other words, the present invention includes a computer program itself for realizing the functional processing of the present invention. In that case, as long as it has the function of a program, it may be in the form of object code, a program executed by an interpreter, script data supplied to the OS, and the like.

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。更に、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳ等が、実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。 Further, the functions of the above-described embodiments are realized by the computer executing the read program. Furthermore, based on the instructions of the program, an OS or the like running on the computer performs part or all of the actual processing, and the functions of the above-described embodiments can be realized by the processing.

更に、その他の方法として、まず記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現される。 As another method, a program read from a recording medium is first written in a memory provided in a function expansion board inserted into the computer or a function expansion unit connected to the computer. Then, based on the instructions of the program, the CPU or the like provided in the function expansion board or function expansion unit performs part or all of the actual processing, and the functions of the above-described embodiments are also realized by the processing.

本実施形態に係るカメラの斜視図である。It is a perspective view of the camera concerning this embodiment. 本実施形態に係るカメラの背面図である。It is a rear view of the camera concerning this embodiment. 本実施形態に係るカメラのブロック図である。It is a block diagram of the camera concerning this embodiment. 本実施形態に係るテレビ会議システムの構成を示す図である。It is a figure which shows the structure of the video conference system which concerns on this embodiment. 本実施形態に係るカメラの動作処理を示すフローチャートである。It is a flowchart which shows the operation | movement process of the camera which concerns on this embodiment. 本実施形態に係るパノラマ画像の一例を示す図である。It is a figure which shows an example of the panoramic image which concerns on this embodiment. 遠隔地のディスプレイに表示される画像の一例を示す図である。It is a figure which shows an example of the image displayed on the display of a remote place. 従来のテレビ会議システムの構成の一部を示す図である。It is a figure which shows a part of structure of the conventional video conference system.

Explanation of symbols

１００カメラ
１レンズ部
２カメラヘッド部
３パン部
４液晶パン部
５ディスプレイ
６本体部
７リモコン受光部
８リモコン受光部
９パン側マイク
１０スピーカ
１１本体側マイク部
１２外部インターネット端子
１３メモリスロット
１４外部マイク端子
１５オーディオ出力端子
１６ビデオ出力端子
２１コントローラ
２２カメラユニット
２３カメラ回路
２４液晶表示回路
２６画像処理回路
２７人物認識回路
２８第１マイク部
２９第２マイク部
３０音声回路
３１音声方向検出回路
３２外部マイク端子
３３カメラ駆動回路／駆動機構
３４パンチルト駆動回路／駆動機構
３５ビデオエンコード回路
３６オーディオエンコード回路
３７多重化回路
３８通信制御回路
３９インターネット回路
４０分離回路
４１ビデオデコード回路
４２オーディオデコード回路
４３映像表示回路
４５スピーカ駆動回路
４８メモリ
５０受信回路
５１タッチパネル
５２タッチパネル駆動回路／駆動機構
５３パン駆動回路／駆動機構
７２会議テーブル
７３モニタ DESCRIPTION OF SYMBOLS 100 Camera 1 Lens part 2 Camera head part 3 Pan part 4 Liquid crystal pan part 5 Display 6 Main body part 7 Remote control light-receiving part 8 Remote control light-receiving part 9 Pan side microphone 10 Speaker 11 Main body side microphone part 12 External Internet terminal 13 Memory slot 14 External microphone Terminal 15 Audio output terminal 16 Video output terminal 21 Controller 22 Camera unit 23 Camera circuit 24 Liquid crystal display circuit 26 Image processing circuit 27 Person recognition circuit 28 First microphone unit 29 Second microphone unit 30 Audio circuit 31 Audio direction detection circuit 32 External microphone Terminal 33 Camera drive circuit / drive mechanism 34 Pan / tilt drive circuit / drive mechanism 35 Video encode circuit 36 Audio encode circuit 37 Multiplex circuit 38 Communication control circuit 39 Internet circuit 40 Separation circuit 41 Video Audio decoding circuit 42 Audio decoding circuit 43 Video display circuit 45 Speaker driving circuit 48 Memory 50 Reception circuit 51 Touch panel 52 Touch panel driving circuit / driving mechanism 53 Pan driving circuit / driving mechanism 72 Conference table 73 Monitor

Claims

An imaging apparatus comprising an imaging unit that performs imaging, wherein the imaging direction of the imaging unit is variable,
First imaging processing means for imaging while changing the imaging direction of the imaging unit;
Subject identifying means for identifying a subject from an image photographed by the first photographing processing means;
Subject identifying means for identifying a subject based on information from outside among the subjects identified by the subject identifying means;
Second imaging processing means for performing imaging by changing the imaging direction of the imaging unit so as to image the subject specified by the subject specifying means;
An image pickup apparatus comprising: transmission processing means for transmitting image information of at least one of the image photographed by the first photographing processing means and the image photographed by the second photographing processing means. .

The imaging apparatus according to claim 1, wherein the imaging apparatus is a desktop imaging apparatus, wherein at least panning of the imaging unit is possible.

The imaging apparatus according to claim 2, wherein panning is possible in an endless manner of 360 degrees.

It further has voice input means for inputting voice,
The imaging apparatus according to claim 1, wherein the subject specifying unit specifies a subject based on direction information of a voice input by the voice input unit.

A selection information reception processing means for receiving selection information of a subject selected from the subjects identified by the subject identification means;
The imaging apparatus according to claim 1, wherein the subject specifying unit specifies a subject based on the subject selection information received by the selection information reception processing unit.

Further comprising position information acquisition means for acquiring position information of the subject identified by the subject identification means;
The said 2nd imaging | photography process means changes the imaging | photography direction of the said imaging part based on the positional information acquired by the said positional information acquisition means, The any one of Claim 1 thru | or 5 characterized by the above-mentioned. Imaging device.

Panoramic image generation means for generating a panoramic image from the image captured by the first imaging processing means;
The transmission processing unit transmits a panoramic image generated by the panoramic image generation unit as an image captured by the first imaging processing unit. The imaging device described.

The imaging apparatus according to claim 7, wherein the panoramic image generation unit generates a panoramic image by thinning out a space portion generated between a plurality of subjects identified by the subject identification unit.

8. The information processing apparatus according to claim 7, further comprising identification information display control means for displaying identification information for identifying a subject photographed by the second photographing processing means in the panoramic image generated by the panoramic image generating means. Or the imaging device of 8.

The imaging apparatus according to claim 1, further comprising a display unit that displays an image.

The imaging apparatus according to claim 10, wherein a direction of the display unit is variable.

A network system including an imaging unit that performs imaging, an imaging device in which the imaging direction of the imaging unit is variable, and an external device including at least a display unit are connected via a network,
The imaging device
First imaging processing means for imaging while changing the imaging direction of the imaging unit;
Subject identifying means for identifying a subject from an image photographed by the first photographing processing means;
Subject identifying means for identifying a subject based on information from outside among the subjects identified by the subject identifying means;
Second imaging processing means for performing imaging by changing the imaging direction of the imaging unit so as to image the subject specified by the subject specifying means;
Transmission processing means for transmitting image information of at least one of the image photographed by the first photographing processing means and the image photographed by the second photographing processing means,
The external device is
A network system comprising display control means for displaying image information received from the imaging device on the display unit.

An imaging apparatus control method comprising an imaging section for performing imaging, wherein the imaging direction of the imaging section is variable,
A first shooting process step of shooting while changing the shooting direction of the imaging unit;
A subject identifying step for identifying a subject from the image photographed in the first photographing processing step;
A subject identifying step for identifying a subject based on information from the outside among the subjects identified in the subject identifying step;
A second shooting process step of shooting by changing the shooting direction of the imaging unit so as to shoot the subject specified in the subject specifying step;
An imaging apparatus comprising: a transmission processing step for transmitting image information of at least one of the image captured by the first imaging processing step and the image captured by the second imaging processing step. Control method.

A program for controlling an image pickup apparatus that includes an image pickup unit that performs shooting, and in which the shooting direction of the image pickup unit is variable,
A first shooting process step of shooting while changing the shooting direction of the imaging unit;
A subject identifying step for identifying a subject from the image photographed in the first photographing processing step;
A subject identifying step for identifying a subject based on information from the outside among the subjects identified in the subject identifying step;
A second shooting process step of shooting by changing the shooting direction of the imaging unit so as to shoot the subject specified in the subject specifying step;
A program for causing a computer to execute a transmission processing step of transmitting image information of at least one of an image photographed in the first photographing processing step and an image photographed in the second photographing processing step.