JP2010239416A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】装置の大きさやパノラマ合成といった犠牲を払うことなく、全方位撮影と距離測定とを行う。
【解決手段】全方位ステレオ撮像装置１は、距離撮像部１０と全方位撮像部２０とが機械式支持体３０を介して垂直に配置されて構成されている。全方位撮像部２０には、全方位ステレオ撮像装置１の水平方向の全方位を撮像可能となるように、６つの撮像部２１ａ〜２１ｆが全方位撮像部２０の外周に沿って円周状に配置されている。距離撮像部１０は、１つの撮像部１１を備え、図示しないレンズの光軸が全方位撮像部２０の所定の撮像部の光軸と平行となるように機械式支持体３０に支持されている。全方位撮像部２０により全方位画像を撮像することができ、距離撮像部１０により視差画像を撮像し、被写体との距離を算出することができる。
【選択図】 図１

Description

本発明は撮像装置及びその制御方法に係り、特に全方位撮像と距離測定とを行う撮像装置及びその制御方法に関する。

近年、複数のカメラを円周上に配置し、全周囲（全方位）を撮影可能とする装置が提案されている。このような複眼全方位撮像装置は、一度の撮影で全方位を撮影できることから、１つのカメラによって複数回にわたって全方位を撮影するよりも広域かつ高解像度な映像を得ることができる。

また、複数のカメラをステレオ配置し、視差のある映像を撮影できる装置が提案されている。この視差のある映像を画像処理することで、装置から被写体までの距離を測定することができる。

そして、これらの装置を組み合わせて、全方位撮影と距離測定との両方が可能な装置が提案されている。例えば特許文献１には、複数のカメラを基準平面上にそれぞれ支持する複数の支持部材を、多面体の全ての面に着脱自在に取り付けた装置が記載されている。

特開２００１−２８５６９２号公報

ここで、ステレオ配置した２つのカメラを用いた距離の測定について説明する。図２３に示すように、まず２つのカメラ１００とカメラ１０１とを、そのレンズの光軸が平行となるように距離Ｄだけ離して配置する。この２つのカメラによって、距離を測定したい被写体１０２を撮像する。

次に、カメラ１００で撮像した映像から被写体１０２の位置を解析し、被写体１０２が存在する方向と、各カメラの基線と平行な直線との角度αを算出する。同様に、カメラ１０１で撮像した映像から被写体１０２の位置を解析し、被写体１０２が存在する方向と、前記基線と平行な直線との角度βを算出する。

この距離Ｄ、角度α、βから、カメラ１００と被写体１０２との距離Ｘは、三角法により下記の式により算出される。

上記の式から、より遠方の被写体までの距離を求める場合には、Ｄを大きくする必要があることがわかる。

図２４は、距離測定が可能な複眼全方位撮像装置を上面から見た図である。同図に示すように、複眼全方位撮像装置は、カメラの数が多いことから装置の構成が大きくなる傾向があるが、ステレオ撮影するためのカメラを追加することにより、さらに装置の構成が大きくなる。また、ステレオ撮影するためのカメラを追加することで、全方位撮像のカメラ間の視差が大きくなり、パノラマ合成といった合成処理ができなくなるという問題が生じる。

加えて、遠方の被写体との距離を測定するために距離Ｄを大きくしようとすると、さらに装置全体が大きくなるという問題点が発生する。

本発明はこのような事情に鑑みてなされたもので、装置の大きさやパノラマ合成といった犠牲を払うことなく、全方位撮影と距離測定とを行うことができる撮像装置及びその制御方法を提供することを目的とする。

前記目的を達成するために請求項１に記載の撮像装置は、受光した被写体の光学像を画像信号に変換する複数の第１の撮像手段が水平方向の略円周上に外周側を撮像するように配置された広角撮像手段であって、隣り合う第１の撮像手段の撮像領域の一部が重なるように配置された広角撮像手段と、前記広角撮像手段によって取得した複数の画像から広角画像を生成する生成手段と、受光した被写体の光学像を画像信号に変換する第２の撮像手段が前記広角撮像手段から垂直方向に所定の間隔をもって配置されるように支持手段によって支持された距離撮像手段であって、前記第２の撮像手段の撮像領域が前記複数の第１の撮像手段の撮像領域の一部と重なるように配置された距離撮像手段と、前記広角撮像手段によって取得した画像と前記距離撮像手段によって取得した画像とから前記広角撮像手段と被写体との距離を算出する算出手段とを備えたことを特徴とする。

請求項１に記載の発明によれば、水平方向に複数の第１の撮像手段を配置した広角撮像手段に対して、垂直方向に所定の間隔をもって距離撮像手段の第２の撮像手段を配置したので、装置の大きさやパノラマ合成といった犠牲を払うことなく、全方位撮影と距離測定とを行うことができる。

請求項２に示すように請求項１に記載の撮像装置において、前記広角撮像手段は、水平方向の全方位の画像を取得可能に前記複数の第１の撮像手段が配置されていることを特徴とする。

これにより、全方位画像を取得することができる。

請求項３に示すように請求項１又は２に記載の撮像装置において、前記距離撮像手段を水平方向に回転させる回転手段と、前記回転手段を制御することにより前記第２の撮像手段の撮像領域を変更する回転制御手段とを備えたことを特徴とする。

これにより、簡単に第２の撮像手段の撮像領域を変更することができる。

請求項４に示すように請求項３に記載の撮像装置において、前記複数の第１の撮像手段が撮像した複数の画像から移動する被写体を検出する動体検出手段を備え、前記回転制御手段は、前記第２の撮像手段が前記検出された移動する被写体を撮像可能となるように前記距離撮像手段を回転させることを特徴とする。

これにより、どの方向に移動する被写体が検出された場合であっても、適切に被写体と装置との距離を算出することができる。

請求項５に示すように請求項３又は４に記載の撮像装置において、前記複数の第１の撮像手段が撮像した複数の画像から人物の顔を検出する顔検出手段を備え、前記回転制御手段は、前記第２の撮像手段が前記検出された人物の顔を撮像可能となるように前記距離撮像手段を回転させることを特徴とする。

これにより、どの方向に人物の顔が検出された場合であっても、適切に人物と装置との距離を算出することができる。

請求項６に示すように請求項３から５のいずれかに記載の撮像装置において、使用者が前記第２の撮像手段の撮像領域を指定するための第１の操作手段を備え、前記回転制御手段は、前記第１の操作手段の操作に基づいて前記距離撮像手段を回転させることを特徴とする。

これにより、所望の被写体と装置との距離を算出することができる。

請求項７に示すように請求項３から６のいずれかに記載の撮像装置において、前記支持手段を伸縮させる伸縮手段と、前記伸縮手段を制御することにより前記所定の間隔を変更する伸縮制御手段とを備えたことを特徴とする。

これにより、距離撮像手段と全方位撮像手段との間隔を簡単に変更することができる。

請求項８に示すように請求項７に記載の撮像装置において、前記伸縮制御手段は、前記複数の第１の撮像手段が撮像した画像と前記第２の撮像手段が撮像した画像とに基づいて、前記所定の間隔を前記広角撮像手段と被写体との距離を測定するのに適切な間隔になるように変更することを特徴とする。

これにより、適切に被写体と装置との距離を算出することができる。

請求項９に示すように請求項７又は８に記載の撮像装置において、使用者が前記所定の間隔を指定するための第２の操作手段を備え、前記伸縮制御手段は、前記第２の操作手段の操作に基づいて前記所定の間隔を変更することを特徴とする。

これにより、適切に所望の被写体と装置との距離を算出することができる。

請求項１０に示すように請求項１から９のいずれかに記載の撮像装置において、前記広角撮像手段と前記支持手段と前記距離撮像手段とが着脱可能に構成され、前記広角撮像手段及び前記距離撮像手段は、それぞれ単独で画像を取得可能に構成されていることを特徴とする。

これにより、必要に応じて着脱を行うことができる。

請求項１１に示すように請求項１０に記載の撮像装置において、前記広角撮像手段による画像取得の有無、及び前記距離撮像手段による画像取得の有無を選択可能な第３の操作手段を備えたことを特徴とする。

これにより、必要に応じて各手段の使い分けを行うことができる。

請求項１２に示すように請求項１から１１のいずれかに記載の撮像装置において、前記距離撮像手段は複数の第２の撮像手段を有し、前記算出手段は、前記広角撮像手段と前記複数の第２の撮像手段によって撮像された複数の被写体との距離を算出可能に構成されていることを特徴とする。

これにより、多方向に存在する被写体との距離の算出を一度に行うことができる。

請求項１３に示すように請求項１２に記載の撮像装置において、前記距離撮像手段は、前記複数の第２の撮像手段が前記広角撮像手段と同様に配置されていることを特徴とする。

これにより、全方位に存在する被写体との距離の算出を一度に行うことができる。

請求項１４に示すように請求項１３に記載の撮像装置において、前記距離撮像手段と前記広角撮像手段とが同じ装置を用いて構成されていることを特徴とする。

これにより、簡単に装置を構成することができる。

前記目的を達成するために請求項１５に記載の撮像装置の制御方法は、受光した被写体の光学像を画像信号に変換する複数の第１の撮像手段が水平方向の略円周上に外周側を撮像するように配置された広角撮像手段であって、隣り合う第１の撮像手段の撮像領域の一部が重なるように配置された広角撮像手段を用いて画像を取得する広角撮像工程と、前記広角撮像工程によって取得した複数の画像から広角画像を生成する生成工程と、受光した被写体の光学像を画像信号に変換する第２の撮像手段が前記広角撮像手段から垂直方向に所定の間隔をもって配置されるように支持手段によって支持された距離撮像手段であって、前記第２の撮像手段の撮像領域が前記複数の第１の撮像手段の撮像領域の一部と重なるように配置された距離撮像手段を用いて画像を取得する距離撮像工程と、前記広角撮像工程によって取得した画像と前記距離撮像工程によって取得した画像とから前記広角撮像手段と被写体との距離を算出する算出工程とを備えたことを特徴とする。

本発明によれば、装置の大きさやパノラマ合成といった犠牲を払うことなく、全方位撮影と距離測定とを行うことができる。

全方位ステレオ撮像装置１を示す図 全方位ステレオ撮像装置１の構成の一例を示す図 全方位ステレオ撮像装置１において撮像された映像を示す図 全方位ステレオ撮像装置１における距離測定を説明するための図 回転機械部３１を備えた全方位ステレオ撮像装置１の構成の一例を示す図 撮像部１１の回転を示す図 動体検出部２５を備えた全方位ステレオ撮像装置１の構成の一例を示す図 動体との距離を測定する処理を説明するためのフローチャート 顔検出部２６を備えた全方位ステレオ撮像装置１の構成の一例を示す図 人物との距離を測定する処理を説明するためのフローチャート 外部操作部２７を備えた全方位ステレオ撮像装置１の構成の一例を示す図 伸縮機械部３２を備えた全方位ステレオ撮像装置１の構成の一例を示す図 機械式支持体３０の伸縮を示す図 被写体に応じた機械式支持体３０の伸縮処理を説明するためのフローチャート 外部操作部２７´を備えた全方位ステレオ撮像装置１の構成の一例を示す図 回転・伸縮機械部３３を備えた全方位ステレオ撮像装置１の構成の一例を示す図 着脱可能に構成された全方位ステレオ撮像装置１を示す図 外部操作部３４を備えた全方位ステレオ撮像装置１の構成の一例を示す図 各撮像部毎に撮像を行う処理を説明するためのフローチャート 距離撮像部１０に複数の撮像部１１を備えた全方位ステレオ撮像装置１を示す図 複数の撮像部１１を備えた全方位ステレオ撮像装置１の構成の一例を示す図 距離撮像部１０と全方位撮像部２０とを同じ構成にした全方位ステレオ撮像装置１を示す図 ステレオ配置した２つのカメラを用いた距離の測定を説明するための図 距離測定が可能な複眼全方位撮像装置を上面から見た図

以下、添付図面に従って本発明を実施するための形態について説明する。

＜第１の実施形態＞
図１（ａ）は、本実施形態における全方位ステレオ撮像装置１の上面図であり、図１（ｂ）は、全方位ステレオ撮像装置１の側面図である。同図に示すように、全方位ステレオ撮像装置１は、距離撮像部１０と全方位撮像部２０とが機械式支持体３０を介して垂直に配置されて構成されている。

全方位撮像部２０には、全方位ステレオ撮像装置１の水平方向の３６０°（全方位）を撮像可能となるように、６つの撮像部２１ａ〜２１ｆが全方位撮像部２０の外周に沿って円周上に配置されている。６つの撮像部２１ａ〜２１ｆはすべて同様に構成されており、それぞれの撮像部の図示しないレンズの光軸が、隣り合う撮像部のレンズの光軸と６０度の角度を成すように配置されている。またそれぞれの撮像部の撮影範囲が隣り合う撮像部の撮影範囲の一部と重なるように、図示しないレンズの撮影画角（焦点距離）が設定されている。

なお、本実施の形態では全方位を撮像可能な装置を用いているが、全方位を撮像可能な必要はなく、複数の撮像部を用いて広角の映像を取得できればよい。撮像部の数についても、６つに限定されるものではない。

機械式支持体３０は、全方位撮像部２０の筐体に支持されている。

距離撮像部１０は、１つの撮像部１１を備え、図示しないレンズの光軸が全方位撮像部２０の所定の撮像部（図では撮像部２１ａ）の光軸と平行となるように機械式支持体３０に支持されている。また、撮像部１１のレンズは、全方位撮像部２０の各撮像部２１のレンズと同じ焦点距離で構成されている。

図２は、全方位ステレオ撮像装置１の構成の一例を示す図である。

同図に示すように、距離撮像部１０は、撮像部１１、第１撮像制御部１２等を備えて構成される。第１撮像制御部１２は、全方位撮像部２０の映像処理部２３と有線又は無線により通信可能に接続されており、映像処理部２３からの指令にしたがって、撮像部１１を制御する。

撮像部１１は、図示しないレンズ、撮像素子を含んで構成される。撮像素子は、レンズを介して受光した被写体光を電気信号に変換する。この電気信号は、図示しない信号処理部により所定の信号処理が施される。撮像部１１についても、全方位撮像部２０の映像処理部２３と通信可能に接続されており、信号処理が施された電気信号は、映像処理部２３に出力される。

また、全方位撮像部２０は、各撮像部２１ａ〜２１ｆ、第２撮像制御部２２、映像処理部２３、情報記録部２４等を備えて構成される。

各撮像部２１ａ〜２１ｆは、距離撮像部１０の撮像部１１と同様に、図示しないレンズ、撮像素子を含んで構成され、それぞれ撮像信号を映像処理部２３に出力する。なお、撮像部１１の撮像素子の受光面と撮像部２１ａの撮像素子の受光面とは、三角法による距離算出が容易になるように、全方位ステレオ撮像装置１の上面から見て重なる位置に配置されることが好ましい。

第２撮像制御部２２は、映像処理部２３からの指令にしたがって、各撮像部２１ａ〜２１ｆを制御する。

映像処理部２３は、第１撮像制御部１２、第２撮像制御部２２に各撮像部の撮像を制御させるとともに、各撮像部から出力された画像信号に基づいて、全方位映像の生成や、距離情報の算出を行う。

情報記録部２４は、半導体メモリカード、可搬型小型ハードディスク、磁気ディスク、光ディスク、光磁気ディスク等の着脱可能な記録媒体であり、生成された全方位映像や算出された距離情報が映像処理部２３により記録される。

次に、全方位ステレオ撮像装置１の作用について説明する。

上記のように、全方位ステレオ撮像装置１は、撮像部１１と撮像部２１ａとがそれぞれの図示しないレンズの光軸が平行となるように構成されているため、撮像部１１において撮像される映像と撮像部２１ａにおいて撮像される映像とは、垂直方向に視差を持った映像となる。また、全方位撮像部２０は、全方位ステレオ撮像装置１の全周に渡って撮像部２１ａ〜２１ｆが配置されているため、全方位の映像を撮像することができる。

図３（ａ）は、撮像部１１において撮像された映像を示し、図３（ｂ）は、撮像部２１ａ〜２１ｆにおいて撮像された映像に基づいて生成された全方位映像を示している。なお、図３（ｂ）において、Ａで示した範囲は撮像部２１ａで撮影されており、Ｂで示した範囲は撮像部２１ｂで撮影されており、Ｃ、Ｄ、Ｅ、Ｆで示した範囲は撮像部２１ｃ、２１ｄ、２１ｅ、２１ｆで撮影されている。

ここで、図４に示すように、撮像部１１において撮像された映像と撮像部２１ａにおいて撮像された映像とから、全方位ステレオ撮像装置１と被写体との距離を測定することが可能である。同図に示すように、撮像部１１と撮像部２１ａとの基線長をＤ、それぞれの撮像部における被写体１０３の方向と、基線と平行な直線との成す角をそれぞれβ、αとすると、全方位ステレオ撮像装置１とその被写体１０３との距離Ｘは、上記の［数１］で表すことができる。

前述したように、遠方の被写体の距離を求めるためには、撮像部１１と撮像部２１ａとの距離Ｄを大きくする必要があるが、それぞれが垂直に配置されていることで、この距離Ｄを大きくしても、全方位撮像部２０において撮像される全方位映像については影響が無く、常に良好な全方位の映像を取得することができる。

＜第２の実施形態＞
第２の実施形態の全方位ステレオ撮像装置１は、図５に示すように、距離撮像部１０と全方位撮像部２０との間に回転機械部３１が設けられている。

回転機械部３１は、図６に示すように、距離撮像部１０を、全方位撮像部２０の各撮像部２１ａ〜２１ｆの配置方向と平行な方向に回転可能とするものであり、機械式支持体３０を回転させることにより、機械式支持体３０に支持された距離撮像部１０を回転させる。

距離撮像部１０は、撮像部１１の図示しないレンズの光軸の向き（以下、撮像部１１の向きという）が全方位撮像部２０の各撮像部２１ａ〜２１ｆのいずれかの図示しないレンズの光軸と同じ向き（以下、各撮像部２１の向きという）となる位置に停止することが好ましいが、撮像部２１ａ〜２１ｆのいずれとも異なる向きで停止しても構わない。

また、回転機械部３１は、撮像部１１の向きを撮像部２１ａ〜２１ｆのうちのどの撮像部と同じ向きに停止させた場合であっても、撮像部１１の図示しない撮像素子の受光面と同じ向きの撮像部の図示しない撮像素子の受光面とが全方位ステレオ撮像装置１の上面から見て重なる位置に配置されるように、距離撮像部１０を回転させる。

このように、回転機械部３１を設けることにより、撮像部２１ａが撮像する方位に存在する被写体だけでなく、撮像部２１ａ〜２１ｆのいずれの撮像部が撮像する方位に存在する被写体であっても、距離撮像部１０により距離を測定することが可能となる。

＜第２の実施形態の変形例＞
図７は、映像処理部２３に動体検出部２５を備え、回転機械部３１を第２撮像制御部２２により制御する形態の全方位ステレオ撮像装置１の構成を示す図である。

動体検出部２５は、撮像部２１ａ〜２１ｆにおいて連続して撮像された複数の映像に基づいて映像内を移動する動体を検出し、その動体を検出した映像を撮影した撮像部の情報を出力する。

回転機械部３１は、図示しない回転駆動部と位置検出部を備えている。第２撮像制御部２２は、映像処理部２３からの指令信号と位置検出部の出力信号に基づいて回転駆動部を制御し、距離撮像部１０を回転させることにより撮像部１１の撮像方位を設定する。

このように構成された全方位ステレオ撮像装置１の動作について、図８を用いて説明する。

まず、第２撮像制御部２２は、各撮像部２１ａ〜２１ｆを制御し、各撮像部に撮像を行わせる（ステップＳ１）。この撮像は、少なくとも２回以上連続的に行う。

各撮像部２１ａ〜２１ｆにおいて撮像された映像は、それぞれ映像処理部２３に入力される。映像処理部２３の動体検出部２５は、連続的に撮像された複数の映像を比較することにより、映像内の動体の検出を行う（ステップＳ２）。この処理を、全ての撮像部の映像について行う。動体検出部２５は、映像内に動体を検出すると、動体が検出された映像を撮像した撮像部の情報を出力する。

次に、ステップＳ２において映像内に動体が検出されたか否かを判定する（ステップＳ３）。動体が検出されない場合は、ステップＳ１に戻り、同様の処理を繰り返す。

映像内に動体が検出された場合には、第２撮像制御部２２は、動体検出部２５の出力結果に基づいて、動体が検出された映像を撮像した撮像部と同じ方向に撮像部１１が向くように、回転機械部３１を制御して距離撮像部１０を水平方向に回転させる（ステップＳ４）。

撮像部１１が所望の方向へ向いた後、第２撮像制御部２２は、再び各撮像部２１ａ〜２１ｆを制御し、各撮像部に撮像を行わせる（ステップＳ５）。ここでの全方位撮像は一度行えばよい。映像処理部２３は、各撮像部が撮像した映像に基づいて、全方位映像を生成する。

また、各撮像部２１ａ〜２１ｆによる撮像とともに、距離撮像部１０の撮像部１１により視差映像の撮像を行う（ステップＳ６）。

距離撮像部１０は、撮像部１１が検出された動体が撮像可能な方向に向けられているため、撮像部１１により撮像された映像には当該動体が撮像されている。したがって、撮像部１１により撮像された映像と全方位映像とに基づいて、動体と全方位ステレオ撮像装置１との距離を算出することができる。映像処理部２３は、この距離の算出を行い、算出した距離を全方位映像とともに情報記録部２４に記録する（ステップＳ７）。

なお、撮像部１１により撮像された視差映像と撮像部２１ａ〜２１ｆにより撮像された複数の映像とを、検出した動体の情報（映像内の位置情報）とともに情報記録部２４に記録しておいてもよい。このように記録しておくことで、当該全方位ステレオ撮像装置１以外の、例えば情報記録部２４に記録された情報を読み出すことが可能なパーソナルコンピュータを用いて、撮影後においても、全方位映像を取得することができるとともに、全方位ステレオ撮像装置１と動体被写体との距離を算出することが可能となる。

最後に、撮像を継続するか否かを判定し、継続する場合はステップＳ１に戻り、同様の処理を繰り返す（ステップＳ８）。

このように、全方位撮像部２０において動体を検出した場合に、距離撮像部１０をその動体が撮像できる方向に回転させてから撮像を行うことで、どの方位に動体が存在する場合であっても、動体と装置との距離を算出することが可能となる。

また、図９は、図７の動体検出部２５に代わり顔検出部２６を備えた形態の全方位ステレオ撮像装置１の構成を示す図である。顔検出部２６は、照合回路及び顔画像テンプレートを含み、撮像部２１ａ〜２１ｆにおいて撮像された映像に含まれる人物の顔を検出し、その顔を検出した映像を撮影した撮像部の情報を出力する。

このように構成された全方位ステレオ撮像装置１の動作について、図１０を用いて説明する。なお、図８のフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

まず、第２撮像制御部２２は、各撮像部２１ａ〜２１ｆを制御し、各撮像部に撮像を行わせる（ステップＳ１）。ここでは、１回の撮像でよい。映像処理部２３の顔検出部２６は、各撮像部において撮像された映像から、人物の顔の検出を行う（ステップＳ１１）。顔検出部２６は、映像内に人物の顔を検出すると、顔が検出された映像を撮像した撮像部の情報を出力する。

次に、ステップＳ１１において映像内に人物の顔が検出されたか否かを判定する（ステップＳ１２）。人物の顔が検出されない場合は、ステップＳ１に戻り、同様の処理を繰り返す。

映像内に人物の顔が検出された場合には、第２撮像制御部２２は、顔検出部２６の出力結果に基づいて、人物の顔が検出された映像を撮像した撮像部と同じ方向に撮像部１１が向くように、回転機械部３１を制御して距離撮像部１０を水平方向に回転させる（ステップＳ１３）。

第２撮像制御部２２は、撮像部１１が所望の方向へ向くまで回転させた後、再び各撮像部２１ａ〜２１ｆを制御し、各撮像部に撮像を行わせる（ステップＳ５）。映像処理部２３は、各撮像部が撮像した映像に基づいて、全方位映像を生成する。

また、撮像部２１ａ〜２１ｆの撮像とともに、距離撮像部１０の撮像部１１により視差映像の撮像を行う（ステップＳ６）。

距離撮像部１０は、撮像部１１が検出された人物の顔が撮像可能な方向に向けられているため、撮像部１１により撮像された映像には当該人物の顔が撮像されている。したがって、当該人物の顔と全方位ステレオ撮像装置１との距離を算出することができる。映像処理部２３は、この距離の算出を行い、算出した距離を生成した全方位映像とともに情報記録部２４に記録する（ステップＳ７）。

最後に、撮像を継続するか否かを判定し、継続する場合はステップＳ１に戻り、同様の処理を繰り返す（ステップＳ８）。

このように、全方位撮像部２０において人物の顔を検出した場合に、距離撮像部１０をその人物の顔が撮像できる方向に回転させてから撮像を行うことで、どの方位に人物が存在する場合であっても、人物と装置との距離を算出することが可能となる。

さらに、図１１は、距離撮像部１０の回転をユーザが自由に制御するためのユーザインターフェースである外部操作部２７を備えた形態の全方位ステレオ撮像装置１の構成を示す図である。

外部操作部２７は、例えば距離撮像部１０を右回転させるための右回転ボタンと左回転させるための左回転ボタンを備え、ユーザ操作に応じた信号を出力する。外部操作部２７の出力信号は、有線又は無線信号により第２撮像制御部２２を介して回転機械部３１に入力される。回転機械部３１は、外部操作部２７からの信号にしたがって、距離撮像部１０を水平方向に回転させる。

したがって、ユーザは、外部操作部２７を操作することにより、距離撮像部１０の回転を制御し、撮像部１１を所望の方向に向けることが可能となる。このように構成することで、距離測定を行いたい被写体がどの方位に存在する場合であっても、被写体と装置との距離を算出することが可能となる。

なお、動体検出に応じた回転、顔検出に応じた回転、及び外部操作に応じた回転を組み合わせる構成としてもよい。この場合は、何に応じて回転させるかを選択する手段を備えてもよいし、動体や顔を検出して回転した後、手動で微調整が行なえてもよい。このように、複数の手段を備えることで、より適正な距離撮像部１０の回転制御を行うことができる。

＜第３の実施形態＞
第３の実施形態の全方位ステレオ撮像装置１は、図１２に示すように、距離撮像部１０と全方位撮像部２０との間に伸縮機械部３２が設けられている。

伸縮機械部３２は、図１３（ａ）、（ｂ）に示すように、機械式支持体３０を伸縮させることにより、距離撮像部１０の撮像部１１と全方位撮像部２０の撮像部２１ａとの距離（基線長）Ｄを、変更可能としている。機械式支持体３０は、図示しない伸縮機構により、その長さを変更できるように構成されている。

伸縮機械部３２は、図示しない伸縮駆動部と長さ検出部を備えている。第２撮像制御部２２は、映像処理部２３からの指令信号と長さ検出部の出力信号に基づいて伸縮駆動部を制御し、機械式支持体３０を伸縮させる。

このように、伸縮機械部３２を設けることにより、撮像部１１において撮像される映像と撮像部２１ａにおいて撮像される映像との視差を変更することができる。

次に、伸縮機械部３２を備えた全方位ステレオ撮像装置１の動作について、図１４を用いて説明する。

まず、第２撮像制御部２２は、各撮像部２１ａ〜２１ｆを制御し、各撮像部に撮像を行わせる（ステップＳ２１）。映像処理部２３は、各撮像部が撮像した映像に基づいて、全方位映像を生成する。

次に、第１撮像制御部１２は、撮像部１１を制御し、視差映像の撮像を行わせる（ステップＳ２２）。映像処理部２３は、視差映像と、各撮像部２１ａ〜２１ｆのうち視差映像と同方位に向いている撮像部（図１３では、撮像部２１ａ）で撮像された映像とに基づいて、距離を測定する被写体の視差を確認する（ステップＳ２３）。ここでは、［数１］におけるα、βの値が適切な値となっているか否かを確認する。

なお、距離を測定する被写体は、図示しない入力手段によって予めユーザが指定してもよいし、第２の実施の形態のように、検出した動体や顔であってもよい。

次に、映像処理部２３は、確認した視差が小さい、すなわち被写体が遠いか否かを判定する（ステップＳ２４）。被写体が遠く、視差が小さい場合には、α、βの値が大きく（直角に近く）なり、適切な距離測定を行うことができない。したがって、第２撮像制御部２２は、伸縮機械部３２により機械式支持体３０を伸長させることで、撮像部１１と撮像部２１ａとの基線長Ｄを所定量大きくする（ステップＳ２５）。さらに、ステップＳ２１に戻り、同様の処理を行う。

また、ステップＳ２４において視差が小さくないと判断した場合には、映像処理部２３は、確認した視差が大きい、すなわち被写体が近いか否かを判定する（ステップＳ２６）。被写体が近く、視差が大きい場合には、α、βの値が小さくなり、場合によっては撮像部１１の視差画像の撮像範囲から外れる場合もあり、適切な距離測定を行うことができない。したがって、第２撮像制御部２２は、伸縮機械部３２により機械式支持体３０を収縮させることで、撮像部１１と撮像部２１ａとの基線長Ｄを所定量小さくする（ステップＳ２７）。さらに、ステップＳ２１に戻り、同様の処理を行う。

以上の処理を繰り返すことにより、適切な視差となるように基線長Ｄが設定されると、映像処理部２３は、撮像された全方位映像及び視差映像に基づいて被写体との距離を算出し、算出した距離を生成した全方位映像とともに情報記録部２４に記録する（ステップＳ２８）。

最後に、撮像を継続するか否かを判定し、継続する場合はステップＳ２１に戻り、同様の処理を繰り返す（ステップＳ２９）。

このように、距離を測定する被写体との距離（視差）に応じて撮像部１１と撮像部２１ａとの基線長を変更することで、適切に被写体と装置との距離を算出することが可能となる。

なお、ユーザが自由に基線長を変更することが可能なように構成してもよい。図１５は、機械式支持体３０の伸縮をユーザが自由に制御するためのユーザインターフェースである外部操作部２７´を備えた形態の全方位ステレオ撮像装置１の構成を示す図である。

外部操作部２７´は、例えば基線長Ｄを大きくするための伸長ボタンと小さくするための収縮ボタンを備え、ユーザ操作に応じた信号を出力する。外部操作部２７´の出力信号は、有線又は無線信号により第２撮像制御部２２を介して伸縮機械部３２に入力される。伸縮機械部３２は、外部操作部２７´からの信号にしたがって、機械式支持体３０を伸縮させる。

したがって、ユーザは、外部操作部２７´を操作することにより、機械式支持体３０の伸縮を制御し、撮像部１１と撮像部２０ａとの基線長Ｄを所望の大きさにすることが可能となる。

また、被写体との距離（視差）に応じた基線長の自動変更と、ユーザによる基線長の手動変更を組み合わせる構成としてもよい。この場合は、自動、手動のどちらで基線長を変更するかを選択する手段を備えてもよいし、自動で変更後、手動で微調整が行なえてもよい。このように、複数の変更手段を備えることで、より適正な基線長の変更制御を行うことができる。

さらに、基線長を変更可能とするとともに、撮像部１１を回転可能にしてもよい。このように構成された全方位ステレオ撮像装置１を図１６に示す。同図に示すように、距離撮像部１０と全方位撮像部２０との間に回転・伸縮機械部３３が設けられている。

伸縮機械部３３は、距離撮像部１０を、全方位撮像部２０の各撮像部２１ａ〜２１ｆの配置方向と平行な方向に回転可能とするとともに、機械式支持体３０を伸縮させることにより、撮像部１１と撮像部２１ａ〜２１ｆとの基線長を、変更可能とするものである。

このように、回転・伸縮機械部３３を設けることにより、撮像部２１ａ〜２１ｆのいずれの撮像部が撮像する方位に存在する被写体であっても、距離撮像部１０により距離を測定することが可能となるとともに、撮像部１１において撮像される映像と各撮像部２１ａ〜２１ｆにおいて撮像される映像との視差を適切に変更することが可能となる。

＜第４の実施形態＞
第４の実施形態の全方位ステレオ撮像装置１は、図１７に示すように、距離撮像部１０、全方位撮像部２０、及び機械式支持体３０が着脱可能に構成されている。

図１８は、本実施形態の全方位ステレオ撮像装置１の構成の一例を示す図である。全方位ステレオ撮像装置１は、全方位撮像部２０により全方位映像を取得することが可能であり、また、この全方位映像と距離撮像部１０により取得した視差映像とから、被写体との距離を測定することが可能である。

さらに、距離撮像部１０及び全方位撮像部２０は、それぞれ単体での撮像が可能となっている。距離撮像部１０において撮像された映像は、図示しない通信インターフェースにより、映像処理部２３を介して情報記録部２４に記録することが可能である。

また、同図に示すように、距離撮像部１０及び全方位撮像部２０における撮像の有無を選択するための外部操作部３４を備えている。外部操作部３４は、第１撮像制御部１２及び第２撮像制御部２２と有線又は無線により通信可能に接続されており、第１撮像制御部１２及び第２撮像制御部２２は、外部操作部３４からの指令にしたがって、距離撮像部１０及び全方位撮像部２０の撮像の有無を制御する。

ユーザは、外部操作部３４を操作することにより、距離撮像部１０及び全方位撮像部２０のそれぞれの撮像の有無を選択することが可能である。

このように構成された全方位ステレオ撮像装置１の動作について、図１９を用いて説明する。

まず、第１撮像制御部１２と第２撮像制御部２２は、ユーザによって、外部操作部３４の操作が行われたか否かを判定する（ステップＳ３１）。外部操作部３４は、距離撮像部１０及び全方位撮像部２０における撮像のＯＮ／ＯＦＦを切り換えることが可能となっており、ユーザは、それぞれにおける撮像の有無を自由に選択することができる。

外部操作部３４の操作が行われた場合は、第２撮像制御部２２は、全方位撮像部２０のＯＮ／ＯＦＦの切換が行われたか否かを判定し（ステップＳ３２）、行われている場合には、全方位撮像部２０の撮像の有無を切り換える（ステップＳ３３）。

また、第２撮像制御部２２の切換が行われていない場合は、今度は第１撮像制御部１２が、距離撮像部１０のＯＮ／ＯＦＦの切換が行われたか否かを判定し（ステップＳ３４）、行われている場合には、距離撮像部１０の撮像の有無を切り換える（ステップＳ３５）。

その後、撮像開始が指示されると（ステップＳ３６）、ステップＳ３７〜ステップＳ３９において、距離撮像部１０及び全方位撮像部２０のＯＮ／ＯＦＦの状況を判定し、状況に応じた撮像を行う。

すなわち、距離撮像部１０と全方位撮像部２０の両方の撮像がＯＮされているときは、全方位撮像部２０による全方位の撮像（ステップＳ４０）と距離撮像部１０による視差映像の撮像（ステップＳ４１）とを行い、被写体の距離情報の算出を行った後、算出した距離を全方位映像とともに情報記録部２４に記録する（ステップＳ４２）。

また、全方位撮像部２０の撮像だけがＯＮされているときは、全方位撮像部２０による全方位の撮像のみを行い（ステップＳ４３）、撮像した全方位映像を情報記録部２４に記録する（ステップＳ４４）。

また、距離撮像部１０の撮像だけがＯＮされているときは、距離撮像部１０による撮像のみを行い（ステップＳ４５）、撮像した映像を情報記録部２４に記録する（ステップＳ４６）。

最後に、撮像を継続するか否かを判定し、継続する場合はステップＳ３１に戻り、同様の処理を繰り返す（ステップＳ４７）。

このように、距離撮像部１０と全方位撮像部２０とを着脱可能に構成し、それぞれ単独でも撮像可能とすることにより、ユーザは、必要に応じた撮像の使い分けを行うことができる。

＜第５の実施形態＞
第５の実施形態の全方位ステレオ撮像装置１は、図２０に示すように、距離撮像部１０が、２つの撮像部１１ａ、１１ｂを備えている。同図では、撮像部１１ａ及び１１ｂは１８０°異なる向きに配置されているが、向きの違いは１８０°でなくてもよい。

図２１は、本実施形態の全方位ステレオ撮像装置１の構成の一例を示す図である。距離撮像部１０の第１撮像制御部１２は、２つの撮像部１１ａ及び１１ｂを制御可能に構成されており、この２つの撮像部１１ａ、１１ｂにおいて撮像された映像は、有線又は無線により映像処理部２３に入力される。

このように構成することで、全方位ステレオ撮像装置１は、多方向の距離測定を同時に行うことが可能となる。

＜第５の実施形態の変形例＞
図２２に示すように、２つの全方位撮像部２０を機械式支持体を介して垂直に配置してもよい。この２つの全方位撮像部２０を互いに通信可能とし、一方を全方位撮像部として用い、他方を距離撮像部として用いることで、全方位の映像が取得できるとともに、全方位の距離測定が可能となる。

このように構成して、機械式支持体３０を伸縮させることにより、２つの全方位撮像部２０の距離（基線長）を変更可能としてもよいし、検出した動体や人物について距離を測定してもよい。

１…全方位ステレオ撮像装置、１０…距離撮像部、１１、２１ａ〜２１ｆ…撮像部、１２…第１撮像制御部、２２…第２撮像制御部、２３、２３´…映像処理部、２４、２４´…情報記録部、２５…動体検出部、２６…顔検出部、２７、２７´、３４…外部操作部、３０…機械式支持体、３１…回転機械部、３２…伸縮機械部、３３…回転・伸縮機械部、１００、１０１…カメラ、１０２、１０３…被写体

Claims (15)

1. 受光した被写体の光学像を画像信号に変換する複数の第１の撮像手段が水平方向の略円周上に外周側を撮像するように配置された広角撮像手段であって、隣り合う第１の撮像手段の撮像領域の一部が重なるように配置された広角撮像手段と、
   前記広角撮像手段によって取得した複数の画像から広角画像を生成する生成手段と、
   受光した被写体の光学像を画像信号に変換する第２の撮像手段が前記広角撮像手段から垂直方向に所定の間隔をもって配置されるように支持手段によって支持された距離撮像手段であって、前記第２の撮像手段の撮像領域が前記複数の第１の撮像手段の撮像領域の一部と重なるように配置された距離撮像手段と、
   前記広角撮像手段によって取得した画像と前記距離撮像手段によって取得した画像とから前記広角撮像手段と被写体との距離を算出する算出手段と、
   を備えたことを特徴とする撮像装置。
2. 前記広角撮像手段は、水平方向の全方位の画像を取得可能に前記複数の第１の撮像手段が配置されていることを特徴とする請求項１に記載の撮像装置。
3. 前記距離撮像手段を水平方向に回転させる回転手段と、
   前記回転手段を制御することにより前記第２の撮像手段の撮像領域を変更する回転制御手段と、
   を備えたことを特徴とする請求項１又は２に記載の撮像装置。
4. 前記複数の第１の撮像手段が撮像した複数の画像から移動する被写体を検出する動体検出手段を備え、
   前記回転制御手段は、前記第２の撮像手段が前記検出された移動する被写体を撮像可能となるように前記距離撮像手段を回転させることを特徴とする請求項３に記載の撮像装置。
5. 前記複数の第１の撮像手段が撮像した複数の画像から人物の顔を検出する顔検出手段を備え、
   前記回転制御手段は、前記第２の撮像手段が前記検出された人物の顔を撮像可能となるように前記距離撮像手段を回転させることを特徴とする請求項３又は４に記載の撮像装置。
6. 使用者が前記第２の撮像手段の撮像領域を指定するための第１の操作手段を備え、
   前記回転制御手段は、前記第１の操作手段の操作に基づいて前記距離撮像手段を回転させることを特徴とする請求項３から５のいずれかに記載の撮像装置。
7. 前記支持手段を伸縮させる伸縮手段と、
   前記伸縮手段を制御することにより前記所定の間隔を変更する伸縮制御手段と、
   を備えたことを特徴とする請求項３から６のいずれかに記載の撮像装置。
8. 前記伸縮制御手段は、前記複数の第１の撮像手段が撮像した画像と前記第２の撮像手段が撮像した画像とに基づいて、前記所定の間隔を前記広角撮像手段と被写体との距離を測定するのに適切な間隔になるように変更することを特徴とする請求項７に記載の撮像装置。
9. 使用者が前記所定の間隔を指定するための第２の操作手段を備え、
   前記伸縮制御手段は、前記第２の操作手段の操作に基づいて前記所定の間隔を変更することを特徴とする請求項７又は８に記載の撮像装置。
10. 前記広角撮像手段と前記支持手段と前記距離撮像手段とが着脱可能に構成され、
    前記広角撮像手段及び前記距離撮像手段は、それぞれ単独で画像を取得可能に構成されていることを特徴とする請求項１から９のいずれかに記載の撮像装置。
11. 前記広角撮像手段による画像取得の有無、及び前記距離撮像手段による画像取得の有無を選択可能な第３の操作手段を備えたことを特徴とする請求項１０に記載の撮像装置。
12. 前記距離撮像手段は複数の第２の撮像手段を有し、
    前記算出手段は、前記広角撮像手段と前記複数の第２の撮像手段によって撮像された複数の被写体との距離を算出可能に構成されていることを特徴とする請求項１から１１のいずれかに記載の撮像装置。
13. 前記距離撮像手段は、前記複数の第２の撮像手段が前記広角撮像手段と同様に配置されていることを特徴とする請求項１２に記載の撮像装置。
14. 前記距離撮像手段と前記広角撮像手段とが同じ装置を用いて構成されていることを特徴とする請求項１３に記載の撮像装置。
15. 受光した被写体の光学像を画像信号に変換する複数の第１の撮像手段が水平方向の略円周上に外周側を撮像するように配置された広角撮像手段であって、隣り合う第１の撮像手段の撮像領域の一部が重なるように配置された広角撮像手段を用いて画像を取得する広角撮像工程と、
    前記広角撮像工程によって取得した複数の画像から広角画像を生成する生成工程と、
    受光した被写体の光学像を画像信号に変換する第２の撮像手段が前記広角撮像手段から垂直方向に所定の間隔をもって配置されるように支持手段によって支持された距離撮像手段であって、前記第２の撮像手段の撮像領域が前記複数の第１の撮像手段の撮像領域の一部と重なるように配置された距離撮像手段を用いて画像を取得する距離撮像工程と、
    前記広角撮像工程によって取得した画像と前記距離撮像工程によって取得した画像とから前記広角撮像手段と被写体との距離を算出する算出工程と、
    を備えたことを特徴とする撮像装置の制御方法。

Images