JP4413235B2 - 電子カメラ - Google Patents

Description

この発明は、電子カメラに関し、特にたとえば被写界像に現れる特徴画像に注目して撮像条件を調整する、電子カメラに関する。

この種のカメラの一例が、特許文献１に開示されている。この背景技術によれば、人物の顔が存在する可能性が高い顔検知領域が、アシストモード情報に基づいて設定される。顔検知処理は設定された領域に注目して実行され、階調補正，コントラスト補正，カラーバランス補正，輪郭強調などの画像補正処理は、顔検知結果に基づいて実行される。なお、この種のカメラは、特許文献２にも開示されている。
特開２００５−２１５７５０号公報［G06T 1/00, G02B 7/28, G03B 13/36, H04N 5/232, H04N 101:00］ 特開２００４−３２０２８７号公報［H04N 5/232, G02B 7/28, 7/36, G03B 7/00, 13/36］

しかし、特許文献１では、顔検知領域のサイズおよび／または位置は、撮像面のパンおよび／またはチルトに関係なく固定である。このため、撮像面のパンおよび／またはチルトが行われると、人物の顔を的確に検知できないおそれがある。

それゆえに、この発明の主たる目的は、特徴画像の検知性能を向上させることができる、電子カメラを提供することである。

請求項１の発明に従う電子カメラ(10：実施例で相当する参照符号。以下同じ)は、被写界を捉える撮像面(14f)を有し、被写界像を繰り返し生成する撮像手段(14)、撮像面に探索領域を割り当てる割り当て手段(S39, S45, S95, S113, S115)、割り当て手段によって割り当てられた探索領域上で特徴画像を探索する探索処理を撮像手段の生成処理と並行して繰り返し実行する探索手段(S41, S47, S97)、探索手段によって検知された特徴画像の位置を示す位置情報を出力する出力手段(S51, S101)、および割り当て手段によって割り当てられる探索領域のサイズおよび／または位置を撮像面のパンおよび／またはチルトの速度に応じて変更する変更手段(S37, S91, S93, S111)を備える。

撮像手段は、被写界を捉える撮像面を有し、被写界像を繰り返し生成する。探索領域は、割り当て手段によって撮像面に割り当てられる。探索手段は、割り当て手段によって割り当てられた探索領域上で特徴画像を探索する探索処理を、撮像手段の生成処理と並行して繰り返し実行する。出力手段は、探索手段によって検知された特徴画像の位置を示す位置情報を出力する。割り当て手段によって割り当てられる探索領域のサイズおよび／または位置は、撮像面のパンおよび／またはチルトの速度に応じて、変更手段によって変更される。

このように、探索領域のサイズおよび／または位置は撮像面のパンおよび／またはチルトの速度を考慮して変更され、特徴画像は変更された探索領域に属する画像から探索される。これによって、特徴画像の検知性能が向上する。

請求項２の発明に従う電子カメラは、請求項１または２に従属し、変更手段は撮像面のパンおよび／またはチルトの速度が大きいほど探索領域のサイズを縮小するサイズ変更手段(S37, S91, S93)を含む。探索処理に要する時間は、探索領域のサイズが小さいほど短縮される。したがって、特徴画像の移動に追従して撮像面のパンおよび／またはチルト動作を行ったとき、特徴画像を良好に検知し続けることができる。

請求項３の発明に従う電子カメラは、請求項１または２に従属し、変更手段は撮像面のパンおよび／またはチルトの方向に沿って探索領域を移動させる位置変更手段(S111)を含む。これによって、特徴画像を探索領域に容易に収めることができる。

請求項４の発明に従う電子カメラは、請求項１に従属し、探索領域は、撮像面の一部に割り当てられる第１探索領域(A1, A2)、および第１探索領域を囲うように撮像面の他の一部に割り当てられる第２探索領域(B1)を含み、探索手段は、第１探索領域から特徴画像を探索する第１探索手段(S39, S95, S113)、および第２探索領域から特徴画像を探索する第２探索手段(S45, S115)を含む。

請求項５の発明に従う電子カメラは、請求項４に従属し、変更手段は撮像面のパンおよび／またはチルトの速度が第１閾値(TH)を上回るとき第２探索手段を不能化する第１不能化手段(S37)を含む。これによって、第２探索手段の不能化によって、探索領域のサイズが第１探索領域のサイズまで実質的に縮小される。

請求項６の発明に従う電子カメラは、請求項５に従属し、変更手段は撮像面のパンおよび／またはチルトの速度が第１閾値よりも大きい第２閾値(TH2)を上回るとき第１探索領域のサイズを縮小する領域サイズ縮小手段(S93)をさらに含む。

請求項７の発明に従う電子カメラは、請求項６に従属し、変更手段は撮像面のパンおよび／またはチルトの速度が第２閾値よりも大きい第３閾値(TH3)を上回るとき第１探索手段を不能化する第２不能化手段(S91)をさらに含む。これによって、探索領域のサイズが実質的にゼロとなる。

請求項８の発明に従う電子カメラは、請求項４ないし７のいずれかに従属し、第２探索手段は第１探索手段が探索に失敗したとき探索処理を実行する。

請求項９の発明に従う電子カメラは、請求項４または５に従属し、変更手段は撮像面のパンおよび／またはチルトの方向に沿って第１探索領域を移動させる位置変更手段(S111)を含む。

請求項１０の発明に従う電子カメラは、請求項１ないし９のいずれかに従属し、探索手段は、指定サイズの判別領域に属する画像が特徴画像であるか否かを判別する画像判別手段(S65, S67)、および画像判別手段の判別結果が否定的であるとき判別領域の位置および／またはサイズを変更する領域変更手段(S73, S79, S81)を含む。判別領域の位置および／またはサイズの変更によって、特徴画像の存在の有無を正確に判別することができる。

請求項１１の発明に従う電子カメラは、請求項１０に従属し、領域変更手段は、画像判別手段の判別結果が否定的である判別領域の位置が終端位置であるとき判別領域のサイズを変更する領域サイズ変更手段(S79)、および領域サイズ変更手段の変更処理に関連して判別領域の位置を先頭位置に変更する領域位置変更手段(S81)を含む。判別領域のサイズは、判別領域が終端位置に到達する毎に変更される。

請求項１２の発明に従う電子カメラは、請求項１１に従属し、領域サイズ変更手段は判別領域のサイズを縮小方向に変更する。これによって、大きい方の特徴画像が小さい方の特徴画像に優先する。

請求項１３の発明に従う電子カメラは、請求項１０ないし１２のいずれかに従属し、探索手段は画像判別手段の判別結果が肯定的であるとき現時点の判別領域の位置が記述された領域情報を作成する作成手段(S69)をさらに含み、出力手段は作成手段によって作成された領域情報を参照して出力処理を実行する。

請求項１４の発明に従う電子カメラは、請求項１ないし１３のいずれかに従属し、撮像面によって捉えられた被写界を表す動画像をリアルタイムで再現する再現手段(32, S3)をさらに備え、出力手段は位置情報に相当するキャラクタを再現手段によって再現される動画像に多重する。これによって、操作性が向上する。

請求項１５の発明に従う電子カメラは、請求項１ないし１４のいずれかに従属し、条件調整操作が行われたとき探索手段によって検知された特徴画像に注目して撮像条件を調整する調整手段(S17, S19)をさらに備える。

請求項１６の発明に従う電子カメラは、請求項１５に従属し、記録操作が行われたとき調整手段によって調整された撮像条件で作成された被写界像を記録する記録手段(S11)をさらに備える。

請求項１７の発明に従う撮像条件調整プログラムは、被写界を捉える撮像面(14f)を有し、被写界像を繰り返し生成する撮像手段(14)を備える電子カメラ(10)のプロセサ(42)に、撮像面に探索領域を割り当てる割り当てステップ(S39, S45, S95, S113, S115)、割り当てステップによって割り当てられた探索領域上で特徴画像を探索する探索処理を撮像手段の生成処理と並行して繰り返し実行する探索ステップ(S41, S47, S97)、探索ステップによって検知された特徴画像の位置を示す位置情報を出力する出力ステップ(S51, S101)、および割り当てステップによって割り当てられる探索領域のサイズおよび／または位置を撮像面のパンおよび／またはチルトの速度に応じて変更する変更ステップ(S37, S91, S93, S111)を実行させるための、撮像条件調整プログラムである。

請求項１発明と同様、特徴画像の検知性能を向上させることができる。

請求項１８の発明に従う撮像条件調整方法は、被写界を捉える撮像面(14f)を有し、被写界像を繰り返し生成する撮像手段(14)を備える電子カメラ(10)の撮像条件調整方法であって、撮像面に探索領域を割り当てる割り当てステップ(S39, S45, S95, S113, S115)、割り当てステップによって割り当てられた探索領域上で特徴画像を探索する探索処理を撮像手段の生成処理と並行して繰り返し実行する探索ステップ(S41, S47, S97)、探索ステップによって検知された特徴画像の位置を示す位置情報を出力する出力ステップ(S51, S101)、および割り当てステップによって割り当てられる探索領域のサイズおよび／または位置を撮像面のパンおよび／またはチルトの速度に応じて変更する変更ステップ(S37, S91, S93, S111)を備える。

請求項１発明と同様、特徴画像の検知性能を向上させることができる。

この発明によれば、探索領域のサイズおよび／または位置は撮像面のパンおよび／またはチルトの速度を考慮して変更され、特徴画像は変更された探索領域に属する画像から探索される。これによって、特徴画像の検知性能が向上する。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

図１を参照して、この実施例のディジタルカメラ１０は、光学レンズ１２を含む。被写界の光学像は、光学レンズ１２を通してイメージセンサ１４の撮像面１４ｆに照射され、光電変換を施される。これによって、被写界を表す電荷つまり生画像信号が生成される。

電源が投入されると、ＣＰＵ４２は、スルー画像処理を実行するべく、プリ露光および間引き読み出しの繰り返しをＴＧ／ＳＧ１８に命令する。ＴＧ／ＳＧ１８は、イメージセンサ１４の撮像面１４ｆのプリ露光と、これによって得られた電荷の間引き読み出しとを実行するべく、複数のタイミング信号をイメージセンサ１４に与える。撮像面１４ｆで生成された生画像信号は、１／３０秒に１回の割合で発生する垂直同期信号Ｖｓｙｎｃに応答して、ラスタ走査に従う順序で読み出される。

イメージセンサ１４から出力された生画像信号は、ＣＤＳ／ＡＧＣ／ＡＤ回路１６によって相関二重サンプリング，自動ゲイン調整およびＡ／Ｄ変換の一連の処理を施される。信号処理回路２０は、ＣＤＳ／ＡＧＣ／ＡＤ回路１６から出力された生画像データに白バランス調整，色分離，ＹＵＶ変換などの処理を施し、ＹＵＶ形式の画像データをメモリ制御回路２６を通してＳＤＲＡＭ２８の表示画像領域２８ａに書き込む。

ビデオエンコーダ３０は、表示画像領域２８ａに格納された画像データをメモリ制御回路２６を通して１／３０秒毎に読み出し、読み出された画像データをコンポジットビデオ信号に変換する。この結果、被写界を表すリアルタイム動画像（スルー画像）がＬＣＤモニタ３２に表示される。

動き検出回路２２は、ＣＤＳ／ＡＧＣ／ＡＤ回路１６から出力された生画像データのうち、動き検出処理に用いる生画像データを１／３０秒毎に取り込み、パンおよび／またはチルト動作に起因する被写界の変化を表す動きベクトルを取り込まれた生画像データに基づいて検出する。検出された動きベクトルは、ＣＰＵ４２に与えられる。

ＡＥ／ＡＦ評価回路２４は、信号処理回路２０から出力された画像データに基づいて、被写界の明るさを示す輝度評価値と被写界の合焦度を示すフォーカス評価値とを作成する。作成された輝度評価値およびフォーカス評価値は、ＣＰＵ４２に与えられる。

キー入力装置４６に設けられたシャッタボタン４６ｓが操作されていないとき、ＣＰＵ４２は、スルー画像用ＡＥ処理を実行する。ＴＧ／ＳＧ１８に設定されたプリ露光時間は、ＡＥ／ＡＦ評価回路２４からの輝度評価値に基づいて制御される。これによって、スルー画像の明るさが適度に調整される。

ＣＰＵ４２はまた、撮像面１４ｆのパンおよび／またはチルト動作が中断状態にあるか否かを動き検出回路２２からの動きベクトルに基づいて判別する。動きベクトルの量が閾値ＴＨを下回れば、ＣＰＵ４２は、パン／チルト動作は中断状態にあるとみなし、撮像面１４ｆで捉えられた被写界像に基づいて下記の顔画像探索処理を実行する。

図２を参照して、表示画像領域２８ａには、中央領域Ａ１および周辺領域Ｂ１が割り当てられる。中央領域Ａ１は、表示画像領域２８ａよりも小さく、かつ表示画像領域２８ａの中央に割り当てられる。周辺領域Ｂ１は、中央領域Ａ１を囲むように表示画像領域２８ａの周辺に割り当てられる。

まず、中央領域Ａ１が探索領域として設定され、図３（Ａ）に示す最大サイズの顔判別領域が中央領域Ａ１の左上に配置される。顔判別領域の左上座標は、中央領域Ａ１の左上座標と一致する。

顔判別領域に属する部分画像の特徴量は、フラッシュメモリ４８に記憶された辞書の特徴量と照合される。照合処理の結果、注目する部分画像が顔画像と判別されると、現時点の顔判別領域のサイズおよび位置が記述された顔情報が作成される。顔判別領域は、注目する部分画像が顔画像と判別されない限り、ラスタ方向に既定量（＝１画素）ずつ移動される。顔判別領域は、図４（Ａ）に示す要領で中央領域Ａ１を移動する。

顔判別領域が中央領域Ａ１の右下に到達すると、つまり顔判別領域の右下座標が中央領域Ａ１の右下座標と一致すると、図３（Ａ）に示す顔判別領域に代えて図３（Ｂ）に示すミドルサイズの顔判別領域が中央領域Ａ１の左上に配置され、上述と同様の処理が再度実行される。ミドルサイズの顔判別領域が中央領域Ａ１の右下に到達すると、図３（Ｃ）に示す最小サイズの顔判別領域が中央領域Ａ１の左上に配置され、上述と同様の処理が繰り返される。

顔画像が検知されないまま最小サイズの顔判別領域が中央領域Ａ１の右下に到達すると、探索領域が表示画像領域２８ａの全域に拡大され、かつ中央領域Ａ１が探索領域から除外される。つまり、周辺領域Ｂ１が探索領域とされる。特徴量の照合処理および顔判別領域の移動処理は、異なるサイズを有する３つの顔判別領域を用いて、上述と同じ要領で実行される。顔判別領域は、図４（Ｂ）に示すように表示画像領域２８ａを移動する。なお、中央領域Ａ１が除外領域とされるため、顔判別領域が中央領域Ａ１に完全に重なる期間、つまり顔判別領域の全てが中央領域Ａ１の一部と重複する期間では、特徴量の照合処理は省略される。

このように、特徴量の照合処理および顔判別領域の移動処理は、まず中央領域Ａ１について３回実行され、次に中央領域Ａ１を除く全域について３回実行される。処理の途中で顔画像が発見されると、その時点の顔判別領域のサイズおよび位置が記述された顔情報が作成される。作成された顔情報は、最初に発見された顔画像を指向する。顔画像が発見されないまま最小サイズの顔判別領域が周辺領域Ｂ１の右下に到達すると、初期値を示す顔情報が作成される。

顔情報が初期値と異なる数値を示すとき、ＣＰＵ４２は、この顔情報によって定義されるキャラクタＫのＯＳＤ表示をキャラクタジェネレータ３４に命令する。キャラクタジェネレータ３４は、顔情報に記述されたサイズを有するキャラクタＫを顔情報に記述された位置に表示するべく、キャラクタデータをＬＣＤモニタ３２に与える。キャラクタＫは、たとえば図５または図６に示す要領でスルー画像に多重表示される。

シャッタボタン４６ｓが半押しされると、ＣＰＵ４２は、顔情報が示す数値によって異なる態様でＡＦ処理およびＡＥ処理を実行する。顔情報が初期値を示すとき、ＣＰＵ４２は、中央領域Ａ１を基準としてＡＦ処理およびＡＥ処理を実行する。これに対して、顔情報が初期値と異なる数値を示すとき、ＣＰＵ４２は、この顔情報によって定義される顔画像領域を基準としてＡＦ処理およびＡＥ処理を実行する。ＡＦ処理の結果、光学レンズ１２はドライバ４４によって合焦位置に設定される。また、ＡＥ処理の結果、ＴＧ／ＳＧ１８に設定された露光時間は最適値に設定される。

シャッタボタン４６ｓが全押しされると、ＣＰＵ４２は、記録処理を実行するべく、本露光および全画素読み出しをＴＧ／ＳＧ１８に命令し、ＪＰＥＧ圧縮をＪＰＥＧエンコーダ３６に命令する。

ＴＧ／ＳＧ１８は、イメージセンサ１４の撮像面１４ｆの本露光と、これによって得られた全ての電荷の読み出しとを実行するべく、複数のタイミング信号をイメージセンサ１４に与える。撮像面１４ｆで生成された生画像信号は、ラスタ走査に従う順序で読み出される。イメージセンサ１４から出力された生画像信号は、上述と同様の処理によってＹＵＶ形式の画像データに変換される。変換された画像データは、メモリ制御回路２６を通してＳＤＲＡＭ２８の記録画像領域２８ｂに書き込まれる。

ＪＰＥＧエンコーダ３６は、記録画像領域２８ｂに格納された画像データをメモリ制御回路２６を通して読み出し、読み出された画像データをＪＰＥＧ方式で圧縮し、そして圧縮画像データつまりＪＰＥＧデータをメモリ制御回路２６を通して記録画像領域２８ｂに書き込む。こうして得られたＪＰＥＧデータはその後、ＣＰＵ４２によって読み出され、Ｉ／Ｆ３８を経てファイル形式で記録媒体４０に記録される。

ＣＰＵ４２は、図７に示すメインタスクと図８〜図９に示す顔検出タスクとを含む複数のタスクを並列的に実行する。なお、これらのタスクに対応する制御プログラムは、フラッシュメモリ４８に記憶される。

まず図７を参照して、ステップＳ１では顔検出タスクを起動し、ステップＳ３ではスルー画像処理を実行する。ステップＳ１の処理によって図７〜図８に示す顔検出タスクの処理が開始される。ステップＳ３の処理によって、スルー画像がＬＣＤモニタ３２に表示される。

ステップＳ５では、キー入力装置４６からキー状態信号を取り込む。ステップＳ７ではシャッタボタン４６ｓが半押しされたか否かを判別し、ステップＳ９ではシャッタボタン４６ｓが全押しされたか否かを判別する。

ステップＳ７でＹＥＳであれば、ステップＳ１５〜Ｓ２３の処理を経てステップＳ３に戻る。ステップＳ９でＹＥＳであれば、ステップＳ１１で記録処理を実行してからステップＳ５に戻る。ステップＳ７およびＳ９の各々でＮＯであれば、ステップＳ１３でスルー画像用ＡＥ処理を実行してからステップＳ５に戻る。

ステップＳ１１の処理によって、シャッタボタン４６ｓが操作された時点の被写界像を表すＪＰＥＧデータがファイル形式で記録媒体４０に記録される。ステップＳ１３の処理によって、スルー画像の明るさが適度に調整される。

ステップＳ１５では、顔情報が初期値を示すか否かを判別する。顔情報が初期値と異なれば、顔情報によって定義される顔画像領域を基準とするＡＦ処理およびＡＥ処理をステップＳ１７およびＳ１９でそれぞれ実行する。顔情報が初期値を示していれば、図２に示す中央領域Ａ１を基準とするＡＦ処理およびＡＥ処理をステップＳ２１およびステップＳ２３でそれぞれ実行する。

図８を参照して、ステップＳ３１では顔情報を初期値に設定する。垂直同期信号Ｖｓｙｎｃが発生するとステップＳ３３でＹＥＳと判断し、ステップＳ３５で動き検出回路２２から動きベクトルを取り込む。ステップＳ３７では取り込まれた動きベクトルの量が閾値ＴＨを上回るか否かを判別する。ＹＥＳであれば、撮像面１４ｆのパン／チルト動作が実行中であるとみなし、ステップＳ５３に進む。ＮＯであれば、撮像面１４ｆのパン／チルト動作が中断中であるとみなして、ステップＳ３９に進む。

ステップＳ３９では、図２に示す中央領域Ａ１を探索領域として設定し、除外領域を非設定とする。ステップＳ４１では顔探索処理を実行し、ステップＳ４３では顔情報が初期値を示すか否かを判別する。顔情報が初期値と異なる数値を示せば、顔画像が発見されたとみなし、ステップＳ５１に進む。顔情報が初期値を示せば、顔画像は未だ発見されていないとみなし、ステップＳ４５に進む。

ステップＳ４５では、図２に示す表示画像領域２８ａの全域を探索領域として設定し、中央領域Ａ１を除外領域として設定する。ステップＳ４７では顔探索処理を実行し、ステップＳ４９では顔情報が初期値を示すか否かを判別する。顔情報が初期値と異なる数値を示せばステップＳ５１に進み、顔情報が初期値を示せばステップＳ５３に進む。

ステップＳ５１では、顔情報によって定義される顔画像領域に矩形状のキャラクタＫを表示するべく、対応する命令をキャラクタジェネレータ３４に与える。ステップＳ５３では、キャラクタＫの表示を中断するべく、対応する命令をキャラクタジェネレータ３４に与える。ステップＳ５１またはＳ５３の処理が完了すると、ステップＳ３３に戻る。

ステップＳ４１およびＳ４７の各々の顔探索処理は、図９に示すサブルーチンに従って実行される。まずステップＳ６１で顔判別領域の設定を初期化する。これによって、最大サイズの顔判別領域が探索領域の左上に配置される。顔判別領域は、顔判別領域の左上座標が探索領域の左上座標と一致するように、図２に示す表示画像エリア２８ａ上に設定される。

ステップＳ６３では設定された顔判別領域の特徴量を検出し、ステップＳ６５では検出された特徴量を辞書の特徴量と比較する。ステップＳ６７では、顔判別領域に属する部分画像が顔画像であるか否かをステップＳ６５の照合結果に基づいて判別する。

ステップＳ６７でＹＥＳであれば、ステップＳ６９で顔情報を更新する。顔情報には、現時点の顔判別領域のサイズおよび位置が記述される。ステップＳ６９の処理が完了すると、上階層のルーチンに復帰する。

ステップＳ６７でＮＯであればステップＳ７１に進み、顔判別領域の右下座標が探索領域の右下座標と一致するか否かを判別する。ここでＮＯであれば、ステップＳ７３で顔判別領域をラスタ方向に既定量だけ移動させる。ステップＳ７５では移動後の顔判別領域が除外領域と完全に重なるか否かを判別し、ＹＥＳであればステップＳ７３に戻る一方、ＮＯであればステップＳ６３に戻る。

ステップＳ７１でＹＥＳであれば、顔判別領域のサイズが“最小”であるか否かをステップＳ７７で判別する。顔判別領域のサイズが“最小”であれば、探索領域からの顔画像の探索に失敗したとみなし、ステップＳ８３で顔情報を初期値に設定する。その後、上階層のルーチンに復帰する。顔判別領域のサイズが“最大”または“ミドル”であれば、ステップＳ７９で顔判別領域のサイズを１ステップ縮小し、ステップＳ８１で顔判別領域を探索領域の左上に配置し、その後にステップＳ６３に戻る。

以上の説明から分かるように、イメージセンサ１４は、被写界を捉える撮像面１４ｆを有する。ＣＰＵ４２は、撮像面１４ｆによって捉えられた被写界像の中央領域Ａ１から顔画像を探索し(S39, S41)、中央領域Ａ１からの探索に失敗したとき撮像面１４ｆによって捉えられた被写界像の周辺領域Ｂ１から顔画像（特徴画像）を探索する(S45, S47)。ＣＰＵ４２は、中央領域Ａ１または周辺領域Ｂ１から最初に発見された顔画像に注目して、フォーカスや露光時間などの撮像条件を調整する。

中央領域Ａ１に顔画像が存在するときは、周辺領域Ｂ１からの探索を待つことなく、撮像条件が調整される。これによって、顔画像に注目した撮像条件の調整に要する時間を極力短縮することができる。中央領域Ａ１に顔画像が存在しなければ、顔画像は周辺領域Ｂ１から探索される。これによって、顔画像の探索範囲を拡大することができる。

なお、この実施例では、サイズの異なる３つの顔判別領域を準備するようにしているが、顔判別領域の数が増大するほど、つまり顔判別領域サイズが多様化するほど、顔画像の探索精度が向上する。また、この実施例では、特徴画像として人物の顔画像を想定しているが、特徴画像はこれに限られるものではない。

さらに、この実施例では、パンおよび／またはチルト動作が中断されてから中央領域Ａ１および周辺領域Ｂ１の各々に注目した顔探索処理を実行するようにしているが、中央領域Ａ１に注目した顔探索処理はパンおよび／またはチルト動作の途中で実行するようにしてもよい。この場合、図１０に示すように、ステップＳ３９〜Ｓ４１の処理をステップＳ３３およびＳ３５の間に移動させる必要がある。この結果、パンおよび／またはチルト動作が実行されているときは、中央領域Ａ１のみが顔探索処理の対象となる。つまり、探索領域は、撮像面１４ｆのパンおよび／またはチルトの速度の増大に伴って、“Ａ１＋Ｂ１”→“Ａ１”の順で縮小される。なお、図１０に示す構成以外の構成は図１〜図９実施例と同じであるため、重複した説明は省略する。

この実施例によれば、イメージセンサ１４は、被写界を捉える撮像面１４ｆを有し、被写界像を繰り返し生成する。ＣＰＵ４２は、探索領域を撮像面１４ｆに割り当て(S39, S45)、探索領域上で顔画像（特徴画像）を探索する探索処理をイメージセンサ１４における被写界像の生成処理と並行して繰り返し実行する。探索処理によって検知された顔画像の位置を示すキャラクタＫ（位置情報）は、ＬＣＤモニタ３２上のスルー画像に多重される(S51)。撮像面１４ｆに割り当てられる探索領域のサイズは、撮像面１４ｆのパンおよび／またはチルトに応じて、ＣＰＵ４２によって変更される(S37)。つまり、探索領域は、撮像面１４ｆのパンおよび／またはチルトの速度の増大に伴って、“Ａ１＋Ｂ１”→“Ａ１”→ゼロの順で縮小される。

このように、探索領域のサイズは撮像面１４ｆのパンおよび／またはチルトに応じて変更され、顔画像は変更された探索領域に属する画像から探索される。したがって、撮像面のパンおよび／またはチルトが行われるときでも、顔画像を的確に検知することができる。つまり、探索処理に要する時間は探索領域のサイズが小さいほど短縮されるため、顔画像の移動に追従して撮像面１４ｆのパンおよび／またはチルト動作を行ったとき、顔画像を的確に検知し続けることができる。

また、上述の実施例では、撮像面１４ｆのパンおよび／またはチルト動作に応じて探索領域のサイズを“Ａ１＋Ｂ１”，“Ａ１”またはゼロに設定するようにしているが、探索領域のサイズは４つ以上準備するようにしてもよい。この場合、図１１に示す中央小領域Ａ２（サイズ：垂直８０画素×水平１０７画素）を表示画像エリア２８ａの中央に追加的に設け、図８に示す顔検出タスクに代えて図１２〜図１３に示す顔検出タスクを実行する必要がある。

なお、図１１〜図１３に示す構成以外の構成は図１〜図９実施例と同じであり、さらに図１１〜図１３に示す構成は図２および図８に示す構成と部分的に共通するため、重複した説明は省略する。

図１２および図１３を参照して、ステップＳ９１では取り込まれた動きベクトルの量が閾値ＴＨ３を上回るか否かを判別し、ステップＳ９３では取り込まれた動きベクトルの量が閾値ＴＨ２を上回るか否かを判別する。ステップＳ９１でＹＥＳであればステップＳ１０３に進み、ステップＳ９３でＹＥＳであればステップＳ９５に進み、ステップＳ９３でＮＯであればステップＳ３９に進む。なお、閾値ＴＨ２およびＴＨ３と上述の閾値ＴＨとの間には、ＴＨ３＞ＴＨ２＞ＴＨの大小関係が成り立つ。

ステップＳ９５では、図２に示す中央小領域Ａ２を探索領域として設定し、除外領域を非設定とする。ステップＳ９７では顔探索処理を実行し、ステップＳ９９では顔情報が初期値を示すか否かを判別する。顔情報が初期値と異なる数値を示せば、顔画像が発見されたとみなし、ステップＳ１０１に進む。顔情報が初期値を示せば、顔画像は未だ発見されていないとみなし、ステップＳ１０３に進む。

ステップＳ１０１では、顔情報によって定義される顔画像領域に矩形状のキャラクタＫを表示するべく、対応する命令をキャラクタジェネレータ３４に与える。ステップＳ１０３では、キャラクタＫの表示を中断するべく、対応する命令をキャラクタジェネレータ３４に与える。ステップＳ１０１またはＳ１０３の処理が完了すると、ステップＳ３３に戻る。

なお、図１３に示すステップＳ３７ではステップＳ３５で取り込まれた動きベクトルの量が閾値ＴＨを上回るか否かを判別し、ＮＯであればステップＳ４５に進む一方、ＹＥＳであればステップＳ５３に進む。

この実施例によれば、動きベクトルの量が閾値ＴＨ３以下で閾値ＴＨ２を上回るときは、中央小領域Ａ２が探索領域とされる。また、動きベクトルの量が閾値ＴＨ２以下で閾値ＴＨを上回るときは、中央領域Ａ１が探索領域とされる。さらに、動きベクトルの量が閾値ＴＨ１以下のときは、中央領域Ａ１および周辺領域Ｂ１が探索領域とされる。なお、動きベクトルの量が閾値ＴＨ３を上回るときは、顔探索処理が中断される。

つまり、探索領域は、撮像面１４ｆのパンおよび／またはチルトの速度の増大に伴って、“Ａ１＋Ｂ１”→“Ａ１”→“Ａ２”→ゼロの順で縮小される。したがって、撮像面のパンおよび／またはチルトが行われるときでも、顔画像を的確に検知することができる。つまり、探索処理に要する時間は探索領域のサイズが小さいほど短縮されるため、顔画像の移動に追従して撮像面１４ｆのパンおよび／またはチルト動作を行ったとき、顔画像を的確に検知し続けることができる。

なお、図１０実施例では、撮像面１４ｆのパンおよび／またはチルトの速度が増大するほど探索領域のサイズを“Ａ１＋Ｂ１”→“Ａ１”→ゼロの要領で縮小するようにしているが、サイズ縮小処理と並行して、縮小された探索領域を撮像面１４ｆのパンおよび／またはチルトの方向に沿って移動させるようにしてもよい。

図１４を参照して、パンおよび／またはチルト方向が左上方向である場合、表示画像エリア２８ａの中央に割り当てられる領域Ａ１（この実施例では“優先領域Ａ１”と定義）もまた左上方向に移動される。このような動作を実現するために、図８に示す顔検出タスクに代えて図１５〜図１８に示す顔検出タスクが実行される。なお、図１５〜図１８に示す構成以外の構成は図１〜図９実施例と同じであり、さらに図１５〜図１６に示す構成は図８に示す構成と部分的に共通するため、重複した説明は省略する。

図１５および図１６を参照して、ステップＳ１１１では優先領域設定処理を実行する。優先領域Ａ１は、ステップＳ３５で取り込まれた動きベクトルに基づく位置に設定される。ステップＳ１１３では、優先領域Ａ１を探索領域として設定し、除外領域を非設定とする。ステップＳ３５で取り込まれた動きベクトルが閾値ＴＨ以下のときはステップＳ３７からステップＳ１１５に進み、表示画像領域２８ａの全域を探索領域として設定する一方、優先領域Ａ１を除外領域として設定する。

ステップＳ１１１の優先領域設定処理は、図１７および図１８に示すサブルーチンに従って実行される。まずステップＳ１２１で、優先領域Ａ１の位置を表示画像エリア２８ａの中心位置とし、優先領域Ａ１のサイズを垂直１２０画素×水平１６０画素に設定する。ステップＳ１２３では動きベクトルのＸ成分が閾値ＴＨＸ１を上回るか否かを判別し、ステップＳ１２５では動きベクトルのＸ成分の方向が右方向であるか否かを判別し、ステップＳ１２７およびＳ１３３の各々では動きベクトルのＸ成分が閾値ＴＨＸ２を上回るか否かを判別する。なお、閾値ＴＨＸ１およびＴＨＸ２の間にはＴＨＸ２＞ＴＨＸ１の大小関係が成り立つ。

ステップＳ１２３，Ｓ１２５およびＳ１２７でそれぞれＹＥＳ，ＮＯおよびＮＯと判別されると、ステップＳ１２９で優先領域Ａ１を移動量ＤＸ１だけ右に移動させる。ステップＳ１２３，Ｓ１２５およびＳ１２７でそれぞれＹＥＳ，ＮＯおよびＹＥＳと判別されると、ステップＳ１３１で優先領域Ａ１を移動量ＤＸ２だけ右に移動させる。

ステップＳ１２３，Ｓ１２５およびＳ１３３でそれぞれＹＥＳ，ＹＥＳおよびＮＯと判別されると、ステップＳ１３５で優先領域Ａ１を移動量ＤＸ１だけ左に移動させる。ステップＳ１２３，Ｓ１２５およびＳ１３３でそれぞれＹＥＳ，ＹＥＳおよびＹＥＳと判別されると、ステップＳ１３７で優先領域Ａ１を移動量ＤＸ２だけ左に移動させる。

ステップＳ１２９，Ｓ１３１，Ｓ１３５またはＳ１３７の処理が完了すると、ステップＳ１３９に進む。また、ステップＳ１２３でＮＯと判断されたときは、そのままステップＳ１３９に進む。なお、移動量ＤＸ１およびＤＸ２の間には、ＤＸ２＞ＤＸ１の大小関係が成り立つ。

ステップＳ１３９では動きベクトルのＹ成分が閾値ＴＨＹ１を上回るか否かを判別し、ステップＳ１４１では動きベクトルのＹ成分の方向が上方向であるか否かを判別し、ステップＳ１４３およびＳ１４５の各々では動きベクトルのＹ成分が閾値ＴＨＹ２を上回るか否かを判別する。なお、閾値ＴＨＹ１およびＴＨＹ２の間にはＴＨＹ２＞ＴＨＹ１の大小関係が成り立つ。

ステップＳ１３９，Ｓ１４１およびＳ１４３でそれぞれＹＥＳ，ＮＯおよびＮＯと判別されると、ステップＳ１４７で優先領域Ａ１を移動量ＤＹ１だけ上に移動させる。ステップＳ１３９，Ｓ１４１およびＳ１４３でそれぞれＹＥＳ，ＮＯおよびＹＥＳと判別されると、ステップＳ１４９で優先領域Ａ１を移動量ＤＹ２だけ上に移動させる。

ステップＳ１３９，Ｓ１４１およびＳ１４５でそれぞれＹＥＳ，ＹＥＳおよびＮＯと判別されると、ステップＳ１５１で優先領域Ａ１を移動量ＤＹ１だけ下に移動させる。ステップＳ１３９，Ｓ１４１およびＳ１４５でそれぞれＹＥＳ，ＹＥＳおよびＹＥＳと判別されると、ステップＳ１５３で優先領域Ａ１を移動量ＤＹ２だけ下に移動させる。

ステップＳ１４７，Ｓ１４９，Ｓ１５１またはＳ１５３の処理が完了すると、上階層のルーチンに復帰する。また、ステップＳ１３９でＮＯと判断されたときは、そのまま上階層のルーチンに復帰する。なお、移動量ＤＹ１およびＤＹ２の間には、ＤＹ２＞ＤＹ１の大小関係が成り立つ。

この実施例によれば、優先領域Ａ１は撮像面１４ｆのパンおよび／またはチルトの方向に沿って移動される。これによって、顔画像を優先領域Ａ１に容易に収めることができる。

なお、この実施例では、撮像面１４ｆのパンおよび／またはチルトの方向と同じ方向に優先領域Ａ１を移動させるようにしているが、優先領域Ａ１の移動方向は撮像面１４ｆのパンおよび／またはチルトの方向と逆の方向であってもよい。この場合、手振れの影響をキャンセルすることができる。

また、この実施例では、撮像面１４ｆのパンおよび／またはチルトの方向や速度を動きベクトルに基づいて検出するようにしているが、撮像面１４ｆのパンおよび／またはチルトの方向や速度は角速度センサや加速度センサを利用して検出するようにしてもよい。

さらに、この実施例では、特徴画像として人物の顔画像を想定しているが、これに代えてサッカーボールやバレーボールの画像を特徴画像として想定するようにしてもよい。

この発明の構成の一例を示すブロック図である。 図１実施例に適用されるＳＤＲＡＭの表示画像エリアに割り当てられた中央領域および周辺領域の一例を示す図解図である。 （Ａ）は図２に示す表示画像エリア上を走査される最大サイズの顔判別領域の一例を示す図解図であり、（Ｂ）は図２に示す表示画像エリアを走査されるミドルサイズの顔判別領域の一例を示す図解図であり、そして（Ｃ）は図２に示す表示画像エリアを走査される最小サイズの顔判別領域の一例を示す図解図である。 （Ａ）は中央領域に注目する探索処理動作の一部を示す図解図であり、（Ｂ）は周辺領域に注目する探索処理動作の一部を示す図解図である。 図１実施例に適用されるＬＣＤモニタに表示される画像の一例を示す図解図である。 図１実施例に適用されるＬＣＤモニタに表示される画像の他の一例を示す図解図である。 図１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 この発明の他の実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 この発明のその他の実施例の動作の一部を示す図解図である。 図１１実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１１実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 この発明のさらにその他の実施例の動作の一部を示す図解図である。 図１４実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図１４実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図１４実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図１４実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。

符号の説明

１０ …ディジタルカメラ
１４ …イメージセンサ
２０ …信号処理回路
２２ …動き検出回路
２４ …ＡＥ／ＡＦ評価回路
２８ …ＳＤＲＡＭ
３２ …ＬＣＤモニタ
３４ …キャラクタジェネレータ
４２ …ＣＰＵ

Claims (18)

1. 被写界を捉える撮像面を有し、被写界像を繰り返し生成する撮像手段、
   前記撮像面に探索領域を割り当てる割り当て手段、
   前記割り当て手段によって割り当てられた探索領域上で特徴画像を探索する探索処理を前記撮像手段の生成処理と並行して繰り返し実行する探索手段、
   前記探索手段によって検知された特徴画像の位置を示す位置情報を出力する出力手段、および
   前記割り当て手段によって割り当てられる探索領域のサイズおよび／または位置を前記撮像面のパンおよび／またはチルトの速度に応じて変更する変更手段を備える、電子カメラ。
2. 前記変更手段は前記撮像面のパンおよび／またはチルトの速度が大きいほど前記探索領域のサイズを縮小するサイズ変更手段を含む、請求項１記載の電子カメラ。
3. 前記変更手段は前記撮像面のパンおよび／またはチルトの方向に沿って前記探索領域を移動させる位置変更手段を含む、請求項１または２記載の電子カメラ。
4. 前記探索領域は、前記撮像面の一部に割り当てられる第１探索領域、および前記第１探索領域を囲うように前記撮像面の他の一部に割り当てられる第２探索領域を含み、
   前記探索手段は、前記第１探索領域から特徴画像を探索する第１探索手段、および前記第２探索領域から特徴画像を探索する第２探索手段を含む、請求項１記載の電子カメラ。
5. 前記変更手段は前記撮像面のパンおよび／またはチルトの速度が第１閾値を上回るとき前記第２探索手段を不能化する第１不能化手段を含む、請求項４記載の電子カメラ。
6. 前記変更手段は前記撮像面のパンおよび／またはチルトの速度が前記第１閾値よりも大きい第２閾値を上回るとき前記第１探索領域のサイズを縮小する領域サイズ縮小手段をさらに含む、請求項５記載の電子カメラ。
7. 前記変更手段は前記撮像面のパンおよび／またはチルトの速度が前記第２閾値よりも大きい第３閾値を上回るとき前記第１探索手段を不能化する第２不能化手段をさらに含む、請求項６記載の電子カメラ。
8. 前記第２探索手段は前記第１探索手段が探索に失敗したとき探索処理を実行する、請求項４ないし７のいずれかに記載の電子カメラ。
9. 前記変更手段は前記撮像面のパンおよび／またはチルトの方向に沿って前記第１探索領域を移動させる位置変更手段を含む、請求項４または５記載の電子カメラ。
10. 前記探索手段は、指定サイズの判別領域に属する画像が前記特徴画像であるか否かを判別する画像判別手段、および前記画像判別手段の判別結果が否定的であるとき前記判別領域の位置および／またはサイズを変更する領域変更手段を含む、請求項１ないし９のいずれかに記載の電子カメラ。
11. 前記領域変更手段は、前記画像判別手段の判別結果が否定的である前記判別領域の位置が終端位置であるとき前記判別領域のサイズを変更する領域サイズ変更手段、および前記領域サイズ変更手段の変更処理に関連して前記判別領域の位置を先頭位置に変更する領域位置変更手段を含む、請求項１０記載の電子カメラ。
12. 前記領域サイズ変更手段は前記判別領域のサイズを縮小方向に変更する、請求項１１記
    載の電子カメラ。
13. 前記探索手段は前記画像判別手段の判別結果が肯定的であるとき現時点の前記判別領域の位置が記述された領域情報を作成する作成手段をさらに含み、
    前記出力手段は前記作成手段によって作成された領域情報を参照して出力処理を実行する、請求項１０ないし１２のいずれかに記載の電子カメラ。
14. 前記撮像面によって捉えられた被写界を表す動画像をリアルタイムで再現する再現手段をさらに備え、
    前記出力手段は前記位置情報に相当するキャラクタを前記再現手段によって再現される動画像に多重する、請求項１ないし１３のいずれかに記載の電子カメラ。
15. 条件調整操作が行われたとき前記探索手段によって検知された特徴画像に注目して撮像条件を調整する調整手段をさらに備える、請求項１ないし１４のいずれかに記載の電子カメラ。
16. 記録操作が行われたとき前記調整手段によって調整された撮像条件で作成された被写界像を記録する記録手段をさらに備える、請求項１５記載の電子カメラ。
17. 被写界を捉える撮像面を有し、被写界像を繰り返し生成する撮像手段を備える電子カメラのプロセサに、
    前記撮像面に探索領域を割り当てる割り当てステップ、
    前記割り当てステップによって割り当てられた探索領域上で特徴画像を探索する探索処理を前記撮像手段の生成処理と並行して繰り返し実行する探索ステップ、
    前記探索ステップによって検知された特徴画像の位置を示す位置情報を出力する出力ステップ、および
    前記割り当てステップによって割り当てられる探索領域のサイズおよび／または位置を前記撮像面のパンおよび／またはチルトの速度に応じて変更する変更ステップを実行させるための、撮像条件調整プログラム。
18. 被写界を捉える撮像面を有し、被写界像を繰り返し生成する撮像手段を備える電子カメラの撮像条件調整方法であって、
    前記撮像面に探索領域を割り当てる割り当てステップ、
    前記割り当てステップによって割り当てられた探索領域上で特徴画像を探索する探索処理を前記撮像手段の生成処理と並行して繰り返し実行する探索ステップ、
    前記探索ステップによって検知された特徴画像の位置を示す位置情報を出力する出力ステップ、および
    前記割り当てステップによって割り当てられる探索領域のサイズおよび／または位置を前記撮像面のパンおよび／またはチルトの速度に応じて変更する変更ステップを備える、撮像条件調整方法。

Images