JP4906034B2

JP4906034B2 - 撮影装置および方法並びにプログラム

Info

Publication number: JP4906034B2
Application number: JP2005142689A
Authority: JP
Inventors: 祐和亀山; 渡伊藤
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2005-05-16
Filing date: 2005-05-16
Publication date: 2012-03-28
Anticipated expiration: 2025-05-16
Also published as: US7565073B2; US20060268150A1; JP2006319870A

Description

本発明は、被写体を撮影して被写体の画像を取得する撮影装置および方法、並びに撮影プログラムに関するものである。

写真画像に含まれる人間の顔を理想的な色で再現するために、その写真画像から顔を抽出し、顔のコントラストを補正する画像処理が行われている。

例えば、画像の各画素の画素値をＹＵＶ色空間の画素値に変換し、ＹＵＶ色空間において予め定められた肌色を表す肌色空間に含まれる画素値を有する画素を肌色の画素と見なすことにより画像から肌色領域を検出し、さらに輝度平均値等の肌色領域の特徴量を用いて顔領域を決定し、顔領域における肌色情報に基づいて、露光の状況を判定して階調を補正する手法が提案されている（特許文献１参照）。

一方、デジタルカメラにおいては、撮影により取得した画像に対して、デジタルカメラ内部において階調処理、色補正処理、濃度補正処理、およびＡＷＢ処理等の画像処理を施して、所望とする画質を有する画像を得るようにしている。また、撮影時にはＡＥ処理を行って適切な露出量により撮影を行うようにしている。ここで、ＡＥ処理を行う場合には、例えば、レリーズボタンを押下する前に取得される入力スルー画像を複数の領域に分割し、分割により得られた複数の領域の重みづけ平均輝度を被写体の輝度としたり、画像の中央部を重点的に測光したり、フォーカス点の輝度を被写体輝度とする等により被写体の輝度を測定し、その測定結果に基づいて露出量を決定し、決定した露出量により撮影を行うようにしている。

ここで、上記特許文献１に記載されたような顔領域を検出する手法をデジタルカメラのＡＥ処理に適用し、レリーズボタンを押下する前に取得される入力スルー画像から顔領域を検出し、検出した顔領域に基づいて露出量を決定し、決定した露出量により撮影を行うようにすれば、撮影しようとする画像に含まれる顔領域に応じて、適切に露出を制御することができる。
特開２０００−１８８７６８号公報

しかしながら、特許文献１における顔領域の検出の手法においては、例えば肌色領域に影がかかっていたり、背景領域が肌色に近似していたりすると、肌色領域と背景領域の境界が検出できないため、肌色領域を正確に検出できなかった。例えば、肌色領域に影がかかっている場合、影のかかっていない部分のみを肌色領域として検出してしまうため、影のかかっていない部分にのみ基づいて階調を補正することとなり、その結果、補正された画像のコントラストが強くなりすぎる傾向があった。したがって、上記特許文献１の手法をデジタルカメラに適用した場合、適切に露出量を決定できないという問題がある。

本発明は上記事情に鑑みなされたものであり、肌色領域に基づいた、より精度の高い露出量の決定を可能にすることを目的とする。

本発明による撮影装置は、人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた、少なくとも人間の顔の輪郭形状を表す統計的特徴量を含む１以上の統計的特徴量によって前記顔を表現するモデルに、入力スルー画像中の顔候補領域を適応させることによって、該入力スルー画像中の顔領域を検出する顔検出手段と、
前記検出された顔領域に基づいて静止画像撮像時の露出量を決定する露出量決定手段と、
前記決定された露出量により前記静止画像の撮像を行う撮像手段とを備えたことを特徴とするものである。

本発明による撮影方法は、人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた、少なくとも人間の顔の輪郭形状を表す統計的特徴量を含む１以上の統計的特徴量によって前記顔を表現するモデルに、入力スルー画像中の顔候補領域を適応させることによって、該入力スルー画像中の顔領域を検出し、
前記検出された顔領域に基づいて静止画像撮像時の露出量を決定し、
前記決定された露出量により前記静止画像の撮像を行うことを特徴とするものである。

本発明による撮影プログラムは、コンピュータに上記の撮影方法を実行させる（上記各手段として機能させる）ものである。

次に、本発明による撮影装置、方法、およびプログラムの詳細について説明する。

本発明による「顔を表現するモデル」の具体的実現手法としては、ＡＡＭ（Active Appearance Models）の手法を利用することが考えられる。ＡＡＭは、モデルに基づいて画像の内容の解釈を試みるアプローチの１つであり、例えば、顔を解釈の対象とする場合、学習対象となる複数の画像中の顔部分の形状や、形状を正規化した後の輝度の情報に対して主成分分析を行うことによって顔の数学モデルを生成し、新たな入力スルー画像中の顔部分を、数学モデルにおける各主成分と各主成分に対する重みづけパラメータで表現し、顔画像を再構成する手法である（Ｔ．Ｆ．クーツ（Cootes），Ｇ．Ｊ．エドワーズ（Edwards），Ｃ．Ｊ．テイラー（Taylor）、「動的見えモデル（Active Appearance Models）」、第５回計算機視覚欧州会議報（In Proc. 5th European Conference on Computer Vision）、ドイツ、シュプリンガー（Springer）、1998年、vol.2、p.p.484-498；以下、参考文献１とする）。

「複数の画像」は、実際に人間の顔を撮影することにより取得された画像であってもよく、シミュレーションにより生成された画像であってもよい。

「所定の統計処理」としては、顔領域を、顔領域を表す画素の数よりも少ない次元数の統計的特徴量に圧縮して表すことができる次元圧縮処理が好ましい。具体例としては主成分分析等の多変量解析手法が考えられる。また、「所定の統計処理」として主成分分析を行った場合、「統計的特徴量」とは、主成分分析によって得られる複数の主成分を意味する。

「統計的特徴量」には、少なくとも顔の輪郭形状の情報が表現されている必要がある。顔領域を高精度に検出するためである。

また、「顔の輪郭形状を表す統計的特徴量」は、１つの統計的特徴量であってもよいし、複数の統計的特徴量であってもよい。

「入力スルー画像」とは、静止画像を撮像する指示がなされる前に撮像手段により撮像されている画像である。具体的には、デジタルカメラにおいてレリーズボタンを押下する前には、デジタルカメラのモニタに動画像のように画像が表示されるが、その動画像を構成する１つのフレームが入力スルー画像に対応するものとなる。

「入力スルー画像中の顔候補領域」は、自動的に検出するようにしてもよいし、手動で検出するようにしてもよい。また、本発明は、入力スルー画像中の前記顔候補領域を検出する処理（手段）をさらに有していてもよいし、入力スルー画像から前記顔候補領域の部分を予め検出しておいてもよい。

「顔領域に基づいて静止画像撮像時の露出量を決定する」とは、顔領域が適切な輝度を有する画像が得られるように露出量を決定することであり、具体的には、顔領域を重点的に測光する、あるいは顔領域のみを測光する等により顔領域の輝度を測定し、その測定結果に基づいて露出量を決定するようにすればよい。

また、本発明におけるモデルを人間の顔の属性毎に複数準備しておき、入力スルー画像中の顔候補領域の属性を表す情報を取得し、取得された属性に応じてモデルを選択する処理（手段）を付加し、選択されたモデルに入力スルー画像中の顔候補領域を適応させることによって、顔領域を検出するようにしてもよい。

ここで、「属性」とは、例えば、性別や年齢、人種等が考えられる。また、個人を特定する情報であってもよい。この場合には、属性毎のモデルは個人毎のモデルを意味する。

この「属性」の具体的取得方法としては、画像に対する公知の認識処理（例えば、特開平１１−１７５７２４号公報記載）や、ＧＰＳ情報等の画像の付帯情報からの推定・取得が考えられる。

「顔を表現するモデルに、入力スルー画像中の顔候補領域を適応させる」とは、入力スルー画像中の顔候補領域をモデルによって表現するための演算処理等を意味する。具体的には、上記のＡＡＭの手法を用いた場合を例にすると、数学モデルにおける各主成分に対する重みづけパラメータの値を求めることを意味する。

本発明の撮影方法および装置並びにプログラムによれば、人間の顔の輪郭形状を表す統計的特徴量に着目し、人間の顔の輪郭形状を表す統計的特徴量を含む１以上の統計的特徴量によって顔を表現するモデルに、入力スルー画像中の顔候補領域を適応させることによって、入力スルー画像中の顔領域を検出し、検出した顔領域に基づいて静止画像撮像時の露出量を決定し、決定された露出量により静止画像の撮像を行うようにしたものである。

このため、顔候補領域に影がかかっていたり、背景領域が肌色に近似していても、入力スルー画像から正確に顔領域を検出することができる。したがって、顔以外の背景領域の影響が少ない、入力スルー画像中の顔領域内の輝度を高精度に反映した露出量の決定が可能になり、より色再現性の高い静止画像を撮影できるようになる。

また、入力スルー画像中の顔候補領域を検出する処理（手段）を付加した場合には、顔候補領域の自動検出が可能になり、操作性が向上する。

また、本発明におけるモデルを顔の属性毎に複数備えるとともに、入力スルー画像中の顔候補領域の属性を取得し、取得された属性に応じたモデルを選択する処理（手段）を付加し、選択されたモデルに入力スルー画像中の顔候補領域を適応させることによって顔領域を検出するようにした場合、入力スルー画像中の顔領域を、より適切なモデルに適応させることが可能になるため、処理精度が向上し、より高品質の画像が得られる。

以下、図面を参照しつつ、本発明の実施の形態について説明する。

図１は、本発明の実施形態となるデジタルカメラの構成を模式的に表したものである。図に示すように、このデジタルカメラは、レンズ、絞り、シャッター、ＣＣＤ等からなり、被写体の撮像を行う撮像部７１、撮像部７１のＣＣＤに蓄積された電荷によるアナログ信号をデジタル化して、デジタル画像データＰ０を得るＡ／Ｄ変換部７２、画像データＰ０等に対して各種画像処理を行う画像処理部７３、メモリカードに記録する画像データの圧縮処理やメモリカードから読み込んだ圧縮形式の画像データに対する伸長処理を行う圧縮／伸長部７４、ストロボ等からなり、ストロボ発光を行うストロボ部７５、各種操作ボタン等からなり、撮影条件や画像処理条件等の設定を行う操作部７６、画像データが記録されるメモリカードとのインターフェースとなるメディア記録部７７、液晶ディスプレイ等からなり、スルー画像や撮影された画像、各種設定メニュー等を表示する表示部７８、前記各部による処理の制御を行う制御部７０、制御プログラムや画像データ等を記憶する内部メモリ７９、およびＡＥ処理を行うＡＥ処理部８０を有している。

制御部７０は内部メモリ７９に記憶された制御プログラムの実行により、デジタルカメラの各部と連携して、画像の撮影、入力、補正、加工、出力のフローを制御したり、画像の補正や加工のための画像処理の演算を行ったりするものである。本発明による露出量決定処理は、制御部７０の制御によりＡＥ処理部８０で行われる。

次に、このデジタルカメラの操作と処理の流れについて説明する。

まず、撮影者によるデジタルカメラのスイッチオンの操作によって、撮像部７１がレンズに入射した被写体光をＣＣＤの光電面に結像させ、光電変換の後、アナログ画像信号を出力し、Ａ／Ｄ変換部７２が、出力されたアナログ画像信号をデジタル画像信号に変換し、デジタルスルー画像データＰｓとして表示部７８に表示する。なお、デジタルスルー画像データＰｓは、ＣＣＤを構成するすべての素子が出力した信号を適宜間引きつつ、所定のフレームレートにより連続して撮像を行うことにより生成されるものであり、デジタルスルー画像データＰｓの画像（以下、画像データとその画像データによる画像を同じ符号で表す）を表示部７８に連続して表示することにより、動画像のように被写体が再生されることとなる。

次にＡＥ処理部８０が、撮像時における露出量を決定する処理を行う。ここで、露出量決定処理は、制御部７０が、内部メモリ７９に記憶されている露出量決定用の制御プログラムを起動し、内部メモリ７９に予め記憶されている数学モデルＭを用いた後述する露出量決定処理をＡＥ処理部８０に行わせることによって実現される。

その後、撮影者によるシャッターの全押し操作によって、決定された露出量により撮像部７１において撮像が行われる。すなわち、撮像部７１がレンズに入射した被写体光をＣＣＤの光電面に結像させ、光電変換の後、アナログ画像信号を出力し、Ａ／Ｄ変換部７２が、出力されたアナログ画像信号をデジタル画像信号に変換し、デジタル画像データＰ０として出力する。

次に、画像処理部７３において、制御部７０で実行される画像処理プログラムにより、予めデジタルカメラに設定されているセットアップ条件に基づいて、公知の階調補正処理、色補正処理、濃度補正処理、ホワイトバランス調整処理、シャープネス補正、ノイズ軽減・除去等の処理が行われ、処理済みの画像データＰ１が出力される。

ここで、画像Ｐ１が表示部７８により液晶ディスプレイに表示される。図２（ａ）は、ディスプレイ５５に表示される画面の一例である。撮影者は、表示されたサムネイル画像を確認し、画質の手動補正が必要なものや、画像の加工の注文があるものを、操作部７６の操作ボタンの操作によって選択すると（図２（ａ）では左上の画像DSCF0001を選択）、図２（ｂ）に一例を示すように、選択されたサムネイル画像が拡大されて表示部７８に表示されるとともに、その画像に対する手動補正や加工の処理内容を選択するボタンが表示される。撮影者は、表示されたボタンの中から所望のものを操作部７６の操作によって選択し、必要に応じて、選択された処理内容のさらに詳細な設定等を行う。画像処理部７３は、選択された処理内容に応じた画像処理を行い、処理済みの画像データＰ２を出力する。

なお、表示部７８への画面表示、操作部７６による入力の受付、手動補正や加工の画像処理等は、制御部７０で実行されている制御プログラムによって制御される。

そして、圧縮／伸長部７４が画像データＰ２をＪＰＥＧ等の圧縮形式に基づく圧縮処理を行い、メディア記録部７７経由でこのデジタルカメラに装填されたメモリカードに圧縮後の画像データを書き込む。

なお、手動補正や加工処理は、メモリカードに一旦記録された画像に対しても行えるようにしてもよい。具体的には、メモリカードに記憶されている画像データを圧縮／伸長部７４が伸長した後、伸長済みの画像データによる画像を表示部７８の液晶ディスプレイに表示し、撮影者が、前記と同様の操作によって所望の画像処理を選択し、画像処理部７３が、選択された画像処理を行う。

ここで、ＡＥ処理部８０によって行われる本発明による露出量決定処理の詳細について以下に説明する。図３は、この露出量決定処理の詳細を表すブロック図である。図に示したように、スルー画像Ｐｓ中の顔候補領域Ｆ０を検出する顔候補検出部３１と、人間の顔が表された複数のサンプル画像に基づいてＡＡＭ（前記の参考文献１参照）の手法によって生成された数学モデルＭに、検出された顔候補領域Ｆ０を適応させることによって、スルー画像Ｐｓにおける顔領域Ｆ１を検出する顔検出部３２と、検出された顔領域Ｆ１に基づいて露出量Ｅ０を決定する露出量決定部３３とによって、露出量決定処理が実現される。なお、これらの処理は内部メモリ７９に記憶された制御プログラムによって行われる。

この数学モデルＭは、図４のフローチャートに基づいて生成されたものであり、上記のプログラムとともに予め内部メモリ７９に記憶されている。以下では、この数学モデルＭの生成過程について説明する。

まず、人間の顔が表された複数の顔画像（サンプル画像）の各々に対して、図５に示すように、顔形状を表す特徴点を設定する（ステップ＃１）。顔形状とは顔の輪郭形状および顔を構成する目、鼻および口等の部品の形状を含む。ここでは、特徴点の数は１２２箇所とする（ただし、図５では簡潔に表現するため６０箇所しか表していない）。各特徴点は、例えば、１番目の特徴点は左目の左端、３８番目の特徴点は眉の間の中央というように、顔のどの部位を示すものであるかが予め定められている。また、各特徴点は、手作業によって設定してもよいし、認識処理によって自動的に設定するようにしてもよいし、自動的に設定後、必要に応じて手作業で修正するようにしてもよい。

次に、各サンプル画像中に設定された特徴点に基づいて、顔の平均形状を算出する（ステップ＃２）。具体的には、各サンプル画像における、同じ部位を示す特徴点毎の位置座標の平均を求める。

さらに、各サンプル画像における顔形状を表す特徴点とその平均形状の位置座標に基づいて主成分分析を行う（ステップ＃３）。その結果、任意の顔形状は次式（１）によって近似することができる。

ここで、Ｓは顔形状の各特徴点の位置座標を並べて表現される形状ベクトル（ｘ１，ｙ１，・・・，ｘ１２２，ｙ１２２）であり、Ｓ０は平均顔形状における各特徴点の位置座標を並べて表現される平均顔形状ベクトル、ｐｉは主成分分析によって得られた顔形状についての第ｉ主成分を表す固有ベクトル、ｂｉは各固有ベクトルｐｉに対する重みづけ係数を表す。図６は、主成分分析によって得られた上位２つの主成分の固有ベクトルｐ１、ｐ２に対する重みづけ係数ｂ１、ｂ２の値を変化させた場合の顔形状の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔形状を上式（１）で表した場合における重みづけ係数ｂ１、ｂ２の値の標準偏差ｓｄに基づいて、−３ｓｄから＋３ｓｄまでの間であり、各主成分についての３つの顔形状の真ん中のものは平均値の場合である。この例では、主成分分析の結果、第１主成分としては顔の輪郭形状に寄与する成分が抽出されており、重みづけ係数ｂ１を変化させることによって、細長い顔（−３ｓｄ）から丸顔（＋３ｓｄ）まで顔形状が変化することがわかる。同様に、第２主成分としては口の開閉状態と顎の長さに寄与する成分が抽出されており、重みづけ係数ｂ２を変化させることによって、口が開いた状態で顎の長い顔（−３ｓｄ）から口が閉じられた状態で顎が短い顔（＋３ｓｄ）まで顔の形状が変化することがわかる。なお、ｉの値が小さいほど、形状に対する説明力が高い、すなわち、顔形状への寄与が大きいことを意味する。

次に、各サンプル画像をステップ＃２で得られた平均顔形状に変換（ワーピング）する（ステップ＃４）。具体的には、各特徴点について、各サンプル画像と平均顔形状との間でのシフト量を算出し、そのシフト量に基づいて、式（２）から（５）の２次元５次多項式により各サンプル画像の画素毎の平均顔形状へのシフト量を算出し、各サンプル画像を画素毎に平均顔形状へワーピングする。

ここで、ｘ，ｙは各サンプル画像中の各特徴点の座標、ｘ′，ｙ′はワーピングされる平均顔形状上の座標、Δｘ，Δｙは平均形状へのシフト量、ｎは次数、ａｉｊ，ｂｉｊは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワーピング後の座標を囲む４つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。図７は、３つのサンプル画像について、各々の画像中の顔形状を平均顔形状に変換した状態を表したものである。

さらに、平均顔形状に変換後のサンプル画像毎の各画素のＲ，Ｇ，Ｂ三原色の画素値を変数として主成分分析を行う（ステップ＃５）。その結果、任意の顔画像の平均顔形状下でのＲ，Ｇ，Ｂ三原色の画素値は次式（６）によって近似することができる。

ここで、Ａは平均顔形状下での各画素のＲ，Ｇ，Ｂ三原色の各々の画素値を並べて表現されるベクトル（ｒ１，ｇ１，ｂ１，ｒ２，ｇ２，ｂ２，・・・，ｒｍ，ｇｍ，ｂｍ）（ｒ、ｇ、ｂは各々Ｒ，Ｇ，Ｂの三原色の画素値、１からｍは各画素を識別する添え字、ｍは平均顔形状での総画素数）であるが、ベクトルの成分の並び順は上記の順に限定されず、例えば、（ｒ１，ｒ２，・・・，ｒｍ，ｇ１，ｇ２，・・・，ｇｍ，ｂ１，ｂ２，・・・，ｂｍ）のような順であってもよい。また、Ａ０は平均顔形状における各サンプル画像の画素毎のＲ，Ｇ，Ｂ三原色の各々の画素値の平均値を並べて表現される平均ベクトル、ｑｉは主成分分析によって得られた顔のＲ，Ｇ，Ｂ三原色の画素値についての第ｉ主成分を表す固有ベクトル、λｉは各固有ベクトルｑｉに対する重みづけ係数を表す。なお、主成分の順位ｉの値が小さいほど、Ｒ，Ｇ，Ｂ三原色の画素値に対する説明力が高い、すなわち、Ｒ，Ｇ，Ｂ三原色の画素値への寄与が大きいことを意味する。

図８は、主成分分析によって得られた主成分のうち第ｉ１、第ｉ２の主成分を表す固有ベクトルｑｉ１、ｑｉ２に対する重みづけ係数λｉ１、λｉ２の値を変化させた場合の顔の画素値の変化の様子を模式的に表したものである。変化の幅は、サンプル画像の各々の顔の画素値を上式（６）で表した場合における重みづけ係数λｉ１、λｉ２の値の標準偏差ｓｄに基づいて、−３ｓｄから＋３ｓｄまでの間であり、各主成分についての３つの顔画像の中央のものは平均値の場合である。この例では、主成分分析の結果、第ｉ１主成分としてはヒゲの有無に寄与する成分が抽出されており、重みづけ係数λｉ１を変化させることによって、ヒゲの濃い顔（−３ｓｄ）からヒゲのない顔（＋３ｓｄ）まで変化することがわかる。同様に、第ｉ２主成分としては顔にかかる影の状態に寄与する成分が抽出されており、重みづけ係数λｉ２を変化させることによって、顔の右側に影がかかった顔（−３ｓｄ）から左側に影がかかった顔（＋３ｓｄ）まで変化することがわかる。なお、各主成分がどのような要素に寄与しているかは人間の解釈によって決定される。

本実施形態では、サンプル画像として、人間の顔が表された複数の顔画像を用いているので、顔の輪郭形状の相違に寄与する成分が第１主成分として抽出されるものとすると、第１主成分の固有ベクトルｑ１に対する重みづけ係数λ１の値を変化させた場合、例えば、画像Ｐ１中の顔候補領域Ｆ０の輪郭形状が、細長い顔から丸顔まで顔形状が変化する。なお、顔の輪郭形状の相違に寄与する主成分が必ずしも第１主成分として抽出されている必要はない。顔の輪郭形状の相違に寄与する成分が第Ｋ主成分（Ｋ≠１）として抽出されている場合には、以下の説明の「第１」を「第Ｋ」に置き換えて考えることができる。また、顔の輪郭形状の相違が１つの主成分のみによって表現される必要はなく、複数の主成分が顔の輪郭形状の相違を説明することもありうる。

以上のステップ＃１から＃５までの処理によって、顔の数学モデルＭが生成される。すなわち、この数学モデルＭは、顔形状を表す複数の固有ベクトルｐｉと、平均顔形状下での顔の画素値を表す固有ベクトルｑｉによって表現されるものであり、各固有ベクトルの合計数が、顔画像を形成する画素数よりも大幅に少ない、次元圧縮されたものとなっている。なお、上記参考文献１記載の実施例では、約１０，０００画素により形成される顔画像に対して１２２の特徴点を設定して上記の処理を行うことによって、顔形状についての２３の固有ベクトルと顔の画素値についての１１４の固有ベクトルで表される顔画像の数学モデルが生成され、各固有ベクトルに対する重みづけ係数を変化させることによって、約９８％の顔形状や画素値のバリエーションを表現できることが示されている。

次に、この数学モデルＭを利用したＡＡＭの手法に基づく露出量決定処理の流れについて、図３を参照しながら説明する。

まず、顔候補検出部３１が、スルー画像データＰｓを読み込み、スルー画像Ｐｓ中の顔候補領域Ｆ０を検出する。具体的には、特表２００４−５２７８６３号公報（参考文献２）に記載されているような固有顔表現と画像自体との相関スコアを用いる方法の他、知識ベース、特徴抽出、肌色検出，テンプレートマッチング、グラフマッチング、統計的手法（ニューラルネットワーク、ＳＶＭ、ＨＭＭ）等の様々な公知の手法を用いることができる。なお、スルー画像Ｐｓが表示部７８に表示された際に、操作部７６の操作により、手作業で顔候補領域Ｆ０を指定するようにしてもよいし、自動検出の結果を手作業で修正するようにしてもよい。

次に、顔検出部３２は、顔候補領域Ｆ０を数学モデルＭに適応させる処理を行う。具体的には、上記式（１），（６）の上位の主成分の固有ベクトルｐｉ、ｑｉに対する重みづけ係数ｂｉ、λｉから順に係数の値を変化させながら、上記式（１），（６）に基づいて画像を再構成し、再構成された画像と顔候補領域Ｆ０との差異が最小となるときの重みづけ係数ｂｉ、λｉを求める（詳細は、参考文献２参照）。このときの重みづけ係数λｉのうち顔の輪郭形状を表す重みづけ係数λｉがパラメータである。そして、重みづけ係数λ１に基づいて顔候補領域Ｆ０上における顔の輪郭形状を設定し、顔の輪郭形状により囲まれる領域を顔領域Ｆ１として検出する。

なお、重みづけ係数ｂｉ、λｉの値は、モデル生成時のサンプル画像を上記（１），（６）で表したときのｂｉ、λｉの分布の標準偏差ｓｄに基づき、例えば−３ｓｄから＋３ｓｄまでの範囲の値のみを許容し、その範囲を超える場合には、上記の分布における平均値を設定するようにすることが好ましい。これにより、モデルの誤適応を回避することができる。

また、上記の説明では、顔の輪郭形状を表す主成分が１つだけであることを前提としたが、複数ある場合には、それら複数の主成分に対する重みづけ係数（例えば、λ１，λ２，・・・，λＪ）の値の組合せに基づいて顔の輪郭形状を決定すればよい。すなわち、パラメータ（Ｃとする）を次式（７）のように、各重みづけ係数の線形結合として求めるようにしてもよい（αｉは、重みづけ係数λｉに対応する主成分の顔の輪郭形状に対する寄与度を表す係数）。

露出量決定部３３は、顔検出部３２が検出した顔領域Ｆ１に基づいて、撮像時の露出量を決定する。具体的には顔領域Ｆ１を重点的に測光する、あるいは顔領域Ｆ１のみを測光する等して顔領域Ｆ１の輝度を測定し、その測定結果に基づいて露出量Ｅ０を決定する。

以上のように、本発明の実施形態となる露出量決定処理は、顔候補検出部３１が検出したスルー画像Ｐｓ中の顔候補領域Ｆ０を、人間の顔が表された複数のサンプル画像に基づいてＡＡＭの手法によって生成された数学モデルＭに適応させることによって、スルー画像Ｐｓ中の顔領域Ｆ１を検出し、露出量決定部３３が、顔領域Ｆ１に基づいて露出量Ｅ０を決定するようにしたものである。このため、顔候補領域Ｆ０に影がかかっていたり、背景領域が肌色に近似していても、スルー画像Ｐｓから正確に顔領域Ｆ１を検出することができる。したがって、顔以外の背景領域の影響が少ない、スルー画像Ｐｓ中の顔領域Ｆ１内の輝度を高精度に反映した露出量の決定が可能になり、より色再現性の高い画像を撮影することができる。

なお、上記の実施形態では、数学モデルＭが１つだけ存在するようにしていたが、人種別、年齢別、性別等の属性別に複数の数学モデルＭｉ（ｉ＝１，２，・・・）を生成しておいてもよい。図９は、この場合の露出量決定処理の詳細を表すブロック図である。図に示したように、スルー画像Ｐｓに基づいて、画像中の被写体の属性情報ＡＫを取得する属性取得部３４と、取得した属性情報ＡＫに基づいて、その属性を有する被写体を表すサンプル画像のみから生成された数学モデルＭＫを選択するモデル選択部３５とを有している点で、上記の実施形態（図３）とは異なる。

ここで、複数の数学モデルＭｉは、例えば、同じ人種、年代、性別等を有する被写体を表すサンプル画像のみから前述の方法（図４参照）に基づいて各々生成されたものであり、サンプル画像における共通の属性を表す属性情報Ａｉと関連づけられて記憶されている。

属性取得部３４は、スルー画像Ｐｓに対する公知の認識処理（例えば、特開平１１−１７５７２４号公報記載）を行うことによって、被写体の属性を判定し、属性情報ＡＫを取得してもよいし、撮影時に被写体の属性を操作部７６から入力することにより取得するようにしてもよい。また、撮影場所のＧＰＳ情報があれば、そのＧＰＳ情報に対応する国や地域を特定することができるので、撮影する被写体の人種をある程度推定することができることに着目し、ＧＰＳ情報と人種情報を関連づける参照テーブルを予め用意しておき、デジタルカメラにＧＰＳ機能を搭載し、撮影時にＧＰＳ情報を取得し、取得したＧＰＳ情報に基づいて前記の参照テーブルを参照し、そのＧＰＳ情報に関連づけられた人種情報を被写体の人種として推定することが考えられる。

モデル選択部３５は、属性取得部３４によって得られた属性情報ＡＫと関連づけられた数学モデルＭＫを取得し、顔検出部３２は、顔候補領域Ｆ０を数学モデルＭＫに適応させる。

このように、複数の属性に応じた数学モデルＭｉを予め用意しておき、モデル選択部３５が、属性取得部３４で取得した属性ＡＫと関連づけられた数学モデルＭＫを選択し、顔検出部３２が、選択された数学モデルＭＫに顔候補領域Ｆ０を適応させるようにした場合には、数学モデルＭＫには属性ＡＫの違いに起因する顔形状や輝度のバリエーションを説明する固有ベクトルは存在しないので、顔の輪郭形状を決定する他の要因を表す固有ベクトルにのみ基づいて顔領域Ｆ１を検出することが可能になる。したがって、スルー画像Ｐｓ中の顔領域Ｆ１内の輝度をより高精度に反映した露出量の決定が可能になり、より色再現性の高い画像を撮影することができる。

なお、処理精度の向上の観点からは、属性別の数学モデルをさらに特化させ、被写体の個人別の数学モデルを構築しておくことが好ましい。この場合には、スルー画像Ｐｓと個人を特定する情報とを関連づけておく必要がある。

ここで、個々のデジタルカメラによる撮影の被写体となる人物はある程度限定されることが多いことから、そのデジタルカメラで主に被写体となる人物の顔についての個人別の数学モデルを生成するようにすれば、顔の個人差による変動のないモデルを生成できるため、その人物の顔に対する露出量決定処理をきわめて高い精度で行うことが可能になる。

また、上記の実施形態では、数学モデルは予め内部メモリ７９に記憶されているものとしているが、人種別の数学モデルを予め準備しておき、そのデジタルカメラの出荷先の国や地域によって、記憶する数学モデルを変えることも処理精度の向上の観点からは好ましい。

また、上記の実施形態では、顔形状とＲ，Ｇ，Ｂ三原色の画素値についての別個の重みづけ係数ｂｉ、λｉによって、個別の顔画像を表現していたが、顔形状とＲ，Ｇ，Ｂ三原色の画素値のバリエーションには相関性があることから、重みづけ係数ｂｉ、λｉを結合して得られるベクトル（ｂ１，ｂ２，・・・，ｂｉ，・・・，λ１，λ２，・・・，λｉ，・・・）に対してさらに主成分分析を行うことにより、次式（８），（９）に示したように、顔形状とＲ，Ｇ，Ｂ三原色の画素値の両方を制御する新しいアピアランスパラメータｃを得ることができる。

ここで、アピアランスパラメータｃとベクトルＱＳによって平均顔形状からの形状の変動分が表現され、アピアランスパラメータｃとベクトルＱＡによって顔の画素値の平均からの画素値の変動分要素が表現される。

このモデルを用いた場合には、顔検出部３２は、アピアランスパラメータｃの値を変化させながら、上記式（９）に基づいて平均顔形状下での顔の画素値を求め、さらに、上記式（８）に基づいて平均顔形状からの変換を行うことによって、顔画像を再構成し、再構成された画像と顔領域Ｆ１との差異が最小となるときのアピアランスパラメータｃを求めることになる。

本発明の実施形態となるデジタルカメラの構成を模式的に示した図本発明の実施形態となるデジタルカメラの表示部に表示される画面の一例を示す図本発明の一態様となる露出量決定処理の詳細を表すブロック図本発明における顔の数学モデルを生成する処理の流れを表すフローチャート顔の特徴点の設定例を表す図顔形状に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔形状の変化の様子を模式的に表した図サンプル画像中の顔形状を平均顔形状に変換し、平均顔形状下での輝度の様子を表した図顔の画素値に対する主成分分析によって得られた主成分の固有ベクトルに対する重みづけ係数の値を変化させた場合の顔の画素値の変化の様子を模式的に表した図本発明の一態様となる露出量決定処理の発展的態様を表すブロック図

符号の説明

３１顔候補検出部
３２顔検出部
３３露出量決定部
３４属性取得部
３５モデル選択部
７０制御部
７１撮像部
７２Ａ／Ｄ変換部
７３画像処理部
７４圧縮／伸長部
７５ストロボ部
７６操作部
７７メディア記録部
７８表示部
７９内部メモリ
８０ＡＥ処理部

Claims

入力スルー画像中の顔候補領域の人種、年齢および／または性別を取得し、人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた、少なくとも人間の顔の輪郭形状を表す統計的特徴量を含む１以上の統計的特徴量によって前記顔を表現するモデルであって、人種、年齢および／または性別毎に顔が表現された複数のモデルから、前記取得された人種、年齢および／または性別に応じたモデルを選択する選択手段と、
前記選択されたモデルに前記顔候補領域を適応させることによって、該入力スルー画像中の顔領域を検出する顔検出手段と、
前記検出された顔領域に基づいて静止画像撮像時の露出量を決定する露出量決定手段と、
前記決定された露出量により前記静止画像の撮像を行う撮像手段とを備えたことを特徴とする撮影装置。
前記入力スルー画像から前記顔候補領域を検出する顔候補検出手段をさらに備えたことを特徴とする請求項１項記載の撮影装置。
入力スルー画像中の顔候補領域の人種、年齢および／または性別を取得し、人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた、少なくとも人間の顔の輪郭形状を表す統計的特徴量を含む１以上の統計的特徴量によって前記顔を表現するモデルであって、人種、年齢および／または性別毎に顔が表現された複数のモデルから、前記取得された人種、年齢および／または性別に応じたモデルを選択し、
前記選択されたモデルに前記顔候補領域を適応させることによって、該入力スルー画像中の顔領域を検出し、
前記検出された顔領域に基づいて静止画像撮像時の露出量を決定し、
前記決定された露出量により前記静止画像の撮像を行うことを特徴とする撮影方法。
コンピュータを、
入力スルー画像中の顔候補領域の人種、年齢および／または性別を取得し、人間の顔が表された複数の画像に対して所定の統計処理を行うことによって得られた、少なくとも人間の顔の輪郭形状を表す統計的特徴量を含む１以上の統計的特徴量によって前記顔を表現するモデルであって、人種、年齢および／または性別毎に顔が表現された複数のモデルから、前記取得された人種、年齢および／または性別に応じたモデルを選択する選択手段と、
前記選択されたモデルに前記顔候補領域を適応させることによって、該入力スルー画像中の顔領域を検出する顔検出手段と、
前記検出された顔領域に基づいて静止画像撮像時の露出量を決定する露出量決定手段と、
前記決定された露出量により前記静止画像の撮像を行う撮像手段として機能させることを特徴とする撮影プログラム。