JP6754619B2 - 顔認識方法及び装置 - Google Patents

Description

本発明は映像に示された顔を認識する顔認識技術に関する。

生体認識技術のうちの１つである顔認識技術は、静画や動画から顔を認識する技術である。顔認識技術は、指紋認識及び虹彩認識などの他の認識技術とは異なり、対象者を非接触式に確認できるという利点がある。最近では、顔認識技術の便利さ及び効率性のためにセキュリティシステム、モバイル認証、及びマルチメディアデータ検索などの様々な応用分野に顔認識技術が活発に適用されている。ただし、顔認識技術の性能は、ユーザのポーズ、表情、照明環境、及び閉塞（ｏｃｃｌｕｓｉｏｎ）などの変化に敏感である特性がある。

顔認識技術の性能は、登録された顔と登録されていない顔とを区別するパターン分類器の性能に影響を受ける。このようなパターン分類器を学習する１つの方法として、ニューラルネットワークモデルを用いる方法がある。ニューラルネットワークモデルは、人の生物学的神経細胞の特性を数学的な表現によってモデリングしたモデルであって、入力パターンを特定グループに分類する能力を有する。入力パターンを特定グループに分類する問題を解決するために、ニューラルネットワークモデルは、人が有している学習という能力を模倣したアルゴリズムを用いる。このアルゴリズムによってニューラルネットワークモデルは、入力パターンと出力パターンとの間の写像（ｍａｐｐｉｎｇ）を生成することになるが、これをニューラルネットワークモデルは学習能力があると表現する。

本発明の目的は、２Ｄ映像から顔の３Ｄ形状を推定して顔の様子だけではなく、３Ｄ形状情報まで活用して顔認識の性能を改善させることにある。

一実施形態に係る顔認識方法は、２Ｄ入力映像から個人化された３Ｄ顔モデルを生成するステップと、前記個人化された３Ｄ顔モデルに基づいて、正規化された２Ｄ入力映像及び３Ｄ形状情報を取得するステップと、前記正規化された２Ｄ入力映像のカラー情報及び前記３Ｄ形状情報を用いて特徴情報を決定するステップと、前記特徴情報を用いて顔認識を行うステップとを含む。

一実施形態によると、２Ｄ映像から顔の３Ｄ形状を推定して顔の様子だけではなく、形状情報まで活用して顔認識の性能を改善させることができる。

一実施形態に係る顔認識装置の動作を説明するための図である。 一実施形態に係るユーザの顔の３Ｄ形状を復元する過程を説明するための図である。 一実施形態に係る深さ映像に示された３Ｄ形状を精密化する過程を説明するための図である。 一実施形態に係る深さ映像に示された３Ｄ形状を精密化する過程を説明するための図である。 一実施形態に係る第１ニューラルネットワークモデルに基づいて第１特徴情報を決定する過程を説明するための図である。 一実施形態に係る第１ニューラルネットワークモデルに基づいて第１特徴情報を決定する過程を説明するための図である。 一実施形態に係る第２ニューラルネットワークモデルに基づいて第２特徴情報を決定する過程を説明するための図である。 一実施形態に係る第２ニューラルネットワークモデルに基づいて第２特徴情報を決定する過程を説明するための図である。 一実施形態に係る第３ニューラルネットワークモデルに基づいて第２特徴情報を決定する過程を説明するための図である。 一実施形態に係る顔のランドマークに基づいて第２特徴情報を決定する過程を説明するための図である。 一実施形態に係る顔のランドマークに基づいて第２特徴情報を決定する過程を説明するための図である。 一実施形態に係る顔認識方法の動作を説明するためのフローチャートである。 他の実施形態に係る顔認識装置を説明するための図である。

以下、本発明を実施するための形態の具体例を、図面を参照しながら、詳細に説明する。各図面で提示された同一の参照符号は同一の部材を示す。

本実施形態で用いる用語は、単に特定の実施形態を説明するために用いるものであって、実施形態を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。

異なる定義がされない限り、技術的又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。

また、図面を参照して説明する際に、図面符号に関係なく同一の構成要素には同一の参照符号を付与し、それに対する重複説明を省略する。本実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明を省略する。

図１は、一実施形態に係る顔認識装置１００の動作を説明するための図である。一実施形態によると、顔認識装置１００は、ランドマーク検出器１１０、正規化器１３０、３Ｄ形状情報取得器１２０、第１特徴情報決定器１４０、第２特徴情報決定器１５０、最終特徴情報決定器１６０、及び顔認識装置１７０を含む。ランドマーク検出器１１０、正規化器１３０、３Ｄ形状情報取得器１２０、第１特徴情報決定器１４０、第２特徴情報決定器１５０、最終特徴情報決定器１６０、及び顔認識装置１７０は１つ以上のプロセッサによって実装できる。

以下、説明の便宜のために顔認識過程と学習過程を区分して説明する。
＜顔認識過程＞

顔認識装置１００は、２Ｄ入力映像に示されたユーザの顔を認識する。２Ｄ入力映像は、例えば、デジタルスチールカメラ又はビデオカメラから取得された２Ｄ映像であってもよい。顔認識装置１００は、２Ｄ入力映像に示されたユーザが特定登録映像に示されたユーザと同一人であるか否かを決定する。登録映像は、顔認識が行われる以前に予め登録されてデータベースに格納され、１つ以上のユーザに対する顔映像を含んでもよい。

顔認識装置１００は、監視／セキュリティシステム、モバイル機器認証又はマルチメディア検索及び分類などの様々なアプリケーション領域で活用され得る。又は、顔認識装置１００は、指紋認識装置と結合して複合生体認証システムを実現するために用いることができる。説明を容易にするため、以下は２Ｄ入力映像が１つの顔領域を含むと仮定する。しかし、実施形態の範囲がこのような仮定によって限定されるものと解釈されることはない。

顔認識を行うために２Ｄ入力映像がランドマーク検出器１１０に入力される。例えば、ランドマーク検出器１１０にユーザの顔の全体領域又は一部領域が示された２Ｄ映像が入力される。２Ｄ入力映像は、カラー映像又は白黒映像であってもよい。ランドマーク検出器１１０は２Ｄ入力映像から顔領域を検出し、検出された顔領域内で顔のランドマーク（又は目印又は際立った特徴）を検出する。ランドマーク検出器１１０は、例えば、ＡＡＭ（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ）、ＡＳＭ（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ）、ＳＤＭ（Ｓｕｐｅｒｖｉｓｅｄ Ｄｅｓｃｅｎｔ Ｍｅｔｈｏｄ）又は深さ学習（ｄｅｅｐ ｌｅａｒｎｉｎｇ）などの方式を用いて２Ｄ入力映像でランドマークを検出する。ランドマークは、例えば、眉毛、目、鼻、口、あご、耳及び顔の輪郭などに位置する特徴点を示す。

３Ｄ形状情報取得器１２０は、２Ｄ入力映像に示されたユーザの顔の３Ｄ顔形状を復元することができる。３Ｄ形状情報取得器１２０は、一般の（又は汎用）３Ｄ顔モデルに２Ｄ入力映像で検出されたランドマークを適用して個人化された（又は個人）３Ｄ顔モデルを生成してもよい。３Ｄ形状情報取得器１２０は、一般の３Ｄ顔モデルのランドマークポイントに２Ｄ入力映像で検出されたランドマークをマッピングして個人化された３Ｄ顔モデルを生成することができる。一般の３Ｄ顔モデルは、学習データに基づいて生成された変形可能な３Ｄ顔モデルとして、３Ｄ標準モデルとも称することができる。一般の３Ｄ顔モデルは、３Ｄ形態とテクスチャから構成され、３Ｄ形態を表現するためのパラメータを含んでもよい。

一実施形態によると、個人化された３Ｄ顔モデルは、次の数式（１）のよう一般の３Ｄ顔モデルが有する平均形状にランドマーク検出情報による形状変化量を適用することにより生成される。

数式（１）で、Ｓ_０バーは一般の３Ｄ顔モデルの平均形状を示す形状エレメントを示す。Ｓ_ｉバーはインデックスｉに対応する形状エレメントを示し、ｐ_ｉバーはＳ_ｉバーに適用される形状制御パラメータを示す。ｐ_ｉバーとＳ_ｉバーの加重和は形状変化量を示す。３Ｄ形状情報取得器１２０は、２Ｄ入力映像のランドマーク検出情報に基づいて形状制御パラメータを算出し、平均形状に形状変化量を適用して一般の３Ｄ顔モデルを個人化された３Ｄ顔モデルに変形する。Ｓバーは、個人化された３Ｄ顔モデルの３Ｄ形状を構成する形状エレメントを示す。Ｓバーは、次の数式（２）のように３次元点などの座標で構成される。

数式（２）で、νバーは個人化された３Ｄ顔モデルを構成する頂点の空間位置ｘバー、ｙバー、ｚバーを識別するためのインデックスを示し、Ｔは転置（ｔｒａｎｓｐｏｓｅ）を示す。３Ｄ形状情報取得器１２０は、個人化された３Ｄ顔モデルを構成する頂点の位置情報に基づいて３Ｄ形状情報を取得する。３Ｄ形状情報は、ユーザの顔の立体形状に関する情報を示す。３Ｄ形状情報は、例えば、ユーザの顔形状を表現するための形状パラメータ情報及びユーザの顔形状に対する深さ情報を含んでもよい。

一実施形態によると、３Ｄ形状情報取得器１２０は、個人化された３Ｄ顔モデルを用いて深さ映像を生成し、深さ映像からユーザの顔に対する３Ｄ形状情報を抽出することができる。例えば、３Ｄ形状情報取得器１２０は、個人化された３Ｄ顔モデルのポーズを正面の顔ポーズに変換し、このときの深さ値を０〜２５５の範囲内の値に変換して深さ映像を生成し得る。追加的に、３Ｄ形状情報取得器１２０は、２Ｄ入力映像のテクスチャ形状にマッチングされる、もっと正確な３Ｄ形状情報を取得するために、２Ｄ入力映像で検出されたランドマークに基づいて深さ映像に示された３Ｄ形状を精密化し、精密化された深さ映像から３Ｄ形状情報を取得できる。これについては、図３Ａ及び図３Ｂを詳細に参照して説明することにする。

他の実施形態によると、３Ｄ形状情報取得器１２０は、個人化された３Ｄ顔モデルを用いて顔に対するノーマル映像を生成してもよい。ノーマル映像は、顔表面のノーマル特徴を示す表面ノーマル情報を含み、表面ノーマル情報は、ユーザの顔で各顔表面の方向を示すノーマルベクトルに関する情報を含む。３Ｄ形状情報取得器１２０は、ノーマル映像からユーザの顔に対する３Ｄ形状情報を抽出することができる。

更なる実施形態によると、３Ｄ形状情報取得器１２０は、深さカメラ又は３Ｄカメラなどを用いて撮影された深さ映像から３Ｄ形状情報を取得してもよい。ここで、深さ映像は、カメラからユーザの顔までの距離を示す深さ情報を含む。３Ｄ形状情報取得器１２０は、深さ映像の深さ情報から顔に対する３Ｄ形状情報を抽出することができる。

上記のように、３Ｄ形状情報取得器１２０は、深さ映像、ノーマル映像、深さカメラ、又は３Ｄカメラなどを用いて３Ｄ形状情報を取得できるが、実施形態の範囲はこれに限定されることはない。

２Ｄ入力映像に示された顔領域の大きさ及び顔ポーズは、２Ｄ入力映像の比較対象となる登録映像に示された顔領域の大きさ及び顔ポーズと異なることがある。正規化器１３０は、２Ｄ入力映像と登録映像との間で顔領域の大きさ及び顔コンポーネントの位置が互いに整列されるよう２Ｄ入力映像に対して正規化を行う。ここで、顔コンポーネントは、目、眉毛、鼻、口、及び耳などを示す。正規化器１３０は、２Ｄ入力映像に示された顔ポーズを調整したり、登録映像に示された顔コンポーネントの位置に対応するよう、２Ｄ入力映像に示された顔コンポーネントの位置を調整する。正規化器１３０は、例えば、２Ｄ入力映像のランドマーク検出情報に基づいてアフィン変換を適用することによって正規化を行う。アフィン変換は、ベクトル空間を他のベクトル空間に対応させる変換である。

一実施形態によると、正規化器１３０は、個人化された３Ｄ顔モデルを用いて正規化された２Ｄ入力映像を取得することができる。３Ｄ形状情報取得器１２０は、個人化された３Ｄ顔モデルを用いて正面の顔に対するポーズ情報を推定し、正規化器１３０は、正面の顔に対するポーズ情報を用いて２Ｄ入力映像を正規化する。正面の顔に対するポーズ情報は、例えば、個人化された３Ｄ顔モデルのポーズを正面の顔ポーズに変換したとき、顔領域の大きさがどれ程であるかに関する情報、及び各顔コンポーネントの空間的位置がどこであるかに関する情報を含んでもよい。又は、正規化器１３０は、個人化された３Ｄ顔モデルから取得された２Ｄ投影映像を用いて正規化を行ってもよい。

第１特徴情報決定器１４０は、正規化された２Ｄ入力映像の２Ｄ映像情報に基づいて第１特徴情報を決定する。２Ｄ映像情報は、例えば、２Ｄ入力映像のカラー情報、明暗度情報又はテクスチャ情報などを含んでもよい。第１特徴情報決定器１４０は、予め学習された第１ニューラルネットワークモデルに正規化された２Ｄ入力映像の２Ｄ映像情報を入力して第１特徴情報を決定することができる。

例えば、第１特徴情報決定器１４０は、畳み込みニューラルネットワークモデルを用いて２Ｄ入力映像を畳み込むことによって、顔の様子（又は外観）をよく表現できる特徴ベクトルを決定し得る。第１特徴情報決定器１４０は、第１ニューラルネットワークモデルの最上段レイヤで抽出された値を第１特徴情報として決定するか、又は隠れレイヤで抽出された値と最上段レイヤで抽出された値とを結合して第１特徴情報を決定することができる。

他の実施形態によると、第１特徴情報決定器１４０は、２Ｄ入力映像の２Ｄ映像情報だけではなく、３Ｄ形状情報取得器１２０によって生成された深さ映像の深さ情報を第１ニューラルネットワークモデルに入力して第１特徴情報を決定することができる。

第２特徴情報決定器１５０は、３Ｄ形状情報に基づいて第２特徴情報を決定する。第２特徴情報決定器１５０は、予め学習された第２ニューラルネットワークモデルに３Ｄ形状情報を入力して第２特徴情報を決定する。例えば、第２特徴情報決定器１５０は、個人化された３Ｄ顔モデルを構成する形状パラメータをベクトル形態に変換し、当該ベクトルをオート・エンコーダ構造を有するニューラルネットワークモデルに入力して顔の形状を円満に表現できる特徴ベクトルを決定する。

他の実施形態によると、第２特徴情報決定器１５０は、予め学習された第３ニューラルネットワークモデルに３Ｄ形状情報取得器１２０によって生成された深さ映像の深さ情報を入力して第２特徴情報を決定してもよい。例えば、第２特徴情報決定器１５０は、畳み込みニューラルネットワークモデルを用いて深さ映像を畳み込むことによって第２特徴情報を決定できる。

更なる実施形態によると、第２特徴情報決定器１５０は、顔のランドマーク間の距離に基づいて第２特徴情報を決定してもよい。第２特徴情報決定器１５０は、例えば、顔領域内で検出されたランドマークで２つのランドマーク間の距離に基づいて行列データベースを構成し、行列データベースを第４ニューラルネットワークモデルに入力して顔の形状に関する第２特徴情報を抽出することができる。これに対する詳しい説明は、図９Ａ及び図９Ｂを参照して後述する。

上記の説明で、第１ニューラルネットワークモデル、第２ニューラルネットワークモデル、第３ニューラルネットワークモデル、及び第４ニューラルネットワークモデルは、複数の隠れレイヤを含む深さニューラルネットワークモデルであってもよい。

最終特徴情報決定器１６０は、第１特徴情報及び第２特徴情報に基づいて顔認識のための最終特徴情報を決定する。最終特徴情報は、特徴ベクトルに表現されてもよい。最終特徴情報決定器１６０は、例えば、第１特徴情報と第２特徴情報を単純連結したり、又は完全連結レイヤによって第１特徴情報と第２特徴情報とを連結して最終特徴情報を決定してもよい。

他の実施形態によると、第２特徴情報決定器１５０から抽出された結果が最終特徴情報決定器１６０に入力されず、代わりに、第１特徴情報決定器１４０に入力されてもよい。第１特徴情報決定器１４０は、第２特徴情報決定器１５０から伝達された結果を追加入力として特徴情報を抽出することができ、最終特徴情報決定器１６０は、第１特徴情報決定器１４０から抽出された特徴情報を最終特徴情報として決定してもよい。例えば、第２特徴情報決定器１５０から抽出された結果が第１特徴情報決定器１４０の第１ニューラルネットワークモデルの隠れレイヤに追加的に入力され、特徴情報が第１ニューラルネットワークモデルの出力レイヤから出力され得る。最終特徴情報決定器１６０は、第１ニューラルネットワークモデルから出力された当該の特徴情報を最終特徴情報として決定することができる。

顔認識装置１７０は、最終特徴情報を用いて顔認識を行う。顔認識装置１７０は、２Ｄ入力映像に対する最終特徴情報と登録映像の特徴情報とを比較して顔認識結果を決定する。顔認識装置１７０は、例えば、ＰＣＡ（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ）、ＬＤＡ（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｔｅ Ａｎａｌｙｓｉｓ）又はＪｏｉｎｔ Ｂａｙｅｓｉａｎなどの方式を用いて２Ｄ入力映像で決定された最終特徴情報と登録映像の特徴情報との間の類似度を算出し、算出された類似度が予め設定された条件を満たすか否かを判断して顔認識結果を決定し得る。

顔認識装置１７０は、類似度が予め設定された条件を満たす場合、認識が成功したものと決定し、そうではない場合には認識が失敗したと決定する。一実施形態によると、認識が成功したと決定された場合、顔認識装置１００は、顔認識装置１００と連結された端末装置のロック状態を解除したり、又はユーザに端末装置の特定機能にアクセスできる権限を付与してもよい。認識が失敗したと決定された場合、顔認識装置１００は、端末装置のロック状態を保持したり、又は端末装置の特定機能に対するアクセス権限を制限してもよい。

顔認識のための特徴情報を生成するとき、２Ｄ入力映像に示された映像情報だけではなく、ユーザの顔の３Ｄ形状を追加的に考慮することによって顔認識の正確度が改善され得る。２Ｄ入力映像の２Ｄ映像情報に基づいて決定された第１特徴情報は、顔の全域的（又は、局部的）なテクスチャに対する特徴ベクトルに対応して、個人化された３Ｄ顔モデルの３Ｄ形状情報に基づいて決定された第２特徴情報は、顔の３Ｄ形状に対する特徴ベクトルに対応する。上記の顔の全域的（又は、局部的）なテクスチャに対する特徴ベクトルと顔の３Ｄ形状に対する特徴ベクトルが結合されて、顔認識のための最終特徴情報が生成される。このような最終特徴情報に基づいて顔認識を行うことにより、２Ｄ入力映像の照明環境、顔ポーズ、表情、及び閉塞などの変化に対してロバストな顔認識を行うことができる。例えば、映像内のインテンシティの変化が大きい場合、顔の様子に関する特徴が大きく変化するが、顔の３Ｄ形状に関する特徴を追加的に考慮することによって顔認識の正確度が改善され得る。また、映像内の顔の様子が類似しても顔の３Ｄ形状が異なる場合、顔の様子に関する特徴が互いに類似することもあるが、顔の３Ｄ形状に関する特徴を追加的に考慮することによって顔認識の正確度が改善され得る。
＜学習過程＞

以下では、学習器（図示せず）を用いて上記で説明した第１ニューラルネットワークモデル、第２ニューラルネットワークモデル、及び第３ニューラルネットワークモデルのうちの１つ以上を学習させる過程を説明することにする。学習過程を介して顔認識に用いられるニューラルネットワークモデルの性能が改善されて顔認識の正確度を向上させることができる。

学習のための２Ｄ学習映像が学習器に入力されれば、学習器は、２Ｄ学習映像で顔のランドマークを検出してもよい。その後、学習器は、検出されたランドマークに基づいて個人化された３Ｄ顔モデルを生成し、個人化された３Ｄ顔モデルから３Ｄ形状情報を抽出する。また、２Ｄ学習映像は、正規化されて学習映像に示された顔コンポーネントの位置を調整できる。これに対する詳しい説明は、上記の顔認識過程に説明された内容がそのまま適用し得るため、これに関する説明は省略する。

学習対象であるニューラルネットワークモデルが畳み込みニューラルネットワークモデルである場合、２Ｄ学習映像と２Ｄ学習映像に対応する識別情報が入力されたり、又は互いに比較される２枚の映像と当該映像に示されたユーザが互いに同一人であるか否かに関する情報が入力される。学習対象であるニューラルネットワークモデルがオート・エンコーダ構造のニューラルネットワークモデルである場合、３Ｄ顔モデルを構成する形状パラメータがベクトル形態に変換されて入力され得る。

学習器は、誤差逆伝搬学習方式などを用いてニューラルネットワークモデルを学習させることができる。誤差逆伝搬学習方式は、与えられた学習データに対して前方算出で誤差を推定した後、ニューラルネットワークモデルの出力レイヤから始まって隠れレイヤと入力レイヤ方向に逆に前進して推定した誤差を伝搬し、誤差を減らす方向に人工ニューロン間の連結重みをアップデートする方式である。

図２は、一実施形態に係るユーザの顔の３Ｄ形状を復元する過程を説明するための図である。顔認識装置１００は映像２１０で顔領域を検出し、眉毛、目、鼻及び、口などに位置する顔のランドマーク２２０を検出する。顔認識装置１００は、一般の３Ｄ顔モデルにランドマーク検出情報を適用して映像２１０に示されたユーザの顔の３Ｄ形状を復元する。例えば、顔認識装置１００は、ランドマーク２２０の位置に基づいて一般の３Ｄ顔モデルの形状を変形するための形状制御パラメータを決定し、決定された形状制御パラメータを一般の３Ｄ顔モデルに適用してユーザの顔の３Ｄ形状を示す個人化された３Ｄ顔モデル２３０を生成してもよい。

顔認識装置１００は、映像２１０から抽出されたテクスチャを個人化された３Ｄ顔モデル２３０にマッピングして３Ｄテクスチャモデルを生成する。顔認識装置１００は、３Ｄテクスチャモデルの顔ポーズを調整した後、２Ｄ平面上で投影して正規化された映像２４０を生成する。正規化された映像２４０に基づいて顔認識のための第１特徴情報が決定される。また、の顔認識装置１００は、個人化された３Ｄ顔モデル２３０を構成するポイントの３Ｄ座標情報を用いて、深さ映像２５０及びノーマル映像２６０のうちの１つ以上を生成してもよい。又は、顔認識装置１００は、個人化された３Ｄ顔モデル２３０を用いて、深さ映像２５０とノーマル映像２６０が結合した結合映像を生成してもよい。

図３Ａ及び図３Ｂは、一実施形態に係る深さ映像に示された３Ｄ形状を精密化する過程を説明するための図である。

図３Ａを参照すると、（ａ）は、個人化された３Ｄ顔モデルから取得された深さ映像のランドマーク３１０を示す。深さ映像は、個人化された３Ｄ顔モデルから生成されるため、深さ映像でランドマークの位置は個人化された３Ｄ顔モデルが有するランドマークの位置に基づいて決定される。

（ｂ）は、深さ映像のランドマークを正規化した２Ｄ入力映像に適用した結果として、適用されたランドマーク３４０が正規化された２Ｄ入力映像に位置している。（ｃ）は、正規化された２Ｄ入力映像のランドマーク３２０を示す。（ｄ）は、（ｂ）と（ｃ）の同一領域３３０に示されたランドマーク３２０、３４０間の位置関係を示す。（ｄ）に示すように、正規化された２Ｄ入力映像と深さ映像との間で互いに対応するランドマーク３２０、３４０の間には位置誤差が発生することがある。

このような位置誤差を補正して、より正確な３Ｄ形状情報を取得するために顔認識装置１００は、正規化された２Ｄ入力映像のランドマークの位置に基づいて深さ映像に示された３Ｄ形状（例、深さ情報）を精密化することができる。図３Ｂを参照すると、顔認識装置１００は、（ａ）のように深さ映像のランドマークに基づいてメッシュを形成し、（ｂ）のように正規化された２Ｄ入力映像のランドマークに基づいてメッシュを形成する。一実施形態によると、顔認識装置１００は、ランドマークと顔の輪郭及び映像の境界に位置する基準点に基づいてメッシュを形成することができるが、これに限定されることはない。

その次に、顔認識装置１００は、正規化された２Ｄ入力映像のランドマークに基づいたメッシュと深さ映像のランドマークに基づいたメッシュとの間の対応関係に基づいて深さ映像に示された３Ｄ形状を調整できる。例えば、（ｃ）に示すように、顔認識装置１００は、深さ映像のランドマークＳ_１、Ｓ_２、Ｓ_３によって形成されたメッシュを正規化された２Ｄ入力映像のランドマークＴ_１、Ｔ_２、Ｔ_３に形成されたメッシュを基準にしてアフィン変換し、深さ映像に示された深さ値の位置を調整することができる。ここで、深さ映像で形成されたメッシュと正規化された２Ｄ入力映像で形成されたメッシュとは互いに対応するメッシュである。これと類似に、顔認識装置１００は、深さ映像のランドマークＳ_２、Ｓ_３、Ｓ_４によって形成されたメッシュと正規化された２Ｄ入力映像のランドマークＴ_２、Ｔ_３、Ｔ_４によって形成されたメッシュとの間の変換関係に基づいて、深さ映像に示された深さ値の位置を調整できる。

顔認識装置１００は、上記の過程を（ａ）に示す深さ映像の全体メッシュに対して行い、深さ映像に示した３Ｄ形状を、正規化された２Ｄ入力映像に示したテクスチャ形状にマッチングされるように補正してもよい。顔認識装置１００は、精密化過程が完了した深さ映像から３Ｄ形状情報を取得し、取得された３Ｄ形状情報と正規化された２Ｄ入力映像のカラー情報に基づいて顔認識を行ってもよい。精密化過程により、深さ映像に示された３Ｄ形状と正規化された２Ｄ入力映像に示されたテクスチャ形状とが互いにマッチングすることで、より正確な特徴情報を決定することができる。

図４及び図５は、一実施形態に係る第１ニューラルネットワークモデルに基づいて第１特徴情報を決定する過程を説明するための図である。一実施形態によると、第１ニューラルネットワークモデルとして畳み込みニューラルネットワークモデルを用いてもよい。畳み込みニューラルネットワークモデルで、各レイヤは、上位レイヤで抽出された特徴マップから構成され、畳み込みニューラルネットワークモデルは、畳み込み過程によって抽出された特徴マップと特徴マップをサブサンプリングして取得した新しい特徴マップを含む。

図４を参照すると、顔認識装置１００は、映像２１０の２Ｄ映像情報を畳み込みニューラルネットワークモデル４００に入力して第１特徴情報を決定することができる。映像２１０は、畳み込みニューラルネットワークモデル４００に入力される以前に正規化され、顔領域の大きさ及び顔コンポーネントの位置を調整できる。

顔認識装置１００は、畳み込みニューラルネットワークモデル４００の最上段レイヤで抽出された値を第１特徴情報として決定するか、又は畳み込みニューラルネットワークモデル４００の隠れレイヤで抽出された値と最上段レイヤで抽出された値とを連結して第１特徴情報を決定することができる。

学習過程で、顔認識装置１００は、学習映像と学習映像に対応するＩＤ情報を畳み込みニューラルネットワークモデル４００に入力させたり、又は互いに比較される２つの映像と当該映像に示されたユーザが互いに同一人であるか否かを示す結果情報を入力させる。顔認識装置１００は、識別損失（Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ｌｏｓｓ）及び検証損失（Ｖｅｒｉｆｉｃａｔｉｏｎ ｌｏｓｓ）に基づいた学習方式を用いて畳み込みニューラルネットワークモデル４００に対して深さ学習を行う。深さ学習とは、ディープニューラルネットワークモデルを学習させることを意味する。

他の実施形態によると、図５に示すように、顔認識装置１００は、第１特徴情報を決定するために畳み込みニューラルネットワークモデル５００に映像２１０（又は、正規化された映像）の２Ｄ映像情報（例、カラー情報）だけではなく、深さ映像２５０の深さ情報をともに入力させることができる。ここで、深さ映像２５０は、個人化された３Ｄ顔モデルから取得されたり、又は深さカメラ（又は、３Ｄカメラ）によって取得されてもよい。深さ映像２５０の深さ情報は、第１特徴情報を生成するための付加的なチャネル情報として用いてもよい。

更なる実施形態によると、顔認識装置１００は、第１特徴情報を決定するために畳み込みニューラルネットワークモデル５００に映像２１０の２Ｄ映像情報とノーマル映像２６０の表面ノーマル情報をともに入力させることができる。ここで、ノーマル映像２６０は、個人化された３Ｄ顔モデルを用いて生成され得る。

図６及び図７は、一実施形態に係る第２ニューラルネットワークモデルに基づいて第２特徴情報を決定する過程を説明するための図である。一実施形態によると、第２ニューラルネットワークモデルとしてオート・エンコーダ構造のニューラルネットワークモデルが使用されてもよい。オート・エンコーダ構造のニューラルネットワークモデルは、目的とする出力が入力と同一になるように学習されたニューラルネットワークモデルである。オート・エンコーダ構造のニューラルネットワークモデル６００は、畳み込みニューラルネットワークモデルとは異なって空間的な関連が存在しない特徴を非線形マッピングさせるために用いてもよい。

図６を参照すると、オート・エンコーダ構造のニューラルネットワークモデル６００は、入力レイヤ６１０、エンコーディングレイヤ６２０、６３０で構成されたエンコード部と、復号化レイヤ６４０、６５０、及び出力レイヤ６６０で構成された復号化ユニットを含む。顔認識装置１００は、ニューラルネットワークモデル６００に個人化された３Ｄ顔モデルから導き出された形状パラメータをベクトル形態に変換して入力させ得る。ニューラルネットワークモデル６００で、ベクトル形態に変換された形状パラメータは完全連結レイヤにより様々な段階でエンコーディングされた後、エンコーディングと同じ段階を経て復号化される。顔認識装置１００は、例えば、ニューラルネットワークモデル６００の最上位エンコーディングレイヤ６２０からの出力値を用いて第２特徴情報を決定してもよい。

上記の説明では、オート・エンコーダ構造のニューラルネットワークモデルが第２ニューラルネットワークモデルで用いられることについて説明したが、実施形態の範囲がこれに限定することなく、様々な構造のニューラルネットワークモデルが第２ニューラルネットワークモデルで用いることができる。例えば、オート・エンコーダ構造のニューラルネットワークモデルで復号化ユニットを含まない変形されたニューラルネットワークモデルが第２ニューラルネットワークモデルとして用いてもよい。

学習過程で、顔認識装置１００は、学習映像から個人化された３Ｄ顔モデルを生成し、個人化された３Ｄ顔モデルから導き出された形状パラメータをベクトル形態に変換してニューラルネットワークモデル６００に入力させることができる。顔認識装置１００は、オート・エンコーダの構造を用いてニューラルネットワークモデル６００に対して深さ学習を行う。顔認識装置１００は、ユークリッド距離（Ｅｕｃｌｉｄｅａｎ Ｄｉｓｔａｎｃｅ）などを用いて復号化ユニットで出力された最終出力値と入力レイヤ６１０に入力された値との間の損失を算出し、算出された損失が減少するようにニューロンの間の連結重みを調整してニューラルネットワークモデル６００を学習させることができる。

図７は、他の実施形態に係るオート・エンコーダ構造を含むニューラルネットワークモデル７００を示している。ニューラルネットワークモデル７００は、入力レイヤ７１０、エンコーディングレイヤ７２０、７３０、復号化レイヤ７４０、７５０及び出力レイヤ７６０だけではなく、追加レイヤ７７０、７８０をさらに含んでもよい。学習過程で、形状パラメータ情報のみならずユーザの顔に対応するＩＤ情報がベクトル形態に変換されて入力レイヤ７１０に入力され、追加レイヤ７７０、７８０は、入力された形状パラメータ情報とＩＤ情報が互いにマッピングされるよう学習するために使用される。ここで、ソフトマックス損失（ｓｏｆｔｍａｘ ｌｏｓｓ）を用いた学習方式を用いてもよい。

図８は、一実施形態に係る第３ニューラルネットワークモデルに基づいて第２特徴情報を決定する過程を説明するための図である。一実施形態によると、第３ニューラルネットワークモデルとして畳み込みニューラルネットワークモデルを用いてもよい。図８を参照すると、顔認識装置１００は、第２特徴情報を決定するために形状パラメータ情報の代わりに深さ映像２５０の深さ情報又はノーマル映像２６０の表面ノーマル情報を畳み込みニューラルネットワークモデル８００に入力させる。ここで、深さ映像２５０は、個人化された３Ｄ顔モデルから取得されたり、又は深さカメラなどによって取得され得る。ノーマル映像２６０は、個人化された３Ｄ顔モデルから取得されてもよい。顔認識装置１００は、畳み込みニューラルネットワークモデル８００の最上段レイヤで抽出された値を第３特徴情報として決定するか、又は畳み込みニューラルネットワークモデルの隠れレイヤで抽出された値と最上段レイヤで抽出された値とを連結して第３特徴情報を決定することができる。

図９Ａ及び図９Ｂは、一実施形態に係る顔のランドマークに基づいて第２特徴情報を決定する過程を説明するための図である。図９Ａは、２Ｄ入力映像内の顔領域９１０で検出された顔のランドマークが図示されている。ここでは、合計６８個のランドマークが検出されたと仮定する。場合に応じて、ランドマークの絶対的な位置よりもランドマーク間の相対的な距離が顔の特徴をより表現することができ、顔認識装置１００は、ランドマークの間の距離に基づいて第２特徴情報を決定することができる。顔認識装置１００は、例えば、図９Ｂに示すように、２個のランドマーク間の距離に基づいて行列データベースを構成してもよい。図９Ｂには合計６８個のランドマークに対して２個のランドマーク間の距離が行列形式に構成されている。図面において「ＬＭｘ」はランドマークｘを示し、「距離（ＬＭｘ、ＬＭｙ）」はランドマークｘとランドマークｙとの間の距離を示す。ここで、ｘ、ｙは、図９Ａで検出された６８個のランドマークのうち特定ランドマークを識別するためのインデックスを示す。ランドマーク間の距離に基づいた行列データベースはニューラルネットワークモデルに入力され、当該ニューラルネットワークモデルから第２特徴情報が抽出されることができる。

図１０は、一実施形態に係る顔認識方法の動作を説明するためのフローチャートである。

ステップＳ１０１０において、顔認識装置１００は、２Ｄ入力映像に示されたユーザの顔領域で顔のランドマークを検出する。例えば、顔認識装置１００は、２Ｄ入力映像で眉毛、目、鼻及び、口などに位置するランドマークを検出する。

ステップＳ１０２０において、顔認識装置１００は、検出されたランドマークに基づいて個人化された３Ｄ顔モデルを生成する。顔認識装置１００は、２Ｄ入力映像で検出されたランドマークの位置情報に基づいて、一般の３Ｄ顔モデルの形態を調整することによって個人化された３Ｄ顔モデルを生成することができる。

ステップＳ１０３０において、顔認識装置１００は、個人化された３Ｄ顔モデルに基づいて正規化された２Ｄ入力映像及び３Ｄ形状情報を取得する。顔認識装置１００は、個人化された３Ｄ顔モデルから取得された２Ｄ映像を用いて正規化された２Ｄ入力映像を取得する。正規化過程により２Ｄ入力映像に示された顔領域の大きさ及び顔コンポーネントの位置が調整される。顔認識装置１００は、個人化された３Ｄ顔モデルを用いて深さ映像又はノーマル映像を生成し、生成された深さ映像又はノーマル映像からユーザの顔に対する３Ｄ形状情報を取得することができる。

ステップＳ１０４０において、顔認識装置１００は、正規化された２Ｄ入力映像のカラー情報及びステップＳ１０３０で取得された３Ｄ形状情報を用いて特徴情報を決定する。例えば、顔認識装置１００は、深さニューラルネットワークモデルを用いて正規化された２Ｄ入力映像のカラー情報から第１特徴情報を決定し、他の深さニューラルネットワークモデルを用いて３Ｄ形状情報から第２特徴情報を決定してもよい。顔認識装置１００は、第１特徴情報と第２特徴情報を結合して最終特徴情報を決定できる。

ステップＳ１０５０において、顔認識装置１００は、特徴情報を用いて顔認識を行う。顔認識装置１００は、ステップＳ１０４０で決定された特徴情報と予め格納された登録映像の特徴情報との間の類似度を算出し、算出された類似度が予め設定された条件を満たすか否かを判断して顔認識結果を決定することができる。

図１０において、説明していない内容は、図１〜図９Ｂを参照して説明した内容を参照すればよい。

図１１は、他の実施形態に係る顔認識装置１１１０の動作を説明するための図である。カメラのような映像取得装置１１４０はユーザの顔を撮影し、ユーザの顔が示された映像を顔認識装置１１１０に伝達する。顔認識装置１１１０は、入力された映像と登録映像データベース１１５０に予め格納された登録映像とを比較して顔認識を行ってもよい。ユーザは、登録過程により自身の顔映像を予め登録してもよく、登録映像データベース１１５０は、登録過程により登録された顔映像を登録映像として格納してもよい。

顔認識装置１１１０は、ここで記載又は図示された１つ以上の顔認識方法及び学習方法を行ってもよい。顔認識装置１１１０は、顔認識結果をスピーカを用いて音声の形態で出力したり、ディスプレイを用いて字、図又は動画などの形態で出力できる。しかし、実施形態の範囲がこれに限定されることなく、顔認識装置１１１０は様々な形態で顔認識結果を出力することができる。

顔認識装置１１１０は、プロセッサ１１２０及びメモリ１１３０を含む。メモリ１１３０は、プロセッサ１１２０と通信し、プロセッサ１１２０によって実行可能な命令又はプロセッサ１１２０が演算するデータを格納する。プロセッサ１１２０は、メモリ１１３０に格納された命令を実行するハードウェアを含む。プロセッサ１１２０は、命令を実行するために内部レジスタ、内部キャッシュ、メモリ１１３０又はストレージから命令を取り出して命令を実行できる。その後、プロセッサ１１２０は、１つ以上の実行結果を内部レジスタ、内部キャッシュ、メモリ１１３０、又はストレージに記録してもよい。一実施形態によると、プロセッサ１１２０は、図１ないし図１０を参照して説明した１つ以上の動作を行うための命令を実行し得る。

以上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組合で実現してもよい。例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、または、命令を実行して応答できる異なる装置のように、１つ以上の汎用コンピュータまたは特殊目的のコンピュータを用いて実現されてもよい。処理装置は、オペレーティングシステム（ＯＳ）及び前記オペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを行ってもよい。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理及び生成してもよい。理解の便宜のために、処理装置は１つ使用されるものと説明される場合もあるが、当該の技術分野で通常の知識を有する者は、処理装置が複数の処理要素及び／又は複数類型の処理要素を含んでいることが分かる。例えば、処理装置は、複数のプロセッサまたは１つのプロセッサ及び１つのコントローラを含んでもよい。また、並列プロセッサのような、他の処理構成も可能である。

ソフトウェアはコンピュータプログラム、コード、命令、またはこのうちの１つ以上の組合せを含んでもよく、希望の通りに動作するよう処理装置を構成したり独立的または結合的に処理装置を命令してもよい。ソフトウェア及び／又はデータは、処理装置によって解釈されたり処理装置に命令またはデータを提供するためどのような類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体または装置、送信される信号波に永久的または一時的に具体化できる。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散し、分散された方法で格納されたり実行されてもよい。ソフトウェア及びデータは１つ以上のコンピュータで読み出し可能な記録媒体に格納されてもよい。

実施形態に係る方法は、多様なコンピュータ手段を介して様々な処理を実行することができるプログラム命令の形態で実現され、コンピュータで読取可能な記録媒体に記録されてもよい。コンピュータ読取可能な媒体は、プログラム命令、データファイル、データ構造などのうち１つまたはその組合せを含んでもよい。媒体に記録されるプログラム命令は、本発明の目的のために特別に設計されて構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり、使用可能なものであってもよい。コンピュータ読取可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、光ディスクのような光磁気媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置が含まれてもよい。プログラム命令の例には、コンパイラによって作られるような機械語コードだけでなく、インタープリタなどを用いてコンピュータによって実行できる高級言語コードが含まれる。前記したハードウェア装置は、本発明の動作を行うために１つ以上のソフトウェアモジュールとして動作するように構成されてもよく、その逆も同様である。

上述したように、本発明を限定された実施形態と図面によって説明したが、本発明は、上記の実施形態に限定されることなく、本発明が属する分野における通常の知識を有する者であれば、このような実施形態から多様な修正及び変形が可能である。

したがって、本発明の範囲は、開示された実施形態に限定されるものではなく、特許請求の範囲だけではなく特許請求の範囲と均等なものなどによって定められるものである。

１００：顔認識装置
１１０：ランドマーク検出器
１２０：３Ｄ形状情報取得器
１３０：正規化器
１４０：第１特徴情報決定器
１５０：第２特徴情報決定器
１６０：最終特徴情報決定器
１７０：顔認識装置

Claims (16)

1. ２Ｄ入力映像から個人化された３Ｄ顔モデルを生成するステップと、
   前記個人化された３Ｄ顔モデルに基づいて、正規化された２Ｄ入力映像及び３Ｄ形状情報を取得するステップと、
   前記正規化された２Ｄ入力映像のカラー情報及び前記３Ｄ形状情報を用いて特徴情報を決定するステップと、
   前記特徴情報を用いて顔認識を行うステップと、
   を含み
   前記特徴情報を決定するステップは、
   第１深さニューラルネットワークモデルを用いて、前記カラー情報、前記個人化された３Ｄ顔モデルを用いて取得された深さ映像の深さ情報又は前記個人化された３Ｄ顔モデルを用いて取得されたノーマル情報と、の一方又は両方から、第１特徴情報を決定するステップと、
   第２深さニューラルネットワークモデルを用いて前記３Ｄ形状情報から第２特徴情報を決定するステップと、
   を含み、
   前記の顔認識を行うステップは、前記第１特徴情報及び前記第２特徴情報を用いて顔認識を行う、顔認識方法。
2. ２Ｄ入力映像から個人化された３Ｄ顔モデルを生成するステップと、
   前記個人化された３Ｄ顔モデルに基づいて、正規化された２Ｄ入力映像及び３Ｄ形状情報を取得するステップと、
   前記正規化された２Ｄ入力映像のカラー情報及び前記３Ｄ形状情報を用いて特徴情報を決定するステップと、
   前記特徴情報を用いて顔認識を行うステップと、を含み、
   前記３Ｄ形状情報を取得するステップは、
   前記個人化された３Ｄ顔モデルを用いて深さ映像を生成するステップと、
   前記正規化された２Ｄ入力映像のランドマークに基づいて前記深さ映像に示された３Ｄ形状を精密化するステップと、
   前記精密化された３Ｄ形状から前記３Ｄ形状情報を取得するステップと、
   を含む、顔認識方法。
3. 前記深さ映像に示された３Ｄ形状を精密化するステップは、前記正規化された２Ｄ入力映像のランドマークに基づいたメッシュと、前記深さ映像のランドマークに基づいたメッシュとの間の対応関係に基づいて前記深さ映像に示された３Ｄ形状を調整するステップを含む、請求項２に記載の顔認識方法。
4. 前記３Ｄ形状情報を取得するステップは、
   前記２Ｄ入力映像で顔のランドマークを検出するステップと、
   前記検出されたランドマークに基づいて一般の３Ｄ顔モデルを前記個人化された３Ｄ顔モデルに変形するステップと、
   前記個人化された３Ｄ顔モデルから前記３Ｄ形状情報を取得するステップと、
   を含む、請求項１に記載の顔認識方法。
5. ２Ｄ入力映像から個人化された３Ｄ顔モデルを生成するステップと、
   前記個人化された３Ｄ顔モデルに基づいて、正規化された２Ｄ入力映像及び３Ｄ形状情報を取得するステップと、
   前記正規化された２Ｄ入力映像のカラー情報及び前記３Ｄ形状情報を用いて特徴情報を決定するステップと、
   前記特徴情報を用いて顔認識を行うステップと、を含み、
   前記３Ｄ形状情報を取得するステップは、
   前記個人化された３Ｄ顔モデルを用いて深さ映像及びノーマル映像のうち少なくとも１つを生成するステップと、
   前記深さ映像及びノーマル映像のうち少なくとも１つから前記３Ｄ形状情報を取得するステップと、
   を含む、顔認識方法。
6. 前記第２深さニューラルネットワークモデルは、オート・エンコーダ構造のニューラルネットワークモデルである、請求項１に記載の顔認識方法。
7. 前記正規化された２Ｄ入力映像を取得するステップは、
   前記個人化された３Ｄ顔モデルを用いて正面の顔に対するポーズ情報を推定するステップと、
   前記ポーズ情報を用いて前記２Ｄ入力映像を正規化するステップと、
   を含む、請求項１ないし6のいずれか一項に記載の顔認識方法。
8. 前記正規化された２Ｄ入力映像を取得するステップは、
   前記２Ｄ入力映像で顔のランドマークを検出するステップと、
   前記検出されたランドマークに基づいて前記２Ｄ入力映像を正規化するステップと、
   を含む、請求項１ないし6のいずれか一項に記載の顔認識方法。
9. 前記の顔認識を行うステップは、
   前記第１特徴情報及び前記第２特徴情報に基づいて最終特徴情報を決定するステップと、
   前記２Ｄ入力映像に対する最終特徴情報と予め格納された登録映像の特徴情報とを比較して顔認識結果を決定するステップと、
   を含む、請求項１に記載の顔認識方法。
10. ハードウェアに請求項１ないし９のいずれか一項に記載の方法を実行させるコンピュータプログラム。
11. ２Ｄ映像から顔のランドマークを検出するランドマーク検出器と、
    前記検出されたランドマークに基づいて個人化された３Ｄ顔モデルを生成し、前記個人化された３Ｄ顔モデルから３Ｄ形状情報を取得する３Ｄ形状情報取得器と、
    第１深さニューラルネットワークモデルを用いて前記２Ｄ映像のカラー情報から第１特徴情報を決定する第１特徴情報決定器と、
    第２深さニューラルネットワークモデルを用いて前記３Ｄ形状情報から第２特徴情報を決定する第２特徴情報決定器と、
    を備え、
    前記第１深さニューラルネットワークモデルは、前記第２深さニューラルネットワークモデルと区別される、装置。
12. 前記第１深さニューラルネットワークモデルは、前記２Ｄ映像のカラー情報に基づいて前記映像に示された顔の様子に関する特徴を決定する、請求項１１に記載の装置。
13. 前記第２深さニューラルネットワークモデルは、前記３Ｄ形状情報に基づいて前記２Ｄ映像に示された顔の形状に関する特徴を決定する、請求項１１又は１２に記載の装置。
14. 前記検出されたランドマーク及び前記個人化された３Ｄ顔モデルのうち少なくとも１つに基づいて前記映像を正規化する正規化器をさらに備える、請求項１１ないし１３のいずれか一項に記載の装置。
15. １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行可能な命令を含むメモリを含み、
    前記１つ以上のプロセッサは前記命令を実行するとき、
    ２Ｄ入力映像から個人化された３Ｄ顔モデルを生成し、
    前記個人化された３Ｄ顔モデルに基づいて正規化された２Ｄ入力映像及び３Ｄ形状情報を取得し、
    前記プロセッサは、
    第１深さニューラルネットワークモデルを用いて前記正規化された２Ｄ入力映像のカラー情報、前記個人化された３Ｄ顔モデルを用いて取得された深さ映像の深さ情報、又は前記個人化された３Ｄ顔モデルを用いて取得されたノーマル情報の少なくとも１つから第１特徴情報を決定し、
    第２深さニューラルネットワークモデルを用いて前記３Ｄ形状情報から第２特徴情報を決定し、
    前記第１特徴情報及び前記第２特徴情報を用いて顔認識を行う、
    顔認識装置。
16. １つ以上のプロセッサと、
    前記１つ以上のプロセッサによって実行可能なインストラクション（ｉｎｓｔｒｕｃｔｉｏｎｓ）を含むメモリを含み、
    前記１つ以上のプロセッサは、前記インストラクションを実行するとき、２Ｄ入力映像から個人化された３Ｄ顔モデルを作成し、
    前記個人化された３Ｄ顔モデルに基づいて、正規化された２Ｄ入力映像及び３Ｄ形状情報を取得し、
    前記プロセッサは、前記個人化された３Ｄ顔モデルを用いて深さ映像を生成し、前記正規化された２Ｄ入力映像のランドマークに基づいて前記深さ映像に示された３Ｄ形状を精密化し、前記精密化された３Ｄ形状から前記３Ｄ形状情報を取得する、顔認識装置。