JP2025511766A - 顔のライブネス検出 - Google Patents

Abstract

顔のライブネスが、スピーカを介して極超短波（ＵＨＦ）音声信号を放出することと、複数の音声検出器を用いて表面からのＵＨＦ音声信号の反射を検出することによってエコー信号を取得することと、エコー信号から複数の特徴量を抽出することと、表面がライブの顔であるか否かを判定するために、複数の特徴量に分類器を適用することとによって検出される。

Description

本開示は、コンピュータ可読媒体、方法、および装置に関する。

顔認識システムが、デバイスおよびサービスへの不正アクセスを防止するために利用される。顔認識システムの完全性は、保護されたデバイスおよびサービスへのアクセスを得ようとする許可されていない人物によって攻撃されてきた。近年、スマートフォンなどのモバイルデバイスが、モバイルデバイスへの不正アクセスを防止するために顔認識を利用している。

モバイルデバイスにおける顔認識システムの普及の広がりの結果として、顔認証の使用がスマートフォンなどのモバイルデバイスをロック解除するために利用の増えている方法であるため、モバイルデバイスは、顔のプレゼンテーション攻撃によって標的にされることが増えている。顔のプレゼンテーション攻撃としては、許可されたユーザの顔の画像を使用する２Ｄプリント攻撃、許可されたユーザの顔の動画を使用するリプレイ攻撃、およびより最近では、許可されたユーザの顔の３Ｄプリントされたマスクを使用する３Ｄマスク攻撃が挙げられる。

本開示の第１の例示的な態様によれば、コンピュータ可読媒体が、スピーカを介して極超短波（ＵＨＦ）音声信号を放出することと、複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得することと、前記エコー信号から複数の特徴量を抽出することと、前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定することとを含む動作をコンピュータに実行させる、前記コンピュータによって実行可能な指示を含む。

本開示の第２の例示的な態様によれば、方法が、スピーカを介して極超短波（ＵＨＦ）音声信号を放出することと、複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得することと、前記エコー信号から複数の特徴量を抽出することと、前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定することとを含む。

本開示の第３の例示的な態様によれば、装置が、複数の音声検出器と、スピーカと、前記スピーカを介して極超短波（ＵＨＦ）音声信号を放出し、複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得し、前記エコー信号から複数の特徴量を抽出し、前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定するように構成された回路を含むコントローラとを備える。

本開示の態様は、添付の図面と併せて以下の詳細な説明を読めば最もよく理解される。業界の標準的な慣行にしたがって、様々な特徴は縮尺通りに描かれていないことに留意されたい。実際、様々な特徴の寸法は、説明を明確にするために任意に増減することがある。
本開示の少なくともいくつかの実施形態による、顔のライブネス検出のための装置の概略図の上面図である。 本開示の少なくともいくつかの実施形態による、顔のライブネス検出のための装置の概略図の正面図である。 本開示の少なくともいくつかの実施形態による、顔のライブネス検出のための装置の概略図の底面図である。 本開示の少なくともいくつかの実施形態による、不正アクセスを防止するための顔認識の動作フローである。 本開示の少なくともいくつかの実施形態による、顔のライブネス検出のための顔認識の動作フローである。 本開示の少なくともいくつかの実施形態による、エコー信号を取得するための顔認識の動作フローである。 本開示の少なくともいくつかの実施形態による、第１の特徴量抽出および分類器適用プロセスの動作フローである。 本開示の少なくともいくつかの実施形態による、特徴抽出のためにニューラルネットワークを訓練するための動作フローである。 本開示の少なくともいくつかの実施形態による、第２の特徴量抽出および分類器適用プロセスの動作フローである。 本開示の少なくともいくつかの実施形態による、第３の特徴量抽出および分類器適用プロセスの概略図である。 本開示の少なくともいくつかの実施形態による、顔のライブネス検出のためのハードウェア構成のブロック図である。

以下の開示は、提供される主題の様々な特徴を実施するための多くの様々な実施形態または例を提供する。以下、本開示を簡略化するために、構成要素、値、動作、材料、配置などの具体例を説明する。当然のことながら、これらは単なる例であり、限定することを意図するものではない。他の構成要素、値、動作、配置なども企図される。加えて、本開示は、様々な例において参照番号および／または文字を繰り返すことがある。この繰り返しは、単純化および明確化の目的での繰り返しであり、それ自体は、説明されている様々な実施形態および／または構成の間の関係を規定するものではない。

２Ｄプリント攻撃およびリプレイ攻撃を首尾よく検出するエコーベースの方法がいくつかある。しかしながら、既存のエコーベースの方法は、依然として３Ｄマスク攻撃に対して脆弱である。例えば、顔のライブネス検出のために視覚的特徴と共にレーダ送信機および受信機信号特徴を使用するエコーベースの方法、ならびに顔認証のためにエコーおよび視覚ランドマーク特徴を使用する方法がある。

このようなエコーベースの方法は、１２ｋＨｚ～２０ｋＨｚの範囲の音声信号を使用し、これらの音声信号はほとんどのユーザに聴こえるため、ユーザに不便をもたらす。このようなエコーベースの方法は、通常、デバイスの上部または下部のいずれかにある単一のマイクロフォンのみを使用してエコー信号を取り込むため、顔深度の解像度がより低くなる。このようなエコーベースの方法は、３Ｄマスク攻撃によって日常的に危険にさらされている。

本明細書に記載の少なくともいくつかの実施形態は、受動的なモバイルライブネス検出のために極超短波（ＵＨＦ）エコーベースの方法を利用する。本明細書に記載の少なくともいくつかの実施形態は、ハンドヘルドデバイスにおいて一般的に見られる特徴を使用することによってロバスト性を高めるエコーベースの方法を含む。本明細書に記載の少なくともいくつかの実施形態は、エコー信号を分析してより多くの特徴を抽出して、３Ｄマスク攻撃を検出する。

図１Ａ、図１Ｂ、および図１Ｃは、本開示の少なくともいくつかの実施形態による、顔のライブネス検出のための装置１００の概略図である。装置１００は、マイクロフォン１１０と、マイクロフォン１１１と、スピーカ１１３と、カメラ１１５と、ディスプレイ１１７と、入力１１９とを備える。図１Ｂは、本開示の少なくともいくつかの実施形態による、装置１００の概略図の正面図であり、上述の構成要素を示している。少なくともいくつかの実施形態では、装置１００は、スピーカ１１３ならびに複数のマイクロフォン１１０および１１１がハンドヘルドデバイスに含まれるように、ハンドヘルドデバイス内にある。

少なくともいくつかの実施形態では、顔のライブネス検出のための装置が、複数の音声検出器を備える。少なくともいくつかの実施形態では、複数の音声検出器は、マイクロフォン１１０および１１１などの複数のマイクロフォンを含む。少なくともいくつかの実施形態では、マイクロフォン１１０および１１１は、オーディオ信号を電気信号に変換するように構成される。少なくともいくつかの実施形態では、マイクロフォン１１０および１１１は、オーディオ信号を、さらに処理可能な他の形態のエネルギーの信号に変換するように構成される。少なくともいくつかの実施形態では、マイクロフォン１１０および１１１はトランスデューサである。少なくともいくつかの実施形態では、マイクロフォン１１０および１１１は、任意の組み合わせで、圧縮マイクロフォン、ダイナミックマイクロフォンなどである。少なくともいくつかの実施形態では、マイクロフォン１１０および１１１は、通話、音声記録などのための可聴信号を検出するようにさらに構成される。

少なくともいくつかの実施形態では、複数の音声検出器が、第１の方向に向けられた第１の音声検出器と、第２の方向に向けられた第２の音声検出器とを含む。マイクロフォン１１０および１１１は、異なる方向からのオーディオ信号を受信するように向けられる。マイクロフォン１１０は、装置１００の上側に配置される。図１Ａは、本開示の少なくともいくつかの実施形態による、装置１００の概略図の上面図であり、上方に開いたマイクロフォン１１０を示している。マイクロフォン１１１は、装置１００の下側に配置される。図１Ｃは、本開示の少なくともいくつかの実施形態による、装置１００の概略図の底面図であり、下方に開いたマイクロフォン１１０を示している。少なくともいくつかの実施形態では、音声検出器は、音声受信の角度が異なる限り、右側および左側、傾斜角、または任意の組み合わせなどの他の方向に向けられる。少なくともいくつかの実施形態では、異なる向きの両方のマイクロフォンによって取り込まれたエコー信号の反射パターンが、音響吸収および後方散乱情報と共に、２Ｄおよび３Ｄの顔のプレゼンテーション攻撃を検出するために利用される。少なくともいくつかの実施形態では、ＵＨＦ信号反射を取り込むために異なる向きのマイクロフォンを使用することは、テンプレートマッチングによってエコー信号を分離するのに役立ち、信号対雑音比を改善する。少なくともいくつかの実施形態では、複数の音声検出器は３つ以上の検出器を含む。

スピーカ１１３は、装置１００の前面に配置される。少なくともいくつかの実施形態では、スピーカ１１３は、ＵＨＦ信号を放出するように構成される。少なくともいくつかの実施形態では、スピーカ１１３は、ラウドスピーカ、圧電スピーカなどである。少なくともいくつかの実施形態では、スピーカ１１３は、ＵＨＦ信号がカメラ１１５によって撮像されている表面から反射するように、カメラ１１５の光軸と実質的に同じ方向にＵＨＦ信号を放出するように構成される。少なくともいくつかの実施形態では、スピーカ１１３は、電気信号をオーディオ信号に変換するように構成されたトランスデューサである。少なくともいくつかの実施形態では、スピーカ１１３は、動画および音楽の再生などのための可聴信号を放出するようにさらに構成される。

少なくともいくつかの実施形態では、ハンドヘルドデバイスはカメラ１１５をさらに備える。少なくともいくつかの実施形態では、カメラ１１５は、装置１００を保持するユーザの顔など、装置１００の前方にある物体を撮像するように構成される。少なくともいくつかの実施形態では、カメラ１１５は、可視光信号を電気信号または任意の他のさらなる処理可能な信号に変換するように構成された画像センサを備える。

ディスプレイ１１７は、装置１００の前面に配置される。少なくともいくつかの実施形態では、ディスプレイ１１７は、グラフィカルユーザインターフェースなどの可視画像を生成するように構成される。少なくともいくつかの実施形態では、ディスプレイ１１７は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）アレイ、またはハンドヘルドデバイスに適した任意の他のディスプレイ技術を含む。少なくともいくつかの実施形態では、ディスプレイ１１７は、タッチスクリーンなどのタッチ感知式のものであり、触覚入力を受け付けるようにさらに構成される。少なくともいくつかの実施形態では、ディスプレイ１１７は、ユーザがカメラをユーザの顔に向けるのを支援するために、カメラ１１５によって現在取り込まれている画像を示すように構成される。

入力１１９は、装置１００の前面に配置される。少なくともいくつかの実施形態では、入力１１９は、触覚入力を受け付けるように構成される。少なくともいくつかの実施形態では、入力１１９は、ボタン、圧力センサ、指紋センサ、または任意の他の形態の触覚入力であり、それらの組み合わせを含む。

図２は、本開示の少なくともいくつかの実施形態による、不正アクセスを防止するための顔認識の動作フローである。動作フローは、不正アクセスを防止するための顔認識の方法を提供する。少なくともいくつかの実施形態では、本方法の１つ以上の動作が、以下に説明する図９に示すコントローラおよび装置などの、特定の動作を実行するためのセクションを含む装置のコントローラによって実行される。

Ｓ２２０において、コントローラまたはそのセクションは、表面を撮像する。少なくともいくつかの実施形態では、コントローラは、カメラで表面を撮像して、表面画像を取得する。少なくともいくつかの実施形態では、コントローラは、図１の装置１００などのハンドヘルドデバイスのユーザの顔を撮像する。少なくともいくつかの実施形態では、コントローラは、表面を撮像して、画像処理のためのデジタル画像を生成する。

Ｓ２２１において、コントローラまたはそのセクションは、表面画像を分析する。少なくともいくつかの実施形態では、コントローラは、表面画像を分析して、表面が顔であるか否かを判定する。少なくともいくつかの実施形態では、コントローラは、表面の画像を分析して、さらなる分析のために、目、鼻、口、耳などの顔の特徴を検出する。少なくともいくつかの実施形態では、コントローラは、顔認識のために顔特徴を正規化するために、回転、クロップ、または他の空間操作を実行する。

Ｓ２２２において、コントローラまたはそのセクションは、表面が顔であるか否かを判定する。少なくともいくつかの実施形態では、コントローラは、Ｓ２２１における表面画像分析に基づいて、表面が顔であるか否かを判定する。表面が顔であるとコントローラが判定した場合、動作フローはＳ２２３におけるライブネス検出に進む。表面が顔ではないとコントローラが判定した場合、動作フローはＳ２２０における表面撮像に戻る。

Ｓ２２３において、コントローラまたはそのセクションは、表面のライブネスを検出する。少なくともいくつかの実施形態では、コントローラは、２Ｄおよび３Ｄの顔のプレゼンテーション攻撃を検出する。少なくともいくつかの実施形態では、コントローラは、図３を参照して以下に説明するライブネス検出プロセスを実行する。

Ｓ２２４において、コントローラまたはそのセクションは、表面がライブであるか否かを判定する。少なくともいくつかの実施形態では、コントローラは、Ｓ２２３におけるライブネス検出に基づいて、表面がライブの人の顔であるか否かを判定する。表面がライブであるとコントローラが判定した場合、動作フローはＳ２２６における表面識別に進む。表面がライブではないとコントローラが判定した場合、動作フローはＳ２２９におけるアクセス拒否に進む。

Ｓ２２６において、コントローラまたはそのセクションは、表面を識別する。少なくともいくつかの実施形態では、コントローラは、表面の幾何学的または測光的特徴と、身元が把握されている顔の特徴との比較などの、顔認識アルゴリズムを適用する。少なくともいくつかの実施形態では、コントローラは、表面の深層特徴と身元が把握されている各顔の深層特徴との間の距離測定値を取得し、最短距離に基づいて表面を識別する。少なくともいくつかの実施形態では、コントローラは、表面が顔であると判定し、表面がライブの顔であると判定したことに応じて、表面画像を分析することによって表面を識別する。

Ｓ２２７において、コントローラまたはそのセクションは、身元が許可されているか否かを判定する。少なくともいくつかの実施形態では、コントローラは、Ｓ２２６において識別されたユーザがアクセスを許可されているか否かを判定する。身元が許可されているとコントローラが判定した場合、動作フローはＳ２２８におけるアクセス許可に進む。身元が許可されていないとコントローラが判定した場合、動作フローはＳ２２９におけるアクセス拒否に進む。

Ｓ２２８において、コントローラまたはそのセクションは、アクセスを許可する。少なくともいくつかの実施形態では、コントローラは、許可されたユーザとして表面を識別したことに応じて、デバイスまたはサービスのうちの少なくとも一方へのアクセスを許可する。少なくともいくつかの実施形態では、コントローラは、許可されていないユーザとして表面を識別していないことに応じて、デバイスまたはサービスのうちの少なくとも一方へのアクセスを許可する。少なくともいくつかの実施形態では、アクセスが許可されたデバイスは、図１のハンドヘルドデバイスなどの装置である。少なくともいくつかの実施形態では、サービスは、装置によって実行されるプログラムまたはアプリケーションである。

Ｓ２２９において、コントローラまたはそのセクションは、アクセスを拒否する。少なくともいくつかの実施形態では、コントローラは、許可されたユーザとして表面を識別していないことに応じて、デバイスまたはサービスのうちの少なくとも一方へのアクセスを拒否する。少なくともいくつかの実施形態では、コントローラは、許可されていないユーザとして表面を識別したことに応じて、デバイスまたはサービスのうちの少なくとも一方へのアクセスを拒否する。

少なくともいくつかの実施形態では、コントローラは、異なる順序で動作を実行する。少なくともいくつかの実施形態では、コントローラは、表面画像を分析する前に、またはさらには表面を撮像する前に、ライブネスを検出する。少なくともいくつかの実施形態では、コントローラは、表面を識別した後、およびさらには身元が許可されているか否かを判定した後に、ライブネスを検出する。少なくともいくつかの実施形態では、動作フローは、アクセス拒否の後に繰り返されるが、待ち時間の実施、装置の電源切断、装置の自己破壊、さらなる要求動作などまで、所定の数のアクセス拒否に対してのみ繰り返される。

図３は、本開示の少なくともいくつかの実施形態による、顔のライブネス検出のための動作フローである。動作フローは、顔のライブネス検出の方法を提供する。少なくともいくつかの実施形態では、本方法の１つ以上の動作が、以下に説明する図９に示すコントローラおよび装置などの、特定の動作を実行するためのセクションを含む装置のコントローラによって実行される。

Ｓ３３０において、放出セクションは、ライブネス検出音声信号を放出する。少なくともいくつかの実施形態では、放出セクションは、スピーカを介して極超短波（ＵＨＦ）音声信号を放出する。少なくともいくつかの実施形態では、放出セクションは、カメラによる顔の検出に応じてＵＨＦ音声信号を放出する。少なくともいくつかの実施形態では、放出セクションは、顔を識別したことに応じてＵＨＦ音声信号を放出する。

少なくともいくつかの実施形態では、放出セクションは、実質的に不可聴なものとしてＵＨＦ音声信号を放出する。実質的に不可聴な音声信号は、ほとんどの人が聴くことができない、または意識的に気付かない音声信号である。音声信号の周波数が高くなるほど、音声信号が聴こえなくなる人数が多くなる。少なくともいくつかの実施形態では、放出セクションは、１８～２２ｋＨｚのＵＨＦ音声信号を放出する。また、音声信号の波形は、音声信号が聴こえなくなる人数にも影響する。少なくともいくつかの実施形態では、放出セクションは、正弦波および鋸歯状波を含むＵＨＦ音声信号を放出する。少なくともいくつかの実施形態では、放出セクションは、ユーザの顔を照らすために携帯電話を介して１８～２２ｋＨｚの範囲の正弦波および鋸歯波の組み合わせであるＵＨＦ音声信号を放出する。

Ｓ３３２において、取得セクションは、エコー信号を取得する。少なくともいくつかの実施形態では、取得セクションは、複数の音声検出器によって表面からのＵＨＦ音声信号の反射を検出することによってエコー信号を取得する。少なくともいくつかの実施形態では、取得セクションは、複数の音声検出器の生の記録を、表面から放出された音声信号の１つ以上のエコーを表す単一の信号に変換する。少なくともいくつかの実施形態では、取得セクションは、図４に関して以下に説明するエコー信号取得プロセスを実行する。

Ｓ３３４において、抽出セクションは、エコー信号から特徴量を抽出する。少なくともいくつかの実施形態では、抽出セクションは、エコー信号から複数の特徴量を抽出する。少なくともいくつかの実施形態では、抽出セクションは、特定の特性を計算する式を使用することなどによって、エコー信号からハンドクラフト特徴量を抽出する。少なくともいくつかの実施形態では、抽出セクションは、圧縮された特徴表現を抽出するために、エコー信号に１つ以上のニューラルネットワークを適用する。少なくともいくつかの実施形態では、抽出セクションは、図５、図７、または図８に関して以下に説明する特徴量抽出プロセスを実行する。

Ｓ３３６において、適用セクションは、特徴量に分類器を適用する。少なくともいくつかの実施形態では、適用セクションは、複数の特徴量に分類器を適用して、表面がライブの顔であるか否かを判定する。少なくともいくつかの実施形態では、適用セクションは、各特徴量に閾値を適用して、特徴量のバイナリ分類をライブの人の顔と矛盾しない、または矛盾するとして作成する。少なくともいくつかの実施形態では、適用セクションは、ニューラルネットワーク分類器を特徴量の連結に適用して、ライブの人の顔と矛盾しない、または矛盾するとして特徴量のバイナリ分類を生成する。少なくともいくつかの実施形態では、適用セクションは、図５、図７、または図８に関して以下に説明する分類器適用プロセスを実行する。

図４は、本開示の少なくともいくつかの実施形態による、エコー信号を取得するための動作フローである。動作フローは、エコー信号取得の方法を提供する。少なくともいくつかの実施形態では、本方法の１つ以上の動作は、以下に説明する図９に示す装置などの装置の取得セクションによって実行される。少なくともいくつかの実施形態では、動作Ｓ４４０、Ｓ４４２、およびＳ４４４は、装置の各音声検出器からの音声検出に対して連続して実行され、各音声検出は、それぞれの音声検出器によって取り込まれたエコー信号および／または反射音声信号を含む。

Ｓ４４０において、取得セクションまたはそのサブセクションは、時間フィルタで反射を分離する。少なくともいくつかの実施形態では、取得セクションは、時間フィルタでＵＨＦ音声信号の反射を分離する。少なくともいくつかの実施形態では、取得セクションは、音声信号放出の時点から測定された所定の時間フレーム外の検出のデータを却下、破棄、または無視する。少なくともいくつかの実施形態では、所定の時間フレームは、表面が装置から２５～５０ｃｍの距離にあるという仮定に基づいてエコー反射を含むように計算され、これは、デバイスのカメラを自身の顔に向けるときのハンドヘルドデバイスからのユーザの顔の典型的な距離である。

Ｓ４４２において、取得セクションまたはそのサブセクションは、音声検出を放出された音声信号と比較する。少なくともいくつかの実施形態では、反復が進むにつれて、取得セクションは、複数の音声検出器の各音声検出器の検出と、放出されたＵＨＦ音声信号とを比較する。少なくともいくつかの実施形態では、取得セクションは、検出における雑音からエコーを判別するためにテンプレートマッチングを実行する。

Ｓ４４４において、取得セクションまたはそのサブセクションは、音声検出から雑音を除去する。少なくともいくつかの実施形態では、取得セクションは、ＵＨＦ音声信号の反射から雑音を除去する。少なくともいくつかの実施形態では、取得セクションは、Ｓ４４２においてエコーから判別された雑音を除去する。

Ｓ４４６において、取得セクションまたはそのサブセクションは、すべての検出が処理されたか否かを判定する。未処理の検出が残っていると取得セクションが判定した場合、動作フローはＳ４４０における反射分離に戻る。すべての検出が処理されたと取得セクションが判定した場合、動作フローはＳ４４９におけるマージに進む。

Ｓ４４９において、取得セクションまたはそのサブセクションは、各音声検出の残りのデータを単一のエコー信号にマージする。少なくともいくつかの実施形態では、取得セクションは、各音声検出の残りのデータを合計する。少なくともいくつかの実施形態では、取得セクションは、合計前の表面からの相対距離に基づいて各音声検出の残りのデータをオフセットする。少なくともいくつかの実施形態では、取得セクションは、マージ後にさらなる雑音除去プロセスを適用する。少なくともいくつかの実施形態では、取得セクションは、結果として得られる信号対雑音比が個々の音声検出の信号対雑音比よりも大きくなるように、各音声検出の残りのデータをマージする。少なくともいくつかの実施形態では、取得セクションは、結果として得られる信号対雑音比を増加させるために、音声検出間の時間シフトまたは遅延を検出する。少なくともいくつかの実施形態では、取得セクションは、音声検出間の相互相関を取得して、音声検出間の最大相関の時間フレームを決定し、決定された最大相関の時間フレームに一致するように各音声検出のタイミングをシフトし、音声検出を合計する。

図５は、本開示の少なくともいくつかの実施形態による、第１の特徴量抽出および分類器適用プロセスの動作フローである。動作フローは、特徴量抽出および分類器適用の第１の方法を提供する。少なくともいくつかの実施形態では、本方法の１つ以上の動作は、以下に説明する図９に示す装置などの装置の抽出セクションおよび適用セクションによって実行される。

Ｓ５５０において、抽出セクションまたはそのサブセクションは、エコー信号から表面の深度を推定する。少なくともいくつかの実施形態では、エコー信号から複数の特徴量を抽出することは、エコー信号から表面の深度を推定することを含む。少なくともいくつかの実施形態では、抽出セクションは、擬似深度推定を実行する。少なくともいくつかの実施形態では、抽出セクションは、最初の反射による距離と最後の反射による距離との間の差分にしたがって表面の深度を推定する。少なくともいくつかの実施形態では、距離は、ＵＨＦ音声信号の放出と反射の検出との間の遅延量に音速を乗じたものの半分として計算される。少なくともいくつかの実施形態では、深度Ｄは、以下の式にしたがって計算される。

ここで、Ｖ_ｓは音速であり、ｔ_ｌは最後の反射が検出された時間であり、ｔ_ｆは最初の反射が検出された時間であり、ｔ_ｅはＵＨＦ音声信号が放出された時間である。

Ｓ５５１において、適用セクションまたはそのサブセクションは、推定された深度を深度閾値と比較する。少なくともいくつかの実施形態では、分類器を適用することは、深度を深度閾値と比較することを含む。少なくともいくつかの実施形態では、適用セクションは、推定された深度が深度閾値よりも大きいことに応じて、推定された深度がライブの人の顔と矛盾しないと判定する。少なくともいくつかの実施形態では、適用セクションは、推定された深度が深度閾値以下であることに応じて、推定された深度がライブの人の顔と矛盾すると判定する。少なくともいくつかの実施形態では、深度閾値は、顔検出システムの管理者によって調整可能なパラメータである。少なくともいくつかの実施形態では、深度推定は２Ｄ攻撃を防止するためのものにすぎないため、深度閾値は小さい。少なくともいくつかの実施形態では、最初の反射の深度と比較したすべての最後の反射の深度が同じである場合、適用セクションは、表面が平面の２Ｄ表面であると結論付ける。

Ｓ５５２において、抽出セクションまたはそのサブセクションは、エコー信号から表面の減衰係数を決定する。少なくともいくつかの実施形態では、エコー信号から複数の特徴量を抽出することは、エコー信号から表面の減衰係数を決定することを含む。放出されたＵＨＦ音声信号が様々な表面に当たると、信号は吸収され、反射され、散乱される。特に、信号の吸収および散乱は信号の減衰をもたらす。材料特性が異なれば、信号減衰量が異なる。少なくともいくつかの実施形態では、抽出セクションは、以下の式を利用して減衰係数を決定する。

ここで、Ａ（ｚ，ｆ）はエコー（減衰）信号の振幅であり、Ａ_０は放出されたＵＨＦ音声信号の振幅であり、αは、物体および材料に応じて変化する吸収係数である。少なくともいくつかの実施形態では、３Ｄマスクおよびライブの顔の材料が異なる減衰係数をもたらすため、減衰係数は、３Ｄマスクをライブの顔と区別するために単独で使用される。

Ｓ５５３において、適用セクションまたはそのサブセクションは、決定された減衰係数を減衰係数閾値範囲と比較する。少なくともいくつかの実施形態では、分類器を適用することは、減衰係数を減衰係数閾値範囲と比較することを含む。少なくともいくつかの実施形態では、適用セクションは、決定された減衰係数が減衰係数閾値範囲内にあることに応じて、決定された減衰係数がライブの人の顔と矛盾しないと判定する。少なくともいくつかの実施形態では、適用セクションは、決定された減衰係数が減衰係数閾値範囲内にはないことに応じて、決定された減衰係数がライブの人の顔と矛盾すると判定する。少なくともいくつかの実施形態では、減衰係数閾値範囲は、顔検出システムの管理者によって調整可能なパラメータを含む。少なくともいくつかの実施形態では、ライブの人の顔の減衰係数はほとんど変動がないため、減衰係数閾値範囲は小さい。

Ｓ５５４において、抽出セクションまたはそのサブセクションは、エコー信号から表面の後方散乱係数を推定する。少なくともいくつかの実施形態では、エコー信号から複数の特徴量を抽出することは、エコー信号から表面の後方散乱係数を推定することを含む。エコー信号は、エコー信号が反射された材料に応じて変化する後方散乱特性を有する。少なくともいくつかの実施形態では、抽出セクションは、後方散乱係数を推定して、入力が３Ｄマスクであるか現実の顔であるかを分類する。「後方散乱係数」は、物体が超音波エネルギーを散乱させる有効性を記述するパラメータである。少なくともいくつかの実施形態では、後方散乱係数η（ｗ）は、２つの測定値、後方散乱信号のパワースペクトル、および較正プロセスから以前に得られた平坦な基準面からの反射信号のパワースペクトルから取得される。信号の正規化された後方散乱信号パワースペクトルは、以下のように与えられ得る。

ここで、Ｓ_ｌ（ｋ）は第ｌの走査線セグメントの短時間窓フーリエ変換であり、Ｓ_ｒｅｆ（ｋ）は反射係数γを有する反射体からの後方散乱信号の短時間窓フーリエ変換（ｗｉｎｄｏｗｅｄ ｓｈｏｒｔ－ｔｉｍｅ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ）であり、α（ｋ）は減衰を補償する関数であり、Ｌはデータブロックに含まれる走査線セグメントの数である。基準面Ｓ_ｒ（ｋ）からの反射信号に対するパワースペクトルも同様に算出される。次いで、後方散乱係数η（ｗ）は以下のように計算される。

ここで、

ここで、ε^４は伝送損失を表し、ρ_０ｃ_０は媒体の音響インピーダンスであり、ρ_ｃは表面の音響インピーダンスである。

Ｓ５５５において、適用セクションまたはそのサブセクションは、推定された後方散乱係数を後方散乱係数閾値範囲と比較する。少なくともいくつかの実施形態では、分類器を適用することは、後方散乱係数を後方散乱係数閾値範囲と比較することを含む。少なくともいくつかの実施形態では、適用セクションは、推定された後方散乱係数が後方散乱係数閾値範囲内にあることに応じて、推定された後方散乱係数がライブの人の顔と矛盾しないと判定する。少なくともいくつかの実施形態では、適用セクションは、推定された後方散乱係数が後方散乱係数閾値範囲内にはないことに応じて、推定された後方散乱係数がライブの人の顔と矛盾すると判定する。少なくともいくつかの実施形態では、後方散乱係数閾値範囲は、顔検出システムの管理者によって調整可能なパラメータを含む。少なくともいくつかの実施形態では、ライブの人の顔の後方散乱係数はほとんど変動がないため、後方散乱係数閾値範囲は小さい。

Ｓ５５６において、抽出セクションまたはそのサブセクションは、エコー信号にニューラルネットワークを適用して、特徴ベクトルを取得する。少なくともいくつかの実施形態では、エコー信号から複数の特徴量を抽出することが、エコー信号にニューラルネットワークを適用して、特徴ベクトルを取得することを含み、ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されている。少なくともいくつかの実施形態では、抽出セクションは、畳み込みニューラルネットワークをエコー信号に適用して、深層特徴ベクトルを取得する。少なくともいくつかの実施形態では、ニューラルネットワークは、エコー信号に適用されると特徴ベクトルを出力するように訓練される。少なくともいくつかの実施形態では、ニューラルネットワークは、図６を参照して以下に説明する訓練プロセスを経る。

Ｓ５５７において、適用セクションまたはそのサブセクションは、特徴ベクトルに分類層を適用する。少なくともいくつかの実施形態では、分類器を適用することは、特徴ベクトルに分類層を適用することを含む。少なくともいくつかの実施形態では、適用セクションは、分類層からの第１の出力値に応じて、エコー信号がライブの人の顔と矛盾しないと判定する。少なくともいくつかの実施形態では、適用セクションは、分類層からの第２の出力値に応じて、エコー信号がライブの人の顔と矛盾すると判定する。少なくともいくつかの実施形態では、分類層は、異常検出分類器である。少なくともいくつかの実施形態では、分類層は、特徴ベクトルに適用されるとバイナリ値を出力するように訓練され、バイナリ値は、エコー信号がライブの人の顔と矛盾しないか否かを表す。少なくともいくつかの実施形態では、分類層は、図６を参照して以下に説明する訓練プロセスを経る。

Ｓ５５８において、適用セクションまたはそのサブセクションは、各特徴がライブの人の顔と矛盾しないか否かの結果に重み付けする。少なくともいくつかの実施形態では、適用セクションは、表面がライブの顔であるか否かの判定要素として、特徴の強度に比例して各結果に重み付けを適用する。少なくともいくつかの実施形態では、重みは、顔認識システムの管理者によって調整可能なパラメータである。少なくともいくつかの実施形態では、重みは、訓練可能なパラメータである。

Ｓ５５９において、適用セクションは、重み付けされた結果をライブネス閾値と比較する。少なくともいくつかの実施形態では、重み付けされた結果は合計され、単一のライブネス閾値と比較される。少なくともいくつかの実施形態では、重み付けされた結果は、ライブネス閾値との比較前に、より複雑な計算を経る。少なくともいくつかの実施形態では、ＣＮＮ（畳み込みニューラルネットワーク）から取得された特徴ベクトルは、ハンドクラフト特徴と組み合わされて、表面がライブの人の顔であるか否かを判定するための最終スコアを取得する。少なくともいくつかの実施形態では、適用セクションは、重み付けされた結果の合計がライブネス閾値よりも大きいことに応じて、表面がライブの人の顔であると判定する。少なくともいくつかの実施形態では、適用セクションは、重み付けされた結果の合計がライブネス閾値以下であることに応じて、表面がライブの人の顔ではないと判定する。

図６は、本開示の少なくともいくつかの実施形態による、特徴抽出のためにニューラルネットワークを訓練するための動作フローである。動作フローは、特徴抽出のためにニューラルネットワークを訓練する方法を提供する。少なくともいくつかの実施形態では、本方法の１つ以上の動作は、以下に説明する図９に示す装置などの装置のコントローラによって実行される。

Ｓ６６０において、放出セクションは、ライブネス検出音声信号を放出する。少なくともいくつかの実施形態では、放出セクションは、スピーカを介して極超短波（ＵＨＦ）音声信号を放出する。少なくともいくつかの実施形態では、放出セクションは、図３のライブネス検出プロセス中のＳ３３０と同様にライブネス検出音声信号を放出する。少なくともいくつかの実施形態では、放出セクションは、ライブの人の顔であることが分かっている表面、または３Ｄマスク、２Ｄプリント、あるいはリプレイ攻撃を示す画面などではない表面に向かって、ライブネス検出音声信号を放出する。

Ｓ６６１において、取得セクションは、エコー信号サンプルを取得する。少なくともいくつかの実施形態では、取得セクションは、複数の音声検出器を用いて表面からのＵＨＦ音声信号の反射を検出することによってエコー信号サンプルを取得する。少なくともいくつかの実施形態では、取得セクションは、図３のライブネス検出プロセス中のＳ３３２と同様にエコー信号サンプルを取得する。少なくともいくつかの実施形態では、取り込まれ処理されたエコー信号は、１分類の分類器を訓練して、現実の顔以外の任意の分布が異常と見なされ、現実ではないと分類されるように、現実の顔のＣＮＮ（畳み込みニューラルネットワーク）特徴を取得するために使用される。

Ｓ６６３において、抽出セクションは、特徴ベクトルを取得するために、ニューラルネットワークを適用する。少なくともいくつかの実施形態では、抽出セクションは、ニューラルネットワークをエコー信号サンプルに適用して、特徴ベクトルを取得する。Ｓ６６３におけるニューラルネットワーク適用の最初の反復では、ニューラルネットワークは、少なくともいくつかの実施形態ではランダム値として初期化される。そのため、取得された特徴ベクトルは、あまりライブネスを決定するようなものではないことがある。反復が進むにつれて、ニューラルネットワークの重みが調整され、取得された特徴ベクトルがライブネスを決定するようなものになる。

Ｓ６６４において、適用セクションは、表面の分類を決定するために、特徴ベクトルに分類層を適用する。少なくともいくつかの実施形態では、分類層は、特徴ベクトルがライブの人の顔と矛盾しないことを示す分類、または特徴ベクトルがライブの人の顔と矛盾することを示す分類のいずれかを生成するバイナリ分類器である。

Ｓ６６６において、適用セクションは、ニューラルネットワークおよび分類層のパラメータを調整する。少なくともいくつかの実施形態では、適用セクションは、Ｓ６６４において分類層によって表面がライブの人の顔であるか否かに関する既知の情報を考慮して判定された分類が正しいか否かに基づいて、損失関数にしたがってニューラルネットワークおよび分類層の重みを調整する。少なくともいくつかの実施形態では、訓練することは、出力された分類と対応するラベルとの比較に基づいてニューラルネットワークおよび分類層のパラメータを調整することを含む。少なくともいくつかの実施形態では、重みの勾配は、逆伝播のプロセスを通じて、分類層の出力層からニューラルネットワークを遡って経由して計算され、重みは新たに計算された勾配にしたがって更新される。少なくともいくつかの実施形態では、ニューラルネットワークのパラメータは、Ｓ６６３およびＳ６６４における動作の反復ごとの後に調整されない。少なくともいくつかの実施形態では、反復が進むにつれて、コントローラは、複数のエコー信号サンプルを使用して分類層とともにニューラルネットワークを訓練し、各エコー信号サンプルはライブまたは非ライブとしてラベル付けされる。

Ｓ６６８において、コントローラまたはそのセクションは、すべてのエコー信号サンプルが処理されたか否かを判定する。少なくともいくつかの実施形態では、コントローラは、エコー信号サンプルのバッチが完全に処理されたことに応じて、またはニューラルネットワークの解が収束したこと、損失関数の損失値が閾値を下回ったことなどの他の何らかの終了条件に応じて、すべてのサンプルが処理されたと判定する。コントローラが、未処理のエコー信号サンプルが残っていると判定した場合、または別の終了条件がまだ満たされていないと判定した場合、動作フローは次のサンプル（Ｓ６６９）のＳ６６０における信号放出に戻る。コントローラが、すべてのエコー信号サンプルが処理された、または別の終了条件が満たされたと判定した場合、動作フローは終了する。

少なくともいくつかの実施形態では、Ｓ６６０における信号放出およびＳ６６１におけるエコー信号取得は、Ｓ６６３、Ｓ６６４、およびＳ６６６における動作の反復に進む前にサンプルのバッチに対して実行される。

図７は、本開示の少なくともいくつかの実施形態による、第２の特徴量抽出および分類器適用プロセスの動作フローである。動作フローは、特徴量抽出および分類器適用の第２の方法を提供する。少なくともいくつかの実施形態では、本方法の１つ以上の動作は、以下に説明する図９に示す装置などの装置の抽出セクションおよび適用セクションによって実行される。

Ｓ７７０において、抽出セクションまたはそのサブセクションは、エコー信号から表面の深度を推定する。Ｓ７７０における深度推定は、異なって記載されている点を除いて、図５のＳ５５０における深度推定と実質的に同様である。

Ｓ７７２において、抽出セクションまたはそのサブセクションは、エコー信号から表面の減衰係数を決定する。Ｓ７７２における減衰係数決定は、異なって記載されている点を除いて、図５のＳ５５２における減衰係数決定と実質的に同様である。

Ｓ７７４において、抽出セクションまたはそのサブセクションは、エコー信号から表面の後方散乱係数を推定する。Ｓ７７４における後方散乱係数推定は、異なって記載されている点を除いて、図５のＳ５５４における後方散乱係数推定と実質的に同様である。

Ｓ７７６において、抽出セクションまたはそのサブセクションは、エコー信号にニューラルネットワークを適用して、特徴ベクトルを取得する。Ｓ７７６におけるニューラルネットワーク適用は、異なって記載されている点を除いて、図５のＳ５５６におけるニューラルネットワーク適用と実質的に同様である。

少なくともいくつかの実施形態では、抽出セクションは、エコー信号から特徴量を抽出するために、Ｓ７７０、Ｓ７７２、Ｓ７７４、およびＳ７７６の動作を実行する。少なくともいくつかの実施形態では、エコー信号から複数の特徴量を抽出することが、エコー信号から表面の深度を推定することと、エコー信号から表面の減衰係数を決定することと、エコー信号から表面の後方散乱係数を推定することと、エコー信号にニューラルネットワークを適用して特徴ベクトルを取得するためことであって、ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されている、こととを含む。

Ｓ７７８において、抽出セクションまたはそのサブセクションは、特徴量をマージする。少なくともいくつかの実施形態では、抽出セクションは、Ｓ７７２からの推定された深度、Ｓ７７４からの決定された減衰係数、Ｓ７７４からの推定された後方散乱係数、およびＳ７７６からの特徴ベクトルをマージする。少なくともいくつかの実施形態では、抽出セクションは、特徴量を単一の文字列に連結し、これにより、特徴ベクトルに含まれる特徴が増加する。

Ｓ７７９において、適用セクションまたはそのサブセクションは、マージされた特徴量に分類器を適用する。少なくともいくつかの実施形態では、分類器を適用することは、特徴ベクトル、深度、減衰係数、および後方散乱係数に分類器を適用することを含み、分類器は、エコー信号抽出特徴量サンプルをライブまたは非ライブとして分類するように訓練される。少なくともいくつかの実施形態では、分類器は、特徴量の連結に適用される。少なくともいくつかの実施形態では、分類器は、異常検出分類器である。少なくともいくつかの実施形態では、分類器は、マージされた特徴量に適用されるとバイナリ値を出力するように訓練され、バイナリ値は、エコー信号がライブの人の顔と矛盾しないか否かを表す。少なくともいくつかの実施形態では、分類器は、図６の訓練プロセスと同様の訓練プロセスを経るが、ただし、分類器訓練プロセスが、複数のエコー信号抽出特徴量サンプルを使用して分類器とともにニューラルネットワークを訓練することであって、各エコー信号抽出特徴量サンプルがライブまたは非ライブとラベル付けされる、ことを含み、訓練するステップが、出力された分類と対応するラベルとの比較に基づいてニューラルネットワークおよび分類器のパラメータを調整することを含むことを除く。

図８は、本開示の少なくともいくつかの実施形態による、第３の特徴量抽出および分類器適用プロセスの概略図である。この図は、エコー信号８９２、深度推定セクション８８４Ａ、減衰係数決定セクション８８４Ｂ、後方散乱係数推定セクション８８４Ｃ、畳み込みニューラルネットワーク８９４Ａ、分類器８９４Ｂ、深度推定８９６Ａ、減衰係数決定８９６Ｂ、後方散乱係数推定８９６Ｃ、特徴ベクトル８９６Ｄ、および分類８９８を含む。

エコー信号８９２は、深度推定セクション８８４Ａ、減衰係数決定セクション８８４Ｂ、後方散乱係数推定セクション８８４Ｃ、および畳み込みニューラルネットワーク８９４Ａに入力される。エコー信号８９２の入力に応じて、深度推定セクション８８４Ａは深度推定８９６Ａを出力し、減衰係数決定セクション８８４Ｂは減衰係数決定８９６Ｂを出力し、後方散乱係数推定セクション８８４Ｃは後方散乱係数推定８９６Ｃを出力し、畳み込みニューラルネットワーク８９４Ａは特徴ベクトル８９６Ｄを出力する。

少なくともいくつかの実施形態では、深度推定８９６Ａ、減衰係数決定８９６Ｂ、および後方散乱係数推定８９６Ｃは、正規化または閾値との比較なしの実際の値である。少なくともいくつかの実施形態では、深度推定８９６Ａ、減衰係数決定８９６Ｂ、および後方散乱係数推定８９６Ｃは、正規化された値である。少なくともいくつかの実施形態では、深度推定８９６Ａ、減衰係数決定８９６Ｂ、および後方散乱係数推定８９６Ｃは、図５に関して説明した閾値などのそれぞれの閾値との比較の結果を表すバイナリ値である。

深度推定８９６Ａ、減衰係数決定８９６Ｂ、後方散乱係数推定８９６Ｃ、および特徴ベクトル８９６Ｄは、分類器８９４Ｂへの入力を形成するために組み合わされる。少なくともいくつかの実施形態では、深度推定８９６Ａ、減衰係数決定８９６Ｂ、後方散乱係数推定８９６Ｃ、および特徴ベクトル８９６Ｄは、分類器８９４Ｂへの入力のために特徴量の単一の文字列へと連結される。

分類器８９４Ｂは、特徴量の入力に応じて、分類８９８を出力するように訓練される。分類８９８は、エコー信号に関連付けられた表面がライブの人の顔と矛盾しないか否かを表す。

図９は、本開示の少なくともいくつかの実施形態による、顔のライブネス検出のためのハードウェア構成のブロック図である。

例示的なハードウェア構成は、マイクロフォン９１０／９１１、スピーカ９１３、カメラ９１５、および触覚入力９１９と相互作用し、ネットワーク９０７と通信する装置９００を含む。少なくともいくつかの実施形態では、装置９００は、マイクロフォン９１０／９１１、スピーカ９１３、カメラ９１５、および触覚入力９１９を組み込まれる。少なくともいくつかの実施形態では、装置９００は、物理ネットワーク機能デバイスアクセスのための動作を実行するためのコンピュータ可読指示を実行するコンピュータシステムである。

装置９００は、コントローラ９０２と、ストレージユニット９０４と、通信インターフェース９０６と、入出力インターフェース９０８とを備える。少なくともいくつかの実施形態では、コントローラ９０２は、プロセッサまたはプログラム可能回路に指示にしたがって動作を実行させるための指示を実行するプロセッサまたはプログラム可能回路を含む。少なくともいくつかの実施形態では、コントローラ９０２は、アナログもしくはデジタルのプログラム可能回路、またはそれらの任意の組み合わせを含む。少なくともいくつかの実施形態では、コントローラ９０２は、通信を介して相互作用する物理的に分離されたストレージまたは回路を備える。少なくともいくつかの実施形態では、ストレージユニット９０４は、指示の実行中にコントローラ９０２がアクセスするための実行可能データおよび非実行可能データを格納することができる不揮発性コンピュータ可読媒体を含む。通信インターフェース９０６は、ネットワーク９０７との間でデータを送受信する。入出力インターフェース９０８は、パラレルポート、シリアルポート、キーボードポート、マウスポート、モニタポートなどを介して、マイクロフォン９１０／９１１、スピーカ９１３、カメラ９１５、および触覚入力９１９などの様々な入出力ユニットと接続して、情報を交換する。

コントローラ９０２は、放出セクション９８０と、取得セクション９８２と、抽出セクション９８４と、適用セクション９８６とを備える。ストレージユニット９０４は、検出９９０、エコー信号９９２、抽出された特徴９９４、ニューラルネットワークパラメータ９９６、および分類結果９９８を含む。

放出セクション９８０は、ライブネス検出音声信号を放出させるように構成されたコントローラ９０２の回路または指示である。少なくともいくつかの実施形態では、放出セクション９８０は、スピーカを介して極超短波（ＵＨＦ）音声信号を放出するように構成される。少なくともいくつかの実施形態では、放出セクション９８０は、上述のフローチャートで説明したように、追加の機能を実行するためのサブセクションを含む。少なくともいくつかの実施形態では、そのようなサブセクションは、対応する機能に関連付けられた名前によって呼ばれる。

取得セクション９８２は、エコー信号を取得するように構成されたコントローラ９０２の回路または指示である。少なくともいくつかの実施形態では、取得セクション９８２は、複数の音声検出器によって表面からのＵＨＦ音声信号の反射を検出することによってエコー信号を取得するように構成される。少なくともいくつかの実施形態では、取得セクション９８２は、検出９９０およびエコー信号９９２などの情報をストレージユニット９０４に記録する。少なくともいくつかの実施形態では、取得セクション９８２は、上述のフローチャートで説明したように、追加の機能を実行するためのサブセクションを含む。少なくともいくつかの実施形態では、そのようなサブセクションは、対応する機能に関連付けられた名前によって呼ばれる。

抽出セクション９８４は、特徴量を抽出するように構成されたコントローラ９０２の回路または指示である。少なくともいくつかの実施形態では、抽出セクション９８４は、エコー信号から複数の特徴量を抽出するように構成される。少なくともいくつかの実施形態では、抽出セクション９８４は、エコー信号９９２およびニューラルネットワークパラメータ９９６などのストレージユニット９０４からの情報を利用し、抽出された特徴９９４などの情報をストレージユニット９０４に記録する。少なくともいくつかの実施形態では、抽出セクション９８４は、上述のフローチャートで説明したように、追加の機能を実行するためのサブセクションを含む。少なくともいくつかの実施形態では、そのようなサブセクションは、対応する機能に関連付けられた名前によって呼ばれる。

適用セクション９８６は、特徴量に分類器を適用するように構成されたコントローラ９０２の回路または指示である。少なくともいくつかの実施形態では、適用セクション９８６は、表面がライブの顔であるか否かを判定するために、複数の特徴量に分類器を適用するように構成される。少なくともいくつかの実施形態では、適用セクション９８６は、抽出された特徴９９４およびニューラルネットワークパラメータ９９６などのストレージユニット９０４からの情報を利用し、分類結果９９８などの情報をストレージユニット９０４に記録する。少なくともいくつかの実施形態では、抽出セクション９８４は、上述のフローチャートで説明したように、追加の機能を実行するためのサブセクションを含む。少なくともいくつかの実施形態では、そのようなサブセクションは、対応する機能に関連付けられた名前によって呼ばれる。

少なくともいくつかの実施形態では、装置は、本明細書の動作を実行するために論理機能を処理することができる別のデバイスである。少なくともいくつかの実施形態では、コントローラおよびストレージユニットは、完全に別個のデバイスである必要はないが、いくつかの実施形態では回路または１つ以上のコンピュータ可読媒体を共有する。少なくともいくつかの実施形態では、ストレージユニットは、コンピュータ実行可能指示とコントローラによってアクセスされるデータとの両方を格納するハードドライブを含み、コントローラは、中央処理装置（ＣＰＵ）とＲＡＭとの組み合わせを含み、ここで、コンピュータ実行可能命令を、本明細書の動作の実行中にＣＰＵによる実行のために全体的または部分的にコピーすることができる。

装置がコンピュータである少なくともいくつかの実施形態では、コンピュータにインストールされたプログラムは、コンピュータを本明細書に記載の実施形態の装置として機能させるか、またはそれに関連する動作を実行させることができる。少なくともいくつかの実施形態では、そのようなプログラムは、本明細書に記載のフローチャートおよびブロック図のブロックの一部または全部に関連する特定の動作をコンピュータに実行させるためにプロセッサによって実行可能である。

少なくともいくつかの実施形態は、フローチャートおよびブロック図を参照して説明され、そのブロックは、（１）動作が実行されるプロセスのステップ、または（２）動作の実行を担当するコントローラのセクションを表す。少なくともいくつかの実施形態では、特定のステップおよびセクションは、専用回路、コンピュータ可読媒体に格納されたコンピュータ可読指示を供給されるプログラム可能な回路、および／またはコンピュータ可読媒体に格納されたコンピュータ可読指示を供給されるプロセッサによって実装される。少なくともいくつかの実施形態では、専用回路は、デジタルおよび／またはアナログハードウェア回路を含み、集積回路（ＩＣ）および／または個別回路を含む。少なくともいくつかの実施形態では、プログラム可能回路は、論理ＡＮＤ、ＯＲ、ＸＯＲ、ＮＡＮＤ、ＮＯＲ、および他の論理演算、フリップフロップ、レジスタ、メモリ要素などを含む、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジックアレイ（ＰＬＡ）などの再構成可能ハードウェア回路を含む。

少なくともいくつかの実施形態では、コンピュータ可読記憶媒体は、指示実行デバイスによって使用するための指示を保持および格納することができる有形のデバイスを含む。いくつかの実施形態では、コンピュータ可読記憶媒体は、例えば、限定されるものではないが、電子ストレージデバイス、磁気ストレージデバイス、光ストレージデバイス、電磁ストレージデバイス、半導体ストレージデバイス、またはこれらの任意の適切な組み合わせを含む。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストは、ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスク読み出し専用メモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、指示が記録されたパンチカードまたは溝内の隆起構造などの機械的に符号化されたデバイス、および上記の任意の適切な組み合わせを含む。本明細書で使用されるコンピュータ可読記憶媒体は、電波もしくは他の自由に伝搬する電磁波、導波路もしくは他の伝送媒体（例えば、光ファイバケーブルを通過する光パルス）を伝搬する電磁波、またはワイヤを介して伝送される電気信号などの一時的な信号自体であると解釈されるべきではない。

少なくともいくつかの実施形態では、本明細書に記載のコンピュータ可読プログラム指示は、ネットワーク、例えば、インターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／または無線ネットワークを介して、それぞれのコンピューティングデバイス／処理デバイスに、コンピュータ可読記憶媒体から、または外部コンピュータもしくは外部ストレージデバイスを介して、ダウンロード可能である。少なくともいくつかの実施形態では、ネットワークは、銅伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータおよび／またはエッジサーバを含む。少なくともいくつかの実施形態では、各コンピューティング／処理デバイス内のネットワークアダプタカードまたはネットワークインターフェースは、ネットワークからコンピュータ可読プログラム指示を受信し、それぞれのコンピューティング／処理デバイス内のコンピュータ可読記憶媒体に格納するためにコンピュータ可読プログラム指示を転送する。

少なくともいくつかの実施形態では、上述の動作を実行するためのコンピュータ可読プログラム指示は、アセンブラ指示、命令セットアーキテクチャ（ＩＳＡ）指示、機械指示、機械依存指示、マイクロコード、ファームウェア指示、状態設定データ、またはＳｍａｌｌｔａｌｋ、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語もしくは同様のプログラミング言語などの従来の手続き型プログラミング言語を含む、１つ以上のプログラミング言語の任意の組み合わせで書かれたソースコードまたはオブジェクトコードのいずれかである。少なくともいくつかの実施形態では、コンピュータ可読プログラム指示は、完全にユーザのコンピュータ上で、部分的にユーザのコンピュータ上で、スタンドアロンソフトウェアパッケージとして、部分的にユーザのコンピュータ上で、部分的にリモートコンピュータ上で、または完全にリモートコンピュータもしくはサーバ上で実行される。少なくともいくつかの実施形態では、後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意の種類のネットワークを介してユーザのコンピュータに接続されるか、または外部コンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）接続される。少なくともいくつかの実施形態では、例えば、プログラム可能論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブルロジックアレイ（ＰＬＡ）を含む電子回路は、本開示の態様を実行するために、コンピュータ可読プログラム指示の状態情報を利用して電子回路を個別化することによってコンピュータ可読プログラム指示を実行する。

以上、本開示の実施形態について説明したが、特許請求の範囲に記載の主題の技術的範囲は上記実施形態に限定されない。当業者は、上述の実施形態に対する様々な変更および改良が可能であることを理解するはずである。また、当業者であれば、このような変更または改良を加えた実施の形態も本発明の技術的範囲に含まれることを、特許請求の範囲の記載から理解するはずである。

特許請求の範囲、実施形態、または図面中において示した装置、システム、プログラム、および方法によって実行される各プロセスの動作、手順、ステップ、および段階は、特段「より前に」、「先立って」などと明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実行することができる。特許請求の範囲、実施形態、または図面中において、処理の流れを、「最初」、「次」などの文言を用いて説明したとしても、このような記載は、必ずしも、その記載された順序に沿って処理が行われなければならないことを意味するものではない。

本開示の少なくともいくつかの実施形態によれば、顔のライブネスが、スピーカを介して極超短波（ＵＨＦ）音声信号を放出することと、複数の音声検出器によって表面からのＵＨＦ音声信号の反射を検出することによってエコー信号を取得することと、エコー信号から複数の特徴量を抽出することと、複数の特徴量に分類器を適用して表面がライブの顔であるか否かを判定することと、によって検出される。

いくつかの実施形態は、コンピュータプログラムにおける指示、コンピュータプログラムの指示を実行するプロセッサによって実行される方法、および方法を実行する装置を含む。いくつかの実施形態では、装置は、指示における動作を実行するように構成された回路を含むコントローラを備える。

以上、当業者が本開示の態様をよりよく理解し得るように、いくつかの実施形態の特徴を概説した。当業者は、本明細書に提示した実施形態と同じ目的を実行する、および／または同じ利点を実現するための他のプロセスおよび構造を設計または修正するための基礎として本開示を容易に使用できることを理解するはずである。当業者はまた、そのような均等な構成が本開示の趣旨および範囲から逸脱するものではないこと、ならびに本開示の趣旨および範囲から逸脱することなく本明細書において様々な変更、置換、および改変を行うことができることを理解するはずである。

上記の例示的な実施形態の一部または全部が、以下の付記のようにも記述され得るが、これらに限定されるものではない。

（付記１）
スピーカを介して極超短波（ＵＨＦ）音声信号を放出することと、
複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得することと、
前記エコー信号から複数の特徴量を抽出することと、
前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定することと
を含む動作をコンピュータに実行させる、前記コンピュータによって実行可能な指示を含む、コンピュータ可読媒体。

（付記２）
前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号にニューラルネットワークを適用して特徴ベクトルを取得することを含み、前記ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されていて、
前記分類器を適用することが、前記特徴ベクトルに前記分類層を適用することを含む、
付記１に記載のコンピュータ可読媒体。

（付記３）
各々がライブまたは非ライブとラベル付けされている複数のエコー信号サンプルを使用して前記分類層とともに前記ニューラルネットワークを訓練すること
をさらに含み、
前記訓練することが、出力された分類と対応するラベルとの比較に基づいて、前記ニューラルネットワークおよび前記分類層のパラメータを調整することを含む、付記２に記載のコンピュータ可読媒体。

（付記４）
前記エコー信号から前記複数の特徴量を抽出することが、
前記エコー信号から前記表面の深度を推定することと、
前記エコー信号から前記表面の減衰係数を決定することと、
前記エコー信号から前記表面の後方散乱係数を推定することと、
前記エコー信号にニューラルネットワークを適用して特徴ベクトルを取得することと、を含み、前記ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されていて、
前記分類器を適用することが、前記特徴ベクトル、前記深度、前記減衰係数、および前記後方散乱係数に前記分類器を適用することを含み、前記分類器が、エコー信号抽出特徴量サンプルをライブまたは非ライブとして分類するように訓練されている、
付記１に記載のコンピュータ可読媒体。

（付記５）
各々がライブまたは非ライブとラベル付けされている複数のエコー信号抽出特徴量サンプルを使用して前記分類器において前記ニューラルネットワークを訓練すること
をさらに含み、
前記訓練することが、出力された分類と対応するラベルとの比較に基づいて、前記ニューラルネットワークおよび前記分類器のパラメータを調整することを含む、付記４に記載のコンピュータ可読媒体。

（付記６）
前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号から前記表面の深度を推定することを含み、
前記分類器を適用することが、前記深度を深度閾値と比較することを含む、
付記１に記載のコンピュータ可読媒体。

（付記７）
前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号から前記表面の減衰係数を決定することを含み、
前記分類器を適用することが、前記減衰係数を減衰係数閾値範囲と比較することを含む、
付記１に記載のコンピュータ可読媒体。

（付記８）
前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号から前記表面の後方散乱係数を推定することを含み、
前記分類器を適用することが、前記後方散乱係数を後方散乱係数閾値範囲と比較することを含む、
付記１に記載のコンピュータ可読媒体。

（付記９）
前記複数の音声検出器が、第１の方向に向けられた第１の音声検出器と、第２の方向に向けられた第２の音声検出器とを含む、付記１に記載のコンピュータ可読媒体。

（付記１０）
前記複数の音声検出器が複数のマイクロフォンを含み、
前記スピーカおよび前記複数のマイクロフォンが、ハンドヘルドデバイスに含まれる、付記１に記載のコンピュータ可読媒体。

（付記１１）
前記ハンドヘルドデバイスがカメラをさらに含み、
前記ＵＨＦ音声信号が、前記カメラによる顔の検出に応じて放出される、
付記１０に記載のコンピュータ可読媒体。

（付記１２）
前記ＵＨＦ音声信号が１８～２２ｋＨｚである、付記１に記載のコンピュータ可読媒体。

（付記１３）
前記ＵＨＦ音声信号が実質的に不可聴である、付記１に記載のコンピュータ可読媒体。

（付記１４）
前記ＵＨＦ音声信号が、正弦波および鋸歯状波を含む、付記１に記載のコンピュータ可読媒体。

（付記１５）
カメラを用いて前記表面を撮像して表面画像を取得することと、
前記表面画像を分析して、前記表面が顔であるか否かを判定することと、
前記表面が顔であると判定しまた前記表面がライブの顔であると判定したことに応じて、前記表面画像を分析することによって前記表面を識別することと、
前記表面を許可されたユーザとして識別したことに応じて、デバイスまたはサービスのうちの少なくとも一方へのアクセスを許可することと
をさらに含む、付記１に記載のコンピュータ可読媒体。

（付記１６）
前記エコー信号を取得することが、
前記ＵＨＦ音声信号の前記反射を時間フィルタで分離することと、
前記複数の音声検出器の各音声検出器の検出と前記放出されたＵＨＦ音声信号とを比較することによって前記ＵＨＦ音声信号の前記反射から雑音を除去することと
を含む、付記１に記載のコンピュータ可読媒体。

（付記１７）
スピーカを介して極超短波（ＵＨＦ）音声信号を放出することと、
複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得することと、
前記エコー信号から複数の特徴量を抽出することと、
前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定することと
を含む、方法。

（付記１８）
前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号にニューラルネットワークを適用して特徴ベクトルを取得することを含み、前記ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されていて、
前記分類器を適用することが、前記特徴ベクトルに前記分類層を適用することを含む、
付記１７に記載の方法。

（付記１９）
複数の音声検出器と、
スピーカと、
前記スピーカを介して極超短波（ＵＨＦ）音声信号を放出し、
複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得し、
前記エコー信号から複数の特徴量を抽出し、
前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定する
ように構成された回路を含むコントローラと
を備える、装置。

（付記２０）
前記エコー信号から前記複数の特徴量を抽出するように構成された前記回路が、前記エコー信号にニューラルネットワークを適用して特徴ベクトルを取得することを含み、前記ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されていて、
前記分類器を適用するように構成された前記回路が、前記特徴ベクトルに前記分類層を適用するようにさらに構成される、
付記１９に記載の装置。

本出願は、２０２２年４月１３日に出願された米国特許出願第１７／７２０，２２５号に基づくものであり、かつその優先権の利益を付記するものであり、同米国特許出願の開示内容はその全体が本明細書に組み込まれる。

本出願は、２０２２年４月１３日に出願された米国特許出願第１７／７２０，２２５号に基づくものであり、かつその優先権の利益を主張するものであり、同米国特許出願の開示内容はその全体が本明細書に組み込まれる。

Claims (20)

1. スピーカを介して極超短波（ＵＨＦ）音声信号を放出することと、
   複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得することと、
   前記エコー信号から複数の特徴量を抽出することと、
   前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定することと
   を含む動作をコンピュータに実行させる、前記コンピュータによって実行可能な指示を含む、コンピュータ可読媒体。
2. 前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号にニューラルネットワークを適用して特徴ベクトルを取得することを含み、前記ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されていて、
   前記分類器を適用することが、前記特徴ベクトルに前記分類層を適用することを含む、
   請求項１に記載のコンピュータ可読媒体。
3. 各々がライブまたは非ライブとラベル付けされている複数のエコー信号サンプルを使用して前記分類層とともに前記ニューラルネットワークを訓練すること
   をさらに含み、
   前記訓練することが、出力された分類と対応するラベルとの比較に基づいて、前記ニューラルネットワークおよび前記分類層のパラメータを調整することを含む、請求項２に記載のコンピュータ可読媒体。
4. 前記エコー信号から前記複数の特徴量を抽出することが、
   前記エコー信号から前記表面の深度を推定することと、
   前記エコー信号から前記表面の減衰係数を決定することと、
   前記エコー信号から前記表面の後方散乱係数を推定することと、
   前記エコー信号にニューラルネットワークを適用して特徴ベクトルを取得することと、を含み、前記ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されていて、
   前記分類器を適用することが、前記特徴ベクトル、前記深度、前記減衰係数、および前記後方散乱係数に前記分類器を適用することを含み、前記分類器が、エコー信号抽出特徴量サンプルをライブまたは非ライブとして分類するように訓練されている、
   請求項１に記載のコンピュータ可読媒体。
5. 各々がライブまたは非ライブとラベル付けされている複数のエコー信号抽出特徴量サンプルを使用して前記分類器において前記ニューラルネットワークを訓練すること
   をさらに含み、
   前記訓練することが、出力された分類と対応するラベルとの比較に基づいて、前記ニューラルネットワークおよび前記分類器のパラメータを調整することを含む、請求項４に記載のコンピュータ可読媒体。
6. 前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号から前記表面の深度を推定することを含み、
   前記分類器を適用することが、前記深度を深度閾値と比較することを含む、
   請求項１に記載のコンピュータ可読媒体。
7. 前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号から前記表面の減衰係数を決定することを含み、
   前記分類器を適用することが、前記減衰係数を減衰係数閾値範囲と比較することを含む、
   請求項１に記載のコンピュータ可読媒体。
8. 前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号から前記表面の後方散乱係数を推定することを含み、
   前記分類器を適用することが、前記後方散乱係数を後方散乱係数閾値範囲と比較することを含む、
   請求項１に記載のコンピュータ可読媒体。
9. 前記複数の音声検出器が、第１の方向に向けられた第１の音声検出器と、第２の方向に向けられた第２の音声検出器とを含む、請求項１に記載のコンピュータ可読媒体。
10. 前記複数の音声検出器が複数のマイクロフォンを含み、
    前記スピーカおよび前記複数のマイクロフォンが、ハンドヘルドデバイスに含まれる、請求項１に記載のコンピュータ可読媒体。
11. 前記ハンドヘルドデバイスがカメラをさらに含み、
    前記ＵＨＦ音声信号が、前記カメラによる顔の検出に応じて放出される、
    請求項１０に記載のコンピュータ可読媒体。
12. 前記ＵＨＦ音声信号が１８～２２ｋＨｚである、請求項１に記載のコンピュータ可読媒体。
13. 前記ＵＨＦ音声信号が実質的に不可聴である、請求項１に記載のコンピュータ可読媒体。
14. 前記ＵＨＦ音声信号が、正弦波および鋸歯状波を含む、請求項１に記載のコンピュータ可読媒体。
15. カメラを用いて前記表面を撮像して表面画像を取得することと、
    前記表面画像を分析して、前記表面が顔であるか否かを判定することと、
    前記表面が顔であると判定しまた前記表面がライブの顔であると判定したことに応じて、前記表面画像を分析することによって前記表面を識別することと、
    前記表面を許可されたユーザとして識別したことに応じて、デバイスまたはサービスのうちの少なくとも一方へのアクセスを許可することと
    をさらに含む、請求項１に記載のコンピュータ可読媒体。
16. 前記エコー信号を取得することが、
    前記ＵＨＦ音声信号の前記反射を時間フィルタで分離することと、
    前記複数の音声検出器の各音声検出器の検出と前記放出されたＵＨＦ音声信号とを比較することによって前記ＵＨＦ音声信号の前記反射から雑音を除去することと
    を含む、請求項１に記載のコンピュータ可読媒体。
17. スピーカを介して極超短波（ＵＨＦ）音声信号を放出することと、
    複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得することと、
    前記エコー信号から複数の特徴量を抽出することと、
    前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定することと
    を含む、方法。
18. 前記エコー信号から前記複数の特徴量を抽出することが、前記エコー信号にニューラルネットワークを適用して特徴ベクトルを取得することを含み、前記ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されていて、
    前記分類器を適用することが、前記特徴ベクトルに前記分類層を適用することを含む、
    請求項１７に記載の方法。
19. 複数の音声検出器と、
    スピーカと、
    前記スピーカを介して極超短波（ＵＨＦ）音声信号を放出し、
    複数の音声検出器を用いて表面からの前記ＵＨＦ音声信号の反射を検出することによってエコー信号を取得し、
    前記エコー信号から複数の特徴量を抽出し、
    前記複数の特徴量に分類器を適用して、前記表面がライブの顔であるか否かを判定する
    ように構成された回路を含むコントローラと
    を備える、装置。
20. 前記エコー信号から前記複数の特徴量を抽出するように構成された前記回路が、前記エコー信号にニューラルネットワークを適用して特徴ベクトルを取得することを含み、前記ニューラルネットワークが、エコー信号サンプルをライブまたは非ライブとして分類するために、分類層とともに訓練されていて、
    前記分類器を適用するように構成された前記回路が、前記特徴ベクトルに前記分類層を適用するようにさらに構成される、
    請求項１９に記載の装置。

Images