JP4696608B2 - 被写体認証装置、携帯電話、及び被写体認証プログラム - Google Patents

Description

この発明は、例えば人の顔や虹彩や掌紋等の被写体を撮影し該被写体を認証するような被写体認証方法、被写体認証装置、携帯電話、及び被写体認証プログラムに関する。

従来、本人認証を行うシステムとして、顔を撮影して認証する顔認証システム、虹彩を撮影して認証する虹彩認証システム、手の掌紋を撮影して認証する掌紋認証システムなど、種々の認証システムが提案されている。
これらの認証システムは、顔、目、または手といった被写体を撮影して認証するものであるが、写真等による成りすましや、誤認識を排除する必要がある。

この成りすましや誤認識を排除する方法として、複数の照合を実行する個人認証装置が提案されている（特許文献１参照）。この個人認証装置は、複数の照合を行う上に、不確定さがある場合には再度照合を行って、誤拒絶率を低く抑えるものである。

しかし、複数の照合を実行すると、処理時間がかかる上に、利用者にとって手間がかかるという問題点があった。

特開２００３−３６４４２号公報

この発明は、上述の問題点に鑑み、成りすましや誤認識を容易に排除できる被写体認証方法、被写体認証装置、携帯電話、及び被写体認証プログラムを提供することを目的とする。

この発明は、被写体を撮影する撮影手段を備え、該撮影手段により被写体を撮影した撮影画像に基づいて被写体の認証を行う被写体認証方法、被写体認証装置または被写体認証プログラムであって、撮影開始入力を要求する入力要求手段と、撮影開始入力を受け付ける入力手段と、これらを制御する制御手段とを備え、該制御手段を、前記入力手段で受け付けた撮影開始入力の入力操作と正規の操作として予め登録された正規操作とを比較して真偽判定を行う真偽判定処理と、前記真偽判定処理で真と判定した場合のみ撮影により取得した撮影画像と予め登録された被写体の登録データとに基づいて被写体を照合する照合処理と、前記真偽判定処理による判定結果と前記照合処理による照合結果との何れもが真である場合に適合と認証する認証処理とを実行する一方、前記真偽判定処理で真と判定しなかった場合は、前記照合処理を行わずに該照合処理にかかる時間待機した後、不適合と認証する前記認証処理とを実行する構成とした被写体認証方法、被写体認証装置または被写体認証プログラムであることを特徴とする。

前記入力要求手段は、文字や図形といった画像を表示する液晶モニタ、ＣＲＴモニタ、またはデジタル表示機といった表示装置、音声出力を行うスピーカ等の音声出力装置、点灯／消灯するＬＥＤなどの照明装置、あるいはこれらの複数の組み合わせにより構成することができる。

前記入力手段は、押下入力を受け付ける押下ボタン、タッチ入力を受け付けるタッチパネル、物体の接触を検出するセンサ、音声入力を検出するマイク等の音声検出装置、あるいはこれらの複数の組み合わせにより構成することができる。

前記正規操作は、入力された種類（複数の押下ボタンのどれが押下されたかといった種類やタッチ入力されたタッチ位置など）、入力された順序（複数の押下ボタンの押下順序や、タッチパネルのタッチ位置の順序など）、入力されたタイミング、入力ＯＮからＯＦＦまでの時間間隔、またはこれらの複数の組み合わせにより構成することができる。

前記構成により、撮影画像による照合に加えて、入力操作による真偽判定を行うことができ、認証精度を向上することができる。
この入力操作は、撮影開始入力の入力操作であるため、不正利用者に成りすましが図られた場合であっても、入力操作が真偽判定に用いられていると不正利用者に気付かせず、成りすましを排除することができる。
その上、撮影開始入力の入力操作を真偽判定に用いているため、利用者にとって操作の手間とならず、利便性の向上と認証精度の向上とを両立することができる。
また前記真偽判定処理で真と判定した場合のみ前記照合処理を実行する構成とするので、処理時間を要し、アルゴリズムが複雑である被写体の照合を行う回数を減少し、処理に要する負荷を最小限に抑制することができる。特に、被写体認証装置を携帯電話機やＰＤＡといった携帯情報端末で構成した場合は、バッテリ（充電池）の電力消耗を最小限に抑制することができる。
さらに、照合処理にかかる時間待機することにより、利用者若しくは不正利用者に、顔照合を実行していないことを判らせないようにすることができ、入力操作が正規操作と一致しないために認証成功できないことを悟らせないようにすることができる。

この発明の態様として、前記正規操作を、通常のシャッタボタン押下以外の入力操作により構成することができる。
これにより、不正利用を容易に排除することができる。つまり、不正利用者によって写真等を用いた成りすましが図られた場合、撮影開始入力を要求すればシャッタボタンを押下するのが通常である。このため、被写体の照合で本人と認識してしまうような写真が使用されたような場合であっても、不正利用を確実に排除することができる。
さらに言えば、本人が寝ている間に、本人を撮影して不正利用しようとした場合であっても、入力操作の真偽判定によって不正利用を排除できる。

またこの発明の態様として、前記入力手段を押下ボタンにより構成し、前記正規操作を、前記押下ボタンが押下されてから開放されるまでの押下時間により構成することができる。

前記押下時間は、撮影開始前の時間、または、撮影後の時間により構成することができる。詳述すると、例えば、押下ボタンの押下が開放された後に撮影手段による撮影を実行する構成とすることができる。また、押下ボタンが押下された状態で押下直後または所定時間経過後に撮影を実行する構成とし、前記押下時間を、該撮影が実行された後に押下ボタンが開放されるまでの時間により構成することができる。

前記構成により、不正利用者による成りすましを適切に排除することができる。特に、押下時間という時間で真偽判定をする特性上、真であると認証する時間がどの程度の時間であるか推測することは難しく、仮に不正利用者が、押下時間の一致が必要であることを知ったとしても、１秒単位で順次試せば良いか、０．５秒単位で順次試せば良いかという判定基準さえも判らず、不正利用を断念させることができる。

またこの発明の態様として、前記真偽判定処理で真と判定しなかった場合に、前記撮影により取得した撮影画像を不正利用者の証拠として保存する構成とすることができる。
これにより、後に画像を確認して、不正利用を試みた者を追跡することができる。

またこの発明の態様として、前記制御手段を、前記正規操作の登録を許容する正規操作登録処理を実行する構成とすることができる。
これにより、利用者は自由に正規操作を登録することができ、他人に成りすまされることをより適切に防止できる。

またこの発明は、前記被写体認証装置を備え、前記撮影手段により、被写体として顔を撮影する構成とした顔認証装置とすることができる。
これにより、指紋や虹彩などに比べて心理的な抵抗感が少なく、また顔見知りや顔パスなどの習慣からも受け入れやすい顔認証で、写真による成りすましを適切に排除することができる。

またこの発明は、前記被写体認証装置を備えた携帯電話機とすることができる。
これにより、携帯電話機の不正利用を防止することができる。

この発明により、成りすましや誤認識を容易に排除できる。

この発明の一実施形態を以下図面と共に説明する。

まず、図１に示す被写体認証装置１の斜視図と共に、実施例１の被写体認証装置１の構成について説明する。

被写体認証装置１は、携帯情報端末の一種である携帯電話機によって構成されており、正面に上から順に音声出力用のスピーカ１１、画像表示を行う液晶モニタ１４、操作入力用の複数の操作ボタン１６、及び音声入力用のマイク１８が設けられている。

前記スピーカ１１の右横には、撮影用のカメラ１２と照明装置１３とが上下に近接して設けられている。この撮影用のカメラ１２と照明装置１３と前記液晶モニタ１４とは、被写体認証装置１の同一面上（本実施形態では表面）に、カメラ１２の撮影方向と照明装置１３の照明方向と液晶モニタ１４の表示方向とが同一方向となるように配設されている。前記照明装置１３は、閃光するフラッシュ照明装置、あるいは点灯する点灯照明装置（例えばＬＥＤや蛍光灯）など、適宜の照明装置で構成されている。

また、被写体認証装置１の右側面には、カメラ１２のシャッタボタン１５が設けられている。そして、被写体認証装置１の正面下部には、前後回動する開閉カバー１９が枢着されており、該開閉カバー１９が、閉状態で複数の操作ボタン１６を被覆し保護する構成となっている。

また、被写体認証装置１の背面上部には、無線通信用のアンテナ１０が備えられている。そして、被写体認証装置１の内部には、制御装置や充電池が設けられている。この制御装置には、記憶部も設けられており、この記憶部内に、認証用のデータ登録を行う認証用登録プログラム、撮影と入力操作によって被写体を認証する被写体認証プログラム、及び、生体認証の一種である顔照合用の照合用データや入力操作の真偽判定用の正規操作データが登録されるデータベースが記憶されている。

以上の構成により、被写体認証装置１は、操作ボタン１６が操作されて架電（発信）すること、及び着信を操作ボタン１６の操作により受けることができ、遠隔地の電話機との音声通話を許容することができる。また、操作ボタン１６が操作されることで、インターネット接続によるコンテンツ表示や電子メールの送受信を行うことができる。

また、カメラ１２による静止画や動画の撮影を実行でき、液晶モニタ１４に撮影画像を表示することができる。この撮影は、シャッタボタン１５や操作ボタン１６での入力操作により開始することができる。そして、この撮影や入力操作によって個人認証を行うことができる。

次に、図２に示す被写体認証装置１のブロック図と共に、被写体認証装置１の構成について説明する。なお、この説明では、個人認証に必要な撮影機能と認証機能に関する要素について説明し、他の要素については省略する。

被写体認証装置１は、入力部４１、入力判断部４２、映像部４３、顔照合部４４、及び認証結果出力部４５により構成されている。
前記入力部４１は、シャッタボタン１５（図１）及び操作ボタン１６（図１）により構成され、入力された入力信号を入力判断部４２に送信する。

前記入力判断部４２は、被写体認証装置１の制御装置に設けられ、前記入力部４１で受け付けた入力操作が、制御装置内に記憶されている正規操作と一致するか否か真偽判定する。
前記映像部４３は、カメラ１２（図１）により構成され、被写体を撮影して撮影画像を取得し、この撮影画像を顔照合部４４に送信する。

前記顔照合部４４は、被写体認証装置１の制御装置に設けられ、前記映像部４３から取得した撮影画像と、制御装置内に記憶された照合用データ（辞書データ）とを比較して顔照合を行う。この照合用データは、予め登録された利用者の撮影画像データであり、本実施の形態では、利用者に心理的な抵抗のない顔画像を用いる。なお、照合用データは画像データに限らず、この画像データから特徴点や特徴量を抽出した特徴データにより構成してもよい。

前記認証結果出力部４５は、前記入力判断部４２による真偽判定の判定結果と、前記顔照合部４４による顔照合の照合結果とにより認証した認証結果を出力する。この認証結果は、前記真偽判定と顔照合のいずれもが真であった場合に適合とし、いずれか一方でも偽であった場合は不適合とする。

なお、真偽判定が偽の場合は、顔照合を実施しない構成にしてもよく、この場合、認証結果は不適合にすればよい。

以上の構成により、利用者による入力操作と、利用者（被写体）を撮影した撮影画像とに基づいて、二重の認証を行うことができ、成りすましや誤認識を適切に排除することができる。

次に、図３に示す被写体認証装置１の制御装置が実行する動作を示すフローチャートと共に、認証用登録プログラムによって制御装置が実行する認証用登録処理の動作について説明する。

この認証用登録処理は、被写体認証装置１に用意されている機能設定処理の一部であり、利用者によって機能設定処理から認証用登録処理が選択された場合に実行する。

認証用登録処理を開始すると、制御装置は、カメラ１２を起動して被写体の顔を撮影し、撮影画像としての顔画像を取得する（ステップｎ１）。このとき、撮影開始入力を要求し、シャッタボタン１５による撮影開始入力で撮影を実行する構成としてもよい。

制御装置は、取得した撮影画像を照合用データとして制御装置内のデータベース（ＤＢ）に登録する（ステップｎ２）。
制御装置は、液晶モニタ１４への画面表示により、登録する正規操作の指定を利用者に要求し、指定された操作をカメラ１２のシャッタ機能となる正規操作として登録する（ステップｎ３）。

この正規操作の指定は、利用者に実際に入力操作させ、この入力操作をそのまま正規操作とする、あるいは、正規操作の種類を複数液晶モニタ１４に表示して任意の正規操作を利用者に選択させることで実行する。

なお、指定可能な正規操作は、複数存在する操作ボタン１６のいずれか１つを押下する操作、または、複数存在する操作ボタン１６から選択された複数の操作ボタン１６を押下する操作、あるいは、複数存在する操作ボタン１６から選択された複数の操作ボタン１６を指定された順序で押下する操作により構成することができ、場合によっては、シャッタボタン１５の押下も含めることができる。

この正規操作は、不正利用者に入力操作が判定条件となっていることを察知されないようにすることと、利用者の利便性とを考慮して、いずれか１つの操作ボタン１６の押下とすることが好ましい。

以上の動作により、正規操作データと照合用データをデータベースに記憶させることができる。
なお、正規操作は、ステップｎ３で別途指定させるのではなく、ステップｎ１の時点で撮影開始の入力操作を求め、この入力操作をそのまま正規操作として登録する構成としてもよい。この場合は、実際に認証を受ける際と同一の手順で正規操作データ及び照合用データを登録できる。

次に、図４に示す被写体認証装置１の制御装置が実行する動作を示すフローチャートと共に、被写体認証プログラムによって制御装置が実行する認証処理の動作について説明する。

制御装置は、認証処理が開始されるまで待機する（ステップｓ１：Ｎｏ）。この認証処理は、例えば被写体認証装置１を使用する際、架電する際、メール送信する際、メールを閲覧する際、ＷＥＢ閲覧をする際、設定変更する際、登録個人情報を参照する際、ＷＥＢで提供される有料コンテンツを利用する際、ＷＥＢ上で商品を購入する際など、予め設定された適宜のタイミングで開始するように構成されている。

認証処理が開始されると（ステップｓ１：Ｙｅｓ）、制御装置はカメラ１２を起動し（ステップｓ２）、図５（Ａ）の正面図に示すように、液晶モニタ１４に「シャッタボタンを押して下さい」と表示して撮影の開始入力を指示する（ステップｓ３）。

制御装置は、シャッタボタン１５や操作ボタン１６により入力された入力操作を、正規操作として登録されている指定ボタンと一致するか真偽判定する（ステップｓ４）。

正規操作と一致して真であると判定した場合は（ステップｓ４：Ｙｅｓ）、カメラ１２による撮影を実行し（ステップｓ５）、この撮影により取得した撮影画像と照合用データによる顔照合を実行する（ステップｓ６）。

顔照合における顔画像データと照合用データとの比較では、撮影画像から本人固有の特徴量を求め、照合用データの特徴量と比較（照合）して、特徴量の差が予め定めた一定の閾値以内であれば、同一人物であると判定する。

前記本人固有の特徴量は、例えば、撮影画像の顔画像から取得した特徴点に、ガボールウェーブレット変換を用いて求めることができる。この特徴点は、顔のラフな位置から顔部分を切り出し、顔の大きさを正規化し、さらに詳細なグラフを当てはめて、顔の特徴点の位置を詳細に検出することで取得することができる。なお、ガボールウェーブレット変換とは、信号解析や画像圧縮に用いられる手法で、変換対象から、ウェーブレット波形を利用して、その波形が持つ特徴（周波数成分など）のみを取り出すことをいう。

制御装置は、顔照合の照合結果により、登録された顔か否か（同一人物か否か）を判定し、登録された顔であれば（ステップＳ７：Ｙｅｓ）、認証成功処理を実行し（ステップｓ８）、処理を終了する。この認証成功処理では、利用者が使用しようとした機能にそのまま移行する、あるいは、液晶モニタ１４に認証成功を表示した後に、利用者が使用しようとした機能に移行する構成とすることができる。従って、利用者は、架電、メール送信、ＷＥＢ閲覧、設定変更、または登録個人情報参照といった機能を使用することができるようになる。また、場合によっては、ＷＥＢで提供される有料コンテンツの利用や、ＷＥＢ上での商品購入など、支払いが発生するような操作を、認証成功によって完了することができる。

前記ステップｓ４で入力操作が正規操作と一致しなかった場合は（ステップｓ４：Ｎｏ）、制御装置はカメラ１２による撮影を実行する（ステップｓ９）。この撮影は、本来であれば必要のない処理であるが、入力操作が誤っていることを悟らせないために実行する。従って、実際には撮影画像を取得せず、照明装置１３による照明とスピーカ１１による音声出力とで、利用者若しくは不正利用者に撮影を行ったと認識させる偽装撮影（ダミー撮影）を行う構成としてもよい。

なお、実際に撮影した場合には、不正利用者の証拠として画像を保存してもよい。これにより、後に画像を確認して、不正利用を試みた者を追跡することができる。

制御装置は、所定時間の待機（ダミー待機）を行う（ステップｓ１０）。この待機時間は、ステップｓ６〜ｓ７の顔照合・判定の時間と同じ程度にする。この所定時間の待機は、利用者若しくは不正利用者に、顔照合を実行していないことを判らせないようにするためのものであり、入力操作が正規操作と一致しないために認証成功できないことを悟らせないようにするためのものである。

制御装置は、図５（Ｂ）の正面図に示すように、液晶モニタ１４に「顔認証に失敗しました。ご使用になる場合は、再度、顔認証を実行してください」と認証失敗表示（認証失敗の報知）を行い（ステップｓ１１）、処理を終了する。従って、利用者は使用しようとした機能を使用できないこととなる。

前記ステップｓ７で登録された顔でないと判定した場合は（ステップｓ７：Ｎｏ）、制御装置は、液晶モニタ１４に「認証失敗しました」と図５（Ｂ）の認証失敗表示を行い（ステップｓ１２）、処理を終了する。従って、利用者は使用しようとした機能を使用できないこととなる。

以上の動作により、利用者は入力操作と撮影画像による認証を受けて、携帯電話機の必要な機能を使用できることとなる。そして、ステップｓ３での撮影開始入力の指示では、シャッタボタン１５の押下を要求しつつ、実際にはシャッタボタン１５と異なるボタンが押下されることで真判定とするため、写真等により成りすましが図られても、入力操作の判定によって排除することができる。

例えば、正規操作として操作ボタンの一つである「３」キーが登録されている場合、それを知らない他者は、ステップｓ３での図５（Ａ）の表示を見て、シャッタボタン１５を押してしまうので、ステップｓ４の判定でＮｏとなりステップｓ１１で認証失敗が表示され、使用しようとした機能には進めないこととなる。

また、入力操作が正規操作でなかった場合にも、ステップｓ９〜ｓ１０により、正規操作が行われて顔照合を行う場合と同様の動作をしているように見せかけるため、不正利用者に対して認証失敗の理由を推測させないようにすることができる。

そして、認証に失敗した場合は、ステップｓ１１で再度顔認証を要求するため、成りすましを図る不正利用者は入力操作に問題があることに気付かないこととなり、入力操作の総当たり攻撃等が行われることを回避できる。

さらに、真偽判定用の入力操作は、撮影開始入力時の入力操作であるため、利用者に余計な操作を要求せずにすみ、利便性の向上と認証精度の向上の両立を実現することができる。

また、ステップｓ１０では、実際の顔照合は実行しないため、携帯電話機のバッテリ（充電池）の電力消耗を抑制することができる。特に、ステップｓ９で撮影を偽装する構成とすれば、バッテリの電力消耗をさらに抑制することができる。

そして、顔照合以外に入力操作でも真偽判定を行うため、顔照合の真判定の閾値を緩めることや、顔照合のアルゴリズムを簡易化するといったこともできる。これは、処理時間の高速化と消費電力の省力化が求められる携帯電話機などの携帯情報端末では、非常に有用である。

次に、実施例２の被写体認証装置１について説明する。この実施例２の被写体認証装置１は、図１と共に前述した実施例１の被写体認証装置１と同一の構成であり、図２と共に前述したブロック図の構成が一部異なる。

実施例２の被写体認証装置１は、実施例１の入力判断部４２が備えられておらず、代わりに図２に仮想線で示すタイマー４６及び時間判断部４７が備えられている。

前記タイマー４６は、被写体認証装置１の制御装置に設けられ、入力部４１で入力が行われている間の時間、つまりシャッタボタン１５が押下されて開放されるまでの押下時間を計測する。

前記時間判断部４７は、被写体認証装置１の制御装置に設けられ前記押下時間が正規押下時間データとして記憶されている正規押下時間と近いか否か真偽判定する。この判定での近いか否かは、実際の押下時間と登録された正規押下時間との差が、予め定められた所定の閾値以内である場合に、近いとして真と判定する。なお、実際の押下時間が登録された正規押下時間より長い場合、すなわち登録された正規押下時間以上押しつづけた場合に真と判定する構成にしてもよい。

また、前記所定の閾値は、本人による押下時間の誤差を許容できる程度の時間範囲で構成することが好ましい。
その他の構成は、前述した実施例１と同一であるので、その詳細な説明を省略する。

以上の構成により、利用者による入力操作と、利用者（被写体）を撮影した撮影画像とに基づいて、二重の認証を行うことができ、成りすましや誤認識を適切に排除することができる。

次に、被写体認証装置１の制御装置が認証用登録プログラムによって実行する動作、及び被写体認証プログラムによって実行する動作について説明する。
この動作は、いずれも一部を除いて実施例１と同一であるため、異なる部分のみを説明する。

認証用登録プログラムによって実行する動作は、図３に示したステップｎ３で、「カメラのシャッタ機能となるボタンを押下する正規押下時間を登録する」処理を実行する。これにより正規押下時間の登録を行う。なお、この正規押下時間は、１秒単位、０．５秒単位、あるいは０．１秒単位など、真偽判定が可能な適宜の単位により登録することが好ましい。

被写体認証プログラムによって実行する動作は、図４に示したステップｓ４で、「入力操作された押下時間が登録された正規押下時間と近いか」を判定する処理を実行する。これにより、押下時間による真偽判定を行う。

これ以外の動作については、前述した実施例１と同一であるため、その詳細な説明を省略する。
以上の構成及び動作により、実施例２の被写体認証装置１は、実施例１の被写体認証装置１と同一の作用効果を奏することができる。

次に、実施例３の被写体認証装置１について説明する。この実施例３の被写体認証装置１は、図１と共に前述した実施例１の被写体認証装置１と同一の構成であり、図２と共に前述したブロック図の構成が一部異なる。

この実施例３の被写体認証装置１は、実施例１の構成に加えて、図２に仮想線で示したタイマー４６及び時間判断部４７が備えられている。
各構成要素については、前述した実施例１及び実施例２と同一であるため、その詳細な説明を省略する。
以上の構成により、利用者による入力操作と、利用者（被写体）を撮影した撮影画像とに基づいて、二重の認証を行うことができ、成りすましや誤認識を適切に排除することができる。

次に、図６に示す被写体認証装置１の制御装置が実行する動作を示すフローチャートと共に、認証用登録プログラムによって制御装置が実行する認証用登録処理の動作について説明する。

この認証用登録処理は、被写体認証装置１に用意されている機能設定処理の一部であり、利用者によって機能設定処理から認証用登録処理が選択された場合に実行する。

認証用登録処理を開始すると、制御装置は、カメラ１２を起動して被写体の顔を撮影し、撮影画像としての顔画像を取得する（ステップｐ１）。このとき、撮影開始入力を要求し、シャッタボタン１５による撮影開始入力で撮影を実行する構成としてもよい。

制御装置は、取得した撮影画像を制御装置内のデータベース（ＤＢ）に登録する（ステップｐ２）。
制御装置は、液晶モニタ１４への画面表示により、登録する正規操作の指定を利用者に要求し、指定された操作をカメラ１２のシャッタ機能となる正規操作として登録する（ステップｐ３）。

また、制御装置は、ボタンの押下時間の指定を利用者に要求し、指定された押下時間を正規操作のひとつである正規押下時間として登録する（ステップｐ４）。
これらの正規操作の指定は、利用者に実際に入力操作させ、この入力操作をそのまま正規操作とする、あるいは、正規操作の種類を複数液晶モニタ１４に表示して任意の正規操作を利用者に選択させることで実行する。

以上の動作により、正規操作データと照合用データをデータベースに記憶させることができる。
なお、正規操作は、ステップｐ３で別途指定させるのではなく、ステップｐ１の時点で入力操作を求め、この入力操作をそのまま正規操作として登録する構成としてもよい。この場合は、実際に認証を受ける際と同一の手順で正規操作データ及び照合用データを登録できる。
また、押下時間の指定を実際の入力操作から計測した場合は、計測時間を表示して利用者に報知すればよい。

次に、図７に示す被写体認証装置１の制御装置が実行する動作を示すフローチャートと共に、被写体認証プログラムによって制御装置が実行する動作について説明する。

制御装置は、認証処理が開始されるまで待機する（ステップｒ１：Ｎｏ）。この認証処理は、例えば被写体認証装置１を使用する際、架電する際、メール送信する際、メールを閲覧する際、ＷＥＢ閲覧をする際、設定変更する際、登録個人情報を参照する際、ＷＥＢで提供される有料コンテンツを利用する際、ＷＥＢ上で商品を購入する際など、予め設定された適宜のタイミングで開始するように構成されている。

認証処理が開始されると（ステップｒ１：Ｙｅｓ）、制御装置はカメラ１２を起動し（ステップｒ２）、図５（Ａ）の正面図に示したように、液晶モニタ１４に「シャッタボタンを押して下さい」と表示して撮影の開始入力を指示する（ステップｒ３）。

制御装置は、シャッタボタン１５や操作ボタン１６により入力された入力操作を、正規操作として登録されている指定ボタンと一致するか真偽判定する（ステップｒ４）。

正規操作と一致して真であると判定した場合は（ステップｒ４：Ｙｅｓ）、さらに、シャッタボタン１５や操作ボタン１６の押下が継続された押下時間が、登録されている正規押下時間と近いか判定する（ステップｒ５）。

押下時間が正規押下時間と近く真であると判定した場合は（ステップｒ５：Ｙｅｓ）、カメラ１２による撮影を実行し（ステップｒ６）、この撮影により取得した撮影画像と照合用データによる顔照合を実行する（ステップｒ７）。このときの顔照合は、前述した実施例１のステップｓ６の顔照合と同一の照合を行う。なお、ステップｒ５では、実際の押下時間が登録された正規押下時間より長い場合、すなわち登録された正規押下時間以上押しつづけた場合に真と判定する構成としてもよい。

制御装置は、顔照合の照合結果により、登録された顔か否か（同一人物か否か）を判定し、登録された顔であれば（ステップｒ８：Ｙｅｓ）、認証成功処理を実行し（ステップｒ９）、処理を終了する。この認証成功処理では、利用者が使用しようとした機能にそのまま移行する、あるいは、液晶モニタ１４に認証成功を表示した後に、利用者が使用しようとした機能に移行する構成とすることができる。従って、利用者は、架電、メール送信、ＷＥＢ閲覧、設定変更、または登録個人情報参照といった機能を使用することができるようになる。また、場合によっては、ＷＥＢで提供される有料コンテンツの利用や、ＷＥＢ上での商品購入など、支払いが発生するような操作を、認証成功によって完了することができる。

前記ステップｒ４で入力操作が正規操作と一致しなかった場合は（ステップｒ４：Ｎｏ）、制御装置はカメラ１２による撮影を実行する（ステップｒ１０）。この撮影は、本来であれば必要のない処理であるが、入力操作が誤っていることを悟らせないために実行する。従って、実際には撮影画像を取得せず、照明装置１３による照明とスピーカ１１による音声出力とで、利用者若しくは不正利用者に撮影を行ったと認識させる偽装撮影（ダミー撮影）を行う構成としてもよい。

制御装置は、所定時間の待機（ダミー待機）を行う（ステップｒ１１）。この待機時間は、ステップｒ７〜ｒ８の顔照合・判定の時間と同じ程度にする。この所定時間の待機は、利用者若しくは不正利用者に、顔照合を実行していないことを判らせないようにするためのものであり、入力操作が正規操作と一致しないために認証成功できないことを悟らせないようにするためのものである。

制御装置は、図５（Ｂ）の正面図に示したように、液晶モニタ１４に「認証失敗しました。ご使用になる場合は、再度、顔認証を実行してください」と認証失敗表示を行い（ステップｒ１２）、処理を終了する。従って、利用者は使用しようとした機能を使用できないこととなる。

前記ステップｒ５で押下時間が正規押下時間に近くなかった場合、すなわち、実際の押下時間と登録された正規押下時間の差が所定の閾値以上であった場合は（ステップｒ５：Ｎｏ）、前記ステップｒ１０〜ｒ１２と同様に、偽装撮影、所定時間の待機、認証失敗表示を行う（ステップｒ１３〜ｒ１５）。ここで、ステップｒ１４の所定時間は、前記ステップｒ１１と同一の時間とするが、ステップｒ１１の所定時間からステップｒ５の処理時間を減算した程度の時間により構成してもよい。

前記ステップｒ８で登録された顔でないと判定した場合は（ステップｒ８：Ｎｏ）、制御装置は、液晶モニタ１４に「認証失敗しました」と認証失敗表示を行い（ステップｒ１６）、処理を終了する。従って、利用者は使用しようとした機能を使用できないこととなる。

以上の動作により、実施例１，２と同一の作用効果を得ることができる。
さらに、入力操作の真偽判定は、押下された操作ボタン１６の種類と、操作ボタン１６の押下時間との２つの内容で判定するため、より適切な認証を行うことができる。

次に、実施例４の被写体認証装置１について説明する。この実施例４の被写体認証装置１は、図１、図２と共に前述した実施例１の被写体認証装置１と同一の構成であるため、その詳細な説明を省略する。

また、被写体認証装置１の制御装置が認証用登録プログラムによって実行する動作及び作用効果は、前述した実施例１と同一であるため、その詳細な説明を省略する。

被写体認証装置１の制御装置が被写体認証プログラムによって実行する動作について、図８に示す被写体認証装置１の制御装置が実行する動作を示すフローチャートと共に説明する。

制御装置は、認証処理が開始されるまで待機する（ステップｔ１：Ｎｏ）。この認証処理は、例えば被写体認証装置１を使用する際、架電する際、メール送信する際、メールを閲覧する際、ＷＥＢ閲覧をする際、設定変更する際、登録個人情報を参照する際、ＷＥＢで提供される有料コンテンツを利用する際、ＷＥＢ上で商品を購入する際など、予め設定された適宜のタイミングで開始するように構成されている。

認証処理が開始されると（ステップｔ１：Ｙｅｓ）、制御装置はカメラ１２を起動し（ステップｔ２）、ループカウンタを初期化する（ステップｔ３）。このループカウンタは、認証失敗が連続して所定回数以上発生した場合に、以降の認証を拒否するためのものである。

なお、この場合の連続とは、短時間で連続することに限らず、認証失敗後にある程度時間をおいてから再度認証失敗したような場合も含むものである。
そして、前記ループカウンタの初期化（ステップｔ３）は、認証処理（ステップｔ１〜ｔ１２）が終了するまで実行しない構成としているが、一日経過や、数日経過など、所定の期間が経過した際に実行する構成とし、その間に認証処理以外の操作が行われても初期化しない構成としてもよい。また、認証成功するまで初期化しない構成としてもよい。これらの場合は、認証処理を一旦中止した最初からやり直し、いずれは認証成功するといった不正利用を、より確実に防止することができる。

制御装置は、図５（Ａ）の正面図に示すように、液晶モニタ１４に「シャッタボタンを押して下さい」と表示して撮影の開始入力を指示する（ステップｔ４）。

制御装置は、シャッタボタン１５や操作ボタン１６により入力された入力操作を、正規操作として登録されている指定ボタンと一致するか真偽判定する（ステップｔ５）。

正規操作と一致して真であると判定した場合は（ステップｔ５：Ｙｅｓ）、カメラ１２による撮影を実行し（ステップｔ６）、この撮影により取得した撮影画像と照合用データによる顔照合を実行する（ステップｔ７）。このときの顔照合は、前述した実施例１のステップｓ６の顔照合と同一の照合を行う。

制御装置は、顔照合の照合結果により、登録された顔か否か（同一人物か否か）を判定し、登録された顔であれば（ステップｔ８：Ｙｅｓ）、認証成功処理を実行し（ステップｔ９）、処理を終了する。この認証成功処理では、利用者が使用しようとした機能にそのまま移行する、あるいは、液晶モニタ１４に認証成功を表示した後に、利用者が使用しようとした機能に移行する構成とすることができる。従って、利用者は、架電、メール送信、ＷＥＢ閲覧、設定変更、登録個人情報参照といった機能を使用することができるようになる。

前記ステップｔ５で入力操作が正規操作と一致しなかった場合は（ステップｔ５：Ｎｏ）、制御装置は、ループカウンタが所定の値以上か、すなわち予め定めた認証許可回数以上か否かを判定する（ステップｔ１０）。

認証許可回数以上であった場合は（ステップｔ１０：Ｙｅｓ）、処理を終了して以降の認証を拒否（禁止）する。なお、このとき、利用者若しくは不正利用者に、顔照合を実行していないことを判らせないようにするため、偽装撮影（ダミー撮影）と、所定時間の待機（ダミー待機）を行う構成としてもよい。
なお、実際に撮影して不正利用者の証拠として画像を保存しても良い。

認証許可回数未満であった場合は（ステップｔ１０：Ｎｏ）、ループカウンタをインクリメント（１加算）して（ステップｔ１１）、ステップｔ４に処理を戻す。なお、このとき、利用者若しくは不正利用者に、顔照合を実行していないことを判らせないようにするため、偽装撮影（ダミー撮影）と、所定時間の待機（ダミー待機）を行う設定としてもよい。

前記ステップｔ８で登録された顔でないと判定した場合は（ステップｔ８：Ｎｏ）、制御装置は、液晶モニタ１４に「認証失敗しました」と認証失敗表示を行い（ステップｔ１２）、処理を終了する。従って、利用者は使用しようとした機能を使用できないこととなる。

以上の動作により、実施例１と同一の作用効果を奏することができる。
その上、認証失敗が所定回数連続すると、以降の認証を拒否するため、入力操作についての総当たり攻撃等による不正利用を防止することができる。
また、正規の利用者が入力ミスをした場合であっても、所定回数未満までは繰り返すことができる。これにより、正規の利用者に対して認証を拒否してしまうことを防止できる。

次に、実施例５の被写体認証装置１について説明する。この実施例５の被写体認証装置１は、前述した実施例２の被写体認証装置１と同一の構成であるため、その詳細な説明を省略する。

また、被写体認証装置１の制御装置が認証用登録プログラムによって実行する動作及び作用効果は、前述した実施例２と同一であるため、その詳細な説明を省略する。

被写体認証装置１の制御装置が被写体認証プログラムによって実行する動作について、図９に示す被写体認証装置１の制御装置が実行する動作を示すフローチャートと共に説明する。

制御装置は、認証処理が開始されるまで待機する（ステップｕ１：Ｎｏ）。この認証処理は、例えば被写体認証装置１を使用する際、架電する際、メール送信する際、メールを閲覧する際、ＷＥＢ閲覧をする際、設定変更する際、登録個人情報を参照する際、ＷＥＢで提供される有料コンテンツを利用する際、ＷＥＢ上で商品を購入する際など、予め設定された適宜のタイミングで開始するように構成されている。

認証処理が開始されると（ステップｕ１：Ｙｅｓ）、制御装置はカメラ１２を起動し（ステップｕ２）、図５（Ａ）の正面図に示したように、液晶モニタ１４に「シャッタボタンを押して下さい」と表示して撮影の開始入力を指示する（ステップｕ３）。

制御装置は、開始入力を受けてカメラ１２による撮影を実行する（ステップｕ４）。そして、撮影から利用者がシャッタボタン１５や操作ボタン１６の押下を止めて開放するまでの押下時間が、予め登録されている正規押下時間に近いか否か、すなわち、実際の押下時間と登録された正規押下時間の差が予め定めた閾値の範囲内か否かを判定する（ステップｕ５）。

正規押下時間に近い場合は（ステップｕ５：Ｙｅｓ）、ステップｕ４での撮影により取得した撮影画像と照合用データによる顔照合を実行する（ステップｕ６）。このときの顔照合は、前述した実施例１のステップｓ６の顔照合と同一の照合を行う。なお、ステップｕ５では、実際の押下時間が登録された正規押下時間より長い場合、すなわち登録された正規押下時間以上押しつづけた場合に真と判定する構成としてもよい。

制御装置は、顔照合の照合結果により、登録された顔か否か（同一人物か否か）を判定し、登録された顔であれば（ステップｕ７：Ｙｅｓ）、認証成功処理を実行し（ステップｕ８）、処理を終了する。この認証成功処理では、利用者が使用しようとした機能にそのまま移行する、あるいは、液晶モニタ１４に認証成功を表示した後に、利用者が使用しようとした機能に移行する構成とすることができる。従って、利用者は、架電、メール送信、ＷＥＢ閲覧、設定変更、または登録個人情報参照といった機能を使用することができるようになる。また、場合によっては、ＷＥＢで提供される有料コンテンツの利用や、ＷＥＢ上での商品購入など、支払いが発生するような操作を、認証成功によって完了することができる。

前記ステップｕ５で実際の押下時間と登録された正規押下時間の差が予め定めた閾値の範囲内でなかった場合は（ステップｕ５：Ｎｏ）、所定時間の待機（ダミー待機）を行う（ステップｕ９）。この所定時間の待機は、利用者若しくは不正利用者に、顔照合を実行していないことを判らせないようにするためのものであり、入力操作が原因で認証成功できないことを悟らせないようにするためのものである。

制御装置は、図５（Ｂ）の正面図に示したように、液晶モニタ１４に「認証失敗しました。ご使用になる場合は、再度、顔認証を実行してください」と認証失敗表示を行い（ステップｕ１０）、処理を終了する。従って、利用者は使用しようとした機能を使用できないこととなる。

前記ステップｕ７で登録された顔でないと判定した場合は（ステップｕ７：Ｎｏ）、制御装置は、液晶モニタ１４に「認証失敗しました」と認証失敗表示を行い（ステップｕ１１）、処理を終了する。従って、利用者は使用しようとした機能を使用できないこととなる。

以上の動作により、実施例２と同一の作用効果を奏することができる。
そして、ボタンを押下し続けることが認証条件であるとは一般的に考えづらいため、写真等を用いた成りすましを適切に排除することができる。

次に、実施例６として、携帯電話機ではなく、施設の出入口等に備える据置型の被写体認証装置１について、図１０の正面図と共に説明する。

この被写体認証装置１は、向かって左側の表面に透明又は半透明の保護板５が設けられ、この保護板５の内側にカメラ１２が設けられている。そして、向かって右側の表面にシャッタボタン１５が設けら、シャッタボタン１５の下方に複数の操作ボタン１６がマトリクス状に整列配置されている。また、内部に制御装置が設けられている。
そして、実施例１〜５とは異なり、液晶モニタは設けられていない。

その他の構成及び動作は、液晶モニタへの表示を行う代わりに、この表示内容と同一の音声出力を、内蔵したスピーカによって行うこと以外は、実施例１〜５と同一であり、その詳細な説明を省略する。
なお、当然ながら表示機能として液晶モニタなどを備えてもよい。

以上の構成及び動作により、引用例１〜５と同一の作用効果を奏することができる。そして、認証成功処理では、ドアロックを解除する、あるいは通過を許可するなど、被写体認証装置１が備えられた場所に応じた動作を実行することができる。

この発明の構成と、上述の実施形態との対応において、
この発明の顔認証装置及び携帯電話機は、実施形態の被写体認証装置１に対応し、
以下同様に、
制御手段は、被写体認証装置１の制御装置に対応し、
撮影手段は、カメラ１２及び映像部４３に対応し、
入力要求手段は、液晶モニタ１４に対応し、
入力手段及び押下ボタンは、操作ボタン１６、又は、シャッタボタン１５と操作ボタン１６に対応し、
真偽判定処理は、ステップｓ４，ｒ４，ｒ５，ｔ５，ｕ５に対応し、
照合処理は、ステップｓ６〜ｓ７，ｒ７〜ｒ８，ｔ７〜ｔ８，ｕ６〜ｕ７に対応し、
認証処理は、ステップｓ４，ｓ７，ｒ４，ｒ８，ｔ５，ｔ８，ｕ５，ｕ７に対応し、
被写体認証プログラムは、被写体認証プログラムに対応し、
登録データは、照合用データに対応するも、
この発明は、上述の実施形態の構成のみに限定されるものではなく、多くの実施の形態を得ることができる。

被写体認証装置の斜視図。 被写体認証装置のブロック図。 認証用登録処理のフローチャート。 認証処理のフローチャート。 液晶モニタの表示を説明する説明図。 実施例３の認証用登録処理のフローチャート。 実施例３の認証処理のフローチャート。 実施例４の認証処理のフローチャート。 実施例５の認証処理のフローチャート。 実施例６の被写体認証装置の正面図。

１…被写体認証装置
１２…カメラ
１４…液晶モニタ
１５…シャッタボタン
１６…操作ボタン
４３…映像部

Claims (9)

1. 被写体を撮影する撮影手段を備え、該撮影手段により被写体を撮影した撮影画像に基づいて被写体の認証を行う被写体認証装置であって、
   撮影開始入力を要求する入力要求手段と、
   撮影開始入力を受け付ける入力手段と、
   これらを制御する制御手段とを備え、
   該制御手段を、
   前記入力手段で受け付けた撮影開始入力の入力操作と正規の操作として予め登録された正規操作とを比較して真偽判定を行う真偽判定処理と、
   前記真偽判定処理で真と判定した場合のみ撮影により取得した撮影画像と予め登録された被写体の登録データとに基づいて被写体を照合する照合処理と、
   前記真偽判定処理による判定結果と前記照合処理による照合結果との何れもが真である場合に適合と認証する認証処理とを実行する一方、
   前記真偽判定処理で真と判定しなかった場合は、前記照合処理を行わずに該照合処理にかかる時間待機した後、不適合と認証する前記認証処理とを実行する構成とした
   被写体認証装置。
2. 前記正規操作を、通常のシャッタボタン押下以外の入力操作により構成した
   請求項１記載の被写体認証装置。
3. 前記入力手段を押下ボタンにより構成し、
   前記正規操作を、前記押下ボタンが押下されてから開放されるまでの押下時間により構成した
   請求項１または２記載の被写体認証装置。
4. 前記真偽判定処理で真と判定しなかった場合に、前記撮影により取得した撮影画像を不正利用者の証拠として保存する
   請求項１、２または３記載の被写体認証装置。
5. 前記制御手段を、
   前記正規操作の登録を許容する正規操作登録処理を実行する構成とした
   請求項１から４のいずれか１つに記載の被写体認証装置。
6. 請求項１から５のいずれか１つに記載の被写体認証装置を備え、
   前記撮影手段により、被写体として顔を撮影する構成とした
   顔認証装置。
7. 請求項１から５のいずれか１つに記載の被写体認証装置を備えた
   携帯電話機。
8. 被写体を撮影手段により撮影した撮影画像に基づいて被写体の認証を行う被写体認証方法であって、
   入力要求手段により撮影開始入力を要求し、
   入力手段で受け付けた撮影開始入力の入力操作と正規の操作として予め登録された正規操作とを比較して真偽判定を行い、
   前記真偽判定で真と判定した場合のみ撮影により取得した撮影画像と予め登録された被写体の登録データとに基づいて被写体を照合し、
   前記真偽判定による判定結果と前記照合による照合結果との何れもが真である場合に適合と認証する一方、
   前記真偽判定で真と判定しなかった場合は、前記照合を行わずに該照合にかかる時間待機した後、不適合と認証する
   被写体認証方法。
9. 被写体を撮影手段により撮影した撮影画像に基づいて被写体の認証を行う被写体認証プログラムであって、
   入力要求手段により撮影開始入力を要求する入力要求処理と、
   入力手段で受け付けた撮影開始入力の入力操作と正規の操作として予め登録された正規操作とを比較して真偽判定を行う真偽判定処理と、
   前記真偽判定処理で真と判定した場合のみ撮影により取得した撮影画像と予め登録された被写体の登録データとに基づいて被写体を照合する照合処理と、
   真偽判定処理による判定結果と照合処理による照合結果との何れもが真である場合に適合と認証する認証処理とを実行する一方、
   前記真偽判定処理で真と判定しなかった場合は、前記照合処理を行わずに該照合処理にかかる時間待機した後、不適合と認証する前記認証処理とを実行する
   被写体認証プログラム。
   
   

Images