[go: up one dir, main page]

JP2005149455A - 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体 - Google Patents

画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体 Download PDF

Info

Publication number
JP2005149455A
JP2005149455A JP2003425432A JP2003425432A JP2005149455A JP 2005149455 A JP2005149455 A JP 2005149455A JP 2003425432 A JP2003425432 A JP 2003425432A JP 2003425432 A JP2003425432 A JP 2003425432A JP 2005149455 A JP2005149455 A JP 2005149455A
Authority
JP
Japan
Prior art keywords
image
partial
feature value
images
partial image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003425432A
Other languages
English (en)
Inventor
Manabu Yumoto
学 湯元
Yasushi Ito
康史 伊藤
Manabu Onozaki
学 小野崎
Takashi Horiyama
貴史 堀山
Toshiya Okamoto
俊弥 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2003425432A priority Critical patent/JP2005149455A/ja
Priority to US10/967,145 priority patent/US7512275B2/en
Publication of JP2005149455A publication Critical patent/JP2005149455A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/70Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

【課題】 高速に照合処理する。
【解決手段】 画像AとBを画像入力部101から入力すると、部分画像特徴値計算部1045は両画像の各部分画像の特徴値を求める。最大一致度位置探索部105は、画像A内の各部分画像について、画像B内の最大一致度となる部分画像の位置を探索する。この探索範囲は特徴値に応じて選択された部分画像に絞られる。移動ベクトルに基づく類似度計算部106は各部分画像毎の、画像A内での該部分画像の位置を測るための基準位置と最大一致度位置探索部105により探索された該部分画像に対応の最大一致度位置との位置関係を示す移動ベクトルのうち、該移動ベクトルの方向や長さが所定レンジに該当する部分画像に関する情報から画像AとBの類似度を計算する。照合対象の画像は特徴値に基づいて分類された同一カテゴリに属するものであってもよい。
【選択図】 図1

Description

本発明は、画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体に関し、特に、2つの画像を照合する画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体に関する。
従来の指紋画像に関する照合方法は、大きく分けて画像特徴量マッチング方式と画像間マッチング方式とに大別できる。前者の画像特徴量マッチングは、「これで分かったバイオメトリクス」(日本自動認識システム協会編、オーム社:P42〜P44)では、画像を直接比較するのではなく、画像内に含まれる特徴量を抽出した後、抽出した画像特徴量同士を比較する方法である。該方法では指紋画像における照合においては、図29(A)と(B)のようなマニューシャ(指紋隆線の端点と分岐点であり、指紋画像内に数個から数十個存在する)が画像特徴量となる。該方法では、図30のようにそれぞれの画像から画像処理により抽出したマニューシャの位置や種類や隆線などの情報を基に画像間で相対的な位置や方向が一致するマニューシャ数を類似度とし、マニューシャ間を横切る隆線数などの一致・不一致により類似度を増減し、その類似度と予め定めた閾値と比較し照合・識別を行なう。
後者の画像間マッチングは、図31のように照合する画像αとβ間で全領域もしくは部分領域に対応の部分画像α1とβ1を抽出し、部分画像α1とβ1間の一致度を、差分値の総和、相関係数、位相相関法や郡遅延ベクトル法などにより画像αとβ間の類似度として計算し、算出された類似度と予め定めた閾値と比較し照合・識別を行なう。
画像間マッチングの手法を利用した発明としては、特許文献1や2などが挙げられる。特許文献1では、画像間マッチングを行なったのち部分領域をさらに4分割し、それぞれの分割領域の周辺領域での一致度最大となる位置を求め、平均一致度を改めて類似度とする。これにより、指紋画像内に指紋採取の時に生じた指紋の歪みに対処できる。特許文献2では、一方の指紋画像中の特徴を含む複数の部分領域の位置関係の拘束をある程度保持して他方の指紋画像の各部分領域との一致度の総和を計算して、類似度として算出する。
一般的には画像間マッチング方式はノイズや指の状態(乾燥・汗・傷)などに対処しやすく、画像特徴量マッチング方式は、画像間マッチングに比べ比較するデータ量が少ないため画像間マッチングに比べ処理の高速化可能である。
特許第2549107号公報 特開昭63−78286号公報
現在、指紋認証をはじめとするバイオメトリクス技術を適用した個人認証技術の民生機器への普及が始まりつつあり、これら普及段階においては、個人認証処理時間を少しでも短時間化することが求められている。更に、このような認証機能を個人が携帯する携帯電話やPDA(Personal Digital Assistants)へ搭載する場合では、搭載されている電池容量が潤沢でないことから認証時間に加え、認証処理時に使用される消費電力の低減も求められる。
それゆえに、この発明の目的は、高速な照合処理を可能とする画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体を提供することである。
この発明のある局面に従う画像照合装置は、画像内に設定された複数の部分領域の画像のそれぞれについて、部分領域の画像の模様に応じた値を計算して部分画像特徴値として出力する部分画像特徴値計算手段と、
2つの画像のうちの一方の画像内に設定された複数の部分領域の画像のそれぞれに対応して、他方の画像において最大の一致度となる部分領域の画像の位置である最大一致度位置を探索する最大一致度位置探索手段と、
複数部分領域毎の、一方の画像内での該部分領域の位置を測るための基準位置と最大一致度位置探索手段により探索された該部分領域に対応の最大一致度位置との位置関係を示す位置関係量のうち、該位置関係量が所定レンジに該当する部分領域に関する情報から2つの画像の類似度を計算して画像類似度として出力する類似度計算手段と、
与えられる画像類似度に基づいて2つの画像が一致するか否か判定する判定手段とを備え、
最大一致度位置探索手段により探索する他方の画像の範囲は、一方の画像内に設定された部分領域の画像の前記画像特徴値に応じて他方の画像内に設定された複数の部分領域の中から選択して決定される。
したがって、部分画像特徴値に応じて探索範囲を限定的に絞ったうえで(探索範囲を削減してから)、一方の画像中の複数の部分領域の他方の画像内で最も一致度の高い位置を探索できる。そして探索結果、得られる部分領域の位置関係量のうち、該位置関係量が所定レンジに該当する部分領域に関する情報から2つの画像の類似度が計算される。
それゆえに、画像照合のために探索される範囲は予め限定されたものとなるから、照合時間が短く、装置の消費電力の低減も可能となる。
好ましくは、上述の画像照合装置は、一方の画像について部分画像特徴値計算手段により出力される部分画像特徴値に基づいて、該一方の画像が属するカテゴリを判定するカテゴリ判定手段をさらに備え、他方の画像は、カテゴリ判定手段により判定された一方の画像のカテゴリに基づいて選択される。
したがって、カテゴリ判定手段により判定された一方の画像が属するカテゴリに基づいて、照合の対象となる他方の画像を選択することができる。それゆえに、他方の画像が多数あったとしても、照合対象となる他方の画像を一方の画像が属するカテゴリに基づき限定できるから、照合処理に要する時間を短縮できる。また、装置の消費電力も低減できる。
この発明の他の局面に従う画像照合装置は、画像内に設定された複数の部分領域の画像のそれぞれについて、部分領域の画像の模様に応じた値を計算して部分画像特徴値として出力する部分画像特徴値計算手段と、
2つの画像のうちの一方の画像について部分画像特徴値計算手段により出力される部分画像特徴値に基づいて、該一方の画像が属するカテゴリを判定するカテゴリ判定手段と、
2つの画像のうちの一方の画像内に設定された複数の部分領域の画像のそれぞれに対応して、カテゴリ判定手段により判定された一方の画像のカテゴリに基づいて選択された他方の画像において最大の一致度となる部分領域の画像の位置である最大一致度位置を探索する最大一致度位置探索手段と、
複数部分領域毎の、一方の画像内での該部分領域の位置を測るための基準位置と最大一致度位置探索手段により探索された該部分領域に対応の前記最大一致度位置との位置関係を示す位置関係量のうち、該位置関係量が所定レンジに該当する部分領域に関する情報から2つの画像の類似度を計算して画像類似度として出力する類似度計算手段と、
与えられる画像類似度に基づいて2つの画像が一致するか否か判定する判定手段とを備え、
最大一致度位置探索手段により探索する他方の画像の範囲は、一方の画像内に設定された部分領域の画像の部分画像特徴値に応じて他方の画像内に設定された複数の部分領域の中から選択して決定される。
したがって、カテゴリ判定手段により判定されたカテゴリに基づいて選択された照合対象の画像について、部分画像特徴値に応じて探索範囲を限定的に絞ったうえで(探索範囲を削減してから)、一方の画像中の複数の部分領域の他方の画像内で最も一致度の高い位置を探索できる。そして探索結果、得られる部分領域の位置関係量のうち、該位置関係量が所定レンジに該当する部分領域に関する情報から2つの画像の類似度が計算される。
それゆえに、照合対象画像を選択し、選択した画像における画像照合のための探索範囲を予め限定しているから、照合処理に要する時間をより短くでき、装置の消費電力のさらなる低減も可能となる。
好ましくは、他方の画像は一方の画像と同一のカテゴリに属する。したがって、同一カテゴリに属する画像同士が照合されることになるので、照合処理に要する時間をより短くでき、また装置の消費電力のさらなる低減も可能となる。
好ましくは、他方の画像が複数個準備される場合には、複数個の他方の画像のうち、一方の画像と同一のカテゴリに属するものが優先して選択される。したがって、同一カテゴリに属する画像同士が優先的に照合されることになるので、照合処理に要する時間をより短くでき、また装置の消費電力のさらなる低減も可能となる。
好ましくは、カテゴリ判定手段は、部分画像特徴値計算手段により計算された、画像の複数の特定位置の部分画像の部分画像特徴値の組合わせに基づいて該画像のカテゴリを判定するようにしてよい。
好ましくは、複数個の他方の画像は予め異なるカテゴリに分類されて、最大一致度位置探索手段は、一方の画像についてカテゴリ判定手段により判定されたカテゴリに基づいて選択されたカテゴリに属する他方の画像において最大一致度位置を探索する。
ここで、位置関係量は好ましくは移動ベクトルである。この場合には、移動ベクトルが所定レンジに該当する、たとえば同一移動ベクトルを持つと判断される部分領域に関する情報を用いた類似度計算がなされる。
ここで、2つの画像は、指紋画像であってよい。この場合には、指紋画像は画像中の任意の部分領域がその指紋を特徴付ける隆線数・方向・幅やその変動などの情報を含んでおり、同一指紋から採取された別の指紋画像中でも部分領域が多くの場合同じ位置にマッチングするという特性が利用されることになる。
好ましくは、部分画像特徴値計算手段は、部分領域の画像毎に、水平方向の画素が連続する最大長と垂直方向の画素が連続する最大長を各々求め、その最大長を示す値に基づいて、部分画像特徴値を出力する。
したがって、部分画像特徴値を、水平方向の画素が連続する最大長と垂直方向の画素が連続する最大長のうちの最大長を求めるという簡単な手順で算出できる。
好ましくは、部分画像特徴値計算手段は、部分領域の画像毎に、水平方向および垂直方向を代表する画素列をそれぞれ抽出し、抽出されたそれぞれの画素列における画素値の変化の回数に基づいて、部分画像特徴値を出力する。
したがって、部分画像特徴値を、水平方向および垂直方向を代表する画素列それぞれの
画素値の変化の回数を求めることで簡単に算出できる。
好ましくは、部分画像特徴値計算手段は、部分領域の画像毎に、左右に所定数の画素ずつずらして重ねた画像と、上下に所定数の画素ずつずらして重ねた画像を各々求め、さらに、その左右に所定数の画素ずつずらして重ねた画像と該部分領域の画像との画素値の差分と、その上下に所定数の画素ずつずらして重ねた画像と該部分領域の画像との画素値の差分とを各々求め、求められた差分に基づいて、部分画像特徴値を出力する。
したがって、部分画像特徴値を、部分領域の元の画像と上下にずらした画像とを重ねて得られる画素値の差分、同様に部分領域の元の画像と左右にずらした画像とを重ねて得られる画素値の差分を求めることで簡単に算出できる。
好ましくは、部分画像特徴値は3種類の値のいずれかである。したがって、部分画像特徴値の種類は3種類のいずれかに限定されるから、これらを用いた照合処理が複雑になるのを回避できる。
好ましくは、3種類の値それぞれは、部分領域の画像の模様が縦方向に従っていることを示す、横方向に従っていることを示す、およびその他であることを示すのいずれかである。
なお、部分画像特徴値は好ましくは3種類であるが、これに限定されるものではなく、4種類など他の種類数であってもよい。
したがって、部分画像特徴値により、対応する部分領域の画像の模様が縦方向に従うものであるのか、横方向に従うものであるか、どちらとも特定できないものかを指示することができる。
好ましくは、縦方向に従う模様は縦縞であり、横方向に従う模様は横縞である。したがって、例えば画像が指紋である場合には指紋の縦縞または横縞を部分画像特徴値で示すことができる。
好ましくは、最大一致度位置探索手段は、一方の画像内に設定された部分領域の画像の部分画像特徴値の種類と一致する部分画像特徴値である他方の画像内に設定された部分領域を探索範囲とする。
したがって、部分画像特徴値が一致する画像の部分領域を探索範囲として特定できる。
好ましくは、最大一致度位置探索手段は、一方の画像内に設定された部分領域の画像の部分画像特徴値が模様が縦方向および横方向のうちの一方向に従っていることを示すとき、他方の画像内に設定された部分領域のうち画像特徴値が模様が一方向に従っていることを示す画像の部分領域およびその他であることを示す画像の部分領域を探索範囲とする。
したがって、部分画像特徴値が一致する画像の部分領域とその他を示す部分領域とを探索範囲として特定することができる。
好ましくは、部分画像特徴値がその他を示す部分領域は最大一致度位置検索手段による探索範囲から除かれる。
したがって、縦方向および横方向のいずれにも特定できない曖昧な方向に従う模様の画像領域は探索範囲から除くようにしているから、曖昧な部分画像特徴値が用いられることによる照合精度の低下を防止できる。
この発明のさらに他の局面に従う画像照合方法は、画像内に設定された複数の部分領域の画像のそれぞれについて、部分領域の画像の模様に応じた値を計算して部分画像特徴値として出力する部分画像特徴値計算ステップと、
2つの画像のうちの一方の画像内に設定された複数の部分領域の画像のそれぞれに対応して、他方の画像において最大の一致度となる部分領域の画像の位置である最大一致度位置を探索する最大一致度位置探索ステップと、
複数部分領域毎の、一方の画像内での該部分領域の位置を測るための基準位置と最大一致度位置探索ステップにより探索された該部分領域に対応の前記最大一致度位置との位置関係を示す位置関係量のうち、該位置関係量が所定レンジに該当する部分領域に関する情報から2つの画像の類似度を計算して画像類似度として出力する類似度計算ステップと、
与えられる前記画像類似度に基づいて前記2つの画像が一致するか否か判定する判定ステップとを備え、
最大一致度位置探索ステップにより探索する他方の画像の範囲は、一方の画像内に設定された部分領域の画像の画像特徴値に応じて他方の画像内に設定された複数の部分領域の中から選択して決定される。
したがって、部分画像特徴値に応じて探索範囲を限定的に絞ったうえで(探索範囲を削減してから)、一方の画像中の複数の部分領域の他方の画像内で最も一致度の高い位置を探索できる。そして探索結果、得られる部分領域の位置関係量のうち、該位置関係量が所定レンジに該当する部分領域に関する情報から2つの画像の類似度が計算される。
それゆえに、画像照合のために探索される範囲は予め限定されたものとなるから、照合時間が短く、該方法を装置で実行する場合には装置の消費電力の低減も可能となる。
この発明のさらに他の局面に従う画像照合方法は、画像内に設定された複数の部分領域の画像のそれぞれについて、部分領域の画像の模様に応じた値を計算して部分画像特徴値として出力する部分画像特徴値計算ステップと、
2つの画像のうちの一方の画像について部分画像特徴値計算ステップにより出力される部分画像特徴値に基づいて、該一方の画像が属するカテゴリを判定するカテゴリ判定ステップと、
2つの画像のうちの一方の画像内に設定された複数の部分領域の画像のそれぞれに対応して、カテゴリ判定ステップにより判定された一方の画像のカテゴリに基づいて選択された他方の画像において最大の一致度となる部分領域の画像の位置である最大一致度位置を探索する最大一致度位置探索ステップと、
複数部分領域毎の、一方の画像内での該部分領域の位置を測るための基準位置と最大一致度位置探索ステップにより探索された該部分領域に対応の前記最大一致度位置との位置関係を示す位置関係量のうち、該位置関係量が所定レンジに該当する前記部分領域に関する情報から2つの画像の類似度を計算して画像類似度として出力する類似度計算ステップと、
与えられる画像類似度に基づいて2つの画像が一致するか否か判定する判定ステップとを備え、
最大一致度位置探索ステップにより探索する他方の画像の範囲は、一方の画像内に設定された部分領域の画像の部分画像特徴値に応じて他方の画像内に設定された複数の部分領域の中から選択して決定される。
したがって、カテゴリ判定ステップにより判定されたカテゴリに基づいて選択された照合対象の画像について、部分画像特徴値に応じて探索範囲を限定的に絞ったうえで(探索範囲を削減してから)、一方の画像中の複数の部分領域の他方の画像内で最も一致度の高い位置を探索できる。そして探索結果、得られる部分領域の位置関係量のうち、該位置関係量が所定レンジに該当する部分領域に関する情報から2つの画像の類似度が計算される。
それゆえに、照合対象画像を選択し、選択した画像における画像照合のための探索範囲を限定しているから、照合処理に要する時間がより短く、装置の消費電力のさらなる低減も可能となる。
この発明のさらに他の局面に従うと、上述の画像照合方法をコンピュータに実行させるための画像照合プログラムが提供される。
この発明のさらに他の局面に従うと、上述の画像照合プログラムを記録したコンピュータ読取可能な記録媒体が提供される。
以下、本発明の各実施の形態について図面を参照しながら説明する。ここでは、2つの画像データを照合する。照合の対象となる画像データとして指紋画像データを例示しているが、これに限定されず、個体(個人)毎に似ているが一致することはない生体の他の特徴による画像データであっても、あるいは、線状模様の画像データであってもよい。
(実施の形態1)
図1は実施の形態1に係る画像照合装置1のブロック図である。図2は各実施の形態に係る画像照合装置が搭載されるコンピュータの構成図である。図2を参照してコンピュータは、画像入力部101、CRT(陰極線管)や液晶などからなるディスプレイ610、該コンピュータ自体を集中的に管理し制御するためのCPU(中央処理装置の略)622、ROM(Read Only Memory)またはRAM(ランダムアクセスメモリの略)を含んで構成されるメモリ624、固定ディスク626、FD(フレキシブルディスク)632が着脱自在に装着されて、装着されたFD632をアクセスするFD駆動装置630、CD−ROM(Compact Disc Read Only Memory)642が着脱自在に装着されて、装着されたCD−ROM642をアクセスするCD−ROM駆動装置640、通信ネットワーク300と、該コンピュータとを通信接続するための通信インターフェィス680、プリンタ690およびキーボード650およびマウス660を有する入力部700を含む。これらの各部はバスを介して通信接続される。
コンピュータには、カセット形式の磁気テープが着脱自在に装着されて磁気テープをアクセスする磁気テープ装置が設けられてもよい。
図1を参照して画像照合装置は、画像入力部101、図2のメモリ624または固定ディスク626に対応のメモリ102、バス103、照合処理部11を備える。メモリ102は参照用メモリ1021、計算用メモリ1022、取込画像用メモリ1023、参照用部分画像特徴値計算結果メモリ1024、および取込画像用部分画像特徴値計算結果メモリ1025を含む。照合処理部11は画像補正部104、部分画像特徴値計算部1045、最大一致度位置探索部105、移動ベクトルに基づく類似度計算部(以下、類似度計算部と呼ぶ)106、照合判定部107および制御部108を含む。照合処理部11の各部は対応のプログラムが実行されることによりその機能が実現される。
画像入力部101は指紋センサを含み、該指紋センサにより読込まれた指紋に対応の指紋画像データを出力する。指紋センサには光学式、圧力式、静電容量方式などのいずれを適用してもよい。メモリ102には画像データや各種の計算結果などが格納され、参照用メモリ1021にはテンプレート用指紋画像の複数の部分領域が格納され、計算用メモリ1022には各種の計算結果などが格納され、取込画像用メモリ1023には該画像入力部101から出力された指紋画像データが格納され、参照用部分画像特徴値計算結果メモリ1024ならびに取込画像用部分画像特徴値計算結果メモリ1025には後述の部分画像特徴値計算部1045での計算結果が格納されている。バス103は各部間の制御信号やデータ信号を転送するために用いられる。
画像補正部104は画像入力部101から入力された指紋画像データについての濃淡補正を行なう。部分画像特徴値計算部1045は画像内に設定された複数の部分領域の画像のそれぞれについて、部分画像の模様に応じた値を計算して部分画像特徴値として参照用メモリに対応した計算結果を参照用部分画像特徴値計算結果メモリ1024に、取込画像用メモリに対応した計算結果を取込画像用部分画像特徴値計算結果メモリ1025にそれぞれ出力する。
最大一致度位置探索部105は部分画像特徴値計算部1045で計算された部分画像特徴値に応じて探索範囲を削減した上で、一方の指紋画像の複数の部分領域をテンプレートとし、該テンプレートと他方の指紋画像内で最も一致度の高い位置を探索する、いわゆるテンプレートマッチング部のようなものである。
類似度計算部106はメモリ102に格納された最大一致度位置探索部105の結果情報を用いて、後述の移動ベクトルに基づく類似度を計算する。類似度判定部107は類似度計算部106が算出した類似度により一致・不一致を判定する。制御部108は照合処理部11の各部の処理を制御する。
図1の画像照合装置1において、2つの指紋画像を照合するために、2つの指紋画像に対応の画像Aと画像Bを照合する手順について図3のフローチャートに従い説明する。
初めに制御部108は、画像入力部101へ画像入力開始の信号を送り、その後、画像入力終了信号を受信するまで待機する。画像入力部101は照合を行なう画像Aを入力し、バス103を通してメモリ102の所定アドレスへ格納する(ステップT1)。本実施の形態においては、参照用メモリ1021の所定のアドレスへ格納するものとする。画像入力部101は、画像Aの入力が完了した後、制御部108に画像入力終了信号を送る。
制御部108は、画像入力終了信号を受信すると、再度、画像入力部101へ画像入力開始の信号を送り、その後、画像入力終了信号を受信するまで待機する。画像入力部101は照合を行なう画像Bを入力し、バス103を通してメモリ102の所定アドレスへ格納する(ステップT1)。本実施の形態においては、取込画像用メモリ1023の所定のアドレスへ格納するものとする。画像入力部101は画像Bの入力が完了した後、制御部108に画像入力終了信号を送る。
次に制御部108は画像補正部104に画像補正開始信号を送り、その後、画像補正終了信号を受信するまで待機する。多くの場合、入力画像は画像入力部101の特性や指紋自体の乾燥度合いや指を押し付ける圧力に対して各画素の濃淡値や全体の濃度分布が変化するので画質が一様ではないから、入力画像データをそのまま照合に用いることは適当でない。画像補正部104は、画像入力時の条件の変動を抑制するように入力画像の画質を補正する(ステップT2)。具体的には、入力画像データに対応の画像全体もしくは画像を分割した小領域ごとに、ヒストグラムの平坦化(「コンピュータ画像処理入門」総研出版P98)や画像の二値化処理(「コンピュータ画像処理入門」総研出版P66−69)などを、メモリ102に格納された即ち、参照用メモリ1021、取込画像用メモリ1023に格納された画像AとBに施す。
画像補正部104は画像Aと画像Bに対する画像補正処理の終了後、制御部108に画像補正処理終了信号を送る。
以降で、画像補正部104により画像補正処理を施された画像に対して、部分画像特徴値計算処理(ステップT2a)が行われる。
この部分画像特徴値計算の概略を図4に従って説明する。図4は、画像の部分画像に対し、水平・垂直方向の画素数の最大値などを記載した図である。この図での部分画像は、水平方向、垂直方向ともに画素数16である16画素×16画素の部分領域で構成されている。
本実施の形態1による部分画像特徴値計算は計算対象部分画像につきその模様に応じた値を部分画像特徴値として算出する。つまり、水平方向の最大連続黒画素数maxhlenと垂直方向の最大連続黒画素数maxvlenとを求め、求めた水平方向の最大連続黒画素数maxhlen(模様が水平方向に従う模様である傾向(たとえば横縞である傾向)の大きさを示す値)と垂直方向の最大連続黒画素数maxvlen(模様が垂直方向に従う模様である傾向(たとえば縦縞である傾向)の大きさを示す値)とを比較し、相対的に大きい方向が水平方向ならば、水平(横縞)を意味する値“H”を、垂直方向ならば垂直(縦縞)を意味する値“V”を、その他の場合には“X”を出力する。但し、上記で“H”あるいは“V”と判定された場合でも、最大連続黒画素数があらかじめ両方向に対して設定している下限値hlen0ないしvlen0以上でないならば“X”を出力する。これら条件を数式として表現すると、maxhlen>maxvlenかつmaxhlen≧hlen0ならば“H”を出力し、maxvlen>maxhlenかつmaxvlen≧vlen0ならば“V”を出力し、その他ならば“X”を出力するとなる。
図5には、本発明の実施の形態1による部分画像特徴値計算処理のフローチャートが示される。このフローチャートは計算対象となる参照用メモリ1021の参照画像のn個の部分領域の画像である部分画像Riについてそれぞれ繰返されて、計算結果値は各部分画像Ri毎に対応付けて参照用部分画像特徴値計算結果メモリ1024に格納される。同様に取込み画像用メモリ1024の取込画像のn個の部分画像Riについてそれぞれ繰返されて、計算結果値は各部分画像Ri毎に対応付けて取込画像用部分画像特徴値計算結果メモリ1025に格納される。この部分画像特徴値計算処理の詳細を図5のフローチャートに従って説明する。
制御部108は、部分画像特徴値計算部1045に部分画像特徴値計算開始信号を送り、その後、部分画像特徴値計算終了信号を受信するまで待機する。部分画像特徴値計算部1045は、計算対象画像の部分画像Riを参照用メモリ1021ないしは取込画像用メモリ1023から読出し、計算用メモリ1022に一旦格納する(ステップS1)。部分画像特徴値計算部1045は格納された部分画像Riを読出し、水平方向の最大連続黒画素数maxhlenと垂直方向の最大連続黒画素数maxvlenとを求める(ステップS2)。ここで、水平方向の最大連続黒画素数maxhlenと垂直方向の最大連続黒画素数maxvlenとを求める処理を、図6、図7に基づいて説明する。
図6は、本発明の実施の形態1による部分画像特徴値計算処理(ステップT2a)内の水平方向の最大連続黒画素数maxhlenを求める処理(ステップS2)のフローチャートである。部分画像特徴値計算部1045は、計算用メモリ1022から部分画像Riを読出すとともに、水平方向の最大連続黒画素数maxhlenと垂直方向の画素カウンタjとを初期化、即ち、maxhlen=0、j=0とする(ステップSH001)。
次に、垂直方向の画素カウンタjと垂直方向の最大画素数nとを比較し(ステップSH002)、j≧nならば、次にステップSH016を実行しその他ならば、次にステップSH003を実行する。本実施の形態1ではn=15であり、かつ、処理開始時には、j=0であるため、ステップSH003に進む。
ステップSH003では、水平方向の画素カウンタi、前の画素値c、現在の画素連続数len、現在の行での最大黒画素連続数maxの初期化、即ち、i=0、c=0、len=0、max=0とする(ステップSH003)。次に、水平方向の画素カウンタiと水平方向の最大画素数mとを比較(ステップSH004)し、i≧mならば次にステップSH011を実行し、その他ならば次にステップSH005を実行する。本実施の形態1ではm=15であり、かつ、処理開始時にはi=0であるため、ステップSH005に進む。
ステップSH005では、前の画素値cと現在比較対象となっている座標(i、j)の画素値pixel(i、j)とを比較し、c=pixel(i、j)ならばステップSH006を実行し、その他ならばステップSH007を実行する。本実施の形態1では、cは初期化されていて0(白画素)、pixel(0、0)は、図4を参照して、0(白画素)であるため、c=pixel(i、j)であり、ステップSH006へ進む。
ステップSH006では、len=len+1を実行する。本実施の形態1では、初期化によりlen=0となっており、1を付加されて、len=1となる。次に、ステップSH010へ進む。
ステップSH010では、i=i+1、即ち、水平方向の画素カウンタをiを増加させる。本実施の形態1では、初期化によりi=0となっており、1を付加されて、i=1となる。次にステップSH004に戻る。以降、0行目の画素値、即ち、pixel(i、0)は、図4を参照して、すべて白画素で0であるため、i=15となるまで、ステップSH004〜SH010を繰返すこととなり、ステップSH010処理後にi=15となった時点での各々の値は、i=15、 c=0、 len=15となっている。この状態で次にステップSH004に進む。m=15、i=15であるので、さらにステップSH011に進む。
ステップSH011では、c=1かつmax<lenならばステップSH012を実行し、その他ならばステップSH013を実行する。現時点では、c=0、len=15、max=0であるので、次に、ステップSH013に進む。
ステップSH013では、これまでの行での水平方向の最大連続黒画素数maxhlenと現在の行での最大連続黒画素数maxとを比較し、maxhlen<maxならばステップSH014を実行し、その他ならばステップSH015を実行する。現時点では、maxhlen=0、max=0であるので、次に、ステップSH015に進む。
ステップSH015では、j=j+1、即ち、垂直方向の画素カウンタjを1増加させる。現時点では、j=0であるので、j=1となり、SH002に戻ることになる。
以降、j=1〜14について同様にステップSH002〜SH015の処理を繰返し、ステップSH015処理後、j=15となった時点で、次にステップSH002で、垂直方向の画素カウンタjと垂直方向の最大画素数nとを比較する。比較結果、j≧nならば次にステップSH016を実行し、その他ならば次にステップSH003を実行すると、現時点では、j=15、n=15であるので、次に、ステップSH016に進む。
ステップSH016では、maxhlenを出力することになるが、上述の説明、および、図4を参照して、maxhlenには、水平方向の最大連続黒画素数である、y=2行目のmax値の15が格納されていることが分かり、maxhlen=15が出力される。
次に、図7の、本発明の実施の形態1による部分画像特徴値計算処理(ステップT2a)内の垂直方向の最大連続黒画素数maxvlenを求める処理(ステップS2)のフローチャートについて説明するが、図7は、上記に説明した図6のフローチャートと基本的に同じ処理を行うことが明らかであり、詳細な説明は省略する。図7のフローチャートに従う処理が実行される結果、出力される垂直方向の最大連続黒画素数maxvlenは、図4のx方向に対するmax値である4を示す。
上述の手順で出力されたmaxhlenとmaxvlenとが以降処理される内容を図5のステップS3以降に戻って説明する。
ステップS3では、maxhlenとmaxvlen、および、所定の最大連続黒画素数下限値hlen0とを比較し、maxhlen>maxvlenかつmaxhlen≧hlen0ならば、次にステップS7を実行し、その他ならば次にステップS4を実行する。現時点では、maxhlen=15、maxvlen=4であり、hlen0を2と設定すれば、次にステップS7に進み、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元画像に対する部分画像Riの特徴値格納領域に“H”を出力して、制御部108に部分画像特徴値計算終了信号を送る。
仮に、上記で、hlen0を5と設定していれば、次にステップS4に進み、maxvlen>maxhlenかつmaxvlen≧vlen0ならば次にステップS5を実行し、その他ならば次にステップS6を実行する。この場合、maxhlen=15、maxvlen=4、hlen0=5であるので、次にステップS6に進み、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元画像に対する部分画像Riの特徴値格納領域に“X”を出力し、制御部108に部分画像特徴値計算終了信号を送る。
さらに、仮にステップS2の出力値が、maxhlen=4、maxvlen=15、hlen0=2と想定すると、ステップS3でmaxhlen>maxvlenかつmaxhlen≧hlen0ならば次にステップS7を実行しその他ならば次にステップS4を実行する。
次にステップS4に進んだ場合には、maxvlen>maxhlenかつmaxvlen≧vlen0ならば次にステップS5を実行し、その他ならば次にステップS6を実行する。
次にステップS5に進んだ場合には、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元画像に対する部分画像Riの特徴値格納領域に“V”を出力し、制御部108に部分画像特徴値計算終了信号を送る。
以上のように本実施の形態1による部分画像特徴値計算部1045は、計算対象画像の部分画像Ri(図4参照)について、水平方向および垂直方向を各画素列を抽出(特定)して、抽出された画素列それぞれにおける黒画素の個数に基づいて、該部分画像の模様が水平方向に従う模様である傾向(たとえば横縞である傾向)、または垂直方向に従う模様である傾向(たとえば縦縞である傾向)またはそのどちらでもないことを判別して、その判別結果に応じた値(“H”、“V”および“X”のいずれか)を出力する。この出力値が該部分画像の特徴値を示す。ここでは連続黒画素の個数に基づき特徴値を求めているが、連続白画素の個数に基づいても同様にして特徴値を求めることができる。
上述のようにして画像補正部104により画像補正処理を施され、かつ、部分画像特徴値計算部1045により部分画像の特徴値を計算された画像A、画像Bに対して、次に照合処理(ステップT3)が行われる。この処理を図8のフローチャートに従って説明する。
制御部108は最大一致度位置探索部105へテンプレートマッチング開始信号を送り、テンプレートマッチング終了信号を受信するまで待機する。最大一致度位置探索部105では、ステップS001からステップS007に示されるようなテンプレートマッチング処理が開始される。ステップS001ではカウンタの変数iを1に初期化する。ステップS002では画像Aから部分画像Riとして規定される部分領域の画像をテンプレートマッチングに用いるテンプレートとして設定する。ここでは、部分画像Riは計算を簡単にするために矩形状としているが、これに特定されない。
ステップS0025では部分画像Riに対応する参照部分画像特徴値計算結果CRiをメモリ1024から読出す。
ステップS003ではステップS002で設定したテンプレートに対し、画像B内で最も一致度の高い、つまり画像内のデータが最も一致する場所を探索するが、探索処理量の削減のために、画像Aの部分画像Riに対応する参照部分画像特徴値計算結果CRiと同じ値を持つ画像Bに対する取込画像用部分画像特徴値計算結果CMを持つ部分領域に限定して次の計算を行う。テンプレートとして用いる部分画像Riの左上の角を基準とした座標(x、y)の画素濃度をRi(x、y)とし、画像Bの左上の角を基準とした座標(s、t)の画素濃度をB(s、t)とし、部分画像Riの幅をw、高さをhとし、また、画像AとBの各画素の取りうる最大濃度をV0とし、画像Bにおける座標(s、t)での一致度Ci(s、t)をたとえば以下の(式1)に従い各画素の濃度差を元に計算する。
Figure 2005149455
画像B内において座標(s、t)を順次更新して座標(s、t)における一致度C(s、t)を計算し、その中で最も大きい値を取る位置が最も一致度が高いとし、その位置での部分領域の画像を部分領域Miとし、その位置での一致度を最大一致度Cimaxとする。ステップS004ではステップS003で算出した部分画像Riの画像B内における最大一致度Cimaxをメモリ102の所定アドレスに記憶する。ステップS005では、移動ベクトルViを以下の(式2)に従い計算して求めて、メモリ102の所定アドレスに記憶する。
ここで、上述のように、画像Aに設定された位置Pに対応の部分画像Riに基づいて、画像B内をスキャンして部分画像Riと最も一致度が高い位置Mの部分領域Miが特定されたとき、位置Pから位置Mへの方向ベクトルを、移動ベクトルと呼ぶ。これは、指紋センサにおける指の置かれ方は一様でないことから、一方の画像、たとえば画像Aを基準にすると他方の画像Bは移動したように見えることによる。
Vi=(Vix、Viy)=(Mix−Rix、Miy−Riy)…(式2)
(式2)で、変数RixとRiyは部分画像Riの基準位置のx座標とy座標であり、たとえば画像A内における部分画像Riの左上角の座標に対応する。また変数MixとMiyは部分領域Miの探索結果である最大一致度Cimaxの位置でのx座標とy座標であり、たとえば画像B内におけるマッチングした位置での部分領域Miの左上角の座標に対応する。
ステップ006ではカウンタ変数iが部分領域の総個数n以下か否かを判定し、変数iの値が部分領域の総個数n以下であれば処理をS007に移し、そうでなければ処理をS008に移す。ステップS007では変数iの値に1加える。以降変数iの値が部分領域の総個数n以下の間はステップS002からS007を繰返し行ない、すべての部分画像Riに関し画像Aの部分画像Riに対応する参照部分画像特徴値計算結果CRiと同じ値を持つ画像Bに対する取込画像用部分画像特徴値計算結果CMを持つ部分領域に限定してテンプレートマッチングを行ない、それぞれの部分画像Riの最大一致度Cimaxと、移動ベクトルViとを計算していく。
最大一致度位置探索部105は上記のように順次計算されるすべての部分画像Riに関する最大一致度Cimaxと移動ベクトルViとをメモリ102の所定アドレスに格納したのち、テンプレートマッチング終了信号を制御部108に送り、処理を終了する。
続いて制御部108は類似度計算部106に類似度計算開始信号を送り、類似度計算終了信号を受信するまで待機する。類似度計算部106は、メモリ102に格納されているテンプレートマッチングで得られた各部分画像Riの移動ベクトルViや最大一致度Cimaxなどの情報を用いて、図8のステップS008からステップS020に示される処理を行ない類似度計算を行なう。
ステップS008では類似度P(A、B)を0に初期化する。ここで類似度P(A、B)とは、画像Aと画像Bの類似度を格納する変数とする。ステップS009では基準とする移動ベクトルViのインデックスiを1に初期化する。ステップS010では、基準となる移動ベクトルViに関する類似度Piを0に初期化する。ステップS011では、移動ベクトルVjのインデックスjを1に初期化する。ステップS012では、基準移動ベクトルViと移動ベクトルVjとのベクトル差dVijを以下の(式3)に従い計算する。
dVij=|Vi−Vj|=sqrt((Vix−Vjx)^2+(Viy−Vjy)^2)…(式3)
ここで、変数VixとViyは移動ベクトルViのx方向成分とy方向成分を示し、変数VjxとVjyは移動ベクトルVjのx方向成分とy方向成分を示し、変数sqrt(X)はXの平方根、X^2はXの二乗を計算する計算式である。
ステップS013では、移動ベクトルViとVjのベクトル差dVijに関し所定の定数εと比較し、移動ベクトルViと移動ベクトルVjが実質的に同一の移動ベクトルとみなすことが可能かを判断する。ベクトル差dVijが定数εより小さければ、移動ベクトルViと移動ベクトルVjが実質的に同一と見なして処理をステップS014に移し、逆に大きければ実質的に同一とは見なさず処理をステップS015に移す。ステップS014では類似度Piを以下の(式4)〜(式6)で増加させる。
Pi=Pi+α…(式4)
α=1…(式5)
α=Cjmax…(式6)
(式4)における変数αは類似度Piを増加させる値である。(式5)のようにα=1とした場合には、類似度Piは基準とした移動ベクトルViと同一の移動ベクトルを持つ部分領域の個数となる。また、(式6)のようにα=Cjmaxとした場合には、類似度Piは基準とした移動ベクトルViと同一の移動ベクトルを持つ部分領域に関するテンプレートマッチング時の最大一致度の総和となる。またベクトル差dVijの大きさに応じて変数αの値を小さくするなどしても構わない。
ステップS015はインデックスjが部分領域の総個数nより小さいかどうかを判定し、インデックスjが部分領域の総個数nより小さい場合は処理をステップS016に移し、大きい場合には処理をステップS017に移す。ステップS016ではインデックスjの値を1増加させる。ステップS010からステップS016の処理により、基準とした移動ベクトルViに関して、同じ移動ベクトルを持つと判定される部分領域の情報を用いた類似度Piが計算される。ステップS017では移動ベクトルViを基準とした場合の類似度Piと変数P(A、B)と比較を行ない、類似度Piが現在までの最大の類似度(変数P(A、B)の値)より大きければ処理をS018に移し、小さければ処理をS019に移す。
ステップS018では、変数P(A、B)に移動ベクトルViを基準とした場合の類似度Piの値を設定する。ステップS017、S018では、移動ベクトルViを基準とした場合の類似度Piが、この時点までに計算された他の移動ベクトルを基準にした場合の類似度の最大値(変数P(A、B)の値)と比べ大きい場合には、基準としている移動ベクトルViが現在までのインデックスiの中で最も基準として正当であるとしている。
ステップS019では基準とする移動ベクトルViのインデックスiの値と部分領域の個数(変数nの値)を比較する。インデックスiが部分領域の個数より小さければ処理をステップS020に移す。ステップS020ではインデックスiを1増加させる。
ステップS008からステップS020により、画像Aと画像Bにおける類似度が変数P(A、B)の値として計算される。類似度計算部106は上記のように計算した変数P(A、B)の値をメモリ102の所定アドレスに格納し、制御部108へ類似度計算終了信号を送り、処理を終了する。
続いて制御部108は照合判定部107に照合判定開始信号を送り、照合判定終了信号を受信するまで待機する。照合判定部107は照合し判定する(ステップT4)。具体的には、メモリ102に格納された変数P(A、B)の値で示される類似度と予め定められた照合閾値Tとを比較する。比較結果、変数P(A、B)≧Tならば画像Aと画像Bは同一指紋から採取されたものと判定しメモリ102の所定アドレスへ照合結果として‘一致’を示す値、たとえば‘1’を書込み、そうでなければ異なる指紋から採取されたものと判定し、メモリ102、即ち、計算用メモリ1022の所定アドレスへ照合結果として‘不一致’を示す値、たとえば‘0’を書込む。その後、制御部108へ照合判定終了信号を送り処理を終了する。
最後に制御部108がメモリ102に格納された照合結果をディスプレイ610またはプリンタ690を介して出力して(ステップT5)、画像照合を終了する。
本実施の形態において、画像補正部104、部分画像特徴値計算部1045、最大一致度位置探索部105、類似度計算部106、照合判定部107および制御部108のすべてあるいは一部は処理手順をプログラムとして記憶させたメモリ624などのROMとそれを実行するためのCPU622などの演算処理装置を用いて構成してもよい。
ここで、本実施の形態1による照合処理の具体例ならびにそれによる効果を示す。
上述の通り、本実施の形態での特徴となる照合処理は、図3のフローチャートの部分画像特徴値計算処理(T2a)、および、類似度計算処理(T3)であるため、以降、画像入力(T1)、画質補正(T2)が施された画像などについて、部分画像ならびに画像特徴値の入力順に記述する。
図9(B)は、画像入力(T1)、画質補正(T2)が施され、取込画像用メモリ1023に格納されている画像A、図9(C)は、画像入力(T1)、画質補正(T2)が施され、参照用メモリ1021に格納されている画像Bである。上述の照合処理を2つの画像AとBを例にして説明する。
まず、図9(A)を参照して画像内の部分画像位置をいかに特定するかについて説明する。図9(A)の画像の形状(形、サイズ)は図9(B)と図9(C)の画像AとBに一致している。図9(A)の画像内にはメッシュ状に区切られて64個の同じ形状(矩形状)の部分画像が準備される。これら64個の部分画像は図9(A)の画像の右上から左下方向に数値1〜64を順に当てて、画像内の64個の部分画像の位置を示す。ここでは画像内の64個の部分画像それぞれは、対応の位置を示す数値を用いて部分画像g1、部分画像g2、…、部分画像g64として特定される。図9(B)、図9(C)および図9(A)の画像は同一の形状を有するので、図9(B)と(C)の画像AとBにおいても図9(A)に示すような64個の部分画像が設けられて部分画像g1、部分画像g2、…、部分画像g64としてその位置を特定できる。
図10(A)〜(C)は画像AとBの照合手順を説明する図である。上述の通り、本実施の形態1においては、画像Aの“H”ないし“V”の部分画像特徴値を持つ部分画像について、対応する部分画像特徴値を持つ部分画像を画像B内で探索する。従って、画像A内の部分画像について、最初に“H”ないし“V”の部分画像特徴値を持つ部分画像が最初の対象部分画像となる。図10(A)の画像(A)-S1は、画像Aの部分画像につき、部分画像特徴値を示し、かつ、最初に“H”ないし“V”の部分画像特徴値を持つ部分画像g27、即ち“V1”につき、ハッチングを施した画像である。
この画像(A)-S1の通り、最初の部分画像特徴値は、“V”である。このため、画像B内で部分画像特徴値が“V”である部分画像が探索対象となる。画像B内で、最初に部分画像特徴値“V”を持つ部分画像g11、即ち“V1”につきハッチングを施した画像が図10(A)の画像(B)-S1−1である。この部分画像に対し、図8のステップS002〜S007で示される処理が行われる。次に、画像B内で、部分画像g11の次に部分画像特徴値“V”を持つ部分画像g14、即ち“V1”(図10(A)の画像(B)-S1-2)につき、処理が行われ、以降部分画像g19、g22、g26、g27、g30、g31(図10(A)の画像(B)-S1-8)につき、処理が行われる。画像Aの最初に“H”ないし“V”の部分画像特徴値を持つ部分画像g27につき一通り処理されたため、次に“H”ないし“V”の部分画像特徴値を持つ部分画像g28(図10(B)の画像(A)-S2)について、同様に図8のステップS002〜S007で示される処理が行われ、部分画像g28の部分画像特徴値が“H”であるため、画像Bの部分画像特徴値が“H”である部分画像g12(図10(B)の画像(B)-S2-1)、画像g13(図10(B
)の画像(B)-S2-2)、g33、g34、g39、g40、g42〜g46、g47(図10(B)の画像(B)-S2-12)について一通り処理が行われる。以降、画像Aで“H”ないし“V”の部分画像特徴値を持つ部分画像g29、g30、g35、g38、g42、g43、g46、g47、g49、g50、g55、g56、g58〜62、g63(図10(C)の画像(A)-S20)についても同様に処理が行われる。
本実施の形態による画像Aと画像Bとにおいて探索される部分画像の数は、(部分画像特徴値“V”である画像Aの部分画像数×部分画像特徴値“V”である画像Bの部分画像数+部分画像特徴値“H”である画像Aの部分画像数×部分画像特徴値“H”である画像Bの部分画像数)である。
図10(A)〜(C)の場合の探索される部分画像の数は、探索部分画像数(本実施の形態1)=8×8+12×12=208である。
尚、本実施の形態による部分画像特徴値は、図形の模様にも依存するため、図9(B)と(C)の模様とは別の模様の場合を示す。図11(A)と(B)は取込画像Aと参照画像Bとを示し、図9(B)と(C)の画像Aと画像Bとは別の図形模様を示すものであり、図11(C)は、図9(C)の参照画像Bとは異なる参照画像Cを示すものである。
図11(D)、図11(E)および図11(F)各々は、図11(A)、図11(B)および図11(C)の画像A、BおよびCそれぞれの部分画像特徴値を示すものである。
図11(A)の取込画像Aに対する図11(C)の参照画像Cに対する探索部分画像数についても、上記と同様に、(部分画像特徴値“V”である画像Aの部分画像数×部分画像特徴値“V”である画像Cの部分画像数+部分画像特徴値“H”である画像Aの部分画像数×部分画像特徴値“H”である画像Cの部分画像数)で計算できる。図11(D)と図11(F)を参照すると、探索部分画像数(本実施の形態1)=8×12+12×16=288である。
尚、本説明では、部分画像特徴値が同じ領域を探索対象としているが、必ずしもそうする必要はなく、照合精度の向上などを意図して、参照用部分画像特徴値が“H”の場合に取込画像用部分画像特徴値が“H”だけでなく“X”の領域、あるいは、参照用部分画像特徴値が“V”の場合に取込画像用部分画像特徴値が“V”だけでなく“X”の領域も探索対象としても良いことはいうまでもない。
また、部分画像特徴値が“X”であることは対応の部分画像が縦縞とも横縞とも特定できない模様を呈しているといえ、照合速度の向上を図る場合には、最大一致度位置検索部105による探索範囲からは“X”を示す部分領域は除くようにしてもよい。
(実施の形態2)
本実施の形態2では、取込画像と照合されるべき参照画像が多数準備されていた場合に、より速やかに照合処理することができる技術が示される。つまり、多数の参照画像を予め複数のカテゴリに分類しておく。そして、取込画像が入力されると、該取込画像はいずれのカテゴリに該当するかを判定して、判定結果が示す取込画像のカテゴリに基づいて選択されたカテゴリに属する参照画像のそれぞれと該取込画像とを照合する手順が採用される。
本実施の形態2に係る画像照合装置1Aの構成が図12に示される。図12の画像照合装置1Aと図1の画像照合装置1とを比較して異なる点は、照合処理部11は図1の構成に加えて画像カテゴリ判定部1047を有し、メモリ102には図1の参照用部分画像特徴値計算結果メモリ1024および取込画像用部分画像特徴値計算結果メモリ1025に代替して参照用部分画像特徴値計算結果および画像カテゴリ計算結果メモリ1024A(以下、単にメモリ1024Aと称す)および取込画像用部分画像特徴値計算結果および画像カテゴリ計算結果メモリ1025A(以下、単にメモリ1025Aと称す)を有する点にある。メモリ102の他の部分は図1に示すものと同様である。部分画像特徴値計算部1045、画像カテゴリ判定部1047および最大一致度位置探索部105の機能は次のようであるが、照合処理部11の他の部分は実施の形態1と同様である。
部分画像特徴値計算部1045は画像内に設定された複数の部分領域の画像のそれぞれについて、部分画像の模様に応じた値を計算して部分画像特徴値として参照用メモリに対応した計算結果をメモリ1024Aに、取込画像用メモリに対応した計算結果をメモリ1025Aにそれぞれ出力する。
画像カテゴリ判定部1047は、予め次の処理を行う。つまり、複数の参照用画像をカテゴリに分類する計算をする。その際には、メモリ1024Aを参照して、各参照画像の特定箇所の部分画像の特徴値の組合わせによりカテゴリ分けを行い、その分類結果をメモリ1024Aに画像情報とともに登録する。
照合のための画像が入力された際には、画像カテゴリ判定部1047は、メモリ1025Aを参照して部分画像特徴値を読出し、特定箇所の部分画像の部分画像特徴値の組合わせを求め、当該部分画像特徴値の組合わせが、上記のどのカテゴリに属するかを判定する。判定結果が示すカテゴリと同じカテゴリに属する参照画像のみを最大一致度位置探索部105による探索の対象とするか、または同一カテゴリに属する参照画像から優先的に最大一致度位置探索部105による探索の対象とすることを指示する判定結果の情報を出力する。
最大一致度位置探索部105は、画像カテゴリ判定部1047により出力された判定情報に基づき照合対象となる参照画像を特定する。そして、入力した取込画像と特定した参照画像それぞれとについて、部分画像特徴値計算部1045で計算された部分画像特徴値に応じて探索範囲を削減した上で、前述と同様にテンプレートマッチングの処理を実施する。
本実施の形態2による照合処理の手順が図13のフローチャートに示される。図13と図3を参照して異なる点は、図3の類似度計算処理(T3)と照合し判定の処理(T4)に代替して、画像カテゴリ判定計算の処理(T2b)と類似度計算と照合・判定の処理(T3b)とを設けた点にある。図13の他の処理は図3のそれと同じである。図14には類似度計算と照合・判定の処理(T3b)のフローチャートが示されて、図15には画像カテゴリ判定計算の処理(T2b)のフローチャートが示される。
画像照合処理において、実施の形態1と同様にして画像補正部104により取込画像について画像補正処理が施されて(T2)、その後、部分画像特徴値計算部1045により取込画像と参照画像について部分画像の特徴値が計算される。このような計算が施された取込画像と参照画像に対して画像カテゴリ判定計算処理(T2b)が画像カテゴリ判定部1047により実行される。この手順を図15のフローチャートに従い、図16〜図19を参照しながらに説明する。
まず、メモリ1025Aから各マクロ部分画像の部分画像特徴値を読出す(ステップSJ(以下、単にSJと略す)01)。具体的には次のようである。
取扱う画像が指紋であると想定した場合、既に知られている様に、指紋の紋様は図16に示される様な例えば5通りのカテゴリに分類される。図16のテーブルTB1では、指紋について知られている画像例31を示すデータのそれぞれに対応して、部分画像群(マクロ部分画像)の配置、画像カテゴリ名およびカテゴリ番号を示すデータ32から34がそれぞれ登録されている。テーブルTB1はメモリ624に予め格納されて画像カテゴリ判定部1047によりカテゴリ判定のために適宜参照される。データ32は後述の図18(D)および図19(D)にも示されている。
テーブルTB1には指紋の画像例のデータ31として示す渦状紋の画像データ31A、弓状紋の画像データ31B、突起弓状紋の画像データ31C、右蹄状紋の画像データ31D、左蹄状紋の画像データ31Eおよびこれらに該当しない画像データ31Fが登録されている。これら画像データの特徴を利用して、画像の照合対象を参照画像、取込画像ともに同一カテゴリに絞れば、照合に必要な処理量が低減されるものと考えられる。このカテゴリ分けに、画像の部分画像の特徴値を利用することが可能であれば、少ない処理量で分類が可能であると期待できる。
図17(A)から(F)を参照して、図16の登録内容を説明する。図17(B)と(C)は、入力(取込)画像と参照画像とそれぞれ模式的に示したものであり、縦と横の両方向につきそれぞれ8分割、即ち、64個の部分画像からなる画像として示される。図17(A)には、前述の図9(A)と同様に図17(B)と(C)各々の部分画像について位置g1〜g64が規定して示される。
図17(D)には、本実施の形態の画像におけるマクロ部分画像M1〜M9が規定して示される。本実施の形態においてマクロ部分画像とは、取込画像または参照画像の位置g1〜g64で示される複数の特定の部分画像の組を指す。本実施の形態では、図17(D)のマクロ部分画像M1中の数値1−4で示す様に4つの部分画像で1つのマクロ部分画像を構成している。本実施の形態では、1画像当たり9つのマクロ部分画像M1〜M9を有するとしているが、1画像当たりのマクロ部分画像の個数は9個に限定されず、また1マクロ部分画像を構成する部分画像の個数も4個に限定されない。マクロ部分画像M1〜M9を構成する部分画像は対応の位置(g1〜g64)を用いて示すと下記の通りである。
マクロ部分画像M1∋g4、g5、g12、g13
マクロ部分画像M2∋g25、g26、g33、g34
マクロ部分画像M3∋g27、g28、g35、g36
マクロ部分画像M4∋g28、g29、g36、g37
マクロ部分画像M5∋g29、g30、g37、g38
マクロ部分画像M6∋g31、g32、g39、g40
マクロ部分画像M7∋g49、g50、g57、g58
マクロ部分画像M8∋g52、g53、g60、g61
マクロ部分画像M9∋g55、g56、g63、g64
従って、これらマクロ部分画像M1〜M9それぞれについて、その部分画像の特徴値をメモリ1025Aから読出す(SJ01)。図17(B)と(C)の画像に対する部分画像特徴値が図17(E)と(F)にそれぞれ示されている。図18(A)は、図17(B)と(E)に対応する画像に対する各マクロ部分画像M1〜M9に対し読出した部分画像特徴値を示している。
次に、これらマクロ部分画像毎に特徴値、すなわち「H」、「V」、「X」を判定する(SJ02)。この判定手順について説明する。
本実施の形態では、各マクロ部分画像を構成する4個の部分画像の内、3個または4個の部分画像の特徴値がすべて「H」またはすべて「V」である場合には、該マクロ部分画像の特徴値は「H」または「V」であると判定し、その他の場合には「X」と判定する。
具体例を説明する。図17(B)の画像の場合には、マクロ部分画像M1を構成する4個の部分画像の特徴値は、「H」、「H」、「H」、「H」であり、「V」または「X」である部分画像は0個である(図18(B)を参照)。そのため、マクロ部分画像M1の特徴値は「H」と判定される(図18(C)を参照)。同様にして、マクロ部分画像M2〜M9そそれぞれについて判定すると、順に、特徴値は「V」、「X」、「X」、「X」、「V」、「X」、「H」、「X」と判定される(図18(C)を参照)。
次に、上記各マクロ部分画像毎の判定結果を参照して、画像のカテゴリ判定を行う(SJ03)。この判定手順を説明する。まず、図16の画像データ31A〜31Fに示す指紋紋様の画像の特徴による部分画像群の配置との比較を行う。図18(D)には、画像データ31A〜31Fのマクロ部分画像M1〜M9の特徴値がカテゴリ番号のデータ34に対応付けて示される。
図18(C)と図18(D)とを比較して、図18(C)のマクロ部分画像M1〜M9の特徴値と一致するマクロ部分画像M1〜M9の特徴値を有するのは、カテゴリ番号のデータ34が‘1’である画像データ31Aであると分かる。従って、取込み画像(入力画像)の図17(B)に対応する画像は‘1’のカテゴリに属する、言換えると渦状紋の指紋画像であると判定される。
同様に、例えば図17(C)に対応する画像については、図19(A)〜(E)に示される如く処理されて、‘2’のカテゴリに属する、言換えると弓状紋の指紋画像であると判定される。
次に、図13に戻り、上述のような画像カテゴリの判定結果を考慮した類似度計算及び照合判定処理(T3)が行われる。この処理を図14のフローチャートに従って説明する。
制御部108は最大一致度位置探索部105へテンプレートマッチング開始信号を送り、テンプレートマッチング終了信号を受信するまで待機する。最大一致度位置探索部105では、ステップS001a〜S001c、S002a〜S002bおよびS003〜S007に示されるようなテンプレートマッチング処理が開始される。
まず、カウンタの変数k(ここで変数kは、同一カテゴリに属する参照画像数をカウントする変数)を1に初期化する(S001a)。次に、上述の画像カテゴリ判定計算(T25b)により出力された判定結果が示す入力画像のカテゴリと同一のカテゴリに属する参照画像Akを参照する。次にカウンタの変数iを1に初期化する(S001c)。そして、参照画像Akから部分画像Riとして規定される部分領域の画像をテンプレートマッチングに用いるテンプレートとして設定する(S002b)。以降は、前述の図8と同様な手順が参照画像Akと入力画像について実行される。
その後、制御部108は照合判定部107に照合判定開始信号を送り、照合判定終了信号を受信するまで待機する。照合判定部107は照合し判定する。具体的には、メモリ102に格納された変数P(Ak、B)の値で示される類似度と予め定められた照合閾値Tとを比較する(ステップS021)。比較結果、変数P(Ak、B)≧Tならば参照画像Akと入力画像Bは同一指紋から採取されたものと判定しメモリ102の所定アドレスへ照合結果として‘一致’を示す値、たとえば‘1’を書込む(S024)。そうでなければ異なる指紋から採取されたものと判定し、変数k<p(ここでpは同一カテゴリ内の参照画像の総個数)ならば(S022でYES)、即ち同一カテゴリの参照画像Akに未照合の画像があるならば、kを1増加させ(S023)、ステップS001bに戻り、同一カテゴリの別の参照画像を用いて再度、以降の類似度計算および照合処理を行う。
別の参照画像による照合処理後、メモリ102に格納された変数P(Ak、B)の値で示される類似度と予め定められた照合閾値Tとを比較した結果、変数P(Ak、B)≧Tならば(S021でYES)、画像Akと画像Bは同一指紋から採取されたものと判定しメモリ102の所定アドレスへ照合結果として‘一致’を示す値、たとえば‘1’を書込み(S024)、制御部108へ照合判定終了信号を送り処理を終了する。一方、変数P(Ak、B)≧Tでないならば(S021でNO)、変数k<pでない(S022でNO)即ち、同一カテゴリの参照画像Akに未照合画像がないならば、メモリ102、即ち、計算用メモリ1022の所定アドレスへ照合結果として‘不一致’を示す値、たとえば‘0’を書込む。その後、制御部108へ照合判定終了信号を送り処理を終了する。以上で類似度計算及び照合判定処理は終了する。
図13に戻り、最後に制御部108がメモリ102に格納された照合結果をディスプレイ610またはプリンタ690を介して出力して(ステップT5)、画像照合を終了する。
本実施の形態において、画像補正部104、部分画像特徴値計算部1045、画像カテゴリ判定部1047、最大一致度位置探索部105、類似度計算部106、照合判定部107および制御部108のすべてあるいは一部は処理手順をプログラムとして記憶させたメモリ624などのROMとそれを実行するためのCPU622などの演算処理装置を用いて構成してもよい。
ここで、本実施の形態2による照合処理の具体例ならびにそれによる効果を示す。
上述の通り、本実施の形態での特徴となる照合処理は、図13のフローチャートの画像カテゴリ判定計算処理(T2b)および類似度計算及び照合判定処理(T3b)であるため、以降、画像入力(T1)、画質補正(T2)、部分画像特徴値計算処理(T2a)が施された画像などについて記述する。
ここで、画像照合処理システムにおいて100個の参照画像のデータが登録されており、参照画像の紋様に、即ち、本実施の形態でいうところの画像カテゴリに特定の偏りのない場合を想定する。この想定のもと、本実施の形態2の各カテゴリに属する参照画像は20個となる。
実施の形態1においては、ある入力画像に対して、平均的には100個の参照画像に対し、約半分の50個の参照画像と照合することにより、判定結果として‘一致’を得ることが期待できるであろう。一方、本実施の形態2においては、照合処理に先立って画像カテゴリ判定計算(T2b)により、照合対象となる参照画像が1つのカテゴリに属するものに限定されるので、本実施の形態2では、各カテゴリに属する参照画像の総数の約半分の10個の参照画像と照合することにより判定結果として‘一致’を得ることが期待できるであろう。
したがって、本実施の形態2の類似度判定及び照合判定の処理量/実施の形態1の類似度判定及び照合判定の処理量≒(1/カテゴリ数)と考えられる。但し、実施の形態2では照合処理の前に画像カテゴリ判定計算(T2b)分の処理量が必要であるが、この計算のために使用される元情報である各マクロ部分画像に属す部分画像の特徴値(図18(A)と図19(A))は実施の形態1にも使用するものであるから、実施の形態2は実施の形態1に比べて処理量の増加はないといえる。
各マクロ部分画像単位での特徴値判定(図18(C)と図19(C))及び画像のカテゴリ判定(図18(E)と図19(E))は、図18(D)と図18(E)との比較(または、図19(D)と図19との比較)で示す様に処理量の少ない比較処理を多数の参照画像との照合処理の前に1度のみ行うものであり、実質的に無視できる程度の処理量であることは明らかである。
なお、本実施の形態2においては、参照画像については、予めメモリ1024Aに取り込んでいる場合を記載しているが、スナップショット画像を使用して参照画像を構成しても良い。
(実施の形態3)
部分画像特徴値計算は実施の形態1とは異なる次の手順で実施されてもよい。
本実施の形態3の部分画像特徴値計算の概略を図20に従って説明する。図20は、画像の部分画像に対し、水平方向および垂直方向を代表する画素列、即ち、本実施の形態では、水平方向についてはy=7の画素列、垂直方向についてはx=7の画素列についての画素値の変化の回数などを示す図である。この図での部分画像は、水平方向、垂直方向ともに画素数16である16画素×16画素の部分領域で構成されている。
本実施の形態3による部分画像特徴値計算は、計算対象部分画像につき、水平方向の画素値の変化数hcntと垂直方向の画素値の変化数vcntとを求め、求めた水平方向の画素値の変化数hcntと垂直方向の画素値の変化数vcntとを比較し、相対的に画素値の変化数が大きい方向が垂直方向ならば、水平を意味する値“H”を、水平方向ならば垂直を意味する値“V”を、その他の場合には“X”を出力する。
但し、上記で“H”あるいは“V”と判定された場合でも、画素値の変化数があらかじめ両方向に対して設定している画素値変化判定の下限値cnt0未満であれば “X”を出力する。尚、画素値変化判定の下限値cnt0が少ない場合は、部分画像内の模様の変化の絶対値が小さいことを示し、最も極端な場合であるcnt0=0の場合とは、部分領域全体に値があるか無いかいずれかであり、水平・垂直の判断を行わないことが現実的である。これら条件を数式を用いて表現すると、hcnt<vcntかつmax(hcnt、vcnt)≧cnt0ならば“H”を出力し、hcnt>vcntかつmax(hcnt、vcnt)≧cnt0ならば“V”を出力し、その他ならば“X”を出力するとなる。
図21には実施の形態3による部分画像特徴値計算処理のフローチャートが示される。このフローチャートは計算対象となる参照用メモリ1021の参照画像のn個の部分画像Riについてそれぞれ繰返されて、計算結果値は各部分画像Ri毎に対応付けて参照用部分画像特徴値計算結果メモリ1024に格納される。同様に取込み画像用メモリ1024の取込画像のn個の部分画像Riについてそれぞれ繰返されて、計算結果値は各部分画像Ri毎に対応付けて取込画像用部分画像特徴値計算結果メモリ1025に格納される。次に、この部分画像特徴値計算処理の詳細を図21のフローチャートに従って説明する。
制御部108は、部分画像特徴値計算部1045に部分画像特徴値計算開始信号を送り、その後、部分画像特徴値計算終了信号を受信するまで待機する。部分画像特徴値計算部1045は、計算対象画像の部分画像Riを参照用メモリ1021ないしは取込画像用メモリ1023から読出し、計算用メモリ1022に一旦格納する(ステップSS1)。
部分画像特徴値計算部1045は格納された部分画像Riを読出し、水平方向の画素値の変化数hcntと垂直方向の画素値の変化数vcntとを求める(ステップSS2)。ここで、水平方向の画素値の変化数hcntと垂直方向の画素値の変化数vcntとを求める処理を、図22、図23に基づいて説明する。
図22は、本発明の実施の形態3による部分画像特徴値計算処理(ステップT2a)内の水平方向の画素値の変化数hcntを求める処理(ステップSS2)のフローチャートである。図22を参照して、部分画像特徴値計算部1045は、計算用メモリ1022から部分画像Riを読出すとともに、水平方向の画素値の変化数hcntを初期化、即ちhcnt=0とするとともに、水平方向を代表する画素列の座標j、即ち本実施の形態では、y軸上の最大座標値nの2分の1を小数点以下切り捨てたj=TRUNC(n/2)とする。具体的な値は、TRUNC(15/2)=7とする(ステップSH101)。
次に、x軸方向の座標値を表現するパラメータiと画素値を表現するパラメータcを初期化、即ちi=0、c=0とする(ステップSH102)。
次に、x軸方向の座標値を表現するパラメータiとx軸方向の最大座標値mとを比較(ステップSH103)し、i≧mならば次にステップSH108を実行し、その他ならば次にステップSH104を実行する。本実施の形態3ではm=15であり、かつ処理開始時にはi=0であるためステップSH104に進む。
次に、pixel(i、j)と画素値を表現するパラメータcとを比較し、c=pixel(i、j)ならば次にステップSH107を実行し、その他ならば次にステップSH105を実行する。現在、i=0、j=7であり、図20を参照して、この座標でのpixel(0、7)=0であるので、cと等しく次にステップSH107に進む。
ステップSH107では、x軸方向の座標値を表現するパラメータiの座標値が1増加され、ステップSH103に進む。以降上記と同様の処理がi=1〜4の間行われた上で、i=5の状態で再度ステップSH103に進む。この状態では、i≧mであるのでステップSH104に進む。
次に、pixel(i、j)と画素値を表現するパラメータcとを比較し、c=pixel(i、j)ならば次にステップSH107を実行し、その他ならば次にステップSH105を実行する。現在、i=5、j=7、c=0であり、図20を参照して、この座標でのpixel(5、7)=1であるので、次にステップSH105に進む。
次に、ステップSH105で、水平方向の画素値が変化したことに伴い、hcntを1増加させた上で、更に画素値の変化を検知するために、現在の画素値pixel(5、7)=1を画素値を表現するパラメータcに入力する(ステップSH106)。
次に、ステップSH107では、x軸方向の座標値を表現するパラメータiの座標値が1増加され、i=6とされた上で、ステップSH103に進む。
以降、i=6〜15の間は、上記ステップSH103→SH104→SH107の処理が同様に行われ、i=16となった時点で、ステップSH103でi≧mとなるため、次にステップSH108、即ち、hcnt=1が出力される。
次に、図23の本発明の実施の形態3による部分画像特徴値計算処理(ステップT2a)内の垂直方向の画素値の変化数vcntを求める処理(ステップSS2)のフローチャートについて説明するが、図23は、上記に説明した図22のフローチャートと基本的に同じ処理を行うことが明らかであり、詳細な説明は省略する。
出力される水平方向の画素値の変化数hcnt、垂直方向の画素値の変化数vcntは、図20の通り、hcnt=1、vcnt=7である。出力されたhcntとvcntとが以降処理される内容を図21のステップSS3以降に戻って説明する。
ステップSS3では、hcntとvcnt、および、cnt0とから、max(hcnt、vcnt)≧cnt0かつhcnt≠vcntであるか比較する。現時点では、hcnt=1、vcnt=7であり、cnt0を2と設定すれば、次にステップSS4に進み、ステップSS4のhcnt<vcntを満たすため、次にステップSS7に進み、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元画像に対する部分画像Riの特徴値格納領域に“H”を出力して、制御部108に部分画像特徴値計算終了信号を送る。
仮にステップSS2の出力値が、hcnt=7、vcnt=1、cnt0=2であるならば、ステップSS3の条件を満たし、ステップSS4の条件を満たさないため、次にステップSS6に進み、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元画像に対する部分画像Riの特徴値格納領域に“V”を出力して、制御部108に部分画像特徴値計算終了信号を送る。
さらに、仮にステップSS2の出力値が、hcnt=7、vcnt=7、cnt0=2や、hcnt=2、vcnt=1、cnt0=5であるならば、ステップSS3の条件を満たさないため、次にステップSS5に進み、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元画像に対する部分画像Riの特徴値格納領域に“X”を出力して、制御部108に部分画像特徴値計算終了信号を送る。
以上のように本実施の形態3による部分画像特徴値計算部1045は、計算対象画像の部分画像Ri(図20参照)について、水平方向および垂直方向を代表する画素列(図20の破線矢印で示す画素列)を抽出(特定)して、抽出された画素列それぞれにおける画素値の変化(1→0、0→1)の回数に基づいて、該部分画像の模様が水平方向に従う模様である傾向(たとえば横縞である傾向)、または垂直方向に従う模様である傾向(たとえば縦縞である傾向)またはそのどちらでもないことを判別して、その判別結果に応じた値(“H”、“V”および“X”のいずれか)を出力する。この出力値が該部分画像の特徴値を示す。
(実施の形態4)
部分画像特徴値計算の手順は上述の実施の形態1および2に従うものに限定されず、本実施の形態4のようであってもよい。
本実施の形態4に係る部分画像特徴値計算の概略を図24(A)〜(F)に従って説明する。図24(A)〜(F)は、画像の部分画像Riに対し、黒画素と白画素の総数などを記載して示す図である。これらの図での部分画像Riは、水平方向、垂直方向ともに画素数16である16画素×16画素の部分領域で構成されている。本実施の形態4による部分画像特徴値計算は、図24(A)の計算対象部分画像Riにつき、計算対象部分画像を左右に1画素ずつずらして重ねたときの黒画素数の増加量hcnt(すなわち図24(B)の画像WHiのハッチング部分)と、計算対象部分画像を上下に1画素ずつずらして重ねたときの黒画素数の増加量vcnt(すなわち図24(C)の画像WViのハッチング部分)とを求め、求めた左右にずらしたときの増加量hcntと上下にずらしたときの増加量vcntとを比較し、上下にずらしたときの増加量が左右にずらしたときの増加量の2倍より大きければ、水平を意味する値“H”を、左右にずらしたときの増加量が上下にずらしたときの増加量の2倍よりも大きければ、垂直を意味する値“V”を、その他の場合には“X”を出力する。ただし、上記で“H”あるいは“V”と判定された場合でも、黒画素数の増加量があらかじめ両方向に対して設定している下限値vcnt0ないしhcnt0以上でないならば“X”を出力する。これら条件を数式として表現すると、(1)vcnt>2×hcntかつ(2)vcnt≧vcnt0ならば“H”を出力し、(3)hcnt>2×vcntかつ(4)hcnt≧hcnt0ならば“V”を出力し、その他ならば“X”を出力するとなる。
尚、本実施の形態4では、上下にずらしたときの増加量が左右にずらしたときの増加量の2倍より大きければ水平を意味する値“H”を出力しているが、この2倍という値を別の値に変更しても良い。左右方向についても同様である。さらに、部分領域の中で黒画素数がある範囲(例えば部分画像Riの全体画素数に対して30%以上70%以下など)にあり、照合処理に適する画像であることが予めわかっているような場合は、上記(2)と(4)の条件式については削除しても良い。
図25(A)は、本発明の実施の形態4による部分画像特徴値計算処理のフローチャートである。このフローチャートは計算対象となる参照用メモリ1021の参照画像のn個の部分画像Riについてそれぞれ繰返されて、計算結果値は各部分画像Ri毎に対応付けて参照用部分画像特徴値計算結果メモリ1024に格納される。同様に取込み画像用メモリ1024の取込画像のn個の部分画像Riについてそれぞれ繰返されて、計算結果値は各部分画像Ri毎に対応付けて取込画像用部分画像特徴値計算結果メモリ1025に格納される。次に、この部分画像特徴値計算処理の詳細を図25(A)のフローチャートに従って説明する。
制御部108は、部分画像特徴値計算部1045に部分画像特徴値計算開始信号を送り、その後、部分画像特徴値計算終了信号を受信するまで待機する。
部分画像特徴値計算部1045は、計算対象画像の部分画像Ri(図24(A)参照)を参照用メモリ1021ないしは取込画像用メモリ1023から読出し、計算用メモリ1022に一旦格納する(ステップST1)。部分画像特徴値計算部1045は格納された部分画像Riを読出し、図24(B)のように左右にずらしたときの増加量hcntと図24(C)のように上下にずらしたときの増加量vcntとを求める(ステップST2)。
左右にずらしたときの増加量hcntと上下にずらしたときの増加量vcntとを求める処理を、図26と図27に基づき説明する。図26は、本発明の実施形態3による部分画像特徴値計算処理(ステップT2a)内の左右にずらしたときの増加量hcntを求める処理(ステップST2)のフローチャートである。
図26を参照して、部分画像特徴値計算部1045は、計算用メモリ1022から部分画像Riを読出すとともに、垂直方向の画素カウンタjを初期化、すなわち、j=0とする(ステップSHT01)。次に、垂直方向の画素カウンタjと垂直方向の最大画素数nとを比較(ステップSHT02)し、j>nならば次にステップSHT10を実行、その他ならば次にステップSHT03を実行する。本実施の形態4ではn=15であり、かつ、処理開始時には、j=0であるためステップSHT03に進む。
ステップSHT03では、水平方向の画素カウンタiの初期化、すなわち、i=0とする(ステップSHT03)。次に、水平方向の画素カウンタiと水平方向の最大画素数mとを比較(ステップSHT04)し、i>mならば次にステップSHT05を実行し、その他ならば次にステップSHT06を実行する。本実施の形態1ではm=15であり、かつ、処理開始時には、i=0であるため、ステップSHT06に進む。
ステップSHT06では、現在比較対象となっている座標(i、j)の画素値pixel(i、j)が1(黒画素)であるか、あるいは、座標(i、j)よりも水平方向に一つ左の座標(i-1、j)の画素値pixel(i-1、j)が1であるか、あるいは、座標(i、j)よりも水平方向に一つ右の座標(i+1、j)の画素値pixel(i+1、j)が1であるかを比較する。pixel(i、j)=1あるいはpixel(i-1、j)=1あるいはpixel(i+1、j)=1ならば、次にステップSHT08を実行し、その他ならば次にステップSHT07を実行する。
ここで、部分画像Riの上下左右の1画素分の範囲、すなわち、Ri(-1〜m+1、-1)、Ri(-1、-1〜n+1)、Ri(m+1、-1〜n+1)、Ri(-1〜m+1、n+1)の範囲の画素値は、図25(B)に示すように0(白画素)とする。本実施の形態4では、図24(A)を参照して、pixel(0、0)=0、pixel(-1、0)=0、pixel(1、0)=0であるため、ステップSHT07へ進む。
ステップSHT07では、計算用メモリ1022に格納する左右に1画素ずつずらして重ねた画像WHiの座標(i、j)の画素値work(i、j)(図25(C)参照)に0を格納する。すなわち、work(0、0)=0とする。次に、ステップSHT09に進む。
ステップSHT09では、i=i+1、すなわち、水平方向の画素カウンタiを1増加させる。本実施の形態4では、初期化によりi=0となっており、1を付加されてi=1となる。次にステップSHT04に戻る。以降、0行目の画素値、すなわち、pixel(i、0)は、図24(A)を参照して、すべて白画素で0であるため、i=15となるまで、ステップSHT04〜SHT09を繰返すこととなり、ステップSHT09処理後にi=15となる。この状態でSHT04に進む。m=15、i=15であるのでステップSHT05に進む。
ステップSHT05では、j=j+1、すなわち、垂直方向の画素カウンタjを1増加させる。現時点では、j=0であるので、j=1となり、SHT02に戻ることになる。ここで、新しい行の始まりであるので、0行目と同様に、ステップSHT03、ステップSHT04と進む。以降、pixel(i+1、j)=1となる1行目の14列目の画素、すなわち、i=14、 j=1になるまでステップSHT04〜SHT09を繰返すこととなり、ステップSHT09処理後にi=14となる。m=15、i=14であるのでSHT06に進む。
ステップSHT06では、pixel(i+1、j)=1、すなわち、pixel(14+1、1)=1であるので、ステップSHT08に進む。
ステップSHT08では、計算用メモリ1022に格納する左右に1画素ずつずらして重ねた画像WHi(図24(B)参照)の座標(i、j)の画素値work(i、j)に1を格納する。すなわち、work(14、1)=1とする。
次に、ステップSHT09に進み、i=15となって、ステップSHT04へ進む。m=15、i=15であるので、ステップSHT05に進み、j=2となって、ステップSHT02へ進む。以降、j=2〜15について同様にステップSHT02〜SHT09の処理を繰返し、ステップSHT09の処理後、j=15となった時点で、次にステップSHT02で、垂直方向の画素カウンタjと垂直方向の最大画素数nとを比較し、j>nならば次にステップSHT10を実行、その他ならば次にステップSHT03を実行すると、現時点ではj=15、n=15であるので、次にステップSHT10に進む。この時点で計算用メモリ1022には、現在比較対照を行っている部分画像Riを元に、図24(B)に示すような左右に1画素ずつずらして重ねた画像WHiが格納されている。
ステップSHT10では、計算用メモリ1022に格納した左右に1画素ずつずらして重ねた画像WHiの画素値work(i、j)と現在比較対照を行っている部分画像Riの画素値pixel(i、j)の差分cntを計算する。このworkとpixelの差分cntを計算する処理を図27に基づいて説明する。
図28は、現在比較対照を行っている部分画像Riの画素値pixel (i、j)と、部分画像Riを左右、あるいは上下に1画素ずつずらして重ねた画像WHiの画素値work(i、j)との差分cntを計算するフローチャートである。部分画像特徴値計算部1045は、計算用メモリ1022から部分画像Riと1画素ずつずらして重ねた画像WHiを読出すとともに、差分カウンタcntと垂直方向の画素カウンタjとを初期化、すなわちcnt=0、j=0とする(ステップSC001)。次に、垂直方向の画素カウンタjと垂直方向の最大画素数nとを比較し(ステップSC002)、j>nならば次に図26のフローチャートに戻り、ステップSHT11を実行し、その他ならば次にステップSC003を実行する。
本実施の形態4ではn=15であり、かつ、処理開始時には、j=0であるためステップSC003に進む。ステップSC003では、水平方向の画素カウンタiの初期化、すなわち、i=0とする(ステップSC003)。次に、水平方向の画素カウンタiと水平方向の最大画素数mとを比較し(ステップSC004)、i>mならば次にステップSC005を実行し、その他ならば次にステップSC006を実行する。本実施の形態1ではm=15であり、かつ、処理開始時には、i=0であるため、ステップSC006に進む。
ステップSC006では、現在比較対象となっている座標(i、j)の部分画像Riの画素値pixel(i、j)が0(白画素)であり、かつ、1画素ずつずらして重ねた画像WHiの画素値work(i、j)が1(黒画素)であるかを判別し、pixel(i、j)=0かつwork(i、j)=1ならば次にステップSC007を実行し、その他ならば次にステップSC008を実行する。本実施の形態4では、図24(A)と図24(B)を参照して、pixel(0、0)=0、work(0、0)=0であるため、ステップSC009へ進む。
ステップSC008では、i=i+1、すなわち、水平方向の画素カウンタiを1増加させる。本実施の形態4では、初期化によりi=0となっており、1を付加されてi=1となる。次にステップSC004に戻る。以降、0行目の画素値、すなわちpixel(i、0)とwork(i、0)は、図24(A)と図24(B)を参照して、すべて白画素で0であるため、i=15となるまで、ステップSC004〜SC008を繰返すこととなり、ステップSC008処理後にi=15となった時点での各々の値は、cnt=0、i=15となっている。この状態でSC004に進む。m=15、i=15であるので、ステップSC005に進む。
ステップSC005ではj=j+1、すなわち、垂直方向の画素カウンタjを1増加させる。現時点では、j=0であるので、j=1となり、SC002に戻ることになる。ここで、新しい行の始まりであるので、0行目と同様に、ステップSC003、ステップSC004と進む。以降、pixel(i、j)=0、かつ、work(i、j)=1となる1行目の14列目の画素、すなわち、i=14、j=1になるまでステップSC004〜SC008を繰返すこととなり、ステップSC008処理後にi=14となる。m=15、i=14であるのでSC006に進む。
ステップSC006では、pixel(i、j)=0かつwork(i、j)=1、すなわち、pixel(14、1)=0かつwork(14、1)=1であるので、ステップSC007に進む。
ステップSC007では、cnt=cnt+1、すなわち差分カウンタcntを1増加させる。本実施の形態3では、初期化によりcnt=0となっており、1を付加されてcnt=1となる。次に、ステップSC008に進み、i=15となってステップSC004へ進む。m=15、i=15であるので、ステップSC005に進み、j=2となってステップSC002へ進む。
以降、j=2〜15について同様にステップSC002〜SC009の処理を繰返し、ステップSC008処理後、j=15となった時点で、次にステップSC002で、垂直方向の画素カウンタjと垂直方向の最大画素数nとを比較し、j>nならば次に図26のフローチャートに戻り、ステップSHT11を実行し、その他ならば次にステップSC003を実行すると、現時点では、j=15、n=15であるので、図28のフローチャートを終了し、次に図26のフローチャートに戻り、ステップSHT11に進む。現時点では、差分カウンタcnt=21となっている。
ステップSHT11では、hcnt=cnt、すなわち左右にずらしたときの増加量hcntに図28のフローチャートで計算した差分cntの値を代入する。次にステップSHT12に進む。ステップSHT12では、左右にずらしたときの増加量hcnt=21を出力する。
次に、図27の、本発明の実施の形態4による部分画像特徴値計算処理(ステップT2a)内の上下にずらしたときの増加量vcntを求める処理(ステップST2)のフローチャートについて説明するが、図27は、上記に説明した図26のフローチャートと基本的に同じ処理を行うことが明らかであり、詳細な説明は省略する。
出力される上下にずらしたときの増加量vcntは、図24(C)の上下に1画素ずつずらして重ねた画像WViと図24(A)の部分画像Riとの差分である96が出力される。
出力されたhcntとvcntとが以降処理される内容を図25のステップST3以降に戻って説明する。
ステップST3では、hcntとvcnt、および、上下方向の最大黒画素数増加量下限値vcnt0とを比較し、vcnt>2×hcntかつvcnt≧vcnt0ならば次にステップST7を実行し、その他ならば次にステップST4を実行する。現時点では、vcnt=96、hcnt=21であり、vcnt0=4と設定すれば、次にステップST7に進み、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元の画像に対する部分画像Riの特徴値格納領域に“H”を出力して、制御部108に部分画像特徴値計算終了信号を送る。
仮に、ステップST2の出力値が、vcnt=30、hcnt=20であり、vcnt0=4であるならば、次にステップST4に進み、hcnt>2×vcntかつhcnt≧hcnt0ならば次にステップST5を実行し、その他ならば、次にステップST6を実行する。
ここでは次にステップST6に進み、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元の画像に対する部分画像Riの特徴値格納領域に“X”を出力し、制御部108に部分画像特徴値計算終了信号を送る。
さらに、仮にステップST2の出力値が、vcnt=30、hcnt=70であり、hcnt0=4であるならば、ステップST3で、vcnt>2×hcntかつvcnt≧vcnt0ならば、次にステップST7を実行し、その他ならば、次にステップST4を実行する。
ここでは、次にステップST4に進み、hcnt>2×vcntかつhcnt≧hcnt0ならば次にステップST5を実行し、その他ならば次にステップST6を実行する。
ここでは次にステップST5に進み、参照用部分画像特徴値計算結果メモリ1024、あるいは、取込画像用部分画像特徴値計算結果メモリ1025の元の画像に対する部分画像Riの特徴値格納領域に“V”を出力し、制御部108に部分画像特徴値計算終了信号を送る。
本実施の形態4における部分画像特徴値計算は、参照画像、あるいは、取込画像にノイズがある場合、例えば、参照画像あるいは取込画像が指紋である場合、指のしわ等によって画像の一部が欠けているために、図24(D)に示すように部分画像Riの中央に垂直にしわが入っているような画像であっても、図24(E)、図24(F)に示すように、hcnt=31、vcnt=91となって、vcnt0=4と設定すれば、図25のステップST3で、vcnt>2×hcntかつvcnt≧vcnt0ならば次にステップST7を実行し、水平を意味する値“H”を出力する。このように本実施の形態4における部分画像特徴値計算は、画像に含まれるノイズ成分に対して計算精度を維持できるという特徴を持つ。
上述のように本実施の形態4に係る部分画像特徴値計算部1045は、部分画像Riについて、左右に所定の画素ずつずらして重ねた画像WHiと、上下に所定の画素ずつずらして重ねた画像WViとを各々求め、さらに、その左右に1画素ずつずらして重ねた画像WHiと部分画像Riとの差分である黒画素数の増加量hcntと、上下に1画素ずつずらして重ねた画像WViと部分画像Riとの差分である黒画素数の増加量vcntとを各々求め、それら増加量に基づいて、該部分画像Riの模様が水平方向に従う模様である傾向(たとえば横縞である傾向)、または垂直方向に従う模様である傾向(たとえば縦縞である傾向)またはそのどちらでもないことを判別して、その判別結果に応じた値(“H”、“V”および“X”のいずれか)を出力する。この出力値が該部分画像Riの特徴値を示す。
(実施の形態5)
以上説明した画像照合のための処理機能は、プログラムで実現される。本実施の形態5では、このプログラムはコンピュータで読取可能な記録媒体に格納される。
本実施の形態5では、この記録媒体として、図2に示されているコンピュータで処理が行なわれるために必要なメモリ、たとえばメモリ624のようなそのものがプログラムメディアであってもよいし、また該コンピュータの外部記憶装置に着脱自在に装着されて、そこに記録されたプログラムが該外部記憶装置を介して読取り可能な記録媒体であってもよい。このような外部記憶装置としては、磁気テープ装置(図示せず)、FD駆動装置630およびCD−ROM駆動装置640などであり、該記録媒体としては磁気テープ(図示せず)、FD632およびCD−ROM642などである。いずれの場合においても、各記録媒体に記録されているプログラムはCPU622がアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムが該記録媒体から一旦読出されて図2の所定のプログラム記憶エリア、たとえばメモリ624のプログラム記憶エリアにロードされて、CPU622により読出されて実行される方式であってもよい。このロード用のプログラムは、予め当該コンピュータに格納されているものとする。
ここで、上述の記録媒体はコンピュータ本体と分離可能に構成される。このような記録媒体としては、固定的にプログラムを担持する媒体が適用可能である。具体的には、磁気テープやカセットテープなどのテープ系、FD632や固定ディスク626などの磁気ディスク、CD−ROM642/MO(Magnetic Optical Disc)/MD(Mini Disc)/DVD(Digital Versatile Disc)などの光ディスクのディスク系、ICカード(メモリカードを含む)/光カードなどのカード系、マスクROM、EPROM(Erasable and Programmable ROM)、EEPROM(Electrically EPROM)、フラッシュROMなどによる半導体メモリが適用可能である。
また、図2のコンピュータはインターネットを含む通信ネットワーク300と通信接続可能な構成が採用されているから、通信ネットワーク300からプログラムがダウンロードされて流動的にプログラムを担持する記録媒体であってもよい。なお、通信ネットワーク300からプログラムがダウンロードされる場合には、ダウンロード用プログラムは予め当該コンピュータ本体に格納されていてもよく、あるいは別の記録媒体から予め当該コンピュータ本体にインストールされてもよい。
なお記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
本発明の各実施の形態に係る画像照合装置のブロック図である。 本発明の画像照合装置が搭載されるコンピュータの構成図である。 本発明による画像照合装置で2つの画像を照合する手順のフローチャートである。 本発明の実施の形態1による部分画像特徴値計算の概要を説明する図である。 本発明の実施の形態1による部分画像特徴値計算処理のフローチャートである。 本発明の実施の形態1による部分画像の水平方向の最大連続黒画素数を求める処理のフローチャートである。 本発明の実施の形態1による部分画像の垂直方向の最大連続黒画素数を求める処理のフローチャートである。 本発明の実施の形態1による類似度計算処理のフローチャートである。 (A)〜(C)は本発明による実施の形態1による照合処理の具体例を説明するための図である。 (A)〜(C)は本発明による実施の形態1による照合処理の具体例を説明するための図である。 (A)〜(F)は本発明による実施の形態1による照合処理の具体例を説明するための図である。 本発明の実施の形態2による画像照合装置の構成図である。 本発明の実施の形態2による画像照合処理のフローチャートである。 本発明の実施の形態2による類似度計算・照合・判定の処理フローチャートである。 本発明の実施の形態2による画像カテゴリ判定計算処理のフローチャートである。 本発明の実施の形態2によるテーブルTB1の内容例を示す図である。 (A)〜(F)は本発明の実施の形態2によるマクロ部分画像を用いたカテゴリ判定を説明するための図である。 (A)〜(E)は本発明の実施の形態2によるカテゴリ判定計算の一例を説明するための図である。 (A)〜(E)は本発明の実施の形態2によるカテゴリ判定計算の他の例を説明するための図である。 本発明の実施の形態3による画像特徴値計算処理の概要を示す図である。 本発明の実施の形態3による部分画像特徴値計算処理のフローチャートである。 本発明の実施の形態3による部分画像の水平方向の画素値の変化数を求める処理のフローチャートである。 本発明の実施の形態3による部分画像の垂直方向の画素値の変化数を求める処理のフローチャートである。 (A)〜(F)は本発明の実施の形態4による画像特徴値計算処理の概要を示す図である。 (A)〜(C)本発明の実施の形態4による部分画像特徴値計算処理のフローチャートと参照する部分画像を示す図である。 本発明の実施の形態4による部分画像の左右にずらしたときの増加量を求める処理のフローチャートである。 本発明の実施の形態4による部分画像の上下にずらしたときの増加量を求める処理のフローチャートである。 本発明の実施の形態4による部分画像を元に上下、左右にずらした画像と元の部分画像との画素値の差分を求める処理のフローチャートである。 (A)と(B)は従来技術である画像間マッチング方法を示す図である。 従来技術である画像特徴量マッチング方法を示す図である。 従来技術に用いられる画像特徴であるマニューシャを示す模式図である。
符号の説明
1 画像照合装置、11 照合処理部、101 画像入力部、102 メモリ、103
バス、104 画像補正部、1047 画像カテゴリ判定部、105 最大一致度位置探索部、106 移動ベクトルに基づく類似度計算部、107 照合判定部、108 制御部、1045 部分画像特徴値計算部、Ri 部分画像。

Claims (19)

  1. 画像内に設定された複数の部分領域の画像のそれぞれについて、部分領域の画像の模様に応じた値を計算して部分画像特徴値として出力する部分画像特徴値計算手段と、
    2つの画像のうちの一方の画像内に設定された複数の部分領域の画像のそれぞれに対応して、他方の画像において最大の一致度となる部分領域の画像の位置である最大一致度位置を探索する最大一致度位置探索手段と、
    前記複数部分領域毎の、前記一方の画像内での該部分領域の位置を測るための基準位置と前記最大一致度位置探索手段により探索された該部分領域に対応の前記最大一致度位置との位置関係を示す位置関係量のうち、該位置関係量が所定レンジに該当する前記部分領域に関する情報から2つの画像の類似度を計算して画像類似度として出力する類似度計算手段と、
    与えられる前記画像類似度に基づいて前記2つの画像が一致するか否か判定する判定手段とを備え、
    前記最大一致度位置探索手段により探索する他方の画像の範囲は、一方の画像内に設定された部分領域の画像の前記部分画像特徴値に応じて他方の画像内に設定された複数の部分領域の中から選択して決定されることを特徴とする、画像照合装置。
  2. 前記一方の画像について前記部分画像特徴値計算手段により出力される部分画像特徴値に基づいて、該一方の画像が属するカテゴリを判定するカテゴリ判定手段をさらに備え、
    前記他方の画像は、前記カテゴリ判定手段により判定された前記一方の画像のカテゴリに基づいて選択されることを特徴とする、請求項1に記載の画像照合装置。
  3. 画像内に設定された複数の部分領域の画像のそれぞれについて、部分領域の画像の模様に応じた値を計算して部分画像特徴値として出力する部分画像特徴値計算手段と、
    2つの画像のうちの一方の画像について前記部分画像特徴値計算手段により出力される部分画像特徴値に基づいて、該一方の画像が属するカテゴリを判定するカテゴリ判定手段と、
    2つの画像のうちの一方の画像内に設定された複数の部分領域の画像のそれぞれに対応して、前記カテゴリ判定手段により判定された前記一方の画像のカテゴリに基づいて選択された他方の画像において最大の一致度となる部分領域の画像の位置である最大一致度位置を探索する最大一致度位置探索手段と、
    前記複数部分領域毎の、前記一方の画像内での該部分領域の位置を測るための基準位置と前記最大一致度位置探索手段により探索された該部分領域に対応の前記最大一致度位置との位置関係を示す位置関係量のうち、該位置関係量が所定レンジに該当する前記部分領域に関する情報から2つの画像の類似度を計算して画像類似度として出力する類似度計算手段と、
    与えられる前記画像類似度に基づいて前記2つの画像が一致するか否か判定する判定手段とを備え、
    前記最大一致度位置探索手段により探索する他方の画像の範囲は、一方の画像内に設定された部分領域の画像の前記部分画像特徴値に応じて他方の画像内に設定された複数の部分領域の中から選択して決定されることを特徴とする、画像照合装置。
  4. 前記他方の画像は、前記一方の画像と同一のカテゴリに属することを特徴とする、請求項2または3に記載の画像照合装置。
  5. 前記他方の画像が複数個準備される場合には、前記複数個の他方の画像のうち、前記一方の画像と同一のカテゴリに属するものが優先して選択されることを特徴とする、請求項2または3に記載の画像照合装置。
  6. 前記部分画像特徴値計算手段は、
    前記部分領域の画像毎に、水平方向の画素が連続する最大長と垂直方向の画素が連続する最大長を各々求め、その最大長を示す値に基づいて、前記部分画像特徴値を出力することを特徴とする、請求項1から5のいずれか1項に記載の画像照合装置。
  7. 前記部分画像特徴値計算手段は、
    前記部分領域の画像毎に、水平方向および垂直方向を代表する画素列をそれぞれ抽出し、抽出されたそれぞれの画素列における画素値の変化の回数に基づいて、部分画像特徴値を出力することを特徴とする、請求項1から5のいずれか1項に記載の画像照合装置。
  8. 前記部分画像特徴値計算手段は、
    前記部分領域の画像毎に、左右に所定数の画素ずつずらして重ねた画像と、上下に所定数の画素ずつずらして重ねた画像を各々求め、さらに、その左右に所定数の画素ずつずらして重ねた画像と該部分領域の画像との画素値の差分と、その上下に所定数の画素ずつずらして重ねた画像と該部分領域の画像との画素値の差分とを各々求め、求められた差分に基づいて、部分画像特徴値を出力することを特徴とする、請求項1から5のいずれか1項に記載の画像照合装置。
  9. 前記部分画像特徴値は3種類の値のいずれかであることを特徴とする、請求項1から8のいずれかに記載の画像照合装置。
  10. 前記3種類の値それぞれは、前記部分領域の画像の模様が縦方向に従っていることを示す、横方向に従っていることを示す、およびその他であることを示すのいずれかであることを特徴とする、請求項9に記載の画像照合装置。
  11. 前記最大一致度位置探索手段は、
    前記一方の画像内に設定された部分領域の画像の前記部分画像特徴値の種類と一致する前記部分画像特徴値である前記他方の画像内に設定された部分領域を探索範囲とすることを特徴とする、請求項9または10に記載の画像照合装置。
  12. 前記最大一致度位置探索手段は、
    一方の画像内に設定された部分領域の画像の前記部分画像特徴値が前記模様が前記縦方向および前記横方向のうちの一方向に従っていることを示すとき、他方の画像内に設定された部分領域のうち前記部分画像特徴値が前記模様が前記一方向に従っていることを示す画像の部分領域および前記その他であることを示す画像の部分領域を探索範囲とすることを特徴とする、請求項10に記載の画像照合装置。
  13. 前記部分画像特徴値が前記その他を示す前記部分領域は前記最大一致度位置検索手段による探索範囲から除かれることを特徴とする、請求項10に記載の画像照合装置。
  14. 画像内にそれぞれ設定された複数の部分領域の画像のそれぞれについて、部分領域の画像の模様に応じた値を計算して部分画像特徴値として出力する部分画像特徴値計算ステップと、
    2つの画像のうちの一方の画像内に設定された複数の部分領域の画像のそれぞれに対応して、他方の画像において最大の一致度となる部分領域の画像の位置である最大一致度位置を探索する最大一致度位置探索ステップと、
    前記複数部分領域毎の、前記一方の画像内での該部分領域の位置を測るための基準位置と前記最大一致度位置探索ステップにより探索された該部分領域に対応の前記最大一致度位置との位置関係を示す位置関係量のうち、該位置関係量が所定レンジに該当する前記部分領域に関する情報から2つの画像の類似度を計算して画像類似度として出力する類似度計算ステップと、
    与えられる前記画像類似度に基づいて前記2つの画像が一致するか否か判定する判定ステップとを備え、
    前記最大一致度位置探索ステップにより探索する他方の画像の範囲は、一方の画像内に設定された部分領域の画像の前記部分画像特徴値に応じて他方の画像内に設定された複数の部分領域の中から選択して決定されることを特徴とする、画像照合方法。
  15. 請求項14に記載の前記画像照合方法をコンピュータに実行させるための画像照合プログラム。
  16. 請求項15に記載の前記画像照合をプログラムを記録したコンピュータ読取可能な記録媒体。
  17. 画像内に設定された複数の部分領域の画像のそれぞれについて、部分領域の画像の模様に応じた値を計算して部分画像特徴値として出力する部分画像特徴値計算ステップと、
    2つの画像のうちの一方の画像について前記部分画像特徴値計算ステップにより出力される部分画像特徴値に基づいて、該一方の画像が属するカテゴリを判定するカテゴリ判定ステップと、
    2つの画像のうちの一方の画像内に設定された複数の部分領域の画像のそれぞれに対応して、前記カテゴリ判定ステップにより判定された前記一方の画像のカテゴリに基づいて選択された他方の画像において最大の一致度となる部分領域の画像の位置である最大一致度位置を探索する最大一致度位置探索ステップと、
    前記複数部分領域毎の、前記一方の画像内での該部分領域の位置を測るための基準位置と前記最大一致度位置探索ステップにより探索された該部分領域に対応の前記最大一致度位置との位置関係を示す位置関係量のうち、該位置関係量が所定レンジに該当する前記部分領域に関する情報から2つの画像の類似度を計算して画像類似度として出力する類似度計算ステップと、
    与えられる前記画像類似度に基づいて前記2つの画像が一致するか否か判定する判定ステップとを備え、
    前記最大一致度位置探索ステップにより探索する他方の画像の範囲は、一方の画像内に設定された部分領域の画像の前記部分画像特徴値に応じて他方の画像内に設定された複数の部分領域の中から選択して決定されることを特徴とする、画像照合方法。
  18. 請求項17に記載の前記画像照合方法をコンピュータに実行させるための画像照合プログラム。
  19. 請求項18に記載の前記画像照合をプログラムを記録したコンピュータ読取可能な記録媒体。
JP2003425432A 2003-10-21 2003-12-22 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体 Pending JP2005149455A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003425432A JP2005149455A (ja) 2003-10-21 2003-12-22 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
US10/967,145 US7512275B2 (en) 2003-10-21 2004-10-19 Image collating apparatus, image collating method, image collating program and computer readable recording medium recording image collating program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003360593 2003-10-21
JP2003425432A JP2005149455A (ja) 2003-10-21 2003-12-22 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体

Publications (1)

Publication Number Publication Date
JP2005149455A true JP2005149455A (ja) 2005-06-09

Family

ID=34525422

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003425432A Pending JP2005149455A (ja) 2003-10-21 2003-12-22 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体

Country Status (2)

Country Link
US (1) US7512275B2 (ja)
JP (1) JP2005149455A (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034811A (ja) * 2005-07-28 2007-02-08 Casio Comput Co Ltd 指紋照合装置、指紋照合処理プログラム、および画像照合方法
WO2009104429A1 (ja) 2008-02-19 2009-08-27 日本電気株式会社 パターン照合装置、パターン照合方法、及びプログラム
US7697733B2 (en) 2005-09-28 2010-04-13 Sharp Kabushiki Kaisha Image collating apparatus, image collating method, image collating program product, and computer readable recording medium recording image collating program product
JP2011022991A (ja) * 2009-06-18 2011-02-03 Canon Inc 画像認識方法及び画像認識装置
WO2012111095A1 (ja) 2011-02-15 2012-08-23 富士通株式会社 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
WO2015145589A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
WO2015145591A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
WO2015145590A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
WO2015145588A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
JP2016207207A (ja) * 2015-04-15 2016-12-08 三星電子株式会社Samsung Electronics Co.,Ltd. 指紋認識方法及び装置
US10679037B2 (en) 2015-04-15 2020-06-09 Samsung Electronics Co., Ltd. Method and apparatus for recognizing fingerprint

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4112968B2 (ja) 2002-12-26 2008-07-02 富士通株式会社 ビデオテキスト処理装置
JP4586746B2 (ja) * 2006-02-27 2010-11-24 日本電気株式会社 指紋照合装置、指紋パタンエリア抽出装置および品質判定装置、並びにその方法およびプログラム
JP2007241356A (ja) * 2006-03-06 2007-09-20 Fuji Xerox Co Ltd 画像処理装置および画像処理プログラム
US7668405B2 (en) * 2006-04-07 2010-02-23 Eastman Kodak Company Forming connections between image collections
JP2007323433A (ja) * 2006-06-01 2007-12-13 Sharp Corp 画像処理装置、画像処理方法、画像処理プログラムおよび画像処理プログラムを記録したコンピュータ読取り可能な記録媒体
US20080199085A1 (en) * 2007-02-19 2008-08-21 Seiko Epson Corporation Category Classification Apparatus, Category Classification Method, and Storage Medium Storing a Program
JP5375823B2 (ja) * 2008-04-24 2013-12-25 日本電気株式会社 画像照合装置、画像照合方法および画像照合用プログラム
JP5385759B2 (ja) * 2009-10-30 2014-01-08 キヤノン株式会社 画像処理装置及び画像処理方法
CN102193934B (zh) * 2010-03-11 2013-05-29 株式会社理光 用于寻找图像集合中的代表性图像的系统和方法
JP5214762B2 (ja) * 2011-03-25 2013-06-19 株式会社東芝 認識装置、方法及びプログラム
WO2014188446A2 (en) * 2013-05-09 2014-11-27 Tata Consultancy Services Limited Method and apparatus for image matching
JP5997120B2 (ja) * 2013-09-26 2016-09-28 富士フイルム株式会社 薬剤照合装置、薬剤照合システム、及び薬剤照合方法
CN103902970B (zh) * 2014-03-03 2017-09-22 清华大学 自动指纹姿态估计方法及系统
CN104133917B (zh) * 2014-08-15 2018-08-10 百度在线网络技术(北京)有限公司 照片的分类存储方法及装置
JP2016099835A (ja) * 2014-11-21 2016-05-30 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム
US9846808B2 (en) * 2015-12-31 2017-12-19 Adaptive Computation, Llc Image integration search based on human visual pathway model
US9626596B1 (en) 2016-01-04 2017-04-18 Bank Of America Corporation Image variation engine
US9824299B2 (en) 2016-01-04 2017-11-21 Bank Of America Corporation Automatic image duplication identification
US10242710B2 (en) * 2016-04-07 2019-03-26 Intel Corporation Automatic cinemagraph
JP6731370B2 (ja) * 2017-03-27 2020-07-29 株式会社日立ハイテク 画像処理システム及び画像処理を行うためのコンピュータープログラム
JP6790995B2 (ja) * 2017-04-27 2020-11-25 富士通株式会社 照合装置、照合方法および照合プログラム
CN110309885A (zh) * 2019-07-05 2019-10-08 黑龙江电力调度实业有限公司 基于大数据的机房状态判断方法
WO2022093312A1 (en) * 2020-10-30 2022-05-05 Google Llc Fingerprint enrollment using collocation of a user's touch and a fingerprint sensor
CN115455396A (zh) * 2022-03-08 2022-12-09 神盾股份有限公司 用于处理指纹信息的方法、硬件加速器及指纹识别设备

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6378286A (ja) 1986-09-20 1988-04-08 Fujitsu Ltd 指紋画像照合方法およびその回路
JP2549107B2 (ja) 1987-02-27 1996-10-30 済美エレクトロニクス株式会社 指紋照合における補正照合と二次再照合の方法
JP2600680B2 (ja) 1987-06-19 1997-04-16 富士通株式会社 個人照合装置
JPH03266184A (ja) 1990-03-16 1991-11-27 Fujitsu Ltd 指紋照合装置
JP2877548B2 (ja) 1991-04-15 1999-03-31 沖電気工業株式会社 文書画像の属性判別方法
JPH06274602A (ja) 1993-03-18 1994-09-30 Fujitsu Ltd 指紋登録・照合装置
KR960005109B1 (ko) 1994-02-02 1996-04-20 손광섭 지문영상의 자동인식장치 및 방법
JP3744620B2 (ja) * 1996-09-25 2006-02-15 ソニー株式会社 画像照合装置及び画像照合方法
JPH10187983A (ja) 1996-12-26 1998-07-21 Sony Corp 画像照合装置
JP4026215B2 (ja) 1998-03-11 2007-12-26 ソニー株式会社 指紋画像処理装置、指紋画像処理方法及び記録媒体
JP3569138B2 (ja) * 1998-10-29 2004-09-22 富士通株式会社 単語認識装置および方法
JP3386733B2 (ja) 1998-12-28 2003-03-17 カシオ計算機株式会社 画像データ照合方法及び画像データ照合装置並びに画像データ照合プログラムを記憶した記憶媒体
US6707934B1 (en) 1998-12-28 2004-03-16 Casio Computer Co., Ltd. Apparatus and method for collating image
JP3742279B2 (ja) * 2000-06-09 2006-02-01 日本電信電話株式会社 画像照合装置、画像照合方法及び画像照合プログラムを記録した記録媒体
JP2003030629A (ja) 2001-07-12 2003-01-31 Dds:Kk 指紋入力装置、指紋入力方法及び指紋入力プログラム
JP2003323618A (ja) 2002-04-30 2003-11-14 Sharp Corp 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007034811A (ja) * 2005-07-28 2007-02-08 Casio Comput Co Ltd 指紋照合装置、指紋照合処理プログラム、および画像照合方法
US7697733B2 (en) 2005-09-28 2010-04-13 Sharp Kabushiki Kaisha Image collating apparatus, image collating method, image collating program product, and computer readable recording medium recording image collating program product
WO2009104429A1 (ja) 2008-02-19 2009-08-27 日本電気株式会社 パターン照合装置、パターン照合方法、及びプログラム
US8340370B2 (en) 2008-02-19 2012-12-25 Nec Corporation Pattern verification apparatus, pattern verification method, and program
JP2011022991A (ja) * 2009-06-18 2011-02-03 Canon Inc 画像認識方法及び画像認識装置
WO2012111095A1 (ja) 2011-02-15 2012-08-23 富士通株式会社 生体認証装置、生体認証方法及び生体認証用コンピュータプログラム
US8983143B2 (en) 2011-02-15 2015-03-17 Fujitsu Limited Biometric authentication device, biometric authentication method and computer program for biometric authentication
WO2015145591A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
WO2015145589A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
WO2015145590A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
WO2015145588A1 (ja) * 2014-03-25 2015-10-01 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
JPWO2015145588A1 (ja) * 2014-03-25 2017-04-13 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
JPWO2015145589A1 (ja) * 2014-03-25 2017-04-13 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
JPWO2015145591A1 (ja) * 2014-03-25 2017-04-13 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
JPWO2015145590A1 (ja) * 2014-03-25 2017-04-13 富士通フロンテック株式会社 生体認証装置、生体認証方法、及びプログラム
US9898673B2 (en) 2014-03-25 2018-02-20 Fujitsu Frontech Limited Biometrics authentication device and biometrics authentication method
US10019619B2 (en) 2014-03-25 2018-07-10 Fujitsu Frontech Limited Biometrics authentication device and biometrics authentication method
JP2016207207A (ja) * 2015-04-15 2016-12-08 三星電子株式会社Samsung Electronics Co.,Ltd. 指紋認識方法及び装置
US10679037B2 (en) 2015-04-15 2020-06-09 Samsung Electronics Co., Ltd. Method and apparatus for recognizing fingerprint

Also Published As

Publication number Publication date
US20050084155A1 (en) 2005-04-21
US7512275B2 (en) 2009-03-31

Similar Documents

Publication Publication Date Title
JP2005149455A (ja) 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
JP2006293949A (ja) 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
US7697733B2 (en) Image collating apparatus, image collating method, image collating program product, and computer readable recording medium recording image collating program product
JP2007094862A (ja) 情報生成装置、情報生成方法、情報生成プログラムおよび機械読取り可能な記録媒体
WO2009131209A1 (ja) 画像照合装置、画像照合方法および画像照合用プログラム
CN110738222B (zh) 图像匹配方法、装置、计算机设备和存储介质
CN115083571B (zh) 病理切片处理方法、计算机设备和存储介质
EP2246821A1 (en) Pattern matching system, pattern matching method, and program for pattern matching
CN116385745A (zh) 图像识别方法、装置、电子设备和存储介质
US20080089563A1 (en) Information processing apparatus having image comparing function
CN116258842A (zh) 指纹模板动态拼接优选系统及方法
JP2007323432A (ja) 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
JP2003323618A (ja) 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
JP2006065764A (ja) 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
US20070019844A1 (en) Authentication device, authentication method, authentication program, and computer readable recording medium
CN107077617B (zh) 指纹提取方法及装置
JP2006018677A (ja) 生体データ照合装置、生体データ照合方法、生体データ照合プログラムおよび生体データ照合プログラムを記録したコンピュータ読取り可能な記録媒体
JP2005284731A (ja) 画像照合装置、画像照合方法、画像照合プログラム、および画像照合プログラムを記録したコンピュータ読取可能な記録媒体
CN115908260B (zh) 模型训练方法、人脸图像质量评价方法、设备及介质
JP2006018676A (ja) 生体データ照合装置、生体データ照合方法、生体データ照合プログラムおよび生体データ照合プログラムを記録したコンピュータ読取り可能な記録媒体
CN112529021B (zh) 一种基于尺度不变特征变换算法特征的航拍图像匹配方法
JP2014232373A (ja) 照合対象抽出システム、照合対象抽出方法、照合対象抽出プログラム
WO2019030895A1 (ja) 識別分類装置および識別分類方法
JP3996133B2 (ja) 画像照合装置、画像照合方法、画像照合プログラム、および画像照合プログラムを記録したコンピュータ読取可能な記録媒体
JP2005209107A (ja) 画像照合装置、画像照合方法、画像照合プログラム、および画像照合プログラムを記録したコンピュータ読取可能な記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060125

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081224

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090421