[go: up one dir, main page]

WO2004093013A1 - 画像照合装置、画像照合方法、及び画像照合プログラム - Google Patents

画像照合装置、画像照合方法、及び画像照合プログラム Download PDF

Info

Publication number
WO2004093013A1
WO2004093013A1 PCT/JP2003/004784 JP0304784W WO2004093013A1 WO 2004093013 A1 WO2004093013 A1 WO 2004093013A1 JP 0304784 W JP0304784 W JP 0304784W WO 2004093013 A1 WO2004093013 A1 WO 2004093013A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
partial
unit
partial image
adjusting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2003/004784
Other languages
English (en)
French (fr)
Inventor
Yusaku Fujii
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2004570881A priority Critical patent/JP4127546B2/ja
Priority to PCT/JP2003/004784 priority patent/WO2004093013A1/ja
Publication of WO2004093013A1 publication Critical patent/WO2004093013A1/ja
Priority to US11/068,935 priority patent/US7822237B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/24Aligning, centring, orientation detection or correction of the image
    • G06V10/245Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12Fingerprints or palmprints
    • G06V40/1365Matching; Classification
    • G06V40/1376Matching features related to ridge properties or fingerprint texture

Definitions

  • the present invention relates to image matching using a pattern matching method, and more particularly, to an image matching device, an image matching method, and an image matching program for matching a fingerprint image or the like.
  • FIG. 1 is a diagram for explaining an image matching method using an existing pattern matching method.
  • the image matching method shown in FIG. 1 is an example of a pattern matching method, and shows a case where a fingerprint image is matched.
  • FIG. 1 (a) First, as shown in FIG. 1 (a), consider a case in which it is checked whether or not an image T registered in advance matches an image I to be checked. Note that the two images overlap The ridges of the image T are shown with outlines only to make it easier to see the match.
  • the basis of the pattern matching method in image matching is to find the best overlapping position while shifting the two images little by little, and evaluate the degree of overlap.
  • image T is superimposed on image I, image T is shifted in the X and y directions, and image T and image I are compared. Find the most overlapping position. Then, when the images overlap each other, the degree of overlap between the images is evaluated. Then, the degree of the overlap can be evaluated by, for example, taking the product of the pixel values of the overlapping pixels of the images and adding the sum to all the pixels in the overlapping portion. Then, the evaluation value representing the degree of overlap becomes higher as the values match. As described above, in the image matching of a fingerprint image or the like, if the evaluation value exceeds a predetermined value, it is often determined that the two images match.
  • the evaluation value V (X, y) for evaluating whether the images I and T match each other is It can be expressed by the following equation (1).
  • xor indicates exclusive OR, and not indicates negation.
  • the ridges convex of the fingerprint
  • the line indicating the part and the valley line (the line indicating the concave part of the fingerprint) may be broken or adhered.
  • the image input from the sensor may be crushed or distorted. In this way, if the image is registered as a collation image while the image is crushed or distorted, or if the crushed image is distorted, the accuracy of the calculation result of the evaluation value will be reduced. There is a problem.
  • an image of a characteristic portion an end point indicating a tip portion such as a ridge, a portion where a ridge branches, or the like is shown.
  • An image T and an image I are collated by using an image of a unique part in a fingerprint image such as a delta (feature point) (for example, see Patent Document 1 or Patent Document 2).
  • feature points existing in the image T are recorded in advance, and the evaluation value of the matching is determined based on the ratio between the number of feature points in the image T and the number of feature points in the image I. Conceivable. In this way, by performing fingerprint image collation using feature points, etc., the discrimination ability of individual images is improved, so that the fingerprint image used for the collation does not become distorted. It is possible to improve the accuracy of the evaluation regardless of the occurrence.
  • Patent Document 1
  • Patent Document 2
  • the amount of computation for calculating the evaluation value V (X, y) becomes very large. Also, as shown in Fig. 2, in addition to shifting the image one pixel at a time in parallel, considering the amount of rotation, it is necessary to repeat steps 1) and 2) while rotating one image little by little. Further, the amount of calculation becomes enormous. As described above, the existing image matching method has a problem in that it takes a very long time to obtain a result as to whether or not the two images match because the amount of calculation is enormous.
  • an object of the present invention is to provide an image matching device, an image matching method, and an image matching program that are highly accurate and can shorten the time until a matching result is obtained. Disclosure of the invention An image matching device according to a first aspect of the present invention is an image matching device that checks whether a first image and a second image match each other, and includes a predetermined size from the first image.
  • a partial image extracting means for extracting the partial image, and moving the partial image on the second image, wherein the partial image most coincides with the second image of a portion overlapping with the partial image
  • Searching means for searching for the position of the partial image
  • adjusting means for adjusting a relative position between the second image and the first image based on the position searched by the searching means
  • Determining means for determining whether or not the first image and the second image match based on the adjustment result.
  • the relative positions of the first and second images are adjusted using a partial image smaller than the first image.
  • the amount of computation can be reduced as compared with the case of collation using images, and the time required for the collation results can be reduced.
  • An image matching device is the image matching device according to the first aspect, wherein the search means moves and rotates the partial image on the second image, Searching for a position and a rotation angle of the partial image when the second image of the portion overlapping with the image is the best, and the adjusting means based on the position and the rotation angle searched by the search means; A relative position and a relative angle between a second image and the first image are adjusted.
  • the relative position and the relative angle of the first and second images are adjusted using a partial image smaller than the first image, the partial image is used.
  • the amount of calculation can be reduced as compared with the case where matching is performed on all images, and the time required for the matching result can be reduced.
  • An image matching device is an image matching device that checks whether a first image and a second image match each other, and records the first image in advance.
  • First recording means partial image cutting means for cutting out a partial image of a predetermined size from the first image recorded in the first recording means, and second recording means for recording the partial image
  • a third recording unit that records the input second image; and a part that extracts a predetermined second image from the third recording unit and that corresponds to the second image.
  • An image is extracted from the second recording means, and the partial image is moved on the second image, and the partial image and the second image in a portion overlapping with the partial image most coincide with each other.
  • Searching means for searching for the position of the partial image; adjusting means for adjusting a relative position between the second image and the first image based on the position searched by the searching means; adjusting the adjusting means Based on the result, the first image and the second image match. And a judging means for judging whether Luke characterized Rukoto.
  • An image matching device is an image matching device that checks whether or not a first image and a second image match each other, wherein the first image and the second image are recorded in advance.
  • 1 recording means partial image cutout means for cutting out a partial image of a predetermined size from the first image recorded in the first recording means, and second recording means for recording the partial image
  • a third recording unit for recording the input second image, and a predetermined second image extracted from the third recording unit, and the partial image corresponding to the second image is extracted.
  • An image matching device is an image matching device for checking whether or not a first image and a second image match each other, wherein the image matching device has a predetermined size from the first image.
  • a partial image extracting means for extracting the partial image, and moving the partial image on the second image, wherein the partial image and the second image in a portion overlapping with the partial image most coincide with each other.
  • First searching means for searching the position of the partial image, and first adjusting the relative position between the second image and the first image based on the position searched by the first searching means.
  • Adjusting means moving the first image on the second image based on the relative position adjusted by the first adjusting means, and overlapping the first image with the first image Search for the position of the first image when the part of the first image matches best
  • a second search unit that adjusts a relative position between the second image and the first image based on a position searched by the second search unit; and a second adjustment unit that adjusts a relative position between the second image and the first image based on a position searched by the second search unit.
  • Determining means for determining whether or not the first image and the second image match based on an adjustment result of the second adjusting means.
  • the relative positions of the first and second images are adjusted using the partial images, and based on the adjustment result, the first and second images are further adjusted using the entire image. Since the relative position is adjusted, image matching can be performed with higher precision than when matching the first and second images using only the partial images.
  • An image matching device is the image matching device according to the fifth aspect, wherein the first search means moves and rotates the partial image on the second image, and Searching for the position and the rotation angle of the partial image when the part of the partial image that overlaps with the second image of the part that overlaps the first image best matches the image; Adjusting a relative position and a relative angle between the second image and the first image based on the position and the rotation angle searched by the first search means, wherein the second search means The first image is moved and rotated on the second image based on the relative position and the relative angle adjusted by the adjusting means, and the first image and the portion overlapping the first image are moved. Searching for the position and rotation angle of the first image when the second image and the second image are most matched, based on the position and rotation angle searched by the second search means And adjusting a relative position and a relative angle between the second image and the first image.
  • the relative position and the relative angle of the first and second images are adjusted using the partial images, and based on the adjustment results, the first and second images are further adjusted using the entire image. Since the relative position and relative angle of the first image are adjusted, it is possible to perform image matching with higher accuracy than when comparing the first and second images using only the partial image.
  • An image matching device is an image matching device that checks whether or not a first image and a second image match each other. Extracting means for extracting the first and second feature information, and first adjusting means for adjusting a relative position between the first image and the second image based on the first and second feature information. A partial image cutout unit that cuts out a partial image of a predetermined size from the first image, and the partial image on the second image based on the relative position adjusted by the first adjustment unit.
  • First searching means for moving the partial image and searching for a position of the partial image when the second image of the part overlapping with the partial image is the best, and the first searching means Adjusting the relative position between the second image and the first image based on the position Moving the first image on the second image with reference to the relative position adjusted by the second adjusting device; and The second part of the part overlapping the image
  • a second search unit that searches for a position of the first image when the image best matches the image, and a second image and the first image based on the position searched by the second search unit.
  • Third adjusting means for adjusting the relative position between the first image and the second image based on an adjustment result of the third adjusting means.
  • determining means for performing the determination.
  • the relative position between the first and second images is adjusted by the first adjusting means, and based on the result, the first and second images are further adjusted by the first adjusting means. Since the relative position with respect to the second image is adjusted, and based on the result, the third adjusting means adjusts the relative position with respect to the first and second images. Image matching can be performed.
  • the first to third adjustment means can detect the approximate relative position, the amount of calculation in the determination means is only slightly increased, and it takes up to the verification result. Time can be reduced.
  • An image matching device is the image matching device according to the seventh aspect, wherein the first adjusting unit is configured to determine the first image and the second image based on the first and second feature information. Adjusting the relative position and the relative angle with the second image, wherein the first search means sets the portion on the second image based on the relative position and the relative angle adjusted by the first adjustment means.
  • the second adjusting means comprises: Adjusting a relative position and a relative angle between the second image and the first image based on the position and the rotation angle searched by the first search means; Based on the relative position and relative angle adjusted by the second adjusting means, Moving and rotating the first image on a second image, the first image when the first image most closely matches the second image in a portion overlapping with the first image Search for the position and rotation angle of
  • the third adjusting unit adjusts a relative position and a relative angle between the second image and the first image based on the position and the rotation angle searched by the second searching unit.
  • the first adjusting means adjusts the relative position and the relative angle with respect to the first and second images, and based on the result, further adjusts the second adjusting means. Adjusting the relative position and relative angle with respect to the first and second images, and further, based on the result, using third adjusting means to adjust the relative position and relative angle with respect to the first and second images. Since the angle is adjusted, accurate image matching can be performed. Also, as described above, since the first to third adjusting means can detect the approximate relative position and relative angle, the amount of calculation in the determining means is only slightly increased. Such time can be reduced.
  • An image matching method is an image matching method for checking whether or not a first image and a second image match each other, wherein the first image and the second image have a predetermined size from the first image.
  • a searching step of searching for the position of the partial image, an adjusting step of adjusting a relative position between the second image and the first image based on the position searched in the searching step, and an adjusting step A determination step of determining whether or not the first image and the second image match based on the adjustment result.
  • the relative positions of the first and second images are adjusted using a partial image smaller than the first image.
  • the amount of computation can be reduced as compared with the case of collation using images, and the time required for the collation results can be reduced.
  • An image collation program provides a method in which the first and second images are A computer for collating whether or not they match each other, a partial image extracting unit for extracting a partial image of a predetermined size from the first image, and moving the partial image on the second image
  • a search unit that searches for a position of the partial image when the partial image most closely matches the second image of a portion that overlaps the partial image, based on the position searched by the search unit, Adjusting means for adjusting a relative position between the second image and the first image; determining whether or not the first image and the second image match based on an adjustment result of the adjusting means. Function as the determination means to perform the determination.
  • the relative positions of the first and second images are adjusted using a partial image smaller than the first image. Compared to performing matching on all images, the amount of calculation can be reduced, and the time required for the matching result can be reduced.
  • An image matching device is the image matching device according to any one of the first, fifth, and seventh aspects, wherein the partial image extracting unit is configured to: The image is cut out.
  • the eleventh mode for example, when a fingerprint image is collated, there is a high possibility that the vicinity of the center of the fingerprint image includes a feature point (such as a dot or a branch point). It is possible to obtain a good matching result.
  • a feature point such as a dot or a branch point
  • An image collating apparatus is the image collating apparatus according to any one of the first, fifth, and seventh aspects, wherein the partial image extracting means is arbitrarily extracted from the first image.
  • the correlation value between the partial image and the image of the portion overlapping the first image is calculated as 2 or more, and the partial image having the largest correlation value among the two or more correlation values is used in the search means. It is characterized by the following.
  • An image matching device is the image matching device according to any one of the first, fifth, and seventh aspects, wherein the searching means is configured to convert the partial image from near a center of the second image. Moving, and searching for the position of the partial image when the partial image and the second image of the part overlapping with the partial image are most matched.
  • the searching means is configured to convert the partial image from near a center of the second image. Moving, and searching for the position of the partial image when the partial image and the second image of the part overlapping with the partial image are most matched.
  • An image matching device is the image matching device according to any one of the first, fifth, and seventh aspects, wherein the partial image cutout means has a predetermined size from the first image.
  • the feature is to cut out two or more partial images.
  • the fourteenth aspect by using a plurality of partial images, an effect similar to that of performing partial image matching over a wide range can be obtained. Therefore, when only one partial image is used. It is possible to increase the accuracy of the image comparison as compared with.
  • An image matching device is the image matching device according to the fourteenth aspect, wherein the partial image cutout means includes: two or more partial images arbitrarily cut out from the first image; A correlation value between the first image and an image of a portion overlapping with the first image is calculated, and the partial image when the correlation value becomes large is used by the search means.
  • the possibility of including the feature points of the fingerprint image in two or more partial images increases, so that it is possible to obtain an accurate matching result.
  • An image matching device is the image matching device according to any one of the first, fifth, and seventh aspects, wherein the determination unit divides the first and second images, respectively. It is characterized in that it is determined whether or not the first and second images match in the divided areas. According to the sixteenth aspect, it is possible to accurately perform image matching on distortion generated in a part of an image. In addition, for example, when collating a fingerprint image, it is particularly effective because the skin expands and contracts.
  • Image matching system is an aspect of the first 7 of the present invention, in any one aspect of the first, 5, or 7, the first and second image, fingerprint image, iris image, the face image, Configure as palm image or vein image.
  • the first and second images may be configured as a fingerprint image, an iris image, a face image, a palm image, or a vein image.
  • An image collating apparatus is the image collating apparatus according to the seventh aspect, wherein the first and second images are fingerprint images, and the extracting unit is configured to output the first and second images.
  • An image is converted into a ridge direction distribution map or a valley direction distribution map, and the first and second feature information are extracted from the ridge direction distribution map or the valley direction distribution map.
  • FIG. 1 is a diagram for explaining a conventional image matching method.
  • FIG. 2 is a diagram for explaining a conventional image matching method.
  • FIG. 3 is a functional block diagram showing the configuration of the image matching device according to the embodiment of the present invention.
  • FIG. 4 is a functional block diagram showing the configuration of the registered image data creation unit.
  • FIG. 5 is a functional block diagram showing the configuration of the image data matching unit.
  • FIG. 6 is a diagram illustrating an example of a coarse adjustment based on a partial image according to the first embodiment.
  • FIG. 7 is a diagram illustrating an example of a partial image extracting method according to the first embodiment.
  • FIG. 8 is a diagram illustrating an example of a method of extracting a partial image according to the first embodiment.
  • FIG. 9 is a flowchart for explaining the operation of the registered image data creation unit in the first embodiment.
  • FIG. 10 is a flowchart for explaining the operation of the image data collating unit in the first embodiment.
  • FIG. 11 is a flowchart for explaining the operation of the registered image data creation unit in the second embodiment.
  • FIG. 12 is a diagram illustrating an example of registered image data according to the second embodiment.
  • FIG. 13 is a diagram for explaining a method of creating a ridge direction distribution map.
  • FIG. 14 is a flowchart for explaining the operation of the registered image data creation unit in the second embodiment.
  • FIG. 15 is a diagram illustrating an example of registered image data according to the second embodiment.
  • FIG. 16 is a diagram illustrating an example of registered image data according to the third embodiment.
  • FIG. 17 is a flowchart for explaining the operation of the image data collating unit in the third embodiment.
  • FIG. 18 is a diagram illustrating an example of registered image data according to the fourth embodiment.
  • FIG. 19 is a flowchart for explaining the operation of the image data collating unit in the fourth embodiment.
  • FIG. 20 is a diagram illustrating an example of registered image data according to the fifth embodiment.
  • FIG. 21 is a diagram illustrating an example of a partial image extraction method according to the sixth embodiment.
  • FIG. 22 illustrates the operation of the registered image data creation unit in the sixth embodiment. It is a flow chart for.
  • FIG. 23 is a flowchart for explaining the operation of the image data collating unit in the sixth embodiment.
  • FIG. 24 is a diagram illustrating an example of registered image data according to the seventh embodiment.
  • FIG. 25 is a flowchart for explaining the operation of the image data collating unit in the seventh embodiment.
  • FIG. 26 is a diagram illustrating an example of registered image data according to the eighth embodiment.
  • FIG. 27 is a flowchart for explaining the operation of the image data matching unit according to the eighth embodiment.
  • FIG. 28 is a diagram illustrating an example of registered image data according to the eighth embodiment.
  • FIG. 29 is a diagram illustrating an example of registered image data in the tenth embodiment.
  • FIG. 30 is a flowchart for explaining the operation of the image data collating unit in the tenth embodiment.
  • FIG. 31 is a diagram illustrating an example of a hardware configuration required when the present embodiment is implemented by a program.
  • FIG. 3 is a functional block diagram showing the configuration of the image matching device according to the embodiment of the present invention.
  • the image matching device 10 includes an image data creating unit 11 for creating image data for registration (image T) and image data for matching (image I) from an input image, An image data collating unit 12 for collating whether or not the image T created by the registered image data creating unit 11 matches the image I is provided.
  • the image data creation unit 11 and the image data collation unit 12 are in the same device as described above.
  • an image data creation unit 11 is provided on the client side
  • an image data collation unit 12 is provided on the server side. It is also possible to adopt a configuration in which the client side has the image data creation unit 11 and the server side has the image data creation unit 11 and the image data collation unit 12, and various configurations are possible. .
  • FIG. 4 is a functional block diagram showing the configuration of the image data creation unit 11.
  • the image data creation unit 11 includes a sensor 20 for inputting a predetermined image (for example, a fingerprint image, an iris image, a face image, a palm image, or a vein image), and a sensor 20.
  • An image recording unit 21 for recording an image input from a computer, and a portion having a characteristic structure from the image recorded on the image recording unit 21 (for example, fingerprint ridges, iris muscles, eyes and ears, folds, Or where the curvature value of the contour line of the blood vessel is large) and a characteristic structure position detection unit 22 that detects the position of the image, and if the image recorded in the image recording unit 21 is a fingerprint image
  • FIG. 5 is a functional block diagram showing the configuration of the image data collating unit 12.
  • the image data collating unit 12 includes a registered image data recording unit 30 for recording image data for registration (image T) and an image data (image I)), an input image data recording unit 31, a partial image cutout unit 32 for extracting a partial image from predetermined image data recorded in the registered image data recording unit 30, and a registered image data recording unit 30.
  • an image data dividing unit 33 that divides predetermined image data recorded in the input image data recording unit 31 into images of a predetermined size, a registered image data recording unit 30 or an input image data recording unit 3 1 If the image data recorded in step 3 is fingerprint image data, the ridge direction distribution data separation unit 34 that extracts image data indicating the ridge direction distribution from those image data, and the registered image data recording unit 30 or When the image data recorded in the input image data recording unit 31 is fingerprint image data, the image data in a predetermined area centered on the characteristic point is used by using the characteristic point position recorded in the image data.
  • a coarse adjustment unit 36 that adjusts the relative position between the registered image data and the input image data based on the data, and image data and coarse adjustment units obtained by the partial image cutout unit 32 and the input image data recording unit 31.
  • a coarse adjustment unit 37 that adjusts the relative position between the registered image data and the input image data, and recorded by the registered image data recording unit 30 or the input image data recording unit 31
  • Fine adjustment unit 3 that adjusts the relative position between registered image data and input image data based on the image data to be registered, the image data obtained by image data division unit 33, or the relative position obtained by coarse adjustment unit 37. 8 and coarse adjustment section 3 7 or Constructed and a determination unit 3 9 whether the two image data adjusted by the fine adjustment unit 3 8 matches.
  • the first embodiment is a basic component in the image matching device, the image matching method, and the image matching program of the present invention.
  • a partial image S is cut out from the image T in order to adjust the relative positional relationship or the relative rotation angle relationship between the image T and the image I from the image.
  • the method for determining the position of the partial image S will be described later.
  • a correlation operation is performed on the partial image S and the image I. That is, a correlation value (a value indicating the degree of coincidence between two images) is calculated while shifting the relative positions of the partial image S and the image I by n pixels (n is an integer of 1 or more). Further, the partial image S is rotated little by little, and the correlation calculation is performed in the same manner.
  • the correlation value may be, for example, a product-sum of pixel values for a multi-valued image, a ratio of the number of pixels having matching pixel values for a binary image, or the like.
  • the relative position coordinates (hereinafter, simply referred to as the relative position) and the relative rotation angle (hereinafter, the relative position) of the partial image S and the image I when the highest correlation value is finally obtained are obtained. , Simply, relative angle).
  • the correlation value between the image T and the image I is obtained using the entire image.
  • the method of calculating the correlation value may be the same as the method of calculating the correlation value between the partial image S and the image T.
  • the image T and the image I are determined to be the same image.
  • This partial image S is used to determine the relative position and relative angle between the image T and the image I, and needs to be a partial image S from which the relative position and relative angle can be accurately determined.
  • the partial image S-1 when comparing a fingerprint image as shown in Fig. 7, if an image like the partial image S-1 is selected, there are many similar images (elements) in the fingerprint image. It is difficult to accurately calculate relative position and relative angle No. On the other hand, if an image such as the partial image S-2 is selected, since a characteristic structure (for example, a characteristic point) is included, the relative position and the relative angle can be obtained with high accuracy. Further, in the case of an image other than the fingerprint image, for example, a landscape image, it is desirable that the partial image S is selected so as to include a bird, a mountain peak, a tree, and the like.
  • the partial image S include a portion having a characteristic structure as a condition for cutting out the partial image S from the image T.
  • FIG. 8 shows how the correlation value of each of two partial images S_3 and S-4 having different cutout portions changes.
  • the vertical axis of the graphs shown in FIGS. 8A and 8B indicates the correlation value Y
  • the horizontal axis indicates the shift amount X of the partial image.
  • A indicates the average value of the correlation value Y.
  • FIG. 8 (b) when a partial image S_4 at a location different from that in FIG. 8 (a) is cut out from the image T and a correlation value between the image T and the partial image S-4 is obtained.
  • the correlation value changes greatly and one peak value M having a high correlation value occurs.
  • the partial image S_4 includes the characteristic structure of the image T, and it is understood that the partial image S_4 is suitable as a partial image for search. That is, it is understood that the method is suitable for obtaining the relative position and the relative angle between the image T and the image I.
  • the correlation value between the image T and the partial image S changes rapidly.
  • the partial image S can be said to be an image including the characteristic structure of the image T.
  • FIG. 9 is a flowchart for explaining the operation of the image data creation unit 11.
  • step A1 the characteristic structure position detecting unit 22 extracts a predetermined image ⁇ from the image recording unit 21 and cuts out an arbitrary partial image S of a predetermined size from the image T.
  • step A2 the characteristic structure position detection unit 22 superimposes the image T and the partial image S, and obtains a correlation value indicating the degree of overlap between the image T and the partial image S.
  • step A3 the characteristic structure position detection unit 22 determines whether or not all correlation values have been obtained for all predetermined relative positions and relative angles when the image T and the partial image S overlap.
  • Step A4 the characteristic structure position detecting unit 22 shifts the position of the partial image S and returns to Step A2. .
  • Z indicates the area of the region where S (i, j) and T (i — x, j-y) overlap. It is desirable that T (x, y) and S (x, y) be normalized to mean 0 and variance 1.
  • image T is T (x, y)
  • image S is S (X, y)
  • the correlation value is V (x, y).
  • Z indicates the area of the region where S (i, j) and T (i- ⁇ , j-y) overlap
  • Xor indicates exclusive OR, and not indicates negation.
  • the number of pixel values 0 and the number of pixel values 1 be adjusted to be almost the same in the entire image .
  • step A5 the characteristic structure position detecting unit 22 determines the peak value of the obtained correlation values and the obtained correlation value. And the ratio to the average.
  • step S6 the characteristic structure position detecting unit 22 determines whether or not the ratio between the peak value and the average value of the correlation values has been obtained for the predetermined number of partial images S.
  • step A6 If the ratio between the peak value and the average value has not been determined for a predetermined number of partial images S yet (No in step A6), the process returns to step A2 and returns to the unprocessed partial images S Perform an evaluation.
  • step A7 the characteristic structure position detecting unit 22 determines the obtained correlation.
  • the position data (coordinates, etc.) of the partial image S at which the ratio of the peak value to the average value becomes the maximum is recorded in the image data recording unit 27.
  • the correlation operation is performed between the image T and some partial images S, and among the plurality of correlation values, the partial image S based on the rapidly changing correlation value is obtained. It may be used as the partial image S for registration.
  • FIG. 10 is a flowchart for explaining the operation of the image data collating unit 12 when the position data of the partial image S is used.
  • step B1 the partial image cutout unit 32 extracts the position data of the partial image S recorded in step A7 in FIG. 6 from the registered image data recording unit 30 and based on the position data. Cut out the partial image S from the image T. (See Figure 6 (a) and (b))
  • step B2 the coarse adjustment unit 37 takes out the image I from the input image data recording unit 31 and superimposes the image I and the partial image S to obtain a correlation value.
  • step B3 the coarse adjustment section 37 shifts the position of the partial image S. (See Fig. 6 (c))
  • step B4 the coarse adjustment section 37 determines whether or not correlation values have been obtained for all predetermined relative positions and relative angles between the image I and the partial image S.
  • step B4 If all the predetermined correlation values have not yet been obtained (No in step B4), the process returns to step B2 to obtain the remaining correlation values.
  • the equation for calculating the correlation value between the image I and the partial image S can be expressed using, for example, the above equation (3) or (4).
  • step B5 the coarse adjustment unit 37 determines the correlation obtained in the processes from step B2 to step B4. When the largest correlation value among the values satisfies a predetermined condition, it is determined that the position data of the partial image S when the image I and the partial image S match best.
  • the determination unit 39 superimposes the image I and the image T on the basis of the position data obtained in step B5, calculates a correlation value between the image I and the image T, and determines that the correlation value is a predetermined value. When the value is larger than the value, it is determined that the image T and the image I match.
  • the equation for calculating the correlation value between the image I and the image T can be expressed using, for example, the above equation (3) or equation (4).
  • the partial image S clipped by the partial image clipping unit 32 is used to know the optimal relative position and relative angle between the image I and the image T. Therefore, it is necessary that the partial image S is such that the relative position and the relative angle can be accurately obtained.
  • the partial image S is registered in advance, and the relative position and the relative position when the partial image S and the image I are most matched are determined.
  • the relative angle is obtained, and based on the relative position and the relative angle, the image and the image I are overlapped, and it is determined whether or not the image T and the image I match.
  • the correlation value between the image T and the image I is obtained within the range of all the images, and it is determined whether the image T and the image I match based on the obtained correlation value. are doing.
  • the time required to determine whether or not the image T matches the image I is as short as possible, but the time required to register the image T may be long.
  • a partial image S smaller than the image T (the entire image) is used to specify the best relative position and relative angle between the image T and the image I. Two minutes It is possible to reduce the amount of calculation required to specify the location where the image matches best. As a result, in the image matching according to the first embodiment, it is possible to reduce the time required for the matching result as compared with the case where the matching is performed within the entire image range.
  • FIG. 11 is a flowchart for explaining the operation of the image data creation unit 11 when “1center or delta” is included in the partial image S.
  • step C1 the ridge direction detection unit 23 extracts a predetermined image T from the image recording unit 21 and obtains a ridge direction distribution map T-11 from the image T (see FIG. 12A). Note that a valley direction distribution map may be created.
  • FIG. 13 is a diagram for explaining a method of creating a ridge direction distribution map.
  • the image T is divided into an arbitrary number of blocks, for example, n ⁇ n blocks.
  • FIG. 13 (d) is an angle / direction correspondence diagram R showing the correspondence between the predetermined angle and the opposite direction, and from the plurality of inclination angles obtained in Figs. 13 (b) and (c). Obtain the average angle, and select the direction corresponding to the angle approximating the average angle from the angle direction diagram R. That is, for example, if the obtained average angle is 63 °, the corresponding direction is direction 4.
  • each block B shows the direction selected by the angle / direction correspondence diagram R in FIG. 13 (d) (see FIG. 13 (e)).
  • the ridge direction detection unit 23 calculates the ridge direction partial distribution map W-1 or W- including the center or delta previously recorded in the image recording unit 21 or the like.
  • a correlation operation is performed between 2 and the ridge distribution map obtained in step C1 (see Figs. 12 (b) and (c)).
  • the ridge direction partial distribution maps W-1 and W-2 are composed of, for example, mXm blocks (n> m).
  • the correlation value obtained at this time may be calculated, for example, as the sum of the angular differences between the ridges of the overlapping blocks, or as the sum of the differences between the numbers indicating the directions of the ridges of the overlapping blocks. May be.
  • step C3 the ridge direction detection unit 23 converts the region of a predetermined size around the position of the ridge direction partial distribution diagram W-1 or W-2 when the correlation value is the highest, into the partial image S And
  • the position data of the partial image S is recorded in the image data recording unit 27.
  • “1 center and delta” is obtained by calculating the variance in the ridge direction within an area of a certain size (for example, an area of 3 X 3 blocks or more) in the ridge direction distribution map T-1. In the case where is largest, the region may be set as the partial image S.
  • Fig. 14 shows the image data creation unit 1 when “2feature points” are included in the partial image S. 4 is a flowchart for explaining the operation of FIG.
  • step D1 the n-value image creating unit 24 extracts a predetermined image T from the image recording unit 21 and obtains a binary image T-12 of the image T.
  • step D2 the n-value image creating unit 24 obtains a thin line image T-3 having a ridge line width of one pixel from the obtained binarized image T-12. (See Fig. 15 (a))
  • the n-value image creation unit 24 checks the pixels around a certain pixel, detects what is a feature point, and defines an area of a predetermined size around the feature point. Let it be a partial image S. (See Fig. 15 (b))
  • Figure 15 (b) selects an image of a certain size (for example, 3 x 3 pixels). Then, if the pixel value of only one of the eight pixels around the center pixel of the image is 1, the pixel can be recognized as an “end point”. If a predetermined area centered on the selected pixel is set as the partial image S, the partial image S including the “end point” can be registered. Fig. 15 (c) shows that it is a "delta (junction point)". In the eight pixels around a pixel with a pixel value of 1, the pixel values are 1, 0, 1 in that order. Lined up. If a predetermined area centered on this pixel is set as a partial image S, a partial image S including “delta (branch point)” can be registered.
  • a predetermined area centered on this pixel is set as a partial image S, a partial image S including “delta (branch point)” can be registered.
  • the relative position and the relative angle between the image T and the image I are determined using the partial image S, and the image T and the image I are determined using the determined relative position and relative angle. Superposition was performed, and it was determined whether or not image T and image I matched.
  • the relative position and relative angle between the image T and the image I are obtained by using the entire image other than the partial image S, and It is determined whether or not the image T matches the image I. That is, when performing the image matching, first, the coarse adjustment of the relative position and the relative angle between the image T and the image I is performed using the partial image S, and then the position data (coordinates and the like) subjected to the rough adjustment is obtained. Fine adjustment of the relative position and relative angle between image T and image I is performed using the entire image as a reference.
  • the relative position and the relative angle may be obtained with a small moving amount in the fine adjustment.
  • the amount of increase in the amount of calculation that occurs when obtaining the correlation value or the like in the third embodiment is small.
  • Figure 16 shows the fine adjustment of the whole image.
  • the image T and the image I are superimposed based on the relative position and the relative angle detected using the partial image S. Further, the image T or the image I is perturbed in a predetermined translation direction (X direction, y direction) and rotation direction ( ⁇ ), and a correlation value is obtained for each. The largest correlation value is the final optimal correlation value. Then, when the final correlation value satisfies a predetermined condition, it is determined that the image T and the image I match.
  • turbation refers to moving or rotating the partial image S in the X direction or the y direction within a range not more than the moving range of the partial image S on the image I, or moving an image around the image and the error around the image center. Is rotated so as to reduce the error.
  • FIG. 17 is a flowchart for explaining the operation of the image data collating unit 12 in the third embodiment.
  • step E1 the partial image cutout unit 32 and the coarse adjustment unit 37 align the position of the partial image S when the image I and the partial image S match best.
  • Step E2 the fine adjustment unit 38 superimposes the image I and the image T on the basis of the result of the alignment in Step E1.
  • step E3 the fine adjustment unit 38 perturbs either the image T or the image I in the translation direction and the rotation direction, and performs the rotation for each predetermined translation amount or rotation.
  • the correlation value between image T and image I is calculated for each quantity, and the maximum correlation value is calculated.
  • the correlation value can be obtained by using the above equation (3) or (4).
  • step E4 the determination unit 39 determines that the image T and the image I match when the maximum correlation value obtained in step E3 satisfies a predetermined condition.
  • the relative position and the relative angle between the image T and the image I are finely adjusted using the entire image.
  • a high correlation value indicating that the two images are in good agreement may not be obtained even when the correlation operation is performed on the entire image.
  • the fourth embodiment when performing image matching using the entire image in order to obtain a high correlation value, for example, an area where the image T and the image I overlap is divided into a plurality of areas, and each area is The perturbation process is performed independently for, and the correlation value is obtained for each region.
  • FIG. 18 shows an example in which a region where the image T and the image I overlap each other is divided into four.
  • a relative position and a relative angle between the image T and the image I are obtained using the partial images.
  • two images are superimposed using their relative position and relative angle.
  • the overlapping area of the two images is divided into four areas, and the predetermined amount of parallel movement and the amount of rotation are changed independently in each area in the predetermined direction of translation and rotation, and the correlation in each area is changed.
  • the final correlation value between the image T and the image I may be obtained by calculating the maximum evaluation value in each region and calculating the total value of them, or the average value obtained by dividing the total value by the number of regions.
  • FIG. 19 is a flowchart for explaining the operation of the image data collating unit 12 in the fourth embodiment.
  • step F1 the partial image cutout unit 32 and the coarse adjustment unit 37 use the partial image S to perform coarse adjustment of the alignment between the image T and the image I.
  • step F2 the partial image cutout unit 32 and the coarse adjustment unit 37 superimpose the image T and the image I based on the result of the coarse adjustment in step F1.
  • step F3 the image data dividing unit 33 divides the image T (or image I) into n regions. As described above, the overlapping area of the image T and the image I may be divided into n.
  • step F4 the fine adjustment unit 38 perturbs each of the divided areas slightly independently in the translation direction and the rotation direction by the predetermined translation amount and the rotation amount, respectively.
  • a correlation value is obtained for each predetermined amount of translation and rotation in each area, and the maximum correlation value is selected from those correlation values. Note that the correlation value of each region can be obtained using the above equation (3) or (4), respectively.
  • step F5 the determination unit 39 calculates an average value of the maximum correlation values of each region, and when the average value satisfies a predetermined condition, determines that the two images match.
  • this scanning method by changing this scanning method, it is possible to reduce the amount of calculation when calculating the relative position and relative angle using the partial image S, and to calculate the time for detecting the position data of the partial image S. This time is made shorter than in the first embodiment.
  • the translation amount and the rotation amount are small in the image T and the image I.
  • the image to be collated is a fingerprint image.
  • the fingerprint images shown in the image T and the image I are rarely greatly displaced. That is, as shown in FIG. 20 (a), the situation where only a part of the image is input to the image input by the sensor 20 rarely occurs. Therefore, when calculating the correlation value between the partial image S and the image I, the relative position and the relative angle between the image T and the image I are set in parallel from the state of 0 (the state where the image T and the image I overlap exactly). If the correlation value is obtained by shifting the partial image S so that the moving amount and the rotation amount become large, the position of the partial image S when the correlation value becomes a predetermined value or more during scanning of all images. Can be found quickly.
  • the relative position and the relative angle are determined, and the calculation of the correlation value thereafter is stopped, thereby reducing the amount of calculation. be able to.
  • the partial image S is spirally shifted from the state of the relative position 0 between the image T and the image I, as shown in FIG. Further, as shown in FIG. 10C, the partial image S may be shifted away from the center position of the image I.
  • the rotation is performed based on the state where the relative angle between the image T and the image I is 0.
  • the operation of the image data collating unit 12 in the fifth embodiment is the same as the operation of the image data creating unit 12 in the first embodiment except that the starting position when the partial image S is shifted and the method of shifting are different. Since the operation is the same as 11, the description is omitted.
  • a relative position and a relative angle between the image T and the image I are obtained by using a plurality of partial images S1, S2, ' ⁇ '.
  • the accuracy of image matching is improved by obtaining the relative position and relative angle between image T and image I using two or more partial images S 1, S 2,.
  • FIG. 21 shows an example in which two partial images S 1 and S 2 are used.
  • FIGS. 21 (a) and (b) First, as shown in FIGS. 21 (a) and (b), two partial images S1 and S2 are cut out from an image. At this time, the relative positional relationship between the two partial images S1 and S2 is maintained.
  • the partial images S1 and S2 are superimposed on the image I while maintaining the relative positional relationship, and the partial images S1 and S2 are superimposed on the image I.
  • the correlation value can be obtained by using the above equation (3) or (4).
  • the sum of the respective correlation values is used as the final correlation value.
  • the image I and the partial images S 1 and S 2 are superimposed on the image I while changing the relative positions and relative angles thereof, and the correlation values are sequentially obtained. You. Then, the relative position and the rotation angle having the highest correlation value are the positions where the image T and the image I overlap best.
  • FIG. 22 is a flowchart for explaining the operation of the image data creation unit 11 in the sixth embodiment.
  • step G1 the characteristic structure position detecting unit 22 extracts a predetermined image T from the image recording unit 21 and cuts out an arbitrary partial image S of a predetermined size from the image T.
  • step G2 the characteristic structure position detecting unit 22 superimposes the image T and the partial image S to obtain a correlation value.
  • the correlation value can be obtained by using the above equation (3) or (4).
  • step G3 the characteristic structure position detection unit 22 determines whether or not all correlation values have been obtained for all predetermined relative positional and rotational relationships when the image T and the partial image S overlap. I do.
  • step G3 If all the predetermined correlation values have not been obtained yet (No in step G3), the position of the partial image S is shifted in step G4, and the process returns to step G2.
  • Step G5 the characteristic structure position detecting unit 22 determines the peak value of the obtained correlation values and the obtained correlation value. Find the ratio of the value to the average value.
  • step G6 the characteristic structure position detecting unit 22 calculates the ratio between the peak value and the average value of the correlation values for a predetermined number of partial images S (Sl, S2, Request It is determined whether or not it has been done.
  • Step G6 When the ratio between the peak value and the average value has not yet been determined for a predetermined number of partial images S (S1, S2, ' ⁇ ) (Step G6 is No), the process returns to Step A2, and the process returns to Step A2.
  • the evaluation is performed on the partial image S that has not been processed.
  • Step G7 the characteristic structure position detecting unit 22
  • the position data (coordinates, etc.) of the partial image S at which the ratio between the obtained peak value of the correlation value and the average value is maximum is recorded in the image data recording unit 27.
  • the characteristic structure position detecting unit 22 selects two or more position data from the position data of the plurality of partial images S recorded in the image data recording unit 27 under predetermined conditions.
  • the predetermined condition may be that, for example, the top two correlation values may be selected from the plurality of correlation values to be obtained, or the two closest position data and the distance data may be selected.
  • relative position data is obtained from the position data of the partial image S1 and the position data of the partial image S2, and the relative position data is recorded in the image data recording unit 27 or the like.
  • FIG. 23 is a flowchart for explaining the operation of the image data collating unit 12 in the sixth embodiment.
  • step HI the partial image cutout unit 32 outputs the position data of the plurality of partial images S (S1, S2,%) Selected in step G8 in FIG. Is extracted, and a plurality of partial images S (S1, S2, ' ⁇ ) are cut out from the image T based on the position data.
  • the coarse adjustment unit 37 extracts the image I from the input image data recording unit 31 and compares a plurality of partial images S (S1, S2, ' ⁇ ) with each other. Superimpose on image I while maintaining the pair position, and calculate the correlation value.
  • the overall correlation value of a plurality of partial images S (Sl, S2,%) Is the average value or the sum of the correlation values of each partial image S (Sl, S2,-). It is conceivable that The correlation value can be obtained by using the above equation (3) or (4).
  • step H3 the coarse adjustment unit 37 holds the relative positions of the plurality of partial images S (S1, S2, *,. The movement amount and the rotation amount are moved.
  • step H4 the coarse adjustment unit 37 obtains correlation values for all predetermined relative positions and relative angles between the image I and the plurality of partial images S (S1, S2,). Is determined.
  • step H4 If the correlation values have not yet been obtained for all the predetermined relative positions and relative angles (No in step H4), the process returns to step H2, and the remaining correlation values are obtained.
  • Step H5 the judgment unit 39 determines the correlation values in the processes from Step H2 to Step H4.
  • the maximum correlation value among the obtained correlation values satisfies a predetermined condition, it is determined that the image I and the partial image S match.
  • the correlation value can be obtained by using the above equation (3) or (4).
  • the relative position and the relative angle between the image T and the image I are obtained using the partial image S, but in the seventh embodiment, the relative position and the relative angle are obtained.
  • the relative position and the relative angle between the image T and the image I are calculated using the characteristic information extracted from the image T and the image I, respectively.
  • an image T and an image T are first used by using a ridge direction distribution map obtained from the image T and a ridge direction distribution map obtained from the image I. Find the relative position and angle with Image I.
  • a ridge direction distribution map T-14 created from the image T is shown in FIG. 24 (a)
  • a ridge direction distribution map I-11 created from the image I is shown in FIG. 24 (b).
  • the ridge direction distribution diagrams T14 and I-1 shown in Figs. 24 (a) and (b) divide the fingerprint image input from the sensor 20 into blocks of a fixed size, and This figure shows the result of detecting the ridge direction in the block.
  • the method of creating the ridge direction is the same as the method of creating the ridge direction distribution map shown in Fig.13.
  • the relative position and the relative angle between the image T and the image I can be obtained.
  • the method of obtaining the correlation value of the ridge direction distribution map T-4 and I-1 is the same as the method of obtaining the correlation value of the image T and the partial image S described above. Then, the ridge direction distribution map 414 and I-11 are overlapped while moving by a predetermined amount of parallel movement in a predetermined parallel movement direction, and a correlation value may be obtained for each predetermined amount of parallel movement ( See Fig. 24 (c)).
  • the correlation value at this time may be, for example, the sum of squares of the angular difference between the ridges in the overlapping blocks, or the ratio of the blocks in which the angular difference between the ridges is equal to or less than the predetermined angular difference.
  • FIG. 24 (d) is a diagram when, for example, the ridge direction distribution diagram T_4 is rotated at a predetermined rotation angle. Then, for example, a correlation operation is performed between the ridge direction distribution map T-14 shown in FIG. 24 (d) and the ridge direction distribution map I-11 shown in FIG. 24 (b).
  • the approximate relative position and relative angle between the image T and the image I are obtained (first coarse adjustment), and then the partial image S is used. Then, a fine relative position and relative angle between the image T and the image I are obtained (second coarse adjustment). Then, as in the third embodiment, the accuracy of the image matching is further improved. If you want to increase the relative position, determine the relative position and relative angle between Image T and Image I using the entire image (fine adjustment). As described above, since the relative position and relative angle between the image T and the image I are obtained in three steps, it is possible to perform faster and more accurate image matching than in the first and third embodiments. it can.
  • the relative position and the relative angle may be obtained with a small moving amount.
  • the amount of increase in the amount of calculation that occurs when obtaining the correlation value or the like in the seventh embodiment is small.
  • FIG. 25 is a flowchart for explaining the operation of the image data collating unit 12 in the seventh embodiment.
  • the ridge direction distribution data separation unit 34 extracts a predetermined image T from the registered image data recording unit 30 and creates a ridge direction distribution diagram T-14 from the image T, or
  • the ridge direction distribution map T-14 previously recorded in the registered image data recording unit 30 is extracted, and a predetermined image I is extracted from the input image data recording unit 31 and the ridge direction distribution diagram is obtained from the image I.
  • step J2 the coarse adjustment unit 36 superimposes the ridge direction distribution maps T-4 and 1-1 to obtain a correlation value.
  • step J3 the coarse adjustment unit 36 shifts the position of either the ridge direction distribution map T-14 or I-11 in the ridge direction distribution map.
  • step J4 the coarse adjustment unit 36 calculates correlation values for all the predetermined relative positions and relative angles between the ridge distribution map T-4 and the ridge distribution map I-11. Is determined. If all the predetermined correlation values have not yet been obtained (step 4 is ⁇ 0 ), the process returns to step J2 to obtain the remaining correlation values.
  • Step J 4 when all of the predetermined correlation value is obtained (Step J 4 is Y e S), scan Tetsupu J 5, the coarse adjustment section 3 6, obtained in the process from Step J 2 until Step J 4
  • the maximum correlation value among the correlation values satisfies a predetermined condition
  • the calculation results of the relative position and relative angle of the ridge distribution map T-14 and I-11 at that time are sent to the coarse adjustment unit 37. send.
  • the ridge direction distribution diagram is used to detect the relative position and the relative angle between the image T and the image I.
  • the features are respectively obtained from the image T and the image I. The points are extracted, and the relative position and relative rotation angle between the image T and the image I are obtained based on the feature points.
  • these characteristic point distribution maps T-5 and I_2 are superimposed to obtain a characteristic point distribution map T-1 when the predetermined characteristic points P1 and P2 overlap best.
  • the degree of overlap between the predetermined feature points P1 and P2 is, for example, that the sum of the distances of the pairs of the feature points P1 and P2 that are closest to each other when the two distribution maps are overlapped is larger than a predetermined value. Judge by whether it is big or not.
  • the relative angle can also be obtained.
  • ridge direction distribution diagram ⁇ one 4 and I one 1 may be recorded at the same time the position data of the feature points [rho 1 and [rho 2 to the c That is, for example, as shown in Fig. 26 (c), the ridge direction distribution map T-4 The feature points may be shown as thick frames, and the ridge direction distribution map T-4 may be recorded.
  • the correlation data is obtained by simultaneously recording the position data of the feature points in the ridge direction distribution map, the ridges of the block including the feature points in the overlapping ridge direction distribution map T-4 are obtained.
  • the relative positions and relative positions of the image T and the image I are calculated using the relative positions of the characteristic points P1 and P2 in the characteristic point distribution maps T-5 and I-12. Find the angle.
  • FIG. 27 is a flowchart for explaining the operation of the image data collating unit 12 in the eighth embodiment.
  • FIG. 28 is a diagram showing an example of data used in each step of the flowchart of FIG.
  • step K1 the coarse adjustment unit 36 takes out a predetermined image T from the registered image data recording unit 30 and creates a feature point distribution map T-5 from the image T, and the input image data recording unit 3. Extract a predetermined image I from 1 and create a feature point distribution map I-12 from the image I.
  • Fig. 28 (a) feature points 1 to 4 are shown in feature point distribution map T-5, and feature points A to D are shown in feature point distribution map I-12.
  • step K2 the coarse adjustment unit 36 rotates the characteristic point distribution map T-15 by a predetermined angle while maintaining the relative positional relationship of each characteristic point of the characteristic point distribution map T-15. . (See Fig. 28 (b))
  • step K3 the coarse adjustment unit 36 creates a set of each feature point between the feature point distribution maps T-5 and I-2.
  • step K4 the coarse adjustment unit 36 overlaps the predetermined feature points of the feature point distribution map T_5 with the predetermined feature points of the feature point distribution map I-12.
  • Fig. 28 Example of (c) Then, feature point 1 and feature point A are overlapped.
  • step K5 the coarse adjustment unit 36 searches the feature point distribution map I-12 for a feature point closest to each of the feature points in the feature point distribution map T-15.
  • feature point 1-feature point B, feature point 3-feature point C, feature point 4 and one feature point D are each a set of feature points having the shortest distance.
  • step K6 the coarse adjustment unit 36 determines the distance d () between each feature point found in step K5 and each feature point in the feature point distribution map T-15 corresponding to each feature point. dl, d2, d3- ⁇ ⁇ ) Count how many of them satisfy the specified conditions.
  • step K7 the coarse adjustment unit 36 determines whether or not the processing from step K4 to step K6 has been performed for all combinations of feature points. If there is a combination of feature points for which processing up to step K6 has not been performed yet (step K7 is No), the process returns to step K3.
  • step K8 the coarse adjustment unit 36 sets the rotation angle within a predetermined range. Then, it is determined whether or not the feature point distribution map # 5 has been rotated. For example, in the example of Fig. 28, (1, ⁇ ), (1, ⁇ ), (1, C), (1, D), (2, A), (2, B), ⁇ , (4 , C) (4, D). If the feature point distribution map T-15 has not yet been rotated by a rotation angle within a predetermined range (No in step K8), the process returns to step K2.
  • step K9 the coarse adjustment unit 36 determines the number or ratio of the feature points satisfying the predetermined condition.
  • the calculation result of the relative position and relative angle between the characteristic point distribution map No. 5 and the characteristic point distribution map I-2 when the number is the largest is sent to the coarse adjustment unit 37.
  • ⁇ ( ⁇ , ⁇ ) (1 / ⁇ ) ⁇ / (, j) g (i -x, j- y) A ⁇ i, leg -xj-y) _ (5)
  • a (i,) al (if f (i, j) is near the feature point)
  • a (i, j) ] 31 (if f (i, j) is not near the feature point).
  • ⁇ (i, j) ⁇ 2 (when g (i, j) is near the feature point)
  • B (i, j) ⁇ 2 (when g (i, j) is not near the feature point) Is shown.
  • Z represents the area of the region where f (i, j) and g (ix-j, y) overlap.
  • Z indicates the area of a region where f (i, j) and g (ix-j, y) overlap. Then, the vicinity of the feature point may be defined as a predetermined size with the feature point position as the center as shown in FIG. 28, for example.
  • the correlation value (evaluation value) be V (X, y)
  • the image T be f (i, j)
  • the image I be g (i x, j-y)
  • f (i, j) and g When the range of i, j) is set to 0 or 1, the following equation (7) holds.
  • v (x,) (1 /) ⁇ not (f (i, j) xorg (i -xj- y)) A (i, j) B (i-j, jy) _ (?)
  • Xor indicates exclusive OR, and not indicates negation.
  • Z represents the area of the region where f (i, j) and g (ix-j-y) overlap.
  • the correlation value (evaluation value) be V (x, y)
  • the image T be f (i, j)
  • the image I be g (i — x, j_y)
  • f (i, g) When the range of g (i. j) is set to 0 or 1, it can be expressed by the following equation (8).
  • Xor indicates exclusive OR, and not indicates negation.
  • Z indicates the area of the region where ⁇ (i, j) and g (i_x, j-y) overlap.
  • the image is further obtained by using the feature points. Do the collation.
  • the image matching of the first to eighth embodiments is performed, and the relative position and relative angle between the image T and the image I are obtained.
  • the predetermined area near the feature point when calculating the correlation value is, for example, an area of a predetermined size centered on the feature point as shown in FIG.
  • the predetermined area Q near the feature point P is indicated by a square, but the shape of the predetermined area is not limited to this.
  • the predetermined area Q near one of the characteristic points P is perturbed by a predetermined amount of translation and rotation in the direction of translation or rotation. A correlation value is obtained for each predetermined amount of translation and rotation. Then, the maximum correlation value is set as the correlation value of the predetermined area Q near the feature point P.
  • FIG. 30 is a flowchart for explaining the operation of the image data collating unit 12 in the tenth embodiment.
  • step L1 the coarse adjustment unit 36 or 37 performs image matching using the matching methods of the first to eighth embodiments.
  • the feature point local region matching unit 35 extracts a predetermined image T from the registered image data recording unit 30, extracts the feature points of the image T, 3. Extract a predetermined image I from 1 and extract feature points of the image I. Alternatively, feature points may be extracted at the time of generating image data and connected to the image data.
  • Step L3 the feature point local region matching unit 35 superimposes the image T and the image I on the basis of the relative position and the relative angle between the image T and the image I already obtained in Step L1. Match.
  • step L4 the feature point local area matching unit 35 obtains a correlation value between the predetermined area Q near the feature point P of the image T and the predetermined area Q near the feature point P of the image I.
  • the correlation value can be obtained by using the above equation (3) ′ or equation (4).
  • step L5 the feature point local region matching unit 35 obtains how many correlation values obtained in step L4 satisfy predetermined conditions. Note that it is also possible to calculate how many of the feature points whose correlation values obtained in step L4 satisfy a predetermined condition.
  • step L6 the determination unit 39 determines whether or not the image T matches the image I based on the result of the image matching in step L1 and the number obtained in step L5. I do. That is, for example, the result of the image matching in step L1 indicates a match, and the number obtained in step L5 is a predetermined number. When the condition is satisfied, it is determined that the image T and the image I match.
  • the relative position and relative angle between the image T and the image I are determined in the first to eighth embodiments, and the relative position and relative position are determined.
  • the predetermined region Q near the feature point P of the image T is superimposed on the predetermined region Q near the feature point P of the image I using the angle, and the image is formed based on the correlation value between the predetermined regions Q near the feature point P. It is determined whether T and image I match.
  • a predetermined area Q near the feature point P is superimposed, and the image T and the image I are obtained from the correlation values of those images. It is determined whether or not matches.
  • step L5 of the flowchart in FIG. 30 the operation of the image data matching unit 12 in the first embodiment is described in step L5 of the flowchart in FIG. 30 in that “the image T matches the image I based on the obtained number. Since the other steps are the same, the description is omitted.
  • image T is an image with a size of 128 pixels X 128 pixels
  • image I is an image with a size of 128 pixels X 128 pixels
  • image T is shifted by one pixel at a time so that image T and image I
  • image T is an image with a size of 128 pixels x 128 pixels
  • partial image S is an image with a size of 32 pixels x 32 pixels
  • image I is an image with a size of 128 pixels x 128 pixels.
  • image ⁇ is an image with a size of 128 pixels XI and 28 pixels
  • partial image S is an image with a size of 32 pixels X 32 pixels
  • image I is an image with a size of 128 pixels X 128 pixels
  • the linear distribution maps ⁇ and I are 16 blocks X 16 blocks in size
  • the partial image S and the ridge distribution map ⁇ are shifted one pixel and one block at a time.
  • 1 block 8 pixels X 8 pixels.
  • image T is a 128-pixel-by-128-pixel image
  • partial image S is a 32-pixel-by-32-pixel image
  • image I is a 128-pixel-by-128-pixel image
  • the ridge direction distribution maps T and I are images with a size of 16 blocks X 16 blocks, and the partial image S and the ridge direction distribution map T are shifted one pixel and one block at a time.
  • 1 block 8 pixels x 8 pixels.
  • the number of calculations in the existing image matching method is about 1.07 billion, whereas the number of calculations in the image matching method of the present embodiment is about 67 million, about 670,000, and about 1,260,000. Times, which is far less than the number of operations in the existing image matching method.
  • FIG. 31 is a diagram illustrating an example of a hardware configuration required when the present embodiment is implemented by a program.
  • the processing of the above-described embodiment can be realized by a program operating on the computer 290.
  • the computer 290 is ⁇ ? This is realized by mutual data exchange between devices connected to the bus 1129 1 via the bus 292.
  • the ROM 293 incorporates BIOS and the like, and enables data exchange with the input / output device 294 or the like at the same time as power is turned on.
  • a program may be stored in the ROM 293 so that the CPU 291 executes the program.
  • the input / output device 294 usually includes a keyboard, a mouse, a display, and the like, but also includes a sensor 20 (such as a scanner) for inputting an image.
  • the program is stored in a storage device 295 such as a hard disk, and According to the instruction of the CPU 291, the data is expanded in the RAM 296 and executed by the CPU 291.
  • the program is recorded on a portable recording medium 297 such as a flexible disk, a CD_ROM, or a DVD, and is made portable. If necessary, the program is read by a recording medium reading device 298, and is expanded on the RAM 296. It is also possible for the CPU 291 to execute it.
  • the program can be stored in the storage device 295 from the portable recording medium 297, and the program can be read from the storage device 295 into the RAM 296 and executed by the CPU 291.
  • the network 300 it is also possible to connect to the network 300 via the communication interface 299 and download and execute the program from the information provider 301.
  • the information provider 301 functions as a server on the LAN, as is often done in a LAN or the like, the CPU 291 can be used in a network environment without directly downloading the program from the information provider 301. Can also be executed. Further, an execution form in which the data relating to the fingerprint is sent to the information provider 301 for processing, and only the result is received by the computer 290 is also possible.
  • input / output devices 294 are arranged at a plurality of locations where fingerprint image collation is required, and the collation process is performed collectively by a computer 290 provided at the center. It is also possible to build a system that does this.
  • a partial image of a predetermined size is cut out from one image, and the relative position of the two images is adjusted using the partial image. After that, since it is determined whether or not the two images match, it is not necessary to perform image matching while adjusting the relative position of all images as in the case of existing image matching. The amount of calculation can be reduced. As a result, it is possible to reduce the time required for obtaining a result as to whether or not the two images match as compared with the existing image matching method.
  • the partial image is a characteristic part of the image, it is possible to obtain a more accurate determination result by performing the determination with weight.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)
  • Collating Specific Patterns (AREA)

Abstract

2つの画像を照合する際に、予め部分画像Sの登録を行い、その部分画像Sと画像Iとが最も一致するときの互いの相対位置を求め、その相対位置に基づいて、画像Tと画像Iとの相対位置を決定し、画像Tと画像Iとが一致するか否かを判定している。

Description

明 細 書 画像照合装置、 画像照合方法、 及び画像照合プログラム 技術分野
本発明は、 パターンマッチング法を利用する画像照合に関し、 特に、 指紋画 像等を照合するための画像照合装置、 画像照合方法、 及び画像照合プログラム に関する。 背景技術
ある画像の中から特定の物体 (人物、 顔、 又は戦車などの画像) を抽出した り、 所定の画像 (指紋画像、 顔画像、 又は虹彩画像など) がー致しているか否 かを照合したりする場合に、 パターンマツチング法と呼ばれる画像照合方法が よく用いられる。 このパターンマッチング法とは、 予め登録された画像 (以下、 画像 Tという) と照合対象の画像 (以下、 画像 I とレヽう) との互いの画像の特 定部分の形状や濃度分布などが最も近い部分を相関演算などによって求め、 そ の互いの画像の最も近い部分において一致しているか否かを評価する方法であ る。 なお、 パターンマッチング法は、 画像抽出や画像照合などの 2次元の信号 認識以外に、 音声認識などの一次元の信号認識にも適用することができる。 図 1は、 既存のパターンマッチング法を利用した画像照合方法を説明するた めの図である。
図 1に示す画像照合方法は、 パターンマッチング法の一例を示すものであり、 指紋画像を照合する場合を示す。
まず、 図 1 ( a ) に示すように、 予め登録される画像 Tと、 照合対象の画像 Iとが一致するか否かを照合する場合を考える。 なお、 2つの画像の重なり具 合を分かりやすくするために、 画像 Tの隆線を輪郭線のみで示す。
図 1 (b) に示すように、 画像照合におけるパターンマッチング法の基本は、 2つの画像を互いに少しずつ、 ずらしながら最もよく重なる位置を探し、 その 重なり具合を評価する。
例えば、 図 1 (a) 及び (b) に示す指紋画像の画像照合方法の場合、 画像 Tを画像 Iに重ね合わせ、 画像 Tを X方向、 y方向にいろいろずらし、 画像 T と画像 I とが最も重なる位置を探すことをする。 そして、 互いの画像が最も重 なる位置のとき、 互いの画像の重なり具合を評価する。 そして、 その重なり具 合は、 例えば、 互いの画像の重なり画素の画素値の積をとり、 それを重なり合 う部分の全画素に対し和をとつたもので評価することができる。 そして、 この 重なり具合を表す評価値は、 一致すればするほど高い値となる。 このように指 紋画像などの画像照合では、 この評価値が所定の値を超えた場合、 両者の画像 がー致したと判断する場合が多い。
例えば、 画像 Iを I (x, y)、 画像 Tを T (x, y ) とすると、 画像 I及 び Tが互いに一致しているか否かを評価する評価値 V ( X , y ) は、 以下のよ うな式 (1) で表せる。
【数 1】
v( , ) =ひ/ )∑ /(, j)T{i -x -y) _ ( 1 )
なお、 Zは、 I ( i, j ) と T ( i, j ) とが重なる領域の面積を示す。 そして、 上記 (1 ) 式において、 評価値 V (x , y ) が最大となるときの ( X , y ) 力 S、 画像 Tが画像 Iに最も一致する場所となる。 又、 そのときの評 価値 V ( X , y ) が画像 Tと画像 Iとの一致具合を表す。
又、 画像 Tと画像 I とをそれぞれ二値化画像とする場合、 上記 T (x, y ) 及び I (x, y ) は、 それぞれ 0又は 1の値をとる。 そして、 このときの評価 値 V (x, y ) は、 上記 (1) 式又は下記 (2) 式で求めることができる。 【数 2】
v(x, = (1 / not{I{i, j)xorT{i - x, j - y)) _ ( 2 )
なお, x o rは排他的論理和、 n o tは否定を示す。
このように、 パターンマッチング法において画像照合の相関演算に用いられ る演算式は、 上記 (1 ) 式や上記 (2 ) 式に示すように、 さまざまな演算式が 考えられ、 その演算のアルゴリズムは、 非常に単純であるため、 コンピュータ などに実装することが容易である。
ところで、 パターンマッチング法を指紋画像の照合に適用する場合、 指紋画 像を読み取るためのセンサに指を押し付ける際、 指が乾燥していたり、 指に汗 をかいていたりすると、 隆線 (指紋の凸部分を示す線) や谷線 (指紋の凹部分 を示す線) が分断したり癒着する場合がある。 又、 指をセンサに強く押しつけ すぎたり、 指をセンサに押しつけたまま移動させたりすると、 センサから入力 される画像がつぶれたり歪んだりする場合がある。 このように、 画像につぶれ や歪みなどがあるままその画像を照合用の画像として登録したり、 照合対照の 画像につぶれや歪みなどが発生したりすると、 評価値の演算結果の精度が低く なるという問題がある。
そこで、 このような問題を解決するために、 登録される指紋の画像データ内 において、 例えば、 特徴的な部分の画像 (隆線などの先端部分を示す端点ゃ隆 線などが分岐する部分を示す三角州などの指紋画像において特有に存在する部 分の画像:特徴点) を用いて画像 Tと画像 I との照合を行うことが行われてい る (例えば、 特許文献 1又は特許文献 2参照)。 例えば、 予め画像 T内に存在 する特徴点を記録しておき、 その画像 Tの特徴点の個数と画像 I内の特徴点の 個数との割合に基づいて、 照合の評価値を決定することが考えられる。 このよ うに、 特徴点などを利用して指紋画像の照合を行うことにより、 個々の画像の 識別能力があがるので、 たとえ、 その照合の際に使用される指紋画像に歪みな どが生じていても評価の精度をあげることが可能となる。
特許文献 1
特開平 6— 195448号 (第 8〜: L O頁、 第 7〜: 1 8図)
特許文献 2
特開平 2— 245980号 (第 3〜 6頁、 第 1〜 9図)
しかしながら、 近年のコンピュータの小型化に伴って、 画像照合用のセンサ も小型化にすることが求められており、 特徴点などを用いて画像照合を行つて も、 センサが小さいと、 画像の読み取るスペースが小さくなる分、 取り込むこ とが可能な特徴点の個数も少なくなり、 あまり精度があがらないという問題が ある。
又、 既存の画像照合方法は、 一般に、 上記 (1) 式又は (2) 式に示すよう に、
1) 画像を平行に 1以上画素ずらし、
2) 重なり合う部分の全画素について積和の計算を行う。
という工程を繰り返すために、 評価値 V ( X , y ) を求める演算量がとても膨 大になる。 又、 図 2に示すように、 更に、 画像を 1画素ずつ平行にずらす以外 に、 回転量も考えた場合、 一方の画像を少しずつ回転させながら 1) 及び 2) の工程を繰り返す必要があり、 更に、 演算量が膨大になる。 このように、 既存 の画像照合方法は、 演算量が膨大であるために、 2つの画像が一致するか否か の結果がでるまでに時間がとてもかかるという問題がある。
そこで、 本発明は、 高精度で、 且つ、 照合の結果がでるまでの時間を短くす ることが可能な画像照合装置、 画像照合方法、 及び画像照合プログラムを提供 することを目的とする。 発明の開示 本発明の第 1の態様である画像照合装置は、 第 1及び第 2の画像が互いに一 致するか否かを照合する画像照合装置であって、 前記第 1の画像から所定の大 きさの部分画像を切り出す部分画像切出手段と、 前記第 2の画像上において前 記部分画像を移動させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2 の画像とが最も一致するときの前記部分画像の位置を探索する探索手段と、 前 記探索手段が探索した位置に基づいて、 前記第 2の画像と前記第 1の画像との 相対位置を調整する調整手段と、 前記調整手段の調整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致するか否かを判定する判定手段とを備える ことを特徴とする。
上記第 1の態様によれば、 第 1の画像よりも小さい部分画像を用いて、 第 1 及び第 2の画像の相対位置を調整しているので、 その部分画像を利用している 分、 全画像で照合を行うよりも、 演算量を少なくすることができ、 照合結果ま でにかかる時間を短縮することが可能となる。
本発明の第 2の態様である画像照合装置は、 上記第 1の態様において、 前記 探索手段は、 前記第 2の画像上において前記部分画像を移動及び回転させ、 前 記部分画像と、 該部分画像と重なる部分の前記第 2の画像とが最も一致すると きの前記部分画像の位置及び回転角度を探索し、 前記調整手段は、 前記探索手 段が探索した位置及び回転角度に基づいて、 前記第 2の画像と前記第 1の画像 との相対位置及び相対角度を調整することを特徴とする。
上記第 2の態様によれば、 第 1の画像よりも小さい部分画像を用いて、 第 1 及び第 2の画像の相対位置及び相対角度を調整しているので、 その部分画像を 利用している分、 全画像で照合を行うよりも、 演算量を少なくすることができ、 照合結果までにかかる時間を短縮することが可能となる。
本発明の第 3の態様である画像照合装置は、 第 1及び第 2の画像が互いに一 致するか否かを照合する画像照合装置であって、 予め前記第 1の画像を記録す る第 1の記録手段と、 前記第 1の記録手段に記録される第 1の画像から所定の 大きさの部分画像を切り出す部分画像切出手段と、 前記部分画像を記録する第 2の記録手段と、 入力される前記第 2の画像を記録する第 3の記録手段と、 前 記第 3の記録手段から所定の前記第 2の画像を抽出し、 該第 2の画像に対応す る前記部分画像を前記第 2の記録手段から抽出し、 前記第 2の画像上において 前記部分画像を移動させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2の画像とが最も一致するときの前記部分画像の位置を探索する探索手段と、 前記探索手段が探索した位置に基づいて、 前記第 2の画像と前記第 1の画像と の相対位置を調整する調整手段と、 前記調整手段の調整結果に基づいて、 前記 第 1の画像と前記第 2の画像とがー致するか否かを判定する判定手段とを備え ることを特徴とする。
上記第 3の態様によれば、 前述の第 1の態様と同様の作用 '効果を得ること ができる。
本発明の第 4の態様である画像照合装置は、 第 1及び第 2の画像が互いに一 致するか否かを照合する画像照合装置であって、 予め前記第 1の画像を記録す る第 1の記録手段と、 前記第 1の記録手段に記録される第 1の画像から所定の 大きさの部分画像を切り出す部分画像切出手段と、 前記部分画像を記録する第 2の記録手段と、 入力される前記第 2の画像を記録する第 3の記録手段と、 前 記第 3の記録手段から所定の前記第 2の画像を抽出し、 該第 2の画像に対応す る前記部分画像を前記第 2の記録手段から抽出し、 前記第 2の画像上のある位 置での前記部分画像と、 該部分画像と重なる部分の前記第 2の画像との相関値 を 2以上算出する算出手段と、 前記 2以上の相関値の内、 所定の条件を満たす 相関値に対応する前記部分画像の位置に基づいて、 前記第 2の画像と前記第 1 の画像との相対位置を調整する調整手段と、 前記調整手段の調整結果に基づい て、 前記第 1の画像と前記第 2の画像とがー致するか否かを判定する判定手段 とを備えることを特徴とする。
上記第 4の態様によれば、 前述の第 1の態様と同様の作用 '効果を得ること ができる。
本発明の第 5の態様である画像照合装置は、 第 1及び第 2の画像が互いに一 致するか否かを照合する画像照合装置であって、 前記第 1の画像から所定の大 きさの部分画像を切り出す部分画像切出手段と、 前記第 2の画像上において前 記部分画像を移動させ、 前記部分画像と該部分画像と重なる部分の前記第 2の 画像とが最も一致するときの前記部分画像の位置を探索する第 1の探索手段と、 前記第 1の探索手段が探索した位置に基づいて、 前記第 2の画像と前記第 1の 画像との相対位置を調整する第 1の調整手段と、 前記第 1の調整手段が調整し た相対位置を基準に、 前記第 2の画像上において前記第 1の画像を移動させ、 前記第 1の画像と、 該第 1の画像と重なる部分の前記第 2の画像とが最も一致 するときの前記第 1の画像の位置を探索する第 2の探索手段と、 前記第 2の探 索手段が探索した位置に基づいて、 前記第 2の画像と前記第 1の画像との相対 位置を調整する第 2の調整手段と、 前記第 2の調整手段の調整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致するか否かを判定する判定手段とを 備えることを特徴とする。
上記第 5の態様によれば、 部分画像を用いて第 1及び第 2の画像の相対位置 を調整し、 その調整結果に基づいて、 更に、 画像全体を用いて第 1及び第 2の 画像の相対位置を調整しているので、 部分画像のみを用いて第 1及び第 2の画 像の照合を行うよりも精度良く画像照合を行うことが可能となる。
本発明の第 6の態様である画像照合装置は、 上記第 5の態様において、 前記 第 1の探索手段は、 前記第 2の画像上において前記部分画像を移動及び回転さ せ、 前記部分画像と該部分画像と重なる部分の前記第 2の画像とが最も一致す るときの前記部分画像の位置及び回転角度を探索し、 前記第 1の調整手段は、 前記第 1の探索手段が探索した位置及び回転角度に基づいて、 前記第 2の画像 と前記第 1の画像との相対位置及び相対角度を調整し、 前記第 2の探索手段は、 前記第 1の調整手段が調整した相対位置及び相対角度を基準に、 前記第 2の画 像上において前記第 1の画像を移動及び回転させ、 前記第 1の画像と、 該第 1 の画像と重なる部分の前記第 2の画像とが最も一致するときの前記第 1の画像 の位置及び回転角度を探索し、 前記第 2の調整手段は、 前記第 2の探索手段が 探索した位置及び回転角度に基づいて、 前記第 2の画像と前記第 1の画像との 相対位置及び相対角度を調整することを特徴とする。
上記第 6の態様によれば、 部分画像を用いて第 1及び第 2の画像の相対位置 及び相対角度を調整し、 その調整結果に基づいて、 更に、 画像全体を用いて第 1及び第 2の画像の相対位置及び相対角度を調整しているので、 部分画像のみ を用いて第 1及び第 2の画像の照合を行うよりも精度良く画像照合を行うこと が可能となる。
本発明の第 7の態様である画像照合装置は、 第 1及び第 2の画像が互いに一 致するか否かを照合する画像照合装置であって、 前記第 1及び第 2の画像から 第 1及び第 2の特徴情報を抽出する抽出手段と、 前記第 1及び第 2の特徴情報 に基づいて、 前記第 1の画像と前記第 2の画像との相対位置を調整する第 1の 調整手段と、 前記第 1の画像から所定の大きさの部分画像を切り出す部分画像 切出手段と、 前記第 1の調整手段が調整した相対位置を基準に、 前記第 2の画 像上において前記部分画像を移動させ、 前記部分画像と該部分画像と重なる部 分の前記第 2の画像とが最も一致するときの前記部分画像の位置を探索する第 1の探索手段と、 前記第 1の探索手段が探索した位置に基づいて、 前記第 2の 画像と前記第 1の画像との相対位置を調整する第 2の調整手段と、 前記第 2の 調整手段が調整した相対位置を基準に、 前記第 2の画像上において前記第 1の 画像を移動させ、 前記第 1の画像と、 該第 1の画像と重なる部分の前記第 2の 画像とが最も一致するときの前記第 1の画像の位置を探索する第 2の探索手段 と、 前記第 2の探索手段が探索した位置に基づいて、 前記第 2の画像と前記第 1の画像との相対位置を調整する第 3の調整手段と、 前記第 3の調整手段の調 整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致するか否かを判 定する判定手段とを備えることを特徴とする。
上記第 7の態様によれば、 まず、 第 1の調整手段で第 1及び第 2の画像との 相対位置を調整し、 その結果に基づいて、 第 2の調整手段で、 更に、 第 1及び 第 2の画像との相対位置を調整し、 そして、 更に、 その結果に基づいて、 第 3 の調整手段で、 第 1及び第 2の画像との相対位置を調整しているので、 精度の 良い画像照合を行うことができる。
又、 このように、 第 1〜第 3の調整手段で、 およその相対位置を検出するこ とができるので、 判定手段での演算量の増加量は僅かで済むので、 照合結果ま でにかかる時間を短縮することが可能となる。
本発明の第 8の態様である画像照合装置は、 上記第 7の態様において、 前記 第 1の調整手段は、 前記第 1及び第 2の特徴情報に基づいて、 前記第 1の画像 と前記第 2の画像との相対位置及び相対角度を調整し、 前記第 1の探索手段は、 前記第 1の調整手段が調整した相対位置及び相対角度を基準に、 前記第 2の画 像上において前記部分画像を移動及び回転させ、 前記部分画像と該部分画像と 重なる部分の前記第 2の画像とが最も一致するときの前記部分画像の位置及び 回転角度を探索し、 前記第 2の調整手段は、 前記第 1の探索手段が探索した位 置及び回転角度に基づいて、 前記第 2の画像と前記第 1の画像との相対位置及 び相対角度を調整し、 前記第 2の探索手段は、 前記第 2の調整手段が調整した 相対位置及び相対角度を基準に、 前記第 2の画像上において前記第 1の画像を 移動及び回転させ、 前記第 1の画像と、 該第 1の画像と重なる部分の前記第 2 の画像とが最も一致するときの前記第 1の画像の位置及び回転角度を探索し、 前記第 3の調整手段は、 前記第 2の探索手段が探索した位置及び回転角度に基 づいて、 前記第 2の画像と前記第 1の画像との相対位置及び相対角度を調整す ることを特徴とする画像照合装置。
上記第 8の態様によれば、 まず、 第 1の調整手段で第 1及び第 2の画像との 相対位置及び相対角度を調整し、 その結果に基づいて、 第 2の調整手段で、 更 に、 第 1及び第 2の画像との相対位置及び相対角度を調整し、 そして、 更に、 その結果に基づいて、 第 3の調整手段で、 第 1及び第 2の画像との相対位置及 び相対角度を調整しているので、 精度の良い画像照合を行うことができる。 又、 このように、 第 1〜第 3の調整手段で、 およその相対位置及び相対角度 を検出することができるので、 判定手段での演算量の増加量は僅かで済むので、 照合結果までにかかる時間を短縮することが可能となる。
本発明の第 9の態様である画像照合方法は、 第 1及び第 2の画像が互いに一 致するか否かを照合する画像照合方法であって、 前記第 1の画像から所定の大 きさの部分画像を切り出す部分画像切出工程と、 前記第 2の画像上において前 記部分画像を移動させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2 の画像とが最も一致するときの前記部分画像の位置を探索する探索工程と、 前 記探索工程で探索した位置に基づいて、 前記第 2の画像と前記第 1の画像との 相対位置を調整する調整工程と、 前記調整工程の調整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致するか否かを判定する判定工程とを備えて 構成される。
上記第 9の態様によれば、 第 1の画像よりも小さい部分画像を用いて、 第 1 及び第 2の画像の相対位置を調整しているので、 その部分画像を利用している 分、 全画像で照合を行うよりも、 演算量を少なくすることができ、 照合結果ま でにかかる時間を短縮することが可能となる。
本発明の第 1 0の態様である画像照合プログラムは、 第 1及び第 2の画像が 互いに一致するか否かを照合するためにコンピュータを、 前記第 1の画像から 所定の大きさの部分画像を切り出す部分画像切出手段、 前記第 2の画像上にお いて前記部分画像を移動させ、 前記部分画像と、 該部分画像と重なる部分の前 記第 2の画像とが最も一致するときの前記部分画像の位置を探索する探索手段、 前記探索手段が探索した位置に基づいて、 前記第 2の画像と前記第 1の画像と の相対位置を調整する調整手段、 前記調整手段の調整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致するか否かを判定する判定手段として機能 させる。
上記第 1 0の態様によれば、 第 1の画像よりも小さい部分画像を用いて、 第 1及び第 2の画像の相対位置を調整しているので、 その部分画像を利用してい る分、 全画像で照合を行うよりも、 演算量を少なくすることができ、 照合結果 までにかかる時間を短縮することが可能となる。
本発明の第 1 1の態様である画像照合装置は、 上記第 1、 5、 又は 7の何れ か 1つの態様において、 前記部分画像切出手段は、 前記第 1の画像の中心付近 から前記部分画像を切り出すことを特徴とする。
上記第 1 1の態様によれば、 例えば、 指紋画像の照合を行なう場合、 その指 紋画像の中心付近は、 特徴点 (短点や分岐点など) を含む可能性が高くなるの で、 精度の良い照合結果を得ることが可能となる。
本発明の第 1 2の態様である画像照合装置は、 上記第 1、 5、 又は 7の何れ か 1つの態様において、 前記部分画像切出手段は、 前記第 1の画像から任意に 切り出された部分画像と前記第 1の画像と重なる部分の画像との相関値を 2以 上算出し、 該 2以上の相関値の内、 最も大きい相関値となる場合の部分画像を 前記探索手段で使用することを特徴とする。
上記第 1 2の態様によれば、 例えば、 部分画像に指紋画像の特徴点を含ませ る可能性が高くなるので、 精度の良い照合結果を得ることが可能となる。 本発明の第 1 3の態様である画像照合装置は、 上記第 1、 5、 又は 7の何れ か 1つの態様において、 前記探索手段は、 前記部分画像を前記第 2の画像の中 心付近から移動させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2の 画像とが最も一致するときの前記部分画像の位置を探索することを特徴とする。 上記第 1 3の態様によれば、 第 1第及び第 2の画像の互いの調整すべき相対 位置及び相対角度が僅かである場合、 演算量を少なくすることができ、 照合結 果までにかかる時間を短縮することが可能となる。
本発明の第 1 4の態様である画像照合装置は、 上記第 1、 5、 又は 7の何れ か 1つの態様において、 前記部分画像切出手段は、 前記第 1の画像から所定の 大きさの部分画像を 2以上切り出すことを特徴とする。
上記第 1 4の態様によれば、 部分画像を複数個利用することで、 広範囲に部 分画像照合を行っていることと同様な効果が得られるので、 部分画像を 1つだ け利用するときに比べ画像照合の精度をあげることが可能となる。
本発明の第 1 5の態様である画像照合装置は、 上記第 1 4の態様において、 前記部分画像切出手段は、 前記第 1の画像から任意に切り出された 2以上の部 分画像と前記第 1の画像と重なる部分の画像との相関値をそれぞれ算出し、 該 相関値が大きくなるときの部分画像を前記探索手段で使用することを特徴とす る。
上記第 1 5の態様によれば、 例えば、 2以上の部分画像に指紋画像の特徴点 を含ませる可能性が高くなるので、 精度の良い照合結果を得ることが可能とな る。
本発明の第 1 6の態様である画像照合装置は、 上記第 1、 5、 又は 7の何れ か 1つの態様において、 前記判定手段は、 前記第 1及び第 2の画像をそれぞれ 分割し、 それぞれの分割領域で前記第 1及び第 2の画像を一致するか否かを判 定することを特徴とする。 上記第 1 6の態様によれば、 画像の一部に発生した歪みに対して精度良く画 像照合を行うことができる。 又、 例えば、 指紋画像を照合する場合では、 皮膚 の伸び縮みがあるため、 特に有効となる。
本発明の第 1 7の態様である画像照合装置は、 上記第 1、 5、 又は 7の何れ か 1つの態様において、 前記第 1及び第 2の画像を、 指紋画像、 虹彩画像、 顔 画像、 手相画像、 又は静脈画像として構成する。
上記第 1 7の態様のように、 前記第 1及び第 2の画像を、 指紋画像、 虹彩画 像、 顔画像、 手相画像、 又は静脈画像として構成してもよい。
本発明の第 1 8の態様である画像照合装置は、 上記第 7の態様において、 前 記第 1及び第 2の画像は、 指紋画像であり、 前記抽出手段は、 前記第 1及び第 2の画像を隆線方向分布図又は谷線方向分布図に変換し、 該隆線方向分布図又 は谷線方向分布図から前記第 1及び第 2の特徴情報を抽出することを特徴とす る。
上記第 1 8の態様によれば、 指紋画像の画像照合において、 精度の良い画像 照合を行うことができる。
図面の簡単な説明
本発明は、 後述する詳細な説明を、 下記の添付図面と共に参照すればより明 らかになるであろう。
図 1は、 従来の画像照合方法を説明するための図である。
図 2は、 従来の画像照合方法を説明するための図である。
図 3は、 本発明の実施形態の画像照合装置の構成を示す機能プロック図であ る。
図 4は、 登録画像データ作成部の構成を示す機能プロック図である。
図 5は、 画像データ照合部の構成を示す機能ブロック図である。 図 6は、 第 1の実施形態における部分画像による粗調整の一例を示す図であ る。
図 7は、 第 1の実施形態における部分画像の抽出方法の一例を示す図である。 図 8は、 第 1の実施形態における部分画像の抽出方法の一例を示す図である。 図 9は、 第 1の実施形態における登録画像データ作成部の動作を説明するた めのフローチヤ一トである。
図 1 0は、 第 1の実施形態における画像データ照合部の動作を説明するため のフローチヤ一トである。
図 1 1は、 第 2の実施形態における登録画像データ作成部の動作を説明する ためのフローチャートである。
図 1 2は、 第 2の実施形態における登録画像データの一例を示す図である。 図 1 3は、 隆線方向分布図の作成方法を説明するための図である。
図 1 4は、 第 2の実施形態における登録画像データ作成部の動作を説明する ためのフローチヤ一トである。
図 1 5は、 第 2の実施形態における登録画像データの一例を示す図である。 図 1 6は、 第 3の実施形態における登録画像データの一例を示す図である。 図 1 7は、 第 3の実施形態における画像データ照合部の動作を説明するため のフローチヤ一トである。
図 1 8は、 第 4の実施形態における登録画像データの一例を示す図である。 図 1 9は、 第 4の実施形態における画像データ照合部の動作を説明するため のフローチヤ一トである。
図 2 0は、 第 5の実施形態における登録画像データの一例を示す図である。 図 2 1は、 第 6の実施形態における部分画像の抽出方法の一例を示す図であ る。
図 2 2は、 第 6の実施形態における登録画像データ作成部の動作を説明する ためのフローチヤ一トである。
図 2 3は、 第 6の実施形態における画像データ照合部の動作を説明するため のフローチヤ一トである。
図 2 4は、 第 7の実施形態における登録画像データの一例を示す図である。 図 2 5は、 第 7の実施形態における画像データ照合部の動作を説明するため のフローチヤ一トである。
図 2 6は、 第 8の実施形態における登録画像データの一例を示す図である。 図 2 7は、 第 8の実施形態における画像データ照合部の動作を説明するため のフローチャートである。
図 2 8は、 第 8の実施形態における登録画像データの一例を示す図である。 図 2 9は、 第 1 0の実施形態における登録画像データの一例を示す図である。 図 3 0は、 第 1 0の実施形態における画像データ照合部の動作を説明するた めのフローチヤ一トである。
図 3 1は、 本実施形態をプログラムで実現する場合に必要とされるハードウ ユア構成の例を示す図である。 発明を実施するための最良の形態
以下、 本発明の実施形態を図面を用いて説明する。
図 3は、 本発明の実施形態の画像照合装置の構成を示す機能プロック図であ る。
図 3に示すように、 画像照合装置 1 0は、 入力される画像から登録用の画像 データ (画像 T ) や照合用の画像データ (画像 I ) などを作成する画像データ 作成部 1 1と、 登録画像データ作成部 1 1で作成される画像 Tと画像 I とが一 致するか否かを照合する画像データ照合部 1 2とを備えて構成される。 なお、 画像データ作成部 1 1と画像データ照合部 1 2とは、 上述のように同一装置内 に構成してもよいが、 例えば、 ネットワークを介したクライアント一サーバ間 において、 クライアント側に画像データ作成部 1 1を備え、 サーバ側に画像デ ータ照合部 1 2を備えるように構成してもよいし、 また、 クライアント側に画 像データ作成部 1 1を備え、 サーバ側に画像データ作成部 1 1及び画象データ 照合部 1 2を備える構成にしてもよく、 様々な構成が考えられる。
図 4は、 画像データ作成部 1 1の構成を示す機能ブロック図である。
図 4に示すように、 画像データ作成部 1 1は、 所定の画像 (例えば、 指紋画 像、 虹彩画像、 顔画像、 手相画像、 又は静脈画像など) を入力するセンサ 2 0 と、 センサ 2 0から入力される画像を記録する画像記録部 2 1と、 画像記録部 2 1に記録される画像から特徴的な構造をもつ部分 (例えば、 指紋隆線、 虹彩 の筋肉、 目や耳、 襞、 又は血管の輪郭線の曲率値が大きいところなど) の画像 の位置を検出する特徴的構造位置検出部 2 2と、 画像記録部 2 1に記録される 画像が指紋画像の場合、 その画像から隆線方向を検出する隆線方向検出部 2 3 と、 画像記録部 2 1に記録される画像に基づいて n値画像 (n≥ 2、 n =整 数) を作成する n値画像作成部 2 4と、 画像記録部 2 1に記録される画像が指 紋画像の場合、 その画像から特徴点の位置を検出する特徴点位置検出部 2 5と、 特徴的構造位置検出部 2 2、 隆線方向検出部 2 3、 n値画像作成部 2 4、 又は 特徴点位置検出部 2 5で得られる画像データを連結して、 所定の画像データを 作成するデータ連結部 2 6と、 データ連結部 2 6で作成される画像データを記 録する画像データ記録部 2 7とを備えて構成される。 なお、 隆線方向検出部 2 3、 n値画像作成部 2 4、 及び特徴点位置検出部 2 5は、 同時に存在する必要 はなく、 色々な組み合わせで構成することができる。
又、 図 5は、 画像データ照合部 1 2の構成を示す機能ブロック図である。 図 5に示すように、 画像データ照合部 1 2は、 登録用の画像データ (画像 T ) を記録する登録画像データ記録部 3 0と、 照合対象の画像データ (画像 I ) を記録する入力画像データ記録部 3 1と、 登録画像データ記録部 3 0に記 録される所定の画像データから部分画像を切り出す部分画像切り出し部 3 2と、 登録画像データ記録部 3 0又は入力画像データ記録部 3 1で記録される所定の 画像データを所定の大きさの画像に分割する画像データ分割部 3 3と、 登録画 像データ記録部 3 0又は入力画像データ記録部 3 1で記録される画像データが 指紋画像データである場合、 それらの画像データから隆線方向の分布を示す画 像データを抜き出す隆線方向分布データ分離部 3 4と、 登録画像データ記録部 3 0又は入力画像データ記録部 3 1で記録される画像データが指紋画像データ である場合、 それらの画像データに記録されている特徴点位置を使い、 その特 徴点を中心とする所定の領域の画像データに基づいて照合する特徴点局所領域 照合部 3 5と、 登録画像データ記録部 3 0又は入力画像データ記録部 3 1で記 録される画像データゃ隆線方向分布データ分離部 3 4で得られる画像データに 基づいて、 登録画像データと入力画像データとの相対位置を調整する粗調整部 3 6と、 部分画像切り出し部 3 2及び入力画像データ記録部 3 1で得られる画 像データや粗調整部 3 6で得られる相対位置に基づいて、 登録画像データと入 力画像データとの相対位置を調整する粗調整部 3 7と、 登録画像データ記録部 3 0又は入力画像データ記録部 3 1で記録される画像データ、 画像データ分割 部 3 3で得られる画像データ、 又は粗調整部 3 7で得られる相対位置に基づい て、 登録画像データと入力画像データとの相対位置を調整する微調整部 3 8と、 粗調整部 3 7又は微調整部 3 8で調整された 2つの画像データが一致するか否 かを判定する判定部 3 9とを備えて構成される。
ぐ第 1の実施形態 >
第 1の実施形態は、 本発明の画像照合装置、 画像照合方法、 及び画像照合プ ラグラムにおいて、 基本の構成要素となる部分である。
図 6 ( a ) に示すように、 画像 Tと画像 Iの画像照合の場合を考える。 まず、 図 6 ( b ) に示すように、 画像丁から、 画像 Tと画像 Iの相対位置関 係又は相対回転角度関係を調整するために、 画像 Tから部分画像 Sを切り出す。 なお、 この部分画像 Sの位置の決定方法は後述する。
次に、 図 6 ( c ) に示すように、 部分画像 Sと画像 Iで相関演算を行う。 す なわち、 部分画像 Sと画像 Iの相対位置を n画素 (nは 1以上の整数) ずつず らしながら、 相関値 (2つの画像の一致具合を示す値) を計算する。 又、 更に、 部分画像 Sを少しずつ回転させ、 同様に相関演算を行う。 相関値は、 例えば、 多値画像であれば画素値の積和、 二値画像であれば画素値の一致する画素の個 数の割合等にすればよい。
次に、 図 6 ( d ) に示すように、 最終的に最も高い相関値を取るときの部分 画像 Sと画像 I との相対位置座標 (以下、 単に、 相対位置という) と相対回転 角度 (以下、 単に、 相対角度という) とを求める。
次に、 図 6 ( e ) に示すように、 求められた相対位置と相対角度とを使って、 画像 Tと画像 Iを重ね合わせる。
そして、 それぞれの画像全体を用いて画像 Tと画像 Iの相関値を求める。 こ の相関値の算出方法は、 部分画像 Sと画像 Tとの相関値を算出した方法と同じ でよい。 この評価値が所定の条件を満たしたとき、 画像 Tと画像 Iは同じ画像 と判定する。
次に、 画像 Tから切り出す部分画像 Sの位置の決定方法について説明する。 この部分画像 Sは、 画像 Tと画像 I との相対位置及び相対角度を求めるため に用いるものであって、 これら相対位置及び相対角度が精度良く求められるよ うな部分画像 Sである必要がある。
例えば、 図 7に示すような指紋画像を照合する場合、 部分画像 S— 1のよう な画像を選択すると、 指紋画像内に良く似た画像 (要素) がたくさんあるため、 部分画像 S— 1を使用しても精度良く相対位置や相対角度を求めることが難し い。 一方、 部分画像 S— 2のような画像を選択すれば、 特徴的な構造 (例えば、 特徴点) を含んでいるため、 精度良く相対位置や相対角度を求めることができ る。 又、 指紋画像の以外の画像、 例えば、 風景画像の場合は、 鳥、 山の山頂、 木などが含まれるように部分画像 Sが選択されることが望ましい。
このように、 画像 Tから部分画像 Sを切り出す際の条件として、 部分画像 S 内に特徴的な構造の部分が含まれることが望ましい。
風景画などの一般的な画像照合の場合は、 部分画像 Sと画像 Tの相関値を求 め、 その相関値の変化の激しいものを採用すればよい。 例えば、 切り出し箇所 の異なる 2つの部分画像 S _ 3及び S— 4のそれぞれの相関値の変化の様子を 図 8に示す。 なお、 図 8 ( a ) 及び (b ) に示すグラフの縦軸は、 相関値 Yを 示し、 横軸は、 部分画像のずらし量 Xを示している。 また、 Aは、 相関値 Yの 平均値を示している。
図 8 ( a ) に示すように、 画像 Tから所定の部分画像 S— 3を切り取り、 画 像 Tと部分画像 S _ 3との相関値を求めた場合、 相関値の変化がなだらかにな つたとする。 すなわち、 相関値が比較的に高いピーク値 Mがなかったとする。 このように、 相関値の変化が乏しいということは、 切り出された部分画像 S _ 3と良く似た画像が画像 Tに散在していることを示しており、 探索用の部分画 像として不適当であることが分かる。
一方、 図 8 ( b ) に示すように、 画像 Tから図 8 ( a ) とは異なる箇所の部 分画像 S _ 4を切り取り、 画像 Tと部分画像 S— 4との相関値を求めた場合、 相関値の変化が激しく、 相関値の高いピーク値 Mが 1つ生じたとする。 この場 合、 部分画像 S _ 4は、 画像 Tの特徴的な構造を含んでいることを示しており、 探索用の部分画像として適当であることがわかる。 すなわち、 画像 Tと画像 I との相対位置及び相対角度を求めるのに適当であることが分かる。
このように、 画像 Tと部分画像 Sとの間において、 相関値の変化の激しくな つたりする場合、 その部分画像 Sは、 画像 Tの特徴的な構造を含む画像である ことがいえる。
図 9は、 画像データ作成部 1 1の動作を説明するためのフローチャートであ る。
まず、 ステップ A 1において、 特徴的構造位置検出部 2 2は、 画像記録部 2 1から所定の画像 τを取り出し、 その画像 Tから所定の大きさの任意の部分画 像 Sを切り出す。
次に、 ステップ A 2において、 特徴的構造位置検出部 2 2は、 画像 Tと部分 画像 Sとを重ね合わせ、 画像 Tと部分画像 Sとの重なり具合を示す相関値を求 める。
次に、 ステップ A 3において、 特徴的構造位置検出部 2 2は、 画像 Tと部分 画像 Sとが重なる場合の所定の全ての相対位置及び相対角度について相関値を 全て求めたか否かを判断する。
まだ所定の全ての相関値を求めていないとき (ステップ 3が1^ 0)、 ステ ップ A4において、 特徴的構造位置検出部 2 2は、 部分画像 Sの位置をずらし、 ステップ A 2に戻る。
ここで、 画像 Tと部分画像 Sとの相関値の具体的な演算式の例を示す。
画像 Tを丁 (X , y)、 画像 Sを S ( X , y)、 相関値を V (x, y) とする 場合、 以下のような (3) 式が成り立つ。
【数 3】
v( , ) = (1 / Z)∑ S(i, j)T(i -x -y) _ ( 3 )
なお、 Zは、 S ( i, j ) と T ( i — x , j - y) とが重なる領域の面積を示 す。 又、 T (x , y) 及び S (x , y) は、 平均 0、 分散 1に正規化されてい ることが望ましい。
又、 画像 Tを T (x, y)、 画像 Sを S (X, y)、 相関値を V (x, y) と し、 T (χ, y ) 及び S (x, y) のィ直域を、 0又は 1とする場合、 以下のよ うな (4) 式が成り立つ。
【数 4】
v(x,y) = l/Z)^noi(S(iJ)xorT(i-x,j-y)) _ (
なお、 Zは、 S ( i , j ) と T ( i -χ, j -y) とが重なる領域の面積を示 し、 X o rは、 排他的論理和を、 n o tは、 否定を示す。 又、 S (x, y ) と T (x, y) のそれぞれの画像において、 画像全体で画素値 0の個数と画素値 1の個数とがほぼ同じになるように調整されていることが望ましい。
又、 上記 (3) 式及び (4) 式において、 画像 T及び部分画像 Sが二値画像 である場合は、 画像 Tと部分画像 Sで一致している画素数を数えているに過ぎ ない。 このとき、 画像 Tと部分画像 Sとの間では、 通常、 一致を判定させる為 の一致画素数が一致しない画素数より圧倒的に多いので、 一致する画素数を数 えるよりも一致しない画素数を数えて、 画像 Tと画像 Sがー致しないと判定さ れた時点で計算を打ち切ると、 演算量を少なくすることができる。
一方、 全ての相関値が求められたとき (ステップ A3が Ye s;)、 ステップ A 5において、 特徴的構造位置検出部 22は、 求められた相関値の内のピーク 値と求められた相関値の平均値との比を求める。
次に、 ステップ S 6において、 特徴的構造位置検出部 22は、 所定数の部分 画像 Sに対して相関値のピーク値と平均値との比が求められたか否かを判断す る。
まだ所定数の部分画像 Sに対してピーク値と平均値との比が求められていな いとき (ステップ A 6が No )、 ステップ A 2に戻り、 まだ処理されていない 部分画像 Sに対して評価を行う。
一方、 全ての部分画像 Sに対して評価が行われたとき (ステップ A 6が Ye s)、 ステップ A7において、 特徴的構造位置検出部 22は、 求められた相関 値のピーク値と平均値との比が最大となる部分画像 Sの位置デ一タ (座標な ど) を画像データ記録部 2 7に記録する。
このように、 部分画像 Sの検出方法は、 画像 Tといくつかの部分画像 Sとの 間で相関演算を行い、 その複数の相関値の内、 変化の激しい相関値に基づく部 分画像 Sを登録用の部分画像 Sとして使用すればよい。
次に、 この登録された部分画像 Sの位置データを使用する場合の画像データ 照合部 1 2の動作について説明する。
図 1 0は、 部分画像 Sの位置データを使用する場合の画像データ照合部 1 2 の動作を説明するためのフローチヤ一トである。
まず、 ステップ B 1において、 部分画像切り出し部 3 2は、 登録画像データ 記録部 3 0カゝら上記図 6のステップ A 7で記録された部分画像 Sの位置データ を取り出し、 その位置データに基づいて、 画像 Tから部分画像 Sを切り出す。 (図 6 ( a ) 及び (b ) 参照)
次に、 ステップ B 2において、 粗調整部 3 7は、 入力画像データ記録部 3 1 から画像 Iを取り出し、 画像 I と部分画像 Sとを重ね合わせ、 相関値を求める。
(図 6 ( c ) 参照)
次に、 ステップ B 3において、 粗調整部 3 7は、 部分画像 Sの位置をずらす。 (図 6 ( c ) 参照)
次に、 ステップ B 4において、 粗調整部 3 7は、 画像 Iと部分画像 Sとの間 で所定の全ての相対位置及び相対角度について相関値を求めたか否かを判断す る。
まだ所定の全ての相関値を求めていないとき (ステップ B 4が N o )、 ステ ップ B 2に戻り、 残りの相関値を求める。 なお、 画像 Iと部分画像 Sとの相関 値の演算式は、 例えば、 上記 (3 ) 式又は (4 ) 式などを用いて表すことがで きる。 一方、 所定の全ての相関値が求められたとき (ステップ B 4が Y e s )、 ス テツプ B 5において、 粗調整部 3 7は、 ステップ B 2からステップ B 4までの 工程で求められた相関値の内、 最大の相関値が所定の条件を満たしたとき、 画 像 I と部分画像 Sとが最も一致したときの部分画像 Sの位置データであると判 断する。
そして、 判定部 3 9は、 ステップ B 5で求められた位置データに基づいて、 画像 I と画像 Tとを重ね合わせ、 画像 I と画像 Tとの相関値を算出し、 その相 関値が所定値よりも大きいとき画像 Tと画像 I とが一致すると判定する。 なお、 画像 Iと画像 Tとの相関値の演算式は、 例えば、 上記 (3 ) 式又は (4 ) 式な どを用いて表すことができる。
このように、 部分画像切り出し部 3 2で切り出される部分画像 Sは、 画像 I と画像 Tとの最適な相対位置や相対角度を知るために用いられる。 従って、 こ の相対位置や相対角度が精度良く求められるような部分画像 Sである必要があ る。
このように、 第 1の実施形態では、 2つの画像を照合する際に、 予め部分画 像 Sの登録を行い、 その部分画像 Sと画像 I とが最も一致するときの互いの相 対位置及び相対角度を求め、 その相対位置及び相対角度に基づいて、 画像丁と 画像 Iとを重ね合わせ、 画像 Tと画像 I とが一致するか否かを判定している。 一方、 既存の画像照合方法では、 画像 Tと画像 I との相関値を全画像の範囲内 で求め、 その求められた相関値に基づいて画像 Tと画像 I とが一致するか否か を判定している。 通常、 指紋画像の照合では、 画像 Tと画像 I とが一致するか 否かの判定にかかる時間はできるだけ短時間であることが望ましいが、 画像 T の登録にかかる時間は長くても構わない。 第 1の実施形態では、 画像 T (画像 全体) よりも小さい部分画像 Sを用いて、 画像 Tと画像 Iとにおいて最良な相 対位置及び相対角度を特定しているので、 小さい画像を利用している分、 2つ の画像が最も一致する場所を特定するまでにかかる演算量を少なくすることが できる。 これより、 第 1の実施形態における画像照合は、 全画像の範囲内で照 合を行うよりも、 照合結果までにかかる時間を短縮することが可能となる。
<第 2の実施形態〉
第 2の実施形態では、 指紋画像の照合における部分画像 Sの具体的な抽出方 法を説明する。 指紋画像の照合の場合、 画像 Tから切り出す部分画像 Sの位置 を次の箇所にすれば、 精度良く、 画像 Tと画像 I との相対位置及び相対角度を 求めることができる。
①中心 (指紋画像全体において隆線の曲率の大きいところ) や三角州
②特徴点 (端点、 分岐点)
まず、 「①中心や三角州」 を部分画像 Sに含ませる場合を考える。
図 1 1は、 「①中心や三角州」 を部分画像 Sに含ませる場合の画像データ作 成部 1 1の動作を説明するためのフローチヤ一トである。
まず、 ステップ C 1において、 隆線方向検出部 23は、 画像記録部 2 1から 所定の画像 Tを取り出し、 その画像 Tから隆線方向分布図 T一 1を求める (図 1 2 (a) 参照)。 なお、 谷線方向分布図を作成してもよい。
図 13は、 隆線方向分布図の作成方法を説明するための図である。
まず、 図 1 3 (a) に示すように、 画像 Tを任意の個数のブロック、 例えば、 n X nブロックに分割する。
次に、 図 1 3 (b) 及び (c) に示すように、 分割された各ブロック Bに示 される隆線の縁を構成する複数の画素において、 所定間隔の画素の傾き角度を 所定の数求める。 すなわち、 例えば、 図 1 3 (c) に示す例では、 隆線の縁を 構成する画素群の内、 連続する 6個の画素を選択し、 その 6個の画素の両端の 画素を結ぶ直線の傾きの角度 (例えば、 0 1 = t a n— 1 (y 1/x 1) 、 θ 2 = t a n— 1 (y 2/χ 2)) を求めている。 次に、 図 1 3 (d) は、 所定の角度と対方向との対応を示す角度/方向対応 図 Rであり、 図 1 3 (b) 及び (c) で求められた複数の傾き角度から平均の 角度を求め、 その平均の角度に近似する角度に対応する方向を角度 方向対応 図 Rより選択する。 すなわち、 例えば、 求められた平均の角度が 63° である 場合、 対応する方向は、 方向 4とする。
次に、 各ブロック Bに、 図 1 3 (d) の角度/ /方向対応図 Rによって選択さ れた方向を示す (図 1 3 (e) 参照)。
次に、 図 1 1のステップ C 2において、 隆線方向検出部 23は、 予め画像記 録部 21などに記録されていた中心又は三角州が含まれる隆線方向部分分布図 W— 1又は W— 2とステップ C 1で求めた隆線方向分布図とで相関演算を行う (図 1 2 (b) 及び (c) 参照)。 なお、 この隆線方向部分分布図 W— 1及び W— 2は、 例えば、 mXmのブロック (n>m) で構成される。 又、 このとき に求められる相関値は、 例えば、 重なり合うブロックの隆線の角度差の総和と して算出してもよいし、 重なり合うプロックの隆線の方向を示す数字の差の総 和として算出してもよい。
そして、 ステップ C 3において、 隆線方向検出部 23は、 相関値の最も高い ときの隆線方向部分分布図 W— 1又は W— 2の位置を中心として所定の大きさ の領域を部分画像 Sとする。
そして、 その部分画像 Sの位置データを画像データ記録部 27に記録する。 なお、 「①中心や三角州」 は、 隆線方向分布図 T— 1において、 ある大きさ の領域内 (例えば、 3 X 3ブロック以上の領域) で隆線方向の分散を求め、 こ の分散値の最も大きくなる場合に、 その領域を部分画像 Sとするようにしても よい。
次に、 「②特徴点」 を部分画像 Sに含ませる場合を考える。
図 14は、 「②特徴点」 を部分画像 Sに含ませる場合の画像データ作成部 1 1の動作を説明するためのフローチャートである。
まず、 ステップ D 1において、 n値画像作成部 2 4は、 画像記録部 2 1から 所定の画像 Tを取り出し、 その画像 Tの二値化画像 T一 2を求める。
次に、 ステップ D 2において、 n値画像作成部 2 4は、 求められた二値化画 像 T一 2から隆線の線幅を 1画素とする細線化画像 T— 3を求める。 (図 1 5 ( a ) 参照)
次に、 ステップ D 3において、 n値画像作成部 2 4は、 ある画素のまわりの 画素を確認し、 特徴点であるものを検出し、 その特徴点を中心として所定の大 きさの領域を部分画像 Sとする。 (図 1 5 ( b ) 参照)
そして、 その部分画像 Sの位置データを画像データ記録部 2 7に記録する。 例えば、 図 1 5 ( b ) は、 ある大きさの画像 (例えば、 3 X 3画素) を選択 する。 そして、 その画像の中心の画素の周りの 8つの画素の内、 1つの画素だ け画素値が 1である場合、 その画素は 「端点」 であると認識することができる。 そして、 その選択された画素を中心とした所定の領域を部分画像 Sとすれば、 「端点」 を含む部分画像 Sを登録することができる。 又、 図 1 5 ( c ) は、 「三角州 (分岐点)」 であることを示しており、 ある画素値 1の画素の周りの 8つの画素において、 画素値が 1、 0、 1の順番に並んでいる。 この画素を中 心とした所定の領域を部分画像 Sとすれば、 「三角州 (分岐点)」 を含む部分画 像 Sを登録することができる。
く第 3の実施形態〉
第 1の実施形態では、 部分画像 Sを用いて、 画像 Tと画像 I との相対位置及 び相対角度を求め、 その求められた相対位置及び相対角度を用いて画像 Tと画 像 Iとを重ね合わせ、 画像 Tと画像 I とが一致するか否かの判定を行った。 第 3の実施形態では、 2つの画像を更に精度良く照合するため、 部分画像 S 以外に画像全体を用いて画像 Tと画像 I との相対位置及び相対角度を求め、 画 像 Tと画像 Iとが一致するか否かの判定を行う。 すなわち、 画像照合を行うと き、 まず、 部分画像 Sを用いて画像 Tと画像 I との相対位置及び相対角度の粗 調整を行い、 次に、 粗調整を行った位置データ (座標など) を基準に、 画像全 体を用いて画像 Tと画像 I との相対位置及び相対角度の微調整を行う。
このように、 粗調整で、 およその相対位置及び相対角度を検出することがで きるので、 微調整では、 僅かな移動量で相対位置及び相対角度を求めればよい。 これより、 第 3の実施形態において相関値などを求める際に発生する演算量の 増加量は僅かで済む。
例えば、 画像全体の微調整の様子を図 1 6に示す。 部分画像 Sを用いて検出 された相対位置及び相対角度に基づいて、 画像 Tと画像 Iを重ね合わせる。 更 に、 画像 T又は画像 Iを所定の平行移動方向 (X方向、 y方向) 及び回転方向 ( Θ ) に摂動させ、 それぞれについて相関値を求める。 その内、 最大となった 相関値が最終的な最適な相関値となる。 そして、 この最終的な相関値が所定の 条件を満たしたとき、 画像 Tと画像 Iは、 一致すると判定する。 なお、 上記 「摂動」 とは、 画像 I上での部分画像 Sの移動範囲以下の範囲で X方向又は y 方向に移動若しくは回転させること、 或いは、 ある画像を画像の中心の誤差と 画像の周りの誤差とが小さくなるように回転させることを示す。
図 1 7は、 第 3の実施形態における画像データ照合部 1 2の動作を説明する ためのフローチヤ一トである。
まず、 ステップ E 1において、 部分画像切り出し部 3 2及び粗調整部 3 7は、 画像 Iと部分画像 Sとが最も一致するときの部分画像 Sの位置合わせを行う。 次に、 ステップ E 2において、 微調整部 3 8は、 ステップ E 1における位置 合わせの結果に基づいて、 画像 Iと画像 Tとを重ね合わせる。
次に、 ステップ E 3において、 微調整部 3 8は、 画像 T又は画像 Iのどちら か一方を平行移動方向及び回転方向に摂動させ、 所定の平行移動量毎又は回転 量毎に画像 Tと画像 I との相関値を求め、 その内最大となる相関値を求める。 なお、 この相関値は、 上記 (3 ) 式又は (4 ) 式などを用いて求めることがで きる。
次に、 ステップ E 4において、 判定部 3 9は、 ステップ E 3で求められた最 大の相関値が所定の条件を満たしたとき、 画像 Tと画像 I とが一致したと判定 する。
<第 4の実施形態 >
第 3の実施形態では、 画像全体を利用して、 画像 Tと画像と Iの相対位置及 び相対角度の微調整を行った。 しかし、 画像の一部に歪みが生じている場合、 画像全体で相関演算を行っても、 2つの画像が良く一致していることを示す高 い相関値が得られないことがある。 すなわち、 画像のある部分が一致していて も、 他の部分が歪みにより一致していない場合がある。
第 4の実施形態では、 高い相関値を得るために、 画像全体を利用して画像照 合を行う際、 例えば、 画像 Tと画像 I とが重なり合う領域を複数の領域に分割 し、 それぞれの領域について独立して摂動処理を行い、 それぞれの領域毎に相 関値を求める。
例えば、 図 1 8は、 画像 Tと画像 Iが互いに重なり合う領域を 4分割にした 例を示している。
まず、 画像 Tと画像 Iとの相対位置及び相対角度を部分画像を用いて求める。 次に、 それらの相対位置及び相対角度を用いて 2つの画像を重ね合わせる。 そ して、 2つの画像の重なり合う領域を 4分割し、 それぞれの領域で独立して、 所定の平行移動方向及び回転方向に、 所定の平行移動量及び回転量を変化させ、 それぞれの領域における相関値を求める。 画像 Tと画像 Iの最終的な相関値は、 個々の領域で最大の評価値を求め、 それらの合計値としてもよいし、 合計値を 領域の個数で割った平均値としてもよい。 これより、 画像の一部に発生した歪みに対して精度良く画像照合を行うこと ができる。 又、 特に、 指紋画像の照合では、 皮膚の伸び縮みがあるため、 この 第 4の実施形態は有効となる。
ここで、 第 4の実施形態における画像データ照合部 1 2の動作について説明 する。
図 1 9は、 第 4の実施形態における画像データ照合部 1 2の動作を説明する ためのフローチヤ一トである。
まず、 ステップ F 1において、 部分画像切り出し部 3 2及び粗調整部 3 7は、 部分画像 Sを用いて、 画像 Tと画像 I との位置合わせの粗調整を行う。
次に、 ステップ F 2において、 部分画像切り出し部 3 2及び粗調整部 3 7は、 ステップ F 1の粗調整の結果に基づいて画像 Tと画像 I とを重ね合わせる。 次に、 ステップ F 3において、 画像データ分割部 3 3は、 画像 T (又は画像 I ) を n個の領域に分割する。 なお、 上述したように、 画像 Tと画像 I との重 なり合う領域を n個に分割してもよレ、。
次に、 ステップ F 4において、 微調整部 3 8は、 分割された個々の領域をそ れぞれ独立に僅かに平行移動方向及び回転方向に、 所定の平行移動量及び回転 量で摂動させ、 個々の領域で所定の平行移動量毎及び回転量毎に相関値を求め、 それらの相関値の内、 最大の相関値を選択する。 なお、 各領域の相関値は、 そ れぞれ上記 (3 ) 式又は (4 ) 式などを用いて求めることができる。
そして、 ステップ F 5において、 判定部 3 9は、 各領域の最大相関値の平均 値を求め、 その平均値が所定の条件を満たしたとき、 2つの画像が一致したと 判定する。
<第 5の実施形態 >
第 1の実施形態では、 部分画像 Sと画像 Iとの相関値を求める際、 部分画像 Sのずらし方について特に示していなかった。 通常、 画像照合は、 画像 Iの端 (例えば、 左上) と部分画像 Sの端 (例えば、 右下) とを重ね合わせ、 所定画 素数毎に所定の方向に順番に部分画像 Sを移動させる。
第 5の実施形態では、 この走査方法を変更することによって、 部分画像 Sを 用いた相対位置及び相対角度を求める際の演算量を減らし、 部分画像 Sの位置 データを検出する時間を求めるのにかかる時間を第 1の実施形態よりも短くす る。
画像 Tと画像 I とでは、 元々、 平行移動量及び回転量が少ないと考える。 例えば、 指紋画像の照合では、 照合対象の画像は指紋画像となるが、 この時、 画像 Tと画像 Iに写っている指紋画像は、 大きく位置がずれていることは少な い。 すなわち、 センサ 2 0により入力される画像は、 図 2 0 ( a ) に示すよう に、 画像の一部しか入力されないという状況はあまり発生しない。 従って、 部 分画像 Sと画像 I との相関値を求める際、 画像 Tと画像 I との相対位置及び相 対角度が 0の状態 (画像 Tと画像 Iとがぴったり重なる状態) から順次、 平行 移動量及び回転量が大きくなるように、 部分画像 Sをずらして相関値を求めて いけば、 全画像を走査させていく中で相関値が所定の値以上となるときの部分 画像 Sの位置を早く見つけることができる。
これより、 部分画像 Sと画像 I との相関値が所定の条件を満たしたとき、 相 対位置及び相対角度が求まったとし、 それ以降の相関値の演算を中止する事で、 演算量を減らすことができる。 又、 部分画像 Sの平行移動の具体例としてほ、 図 2 0 ( b ) に示すように、 画像 Tと画像 I との相対位置 0の状態から渦巻 状にずらしていくことが考えられる。 又、 図 1 0 ( c ) に示すように、 部分画 像 Sを画像 Iの中心位置から遠ざかるようにずらしていくようにしてもよい。 又、 部分画像 Sの回転に関しても、 同様に、 画像 Tと画像 I との相対角度が 0 の状態を基準にして回転させていくことをする。 すなわち、 部分画像 Sを順次 — Θ度から 0度まで回転させ、 それぞれの角度において相関値を求めるのでは なく、 画像 Tと画像 I との相対角度が 0の状態 (画像 Tと画像 I とがぴったり 重なる状態) を 0度とし、 そこから ± 1度、 ···、 ± 0度の順番で部分画像を回 転させ、 相関値を求めていくことによって、 最も相関値が高くなるときの相対 角度を早く求めることができる。
なお、 第 5の実施形態における画像データ照合部 1 2の動作については、 部 分画像 Sをずらすときの始まりの位置、 及び、 ずらし方が異なる以外は、 第 1 の実施形態における画像データ作成部 1 1の動作と同様であるので、 その説明 は省略する。
<第 6の実施形態〉
第 6の実施形態は、 複数の部分画像 S 1、 S 2、 ' · 'を用いて画像 Tと画 像 I との相対位置及び相対角度を求める。 第 6の実施形態では、 2つ以上の部 分画像 S 1、 S 2、 ■ · ·を用いて画像 Tと画像 I との相対位置及び相対角度 を求めることによって、 画像照合の精度をあげる。
例えば、 2つの部分画像 S 1及び S 2を用いた例を図 2 1に示す。
まず、 図 2 1 ( a ) 及び (b ) に示すように、 画像丁から、 2つの部分画像 S 1及び S 2を切り出す。 このとき、 2つの部分画像 S 1及び S 2の相対位置 関係は保持する。
次に、 図 2 1 ( c ) に示すように、 画像 I上に、 部分画像 S 1及び S 2を相 対位置関係を保持したまま重ね合わせ、 部分画像 S 1及び S 2と画像 I との相 関値をそれぞれ求める。 なお、 この相関値は、 上記 (3 ) 式又は (4 ) 式など を用いて求めることができる。
そして、 それぞれの相関値の和を最終的な相関値とする。 又、 部分画像 S 1 及び S 2の相対位置関係を保持したまま、 画像 I と部分画像 S 1及び S 2との 相対位置及び相対角度を変えながら画像 Iに重ねあわせ、 順次、 相関値を求め る。 そして、 最も高い相関値となった相対位置及び回転角度が、 画像 Tと画像 I の最も良く重なる位置となる。
このように、 部分画像 Sを複数個利用することで、 広範囲に部分画像照合を 行っていることと同様な効果が得られるので、 部分画像 Sを 1つだけ利用する ときに比べ画像照合の精度をあげることが可能となる。
ここで、 第 6の実施形態における画像データ作成部 1 1の動作について説明 する。
図 2 2は、 第 6の実施形態における画像データ作成部 1 1の動作について説 明するためのフローチヤ一トである。
まず、 ステップ G 1において、 特徴的構造位置検出部 2 2は、 画像記録部 2 1から所定の画像 Tを取り出し、 その画像 Tから所定の大きさの任意の部分画 像 Sを切り出す。
次に、 ステップ G 2において、 特徴的構造位置検出部 2 2は、 画像 Tと部分 画像 Sとを重ね合わせ、 相関値を求める。 なお、 この相関値は、 上記 (3 ) 式 又は (4 ) 式などを用いて求めることができる。
次に、 ステップ G 3において、 特徴的構造位置検出部 2 2は、 画像 Tと部分 画像 Sとが重なる場合の所定の全ての相対位置関係及び回転関係について相関 値を全て求めたか否かを判断する。
まだ所定の全ての相関値を求めていないとき (ステップ G 3が N o )、 ステ ップ G 4において、 部分画像 Sの位置をずらし、 ステップ G 2に戻る。
一方、 全ての相関値が求められたとき (ステップ G 3が Y e s )、 ステップ G 5において、 特徴的構造位置検出部 2 2は、 求められた相関値の内のピーク 値と求められた相関値の平均値との比を求める。
次に、 ステップ G 6において、 特徴的構造位置検出部 2 2は、 所定数の部分 画像 S ( S l、 S 2 , ■ · · ) に対して相関値のピーク値と平均値との比が求 められたか否かを判断する。
まだ所定数の部分画像 S (S l、 S 2、 ' · ·) に対してピーク値と平均値 との比が求められていないとき (ステップ G 6が N o)、 ステップ A2に戻り、 まだ処理されていなレ、部分画像 Sに対して評価を行う。
一方、 全ての部分画像 S (S l、 S 2、 ' · ·) に対して評価が行われたと き (ステップ G 6が Y e s )、 ステップ G 7において、 特徴的構造位置検出部 22は、 求められた相関値のピーク値と平均値との比が最大となる部分画像 S の位置データ (座標など) を画像データ記録部 27に記録する。
そして、 ステップ G 8において、 特徴的構造位置検出部 22は、 画像データ 記録部 27に記録される複数の部分画像 Sの位置データの中から 2つ以上の位 置データを所定の条件で選択する。 この所定の条件とは、 例えば、 求められる 複数の相関値の中で上位 2つの相関値を選択してもよいし、 最も近レ、距離にあ る 2つの位置データを選択してもよい。 そして、 部分画像 S 1の位置データと 部分画像 S 2の位置データとから相対位置データを求め、 その相対位置データ を画像データ記録部 27などに記録しておく。
次に、 第 6の実施形態における画像データ照合部 1 2の動作について説明す る。
図 23は、 第 6の実施形態における画像データ照合部 1 2の動作について説 明するためのフローチヤ一トである。
まず、 ステップ H Iにおいて、 部分画像切り出し部 32は、 登録画像データ 記録部 30から上記図 21のステップ G 8で選択された複数の部分画像 S (S 1、 S 2、 . · .) の位置データを取り出し、 その位置データに基づいて、 画 像 Tから複数の部分画像 S (S l、 S 2、 ' · ·) を切り出す。
次に、 ステップ H2において、 粗調整部 37は、 入力画像データ記録部 3 1 から画像 Iを取り出し、 複数の部分画像 S (S l、 S 2、 ' · ■ ) を互いの相 対位置を保持したまま画像 I と重ね合わせ、 相関値を求める。 なお、 例えば、 複数の部分画像 S (S l、 S 2 · · · ) の全体の相関値は、 それぞれの部分 画像 S (S l、 S 2、 - · · ) の相関値の平均値や和とすることが考えられる。 又、 この相関値は、 上記 (3) 式又は (4) 式などを用いて求めることができ る。
次に、 ステップ H3において、 粗調整部 37は、 複数の部分画像 S (S l、 S 2、 * · · ) の相対位置を保持しながら、 所定の平行移動方向及び回転方向 に、 所定の平行移動量及び回転量移動させる。
次に、 ステップ H4において、 粗調整部 37は、 画像 I と複数の部分画像 S (S l、 S 2、 . · ·) との間で所定の全ての相対位置及び相対角度について 相関値を求めたか否かを判断する。
まだ所定の全ての相対位置及び相対角度について相関値を求めていないとき (ステップ H4が No)、 ステップ H2に戻り、 残りの相関値を求める。
一方、 所定の全ての相対位置及び相対角度について相関値が求められたとき (ステップ H4が Y e s;)、 ステップ H 5において、 判定部 39は、 ステップ H 2からステップ H 4までの工程で求められた相関値の内、 最大の相関値が所 定の条件を満たしたとき、 画像 I と部分画像 Sとが一致したと判定する。 なお、 この相関値は、 上記 (3) 式又は (4) 式などを用いて求めることができる。
<第 7の実施形態 >
第 1の実施形態から第 6の実施形態までは、 部分画像 Sを用いて画像 Tと画 像 I との相対位置及び相対角度を求めたが、 第 7の実施形態では、 その相対位 置及び相対角度を求める前段階において、 画像 T及び画像 Iからそれぞれ抽出 される特徴的な情報を用いて画像 Tと画像 Iとの相対位置及び相対角度を求め ることをする。 例えば、 第 7の実施形態は、 一番初めに、 画像 Tから得られる 隆線方向分布図と画像 Iから得られる隆線方向分布図とを用いて、 画像 Tと画 像 I との相対位置及び相対角度を求める。
例えば、 画像 Tから作成された隆線方向分布図 T一 4を図 2 4 ( a ) に示し、 画像 Iから作成された隆線方向分布図 I一 1を図 2 4 ( b ) に示す。 この図 2 4 ( a ) 及び (b ) に示す隆線方向分布図 T一 4及び I— 1は、 センサ 2 0よ り入力される指紋画像を一定の大きさのブロックに分割し、 それぞれのブロッ ク内の隆線方向を検出した結果を示すものであり、 その作成方法は、 図 1 3の 隆線方向分布図の作成方法と同様である。
そして、 この隆線方向分布図 T— 4と隆線方向分布 I― 1とを比べることで、 画像 Tと画像 I との相対位置及び相対角度を求めることができる。
又、 隆線方向分布図 T— 4及び I— 1の相関値の求め方は、 上述した画像 T と部分画像 Sとの相関値の求め方と同様に、 隆線方向分布図 T _ 4を、 所定の 平行移動方向に、 所定の平行移動量移動させながら、 隆線方向分布図 Τ一 4及 び I 一 1を重ねあわせ、 所定の平行移動量毎に相関値を求めていけばよい (図 2 4 ( c ) 参照)。 このときの相関値は、 例えば、 重なり合うブロック内にお ける隆線の角度差の二乗和や、 隆線の角度差が所定の角度差以下となるブロッ クの割合等にすればよい。
又、 更に、 どちらか一方の隆線方向分布図を少しずつ回転させながら相関値 を求めれば、 相対角度も求めることができる。 図 2 4 ( d ) は、 例えば、 隆線 方向分布図 T _ 4を所定の回転角度で回転させたときの図である。 そして、 例 えば、 この図 2 4 ( d ) に示す隆線方向分布図 T一 4と図 2 4 ( b ) に示す隆 線方向分布図 I一 1とで相関演算を行う。
すなわち、 隆線方向分布図 T— 4及び I— 1を用いて、 画像 Tと画像 I との およその相対位置及び相対角度を求め (第 1の粗調整)、 次に、 部分画像 Sを 用いて、 画像 Tと画像 I との細かな相対位置及び相対角度を求めることをする (第 2の粗調整)。 そして、 第 3の実施形態のように、 更に、 画像照合の精度 をあげたい場合は、 画像全体を用いて、 画像 Tと画像 I との相対位置及び相対 角度を求める (微調整)。 このように、 3段階で画像 Tと画像 I との相対位置 及び相対角度を求めているので、 第 1の実施形態及び第 3の実施形態よりも高 速で精度の高い画像照合を行うことができる。
又、 このように、 第 1及び第 2の粗調整で、 およその相対位置及び相対角度 を検出することができるので、 微調整では、 僅かな移動量で相対位置及び相対 角度を求めればよい。 これより、 第 7の実施形態において相関値などを求める 際に発生する演算量の増加量は僅かで済む。
ここで、 第 7の実施形態における画像データ照合部 1 2の動作について説明 する。
図 2 5は、 第 7の実施形態における画像データ照合部 1 2の動作について説 明するためのフローチヤ一トである。
まず、 ステップ J 1において、 隆線方向分布データ分離部 3 4は、 登録画像 データ記録部 3 0から所定の画像 Tを取り出し、 その画像 Tから隆線方向分布 図 T一 4を作成する、 若しくは、 予め登録画像データ記録部 3 0に記録されて いる隆線方向分布図 T一 4を抜き出すと共に、 入力画像データ記録部 3 1から 所定の画像 Iを取り出し、 その画像 Iから隆線方向分布図 I一 1を作成する。 なお、 谷線方向分布図を作成してもよい。
次に、 ステップ J 2において、 粗調整部 3 6は、 隆線方向分布図 T— 4及び 1— 1を重ね合わせ、 相関値を求める。
次に、 ステップ J 3において、 粗調整部 3 6は、 隆線方向分布図 T一 4又は I一 1のどちらか一方の隆線方向分布図の位置をずらす。
次に、 ステップ J 4において、 粗調整部 3 6は、 隆線方向分布図 T— 4と隆 線方向分布図 I一 1との間で所定の全ての相対位置及び相対角度について相関 値を求めたか否かを判断する。 まだ所定の全ての相関値を求めていないとき (ステップ】 4が^^ 0 )、 ステ ップ J 2に戻り、 残りの相関値を求める。
一方、 所定の全ての相関値が求められたとき (ステップ J 4が Y e S )、 ス テツプ J 5において、 粗調整部 3 6は、 ステップ J 2からステップ J 4までの 工程で求められた相関値の内、 最大の相関値が所定の条件を満たした場合、 そ のときの隆線方向分布図 T一 4及び I一 1の相対位置及び相対角度の算出結果 を粗調整部 3 7に送る。
<第 8の実施形態 >
第 7の実施形態は、 画像 Tと画像 I との相対位置及び相対角度の検出に、 隆 線方向分布図を用いたが、 第 8の実施形態では、 画像 T及び画像 Iからそれぞ れ特徴点を抽出し、 その特徴点に基づいて、 画像 Tと画像 I との相対位置及び 相対回転角度を求める。
まず、 図 2 6 ( a ) に示すように、 画像 T及び画像 Iのそれぞれの特徴点 P 1及び P 2の分布を示す特徴点分布図 T一 5及び I一 2を作成する。
そして、 図 2 6 ( b ) に示すように、 これら特徴点分布図 T— 5及び I _ 2 を重ね合わせ、 所定の特徴点 P 1及び P 2が最も良く重なり合うときの特徴点 分布図 T— 5及び I— 2の相対位置を求める。 この所定の特徴点 P 1及び P 2 の重なり具合は、 例えば、 2つの分布図を重ねたときに互いに最も近くなる特 徴点 P 1及び P 2の対の各距離の和が所定値よりも大きいか否かで判断すれば よレ、。 これを更に、 特徴点分布図 T _ 5又は I一 2を少しずつ回転させながら、 各特徴点 Ρ 1及び Ρ 2の重なり具合を評価すると、 相対角度も求めることがで さる。
又、 第 7の実施形態と第 8の実施形態とを組み合わせて、 隆線方向分布図 Τ 一 4及び I一 1内に特徴点 Ρ 1及び Ρ 2の位置データも同時に記録してもよい c すなわち、 例えば、 図 2 6 ( c ) に示すように、 隆線方向分布図 T— 4内にお いて特徴点を太枠と示し、 その隆線方向分布図 T— 4を記録してもよい。 そし て、 このように、 隆線方向分布図内に特徴点の位置データも同時に記録して相 関値を求めるとき、 重なり合う隆線方向分布図 T— 4において、 特徴点を含む プロックの隆線方向の角度差が所定の値以下だった場合に相関値を高くするこ とによって、 より精度の高い相対位置及び相対角度を求めることができる。 このように、 第 8の実施形態では、 特徴点分布図 T— 5及び I一 2における 互いの特徴点 P 1及び P 2の相対位置を用いて、 画像 Tと画像 I との相対位置 及び相対角度を求める。
ここで、 第 8の実施形態における画像データ照合部 1 2の動作を説明する。 図 2 7は、 第 8の実施形態における画像データ照合部 1 2の動作を説明する ためのフローチャートである。 又、 図 2 8は、 図 2 7のフローチャートの各ス テップで用いられるデータの一例を示す図である。
まず、 ステップ K 1において、 粗調整部 3 6は、 登録画像データ記録部 3 0 から所定の画像 Tを取り出し、 その画像 Tから特徴点分布図 T— 5を作成する と共に、 入力画像データ記録部 3 1から所定の画像 Iを取り出し、 その画像 I から特徴点分布図 I一 2を作成する。 図 2 8 ( a ) の例では、 特徴点分布図 T ― 5に特徴点①〜④が示され、 特徴点分布図 I一 2に特徴点 A〜Dが示されて いる。
次に、 ステップ K 2において、 粗調整部 3 6は、 特徴点分布図 T一 5の各特 徴点の相対位置関係を保ったまま、 特徴点分布図 T一 5を所定の角度回転させ る。 (図 2 8 ( b ) 参照)
次に、 ステップ K 3において、 粗調整部 3 6は、 特徴点分布図 T— 5と I— 2との間で各特徴点の組を作る。
次に、 ステップ K 4において、 粗調整部 3 6は、 特徴点分布図 T _ 5の所定 の特徴点と特徴点分布図 I一 2の所定の特徴点とを重ねる。 図 2 8 ( c ) の例 では、 特徴点①と特徴点 Aとを重ねている。
次に、 ステップ K 5において、 粗調整部 36は、 特徴点分布図 T一 5内の各 特徴点のそれぞれの特徴点に最も近い特徴点を特徴点分布図 I一 2から探す。 図 28 (d) の例では、 特徴点②ー特徴点 B、 特徴点③ー特徴点 C、 特徴点④ 一特徴点 Dがそれぞれ最も距離の短い特徴点の組としている。
次に、 ステップ K 6において、 粗調整部 36は、 ステップ K 5で見つかった 各特徴点と、 その各特徴点に対応する特徴点分布図 T一 5内の各特徴点との距 離 d (d l、 d 2、 d 3 - ■ · ) が所定の条件を満たすものがいくつあるか数 える。
次に、 ステップ K 7において、 粗調整部 36は、 全ての特徴点の組み合わせ に対してステップ K 4からステップ K 6までの処理を行ったか否かを判断する。 まだステップ K 4力ゝらステツプ K 6までの処理が行われていない特徴点の組 み合わせがある場合 (ステップ K7が No)、 ステップ K 3に戻る。
一方、 ステップ K 4からステップ K 6までの処理が全ての組み合わせの特徴 点で行われた場合 (ステップ K 7が Y e s)、 ステップ K 8において、 粗調整 部 36は、 所定の範囲の回転角度で特徴点分布図 Τ一 5を回転させたか否かを 判断する。 例えば、 図 28の例では、 (①, Α)、 (①, Β)、 (①, C)、 (①, D)、 (②, A)、 (②, B)、 · · ·、 (④, C) (④, D) の組み合わせを得る。 まだ所定の範囲の回転角度で特徴点分布図 T一 5を回転させていない場合 (ステップ K8が No)、 ステップ K 2に戻る。
一方、 所定の範囲の回転角度で特徴点分布図 Iを回転させた場合 (ステップ K8が Y e s)、 ステップ K 9において、 粗調整部 36は、 所定の条件を満た す特徴点の個数又は割合が最も多いときの特徴点分布図 Τ一 5と特徴点分布図 I— 2との相対位置及び相対角度の算出結果を粗調整部 37に送る。
ぐ第 9の実施形態 > 第 1の実施形態〜第 8の実施形態では、 画像全体を用いて最終的に求められ た相関値が、 所定の条件を満たしたときに、 画像 Tと画像 I とが一致すると判 定した。 しかしながら、 指紋画像の照合では、 更に、 高い精度が求められると きがある。 このような場合、 画像全体を用いて相関値を求めるとき、 例えば、 特徴点付近の領域についてのみ 「重み」 を高くすると、 指紋画像の照合の精度 があ力、る。
例えば、 相関値 (評価値) を V (x , y)、 画像 Tを f ( i , j )、 画像 Iを g ( i — x, j -y) とする場合、 以下の (5) 式のように示すことができる。 【数 5】
ν(χ, γ) = (1/Ζ)∑ /(, j)g(i -x,j- y)A{i,脚 -xj-y) _ ( 5 ) なお、 A ( i, ) = a l ( f ( i, j ) が特徴点付近である場合)、 A ( i , j ) = ]3 1 ( f ( i , j ) が特徴点付近でない場合) を示す。 但し、 α 1〉 0 1。
又、 Β ( i, j ) = α 2 (g ( i, j ) が特徴点付近である場合)、 B ( i , j ) = β 2 (g ( i , j ) が特徴点付近でない場合) を示す。 但し、 《 2 > ]3 20
又、 Zは、 f ( i, j ) と g ( i - x , j - y) とが重なる領域の面積を示 す。
又、 例えば、 相関値 (評価値) を V (x , y)、 画像 Tを f ( i , j )、 画像 Iを g ( i _ x, j — y) とする場合、 以下の (6) 式のように示すこともで きる。
【数 6】
v(x, = (1 / Z)∑ f(i, j)g{i -xj- y)A(i, j) _ ( 6 ) なお、 A ( i, j ) = a 1 ( f ( i, j ) が特徴点付近である場合)、 A ( i , j ) = β 1 ( f ( i , j ) が特徴点付近でない場合) を示す。 但し、 a 1 > 。
又、 Zは、 f ( i , j ) と g ( i - x , j - y ) とが重なる領域の面積を示 す。 そして、 特徴点付近は、 例えば、 図 2 8に示すように特徴点位置を中心に 所定の大きさと定義すればよい。
又、 相関値 (評価値) を V ( X , y ), 画像 Tを f ( i, j )、 画像 Iを g ( i一 x, j - y ) とし、 f ( i, j ) 及び g ( i , j ) の値域を、 0又は 1 とする場合、 以下のような (7) 式が成り立つ。
【数 7】
v(x, ) = (1 / )^ not(f(i, j)xorg(i -xj- y))A(i, j)B(i - j, j-y) _ ( ? ) なお、 A ( i , j ) = a 1 ( f ( i , j ) が特徴点付近である場合)、 A ( i, j ) = β 1 ( f ( i, j ) が特徴点付近でない場合) を示す。 但し、 a 1 > β 1。
又、 B ( i, j ) = a 2 ( g ( i , j ) が特徴点付近である場合)、 B ( i, j ) = β 2 (g ( i , j ) が特徴点付近でない場合) を示す。 但し、 α 2 > β 2。
又、 X o rは、 排他的論理和を、 n o tは、 否定を示す。
又、 Zは、 f ( i, j ) と g ( i - x, j - y ) とが重なる領域の面積を示 す。
又、 例えば、 相関値 (評価値) を V (x , y)、 画像 Tを f ( i, j )、 画像 Iを g ( i — x, j _ y) とし、 f ( i, g ) 及び g ( i . j ) の値域を、 0 又は 1とする場合、 以下の (8) 式のように示すこともできる。
【数 8】
v(x, = (1 / Z)^ not(f(i, j)xorg(i -xj- y))A{i, j) _ ( g ) なお、 A ( i , j ) = a l ( f ( i , :i ) が特徴点付近である場合)、 A ( i , j ) = ]3 1 ( f ( i , j ) が特徴点付近でない場合) を示す。 但し、 a 1 > ]3 1。
又、 x o rは、 排他的論理和を、 n o tは、 否定を示す。
又、 Zは、 ί ( i, j ) と g ( i _ x, j - y ) とが重なる領域の面積を示 す。
<第 1 0の実施形態 >
第 1 0の実施形態では、 第 1の実施形態〜第 8の実施形態で粗調整又は微調 整を行った後、 画像全体を用いて画像照合を行うに加え、 更に、 特徴点を用い て画像照合を行うことをする。
まず、 第 1の実施形態〜第 8の実施形態の画像照合を行い、 画像 Tと画像 I との相対位置及び相対角度を求める。
次に、 その相対位置及び相対角度を用いて、 画像 Tと画像 I とを重ねあわせ、 画像全体同士で相関値を求めると共に、 特徴点付近の所定領域同士で相関値を 求める。 この相関値を求めるときの特徴点付近の所定領域は、 例えば、 図 2 9 に示すように、 特徴点を中心とした所定の大きさの領域とする。 なお、 図 2 9 の例では、 特徴点 P付近の所定領域 Qは、 四角で示しているが所定領域の形は これに限定されない。
又、 特徴点 P付近の所定領域 Qの相関値を求めるとき、 どちらか一方の特徴 点 P付近の所定領域 Qを、 平行移動方向又は回転方向に、 所定の平行移動量及 び回転量摂動させ、 所定の平行移動量毎及び回転量毎に相関値を求める。 そし て、 最大となる相関値をその特徴点 P付近の所定領域 Qの相関値とする。
又、 特徴点 P付近の所定領域 Qにおいて、 相関値を求め、 所定の条件を満た した場合、 特徴点 Pが一致したと判定し、 この一致した特徴点 Pの個数又は割 合 (一致した特徴点 Pの個数/全体の登録特徴点 Pの個数) が所定の値を超え、 且つ、 上記画像全体の相関値が所定の条件を満たしたとき、 画像 Tと画像 I と がー致したと判定する。 ここで、 第 1 0の実施形態における画像データ照合部 1 2の動作を説明する。 図 3 0は、 第 1 0の実施形態における画像データ照合部 1 2の動作を説明す るためのフローチヤ一トである。
まず、 ステップ L 1において、 粗調整部 3 6又は 3 7は、 第 1の実施形態〜 第 8の実施形態までの照合方法を用いて、 画像照合を行う。
次に、 ステップ L 2において、 特徴点局所領域照合部 3 5は、 登録画像デー タ記録部 3 0から所定の画像 Tを取り出し、 その画像 Tの特徴点を抽出すると 共に、 入力画像データ記録部 3 1から所定の画像 Iを取り出し、 その画像 Iの 特徴点を抽出する。 若しくは、 画像データ生成時に特徴点抽出を行い、 画像デ ータに連結しておいてもよい。
次に、 ステップ L 3において、 特徴点局所領域照合部 3 5は、 ステップ L 1 で既に求められた画像 Tと画像 I との相対位置及び相対角度に基づいて、 画像 Tと画像 I とを重ね合わせる。
次に、 ステップ L 4において、 特徴点局所領域照合部 3 5は、 画像 Tの特徴 点 P付近の所定領域 Qと画像 Iの特徴点 P付近の所定領域 Qとの相関値を求め る。 なお、 この相関値は、 上記 (3 ) '式又は (4 ) 式などを用いて求めること ができる。
次に、 ステップ L 5において、 特徴点局所領域照合部 3 5は、 ステップ L 4 で求められた相関値が所定の条件を満たすものがいくつあるかを求める。 なお、 ステップ L 4で求められた相関値が所定の条件を満たすものが全体の特徴点の 内いくつあるかを求めてもよい。
そして、 ステップ L 6において、 判定部 3 9は、 ステップ L 1における画像 照合の結果と、 ステップ L 5で求められた個数とに基づいて、 画像 Tと画像 I とが一致するか否かを判定する。 すなわち、 例えば、 ステップ L 1における画 像照合の結果が一致を示すものであり、 ステップ L 5で求められた個数が所定 の条件を満たしたとき、 画像 Tと画像 I とが一致すると判定する。
<第 1 1の実施形態〉
第 10の実施形態では、 第 1の実施形態〜第 8の実施形態の画像照合の結果 と、 特徴点を用いた画像照合の結果とを合わせて、 画像 Tと画像 I とが一致す るか否かを求めているが、 第 1 1の実施形態は、 まず、 第 1の実施形態〜第 8 の実施形態で画像 Tと画像 I との相対位置及び相対角度を求め、 その相対位置 及び相対角度を用いて画像 Tの特徴点 P付近の所定領域 Qと画像 Iの特徴点 P 付近の所定領域 Qとを重ね合わせ、 それら特徴点 P付近の所定領域 Q同士の相 関値に基づいて画像 Tと画像 I とが一致するか否かを判定する。
すなわち、 第 1の実施形態〜第 8の実施形態で得られる相対位置及び相対角 度を用いて、 特徴点 P付近の所定領域 Qを重ね合わせ、 それらの画像の相関値 より画像 Tと画像 I とが一致するか否かを判定する。
なお、 第 1 1の実施形態における画像データ照合部 1 2の動作の説明は、 図 30のフローチャートのステップ L 5が、 「求められた個数に基づいて、 画像 Tと画像 I とが一致するか否かを判定する」 となるだけで、 その他の工程は同 様となるので、 説明を省略する。
ここで、 本実施形態の画像照合方法における演算量と既存の画像照合方法に おける演算量を具体的に示す。
まず、 既存の画像照合方法における演算量を具体的に示す。
例えば、 画像 Tを 1 28画素 X 1 28画素の大きさの画像、 画像 Iを 1 28 画素 X 1 28画素の大きさの画像とし、 画像 Tを 1画素ずつずらし画像 Tと画 像 I との相対位置を求める場合を考える。
この場合の演算 (乗算) 回数 N 1は、 N 1 - 1 28 X 2 X 1 28 X 2 X 1 2 8 X 1 28= 10億 7千回となる。
次に、 第 1の実施形態の画像照合方法における演算量を具体的に示す。 例えば、 画像 Tを 1 28画素 X 1 28画素の大きさの画像、 部分画像 Sを 3 2画素 X 32画素の大きさの画像、 画像 Iを 1 28画素 X 1 28画素の大きさ の画像とし、 部分画像 Sを 1画素ずつずらし画像 Τと画像 I との相対位置を求 める場合を考える。
この場合の演算回数 Ν 2は、 Ν2= 1 28 Χ 2 Χ 1 28 Χ 2 Χ 32 Χ 32 = 6700万回となる。
次に、 第 3の実施形態の画像照合方法における演算量を具体的に示す。 例えば、 画像 Τを 1 28画素 X I 28画素の大きさの画像、 部分画像 Sを 3 2画素 X 32画素の大きさの画像、 画像 Iを 1 28画素 X 1 28画素の大きさ の画像、 隆線方向分布図 Τ及び Iを 1 6ブロック X 1 6ブロックの大きさの画 像とし、 部分画像 S及び隆線方向分布図 Τを 1画素ずつ及び 1ブロックずつず らし画像 Τと画像 I との相対位置を求める場合を考える。 なお、 1ブロック = 8画素 X 8画素とする。
この場合の演算回数 Ν 3は、 隆線方向分布図 Τ及び Iにより画像 Τと画像 I との相対位置を求めるときの演算回数 Ν 3 (1) = 16 X 2 X 16 X 2 X 16 X I 6 26万回と、 部分画像 Sにより画像 Τと画像 I との相対位置を求める ときの演算回数 Ν 3 (2) =32 X 32 X 20 X 20 = 4 1万回との合計 ( 6 7万回程度) となる。 なお、 部分画像 Sを X方向又は y方向に ± 10画素ずら す場合を考えている。
次に、 第 7の実施形態の画像照合方法における演算量を具体的に示す。 例えば、 画像 Tを 1 28画素 X 1 28画素の大きさの画像、 部分画像 Sを 3 2画素 X 32画素の大きさの画像、 画像 Iを 1 28画素 X 1 28画素の大きさ の画像、 隆線方向分布図 T及び Iを 16ブロック X 16ブロックの大きさの画 像とし、 部分画像 S及び隆線方向分布図 Tを 1画素ずつ及び 1ブロックずつず らす画像 Tと画像 I との相対位置を求める場合を考える。 なお、 1ブロック = 8画素 X 8画素とする。
この場合の演算回数 N 4は、 隆線方向分布図 T及び Iにより画像 Tと画像 I との相対位置を求めるときの演算回数 N 4 (1) = 16 X 2 X 16 X 2 X 1 6 X 1 6 = 26万回と、 部分画像 Sにより画像 Tと画像 I との相対位置を求める ときの演算回数 N 4 (2) = 32 X 32 X 20 X 20 = 4 1万回と、 全体画像 により画像 Tと画像 I との相対位置を求めるときの演算回数 N4 (3) = 1 2 8 X 1 2 8 X 6 X 6 = 59万回との合計 ( 1 26万回程度) となる。 なお、 部 分画像 Sを X方向又は y方向に土 10画素ずらし、 画像全体を X方向又は y方 向に ± 3画素ずらす場合を考えている。
このように、 既存の画像照合方法における演算回数は、 およそ 10億 7千回 に対して、 本実施形態の画像照合方法における演算回数は、 およそ 6700万 回、 およそ 67万回、 およそ 1 26万回であり、 何れも既存の画像照合方法に おける演算回数よりもはるかに少ない。
図 31は、 本実施形態をプログラムで実現する場合に必要とされるハードウ ユア構成の例を示す図である。
上述した実施形態の処理は、 コンピュータ 290で動作するプログラムで実 現が可能である。 この場合、 コンピュータ 290は、 〇?1129 1にバス 29 2を介して接続された各装置の相互データ交換によって実現される。 ROM2 93には、 B I OSなどが組み込まれ、 電源投入と同時に、 入出力装置 294 等とのデータ交換を可能にする。 コンピュータ 290を画像照合装置として使 用する場合には、 ROM293にプログラムを格納することにより、 CPU 2 9 1に実行させるようにしても良い。 入出力装置 294は、 通常、 キーボード、 マウス、 ディスプレイなどからなるが、 画像を入力するためのセンサ 20 (ス キヤナ等) も含む。
当該プログラムは、 ハードディスクなどの記憶装置 295に記憶され、 必要 に応じて C PU 29 1の指示により、 RAM296に展開されて、 CPU 29 1によって実行される。 或いは、 当該プログラムをフレキシブルディスクや C D_ROM、 DVD等の可搬記録媒体 297に記録して持ち運び可能とし、 必 要に応じて、 記録媒体読み取り装置 298に読みとらせて、 RAM296に展 開し、 CPU29 1に実行させることも可能である。 或いは、 可搬記録媒体 2 97からプログラムを記憶装置 295に記憶させて、 記憶装置 295からプロ グラムを R AM296に読み込んで C PU 29 1に実行させることも可能であ る。
又、 今日のようにインターネットなどのコンピュータネットワークが発達し た環境では、 通信インターフェース 299を介してネットワーク 300に接続 し、 情報提供者 30 1から当該プログラムをダウンロードして実行することも 可能である。 あるいは、 LANなどにおいてよく行われているように、 情報提 供者 301が LANのサーバのような機能を果たす場合、 ネットワーク環境下 で、 プログラムを情報提供者 301から直接ダウンロードすることなく CPU 29 1に実行させることも可能である。 又、 指紋に関するデータを情報提供者 30 1に送って処理させ、 結果のみをコンピュータ 290が受け取るという実 行形態も可能である。
又、 入出力装置 294 (特には、 指紋画像読み取りのための装置) を指紋画 像照合を必要とする複数箇所に配置し、 その照合処理については、 中央に設け られたコンピュータ 290で一括して行うようなシステムを組むことも可能で ある。
又、 上記第 1の実施形態から第 1 1の実施形態までの各実施形態の内、 必要 に応じて所定の実施形態を組合わせて他の実施形態を構成してもよレ、。
以上、 本発明によれば、 2つの画像を照合する際に一方の画像から所定の大 きさの部分画像を切り出し、 その部分画像を用いて 2つの画像の相対位置を調 整し、 その後 2つの画像が一致するか否かを判定しているので、 既存の画像照 合のように、 全画像同士で相対位置を調整しながら画像照合を行うよりも画像 照合のための演算量を少なくすることができる。 これより、 既存の画像照合方 法よりも 2つの画像が一致するか否かの結果ができるまでにかかる時間を短縮 することが可能となる。
又、 その部分画像が特に画像の特徴的な部分である場合に、 重みをつけて判 定することでより精度の高い判定結果を得ることが可能となる。

Claims

請 求 の 範 囲
1 . 第 1及び第 2の画像が互いに一致するか否かを照合する画像照合装置で あって、 前記第 1の画像から所定の大きさの部分画像を切り出す部分画像切出 手段と、 前記第 2の画像上において前記部分画像を移動させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2の画像とが最も一致するときの前記部分画 像の位置を探索する探索手段と、 前記探索手段が探索した位置に基づいて、 前 記第 2の画像と前記第 1の画像との相対位置を調整する調整手段と、 前記調整 手段の調整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致するか 否かを判定する判定手段とを備えることを特徴とする画像照合装置。
2 . 請求の範囲第 1項に記載の画像照合装置であって、 前記探索手段は、 前 記第 2の画像上において前記部分画像を移動及び回転させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2の画像とが最も一致するときの前記部分画 像の位置及び回転角度を探索し、 前記調整手段は、 前記探索手段が探索した位 置及び回転角度に基づいて、 前記第 2の画像と前記第 1の画像との相対位置及 び相対角度を調整することを特徴とする画像照合装置。
3 . 第 1及び第 2の画像が互いに一致するか否かを照合する画像照合装置で あって、 予め前記第 1の画像を記録する第 1の記録手段と、 前記第 1の記録手 段に記録される第 1の画像から所定の大きさの部分画像を切り出す部分画像切 出手段と、 前記部分画像を記録する第 2の記録手段と、 入力される前記第 2の 画像を記録する第 3の記録手段と、 前記第 3の記録手段から所定の前記第 2の 画像を抽出し、 該第 2の画像に対応する前記部分画像を前記第 2の記録手段か ら抽出し、 前記第 2の画像上において前記部分画像を移動させ、 前記部分画像 と、 該部分画像と重なる部分の前記第 2の画像とが最も一致するときの前記部 分画像の位置を探索する探索手段と、 前記探索手段が探索した位置に基づいて、 前記第 2の画像と前記第 1の画像との相対位置を調整する調整手段と、 前記調 整手段の調整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致する か否かを判定する判定手段とを備えることを特徴とする画像照合装置。
4 . 第 1及び第 2の画像が互いに一致するか否かを照合する画像照合装置で あって、 予め前記第 1の画像を記録する第 1の記録手段と、 前記第 1の記録手 段に記録される第 1の画像から所定の大きさの部分画像を切り出す部分画像切 出手段と、 前記部分画像を記録する第 2の記録手段と、 入力される前記第 2の 画像を記録する第 3の記録手段と、 前記第 3の記録手段から所定の前記第 2の 画像を抽出し、 該第 2の画像に対応する前記部分画像を前記第 2の記録手段か ら抽出し、 前記第 2の画像上のある位置での前記部分画像と、 該部分画像と重 なる部分の前記第 2の画像との相関値を 2以上算出する算出手段と、 前記 2以 上の相関値の内、 所定の条件を満たす相関値に対応する前記部分画像の位置に 基づいて、 前記第 2の画像と前記第 1の画像との相対位置を調整する調整手段 と、 前記調整手段の調整結果に基づいて、 前記第 1の画像と前記第 2の画像と がー致するか否かを判定する判定手段とを備えることを特徴とする画像照合装
5 . 第 1及び第 2の画像が互いに一致するか否かを照合する画像照合装置で あって、 前記第 1の画像から所定の大きさの部分画像を切り出す部分画像切出 手段と、 前記第 2の画像上において前記部分画像を移動させ、 前記部分画像と 該部分画像と重なる部分の前記第 2の画像とが最も一致するときの前記部分画 像の位置を探索する第 1の探索手段と、 前記第 1の探索手段が探索した位置に 基づいて、 前記第 2の画像と前記第 1の画像との相対位置を調整する第 1の調 整手段と、 前記第 1の調整手段が調整した相対位置を基準に、 前記第 2の画像 上において前記第 1の画像を移動させ、 前記第 1の画像と、 該第 1の画像と重 なる部分の前記第 2の画像とが最も一致するときの前記第 1の画像の位置を探 索する第 2の探索手段と、 前記第 2の探索手段が探索した位置に基づいて、 前 記第 2の画像と前記第 1の画像との相対位置を調整する第 2の調整手段と、 前 記第 2の調整手段の調整結果に基づいて、 前記第 1の画像と前記第 2の画像と がー致するか否かを判定する判定手段とを備えることを特徴とする画像照合装
6 . 請求の範囲第 5項に記載の画像照合装置であって、 前記第 1の探索手段 は、 前記第 2の画像上において前記部分画像を移動及び回転させ、 前記部分画 像と該部分画像と重なる部分の前記第 2の画像とが最も一致するときの前記部 分画像の位置及び回転角度を探索し、 前記第 1の調整手段は、 前記第 1の探索 手段が探索した位置及び回転角度に基づいて、 前記第 2の画像と前記第 1の画 像との相対位置及び相対角度を調整し、 前記第 2の探索手段は、 前記第 1の調 整手段が調整した相対位置及び相対角度を基準に、 前記第 2の画像上において 前記第 1の画像を移動及び回転させ、 前記第 1の画像と、 該第 1の画像と重な る部分の前記第 2の画像とが最も一致するときの前記第 1の画像の位置及び回 転角度を探索し、 前記第 2の調整手段は、 前記第 2の探索手段が探索した位置 及び回転角度に基づいて、 前記第 2の画像と前記第 1の画像との相対位置及び 相対角度を調整することを特徴とする画像照合装置。
7 . 第 1及び第 2の画像が互いに一致するか否かを照合する画像照合装置で あって、 前記第 1及び第 2の画像から第 1及び第 2の特徴情報を抽出する抽出 手段と、 前記第 1及び第 2の特徴情報に基づいて、 前記第 1の画像と前記第 2 の画像との相対位置を調整する第 1の調整手段と、 前記第 1の画像から所定の 大きさの部分画像を切り出す部分画像切出手段と、 前記第 1の調整手段が調整 した相対位置を基準に、 前記第 2の画像上において前記部分画像を移動させ、 前記部分画像と該部分画像と重なる部分の前記第 2の画像とが最も一致すると きの前記部分画像の位置を探索する第 1の探索手段と、 前記第 1の探索手段が 探索した位置に基づいて、 前記第 2の画像と前記第 1の画像との相対位置を調 整する第 2の調整手段と、 前記第 2の調整手段が調整した相対位置を基準に、 前記第 2の画像上において前記第 1の画像を移動させ、 前記第 1の画像と、 該 第 1の画像と重なる部分の前記第 2の画像とが最も一致するときの前記第 1の 画像の位置を探索する第 2の探索手段と、 前記第 2の探索手段が探索した位置 に基づいて、 前記第 2の画像と前記第 1の画像との相対位置を調整する第 3の 調整手段と、 前記第 3の調整手段の調整結果に基づいて、 前記第 1の画像と前 記第 2の画像とがー致するか否かを判定する判定手段とを備えることを特徴と する画像照合装置。
8 . 請求の範囲第 7項に記載の画像照合装置であって、 前記第 1の調整手段 は、 前記第 1及び第 2の特徴情報に基づいて、 前記第 1の画像と前記第 2の画 像との相対位置及び相対角度を調整し、 前記第 1の探索手段は、 前記第 1の調 整手段が調整した相対位置及び相対角度を基準に、 前記第 2の画像上において 前記部分画像を移動及び回転させ、 前記部分画像と該部分画像と重なる部分の 前記第 2の画像とが最も一致するときの前記部分画像の位置及び回転角度を探 索し、 前記第 2の調整手段は、 前記第 1の探索手段が探索した位置及び回転角 度に基づいて、 前記第 2の画像と前記第 1の画像との相対位置及び相対角度を 調整し、 前記第 2の探索手段は、 前記第 2の調整手段が調整した相対位置及び 相対角度を基準に、 前記第 2の画像上において前記第 1の画像を移動及び回転 させ、 前記第 1の画像と、 該第 1の画像と重なる部分の前記第 2の画像とが最 も一致するときの前記第 1の画像の位置及び回転角度を探索し、 前記第 3の調 整手段は、 前記第 2の探索手段が探索した位置及び回転角度に基づいて、 前記 第 2の画像と前記第 1の画像との相対位置及び相対角度を調整することを特徴 とする画像照合装置。
9 . 第 1及び第 2の画像が互いに一致するか否かを照合する画像照合方法で あって、 前記第 1の画像から所定の大きさの部分画像を切り出す部分画像切出 工程と、 前記第 2の画像上において前記部分画像を移動させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2の画像とが最も一致するときの前記部分画 像の位置を探索する探索工程と、 前記探索工程で探索した位置に基づいて、 前 記第 2の画像と前記第 1の画像との相対位置を調整する調整工程と、 前記調整 工程の調整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致するか 否かを判定する判定工程とからなる画像照合方法。
1 0 . 第 1及び第 2の画像が互いに一致するか否かを照合するためにコンビ ユータを、 前記第 1の画像から所定の大きさの部分画像を切り出す部分画像切 出手段、 前記第 2の画像上において前記部分画像を移動させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2の画像とが最も一致するときの前記部分画 像の位置を探索する探索手段、 前記探索手段が探索した位置に基づいて、 前記 第 2の画像と前記第 1の画像との相対位置を調整する調整手段、 前記調整手段 の調整結果に基づいて、 前記第 1の画像と前記第 2の画像とがー致するか否か を判定する判定手段として機能させるための画像照合プログラム。
1 1 . 請求の範囲第 1項、 第 5項、 又は第 7項の何れか 1項に記載の画像照 合装置であって、 前記部分画像切出手段は、 前記第 1の画像の中心付近から前 記部分画像を切り出すことを特徴とする画像照合装置。
1 2 . 請求の範囲第 1項、 第 5項、 又は第 7項の何れか 1項に記載の画像照 合装置であって、 前記部分画像切出手段は、 前記第 1の画像から任意に切り出 された部分画像と前記第 1の画像と重なる部分の画像との相関値を 2以上算出 し、 該 2以上の相関値の内、 最も大きい相関値となる場合の部分画像を前記探 索手段で使用することを特徴とする画像照合装置。
1 3 . 請求の範囲第 1項、 第 5項、 又は第 7項の何れか 1項に記載の画像照 合装置であって、 前記探索手段は、 前記部分画像を前記第 2の画像の中心付近 から移動させ、 前記部分画像と、 該部分画像と重なる部分の前記第 2の画像と が最も一致するときの前記部分画像の位置を探索することを特徴とする画像照
1 4 . 請求の範囲第 1項、 第 5項、 又は第 7項の何れか 1項に記載の画像照 合装置であって、 前記部分画像切出手段は、 前記第 1の画像から所定の大きさ の部分画像を 2以上切り出すことを特徴とする画像照合装置。
1 5 . 請求の範囲第 1 4項に記載の画像照合装置であって、 前記部分画像切 出手段は、 前記第 1の画像から任意に切り出された 2以上の部分画像と前記第 1の画像と重なる部分の画像との相関値をそれぞれ算出し、 該相関値が大きく なるときの部分画像を前記探索手段で使用することを特徴とする画像照合装置。
1 6 . 請求の範囲第 1項、 第 5項、 又は第 7項の何れか 1項に記載の画像照 合装置であって、 前記判定手段は、 前記第 1及び第 2の画像をそれぞれ分割し、 それぞれの分割領域で前記第 1及び第 2の画像を一致するか否かを判定するこ とを特徴とする画像照合装置。
1 7 . 請求の範囲第 1項、 第 5項、 又は第 7項の何れか 1項に記載の画像照 合装置であって、 前記第 1及び第 2の画像は、 指紋画像、 虹彩画像、 顔画像、 手相画像、 又は静脈画像であることを特徴とする画像照合装置。
1 8 . 請求の範囲第 7項に記載の画像照合装置であって、 前記第 1及び第 2 の画像は、 指紋画像であり、 前記抽出手段は、 前記第 1及び第 2の画像を隆線 方向分布図又は谷線方向分布図に変換し、 該隆線方向分布図又は谷線方向分布 図から前記第 1及び第 2の特徴情報を抽出することを特徴とする画像照合装置。
PCT/JP2003/004784 2003-04-15 2003-04-15 画像照合装置、画像照合方法、及び画像照合プログラム Ceased WO2004093013A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004570881A JP4127546B2 (ja) 2003-04-15 2003-04-15 画像照合装置、画像照合方法、及び画像照合プログラム
PCT/JP2003/004784 WO2004093013A1 (ja) 2003-04-15 2003-04-15 画像照合装置、画像照合方法、及び画像照合プログラム
US11/068,935 US7822237B2 (en) 2003-04-15 2005-03-02 Image matching apparatus, image matching method, and image matching program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2003/004784 WO2004093013A1 (ja) 2003-04-15 2003-04-15 画像照合装置、画像照合方法、及び画像照合プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US11/068,935 Continuation US7822237B2 (en) 2003-04-15 2005-03-02 Image matching apparatus, image matching method, and image matching program

Publications (1)

Publication Number Publication Date
WO2004093013A1 true WO2004093013A1 (ja) 2004-10-28

Family

ID=33193232

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/004784 Ceased WO2004093013A1 (ja) 2003-04-15 2003-04-15 画像照合装置、画像照合方法、及び画像照合プログラム

Country Status (3)

Country Link
US (1) US7822237B2 (ja)
JP (1) JP4127546B2 (ja)
WO (1) WO2004093013A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212273A (ja) * 2011-03-31 2012-11-01 Lapis Semiconductor Co Ltd 指紋認証方法、指紋認証システム、及び半導体装置
JP2016207207A (ja) * 2015-04-15 2016-12-08 三星電子株式会社Samsung Electronics Co.,Ltd. 指紋認識方法及び装置
JP2018528516A (ja) * 2015-09-09 2018-09-27 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited 製品画像がロゴパターンを含むかどうかを判定するためのシステムおよび方法
US10679037B2 (en) 2015-04-15 2020-06-09 Samsung Electronics Co., Ltd. Method and apparatus for recognizing fingerprint

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8035612B2 (en) 2002-05-28 2011-10-11 Intellectual Ventures Holding 67 Llc Self-contained interactive video display system
US8300042B2 (en) 2001-06-05 2012-10-30 Microsoft Corporation Interactive video display system using strobed light
US7710391B2 (en) * 2002-05-28 2010-05-04 Matthew Bell Processing an image utilizing a spatially varying pattern
US20050122308A1 (en) * 2002-05-28 2005-06-09 Matthew Bell Self-contained interactive video display system
WO2004055776A1 (en) * 2002-12-13 2004-07-01 Reactrix Systems Interactive directed light/sound system
WO2004093013A1 (ja) * 2003-04-15 2004-10-28 Fujitsu Limited 画像照合装置、画像照合方法、及び画像照合プログラム
EP1619622B1 (en) * 2003-04-25 2009-11-25 Fujitsu Limited Fingerprint matching device, fingerprint matching method, and fingerprint matching program
CN102034197A (zh) 2003-10-24 2011-04-27 瑞克楚斯系统公司 管理交互式视频显示系统的方法和系统
US9128519B1 (en) 2005-04-15 2015-09-08 Intellectual Ventures Holding 67 Llc Method and system for state-based control of objects
US8081822B1 (en) * 2005-05-31 2011-12-20 Intellectual Ventures Holding 67 Llc System and method for sensing a feature of an object in an interactive video display
US8098277B1 (en) 2005-12-02 2012-01-17 Intellectual Ventures Holding 67 Llc Systems and methods for communication between a reactive video system and a mobile communication device
JP2007323432A (ja) * 2006-06-01 2007-12-13 Sharp Corp 画像照合装置、画像照合方法、画像照合プログラムおよび画像照合プログラムを記録したコンピュータ読取り可能な記録媒体
SE530514C2 (sv) * 2006-09-07 2008-06-24 Innitor Ab En metod, en apparat och en datorprogramprodukt inom fingeravtrycksmatchning
US20080273769A1 (en) * 2007-05-01 2008-11-06 Motorola, Inc. Print matching method and system using direction images
CA2699628A1 (en) 2007-09-14 2009-03-19 Matthew Bell Gesture-based user interactions with status indicators for acceptable inputs in volumetric zones
US8159682B2 (en) 2007-11-12 2012-04-17 Intellectual Ventures Holding 67 Llc Lens system
US20090169072A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and system for comparing prints using a reconstructed direction image
US8259163B2 (en) 2008-03-07 2012-09-04 Intellectual Ventures Holding 67 Llc Display with built in 3D sensing
US8634604B2 (en) * 2008-05-05 2014-01-21 Sonavation, Inc. Method and system for enhanced image alignment
US8595218B2 (en) 2008-06-12 2013-11-26 Intellectual Ventures Holding 67 Llc Interactive display management systems and methods
US8305633B2 (en) * 2009-06-26 2012-11-06 Fuji Xerox Co., Ltd. Registering apparatus, authentication system, registering program storage medium and registering method
WO2012124115A1 (ja) * 2011-03-17 2012-09-20 富士通株式会社 生体情報取得装置、生体情報照合装置、及びプログラム
US20130107065A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Inertial sensor aided stationary object detection in videos
US20130107066A1 (en) * 2011-10-27 2013-05-02 Qualcomm Incorporated Sensor aided video stabilization
KR101928944B1 (ko) * 2012-06-06 2019-03-12 삼성전자주식회사 이미지를 기반으로 한 무선단말의 위치 측정 장치 및 방법
US8824758B2 (en) * 2012-11-07 2014-09-02 Sony Corporation Method and apparatus for orienting tissue samples for comparison
AU2012258429B2 (en) * 2012-11-30 2015-06-04 Canon Kabushiki Kaisha Correlation using overlayed patches
USD741889S1 (en) * 2013-09-10 2015-10-27 Apple Inc. Display screen or portion thereof with animated graphical user interface
WO2016025540A1 (en) * 2014-08-11 2016-02-18 Synaptics Incorporated Multi-view fingerprint matching
USD755839S1 (en) 2014-09-09 2016-05-10 Apple Inc. Display screen or portion thereof with graphical user interface
US9400914B2 (en) * 2014-10-24 2016-07-26 Egis Technology Inc. Method and electronic device for generating fingerprint enrollment data
USD804508S1 (en) 2016-10-26 2017-12-05 Apple Inc. Display screen or portion thereof with graphical user interface
WO2021173862A1 (en) * 2020-02-26 2021-09-02 Magic Leap, Inc. Cross reality system with buffering for localization accuracy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162174A (ja) * 1992-11-26 1994-06-10 Fujitsu Ltd 指紋照合方法
JP2001243465A (ja) * 2000-03-01 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 指紋画像照合方法および指紋画像照合装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2693810B2 (ja) 1989-03-20 1997-12-24 富士通株式会社 指紋照合装置
US5359513A (en) 1992-11-25 1994-10-25 Arch Development Corporation Method and system for detection of interval change in temporally sequential chest images
JPH06195448A (ja) 1992-12-24 1994-07-15 Fujitsu Ltd 指紋照合方法及びその装置
JPH06223160A (ja) 1993-01-27 1994-08-12 Fujitsu Ltd 指紋照合処理方式
JPH08110939A (ja) 1994-10-12 1996-04-30 Konica Corp 画像の位置合わせ処理装置及び画像間演算処理装置
JPH0973540A (ja) 1995-09-04 1997-03-18 Sharp Corp 動きベクトル算出装置
US5909501A (en) * 1996-09-09 1999-06-01 Arete Associates Systems and methods with identity verification by comparison and interpretation of skin patterns such as fingerprints
DE19909627A1 (de) 1999-03-05 2000-09-07 Bosch Gmbh Robert Verfahren und Vorrichtung zur Bestimmung einer Verschiebung von Bildern einer Bildsequenz
FI20011370A7 (fi) * 2001-06-27 2002-12-28 Nokia Corp Biotunnistusmenetelmä ja sitä hyödyntävä laite
US20040175023A1 (en) * 2001-07-05 2004-09-09 Ola Svedin Method and apparatus for checking a person's identity, where a system of coordinates, constant to the fingerprint, is the reference
WO2004093013A1 (ja) * 2003-04-15 2004-10-28 Fujitsu Limited 画像照合装置、画像照合方法、及び画像照合プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06162174A (ja) * 1992-11-26 1994-06-10 Fujitsu Ltd 指紋照合方法
JP2001243465A (ja) * 2000-03-01 2001-09-07 Nippon Telegr & Teleph Corp <Ntt> 指紋画像照合方法および指紋画像照合装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012212273A (ja) * 2011-03-31 2012-11-01 Lapis Semiconductor Co Ltd 指紋認証方法、指紋認証システム、及び半導体装置
JP2016207207A (ja) * 2015-04-15 2016-12-08 三星電子株式会社Samsung Electronics Co.,Ltd. 指紋認識方法及び装置
US10679037B2 (en) 2015-04-15 2020-06-09 Samsung Electronics Co., Ltd. Method and apparatus for recognizing fingerprint
JP2018528516A (ja) * 2015-09-09 2018-09-27 アリババ・グループ・ホールディング・リミテッドAlibaba Group Holding Limited 製品画像がロゴパターンを含むかどうかを判定するためのシステムおよび方法

Also Published As

Publication number Publication date
US20050147282A1 (en) 2005-07-07
US7822237B2 (en) 2010-10-26
JPWO2004093013A1 (ja) 2006-07-06
JP4127546B2 (ja) 2008-07-30

Similar Documents

Publication Publication Date Title
WO2004093013A1 (ja) 画像照合装置、画像照合方法、及び画像照合プログラム
JP3742279B2 (ja) 画像照合装置、画像照合方法及び画像照合プログラムを記録した記録媒体
JP4303410B2 (ja) 紋様中心決定装置および紋様方向決定装置並びに紋様位置合わせ装置および紋様照合装置
JP2737734B2 (ja) 指紋分類装置
US6094507A (en) Figure location detecting system
US7079671B2 (en) Authentication method, and program and apparatus therefor
JP4340553B2 (ja) 生体情報照合装置
US20100080425A1 (en) Minutiae-based template synthesis and matching
US20040199775A1 (en) Method and device for computer-based processing a template minutia set of a fingerprint and a computer readable storage medium
JPH10177650A (ja) 画像特徴抽出装置,画像特徴解析装置,および画像照合システム
CN112036383A (zh) 一种基于手静脉的身份识别方法及装置
US10740589B2 (en) Skin information processing method, skin information processing device, and non-transitory computer-readable medium
Uz et al. Minutiae-based template synthesis and matching for fingerprint authentication
Jung et al. Noisy and incomplete fingerprint classification using local ridge distribution models
Doublet et al. Contact less hand recognition using shape and texture features
US20190244006A1 (en) Skin information processing method, skin information processing device, and non-transitory computer-readable medium
Bera et al. Finger contour profile based hand biometric recognition
KR20160123209A (ko) 지문 인식 방법 및 장치
Kadhim et al. Biometric identification advances: Unimodal to multimodal fusion of face, palm, and iris features
Ahmed et al. An advanced fingerprint matching using minutiae-based indirect local features
KR101180293B1 (ko) 지문의 영역 별 방향패턴 특징 추출 방법 및 이를 이용한 지문 분류 방법
Okawa Online signature verification using single-template matching through locally and globally weighted dynamic time warping
WO2024218538A1 (en) Fingerprint feature matching with graph neural networks
Trabelsi et al. A bi-modal palmvein palmprint biometric human identification based on fusing new CDSDP features
Khazaei et al. Fingerprint matching and classification using an onion layer algorithm of computational geometry

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): JP US

WWE Wipo information: entry into national phase

Ref document number: 2004570881

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 11068935

Country of ref document: US