JP2015021824A - Classification and identification filter generator and target classification and identification device - Google Patents
Classification and identification filter generator and target classification and identification device Download PDFInfo
- Publication number
- JP2015021824A JP2015021824A JP2013149528A JP2013149528A JP2015021824A JP 2015021824 A JP2015021824 A JP 2015021824A JP 2013149528 A JP2013149528 A JP 2013149528A JP 2013149528 A JP2013149528 A JP 2013149528A JP 2015021824 A JP2015021824 A JP 2015021824A
- Authority
- JP
- Japan
- Prior art keywords
- teacher
- unit
- images
- teacher image
- amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Radar Systems Or Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
Description
この発明は、種類未知の目標のレーダ観測画像と類識別フィルタを照合して、目標の種類を判定する目標類識別装置と、その類識別フィルタを生成する類識別フィルタ生成装置とに関するものである。 The present invention relates to a target class identification device that compares a radar observation image of an unknown target with a class identification filter to determine a target type, and a class identification filter generation apparatus that generates the class identification filter. .
レーダ観測で得られた静止目標の観測画像と、事前に得られている機種既知の複数の目標の教師画像とのパターンマッチングを実施することで、目標の種類を判定する目標類識別方法が知られている。
教師画像としては、計算機シミュレーションによって事前に計算された画像や、事前に観測された機種既知の目標のレーダ観測画像から切り出された画像(目標が映っている部分の画像)などが使用される。
A target class identification method that determines the type of target is known by performing pattern matching between the observation image of a static target obtained by radar observation and a teacher image of a plurality of target targets that are obtained in advance. It has been.
As the teacher image, an image calculated in advance by computer simulation, an image cut out from a radar observation image of a known target that has been observed in advance (an image of a portion in which the target is reflected), or the like is used.
教師画像として、機種既知の目標のレーダ観測画像から切り出された画像を使用する場合、レーダ観測画像は、同一の目標を観測した画像であっても、目標の向きが異なると、画像が大きく異なるため、各目標について、あらゆる角度から観測された画像を教師画像として事前に揃えておく必要がある。それ故に、多数の教師画像を保存するための大きなメモリが必要になる問題がある。
また、目標の種類を判定する際に、多数の教師画像との間で、パターンマッチングを実施する必要があるため、演算量が増大する問題がある。
When an image cut out from a radar observation image of a target of a known model is used as a teacher image, even if the radar observation image is an image obtained by observing the same target, the image differs greatly if the direction of the target is different. Therefore, for each target, it is necessary to prepare images observed from all angles as teacher images in advance. Therefore, there is a problem that a large memory for storing a large number of teacher images is required.
In addition, there is a problem that the amount of calculation increases because it is necessary to perform pattern matching with a large number of teacher images when determining the type of target.
これらの問題を解決する方法として、以下の非特許文献1には、複数の観測諸元(目標主軸方向(向き))で観測された同一目標に対する複数の観測画像を統合して類識別フィルタを生成し、その類識別フィルタとの間で、パターンマッチングを実施する方法が開示されている。
以下の非特許文献1に開示されている方法を用いれば、各目標について、あらゆる角度から観測された画像を教師画像として事前に揃えておく必要がなく、多数の教師画像との間で、パターンマッチングを実施する必要もない。
このため、教師画像を保存するメモリの容量を低減することができるとともに、類識別処理の高速化を図ることができる。
As a method for solving these problems, Non-Patent
If the method disclosed in the following
For this reason, the capacity of the memory for storing the teacher image can be reduced, and the speed of the class identification process can be increased.
ただし、類識別フィルタを生成するには、複数の観測画像を統合する前に、各々の観測画像に対して前処理(例えば、輝度調整処理、大きさの正規化処理、中心位置の位置合わせ処理など)を施す必要がある。とりわけ、中心位置の位置合わせ処理は、概して手動で実施する必要がある。
教師画像として、計算機シミュレーションで生成された画像を使用する場合には、画像内の目標の位置が既知であるため、中心位置の位置合わせは容易である。
しかし、教師画像として、事前に観測されたレーダ観測画像から切り出された画像を使用する場合には、画像内の目標の位置が未知であるため、得られた教師画像の位置を一つ一つ揃えておかなければならず、作業効率が悪くなる。
However, in order to generate a class identification filter, before integrating a plurality of observation images, preprocessing (for example, luminance adjustment processing, size normalization processing, center position alignment processing) is performed on each observation image. Etc.). In particular, the center position alignment process generally needs to be performed manually.
When an image generated by computer simulation is used as the teacher image, since the target position in the image is known, it is easy to align the center position.
However, when using an image cut out from a radar observation image observed in advance as the teacher image, the position of the target in the image is unknown. It must be aligned, and work efficiency will deteriorate.
ここで、図7は非特許文献1に開示されている方法を適用する類識別フィルタ生成装置を示す構成図である。
図7において、教師画像データファイル101は異なる観測条件で観測された目標の複数の観測画像からそれぞれ切り出されている目標の教師画像を示す教師画像データを格納している。
2次元フーリエ変換手段102は教師画像データファイル101により格納されている複数の教師画像データをそれぞれ2次元フーリエ変換する処理を実施する。
類識別フィルタ合成手段103は2次元フーリエ変換手段102による複数の教師画像データの2次元フーリエ変換結果を合成することで、MINACE(Minimum Noise And Correlation Energy)フィルタと呼ばれる類識別フィルタ104を生成する処理を実施する。
Here, FIG. 7 is a block diagram showing a class identification filter generating apparatus to which the method disclosed in Non-Patent
In FIG. 7, a teacher image data file 101 stores teacher image data indicating a target teacher image cut out from a plurality of target observation images observed under different observation conditions.
The two-dimensional Fourier transform unit 102 performs a process of performing a two-dimensional Fourier transform on each of the plurality of teacher image data stored in the teacher image data file 101.
The class identification
図8は類識別フィルタ合成手段103による類識別フィルタの生成処理を示す概念図である。
以下、図7の類識別フィルタ生成装置の処理内容を説明する。
2次元フーリエ変換手段102は、教師画像データファイル101からN個の教師画像を示す教師画像データを入力すると、N個の教師画像データを2次元フーリエ変換する。
2次元フーリエ変換手段102は、N個の教師画像データを2次元フーリエ変換すると、その2次元フーリエ変換結果である2次元スペクトル信号をラスタスキャンしてベクトル化し、ベクトル化した2次元スペクトル信号x1,x2,・・・,xNを類識別フィルタ合成手段103に出力する。
図8では、4個の教師画像A,B,C,Dを示す教師画像データが2次元フーリエ変換手段102に入力されて、4個のベクトル化した2次元スペクトル信号x1,x2,x3,xNが類識別フィルタ合成手段103に出力されている。
FIG. 8 is a conceptual diagram showing a class identification filter generation process by the class identification filter synthesis means 103.
Hereinafter, processing contents of the class identification filter generation device of FIG. 7 will be described.
When two-dimensional Fourier transform means 102 receives teacher image data indicating N teacher images from the teacher image data file 101, the two-dimensional Fourier transform means 102 performs two-dimensional Fourier transform on the N teacher image data.
The two-dimensional Fourier transform means 102 performs two-dimensional Fourier transform on the N pieces of teacher image data, raster scans the two-dimensional spectrum signal, which is the result of the two-dimensional Fourier transform, into a vector, and vectorizes the two-dimensional spectrum signal x 1. , X 2 ,..., X N are output to the class identification filter synthesis means 103.
In FIG. 8, teacher image data indicating four teacher images A, B, C, and D are input to the two-dimensional Fourier transform means 102, and four vectorized two-dimensional spectrum signals x 1 , x 2 , x 3, x N are output to the class identification
類識別フィルタ合成手段103は、2次元フーリエ変換手段102からベクトル化された2次元スペクトル信号x1,x2,・・・,xNを受けると、その2次元スペクトル信号x1,x2,・・・,xNを下記の式(1)に代入して、類識別フィルタ104であるMINACEフィルタhを生成する。
ただし、
Upon receiving the vectorized two-dimensional spectrum signals x 1 , x 2 ,..., X N from the two-dimensional Fourier transform unit 102, the class identification
However,
また、Tは対角行列であり、その対角成分は、下記の式(4)に示すように、全ての教師画像の電力スペクトルの最大値で与えられる。
式(4)において、Wは雑音の共分散行列であり、全ての教師画像の電力スペクトルの値が雑音レベルの定数倍(c倍)を下回る場合、教師画像の電力スペクトルの代わりに、雑音レベルの定数倍(c倍)の値で置き換える。
なお、式(4)の最後のcWは、生成されるMINACEフィルタhの雑音耐性を高めるために導入されている。
T is a diagonal matrix, and the diagonal component is given by the maximum value of the power spectrum of all teacher images, as shown in the following equation (4).
In Expression (4), W is a noise covariance matrix, and when the power spectrum values of all the teacher images are less than a constant multiple (c times) of the noise level, the noise level is used instead of the power spectrum of the teacher image. Replace with a value that is a constant multiple of (c times).
Note that the last cW in the equation (4) is introduced in order to increase noise resistance of the generated MINACE filter h.
ここで、MINACEフィルタhは、ベクトル化した2次元スペクトル信号x1,x2,・・・,xNの「重みづけ平均」の形で与えられており、2次元スペクトル空間内で定義されている。
よって、MINACEフィルタhを2次元逆フーリエ変換すると、図8の類識別フィルタ104に示すように、画像領域での目標類識別フィルタの形状が得られる。
なお、厳密には、MINACEフィルタhは、ベクトルの形で与えられているので、2次元フーリエ変換結果である2次元スペクトル信号をラスタスキャンしてベクトル化することで、2次元スペクトル信号x1,x2,・・・,xNを得たのと逆の要領で、MINACEフィルタhを2次元信号に戻してから2次元逆フーリエ変換する必要がある。
Here, the MINACE filter h is given in the form of a “weighted average” of the vectorized two-dimensional spectrum signals x 1 , x 2 ,..., X N and is defined in the two-dimensional spectrum space. Yes.
Therefore, when the MINACE filter h is subjected to two-dimensional inverse Fourier transform, the shape of the target class identification filter in the image region is obtained as shown in the
Strictly speaking, since the MINACE filter h is given in the form of a vector, the two-dimensional spectrum signal x 1 , It is necessary to perform a two-dimensional inverse Fourier transform after returning the MINACE filter h to a two-dimensional signal in the reverse manner of obtaining x 2 ,..., x N.
図8に示している類識別フィルタ(MINACEフィルタh)の合成処理では、複数の教師画像の位置合わせ処理が事前に手動で実施される。
しかし、手動での位置合わせ処理では、図8に描写されているように、複数の教師画像を精度よく位置合わせを行うことができず、ずれたまま合成されてしまうことがある。この問題は、教師画像が事前に観測されたレーダ観測画像から切り出された画像である場合に顕著になる。
位置合わせの精度が不十分である場合、得られる類識別フィルタ104は、図8に描写されているように、徒に広がりをもった形状になるため、類識別フィルタ104による目標識別性能の劣化を引き起こすことになる。
In the synthesizing process of the class identification filter (MINACE filter h) shown in FIG. 8, the alignment process of a plurality of teacher images is manually performed in advance.
However, in the manual alignment process, as illustrated in FIG. 8, the plurality of teacher images cannot be accurately aligned and may be combined while being shifted. This problem becomes prominent when the teacher image is an image cut out from a radar observation image observed in advance.
When the accuracy of the alignment is insufficient, the obtained
複数の教師画像の位置合わせ精度を高める方法として、複数の教師画像の中から、基準となる教師画像を基準画像として任意に選定し、残りの教師画像について、その基準画像と1画素ずつずらしながら重ね合わせを実施し、基準画像と教師画像との相関係数が最大になるところで、位置合わせを行う方法が以下の特許文献1に開示されている。
As a method for improving the alignment accuracy of a plurality of teacher images, a reference teacher image is arbitrarily selected as a reference image from among a plurality of teacher images, and the remaining teacher images are shifted by one pixel from the reference image.
従来の類識別フィルタ生成装置は以上のように構成されているので、基準画像と教師画像との相関係数が最大になるところで位置合わせを行えば、位置合わせの精度を高めることができるが、この位置合わせ処理が、画像領域での処理であるため、多くの演算量を必要とする課題があった。
また、複数の教師画像に存在している目標の向きが異なっている場合、基準画像と教師画像との相関係数が最大になるところで位置合わせを行っても、精度よく位置合わせを行うことができない課題があった。
Since the conventional class identification filter generation device is configured as described above, the alignment accuracy can be improved if alignment is performed where the correlation coefficient between the reference image and the teacher image is maximized, Since this alignment processing is processing in an image region, there is a problem that requires a large amount of calculation.
In addition, when the orientations of targets existing in a plurality of teacher images are different, alignment can be performed with high accuracy even when alignment is performed where the correlation coefficient between the reference image and the teacher image is maximized. There was a problem that could not be done.
さらに、あらゆる角度の画像を全て合成してしまうため、類識別フィルタ合成手段103により生成される類識別フィルタ104は、一般化され過ぎた類識別フィルタになる。このため、同一目標のクラスに含まれる観測画像ならば、角度によらず適合度が高くなる一方で、他の目標とも適合度が高くなってしまうため、目標の類識別性能が下がってしまう課題があった。
このため、一つの類識別フィルタに合成する目標角度範囲を予め決定しておく必要があるが、合成できる角度範囲を予め決定しておくことは一般に困難である。加えて、レーダ観測画像は、分解能によっては点像の集合体のように観察されるため、画像から目標の向きを判定するのが必ずしも容易でない。つまり、入手した教師画像に含まれている目標の向きを精度よく知ることが困難であるため、合成する角度範囲を予め決定しておいたとしても、その角度範囲に含まれるか否かを正確に確認することは困難である。
Further, since all the images of all angles are synthesized, the
For this reason, it is necessary to determine in advance a target angle range to be combined into one class identification filter, but it is generally difficult to determine in advance an angle range that can be combined. In addition, since the radar observation image is observed like a collection of point images depending on the resolution, it is not always easy to determine the target direction from the image. In other words, since it is difficult to accurately know the target orientation included in the acquired teacher image, even if the angle range to be synthesized is determined in advance, it is accurately determined whether it is included in the angle range. It is difficult to confirm.
この発明は上記のような課題を解決するためになされたもので、演算量の増加を招くことなく、目標の類識別性能が高い類識別フィルタを生成することができる類識別フィルタ生成装置を得ることを目的とする。
また、この発明は、複数の教師画像に存在している目標の向きが異なっている場合でも、目標の類識別性能が高い類識別フィルタを生成することができる類識別フィルタ生成装置を得ることを目的とする。
さらに、この発明は、目標の類識別性能が高い類識別フィルタを用いて、目標の種類を正確に識別することができる目標類識別装置を得ることを目的とする。
The present invention has been made to solve the above-described problems, and provides a class identification filter generation device capable of generating a class identification filter with high target class identification performance without increasing the amount of calculation. For the purpose.
In addition, the present invention provides a class identification filter generation device capable of generating a class identification filter having high target class identification performance even when the target orientations existing in a plurality of teacher images are different. Objective.
Another object of the present invention is to provide a target class identification device that can accurately identify the type of a target by using a class identification filter having a high target class identification performance.
この発明に係る類識別フィルタ生成装置は、異なる観測条件で観測された目標の複数の観測画像からそれぞれ切り出されている目標の教師画像を格納する教師画像格納手段と、教師画像格納手段により格納されている複数の教師画像を示す教師画像データを周波数領域のスペクトル信号にそれぞれ変換する周波数領域変換手段と、周波数領域変換手段により変換された周波数領域のスペクトル信号を用いて、複数の教師画像間の適合度を算出し、その適合度を基準にして複数の教師画像を1以上のクラスタに分類するとともに、同一のクラスタに属する教師画像同士の位置合わせを行う教師画像位置合わせ手段とを設け、類識別フィルタ合成手段が、教師画像位置合わせ手段により分類されたクラスタ毎に、教師画像位置合わせ手段により位置合わせが行われた教師画像同士を合成して類識別フィルタを生成するようにしたものである。 A class identification filter generation device according to the present invention is stored by a teacher image storage unit that stores a target teacher image cut out from a plurality of target observation images observed under different observation conditions, and a teacher image storage unit. Frequency domain conversion means for converting each of the teacher image data indicating a plurality of teacher images into frequency domain spectrum signals, and using the frequency domain spectrum signals converted by the frequency domain conversion means, between the plurality of teacher images There is provided a teacher image alignment means for calculating the fitness, classifying the plurality of teacher images into one or more clusters based on the fitness, and aligning the teacher images belonging to the same cluster. For each cluster classified by the teacher image alignment means, the identification filter synthesis means performs the rank by the teacher image alignment means. Combined is obtained so as to generate a synthesized and kind identifying filter teacher images with each other is performed.
この発明によれば、周波数領域変換手段により変換された周波数領域のスペクトル信号を用いて、複数の教師画像間の適合度を算出し、その適合度を基準にして複数の教師画像を1以上のクラスタに分類するとともに、同一のクラスタに属する教師画像同士の位置合わせを行う教師画像位置合わせ手段を設け、類識別フィルタ合成手段が、教師画像位置合わせ手段により分類されたクラスタ毎に、教師画像位置合わせ手段により位置合わせが行われた教師画像同士を合成して類識別フィルタを生成するように構成したので、演算量の増加を招くことなく、目標の類識別性能が高い類識別フィルタを生成することができる効果がある。 According to the present invention, the degree of adaptation between a plurality of teacher images is calculated using the frequency domain spectrum signal converted by the frequency domain conversion means, and the plurality of teacher images are converted into one or more teacher images based on the degree of adaptation. Teacher image alignment means for classifying the teacher images belonging to the same cluster and classifying the teacher images is provided for each cluster classified by the teacher image alignment means. Since the class identification filter is generated by combining the teacher images that have been aligned by the matching unit, a class identification filter with high target class identification performance is generated without increasing the amount of computation. There is an effect that can.
実施の形態1.
図1はこの発明の実施の形態1による類識別フィルタ生成装置を実装している目標類識別装置を示す構成図である。
図1において、教師画像格納部1は例えばRAMやハードディスクなどの記憶装置から構成されており、異なる観測条件(例えば、目標の主軸方向(向き)などの観測諸元)で観測された目標の複数の観測画像からそれぞれ切り出されている目標の教師画像を格納している。なお、教師画像格納部1は教師画像格納手段を構成している。
2次元フーリエ変換部2は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、教師画像格納部1により格納されている複数の教師画像を示す教師画像データに対する2次元フーリエ変換処理を実施することで、複数の教師画像データを周波数領域のスペクトル信号にそれぞれ変換する。なお、2次元フーリエ変換部2は周波数領域変換手段を構成している。
FIG. 1 is a block diagram showing a target class identification device equipped with a class identification filter generation device according to
In FIG. 1, the teacher
The two-dimensional
教師画像位置合わせ部3は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、2次元フーリエ変換部2により変換された周波数領域のスペクトル信号を用いて、複数の教師画像間の適合度を算出し、その適合度を基準にして複数の教師画像を1以上のクラスタに分類するとともに、同一のクラスタに属する教師画像同士の位置合わせ処理を実施する。なお、教師画像位置合わせ部3は教師画像位置合わせ手段を構成している。
The teacher
類識別フィルタ合成部4は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、教師画像位置合わせ部3により分類されたクラスタ毎に、教師画像位置合わせ部3により位置合わせが行われた教師画像同士を合成して類識別フィルタを生成する処理を実施する。なお、類識別フィルタ合成部4は類識別フィルタ合成手段を構成している。
類識別フィルタ格納部5は例えばRAMやハードディスクなどの記憶装置から構成されており、類識別フィルタ合成部4により生成された類識別フィルタを格納する。
The class identification
The class identification
目標種類判定部6は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、類識別対象の目標の観測画像と類識別フィルタ格納部5により格納されている1以上の類識別フィルタとを照合して、目標の種類を判定する処理を実施する。なお、目標種類判定部6は目標種類判定手段を構成している。
The target
図1の例では、目標類識別装置の構成要素である教師画像格納部1、2次元フーリエ変換部2、教師画像位置合わせ部3、類識別フィルタ合成部4、類識別フィルタ格納部5及び目標種類判定部6のそれぞれが専用のハードウェアで構成されているものを想定しているが、目標類識別装置がコンピュータで構成されていてもよい。
目標類識別装置がコンピュータで構成されている場合、教師画像格納部1及び類識別フィルタ格納部5をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、2次元フーリエ変換部2、教師画像位置合わせ部3、類識別フィルタ合成部4及び目標種類判定部6の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
図2は教師画像位置合わせ部3及び類識別フィルタ合成部4による類識別フィルタの生成処理を示す概念図である。
In the example of FIG. 1, a teacher
When the target class identification device is configured by a computer, the teacher
FIG. 2 is a conceptual diagram illustrating a class identification filter generation process performed by the teacher
図3はこの発明の実施の形態1による類識別フィルタ生成装置の教師画像位置合わせ部3を示す構成図である。
図3において、複素共役乗算部11はN個の教師画像の中の2個の教師画像の組み合わせ毎に、2次元フーリエ変換部2により変換された2個の2次元スペクトル信号(周波数領域のスペクトル信号)の複素共役を乗算することで、2個の教師画像のクロススペクトル信号を算出する処理を実施する。なお、複素共役乗算部11はクロススペクトル信号算出部を構成している。
FIG. 3 is a block diagram showing the teacher
In FIG. 3, the
2次元逆フーリエ変換部12は2個の教師画像の組み合わせ毎に、複素共役乗算部11により算出されたクロススペクトル信号に対する2次元逆フーリエ変換処理を実施することで、そのクロススペクトル信号を空間領域の信号に変換する処理を実施する。なお、2次元逆フーリエ変換部12は空間領域変換部を構成している。
ピーク検出部13は2個の教師画像の組み合わせ毎に、2次元逆フーリエ変換部12により変換された空間領域の信号のピーク値を検出するとともに、そのピーク値の位置であるピーク位置を検出する処理を実施する。
The two-dimensional inverse
For each combination of two teacher images, the
クラスタリング部14はピーク検出部13により空間領域の信号から検出されたピーク値を2個の教師画像間の適合度とみなし、その適合度が予め設定された閾値より高ければ、その2個の教師画像を同一のクラスタに分類する処理を繰り返すことで、N個の教師画像をクラスタリングする。
平行移動量決定部15はピーク検出部13により検出されたピーク位置を用いて、クラスタリング部14により同一のクラスタに分類された教師画像同士の位置ずれ量を推定し、その位置ずれ量からクラスタリング部14により同一のクラスタに分類された教師画像の平行移動量を決定する処理を実施する。
教師画像平行移動部16は平行移動量決定部15により決定された平行移動量だけ教師画像を平行移動させる処理を実施する。
The
Using the peak position detected by the
The teacher
次に動作について説明する。
2次元フーリエ変換部2は、教師画像格納部1からN個の教師画像を示す教師画像データを入力すると、N個の教師画像データに対する2次元フーリエ変換処理を実施することで、N個の教師画像データを周波数領域のスペクトル信号にそれぞれ変換する。
2次元フーリエ変換部2は、N個の教師画像データを2次元スペクトル信号(周波数領域のスペクトル信号)に変換すると、その2次元スペクトル信号をラスタスキャンしてベクトル化し、ベクトル化した2次元スペクトル信号x1,x2,・・・,xNを教師画像位置合わせ部3に出力する。
図2では、4個の教師画像A,B,C,Dを示す教師画像データが2次元フーリエ変換部2に入力されて、4個のベクトル化した2次元スペクトル信号x1,x2,x3,xNが教師画像位置合わせ部3に出力されている。
Next, the operation will be described.
When the teacher image data indicating N teacher images is input from the teacher
The two-dimensional
In FIG. 2, teacher image data indicating four teacher images A, B, C, and D are input to the two-dimensional
教師画像位置合わせ部3は、2次元フーリエ変換部2からベクトル化された2次元スペクトル信号x1,x2,・・・,xNを受けると、その2次元スペクトル信号x1,x2,・・・,xNを用いて、N個の教師画像間の適合度を算出し、その適合度を基準にしてN個の教師画像を1以上のクラスタに分類するとともに、同一のクラスタに属する教師画像同士の位置合わせ処理を実施する。
図2の例では、教師画像A,B,Dの相違が小さいため、同一のクラスタに分類されているが、教師画像Cは、教師画像A,B,Dと相違が大きいため、別のクラスタに分類されている。このため、同一のクラスタに属している教師画像A,B,Dの間で位置合わせ処理が実施される。教師画像Cは、同じクラスタ内に他の教師画像が分類されていないので、位置合わせ処理が実施されない。
以下、教師画像位置合わせ部3による教師画像の位置合わせ処理を具体的に説明する。
Upon receiving the vectorized two-dimensional spectrum signals x 1 , x 2 ,..., X N from the two-dimensional
In the example of FIG. 2, since the difference between the teacher images A, B, and D is small, they are classified into the same cluster. However, the teacher image C is different from the teacher images A, B, and D, so that another cluster is used. It is classified. For this reason, alignment processing is performed between the teacher images A, B, and D belonging to the same cluster. For the teacher image C, no other teacher images are classified in the same cluster, so that the alignment process is not performed.
Hereinafter, the teacher image alignment processing by the teacher
教師画像位置合わせ部3の複素共役乗算部11は、2次元フーリエ変換部2からベクトル化された2次元スペクトル信号x1,x2,・・・,xNを受けると、N個の教師画像の中の2個の教師画像の組み合わせ毎に、2個の2次元スペクトル信号(周波数領域のスペクトル信号)の複素共役を乗算することで、2個の教師画像のクロススペクトル信号を算出する。
下記の式(6)は、2個の教師画像の組み合わせが、m番目の教師画像とn番目の教師画像である場合のクロススペクトル信号zm,nの算出式を示している。
式(6)では、クロススペクトル信号zm,nをxmとxnのエネルギーで正規化している。
When the complex
Equation (6) below shows a formula for calculating the cross spectrum signal z m, n when the combination of two teacher images is the m-th teacher image and the n-th teacher image.
In Expression (6), the cross spectrum signal z m, n is normalized by the energy of x m and x n .
2次元逆フーリエ変換部12は、複素共役乗算部11が2個の教師画像の組み合わせ毎にクロススペクトル信号zm,nを算出すると、2個の教師画像の組み合わせ毎に、そのクロススペクトル信号zm,nに対する2次元逆フーリエ変換処理を実施することで、そのクロススペクトル信号zm,nを空間領域の信号に変換する。
空間領域の信号は、m番目の教師画像とn番目の教師画像との相互相関関数に相当することが知られている。
When the complex
It is known that the signal in the spatial domain corresponds to a cross-correlation function between the mth teacher image and the nth teacher image.
ピーク検出部13は、2次元逆フーリエ変換部12が2個の教師画像の組み合わせ毎にクロススペクトル信号zm,nを空間領域の信号に変換すると、2個の教師画像の組み合わせ毎に、その空間領域の信号のピーク値として、2個の教師画像の相互相関関数の絶対値の最大値Pm,n(m=1,・・・,N−1; n=m+1,・・・,N)を検出する。
最大値Pm,nの値域は、0≦Pm,n≦1であり、m番目の教師画像とn番目の教師画像との適合度を表す指標として使用することができる。
ピーク検出部13は、m番目の教師画像とn番目の教師画像との適合度である最大値Pm,nを検出すると、最大値Pm,nに対応する相互相関関数の位置(xy座標)であるピーク位置を検出する。
When the two-dimensional inverse
The range of the maximum value P m, n is 0 ≦ P m, n ≦ 1, and can be used as an index representing the degree of matching between the m-th teacher image and the n-th teacher image.
When the
クラスタリング部14は、ピーク検出部13が2個の教師画像の組み合わせ毎に最大値Pm,nを検出すると、その最大値Pm,nをm番目の教師画像とn番目の教師画像との適合度とみなし、その適合度Pm,nを予め設定されている閾値Pthと比較する。
クラスタリング部14は、その適合度Pm,nが閾値Pthより大きければ、m番目の教師画像とn番目の教師画像との相違が小さいので、m番目の教師画像とn番目の教師画像を同一のクラスタに分類する。
クラスタリング部14は、2個の教師画像の組み合わせの全てについて、上記の処理を繰り返すことで、N個の教師画像をクラスタリングする。
When the
If the matching level P m, n is greater than the threshold value P th , the clustering unit 14 has a small difference between the m-th teacher image and the n-th teacher image. Classify to the same cluster.
The
この結果、N個の教師画像は、いくつかのクラスタに分類される。このとき、他の教師画像と同一のクラスタに分類されず、孤立してしまう教師画像も発生し得るが、その場合は、1つの教師画像で類識別フィルタを生成することになる。
以下では、クラスタリング部14によりQ個のクラスタが生成され、q番目のクラスタに含まれる教師画像の番号のセットをΩqで表すことにする。
図2の例では、教師画像A,B,Dの相違が小さいため、同一のクラスタに分類されているが、教師画像Cは、教師画像A,B,Dと相違が大きいため、別のクラスタに分類されている。その結果、4個の教師画像A,B,C,Dは、2個のクラスタに分類されている。
As a result, the N teacher images are classified into several clusters. At this time, a teacher image that is not classified into the same cluster as other teacher images and is isolated may also be generated. In this case, a class identification filter is generated with one teacher image.
Hereinafter, Q-number of clusters generated by the
In the example of FIG. 2, since the difference between the teacher images A, B, and D is small, they are classified into the same cluster. However, the teacher image C is different from the teacher images A, B, and D, so that another cluster is used. It is classified. As a result, the four teacher images A, B, C, and D are classified into two clusters.
平行移動量決定部15は、ピーク検出部13により検出された最大値Pm,nに対応する相互相関関数のピーク位置を用いて、クラスタリング部14により同一のクラスタに分類された教師画像同士の位置ずれ量を推定する。
例えば、m番目の教師画像とn番目の教師画像が同一のクラスタに分類されている場合、最大値Pm,nに対応する相互相関関数のピーク位置がxy座標の原点を示していれば、m番目の教師画像とn番目の教師画像との間には位置ずれがないと判断される。
一方、最大値Pm,nに対応する相互相関関数のピーク位置がxy座標の原点を示していなければ、m番目の教師画像とn番目の教師画像との間に位置ずれがあり、そのピーク位置のx座標値がx方向の位置ずれ量、そのピーク位置のy座標値がy方向の位置ずれ量であると推定される。
The translation
For example, if the m-th teacher image and the n-th teacher image are classified into the same cluster, if the peak position of the cross-correlation function corresponding to the maximum value P m, n indicates the origin of the xy coordinates, It is determined that there is no displacement between the m-th teacher image and the n-th teacher image.
On the other hand, if the peak position of the cross-correlation function corresponding to the maximum value P m, n does not indicate the origin of the xy coordinates, there is a position shift between the m-th teacher image and the n-th teacher image, and the peak It is estimated that the x coordinate value of the position is the amount of positional deviation in the x direction, and the y coordinate value of the peak position is the amount of positional deviation in the y direction.
平行移動量決定部15は、同一のクラスタに分類された教師画像同士の位置ずれ量を推定すると、その位置ずれ量から同一のクラスタに分類された教師画像の平行移動量を決定する。
例えば、3個の教師画像(教師画像A,B,D)が同一のクラスタに分類されている場合、教師画像A,B,Dの中から任意の教師画像を基準画像として選択する。その基準画像が仮に教師画像Aであるとすれば、教師画像Aの平行移動量は0、教師画像Bの平行移動量は教師画像Aと教師画像Bの位置ずれ量、教師画像Dの平行移動量は教師画像Aと教師画像Dの位置ずれ量のように決定する。
When the amount of positional deviation between the teacher images classified into the same cluster is estimated, the parallel movement
For example, when three teacher images (teacher images A, B, and D) are classified into the same cluster, an arbitrary teacher image is selected from the teacher images A, B, and D as a reference image. If the reference image is the teacher image A, the translation amount of the teacher image A is 0, the translation amount of the teacher image B is the amount of misalignment between the teacher images A and B, and the translation of the teacher image D. The amount is determined like the amount of misalignment between the teacher image A and the teacher image D.
教師画像平行移動部16は、平行移動量決定部15が同一のクラスタに分類された教師画像の平行移動量を決定すると、その教師画像の平行移動量に対応する変換行列Dn(n∈Ωq)を生成する。
なお、変換行列Dn(n∈Ωq)は対角行列であり、対角成分は位置ずれ量推定部15により推定された位置ずれ量に対応しており、フーリエ変換のシフト則に従って決まるリニアな位相成分を有する複素の信号である。
When the translation
Note that the transformation matrix D n (n∈Ω q ) is a diagonal matrix, and the diagonal component corresponds to the positional deviation amount estimated by the positional deviation
教師画像平行移動部16は、教師画像の平行移動量に対応する変換行列Dn(n∈Ωq)を生成すると、同一のクラスタに分類された教師画像間の位置を揃えるために、その変換行列Dn(n∈Ωq)を当該教師画像のスペクトル信号xn(n∈Ωq)に掛け合わせることで、その平行移動量分だけ教師画像を平行移動させる。
教師画像平行移動部16は、平行移動後の教師画像の2次元スペクトル信号Yを類識別フィルタ合成部4に出力する。
When the teacher
The teacher
この実施の形態1では、教師画像位置合わせ部3の複素共役乗算部11が、N個の教師画像の中の2個の教師画像の組み合わせ毎に、2個の教師画像のクロススペクトル信号を算出するものを示しているが、事前に適正な教師画像が選択されており、教師画像の位置合わせのみが必要な場合は、全ての2個の組み合わせについて、クロススペクトル信号を算出することは必須でない。
例えば、目標位置の基準とする教師画像を1つ選択し、その教師画像と、他のN−1個の教師画像との間でクロススペクトルを算出する方法も可能である。
In the first embodiment, the complex
For example, it is possible to select one teacher image as a reference for the target position and calculate a cross spectrum between the teacher image and other N-1 teacher images.
類識別フィルタ合成部4は、教師画像位置合わせ部3により分類されたクラスタ毎に、教師画像位置合わせ部3から出力された平行移動後の2次元スペクトル信号Yを下記の式(8)に代入して、類識別フィルタであるMINACEフィルタhを生成し、その類識別フィルタを類識別フィルタ格納部5に格納する。
このとき、同一のクラスタに分類されている複数の教師画像間の位置が精度よく揃えられているため、図2に描写されているように、類識別フィルタの形状が徒に広がる問題が回避される。
ただし、
For each cluster classified by the teacher
At this time, since the positions between the plurality of teacher images classified into the same cluster are accurately aligned, the problem that the shape of the class identification filter spreads as shown in FIG. 2 is avoided. The
However,
また、Tは対角行列であり、その対角成分は、下記の式(10)に示すように、全ての教師画像の電力スペクトルの最大値で与えられる。
式(10)において、Wは雑音の共分散行列であり、全ての教師画像の電力スペクトルの値が雑音レベルの定数倍(c倍)を下回る場合、教師画像の電力スペクトルの代わりに、雑音レベルの定数倍(c倍)の値で置き換える。
なお、式(10)の最後のcWは、生成されるMINACEフィルタhの雑音耐性を高めるために導入されている。
T is a diagonal matrix, and the diagonal component is given by the maximum value of the power spectrum of all the teacher images as shown in the following equation (10).
In Expression (10), W is a noise covariance matrix, and when the power spectrum values of all the teacher images are less than a constant multiple (c times) of the noise level, the noise level is used instead of the power spectrum of the teacher image. Replace with a value that is a constant multiple of (c times).
Note that the last cW in Expression (10) is introduced in order to increase the noise tolerance of the generated MINACE filter h.
ここで、MINACEフィルタhは、ベクトル化した2次元スペクトル信号D1x1,D2x2,・・・,DNxNの「重みづけ平均」の形で与えられており、2次元スペクトル空間内で定義されている。
よって、MINACEフィルタhを2次元逆フーリエ変換すると、図2の類識別フィルタに示すように、画像領域での目標類識別フィルタの形状が得られる。
なお、厳密には、MINACEフィルタhは、ベクトルの形で与えられているので、2次元フーリエ変換結果である2次元スペクトル信号をラスタスキャンしてベクトル化することで、2次元スペクトル信号x1,x2,・・・,xNを得たのと逆の要領で、MINACEフィルタhを2次元信号に戻してから2次元逆フーリエ変換する必要がある。
Here, the MINACE filter h is given in the form of a “weighted average” of the vectorized two-dimensional spectrum signals D 1 x 1 , D 2 x 2 ,..., D N x N. It is defined in space.
Therefore, when the MINACE filter h is subjected to two-dimensional inverse Fourier transform, the shape of the target class identification filter in the image region is obtained as shown in the class identification filter of FIG.
Strictly speaking, since the MINACE filter h is given in the form of a vector, the two-dimensional spectrum signal x 1 , It is necessary to perform a two-dimensional inverse Fourier transform after returning the MINACE filter h to a two-dimensional signal in the reverse manner of obtaining x 2 ,..., x N.
図2の例では、3個の教師画像A,B,Dからなる類識別フィルタと、1個の教師画像Cからなる類識別フィルタとが生成され、2個の類識別フィルタが類識別フィルタ格納部5に格納される。
In the example of FIG. 2, a class identification filter including three teacher images A, B, and D and a class identification filter including one teacher image C are generated, and two class identification filters are stored in the class identification filter. Stored in the
目標種類判定部6は、類識別対象の目標の観測画像を入力すると、その観測画像と類識別フィルタ格納部5により格納されている1以上の類識別フィルタとを照合して、その観測画像との一致度が事前に設定された閾値以上である類識別フィルタを探索し、その類識別フィルタに対応する目標の種類が類識別対象の目標の種類であると認定する。
When the target
以上で明らかなように、この実施の形態1によれば、2次元フーリエ変換部2により変換された周波数領域のスペクトル信号を用いて、複数の教師画像間の適合度を算出し、その適合度を基準にして複数の教師画像を1以上のクラスタに分類するとともに、同一のクラスタに属する教師画像同士の位置合わせを行う教師画像位置合わせ部3を設け、類識別フィルタ合成部4が、教師画像位置合わせ部3により分類されたクラスタ毎に、教師画像位置合わせ部3により位置合わせが行われた教師画像同士を合成して類識別フィルタを生成するように構成したので、演算量の増加を招くことなく、目標の類識別性能が高い類識別フィルタを生成することができる効果を奏する。
As is apparent from the above, according to the first embodiment, the degree of fitness between a plurality of teacher images is calculated using the frequency domain spectrum signal transformed by the two-dimensional
即ち、この実施の形態1によれば、複数の教師画像を合成する前に、教師画像間の互いの適合度を評価し、適合度が十分に高い教師画像同士を同一のクラスタに分類することで、過剰に多くの教師画像を合成してしまって、目標識別性能が低い類識別フィルタの生成を防ぐことができる。
また、複数の教師画像を合成する前に、教師画像間の相互相関関数のピーク位置から推定される位置ずれ量に基づいて、複数の教師画像の位置を揃えてから2次元スペクトル信号Yを合成して類識別フィルタを生成するため、その類識別フィルタが徒に広がってしまう問題を回避することができる。
さらに、相互相関関数を算出する際、クロススペクトルの計算を経ており、また、教師画像同士の位置合わせの処理を周波数領域で位相関数を掛け合わせることのみで実施しているため、上記の特許文献1に記載されている位置合わせ方法と比較して、演算速度の高速化を図ることができる。
That is, according to the first embodiment, before synthesizing a plurality of teacher images, the degree of matching between the teacher images is evaluated, and the teacher images having sufficiently high degrees of matching are classified into the same cluster. Therefore, it is possible to prevent the generation of a class identification filter having a low target identification performance by synthesizing an excessive number of teacher images.
In addition, before synthesizing the plurality of teacher images, the two-dimensional spectrum signal Y is synthesized after aligning the positions of the plurality of teacher images based on the positional deviation amount estimated from the peak position of the cross-correlation function between the teacher images. Thus, since the class identification filter is generated, the problem that the class identification filter spreads out can be avoided.
Furthermore, when calculating the cross-correlation function, the cross-spectrum calculation has been performed, and the alignment process between the teacher images is performed only by multiplying the phase function in the frequency domain. As compared with the alignment method described in No. 1, the calculation speed can be increased.
実施の形態2.
図4はこの発明の実施の形態2による類識別フィルタ生成装置を実装している目標類識別装置を示す構成図であり、図において、図1と同一符号は同一または相当部分を示すので説明を省略する。
教師画像位置合わせ部20は例えばCPUを実装している半導体集積回路、あるいは、ワンチップマイコンなどから構成されており、図1の教師画像位置合わせ部3と同様に、2次元フーリエ変換部2により変換された周波数領域のスペクトル信号を用いて、複数の教師画像間の適合度を算出し、その適合度を基準にして複数の教師画像を1以上のクラスタに分類するとともに、同一のクラスタに属する教師画像同士の位置合わせ処理を実施するが、複数の教師画像に存在している目標の向きを合わせた状態で、複数の教師画像間の適合度を算出する点で、図1の教師画像位置合わせ部3と相違している。なお、教師画像位置合わせ部20は教師画像位置合わせ手段を構成している。
FIG. 4 is a block diagram showing a target class identification device in which a class identification filter generation device according to
The teacher
図4の例では、目標類識別装置の構成要素である教師画像格納部1、2次元フーリエ変換部2、教師画像位置合わせ部20、類識別フィルタ合成部4、類識別フィルタ格納部5及び目標種類判定部6のそれぞれが専用のハードウェアで構成されているものを想定しているが、目標類識別装置がコンピュータで構成されていてもよい。
目標類識別装置がコンピュータで構成されている場合、教師画像格納部1及び類識別フィルタ格納部5をコンピュータの内部メモリ又は外部メモリ上に構成するとともに、2次元フーリエ変換部2、教師画像位置合わせ部20、類識別フィルタ合成部4及び目標種類判定部6の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのCPUが当該メモリに格納されているプログラムを実行するようにすればよい。
In the example of FIG. 4, a teacher
When the target class identification device is configured by a computer, the teacher
図5はこの発明の実施の形態2による類識別フィルタ生成装置の教師画像位置合わせ部20を示す構成図である。
図5において、対数極座標変換部21は2次元フーリエ変換部2から出力された2次元スペクトル信号x1,x2,・・・,xNを対数極座標変換し、その変換結果である対数極座標変換信号ζ1,ζ2,・・・,ζNを出力する処理を実施する。
2次元逆フーリエ変換部22は対数極座標変換部21から出力された対数極座標変換信号ζ1,ζ2,・・・,ζNに対する2次元逆フーリエ変換処理を実施することで、その対数極座標変換信号ζ1,ζ2,・・・,ζNを空間領域の信号に変換する処理を実施する。
FIG. 5 is a block diagram showing the teacher
5, log-
The two-dimensional inverse
複素共役乗算部23はN個の教師画像の中の2個の教師画像の組み合わせ毎に、2次元逆フーリエ変換部22により変換された2個の空間領域の信号の複素共役を乗算する処理を実施する。
2次元フーリエ変換部24は複素共役乗算部23の乗算結果を2次元フーリエ変換する処理を実施する。
ピーク検出部25は2個の教師画像の組み合わせ毎に、2次元フーリエ変換部24の2次元フーリエ変換結果のピーク値を検出するとともに、そのピーク値の位置であるピーク位置を検出する処理を実施する。
回転量算出部26はピーク検出部25により検出されたピーク位置から、対数極座標変換部21から出力された対数極座標変換信号ζ1,ζ2,・・・,ζNの間の位置ずれ量(複数の教師画像に存在している目標の向きのずれ量に相当し、複数の教師画像間のスケーリングと回転量に対応している)を推定し、その対数極座標変換信号ζ1,ζ2,・・・,ζNの間の位置ずれ量から複数の教師画像の回転量をそれぞれ算出する処理を実施する。
なお、2次元逆フーリエ変換部22、複素共役乗算部23、2次元フーリエ変換部24、ピーク検出部25及び回転量算出部26から回転量算出手段が構成されている。
The
The two-dimensional
For each combination of two teacher images, the
The rotation
The two-dimensional inverse
教師画像回転部27は回転量算出部26により算出された回転量だけ複数の教師画像をそれぞれ回転させる処理を実施する。
2次元フーリエ変換部28は教師画像回転部27により回転された複数の教師画像を示す教師画像データに対する2次元フーリエ変換処理を実施することで、複数の教師画像データを周波数領域のスペクトル信号にそれぞれ変換する。
なお、教師画像回転部27及び2次元フーリエ変換部28から教師画像回転手段が構成されている。
The teacher
The two-dimensional
The teacher
複素共役乗算部29はN個の教師画像の中の2個の教師画像の組み合わせ毎に、2次元フーリエ変換部28により変換された2個の2次元スペクトル信号(周波数領域のスペクトル信号)の複素共役を乗算することで、2個の教師画像のクロススペクトル信号を算出する処理を実施する。なお、複素共役乗算部29はクロススペクトル信号算出部を構成している。
The
2次元逆フーリエ変換部30は2個の教師画像の組み合わせ毎に、複素共役乗算部29により算出されたクロススペクトル信号に対する2次元逆フーリエ変換処理を実施することで、そのクロススペクトル信号を空間領域の信号に変換する処理を実施する。なお、2次元逆フーリエ変換部30は空間領域変換部を構成している。
ピーク検出部31は2個の教師画像の組み合わせ毎に、2次元逆フーリエ変換部30により変換された空間領域の信号のピーク値を検出するとともに、そのピーク値の位置であるピーク位置を検出する処理を実施する。
The two-dimensional inverse
For each combination of two teacher images, the
クラスタリング部32はピーク検出部31により空間領域の信号から検出されたピーク値を2個の教師画像間の適合度とみなし、その適合度が予め設定された閾値より高ければ、その2個の教師画像を同一のクラスタに分類する処理を繰り返すことで、N個の教師画像をクラスタリングする。
平行移動量決定部33はピーク検出部31により検出されたピーク位置を用いて、クラスタリング部32により同一のクラスタに分類された教師画像同士の位置ずれ量を推定し、その位置ずれ量からクラスタリング部32により同一のクラスタに分類された教師画像の平行移動量を決定する処理を実施する。
教師画像平行移動部34は平行移動量決定部33により決定された平行移動量だけ教師画像を平行移動させる処理を実施する。
The
Using the peak position detected by the
The teacher
2次元逆フーリエ変換部35は教師画像平行移動部34により平行移動させた複数の教師画像を示す教師画像データに対する2次元逆フーリエ変換処理を実施することで、その教師画像データを空間領域の信号に変換する処理を実施する。
教師画像逆回転部36は回転量算出部26により算出された回転量だけ、2次元フーリエ変換部35により変換された空間領域の信号(教師画像平行移動部34により平行移動させた複数の教師画像に対応する信号)をそれぞれ元の方向に逆回転させる処理を実施する。
2次元フーリエ変換部37は教師画像逆回転部36により逆回転させた複数の空間領域の信号に対する2次元フーリエ変換処理を実施することで、その空間領域の信号を周波数領域の信号に変換する処理を実施する。
なお、2次元逆フーリエ変換部35、教師画像逆回転部36及び2次元フーリエ変換部37から教師画像逆回転手段が構成されている。
The two-dimensional inverse
The teacher image
The two-dimensional
The two-dimensional inverse
上記実施の形態1では、教師画像位置合わせ部3が、2次元フーリエ変換部2により変換された周波数領域のスペクトル信号を用いて、複数の教師画像間の適合度を算出する際、複数の教師画像に存在している目標の向きを考慮せずに、複数の教師画像間の適合度を算出している。
このため、複数の教師画像に存在している目標の向きが異なっていても、複数の教師画像間の適合度が高くなって同一のクラスタに分類されることがあり、このような場合には、当該クラスタに属する教師画像から生成される類識別フィルタによる目標の類識別性能が低下する。
そこで、この実施の形態2では、複数の教師画像間の適合度を算出する際、複数の教師画像に存在している目標の向きが異なっていれば、複数の教師画像を回転させて、複数の教師画像に存在している目標の向きが揃っている状態で、複数の教師画像間の適合度を算出するようにする。
ただし、複数の教師画像に存在している目標の向きの異なりが限定的である場合には、適合度の算出精度に大きな影響が及ばないため、演算量を低減する観点で、上記実施の形態1のように、複数の教師画像に存在している目標の向きを考慮せずに、複数の教師画像間の適合度を算出する方が現実的である。
In the first embodiment, the teacher
For this reason, even if the orientations of the targets existing in the plurality of teacher images are different, the matching degree between the plurality of teacher images may be increased and classified into the same cluster. The target class identification performance by the class identification filter generated from the teacher image belonging to the cluster is degraded.
Therefore, in this second embodiment, when calculating the degree of fitness between a plurality of teacher images, if the orientations of the targets existing in the plurality of teacher images are different, the plurality of teacher images are rotated and a plurality of teacher images are rotated. The degree of matching between a plurality of teacher images is calculated in a state where the orientations of the targets existing in the teacher images are aligned.
However, in the case where the difference in target orientations existing in a plurality of teacher images is limited, the accuracy of calculation of the fitness level is not greatly affected. As shown in FIG. 1, it is more practical to calculate the degree of matching between a plurality of teacher images without considering the direction of the target existing in the plurality of teacher images.
次に動作について説明する。
ただし、教師画像位置合わせ部20以外は上記実施の形態1と同様であるため、ここでは、教師画像位置合わせ部20の処理内容だけを説明する。
教師画像位置合わせ部20の対数極座標変換部21は、2次元フーリエ変換部2からベクトル化された2次元スペクトル信号x1,x2,・・・,xNを受けると、その2次元スペクトル信号x1,x2,・・・,xNを対数極座標変換し、その変換結果である対数極座標変換信号ζ1,ζ2,・・・,ζNを出力する。
即ち、対数極座標変換部21は、振幅スペクトルである2次元スペクトル信号x1,x2,・・・,xNを対数変換し、高周波域を強調した形で対数極座標に変換する。
Next, the operation will be described.
However, since the components other than the teacher
When the logarithmic polar coordinate
That is, the logarithmic polar coordinate
2次元逆フーリエ変換部22は、対数極座標変換部21から対数極座標変換信号ζ1,ζ2,・・・,ζNを受けると、その対数極座標変換信号ζ1,ζ2,・・・,ζNに対する2次元逆フーリエ変換処理を実施することで、その対数極座標変換信号ζ1,ζ2,・・・,ζNを空間領域の信号に変換する。
複素共役乗算部23は、N個の教師画像の中の2個の教師画像の組み合わせ毎に、2次元逆フーリエ変換部22により変換された2個の空間領域の信号の複素共役を乗算する。
2次元フーリエ変換部24は、複素共役乗算部23の乗算結果を2次元フーリエ変換する。
When the two-dimensional inverse
The
The two-dimensional
ピーク検出部25は、2個の教師画像の組み合わせ毎に、2次元フーリエ変換部24の2次元フーリエ変換結果のピーク値を検出するとともに、そのピーク値の位置であるピーク位置を検出する。
即ち、ピーク検出部25は、2個の教師画像の組み合わせ毎に、2次元フーリエ変換部24の2次元フーリエ変換結果のピーク値として、2個の教師画像の相互相関関数の絶対値の最大値Pm,n(m=1,・・・,N−1; n=m+1,・・・,N)を検出する。
ピーク検出部25は、m番目の教師画像とn番目の教師画像との適合度である最大値Pm,nを検出すると、最大値Pm,nに対応する相互相関関数の位置(xy座標)であるピーク位置を検出する。
The
That is, for each combination of two teacher images, the
When the
回転量算出部26は、ピーク検出部25が2個の教師画像の組み合わせ毎に最大値Pm,nに対応する相互相関関数のピーク位置を検出すると、そのピーク位置を用いて、対数極座標変換部21から出力された対数極座標変換信号ζmと対数極座標変換信号ζnの間の位置ずれ量を推定する。対数極座標変換信号ζmと対数極座標変換信号ζnの間の位置ずれ量は、m番目の教師画像とn番目の教師画像に存在している目標の向きのずれ量に相当する。
例えば、最大値Pm,nに対応する相互相関関数のピーク位置がxy座標の原点を示していなければ、m番目の教師画像とn番目の教師画像に存在している目標の向きにずれ量があり、そのピーク位置のx座標値が目標の向きのずれ量であると推定される。
When the
For example, if the peak position of the cross-correlation function corresponding to the maximum value P m, n does not indicate the origin of the xy coordinates, the amount of deviation in the target direction existing in the m-th teacher image and the n-th teacher image It is estimated that the x coordinate value of the peak position is the deviation amount of the target direction.
回転量算出部26は、対数極座標変換信号ζ1,ζ2,・・・,ζNの間の位置ずれ量を算出すると、例えば、その位置ずれ量に対して、予め設定された係数を乗算することで、N個の教師画像の回転量(回転量=位置ずれ量×係数)をそれぞれ算出する。
例えば、3個の教師画像(教師画像A,B,D)がある場合、教師画像A,B,Dの中から任意の教師画像を基準画像として選択する。その基準画像が仮に教師画像Aであるとすれば、教師画像Aの回転量は0、教師画像Bの回転量は教師画像Aと教師画像Bの位置ずれ量×係数、教師画像Dの回転量は教師画像Aと教師画像Dの位置ずれ量×係数のように決定する。
When calculating the amount of positional deviation between the logarithmic polar coordinate conversion signals ζ 1 , ζ 2 ,..., Ζ N , for example, the rotation
For example, when there are three teacher images (teacher images A, B, and D), an arbitrary teacher image is selected from the teacher images A, B, and D as a reference image. If the reference image is the teacher image A, the rotation amount of the teacher image A is 0, the rotation amount of the teacher image B is the displacement amount of the teacher image A and the teacher image B × coefficient, and the rotation amount of the teacher image D Is determined as follows: Misalignment between teacher image A and teacher image D × coefficient.
教師画像回転部27は、回転量算出部26がN個の教師画像の回転量を算出すると、その回転量分だけ、N個の教師画像をそれぞれ回転させる。
2次元フーリエ変換部28は、教師画像回転部27により回転されたN個の教師画像を示す教師画像データに対する2次元フーリエ変換処理を実施することで、N個の教師画像データを周波数領域のスペクトル信号にそれぞれ変換する。
2次元フーリエ変換部28は、N個の教師画像データを2次元スペクトル信号(周波数領域のスペクトル信号)に変換すると、その2次元スペクトル信号をラスタスキャンしてベクトル化し、ベクトル化した2次元スペクトル信号x1,x2,・・・,xNを複素共役乗算部29に出力する。
ここでは、2次元フーリエ変換部28から複素共役乗算部29に出力される2次元スペクトル信号を、上記実施の形態1における2次元フーリエ変換部2から複素共役乗算部11に出力される2次元スペクトル信号と同じ記号(x1,x2,・・・,xN)で表記しているが、2次元フーリエ変換部28から複素共役乗算部29に出力される2次元スペクトル信号は、上記の通り、目標の向きが揃えられている教師画像から得られている信号である点で相違している。
When the rotation
The two-dimensional
When the two-dimensional
Here, the two-dimensional spectrum signal output from the two-dimensional
複素共役乗算部29は、2次元フーリエ変換部28からベクトル化された2次元スペクトル信号x1,x2,・・・,xNを受けると、図3の複素共役乗算部11と同様に、N個の教師画像の中の2個の教師画像の組み合わせ毎に、2個の2次元スペクトル信号(周波数領域のスペクトル信号)の複素共役を乗算することで、2個の教師画像のクロススペクトル信号を算出する。
2個の教師画像の組み合わせが、m番目の教師画像とn番目の教師画像である場合のクロススペクトル信号zm,nは、上記の式(6)で表される。
When the
The cross spectrum signal z m, n when the combination of the two teacher images is the m-th teacher image and the n-th teacher image is expressed by the above equation (6).
2次元逆フーリエ変換部30は、複素共役乗算部29が2個の教師画像の組み合わせ毎にクロススペクトル信号zm,nを算出すると、図3の2次元逆フーリエ変換部12と同様に、2個の教師画像の組み合わせ毎に、そのクロススペクトル信号zm,nに対する2次元逆フーリエ変換処理を実施することで、そのクロススペクトル信号zm,nを空間領域の信号に変換する。
空間領域の信号は、m番目の教師画像とn番目の教師画像との相互相関関数に相当することが知られている。
When the complex
It is known that the signal in the spatial domain corresponds to a cross-correlation function between the mth teacher image and the nth teacher image.
ピーク検出部31は、2次元逆フーリエ変換部30が2個の教師画像の組み合わせ毎にクロススペクトル信号zm,nを空間領域の信号に変換すると、図3のピーク検出部13と同様に、2個の教師画像の組み合わせ毎に、その空間領域の信号のピーク値として、2個の教師画像の相互相関関数の絶対値の最大値Pm,n(m=1,・・・,N−1; n=m+1,・・・,N)を検出する。
最大値Pm,nの値域は、0≦Pm,n≦1であり、m番目の教師画像とn番目の教師画像との適合度を表す指標として使用することができる。
ピーク検出部31は、m番目の教師画像とn番目の教師画像との適合度である最大値Pm,nを検出すると、最大値Pm,nに対応する相互相関関数の位置(xy座標)であるピーク位置を検出する。
When the two-dimensional inverse
The range of the maximum value P m, n is 0 ≦ P m, n ≦ 1, and can be used as an index representing the degree of matching between the m-th teacher image and the n-th teacher image.
When the
クラスタリング部32は、ピーク検出部31が2個の教師画像の組み合わせ毎に最大値Pm,nを検出すると、図3のクラスタリング部14と同様に、その最大値Pm,nをm番目の教師画像とn番目の教師画像との適合度とみなし、その適合度Pm,nを予め設定されている閾値Pthと比較する。
クラスタリング部32は、その適合度Pm,nが閾値Pthより大きければ、m番目の教師画像とn番目の教師画像との相違が小さいので、m番目の教師画像とn番目の教師画像を同一のクラスタに分類する。
クラスタリング部32は、2個の教師画像の組み合わせの全てについて、上記の処理を繰り返すことで、N個の教師画像をクラスタリングする。
The
Since the difference between the m-th teacher image and the n-th teacher image is small if the matching degree P m, n is larger than the threshold value P th , the clustering unit 32 determines the m-th teacher image and the n-th teacher image. Classify to the same cluster.
The
平行移動量決定部33は、図3の平行移動量決定部15と同様に、ピーク検出部31により検出された最大値Pm,nに対応する相互相関関数のピーク位置を用いて、クラスタリング部32により同一のクラスタに分類された教師画像同士の位置ずれ量を推定する。
平行移動量決定部33は、同一のクラスタに分類された教師画像同士の位置ずれ量を推定すると、その位置ずれ量から同一のクラスタに分類された教師画像の平行移動量を決定する。
Similar to the parallel movement
When the amount of positional deviation between the teacher images classified into the same cluster is estimated, the parallel movement
教師画像平行移動部34は、平行移動量決定部33が同一のクラスタに分類された教師画像の平行移動量を決定すると、図3の教師画像平行移動部16と同様に、その教師画像の平行移動量に対応する変換行列Dn(n∈Ωq)を生成する。
教師画像平行移動部34は、教師画像の平行移動量に対応する変換行列Dn(n∈Ωq)を生成すると、同一のクラスタに分類された教師画像間の位置を揃えるために、その変換行列Dn(n∈Ωq)を当該教師画像のスペクトル信号xn(n∈Ωq)に掛け合わせることで、その平行移動量分だけ教師画像を平行移動させる。
教師画像平行移動部34は、平行移動後の教師画像の2次元スペクトル信号Yを類識別フィルタ合成部4に出力する。
When the translation
When the teacher
The teacher
2次元逆フーリエ変換部35は、教師画像平行移動部34から平行移動後の教師画像の2次元スペクトル信号Yを受けると、その2次元スペクトル信号Yに対する2次元逆フーリエ変換処理を実施することで空間領域の信号に変換する。
教師画像逆回転部36は、回転量算出部26により算出された回転量だけ、2次元フーリエ変換部35により変換された空間領域の信号(教師画像平行移動部34により平行移動させた複数の教師画像に対応する信号)をそれぞれ元の方向に逆回転させることで、元の教師画像を推定された位置ずれの分だけ平行移動した画像を得る。
2次元フーリエ変換部37は、教師画像逆回転部36により逆回転させた複数の空間領域の信号に対する2次元フーリエ変換処理を実施することで、その空間領域の信号を周波数領域の信号に変換する。
When the two-dimensional inverse
The teacher image
The two-dimensional
以上で明らかなように、この実施の形態2によれば、教師画像位置合わせ部20が、複数の教師画像に存在している目標の向きを合わせた状態で、複数の教師画像間の適合度を算出するように構成しているので、複数の教師画像に存在している目標の向きが異なっている場合でも、目標の類識別性能が高い類識別フィルタを生成することができる効果を奏する。
また、この実施の形態2によれば、対数極座標変換を活用し、対数極座標変換後の信号のシフト量の推定によって異なる教師画像間の回転量を推定しているので、回転量の推定に必要な演算を低く抑えることができる。この結果、適合度の高い教師画像を過不足なくクラスタリングすることができるため、目標識別性能の低下を防ぐことができる効果を奏する。
As apparent from the above, according to the second embodiment, the degree of fitness between the plurality of teacher images in a state where the teacher
In addition, according to the second embodiment, logarithmic polar coordinate conversion is used, and the rotation amount between different teacher images is estimated by estimating the shift amount of the signal after logarithmic polar coordinate conversion. Can be kept low. As a result, it is possible to cluster teacher images having a high degree of fitness without excess or deficiency, and thus it is possible to prevent a reduction in target identification performance.
実施の形態3.
図6はこの発明の実施の形態3による類識別フィルタ生成装置の教師画像位置合わせ部20を示す構成図であり、図において、図5と同一符号は同一または相当部分を示すので説明を省略する。
画像位置・回転微調整部38は教師画像平行移動部34により平行移動された同一のクラスタに属する教師画像の位置及び向きの微調整量を変えながら、その微調整量で位置及び向きを微調整した場合のエントロピーを算出して、そのエントロピーが最小になる微調整量を特定し、その微調整量で同一のクラスタに属する教師画像の位置及び向きを調整する処理を実施する。なお、画像位置・回転微調整部38は調整手段を構成している。
FIG. 6 is a block diagram showing the teacher
The image position / rotation
上記実施の形態2では、教師画像位置合わせ部20が、複数の教師画像に存在している目標の向きを合わせた状態で、複数の教師画像間の適合度を算出するものを示したが、レーダ観測画像では、目標が回転すると、レイオーバの影響や反射の位相中心が変化することにより、教師画像を単純に回転させても目標の像が一致しないことがある。教師画像を回転させた場合に目標の像が一致する場合は、教師画像の回転量を精度良く推定することが可能であるが、教師画像を回転させても目標の像が完全に一致しない場合には、回転量の推定精度が劣化することがある。
そこで、この実施の形態3では、教師画像の回転と平行移動を実施したのち、教師画像の位置及び向きを微調整する画像位置・回転微調整部38を備えるようにしている。
In the second embodiment, the teacher
Therefore, in the third embodiment, an image position / rotation
以下、画像位置・回転微調整部38の処理内容を具体的に説明する。
画像位置・回転微調整部38は、2次元逆フーリエ変換部35から教師画像の回転と平行移動が実施された教師画像を示す教師画像データζnを受けると、その教師画像データζnに対する様々な微小回転量Δθ及び微小平行移動量(Δx,Δy)を仮定する。
画像位置・回転微調整部38は、様々な微小回転量Δθ及び微小平行移動量(Δx,Δy)を仮定すると、下記の式(12)に示すように、その仮定した微小回転量Δθ及び微小平行移動量(Δx,Δy)で、回転及び平行移動後の各教師画像の位置合わせを実施する。
式(12)では、q番目のクラスタに分類されている教師画像について示しており、n∈Ωq番目の教師画像を微小回転量Δθだけ回転させて、微小平行移動量(Δx,Δy)平行移動させていることを表している。
ただし、式(12)の処理においては、q番目のクラスタに分類されている教師画像のいずれかを基準に設定しており、基準に設定した教師画像については回転も移動もさせていない。即ち、基準画像については、常に(Δθ,Δx,Δy)=(0,0,0)である。
The processing contents of the image position / rotation
When the image position / rotation
Assuming various minute rotation amounts Δθ and minute parallel movement amounts (Δx, Δy), the image position / rotation
Equation (12) shows the teacher image classified into the q-th cluster, and the nεΩ q- th teacher image is rotated by the minute rotation amount Δθ to be parallel to the minute parallel movement amount (Δx, Δy). Indicates that it is moved.
However, in the processing of Expression (12), one of the teacher images classified into the qth cluster is set as a reference, and the teacher image set as the reference is neither rotated nor moved. That is, for the reference image, (Δθ, Δx, Δy) = (0, 0, 0) is always established.
画像位置・回転微調整部38では、相互相関関数ではなく、以下に定義するエントロピーEを指標として位置合わせを実施する。
即ち、画像位置・回転微調整部38では、様々な微小回転量Δθ及び微小平行移動量(Δx,Δy)を仮定して、微小な回転と平行移動を加えたχn,(n∈Ωq)の組み合わせについて次の共分散行列を定義する。χnはラスタスキャンしてベクトル化したものである。
式(13)で与えられる共分散行列RΩqの固有値をλiとすると、エントロピーEは、下記の式(14)で定義される。
The image position / rotation
That is, the image position / rotation
When the eigenvalue of the covariance matrix R Ωq given by the equation (13) is λ i , the entropy E is defined by the following equation (14).
画像位置・回転微調整部38は、全てのχn,(n∈Ωq)の組み合わせについてエントロピーEを算出し、そのエントロピーEが最小になる微小回転量及び微小平行移動量(Δθ,Δx,Δy)n∈Ωqの組み合わせを探索する。
画像位置・回転微調整部38は、エントロピーEが最小になる微小回転量及び微小平行移動量(Δθ,Δx,Δy)n∈Ωqの組み合わせを探索すると、その微小回転量及び微小平行移動量(Δθ,Δx,Δy)n∈Ωqで、当該クラスタに分類されている教師画像の向きと位置を微調整し、微調整後の教師画像を示す教師画像データを教師画像逆回転部36に出力する。
The image position / rotation
When the image position / rotation
以上で明らかなように、この実施の形態3によれば、画像位置・回転微調整部38が、教師画像平行移動部34により平行移動された同一のクラスタに属する教師画像の位置及び向きの微調整量を変えながら、その微調整量で位置及び向きを微調整した場合のエントロピーを算出して、そのエントロピーが最小になる微調整量を特定し、その微調整量で同一のクラスタに属する教師画像の位置及び向きを調整するように構成したので、レイオーバの影響や反射の位相中心が変化することに起因する画像の歪が発生しても、相互相関の低下に伴う回転量の推定誤差の影響を低減して、目標識別性能の低下を防止することができる効果を奏する。
As is apparent from the above, according to the third embodiment, the image position / rotation
この実施の形態3では、教師画像位置合わせ部20が、様々に仮定した微調整量で位置及び向きを微調整した場合のエントロピーEを算出して、そのエントロピーEが最小になる微調整量を特定し、その微調整量で同一のクラスタに属する教師画像の位置及び向きを調整するものを示したが、様々に仮定した微調整量で位置及び向きを微調整した場合の相互情報量(光学画像の位置合わせで一般的に使用される情報量であって、2つの確率変数の相互依存の尺度を表す量などが考えられる)を算出して、その相互情報量が最大になる微調整量を特定し、その微調整量で同一のクラスタに属する教師画像の位置及び向きを調整するようにしてもよく、同様の効果を奏することができる。
In the third embodiment, the teacher
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。 In the present invention, within the scope of the invention, any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible. .
1 教師画像格納部(教師画像格納手段)、2 2次元フーリエ変換部(周波数領域変換手段)、3 教師画像位置合わせ部(教師画像位置合わせ手段)、4 類識別フィルタ合成部(類識別フィルタ合成手段)、5 類識別フィルタ格納部、6 目標種類判定部(目標種類判定手段)、11 複素共役乗算部(クロススペクトル信号算出部)、12 2次元逆フーリエ変換部(空間領域変換部)、13 ピーク検出部、14 クラスタリング部、15 平行移動量決定部、16 教師画像平行移動部、20 教師画像位置合わせ部(教師画像位置合わせ手段)、21 対数極座標変換部、22 2次元逆フーリエ変換部(回転量算出手段)、23 複素共役乗算部(回転量算出手段)、24 2次元フーリエ変換部(回転量算出手段)、25 ピーク検出部(回転量算出手段)、26 回転量算出部(回転量算出手段)、27 教師画像回転部(教師画像回転手段)、28 2次元フーリエ変換部(教師画像回転手段)、29 複素共役乗算部(クロススペクトル信号算出部)、30 2次元逆フーリエ変換部(空間領域変換部)、31 ピーク検出部、32 クラスタリング部、33 平行移動量決定部、34 教師画像平行移動部、35 2次元逆フーリエ変換部(教師画像逆回転手段)、36 教師画像逆回転部(教師画像逆回転手段)、37 2次元フーリエ変換部(教師画像逆回転手段)、38 画像位置・回転微調整部(調整手段)、101 教師画像データファイル、102 2次元フーリエ変換手段、103 類識別フィルタ合成手段、104 類識別フィルタ。 DESCRIPTION OF SYMBOLS 1 Teacher image storage part (teacher image storage means), 2 Two-dimensional Fourier-transform part (frequency domain conversion means), 3 Teacher image position alignment part (teacher image position alignment means), 4 Class identification filter composition part (Class identification filter composition) Means) 5 type identification filter storage unit, 6 target type determination unit (target type determination unit), 11 complex conjugate multiplication unit (cross spectrum signal calculation unit), 12 two-dimensional inverse Fourier transform unit (spatial domain conversion unit), 13 Peak detection unit, 14 clustering unit, 15 translation amount determination unit, 16 teacher image translation unit, 20 teacher image alignment unit (teacher image alignment unit), 21 log polar coordinate conversion unit, 22 two-dimensional inverse Fourier transform unit ( Rotation amount calculation means), 23 complex conjugate multiplication section (rotation amount calculation means), 24 two-dimensional Fourier transform section (rotation amount calculation means), 25 peak detection Unit (rotation amount calculation unit), 26 rotation amount calculation unit (rotation amount calculation unit), 27 teacher image rotation unit (teacher image rotation unit), 28 two-dimensional Fourier transform unit (teacher image rotation unit), 29 complex conjugate multiplication unit (Cross spectrum signal calculation unit), 30 two-dimensional inverse Fourier transform unit (spatial domain transform unit), 31 peak detection unit, 32 clustering unit, 33 translation amount determination unit, 34 teacher image translation unit, 35 two-dimensional inverse Fourier Conversion unit (teacher image reverse rotation unit), 36 Teacher image reverse rotation unit (teacher image reverse rotation unit), 37 Two-dimensional Fourier transform unit (teacher image reverse rotation unit), 38 Image position / rotation fine adjustment unit (adjustment unit) , 101 teacher image data file, 102 two-dimensional Fourier transform means, 103 type identification filter synthesis means, 104 type identification filter.
Claims (7)
前記教師画像格納手段により格納されている複数の教師画像を示す教師画像データを周波数領域のスペクトル信号にそれぞれ変換する周波数領域変換手段と、
前記周波数領域変換手段により変換された周波数領域のスペクトル信号を用いて、前記複数の教師画像間の適合度を算出し、前記適合度を基準にして前記複数の教師画像を1以上のクラスタに分類するとともに、同一のクラスタに属する教師画像同士の位置合わせを行う教師画像位置合わせ手段と、
前記教師画像位置合わせ手段により分類されたクラスタ毎に、前記教師画像位置合わせ手段により位置合わせが行われた教師画像同士を合成して類識別フィルタを生成する類識別フィルタ合成手段と
を備えた類識別フィルタ生成装置。 Teacher image storage means for storing a target teacher image cut out from a plurality of observation images of the target observed under different observation conditions;
Frequency domain conversion means for converting teacher image data indicating a plurality of teacher images stored by the teacher image storage means, respectively, into spectrum signals in the frequency domain;
Using the frequency domain spectrum signal transformed by the frequency domain transforming means, the fitness between the plurality of teacher images is calculated, and the teacher images are classified into one or more clusters based on the fitness. And teacher image alignment means for aligning teacher images belonging to the same cluster,
A class identification filter synthesizing unit that generates a class identification filter by synthesizing the teacher images aligned by the teacher image alignment unit for each cluster classified by the teacher image alignment unit; Identification filter generation device.
前記複数の教師画像の中の2個の教師画像の組み合わせ毎に、前記周波数領域変換手段により変換された周波数領域のスペクトル信号を用いて、2個の教師画像のクロススペクトル信号を算出するクロススペクトル信号算出部と、
2個の教師画像の組み合わせ毎に、前記クロススペクトル信号算出部により算出されたクロススペクトル信号を空間領域の信号に変換する空間領域変換部と、
2個の教師画像の組み合わせ毎に、前記空間領域変換部により変換された空間領域の信号のピーク値を検出するとともに、前記ピーク値の位置であるピーク位置を検出するピーク検出部と、
前記ピーク検出部により空間領域の信号から検出されたピーク値を2個の教師画像間の適合度とみなし、前記適合度が予め設定された閾値より高ければ、前記2個の教師画像を同一のクラスタに分類することで、前記複数の教師画像をクラスタリングするクラスタリング部と、
前記ピーク検出部により検出されたピーク位置を用いて、前記クラスタリング部により同一のクラスタに分類された教師画像同士の位置ずれ量を推定し、前記位置ずれ量から前記クラスタリング部により同一のクラスタに分類された教師画像の平行移動量を決定する平行移動量決定部と、
前記平行移動量決定部により決定された平行移動量だけ前記教師画像を平行移動させる教師画像平行移動部とから構成されていることを特徴とする請求項1記載の類識別フィルタ生成装置。 The teacher image alignment means includes:
A cross spectrum for calculating a cross spectrum signal of two teacher images using a frequency domain spectrum signal converted by the frequency domain conversion means for each combination of two teacher images of the plurality of teacher images. A signal calculator;
A spatial domain conversion unit that converts the cross spectrum signal calculated by the cross spectrum signal calculation unit into a spatial domain signal for each combination of two teacher images;
For each combination of two teacher images, a peak detection unit that detects a peak value of a signal of the spatial region converted by the spatial region conversion unit and detects a peak position that is a position of the peak value;
The peak value detected from the signal in the spatial region by the peak detection unit is regarded as the fitness between two teacher images. If the fitness is higher than a preset threshold, the two teacher images are identical. A clustering unit for clustering the plurality of teacher images by classifying them into clusters,
Using the peak positions detected by the peak detection unit, the amount of misalignment between teacher images classified into the same cluster by the clustering unit is estimated, and the clustering unit classifies the misalignment amount from the position deviation amount into the same cluster. A translation amount determining unit for determining a translation amount of the teacher image that has been
The class identification filter generation device according to claim 1, further comprising: a teacher image translation unit that translates the teacher image by a translation amount determined by the translation amount determination unit.
前記周波数領域変換手段により変換された各々のスペクトル信号を対数極座標変換し、その変換結果である対数極座標変換信号を出力する対数極座標変換部と、
前記対数極座標変換部から出力された各々の対数極座標変換信号から、前記複数の教師画像に存在している目標の向きのずれ量をそれぞれ推定し、前記ずれ量から前記複数の教師画像の回転量をそれぞれ算出する回転量算出手段と、
前記回転量算出手段により算出された回転量だけ前記複数の教師画像をそれぞれ回転させる教師画像回転手段と、
前記教師画像回転手段により回転された複数の教師画像の中の2個の教師画像の組み合わせ毎に、前記周波数領域変換手段により変換された周波数領域のスペクトル信号を用いて、2個の教師画像のクロススペクトル信号を算出するクロススペクトル信号算出部と、
2個の教師画像の組み合わせ毎に、前記クロススペクトル信号算出部により算出されたクロススペクトル信号を空間領域の信号に変換する空間領域変換部と、
2個の教師画像の組み合わせ毎に、前記空間領域変換部により変換された空間領域の信号のピーク値を検出するとともに、前記ピーク値の位置であるピーク位置を検出するピーク検出部と、
前記ピーク検出部により空間領域の信号から検出されたピーク値を2個の教師画像間の適合度とみなし、前記適合度が予め設定された閾値より高ければ、前記2個の教師画像を同一のクラスタに分類することで、前記複数の教師画像をクラスタリングするクラスタリング部と、
前記ピーク検出部により検出されたピーク位置を用いて、前記クラスタリング部により同一のクラスタに分類された教師画像同士の位置ずれ量を推定し、前記位置ずれ量から前記クラスタリング部により同一のクラスタに分類された教師画像の平行移動量を決定する平行移動量決定部と、
前記平行移動量決定部により決定された平行移動量だけ前記教師画像を平行移動させる教師画像平行移動部と、
前記回転量算出手段により算出された回転量だけ、前記教師画像平行移動部により平行移動された複数の教師画像をそれぞれ元の方向に逆回転させる教師画像逆回転手段とから構成されていることを特徴とする請求項3記載の類識別フィルタ生成装置。 The teacher image alignment means includes:
A logarithmic polar coordinate conversion unit for logarithmic polar coordinate conversion of each spectrum signal converted by the frequency domain conversion means, and outputting a logarithmic polar coordinate conversion signal as a result of the conversion;
From each logarithmic polar coordinate conversion signal output from the logarithmic polar coordinate conversion unit, a deviation amount of the target direction existing in the plurality of teacher images is estimated, respectively, and the rotation amount of the plurality of teacher images is calculated from the deviation amount. Rotation amount calculating means for calculating
Teacher image rotation means for rotating each of the plurality of teacher images by the rotation amount calculated by the rotation amount calculation means;
For each combination of two teacher images of the plurality of teacher images rotated by the teacher image rotating means, the frequency domain spectrum signal converted by the frequency domain converting means is used to generate two teacher images. A cross spectrum signal calculation unit for calculating a cross spectrum signal;
A spatial domain conversion unit that converts the cross spectrum signal calculated by the cross spectrum signal calculation unit into a spatial domain signal for each combination of two teacher images;
For each combination of two teacher images, a peak detection unit that detects a peak value of a signal of the spatial region converted by the spatial region conversion unit and detects a peak position that is a position of the peak value;
The peak value detected from the signal in the spatial region by the peak detection unit is regarded as the fitness between two teacher images. If the fitness is higher than a preset threshold, the two teacher images are identical. A clustering unit for clustering the plurality of teacher images by classifying them into clusters,
Using the peak positions detected by the peak detection unit, the amount of misalignment between teacher images classified into the same cluster by the clustering unit is estimated, and the clustering unit classifies the misalignment amount from the position deviation amount into the same cluster. A translation amount determining unit for determining a translation amount of the teacher image that has been
A teacher image translation unit that translates the teacher image by the translation amount determined by the translation amount determination unit;
A plurality of teacher images translated by the teacher image translation unit by a rotation amount calculated by the rotation amount calculation unit, respectively, and a teacher image reverse rotation unit that reversely rotates the teacher images in their original directions. The class identification filter generation device according to claim 3, wherein:
前記教師画像格納手段により格納されている複数の教師画像を示す教師画像データを周波数領域のスペクトル信号にそれぞれ変換する周波数領域変換手段と、
前記周波数領域変換手段により変換された周波数領域のスペクトル信号を用いて、前記複数の教師画像間の適合度を算出し、前記適合度を基準にして前記複数の教師画像を1以上のクラスタに分類するとともに、同一のクラスタに属する教師画像同士の位置合わせを行う教師画像位置合わせ手段と、
前記教師画像位置合わせ手段により分類されたクラスタ毎に、前記教師画像位置合わせ手段により位置合わせが行われた教師画像同士を合成して類識別フィルタを生成する類識別フィルタ合成手段と、
類識別対象の目標の観測画像と前記類識別フィルタ合成手段により生成された類識別フィルタを照合して、前記目標の種類を判定する目標種類判定手段と
を備えた目標類識別装置。 Teacher image storage means for storing a target teacher image cut out from a plurality of observation images of the target observed under different observation conditions;
Frequency domain conversion means for converting teacher image data indicating a plurality of teacher images stored by the teacher image storage means, respectively, into spectrum signals in the frequency domain;
Using the frequency domain spectrum signal transformed by the frequency domain transforming means, the fitness between the plurality of teacher images is calculated, and the teacher images are classified into one or more clusters based on the fitness. And teacher image alignment means for aligning teacher images belonging to the same cluster,
A class identification filter synthesizing unit that generates a class identification filter by synthesizing the teacher images registered by the teacher image alignment unit for each cluster classified by the teacher image alignment unit;
A target class identification apparatus comprising: a target type determination unit that compares an observed image of a target to be identified with a class identification filter generated by the class identification filter synthesis unit to determine the type of the target.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013149528A JP2015021824A (en) | 2013-07-18 | 2013-07-18 | Classification and identification filter generator and target classification and identification device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013149528A JP2015021824A (en) | 2013-07-18 | 2013-07-18 | Classification and identification filter generator and target classification and identification device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2015021824A true JP2015021824A (en) | 2015-02-02 |
Family
ID=52486402
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013149528A Pending JP2015021824A (en) | 2013-07-18 | 2013-07-18 | Classification and identification filter generator and target classification and identification device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2015021824A (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018045302A (en) * | 2016-09-12 | 2018-03-22 | キヤノン株式会社 | Information processing device, information processing method and program |
| WO2019207642A1 (en) * | 2018-04-24 | 2019-10-31 | 日本電気株式会社 | Image comparison device |
| CN111289954A (en) * | 2020-03-31 | 2020-06-16 | 四川长虹电器股份有限公司 | Point cloud division and track matching method for millimeter wave radar target tracking |
| JP2021110565A (en) * | 2020-01-07 | 2021-08-02 | 株式会社東芝 | Classification device and classification method |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003271952A (en) * | 2002-03-18 | 2003-09-26 | Mitsubishi Electric Corp | Filter synthesis device and image processing device using the same |
| JP2003331289A (en) * | 2002-05-08 | 2003-11-21 | Mitsubishi Electric Corp | Image identification device and radar device provided with this image identification device |
| JP2004093166A (en) * | 2002-08-29 | 2004-03-25 | Mitsubishi Electric Corp | Target identification device |
| JP2009112468A (en) * | 2007-11-05 | 2009-05-28 | Toshiba Corp | Image alignment apparatus and method, and image alignment program |
| US20090184865A1 (en) * | 2006-05-15 | 2009-07-23 | Valoe Hilde | Method and system for automatic classification of objects |
| JP2012127920A (en) * | 2010-12-17 | 2012-07-05 | Mitsubishi Electric Corp | Target type identification apparatus |
-
2013
- 2013-07-18 JP JP2013149528A patent/JP2015021824A/en active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003271952A (en) * | 2002-03-18 | 2003-09-26 | Mitsubishi Electric Corp | Filter synthesis device and image processing device using the same |
| JP2003331289A (en) * | 2002-05-08 | 2003-11-21 | Mitsubishi Electric Corp | Image identification device and radar device provided with this image identification device |
| JP2004093166A (en) * | 2002-08-29 | 2004-03-25 | Mitsubishi Electric Corp | Target identification device |
| US20090184865A1 (en) * | 2006-05-15 | 2009-07-23 | Valoe Hilde | Method and system for automatic classification of objects |
| JP2009112468A (en) * | 2007-11-05 | 2009-05-28 | Toshiba Corp | Image alignment apparatus and method, and image alignment program |
| JP2012127920A (en) * | 2010-12-17 | 2012-07-05 | Mitsubishi Electric Corp | Target type identification apparatus |
Non-Patent Citations (4)
| Title |
|---|
| KYU-HWA JEONG: ""THE CORRENTROPY MACE FILTER FOR IMAGE RECOGNITION"", A DISSERTATION PRESENTED TO THE GRADUATE SCHOOL OF THE UNIVERSITY OF FLORIDA IN PARTIAL FULFILLMENT, JPN6016048272, 2007, pages 64 - 78, ISSN: 0003461299 * |
| 山浦愛子、外1名: ""移動カメラ画像における位相限定相関法による移動物体とその位置の検出法"", 電子情報通信学会技術研究報告, vol. 106, no. 535, JPN6016048270, 16 February 2007 (2007-02-16), pages 11 - 16, ISSN: 0003461298 * |
| 谷口慶治、外1名 編, 「画像処理工学 応用事例編」, vol. 初版, JPN6016048267, 25 May 2005 (2005-05-25), pages 180 - 181, ISSN: 0003461296 * |
| 金子倫規、外3名: ""画像間微小回転検出法の検討"", 電子情報通信学会2004年総合大会講演論文集, vol. 情報・システム2, JPN6016048268, 8 March 2004 (2004-03-08), pages 135, ISSN: 0003461297 * |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2018045302A (en) * | 2016-09-12 | 2018-03-22 | キヤノン株式会社 | Information processing device, information processing method and program |
| WO2019207642A1 (en) * | 2018-04-24 | 2019-10-31 | 日本電気株式会社 | Image comparison device |
| JPWO2019207642A1 (en) * | 2018-04-24 | 2021-03-18 | 日本電気株式会社 | Image collation device |
| JP6992880B2 (en) | 2018-04-24 | 2022-02-03 | 日本電気株式会社 | Image collation device |
| US11748442B2 (en) | 2018-04-24 | 2023-09-05 | Nec Corporation | Image matching device |
| JP2021110565A (en) * | 2020-01-07 | 2021-08-02 | 株式会社東芝 | Classification device and classification method |
| JP7527789B2 (en) | 2020-01-07 | 2024-08-05 | 株式会社東芝 | Sorting device and method |
| CN111289954A (en) * | 2020-03-31 | 2020-06-16 | 四川长虹电器股份有限公司 | Point cloud division and track matching method for millimeter wave radar target tracking |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Quinquis et al. | Some radar imagery results using superresolution techniques | |
| Yan et al. | Fast DOA estimation based on a split subspace decomposition on the array covariance matrix | |
| US20200296507A1 (en) | Signal processing apparatus, signal processing method, and computer program product | |
| JP2015021824A (en) | Classification and identification filter generator and target classification and identification device | |
| WO2019207642A1 (en) | Image comparison device | |
| US11227196B2 (en) | Image collating device | |
| CN112001257A (en) | SAR image target recognition method and device based on sparse representation and cascade dictionary | |
| Shaw et al. | Eigen-template-based HRR-ATR with multi-look and time-recursion | |
| Eom | Time-varying autoregressive modeling of HRR radar signatures | |
| WO2020003343A1 (en) | Wave-source-direction estimation device, wave-source-direction estimation method, and program storage medium | |
| JP6665488B2 (en) | Image processing method and image processing apparatus | |
| Liu et al. | M4X: Enhancing cross-view generalizability in RF-based human activity recognition by exploiting synthetic data in metric learning | |
| CN111781590A (en) | Radar target parameter estimation method based on efficient FRFT | |
| Sinha et al. | Classifying power quality issues in railway electrification systems using a nonsubsampled contourlet transform approach | |
| Dehkordi et al. | Region of interest based adaptive high resolution parameter estimation with applications in automotive radar | |
| Huang et al. | DOA estimation of quasi-stationary signals with a nested array in unknown noise field | |
| Li et al. | Underdetermined DOA Estimation of Quasi-Stationary Signals Exploiting Frequency Pairs | |
| Zhang et al. | Low-complexity gridless 2D harmonic retrieval via decoupled-ANM covariance reconstruction | |
| Yadav et al. | A review of image fusion using ihs with wavelet transform | |
| Zhang et al. | Wideband Joint Elevation-Azimuth Angle Estimation Based on Multiple Frequency Model and Atomic Norm Minimization | |
| Xu et al. | DOA estimation method using sparse representation with orthogonal projection | |
| Bhuiyan et al. | Power enhanced extended maximum average correlation height filter for target detection | |
| Liu et al. | Real-domain GMUSIC algorithm based on unitary-transform for low-angle estimation | |
| Zhao et al. | A decision tree SVM classification method based on the construction of ship-radiated noise multidimension feature vector | |
| CN115453454B (en) | Array super-resolution direction finding method based on the inner product of scanning direction vector and characteristic vector |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160107 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161208 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161220 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170704 |