KR101696088B1 - Method for recognizing object by ultrasound and apparatus therefor - Google Patents
Method for recognizing object by ultrasound and apparatus therefor Download PDFInfo
- Publication number
- KR101696088B1 KR101696088B1 KR1020150113502A KR20150113502A KR101696088B1 KR 101696088 B1 KR101696088 B1 KR 101696088B1 KR 1020150113502 A KR1020150113502 A KR 1020150113502A KR 20150113502 A KR20150113502 A KR 20150113502A KR 101696088 B1 KR101696088 B1 KR 101696088B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- array
- ultrasound
- column
- ultrasonic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/88—Sonar systems specially adapted for specific applications
- G01S15/89—Sonar systems specially adapted for specific applications for mapping or imaging
- G01S15/8906—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques
- G01S15/8977—Short-range imaging systems; Acoustic microscope systems using pulse-echo techniques using special techniques for image reconstruction, e.g. FFT, geometrical transformations, spatial deconvolution, time deconvolution
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S15/00—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
- G01S15/02—Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems using reflection of acoustic waves
- G01S15/50—Systems of measurement, based on relative movement of the target
- G01S15/58—Velocity or trajectory determination systems; Sense-of-movement determination systems
- G01S15/60—Velocity or trajectory determination systems; Sense-of-movement determination systems wherein the transmitter and receiver are mounted on the moving object, e.g. for determining ground speed, drift angle, ground track
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52001—Auxiliary means for detecting or identifying sonar signals or the like, e.g. sonar jamming signals
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/52—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00
- G01S7/52017—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S15/00 particularly adapted to short-range imaging
- G01S7/52046—Techniques for image enhancement involving transmitter or receiver
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Acoustics & Sound (AREA)
- Image Analysis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Abstract
초음파 물체 인식 방법 및 장치가 제공된다. 본 발명의 예시적인 실시예에 따른 초음파 물체 인식 방법은, 1) 탐색하고자 하는 대상 물체에 대하여 하나 이상의 방향에 대하여 하나 이상의 템플릿 영상을 각각 생성하는 단계, 2) 복수개의 초음파 빔을 송출하고, 각 초음파 빔에 대하여 반사파를 이용하여 초음파 영상을 획득하는 단계, 3) 상기 템플릿 영상에서 상기 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하고, 상기 초음파 영상에서 상기 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하는 단계, 4) 상기 템플릿 영상의 복수개의 1차원 배열과 상기 초음파 영상의 복수개의 1차원 배열의 일치도를 각각 산출하는 단계, 및 5) 산포도에 따라 상기 대상 물체의 인식 여부를 판단하는 단계를 포함하되, 상기 단계 5)는 상기 단계 4)의 상기 일치도가 가장 높은 상기 초음파 영상의 1차원 배열의 인덱스 값들의 상기 산포도를 이용하는 것을 포함한다.A method and apparatus for recognizing an ultrasonic object are provided. The method for recognizing an ultrasonic object according to an exemplary embodiment of the present invention includes: 1) generating one or more template images for at least one direction with respect to an object to be searched, 2) transmitting a plurality of ultrasonic beams, Acquiring an ultrasound image using a reflected wave with respect to the ultrasound beam; 3) acquiring a plurality of one-dimensional arrays of the region in which the object exists in the template image; Dimensional array of the template image and a plurality of one-dimensional arrays of the ultrasound image; and 5) calculating the degree of agreement between the plurality of one-dimensional arrays of the template image and the plurality of one- , Wherein said step (5) includes the step of determining whether said ultrasound It includes using the scatter plot of the index value on the one-dimensional array.
Description
본 발명은 초음파 물체 인식 방법 및 장치에 관한 것이다. The present invention relates to a method and apparatus for recognizing an ultrasonic object.
일반적으로 천해(Shallow water)에서의 수중 물체 인식은 수중 파이프라인 탐사, 바다표면 생태 조사, 해상에 추락한 비행기 위치 확인 등 공학, 토목, 엔지니어링, 환경, 재난 수습 등의 다양한 분야에서 요구된다.In general, underwater object recognition in shallow water is required in a variety of fields such as underwater pipeline exploration, ocean surface ecological survey, engineering, civil engineering, environment, disaster prevention, and so on.
하지만, 천해의 경우 일반적으로 물의 탁도가 높아 광학 카메라를 이용한 탐사는 가시거리의 확보가 어렵기 때문에 한계가 있다. 이때, 초음파를 이용하여 탐사하는 경우, 물의 탁도가 높은 상황에서도 수십 미터 이상을 확인할 수 있기 때문에 광학 카메라를 이용하는 것에 비해 효과적이다.However, in case of deep sea, turbidity of water is generally high, and therefore, there is a limitation because it is difficult to obtain visibility by using an optical camera. At this time, when the ultrasonic probe is used, it is more effective than the optical camera because it can confirm tens of meters or more even in a state where the turbidity of water is high.
이때, 수중 로봇 등의 탐지 장치를 이용하여 목적하는 대상 물체를 인식하기 위해서는 이미 알고 있는 인식 대상 물체의 형상과 실제 촬영된 초음파 영상간의 일치도를 평가하여 목적하는 물체 인지 여부를 판단하는 기술이 요구된다.At this time, in order to recognize a target object using a detection device such as an underwater robot, a technique for determining whether or not the target object is an object is evaluated by evaluating the degree of agreement between the shape of the object to be recognized and the actually captured ultrasound image .
한편, 물체의 형상과 초음파 영상의 일치도를 평가하기 위하여 해당 물체를 여러 방향에서 촬영한 샘플 초음파 영상인 템플릿 영상과 탐사 중에 촬영한 초음파 영상을 비교하는 방법을 주로 사용한다. On the other hand, in order to evaluate the degree of agreement between the shape of an object and the ultrasound image, a method of comparing a template image, which is a sample ultrasound image photographed from various directions, with an ultrasound image photographed during an exploration is mainly used.
이때, 템플릿 영상 확보 정도에 따라 물체와 영상의 일치도의 정확도가 결정된다. 하지만, 템플릿 영상을 확보하는 것에 한계가 있기 때문에 초음파 영상 시뮬레이터를 따라 제작하여 임의의 각도에서 바라본 물체의 초음파 영상을 인공적으로 생성하는 방식을 사용해 왔다. 또, 시뮬레이션 영상과 물체의 초음파 영상을 비교하기 위해 세그멘테이션을 통해 초음파 영상을 단순화시키는 방법을 사용해 왔다.At this time, the accuracy of the degree of agreement between the object and the image is determined according to the degree of securing the template image. However, since there is a limitation in securing a template image, a method of artificially generating an ultrasound image of an object viewed from an arbitrary angle has been used in accordance with an ultrasound image simulator. In order to compare the simulation image with the ultrasound image of the object, a method of simplifying the ultrasound image through segmentation has been used.
그러나, 세그멘테이션의 경우 단순화 수준을 결정하는 데 어려운 문제점이 있다.However, there are difficulties in determining the level of simplification in the case of segmentation.
본 발명의 일 실시예는 대상 물체에 대한 템플릿 영상과 촬영된 실제 물체의 초음파 영상을 직접적으로 비교하여 대상 물체인지 여부를 확인할 수 있는 초음파 물체 인식 방법을 제공하고자 한다. An embodiment of the present invention is to provide an ultrasonic object recognition method capable of directly comparing a template image of a target object with an ultrasound image of a photographed real object to determine whether the target object is an object.
본 발명의 일 실시예는 대상 물체에 대한 템플릿 영상과 촬영된 초음파 영상을 비교하여 대상 물체 인지 여부를 판단하는 초음파 물체 인식 장치를 제공하고자 한다. An embodiment of the present invention is to provide an ultrasound object recognizing apparatus that compares a template image of a target object with a taken ultrasound image to determine whether the target object is an object or not.
본 발명의 일 실시예에 따른 초음파 물체 인식 방법은, 1) 탐색하고자 하는 대상 물체에 대하여 하나 이상의 방향에 대하여 하나 이상의 템플릿 영상을 각각 생성하는 단계, 2) 복수개의 초음파 빔을 송출하고, 각 초음파 빔에 대하여 반사파를 이용하여 초음파 영상을 획득하는 단계, 3) 템플릿 영상에서 상기 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하고, 초음파 영상에서 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하는 단계, 4) 템플릿 영상의 복수개의 1차원 배열과 초음파 영상의 복수개의 1차원 배열의 일치도를 각각 산출하되, 하기의 수학식 1로 표현되는 상관관계함수를 이용하여 일치도를 산출하며, 이후 일치도의 최대값의 평균들을 획득하고, 이후 일치도의 최대값의 평균들 중의 최대값을 획득하며, 이후 일치도의 최대값의 평균들 중의 최대값으로 이루어진 배열을 획득하는 단계, 5) 일치도의 최대값의 평균들 중의 최대값으로 이루어진 배열의 산포도에 따라 대상 물체의 인식 여부를 판단하되, 상기 산포도가 소정의 임계값보다 작은 경우 상기 단계 2)의 영역에 상기 탐색하고자 하는 물체가 존재하는 것으로 판단하고, 상기 산포도가 소정의 임계값보다 큰 경우 상기 단계 2)의 영역에 상기 탐색하고자 하는 물체가 존재하지 않는 것으로 판단하는 단계를 포함한다.
이때, 수학식 1은 하기와 같다.
Rj,k(i) =
(여기서, Sj(i): 초음파 영상의 j번째 열 배열, Tk(i): 템플릿 영상의 k번째 열 배열, Rj,k(i) : 1≤i≤rs-rt+1, rs: 초음파 영상의 길이(행 개수), rt: 템플릿 영상의 길이(행 개수))
또한, 상기 4) 단계는, (1) 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 x번째 내지 ct+x-1번째 열 배열 간에 식1을 이용하여 ct개의 상관관계함수를 획득하는 a) 단계(단, 1≤x≤cs-ct+1), (2) ct개의 상관관계함수 각각에서 최대값을 산출하고, 산출된 최대값들의 평균인 Mx를 cs-ct+1개 획득하는 b) 단계, (3) cs-ct+1개의 Mx 중의 최대값인 Mlmax를 획득하는 c) 단계, (4) 초음파 영상의 lmax번째 열 배열부터 lmax+ct-1번째 열 배열까지로 이루어진 배열을 획득하는 d) 단계를 더 포함할 수 있다다. 이때, 상기 5) 단계는 상기 d) 단계에서 획득한 배열의 산포도에 따라 대상 물체의 인식 여부를 판단하는 단계를 더 포함할 수 있다.
한편, 본 발명의 일 실시예에 따른 초음파 물체 탐색 장치는, (1) 초음파 신호를 송출하고, 초음파 신호에 대한 초음파 반사 신호를 수신하여 초음파 영상을 획득하는 영상 획득부, (2) 시뮬레이션을 통해 탐색 대상 물체의 시뮬레이션 영상인 템플릿 영상을 생성하는 영상 생성부, (3) 영상 획득부 및 영상 생성부로부터 획득한 영상을 획득한 후 각각의 영상의 1차원 배열을 비교하여 탐색 물체인지 판정하는 판정부를 포함한다.
상기 판정부는 물체가 존재하는 영역을 획득한 후 탐색 물체인지 판정하되, (1) 영상 획득부 및 영상 생성부로부터 획득한 초음파 영상과 템플릿 영상의 1차원 배열을 획득하는 배열 획득부, (2) 배열 획득부에서 획득한 1차원 배열을 비교하여 일치도를 산출하되, 하기의 수학식 1로 표현되는 상관관계함수를 이용하여 일치도를 산출하며, 이후 일치도의 최대값의 평균들을 획득하고, 이후 일치도의 최대값의 평균들 중의 최대값을 획득하며, 이후 일치도의 최대값의 평균들 중의 최대값으로 이루어진 배열을 산출하는 산출부, (3) 일치도의 최대값의 평균들 중의 최대값으로 이루어진 배열의 산포도를 비교하되, 산포도가 소정의 임계값보다 작은 경우 탐색 대상 물체가 물체가 존재하는 것으로 판단하고, 산포도가 소정의 임계값보다 큰 경우 탐색 대상 물체가 존재하지 않는 것으로 판단하여, 물체의 일치 여부를 산출하는 비교부를 포함할 수 있다.
이때, 수학식 1은 하기와 같다.
Rj,k(i) =
(여기서, Sj(i): 초음파 영상의 j번째 열 배열, Tk(i): 템플릿 영상의 k번째 열 배열, Rj,k(i) : 1≤i≤rs-rt+1, rs: 초음파 영상의 길이(행 개수), rt: 템플릿 영상의 길이(행 개수))
상기 산출부는, 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 x번째 내지 ct+x-1번째 열 배열 간에 식1을 이용하여 ct개의 상관관계함수를 획득(단, 1≤x≤cs-ct+1)하고, ct개의 상관관계함수 각각에서 최대값을 산출하여 산출된 최대값들의 평균인 Mx를 cs-ct+1개 획득하며, 획득된 cs-ct+1개의 Mx 중의 최대값인 Mlmax를 획득하고, 초음파 영상의 lmax번째 열 배열부터 lmax+ct-1번째 열 배열까지로 이루어진 배열을 획득할 수 있다. 이때, 상기 비교부는 초음파 영상의 lmax번째 열 배열부터 lmax+ct-1번째 열 배열까지로 이루어진 배열의 산포도를 비교할 수 있다.The method for recognizing an ultrasound object according to an embodiment of the present invention includes the steps of: 1) generating one or more template images for at least one direction with respect to an object to be searched, 2) transmitting a plurality of ultrasound beams, Acquiring a plurality of one-dimensional arrays for the region in which the object exists in the template image, and obtaining a plurality of one-dimensional arrays for the region in which the object exists in the ultrasound image, 4) calculating a degree of agreement between a plurality of one-dimensional arrays of the template image and a plurality of one-dimensional arrays of the ultrasonic image, and calculating a degree of agreement using a correlation function expressed by the following equation (1) , Obtains averages of the maximum values of the agreement degree, obtains a maximum value among the averages of the maximum value of the agreement degree, 5) determining whether the object is recognized according to the scattering degree of the array made up of the maximum value among the averages of the maximum values of the degree of agreement, and if the scattering degree is less than a predetermined value Determining that the object to be searched exists in the region of the step 2) if the scattering degree is smaller than the threshold value, and if the object to be searched does not exist in the region of the step 2) .
At this time, Equation (1) is as follows.
R j , k (i) =
(Wherein, S j (i): j-th column of the array of ultrasound images, T k (i): the template image k-th column array, R j, k (i) : 1≤i≤r s -r t +1 , r s : length of ultrasound image (number of rows), r t : length of template image (number of rows))
In addition, the 4) comprises the steps of: (1) one of the template image first to c t of the second column array and the x-th to the ultrasound images c t + x-1 by using a second column arranged between the formula 1 c t correlation function obtaining a step a) (where, 1≤x≤c s -c t +1), (2) c t of the correlation function, and calculating the maximum value in each of the average of M x of the maximum value calculation c s -c t b) obtaining +1, (3) -c c s is the maximum value of the t + 1 of M x c to obtain the M lmax) step, (4) l max th column array of ultrasound image To obtain the array consisting of l max + c t -1 column arrays. In this case, the step 5) may further include determining whether the object is recognized according to the scattering degree of the arrangement obtained in the step d).
The ultrasound object searching apparatus according to an embodiment of the present invention may include (1) an image acquiring unit that emits an ultrasound signal, receives an ultrasound reflection signal of the ultrasound signal to acquire an ultrasound image, (2) (3) an image obtained by acquiring an image obtained from the image acquiring unit and the image generating unit, comparing the one-dimensional arrays of the respective images, and determining whether the object is a search object .
(1) an acquisition unit for acquiring a one-dimensional array of the ultrasound image and the template image acquired from the image acquisition unit and the image generation unit; (2) The degree of agreement is calculated by comparing the one-dimensional arrays obtained by the array obtaining unit, using the correlation function expressed by Equation (1), and then averages of the maximum values of the degree of agreement are obtained, A maximum value among the averages of maximum values and a maximum value among averages of the maximum values of the degrees of agreement; (3) If the scattering degree is smaller than the predetermined threshold value, it is determined that the object exists in the search object. If the scattering degree is larger than the predetermined threshold value, And a comparison unit for determining whether or not the object exists and determining whether the object exists or not.
At this time, Equation (1) is as follows.
R j , k (i) =
(Wherein, S j (i): j-th column of the array of ultrasound images, T k (i): the template image k-th column array, R j, k (i) : 1≤i≤r s -r t +1 , r s : length of ultrasound image (number of rows), r t : length of template image (number of rows))
The calculation unit obtains c t correlation functions using Equation (1) between the first to c t th column arrays of the template image and the x th to c t + x-1 th column arrays of the ultrasound image x≤c -c s t + 1), and, c t of the correlation between the average of the maximum value M of x calculated by calculating the maximum value in each function c s t -c obtained +1, and the acquired c s obtaining M lmax is the maximum value of the -c t +1 of M x, and it is possible to obtain an array of from l max th column array of ultrasound images l max + t c to -1-th column array. At this time, the comparison unit may compare the scatter diagram of the arrays of from l max th column array of ultrasound images l max + t c to -1-th column array.
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
삭제delete
본 발명의 일 실시예에 따른 초음파 물체 인식 방법은 지능형 수중 로봇이 전자동으로 수중 물체를 인식하고 탐사하기 위한 핵심 기술로 활용될 수 있다.The method of recognizing an ultrasonic object according to an embodiment of the present invention can be utilized as a core technology for an intelligent underwater robot to fully recognize and explore an underwater object.
또, 본 발명의 일 실시예에 따른 초음파 물체 인식 방법은 대상 물체를 판단할 뿐만 아니라 검증까지 가능할 수 있다.In addition, the ultrasonic object recognition method according to an embodiment of the present invention can not only judge a target object but also can be verified.
또한, 본 발명의 일 실시예에 따른 초음파 물체 인식 장치는 야간 혹은 시계가 탁한 경우에도 활용이 가능할 수 있다.In addition, the ultrasonic object recognition apparatus according to an embodiment of the present invention can be utilized even at night or when the time is dark.
또, 본 발명의 일 실시예에 따른 초음파 물체 인식 장치는 물체에 대해 신속한 판단이 가능할 수 있다.In addition, the ultrasonic object recognition apparatus according to an embodiment of the present invention can quickly determine an object.
도 1은 본 발명의 일 실시예에 따른 초음파 물체 인식 방법의 순서도이다.
도 2는 본 발명의 일 실시예에 따른 초음파 영상의 열 배열을 나타낸 도이다.
도 3은 본 발명의 일 실시예에 따른 (a) 초음파 영상의 열 배열 그래프, 및 (b) 템플릿 영상의 열 배열 그래프를 나타낸 도이다.
도 4는 본 발명의 일 실시예에 따른 상관관계함수를 나타낸 그래프이다.
도 5는 본 발명의 일 실시예에 따른 초음파 영상의 열 배열 그래프에서 템플릿 영상의 열 배열 그래프가 평행 이동한 모습을 나타낸 도이다.
도 6은 본 발명의 일 실시예에 따른 상관관계함수의 최대값들의 평균 중 최대값을 획득하는 방법을 나타낸 도이다.
도 7은 본 발명의 일 실시예에 따른 초음파 물체 인식 장치의 블록도이다.1 is a flowchart of an ultrasonic object recognition method according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating a column arrangement of an ultrasound image according to an embodiment of the present invention.
3 is a diagram showing a columnar graph of (a) ultrasound image and (b) a columnar graph of a template image according to an embodiment of the present invention.
4 is a graph illustrating a correlation function according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a parallel arrangement of a columnar array of template images in a columnar graph of ultrasound images according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a method of obtaining a maximum value among averages of maximum values of a correlation function according to an exemplary embodiment of the present invention.
7 is a block diagram of an ultrasonic object recognition apparatus according to an embodiment of the present invention.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art to which the present invention pertains. The present invention may be embodied in many different forms and is not limited to the embodiments described herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and the same or similar components are denoted by the same reference numerals throughout the specification.
본 발명의 일 실시예에 따른 초음파 물체 인식 방법(100)은 도 1에 도시된 바와 같이, 탐색하고자 하는 대상 물체에 대하여 하나 이상의 방향에 대하여 하나 이상의 템플릿 영상을 각각 생성하는 단계(S110), 복수개의 초음파 빔을 송출하고 각 초음파 빔에 대하여 반사파를 이용하여 초음파 영상을 획득하는 단계(S120), 템플릿 영상에서 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하고, 초음파 영상에서 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하는 단계(S130), 템플릿 영상의 복수개의 1차원 배열과 초음파 영상의 복수개의 1차원 배열의 일치도를 각각 산출하는 단계(S140), 및 일치도의 산포도에 따라 대상 물체의 인식 여부를 판단하는 단계(S150)를 포함한다.As shown in FIG. 1, a
본 발명의 초음파 물체 인식 방법은 초음파를 이용하여 물체를 인식하는 방법으로 특별히 제한 없이 사용되나, 본 발명의 일 실시예에서는 편의상 시야가 확보되지 않는 수중에서 초음파를 이용하여 물체를 탐지하는 경우를 중심으로 설명한다. 또, 본 발명의 일 실시예에서 수중 로봇은 초음파를 이용하여 수중 물체를 인식하기 위해 수중 탐색 장비 중 하나인 소나를 이용한다.The method of recognizing an ultrasonic object according to the present invention is a method of recognizing an object using ultrasonic waves without any limitation. In an embodiment of the present invention, a case of detecting an object using ultrasound . In addition, in an embodiment of the present invention, a submersible robot uses sonar, which is one of underwater search equipment, to recognize an underwater object by using ultrasonic waves.
먼저, 탐색하고자 하는 대상 물체에 대하여 템플릿 영상을 생성한다(단계 S110).First, a template image is generated for an object to be searched (step S110).
탐색 대상 물체를 찾기 위해서는 탐색 대상 물체와 비교할 수 있는 정보가 요구된다. 따라서, 본 발명의 일 실시예에서는 템플릿 영상을 탐색 대상 물체와 비교할 수 있는 정보로 획득할 수 있다. 템플릿 영상은 물체를 여러 방향에서 촬영한 샘플로 활용되는 초음파 영상이다. 템플릿 영상은 초음파를 이용하여 물체를 촬영함으로써 획득할 수도 있고, 시뮬레이터 등을 이용하여 간접적으로 획득할 수도 있다. 템플릿 영상은 다수의 1차원 배열을 나란히 배열한 2차원 배열인 비트맵 영상으로 표현되므로, 템플릿 영상은 다수의 1차원 배열인 열 배열로 표현될 수 있다. 다음으로, 복수개의 초음파 빔을 송출하고 각 초음파 빔에 대하여 반사파를 이용하여 초음파 영상을 획득한다(단계 S120).In order to search the object to be searched, information that can be compared with the object to be searched is required. Accordingly, in an embodiment of the present invention, a template image can be obtained as information that can be compared with an object to be searched. The template image is an ultrasound image that is used as a sample of an object taken in various directions. The template image may be obtained by photographing an object using ultrasonic waves, or indirectly by using a simulator or the like. Since the template image is represented by a bitmap image, which is a two-dimensional array in which a plurality of one-dimensional arrays are arranged side by side, the template image can be represented by a columnar array of a plurality of one-dimensional arrays. Next, a plurality of ultrasound beams are transmitted and an ultrasound image is acquired using reflected waves for each of the ultrasound beams (step S120).
물체를 탐색하기 위하여, 수중 로봇은 초음파를 송출한다. 이때 송출되는 초음파는 도 2에 도시된 바와 같이, 전방으로 폭이 좁고 상하로 넓은 부채꼴 형태의 복수의 빔 형태일 수 있다. 수중 로봇은 송출한 복수개의 빔의 진행방향에 존재하는 대상에서 반사되는 초음파 반사 신호를 획득한다. 이때, 획득된 각각의 초음파 반사 신호는 1차원 배열로 표현될 수 있다. 또, 1차원 배열의 초음파 반사 신호를 나란히 배열하면 2차원 비트맵이 구성될 수 있고, 이러한 2차원 비트맵은 하나의 초음파 영상을 구성하게 된다. 따라서, 2차원 비트맵으로 구성된 초음파 영상은, 다수의 1차원 배열인 열 배열로 표현될 수 있다.To search for objects, an underwater robot sends ultrasonic waves. As shown in FIG. 2, the ultrasonic waves transmitted at this time may be in the form of a plurality of beams having a small width in the front and a wide fan shape in the up and down direction. The underwater robot acquires an ultrasonic wave reflection signal reflected from an object existing in the traveling direction of the plurality of beams sent out. At this time, each of the acquired ultrasound reflection signals can be expressed in a one-dimensional array. In addition, a two-dimensional bit map can be constructed by arranging the ultrasonic wave reflection signals of the one-dimensional array side by side, and this two-dimensional bit map constitutes one ultrasonic image. Accordingly, the ultrasound image constituted by the two-dimensional bitmap can be represented by a columnar array, which is a plurality of one-dimensional arrays.
다음으로, 단계 S110에서 획득한 템플릿 영상에서 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하고, 단계 S120에서 획득한 초음파 영상에서 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득한다(단계 S130).Next, a plurality of one-dimensional arrays are acquired for the region where the object exists in the template image acquired in Step S110, and a plurality of one-dimensional arrays are obtained for the region in which the object exists in the ultrasound image acquired in Step S120 (Step S130).
도 3a 및 도 3b에는 각각 본 발명의 일 실시예로서, 초음파 영상의 65번째 열 배열과 템플릿 영상의 26번째 열 배열이 도시되어 있다. 이때, 초음파 영상의 배열이 템플릿 영상의 배열보다 많은 이유는, 초음파 영상은 수중 로봇의 탐색 범위를 모두 포함하지만, 템플릿 영상은 생성된 물체 영상에서 물체의 폭만을 포함하기 때문이다.FIGS. 3A and 3B illustrate a 65th row array of ultrasound images and a 26th row array of template images, respectively, according to an embodiment of the present invention. At this time, the arrangement of the ultrasound images is larger than the arrangement of the template images because the ultrasound images include all the search ranges of the underwater robots, but the template images contain only the width of the object in the generated object images.
초음파 영상의 65번째 열 배열은 도 3a에 도시된 바와 같이 S65(i)로 표현되며, 행과 열의 수는 각각 rs, cs이며, i의 범위는 1 내지 rs일 수 있다. 또, 템플릿 영상의 26번째 열 배열은 도 3b에 도시된 바와 같이 T26(i)로 표현되며, 행과 열의 수는 각각 rt, ct이며, i의 범위는 1 내지 rt일 수 있다.The 65th row of the ultrasound image is represented by S 65 (i) as shown in FIG. 3A, and the number of rows and columns is r s and c s , respectively, and the range of i may be 1 to r s . The 26th column arrangement of the template image is represented by T 26 (i) as shown in FIG. 3B, the number of rows and columns is r t , c t , and the range of i may be 1 to r t .
다음으로, 템플릿 영상의 복수개의 1차원 배열과 초음파 영상의 복수개의 1차원 배열의 일치도를 각각 산출한다(단계 S140).Next, the degree of agreement between a plurality of one-dimensional arrays of template images and a plurality of one-dimensional arrays of ultrasonic images is calculated (step S140).
템플릿 영상은 시뮬레이터를 이용해 물체의 영상을 생성한 것이고, 초음파 영상은 실제 수중 로봇이 획득한 영상이므로 상술한 바와 같이 템플릿 영상의 1차원 배열의 폭이 초음파 영상의 1차원 배열의 폭보다 작기 때문에, 템플릿 영상의 1차원 배열을 평행이동 함으로써 초음파 영상의 1차원 배열과 일치하는 정도인 일치도가 가장 높은 위치를 획득할 수 있다. Since the width of the one-dimensional array of the template image is smaller than the width of the one-dimensional array of the ultrasound image, as described above, since the template image is an image of an object using a simulator and the ultrasound image is an image obtained by the underwater robot, By moving the one-dimensional array of the template image in parallel, it is possible to acquire the position with the highest degree of agreement, which corresponds to the one-dimensional array of the ultrasound image.
템플릿 영상의 1차원 배열과 초음파 영상의 1차원 배열의 일치도를 산출하기 위해서는 하기 수학식 1로 표현되는 상관관계함수를 이용할 수 있다.In order to calculate the degree of agreement between the one-dimensional array of the template image and the one-dimensional array of the ultrasound image, a correlation function expressed by the following equation (1) can be used.
수학식 1
Rj,k(i) = R j, k (i) =
(여기서, Sj(i): 초음파 영상의 j번째 열 배열, Tk(i): 템플릿 영상의 k번째 열 배열, rs: 초음파 영상의 길이(행 개수), Rj,k(i) : 1≤i≤rs-rt+1)(Wherein, S j (i): the ultrasonic j-th column array, T k (i of the image): The template k-th column array of picture, r s: the length (number of rows) of the ultrasound image, R j, k (i) : 1? I? R s- r t +1)
여기서, 본 발명의 일 실시예인 템플릿 영상의 26번째 열 배열과 초음파 영상의 65번째 열 배열은 각각 T26(i) 및 S65(i)로 표현될 수 있고, S65(i)와 T26(i)의 상관관계는 R65,26(i)로 표현될 수 있다.Here, the 65th column arrangement of the 26th column arrangement and ultrasound images of one embodiment of a template image of the present invention may be represented as T 26 (i) and S 65 (i), respectively, S 65 (i) and T 26 (i) can be expressed as R 65,26 (i).
이때, 초음파 영상의 65번째 열 배열과 템플릿 영상의 26번째 열 배열의 상관관계함수 R65, 26(i)는 도 4에 도시된 바와 같은 분포를 가진다. 상관관계함수가 최대값을 가지는 지점은 인덱스 값이 157인 지점이며, 이는 도 5에 나타나듯이 도 3b의 T26(i)를 도 3a의 S65(i) 그래프 상에서 슬라이딩하며 비교하였을 때, 가장 잘 일치하는 위치가 인덱스 값을 157만큼 평행이동 시킨 위치임을 뜻한다. 즉, 상관관계를 획득하면 두 배열이 가장 일치하는 값과, 가장 일치하는 값을 획득하기 위해 평행이동 되는 인덱스 값을 획득할 수 있다. 이를 이용하여 템플릿 영상과 초음파 영상을 비교하는 방법은 다음과 같다.At this time, the correlation functions R 65 and 26 (i) of the 65th row array of the ultrasound image and the 26th row array of the template image have a distribution as shown in FIG. As shown in FIG. 5, when the T 26 (i) of FIG. 3B is compared with the sliding graph S 65 (i) of FIG. 3A, the point at which the correlation function has the maximum value is the point at which the index value is 157. A well-coincident position is a position that translates the index value by 157 degrees. That is, when the correlation is obtained, the two arrays can obtain the most consistent value and the index value that is translated to obtain the most consistent value. The method of comparing the template image with the ultrasound image is as follows.
템플릿 영상은 ct개의 열로 이루어지므로, 총 ct개의 열 배열을 가지고, 초음파 영상은 cs개의 열로 이루어지므로, 총 cs개의 열 배열을 가진다. 따라서, 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 1번째 내지 ct번째 열 배열을 이용하여 총 ct개의 상관관계함수를 획득할 수 있다. 획득한 ct개의 상관관계함수는 각각 최대값을 지니고 있기 때문에, 상관관계함수의 최대값들의 평균인 M1을 획득할 수 있다.Template images are made on-column c t, c have a total of t rows arrangement, since the ultrasonic image is made c s-column has a total of c s-column array. Therefore, it is possible by using the first to t-th column array c and c of the first to t-th column of the array of ultrasound images in the template image to obtain a total c t of the correlation function. Because the acquired c t of the correlation function has a maximum value, respectively, it is possible to obtain an average of M 1 of the maximum of the correlation function.
또, 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 2번째 내지 ct+1번째 열 배열을 이용하여 총 ct개의 상관관계함수를 획득하고, 획득한 상관관계함수 각각의 최대값의 평균인 M2를 획득한다. 이때, 상관관계함수 각각의 최대값들의 평균인 를 획득할 때까지 계산을 반복한다.Also, a total of c t correlation functions are obtained by using the first through c t th column arrays of the template image and the second through c t + 1 th column arrays of the ultrasound image, and the maximum value the average of the M 2 is obtained. In this case, the average of the maximum values of the correlation functions The calculation is repeated until it is obtained.
즉, 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 cs-ct+1번째 내지 cs번째 열 배열을 이용하여 총 ct개의 상관관계함수를 획득하고, 획득한 상관관계함수 각각의 최대값의 평균인 를 획득할 때까지 계산을 반복하여 총 cs-ct+1개의 상관관계함수 각각의 최대값의 평균을 획득할 수 있다.That is, a total of c t correlation functions are obtained by using the first through c t th column arrays of the template image and the c s -c t +1 through c s th column arrays of the ultrasound image, The average of each maximum value , It is possible to obtain the average of the maximum values of each of the correlation functions c s - c t +1.
한편, 획득한 상관관계함수 각각의 최대값의 평균은 값이 클수록 해당 템플릿 영상의 열 배열들과 해당 초음파 영상의 열 배열들 사이의 일치도가 높다는 것을 의미한다. 따라서, 템플릿 영상과 초음파 영상의 일치도가 가장 높은 경우는 cs-ct+1개의 평균값들 중 가장 큰 평균값을 가지는 경우이다.On the other hand, the larger the average of the maximum values of the obtained correlation functions, the higher the agreement between the column arrays of the corresponding template image and the column arrays of the corresponding ultrasound images. Therefore, when the degree of agreement between the template image and the ultrasound image is the highest, there is a case in which the average value of c s -c t +1 is the largest among the average values.
이때, 가장 큰 평균값을 로 정의한다. 는 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 lmax 내지 lmax+ct-1번째 열 배열을 이용한 ct개의 상관관계함수들로부터 획득한 최대값들의 평균값이다. 즉, 초음파 영상의 lmax번째 열 배열부터 lmax+ct-1번째 열 배열 사이에 템플릿 영상의 물체가 존재할 가능성이 가장 높다고 판단될 수 있다.At this time, the largest average value . Is an average value of the maximum values obtained from the c t correlation functions using the 1 st through c t th column arrays of the template image and the l max through l max + c t -1 column arrays of the ultrasound image. That is, there is a possibility that there is the template image of the object from between the l max th column array of ultrasound images l + max c t -1-th column array may be determined most high.
한편, 도 6을 참조하여 계산된 단계 S140에서 획득한 영역은, 물체 인식 영역으로서 템플릿 영상에 나타나는 물체가 있을 확률이 가장 높은 영역이다. 하지만, 물체가 일치하지 않아도 가장 큰 평균값을 갖는 영역을 획득할 수 있다. 이 경우, 물체가 일치하지 않기 때문에 평균값들이 낮게 나타나지만, 평균값들 중 최대값이 존재하기 때문에 평균값들 중 최대값을 가지는 영역이 선택될 수 있고, 이로 인해 탐색 대상 물체가 존재하는 영역으로 간주될 수 있다. 따라서, 물체가 존재할 수 있는 것으로 판단된 영역에 대한 추가적인 검증이 요구된다. On the other hand, the area obtained in step S140, which is calculated with reference to FIG. 6, is the area having the highest probability of an object appearing in the template image as the object recognition area. However, even if the objects do not coincide, the area having the largest average value can be obtained. In this case, since the objects do not coincide with each other, the average values are low. However, since the maximum value exists among the average values, the region having the maximum value among the average values can be selected, have. Therefore, additional verification is required for the area where it is determined that an object may exist.
이때, 일치도는 템플릿 영상과 초음파 영상의 상관관계함수에서 최대값을 가지는 인덱스 값으로 정의된다. 따라서, 템플릿 영상의 1번째 열 배열과 초음파 영상의 lmax번째 열 배열로부터 획득한 상관관계함수의 최대값이 위치하는 인덱스 값을 I1으로 정의하고, 템플릿 영상의 2번째 열 배열과 초음파 영상의 lmax+1번째 열 배열로부터 획득한 상관관계함수의 최대값이 위치하는 인덱스 값을 I2로 정의한다. 반복하여 템플릿 영상의 ct번째 열 배열과 초음파 영상의 lmax+ct-1번째 열 배열에서 획득한 상관관계함수의 최대값이 위치하는 인덱스 값을 로 정의하면, 총 ct개의 인덱스 값을 획득할 수 있다.At this time, the match degree is defined as an index value having a maximum value in the correlation function between the template image and the ultrasound image. Thus, the template the 1st column array and an ultrasound image of the l max th column defining the index value of a maximum value of the correlation function, the location obtained from the array to I 1, and the second column arranged in the template image and the ultrasound image of the image The index value where the maximum value of the correlation function obtained from the l max +1 column array is located is defined as I 2 . The index value at which the maximum value of the correlation function obtained from the c t -th column array of the template image and the l max + c t -1 column array of the ultrasound image is repeated , A total of c t index values can be obtained.
마지막으로, 대상 물체의 인식 여부를 판단한다(단계 S150).Finally, it is determined whether or not the target object is recognized (step S150).
단계 S140에서 획득한 ct개의 인덱스 값들을 이용하여 하나의 인덱스 배열을 구성할 수 있다. 이때, 초음파 영상에 실제 대상물이 존재하는 경우, 최대값은 대상물이 존재하는 지점에서 발생한다. 따라서, 인덱스 배열을 구성하는 각각의 최대값 발생 위치 인덱스들은 대상물의 위치를 기준으로 서로 근접하게 되므로 인덱스들의 산포도가 낮아진다.One index array can be constructed using the c t index values obtained in step S140. At this time, when an actual object exists in the ultrasound image, the maximum value occurs at a point where the object exists. Therefore, each of the maximum value generating position indexes constituting the index array becomes closer to each other based on the position of the object, so that the scattering of the indexes becomes lower.
한편, 초음파 영상에 실제 대상물이 존재하지 않는 경우, 인덱스 배열을 구성하는 각각의 최대값 발생 위치 인덱스들은 기준이 존재하지 않기 때문에 무작위로 분포하게 된다. 따라서, 최대값 발생위치 인덱스들의 산포도는 증가하게 된다.On the other hand, when there is no actual object in the ultrasound image, the maximum value generation position indexes constituting the index array are randomly distributed because there is no reference. Therefore, the scattering degree of the maximum value generating position indices increases.
즉, 인덱스 배열의 산포도가 소정의 임계값 이상인 경우, 단계 S120에서 획득한 초음파 영상의 영역 내에 대상 물체가 없다고 판단할 수 있으며, 인덱스 배열의 산포도가 소정의 임계값보다 작은 경우, 단계 S120에서 획득한 초음파 영상의 영역 내에 대상 물체가 존재한다고 판단할 수 있다.That is, when the scattering degree of the index array is equal to or larger than the predetermined threshold value, it can be determined that there is no object in the region of the ultrasound image acquired in step S120. If the scattering degree of the index array is smaller than the predetermined threshold value, It can be determined that the object exists in the region of the ultrasound image.
이때, 본 발명의 일 실시예에서는 산포도를 사용하였지만, 이에 한정되지 않고 흩어진 정도를 판단할 수 있는 분산, 표준편차 및 평균편차 등을 기준으로 사용할 수도 있다.At this time, although the scattering degree is used in the embodiment of the present invention, the scattering degree is not limited to this, but it is also possible to use the dispersion, the standard deviation and the average deviation which can determine the scattering degree.
한편, 템플릿 영상은 시뮬레이터를 이용하여 생성되기 때문에 물체에 대해 모든 방향으로부터 템플릿 영상을 획득할 수 있다. 따라서, 단계 S150에서 대상 물체가 판별되지 않은 경우, 새로운 방향의 템플릿 영상을 생성하여 상술한 단계를 반복할 수 있다. On the other hand, since the template image is generated by using the simulator, the template image can be acquired from all directions with respect to the object. Accordingly, if the target object is not determined in step S150, the template image in the new direction can be generated and the above-described steps can be repeated.
이때, 초음파 영상을 모든 방향의 템플릿 영상과 비교한 결과, 대상 물체로 판별하지 못한 경우, 초음파 영상으로 획득한 물체는 탐색 대상 물체가 아닌 것으로 판단될 수 있다. 또, 초음파 영상을 여러 방향의 템플릿 영상과 반복 비교한 결과, 대상 물체로 판별한 경우, 초음파 영상으로 획득한 물체는 탐색 대상 물체인 것으로 판단하고 물체 탐색을 종료할 수 있다. 이때, 대상 물체로 판별한 경우, 대상 물체를 바라보고 있는 방향 역시 확인할 수 있다.At this time, when the ultrasound image is compared with template images in all directions, if the ultrasound image can not be discriminated as an object, the object acquired by the ultrasound image may be determined as not an object to be searched. When the ultrasound image is repeatedly compared with template images in various directions, it is determined that the object acquired by the ultrasound image is an object to be searched and the object search can be terminated. At this time, when the object is identified as the object, the direction in which the object is viewed can also be confirmed.
도 1의 초음파 물체 인식 방법(100)은 도 7에 도시된 초음파 물체 인식 장치(700)를 통해 구현될 수 있다. 도 7을 참조하면, 본 발명의 일 실시예에 따른 초음파 물체 인식 장치(700)는 영상 획득부(710), 영상 생성부(730), 및 판정부(750)를 포함한다.The ultrasonic
영상 획득부(710)는 초음파 신호를 송출하고, 초음파 신호에 대한 초음파 반사 신호를 수신하여 초음파 영상을 획득한다. 영상 획득부(710)를 통해 획득된 초음파 영상은 후술하는 판정부(750)로 전송된다. The
영상 생성부(730)는 시뮬레이션을 통해 탐색 대상 물체의 템플릿 영상을 생성한다. 이때, 시뮬레이션을 통해 영상을 생성하기 위해 이미징 소나를 이용한 물체 탐색 장치의 탐색 고도 및 영상 획득부(710)의 뷰 각도를 이용할 수 있다. 한편, 영상 생성부(730)에서 생성된 템플릿 영상은 판정부(750)로 전송된다.The
판정부(750)는 영상 획득부(710)로부터 초음파 영상을 전달 받고, 영상 생성부(730)에서 생성된 템플릿 영상을 획득한다. 초음파 영상과 템플릿 영상을 전달받은 판정부(750)는 각각의 영상의 1차원 배열을 비교하여 탐색 물체인지 판정한다. 이때, 판정부(750)는 배열 획득부(751), 산출부(753) 및 비교부(755)를 더 포함할 수 잇다.The
배열 획득부(751)는 영상 생성부(730) 및 영상 획득부(710)로부터 각각 템플릿 영상 및 초음파 영상을 획득한 후 각각의 영상의 1차원 배열을 획득한다. 이때, 획득하는 1차원 배열은 바람직하게는 열 배열 일 수 있다.The
산출부(753)는 배열 획득부(751)에서 획득한 1차원 배열을 비교한 결과를 산출한다. 이때, 산출부(753)는 1차원 배열을 비교하기 위해 하기 수학식 1을 이용할 수 있다.The calculating
수학식 1
Rj,k(i) = R j, k (i) =
(여기서, Sj(i): 초음파 영상의 j번째 열 배열, Tk(i): 템플릿 영상의 k번째 열 배열, rs: 초음파 영상의 길이(행 개수), Rj,k(i) : 1≤i≤rs-rt+1)(Wherein, S j (i): the ultrasonic j-th column array, T k (i of the image): The template k-th column array of picture, r s: the length (number of rows) of the ultrasound image, R j, k (i) : 1? I? R s- r t +1)
템플릿 영상은 ct개의 열로 이루어지므로, 총 ct개의 열 배열을 가지고, 초음파 영상은 cs개의 열로 이루어지므로, 총 cs개의 열 배열을 가진다. 따라서, 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 1번째 내지 ct번째 열 배열을 이용하여 총 ct개의 상관관계함수를 획득할 수 있다. 획득한 ct개의 상관관계함수는 각각 최대값을 지니고 있기 때문에, 상관관계함수의 최대값들의 평균인 M1을 획득할 수 있다.Template images are made on-column c t, c have a total of t rows arrangement, since the ultrasonic image is made c s-column has a total of c s-column array. Therefore, it is possible by using the first to t-th column array c and c of the first to t-th column of the array of ultrasound images in the template image to obtain a total c t of the correlation function. Because the acquired c t of the correlation function has a maximum value, respectively, it is possible to obtain an average of M 1 of the maximum of the correlation function.
또, 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 2번째 내지 ct+1번째 열 배열을 이용하여 총 ct개의 상관관계함수를 획득하고, 획득한 상관관계함수 각각의 최대값의 평균인 M2를 획득한다. 이때, 상관관계함수 각각의 최대값들의 평균인 를 획득할 때까지 계산을 반복한다.Also, a total of c t correlation functions are obtained by using the first through c t th column arrays of the template image and the second through c t + 1 th column arrays of the ultrasound image, and the maximum value the average of the M 2 is obtained. In this case, the average of the maximum values of the correlation functions The calculation is repeated until it is obtained.
즉, 템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 cs-ct+1번째 내지 cs번째 열 배열을 이용하여 총 ct개의 상관관계함수를 획득하고, 획득한 상관관계함수 각각의 최대값의 평균인 를 획득할 때까지 계산을 반복하여 총 cs-ct+1개의 상관관계함수 각각의 최대값의 평균을 획득할 수 있다.That is, a total of c t correlation functions are obtained by using the first through c t th column arrays of the template image and the c s -c t +1 through c s th column arrays of the ultrasound image, The average of each maximum value , It is possible to obtain the average of the maximum values of each of the correlation functions c s - c t +1.
또, 산출부(753)는, 획득한 cs-ct+1개의 상관관계함수 각각의 최대값의 평균 중 가장 큰 값을 획득하고, 획득한 값이 산출된 배열을 구성하는 상관관계함수 각각의 최대값들과, 그 인덱스 값들을 산출한다.The
비교부(755)는 산출부(753)에서 산출한 인덱스 값들을 이용하여 물체의 존재 여부를 판단한다.The
산출부(753)에서 획득한 인덱스 값들은 하나의 인덱스 배열로 구성될 수 있다. 이때, 초음파 영상에 실제 대상물이 존재하는 경우, 최대값은 대상물이 존재하는 지점에서 발생한다. 따라서, 최대값 발생 위치 인덱스는 대상물의 위치를 기준으로 근접하게 되므로 산포도가 낮아진다.The index values acquired by the
한편, 초음파 영상에 실제 대상물이 존재하지 않는 경우, 최대값 발생 위치 인덱스는 기준이 존재하지 않기 때문에 무작위로 분포하게 된다. 따라서, 최대값 발생위치 인덱스의 산포도는 증가하게 된다.On the other hand, when no actual object exists in the ultrasound image, the maximum value generating position index is randomly distributed because there is no reference. Therefore, the scattering degree of the maximum value generating position index increases.
즉, 인덱스 배열의 산포도가 소정의 임계값 이상인 경우, 비교부(755)에서 획득한 물체가 존재할 수 있는 영역 내에 대상 물체가 없다고 판단할 수 있으며, 인덱스 배열의 산포도가 소정의 임계값보다 작은 경우, 비교부(755)에서 획득한 물체가 존재할 수 있는 영역 내에 대상 물체가 존재한다고 판단할 수 있다.That is, when the scattering degree of the index array is equal to or larger than the predetermined threshold value, it can be determined that there is no object in the area where the object acquired by the
이때, 본 발명의 일 실시예에서는 산포도를 사용하였지만, 이에 한정되지 않고 흩어진 정도를 판단할 수 있는 분산, 표준편차 및 평균편차 등을 기준으로 사용할 수도 있다.At this time, although the scattering degree is used in the embodiment of the present invention, the scattering degree is not limited to this, but it is also possible to use the dispersion, the standard deviation and the average deviation which can determine the scattering degree.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.
700 : 초음파 물체 인식 장치
710 : 영상 획득부 730 : 영상 생성부
750 : 판정부 751 : 배열 획득부
753 : 산출부 755 : 비교부700: Ultrasonic object recognition device
710: Image acquisition unit 730: Image generation unit
750: Judgment section 751: Arrangement acquisition section
753: Calculator 755:
Claims (12)
1) 탐색하고자 하는 대상 물체에 대하여 하나 이상의 방향에 대하여 하나 이상의 템플릿 영상을 각각 생성하는 단계;
2) 복수개의 초음파 빔을 송출하고, 각 초음파 빔에 대하여 반사파를 이용하여 초음파 영상을 획득하는 단계;
3) 템플릿 영상에서 상기 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하고, 초음파 영상에서 물체가 존재하는 영역에 대하여 복수개의 1차원 배열을 취득하는 단계;
4) 템플릿 영상의 복수개의 1차원 배열과 초음파 영상의 복수개의 1차원 배열의 일치도를 각각 산출하되, 하기의 수학식 1로 표현되는 상관관계함수를 이용하여 일치도를 산출하며, 이후 일치도의 최대값의 평균들을 획득하고, 이후 일치도의 최대값의 평균들 중의 최대값을 획득하며, 이후 일치도의 최대값의 평균들 중의 최대값으로 이루어진 배열을 획득하는 단계; 및
5) 일치도의 최대값의 평균들 중의 최대값으로 이루어진 배열의 산포도에 따라 대상 물체의 인식 여부를 판단하되, 상기 산포도가 소정의 임계값보다 작은 경우 상기 단계 2)의 영역에 상기 탐색하고자 하는 물체가 존재하는 것으로 판단하고, 상기 산포도가 소정의 임계값보다 큰 경우 상기 단계 2)의 영역에 상기 탐색하고자 하는 물체가 존재하지 않는 것으로 판단하는 단계;
를 포함하는 것을 특징으로 하는 초음파 물체 인식 방법.
수학식 1
Rj,k(i) =
(여기서, Sj(i): 초음파 영상의 j번째 열 배열, Tk(i): 템플릿 영상의 k번째 열 배열, Rj,k(i) : 1≤i≤rs-rt+1, rs: 초음파 영상의 길이(행 개수), rt: 템플릿 영상의 길이(행 개수))A method for recognizing an ultrasonic object,
1) generating at least one template image for at least one direction with respect to an object to be searched;
2) transmitting a plurality of ultrasound beams and acquiring ultrasound images using reflected waves for the respective ultrasound beams;
3) acquiring a plurality of one-dimensional arrays for the region where the object exists in the template image, and acquiring a plurality of one-dimensional arrays for the region in which the object exists in the ultrasound image;
4) A degree of agreement between a plurality of one-dimensional arrays of a template image and a plurality of one-dimensional arrays of an ultrasonic image is calculated, and a matching degree is calculated using a correlation function expressed by Equation 1 below. Obtaining a maximum value of the averages of the maximum values of the agreement degree, and obtaining an array of maximum values of the averages of the maximum value of the agreement degree; And
5) determining whether or not the target object is recognized according to the scattering degree of the array made up of the maximum value among the averages of the maximum values of the matching degrees; if the scattering degree is smaller than the predetermined threshold value, Determining that the object to be searched does not exist in the region of the step 2) when the scattering degree is larger than a predetermined threshold value;
And an ultrasonic probe for detecting the ultrasonic object.
Equation 1
R j , k (i) =
(Wherein, S j (i): j-th column of the array of ultrasound images, T k (i): the template image k-th column array, R j, k (i) : 1≤i≤r s -r t +1 , r s : length of ultrasound image (number of rows), r t : length of template image (number of rows))
상기 4) 단계는,
템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 x번째 내지 ct+x-1번째 열 배열 간에 식1을 이용하여 ct개의 상관관계함수를 획득하는 a) 단계(단, 1≤x≤cs-ct+1);
ct개의 상관관계함수 각각에서 최대값을 산출하고, 산출된 최대값들의 평균인 Mx를 cs-ct+1개 획득하는 b) 단계;
cs-ct+1개의 Mx 중의 최대값인 Mlmax를 획득하는 c) 단계; 및
초음파 영상의 lmax번째 열 배열부터 lmax+ct-1번째 열 배열까지로 이루어진 배열을 획득하는 d) 단계를 더 포함하며,
상기 5) 단계는,
상기 d) 단계에서 획득한 배열의 산포도에 따라 대상 물체의 인식 여부를 판단하는 단계를 더 포함하는 것을 특징으로 하는 초음파 물체 인식 방법.The method according to claim 1,
The step (4)
(A) (step 1) of obtaining c t correlation functions using Equation (1) between the first through c t th column arrays of the template image and the x th through c t + x-1 th column arrays of the ultrasound image, x≤c s -c t +1);
b) calculating a maximum value in each of the c t correlation functions, and obtaining M x , which is an average of the calculated maximum values, c s -c t +1;
c) obtaining a maximum value M lmax of c s- c t +1 M x ; And
And d) obtaining an array consisting of the l max column array to the l max + c t -1 column array of the ultrasound image,
The step (5)
Further comprising the step of determining whether the object is recognized according to the scattering degree of the array obtained in the step d).
초음파 신호를 송출하고, 초음파 신호에 대한 초음파 반사 신호를 수신하여 초음파 영상을 획득하는 영상 획득부;
시뮬레이션을 통해 탐색 대상 물체의 시뮬레이션 영상인 템플릿 영상을 생성하는 영상 생성부; 및
영상 획득부 및 영상 생성부로부터 획득한 영상을 획득한 후 각각의 영상의 1차원 배열을 비교하여 탐색 물체인지 판정하는 판정부를 포함하고,
상기 판정부는,
물체가 존재하는 영역을 획득한 후 탐색 물체인지 판정하되,
영상 획득부 및 영상 생성부로부터 획득한 초음파 영상과 템플릿 영상의 1차원 배열을 획득하는 배열 획득부;
배열 획득부에서 획득한 1차원 배열을 비교하여 일치도를 산출하되, 하기의 수학식 1로 표현되는 상관관계함수를 이용하여 일치도를 산출하며, 이후 일치도의 최대값의 평균들을 획득하고, 이후 일치도의 최대값의 평균들 중의 최대값을 획득하며, 이후 일치도의 최대값의 평균들 중의 최대값으로 이루어진 배열을 산출하는 산출부; 및
일치도의 최대값의 평균들 중의 최대값으로 이루어진 배열의 산포도를 비교하되, 산포도가 소정의 임계값보다 작은 경우 탐색 대상 물체가 물체가 존재하는 것으로 판단하고, 산포도가 소정의 임계값보다 큰 경우 탐색 대상 물체가 존재하지 않는 것으로 판단하여, 물체의 일치 여부를 산출하는 비교부;
를 포함하는 것을 특징으로 하는 초음파 물체 인식 장치.
수학식 1
Rj,k(i) =
(여기서, Sj(i): 초음파 영상의 j번째 열 배열, Tk(i): 템플릿 영상의 k번째 열 배열, Rj,k(i) : 1≤i≤rs-rt+1, rs: 초음파 영상의 길이(행 개수), rt: 템플릿 영상의 길이(행 개수))In the ultrasonic object searching apparatus,
An image acquiring unit that emits an ultrasonic signal, receives an ultrasonic reflection signal for the ultrasonic signal, and acquires an ultrasonic image;
An image generation unit for generating a template image which is a simulation image of an object to be searched through simulation; And
And a determination unit for determining whether the object is a search object by comparing the one-dimensional arrays of the respective images after acquiring the images obtained from the image acquisition unit and the image generation unit,
The judging unit judges,
Determining whether an object is a search object after acquiring an area in which an object exists,
An array acquisition unit for acquiring a one-dimensional array of the ultrasound image and the template image acquired from the image acquisition unit and the image generation unit;
The degree of agreement is calculated by comparing the one-dimensional arrays obtained by the array obtaining unit, using the correlation function expressed by Equation (1), and then averages of the maximum values of the degree of agreement are obtained, Obtaining a maximum value among the averages of the maximum values, and then calculating an array of the maximum values among the averages of the maximum values of the matching degrees; And
When the scattering degree is smaller than the predetermined threshold value, it is determined that the object exists, and when the scattering degree is larger than the predetermined threshold value, A comparing unit for determining whether or not an object is present and determining whether the object is matched;
And an ultrasonic sensor for detecting the ultrasonic object.
Equation 1
R j , k (i) =
(Wherein, S j (i): j-th column of the array of ultrasound images, T k (i): the template image k-th column array, R j, k (i) : 1≤i≤r s -r t +1 , r s : length of ultrasound image (number of rows), r t : length of template image (number of rows))
상기 산출부는,
템플릿 영상의 1번째 내지 ct번째 열 배열과 초음파 영상의 x번째 내지 ct+x-1번째 열 배열 간에 식1을 이용하여 ct개의 상관관계함수를 획득(단, 1≤x≤cs-ct+1)하고,
ct개의 상관관계함수 각각에서 최대값을 산출하여 산출된 최대값들의 평균인 Mx를 cs-ct+1개 획득하며,
획득된 cs-ct+1개의 Mx 중의 최대값인 Mlmax를 획득하고,
초음파 영상의 lmax번째 열 배열부터 lmax+ct-1번째 열 배열까지로 이루어진 배열을 획득하며,
상기 비교부는,
초음파 영상의 lmax번째 열 배열부터 lmax+ct-1번째 열 배열까지로 이루어진 배열의 산포도를 비교하는 것을 특징으로 하는 초음파 물체 인식 장치.The method according to claim 6,
The calculating unit calculates,
Obtain c t correlation functions using Equation 1 between the 1 st through c t th column arrays of the template image and the x th through c t + x-1 th column arrays of the ultrasound image (where 1? X? C s -c t +1)
c t acquisition of the correlation between the average of M x of the maximum value calculated by calculating a maximum value from the function, each s -c c t +1 dog, and
Obtains the maximum value M lmax of the obtained c s -c t +1 M x ,
An array consisting of the l max column array of the ultrasound image to the l max + c t -1 column array is obtained,
Wherein,
Ultrasonic object recognition device, characterized in that for comparing the scatter plot of the array of from l max th column array of ultrasound images l max + t c to -1-th column array.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150113502A KR101696088B1 (en) | 2015-08-11 | 2015-08-11 | Method for recognizing object by ultrasound and apparatus therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150113502A KR101696088B1 (en) | 2015-08-11 | 2015-08-11 | Method for recognizing object by ultrasound and apparatus therefor |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101696088B1 true KR101696088B1 (en) | 2017-01-24 |
Family
ID=57993129
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150113502A Expired - Fee Related KR101696088B1 (en) | 2015-08-11 | 2015-08-11 | Method for recognizing object by ultrasound and apparatus therefor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101696088B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111354039A (en) * | 2018-12-20 | 2020-06-30 | 核动力运行研究所 | Weld joint region extraction rapid algorithm based on B-scan image recognition |
| CN115880511A (en) * | 2022-12-27 | 2023-03-31 | 凌云光技术股份有限公司 | Image screening method, device and system and storage medium |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0875418A (en) * | 1994-09-02 | 1996-03-22 | Nippon Telegr & Teleph Corp <Ntt> | Automatic object recognition method and automatic recognition device |
| JP2006234493A (en) * | 2005-02-23 | 2006-09-07 | Aisin Seiki Co Ltd | Object recognition apparatus and method |
| JP2007255979A (en) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | Object detection method and object detection apparatus |
| JP2011053197A (en) * | 2009-08-03 | 2011-03-17 | Kansai Electric Power Co Inc:The | Method and device for automatically recognizing object |
-
2015
- 2015-08-11 KR KR1020150113502A patent/KR101696088B1/en not_active Expired - Fee Related
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0875418A (en) * | 1994-09-02 | 1996-03-22 | Nippon Telegr & Teleph Corp <Ntt> | Automatic object recognition method and automatic recognition device |
| JP2006234493A (en) * | 2005-02-23 | 2006-09-07 | Aisin Seiki Co Ltd | Object recognition apparatus and method |
| JP2007255979A (en) * | 2006-03-22 | 2007-10-04 | Nissan Motor Co Ltd | Object detection method and object detection apparatus |
| JP2011053197A (en) * | 2009-08-03 | 2011-03-17 | Kansai Electric Power Co Inc:The | Method and device for automatically recognizing object |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111354039A (en) * | 2018-12-20 | 2020-06-30 | 核动力运行研究所 | Weld joint region extraction rapid algorithm based on B-scan image recognition |
| CN111354039B (en) * | 2018-12-20 | 2023-07-14 | 核动力运行研究所 | Quick algorithm for extracting weld joint region based on B-scan image recognition |
| CN115880511A (en) * | 2022-12-27 | 2023-03-31 | 凌云光技术股份有限公司 | Image screening method, device and system and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107392965B (en) | Range finding method based on combination of deep learning and binocular stereo vision | |
| CN112698301B (en) | Laser radar target recognition method, device and equipment based on distance intensity correlation | |
| US20190033447A1 (en) | Systems and methods for detecting objects in underwater environments | |
| JP3573783B2 (en) | Sonar system | |
| Santos et al. | Underwater place recognition using forward‐looking sonar images: A topological approach | |
| JP2018163096A (en) | Information processing method and information processing device | |
| KR20150059191A (en) | Method of real-time recognizing and tracking for underwater objects using sonar images | |
| CN113099120B (en) | Depth information acquisition method and device, readable storage medium and depth camera | |
| Cotter et al. | Classification of broadband target spectra in the mesopelagic using physics-informed machine learning | |
| KR102186733B1 (en) | 3D modeling method for undersea topography | |
| Pyo et al. | Beam slice-based recognition method for acoustic landmark with multi-beam forward looking sonar | |
| CN117197596A (en) | Mixed substrate acoustic classification method based on small sample transfer learning | |
| CN115077414B (en) | Device and method for measuring bottom contour of sea surface target by underwater vehicle | |
| Negaharipour | On 3-D scene interpretation from FS sonar imagery | |
| KR101696088B1 (en) | Method for recognizing object by ultrasound and apparatus therefor | |
| Mau et al. | The use of statistical mixture models to reduce noise in SPAD images of fog-obscured environments | |
| Oliveira et al. | Probabilistic positioning of a mooring cable in sonar images for in-situ calibration of marine sensors | |
| KR101696089B1 (en) | Method and apparatus of finding object with imaging sonar | |
| Pyo et al. | Acoustic beam-based man-made underwater landmark detection method for multi-beam sonar | |
| Chen et al. | Probabilistic conic mixture model and its applications to mining spatial ground penetrating radar data | |
| CN116973884B (en) | Target identification method based on single-pixel time resolution detector | |
| KR102726421B1 (en) | Method and system for measuring water depth | |
| KR101696087B1 (en) | Method of object searching with supersonic wave and apparatus therefor | |
| CN112305493A (en) | Deep sea visual ranging method based on optical beacon detection | |
| CN115937444A (en) | Efficient side-scan sonar image generation method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-3-3-R10-R17-oth-X000 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-2-2-P10-P22-nap-X000 |
|
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20200107 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20200107 |