KR101054736B1

KR101054736B1 - 3D object recognition and attitude estimation method

Info

Publication number: KR101054736B1
Application number: KR1020100041642A
Authority: KR
Inventors: 이석한; 김철훤; 노조금
Original assignee: 성균관대학교산학협력단
Priority date: 2010-05-04
Filing date: 2010-05-04
Publication date: 2011-08-05
Anticipated expiration: 2030-05-04

Abstract

물체의 인식 및 자세 추정 방법은 스테레오 카메라를 통하여 2차원 영상을 획득하는 단계, 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성하는 단계, 2차원 영상에 포함된 이미지 패치들(image patches)의 색상 히스토그램(color histogram)과 타겟 모델(target model)의 색상 히스토그램 간의 유사도를 측정하는 단계, 유사도에 기초하여 이미지 패치들 중에서 복수의 이미지 패치들을 선정하는 단계, 및 선정된 이미지 패치들에 상응하는 자세 가설(pose hypothesis)을 예측하는 단계를 포함하고, 색상 히스토그램은 멀티파트 HSV 색상 히스토그램(multi-part color histogram)이다.The object recognition and posture estimation method may include obtaining a 2D image through a stereo camera, generating a 3D point cloud from the 2D image, and image patches included in the 2D image. Measuring similarity between the color histogram of the image and the color histogram of the target model, selecting a plurality of image patches among the image patches based on the similarity, and corresponding to the selected image patches. Predicting a pose hypothesis, wherein the color histogram is a multi-part color histogram.

Description

3D object recognition and pose estimation method {METHOD FOR 3D OBJECT RECOGNITION AND POSE ESTIMATION}

본 발명은 로봇의 3차원 물체 인식 및 자세 추정 방법에 관한 것이다.The present invention relates to a three-dimensional object recognition and attitude estimation method of the robot.

3차원 물체의 인식 및 자세 추정은 지능 로봇 분야(intelligent robots)에서 중요한 문제들 중 하나이다.Recognition and posture estimation of three-dimensional objects is one of the important problems in intelligent robots.

3차원 물체의 인식 및 자세 추정을 수행하는 대부분의 기술들은 모델 기반의 인식/추정 기술(일례로, 장면으로부터 추출된 특징을 물체에 대해 미리 저장된 특징과 매칭을 통하여 인식/추정하는 기술)을 이용하여, 그 예로는, D. Jang, "Recognition of 3D objects from a sequence of images," Intelligent Computing in Signal Processing and Pattern Recognition, vol. 345, pp. 1024-1029, 2006. 에 개시된 기술, S. Q. Xie et al., "Three-dimensional object recognition system for enhancing the intelligence of a KUKA robot," International Journal of Advanced Manufacturing Technology, vol. 38, no 7-8, pp. 822-839, Sep. 2008.에 개시된 기술, F. Rothganger et al., "3D object modeling and recognition using local affine-invariant image descriptors and multi-view spatial constraints," International Journal of Comupter vision, vol. 66, no. 3, pp. 231-259, Mar. 2006. 에 개시된 기술을 들 수 있다.Most techniques for performing 3D object recognition and attitude estimation use model-based recognition / estimation techniques (e.g., techniques for recognizing / estimating features extracted from scenes by matching them with pre-stored features). For example, D. Jang, "Recognition of 3D objects from a sequence of images," Intelligent Computing in Signal Processing and Pattern Recognition, vol. 345, pp. 1024-1029, 2006. S. Q. Xie et al., "Three-dimensional object recognition system for enhancing the intelligence of a KUKA robot," International Journal of Advanced Manufacturing Technology, vol. 38, no 7-8, pp. 822-839, Sep. 2008. F. Rothganger et al., “3D object modeling and recognition using local affine-invariant image descriptors and multi-view spatial constraints,” International Journal of Comupter vision, vol. 66, no. 3, pp. 231-259, Mar. 2006. The technique disclosed in 2006. is mentioned.

개시된 기술이 이루고자 하는 기술적 과제는 3차원 물체의 인식 및 자세 추정을 정확하고 효율적으로 수행하기 위한 방법을 제공하는 데 있다.An object of the present invention is to provide a method for accurately and efficiently performing recognition and pose estimation of a 3D object.

상기의 기술적 과제를 이루기 위해 개시된 기술의 제 1 측면은 스테레오 카메라를 통하여 2차원 영상을 획득하는 단계, 상기 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성하는 단계, 상기 2차원 영상에 포함된 이미지 패치들(image patches)의 색상 히스토그램(color histogram)과 타겟 모델(target model)의 색상 히스토그램 간의 유사도를 측정하는 단계, 상기 유사도에 기초하여 상기 이미지 패치들 중에서 복수의 이미지 패치들을 선정하는 단계 및 상기 선정된 이미지 패치들에 상응하는 자세 가설(pose hypothesis)을 예측하는 단계를 포함하고, 상기 색상 히스토그램은 멀티파트 HSV 색상 히스토그램(multi-part color histogram)인 물체 인식 및 자세 추정 방법을 제공하는 데 있다.In order to achieve the above technical problem, a first aspect of the disclosed technology is to obtain a 2D image through a stereo camera, generate a 3D point cloud from the 2D image, and display the 2D image. Measuring similarity between a color histogram of included image patches and a color histogram of a target model, and selecting a plurality of image patches among the image patches based on the similarity; And predicting a pose hypothesis corresponding to the selected image patches, wherein the color histogram is a multipart HSV color histogram. There is.

상기의 기술적 과제를 이루기 위해 개시된 기술의 제 2 측면은 스테레오 카메라를 통하여 2차원 영상을 획득하는 단계, 상기 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성하는 단계, 상기 2차원 영상에 포함된 이미지 패치들(image patches)의 색상 히스토그램(multi-part color histogram)과 타겟 모델(target model)의 색상 히스토그램(multi-part color histogram)간의 Bhattacharyya distance를 산출하는 단계, 상기 Bhattacharyya distance를 성분으로 하는 투표 행렬(vote matrix)을 생성하는 단계, 상기 투표 행렬에 기초하여 누적 확률 밀도 함수를 생성하고, 상기 누적 확률 밀도 함수 중 미리 설정된 비율에 따라 문턱 값(threshold value)을 설정하는 단계, 상기 문턱 값보다 작은 Bhattacharyya distance를 가지는 이미지 패치들을 선정하는 단계, 및 상기 선정된 이미지 패치들에 상응하는 3차원 물체 포즈들(3D object poses)을 2차원 상으로 투사하고, 상기 투사된 이미지들과 타겟 모델의 포즈를 매칭하여 상기 3차원 물체 포즈들에 해당하는 타겟 모델의 확률(probability)를 산출하는 단계를 포함하는 물체 인식 및 자세 추정 방법을 제공하는 데 있다.A second aspect of the disclosed technology to achieve the above technical problem is the step of obtaining a two-dimensional image through a stereo camera, generating a three-dimensional point cloud (3D point cloud) from the two-dimensional image, Calculating a Bhattacharyya distance between a multi-part color histogram of included image patches and a multi-part color histogram of a target model, wherein the Bhattacharyya distance is used as a component Generating a voting matrix, generating a cumulative probability density function based on the voting matrix, and setting a threshold value according to a preset ratio among the cumulative probability density functions, the threshold Selecting image patches having a Bhattacharyya distance less than a value, and corresponding to the selected image patches Project 3D object poses onto a two-dimensional image and match the projected images with the poses of the target model to calculate the probability of the target model corresponding to the three-dimensional object poses. To provide an object recognition and attitude estimation method comprising the step of.

개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.The disclosed technique may have the following effects. It is to be understood, however, that the scope of the disclosed technology is not to be construed as limited thereby, as it is not meant to imply that a particular embodiment should include all of the following effects or only the following effects.

일 실시예에 따른 3D 물체 인식 및 자세 추정 방법은 멀티파트 HSV 색상 히스토그램(multi-part hsv color histogram)을 사용하여 2차원 영상과 타겟 모델과의 유사도를 측정하므로, 정확한 유사도 측정이 가능하고 보다 자세 가설 예측의 정확도를 높일 수 있다.According to an embodiment, the 3D object recognition and pose estimation method uses a multi-part hsv color histogram to measure the similarity between the two-dimensional image and the target model, thereby enabling accurate similarity measurement and more posture. Improve the accuracy of hypothesis prediction.

일 실시예에 따른 3D 물체 인식 및 자세 추정 방법은 2차원 영상 중 자세 가설을 예측할 후보를 선정하는데 기준이 되는 문턱 값(threshold value)을 적응적으로 결정하므로, 안정적으로 자세 가설 예측을 할 수 있게 한다.The 3D object recognition and pose estimation method according to an embodiment adaptively determines a threshold value, which is a criterion for selecting a candidate for predicting a pose hypothesis, from the two-dimensional image, thereby stably predicting the pose hypothesis. do.

도 1은 본 발명의 일 실시예에 따른 3D 물체 인식 및 자세 추정 방법을 나타내는 흐름도이다.
도 2는 도 1의 물체 인식 및 자세 추정 방법을 설명하기 위한 도면이다.1 is a flowchart illustrating a 3D object recognition and pose estimation method according to an embodiment of the present invention.
2 is a view for explaining the object recognition and attitude estimation method of FIG.

개시된 기술에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 개시된 기술의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 개시된 기술의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다.The description of the disclosed technique is merely an example for structural or functional explanation and the scope of the disclosed technology should not be construed as being limited by the embodiments described in the text. That is, the embodiments may be variously modified and may have various forms, and thus the scope of the disclosed technology should be understood to include equivalents capable of realizing the technical idea.

한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.On the other hand, the meaning of the terms described in the present application should be understood as follows.

단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Singular expressions should be understood to include plural expressions unless the context clearly indicates otherwise, and terms such as "include" or "have" refer to features, numbers, steps, operations, components, parts, or parts thereof described. It is to be understood that the combination is intended to be present, but not to exclude in advance the possibility of the presence or addition of one or more other features or numbers, steps, operations, components, parts or combinations thereof.

각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않은 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.Each step may occur differently from the stated order unless the context clearly dictates the specific order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.

여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 개시된 기술이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.All terms used herein have the same meaning as commonly understood by one of ordinary skill in the art unless otherwise defined. Terms defined in commonly used dictionaries should be interpreted to be consistent with meaning in the context of the relevant art and can not be construed as having ideal or overly formal meaning unless expressly defined in the present application.

도 1은 본 발명의 일 실시예에 따른 3D 물체 인식 및 자세 추정 방법을 나타내는 흐름도이고, 도 2는 도 1의 물체 인식 및 자세 추정 방법을 설명하기 위한 도면이다.1 is a flowchart illustrating a 3D object recognition and attitude estimation method according to an embodiment of the present invention, and FIG. 2 is a view for explaining the object recognition and attitude estimation method of FIG. 1.

도 1을 참조하면, 110 단계에서, 물체 인식 및 자세 추정 장치는 타겟 모델(target model)의 위치와 자세를 추정하기 위하여, 스테레오 카메라를 이용하여 인식할 물체를 포함하는 주변환경을 촬영하며, 주변환경에 대한 2차원 영상을 획득한다. 예를 들어, 타겟 모델은 도 2의 (a)에 나타난 것과 같을 수 있으며, 물체 인식 및 자세 추정 장치는 도 2의 (b)에 나타난 것과 같은 2차원 영상을 획득할 수 있다. 여기에서, 2차원 영상은 주변환경에 대한 좌 이미지 및 우 이미지 중 적어도 하나를 포함할 수 있다.Referring to FIG. 1, in step 110, the apparatus for recognizing an object and an attitude estimates a surrounding environment including an object to be recognized using a stereo camera, in order to estimate the position and attitude of a target model. Acquire a two-dimensional image of the environment. For example, the target model may be as shown in (a) of FIG. 2, and the object recognition and pose estimation apparatus may acquire a 2D image as shown in (b) of FIG. 2. Here, the 2D image may include at least one of a left image and a right image of the surrounding environment.

115 단계에서, 물체 인식 및 자세 추정 장치는 스테레오 카메라의 의해 획득된 2차원 영상으로부터 3차원 포인트 클라우드(3D point cloud)를 생성한다. 예를 들어, 물체 인식 및 자세 추정 장치는 도 2의 (b)에 나타난 2차원 영상으로부터 도 2의 (c)에 나타난 것과 같은 3차원 포인트 클라우드를 생성할 수 있다.In operation 115, the object recognition and pose estimation apparatus generates a 3D point cloud from the 2D image obtained by the stereo camera. For example, the object recognition and pose estimation apparatus may generate a 3D point cloud as shown in FIG. 2C from the 2D image shown in FIG. 2B.

120 단계에서, 물체 인식 및 자세 추정 장치는 3차원 포인트 클라우드에 따른 평균 깊이(average depth)에 기초하여, 최초 스캐닝 윈도우 사이즈를 설정한다. 예를 들어, 물체 인식 및 자세 추정 장치는 3차원 포인트 클라우드에 따른 평균 깊이가 크면 작은 스캐닝 윈도우 사이즈를 설정하고, 평균 깊이가 작으면 큰 스캐닝 윈도우 사이즈를 설정할 수 있다.In operation 120, the object recognition and pose estimation apparatus sets an initial scanning window size based on an average depth according to the 3D point cloud. For example, the object recognition and attitude estimation apparatus may set a small scanning window size when the average depth according to the 3D point cloud is large, and set a large scanning window size when the average depth is small.

125 단계에서, 물체 인식 및 자세 추정 장치는 2차원 영상 중 현재 스캐닝할 부분에 상응하는 3차원 포인트 클라우드의 로컬 깊이(local depth)에 기초하여, 적응적으로(adaptively) 로컬 스캐닝 윈도우 사이즈를 결정하고, 로컬 스캐닝 윈도우 사이즈에 따라 2차원 영상을 스캐닝하여 이미지 패치(image patch)를 생성한다. 예를 들어, 현재 스캐닝할 부분이 주변환경에 해당하면, 로컬 스캐닝 윈도우 사이즈는 최초 스캐닝 윈도우 사이즈에 상응할 수 있고, 현재 스캐닝할 부분이 물체(object)에 해당하면, 로컬 스캐닝 윈도우 사이즈는 최초 스캐닝 윈도우 사이즈보다 클 수 있다.In operation 125, the object recognition and pose estimation apparatus adaptively determines a local scanning window size based on a local depth of a 3D point cloud corresponding to a portion of the 2D image to be scanned. The image patch is generated by scanning a 2D image according to a local scanning window size. For example, if the portion to be scanned currently corresponds to the environment, the local scanning window size may correspond to the original scanning window size, and if the portion to be currently scanned corresponds to an object, the local scanning window size is the original scanning. It can be larger than the window size.

130 단계에서, 물체 인식 및 자세 추정 장치는 이미지 패치에 대한 멀티파트 HSV 색상 히스토그램(multi-part hsv color histogram)을 생성한다. 여기에서, 물체 인식 및 자세 추정 장치는 이미지 패치를 복수의 파트들로 분할하고, 분할된 파트별로 각각의 히스토그램을 생성함으로써 멀티파트 HSV 색상 히스토그램을 생성할 수 있다.In operation 130, the object recognition and pose estimation apparatus generates a multi-part hsv color histogram for the image patch. Here, the object recognition and pose estimation apparatus may generate a multipart HSV color histogram by dividing an image patch into a plurality of parts and generating respective histograms for each of the divided parts.

135 단계에서, 물체 인식 및 자세 추정 장치는 타겟 모델(target model)의 멀티파트 HSV 색상 히스토그램과 이미지 패치의 멀티파트 HSV 색상 히스토그램 간의 유사도를 측정한다. 예를 들어, 물체 인식 및 자세 추정 장치는 두 히스토그램 간의 Bhattacharyya distance를 계산할 수 있다. 여기에서, 타겟 모델의 색상 히스토그램과 이미지 패치의 색상 히스토그램이 서로 유사할수록 Bhattacharyya distance는 작아지고, 서로 유사하지 않을수록 Bhattacharyya distance는 커진다.In operation 135, the object recognition and pose estimation apparatus measures the similarity between the multipart HSV color histogram of the target model and the multipart HSV color histogram of the image patch. For example, the object recognition and attitude estimation apparatus may calculate a Bhattacharyya distance between two histograms. Here, as the color histogram of the target model and the color histogram of the image patch are similar to each other, the Bhattacharyya distance becomes smaller, and the non-similar to each other, the Bhattacharyya distance becomes larger.

140 단계에서, 물체 인식 및 자세 추정 장치는 2차원 영상의 모든 이미지 패치들에 대하여 유사도 측정이 완료되었는지를 판단하고, 판단 결과 아직 완료되지 않았으면 125 단계로 진행한다.In operation 140, the object recognition and posture estimating apparatus determines whether the similarity measurement is completed for all image patches of the 2D image, and if it is not yet completed, proceeds to operation 125.

145 단계에서, 물체 인식 및 자세 추정 장치는 2차원 영상에 상응하는 투표 행렬(vote matrix)을 생성한다. 여기에서, 투표 행렬은 Bhattacharyya distance를 성분으로 포함할 수 있다. 예를 들어, 물체 인식 및 자세 추정 장치는 도 2의 (b)에 나타난 2차원 영상에 상응하여 도 2의 (d)에 나타난 것과 같은 투표 행렬을 생성할 수 있다.In operation 145, the object recognition and pose estimation apparatus generates a vote matrix corresponding to the 2D image. Here, the voting matrix may include a Bhattacharyya distance as a component. For example, the object recognition and attitude estimation apparatus may generate a voting matrix as shown in FIG. 2D corresponding to the 2D image shown in FIG. 2B.

150 단계에서, 물체 인식 및 자세 추정 장치는 투표 행렬에 기초하여 확률 밀도 함수(PDF, probability density function) 및 누적 확률 밀도 함수(CDF, cumulative distribution function)를 산출한다. 예를 들어, 물체 인식 및 자세 추정 장치는 도 2의 (d)에 나타난 투표 행렬에 기초하여 도 2의 (e)에 나타난 것과 같은 확률 밀도 함수(210) 및 누적 확률 밀도 함수(220)를 생성할 수 있다.In operation 150, the object recognition and attitude estimation apparatus calculates a probability density function (PDF) and a cumulative distribution function (CDF) based on the voting matrix. For example, the object recognition and attitude estimation apparatus generates a probability density function 210 and a cumulative probability density function 220 as shown in FIG. 2E based on the voting matrix shown in FIG. 2D. can do.

155 단계에서, 물체 인식 및 자세 추정 장치는 누적 확률 밀도 함수에 기초하여 후보를 선정하는데 기준이 되는 문턱 값(threshold value)을 적응적으로 결정한다. 여기에서 문턱 값은 통계적으로 결정될 수 있다. 예를 들어, 물체 인식 및 자세 추정 장치는 누적 확률 밀도 함수에서, 하위 5%에 해당하는 값을 문턱 값으로 결정할 수 있다.In operation 155, the object recognition and pose estimation apparatus adaptively determines a threshold value that is a reference for selecting a candidate based on a cumulative probability density function. Here, the threshold value can be determined statistically. For example, the object recognition and attitude estimation apparatus may determine a threshold value corresponding to the lower 5% in the cumulative probability density function.

160 단계에서, 물체 인식 및 자세 추정 장치는 문턱 값보다 작은 Bhattacharyya distance를 가지는 이미지 패치들을 후보 패치들(candidate patches)로 선정한다.In operation 160, the object recognition and pose estimation apparatus selects image patches having a Bhattacharyya distance smaller than a threshold value as candidate patches.

165 단계에서, 물체 인식 및 자세 추정 장치는 후보 패치들에 상응하는 자세 가설(pose hypothesis)을 예측한다. 여기에서 각 자세 가설은 2차원 영상에서 타겟 모델의 위치에 대한 하나의 해석(interpretation)일 수 있다. 물체 인식 및 자세 추정 장치는 후보 패치들에 상응하는 3차원 물체 포즈들(3D object poses)을 2차원 이미지들로 투사하여 자세 가설을 예측할 수 있다. 예를 들어, 물체 인식 및 자세 추정 장치는 투사된 이미지들에 타겟 모델의 포즈에 따른 색상 시그너쳐(color signature) 및 크기(size)를 매칭하여 투사된 이미지들에 대한 확률을 계산할 수 있다.In operation 165, the object recognition and pose estimation apparatus predicts a pose hypothesis corresponding to the candidate patches. Here, each posture hypothesis may be one interpretation of the position of the target model in the 2D image. The object recognition and pose estimation apparatus may predict the pose hypothesis by projecting 3D object poses corresponding to the candidate patches into 2D images. For example, the object recognition and pose estimation apparatus may calculate a probability for the projected images by matching a color signature and a size according to the pose of the target model to the projected images.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit or scope of the present invention as defined by the following claims It can be understood that

Claims

Obtaining a 2D image through a stereo camera;
Generating a 3D point cloud from the 2D image;
Measuring a similarity between a color histogram of image patches included in the 2D image and a color histogram of a target model;
Selecting a plurality of image patches among the image patches based on the similarity; And
Predicting a pose hypothesis corresponding to the selected image patches,
And the color histogram is a multipart HSV color histogram.

The method of claim 1, wherein the similarity between the color histogram is
And a Bhattacharyya distance between the multipart HSV color histogram of the image patches and the multipart HSV color histogram of the target model.

3. The method of claim 2, wherein selecting the plurality of image patches
Generating a vote matrix having the Bhattacharyya distance as a component;
Calculating a cumulative probability density function (cdf) based on the voting matrix;
Setting a threshold value as a reference for selecting a candidate based on the cumulative probability density function; And
And selecting image patches having a Bhattacharyya distance less than the threshold value.

The method of claim 1, wherein predicting a pose hypothesis corresponding to the selected image patches is
Projecting 3D object poses into two-dimensional images corresponding to the selected image patches; And
And predicting a posture hypothesis by matching a color signature and a size according to the projected image and the pose of the target model.

The method of claim 1,
Determining a scanning window size based on a local depth according to the three-dimensional point cloud,
And the image patch corresponds to the determined scanning window size.

Obtaining a 2D image through a stereo camera;
Generating a 3D point cloud from the 2D image;
Calculating a Bhattacharyya distance between a multi-part color histogram of image patches included in the 2D image and a multi-part color histogram of a target model;
Generating a vote matrix having the Bhattacharyya distance as a component;
Generating a cumulative probability density function based on the voting matrix and setting a threshold value according to a preset ratio among the cumulative probability density functions;
Selecting image patches having a Bhattacharyya distance less than the threshold value; And
Projecting 3D object poses corresponding to the selected image patches onto a 2D image, matching the projected images with the poses of the target model to target the corresponding 3D object poses. An object recognition and pose estimation method comprising the step of calculating the probability of the model.

The color histogram of claim 6, wherein the color histogram is
Object recognition and attitude estimation method with multi-part color histogram.

The method of claim 7, wherein
Determining a scanning window size based on a local depth according to the three-dimensional point cloud,
And the image patch corresponds to the determined scanning window size.