KR100461030B1

KR100461030B1 - Image processing method for removing glasses from color facial images

Info

Publication number: KR100461030B1
Application number: KR10-2003-0006064A
Authority: KR
Inventors: 김형곤; 안상철; 오유화
Original assignee: 한국과학기술연구원
Priority date: 2002-10-31
Filing date: 2003-01-30
Publication date: 2004-12-14
Anticipated expiration: 2023-01-30
Also published as: KR20040040286A

Abstract

본 발명은 칼라의 정면 얼굴 영상으로부터 안경이 제거된 얼굴 영상을 획득할 수 있는 반복적인 PCA(Principal Component Analysis) 재구성 알고리즘을 사용하는 영상 처리 방법에 관한 것이다. 이 영상 처리 방법은 a) 안경을 포함하고 있는 RGB의 칼라 정면 얼굴 영상을 수신하는 단계와, b) 수신된 칼라 정면 얼굴 영상으로부터 눈의 후보 영역들을 추출하는 단계와, c) 추출된 눈의 후보 영역들 중에서 정확한 눈의 영역을 결정하고, 이를 중심으로, 수신된 칼라 정면 얼굴 영상을 사전설정된 크기로 정규화하는 단계와, d) 수신된 칼라 정면 얼굴 영상 내에 포함된 색상 정보와 안경테의 에지(edge) 정보를 이용하여 안경테 영역을 추출하는 단계와, e) 정규화된 정면 얼굴 영상에 대해 RGB-HSI 변환을 수행하는 단계와, f) RGB-HSI 변환된 H, S, I 성분의 정규화된 정면 얼굴 영상들 각각에 근거하여 안경이 제거된 보정 영상 H', S', I'을 생성하는 단계와, g) 보정 영상인 H', S', I'에 대해 HSI-RGB 변환을 수행함으로써 R', G', B' 보정 영상을 획득하는 단계와, h) R', G', B' 보정 영상에 근거하여 안경이 제거된 칼라의 최종 얼굴 영상을 생성하는 단계를 포함한다.The present invention relates to an image processing method using an iterative Principal Component Analysis (PCA) reconstruction algorithm capable of obtaining a face image from which glasses are removed from a front face image of a collar. The image processing method comprises the steps of a) receiving a color front face image of RGB containing glasses, b) extracting candidate regions of the eye from the received color front face image, and c) a candidate for the extracted eye. Determining an accurate eye area from among the areas, and normalizing the received front face image to a predetermined size, d) color information included in the received front face image and edges of the spectacle frame. E) extracting the eyeglass frame region using the information, e) performing RGB-HSI conversion on the normalized front face image, and f) normalizing the front face of the H-, S-, and I-converted RGB-HSI transforms. Generating correction images H ', S' and I 'with glasses removed based on each of the images, and g) R' by performing HSI-RGB conversion on the correction images H ', S' and I '. Obtaining G ', B' corrected images, and h) R ', G', B And generating a final face image of the color from which the glasses are removed based on the corrected image.

Description

Image processing method for removing glasses from a color face image {IMAGE PROCESSING METHOD FOR REMOVING GLASSES FROM COLOR FACIAL IMAGES}

본 발명은 영상 처리 분야에 관한 것으로, 보다 상세하게는 반복적인 PCA(Principal Component Analysis) 재구성 알고리즘을 사용하여 안경을 포함하는 칼라의 정면 얼굴 입력 영상으로부터 안경 제거 영상을 획득하기 위한 영상 처리 방법에 관한 것이다.TECHNICAL FIELD The present invention relates to the field of image processing, and more particularly, to an image processing method for acquiring an image of removing glasses from a front face input image of a collar including glasses using an iterative Principal Component Analysis (PCA) reconstruction algorithm. will be.

정보화 사회가 발달함에 따라 사람을 식별하기 위한 신분 확인 기술이 중요해지고 있으며, 컴퓨터를 이용한 개인의 정보 보호 및 신분 확인을 위해 인체 특징을 이용하는 생체 인식 기술이 많이 연구되고 있다. 생체 인식 기술 중에서도 얼굴 인식 기술은 사용자의 특별한 동작이나 행위에 대한 요구 없이, 비접촉식으로 사용자의 신분을 확인할 수 있는 장점 때문에 편리하고 경쟁력 있는 생체 인식 기술로 평가 받고있다. 이러한 얼굴 인식 기술은, 예를 들면 신분 증명, 범인 색출, HCI(Human Computer Interface), 출입 통제와 같은 다양한 응용 분야에 사용되고 있다. 이와 같이, 광범위한 응용 범위를 지닌 얼굴 인식 기술을 실제로 사용하는 데에는 몇 가지 문제들이 있는데, 그 중의 하나가 안경 착용으로 인해 얼굴 영상이 달라지는 문제이다.As information society develops, identification technology for identifying people is becoming important, and biometric technology using human features for personal information protection and identification using computers has been studied. Among the biometric technologies, face recognition technology is evaluated as a convenient and competitive biometric technology because of the advantage of identifying the user in a non-contact manner without requiring the user's special motion or behavior. Such face recognition technology is used in various application fields such as identification, criminal detection, human computer interface (HCI), and access control. As such, there are some problems in the practical use of face recognition technology with a wide range of applications, one of which is that the face image is changed due to wearing glasses.

종래에는 안경을 포함하는 얼굴 영상에서 안경을 제거하기 위한 영상 처리 방법으로서, 변형가능한 윤곽선(deformable contour)을 사용하여 안경을 추출하고 이를 이용하여 얼굴 영상에서 안경을 제거하는 알고리즘, 액티브 어피어런스 모델(active appearance model)로 지칭되는 플렉서블(flexible) 모델을 이용하여 안경과 같은 작은 오클루젼(occlusion) 영역(즉, 안경에 의해 가려진 얼굴 부분)을제거할 수 있는 알고리즘, PCA 알고리즘을 이용한 영상 처리 방법 등이 제안되었다.Conventionally, as an image processing method for removing glasses from a face image including glasses, an algorithm for extracting glasses using a deformable contour and removing the glasses from the face image using the same, an active appearance model Image processing using a PCA algorithm, an algorithm that can remove small occlusion areas (i.e., face parts covered by the glasses), such as glasses, using a flexible model called an active appearance model Method and the like have been proposed.

이들 중 PCA 알고리즘을 이용한 영상 처리 방법이 널리 사용되고 있는데, 이러한 PCA 알고리즘은 다음과 같이 두 과정으로 크게 구분될 수 있다. 첫 번째 과정은 안경을 포함하지 않은 불특정 다수의 샘플 얼굴 영상들(여기서, N=1,2,…,M)으로부터 고유얼굴들(eigenfaces)을 추출하는 트레이닝(training) 과정이다. 여기서, 다수의 샘플 얼굴 영상들은 동일한 사람의 얼굴 영상 또는 다른 사람의 얼굴 영상을 포함할 수 있다. 두 번째 과정은 추출한 고유얼굴들을 이용하여, 현재 입력되는 안경을 포함하는 얼굴 영상로부터 안경이 없는 재구성 영상을 획득하는 과정이다.Among them, an image processing method using a PCA algorithm is widely used. The PCA algorithm may be classified into two processes as follows. The first process involves a large number of unspecified sample face images without glasses. (Where N = 1,2, ..., M) is a training process that extracts eigenfaces. Here, a plurality of sample face images May include a face image of the same person or a face image of another person. In the second process, the extracted face images including glasses currently input using the extracted unique faces It is a process of acquiring a reconstructed image without glasses.

먼저, 안경을 포함하지 않는 다수의 샘플 얼굴 영상들으로부터 고유얼굴을 추출하는 첫 번째 과정을 설명하면 다음과 같다. 먼저, 수학식 1에 의해, 트레이닝을 위한 다수의 샘플 얼굴 영상들(여기서, 다수의 샘플 얼굴 영상들각각은 하나의 열 벡터(column vector)로 표현됨)의 평균 영상를 구하고, 수학식 2와 같이 다수의 샘플 얼굴 영상각각으로부터 평균 영상를 뺀다.First, multiple sample face images that do not include glasses Referring to the first process of extracting the unique face from the following. First, according to Equation 1, a plurality of sample face images for training Where multiple sample face images Average image of each column represented by one column vector) And a plurality of sample face images as shown in Equation 2 Average image from each Subtract

각각의 샘플 얼굴 영상에서 평균 영상를 뺀 차영상 Φ_N으로부터 아래의 수학식 3을 사용하여 각각의 샘플 얼굴 영상에 대한 공분산 행렬(covariance matrix) C를 구한다.Each sample face image Average video From the difference image Φ _N minus, each sample face image using Equation 3 below Find the covariance matrix C for.

여기서, A는 차영상 Φ_N으로 이루어진 행렬이고, A^T는 A의 전치행렬이다.Here, A is a matrix consisting of difference images Φ _N , and A ^T is a transpose matrix of A.

결과적으로, 평균 영상와 공분산 행렬 C로부터 고유벡터(eigenvector)를 획득할 수 있으며, 이하 고유벡터를 고유얼굴(여기서, k=1,…,M)로 지칭하기로 한다. 고유얼굴를 획득하는 과정은 당업자라면 충분히 이해할 수 있으므로, 설명을 간단히 하기 위해 본 명세서에서는 설명하지 않기로 한다.As a result, the average image Eigenvectors can be obtained from the covariance matrix C and eigenvectors (Where k = 1, ..., M). Unique face Since the process of acquiring is sufficiently understood by those skilled in the art, it will not be described herein for the sake of simplicity.

다음에, 안경을 포함하는 얼굴 입력 영상는 사전에 추출한 고유얼굴를 사용하여 안경이 없는 재구성 영상으로 나타내어질 수 있는데 그 과정은 다음과 같다. 먼저, 다음의 수학식 4와 같이 임의의 얼굴 입력 영상, 즉 안경을 포함하는 얼굴 입력 영상에서 평균 영상를 빼고 이미 추출한 각각의 고유얼굴에 투영한다.Next, the face input image including glasses The unique face extracted in advance Glasses-free reconstruction images It can be represented by the process as follows. First, an arbitrary face input image, that is, a face input image including glasses, as shown in Equation 4 below. Average video Each unique face you have already extracted Project on.

여기서, ω_k는 얼굴 입력 영상가 고유얼굴로 구성된 공간상에서 표현될 수 있도록 하는 가중치(weight)를 나타낸다. 재구성 영상은 아래의 수학식 5를 통해, 다수의 샘플 얼굴 영상으로부터 추출한 고유얼굴의 가중치 합계의 형태로 나타낼 수 있다.Where ω _k is the face input image Unique face Represents a weight that can be represented in a space composed of. Reconstruction Is a number of sample face image, through the equation (5) below Unique face extracted from It can be expressed in the form of a weighted sum of.

이때, 필요한 고유얼굴의 갯수는 전체 고유얼굴의 갯수인 M개 또는 그 이하의 갯수 M'으로도 가능하다.At this time, the unique face required The number of is also available as M 'which is the total number of unique faces or less.

전술한 바와 같은 종래 기술의 영상 처리 방법에서는 안경을 포함하지 않는 얼굴 영상들, 즉 다수의 샘플 얼굴 영상들으로부터 고유얼굴를 추출하게 되면, 추출된 고유얼굴에는 사람 얼굴의 특징들만이 포함되기 때문에, 이를 토대로 현재 입력되는 안경을 포함하는 얼굴 입력 영상를 재구성하여, 재구성 영상을 구하면 안경이 제거된 얼굴 영상을 획득할 수 있다. 하지만, 이러한 종래 기술에 따른 영상 처리 방법에 의해 안경이 제거된 재구성 얼굴 영상을 자세히 살펴보면, 도 1에 도시한 바와 같이 얼굴 입력 영상와 유사한 영상으로 재구성되었지만 안경이 완전히 제거되지 않았고, 재구성 얼굴 영상들전체에 걸쳐 많은 에러들을 포함하는 것을 발견할 수 있다. 여기서, 도 1의 클라이언트(client)는 트레이닝 세트(set)에 포함된 사람을 지칭하고, 비클라이언트(non-client)는 트레이닝 세트에 포함되지 않은 사람을 지칭한다. 트레이닝 세트에 포함된 사람들은 이들에 대한 얼굴 특징이 추출된 고유얼굴에 반영되어 있기 때문에 트레이닝 세트에 포함되지 않은 사람들보다 우수한 품질의 재구성 얼굴 영상을 획득할 수는 있다.In the image processing method of the related art as described above, face images not including glasses, that is, a plurality of sample face images Unique face from When extracted, the extracted unique face Since only the features of the human face are included, the face input image including the glasses currently input based on this. Reconstruct the image In this case, an image of a face with glasses removed may be obtained. However, the reconstructed face image in which glasses are removed by the image processing method according to the related art. Looking in detail, as shown in Figure 1 the face input image Images reconstructed but glasses not completely removed, reconstructed face images It can be found that it contains many errors throughout. Here, the client of FIG. 1 refers to a person included in a training set, and a non-client refers to a person not included in a training set. The people included in the training set have unique faces with facial features extracted from them. Because it is reflected in, it is possible to obtain reconstructed facial images of better quality than those not included in the training set.

그러나, 전술한 바와 같은 종래 기술의 영상 처리 방법을 적용하여 획득한 재구성 얼굴 영상들을 완전한 안경 제거 영상으로 간주하기에는 다음과 같은 몇가지 문제점이 있다. 첫 번째 문제점은 트레이닝 세트에 포함된 다수의 샘플 얼굴 영상들으로부터 추출한 고유얼굴에 근거하여, 현재 입력되는 얼굴 입력 영상에 대응하는 안경이 제거된 재구성 영상을 생성하는 경우, 얼굴 입력 영상에 포함되었던 고유한 특징들을 잃어버리게 된다는 것이다. 두 번째 문제점은 현재 입력되는 얼굴 입력 영상에서 안경에 의한 오클루젼 영역이 매우 큰 경우, 안경이 제거된 재구성 얼굴 영상은 오클루젼의 영향으로 인해 전체적으로 많은 에러들을 포함하게 되므로, 이러한 재구성 얼굴 영상은 자연스럽지 못할 뿐만 아니라 얼굴 입력 영상와 전혀 다른 얼굴 영상처럼 보여질 수 있다는 것이다.However, reconstructed face images obtained by applying the image processing method of the prior art as described above There are several problems to consider as a complete eyeglass removal image as follows. The first problem is the number of sample face images included in the training set. Unique face extracted from Face input video currently input, based on Reconstructed image with glasses corresponding to When creating a face input video The unique features that were included in it will be lost. The second problem is the face input image currently being input Reconstructed face image with glasses removed when occlusion area is very large This reconstructed face image can contain many errors due to the influence of occlusion. Is not only natural but also face input video It can look like a completely different face image.

전술한 바와 같이, 종래 기술에서는 입력되는 얼굴 입력 영상에서 안경에 대한 문제를 단순히 안경테에 의한 문제로 가정하고 이를 해결하고자 하였기 때문에많은 제약 조건이 있어 안경이 제거된 우수한 품질의 얼굴 영상을 획득하기가 어렵다는 문제점이 있다.As described above, in the prior art, since the problem with the glasses in the input face input image is assumed to be simply a problem due to the frame, there are many constraints to obtain a good quality face image from which the glasses are removed. There is a problem that is difficult.

따라서, 본 발명은 전술한 문제점을 해결하기 위해, 안경테뿐만 아니라 안경 렌즈에 빛이 반사되어 생성되는 영역과 안경 때문에 생성되는 그림자 영역 등과 같이, 칼라 얼굴 영상 내에서 오클루젼이 있는 영역 모두를 찾아 제거함으로써 최초에 입력된 안경을 포함하는 칼라의 얼굴 영상과 유사하면서도 안경이 제거된 우수한 품질의 칼라 얼굴 영상을 획득할 수 있는 반복적인 PCA 재구성 알고리즘을 사용한 영상 처리 방법을 제공하는 것을 목적으로 한다.Accordingly, in order to solve the above-described problem, the present invention finds both the occlusion region and the occlusion region in the color face image, such as the region generated by the reflection of light on the spectacle lens as well as the spectacle lens. It is an object of the present invention to provide an image processing method using an iterative PCA reconstruction algorithm, which is similar to a face image of a color including an inputted glasses, and can obtain a high quality color face image from which glasses are removed.

본 발명에 따르면, 영상 처리 시스템을 통해 안경을 포함하는 칼라의 정면 얼굴 영상으로부터 안경 제거 영상을 획득하기 위한 영상 처리 방법이 제공된다. 이 영상 처리 방법은 a) 안경을 포함하고 있는 RGB의 칼라 정면 얼굴 영상을 수신하는 단계와, b) 수신된 칼라 정면 얼굴 영상으로부터 눈의 후보 영역들을 추출하는 단계와, c) 추출된 눈의 후보 영역들 중에서 정확한 눈의 영역을 결정하고, 이를 중심으로, 수신된 칼라 정면 얼굴 영상을 사전설정된 크기로 정규화하는 단계와, d) 수신된 칼라 정면 얼굴 영상 내에 포함된 색상 정보와 안경테의 에지(edge) 정보를 이용하여 안경테 영역을 추출하는 단계와, e) 정규화된 정면 얼굴 영상에 대해 RGB-HSI 변환을 수행하는 단계와, f) RGB-HSI 변환된 H, S, I 성분의 정규화된 정면 얼굴 영상들 각각에 근거하여 안경이 제거된 보정 영상 H', S', I'을 생성하는 단계와, g) 보정 영상인 H', S', I'에 대해 HSI-RGB 변환을 수행함으로써 R',G', B' 보정 영상을 획득하는 단계와, h) R', G', B' 보정 영상에 근거하여 안경이 제거된 칼라의 최종 얼굴 영상을 생성하는 단계를 포함한다.According to the present invention, an image processing method for acquiring an image of removing glasses from a front face image of a collar including glasses through an image processing system is provided. The image processing method comprises the steps of a) receiving a color front face image of RGB containing glasses, b) extracting candidate regions of the eye from the received color front face image, and c) a candidate for the extracted eye. Determining an accurate eye area from among the areas, and normalizing the received front face image to a predetermined size, d) color information included in the received front face image and edges of the spectacle frame. E) extracting the eyeglass frame region using the information, e) performing RGB-HSI conversion on the normalized front face image, and f) normalizing the front face of the H-, S-, and I-converted RGB-HSI transforms. Generating correction images H ', S' and I 'with glasses removed based on each of the images, and g) R' by performing HSI-RGB conversion on the correction images H ', S' and I '. Acquiring the G 'and B' corrected images; and h) R ', G' and B '. And generating a final face image of the color from which the glasses are removed based on the corrected image.

도 1은 안경을 포함하는 얼굴 입력 영상들과 PCA(Principal Component Analysis) 재구성 알고리즘을 사용하는 종래 기술에 따른 영상 처리 방법에 의해 획득한 안경이 제거된 재구성 얼굴 영상들을 나타내는 도면.1 is a diagram illustrating face input images including glasses and reconstructed face images from which glasses obtained by an image processing method according to the related art using a Principal Component Analysis (PCA) reconstruction algorithm are removed.

도 2는 반복적인 PCA 재구성 알고리즘을 사용하는 본 발명의 영상 처리 방법에 따른 안경 제거 과정을 설명하기 위한 흐름도.2 is a flowchart illustrating a glasses removal process according to an image processing method of the present invention using an iterative PCA reconstruction algorithm.

도 3은 본 발명에 따라 I(Intensity) 성분의 정규화된 얼굴 영상을 처리하는 반복적인 PCA 재구성 알고리즘을 설명하기 위한 도면.3 is a diagram illustrating an iterative PCA reconstruction algorithm for processing a normalized face image of an I (Intensity) component in accordance with the present invention.

도 4는 본 발명에 따라 얼굴 입력 영상에서 안경테 영역을 추출하는 과정을 설명하기 위한 도면.4 is a view for explaining a process of extracting an eyeglass frame region from a face input image according to the present invention.

도 5는 본 발명에 따른 차 영상(difference image)의 그레이 레벨(gray-level)에 근거한 오클루젼(occlusion) 영역의 판정 범위를 나타내는 도면.5 is a view showing a determination range of an occlusion region based on gray-level of a difference image according to the present invention.

도 6의 (a) 내지 (c)는 본 발명에 따라 얼굴 입력 영상의 칼라 정보를 이용하여 피부 색상 영역과 피부 색상 이외의 영역을 구분한 도면.6 (a) to 6 (c) are diagrams illustrating skin color areas and areas other than skin color, using color information of a face input image according to the present invention;

도 7은 본 발명에 따라 재구성된 얼굴 영상의 보정에 사용되는 가중치값의 범위를 나타내는 도면.7 is a diagram illustrating a range of weight values used for correction of a reconstructed face image according to the present invention.

도 8은 본 발명에 따라 S(Saturation) 성분 및 H(Hue) 성분의 정규화된 얼굴 영상을 처리하는 반복적인 PCA 재구성 알고리즘을 설명하기 위한 흐름도.8 is a flowchart illustrating an iterative PCA reconstruction algorithm for processing normalized face images of S (Saturation) and H (Hue) components in accordance with the present invention.

도 9는 안경을 포함하는 I 성분의 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 I 성분의 보정 영상들의 예를 나타내는 도면.9 is a diagram illustrating an example of corrected images of an I component from which glasses are obtained by processing images of the I component including glasses according to the image processing method of the present invention.

도 10은 안경을 포함하는 칼라의 정면 얼굴 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 최종 칼라 얼굴 영상들의 예를 나타내는 도면.FIG. 10 is a diagram illustrating examples of final color face images from which glasses obtained by processing front face images of a collar including glasses according to an image processing method of the present invention; FIG.

도 11은 본 발명에 따른 영상 처리 방법을 수행하기 위한 영상 처리 시스템의 개략적인 구성도.11 is a schematic structural diagram of an image processing system for performing an image processing method according to the present invention;

도 12는 안경을 포함하는 S 성분의 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 S 성분의 보정 영상들의 예를 나타내는 도면.12 is a diagram illustrating an example of corrected images of an S component from which glasses are obtained by processing images of the S component including glasses according to the image processing method of the present invention.

도 13은 안경을 포함하는 H 성분의 영상들 중 H_x벡터 성분의 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 H_x벡터 성분의 보정 영상들의 예를 나타내는 도면.FIG. 13 is a diagram illustrating an example of corrected images of an H _x vector component from which glasses are removed obtained by processing images of the H _x vector component among H images including glasses according to the image processing method of the present invention. FIG.

도 14는 안경을 포함하는 H 성분의 영상들 중 H_y벡터 성분의 영상들을 본 발명의 영상 처리 방법에 따라 처리하여 획득한 안경이 제거된 H_y벡터 성분의 보정 영상들의 예를 나타내는 도면.14 is a diagram illustrating an example of corrected images of an H _y vector component from which glasses are obtained by processing images of the H _y vector component among H images including glasses according to the image processing method of the present invention.

이제, 첨부한 도 2 내지 도 14를 참조하여 본 발명의 바람직한 실시예에 따른 영상 처리 방법을 상세하게 설명하기로 한다.Now, with reference to the accompanying Figures 2 to 14 will be described in detail the image processing method according to a preferred embodiment of the present invention.

먼저, 도 11을 참조하면 반복적인 PCA(Principal Component Analysis) 재구성 알고리즘을 사용하는 본 발명의 영상 처리 방법을 수행하기 위한 영상 처리 시스템의 개략적인 구성도가 도시되어 있다. 도 11에 도시한 바와 같이, 영상 처리 시스템(1000)은 영상 입력부(1002), 영상 처리부(1004), 영상 출력부(1006), 얼굴 데이터베이스(database: DB)(2000)를 포함하고 있다.First, referring to FIG. 11, a schematic configuration diagram of an image processing system for performing an image processing method of the present invention using an iterative Principal Component Analysis (PCA) reconstruction algorithm is illustrated. As illustrated in FIG. 11, the image processing system 1000 includes an image input unit 1002, an image processing unit 1004, an image output unit 1006, and a face database (DB) 2000.

영상 입력부(1002)는 안경을 포함하는 칼라의 정면 얼굴 입력 영상을 수신하여 이를 영상 처리부(1004)로 전송하는 기능을 수행하는 것으로, 예컨대 디지털 카메라(digital camera)와 같은 통상적인 영상 입력 디바이스로 구현될 수 있다. 영상 처리부(1004)는 영상 입력부(1002)를 통해 수신한 칼라의 정면 얼굴 입력 영상에 대해 본 발명에 따른 영상 처리 방법을 수행하여 안경이 제거된 칼라의 얼굴 영상을 생성하는 기능을 수행하는 것으로, 통상적인 컴퓨팅 디바이스(computing device)로 구현될 수 있다. 얼굴 DB(2000)는 영상 처리부(1004)의 제어하에, 영상 입력부(1002)를 통해 입력된 칼라의 정면 얼굴 입력 영상 및 영상 처리부(1004)에 의해 수행되는 영상 처리 과정중에 생성된, 정면 얼굴 입력 영상에 대한 중간 처리 영상들을 저장하는 기능을 수행한다. 또한, 얼굴 DB(2000)는 후술하는 반복적인PCA 재구성 알고리즘에 사용되는 안경이 없는 샘플 얼굴 영상들을 저장하고 있다. 영상 출력부(1006)는 영상 처리부(1004)에 의해 생성된, 안경이 제거된 칼라의 얼굴 영상을 출력하는 기능을 수행하는 것으로, 모니터(monitor)와 같은 통상적인 디스플레이 디바이스로 구현될 수 있다.The image input unit 1002 receives a front face input image of a collar including glasses and transmits the image to the image processing unit 1004. The image input unit 1002 is implemented as a conventional image input device such as a digital camera. Can be. The image processing unit 1004 performs a function of generating a face image of a color from which glasses are removed by performing an image processing method according to the present invention on a front face input image of a color received through the image input unit 1002. It may be implemented as a conventional computing device. The face DB 2000 is under the control of the image processing unit 1004, the front face input image of the color input through the image input unit 1002 and the front face input generated during the image processing performed by the image processing unit 1004. Performs a function of storing intermediate processed images of an image. Also, the face DB 2000 stores sample face images without glasses used in an iterative PCA reconstruction algorithm, which will be described later. The image output unit 1006 performs a function of outputting a face image of a color from which glasses are removed by the image processing unit 1004 and may be implemented as a conventional display device such as a monitor.

도 2를 참조하면, 안경을 포함하는 칼라의 정면 얼굴 입력 영상에서 안경을 제거하기 위해 영상 처리 시스템(1000)에서 수행되는 본 발명에 따른 영상 처리 방법의 과정을 설명하기 위한 흐름도가 도시되어 있다. 먼저, 영상 처리 시스템(1000)은 단계(S202)에서 영상 입력부(1002)를 통해 안경을 포함하는 칼라의 정면 얼굴 입력 영상(이하, 칼라 얼굴 입력 영상으로 지칭함)을 수신한다.Referring to FIG. 2, a flowchart illustrating a process of an image processing method according to the present invention, which is performed by the image processing system 1000 to remove glasses from a front face input image of a collar including glasses, is illustrated. First, the image processing system 1000 receives a front face input image of a color including glasses (hereinafter, referred to as a color face input image) through the image input unit 1002 in step S202.

영상 처리 시스템(1000)의 영상 처리부(1004)는 단계(S204)에서 칼라 얼굴 입력 영상에 포함된 색상 정보를 이용하여 얼굴의 피부 색상을 강조하여 나타낸 이진화된 GSCD(Generalized Skin Color Distribution) 변환 영상을 획득하고, 단계(S206)에서 얼굴내의 검은색과 흰색을 강조하여 나타낸 이진화된 BWCD(Black and White Color Distribution) 변환 영상을 획득한다. 칼라 얼굴 입력 영상으로부터 이진화된 GSCD 변환 영상과 이진화된 BWCD 변환 영상을 획득하는 과정은 본 기술분야에서 공지된 바와 같은 방법에 따라 수행될 수 있다.The image processing unit 1004 of the image processing system 1000 may use the color information included in the color face input image in operation S204 to convert a binary GSCD (Generalized Skin Color Distribution) converted image representing the skin color of the face. In operation S206, a binary BWCD (BWCD) transformed image obtained by emphasizing black and white in the face is acquired. The process of obtaining the binarized GSCD transform image and the binarized BWCD transform image from the color face input image may be performed according to a method known in the art.

영상 처리부(1004)는 단계(S208)에서 형태 필터링(morphology filtering)을 수행하여 이진화된 GSCD 변환 영상으로부터 칼라 얼굴 입력 영상 내에 포함된 눈썹, 입, 또는 흘러내린 머리카락 등과 같이 피부 색상과 상이한 색상을 갖는 영역들을 제거하는데, 이것은 칼라 얼굴 입력 영상을 정규화하는데 필요한 눈의 후보영역을 찾기 위해 수행하는 것이다. 단계(S210)에서, 영상 처리부(1004)는 이진화된 BWCD 변환 영상과 형태 필터링된 GSCD 변환 영상을 이용하여 눈의 후보 영역들을 추출하고, 단계(S214)에서 후보 영역들 중에 정확한 눈의 영역을 결정하고, 이를 중심으로 칼라 얼굴 입력 영상을 일정한 크기의 얼굴 입력 영상으로 정규화한다(정규화된 칼라 얼굴 입력 영상은 RGB(Red;Green;Blue) 모델에서 빨강, 초록, 파랑의 기본 성분들로 나타내어짐). 단계(S216)에서, 영상 처리부(1004)는 정규화된 칼라 얼굴 입력 영상을 RGB-HSI 변환하여 HSI 성분 각각의 정규화된 얼굴 입력 영상을 생성한다. 널리 알려진 바와 같이, RGB 모델의 영상은 HSI (Hue;Saturation;Intensity) 모델의 영상으로 변환될 수 있으며, 마찬가지로 HSI 모델의 영상도 RGB 모델의 영상으로 용이하게 변환될 수 있다. 본 발명에서는 입력된 칼라 얼굴 영상의 처리를 위해 아래의 수학식 6을 사용하여 정규화된 칼라 얼굴 입력 영상에 대한 RGB-HSI 변환을 수행한다.The image processing unit 1004 performs morphology filtering in step S208 to have a color different from the skin color, such as an eyebrow, mouth, or hair falling in the color face input image from the binarized GSCD transform image. This is done to find the candidate areas of the eye that are needed to normalize the color face input image. In operation S210, the image processing unit 1004 extracts candidate eye regions using the binarized BWCD transform image and the shape-filtered GSCD transform image, and in step S214, determine the correct eye region among the candidate regions. The color face input image is normalized to a face input image having a constant size. (The normalized color face input image is represented by basic components of red, green, and blue in the RGB (Red; Green; Blue) model.) . In operation S216, the image processing unit 1004 converts the normalized color face input image to RGB-HSI to generate a normalized face input image of each HSI component. As is well known, an image of an RGB model may be converted into an image of a HSI (Hatur; Intensity) model, and likewise, an image of an HSI model may be easily converted into an image of an RGB model. In the present invention, RGB-HSI conversion is performed on the normalized color face input image using Equation 6 below to process the input color face image.

여기서, H는 0∼360도의 값을 갖는 색상 성분을 나타내며, S는 0∼1의 값을 갖는 채도 성분을 나타내고, I는 0∼255의 값을 갖는 휘도 성분을 나타낸다.Here, H represents a color component having a value of 0 to 360 degrees, S represents a chroma component of a value of 0 to 1, and I represents a luminance component having a value of 0 to 255.

한편, 영상 처리부(1004)는 단계(S212)에서 칼라 얼굴 입력 영상의 칼라 정보와 안경테의 에지(edge) 정보를 이용하여 안경테를 추출한다. 이것은 도 4를 참조하여 상세하게 설명하기로 한다.In operation S212, the image processing unit 1004 extracts the eyeglass frame using color information of the color face input image and edge information of the eyeglass frame. This will be described in detail with reference to FIG. 4.

먼저, 영상 처리부(1004)는 도 2의 단계(S208)에서 형태 필터링을 수행하여 획득한 GSCD 영상과 도 2의 단계(S206)에서 획득한 이진화된 BWCD 영상을 AND 연산하여 영상(400)을 획득한다. 이 영상(400)은 칼라 얼굴 입력 영상 내의 검은색 영역과 흰색 영역을 나타낸 영상으로써, 눈과 눈썹 영역을 포함하고 있다. 다음에, 영상 처리부(1004)는 도 2의 단계(S204)에서 획득한 그레이 레벨(gray-level)의 GSCD 변환 영상인 영상(100)과 영상(400)을 덧셈연산하여 영상(801)을 획득한다. 이 영상(801)은 영상(100)에서 눈과 눈썹을 제거한 영상이다. 영상 처리부(1004)는 칼라 얼굴 입력 영상 내에 포함된 안경테가 더욱 정확하게 표현될 수 있도록, 널리 알려진 소벨(Sobel) 방법을 통해 영상(801)에서 에지를 검출하여 영상(802)을 생성한다. 그 후, 영상 처리부(1004)는 영상(801)을 역상(inversion)한 영상과 영상(802)을 OR 연산하여 영상(803)을 획득한 다음, 영상(803)을 단계(S214)에서 정규화된 얼굴 입력 영상과 동일한 크기로 정규화하고 안경의 위치 정보를 이용하여 안경테 영역 외에는 아무 것도 포함되지 않도록 모두 제거한 영상(800)(이하, 안경테 영상 G(800)로 지칭함)을 획득한다.First, the image processing unit 1004 performs an AND operation on a GSCD image obtained by performing shape filtering in step S208 of FIG. 2 and a binary BWCD image obtained in step S206 of FIG. 2, to obtain an image 400. do. The image 400 is an image showing a black region and a white region in the color face input image, and includes an eye and an eyebrow region. Next, the image processing unit 1004 adds an image 100 and an image 400, which are gray-level GSCD converted images acquired in step S204 of FIG. 2, to obtain an image 801. do. This image 801 is an image from which eyes and eyebrows are removed from the image 100. The image processor 1004 generates an image 802 by detecting edges in the image 801 through a well-known Sobel method so that the eyeglass frame included in the color face input image can be more accurately represented. Thereafter, the image processing unit 1004 performs an OR operation on the image inverted from the image 801 and the image 802 to obtain an image 803, and then normalizes the image 803 at step S214. An image 800 (hereinafter, referred to as an eyeglass frame image G 800) is obtained by normalizing to the same size as the face input image and removing all of the eyeglass frame region so that nothing except the eyeglass frame region is included.

도 2를 다시 참조하면, 영상 처리부(1004)는 단계(S218)에서 H, S, I 성분의 정규화된 얼굴 입력 영상 각각에 대해 반복적인 PCA 재구성 알고리즘을 적용하여 H, S, I 성분의 보정 영상을 획득한 다음, 단계(S220)에서 획득한 H, S, I 성분의보정 영상을 HSI-RGB 변환하여 안경이 제거된 최종 칼라 얼굴 영상을 획득한다.Referring back to FIG. 2, the image processing unit 1004 applies a repetitive PCA reconstruction algorithm to each of the normalized face input images of the H, S, and I components in operation S218, and corrects the H, S, and I components. Next, HSI-RGB conversion of the corrected image of the H, S, and I components obtained in step S220 is performed to obtain the final color face image from which the glasses are removed.

도 3을 참조하면, 영상 처리부(1004)가 칼라 얼굴 영상의 RGB-HSI 변환된 영상 중 I 성분의 정규화된 얼굴 입력 영상을 단계(S218)에서 처리하는 반복적인 PCA 재구성 알고리즘을 설명하기 위한 도면이 도시되어 있다. 먼저, I 성분의 정규화된 얼굴 영상(이하, I 성분의 정규화 영상(500)로 지칭하며, 여기서 i는 영상 내의 픽셀(pixel)을 나타내는 인덱스(index)임)을 종래의 PCA 알고리즘에 따라 재구성하여 나타낸다. 즉, 전술한 수학식 5에 의해 재구성된 결과 영상이 도 3의 (601)에 대응하는 영상들(이하, I 성분의 재구성 영상(601)로 지칭함)이 된다. 이어, 다음의 수학식 7을 사용하여 I 성분의 정규화 영상(500)와 I 성분의 재구성 영상(601) 간의 차 영상(difference image)을 계산하여 도 3의 (602)에 해당하는 영상들(이하, I 성분의 차 영상 d(i)(602)로 지칭함)을 획득한다.Referring to FIG. 3, a diagram for describing an iterative PCA reconstruction algorithm in which the image processing unit 1004 processes a normalized face input image of an I component among RGB-HSI converted images of a color face image in step S218 is described. Is shown. First, a normalized face image of I component (hereinafter, normalized image of I component) (500), where i is an index representing a pixel in the image) and reconstructed according to a conventional PCA algorithm. That is, the result images reconstructed by the above Equation 5 are images corresponding to (601) of FIG. 3 (hereinafter, reconstructed image of I component). (Referred to as 601). Then, the normalized image of the I component using the following equation (7) Reconstruction image of 500 and I component Difference images between 601 are calculated to obtain images corresponding to 602 of FIG. 3 (hereinafter, referred to as difference image d (i) 602 of the I component).

도시한 바와 같이, I 성분의 차 영상 d(i)(602)에서는 눈썹에 걸쳐 있는 안경테를 정확하게 추출하지 못하는 것을 확인할 수 있다. 이와 같이, 눈썹에 걸쳐있는 안경테가 정확하게 추출되지 못한 이유는, I 성분의 정규화 영상(500)에서 눈썹에 걸쳐 있는 안경테는 I 성분의 재구성 영상(601)에서 낮은 그레이 레벨을 갖는 눈썹으로 표현되므로, I 성분의 정규화 영상(500)와 I 성분의 재구성 영상(601)간의 그레이 레벨 강도 차이를 구하더라도 그 차이값이 너무 작기 때문이다. 이와 같이, 눈썹에 걸쳐 있는 안경테를 제대로 제거하지 못할 경우에는 사람의 인상이 달라 보일 수 있기 때문에 I 성분의 정규화 영상(500)와 유사한 결과를 얻기 어렵게 된다. 따라서, 눈썹에 걸쳐 있는 안경 영역, 즉 오클루젼(occlusion) 영역을 좀더 정확하게 찾아주기 위해, 본 발명에서는 도 2의 단계(S212)에서 추출한 안경테 영상 G(800)(도 4 참조)를 사용한다.As shown, it can be seen that in the difference image d (i) 602 of the I component, the eyeglass frame covering the eyebrows cannot be accurately extracted. As such, the reason why the eyeglass frame covering the eyebrows was not extracted accurately is that the normalized image of the I component Eyeglass frame spanning eyebrows at 500, reconstructed image of I component Normalized image of I component because it is represented by eyebrows with low gray levels at 601 Reconstruction image of 500 and I component This is because even if the gray level intensity difference between 601 is obtained, the difference value is too small. As such, if the eyeglass frame covering the eyebrows is not properly removed, the impression of the person may be different, so the normalized image of the I component is normalized. A result similar to 500 becomes difficult to obtain. Therefore, in order to more accurately find the eyeglass region covering the eyebrow, that is, the occlusion region, the present invention uses the eyeglass frame image G 800 (see FIG. 4) extracted in step S212 of FIG. 2. .

I 성분의 차 영상 d(i)(602)에서 얼굴에 해당하는 그레이 레벨 정보를 반영하여, 차 영상 d(i)(602)를 스트레칭(stretching)함으로써 도 3의 (603)에 대응하는 영상들(이하, I 성분의 차 영상 D(i)(603)로 지칭함)이 생성 되는데, 이는 다음의 수학식 8과 같이 I 성분의 차 영상 d(i)(602)와 I 성분의 재구성 영상(601) 각각의 그레이 레벨 강도의 곱에 제곱근을 취한 것이다.Images corresponding to 603 of FIG. 3 by stretching the difference image d (i) 602 by reflecting gray level information corresponding to the face in the difference image d (i) 602 of the I component. (Hereinafter, referred to as the difference image D (i) 603 of the I component) is generated, which is a reconstructed image of the difference image d (i) 602 of the I component and the I component as shown in Equation 8 below. (601) The square root of the product of each gray level intensity.

이러한 I 성분의 차 영상 D(i)(603)를 이용하면 다음과 같은 이점이 있다. 먼저, I 성분의 정규화 영상(500) 내에서 오클루젼 영역 중 안경에 의한 그림자 영역은 다른 오클루젼 영역에 비해 주위 영역과의 그레이 레벨 강도의 차이가 크지 않아, 단순한 I 성분의 차영상 d(i)(602)에 의해서는 안경에 의한 그림자 영역이 제거되기 어렵다. 그러나, I 성분의 차 영상 D(i)(603)를 이용하면 안경에 의한 그림자 영역에 대한 그레이 레벨 강도의 차이를 강조하여 나타낼 수 있어 이를 용이하게 제거할 수 있으므로, 자연스러운 안경 제거 영상을 얻을 수 있다는 이점이 있다. 또한, I 성분의 정규화 영상(500) 내에 포함된 눈이나 눈썹은 사람의 인상을 결정짓는 중요한 특징들이 되는데, I 성분의 차 영상 D(i)(603)를 이용하면 이러한 특징 영역들에서 I 성분의 정규화 영상(500)와의 그레이 레벨 강도의 차이를 줄일 수 있어서, I 성분의 정규화 영상(500)가 최대한 그대로 사용될 수 있다는 이점이 있다.Using the difference image D (i) 603 of the I component has the following advantages. First, the normalized image of the I component Within 500, shadow area caused by glasses among occlusion areas does not have a large difference in gray level intensity from the surrounding area as compared with other occlusion areas. It is difficult to remove the shadow area by the glasses. However, by using the difference image D (i) 603 of the I component, it is possible to emphasize the difference in the gray level intensity for the shadow area caused by the glasses, which can be easily removed, thereby obtaining a natural glasses removal image. There is an advantage. In addition, the normalized image of the I component Eyes or eyebrows contained within (500) are important features that determine the impression of a person. The difference image of I component D (i) 603 is used to normalize the I component in these feature regions. The difference in gray level intensity from 500 can be reduced, so that the normalized image of the I component 500 has the advantage that it can be used as it is.

전술한 도 2의 단계(S212)에서 추출된 안경테 영상 G(800)를 I 성분의 차 영상 D(i)(603)에 포함시켜 주기 위해서는, 먼저 I 성분의 차 영상 D(i)(603) 내에서 오클루젼이 있는 영역과 오클루젼이 없는 영역이 구분될 수 있어야 한다. I 성분의 차 영상 D(i)(603) 내에서 에러(error) 분포는 오클루젼이 없는 영역보다 안경에 의한 오클루젼 영역에서 훨씬 크게 나타난다. 이러한 에러 분포를 이용하면, 도 5에 도시한 바와 같이 0부터 255 사이의 그레이 레벨 범위 내에서 오클루젼이 없는 영역과 오클루젼이 있는 영역이 구분될 수 있다. 이때, 각 영역의 경계를 나누는 임계값(threshold)은 다음의 수학식 9에 의해 결정된다.In order to include the eyeglass frame image G 800 extracted in step S212 of FIG. 2 described above in the difference image D (i) 603 of the I component, first, the difference image D (i) 603 of the I component is included. There should be a distinction between regions with occlusion and regions without occlusion within. In the difference image D (i) 603 of the I component, the error distribution is much larger in the occlusion region by glasses than in the region without occlusion. Using this error distribution, the region without occlusion and the region with occlusion can be distinguished within a gray level range of 0 to 255 as shown in FIG. 5. At this time, the threshold for dividing the boundary of each region is determined by the following equation (9).

여기서, T_L은 하위(lower) 임계값을 나타내고, T_H는 상위(upper) 임계값을 나타내며, D(j)는 오클루젼이 없는 영역의 에러값을 나타내고, D(k)는 오클루젼이 있는 영역의 에러값을 나타낸다.Where T _L represents a lower threshold value, T _H represents an upper threshold value, D (j) represents an error value in an area without occlusion, and D (k) represents occlusion Error value of the area in which the zone exists.

하위 임계값 T_L과 상위 임계값 T_H를 계산하는 과정을 좀 더 상세히 설명하면, I 성분의 정규화 영상(500)에서 오클루젼이 없는 영역 D(j)를 찾기 위해, 칼라 얼굴 입력 영상의 칼라 정보를 이용하여 이진화한 GSCD 변환 영상을 역상한 결과 영상(도 6의 (a))과 이진화한 BWCD 변환 영상(도 6의 (b))을 OR 연산한다. OR 연산된 영상을 다시 두 눈의 위치를 기준으로 I 성분의 정규화 영상(500)와 동일한 크기로 정규화함으로써 도 6의 (c) 영상을 획득한다. 도 6의 (c) 영상에서, 검은색으로 표시된 영역은 얼굴 내의 피부 색상을 강조하여 나타낸 영역으로써 오클루젼이 없는 영역 D(j)가 된다. 따라서, 하위 임계값 T_L은 도 3에 도시된 I 성분의 차 영상 D(i)(603) 내에서 오클루젼이 없는 영역에 해당되는 에러값들의 평균을 계산함으로써 획득된다.The process of calculating the lower threshold T _L and the upper threshold T _H will be described in more detail. In order to find the region D (j) without occlusion at 500, the result of inverting the binarized GSCD transform image using the color information of the color face input image is the binarized BWCD image (FIG. 6A). OR operation is performed on the converted video (Fig. 6 (b)). Normalized image of I component based on OR position By normalizing to the same size as 500, the image of FIG. 6C is obtained. In the image (c) of FIG. 6, the black area is a region D (j) without occlusion as an area in which the skin color in the face is highlighted. Therefore, the lower threshold value T _L is obtained by calculating an average of error values corresponding to regions without occlusion in the difference image D (i) 603 of the I component shown in FIG. 3.

한편, 안경에 의한 오클루젼이 포함될 수 있는 영역 D(k)는 얼굴 내에서 피부 색상과 다른 색상들을 강조하여 나타낸 영역들에 해당되므로 도 6의 (c) 영상에서 흰색으로 표시한 영역이 된다. 따라서, 상위 임계값 T_H는 I 성분의 차 영상 D(i)(603) 내에서의 에러들 중 앞서 획득한 하위 임계값 T_L보다 큰 에러값들의 평균을 계산함으로써 획득된다.Meanwhile, the area D (k), which may include occlusion by glasses, corresponds to areas indicated by emphasizing the skin color and other colors in the face, and thus, the area D (k) becomes a white area in the image of FIG. . Therefore, the upper threshold value T _H is obtained by calculating an average of error values larger than the previously obtained lower threshold value T _L among the errors in the difference image D (i) 603 of the I component.

이때, I 성분의 차 영상 D(i)(603)에는 하위 임계값 T_L보다는 크지만 상위 임계값 T_H보다는 작은 에러값들을 포함하는 불확실한 영역(즉, 불확정 영역)이 항상 존재하게 된다. 눈썹 근처의 안경테 영역은 그 그레이 레벨 강도의 차이값들이 대체로 상위 임계값 T_H보다 작은 에러값들을 포함하고 있어 오클루젼이 있는 영역 안에 포함되지 못한다. 따라서, 눈썹 근처에 있는 안경테 영역이 그레이 레벨 강도 차이값들이 상위 임계값 T_H보다 큰 영역, 즉 오클루젼 영역에 포함될 수 있도록 도 2의 단계(S212)에서 추출한 안경테 영역 G(800)를 사용한다. 다음의 수학식 10과 같이, I 성분의 차 영상 D(i)(603) 내의 에러값들 중 상위 임계값 T_H보다 작은 그레이 레벨을 갖는 값들에서, 안경테 영역 G(800)에서는 높은 그레이 레벨값(즉, G(i))을 갖는 경우, 이 G(i)값을 사용한다. 이러한 과정을 통해 획득한 영상들이 도 3에 도시한 I 성분의 차 영상 D'(i)(604)가 된다.At this time, there is always an uncertain region (ie, an indeterminate region) including error values larger than the lower threshold T _L but smaller than the upper threshold T _{H in the difference} image D (i) 603 of the I component. The spectacle frame area near the eyebrow contains error values whose difference in gray level intensity is generally less than the upper threshold value T _H , so it is not included in the occlusion area. Therefore, the eyeglass frame region G 800 extracted in step S212 of FIG. 2 is used so that the eyeglass frame region near the eyebrows can be included in the region where the gray level intensity difference values are larger than the upper threshold value T _H , that is, the occlusion region. do. As shown in Equation 10 below, at values having a gray level smaller than the upper threshold value T _H among the error values in the difference image D (i) 603 of the I component, the eyeglass frame region G 800 has a high gray level value. (That is, G (i)), this G (i) value is used. The images acquired through this process become the difference image D '(i) 604 of the I component shown in FIG.

전술한 과정들로부터 획득한 I 성분의 차 영상 D'(i)(604)는 I 성분의 정규화 영상(500)에서 안경에 의한 오클루젼을 제거하는 데 사용된다. I 성분의 차 영상 D'(i)(604) 내에서 에러값들은 0부터 255 범위의 그레이 레벨을 가지며, 전술한 바와 같이 결정된 임계값에 의해 비 오클루젼(non-occlusion) 영역, 불확정 영역, 오클루젼 영역으로 구분된다. 이제, I 성분의 차 영상 D'(i)(604)의 각 영역에 대해 다음의 수학식 11에 따라 서로 다른 가중치를 부여한다.The difference image D '(i) 604 obtained from the above-described processes is a normalized image of the I component. It is used at 500 to remove occlusion by the glasses. The error values in the difference image D '(i) 604 of the I component have gray levels in the range of 0 to 255, and are non-occlusion areas and indeterminate areas by threshold values determined as described above. , Occlusion region. Now, for each region of the difference image D '(i) 604 of the I component, different weights are given according to Equation 11 below.

여기서, ω(i)는 I 성분의 차 영상 D'(i)(604)에 대한 가중치를 나타낸다.Here, ω (i) represents the weight for the difference image D '(i) 604 of the I component.

상위 임계값 T_H보다 큰 에러값들을 갖는 오클루젼 영역에는 1의 가중치를 주고, 하위 임계값 T_L보다 작은 에러값들을 갖는 비 오클루젼 영역에 대해서는 0의 가중치를 준다. 여기서, 0의 가중치를 준다는 것은 원래의 입력 영상을 변경하지 않는다는 것을 의미한다. 그리고, 불확정 영역에는 0.5부터 1 사이의 가중치를 준다. 이때, 하한치인 0.5의 값은 실험을 통해 결정한 것이지만 본 발명은 이에 한정되지 않고, I 성분의 정규화 영상(500) 내에 포함된 안경에 의한 오클루젼을 제거한 후의 영상이 부자연스럽게 보이는 것을 보완해줄 수 있는 값이면 충분하다. 위의 과정은, I 성분의 정규화 영상(500)에서 안경으로 생각되는 부분만을 보정하기 위한 것이다. 전술한 바와 같이, 수학식 11에 따라 결정된 가중치들(도 7 참조)은 수학식 12를 통해 I 성분의 차 영상 D'(i)(604)에서 안경에 의한 오클루젼 영역을 보정하는 데 사용된다.A weight of 1 is given to an occlusion region having an error value larger than the upper threshold value T _H , and a weight of 0 is given to a non occlusion region having an error value smaller than the lower threshold value T _L. Here, giving a weight of 0 means that the original input image is not changed. The uncertainty region is weighted between 0.5 and 1. At this time, the lower limit value of 0.5 is determined through experiments, but the present invention is not limited thereto and the normalized image of the I component. A value that can compensate for the unnatural appearance of the image after removing the occlusion by the glasses included in 500 is sufficient. The above process, normalized image of the I component It is for correcting only the part considered to be glasses at 500. As described above, the weights determined according to Equation 11 (see FIG. 7) are used to correct the occlusion region by the glasses in the difference image D '(i) 604 of the I component through Equation 12. do.

여기서,는 본 발명에 따라 안경이 제거된 I 성분의 보정 영상(605)이다.here, Is a corrected image 605 of the I component from which the glasses are removed according to the present invention.

가중치가 0인 경우에는 비 오클루젼 영역으로 판단하여 I 성분의 정규화 영상(500)를 그대로 사용한다. 가중치가 1인 경우에는 오클루젼 영역으로 판단되므로, 반복적인 PCA 재구성 알고리즘의 첫 번째 반복 과정(t=0)(즉, 도 3의 첫 번째 컬럼(column))에서는 안경이 없는 샘플 얼굴 영상들으로부터 획득한 I 성분의 평균 영상(700)를 사용하여 I 성분의 보정 영상(605)을 얻는다. 그 이유는 처음 재구성한 I 성분의 재구성 영상(601)가 I 성분의 정규화 영상(500)에 포함된 안경이 완전히 제거된 영상이 아니기 때문이다. 따라서, 두 번째 반복 과정(즉, 도 3의 두 번째 컬럼)부터는 첫 번째 반복 과정(t=0)에서 안경을 제거한 I 성분의 보정 영상(605)을 재구성하여 획득한 I 성분의 재구성 영상(601)를 가지고 안경을 제거한다.If the weight is 0, the normalized image of the I component is determined as the non-occlusion region. (500) is used as it is. When the weight is 1, it is determined as the occlusion region, and thus sample face images without glasses are used in the first iteration process (t = 0) of the iterative PCA reconstruction algorithm (ie, the first column of FIG. 3). Image of I component obtained from Using 700, a corrected image 605 of the I component is obtained. The reason is that the reconstructed image of the first reconstructed I component 601 normalized image of I component This is because the glasses included in 500 are not completely removed images. Therefore, from the second iteration process (ie, the second column of FIG. 3), the reconstructed image of the I component obtained by reconstructing the correction image 605 of the I component from which the glasses are removed in the first iteration process (t = 0) Remove the glasses with 601.

가중치가 0.5 내지 1 사이의 값을 갖는 경우에는, 오클루젼의 유무를 확실하게 판단하기 어려운 불확정 영역이므로 가중치에 의해 I 성분의 정규화 영상(500)와 I 성분의 평균 영상(700) 또는 I 성분의 정규화 영상(500)와 I 성분의 재구성 영상(601)를 조합하여 보정한다. 구체적으로, 반복적인 PCA 재구성 알고리즘의 첫 번째 반복 과정(t=0)에서는 I 성분의 평균 영상(700) 내의 불확실한 영역에 해당되는 위치의 그레이 레벨 강도값에 가중치 ω를 승산한 결과와, I 성분의 정규화 영상(500)에서 대응되는 위치의 그레이 레벨 강도값에 "1-ω"를 승산하여 획득한 결과를 합산한 값을 사용하여 안경을 제거한다. 두 번째 반복 과정부터는 I 성분의 정규화 영상(500)와, 첫 번째 과정에서 획득한 I 성분의 보정 영상(605)을 재구성하여 I 성분의 재구성 영상(601)로써 사용하여 전술한 방법과 같이 보정한다.If the weight has a value between 0.5 and 1, it is an indeterminate area where it is difficult to reliably determine the presence or absence of occlusion. Average video of 500 and I components Normalized image of 700 or I component Reconstruction image of 500 and I component Correction is made by combining (601). Specifically, in the first iteration process (t = 0) of the iterative PCA reconstruction algorithm, the average image of the I component The normalized image of the I component and the result of multiplying the weight ω by the gray level intensity value at the position corresponding to the uncertain region in the 700 The glasses are removed using a value obtained by multiplying the result obtained by multiplying the gray level intensity value of the corresponding position by “1-ω” at 500. Normalized image of I component from the second iteration And a reconstructed image of the I component by reconstructing the corrected image 605 of the I component obtained in the first process. Use as 601 to calibrate in the same manner as described above.

상세하게, 도 3의 첫 번째 컬럼 영상들(I 성분의 정규화 영상(500) 제외)에서 I 성분의 재구성 영상(601) 내지 I 성분의 보정 영상(605)은 I 성분의 정규화 영상(500)에서 안경 부분을 찾고, I 성분의 정규화 영상(500)의 안경 부분을 I 성분의 평균 영상(700)를 사용하여 전술한 과정을 통해 생성한 영상들이다. 도 3의 두 번째 컬럼 영상들은 첫 번째 반복 과정(t=0)에서 보정된 I 성분의 보정 영상(605)을 재구성한 I 성분의 재구성 영상(601)을 사용하여, I 성분의 정규화 영상(500)와의 조합을 통해 생성된 영상들이다. 이것은 이후의 컬럼(즉, 세 번째 컬럼부터)에서도 동일하게 적용된다. 이러한 반복적인 PCA 재구성 알고리즘은 아래의 수학식 13과 같이 재구성 영상간의 차이가 사전설정된 기준값 θ보다 작거나 일정하게 유지될 때까지 반복 수행된다.In detail, the first column images of FIG. 3 (normalized image of I component) Reconstructed image of I component (except 500) 601 to I component corrected image 605 is a normalized image of the I component Finding glasses part at 500, normalized image of I component Average image of the I component of the glasses part of 500 Images generated through the above-described process using 700 are described. The second column images of FIG. 3 are reconstructed images of the I component reconstructing the corrected image 605 of the I component corrected in the first iteration process (t = 0). Normalized image of I component, using 601 The images are generated through the combination with 500. The same applies to subsequent columns (ie, from the third column). This iterative PCA reconstruction algorithm is repeatedly performed until the difference between the reconstruction images is less than or equal to the predetermined reference value θ as shown in Equation 13 below.

그리고, 반복을 멈췄을 때, 즉 재구성 영상간의 차이가 사전설정된 기준값 θ보다 작거나 일정하게 유지된 때, 마지막 과정에서 생성되는 보정된 얼굴 영상이 도 3의 오른쪽 아래의 I 성분의 최종 보정 영상(605)이 된다. 칼라의 정면 얼굴영상에 대한 안경이 제거된 I 성분의 최종 보정 영상들(이하, I' 영상으로 지칭함)의 예가 도 9의 하단에 도시되어 있다.When the repetition is stopped, that is, when the difference between the reconstructed images is less than or equal to the predetermined reference value θ, the corrected face image generated in the last process is the final corrected image of the I component in the lower right of FIG. 605). An example of the final corrected images of the I component with the glasses removed for the front face image of the collar (hereinafter referred to as I ′ image) is shown at the bottom of FIG. 9.

도 8은 본 발명에 따라 도 2의 단계(S216)에서 획득한 S 성분 및 H 성분의 정규화된 얼굴 입력 영상을 처리하기 위한 반복적인 PCA 재구성 알고리즘을 설명하기 위한 흐름도이다. 칼라의 안경 제거 영상을 획득하기 위해서는 도 3을 참조하여 설명한 I 성분의 정규화된 얼굴 입력 영상뿐만 아니라, S 성분 및 H 성분의 정규화된 얼굴 입력 영상에 대해서도 반복적인 PCA 재구성 알고리즘을 수행해야 한다. 이때, 도 3을 참조하여 설명한 I 성분의 정규화된 얼굴 입력 영상 처리에서와는 달리, S 성분 및 H 성분의 정규화된 얼굴 입력 영상에 대해 수행되는 반복적인 PCA 재구성 알고리즘에서는 도 2의 단계(S212)에서 추출한 안경테 영상 G(800)를 사용하지 않는다. 그 이유는, 전술한 바와 같이 S 및 H 성분은 각각 칼라의 얼굴 입력 영상에 대한 채도와 색상을 의미하는 것으로, S 및 H 성분의 정규화된 얼굴 입력 영상으로부터 획득되는 오클루젼 영역이 I 성분의 정규화된 얼굴 입력 영상 내에 존재하는 오클루젼 영역과 상이하기 때문이다.8 is a flowchart illustrating an iterative PCA reconstruction algorithm for processing normalized face input images of S and H components obtained in step S216 of FIG. 2 according to the present invention. In order to acquire the glasses removing image of the color, iterative PCA reconstruction algorithm must be performed on the normalized face input images of the S component and the H component as well as the normalized face input images of the I component described with reference to FIG. At this time, unlike in the normalized face input image processing of the I component described with reference to FIG. 3, in the iterative PCA reconstruction algorithm performed on the normalized face input images of the S component and the H component, it is extracted in step S212 of FIG. 2. Glasses frame image G (800) is not used. The reason is that, as described above, the S and H components mean saturation and color for the face input image of the color, respectively, and the occlusion region obtained from the normalized face input image of the S and H components is obtained from the I component. This is because the occlusion region existing in the normalized face input image is different.

먼저, S 성분의 정규화된 얼굴 입력 영상(이하, S 성분의 정규화 영상로 지칭함)(도 12의 상단 이미지 참조)에 대해 수행되는 반복적인 PCA 재구성 알고리즘을 설명하기로 한다. 반복적인 PCA 재구성 알고리즘의 수행에 앞서, S 성분의 정규화 영상의 영상값들은 0∼255의 범위를 갖도록 스트레칭(stretching)된다.First, a normalized face input image of an S component (hereinafter, referred to as a normalized image of an S component) (Refer to the top image in FIG. 12), an iterative PCA reconstruction algorithm will be described. Normalized image of S component prior to execution of iterative PCA reconstruction algorithm The image values of are stretched to have a range of 0 to 255.

단계(S802)에서, 도 11의 영상 처리부(1004)는 도 2의 단계(S216)에서 획득한 안경을 포함하는 S 성분의 정규화 영상에 대해 얼굴 DB(2000)(도 11 참조)에 저장되어 있는 다수의 샘플 얼굴 영상들을 가지고 미리 구한 S 성분의 평균 영상와 고유얼굴를 사용하여 전술한 수학식 5를 통해 S 성분의 정규화 영상를 재구성함으로써 안경이 없는 S 성분의 재구성 영상를 생성한다.In operation S802, the image processing unit 1004 of FIG. 11 may normalize an image of an S component including glasses obtained in operation S216 of FIG. 2. A plurality of sample face images stored in face DB 2000 (see FIG. 11) for Average image of the S component previously obtained with And unique face Normalized image of the S component through the above Equation 5 using Reconstructed image of S component without glasses by reconstructing Create

단계(S804)에서, 영상 처리부(1004)는 전술한 수학식 7을 사용하여 S 성분의 정규화 영상와 단계(S802)에서 생성한 S 성분의 재구성 영상로부터 S 성분의 차 영상 d(i)를 획득한다. 단계(S806)에서, 영상 처리부(1004)는 전술한 수학식 8을 사용하여 S 성분의 차 영상 d(i)를 스트레칭함으로써 얼굴의 특징을 반영한 S 성분의 차 영상 D(i)를 획득한다.In operation S804, the image processing unit 1004 may normalize an image of the S component by using Equation 7 described above. And the reconstructed image of the S component generated in step S802. The difference image d (i) of the S component is obtained from. In operation S806, the image processor 1004 obtains the difference image D (i) of the S component reflecting the feature of the face by stretching the difference image d (i) of the S component by using Equation 8 described above.

단계(S808)에서, 영상 처리부(1004)는 전술한 수학식 9를 사용하여 S 성분의 차 영상 D(i)내에서 오클루젼이 없는 영역의 에러값들의 평균을 계산하여 하위 임계값 T_L을 획득한다. 또한, 영상 처리부(1004)는 하위 임계값 T_L보다 큰 에러들의 평균을 계산하여 상위 임계값 T_H를 획득한다.In operation S808, the image processing unit 1004 calculates an average of error values of regions without occlusion in the difference image D (i) of the S component by using Equation 9 described above and lower threshold value T _L. Acquire. Also, the image processor 1004 obtains an upper threshold T _H by calculating an average of errors larger than the lower threshold T _L.

단계(S810)에서, 영상 처리부(1004)는 전술한 수학식 10을 사용하여 S 성분의 차 영상 D(i)에 대해 오클루젼 영역에는 가중치를 1, 비 오클루젼 영역에는 가중치를 0, 불확정 영역은 0.5 내지 1 사이의 값을 가중치로 부여함으로써 S 성분의보정 영상을 생성한다. 이때, I 성분의 정규화된 얼굴 입력 영상 처리에서와 마찬가지로, 반복적인 PCA 재구성 알고리즘의 두 번째 반복 과정부터는 첫 번째 반복 과정(t=0)에서 생성된 보정 영상을 재구성하여 S 성분의 재구성 영상로써 사용한다.In operation S810, the image processing unit 1004 uses the above equation (10) to weight the occlusion region with a weight of 1 for the difference image D (i) of the S component, 0 for the non-occlusion region, The indeterminate region generates a corrected image of the S component by weighting a value between 0.5 and 1. At this time, as in the normalized face input image processing of the I component, from the second iteration of the iterative PCA reconstruction algorithm, the reconstructed image of the S component is reconstructed by reconstructing the correction image generated in the first iteration process (t = 0). Use as.

단계(S812)에서, 영상 처리부(1004)는 전술한 수학식 13을 사용하여 S 성분의 재구성 영상들간의 차이가 사전설정된 기준값 θ보다 작거나 같은지 여부를 판단하여, 사전설정된 기준값 이하인 경우 반복적인 PCA 재구성 알고리즘의 수행을 멈추고, 이때 생성되어 있는 보정 영상을 안경이 제거된 S 성분의 최종 보정 영상(이하, S' 영상으로 지칭함)으로서 획득한다. 이와 같이 생성된 S' 영상은 도 12의 하단에 도시되어 있다.In step S812, the image processing unit 1004 determines whether the difference between the reconstructed images of the S component is less than or equal to the predetermined reference value θ by using Equation 13 described above, and if the predetermined reference value is less than or equal to the repetitive PCA The reconstruction algorithm is stopped, and the generated corrected image is obtained as a final corrected image (hereinafter, referred to as an S ′ image) of the S component from which the glasses are removed. The generated S 'image is shown at the bottom of FIG. 12.

H 성분의 정규화된 얼굴 입력 영상은 아래의 수학식 14를 사용하여 H 성분을 (H_x, H_y)^T로 표시한 후, S 성분의 정규화된 얼굴 입력 영상에 대해 도 8을 참조하여 설명한 반복적인 PCA 재구성 알고리즘에 따라 처리된다.In the normalized face input image of the H component, the H component is represented by (H _x , H _y ) ^T using Equation 14 below, and the normalized face input image of the S component is described with reference to FIG. 8. Is processed according to the PCA reconstruction algorithm.

널리 알려진 바와 같이, HSI 모델에서 H 성분의 영상값은 전술한 I 성분이나 S 성분의 영상값과는 달리, 0도와 360도가 동일한 색상을 나타내는 원형 좌표계에서 표현된다. 이러한 H 성분의 영상값들에 대해 반복적인 PCA 재구성 알고리즘을 적용하는 경우, 동일한 색상을 나타내는 0도와 360도가 자연스럽게 연결되지 않아, 생성된 보정 영상이 전혀 예상하지 못한 색상을 포함할 수 있다. 따라서, 본 발명에서는 반복적인 PCA 알고리즘의 수행중 H 성분의 영상값이 바뀌지 않도록, 수학식 14를 사용하여 H 성분의 영상값 (H_x, H_y)^T형태의 벡터값으로 바꾸어 사용한다. H_x및 H_y벡터 성분의 영상(도 13 및 도 14의 상단 이미지 참조) 각각은 전술한 S 성분의 정규화된 얼굴 입력 영상에서와 동일한 과정에 따라 반복적인 PCA 재구성 알고리즘을 적용한다. 이때, 본 발명에 따른 반복적인 PCA 재구성 알고리즘의 적용에 앞서 H_x및 H_y벡터 성분의 영상값이 0∼255가 되도록 스트레칭한 후 사용한다. H_x및 H_y벡터 성분의 영상을 처리하여 획득한 안경이 제거된및벡터 성분의 최종 보정 영상 각각이 도 13 및 14의 하단에 도시되어 있다.As is well known, the image value of the H component in the HSI model is expressed in a circular coordinate system that exhibits the same color as 0 degrees and 360 degrees, unlike the image values of the I component or the S component described above. When the repetitive PCA reconstruction algorithm is applied to the image values of the H component, 0 degrees and 360 degrees representing the same color are not naturally connected, so that the generated corrected image may include unexpected colors. Therefore, in the present invention, so that the image values of the H component in the performance of the iterative PCA algorithm change, and use by using the equation (14) change to the vector values of the image values of the H component (H _x, H _y) ^T form. Each of the images of the H _x and H _y vector components (see the top image of FIGS. 13 and 14) applies an iterative PCA reconstruction algorithm according to the same process as in the normalized face input image of the S component described above. At this time, prior to the application of the iterative PCA reconstruction algorithm according to the present invention, it is used after stretching the image values of H _x and H _y vector components to be 0 to 255. Glasses obtained by processing images of H _x and H _y vector components are removed. And Each of the final corrected images of the vector components is shown at the bottom of FIGS. 13 and 14.

전술한 과정들을 통해 획득한 보정 영상들인 I', S',,영상에 근거하여 최종적인 칼라의 안경 제거 영상을 획득하기 위해서는, 반복적인 PCA 재구성 알고리즘을 적용하기 위해 0∼255 범위의 값을 갖도록 스트레칭했던 S',,영상의 영상값을 원래대로 환원시켜야 한다. 그런 다음, 아래의 수학식 15를 사용하여 새로운및벡터 성분의 영상값들을 만족하는, H 성분의 정규화된 얼굴 입력 영상에 대한 최종 보정 영상인 H' 영상을 획득한다.I ', S', which are correction images obtained through the above-described processes, , In order to obtain the final color glasses removal image based on the image, S 'stretched to have a value in the range of 0 to 255 to apply an iterative PCA reconstruction algorithm. , The image value of the image should be reduced as it is. Then, using Equation 15 below, And An H ′ image, which is a final corrected image of the normalized face input image of the H component, satisfying the image values of the vector component is obtained.

여기서, 안경 제거 후의 새로운 H^' _x및 H^' _y벡터 성분의 영상값들은 H^'2 _x+H^'2 _y=1을 만족하지 않으므로, H^' _x을 (H^'2 _x+H^'2 _y)^1/2로 정규화하여 H^" _x을 얻은 후, 0도에서 360도의 범위에 있는 새로운 H'을 구한다.Here, since the image values of the new H ^' _x and H ^' _y vector components after removing the glasses do not satisfy H ^'2 _x + H ^{' 2} _y = 1, H ^' _x (H ^{' 2} _x + H ^'2 _y ) Normalize to ^1/2 to get H ^" _x , then find a new H 'in the range of 0 to 360 degrees.

그런 후에, H', S', I' 영상에 대해 다음의 수학식 16을 사용하여 HSI-RGB 변환을 수행한다. HSI-RGB 변환을 통해 최종적으로 획득한 R', G', B' 성분의 영상값에 근거하여, 도 10의 하단에 도시한 바와 같은 안경이 제거된 자연스러운 최종적인 칼라의 얼굴 영상을 획득할 수 있다. 이것은 본 기술분야에서 널리 알려져 있으므로 이에 대한 상세한 설명은 생략하기로 한다.Then, HSI-RGB conversion is performed on the H ', S', and I 'images by using Equation 16 below. On the basis of the image values of the R ', G', and B 'components finally obtained through the HSI-RGB conversion, a natural final color face image with glasses removed as shown in the lower part of FIG. 10 may be obtained. have. Since this is widely known in the art, a detailed description thereof will be omitted.

여기서, r, g, b 각각은 r+g+b=1을 만족하는 0∼1 범위에 있는 정규화된 값이다. 전술한 수학식 6 및 수학식 16은 본 기술분야에 널리 알려져 있으므로 이에 대한 상세한 설명은 생략하기로 한다. (R. C. Gonzalez and R. E. Woods, "Digital Image Processing," Addison-Wesley Publishing Company, 1992 참조)Here, each of r, g, and b is a normalized value in the range of 0 to 1 satisfying r + g + b = 1. Equations 6 and 16 described above are well known in the art, so a detailed description thereof will be omitted. (See R. C. Gonzalez and R. E. Woods, "Digital Image Processing," Addison-Wesley Publishing Company, 1992).

전술한 바와 같이, 본 발명에 따르면 칼라의 정면 얼굴 입력 영상에서 제거되어야 할 오클루젼 영역을 찾고 동시에 이를 보정함으로써, 안경이 제거된 고품질의 자연스러운 칼라의 얼굴 영상을 획득할 수 있다. 이때, 오클루젼 영역에는 안경테뿐만 아니라 안경 렌즈에 빛이 반사되어 생기는 영역 및 안경 때문에 얼굴 내에 생기는 그림자 영역 등이 모두 포함된다. 또한, 본 발명에 따른 영상 처리 방법은 다른 오클루젼 문제를 해결하는 데에도 다양하게 이용될 수 있으며, 자동 얼굴 인식 시스템의 인식 효율을 높일 수 있는 효과가 있다.As described above, according to the present invention, by finding and correcting an occlusion region to be removed from the front face input image of the collar, it is possible to obtain a high quality natural color face image from which glasses are removed. In this case, the occlusion region includes not only the spectacle frame but also a region generated by light reflection on the spectacle lens and a shadow region generated in the face due to the spectacles. In addition, the image processing method according to the present invention can be used in various ways to solve other occlusion problems, it is effective to increase the recognition efficiency of the automatic face recognition system.

본 발명이 바람직한 실시예를 통해 설명되고 예시되었으나, 당업자라면 첨부한 청구 범위의 사상 및 범주를 벗어나지 않고 여러 가지 변형 및 변경이 이루어질 수 있음을 알 수 있을 것이다.While the present invention has been described and illustrated by way of preferred embodiments, those skilled in the art will recognize that various modifications and changes can be made without departing from the spirit and scope of the appended claims.

Claims

An image processing method for acquiring an image of removing glasses from a front face image of a collar including glasses, the method comprising:

a) receiving a color front face image of RGB including glasses, wherein each of the RGB elements comprises a red component, a green component, and a blue component included in the received color front face image; ― And,

b) extracting candidate regions of the eye from the received color front face image;

c) determining an accurate eye area from among the candidate areas, and normalizing the received color frontal face image to a predetermined size around the determined eye area;

d) extracting an eyeglass frame region using color information and edge information of the eyeglass frame included in the received color front face image;

e) performing RGB-HSI conversion on the normalized front face image;

f) generating glasses H ', S', I 'with glasses removed based on the normalized front face images of the RGB-HSI converted H, S, I components, said H, S, I components Denotes the Hue component, the Saturation component, and the Intensity component, respectively,

g) obtaining R ', G', and B 'corrected images by performing HSI-RGB conversion on the corrected images H', S ', and I';

h) generating a final face image of the color from which glasses are removed based on the R ', G', and B 'correction images;

Including,

Step f),

f1) obtaining reconstructed images of H, S and I components reconstructed normalized front face images of the H, S and I components;

f2) obtaining first differential images of H, S, and I components between the normalized front face images of the H, S, and I components and reconstructed images of the H, S, and I components;

f3) H, S, by stretching each of the primary images of the H, S, I components based on pixel information included in the primary images of the H, S, and I components. Obtaining second images of the I component,

f4) determining a threshold for dividing each of the H, S, and I secondary images into an occlusion region, a non-occlusion region, and an indeterminate region;

f5) acquiring a third image of component I by including the extracted eyeglass frame region in an indeterminate region divided according to the determined threshold value in the second image of component I;

f6) distinguishing each of the secondary images of the H component and the S component and the third secondary image of the I component according to the determined threshold value, and assigning a weight to each of the divided regions;

f7) obtaining the corrected images H ', S', and I 'by applying the weight to each of the second and third images of the H and S components and the third and third images of the I component.

Image processing method comprising a.

The method of claim 1,

The normalized front face image of the H component is

(Equation 14)

It is expressed as an image of the vector component through, and is a correction image with glasses removed based on the image of the H _x and H _y vector component And An image processing method for obtaining an image of a vector component.

The method of claim 2,

(Equation 15)

Using the above And The correction image H 'is obtained from a correction image of a vector component,

Wherein H ^_"x is the image processing method will be normalized ^to" a _x ^(H, H ² + H ^{_x, 2} _y) ^1/2.

The method of claim 1,

The corrected images H ', S', and I 'are obtained through a Principal Component Analysis (PCA) reconstruction algorithm,

Step c) is

c1) acquiring first and second converted images using the color information included in the received color front face image;

c2) normalizing the received color front face image using the first and second transformed images;

Image processing method comprising a.

The method of claim 4, wherein

And the first converted image is a generalized skin color distribution (GSCD) converted image, and the second converted image is a black and white color distribution (BWCD) converted image.

The method of claim 5, wherein

And the color information is gray-level pixel information.

The method of claim 5, wherein

The stretching in step f3),

(Equation 8)

Is done using

Where D (i) is the secondary images of the H, S and I components, Are reconstructed images of the H, S and I components generated during the PCA reconstruction algorithm, d (i) are the first order images of the H, S and I components, and i is an index indicating a pixel in each image ( index) image processing method.

The method of claim 5, wherein

And the occlusion area is an area including the glasses, a shadow area by the glasses in the received color front face image, an error due to light reflection, and the like.

The method of claim 8,

Step f4),

Inverting the first converted image;

ORing the inverted first transformed image and the second transformed image;

Determining an average of error values in the ORed image as a lower threshold value;

Determining an average of error values greater than the lower threshold as an upper threshold

Image processing method comprising a.

The method of claim 9,

The lower threshold and the upper threshold,

(Equation 9)

Is determined using

Where D (j) represents the error value of the facial skin region corresponding to the non-closure region in the second images of the H, S, and I components, and D (k) represents the error value of the H, S, and I components. And an error value other than the facial skin region corresponding to the occlusion region in the secondary images.

The method of claim 10,

The indeterminate region in the secondary image of the I component is

(Equation 10)

The third image is obtained by including the extracted eyeglass frame region through

D '(i) is a third order image of the I component and G (i) is a gray-level value of the extracted eyeglass frame region.

The method of claim 11,

For the third image of the I component,

(Equation 11)

By using, an area having an error value exceeding the upper threshold value has a weight of 1, and an area having an error value less than the lower threshold value has a weight value of 0 and an error value between the lower threshold value and the upper threshold value. Areas should be weighted between 0.5 and 1,

The region having an error value exceeding the upper threshold is an occlusion region, the region having an error value less than the lower threshold is a non-occlusion region, and the error between the lower threshold and the upper threshold. The area having a value is an indeterminate area.

The method of claim 12,

The occlusion region in the third image of the component I is

(Equation 12)

Is corrected by

here Is the I 'image, ω is the weight, Is the mean image of the I component, Is a reconstructed image of the I component, Is a normalized front face image.

The method of claim 10,

An area having an error value exceeding the upper threshold in the second images of the H component and the S component has a weight of 1, and an area having an error value less than the lower threshold has a weight of 0 and the lower threshold. An area having an error value between the upper threshold values is weighted between 0.5 and 1,

The method of claim 14,

The occlusion region in the second images of the H component and the S component is

(Equation 12)

Is corrected by

here Is the H 'and S' image, ω is the weight, Is the average image of the H component and the S component, Is a reconstructed image of the H component and the S component, Is a normalized front face image.

The method according to claim 13 or 15,

The image processing method,

Repeating the steps f1) to f7)

Include more,

When performing the repetition step, an image corrected in step f7) is used in place of the normalized front face image in step f1).

The method of claim 16,

The image processing method,

Determining whether a difference between the corrected images generated in the repetition step is equal to or less than a predetermined value;

If the difference is less than or equal to the predetermined value, outputting the corrected image generated in the repetition step as HSI-RGB conversion and outputting the final face image of the color;

If the difference exceeds the predetermined value, performing the repeating step again

Image processing method further comprising.