KR100892078B1 - 영상 밝기 조절 장치 및 그 방법 - Google Patents

Abstract

입력 영상의 밝기 특성에 따라 출력 영상의 밝기 선명도가 조절되는 영상 밝기 조절 장치 및 방법이 개시된다. 영상 밝기 조절 장치는, 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하는 오프셋 테이블을 산출하는 전처리부; 및 상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 톤 매핑부를 포함한다. 본 발명에 의하면, 입력 영상의 화소값의 범위 및 입력 변수에 따라 출력 영상에 적용할 다이나믹 레인지의 조절이 가능하다.

영상, 밝기, 조절, 다이나믹 레인지

Description

영상 밝기 조절 장치 및 그 방법{Image brightness controlling apparatus and method thereof}

도 1은 히스로그램 이퀄라이제이션을 적용하기 위한 입력 영상(input image)과 출력 영상(output image)의 변환 함수 그래프.

도 2는 본 발명의 일 실시예에 따른 영상 장치의 개략적인 구성도.

도 3은 본 발명의 일 실시예에 따른 영상 밝기 조절 장치의 개략적인 구성도.

도 4는 본 발명의 일 실시예에 따른 전처리부의 개략적인 구성도.

도 5는 본 발명의 일 실시예에 따른 전처리부에서의 영상 밝기를 조절하는 방법의 순서도.

도 6a는 원본 영상을 나타내는 일 예시도.

도 6b는 도 6a의 원본 영상에 본 발명의 일 실시예에 따른 영상 밝기 조절 방법을 적용하여 획득한 출력 영상을 나타내는 일 예시도.

도 7a는 원본 영상을 나타내는 다른 예시도.

도 7b는 도 7a의 원본 영상에 본 발명의 일 실시예에 따른 영상 밝기 조절 방법을 적용하여 획득한 출력 영상을 나타내는 다른 예시도.

<도면의 주요부분에 대한 부호의 설명>

200 : 영상 장치

210 : RGB-HSV 변환부

215 : RGB-YUV 변환부

220 : 영상 밝기 조절 장치

230 : HSV-RGB 변환부

235 : YUV-RGB 변환부

본 발명은 영상 밝기 조절 장치에 관한 것으로, 보다 상세하게는 영상 전체에 대한 밝기의 선명도를 향상시키는 영상 밝기 조절 장치 및 그 방법에 관한 것이다.

입력된 영상의 다이나믹 레인지(dynamic range)를 조절하기 위한 종래 기술은 다음과 같다. 이하에서는 n 비트 영상인 경우를 예로 들어 설명한다.

(1) 콘트라스트 인헨스먼트(Contrast Enhancement)

영상 내에서 최소 화소값과 최대 화소값을 이용하여 하기의 수학식 1에 적용함으로써 0 내지 2ⁿ-1 사이의 값으로 다이나믹 레인지를 조절한다.

Output = (2ⁿ-1) × (Input - Min) / (Max - Min)

여기서, Output은 출력 영상의 화소값, Input은 입력 영상의 화소값, Max는 입력 영상의 최대 화소값, Min은 입력 영상의 최소 화소값이다.

(2) 히스토그램 이퀄라이제이션(Histogram Equalization)

도 1은 히스로그램 이퀄라이제이션을 적용하기 위한 입력 영상(input image)과 출력 영상(output image)의 변환 함수 그래프이다.

우선 영상의 히스토그램 정보를 이용하여 영상 내 화소값에 대한 누적밀도함수 (CDF: Cumulative Density Function)를 구한다. 그리고 누적밀도함수의 스케일을 0 내지 2ⁿ-1로 조절하여 입력 영상과 출력 영상의 변환 함수(100)로 사용한다.

특정 화소값의 개수가 많을 경우 변환 함수(100)의 기울기가 급하게 변화하므로, 해당 화소값에 대한 다이나믹 레인지를 늘려주는 효과가 있다.

상술한 콘트라스트 인헨스먼트나 히스토그램 이퀄라이제이션 방법은 입력 영상의 화소값의 범위에 상관없이 항상 0 내지 2ⁿ-1 사이의 값으로 다이나믹 레인지를 조절한다.

하지만, 입력 영상의 화소값의 범위가 상당히 좁음에도 불구하고 0 내지 2ⁿ-1 사이의 값으로 다아나믹 레인지를 강제적으로 늘릴 경우 화질이 개선되지 않고 오히려 노이즈가 심해지고 영상이 상당히 부자연스럽게 보이게 되는 문제점이 있 다.

따라서, 본 발명은 입력 영상의 화소값의 범위가 좁은 경우에는 콘트라스트 인헨스먼트 방법이 효과가 좋지만 입력 영상의 화소값의 범위가 넓은 경우에는 화소값의 분포 특성을 고려한 히스토그램 이퀄라이제이션 방법이 오히려 더 효과가 좋으므로 이를 입력 영상의 화소값의 범위에 따라 적절히 조합하는 영상 밝기 조절 장치 및 그 방법을 제공하는 것이다.

또한, 본 발명은 입력 영상의 화소값의 범위에 따라 출력 영상에 적용할 다이나믹 레인지를 조절하고, 영상의 분포 특성을 얼마나 반영할지를 자동으로 고려하여 밝기의 선명도를 향상시키는 영상 밝기 조절 장치 및 그 방법을 제공하는 것이다.

본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.

본 발명의 일 측면에 따르면, 입력 영상의 밝기 특성에 따라 출력 영상의 밝기 선명도가 조절되는 영상 밝기 조절 장치가 제공된다.

일 실시예에 따른 영상 밝기 조절 장치는, 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하 는 오프셋 테이블을 산출하는 전처리부; 및 상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 톤 매핑부를 포함한다.

여기서, 상기 색상 데이터는 HSV 데이터이고, 상기 전처리부는 상기 HSV 데이터 중 V 값을 이용하여 상기 다이나믹 레인지를 조절할 수 있다.

또는 상기 색상 데이터는 YUV 데이터 또는 YCbCr 데이터이고, 상기 전처리부는 상기 색상 데이터 중 Y 값을 이용하여 상기 다이나믹 레인지를 조절할 수 있다.

또한, 상기 전처리부는, 상기 밝기 값을 n 비트 해상도로 스케일링하고, 상기 입력 영상의 화소들에 대해서 상기 밝기 값들이 나타나는 경우의 수를 히스토그램으로 나타내는 히스토그램 획득부-여기서, 상기 n은 자연수임-와, 상기 히스토그램을 상기 밝기 값에 대하여 누적한 누적밀도함수(CDF)를 산출하는 CDF 산출부와, 상기 누적밀도함수의 소정 영역을 영상 범위로 설정하는 영상 범위 설정부와, 상기 영상 범위 및 밝기 조절 강도를 조합하여 상기 입력 영상의 밝기 값을 스트레칭(stretching)하는 스트레칭부와, 상기 누적밀도함수로부터 상기 밝기 값이 상기 입력 영상에서 차지하는 비율을 계산하고, 상기 비율로부터 상기 밝기 값의 오프셋 값(offset value)을 산출하는 오프셋 산출부를 포함할 수 있다.

여기서, 상기 CDF 산출부는 상기 누적밀도함수를 상기 밝기 값에 상응하여 정규화시켜 최대값이 상기 밝기 값의 해상도인 2ⁿ-1이 되도록 정규화된 누적밀도함수(Normed_CDF)를 산출할 수 있다.

그리고 상기 영상 범위 설정부는 임의의 화소의 누적밀도함수 값을 상기 입 력 영상의 크기로 나눈 값이 미리 설정되거나 사용자에 의해 입력된 경계에 해당하는 화소의 밝기 값을 전체 최소값(global_min) 및 전체 최대값(global_max)으로 설정할 수 있다. 상기 스트레칭부는 상기 전체 최소값 및 상기 전체 최대값과, 미리 설정되거나 사용자로부터 입력받은 상기 밝기 조절 강도를 조합하여 출력 영상에 적용하게 될 다이나믹 레인지를 결정할 수 있다.

그리고 상기 오프셋 산출부는 상기 입력 영상의 각 밝기 값들의 누적밀도함수 값으로부터 현재 밝기 값이 상기 입력 영상에서 차지하는 비율을 계산하고, 상기 비율로부터 상기 오프셋 값을 산출할 수 있다. 상기 오프셋 산출부는 상기 입력 영상의 모든 화소들에 대하여 상기 오프셋 값을 산출하여 상기 오프셋 테이블을 획득할 수 있다.

본 발명의 또 다른 측면에 따르면, 입력 영상의 밝기 특성에 따라 출력 영상의 밝기 선명도가 조절되는 영상 밝기 조절 방법이 제공된다.

일 실시예에 따른 영상 밝기 조절 방법은, 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하는 오프셋 테이블을 산출하는 단계; 및 상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 단계를 포함한다.

여기서, 상기 색상 데이터는 HSV 데이터이고, 상기 오프셋 테이블 산출 단계는 상기 HSV 데이터 중 V 값을 이용하여 상기 다이나믹 레인지를 조절할 수 있다.

또는 상기 색상 데이터는 YUV 데이터 또는 YCbCr 데이터이고, 상기 오프셋 테이블 산출 단계는 상기 색상 데이터 중 Y 값을 이용하여 상기 다이나믹 레인지를 조절할 수 있다.

또한, 상기 오프셋 테이블 산출 단계는, 상기 입력 영상의 화소들에 대해서 상기 밝기 값들이 나타나는 경우의 수로부터 히스토그램으로 획득하는 단계; 상기 히스토그램을 상기 밝기 값에 대하여 누적한 누적밀도함수를 산출하는 단계; 상기 누적밀도함수의 소정 영역을 영상 범위로 설정하는 단계; 상기 영상 범위 및 밝기 조절 강도를 조합하여 상기 입력 영상의 밝기 값을 스트레칭하는 단계; 상기 누적밀도함수로부터 상기 밝기 값이 상기 입력 영상에서 차지하는 비율을 계산하는 단계; 및 상기 비율로부터 상기 밝기 값의 오프셋 값을 산출하는 단계를 포함할 수 있다.

그리고 상기 히스토그램 획득 단계는 상기 밝기 값을 n 비트 해상도로 스케일링하는 단계가 선행되되, 상기 누적밀도함수 산출 단계는 상기 누적밀도함수를 상기 밝기 값에 상응하여 정규화시켜 최대값이 상기 밝기 값의 해상도인 2^n-1이 되도록 정규화된 누적밀도함수를 산출할 수 있다.

상기 영상 범위 설정 단계는 임의의 화소의 누적밀도함수 값을 상기 입력 영상의 크기로 나눈 값이 미리 설정되거나 사용자에 의해 입력된 경계에 해당하는 화소의 밝기 값을 전체 최소값 및 전체 최대값으로 설정할 수 있다. 그리고 상기 스트레칭 단계는 상기 전체 최소값 및 상기 전체 최대값과, 미리 설정되거나 사용자 로부터 입력받은 상기 밝기 조절 강도를 조합하여 출력 영상에 적용하게 될 다이나믹 레인지를 결정할 수 있다.

또한, 상기 오프셋 산출 단계는 상기 입력 영상의 각 밝기 값들의 누적밀도함수 값으로부터 현재 밝기 값이 상기 입력 영상에서 차지하는 비율을 계산하고, 상기 비율로부터 상기 오프셋 값을 산출할 수 있다. 상기 오프셋 산출 단계는 상기 입력 영상의 모든 화소들에 대하여 상기 오프셋 값을 산출하여 상기 오프셋 테이블을 획득할 수 있다.

본 발명의 또 다른 측면에 따르면, 입력 영상의 밝기 특성에 따라 출력 영상의 밝기 선명도를 조절하는 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 컴퓨터로 읽을 수 있는 기록 매체에 있어서, 상술한 영상 밝기 조절 방법을 수행하는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체가 제공된다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 영상 장치의 개략적인 구성도이고, 도 3은 본 발명의 일 실시예에 따른 영상 밝기 조절 장치의 개략적인 구성도이며, 도 4는 본 발명의 일 실시예에 따른 전처리부의 개략적인 구성도이고, 도 5는 본 발명의 일 실시예에 따른 전처리부에서의 영상 밝기를 조절하는 방법의 순서도이다.

영상 장치(200)는 RGB-HSV 변환부(210), 영상 밝기 조절 장치(220) 및 HSV-RGB 변환부(230)를 포함한다. 또는 RGB-YUV 변환부(215), 영상 밝기 조절 장치(220) 및 YUV-RGB 변환부(235)를 포함한다.

일 실시예에 따른 영상 장치(200)는 RGB 데이터를 색상 데이터 중 HSV 데이터로 변환하여 영상 밝기 조절을 수행하고, 다시 RGB 데이터로 변환한다.

RGB-HSV 변환부(210)는 입력 영상의 RGB 데이터를 HSV 데이터로 변환한다. 일반적으로 입력 영상은 각 화소들에 대한 영상 정보로 RGB 데이터를 가지고 있다. 본 발명의 실시예에 따른 영상 밝기 조절을 위해서는 영상 정보를 HSV 색모델 하에서 적용시킬 필요가 있다.

RGB 색모델은 빛의 삼원색인 적색(R), 녹색(G), 청색(B)의 3가지 색의 합성 성분으로 임의의 색을 표현한다. 임의의 색에 대하여 R, G, B의 세 값으로 표현하게 되며, 가산혼합의 원리를 적용하여 R, G, B의 세 값이 0이면 검은색이 된다.

CMY 색모델은 색의 삼원색인 청록(Cyan), 마젠타(Magenta), 노랑(Yellow)의 세 색을 기본색으로 하고, 임의의 색을 이 세 색의 조합으로 표현한다. 이 경우에는 색을 합성할수록 어두워지는 감산혼합의 원리를 적용하여 C, M, Y의 세 값이 0이면 흰색이 된다.

HSV 색모델은 인간의 색에 대한 감각과 비교적 일치하는 모형이다. RYGCBM의 여섯 색상을 기본으로 하여 이들을 원주 상에 60도 간격으로 배치하고, 이들을 등간격으로 분할한 색을 인접 기본색의 합성으로 만들어 냄으로써 전체 원주를 완성하는데, 이를 색상환이라고 한다. 이러한 색상환에서의 위치를 색상(Hue)의 H 값으로 한다. 채도(Saturation)의 S 값은 CIE 색도(CIE xyY Chromaticity Diagram)에서 가장자리로 갈수록 큰 값을 가지고, 이 값이 0인 경우 중심의 흰색이 된다. 그리고 명도(Value)의 V 값은 색의 밝기를 나타낸다.

RGB-HSV 변환부(210)는 RGB 색모델에 대응되는 입력 영상의 화소값(R, G, B 값)을 HSV 색모델에 대응되는 화소값(H, S, V 값)으로 변환한다.

H 값은 색상 즉, 색 종류(빨강, 노랑 또는 파랑 같은 색 성분)를 나타내며, 표현 가능한 모든 색을 0 내지 360 영역에서 표현한다. 일반적으로 0 내지 100%로 정규화한다. S 값은 채도 즉, 색의 선명도를 나타내며, 0 내지 100% 범위에서 나타내고, 값이 작을수록 무채색에 가까운 것을 의미한다. V 값은 명도 즉, 색의 밝기를 나타내고, 0 내지 100% 범위에서 나타내며, 낮은 값일수록 어두운 영역을 의미하고 높은 값일수록 밝은 영역을 의미한다.

하기의 수학식 2를 이용하여 RGB-HSV 변환부(210)는 RGB-HSV 변환을 수행한다.

여기서, MAX는 입력 영상의 각 화소별 R, G, B 값 중 최대값을 나타내고, MIN은 입력 영상의 각 화소별 R, G, B 값 중 최소값을 나타낸다. 여기서, H는 0 내지 360 사이의 값을 가지고, S와 V는 0 내지 1 사이에서 변화한다.

만약 MAX와 MIN이 동일하면(MAX = MIN 즉, S=0), H는 정의되지 않는다. 이는 S 값이 0인 경우 무채색으로 색상 성분이 없기 때문이다. 또한, MAX가 0인 경우 S는 정의되지 않는다. 이는 V 값이 0인 경우 순수한 검정색으로 색상 성분, 채도 성분을 가지고 있지 않기 때문이다.

상기 수학식 2에 의한 변환 공식에 따라 입력 영상의 각 화소별 H, S, V 값을 획득할 수 있다.

영상 밝기 조절 장치(220)는 RGB-HSV 변환부(210)에서 획득한 입력 영상의 각 화소별 H, S, V 값 중에서 V 값을 이용하여 영상 전체에 대한 밝기의 선명도를 조절한다. 영상 밝기 조절 장치(220)는 전처리부(310) 및 톤 매핑부(320)를 포함한다(도 3 참조). 전처리부(preprocessing part)(310)는 입력 영상으로부터 오프셋 테이블(offset table)을 획득하며, 톤 매핑부(tone mapping part)(320)는 획득한 오프셋 테이블을 입력 영상에 매핑(mapping)한다. 영상 밝기 조절 장치(220)에 대해서는 추후 도 3 이하 도면을 참조하여 상세히 설명하기로 한다.

HSV-RGB 변환부(230)는 영상 밝기 조절 장치(220)에 의해 밝기 값(V 값)이 조절된 영상의 각 화소별 H, S, V 값을 R, G, B 값으로 변환한다. 이는 RGB-HSV 변환부(210)에서 이루어지는 변환의 역에 해당한다.

HSV-RGB 변환의 일례는 다음과 같다.

(1) S가 0인 경우 색은 무채색 계열로, R, G, B는 V 값을 따른다.

(2) S가 0이 아닌 경우 하기 수학식 3에 따른다.

여기서, mod N은 N으로 나눈 나머지를 나타내는 함수이다.

영상 장치(200)는 RGB 색모델에 관한 데이터인 입력 영상을 역시 동일한 색모델인 출력 영상으로 변환한다.

하지만, 본 발명의 일 실시예에 따른 영상 밝기 조절 장치(220)는 영상 밝기 를 조절하는 경우에는 HSV 색모델에 관한 HSV 데이터 중 밝기 값인 V 값을 이용한다.

또는 본 발명의 다른 실시예에 따른 영상 밝기 조절 장치(220)는 영상 밝기를 조절하는 경우에는 YUV 색모델에 관한 YUV 데이터 중 밝기 값인 Y 값을 이용한다.

YUV 색모델은 사람의 눈이 광도에 가장 민감한 특성을 가지는 것을 이용한 색모델로써, Y는 광도, 휘도(luminance)를 나타내고 U, V는 색도(chrominance)를 나타낸다.

다른 실시예에 따른 영상 장치(200)는 RGB-YUV 변환부(215)와, YUV-RGB 변환부(235)를 포함하고 있다.

RGB-YUV 변환부(215)는 RGB 색모델에 대응되는 입력 영상의 화소값(R, G, B 값)을 하기 수학식 4에 따라 YUV 색모델에 대응되는 화소값(Y, U, V 값)으로 변환한다.

Y=0.299×R+0.587×G+0.114×B

U=-0.1687×R-0.3313×G+0.5×B+128

V=0.5×R-0.4187×G-0.0813×B+128

상기 수학식 4에 의해 획득된 Y 값을 이용하여 영상 밝기 조절 장치(220)는 추후 설명하는 방법에 따라 영상 밝기를 조절한다.

그리고 YUV-RGB 변환부(235)는 영상 밝기 조절 장치(220)에 의해 밝기 값(Y 값)이 조절된 영상의 각 화소별 Y, U, V 값을 R, G, B 값으로 변환한다. 이는 RGB-YUV 변환부(215)에서 이루어지는 변환의 역에 해당하며, 하기 수학식 5에 의한다.

R=Y+1.370705×(V-128)

G=Y-0.337633×(U-128)-0.698001×(V-128)

B=Y+1.732446×(U-128)

또한, 본 발명의 또 다른 실시예에 따른 영상 밝기 조절 장치(220)는 영상 밝기를 조절하는 경우 YCbCr 색모델에 관한 YCbCr 데이터 중 밝기 값인 Y 값을 이용한다.

즉, 본 발명에서 영상 밝기 조절 장치(220)는 색상 데이터에 포함된 밝기 값을 이용하여 영상 밝기를 조절하며, 밝기 값을 포함하는 색상 데이터에 대해서는 본 발명이 적용가능함을 당업자는 이해해야 할 것이다.

이하에서는 본 발명의 이해와 설명의 편의를 위해 색상 데이터 중 HSV 데이터를 중심으로 설명하기로 한다. 밝기 값(V 값)을 이용하여 영상 밝기를 조절하는 영상 밝기 조절 장치(220)의 구성 및 기능에 대하여 상세히 설명하기로 한다.

도 3을 참조하면, 전처리부(310)는 히스토그램 획득부(311), CDF 산출부(313), 영상 범위 설정부(315), 스트레칭부(317) 및 오프셋 산출부(319)를 포함한다. 이하에서는 입력 영상이 n 비트 해상도를 가지는 것으로 가정하여 설명하기로 한다.

히스토그램 획득부(311)는 입력 영상의 각 화소의 H, S, V 값 중에서 밝기 값인 V 값을 0 내지 2ⁿ-1로 스케일링하고, 입력 영상 내의 각 화소들에 대해서 해당 V 값들이 나타나는 경우의 수를 히스토그램(histogram)으로 표현한다.

CDF 산출부(313)는 히스토그램 획득부(311)에서 획득한 히스토그램을 밝기 값이 0일 때부터 누적하여 표현한 누적밀도함수(이하 'CDF' 함)를 산출한다. CDF의 최대값은 밝기 값이 2ⁿ-1인 경우에 입력 영상의 크기 즉, (가로 화소 수)×(세로 화소 수)이며, 입력 영상 내의 총 화소수가 된다.

상술한 CDF의 최대값은 입력 영상의 크기 즉, 입력 영상 내의 총 화소수이므로, 이를 밝기 값에 상응하여 정규화시킨 정규화된 CDF(normed CDF)가 더 산출될 수도 있다. 즉, 밝기 값이 2ⁿ-1인 경우에 최대값이 2ⁿ-1이 되도록 정규화시킨다.

영상 범위 설정부(315)는 입력 영상의 화소들의 밝기 값의 분포 범위를 찾기 위하여 임의의 화소의 CDF 값을 입력 영상의 크기로 나눈 값이 미리 설정되거나 사용자에 의해 입력된 경계에 해당하는 화소의 밝기 값을 전체 최소값(global_min) 및 전체 최대값(global_max)으로 설정한다. CDF 값을 입력 영상의 크기로 나눈 값이 A(예를 들어, 0.001)에 해당하는 경우의 밝기 값을 전체 최소값, B(예를 들어, 0.999)에 해당하는 경우의 밝기 값을 전체 최대값이라 설정할 수 있다. 여기서, A 및 B는 0과 1 사이의 실수 중 하나이고, B가 A보다 크다.

입력 영상의 화소들의 밝기 값 중 전체 최소값과 전체 최대값 사이의 일정 범위를 선택하는 것은 튀는 노이즈(noise)에 대한 영향을 배제하고자 함이다. 영상 에서 차지하는 비율이 거의 없는 밝기 값(예를 들어, salt and pepper noise)일 경우 그 값을 무시하고 본 발명의 실시예에 따른 영상 처리를 하기 위함이다.

스트레칭부(317)는 영상 범위 설정부(315)에서 설정된 전체 최소값 및 전체 최대값과, 미리 설정되거나 사용자로부터 입력받은 입력 변수(input parameter)인 밝기 조절 강도(strength)를 조합하여 입력 영상의 밝기 값을 스트레칭(stretching)한다.

즉, 전체 최소값의 변경 값인 변경 최소값(modi_min)과, 전체 최대값의 변경 값인 변경 최대값(modi_max)를 획득하고, 전체 최소값 및 전체 최대값 내에 위치하던 입력 영상의 각 화소들의 밝기 값을 변경 최소값 및 변경 최대값 내에 위치하도록 함으로써 스트레칭을 수행한다. 여기서 획득된 변경 최소값과 변경 최대값이 출력 영상에 적용하게 될 다이나믹 레인지를 결정한다.

그리고 오프셋 산출부(319)는 입력 영상의 각 밝기 값들의 CDF로부터 현재 해당 밝기 값이 입력 영상에서 차지하는 비율을 계산하고, 해당 비율로부터 오프셋 값(offset value)을 산출한다. 그리고 스트레칭부(317)에서 스트레칭된 영상의 밝기 값에 오프셋 값을 더하여 밝기 값 0 내지 2ⁿ-1 에 대한 오프셋 테이블(offset table)을 획득한다. 여기서 CDF로부터 획득 가능한 입력 영상의 분포 특성의 반영 정도를 고려함으로써 입력 영상의 특성에 맞게 밝기의 선명도를 향상시키는 효과가 있다.

톤 매핑부(320)는 전처리부(310)에서 산출된 오프셋 테이블을 입력 영상에 적용하여 각 화소들의 밝기 값을 톤 매핑(tone mapping)한다. 톤 매핑된 출력 영상은 입력 영상의 밝기 분포 특성에 맞도록 밝기의 선명도가 향상되는 효과가 있다.

이하에서는 도 5를 참조하여 영상 밝기 조절 장치(220)가 영상 밝기를 조절하는 방법을 상세히 설명하기로 한다. 도 5는 본 발명의 일 실시예에 따른 영상 밝기를 조절하는 방법의 순서도이다.

상기의 표 1은 이하에서 사용되는 용어가 나타내는 의미를 설명하고 있다. 표 1을 참조하여 영상 밝기를 조절하는 방법을 설명하기로 한다.

RGB-HSV 변환을 통해 입력 영상의 H, S, V 값을 획득한다. 이 중 V 값 즉, 밝기 값을 이하에서는 조절하도록 한다. 여기서, 입력 영상의 밝기 값을 n 비트 해상도를 가지는 것으로 가정한다.

입력 영상의 각 화소들의 밝기 값은 0 내지 1 사이의 값을 가지고 있다. 이를 0 내지 2ⁿ-1로 스케일링(scaling)하고, 입력 영상 내에서 해당 값들이 나타나는 경우의 수를 표현함으로써 히스토그램을 획득한다(단계 S510).

획득한 히스토그램을 밝기 값 순서대로(0부터 2ⁿ-1까지) 누적하여 표현한 누적밀도함수(CDF)를 획득한다(단계 S520). 여기서, 최대값은 밝기 값이 2ⁿ-1인 경우에 입력 영상의 크기 즉, 가로 화소 수(width)×세로 화소 수(height)이고, 입력 영상 내의 총 화소수가 된다.

입력 영상의 화소들의 영상 범위를 설정한다(단계 S530). 입력 영상의 밝기 값의 분포 범위를 찾기 위하여 임의의 화소의 CDF 값을 입력 영상의 크기로 나눈 값이 미리 설정되거나 사용자에 의해 입력된 경계에 해당하는 화소의 밝기 값을 전체 최소값(global_min) 및 전체 최대값(global_max)으로 설정한다.

CDF 값을 입력 영상의 크기로 나눈 값이 A(예를 들어, 0.001)에 해당하는 경우의 밝기 값을 전체 최소값, B(예를 들어, 0.999)에 해당하는 경우의 밝기 값을 전체 최대값이라 설정할 수 있다. 여기서, A 및 B는 0과 1 사이의 실수 중 하나이고, B가 A보다 크다.

추가적으로, CDF 곡선을 매끄럽게(smooth) 하기 위해 7 탭(tap) 방식을 이용할 수 있다. 7 탭 방식은 현 화소를 중심으로 좌측 3개 화소, 우측 3개 화소 및 현 화소의 밝기 값의 평균을 이용하는 방식이다. 이 방식을 통해 CDF 곡선이 보다 매끄러운 곡선이 될 수 있다.

또한, 상술한 CDF의 최대값은 입력 영상의 크기 즉, 입력 영상 내의 총 화소수이므로, 이를 밝기 값에 상응하여 정규화시킨 정규화된 CDF(normed_CDF)가 더 산출될 수도 있다. 즉, 밝기 값이 2ⁿ-1인 경우에 최대값이 2ⁿ-1이 되도록 정규화시킨다.

앞서 설정된 전체 최소값 및 전체 최대값과, 미리 설정되거나 사용자로부터 입력받은 입력 변수(input parameter)인 밝기 조절 강도(strength)를 조합하여 입력 영상의 밝기 값을 스트레칭(stretching)한다(단계 S540). 즉, 전체 최소값의 변경 값인 변경 최소값(modi_min)과, 전체 최대값의 변경 값인 변경 최대값(modi_max)를 획득하고, 전체 최소값 및 전체 최대값 내에 위치하던 입력 영상의 각 화소들의 밝기 값을 변경 최소값 및 변경 최대값 내에 위치하도록 함으로써 스트레칭을 수행한다. 여기서 획득된 변경 최소값(modi_min)과 변경 최대값(modi_max)이 출력 영상에 적용하게 될 다이나믹 레인지를 결정한다.

예를 들어, 변경 최소값(modi_min)과 변경 최대값(modi_max)은 하기의 수학식 6과 같이 구해질 수 있다.

modi_min = global_min - (global_min-0)×strength

modi_max = global_max + ((2ⁿ-1)-global_max)×strength

여기서, 밝기 조절 강도(strength)는 입력 변수로 미리 설정되거나 사용자에 의해 입력된다. 영상의 밝기 범위 및/또는 밝기 값의 조절 강도를 결정하는 변수이다.

이후 오프셋 테이블(offset table)을 획득한다(단계 S550).

이를 위해 우선 입력 영상의 스트레칭을 위한 제1 선형 곡선(linear curve)을 획득한다(단계 S552). 그리고 전체 최소값(global_min) 및 전체 최대값(global_max) 내의 정규화된 CDF로부터 제2 선형 곡선을 획득한다(단계 S554).

제1 선형 곡선 및 제2 선형 곡선의 일례는 하기의 수학식 7와 같다.

y = gain1×x + offset1 (제1 선형 곡선)

y = gain2×x + offset2 (제2 선형 곡선)

gain1 = (modi_max - modi_min)/(global_max-global_min)

offset1 = -gain1×global_min + modi_min

gain2 = ( Normed_CDF(1, global_max+1) - Normed_CDF(1,global_min+1)) / (global_max-global_min)

offset2 = -gain2×global_min + Normed_CDF(1,global_min+1))

여기서, x는 입력 영상의 밝기 값, y는 스트레칭된 밝기 값, gain1 및 gain2는 선형 곡선의 기울기, offset1 및 offset2는 선형 곡선의 y 절편이다. 그리고 Normed_CDF(1,a)는 1×2ⁿ 배열 중 (1,a)에 해당하는 CDF 값을 의미한다.

상기 수학식 7에 의해 획득된 gain1, gain2, offset1 및 offset2를 이용하여 0 내지 2ⁿ-1의 밝기 값에 대한 오프셋 테이블을 생성한다(단계 S556).

앞서 설정된 전체 최소값 및 전체 최대값을 기초로 하여 임의의 화소의 밝기 값이 전체 최소값보다 작은 경우에는 해당 화소의 밝기 값을 전체 최소값으로 설정하고, 전체 최대값보다 큰 경우에는 해당 화소의 밝기 값을 전체 최대값으로 설정한다(하기 수학식 8 참조).

for i = 0:2ⁿ-1

if i<global_min

value = global_min;

else if i>global_max

value = global_max;

else

value = i ;

여기서, 상기 수학식 7의 제1 선형 곡선에 의해 스트레칭된 밝기 값(stretched_pixel)을 획득하고, 오프셋 테이블은 하기의 수학식 9에 의해 획득된다.

offset_table(1,i+1) = stretched_pixel + ( Normed_CDF(1,value+1) - ( gain2×value + offset2 ) ) ×alpha

여기서, offset_table(1,i+1)은 1×2ⁿ 배열에서 (1,i+1)에 해당하는 오프셋 테이블의 오프셋 값이고, alpha는 하기의 수학식 10에 의해 획득된다

alpha = strength × 0.4 × ( 1- (value-30)²/(2ⁿ-1)² )

CDF로부터 획득 가능한 입력 영상의 분포 특성의 반영 정도 즉, alpha를 고려함으로써 입력 영상의 특성에 맞게 밝기의 선명도를 향상시키는 것이 가능하다.

상술한 방법에 의해 산출된 오프셋 테이블을 입력 영상에 적용하여 각 화소들의 밝기 값을 톤 매핑(tone mapping)한다(단계 S560). 톤 매핑된 출력 영상은 입력 영상의 밝기 분포 특성에 맞도록 밝기의 선명도가 향상되는 효과가 있다.

도 6a는 원본 영상을 나타내며, 도 6b는 도 6a의 원본 영상에 본 발명의 일 실시예에 따른 영상 밝기 조절 방법을 적용하여 획득한 출력 영상을 나타내는 일 예시도이다. 도 7a는 원본 영상을 나타내며, 도 7b는 도 7a의 원본 영상에 본 발명의 일 실시예에 따른 영상 밝기 조절 방법을 적용하여 획득한 출력 영상을 나타내는 다른 예시도이다. 도 6a 및 도 7a에 도시된 원본 영상과 비교해 볼 때 도 6b 및 도 7b에 도시된 출력 영상이 밝기의 선명도가 향상되었음을 확인할 수 있다.

한편, 상술한 영상 밝기 조절 방법은 컴퓨터 프로그램으로 작성 가능하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로 그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 컴퓨터가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 컴퓨터에 의하여 읽혀지고 실행됨으로써 영상 밝기 조절 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.

상술한 바와 같이, 본 발명에 따른 영상 밝기 조절 장치 및 그 방법은 입력 영상의 화소값의 범위 및 입력 변수에 따라 출력 영상에 적용할 다이나믹 레인지의 조절이 가능하다.

또한, 영상의 분포 특성을 얼마나 반영할지 여부를 자동으로 고려하여 입력 영상의 특성에 맞도록 밝기의 선명도를 향상시킬 수 있다.

또한, 종래 방법에 비해 훨씬 노이즈가 적고 자연스러운 화질을 획득할 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (19)

1. 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하는 오프셋 테이블을 산출하는 전처리부; 및

   상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 톤 매핑부를 포함하되,

   상기 전처리부는 상기 입력 영상의 화소들이 가지는 밝기 값 중 미리 설정되거나 사용자에 의해 입력된 경계에 상응하는 전체 최소값(global_min) 및 전체 최대값(global_max) 사이의 밝기 값 영역을 영상 범위로 설정하며,

   상기 전처리부는, 상기 영상 범위 및 밝기 조절 강도를 조합하여 상기 입력 영상의 밝기 값을 스트레칭(stretching)하는 스트레칭부와, 그리고

   상기 밝기 값이 상기 입력 영상에서 차지하는 비율을 계산하고, 상기 비율로부터 상기 밝기 값의 오프셋 값(offset value)을 산출하는 오프셋 산출부를 포함하는 것을 특징으로 하는 영상 밝기 조절 장치.
2. 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하는 오프셋 테이블을 산출하는 전처리부; 및

   상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 톤 매핑부를 포함하되,

   상기 색상 데이터는 HSV 데이터이고, 상기 전처리부는 상기 HSV 데이터 중 V 값을 이용하여 상기 다이나믹 레인지를 조절하는 것을 특징으로 하는 영상 밝기 조절 장치.
3. 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하는 오프셋 테이블을 산출하는 전처리부; 및

   상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 톤 매핑부를 포함하되,

   상기 색상 데이터는 YUV 데이터 또는 YCbCr 데이터이고, 상기 전처리부는 상기 색상 데이터 중 Y 값을 이용하여 상기 다이나믹 레인지를 조절하는 것을 특징으로 하는 영상 밝기 조절 장치.
4. 제1항에 있어서,

   상기 전처리부는,

   상기 밝기 값을 n 비트 해상도로 스케일링하고, 상기 입력 영상의 화소들에 대해서 상기 밝기 값들이 나타나는 경우의 수를 히스토그램으로 나타내는 히스토그램 획득부-여기서, 상기 n은 자연수임-와,

   상기 히스토그램을 상기 밝기 값에 대하여 누적한 누적밀도함수(CDF)를 산출하는 CDF 산출부와,

   상기 누적밀도함수 중 미리 설정되거나 사용자에 의해 입력된 경계에 상응하는 전체 최소값 및 전체 최대값 사이의 밝기 값 영역을 영상 범위로 설정하는 영상 범위 설정부를 더 포함하는 것을 특징으로 하는 영상 밝기 조절 장치.
5. 제4항에 있어서,

   상기 CDF 산출부는 상기 누적밀도함수를 상기 밝기 값에 상응하여 정규화시켜 최대값이 상기 밝기 값의 해상도인 2ⁿ-1이 되도록 정규화된 누적밀도함 수(Normed_CDF)를 산출하는 것을 특징으로 하는 영상 밝기 조절 장치.
6. 제4항에 있어서,

   상기 영상 범위 설정부는 임의의 화소의 누적밀도함수 값을 상기 입력 영상의 크기로 나눈 값이 미리 설정되거나 사용자에 의해 입력된 경계에 해당하는 화소의 밝기 값을 전체 최소값(global_min) 및 전체 최대값(global_max)으로 설정하는 것을 특징으로 하는 영상 밝기 조절 장치.
7. 제6항에 있어서,

   상기 스트레칭부는 상기 전체 최소값 및 상기 전체 최대값과, 미리 설정되거나 사용자로부터 입력받은 상기 밝기 조절 강도를 조합하여 출력 영상에 적용하게 될 다이나믹 레인지를 결정하는 것을 특징으로 하는 영상 밝기 조절 장치.
8. 제4항에 있어서,

   상기 오프셋 산출부는 상기 입력 영상의 각 밝기 값들의 누적밀도함수 값으로부터 현재 밝기 값이 상기 입력 영상에서 차지하는 비율을 계산하고, 상기 비율로부터 상기 오프셋 값을 산출하는 것을 특징으로 하는 영상 밝기 조절 장치.
9. 제8항에 있어서,

   상기 오프셋 산출부는 상기 입력 영상의 모든 화소들에 대하여 상기 오프셋 값을 산출하여 상기 오프셋 테이블을 획득하는 것을 특징으로 하는 영상 밝기 조절 장치.
10. 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하는 오프셋 테이블을 산출하는 단계; 및

    상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 단계를 포함하되,

    상기 오프셋 테이블 산출 단계는,

    상기 입력 영상의 화소들이 가지는 밝기 값 중 미리 설정되거나 사용자에 의해 입력된 경계에 상응하는 전체 최소값(global_min) 및 전체 최대값(global_max) 사이의 밝기 값 영역을 영상 범위로 설정하는 단계와,

    상기 영상 범위 및 밝기 조절 강도를 조합하여 상기 입력 영상의 밝기 값을 스트레칭(stretching)하는 단계를 포함하는 것을 특징으로 하는 영상 밝기 조절 방법.
11. 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하는 오프셋 테이블을 산출하는 단계; 및

    상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 단계를 포함하되,

    상기 색상 데이터는 HSV 데이터이고,

    상기 오프셋 테이블 산출 단계는 상기 HSV 데이터 중 V 값을 이용하여 상기 다이나믹 레인지를 조절하는 것을 특징으로 하는 영상 밝기 조절 방법.
12. 입력 영상의 색상 데이터의 밝기 값을 이용하여 상기 입력 영상의 영상 범위에 상응하는 다이나믹 레인지를 조절하는 오프셋 테이블을 산출하는 단계; 및

    상기 색상 데이터에 상기 오프셋 테이블을 매핑하는 단계를 포함하되,

    상기 색상 데이터는 YUV 데이터 또는 YCbCr 데이터이고,

    상기 오프셋 테이블 산출 단계는 상기 색상 데이터 중 Y 값을 이용하여 상기 다이나믹 레인지를 조절하는 것을 특징으로 하는 영상 밝기 조절 방법.
13. 제10항에 있어서,

    상기 오프셋 테이블 산출 단계는,

    상기 입력 영상의 화소들에 대해서 상기 밝기 값들이 나타나는 경우의 수로부터 히스토그램으로 획득하는 단계;

    상기 히스토그램을 상기 밝기 값에 대하여 누적한 누적밀도함수를 산출하는 단계;

    상기 누적밀도함수 중 미리 설정되거나 사용자에 의해 입력된 경계에 상응하는 전체 최소값 및 전체 최대값 사이의 밝기 값 영역을 영상 범위로 설정하는 단계를 더 포함하는 것을 특징으로 하는 영상 밝기 조절 방법.
14. 제13항에 있어서,

    상기 히스토그램 획득 단계는 상기 밝기 값을 n 비트 해상도로 스케일링하는 단계가 선행되되,

    상기 누적밀도함수 산출 단계는 상기 누적밀도함수를 상기 밝기 값에 상응하여 정규화시켜 최대값이 상기 밝기 값의 해상도인 2ⁿ-1이 되도록 정규화된 누적밀도함수를 산출하는 것을 특징으로 하는 영상 밝기 조절 방법.
15. 제13항에 있어서,

    상기 영상 범위 설정 단계는 임의의 화소의 누적밀도함수 값을 상기 입력 영상의 크기로 나눈 값이 미리 설정되거나 사용자에 의해 입력된 경계에 해당하는 화소의 밝기 값을 전체 최소값 및 전체 최대값으로 설정하는 것을 특징으로 하는 영상 밝기 조절 방법.
16. 제15항에 있어서,

    상기 스트레칭 단계는 상기 전체 최소값 및 상기 전체 최대값과, 미리 설정되거나 사용자로부터 입력받은 상기 밝기 조절 강도를 조합하여 출력 영상에 적용 하게 될 다이나믹 레인지를 결정하는 것을 특징으로 하는 영상 밝기 조절 방법.
17. 제13항에 있어서,

    상기 오프셋 산출 단계는 상기 입력 영상의 각 밝기 값들의 누적밀도함수 값으로부터 현재 밝기 값이 상기 입력 영상에서 차지하는 비율을 계산하고, 상기 비율로부터 상기 오프셋 값을 산출하는 것을 특징으로 하는 영상 밝기 조절 방법.
18. 제17항에 있어서,

    상기 오프셋 산출 단계는 상기 입력 영상의 모든 화소들에 대하여 상기 오프셋 값을 산출하여 상기 오프셋 테이블을 획득하는 것을 특징으로 하는 영상 밝기 조절 방법.
19. 입력 영상의 밝기 특성에 따라 출력 영상의 밝기 선명도를 조절하는 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 유형적으로 구현되어 있으며 디지털 처리 장치에 의해 판독될 수 있는 컴퓨터로 읽을 수 있는 기록 매체에 있어서,

    제10항 내지 제18항 중 어느 한 항에 기재된 영상 밝기 조절 방법을 수행하 는 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.

Images