KR100791391B1

KR100791391B1 - 노이즈 저감 방법 및 장치

Info

Publication number: KR100791391B1
Application number: KR1020070009600A
Authority: KR
Inventors: 유영진; 최원희; 이성덕
Original assignee: 삼성전자주식회사
Priority date: 2007-01-30
Filing date: 2007-01-30
Publication date: 2008-01-07
Anticipated expiration: 2027-01-30
Also published as: US20080181523A1; US8768093B2

Abstract

본 발명은 노이즈 저감 방법 및 장치에 관한 것이다.

본 발명의 실시예에 따른 노이즈 저감 방법은 입력 영상을 구성하는 기준 픽셀의 노이즈 레벨을 산출하는 단계, 상기 기준 픽셀을 포함하는 기준 윈도우가 상기 입력 영상에 포함되는 비교 영역 내에 존재하고 상기 기준 윈도우와 동일한 크기를 갖는 하나 이상의 비교 윈도우에 대하여 갖는 유사도 및 상기 기준 픽셀의 노이즈 레벨에 기반하여 상기 기준 픽셀에 할당될 가중치를 결정하는 단계, 및 상기 가중치를 이용하여 상기 입력 영상을 필터링하는 단계를 포함한다.

영상, 노이즈, 촬영 장치

Description

노이즈 저감 방법 및 장치{Method and apparatus for noise reduction}

도 1은 본 발명의 일 실시예에 따른 노이즈 저감 장치를 나타낸 블록도이다.

도 2는 본 발명의 일 실시예에 따른 상관 특성 계산부를 나타낸 블록도이다.

도 3a 내지 도 3d는 로컬 영역의 상하 방향, 좌우 방향, 좌하-우상 방향 및 좌상-우하 방향에 대응하는 픽셀값 정렬 순서를 나타낸 도면이다.

도 4a는 RGB 베이어 패턴의 로컬 영역을 나타낸 도면이다.

도 4b는 본 발명의 일 실시예에 따른 픽셀값 정렬 순서를 나타낸 도면이다.

도 5는 본 발명의 일 실시예에 따른 상관성 계산 방식을 나타낸 도면이다.

도 6은 본 발명의 일 실시예에 따른 노이즈 레벨 산출부를 나타낸 블록도이다.

도 7a 내지 도 7c는 신호 강도와 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다.

도 8은 본 발명의 일 실시예에 따른 윈도우를 나타낸 도면이다.

도 9a 내지 도 9c는 입력 영상의 자동이득조절 값과 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다.

도 10은 본 발명의 일 실시예에 따른 노이즈 레벨 보정 과정을 나타낸 흐름도이다.

도 11은 본 발명의 일 실시예에 따라서 활성 정도를 정규화하기 위한 함수를 나타낸 도면이다.

도 12는 본 발명의 일 실시예에 따른 가중치 결정부를 나타낸 도면이다.

도 13은 본 발명의 일 실시예에 따른 비교 영역을 설정하는 과정을 나타낸 흐름도이다.

도 14a 내지 도 14d는 본 발명의 일 실시예에 따른 비교 영역을 나타낸 도면이다.

도 15a 및 도 15b는 본 발명의 일 실시예에 따른 기준 윈도우와 비교 윈도우를 나타낸 도면이다.

도 16은 본 발명의 일 실시예에 따라서 가중치를 결정하기 위한 함수를 나타낸 도면이다.

도 17은 본 발명의 일 실시예에 따른 노이즈 저감 방법을 나타낸 흐름도이다.

<도면의 주요 부분에 관한 부호의 설명>

110 : 상관 특성 계산부 120 : 노이즈 레벨 산출부

130 : 가중치 결정부 140 : 필터링부

본 발명은 영상의 노이즈에 관한 것으로서, 더욱 상세하게는 입력 영상의 노 이즈를 저감시키는 방법 및 장치에 관한 것이다.

최근 디지털 스틸 카메라나 디지털 캠코더와 같은 디지털 촬영 장치의 보급이 확산되고 있다. 이러한 디지털 촬영 장치가 촬영한 영상은 화질을 저하시키는 노이즈를 포함하게 된다. 따라서 보다 높은 화질의 영상을 얻기 위해서는 노이즈 제거가 필수적이다.

저조도 환경에서 촬영된 고감도의 영상에는 고 레벨 노이즈(high level noise)가 나타나는데, 이를 효과적으로 제거하기 위해서는 큰 사이즈의 필터링 커널(filtering kernel)을 사용해야 한다. 그런데, 종래의 기술에 따르면 노이즈 저감 성능이 증가할수록 영상의 세밀함이 감퇴되기도 한다. 따라서 영상을 구성하는 각 픽셀들이 주변의 다른 픽셀들과 갖는 상관성에 기반하여 영상에 포함되는 노이즈를 보다 효과적으로 제거하기 위한 기술이 요구되고 있다.

본 발명은 입력 영상의 노이즈를 저감시키는데 그 목적이 있다.

본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 노이즈 저감 방법은 입력 영상을 구성하는 기준 픽셀의 노이즈 레벨을 산출하는 단계, 상기 기준 픽셀을 포함하는 기준 윈도우가 상기 입력 영상에 포함되는 비교 영역 내에 존재하고 상기 기준 윈도우와 동일한 크기를 갖는 하나 이상의 비교 윈도우에 대하여 갖는 유사도 및 상기 기준 픽셀의 노이즈 레벨에 기반하여 상기 기준 픽셀에 할당될 가중치를 결정하는 단계, 및 상기 가중치를 이용하여 상기 입력 영상을 필터링하는 단계를 포함한다.

상기 목적을 달성하기 위하여, 본 발명의 실시예에 따른 노이즈 저감 장치는 입력 영상을 구성하는 기준 픽셀의 노이즈 레벨을 산출하는 노이즈 레벨 산출부, 상기 기준 픽셀을 포함하는 기준 윈도우가 상기 입력 영상에 포함되는 비교 영역 내에 존재하고 상기 기준 윈도우와 동일한 크기를 갖는 하나 이상의 비교 윈도우에 대하여 갖는 유사도 및 상기 기준 픽셀의 노이즈 레벨에 기반하여 상기 기준 픽셀에 할당될 가중치를 결정하는 가중치 결정부, 및 상기 가중치를 이용하여 상기 입력 영상을 필터링하는 필터링부를 포함한다.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 노이즈 저감 장치(100)를 나타낸 블록도이다. 도시된 노이즈 저감 장치(100)는 상관 특성 계산부(110), 노이즈 레벨 산출부(120), 가중치 결정부(130) 및 필터링부(140)를 포함한다. 이러한 노이즈 저감 장치(100)는 디지털 스틸 카메라나 디지털 캠코더와 같은 촬영 장치에 적용될 수 있다.

참고로, 본 실시예에서는 입력 영상이 RGB로 구성되는 베이어 도메인(Bayer domain)으로 처리되는 경우를 위주로 설명할 것이지만 본 발명이 이에 한정되는 것은 아니다. 예를 들어 입력 영상이 YUV나 YCrCb 도메인으로 처리되는 경우를 위한 노이즈 저감 방식도 본 실시예를 통하여 이해될 수 있을 것이며, 이들 또한 본 발명의 범주에 포함되는 것으로 해석되어야 한다.

상관 특성 계산부(110)는 입력 영상의 로컬 영역(local region)에 포함되는 픽셀들의 픽셀값에 기반하여 로컬 영역의 상관 특성(correlation feature)을 계산한다. 상관 특성은 로컬 영역에서 사전에 설정된 복수의 후보 방향 중 픽셀 간의 상관성(correlation)이 가장 높은 방향(이하 활성 방향(activity direction)이라 함)에 대한 정보와, 다른 후보 방향의 상관성에 비하여 활성 방향의 상관성이 얼마나 두드러지는가를 나타내는 활성 정도(activity degree)에 대한 정보를 포함한다.

로컬 영역은 입력 영상의 일부 영역에 해당하며, 노이즈 저감 작업을 위해서 입력 영상에서 현재 관심 대상이 되는 픽셀(이하 기준 픽셀이라 한다)을 포함한다. 바람직하게는, 기준 픽셀은 로컬 영역의 중심에 위치한다. 노이즈 저감 작업은 입력 영상의 모든 픽셀들에 대하여 순차적으로 수행된다. 즉, 기준 픽셀의 위치는 노이즈 저감 작업이 진행됨에 따라서 변화하게 되고, 기준 픽셀을 포함하는 로컬 영역의 위치 역시 노이즈 저감 작업이 진행됨에 따라서 달라질 수 있다. 또한, 로컬 영역의 크기는 입력 영상의 크기, 노이즈 저감 장치의 연산 능력, 영상 처리의 효율성 등에 따라서 달라질 수 있다.

참고로, 이하의 설명은 기준 픽셀을 중심으로 진행될 것이다. 그러나, 앞서 언급한 바와 같이 기준 픽셀의 위치는 노이즈 저감 작업이 진행됨에 따라서 변하며, 입력 영상의 모든 픽셀들이 적어도 한번씩 기준 픽셀로 설정될 것이다. 결과적으로, 노이즈 저감 장치(100)의 각 구성 요소들이 기준 픽셀에 대해서 어떠한 작업을 수행한다는 것은 입력 영상의 모든 픽셀들, 즉 입력 영상 전체에 대하여 동일한 작업을 수행하는 것으로 이해될 수 있을 것이다.

본 발명의 일 실시예에 따른 상관 특성 계산부(110)의 구성을 도 2에 도시하였다. 상관 특성 계산부(110)는 정렬부(210), 상관성 계산부(220) 및 상관 특성 결정부(230)를 포함한다.

정렬부(210)는 사전에 설정된 후보 방향 별로 각 후보 방향에 대응하는 순서에 따라서 로컬 영역 내의 픽셀들의 픽셀값을 정렬한다. 본 발명의 일 실시예에 따른 후보 방향으로서, 상하 방향, 좌우 방향, 좌하-우상 방향 및 좌상-우하 방향을 들 수 있다. 인간은 상하 방향, 좌우 방향, 좌하-우상 방향 및 좌상-우하 방향으로의 변화에 민감한 시각적 특성을 갖고 있기 때문에, 상기의 방향으로 정렬된 픽셀값 간의 상관성은 노이즈 저감을 위하여 효과적으로 사용될 수 있다. 물론, 본 발명이 이에 한정되는 것은 아니므로, 다른 후보 방향이 사용될 수도 있다.

도 3a 내지 도 3d에 로컬 영역(310)의 상하 방향, 좌우 방향, 좌하-우상 방향 및 좌상-우하 방향에 대응하는 픽셀값 정렬 순서를 나타내었다. 도 3a 내지 도 3d에서 로컬 영역(310)을 구성하는 각 블록들은 픽셀을 나타내며, 점선 화살표(320)가 진행하는 순서가 로컬 영역(310) 내의 픽셀들의 픽셀값 정렬 순서에 해당한다. 도 3a 내지 도 3d에 도시된 픽셀값 정렬 순서는 본 발명의 일 실시예일뿐이므로, 본 발명이 이에 한정되는 것은 아니다.

픽셀값의 정렬은 입력 영상에 적용된 색 도메인에서 각 채널 별로 수행되는 것이 바람직하다. 예를 들어, 도 4a에 도시된 바와 같은 RGB 베이어 패턴에서는 R, G1, G2, B의 네 개의 광학 채널에 대응하는 픽셀들이 로컬 영역(410) 내에 공존한다. 이 중, R 채널을 기준으로 한다면, 로컬 영역(410) 내에서 R 채널이 적용된 픽셀들의 픽셀값이 정렬될 수 있다. 도 4b에는 R 채널을 기준으로 하여 상하 방향으로 픽셀값을 정렬하는 경우에 대한 일 실시예가 도시되어 있다. R 채널이 기준이 되므로, 정렬부(210)는 도 4b에서 점선 화살표(420)가 겹쳐진 픽셀들 중에서 R 채널에 해당하는 픽셀들(음영 처리된 픽셀들)의 픽셀값을 점선 화살표(420)가 진행하는 순서대로 정렬하게 된다. 어떤 채널을 기준으로 하여 픽셀값을 정렬할 것인가는 기준 픽셀의 광학 채널에 따라서 결정될 수 있다.

다시 도 2를 참조하면, 상관성 계산부(220)는 정렬된 픽셀값을 사용하여 각 후보 방향에 대한 상관성을 계산한다. 본 발명의 일 실시예에 따르면, 상관성 계 산부(220)는 도 5 및 아래의 수학식1에 나타낸 바와 같이, 정렬된 픽셀값들 중 인접 픽셀값들 간의 차이의 절대치의 합을 계산하고, 계산 결과를 후보 방향에 대한 상관성 지표로 제공할 수 있다.

[수학식1]

수학식1에서 C는 상관성 지표이고, I_i는 정렬된 픽셀값들 중 i번째 픽셀값이고, n은 정렬된 픽셀값들의 개수이다. 이 경우 상관성 지표가 낮을수록 상관성이 높다는 것을 의미한다. 상관성 지표를 적절히 사용하면, 상관성을 수치적으로 나타낼 수도 있다. 예를 들어, 상관성은 상관성 지표 C의 역수의 상수배일 수 있다. 물론, 상관성을 계산하기 위해서 수학식1을 사용해야만 하는 것은 아니다. 따라서 픽셀들의 상관성을 계산하는 다른 방식이 사용될 수도 있다.

상관 특성 결정부(230)는 상관성 계산부(220)에 의해 계산된 상관성을 기반으로 하여 로컬 영역의 활성 방향과 활성 정도에 대한 정보를 제공한다. 상관성 계산부(220)가 수학식1을 사용하여 상관성 지표를 계산한다면, 가장 낮은 상관성 지표를 갖는 후보 방향이 로컬 영역의 활성 방향으로 결정될 수 있다. 또한, 활성 정도를 결정하기 위한 일 실시예로서 상관 특성 결정부(230)는 수학식2에 나타낸 바와 같이 각 후보 방향에 대하여 계산된 상관성 지표 중에서 최대 상관성 지표와 최소 상관성 지표 간의 차분값을 사용하거나, 수학식3에 나타낸 바와 같이 최대 상 관성 지표와 최소 상관성 지표간의 비율을 사용할 수 있다.

[수학식2]

[수학식3]

수학식2와 수학식3에서 Q는 활성 정도를 나타내는 수치이고, C_max는 최대 상관성 지표이고, C_min는 최소 상관성 지표이다. 수학식2 또는 수학식3을 사용할 경우 활성 정도가 높을수록 활성 방향이 다른 후보 방향에 비하여 상대적으로 높은 상관성을 갖는다는 것을 의미한다. 물론 본 발명이 이에 한정되는 것은 아니며, 다른 방식으로 활성 정도를 계산하는 실시예가 사용될 수도 있다.

다시 도 1을 참조하면, 노이즈 레벨 산출부(120)는 기준 픽셀의 노이즈 레벨을 산출한다. 노이즈 레벨은 노이즈의 크기를 나타내는 수치이다. 노이즈 레벨에 영향을 미치는 요인(이하 ＇노이즈 요인＇이라 한다) 중 대표적인 요인으로서 신호 강도(signal intensity)와 영상 촬영시의 자동 노출(Auto Exposure; AE)에 따른 자동이득조절(Auto Gain Control; AGC) 값을 들 수 있다. 여기서 신호 강도는 입력 영상의 촬영 시, 각 픽셀에서의 빛의 수집량을 가늠하는 수치를 나타낸다. 본 발명의 일 실시예에 따르면 각 픽셀의 픽셀 값이 신호 강도로 사용될 수도 있다. 노 이즈 레벨 산출부(120)는 노이즈 요인과 기준 픽셀을 포함하는 로컬 영역의 활성 정도에 기반하여 기준 픽셀의 노이즈 레벨을 산출할 수 있다. 노이즈 요인 중 자동이득조절값은 노이즈 저감 장치(100)가 적용될 촬영장치로부터 획득될 수 있다.

도 6은 본 발명의 일 실시예에 따른 노이즈 레벨 산출부(120)를 나타낸 블록도이다. 노이즈 레벨 산출부(120)는 노이즈 레벨 추정부(610)와 노이즈 레벨 보정부(620)를 포함한다.

노이즈 레벨 추정부(610)는 노이즈 요인에 따라서 기준 픽셀의 노이즈 레벨을 추정한다. 노이즈 레벨 추정부(610)에 의해 추정되는 기준 픽셀의 노이즈 레벨은 임시적인 노이즈 레벨이다. 노이즈 요인에 따른 노이즈 레벨은 노이즈 저감 장치(100)가 적용될 촬영 장치에 대한 실험을 통하여 사전에 설정되어 있을 수 있다. 노이즈 레벨 추정부(610)는 이를 이용함으로써 기준 픽셀의 노이즈 레벨을 추정할 수 있다. 이하 도 7a 내지 도 9c를 참조하여 노이즈 레벨 추정부(610)에 대해서 보다 구체적으로 설명하도록 한다.

도 7a 내지 도 7c는 신호 강도와 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다. 도시된 바와 같이 노이즈 저감 장치(100)가 적용될 촬영 장치에 대하여 R, G, B 각 채널 별로 소정 크기의 윈도우에 포함되는 픽셀들의 평균 신호 강도에 따라서 상기 윈도우의 중심 픽셀에 포함된 노이즈 레벨을 측정하고, 측정 결과를 이용하여 추세선(712, 714, 716)을 구해둘 수 있다. 이러한 추세선(712, 714, 716)을 이용하여 신호 강도와 노이즈 레벨 간의 관계를 나타내는 룩업테이블이 생성될 수 있다. 노이즈 레벨 추정부(710)는 룩업테이블을 사용하여 입력 영상 에서 기준 픽셀을 중심으로 하는 윈도우에서 기준 픽셀 및 기준 픽셀과 동일한 광학 채널이 적용된 픽셀(이하 인접 픽셀이라 한다)들의 평균 신호 강도에 따른 노이즈 레벨(이하 제1 노이즈 레벨이라 한다)을 추정할 수 있다.

여기서, 윈도우의 크기는 실시예에 따라서 다양하게 설정될 수 있다. 도 8에 본 발명의 일 실시예에 따른 윈도우(810)를 도시하였다. 도 8에 도시된 윈도우(810)는 RGB 베이어 패턴의 입력 영상에서 R, G1, G2, B의 각 광학 채널에 대하여 사용될 수 있다. RGB 베이어 패턴에서는 동일한 광학 채널의 픽셀은 두 픽셀 간격으로 떨어져 있으므로, 도시된 바와 같이 윈도우(810)의 크기가 5*5로 설정되어 있다면 기준 픽셀 주변으로 기준 픽셀과 동일한 광학 채널이 적용된 8개의 인접 픽셀이 존재하게 된다.

도 9a 내지 도 9c는 입력 영상의 자동이득조절 값과 노이즈 레벨 간의 관계에 대한 실험 결과를 나타낸 도면이다. 도시된 바와 같이 노이즈 저감 장치(100)가 적용될 촬영 장치에 대하여 R, G, B 각 채널 별로 자동이득조절 값에 따른 노이즈 레벨을 측정하고, 측정 결과의 추세선(912, 914, 916)을 구해둘 수 있다. 이러한 추세선(912, 914, 916)을 이용하여 자동이득조절 값과 노이즈 레벨 간의 관계를 나타내는 룩업테이블이 생성될 수 있으며, 노이즈 레벨 추정부(610)는 룩업테이블을 사용하여 입력 영상의 자동이득조절 값에 따른 노이즈 레벨(이하 제2 노이즈 레벨이라 한다)을 추정할 수 있다.

이처럼, 노이즈 레벨 추정부(610)는 기준 픽셀의 노이즈 레벨의 추정치로서 제1 노이즈 레벨 또는 제2 노이즈 레벨을 사용할 수 있다. 그러나, 본 발명의 일 실시예에 따르면, 노이즈 레벨 추정부(610)는 제1 노이즈 레벨과 제2 노이즈 레벨을 입력값으로 하는 소정의 연산을 통해서 기준 픽셀에 대한 노이즈 레벨을 추정할 수도 있다. 예를 들어 노이즈 레벨 추정부(610)는 제1 노이즈 레벨과 제2 노이즈 레벨의 평균값을 기준 픽셀의 노이즈 레벨로 추정할 수 있다. 물론, 이는 기준 픽셀의 노이즈 레벨을 추정하기 위한 일 실시예에 불과하다.

노이즈 레벨 보정부(620)는 기준 픽셀을 포함하는 로컬 영역의 활성 정도를 사용하여 노이즈 레벨 추정부(610)가 기준 픽셀에 대해 추정한 노이즈 레벨을 보정한다. 노이즈 레벨 보정부(620)에 의해 보정된 노이즈 레벨은 기준 픽셀의 최종적인 노이즈 레벨이다.

활성 정도가 높다는 것은 로컬 영역에서 활성 방향으로의 상관성이 두드러진다는 것을 의미한다. 즉, 활성 정도가 높을 수록 기준 픽셀이 활성 방향의 인접 픽셀들과 상당히 유사하다는 특징을 가지며, 이러한 특징은 기준 픽셀을 포함하는 로컬 영역에서 기준 픽셀과 동일한 광학 채널의 다른 픽셀들에서도 공통적으로 발견할 수 있다. 따라서, 기준 픽셀에 대해서 추정된 노이즈 레벨이 높더라도 로컬 영역의 활성 정도가 높을수록 실제 기준 픽셀에 노이즈가 포함되어 있을 가능성은 낮아진다. 이러한 내용을 반영하여, 노이즈 레벨 보정부(620)는 로컬 영역의 활성 정도가 높을수록 기준 픽셀에 대해서 추정된 노이즈 레벨을 감소시키고, 로컬 영역의 활성 정도가 낮을수록 기준 픽셀에 대해서 추정된 노이즈 레벨에 가까운 값으로 기준 픽셀의 노이즈 레벨을 결정하게 된다. 도 10에 본 발명의 일 실시예에 따른 노이즈 레벨 보정 과정을 도시하였다.

노이즈 레벨 보정부(620)는 상관 특성 계산부(110)에 의해 제공되는 로컬 영역의 활성 정도를 정규화한다(S1010). 예를 들어, 노이즈 레벨 보정부(620)는 도 11에 도시된 바와 같은 함수를 사용하여 활성 정도를 정규화할 수 있다. 도 11에서 활성 정도가 C0보다 작은 경우 정규화 값(정규화된 활성 정도)은 1이고, 활성 정도가 C1보다 큰 경우 정규화 값은 t이다. 또한, 활성 정도가 C0와 C1 사이인 경우에는 정규화 값은 1에서 t까지 선형적으로 감소한다. 여기서 t는 1보다 작고 0보다 크거나 같은 실수이다. C0, C1 및 t의 값은 사전 실험을 통하여 노이즈 제거를 수행하는데 적절한 값으로 설정되어 있을 수 있다.

노이즈 레벨 보정부(620)는 정규화된 활성 정도를 이용하여 노이즈 레벨 추정부(610)에 의하여 추정된 노이즈 레벨을 보정한다(S1020). 과정 S1020에서 노이즈 레벨 보정부(620)는 정규화된 활성 정도와 추정된 노이즈 레벨을 곱한 값을 기준 픽셀의 최종적인 노이즈 레벨로 결정할 수 있다. 물론, 본 발명이 이에 한정되는 것은 아니며, 노이즈 레벨 보정부(620)는 정규화된 활성화 정도와 노이즈 레벨 추정부(610)에 의하여 추정된 노이즈 레벨을 입력값으로 하는 다른 연산 방식을 통하여 기준 픽셀의 최종적인 노이즈 레벨을 결정할 수도 있다.

다시 도 1을 참조하면, 가중치 결정부(130)는 입력 영상의 각 픽셀의 가중치를 결정한다. 바람직하게는 가중치 결정부(130)는 로컬 영역에서 기준 픽셀을 중심으로 하는 소정 크기의 윈도우(이하 기준 윈도우라 한다)와 주변의 다른 픽셀들을 포함하는 윈도우들 간의 유사도와 상기 기준 픽셀의 노이즈 레벨에 따라서 상기 기준 픽셀에 할당될 가중치를 결정할 수 있다. 여기서 기준 윈도우의 크기는 도 7a 내지 도 7c를 참조하여 설명한, 노이즈 레벨 산출을 위한 평균 신호 강도의 계산시 사용되는 윈도우의 크기와 동일할 수도 있고 다를 수도 있다.

가중치 결정부(130)에 대해서 도 12를 참조하여 보다 구체적으로 설명하도록 한다. 가중치 결정부(130)는 비교 영역 설정부(1210), 유사도 계산부(1220) 및 가중치 계산부(1230)를 포함한다.

비교 영역 설정부(1210)는 로컬 영역 내에서 기준 윈도우의 유사도를 계산할 비교 영역을 설정한다. 비교 영역 설정부(1210)는 로컬 영역의 활성 정도와 활성 방향에 따라서 비교 영역을 설정할 수 있다. 비교 영역 설정부(1210)의 동작 과정에 대한 일 실시예를 도 13에 도시하였다.

비교 영역 설정부(1210)는 로컬 영역의 활성 정도가 임계값보다 큰지 판단한다(S1310). 여기서 임계값은 도 11의 활성 정도 정규화 작업을 위한 함수에서 C1과 동일한 값으로 설정될 수 있다. 물론, 본 발명이 이에 한정되는 것은 아니므로, 과정 S1310에서 사용되는 임계값은 도 11의 C1과 다른 값으로 설정될 수도 있다.

만약 활성 정도가 임계값보다 크다면, 비교 영역 설정부(1210)는 로컬 영역에서 기준 윈도우가 활성 방향으로 연장된 영역을 비교 영역으로 설정할 수 있다(S1320). 도 14a 내지 도 14d에 본 발명의 일 실시예에 따른 비교 영역을 도시하였다. 이들은 모두 로컬 영역의 활성 정도가 임계값보다 큰 경우에 대한 실시예이다. 도 14a는 로컬 영역(1410)의 활성 방향이 상하 방향인 경우의 기준 영역(1412)을 나타내고 있으며, 도 14b는 로컬 영역(1410)의 활성 방향이 좌우 방향 인 경우의 기준 영역(1424)을 나타내고 있다. 또한, 도 14c는 로컬 영역(1410)의 활성 방향이 좌하-우상 방향인 경우의 기준 영역(1416)을 나타내고 있으며, 도 14d는 로컬 영역(1410)의 활성 방향이 좌상-우하 방향인 경우의 기준 영역(1418)을 나타내고 있다.

한편, 도 13의 과정 S1310의 판단 결과 로컬 영역의 활성 정도가 임계값보다 크지 않다면, 비교 영역 설정부(1210)는 로컬 영역 전체를 비교 영역으로 설정할 수 있다(S1330).

다시 도 12를 참조하면, 유사도 계산부(1220)는 비교 영역 내에서 기준 윈도우와 동일한 크기를 갖는 다른 윈도우(이하 비교 윈도우라 한다)를 기준 윈도우와 비교하여 기준 윈도우의 유사도를 계산한다. 예를 들어, 도 15a에 도시된 바와 같이 기준 윈도우(1521)를 중심으로 하여 로컬 영역(1510)의 상하 방향으로 비교 영역(1520)이 설정된 경우, 유사도 계산부(1220)는 비교 영역(1520)에서 비교 윈도우(1522)를 선택하고, 블록 매칭 기법을 사용하여 기준 윈도우(1521)와 비교 윈도우(1522) 간의 유사도를 측정할 수 있다. 도 15a에는 하나의 비교 윈도우(1522)만을 표시하였지만, 비교 영역(1520) 내에 다른 비교 윈도우가 더 존재할 수 있다. 예를 들어 도 15b에는 도 15a에서 제시된 것과는 다른 비교 윈도우(1523)가 표시되어 있다. 도 15a 및 도 15b에서 비교 영역(1520) 중 기준 픽셀과 동일한 광학 채널이 적용된 픽셀은 사선으로 처리되어 있다.

유사도 계산부(1220)는 비교 영역 내에 존재하는 모든 비교 윈도우를 기준 윈도우와 비교하게 된다. 따라서, 유사도 계산부(1220)는 비교 영역 내의 비교 윈 도우 각각과 기준 윈도우 간의 유사도를 계산하고, 계산된 유사도들을 입력 값으로 하는 연산(예를 들어 유사도들의 평균이나 유사도들의 합 등) 결과를 기준 윈도우의 유사도로 제공할 수 있다. 물론, 이는 일 실시예일뿐이며, 기준 윈도우와 비교 윈도우 간의 유사도 측정을 위해서 L²-norm 기법 등의 다양한 공지의 기술이 사용될 수도 있다.

다시 도 12을 참조하면, 가중치 계산부(1230)는 기준 윈도우의 유사도와 기준 픽셀의 노이즈 레벨에 기반하여 기준 픽셀에 할당될 가중치를 계산한다. 물론 유사도와 노이즈 레벨 이외에도, 노이즈 저감 장치(100)가 적용될 촬영 장치의 특성에 따른 오차를 보정해주기 위한 적어도 하나의 상수가 가중치 계산을 위해 사용될 수도 있다. 수학식4는 본 발명의 일 실시예에 따른 가중치 계산 방식을 나타낸 것이다.

[수학식4]

수학식4에서 k는 가중치이고 D_m은 기준 윈도우의 유사도이고,

는 기준 픽셀의 노이즈 레벨이다. c는 노이즈 저감 장치(100)가 적용될 촬영 장치의 특성을 반영하기 위한 상수로서, 사전 실험을 통하여 적절한 값으로 설정될 수 있다.

수학식4를 통해 나타낸 가중치 계산 방식은 본 발명의 일 실시예일뿐이므로, 본 발명이 이에 한정되는 것은 아니다. 예를 들어, 가중치 계산부(1230)는 도 16에 나타낸 바와 같은 퍼지 함수를 사용하여 가중치를 계산할 수도 있다. 도 16에서 가로축은 기준 윈도우의 유사도이고, 세로축은 기준 픽셀에 할당될 가중치이다. 도 16에 따르면, 기준 윈도우의 유사도가 x1보다 작으면 기준 픽셀에 할당될 가중치는 1이고, 기준 윈도우의 유사도가 x2보다 크면 기준 픽셀에 할당될 가중치는 0이다. 또한, 기준 윈도우의 유사도가 x1에서 x2로 변할수록 기준 픽셀에 할당될 가중치는 가중치는 1에서 0으로 선형 감소한다. 여기서 x1과 x2는 기준 픽셀의 노이즈 레벨에 따라서 결정된다. 이를 위해서, 사전 실험을 통하여 노이즈 레벨 별 x1 및 x2의 적절한 값을 테이블화하고, 가중치 계산부(1230)가 이를 이용하도록 할 수 있다.

상기한 바와 같은 작업들을 거치면 기준 픽셀뿐만 아니라 인접 픽셀들의 가중치까지 결정될 수 있다.

다시 도 1을 참조하면, 필터링부(140)는 입력 영상의 각 픽셀에 할당된 가중치를 사용하여 입력 영상을 필터링한다. 보다 구체적으로 필터링부(140)는 기준 픽셀의 가중치와 인접 픽셀들의 가중치 중 적어도 하나를 사용하여 기준 픽셀의 새로운 픽셀값을 계산할 수 있다. 예를 들어, 필터링부(140)는 가중치 평균 방식(weighted averaging method)나 퍼지 블렌딩 방식(fuzzy blending method)을 사용하여 기준 픽셀의 픽셀값을 새롭게 정의할 수 있다. 필터링부(140)가 기준 픽셀의 새로운 픽셀값을 계산하기 위해서 사용할 수 있는 방식의 일 예를 수학식5에 나타내었다.

[수학식5]

수학식5에서 S_x는 필터링 결과에 따른 기준 픽셀의 최종 픽셀값이고, N은 인접 픽셀의 개수이다. 또한, I_m과 I_x는 각각 인접 픽셀과 기준 픽셀의 최초 픽셀값이고, k_m는 인접 픽셀의 가중치이다. 수학식5는 본 발명의 일 실시예일뿐이므로, 본 발명이 이에 한정되는 것은 아니다.

이상의 설명에서 노이즈 저감 장치(100)를 구성하는 구성요소들을 지칭하는 '~부'는 모듈로 구현될 수 있다. 여기서 '모듈'은 소프트웨어 또는 Field Programmable Gate Array(FPGA) 또는 주문형 반도체(Application Specific Integrated Circuit, ASIC)과 같은 하드웨어 구성요소를 의미하며, 모듈은 어떤 역할들을 수행한다. 그렇지만 모듈은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. 모듈은 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 실행시키도록 구성될 수도 있다. 따라서, 일 예로서 모듈은 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 모듈들에서 제공되는 기능은 더 작은 수의 구성요소 들 및 모듈들로 결합되거나 추가적인 구성요소들과 모듈들로 더 분리될 수 있다.

이상의 설명에 따른 노이즈 저감 장치(100)의 동작 과정에 대해서 도 17을 참조하여 설명하도록 한다. 도 17은 본 발명의 일 실시예에 따른 노이즈 저감 방법을 나타낸 흐름도이다.

먼저, 상관 특성 계산부(110)는 입력 영상의 로컬 영역에 대해서 상관 특성을 계산한다(S1710). 앞서 설명한 바와 같이 상관 특성은 로컬 영역의 활성 방향과 활성 정도에 대한 정보를 포함한다.

그 후, 노이즈 레벨 산출부(120)는 입력 영상의 각 픽셀들의 노이즈 레벨을 산출한다(S1720). 노이즈 레벨은 노이즈 요인과 과정 S1710에서 계산된 활성 정도에 따라서 결정될 수 있다.

가중치 결정부(130)는 입력 영상의 각 픽셀들에 할당될 가중치를 계산한다(S1730). 가중치를 계산하기 위하여 기준 윈도우에 대한 유사도 계산 작업이 선행될 수 있으며, 가중치는 기준 픽셀을 포함하는 기준 윈도우의 유사도와 기준 픽셀의 노이즈 레벨에 따라서 결정된다.

그 후, 필터링부(140)는 과정 S1730에서 계산된 가중치를 사용하여 입력 영상을 필터링한다(S1740).

도 17에 도시된 각 과정들은 하나 이상의 세부 과정들을 더 포함할 수 있으며, 그 구체적인 예는 도 1 내지 도 16을 참조하여 설명된 내용을 바탕으로 하여 이해될 수 있을 것이다.

이상과 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명 이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.

상기한 바와 같은 본 발명의 노이즈 저감 방법 및 장치에 따르면 입력 영상의 노이즈를 제거하여 출력 영상의 화질을 개선하는 효과가 있다.

Claims

입력 영상을 구성하는 기준 픽셀의 노이즈 레벨을 산출하는 단계;

상기 기준 픽셀을 포함하는 기준 윈도우가 상기 입력 영상에 포함되는 비교 영역 내에 존재하고 상기 기준 윈도우와 동일한 크기를 갖는 하나 이상의 비교 윈도우에 대하여 갖는 유사도 및 상기 기준 픽셀의 노이즈 레벨에 기반하여 상기 기준 픽셀에 할당될 가중치를 결정하는 단계; 및

상기 가중치를 이용하여 상기 입력 영상을 필터링하는 단계를 포함하는, 노이즈 저감 방법.
제 1항에 있어서, 상기 노이즈 레벨을 산출하는 단계는,

상기 입력 영상이 갖는 노이즈 요인에 따라서 상기 기준 픽셀의 임시적인 노이즈 레벨을 추정하는 단계; 및

상기 입력 영상에 포함되며 상기 기준 픽셀을 포함하는 로컬 영역의 상관 특성에 기반하여 상기 임시적인 노이즈 레벨을 보정하는 단계를 포함하는, 노이즈 저감 방법.
제 2항에 있어서,

상기 노이즈 요인은 상기 기준 픽셀의 신호 강도와 상기 입력 영상 촬영시 적용된 자동이득조절값 중 적어도 하나를 포함하는, 노이즈 저감 방법.
제 3항에 있어서, 상기 추정하는 단계는,

상기 신호 강도에 따른 제1 노이즈 레벨과 상기 자동이득조절값에 따른 제2 노이즈 레벨을 사용하여 상기 임시적인 노이즈 레벨을 추정하는 단계를 포함하는, 노이즈 저감 방법.
제 2항에 있어서,

상기 상관 특성은 상기 로컬 영역에서 사전에 설정된 복수의 후보 방향 중 픽셀 간의 상관성이 가장 높은 방향인 활성 방향에 대한 정보와, 상기 활성 방향의 상관성이 다른 후보 방향의 상관성에 비하여 얼마나 두드러지는가를 나타내는 활성 정도에 대한 정보를 포함하는, 노이즈 저감 방법.
제 5항에 있어서, 상기 보정하는 단계는,

상기 활성 정도를 정규화하는 단계; 및

상기 정규화된 활성 정도와 상기 임시적인 노이즈 레벨을 사용하여 상기 기준 픽셀의 최종적인 노이즈 레벨을 계산하는 단계를 포함하는, 노이즈 저감 방법.
제 1항에 있어서, 상기 가중치를 결정하는 단계는,

상기 입력 영상에 포함되며 상기 기준 픽셀을 포함하는 로컬 영역의 상관 특성에 기반하여, 상기 로컬 영역에 포함되는 상기 비교 영역을 설정하는 단계;

상기 비교 영역에서 상기 기준 윈도우와 동일한 크기의 상기 비교 윈도우를 선택하고, 상기 비교 윈도우와 상기 기준 윈도우 간의 유사도를 계산하는 단계; 및

상기 계산된 유사도와 상기 기준 픽셀의 노이즈 레벨을 사용하여 상기 기준 픽셀의 가중치를 계산하는 단계를 포함하는, 노이즈 저감 방법.
제 7항에 있어서,

상기 로컬 영역에서 사전에 설정된 복수의 후보 방향 중 픽셀 간의 상관성이 가장 높은 방향인 활성 방향에 대한 정보와, 상기 활성 방향의 상관성이 다른 후보 방향의 상관성에 비하여 얼마나 두드러지는가를 나타내는 활성 정도에 대한 정보를 포함하는 상관 특성을 계산하는 단계를 더 포함하고,

상기 비교 영역을 설정하는 단계는,

상기 활성 정도가 임계값보다 큰 경우 상기 로컬 영역에서 상기 기준 윈도우가 상기 활성 방향으로 연장된 영역을 상기 비교 영역으로 설정하고, 상기 활성 정도가 상기 임계값보다 크지 않은 경우 상기 로컬 영역 전체를 상기 비교 영역으로 설정하는 단계를 포함하는, 노이즈 저감 방법.
제 1항에 있어서, 상기 필터링하는 단계는,

상기 기준 픽셀의 가중치와 상기 기준 윈도우에서 상기 기준 픽셀과 동일한 광학 채널이 적용된 인접 픽셀들의 가중치 중 적어도 하나를 사용하여 기준 픽셀의 새로운 픽셀값을 계산하는 단계를 포함하는, 노이즈 저감 방법.
입력 영상을 구성하는 기준 픽셀의 노이즈 레벨을 산출하는 노이즈 레벨 산출부;

상기 기준 픽셀을 포함하는 기준 윈도우가 상기 입력 영상에 포함되는 비교 영역 내에 존재하고 상기 기준 윈도우와 동일한 크기를 갖는 하나 이상의 비교 윈도우에 대하여 갖는 유사도 및 상기 기준 픽셀의 노이즈 레벨에 기반하여 상기 기준 픽셀에 할당될 가중치를 결정하는 가중치 결정부; 및

상기 가중치를 이용하여 상기 입력 영상을 필터링하는 필터링부를 포함하는, 노이즈 저감 장치.
제 10항에 있어서, 상기 노이즈 레벨 산출부는,

상기 입력 영상이 갖는 노이즈 요인에 따라서 상기 기준 픽셀의 임시적인 노이즈 레벨을 추정하는 노이즈 레벨 추정부; 및

상기 입력 영상에 포함되며 상기 기준 픽셀을 포함하는 로컬 영역의 상관 특성에 기반하여 상기 임시적인 노이즈 레벨을 보정하는 노이즈 레벨 보정부를 포함하는, 노이즈 저감 장치.
제 11항에 있어서,

상기 노이즈 요인은 상기 기준 픽셀의 신호 강도와 상기 입력 영상 촬영시 적용된 자동이득조절값 중 적어도 하나를 포함하는, 노이즈 저감 장치.
제 12항에 있어서,

상기 노이즈 레벨 추정부는 상기 신호 강도에 따른 제1 노이즈 레벨과 상기 자동이득조절값에 따른 제2 노이즈 레벨을 사용하여 상기 임시적인 노이즈 레벨을 추정하는, 노이즈 저감 장치.
제 11항에 있어서,

상기 상관 특성을 계산하는 상관 특성 계산부를 더 포함하고,

상기 상관 특성은 상기 로컬 영역에서 사전에 설정된 복수의 후보 방향 중 픽셀 간의 상관성이 가장 높은 방향인 활성 방향에 대한 정보와, 상기 활성 방향의 상관성이 다른 후보 방향의 상관성에 비하여 얼마나 두드러지는가를 나타내는 활성 정도에 대한 정보를 포함하는, 노이즈 저감 장치.
제 14항에 있어서,

상기 노이즈 레벨 보정부는 상기 활성 정도를 정규화하고, 상기 정규화된 활성 정도와 상기 임시적인 노이즈 레벨을 사용하여 상기 기준 픽셀의 최종적인 노이즈 레벨을 계산하는, 노이즈 저감 장치.
제 10항에 있어서, 상기 가중치 결정부는,

상기 입력 영상에 포함되며 상기 기준 픽셀을 포함하는 로컬 영역의 상관 특 성에 기반하여, 상기 로컬 영역에 포함되는 상기 비교 영역을 설정하는 비교 영역 설정부;

상기 비교 영역에서 상기 기준 윈도우와 동일한 크기의 상기 비교 윈도우를 선택하고, 상기 비교 윈도우와 상기 기준 윈도우 간의 유사도를 계산하는 유사도 계산부; 및

상기 계산된 유사도와 상기 기준 픽셀의 노이즈 레벨을 사용하여 상기 기준 픽셀의 가중치를 계산하는 가중치 계산부를 포함하는, 노이즈 저감 장치.
제 16항에 있어서,

상기 로컬 영역에서 사전에 설정된 복수의 후보 방향 중 픽셀 간의 상관성이 가장 높은 방향인 활성 방향에 대한 정보와, 상기 활성 방향의 상관성이 다른 후보 방향의 상관성에 비하여 얼마나 두드러지는가를 나타내는 활성 정도에 대한 정보를 포함하는 상관 특성을 계산하는 상관 특성 계산부를 더 포함하고,

상기 비교 영역 설정부는 상기 활성 정도가 임계값보다 큰 경우 상기 로컬 영역에서 상기 기준 윈도우가 상기 활성 방향으로 연장된 영역을 상기 비교 영역으로 설정하고, 상기 활성 정도가 상기 임계값보다 크지 않은 경우 상기 로컬 영역 전체를 상기 비교 영역으로 설정하는, 노이즈 저감 장치.
제 10항에 있어서,

상기 필터링부는 상기 기준 픽셀의 가중치와 상기 기준 윈도우에서 상기 기 준 픽셀과 동일한 광학 채널이 적용된 인접 픽셀들의 가중치 중 적어도 하나를 사용하여 기준 픽셀의 새로운 픽셀값을 계산하는, 노이즈 저감 장치.