KR101736468B1 - 영상 처리 장치 및 방법 - Google Patents

Abstract

본 발명은 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 안개 영상으로부터 안개가 존재하지 않을 때의 영상을 복원하는 영상 처리 장치 및 방법에 관한 것이다. 영상 처리 방법은 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 단계, 픽셀 깊이가 추정된 영상을 필터링하여 정련하는 단계, 픽셀 깊이가 정련된 영상으로부터 전역 대기 광원을 추정하는 단계, 그레이 스케일 변환된 영상으로부터 대기 산란광 지수를 연산하는 단계 및 안개가 포함된 영상, 정련된 픽셀 깊이, 전역 대기 광원 및 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 단계를 포함하는 것을 특징으로 한다.

Description

영상 처리 장치 및 방법{Apparatus and method for processing image}

본 발명은 영상 처리 장치 및 방법에 관한 것으로, 보다 상세하게는 안개 영상으로부터 안개가 존재하지 않을 때의 영상을 복원하는 영상 처리 장치 및 방법에 관한 것이다.

일반적으로 야외에 설치된 카메라의 경우, 비와 눈, 안개 등과 같은 날씨 변화는 카메라를 통해 획득한 영상의 화질에 영향을 끼친다. 비와 눈은 그 입자가 크고, 산발적으로 발생하여 영상 촬영 시 움직임이 빠르게 변한다. 반면에 안개는 영상 전반에 걸쳐 발생하여 그로 인한 화질 저하가 비교적 균일하고 지속적으로 유지되는 특성이 있다.

안개는 대기 중 수증기가 응결하여 지표 가까이에 작은 입자 형태로 떠 있는 자연 현상이다. 안개로 인한 가시성 저하는 대기 중의 안개 입자가 전달되는 빛과 충돌하여 산란을 일으키는데 그 원인이 있다. 산란에 의해 발생하는 빛을 산란광(air-light)이라 한다. 안개가 낀 날씨에 영상 촬영 시, 산란광에 의해 피사체들이 뿌옇게 보인다. 산란광에 의해 가시성이 감쇄된 영상은 명암이 뚜렷하지 않고 채도가 낮은 특징을 가진다. 이러한 특징은 영상의 대조비와 채도의 저하로 설명될 수 있다.

일본 공개특허 공보 제2004-289276호

본 발명이 해결하고자 하는 기술적인 과제는 안개로 인해 품질이 열화된 영상을 복원함으로써 영상의 대조비나 색감을 향상시키기 위한 영상 처리 장치 및 방법을 제공하는데 있다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 방법은 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 단계; 상기 픽셀 깊이가 추정된 영상을 필터링하여 정련하는 단계; 상기 픽셀 깊이가 정련된 영상으로부터 전역 대기 광원을 추정하는 단계; 상기 그레이 스케일 변환된 영상으로부터 대기 산란광 지수를 연산하는 단계; 및 상기 안개가 포함된 영상, 상기 정련된 픽셀 깊이, 상기 전역 대기 광원및 상기 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 안개가 포함된 영상을 그레이 스케일 변환하는 단계;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 픽셀 깊이를 추정하는 단계는, 상기 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하는 단계; 상기 N×N 블록에 포함되는 각 블록에 대해 상기 RGB 채널간 차이값을 구하는 단계; 가장 큰 RGB 채널간 차이값을 상기 N×N 블록의 중심 블록값으로 변환시키는 단계; 및 상기 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 정련하는 단계는, 상기 그레이 스케일 변환된 영상 및 상기 픽셀 깊이가 추정된 영상으로부터 제1 필터 계수를 구하는 단계; 상기 그레이 스케일 변환된 영상, 상기 픽셀 깊이가 추정된 영상 및 상기 제1 필터 계수를 이용하여 제2 필터 계수를 구하는 단계; 및 상기 제1 필터 계수 및 상기 그레이 스케일 변환된 영상의 곱과 상기 제2 필터 계수를 합산한 결과로 정련하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제1 필터 계수를 구하는 단계는, 상기 그레이 스케일 변환된 영상내의 임의의 픽셀을 중심 블록으로 하는 M×M 블록 중, 임의의 블록에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하고, M×M 블록의 개수로 나눈 제1-1 값을 연산하는 단계; 상기 그레이 스케일 변환된 영상 내의 M×M 블록에서의 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서의 픽셀 평균값을 곱한 제1-2 값을 연산하는 단계; 상기 그레이 스케일 변환된 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제1-3 값을 연산하는 단계; 및 상기 제1-1 값 및 상기 제1-2 값의 감산 결과를 상기 제1-3 값으로 나눈 제1 필터 계수를 구하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제2 필터 계수를 구하는 단계는, 상기 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 제2-1 값으로 연산하는 단계; 상기 제1 필터 계수 및 그레이 스케일 변환된 영상 내의 M×M 블록에서 픽셀 평균값의 곱을 제2-2 값으로 연산하는 단계; 및 상기 제2-1 값에서 상기 제2-2 값을 감산한 제2 필터 계수를 구하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 전역 대기 광원을 추정하는 단계는, 상기 픽셀 깊이가 정련된 영상으로부터 상위 소정%에 해당하는 픽셀값을 추출하는 단계; 및 상기 추출된 픽셀값들 중 가장 높은 픽셀값을 상기 안개가 포함된 영상에서의 전역 대기 광원으로 추정하는 단계;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 대기 산란광 지수를 연산하는 단계는, 제1 자연수에서 그레이 스케일 변환된 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산하는 단계;인 것을 특징으로 한다.

본 발명에 있어서, 상기 안개가 존재하지 않는 영상을 복원하는 단계에서, 상기 안개가 존재하지 않는 영상(J(x))은 하기 수학식

에 의해 복원 되고, 상기 수학식에서 A는 전역 대기 광원을, I(x)는 안개를 포함하고 있는 영상을, β는 대기 산란광 지수를, d(x)는 정련된 픽셀 깊이를 나타내는 것을 특징으로 한다.

본 발명이 이루고자 하는 기술적인 과제를 해결하기 위한 일 실시 예에 따른 영상 처리 장치는 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 제1 추정부; 상기 픽셀 깊이가 추정된 영상을 필터링하여 정련하는 정련부; 상기 픽셀 깊이가 정련된 영상으로부터 대기 산란광을 추정하는 제2 추정부; 상기 그레이 스케일 변환된 영상으로부터 대기 산란광 지수를 연산하는 연산부; 및 상기 안개가 포함된 영상, 상기 정련된 픽셀 깊이, 상기 전역 대기 광원 및 상기 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 복원부;를 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 안개가 포함된 영상을 그레이 스케일 변환하는 변환부;를 더 포함하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제1 추정부는, 상기 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하고, 상기 N×N 블록에 포함되는 각 블록에 대해 상기 RGB 채널간 차이값을 구하고, 가장 큰 RGB 채널간 차이값을 상기 N×N 블록의 중심 블록값으로 변환시킨 후, 상기 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 정련부는, 상기 그레이 스케일 변환된 영상 및 상기 픽셀 깊이가 추정된 영상으로부터 제1 및 제2 필터 계수를 구하고, 상기 제1 필터 계수 및 상기 그레이 스케일 변환된 영상의 곱과 상기 제2 필터 계수를 합산한 결과로 정련하는 것을 특징으로 한다.

본 발명에 있어서, 상기 정련부는, 상기 제1 필터 계수를 구할 때, 상기 그레이 스케일 변환된 영상내의 임의의 픽셀을 중심 블록으로 하는 M×M 블록 중, 임의의 블록에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하고, M×M 블록의 개수로 나눈 제1-1 값을 연산하고, 상기 그레이 스케일 변환된 영상 내의 M×M 블록에서의 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서의 픽셀 평균값을 곱한 제1-2 값을 연산하고, 상기 그레이 스케일 변환된 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제1-3 값을 연산하고, 상기 제1-1 값 및 상기 제1-2 값의 감산 결과를 상기 제1-3 값으로 나눈 제1 필터 계수를 구하는 것을 특징으로 한다.

본 발명에 있어서, 상기 정련부는, 상기 제2 필터 계수를 구할 때, 상기 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 제2-1 값으로 연산하고, 상기 제1 필터 계수 및 그레이 스케일 변환된 영상 내의 M×M 블록에서 픽셀 평균값의 곱을 제2-2 값으로 연산하고, 상기 제2-1 값에서 상기 제2-2 값을 감산한 제2 필터 계수를 구하는 것을 특징으로 한다.

본 발명에 있어서, 상기 제2 추정부는, 상기 픽셀 깊이가 정련된 영상으로부터 상위 소정%에 해당하는 픽셀값을 추출하고, 상기 추출된 픽셀값들 중 가장 높은 픽셀값을 상기 안개가 포함된 영상에서의 전역 대기 광원으로 추정하는 것을 특징으로 한다.

본 발명에 있어서, 상기 연산부는, 제1 자연수에서 그레이 스케일 변환된 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산하는 것을 특징으로 한다.

본 발명에 있어서, 상기 복원부는, 상기 안개가 존재하지 않는 영상(J(x))을 하기 수학식

으로 복원하고, 상기 수학식에서 A는 전역 대기 광원을, I(x)는 안개를 포함하고 있는 영상을, β는 대기 산란광 지수를, d(x)는 정련된 픽셀 깊이를 나타내는 것을 특징으로 한다.

상술한 바와 같이 본 발명에 따르면, 안개로 인해 품질이 열화된 영상을 복원함으로써 영상의 대조비나 색감을 향상시킬 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다.
도 2A 및 도 2B는 안개 농도에 따른 RGB 채널의 특성을 보이는 도면이다.
도 3A 내지 도 3C는 안개 영상에 대한 깊이(depth)와 RGB 채널 간의 관계를 보이는 도면이다.
도 4A 내지 도 4D는 각각 안개 영상, 깊이 영상, 정련 영상 및 복원 영상을 보이는 도면이다.
도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

본 발명은 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들은 특정 기능들을 실행하는 다양한 개수의 하드웨어 또는/및 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 발명은 하나 이상의 마이크로프로세서들의 제어 또는 다른 제어 장치들에 의해서 다양한 기능들을 실행할 수 있는, 메모리, 프로세싱, 로직(logic), 룩업 테이블(look-up table) 등과 같은 직접 회로 구성들을 채용할 수 있다. 본 발명에의 구성 요소들이 소프트웨어 프로그래밍 또는 소프트웨어 요소들로 실행될 수 잇는 것과 유사하게, 본 발명은 데이터 구조, 프로세스들, 루틴들 또는 다른 프로그래밍 구성들의 조합으로 구현되는 다양한 알고리즘을 포함하여, C, C++, 자바(Java), 어셈블러(assembler) 등과 같은 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능적인 측면들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 발명은 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. 매커니즘, 요소, 수단, 구성과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 상기 용어는 프로세서 등과 연계하여 소프트웨어의 일련의 처리들(routines)의 의미를 포함할 수 있다.

이하, 본 발명의 실시 예를 첨부도면을 참조하여 상세히 설명하기로 하며, 첨부 도면을 참조하여 설명함에 있어, 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

대기 중에 존재하는 안개를 포함하는 영상은 아래 수학식 1과 같은 물리학적 모델로 표현 할 수 있다.

수학식 1에서 I(x)는 카메라(100)로 입력되는 안개가 포함된 영상을 나타내고, I_d(x)는 대기에 안개나 비, 눈 등에 대한 노이즈가 없을 경우 카메라(100)로 입력되는 영상을 나타내고, I_a(x)는 빛의 산란에 의해 왜곡되는 영상을 나타낸다. 또한 J(x)는 안개가 존재하지 않을 때의 영상을 나타내고, β는 대기 산란광 지수로서, 한 영상 내에서는 동일한 값을 가지며 안개의 농도가 높을수록 그 값이 높다. d(x)는 영상 내에서 정련된 픽셀의 깊이를 나타내고, A는 전역 대기 광원을 나타낸다.

이와 같이 안개를 포함하고 있는 영상의 물리학적 모델을 이용하여 안개가 존재하지 않을 때의 영상을 복원하기 위한 최종 수학식은 하기 수학식 2와 같이 표현할 수 있다.

본 실시 예에서는 안개를 포함하고 있는 영상 I(x), 대기 산란광 지수 β, 정련된 픽셀 깊이 d(x) 및 전역 대기 광원 A를 상기 수학식 2에 대입함으로써 안개가 존재하지 않을 때의 영상(J(x))을 복원할 수 있다.

도 1은 본 발명의 일 실시 예에 따른 영상 처리 장치의 구성을 보이는 블록도 이다.

도 1을 참조하면, 영상 처리 장치(10)는 카메라(100), 깊이 추정부(200), 그레이 스케일 변환부(300), 정련부(400), 전역 대기 광원 추정부(500), 대기 산란광 계수 연산부(600) 및 복원부(700)를 포함한다.

카메라(100)는 안개가 포함된 영상(I(x))를 촬영한다. 카메라(100)는, 예컨대 COMS(complementary metal-oxide semiconductor) 모듈 또는 CCD(charge coupled device) 모듈 등을 이용하여 영상을 촬영하며, 입력되는 영상(또는 동영상)은 렌즈를 통해 COMS 모듈 또는 CCD 모듈로 제공되고, COMS 모듈 또는 CCD 모듈은 렌즈를 통과한 피사체의 광신호를 전기적 신호(촬영 신호)로 변환하여 출력한다. 또한 카메라(100)는 상하좌우 회전이 가능한 팬/틸트 구동 장치에 전동 줌 렌즈가 장착된 PTZ(pan, tilt zoom) 카메라일 수 있다. 도 4a에는 카메라(100)에 의해 촬영된 안개가 포함된 영상(I(x))을 보이고 있다.

깊이 추정부(200)는 카메라(100)로부터 수신한 안개가 포함된 영상 (I(x))에 대해, 주변 화소를 이용하여 배치 기반으로 픽셀의 깊이(

)를 추정한다.

일반적으로 안개를 포함하고 있는 영상에서 가까운 곳에 존재하는 물체에 비해 거리가 먼 곳의 물체일수록 안개가 심해지기 때문에 더 뿌옇게 되는 특성을 가진다. 즉, 가까운 곳에 있는 물체에 비해 멀리 떨어진 물체일수록 RGB 각 채널의 차이는 줄어들게 된다. 도 2A 및 도 2B는 안개 농도에 따른 RGB 채널의 특성을 보이는 도면이다. 도 2A는 안개가 존재하지 않은 영상의 RGB 채널의 특성을 보이고 있고, 도 2B는 안개가 포함된 영상의 RGB 채널의 특성을 보이고 있다. 도 2A 및 도 2B를 비교해보면, 도 2B의 RGB 채널 차이가 도 2A의 RGB 채널 차이보다 작음을 알 수 있다. 이로부터 안개가 짙어질수록 RGB 채널의 차이가 줄어들게 됨을 알 수 있다.

도 3A 내지 도 3C는 안개 영상에 대한 깊이(depth)와 RGB 채널 간의 관계를 보이는 도면이다. 도 3A는 안개가 포함된 영상을 나타내고, 도 3B는 실제 영상의 상대적인 깊이 영상이고, 도 3C는 도 3A에 대해 RGB 채널간 차이를 나타내는 영상이다.

도 3C의 경우 픽셀을 기반으로 깊이가 추정되기 때문에 동일한 거리에 있는 물체임에도 불구하고 깊이 값의 차이가 발생할 수 있다. 이렇게 되면 복원 시 영상에 왜곡이 발생할 수 있다.

따라서, 이러한 문제점을 해결하기 위해 수학식 3을 이용하여, 깊이 추정부(200)는 안개를 포함하고 있는 영상 (I(x))에서 주변 화소를 이용하여 배치 기반으로 픽셀의 깊이(

)를 추정한다.

수학식 3에서,

는 픽셀의 깊이

를 0-1 사이의 값으로 재조정하기 위한 노말라이즈 팩터(normalize factor) 즉, 상수를 나타낸다. 또한

는 영상 내에서 임의의 픽셀(x)를 중심으로 하는 주변 N×N 블록을 나타내며, 예를 들어 3×3 블록일 수 있으며 이에 한정되는 것은 아니다. y는 N×N 블록 중 어느 한 블록의 좌표를 나타내며, 예를 들어 3×3 블록일 경우, y는 9개 블록 중 어느 한 블록의 좌표를 나타낸다.

는 넓은 의미로 RGB 채널 차이를 나타낸다.

는 임의의 픽셀(x)를 중심으로 하는 N×N 블록 중 RGB 채널 차이값이 가장 큰 픽셀 값을 나타낸다. 수학식 3으로부터 RGB 채널 차이값이 작을수록 픽셀이 깊이(

)가 커지고, RGB 채널 차이값이 클수록 픽셀이 깊이(

)가 작아짐을 알 수 있다.

수학식 3을 이용하여 깊이 추정부(200)를 더욱 상세히 설명하면, 깊이 추정부(200)는 안개를 포함하고 있는 영상 (I(x))에서 임의의 픽셀(x)를 중심 블록으로 하는 N×N 블록을 설정한다. N×N 블록 설정 후, N×N 블록에 포함되는 각 블록에 대하여 RGB 채널간 차이값을 구한다. 이 중 가장 큰 RGB 채널 차이값을 N×N 블록의 중심 블록값으로 변환시킨 후, 중심 블록의 RGB 채널 차이값을 픽셀 깊이(

)로 추정한다. 예를 들어, 3×3 블록에서, 각 블록 (1,1), (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), (3,3)에 대한 RGB 채널 차이값을 구하고, 이 중 가장 큰 RGB 채널 차이값을 (2,2)의 값으로 변환시키고 이를 픽셀 깊이(

)로 추정한다. 이와 같은 방식으로 깊이 추정부(200)는 안개를 포함하고 있는 영상 (I(x)) 내에서 N×N 블록을 픽셀 단위로 시프트 해가면서, 전체 영상에서 픽셀의 깊이(

)를 추정할 수 있게 된다. 도 4b는 도 4a 영상에 대한 픽셀 깊이(

) 영상을 보이고 있다.

그레이 스케일 변환부(300)는 카메라(100)로부터 수신한 안개가 포함된 영상 (I(x))을 그레이 스케일 영상(G(x))로 변환한다. 그레이 스케일 변환부(300)는 안개가 포함된 3차원 영상을 1차원 영상으로 변환한다고 할 수 있다.

정련부(400)는 그레이 스케일 변환된 안개 영상(G(x)) 및 픽셀 깊이(

) 영상을 가이디드(guided) 필터링하여 픽셀 깊이(

) 영상을 정련한다. 주변 화소를 이용하여 배치 기반으로 추정된 픽셀의 깊이(

) 영상의 경우, 에지 부근에서 블록 아티팩트(artifact) 현상이 발생할 수 있기 때문에, 정련부(400)는 가이디드 필터링을 통하여 픽셀 깊이(

) 영상의 에지를 원 영상의 에지와 유사하게 보존하면서 그 외의 부분을 부드럽게 처리(smoothing)한다.

가이디드 필터링을 이용하여 픽셀 깊이(

) 영상의 정련은 하기 수학식 4와 같이 표현할 수 있다.

수학식 4에서,

는 픽셀 깊이(

) 영상의 정련 결과를 나타내고,

는 임의의 픽셀(k)를 중심으로 하는 M×M 블록을 나타내며, 예를 들어 3×3 블록일 수 있으며 이에 한정되는 것은 아니다.

는 M×M 블록에서의 전체 픽셀 개수를 나타내며, 예를 들어, 3×3 블록일 경우,

는 9이다. k는 M×M 블록의 픽셀 좌표를 나타내며, 예를 들어, 3×3 블록인 경우, k는 (1,1), (1,2), (1,3), (2,1), (2,2), (2,3), (3,1), (3,2), (3,3)이다. i는 연산하고자 하는 픽셀 좌표를 나타내며, 예를 들어, 3×3 블록에서 (2,2)일 수 있다.

는 연산 하고자 하는 픽셀 좌표 i에서의 그레이 스케일 값을 나타내고,

및

는 가이디드 필터 계수를 나타낸다.

는 연산 하고자 하는 픽셀 좌표 i에서의 픽셀 깊이 값을 나타낸다.

는 그레이 스케일 변환된 영상에서 M×M 블록의 픽셀 평균값을 나타내고,

는 픽셀 깊이 영상에서 M×M 블록의 픽셀 평균값을 나타낸다.

는 그레이 스케일 변환된 영상에서 M×M 블록의 분산값을 나타내고,

는

가 0으로 나누어 지거나 너무 커지는 것을 방지하기 위한 정규화 변수로 예를 들어,

로 설정될 수 있다.

가이디드 필터 계수

는 첫째, 그레이 스케일 변환된 영상내의 임의의 픽셀(k)을 중심 블록으로 하는 M×M 블록에서, 연산 하고자 하는 임의의 블록 좌표 i에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하여 M×M 블록에서의 전체 픽셀 개수로 나눈 제1 값을 연산한다. 둘째, 그레이 스케일 변환된 영상 내의 M×M 블록에서 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 곱한 제2 값을 연산한다. 셋째, 그레이 스케일 변환된 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제3 값을 연산한다. 최종적으로, 가이디드 필터 계수

는 제1 값 및 제2 값의 감산 결과를 제3 값으로 나눈 값이 된다.

가이디드 필터 계수

는 픽셀 깊이 영상의 M×M 블록에서 픽셀 평균값에서, 가이디드 필터 계수

및 그레이 스케일 변환된 영상의 M×M 블록에서 픽셀 평균값의 곱을 감산한 값이다.

결론적으로, 정련부(400)는 그레이 스케일 변환된 영상의 M×M 블록 내 임의의 좌표 i에서 가이디드 필터 계수

및 그레이 스케일 변환된 영상

의 곱에 가이디드 필터 계수

를 합한 값을, M×M 블록에서의 전체 픽셀 개수로 나누어 정련 결과로 출력한다. 도 4c는 정련 결과(

) 영상을 보이고 있다.

본 실시 예에서는 정련부(400)가 가이디드 필터를 이용하고 있으나, 이에 국한되지 않고, WLS(weighted least square) 필터 또는 에지 보존 스무딩 필터 등을 사용할 수도 있다.

전역 대기 광원 추정부(500)는 정련 결과(

) 영상으로부터 전역 대기 광원(A)을 추정한다. 전역 대기 광원(A)은 안개가 포함된 영상에서 깊이가 무한대인 영역의 픽셀값을 나타낸다. 전역 대기 광원 추정부(500)는 정련 결과(

) 영상으로부터 상위 5%의 픽셀값을 갖는 픽셀들을 추출하고, 이 픽셀들 중 가장 높은 픽셀값을 안개가 포함된 영상에서의 전역 대기 광원(A)으로 추정한다.

대기 산란광 지수 연산부(600)는 그레이 스케일 변환된 영상의 표준 편차를 이용하여 대기 산란광 지수(β)를 연산한다. 대기 산란광 지수(β)는 안개의 농도를 나타내는 척도 값으로서, 대기 산란광 지수(β) 값이 클수록 안개 농도가 짙고, 대기 산란광 지수(β) 값이 작을수록 안개 농도가 옅다고 할 수 있다. 일반적으로 안개가 짙은 영상의 경우 대조비가 낮기 때문에 영상의 표준 편차가 낮은 경향을 보인다. 따라서 수학식 5와 같이 그레이 스케일 변환된 영상의 표준 편차를 이용하여 대기 산란광 지수(β)를 구할 수 있다.

수학식 5에서

는 그레이 스케일 변환된 영상의 표준 편차를 나타낸다. 수학식 5를 참조하면, 대기 산란광 지수 연산부(600)는 제1 자연수, 예를 들여 1에서 그레이 스케일 변환된 영상의 표준 편차를 감산한 값을 대기 산란광 지수(β)로 연산한다.

복원부(700)는 카메라(100)에서 촬영한 안개가 포함된 영상(I(x)), 정련부(400)에서 정련된 픽셀 깊이(d(x)), 대기 산란광 추정부(500)에서 추정한 대기 산란광(A) 및 대기 산란광 지수 연산부(600)에서 연산한 대기 산란광 지수(β)를 상기 수학식 2에 대입하여 안개가 존재하지 않을 때의 영상(J(x))를 복원한다.

이와 같이 안개로 인해 품질이 열화된 영상을 복원함으로써 영상의 대조비나 색감을 향상시킬 수 있다.

도 5는 본 발명의 일 실시 예에 따른 영상 처리 방법의 동작을 보이는 흐름도 이다. 이하의 설명에서, 도 1 내지 도 4에 대한 설명과 중복되는 부분은 그 설명을 생략하기로 한다.

도 5를 참조하면, 영상 처리 장치(10)는 카메라를 통하여 안개가 포함된 영상을 획득하는 단계(S10)를 수행한다.

안개가 포함된 영상이 획득되면, 영상 처리 장치(10)는 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 단계(S20)를 수행한다. 픽셀의 깊이 추정 시에 영상 처리 장치(10)는 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하고, N×N 블록에 포함되는 각 블록에 대해 RGB 채널간 차이값을 구한다. 이후, 가장 큰 RGB 채널간 차이값을 N×N 블록의 중심 블록값으로 변환시키고, 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정한다.

픽셀 깊이 추정이 완료되면 영상 처리 장치(10)는 픽셀 깊이가 추정된 영상을 필터링하여 정련하는 단계(S30)를 수행한다. 여기서 영상 처리 장치(10)는 안개가 포함된 영상을 그레이 스케일 변환하는 단계를 더 포함할 수 있다. 영상 처리 장치(10)는 먼저, 그레이 스케일 변환된 영상 및 픽셀 깊이가 추정된 영상으로부터 제1 필터 계수를 한다. 다음에, 그레이 스케일 변환된 영상, 픽셀 깊이가 추정된 영상 및 제1 필터 계수를 이용하여 제2 필터 계수를 구한다. 마지막으로, 제1 필터 계수 및 그레이 스케일 변환된 영상의 곱과 제2 필터 계수를 합산한 결과값이 정련 결과가 된다. 제1 필터 계수를 구할 때, 영상 처리 장치(10)는 그레이 스케일 변환된 영상내의 임의의 픽셀을 중심 블록으로 하는 M×M 블록 중, 임의의 블록에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하고, M×M 블록의 개수로 나눈 제1-1 값을 연산한다. 다음에, 그레이 스케일 변환된 영상 내의 M×M 블록에서의 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서의 픽셀 평균값을 곱한 제1-2 값을 연산한다. 다음에, 그레이 스케일 변환된 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제1-3 값을 연산한다. 최종적으로 영상 처리 장치(10)는 제1-1 값 및 제1-2 값의 감산 결과를 제1-3 값으로 나눈 값을 제1 필터 계수로 구한다. 또한 제2 필터 계수를 구할 때, 영상 처리 장치(10)는 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 제2-1 값으로 연산한다. 다음에, 제1 필터 계수 및 그레이 스케일 변환된 영상 내의 M×M 블록에서 픽셀 평균값의 곱을 제2-2 값으로 연산한다. 최종적으로 영상 처리 장치(10)는 제2-1 값에서 제2-2 값을 감산한 결과를 제2 필터 계수로 구한다.

픽셀 깊이가 추정된 영상의 정련이 완료되면, 영상 처리 장치(10)는 픽셀 깊이가 정련된 영상으로부터 전역 대기 광원을 추정하는 단계(S40)를 수행한다. 전역 대기 광원 추정 시에, 영상 처리 장치(10)는 픽셀 깊이가 정련된 영상으로부터 상위 5%에 해당하는 픽셀값을 추출하고, 추출된 픽셀값들 중 가장 높은 픽셀값을 안개가 포함된 영상에서의 전역 대기 광원으로 추정한다.

대기 산란광 추정이 완료되면, 영상 처리 장치(10)는 그레이 스케일 변환된 영상으로부터 대기 산란광 지수를 연산하는 단계(S50)를 수행한다. 영상 처리 장치(10)는 1에서 그레이 스케일 변환된 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산한다.

대기 산란광 지수 연산이 완료되면, 영상 처리 장치(10)는 안개가 포함된 영상, 정련된 픽셀 깊이, 대기 산란광 및 대기 산란광 지수를 수학식 2에 적용하여 안개가 존재하지 않는 영상을 복원하는 단계(S60)를 수행한다.

한편, 본 발명은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다.

컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현하는 것을 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 바람직한 실시 예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다. 그러므로 상기 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 한다.

10: 영상 처리 장치
100: 카메라
200: 깊이 추정부
300: 그레이 스케일 변환부
400: 정련부
500: 전역 대기 광원 추정부
600: 대기 산란광 지수 연산부
700: 복원부

Claims (19)

1. 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 단계;
   상기 안개가 포함된 영상을 그레이 스케일 영상으로 변환하는 단계;
   상기 픽셀 깊이를 추정한 영상 및 상기 그레이 스케일 영상을 필터링하여 정련하는 단계;
   상기 정련 결과 영상으로부터 전역 대기 광원을 추정하는 단계;
   상기 그레이 스케일 영상으로부터 대기 산란광 지수를 연산하는 단계; 및
   상기 안개가 포함된 영상, 상기 정련 결과 영상에 대응하는 픽셀 깊이, 상기 전역 대기 광원 및 상기 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 단계;를 포함하고,
   상기 전역 대기 광원을 추정하는 단계는,
   상기 정련 결과 영상으로부터 상위 소정%에 해당하는 픽셀값을 추출하는 단계; 및
   상기 추출된 픽셀값들 중 가장 높은 픽셀값을 상기 안개가 포함된 영상에서의 전역 대기 광원으로 추정하는 단계;를 포함하고,
   상기 대기 산란광 지수를 연산하는 단계는,
   제1 자연수에서 상기 그레이 스케일 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
2. 제 1항에 있어서, 상기 픽셀 깊이를 추정하는 단계는,
   상기 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하는 단계;
   상기 N×N 블록에 포함되는 각 블록에 대해 상기 RGB 채널간 차이값을 구하는 단계;
   가장 큰 RGB 채널간 차이값을 상기 N×N 블록의 중심 블록값으로 변환시키는 단계; 및
   상기 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
3. 삭제
4. 제 2항에 있어서, 상기 정련하는 단계는,
   상기 그레이 스케일 영상 및 상기 픽셀 깊이를 추정한 영상으로부터 제1 필터 계수를 구하는 단계;
   상기 그레이 스케일 영상, 상기 픽셀 깊이를 추정한 영상 및 상기 제1 필터 계수를 이용하여 제2 필터 계수를 구하는 단계; 및
   상기 제1 필터 계수 및 상기 그레이 스케일 영상의 곱과 상기 제2 필터 계수를 합산한 결과로 정련하는 단계;를 포함하는 것을 특징으로 하는 영상 처리 방법.
5. 삭제
6. 삭제
7. 삭제
8. 삭제
9. 제 1항에 있어서, 상기 안개가 존재하지 않는 영상을 복원하는 단계에서,
   상기 안개가 존재하지 않는 영상(J(x))은 하기 수학식
   

   

   
   에 의해 복원 되고, 상기 수학식에서 A는 전역 대기 광원을, I(x)는 안개를 포함하고 있는 영상을, β는 대기 산란광 지수를, d(x)는 정련 결과 영상에 대응하는 픽셀 깊이를 나타내는 것을 특징으로 하는 영상 처리 방법.
10. 안개가 포함된 영상으로부터 RGB 채널간 차이를 이용하여 픽셀 깊이를 추정하는 제1 추정부;
    상기 안개가 포함된 영상을 그레이 스케일 영상으로 변환하는 변환부;
    상기 픽셀 깊이를 추정한 영상 및 상기 그레이 스케일 영상을 필터링하여 정련하는 정련부;
    상기 정련 결과 영상으로부터 전역 대기 광원을 추정하는 제2 추정부;
    상기 그레이 스케일 영상으로부터 대기 산란광 지수를 연산하는 연산부; 및
    상기 안개가 포함된 영상, 상기 정련 결과 영상에 대응하는 픽셀 깊이, 상기 전역 대기 광원 및 상기 대기 산란광 지수를 이용하여 안개가 존재하지 않는 영상을 복원하는 복원부;를 포함하고,
    상기 제2 추정부는,
    상기 정련 결과 영상으로부터 상위 소정%에 해당하는 픽셀값을 추출하고, 상기 추출된 픽셀값들 중 가장 높은 픽셀값을 상기 안개가 포함된 영상에서의 전역 대기 광원으로 추정하고,
    상기 연산부는,
    제1 자연수에서 상기 그레이 스케일 영상의 표준 편차를 감산한 값을 대기 산란광 지수로 연산하는 것을 특징으로 하는 영상 처리 장치.
11. 제 10항에 있어서, 상기 제1 추정부는,
    상기 안개가 포함된 영상 내의 임의의 픽셀을 중심 블록으로 하는 N×N 블록을 설정하고, 상기 N×N 블록에 포함되는 각 블록에 대해 상기 RGB 채널간 차이값을 구하고, 가장 큰 RGB 채널간 차이값을 상기 N×N 블록의 중심 블록값으로 변환시킨 후, 상기 중심 블록의 RGB 채널간 차이값을 픽셀 깊이로 추정하는 것을 특징으로 하는 영상 처리 장치.
12. 삭제
13. 제 10항에 있어서, 상기 정련부는,
    상기 그레이 스케일 영상 및 상기 픽셀 깊이를 추정한 영상으로부터 제1 및 제2 필터 계수를 구하고, 상기 제1 필터 계수 및 상기 그레이 스케일 영상의 곱과 상기 제2 필터 계수를 합산한 결과로 정련하는 것을 특징으로 하는 영상 처리 장치.
14. 제 13항에 있어서, 상기 정련부는,
    상기 제1 필터 계수를 구할 때, 상기 그레이 스케일 영상 내의 임의의 픽셀을 중심 블록으로 하는 M×M 블록 중, 임의의 블록에서의 그레이 스케일 값과 픽셀 깊이 값을 곱하고, M×M 블록의 개수로 나눈 제1-1 값을 연산하고,
    상기 그레이 스케일 영상 내의 M×M 블록에서의 픽셀 평균값 및 픽셀 깊이 영상 내의 M×M 블록에서의 픽셀 평균값을 곱한 제1-2 값을 연산하고,
    상기 그레이 스케일 영상 내의 M×M 블록에서의 분산값과 정규화 변수를 가산한 제1-3 값을 연산하고,
    상기 제1-1 값 및 상기 제1-2 값의 감산 결과를 상기 제1-3 값으로 나눈 제1 필터 계수를 구하는 것을 특징으로 하고,
    상기 정련부는,
    상기 제2 필터 계수를 구할 때, 상기 픽셀 깊이 영상 내의 M×M 블록에서 픽셀 평균값을 제2-1 값으로 연산하고,
    상기 제1 필터 계수 및 상기 그레이 스케일 영상 내의 M×M 블록에서 픽셀 평균값의 곱을 제2-2 값으로 연산하고,
    상기 제2-1 값에서 상기 제2-2 값을 감산한 제2 필터 계수를 구하는 것을 특징으로 하는 영상 처리 장치.
15. 삭제
16. 삭제
17. 삭제
18. 삭제
19. 삭제

Images