KR100975786B1 - 잡음 제약된 대각 개선된 업변환 - Google Patents

Abstract

인터레이싱된 비디오를 프로그레시브 비디오로 업변환할 때 주어진 출력 픽셀값을 보간하는 방법은 주어진 출력 픽셀에 대해 수직으로 인접한 픽셀들, 좌측 대각으로 인접한 픽셀들 및 우측 대각으로 인접한 픽셀들 각각에 대한 평균들을 결정하는 단계와, 수직으로 인접한 픽셀들, 좌측 대각으로 인접한 픽셀들 및 우측 대각으로 인접한 픽셀들 각각(28, 30 및 26) 사이의 차들을 결정하는 단계를 포함한다. 상기 방법은, 차들 중 최소 차의 절대값에 각각 기초하여 평균들 중 주어진 출력 픽셀에 대한 보간된 값으로서 선택하는 단계(42)를 더 포함하고, 주어진 출력 픽셀에 대한 값이 주어진 출력 픽셀 상하의 인접한 픽셀들에 의해 규정된 값들의 범위 사이에 존재하지 않는 경우나, 또는 선택된 최소 차가 고유하지 않다면, 수직으로 인접한 픽셀들(y1V)의 평균값으로 보간된 값을 제약하는 단계(44)를 더 포함한다.

업변환, 보간, 디인터레이싱, 잡음 제약된 대각 개선, 프로그레시브 비디오

Description

잡음 제약된 대각 개선된 업변환{Upconversion with noise constrained diagonal enhancement}

본 발명은 인터레이스 비디오를 프로그레시브(비-인터레이스) 비디오로 업컨버팅하는 것에 관한 것이다. 특히, 본 발명은 디인터레이싱 알고리즘들의 분야에 관한 것이다.

인터레이스 방식의 비디오를 프로그레시브 스캔 포맷으로 변환할 때, 디인터레이싱 알고리즘은 통상적으로, 움직임이 검출되지 않은 영역들에서 시간적 추정(필드간)을 사용하지만, 움직임 영역들에서 공간적 추정(필드내)을 사용한다. 공간적 보간은 동일한 필드내의 상하 라인들에 기초하여, 손실 라인에 대한 추정을 발생시키는데 사용된다.

필드의 기존 라인들 사이에 공간적으로 있는 픽셀들의 라인들을 생성하기 위하여 휘도 픽셀들의 필드를 디인터레이싱하는 단순한 방법은 각 새로운 픽셀을 생성하기 위해 바로 상하의 픽셀값들을 평균하기 위한 것이다. 그러나, 이러한 방법은, 윈드(wind) 및 각도들에서 파형들이 가변함에 따라 플래그 상의 스트라이프들의 에지들, 또는 수평이 아닌 단계들 상과 같이 필드내의 대각 세부 사항들(diagonal details) 상의 들쭉날쭉해진 에지들(jagged edges)을 생성한다.

개선된 대각 세부 사항에 대한 더 양호한 방법은 이전에 기술된 수직 평균 및 좌측과 우측 대각 평균의 3개의 픽셀 평균들 중에서 선택한다. 좌측 대각 평균은 우측 하부의 픽셀과 보간되는 위치의 좌측 상부에 있는 픽셀값을 평균함으로써 계산된다. 마찬가지로, 우측 대각은 좌측 하부의 픽셀과 우측 상부의 픽셀의 평균이다.

2개의 대각 평균들과 수직 평균을 선택하는 기본 개념은 1990년 초기의 톰슨(본 명세서의 양수인)에 의해 제공된 연구 프로젝트에서 사르노프 리서치 실험실(Sarnoff)에 의해 조사되었다. 3개의 선택들을 선택하는 가장 단순한 알고리즘은 DIAG1 알고리즘으로서 그들 보고서에 표시되었다.

이들 3개의 평균들 중 하나를 선택하기 위한 가장 단순한 알고리즘은 사르노프에 의해 평가되었고 DIAG1로 표시되었다. 2개의 대각 평균들과 수직 평균을 선택하는 DIAG1 알고리즘은 평균들과 동일한 픽셀값들을 사용하여 3개의 차들을 계산 비교한다. 각 평균에 대해, 대응하는 차가 계산되고 이들 차들의 절대값들은 최소를 찾기 위하여 비교된다. 최소 차에 대응하는 픽셀 평균은 보간된 값이 되도록 선택된다.

언급된 사르노프 연구는 1990년 12월 31일자의 Spatially Adaptive De-Interlacing Techniques for Final Report 및 1991년 3월 31일자의 Digital Feature TV Project Final Report의 2개의 보고서들에 문서화되어 있다. 공간적 보간 추정을 고려하기 위한 다중 선택들을 가진 장치 이점으로도, DIAG1의 기존 결정 처리는 최소값이 항상 최상의 선택인 것은 아니기 때문에, 다소 랜덤하고 잡음이 나타난다. 구현하기가 상대적으로 단순하고 비용이 저렴하지만, 랜덤하고 잡음이 적은 개선된 결정 처리가 필요하다.

독창적 장치들에 따라, 잡음 제약은, 2개의 대각 평균들과 수직 평균을 선택하는 결정 처리에 부가되어, 대각 세부 사항들이 존재하는 영역들 내의 화상 품질을 유리하게 개선시킨다. 이러한 잡음 제약은 DIAG1T로 표시된 새로운 알고리즘이 모호한 경우들에 있어서 수직 평균을 더 양호하게 한다.

특히, DIAG1T 알고리즘은 2개의 조건들 하에서 수직 평균들이 유리하게 더 양호하여 DIAG1 평균 선택 알고리즘 외에도 다른 결정 단계들을 표현한다. 첫 번째, 최소 차가 고유하지 않은 경우, 수직 평균이 선택된다. 두 번째, 선택된 평균이 보간될 위치의 위에 있는 픽셀과 아래에 있는 픽셀 사이의 값들의 범위 내에 있지 않는 경우, 수직 평균이 선택된다.

대각 인접 픽셀들은 샘플 레이트에 대응하거나 그에 의존하는 디스플레이된 화상 내의 각도들로 정렬된다. 720 x 480 화상과 4 x 3 종횡비에 대해, 예를 들어, 대각들은 수평 위로 약 41도의 각도들에 대응한다. 개선된 알고리즘은 이러한 각도보다 더 가파른 화상들 내의 대각 부분들을 개선시킬 수 있다.

도 1은 본 발명에 따른 DIAG1T 대각 개선 업변환 시스템의 블록도.

도 2는 오리지널 및 보간된 픽셀들의 공간적 배향을 설명하기에 유용한 도면.

도 3은 도 1의 평균 및 차(AVG-DIF : Averaging and Difference) 블록들의 세부 사항들을 도시한 블록도.

도 4는 도 1에 도시된 DIAG1T 회로에서의 신호 흐름을 도시한 블록도.

도 5는 도 4에 도시된 DIAG1 결정 논리의 블록도.

도 6은 도 4의 DIAG1T 제약 논리를 도시한 블록도.

독창적 장치들에 따른 디인터레이싱 알고리즘은 본 명세서에서 DIAG1T로서 표시된다. DIAG1T 디인터레이싱 알고리즘은 움직임 적응성 디인터레이싱 알고리즘에서 공간적 추정 또는 공간 전용(필드내) 알고리즘으로서 사용될 수 있다. 단순한 라인 평균 대신에 공간적 추정이 사용될 때 DIAG1T 알고리즘에 의해 달성된 개선은 현저하다.

다음 설명에서, 비디오 신호가 구성요소 형태이고, 휘도 성분만이 DIAG1T 알고리즘에 따라 처리된다고 가정한다. 따라서, 본 명세서 내에 사용된 "휘도 픽셀값(luminance pixel value)" 또는 "픽셀값"은 휘도 성분을 의미한다. 단순한 라인 평균은 2개의 낮은 해상도 색차 성분들을 인터레이싱하는데 충분하다.

입력 비디오의 2개의 연속하는 라인들 상의 휘도 픽셀값을 하기 및 도 2에 도시된 것과 같이 Xij로 라벨을 붙이고, 보간된 프로그레시브 출력 라인 픽셀들을 Yij로 라벨을 붙인다.

입력 라인 1: X11 X12 X13 X14 X15

출력 라인 : Y11 Y12 Y13 Y14 Y15

입력 라인 2: X21 X22 X23 X24 X25

단순 라인 평균 공간적 추정은 다음과 같다:

Y1j = (X1j + X2j)/2.

하기에 주어진 DIAG1T 알고리즘의 설명은 출력 위치(Y13)에 대한 공간적 추정을 계산하기 위해 초점이 맞추어질 것이다. 다른 출력 픽셀들에 대해, 설명 내의 픽셀 인덱스들은 따라서 조정된다. 알고리즘의 구현은 필요한 픽셀들이 사용할 수 없을 때 라인들의 시작들 및 종료들에서 본 명세서에서 기술된 처리를 수정하기 위해 선택될 수 있다.

Y13에 대해, DIAG1T 알고리즘은 하기 및 도 1에 도시된 바와 같이 3개의 픽셀 평균들 및 3개의 픽셀 차들을 계산한다.

y1L = (X12 + X24)/2; d1L = abs(X12 - X24);

y1V = (X13 + X23)/2 d1V = abs(X13 - X23);

y1R = (X14 + X22)/2 d1R = abs(X14 - X22);

이들 평균들 및 차들은 좌측 대각, 수직 및 우측 대각 추정에 대응한다. 모든 이들 평균들 및 차들을 제공하기 위한 회로(10)의 예시적 블록도는 플립 플롭들 및 다른 적절한 디바이스들 형태로 복수의 지연 회로들(12, 14, 16, 18 및 20)을 포함하여 도 1에 도시된다. 예를 들어, 지연 회로(16)는 라인 지연될 수 있다. 상기 회로는 AVG-DIF 블록들(26, 28 및 30)뿐만 아니라 최소 회로(22), 최대 회로(24)를 더 포함한다. 도 1의 AVG-DIF 블록(26)과 같이 예시적 AVG-DIF 블록의 세부 사항들은 도 3에 도시되어 있다. AVG-DIF 블록(26)은 디바이스 또는 블록의 평균 부분에서, 인접한 픽셀값들을 부가하는 합산기(34) 및 나누기 2 회로(38)를 바람직하게 포함한 다. 차 부분에서, 블록(26)은 감산기(26) 및 절대값 함수(39)를 더 포함한다.

기본 DIAG1 알고리즘은 하기 및 도 5에 도시된 바와 같이 최소 차에 대응하는 추정을 선택한다.

y = y1V; d = d1V;

if(d1L < d) {y = y1L; d =d1L;}

if(d1R < d) y = y1R;

Y13 = y;

특히, 기본 DIAG1 결정 논리(42)는 상기 기술된 DIAG1 알고리즘의 기능을 제공하기 위해 도 5에 도시된 비교기들(52 및 58) 및 멀티플렉서들(54, 56 및 59)을 사용하여 표현될 수 있지만, 본 발명은 이에 제한되지는 않는다. DIAG1 알고리즘 또는 DIAG1 결정 논리(42)는 도 1 및 도 4에 도시된 전체 DIAG1T 결정 논리(32)의 일부를 형성한다는 것을 주지한다.

DIAG1에서의 결정 잡음을 일소하고, 그렇게 할 때 DIAG1 위의 DIAG1T를 구별하기 위해 사용되는 도 4 및 도 6에 도시된 DIAG1T 제약 논리(44) 또는 잡음 제약은 주어진 출력 픽셀(Y13)에 대한 값이 주어진 출력 픽셀에 대한 수직 평균을 규정하는 최상부 픽셀 및 최하부 픽셀값들의 범위 내에 있다는 것을 또한 주장한다. 방정식들의 항들에서, 이것은,

X13 ≤ Y13 ≤ X23 또는 X13 ≥ Y13 ≥23

중 하나를 의미한다. 이러한 제약이 만족되지 않는다면, 출력 Y13 = y1V이다.

DIAG1T를 구별하는 부가의 제약은 좌측 대각 차가 우측 대각 차와 동일하거 나 실질적으로 동일하다는 점이다. 달리 말하면, 좌측 대각으로 인접한 픽셀들 및 우측 대각으로 인접한 픽셀들에 대한 차들은 유일해야 하거나, d1R은 d1L과 달라야 한다. 방정식들의 항들에서,

if d1L = d1R, then 출력 Y13 = y1V

이다. 이들 다른 제약들은 도 4 및 도 6에 예시된다. 특히, 도 6에 도시된 DIAG1T 제약 논리(44)는 상술된 기능들을 제고하기 위해 도시된 바와 같이 배열 및 결합된 비교기들(60, 62 및 64), OR 게이트(66) 및 멀티플렉서(68)에 의해 구현될 수 있다.

톰슨의 프린스턴 엔진 실시간 디지털 비디오 시뮬레이터는 사르노프의 DIAG1, DIAG3 및 DIAG3W 디인터레이싱 알고리즘들 및 톰슨의 새로운 DIAG1T 디인터레이싱 알고리즘을 논증하기 위해 프로그램되었다. 프린스턴 엔진은 움직임 적응성 디인터레이싱 알고리즘의 공간적 추정으로서 또한 공간 전용 디인터레이서(필드내)로서 각 DIAG 알고리즘을 수행하기 위해 프로그램되었다.

상기 알고리즘들은 먼저 고정된 테스트 패턴, 프레임 레이트 스위프(frame rate sweep)를 사용하고, 그 다음에 고정된 비디오 장면들을 사용하며, 최종적으로 실시간 움직임 비디오를 사용하여 다양한 관찰자들에게 시뮬레이팅 및 논증되었다.

프레임 레이트 스위프 테스트 패턴에서, 다양한 수평, 수직 및 대각 주파수들이 존재한다. 모든 사르노프 디인터레이싱 알고리즘들은 디인터레이싱된 테스트 패턴이, 일부 영역들이 수직 평균에 의해 추정되는 가변 경계들에 의해 규정된 다양한 지역들, 또는 좌측 또는 우측 대각 평균에 의해 추정되는 다른 영역들을 가지는 것으로 나타나게 한다. 4개의 알고리즘들(DIAG1, DIAG3, DIAG3W 및 DIAG1T) 사이의 주로 관찰할 수 있는 차는 영역들 사이의 경계들의 성질이다. 프레임 레이트 스위프 패턴이 디지털적으로 발생될 때, 경계들은 매우 깨끗하고 곧바르다. 그러나, 테스트 패턴이 일부 잡음을 가진 아날로그 소스로부터인 것일 때, 경계들은 덜 양호하게 규정되고 들쭉날쭉해진다. DIAG3W 및 DIAG1T를 사용하여, 경계들은 인지할 수 있게 깨끗해진다. DIAG3은 DIAG1에 의해 일부 개선을 제공한다. DIAG3W 및 DIAG1T의 출현 사이에 차가 거의 없지만, DIAG1T 알고리즘은 DIAG3W보다 훨씬 덜 복잡하고 훨씬 더 쉽게 구현할 수 있다. 영역 경계들은 DIAG1 알고리즘을 사용할 때보다 DIAG1T 알고리즘을 사용하여 상당히 더 깨끗해진다.

고정 또는 이동 비디오의 시뮬레이션들에서, 대각 세부 사항을 가진 영역들은 눈에 띄게 개선된다. 그러한 관찰된 장면은 바람에서 미국국기가 펄럭이는데에서 볼 수 있다. 바람에서 미국기가 펄럭이는 것처럼 수평에서 대각의 다양한 각도들로 국기의 띠들이 변할 때, 대각 세부 사항들을 가진 그러한 영역들에서의 띠들은 눈에 띄게 세부 사항들이 개선된다. 일부 대각의 각도들에 대한 들쭉날쭉해진 에지들의 개선은 상당해졌다.

움직임 적응성 알고리즘의 공간적 추정으로 사용될 때, DIAG1T 알고리즘은 복잡성 또는 비용을 상당히 부가하지 않고 화상의 이동 영역들을 상당히 개선한다. 화상의 고정 영역들은 비디오의 인접한 필드들로부터 우수한 세부 사항을 가진다.

본 발명의 상기 기술의 관점에서, 본 발명이 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 실현될 수 있다는 것을 인식해야 한다. 본 발명에 따라 인터레이싱된 비디오를 프로그레시브 비디오로 업변환할 때 주어진 출력 픽셀값을 보간하는 방법은, 하나의 처리 시스템으로 집중화된 방식으로, 또는 상이한 요소들이 여러 상호 접속된 시스템들을 가로질러 퍼져있는 경우의 분포 방식으로 실현될 수 있다. 임의 종류의 컴퓨터 시스템 또는 본 명세서에 기술된 방법들을 수행하기 위해 적응된 다른 장치가 적절하다. 하드웨어와 소프트웨어의 통상의 조합은, 컴퓨터 프로그램을 가진 범용 컴퓨터 처리기 또는 디지털 신호 처리기가 될 수 있으며, 컴퓨터 프로그램은 로드되고 실행될 때, 본 명세서에 기술된 방법들을 수행하도록 컴퓨터 시스템을 제어한다.

본 발명은 또한, 본 명세서에 기술된 방법들 및 함수들을 구현할 수 있게 하는 모든 부분들을 포함하고, 컴퓨터 시스템에 로드될 때 이들 방법들 및 기능들을 실행할 수 있는 컴퓨터 프로그램 제품 내에 삽입될 수 있다. 컴퓨터 프로그램, 소프트웨어 프로그램, 프로그램, 프로그램 제품, 또는 소프트웨어는 바로 또는 (a) 다른 언어, 코드 또는 표시로 변환, 및/또는 (b) 상이한 자료 형태의 재생의 어느 하나 또는 모두를 수행한 후에 특정 기능을 수행하기 위해 시스템이 정보 처리 능력을 갖도록 의도되는, 임의의 언어, 코드 또는 표시의 명령들 세트의 임의의 표현을 의미한다.

또한, 상기 설명은 단지 예에 의한 것으로 의도되며, 다음의 청구항들에 기재된 것을 제외하고, 어떠한 방식으로도 본 발명을 제한하는 것으로 의도되지 않는다.

Claims (15)

1. 인터레이싱된 비디오를 잡음 제약된 대각 개선된 프로그레시브 비디오로 업변환하는 방법에 있어서:

   주어진 출력 픽셀들에 대해, 수직 평균(y1V), 좌측 대각 평균(y1L), 우측 대각 평균(y1R), 수직 차(d1V), 좌측 대각 차(d1L) 및 우측 대각 차(d1R)를 결정하는 단계;

   상기 수직 차(d1V), 상기 좌측 대각 차(d1L) 및 상기 우측 대각 차(d1R) 중 최소 차에 기초하여, 상기 수직 평균(y1V), 상기 좌측 대각 평균(y1L) 및 상기 우측 대각 평균(y1R) 중에서 선택하는 단계;

   상기 좌측 대각 차가 상기 우측 대각 차와 실질적으로 같은 경우

   

   , 상기 선택 단계를 상기 수직 평균(y1V)으로 제약하는 단계; 및

   상기 주어진 출력 픽셀에 대한 값이 상기 주어진 출력 픽셀 위의 인접한 픽셀과 상기 주어진 출력 픽셀 아래의 인접한 픽셀에 의해 규정된 값들의 범위 사이에 있지 않은 경우, 상기 선택 단계를 상기 수직 평균으로 제약하는 단계를 포함하는, 업변환 방법.
2. 제 1 항에 있어서,

   상기 주어진 출력 픽셀에 대한 값(예를 들어, y13)이 상기 주어진 출력 픽셀에 대한 수직 평균(예를 들어, x23 < y13 < x13)을 규정하는 최상부 픽셀의 값(예를 들어, x23) 및 최하부 픽셀의 값(예를 들어, x23)의 범위 사이에 있지 않는 경우, 상기 선택 단계를 상기 수직 평균(y1V)으로 제약하는 단계를 더 포함하는, 업변환 방법.
3. 삭제
4. 제 1 항에 있어서,

   상기 수직 평균은, 2로 나누어지는 합을 형성하기 위해, 상기 주어진 출력 픽셀 위의 수직으로 인접한 픽셀의 휘도 성분값을 상기 주어진 출력 픽셀 아래의 수직으로 인접한 픽셀의 휘도 성분값과 더함으로써 얻어지는, 업변환 방법.
5. 제 1 항에 있어서,

   상기 좌측 대각 평균은, 2로 나누어지는 합을 형성하기 위해, 상기 주어진 출력 픽셀의 좌측 상부로의 대각으로 인접한 픽셀의 휘도 성분값을 상기 주어진 출력 픽셀의 우측 하부로의 대각으로 인접한 픽셀의 휘도 성분값과 더함으로써 얻어지는, 업변환 방법.
6. 제 1 항에 있어서,

   상기 우측 대각 평균은, 2로 나누어지는 합을 형성하기 위해, 상기 주어진 출력 픽셀의 우측 상부로의 대각으로 인접한 픽셀의 휘도 성분값을 상기 주어진 출력 픽셀의 좌측 하부로의 대각으로 인접한 픽셀의 휘도 성분값과 더함으로써 얻어지는, 업변환 방법.
7. 제 1 항에 있어서,

   상기 수직 차, 상기 좌측 대각 차 및 상기 우측 대각 차 중 상기 최소 차는 상기 수직 차, 상기 좌측 대각 차 및 상기 우측 대각 차의 절대값들을 비교하고, 상기 수직 차, 상기 좌측 대각 차 및 상기 우측 대각 차 중 최소를 선택함으로써 결정되는, 업변환 방법.
8. 제 1 항에 있어서,

   상기 제약 단계는 상기 좌측 대각 차가 상기 우측 대각 차와 동일한 경우, 상기 선택 단계를 상기 수직 평균으로 제약하는 단계를 포함하는, 업변환 방법.
9. 제 1 항에 있어서,

   상기 수직 평균은 수직으로 인접한 픽셀들에 기초하고;

   상기 좌측 평균은 상부 좌측 및 하부 우측의 대각으로 인접한 픽셀들에 기초하고;

   상기 우측 평균은 상부 우측 및 하부 좌측의 대각으로 인접한 픽셀들에 기초하는, 업변환 방법.
10. 제 9 항에 있어서,

    상기 수직으로 인접한 픽셀들, 상기 좌측 대각으로 인접한 픽셀들, 및 상기 우측 대각으로 인접한 픽셀들에 대한 평균들 중에서 상기 주어진 출력 픽셀에 대한 보간된 값으로 선택하는 상기 단계는, 각각 상기 수직으로 인접한 픽셀들, 상기 좌측 대각으로 인접한 픽셀들, 및 상기 우측 대각으로 인접한 픽셀들에 대한 차들 중에서 절대값의 최소 차에 기초하는, 업변환 방법.
11. 인터레이싱된 비디오를 프로그레시브 비디오로 업변환하는 디인터레이싱 회로에 있어서:

    주어진 출력 픽셀들에 대해, 수직 평균(y1V), 좌측 대각 평균(y1L), 우측 대각 평균(y1R), 수직 차(d1V), 좌측 대각 차(d1L) 및 우측 대각 차(d1R)를 결정하는 수단(26, 28, 30);

    상기 수직 차(d1V), 상기 좌측 대각 차(d1L) 및 상기 우측 대각 차(d1R) 중 최소 차에 기초하여, 상기 수직 평균(y1V), 상기 좌측 대각 평균(y1L) 및 상기 우측 대각 평균(y1R) 중에서 선택하는 수단(32); 및

    상기 좌측 대각으로 인접한 픽셀들 및 상기 우측 대각으로 인접한 픽셀들에 대한 평균값들이 실질적으로 동일한 경우, 및 상기 주어진 출력 픽셀에 대한 값이 상기 주어진 출력 픽셀 위의 인접한 픽셀과 상기 주어진 출력 픽셀 아래의 인접한 픽셀에 의해 규정된 값들의 범위 사이에 있지 않은 경우에는 상기 선택 단계를 상기 수직 평균(y1V)으로 제약하는 수단(44)을 포함하는, 디인터레이싱 회로.
12. 삭제
13. 삭제
14. 제 11 항에 있어서,

    상기 결정 수단, 선택 수단 및 제약 수단은 공간적 디인터레이싱만을 구현하는, 디인터레이싱 회로.
15. 제 11 항에 있어서,

    상기 결정 수단, 선택 수단 및 제약 수단은 움직임 적응성 디인터레이싱 알고리즘의 공간적 추정을 구현하는, 디인터레이싱 회로.

Images