KR101354151B1

KR101354151B1 - 영상 변환 방법 및 장치, 역변환 방법 및 장치

Info

Publication number: KR101354151B1
Application number: KR1020060080644A
Authority: KR
Inventors: 김소영; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2006-08-24
Filing date: 2006-08-24
Publication date: 2014-01-28
Anticipated expiration: 2026-08-24
Also published as: CN101175211B; US20080049854A1; KR20080018469A; US8649624B2; US20120070093A1; CN101175211A; US8086053B2

Abstract

입력 영상의 주파수 특성에 따라 복수 개의 주파수 변환 알고리즘을 선택적으로 적용하여 입력 영상을 주파수 영역으로 변환하는 영상 변환 방법 및 장치, 역변환 방법 및 장치가 개시된다.

본 발명에 따른 영상 변환 방법은 현재 블록과 인접한 주변 블록의 주파수 변환 결과에 기초하여, 복수 개의 주파수 변환 알고리즘들 중에서 현재 블록에 적용할 주파수 변환 알고리즘을 선택하고, 선택된 주파수 변환 알고리즘을 이용하여 현재 블록을 주파수 영역으로 변환하는 것을 특징으로 한다.

Description

영상 변환 방법 및 장치, 역변환 방법 및 장치{Method and apparatus for transforming and inverse-transforming image}

도 1은 종래 기술에 따른 DCT 알고리즘을 개념적으로 나타낸 도면이다.

도 2는 8×8 DCT에 대한 표준 기본 패턴(basis pattern)을 나타낸 도면이다.

도 3은 본 발명에 따른 영상 변환 장치의 구성을 나타낸 블록도이다.

도 4a 내지 도 4f는 본 발명에 따른 복수 개의 주파수 변환 알고리즘들의 주파수 선택 특성을 설명하기 위한 참조도이다.

도 5는 본 발명에 따른 영상 변환 장치에서 입력 블록의 주파수 특성을 판단하는 과정을 설명하기 위한 참조도이다.

도 6은 주파수 변환된 블록의 주파수 특성을 설명하기 위한 참조도이다.

도 7은 본 발명에 따른 영상 변환 방법을 나타낸 플로우 차트이다.

도 8은 본 발명에 따른 영상 변환 장치를 적용한 영상 부호화 장치의 구성을 나타낸 블록도이다.

도 9는 본 발명에 따른 영상 역변환 장치의 구성을 나타낸 블록도이다.

도 10은 본 발명에 따른 영상 역변환 방법을 나타낸 플로우 차트이다.

도 11은 본 발명에 따른 영상 역변환 장치가 적용되는 영상 복호화 장치의 구성을 나타낸 블록도이다.

본 발명은 동영상의 부호화 및 복호화에 관한 것으로, 보다 상세하게는 현재 블록의 주파수 특성에 따라 복수 개의 주파수 변환 알고리즘을 선택적으로 적용하는 영상 변환 방법 및 장치, 역변환 방법 및 장치에 관한 것이다.

이미지와 비디오 압축을 위한 많은 변환 알고리즘이 제안되어 왔다. 가장 널리 사용되는 변환 알고리즘은 블록 기반 변환과 이미지 기반 변환의 두 가지 종류로 나누어진다. 블록 기반 변환의 예로는 Karhuhen-Loeve Transform(KLT), Singular Value Decomposition(SVD), 및 이산 여현 변환(Discrete Cosine Transform, 이하 "DCT"라 함) 등이 있다. 이러한 블록 기반 변환은 N×N 영상 블록 또는 오차 샘플 블록에 대해 수행된다.

DCT는 입력 영상 신호를 저주파와 고주파 성분으로 분류한다. DCT 결과 저주파 성분에 에너지가 집중되어 양자화 수행시 고주파 성분이 쉽게 제거될 수 있다. 인간의 시각은 고주파 성분의 손실보다 저주파 성분의 손실에 더욱 민감하기 때문에 고주파 성분을 제거하더라도 큰 화질의 열화없이 영상 압축이 가능하다.

도 1을 참조하면, 종래 기술에 따른 DCT는 N×N 입력 블록(10)에 대해서 열 방향 변환(column-wise transform)(20) 및 행 방향 변환(row-wise transform)(30)을 수행하여 N×N 계수 블록(40)을 생성한다. N×N 입력 블록(10)을 x, N×N DCT 변환 행렬을 A, Y를 N×N 계수 블록(40)이라고 하면, 순방향 DCT는 Y=AxA^T와 같이 정의된다. 첫 번째 행렬 곱셈 Ax는 N×N 입력 블록(10)인 x의 각 열(column)에 대해서 1차원 DCT를 수행하는 것에 해당되며, Ax에 이항 행렬 A^T를 곱하는 것은 x의 각 행(row)에 대해 1차원 DCT를 수행하는 것에 해당된다.

N×N DCT 변환 행렬 A의 (i,k)의 성분 α_ik는 다음의 수학식 1과 같다.

(i,k=0,...,N-1 ,

,

)

도 2는 8×8 DCT에 대한 표준 기본 패턴(basis pattern)을 나타낸 도면이다. N×N 입력 블록에 대해서 DCT를 수행하면 DCT 계수들로 구성된 N×N 계수 블록이 생성된다. 이러한 DCT 계수들은 도 2에 도시된 바와 같은 표준 기본 패턴 집합의 가중치에 해당된다. 도 2를 참조하면, 표준 기본 패턴은 수평 코사인 함수와 수직 코사인 함수의 조합으로 구성되어 있다. 영상 블록은 표준 기본 패턴의 각 패턴에 대응되는 DCT 계수를 곱한 다음 각 패턴들을 결합함으로써 재구성될 수 있다.

이와 같이, 종래 기술에 따르면 영상 신호의 특성에 상관없이 동일한 DCT 변환을 수행한다. 따라서, 영상 신호의 특성에 따라 적응적으로 DCT를 수행함으로써 압축 효율을 증가시킬 필요가 있다.

본 발명이 이루고자 하는 기술적 과제는 입력 영상의 주파수 특성에 따라 각 블록마다 적응적으로 다른 주파수 변환 알고리즘을 적용함으로써 부호화 효율을 향상시키는 영상의 변환 방법 및 장치, 역변환 방법 및 장치를 제공하는 것이다.

상기와 같은 기술적 과제를 해결하기 위하여 본 발명에 따른 영상 변환 방법은 (a) 현재 블록과 인접한 주변 블록의 주파수 변환 결과에 기초하여, 복수 개의 주파수 변환 알고리즘들 중에서 상기 현재 블록에 적용할 주파수 변환 알고리즘을 선택하는 단계; 및 (b) 상기 선택된 주파수 변환 알고리즘을 이용하여 상기 현재 블록을 주파수 영역으로 변환하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상 변환 장치는 현재 블록과 인접한 주변 블록의 주파수 변환 결과에 기초하여, 복수 개의 주파수 변환 알고리즘들 중에서 상기 현재 블록에 적용할 주파수 변환 알고리즘을 선택하는 주파수 변환 알고리즘 선택부; 및 상기 선택된 주파수 변환 알고리즘을 이용하여 상기 현재 블록을 주파수 영역으로 변환하는 변환 수행부를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상의 역변환 방법은 (a) 부호화된 비트스트림을 엔트로피 복호화하여 주파수 변환 계수를 추출하는 단계; (b) 주파수 대역을 비균등하게 분리하여 특정 주파수 대역의 성분을 더 세밀하게 변환하는 복수 개의 주파수 변환 알고리즘들 중에서 상기 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘을 결정하는 단계; 및 (c) 상기 결정된 주파수 변환 알고리즘을 이용하여 상기 주 파수 변환 계수를 역변환하는 단계를 포함하는 것을 특징으로 한다.

본 발명에 따른 영상 역변환 장치는 주파수 대역을 비균등하게 분리하여 특정 주파수 대역의 성분을 더 세밀하게 변환하는 복수 개의 주파수 변환 알고리즘들 중에서 비트스트림에서 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘을 결정하는 주파수 변환 알고리즘 선택부; 및 상기 결정된 주파수 변환 알고리즘을 이용하여 상기 주파수 변환 계수를 역변환하는 역변환 수행부를 포함하는 것을 특징으로 한다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예에 대하여 상세히 설명한다.

먼저, 본 발명의 이해를 돕기 위해 영상의 주파수에 대해서 설명한다. 동일한 색으로만 구성된 영상과 같이 영상 내에 변화가 적은 영상은 화면 내 상관 관계가 매우 높은 영상이다. 주파수 관점에서 변화가 적은 영상은 공간 주파수 성분이 낮은 영상에 해당된다. 반대로 흰색과 검은색이 교대로 나타나는 체스판 모양의 영상과 같이 화면의 변화가 심한 영상은 화면 내 상관 관계가 매우 낮은 영상이다. 주파수 관점에서 화면의 변화가 심한 영상은 공간 주파수 성분이 높은 영상에 해당된다.

DCT와 같은 종래 기술에 따른 주파수 변환 방식에서는 영상을 주파수 영역으로 변환할 때 항상 동일한 알고리즘을 적용한다. 그러나, 영상의 특성에 따라 특정 주파수 대역에 영상의 에너지가 집중되는 경우 입력 영상의 주파수 성분이 집중되는 주파수 대역을 더 세밀하게 변환하는 것이 바람직하다. 예를 들어, 화면의 변화가 적은 영상과 같이 저주파 대역에 에너지가 집중되는 영상은 저주파 대역을 좀 더 세밀한 주파수 단위로 분리하여 변환하는 경우 영상의 부호화 효율을 향상시킬 수 있다.

따라서, 본 발명은 입력 영상의 특성에 따라서 입력 영상의 주파수 성분이 집중되는 주파수 대역을 세분화하여 변환을 수행함으로써 영상의 부호화 효율을 향상시킨다.

이하에서는 설명의 편의를 위하여 대표적인 주파수 변환 방식으로서 DCT를 중심으로 본 발명을 설명하지만, 본 발명에 따른 사상은 다른 주파수 변환 방식에도 적용될 수 있을 것이다.

도 3을 참조하면, 본 발명에 따른 영상 변환 장치(300)는 주파수 변환 알고리즘 선택부(310) 및 주파수 변환 수행부(320)를 포함한다.

주파수 변환 알고리즘 선택부(310)는 현재 블록의 주파수 특성을 고려하여 복수 개의 주파수 변환 알고리즘들 중에서 현재 블록에 적용할 주파수 변환 알고리즘을 선택한다. 후술되는 바와 같이, 복수 개의 주파수 변환 알고리즘들은 각각 서로 다른 주파수 선택 특성을 갖으며, 특정 대역의 주파수 성분을 보다 세분화하여 추출하는 알고리즘들이다. 주파수 변환 알고리즘 선택부(310)는 현재 블록에 인접한 주변 블록의 주파수 특성을 이용하여 현재 블록의 주파수 특성을 예측할 수 있다. 만약 현재 블록이 인터 예측된 블록인 경우에는 주파수 변환 알고리즘 선택부(310)는 참조 프레임의 대응 블록의 주파수 특성을 고려하여 현재 블록의 주파수 특성을 예측할 수 있다. 또한, 스케일러블(scalable) 코딩 방식을 적용하여 계층적 부호화를 수행하는 경우, 주파수 변환 알고리즘 선택부(310)는 하위 계층의 대응 블록의 주파수 특성을 고려하여 현재 블록의 주파수 특성을 예측할 수 있다.

주파수 변환 수행부(320)는 주파수 변환 알고리즘 선택부(310)에서 선택된 주파수 변환 알고리즘을 적용하여 현재 블록을 주파수 영역으로 변환한다.

종래 기술에서는 도 4a에 도시된 바와 같이 하나의 고정된 주파수 선택 특성을 갖는 주파수 변환을 수행하였지만, 본 발명에 따른 영상 변환 장치는 추가적으로 도 4b 내지 도 4e에 예시된 바와 같이 서로 다른 주파수 선택 특성을 갖는 복수 개의 주파수 변환 알고리즘들 중에서 현재 블록의 주파수 성분들이 상대적으로 많이 집중된 주파수 대역을 보다 세분화하여 추출하는 주파수 변환 알고리즘을 선택하여 입력 블록을 주파수 영역으로 변환시킨다.

즉, 본 발명에 따른 복수 개의 주파수 변환 알고리즘들은 도 4b에 도시된 바와 같이 저주파수 대역(420)의 주파수 성분들(f₀ 내지 f₈)을 다른 주파수 대역에 비하여 더 세분화하여 추출하거나, 도 4c에 도시된 바와 같이 중간 주파수 대역(430)의 주파수 성분들(f₃₁ 내지 f₃₇)을 다른 주파수 대역에 비하여 더 세분화하여 추출하거나, 도 4d에 도시된 바와 같이 고주파수 대역(440)의 주파수 성분들(f₅₈ 내지 f₆₃)을 다른 주파수 대역에 비하여 더 세분화하여 추출하는 주파수 특성을 갖을 수 있 다. 또한, 본 발명에 따른 복수 개의 주파수 변환 알고리즘들은 도 4e에 도시된 바와 같이 비선형적으로 증가되는 주파수 단위로 입력 블록으로부터 주파수 성분을 추출하거나, 도 4f에 도시된 바와 같이 비선형적으로 감소되는 주파수 단위로 입력 블록으로부터 주파수 성분을 추출하는 주파수 특성을 갖을 수도 있다. 도시된 바에 한정되지 않고, 복수 개의 주파수 변환 알고리즘들은 다양한 주파수 선택 특성을 갖도록 구성될 수 있다. 도 4a 내지 도 4f에 도시된 바와 같은 주파수 선택 특성을 갖는 주파수 변환 알고리즘은 DCT와 같이 코사인 함수 등을 이용하여 설계할 수 있다.

전술한 바와 같이, 주파수 변환 알고리즘 선택부(310)는 변환할 현재 블록의 주파수 특성을 판단하기 위하여 주변 블록의 주파수 특성 정보를 이용할 수 있다. 도 5를 참조하면, 현재 블록 E(550)의 주파수 특성은 이전에 주파수 변환된 주변 블록들(510 내지 540)들의 주파수 변환 결과를 이용하여 예측될 수 있다. 이는 공간적으로 서로 인접한 블록들은 서로 유사한 주파수 특성을 갖을 가능성이 크기 때문이다. 예를 들어, 주파수 변환 알고리즘 선택부(310)는 현재 블록 E(550)의 상측에 인접한 블록 B(520) 또는 좌측에 인접한 블록 D(540)의 주파수 변환 결과를 이용하여 현재 블록 E(550)의 주파수 특성을 판단할 수 있다.

도 6은 주파수 변환된 블록의 주파수 특성을 설명하기 위한 참조도이다. 도 6에서 a₁ 내지 a₆₄는 주파수 변환된 블록의 주파수 변환 계수들을 나타낸다.

도 6을 참조하면, 주파수 변환된 블록의 계수들 중 왼쪽 상단 영역에 위치한 주파수 변환 계수들(610)은 입력 블록에 구비된 저주파수 성분들을 나타내며, 중간 영역에 위치한 변환 계수들(620)은 입력 블록에 구비된 중간 주파수 성분들을 나타내며, 오른쪽 하단 영역에 위치한 주파수 변환 계수들(630)은 입력 블록에 구비된 고주파수 성분들을 나타낸다.

주파수 변환 알고리즘 선택부(310)는 주변 블록의 주파수 변환된 결과를 이용하여 주변 블록의 저주파수 성분들의 합, 중간 주파수 성분들의 합 및 고주파수 성분들의 합을 각각 소정의 임계값과 비교하여 주변 블록의 주파수 특성을 판단하고, 판단된 주변 블록의 주파수 특성을 이용하여 현재 블록에 적용할 주파수 변환 알고리즘을 선택한다. 예를 들어, 주변 블록이 상대적으로 저주파수 대역에 집중된 것으로 판단되면, 주파수 변환 알고리즘 선택부(310)는 도 4b에 도시된 바와 같이 저주파수 대역을 보다 세분화하여 추출하는 주파수 특성을 갖는 주파수 변환 알고리즘을 선택한다.

도 7을 참조하면, 단계 710에서 현재 블록과 인접한 주변 블록의 주파수 변환 결과에 기초하여 현재 블록의 주파수 특성을 예측하고, 복수 개의 주파수 변환 알고리즘들 중에서 현재 블록에 적용할 주파수 변환 알고리즘을 선택한다.

단계 720에서 선택된 주파수 변환 알고리즘을 이용하여 현재 블록을 주파수 영역으로 변환한다.

도 8은 본 발명에 따른 영상 변환 장치를 적용한 영상 부호화 장치의 구성을 나타낸 블록도이다. 도 8에서 본 발명에 따른 영상 변환 장치는 주파수 변환부(810)에 해당된다.

도 8을 참조하면, 예측부(850)는 인트라 예측 또는 인터 예측을 수행하여 입력 블록의 예측 블록을 생성한다. 입력 블록과 예측 블록의 차이인 레지듀얼 블록은 주파수 변환부(810)로 입력된다. 본 발명에 따른 주파수 변환부(810)는 이전에 처리된 주변 블록의 주파수 특성 정보를 이용하여, 입력된 레지듀얼 블록에 적용할 주파수 변환 알고리즘을 선택하고, 선택된 주파수 변환 알고리즘에 따라서 입력된 레지듀얼 블록을 주파수 영역으로 변환한다. 변환된 레지듀얼 블록은 양자화부(820)에 의하여 양자화된 다음, 엔트로피 부호화부(860)에 의하여 가변장 부호화되어 비트스트림으로 출력된다. 다음 블록의 참조 데이터로서 이용하기 위하여, 양자화된 레지듀얼 블록은 역양자화부(830) 및 주파수 역변환부(840)에 의하여 역양자화 및 역변환된 다음 예측부(850)로 입력된다.

도 9를 참조하면, 본 발명에 따른 영상 역변환 장치(900)는 주파수 변환 알고리즘 선택부(910) 및 주파수 역변환 수행부(920)를 포함한다.

주파수 변환 알고리즘 선택부(910)는 전술한 복수 개의 주파수 변환 알고리즘들 중에서 비트스트림에서 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘을 결정한다. 주파수 변환 알고리즘 선택부(910)는 이전에 복호화된 주변 블 록의 변환시에 이용된 주파수 변환 알고리즘을 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘으로 결정하거나, 현재 블록이 인터 예측된 블록인 경우에는 현재 블록이 참조하는 참조 프레임의 대응 블록에 적용된 주파수 변환 알고리즘을 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘으로 결정할 수 있다. 또한, 주파수 변환 알고리즘 선택부(910)는 스케일러블 코딩 방식으로 부호화된 비트스트림의 경우에 현재 블록에 대응되는 하위 계층의 대응 블록에 적용된 주파수 변환 알고리즘을 선택할 수 있다.

주파수 역변환 수행부(920)는 결정된 주파수 변환 알고리즘을 이용하여 추출된 주파수 변환 계수에 대한 역변환을 수행한다.

도 10을 참조하면, 단계 1010에서 수신된 비트스트림으로부터 주파수 변환 계수를 추출한다.

단계 1020에서 복수 개의 주파수 변환 알고리즘들 중에서 비트스트림에서 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘을 결정한다.

단계 1030에서, 결정된 주파수 변환 알고리즘을 적용하여 추출된 주파수 변환 계수들에 대한 역변환을 수행하여 영상 데이터를 복원한다.

도 11을 참조하면, 본 발명에 따른 영상 복호화 장치(1100)는 엔트로피 디코더(1110), 역양자화부(1120), 역변환부(1130), 가산부(1160), 인트라 예측 부(1140), 움직임 보상부(1150) 및 필터(1170)를 포함한다. 본 발명에 따른 영상 역변환 장치는 역변환부(1130)에 대응된다.

엔트로피 디코더(1110)는 비트스트림을 수신하여 엔트로피 복호화를 수행하여 양자화된 변환 계수를 추출한다. 역양자화부(1120)는 양자화된 변환 계수에 대한 역양자화를 수행하여 변환 계수를 생성한다. 역변환부(1130)는 전술한 도 9의 주파수 역변환 장치(900)와 같이 부호화시에 이용된 주파수 변환 알고리즘을 결정하고, 결정된 주파수 변환 알고리즘을 이용하여 변환 계수에 대한 역변환을 수행한다. 예를 들어, 추출된 변환 계수의 부호화시에 이용된 주파수 변환 알고리즘을 소정의 함수 B(·), 입력 블록을 X라고 하면, 역변환부(1130)는 변환 계수 B(X)에 대해서 상기 결정된 주파수 변환 알고리즘의 역함수인 B^-1을 적용하여 B^-1(B(X))을 계산함으로써 역변환을 수행한다.

레지듀얼(residual) 성분을 부호화한 경우, 상기 역변환 결과 레지듀얼 성분이 복원되며, 복원된 레지듀얼 성분은 인트라 예측부(1140) 또는 움직임 보상부(1150)에서 예측된 예측 영상과 더하여져서 영상이 복원된다.

본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

전술한 본 발명에 따르면 입력 영상의 주파수 성분을 분석하여 특정 주파수의 출현도에 따라 주파수 대역을 더 세밀하게 또는 대략적으로 나눔으로써 영상의 부호화 효율을 향상시킬 수 있다.

Claims

영상의 변환 방법에 있어서,

(a) 현재 블록과 인접한 주변 블록의 주파수 변환 결과에 기초하여, 상기 주변 블록의 주파수 성분이 집중된 주파수 대역을 결정하고 복수 개의 주파수 변환 알고리즘들 중에서 상기 결정된 주파수 대역 부근의 주파수 성분을 더 세밀하게 추출하는 주파수 변환 알고리즘을 상기 현재 블록에 적용할 주파수 변환 알고리즘으로 선택하는 단계; 및

(b) 상기 선택된 주파수 변환 알고리즘을 이용하여 상기 현재 블록을 주파수 영역으로 변환하는 단계를 포함하는 것을 특징으로 하는 영상 변환 방법.
제 1항에 있어서, 상기 주파수 변환 알고리즘들 각각은

서로 다른 특정 주파수 대역의 성분을 더 세밀하게 추출하도록 비균등하게 분리된 주파수 단위로 변환을 수행하는 것을 특징으로 하는 영상 변환 방법.
제 1항에 있어서, 상기 주파수 변환 알고리즘들은

이산 여현 변환에 기반하는 것을 특징으로 하는 영상 변환 방법.
삭제
제 1항에 있어서, 상기 (a) 단계는

상기 현재 블록이 인터 예측된 블록인 경우, 상기 현재 블록이 참조하는 참조 프레임의 대응 블록에 적용된 주파수 변환 알고리즘을 선택하는 것을 특징으로 하는 영상 변환 방법.
제 1항에 있어서, 상기 (a) 단계는

상기 영상이 스케일러블 구조로 부호화되는 경우, 상기 현재 블록에 대응되는 하위 계층의 대응 블록 또는 상기 대응 블록의 주변 블록에 적용된 주파수 변환 알고리즘을 선택하는 것을 특징으로 하는 영상 변환 방법.
영상의 변환 장치에 있어서,

현재 블록과 인접한 주변 블록의 주파수 변환 결과에 기초하여, 상기 주변 블록의 주파수 성분이 집중된 주파수 대역을 결정하고 복수 개의 주파수 변환 알고리즘들 중에서 상기 결정된 주파수 대역 부근의 주파수 성분을 더 세밀하게 추출하는 주파수 변환 알고리즘을 상기 현재 블록에 적용할 주파수 변환 알고리즘으로 선택하는 주파수 변환 알고리즘 선택부; 및

상기 선택된 주파수 변환 알고리즘을 이용하여 상기 현재 블록을 주파수 영역으로 변환하는 주파수 변환 수행부를 포함하는 것을 특징으로 하는 영상 변환 장치.
제 7항에 있어서, 상기 주파수 변환 알고리즘들 각각은

서로 다른 특정 주파수 대역의 성분을 더 세밀하게 추출하도록 비균등하게 분리된 주파수 단위로 변환을 수행하는 것을 특징으로 하는 영상 변환 장치.
삭제
제 7항에 있어서, 상기 주파수 변환 알고리즘 선택부는

상기 현재 블록이 인터 예측된 블록인 경우, 상기 현재 블록이 참조하는 참조 프레임의 대응 블록에 적용된 주파수 변환 알고리즘을 선택하는 것을 특징으로 하는 영상 변환 장치.
제 7항에 있어서, 상기 주파수 변환 알고리즘 선택부는

상기 영상이 스케일러블 구조로 부호화되는 경우, 상기 현재 블록에 대응되는 하위 계층의 대응 블록에 적용된 주파수 변환 알고리즘을 선택하는 것을 특징으로 하는 영상 변환 장치.
영상의 역변환 방법에 있어서,

(a) 부호화된 비트스트림을 엔트로피 복호화하여 현재 블록의 주파수 변환 계수를 추출하는 단계;

(b) 주파수 대역을 비균등하게 분리하여 특정 주파수 대역의 성분을 더 세밀하게 변환하는 복수 개의 주파수 변환 알고리즘들 중에서, 상기 현재 블록과 인접한 주변 블록의 주파수 변환 결과에 기초하여 상기 주변 블록의 주파수 성분이 집중된 주파수 대역 부근의 주파수 성분을 더 세밀하게 추출하는 주파수 변환 알고리즘을 상기 추출된 현재 블록의 변환 계수의 변환에 이용된 주파수 변환 알고리즘으로 결정하는 단계; 및

(c) 상기 결정된 주파수 변환 알고리즘의 역함수를 이용하여 상기 변환 계수를 역변환하는 단계를 포함하는 것을 특징으로 하는 영상의 역변환 방법.
제 12항에 있어서, 상기 (b) 단계는

이전에 복호화된 주변 블록의 변환시에 이용된 주파수 변환 알고리즘을 상기 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘으로 결정하는 것을 특징으로 하는 영상의 역변환 방법.
제 12항에 있어서, 상기 (b) 단계는

현재 블록이 인터 예측된 블록인 경우, 상기 현재 블록이 참조하는 참조 프레임의 대응 블록에 적용된 주파수 변환 알고리즘을 상기 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘으로 결정하는 것을 특징으로 하는 영상 역변환 방법.
제 12항에 있어서, 상기 (b) 단계는

상기 영상이 스케일러블 구조로 부호화되는 경우, 현재 블록에 대응되는 하위 계층의 대응 블록에 적용된 주파수 변환 알고리즘을 선택하는 것을 특징으로 하는 영상 역변환 방법.
영상 역변환 장치에 있어서,

주파수 대역을 비균등하게 분리하여 특정 주파수 대역의 성분을 더 세밀하게 변환하는 복수 개의 주파수 변환 알고리즘들 중에서, 현재 블록과 인접한 주변 블록의 주파수 변환 결과에 기초하여 상기 주변 블록의 주파수 성분이 집중된 주파수 대역 부근의 주파수 성분을 더 세밀하게 추출하는 주파수 변환 알고리즘을 비트스트림에서 추출된 상기 현재 블록의 변환 계수의 변환에 이용된 주파수 변환 알고리즘을 결정하는 주파수 변환 알고리즘 선택부; 및

상기 결정된 주파수 변환 알고리즘의 역함수를 이용하여 상기 변환 계수를 역변환하는 역변환 수행부를 포함하는 것을 특징으로 하는 영상 역변환 장치.
제 16항에 있어서, 상기 주파수 변환 알고리즘 선택부는

이전에 복호화된 주변 블록의 변환시에 이용된 주파수 변환 알고리즘을 상기 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘으로 결정하는 것을 특징으로 하는 영상의 역변환 장치.
제 16항에 있어서, 상기 주파수 변환 알고리즘 선택부는

현재 블록이 인터 예측된 블록인 경우, 상기 현재 블록이 참조하는 참조 프레임의 대응 블록에 적용된 주파수 변환 알고리즘을 상기 추출된 변환 계수의 변환에 이용된 주파수 변환 알고리즘으로 결정하는 것을 특징으로 하는 영상 역변환 장치.
제 16항에 있어서, 상기 주파수 변환 알고리즘 선택부는

상기 영상이 스케일러블 구조로 부호화되는 경우, 현재 블록에 대응되는 하위 계층의 대응 블록에 적용된 주파수 변환 알고리즘을 선택하는 것을 특징으로 하는 영상 역변환 장치.