[go: up one dir, main page]

KR100621582B1 - 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치 - Google Patents

스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치 Download PDF

Info

Publication number
KR100621582B1
KR100621582B1 KR1020040054816A KR20040054816A KR100621582B1 KR 100621582 B1 KR100621582 B1 KR 100621582B1 KR 1020040054816 A KR1020040054816 A KR 1020040054816A KR 20040054816 A KR20040054816 A KR 20040054816A KR 100621582 B1 KR100621582 B1 KR 100621582B1
Authority
KR
South Korea
Prior art keywords
wavelet
transform
level
frames
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020040054816A
Other languages
English (en)
Other versions
KR20060005836A (ko
Inventor
한우진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020040054816A priority Critical patent/KR100621582B1/ko
Priority to NL1029428A priority patent/NL1029428C2/nl
Priority to PCT/KR2005/002158 priority patent/WO2006006786A1/en
Priority to EP05765838A priority patent/EP1779667A4/en
Priority to CNA2005100828770A priority patent/CN1722837A/zh
Priority to US11/177,391 priority patent/US20060013312A1/en
Publication of KR20060005836A publication Critical patent/KR20060005836A/ko
Application granted granted Critical
Publication of KR100621582B1 publication Critical patent/KR100621582B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H04N19/615—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding using motion compensated temporal filtering [MCTF]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/1883—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit relating to sub-band structure, e.g. hierarchical level, directional tree, e.g. low-high [LH], high-low [HL], high-high [HH]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/63—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets
    • H04N19/635—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using sub-band based transform, e.g. wavelets characterised by filter definition or implementation details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

본 발명은 비디오 압축에 관한 것으로서, 보다 상세하게는 단계별 다른 계수를 갖는 필터를 사용하는 웨이브렛 변환을 통하여 공간적 스케일러빌리티를 갖는 비디오 코딩에 관한 것이다.
본 발명의 실시예에 따른 비디오 코딩 방법은, 입력된 복수의 프레임들의 시간적 중복 및 공간적 중복을 제거하는 단계; 시간적 중복 및 상기 공간적 중복의 제거에 의해 얻어지는 변환계수들을 양자화하는 단계; 및 양자화된 변환계수들을 이용하여 비트스트림을 생성하는 단계를 포함하며, 공간적 중복 제거는 레벨 별로 다른 웨이브렛 커널을 적용하는 웨이브렛 변환에 의해 이루어진다.
스케일러빌리티, 웨이브렛 커널, 멀티 커널 웨이브렛 변환

Description

스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치{Method for scalable video coding and decoding, and apparatus for the same}
도 1a 및 도 1b는 스케일러블 비디오 코딩 과정에서의 웨이브렛 변환과정을 보여주는 도면이다.
도 2는 MCTF 방식의 스케일러블 비디오 코딩 및 디코딩 과정에서의 시간적 분해 과정의 흐름을 보여주는 도면이다.
도 3은 UMCTF 방식의 스케일러블 비디오 코딩 및 디코딩 과정에서의 시간적 분해 과정의 흐름을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 스케일러블 비디오 인코더의 구성을 보여주는 블록도이다.
도 5는 본 발명의 다른 실시예에 따른 스케일러블 비디오 인코더의 구성을 보여주는 블록도이다.
도 6은 본 발명의 또 다른 실시예에 따른 스케일러블 비디오 인코더의 공간적 변환부의 상세 구성을 보여주는 도면이다.
도 7은 본 발명의 실시예에 따른 멀티 커널 웨이브렛 변환의 순서를 보여주는 도면이다.
도 8은 본 발명의 실시예에 따른 스케일러블 비디오 인코딩 과정을 보여주는 흐름도이다.
도 9는 본 발명의 다른 실시예에 따른 스케일러블 비디오 인코딩 과정을 보여주는 흐름도이다.
도 10은 본 발명의 실시예에 따른 스케일러블 비디오 디코더의 구성을 보여주는 블록도이다.
도 11은 본 발명의 실시예에 따른 스케일러블 비디오 디코딩 과정을 보여주는 흐름도이다.
본 발명은 비디오 압축에 관한 것으로서, 보다 상세하게는 레벨별 다른 계수를 갖는 필터를 사용하는 웨이브렛 변환을 통하여 공간적 스케일러빌리티를 갖는 비디오 코딩에 관한 것이다.
인터넷을 포함한 정보통신 기술이 발달함에 따라 문자, 음성뿐만 아니라 화상통신이 증가하고 있다. 기존의 문자 위주의 통신 방식으로는 소비자의 다양한 욕구를 충족시키기에는 부족하며, 이에 따라 문자, 영상, 음악 등 다양한 형태의 정보를 수용할 수 있는 멀티미디어 서비스가 증가하고 있다. 멀티미디어 데이터는 그 양이 방대하여 대용량의 저장매체를 필요로하며 전송시에 넓은 대역폭을 필요로 한다. 예를 들면 640*480의 해상도를 갖는 24 bit 트루컬러의 이미지는 한 프레임당 640*480*24 bit의 용량 다시 말해서 약 7.37Mbit의 데이터가 필요하다. 이를 초당 30 프레임으로 전송하는 경우에는 221Mbit/sec의 대역폭을 필요로 하며, 90분 동안 상영되는 영화를 저장하려면 약 1200G bit의 저장공간을 필요로 한다. 따라서 문자, 영상, 오디오를 포함한 멀티미디어 데이터를 전송하기 위해서는 압축코딩기법을 사용하는 것이 필수적이다.
데이터를 압축하는 기본적인 원리는 데이터의 중복(redundancy)을 없애는 과정이다. 이미지에서 동일한 색이나 객체가 반복되는 것과 같은 공간적 중복이나, 동영상 프레임에서 인접 프레임이 거의 변화가 없는 경우나 오디오에서 같은 음이 계속 반복되는 것과 같은 시간적 중복, 또는 인간의 시각 및 지각 능력이 높은 주파수에 둔감한 것을 고려한 심리시각 중복을 없앰으로서 데이터를 압축할 수 있다. 데이터 압축의 종류는 소스 데이터의 손실 여부와, 각각의 프레임에 대해 독립적으로 압축하는지 여부와, 압축과 복원에 필요한 시간이 동일한 지 여부에 따라 각각 손실/무손실 압축, 프레임 내/프레임간 압축, 대칭/비대칭 압축으로 나눌 수 있다. 이 밖에도 압축 복원 지연 시간이 50ms를 넘지 않는 경우에는 실시간 압축으로 분류하고, 프레임들의 해상도가 다양한 경우는 스케일러블 압축으로 분류한다. 문자 데이터나 의학용 데이터 등의 경우에는 무손실 압축이 이용되며, 멀티미디어 데이터의 경우에는 주로 손실 압축이 이용된다. 한편 공간적 중복을 제거하기 위해서는 프레임 내 압축이 이용되며 시간적 중복을 제거하기 위해서는 프레임간 압축이 이용된다.
멀티미디어를 전송하기 위한 전송매체는 매체별로 그 성능이 다르다. 현재 사용되는 전송매체는 초당 수십 메가비트의 데이터를 전송할 수 있는 초고속통신망 부터 초당 384 키로비트의 전송속도를 갖는 이동통신망 등과 같이 다양한 전송속도를 갖는다. MPEG-1, MPEG-2, H.263 또는 H.264와 같은 종전의 비디오 코딩은 모션 보상 예측 코딩법에 기초하여 시간적 중복은 모션 보상에 의해 제거하고 공간적 중복은 변환 코딩에 의해 제거한다. 이러한 방법들은 좋은 압축률을 갖고 있지만 주 알고리즘에서 재귀적 접근법을 사용하고 있어 트루 스케일러블 비트스트림(true scalable bitstream)을 위한 유연성을 갖지 못한다. 이에 따라 최근에는 웨이브렛 기반의 스케일러블 비디오 코딩에 대한 연구가 활발하다. 스케일러블 비디오 코딩은 스케일러빌리티를 갖는 비디오 코딩을 의미한다. 스케일러빌리티란 압축된 하나의 비트스트림으로부터 부분 디코딩, 즉, 다양한 비디오를 재상할 수 있는 특성을 의미한다. 스케일러빌리티는 비디오의 해상도를 조절할 수 있는 성질을 의미하는 공간적 스케일러빌리티와 비디오의 화질을 조절할 수 있는 성질을 의미하는 SNR(Signal to Noise Ratio) 스케일러빌리티와, 프레임 레이트를 조절할 수 있는 시간적 스케일러빌리티와, 이들 각각을 조합한 것을 포함하는 개념이다.
스케일러블 비디오 코딩에 있어서 공간적 중복을 제거하는 방법으로 대표적인 것이 웨이브렛 변환이다. 도 1a 및 도 1b는 스케일러블 비디오 코딩 과정에서의 웨이브렛 변환과정을 보여주는 도면이다.
하나의 프레임의 각 행은 저역 통과 필터(Low-pass filter; Lx)와 고역 통과 필터(High-pass filter; Hx)로 필터링되고 각 필터의 결과는 1/2 다운 샘플링되어 중간 이미지 L과 H를 생성한다. L은 원 프레임이 저역 통과 필터링되고 x 방향으로 다운 샘플링된 것이고, H는 원 프레임이 고역 통과 필터링되고 x 방향으로 다운 샘 플링된 것이다. 다음에, L 및 H 이미지의 각 열이 저역 통과 필터(Low-pass filter; Ly)와 고역 통과 필터(High-pass filter; Hy)로 필터링되고 각 필터의 결과는 다시 1/2 다운 샘플링되어 4개의 서브 밴드(LL, LH, HL, HH)를 생성한다. 이 네 개의 서브 밴드들이 합쳐져 원본 프레임과 같은 수의 샘플을 가진 하나의 결과 이미지를 생성하게 된다. 여기서 LL 이미지는 원본 프레임이 수평 및 수직 방향으로 저역 통과 필터링되고 2의 지수승으로 다운 샘플링된 것이다. HL 이미지는 원본 프레임이 수직 방향으로 고역 통과 필터링되고 수평 방향으로 저역 통과 필터링된 후 2의 지수승으로 다운 샘플링된 것이다.
이와 같이 웨이브렛 변환은 하나의 프레임을 4등분하고, 전체 이미지와 거의 유사한 1/4 면적을 갖는 축소된 이미지(L 서브밴드)를 상기 프레임의 한쪽 사분면에 대체하고 나머지 3개의 사분면에는 L 이미지를 통해 전체 이미지를 복원할 수 있도록 하는 정보(H 서브밴드)들로 대체한다. 마찬가지 방식으로 L 서브밴드는 자신의 1/4 면적을 갖는 LL 서브밴드와 L 이미지를 복원하기 위한 정보(HH 서브밴드)들로 대체될 수 있다.
웨이브렛에 기반한 모든 비디오 또는 이미지 코덱(Codec)들은 움직임 추정에 의한 잔차 신호, 혹은 원본 신호를 동일한 웨이브렛 필터를 사용하는 웨이브렛 변환에 의해 여러 번 공간적 변환을 하여 공간적인 중복을 없앤 후, 양자화를 수행함으로써 압축을 수행한다. 웨이브렛 변환은 사용하는 웨이브렛 필터에 따라 여러가지 종류로 나누어질 수 있다. 웨이브렛 필터는 Haar, 5/3, 9/7, 11/13 등 그 계수의 수에 따라서 서로 다른 특성을 갖는 웨이브렛 필터들이 있다. 이 때, Haar, 5/3, 9/7 등 웨이브렛 필터를 특징짓는 계수들을 웨이브렛 커널(Wavelet Kernel)이라고 한다. 이 필터들 중 현재 대부분의 웨이브렛 기반의 비디오 코덱 및 이미지 코덱들은 우수한 성능을 가진 것으로 알려진 9/7 웨이브렛 필터를 사용하고 있다.
그러나 9/7 필터의 경우 이로부터 얻어지는 낮은 해상도의 신호가 고주파 성분을 너무 많이 포함하므로 텍스처의 세부적인 부분까지 모두 포함하게 된다. 그런데 낮은 해상도에서 고주파 성분을 너무 많이 포함한다는 것은 거의 눈에 띄지 않는 세부적인 텍스처 정보가 많이 포함되는 것을 의미하므로 코덱에서의 압축 성능은 떨어지게 된다. 한편, 저역 통과 밴드(Low-pass band)에 해당하는 부분의 텍스처 정보를 상쇄시키면 고역 통과 밴드(High-pass band)에 해당하는 부분에 에너지가 많이 남게 되어 저역 통과 밴드에 대부분의 에너지를 모음으로써 압축률을 높이는 웨이브렛 기반 압축 방식의 성능을 저하시키게 된다. 이와 같이 하나의 웨이브렛 커널을 사용하여 반복적으로 웨이브렛 변환을 수행하는 경우 코덱의 압축성능이 저하되는 문제점이 있다. 특히 이런 성능의 저하는 저해상도에서 심하게 나타난다.
상술한 문제점들에 비추어 볼 때, 최고 해상도에서의 성능을 크게 떨어뜨리지 않으면서 낮은 해상도에서의 성능을 개선할 수 있는 비디오 코딩 알고리즘이 필요하다.
본 발명은 상술한 필요성에 의해 안출된 것으로서, 본 발명은 입력 비디오 또는 이미지의 해상도나 복잡도에 따라 레벨 별로 다른 웨이브렛 필터를 사용하여 웨이브렛 변환을 함으로써 성능이 더욱 향상된 비디오 코딩 방법과 디코딩 방법 및 이를 위한 장치를 제공하는 것을 그 기술적 과제로 한다.
상기 목적을 달성하기 위하여, 본 발명에 따른 비디오 코딩 방법은, 입력된 복수의 프레임들의 시간적 중복 및 공간적 중복을 제거하는 단계; 시간적 중복 및 상기 공간적 중복의 제거에 의해 얻어지는 변환계수들을 양자화하는 단계; 및 양자화된 변환계수들을 이용하여 비트스트림을 생성하는 단계를 포함하며, 공간적 중복 제거는 레벨 별로 다른 웨이브렛 커널을 적용하는 웨이브렛 변환에 의해 이루어진다.
한편 본 발명에 따른 비디오 인코더는, 복수의 프레임들을 입력받아 프레임들의 시간적 중복을 제거하는 시간적 변환부; 레벨 별로 다른 웨이브렛 커널을 적용하는 웨이브렛 변환을 하여 공간적 중복을 제거하는 공간적 변환부; 시간적 및 공간적 중복을 제거하는 과정에서 얻어지는 변환계수들을 양자화하는 양자화부; 및 양자화된 변환계수들을 이용하여 비트스트림을 생성하는 비트스트림 생성부를 포함한다.
상기 목적을 달성하기 위하여, 본 발명에 따른 비디오 디코딩 방법은, 비트스트림을 입력받아 이를 해석하여 코딩된 프레임들에 대한 정보를 추출하는 단계; 코딩된 프레임들에 대한 정보를 역양자화하여 변환계수들을 얻는 단계; 코딩된 프레임들의 중복제거 순서의 역순서로 역공간적 변환 및 역시간적 변환하여 코딩된 프레임들을 복원하는 단계를 포함하며, 역공간적 변환은 변환계수들을 웨이브렛 커널 적용순서의 역순서에 따라 레벨 별로 다른 역웨이브렛 커널을 적용하여 역웨이 브렛 변환한다.
한편 본 발명에 따른 비디오 디코더는, 입력받은 비트스트림을 해석하여 코딩된 프레임들에 대한 정보를 추출하는 비트스트림 해석부; 코딩된 프레임들에 대한 정보를 역양자화하여 변환계수들을 얻는 역양자화부; 웨이브렛 커널 적용순서의 역순서에 따라 레벨 별로 다른 역웨이브렛 커널을 적용하는 역웨이브렛 변환을 수행하는 공간적 변환부; 및 역시간적 변환을 수행하는 역시간적 변환부를 포함하며, 중복제거 순서의 역순서에 따라 변환계수들에 대한 역공간적 변환과정과 역시간적 변환과정을 하여 프레임들을 복원한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 2는 MCTF(Motion Compensated Temporal Filtering) 방식의 스케일러블 비디오 코딩 및 디코딩 과정에서의 시간적 분해 과정의 흐름을 보여주는 도면이다.
웨이브렛 기반의 스케일러블 비디오 코딩에 사용되고 있는 많은 기술들 중에서, Ohm에 의해 제안되고 Choi 및 Wood에 의해 개선된 움직임 보상 시간적 필터링(Motion Compensated Temporal Filtering; 이하, MCTF라 함)은 시간적 중복성을 제거하고 시간적으로 유연한 스케일러블 비디오 코딩을 위한 핵심 기술이다. MCTF에서는 GOP(Group Of Picture) 단위로 코딩작업을 수행하는데 현재 프레임과 기준 프레임의 쌍은 움직임 방향으로 시간적 필터링된다.
도 2에서 L 프레임은 저주파 혹은 평균 프레임을 의미하고, H 프레임은 고주파 혹은 차이 프레임을 의미한다. 도시된 바와같이 코딩은 낮은 시간적 레벨에 있 는 프레임쌍들을 먼저 시간적 필터링을 하여 낮은 레벨의 프레임들을 높의 레벨의 L 프레임들과 H 프레임들로 전환시키고 전환된 L 프레임 쌍들은 다시 시간적 필터링하여 더 높은 시간적 레벨의 프레임들로 전환된다. 인코더는 가장 높은 레벨의 L 프레임 하나와 H 프레임들을 이용하여 웨이브렛 변환을 거쳐 비트스트림을 생성한다. 도면에서 진한색이 표시된 프레임은 웨이브렛 변환의 대상이 되는 프레임들을 의미한다. 정리하면 코딩하는 한정된 시간적 레벨 순서는 낮은 레벨의 프레임들부터 높은 레벨의 프레임들을 연산한다. 디코더는 웨이브렛 역변환을 거친 후에 얻어진 진한색의 프레임들을 높은 레벨부터 낮은 레벨의 프레임들의 순서로 연산하여 프레임들을 복원한다. 즉, 시간적 제 3 레벨의 L 프레임과 H 프레임을 이용하여 시간적 제 2 레벨의 L프레임 2개를 복원하고, 시간적 레벨의 L 프레임 2개와 H 프레임 2개를 이용하여 시간적 제 1 레벨의 L 프레임 4개를 복원한다. 최종적으로 시간적 제 1 레벨의 L 프레임 4개와 H 프레임 4개를 이용하여 프레임 8개를 복원한다. 원래의 MCTF 방식의 비디오 코딩은 유연한 시간적 스케일러빌리티를 갖지만, 단방향 움직임 추정과 낮은 시간적 레이트에서의 나쁜 성능 등의 몇몇 단점들을 가지고 있었다. 이에 대한 개선방법에 대한 많은 연구가 있었는데 그 중 하나가 Turaga와 Mihaela에 의해 제안된 비구속 MCTF(Unconstrained MCTF; 이하, UMCTF라 함)이다. 이에 대해서는 도 3을 참조하여 설명한다.
도 3은 UMCTF 방식의 스케일러블 비디오 코딩 및 디코딩 과정에서의 시간적 분해 과정의 흐름을 보여주는 도면이다.
UMCTF은 복수의 참조 프레임들과 양방향 필터링을 사용할 수 있게 하여 보다 일반적인 프레임작업을 할 수 있도록 한다. 또한 UMCTF 구조에서는 필터링되지 않은 프레임(A 프레임)을 적절히 삽입하여 비이분적 시간적 필터링을 할 수도 있다. 필터링된 L 프레임 대신에 A 프레임을 사용함으로써 낮은 시간적 레벨에서 시각적인 화질이 상당히 개선된다. 왜냐하면 L 프레임들의 시각적인 화질은 부정확한 움직임 추정 때문에 때때로 상당한 성능저하가 나타나기도 하기 때문이다. 많은 실험 결과에 따르면 프레임 업데이트 과정을 생략한 UMCTF가 원래 MCTF보다 더 좋은 성능을 보인다. 이러한 이유로 비록 가장 일반적인 형태의 UMCTF는 저역 통과 필터를 적응적으로 선택할 수 있음에도, 업데이트 과정을 생략한 특정된 형태의 UMCTF의 특정한 형태가 일반적으로 사용되고 있다.
도 4는 본 발명의 일 실시예에 따른 스케일러블 비디오 인코더의 구성을 보여주는 블록도이다.
스케일러블 비디오 인코더는 비디오 시퀀스를 구성하는 복수의 프레임들을 입력받아 GOP 단위로 압축하여 비트스트림을 생성한다. 이를 위하여, 스케일러블 비디오 인코더는 복수의 프레임들의 시간적 중복을 제거하는 시간적 변환부(410)와 공간적 중복을 제거하는 공간적 변환부(420)와 시간적 및 공간적 중복이 제거되어 생성된 변환계수들을 양자화하는 양자화부(430), 및 양자화된 변환계수들과 기타 정보를 포함하여 비트스트림을 생성하는 비트스트림 생성부(440)를 포함한다.
시간적 변환부(410)는 프레임간 움직임을 보상하여 시간적 필터링을 하기 위하여 움직임 추정부(4412)와 시간적 필터링부(414)를 포함한다. 움직임 추정부(412)는 시간적 필터링 과정이 수행 중인 프레임의 각 블록과 이에 대응되는 참조 프레임의 각 블록과의 움직임 벡터들을 구한다. 움직임 벡터들에 대한 정보는 시간적 필터링부(414)에 제공되고, 시간적 필터링부(414)는 움직임 벡터들에 대한 정보를 이용하여 복수의 프레임들에 대한 시간적 필터링을 수행한다.
시간적 중복이 제거된 프레임들, 즉, 시간적 필터링된 프레임들은 공간적 변환부(420)를 거쳐 공간적 중복이 제거된다. 공간적 변환부(420)는 공간적 변환을 이용하여 시간적 필터링된 프레임들의 공간적 중복을 제거하기 위하여 웨이브렛 변환을 사용한다. 웨이브렛 변환은 상술한 바와 같이 하나의 프레임을 4등분하고, 전체 이미지와 거의 유사한 1/4 면적을 갖는 축소된 이미지(L 서브밴드)를 상기 프레임의 한쪽 사분면에 대체하고 나머지 3개의 사분면에는 L 이미지를 통해 전체 이미지를 복원할 수 있도록 하는 정보(H 서브밴드)들로 대체한다. 마찬가지 방식으로 L 서브밴드는 자신의 1/4 면적을 갖는 LL 서브밴드와 L 이미지를 복원하기 위한 정보들로 대체될 수 있다.
본 발명의 실시예에서는 웨이브렛 변환이 여러 레벨에 걸쳐 반복적으로 수행되는 경우, 각 레벨 별로 다른 웨이브렛 커널을 적용하여 웨이브렛 변환을 수행한다. 본 명세서에서 각 레벨 별로 다른 웨이브렛 커널을 적용한다 함은, 각 레벨 별로 서로 다른 웨이브렛 커널을 적용하는 경우 뿐만 아니라, 다수의 레벨 중 적어도 2 이상의 레벨에서 서로 다른 웨이브렛 커널이 되는 경우도 포함한다. 예를 들면, 제 1 레벨에는 커널 A를 적용하고, 제 2 레벨에는 커널 B를 적용하고, 제 3 레벨에는 커널 C를 적용하여 웨이브렛 변환을 수행할 수 있다. 또한, 제 1 레벨에는 커널 A를 적용하고, 제 2 레벨 및 제 3 레벨에는 동일한 커널 B를 적용할 수 있다. 또 다른 실시예에서는 제 1 레벨 및 제 2 레벨에는 동일한 커널 A를 적용하고, 제 3 레벨에는 커널 B를 적용할 수도 있다.
각 레벨 별로 적용되는 웨이브렛 커널을 선택하는 기능은 비디오 인코더가 포함할 수 있는데 이에 대해서는 도 6에서 상술하도록 한다. 한편, 다른 실시예에서는 각 레벨 별로 적용되는 웨이브렛 커널을 선택이 사용자에 의해 이루어질 수도 있다.
시간적 필터링된 프레임들은 공간적 변환을 거쳐 변환계수들이 되는데, 이는 양자화부(430)에 전달되어 양자화된다. 양자화부(430)는 실수형 계수들인 변환계수들을 양자화하여 정수형 변환계수들로 바꾼다. 양자화 방식으로 MCTF 방식의 비디오 인코더는 임베디드 양자화 방식을 사용한다. 스케일러블 비디오 인코더는 임베디드 양자화 방식을 통해 변환계수들에 대한 양자화를 수행함으로써 양자화에 의해 필요한 정보량을 줄일 수 있고, 임베디드 양자화에 의해 SNR 스케일러빌리티를 얻을 수 있다. 현재 알려진 임베디드 양자화 알고리즘은 EZW, SPIHT, EZBC, EBCOT 등이 있다.
비트스트림 생성부(440)는 코딩된 이미지 정보와 움직임 추정부(412)에서 얻은 움직임 벡터들 및 기타 필요한 정보 등을 포함하여 비트스트림을 생성한다.
스케일러블 비디오 코딩 방식에는 프레임들에 대하여 먼저 공간적 변환(웨이브렛 변환)을 수행한 후에 시간적 변환을 수행하는 방식, 이른 바 인밴드 방식이 있다. 인밴드 방식의 스케일러블 비디오 인코더는 도 5를 통해 설명한다.
인밴드 방식의 스케일러블 비디오 인코더는 비디오 시퀀스를 구성하는 복수 의 프레임들에 대한 공간적 중복을 제거하는 한 후에 시간적 중복을 제거한다.
공간적 변환부(510)는 각 프레임들에 대하여 웨이브렛 변환을 수행하여 프레임들의 공간적 중복을 제거한다.
시간적 변환부(520)는 공간적 중복에 제거된 프레임들을 웨이브렛 영역(Wavelet Domain)에서 시간적 필터링하여 시간적 중복을 제거한다. 이를 위하여 시간적 변환부(520)는 움직임 추정부(522)와 시간적 필터링부(524)를 포함한다.
프레임들에 대한 공간적 및 시간적 중복을 제거하여 얻은 변환 계수들은 양자화부(530)를 거쳐 양자화된다. 양자화를 거친 코딩된 이미지와 움직임벡터들은 비트스트림 생성부(540)를 통해 비트스트림화된다.
도 6은 본 발명의 또 다른 실시예에 따른 스케일러블 비디오 인코더의 공간적 변환부의 상세 구성을 보여주는 도면이다.
도 6은 레벨 별로 다른 커널을 사용하는 웨이브렛 변환에 있어서 레벨에 따른 필터의 선택을 인코더의 공간적 변환부에서 수행하는 경우의 상세 구성을 보여준다. 이 실시예에서는 공간적 변환부의 필터 선택부(610)에서 입력 비디오 또는 이미지의 복잡도 또는 해상도에 따라 적절한 웨이브렛 필터를 선택하고, 선택된 필터에 관한 정보를 웨이브렛 변환부(620) 및 비트스트림 생성부(440, 540)로 제공한다. 웨이브렛 필터의 선택은, 일 실시예로서 복잡도가 높거나 해상도가 높은 비디오 입력의 경우 상세한 텍스처 정보가 중요하므로 낮은 레벨에서는 저역 통과 밴드가 부드럽게 나오는 커널보다 저역 통과 밴드에 에너지를 잘 모아주는 커널을 선택한다. 반면, 레벨이 높아질수록 상세 텍스처 정보를 효과적으로 상쇄시키기 위해서 더 부드러운 저역 통과 밴드를 만들어주는 커널을 사용할 수 있다.
예를 들면, 제 1 레벨에서는 기존의 9/7 필터를 사용할 수 있으며, 더 낮은 해상도에 대한 커널로는 11/13, 13/15 등 더 많은 계수를 갖는 커널이나 사용자에 의해 9/7 필터보다 더 부드러운 저역 통과 밴드를 갖도록 설계된 웨이브렛 커널을 사용할 수 있다.
웨이브렛 변환부는 제공받은 필터 정보에 따라 각 레벨마다 필터 선택부(610)에 의해 선택된 웨이브렛 필터를 사용하여 웨이브렛 변환을 하고 변환계수를 이후의 시간적 변환부(520) 또는 양자화부(430)로 제공한다.
도 7은 본 발명의 실시예에 따른 멀티 커널 웨이브렛 변환의 순서를 보여주는 도면이다.
레벨이 증가함에 따라 저역 통과 밴드의 텍스처 정보를 상쇄시켜주는 부드러운 웨이브렛 커널을 사용할 수 있다. 예를 들면, 제 1 레벨에서의 커널 1은 기존의 9/7 필터를 사용할 수 있으며, 제 2 레벨에서의 커널2는 11/13 필터를, 제 3 레벨에서의 커널3는 13/15 필터를 사용할 수 있다. 일반적으로 필터의 계수가 증가할수록 부드러운 저역 통과 밴드를 생성한다고 볼 수 있으나, 동일한 계수를 갖는 필터라도 사용하는 알고리즘 또는 변환 계수의 값에 따라 저역 통과 밴드의 부드러운 정도는 달라질 수 있다. 따라서 본 명세서에서 설명하는 커널의 계수는 저역 통과 밴드의 부드러운 정도를 절대적으로 결정짓는 수치는 아니며 이는 본 발명을 한정짓는 것도 아닌 것으로 해석되어야 한다.
도 8은 본 발명의 일 실시예에 따른 인코딩 과정을 보여주는 흐름도이다.
비디오 또는 이미지가 입력(S810)되면, 움직임 추정부(412)에 의해 움직임 추정이 수행되고 시간적 필터링부(414)에서 시간적 필터링(S820)이 이루어진다. 시간적 필터링된 프레임들은 필터 선택 단계(S840)에서 선택된 웨이브렛 필터를 적용하여 웨이브렛 변환(S850)을 한다. 웨이브렛 변환 결과 생성된 변환 계수들은 양자화 단계(S860)를 거쳐 비트스트림을 생성(S870)하게 된다.
필터 선택 단계(S840)는 사용자에 의해 수행될 수도 있고, 인코더내의 필터 선택부(610)에 의해 수행될 수도 있다. 비트스트림 생성 단계(S870)에서는, 사용자에 의해 제공되거나 필터 선택부(610)에 의해 제공된 웨이브렛 커널에 대한 정보를 포함하는 비트스트림을 생성한다. 그러나, 다른 실시예에서는 인코더 및 디코더간에 각 레벨별로 적용되는 웨이브렛 커널에 대한 정보가 공유되어 있는 경우 비트스트림에 웨이브렛 커널에 대한 정보를 포함시키지 않을 수 있다.
한편, 도 5에 도시된 인코더에 의해 인코딩이 되는 경우, 움직임 추정 단계 및 시간적 필터링 단계(S820)는 필터 선택 단계(S840) 및 웨이브렛 변환 단계(S850)를 수행한 후에 수행된다.
도 9는 본 발명의 다른 실시예에 따른 스케일러블 비디오 인코딩 과정을 보여주는 흐름도이다.
이미지의 입력이 있는 경우(S910), 움직임 추정 및 시간적 필터링 단계(S920), 필터 선택 단계(S930) 및 선택된 웨이브렛 필터를 사용하여 웨이브렛 변환을 하는 단계(S940), 양자화 단계(S950), 비트스트림 생성 단계(S960)를 수행하는 것은 도 8에 도시된 바와 동일하다.
도 8에 도시된 실시예의 경우는 하나의 비디오 시퀀스에 대하여 웨이브렛 변환의 레벨 별로 적용될 웨이브렛 커널이 선택되면 그 비디오 시퀀스가 종료될 때까지 동일한 웨이브렛 커널들을 사용하여 웨이브렛 변환을 하게된다. 그러나, 본 실시예의 경우에는 비디오 시퀀스를 인코딩하는 과정에서 이미지의 복잡도나 해상도에 변동이 있는 경우 이에 적응적으로 웨이브렛 필터를 변화시키는 단계(S970)를 추가시킬 수 있다. 동적으로 복잡도 또는 해상도가 변화되는 비디오 시퀀스에 대하여 레벨 별로 적용되는 웨이브렛 커널의 세트를 변동시키는 단위는 GOP 단위가 될 수도 있고, 장면(Scene) 단위가 될 수도 있다.
도 10은 본 발명의 실시예에 따른 스케일러블 비디오 디코더의 구성을 보여주는 블록도이다.
스케일러블 비디오 디코더는 입력되는 비트스트림을 해석하여 비트스트림에 포함된 각 구성부분을 추출하는 비트스트림 해석부(1010)와 도 10의 실시예에 따라 코딩된 이미지를 복원하는 제1 디코딩부(1020)와 도 5의 실시예에 따라 코딩된 이미지를 복원하는 제2 디코딩부(1030)를 포함한다.
상기 제1 및 제2 디코딩부는 하드웨어로 구현될 수도 있고, 소프트웨어 모듈로 구현될 수도 있다. 또한 하드웨어 혹은 소프트웨어 모듈로 구현 될 때는 도 10와 같이 별도로 구현될 수도 있으나, 통합되어 구현될 수도 있다. 통합되어 구현된 경우에, 제1 및 제2 디코딩부는 비트스트림 해석부(1010)에서 얻은 중복제거 순서에 따라 역중복제거 과정의 순서만 달리한다.
한편, 스케일러블 비디오 디코더는 도 10와 같이 서로 다른 중복제거 순서에 따라 코딩된 이미지를 모두 복원할 수 있도록 구현될 수도 있지만, 어느 한가지 중복제거 순서에 따라 코딩된 이미지만을 복원하도록 구현할 수도 있음을 유의해야 한다.
먼저 비트스트림 해석부(1010)는 입력된 비트스트림을 해석하여 코딩된 이미지 정보(코딩된 프레임들)을 추출하고 중복제거 순서를 결정한다. 중복제거 순서가 제1 디코딩부(1020)에 해당하는 경우라면 제1 디코딩부(1020)를 통해 비디오 시퀀스를 복원하고, 중복제거 순서가 제2 디코딩부(1030)에 해당하는 경우라면 제2 디코딩부(1030)를 통해 비디오 시퀀스를 복원한다. 또한, 비트스트림 해석부(1010)는 비트스트림을 해석하여 웨이브렛 변환에서 각 레벨 별로 적용된 복수의 웨이브렛 필터에 관한 정보를 알아낼 수 있다. 한편, 인코더와 디코더간에 웨이브렛 필터에 관한 정보가 이미 공유되어 있다면 비트스트림에 해당 정보가 포함되지 않을 수도 있다. 코딩된 이미지 정보로부터 비디오 시퀀스를 복원하는 과정에 대해서는 중복제거 순서가 제1 디코딩부(1020)에 해당하는 경우를 먼저 설명하고, 그리고 나서 중복제거 순서가 제2 디코딩부(1030)에 해당하는 경우를 설명한다.
제1 디코딩부(1020)에 입력된 코딩된 프레임들에 대한 정보는 역양자화부(1022)에 의해 역양자화되어 변환계수들로 바뀐다. 변환계수들은 역공간적 변환부(1024)에 의해 역웨이브렛 변화된다. 역웨이브렛 변환은 웨이브렛 변환의 각 레벨에서 웨이브렛 필터가 적용된 역순서에 따라 역웨이브렛 필터를 적용하여 이루어진다. 역공간적 변환을 거쳐 변환계수들은 역시간적 변환부(1026)에 의해 역시간적 변환하여 비디오 시퀀스를 구성하는 프레임들을 복원한다. 역시간적 변환을 위하여 역시간적 필터링부(1026)는 비트스트림을 해석하여 얻은 모션벡터들을 이용한다.
제2 디코딩부(1030)에 입력된 코딩된 프레임들에 대한 정보는 역양자화부(1032)에 의해 역양자화되어 변환계수들로 바뀐다. 변환계수들은 역시간적 변환부(1034)에 의해 역시간적 변환된다. 역시간적 변환을 거친 코딩된 이미지 정보들은 공간적 변환을 거친 프레임 상태로 변환된다. 공간적 변환을 거친 상태의 프레임들은 역공간적 변환부(1036)에서 역공간적 변환되어 비디오 시퀀스를 구성하는 프레임들로 복원된다. 역공간적 변환을 위한 복수의 웨이브렛 커널에 관한 정보는 비트스트림 해석부(1010)가 비트스트림을 해석하여 얻은 정보일 수 있다. 한편, 인코더와 디코더간에 웨이브렛 필터에 관한 정보가 이미 공유되어 있을 수도 있다. 역공간적 변환부(1036)에서 사용되는 역공간적 변환은 역웨이브렛 변환 방식이다.
도 11은 본 발명의 실시예에 따른 스케일러블 비디오 디코딩 과정을 보여주는 흐름도이다.
상기 제 1 디코딩부에 의한 디코딩 과정의 경우, 비트스트림 해석 단계(S1110), 역양자화 단계(S1120), 필터 정보에 따라 해당 필터를 사용하여 역웨이브렛 변환하는 단계(S1130), 역시간적 변환 단계(S1140)를 수행하게 된다. 반면, 상기 제 2 디코딩부에 의한 디코딩 과정에서는 비트스트림 해석 단계(S1110), 역양자화 단계(S1120) 수행 후 역시간적 변환 단계(S1140)를 먼저 수행하고, 필터 정보에 따라 해당 필터를 사용하여 역웨이브렛 변환하는 단계(S1130)를 수행하게 된다.
비트스트림 해석 단계(S1110)는 비트스트림 해석부(1010)에 의해 수행되며, 웨이브렛 변환 과정의 각 레벨에 적용될 웨이브렛 커널에 대한 정보를 추출한다. 단, 인코더 및 디코더간에 웨이브렛 변환 과정의 각 레벨에 적용될 웨이브렛 커널에 대한 정보가 이미 공유되어 있는 경우 해당 정보의 추출작업은 생략될 수 있다.
역웨이브렛 변환단계(S1130)은 비트스트림으로부터 획득된 정보 또는 인코더와 디코더간에 이미 공유되어 있는 정보에 따라 웨이브렛 변환단계에서 각 레벨 별로 웨이브렛 커널이 적용된 역순서에 따라 역웨이브렛 필터를 적용하여 역웨이브렛 변환을 수행한다.
상기 설명에서는 복수의 웨이브렛 커널을 사용하여 각 레벨 별로 다른 웨이브렛 필터를 적용하는 웨이브렛 변환방법이 시간적 및 공간적으로 스케일러블한 비디오 코딩 및 디코딩에 적용되는 경우를 주로 설명하였다. 그러나, 본 발명의 범위는 이에 한정되지 않고 공간적으로 스케일러블하다면 시간적으로 스케일러블하지 않은 비디오 코딩 및 디코딩과 이미지의 코딩 및 디코딩에도 적용될 수 있음은 당업자에게 있어서 자명하다.
본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구의 범위에 의하여 나타내어지며, 특허청구의 범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명에 따르면, 웨이브렛 변환과정의 각 레벨 별로 서로 다른 웨이브렛 커널을 사용함으로써 낮은 해상도에서도 향상된 성능을 갖는 비디오 코딩이 가능하다.

Claims (28)

  1. 입력된 복수의 프레임들에 대하여 웨이브렛 변환을 수행함으로써 공간적 중복을 제거하는 단계;
    상기 공간적 중복의 제거에 의해 얻어지는 웨이블렛 계수들을 양자화하는 단계; 및
    상기 양자화된 웨이브렛 계수들을 이용하여 비트스트림을 생성하는 단계를 포함하는데,
    상기 웨이브렛 변환은 복수 레벨의 서브밴드 분해 과정으로 이루어지며, 상기 복수 레벨 별로 서로 다른 웨이브렛 커널이 적용되는 비디오 코딩 방법
  2. 제 1항에 있어서,
    상기 비트스트림은
    상기 레벨 별로 다른 웨이브렛 커널에 관한 정보를 포함하는 비디오 코딩 방법
  3. 제 1항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    상기 프레임들의 상태에 따라 달라지는 비디오 코딩 방법
  4. 제 3항에 있어서,
    상기 프레임들의 상태는
    상기 프레임들의 복잡도 또는 상기 프레임들의 해상도 중 적어도 어느 하나인 비디오 코딩 방법
  5. 제 1항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    레벨이 높아질수록 저역 통과 밴드를 더 부드럽게 만들어주는 웨이브렛 커널인 비디오 코딩 방법
  6. 제 1항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    제 1 레벨에서는 9/7 커널이고, 제 2 레벨에서는 11/13 커널 또는 13/15 커널 중 적어도 하나이고, 제 3 레벨이상의 레벨에서는 제 2 레벨의 커널과 동일하거나 제 2 레벨의 커널보다 저역 통과 밴드를 더 부드럽게 만들어주는 웨이브렛 커널인 비디오 코딩 방법
  7. 제 1항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    GOP 단위 또는 장면(Scene) 단위중 적어도 어느 하나의 단위의 프레임들의 상태에 따라 적응적으로 변동되는 비디오 코딩 방법
  8. 복수의 프레임들을 입력받아 프레임들의 시간적 중복을 제거하는 시간적 변환부;
    상기 시간적 중복이 제거된 복수의 프레임들에 대하여 웨이브렛 변환을 수행함으로써 공간적 중복을 제거하는 공간적 변환부;
    상기 시간적 및 공간적 중복을 제거하는 과정에서 얻어지는 변환계수들을 양자화하는 양자화부; 및
    상기 양자화된 변환계수들을 이용하여 비트스트림을 생성하는 비트스트림 생성부를 포함하는데,
    상기 웨이브렛 변환은 복수 레벨의 서브밴드 분해 과정으로 이루어지며, 상기 복수 레벨 별로 서로 다른 웨이브렛 커널이 적용되는 비디오 인코더
  9. 제 8항에 있어서,
    상기 시간적 변환부는 상기 공간적 변환부에 앞서 시간적 중복을 제거한 프레임들을 상기 공간적 변환부에 전달하고, 상기 공간적 변환부는 상기 시간적 중복이 제거된 프레임들로부터 공간적 중복을 제거하여 변환계수들을 얻는 비디오 인코더
  10. 제 8항에 있어서,
    상기 공간적 변환부는 상기 시간적 변환부에 앞서 상기 웨이브렛 변환을 통해 공간적 중복을 제거한 프레임들을 상기 시간적 변환부에 전달하고, 상기 시간적 변환부는 상기 공간적 중복이 제거된 프레임들로부터 시간적 중복을 제거하여 변환 계수들을 얻는 비디오 인코더
  11. 제 8항에 있어서,
    상기 공간적 변환부는
    상기 레벨 별로 다른 웨이브렛 커널을 선택하는 필터 선택부; 및
    상기 선택된 웨이브렛 커널을 적용하여 웨이브렛 변환을 수행하는 웨이브렛 변환부를 포함하는 비디오 인코더
  12. 제 8항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    상기 프레임들의 상태에 따라 달라지는 비디오 인코더
  13. 제 12항에 있어서,
    상기 프레임들의 상태는
    상기 프레임들의 복잡도 또는 상기 프레임들의 해상도 중 적어도 어느 하나인 비디오 인코더
  14. 제 8항에 있어서,
    상기 비트스트림은
    상기 레벨 별로 다른 웨이브렛 커널에 관한 정보를 포함하는 비디오 인코더
  15. 제 8항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    레벨이 높아질수록 저역 통과 밴드를 더 부드럽게 만들어주는 웨이브렛 커널인 비디오 인코더
  16. 제 8항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    제 1 레벨에서는 9/7 커널이고, 제 2 레벨에서는 11/13 커널 또는 13/15 커널 중 적어도 하나이고, 제 3 레벨이상의 레벨에서는 제 2 레벨의 커널과 동일하거나 제 2 레벨의 커널보다 저역 통과 밴드를 더 부드럽게 만들어주는 웨이브렛 커널인 비디오 인코더
  17. 제 8항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    GOP 단위 또는 장면(Scene) 단위중 적어도 어느 하나의 단위의 프레임들의 상태에 따라 적응적으로 변동되는 비디오 인코더
  18. 비트스트림을 입력받아 이를 해석하여 코딩된 프레임들에 대한 정보를 추출하는 단계;
    상기 코딩된 프레임들에 대한 정보를 역양자화하여 변환계수들을 얻는 단계;
    상기 변환계수에 대하여 역 웨이브렛 변환을 수행하는 단계를 포함하는데,
    상기 역 웨이브렛 변환은 복수 레벨의 서브밴드 합성 과정으로 이루어지며, 상기 복수 레벨 별로 서로 다른 웨이브렛 커널이 적용되는 비디오 디코딩 방법
  19. 삭제
  20. 삭제
  21. 제 18항에 있어서,
    상기 비트스트림은
    상기 레벨 별로 다른 웨이브렛 커널에 관한 정보를 포함하는 비디오 디코딩 방법
  22. 제 18항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    레벨이 높아질수록 저역 통과 밴드를 더 부드럽게 만들어주는 웨이브렛 커널인 비디오 디코딩 방법
  23. 입력받은 비트스트림을 해석하여 코딩된 프레임들에 대한 정보를 추출하는 비트스트림 해석부;
    상기 코딩된 프레임들에 대한 정보를 역양자화하여 변환계수들을 얻는 역양자화부;
    상기 변환계수에 대하여 역 웨이브렛 변환을 수행하는 역공간적 변환부; 및
    상기 역 웨이브렛 변환된 결과에 대하여 역시간적 변환을 수행하는 역시간적 변환부를 포함하는데,
    상기 역 웨이브렛 변환은 복수 레벨의 서브밴드 합성 과정으로 이루어지며, 상기 복수 레벨 별로 서로 다른 웨이브렛 커널이 적용되는 비디오 디코더
  24. 삭제
  25. 삭제
  26. 제 23항에 있어서,
    상기 비트스트림은
    상기 레벨 별로 다른 웨이브렛 커널에 관한 정보를 포함하는 비디오 디코더
  27. 제 23항에 있어서,
    상기 레벨 별로 다른 웨이브렛 커널은
    레벨이 높아질수록 저역 통과 밴드를 더 부드럽게 만들어주는 웨이브렛 커널인 비디오 디코더
  28. 제1항 내지 제7항, 제18항, 제21항 및 제22항 중 어느 한 항에 의한 방법을 실행하기 위한 컴퓨터로 읽을 수 있는 프로그램을 기록한 기록 매체
KR1020040054816A 2004-07-14 2004-07-14 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치 Expired - Fee Related KR100621582B1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
KR1020040054816A KR100621582B1 (ko) 2004-07-14 2004-07-14 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
NL1029428A NL1029428C2 (nl) 2004-07-14 2005-07-05 Werkwijze en inrichting voor het schaalbaar coderen en decoderen van video.
PCT/KR2005/002158 WO2006006786A1 (en) 2004-07-14 2005-07-06 Method and apparatus for scalable video coding and decoding
EP05765838A EP1779667A4 (en) 2004-07-14 2005-07-06 Method and apparatus for scalable video coding and decoding
CNA2005100828770A CN1722837A (zh) 2004-07-14 2005-07-11 用于可分级视频编码和解码的方法和设备
US11/177,391 US20060013312A1 (en) 2004-07-14 2005-07-11 Method and apparatus for scalable video coding and decoding

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020040054816A KR100621582B1 (ko) 2004-07-14 2004-07-14 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치

Publications (2)

Publication Number Publication Date
KR20060005836A KR20060005836A (ko) 2006-01-18
KR100621582B1 true KR100621582B1 (ko) 2006-09-08

Family

ID=35599383

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020040054816A Expired - Fee Related KR100621582B1 (ko) 2004-07-14 2004-07-14 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치

Country Status (6)

Country Link
US (1) US20060013312A1 (ko)
EP (1) EP1779667A4 (ko)
KR (1) KR100621582B1 (ko)
CN (1) CN1722837A (ko)
NL (1) NL1029428C2 (ko)
WO (1) WO2006006786A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070053603A1 (en) * 2005-09-08 2007-03-08 Monro Donald M Low complexity bases matching pursuits data coding and decoding
US20070065034A1 (en) * 2005-09-08 2007-03-22 Monro Donald M Wavelet matching pursuits coding and decoding
US7813573B2 (en) * 2005-09-08 2010-10-12 Monro Donald M Data coding and decoding with replicated matching pursuits
US8121848B2 (en) * 2005-09-08 2012-02-21 Pan Pacific Plasma Llc Bases dictionary for low complexity matching pursuits data coding and decoding
US7848584B2 (en) * 2005-09-08 2010-12-07 Monro Donald M Reduced dimension wavelet matching pursuits coding and decoding
US7778476B2 (en) * 2005-10-21 2010-08-17 Maxim Integrated Products, Inc. System and method for transform coding randomization
WO2008079508A1 (en) * 2006-12-22 2008-07-03 Motorola, Inc. Method and system for adaptive coding of a video
US20100208795A1 (en) * 2009-02-19 2010-08-19 Motorola, Inc. Reducing aliasing in spatial scalable video coding
US8576269B2 (en) * 2009-09-17 2013-11-05 Magor Communications Corporation Method and apparatus for communicating an image over a network with spatial scalability
CN104202609A (zh) * 2014-09-25 2014-12-10 深圳市云朗网络科技有限公司 一种视频编码方法及视频解码方法
US10163192B2 (en) * 2015-10-27 2018-12-25 Canon Kabushiki Kaisha Image encoding apparatus and method of controlling the same
WO2017195917A1 (ko) * 2016-05-12 2017-11-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
CN114419482A (zh) * 2021-12-16 2022-04-29 中国科学院深圳先进技术研究院 混合结构的视频识别方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05206963A (ja) * 1992-01-24 1993-08-13 Nec Corp サブバンド分割方式
KR20020015231A (ko) * 2000-08-21 2002-02-27 김영민 객체 지향형 영상 부호화 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6236757B1 (en) * 1998-06-18 2001-05-22 Sharp Laboratories Of America, Inc. Joint coding method for images and videos with multiple arbitrarily shaped segments or objects
US7260272B2 (en) * 2003-07-10 2007-08-21 Samsung Electronics Co.. Ltd. Method and apparatus for noise reduction using discrete wavelet transform

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05206963A (ja) * 1992-01-24 1993-08-13 Nec Corp サブバンド分割方式
KR20020015231A (ko) * 2000-08-21 2002-02-27 김영민 객체 지향형 영상 부호화 시스템 및 방법

Also Published As

Publication number Publication date
NL1029428A1 (nl) 2006-01-17
US20060013312A1 (en) 2006-01-19
KR20060005836A (ko) 2006-01-18
EP1779667A4 (en) 2009-09-02
WO2006006786A1 (en) 2006-01-19
CN1722837A (zh) 2006-01-18
EP1779667A1 (en) 2007-05-02
NL1029428C2 (nl) 2009-10-06

Similar Documents

Publication Publication Date Title
JP5026965B2 (ja) ベースレイヤを含むビットストリームをプリデコーディング、デコーディングする方法及び装置
KR100679011B1 (ko) 기초 계층을 이용하는 스케일러블 비디오 코딩 방법 및 장치
KR100597402B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
KR100664928B1 (ko) 비디오 코딩 방법 및 장치
KR100596706B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
KR100679026B1 (ko) 비디오 코딩 및 디코딩을 위한 시간적 분해 및 역 시간적분해 방법과, 비디오 인코더 및 디코더
KR100834750B1 (ko) 엔코더 단에서 스케일러빌리티를 제공하는 스케일러블비디오 코딩 장치 및 방법
US20060159359A1 (en) Fine granularity scalable video encoding and decoding method and apparatus capable of controlling deblocking
JP2006333519A (ja) スケーラブルビデオコーディング及びデコーディング方法と装置
KR100703774B1 (ko) 인트라 코딩을 선택적으로 적용하여 인트라 ｂｌ 예측모드의 비디오 신호를 인코딩 및 디코딩하는 방법 및 장치
KR100621582B1 (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 이를 위한 장치
KR20050022160A (ko) 스케일러블 비디오 코딩 및 디코딩 방법, 및 스케일러블비디오 엔코더 및 디코더
KR100834749B1 (ko) 스케일러블 비디오 스트림 재생장치 및 그 방법
KR100834748B1 (ko) 스케일러블 비디오 스트림 재생 방법 및 장치
KR100855466B1 (ko) 비디오 코딩 및 디코딩 방법, 및 이를 위한 장치
JP4844741B2 (ja) 動画像符号化装置及び動画像復号装置と、その方法及びプログラム
KR100621584B1 (ko) 스무딩 필터를 이용하는 비디오 디코딩 방법 또는 비디오디코더
KR20050075578A (ko) 폐루프 최적화를 지원하는 스케일러블 비디오 엔코딩 방법및 장치
KR100755689B1 (ko) 계층적 시간적 필터링 구조를 갖는 비디오 코딩 및 디코딩방법, 이를 위한 장치
JP2008515328A (ja) 階層間フィルタリングを利用したビデオコーディングおよびデコーディング方法と、ビデオエンコーダおよびデコーダ
KR101107318B1 (ko) 스케일러블 비디오 인코딩, 디코딩 방법 및 스케일러블 비디오 인코더, 디코더
WO2006080665A1 (en) Video coding method and apparatus

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20120730

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20140901

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20140901