[go: up one dir, main page]

KR101088375B1 - 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법 - Google Patents

가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법 Download PDF

Info

Publication number
KR101088375B1
KR101088375B1 KR1020050066350A KR20050066350A KR101088375B1 KR 101088375 B1 KR101088375 B1 KR 101088375B1 KR 1020050066350 A KR1020050066350 A KR 1020050066350A KR 20050066350 A KR20050066350 A KR 20050066350A KR 101088375 B1 KR101088375 B1 KR 101088375B1
Authority
KR
South Korea
Prior art keywords
block size
transform block
transform
component
color
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020050066350A
Other languages
English (en)
Other versions
KR20070011788A (ko
Inventor
김우식
드미트리 비리노브
김현문
조대성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020050066350A priority Critical patent/KR101088375B1/ko
Priority to US11/489,483 priority patent/US7925107B2/en
Publication of KR20070011788A publication Critical patent/KR20070011788A/ko
Application granted granted Critical
Publication of KR101088375B1 publication Critical patent/KR101088375B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Color Television Systems (AREA)

Abstract

가변 블록 변환 장치 및 방법 및 이를 이용한 영상 부호화/복호화 장치 및 방법이 개시된다. 이 가변 블록 변환 장치는 입력된 영상의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 변환 블록 크기 결정부; 및 상기 입력된 영상의 각 색상 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 변환 계수들을 출력하는 변환부호화부를 포함하는 것을 특징으로 한다.
본 발명에 따르면, 주어진 영상 특성 즉, 색상 포맷 및 색상계의 각 성분의 특성에 따라 적응적으로 변환 블록 크기를 가변시켜 변환 부호화함으로써, 비디오 데이터를 압축시 높은 압축 효율을 얻을 수 있다.

Description

가변 블록 변환 장치 및 방법 및 이를 이용한 영상 부호화/복호화 장치 및 방법{apparatus and method for adaptive variable block-size transform and the appartus and the method for video encoding/decoding thereof.}
도 1은 본 발명의 일실시예에 따른 가변 블록 변환을 이용한 영상 부호화 장치의 구성을 도시한 블록도이다.
도 2a 및 도 2b는 시간상 예측을 위한 매크로 블록의 분할 방법을 나타낸 그림이다.
도 3a 내지 도 3b는 4X4 서브블록 단위의 공간상 예측을 위한 화소의 위치 및 예측 방향을 도시한 개념도이다.
도 4는 가변 블록 변환을 이용한 영상 복호화 장치의 구성을 도시한 블록도이다.
도 5는 본 발명의 일실시예에 따른 가변 블록 변환을 이용한 영상 부호화 장치 및 방법의 동작을 도시한 흐름도이다.
도 6은 본 발명의 일실시예에 따른 가변 블록 변환을 이용한 영상 복호화 장치 및 방법의 동작을 도시한 흐름도이다.
본 발명은 가변 블록 부호화를 이용한 영상 부호화/복호화 장치 및 방법에 관한 것으로, 보다 상세하게는 휘도 성분 뿐만 아니라 나머지 색상 성분들 모두 가변 블록 변환을 수행하는 등, 색상 포맷 또는 색상계의 각 성분에 대한 다양한 영상 특성을 반영하는 가변 블록 변환을 수행함으로써 높은 압축 효율을 얻을 수 있는 가변 블록 변환 장치 및 방법 및 이를 이용한 영상 부호화/복호화 장치 및 방법에 관한 것이다.
기존의 영상 압축에서는 시간상 연속된 일련의 영상을 부호화할 때에 한 장의 영상을 일정 크기의 블록으로 나누고 각 블록 내부의 중복되는 정보를 제거하기 위하여 변환 부호화를 사용하여 압축을 하였다. 최근 표준화가 이루어진 ISO/IEC MPEG 및 ITU-T VCEG의 Joint Video Team의 H.264/AVC(ITU-T Recommendation H.264 and ISO/IEC 14496-10(MPEG-4 part 10) Advanced Video Coding)을 살펴보면 기본적으로 4X4 크기의 블록을 기반으로 한 정수 변환 방법을 사용하고 있다. 그리고, 16X16 매크로 블록 내부에서 각 4X4 블록의 DC 성분만 따로 모아서 추가로 DC 변환을 수행한다. 여기에 추가로 휘도 성분에만 8X8 블록 크기의 변환 방법을 병행할 수 있도록 하였다. 이 경우 휘도 성분은 한 장의 영상에서 모든 블록을 4X4 또는 8X8 중 택일하여 사용할 수 있고, 또는 각 매크로 블록마다 둘 중 한 가지 방법을 선택하여 변환 부호화를 수행할 수 있다.
그러나, H.264/AVC에서는 휘도 성분에만 4X4 또는 8X8 블록 크기의 변환 방법을 사용하고 색도 성분에 대해서는 오직 4X4 블록 크기의 변환 방법만을 사용한 다. 그 이유는 H.264/AVC가 처음 개발되었을 때 입력 영상을 색도 성분이 휘도 성분의 1/4 크기로 샘플링된 YCbCr 4:2:0 포맷으로 한정하여 개발되었기 때문이다. 그러나, H.264/AVC는 소비자의 요구가 점차 고화질 영상 지원을 요구하는 방향으로 진행되는 것을 고려하여 YCbCr 4:2:0 뿐만 아니라 YCbCr 4:2:2 YCbCr 4:4:4는 물론이고 RGB 및 XYZ 색상 포맷까지도 지원할 수 있도록 확장하였다. 이 과정에서 다른 크기의 블록 크기를 갖는 변환 부호화 방식은 변화된 색상 포맷에 대해 올바로 적용되지 않았다. 그러므로, 고화질 영상을 압축할 때에 적은 화질 손실과 높은 압축률을 얻기 위해서는 휘도 및 색도 성분에 모두 적절한 블록 크기의 변환 방법을 적용하는 방법을 고안할 필요가 있다. 그리고, 각 색상 성분에 적응적인 방법을 고안할 때에 기존의 기술 예컨대, H.264/AVC 표준 기술의 구조를 최대한 유지시켜 기존의 구조에 최소한의 변경만 가해지도록 하는 것이 필요하다.
본 발명이 이루고자 하는 기술적 과제는, 주어진 영상 특성 즉, 색상 포맷 및 색상계의 각 성분의 특성에 따라 적응적으로 변환 블록 크기를 가변시켜 변환 부호화함으로써, 비디오 데이터를 압축시 높은 압축 효율을 얻을 수 있는 가변 블록 변환 장치 및 방법을 제공하는데 있다.
본 발명이 이루고자 하는 또 다른 기술적 과제는, 주어진 영상 특성 즉, 색상 포맷 및 색상계의 각 성분의 특성에 따라 적응적으로 변환 블록 크기를 가변시켜 변환 부호화함으로써, 비디오 데이터를 압축시 높은 압축 효율을 얻을 수 있는 가변 블록 변환을 이용한 영상 부호화/복호화 장치 및 방법을 제공하는데 있다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한 가변 블록 변환 장치는 입력된 영상의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 변환 블록 크기 결정부; 및 상기 입력된 영상의 각 색상 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 변환 계수들을 출력하는 변환부호화부를 포함하는 것을 특징으로 한다.
상기 변환 블록 크기 결정부는, 각 색상 성분에 대해서 기 설정된 규칙에 따라 변환 블록 크기로 결정하는 것이 바람직하다. 상기 기 설정된 규칙은, 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고, 상기 그룹단위로 변환 블록 크기를 결정하는 것이 바람직하다. 상기 변환 블록 크기 결정부는, YCbCr 색상 포맷에 대해, Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하는 것이 바람직하다. 또한, 상기 변환 블록 크기 결정부는, RGB 색상 포맷에 대해, R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하는 것이 바람직하다.
한편, 상기 변환 블록 크기는, 4X4, 8X8의 변환 블록 크기 중 하나로 결정되는 것이 바람직하다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한 가변 블록 변환 방법은 (a) 입력된 영상의 색상 포맷 또는 색상계의 각 성분에 따라 변환 블록 크기를 결정하는 단계; 및 (b) 상기 입력된 영상의 색상계의 각 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 변환 계수들을 생성하는 단계를 포함하는 것을 특징으로 한다.
상기 (a) 단계는, YCbCr 색상 포맷에 대해, Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하는 것이 바람직하다. 또한, 상기 (a) 단계는, RGB 색상 포맷에 대해, R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하는 것이 바람직하다. 한편, 상기 변환 블록 크기는, 4X4, 8X8의 변환 블록 크기 중 하나로 결정되는 것이 바람직하다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한 가변 블록 변환을 이용한 영상 부호화 장치는 색상 포맷 또는 각 색상 성분에 따라, 입력된 영상을 가변 블록 변환하여 변환계수들을 출력하는 가변 블록 변환부; 및 상기 변환계수들을 양자화하는 양자화부를 포함하는 것을 특징으로 한다.
상기 가변 블록 변환부는, 상기 입력된 영상의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 변환 블록 크기 결정부; 및 상기 입력된 영상의 각 색상 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 상기 변환 계수들을 출력하는 변환부호화부를 포함하는 것이 바람직하다.
상기 장치는, 상기 양자화된 변환계수들을 엔트로피 부호화하여 비트스트림으로 출력하는 엔트로피 부호화부를 더 포함하는 것이 바람직하다. 상기 엔트로피 부호화부는, 상기 결정된 변환 블록 크기에 대한 정보를 엔트로피 부호화하는 것이 바람직하다.
상기 변환 블록 크기 결정부는, 기 설정된 규칙에 따라 각 색상 성분에 대한 변환 블록 크기를 결정하고, 상기 엔트로피 부호화부는, 상기 결정된 변환 블록 크기 정보를 엔트로피 부호화하여 비트스트림으로 출력하는 것이 바람직하다. 상기 기 설정된 규칙은, 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고, 상기 그룹단위로 변환 블록 크기를 결정하는 규칙이며, 상기 엔트로피 부호화부는, 상기 각각의 그룹에 대해 결정된 변환 블록 크기 정보를 엔트로피 부호화하여 비트스트림으로 출력하는 것이 바람직하다.
상기 변환 블록 크기 결정부는, YCbCr 색상 포맷에 대해, Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하고, 상기 엔트로피 부호화부는, 상기 Cb 성분의 변환 블록 크기 정보와 상기 Cr 성분의 변환 블록 크기 정보 중 하나만을 엔트로피 부호화하여 비트스트림으로 출력하는 것이 바람직하다. 또한, 상기 변환 블록 크기 결정부는, RGB 색상 포맷에 대해, R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하고, 상기 엔트로피 부호화부는, RGB 색상계의 각 성분의 변환 블록 크기 정보 중 하나만을 엔트로피 부호화하여 비트스트림으로 출력하는 것이 바람직하다.
상기 변환부호화부는, 상기 변환계수들 중 각 색상 성분별로 DC 계수들을 취합하고, 상기 취합된 DC 계수들을 하다마드변환하여 하다마드 변환된 변환계수들을 출력하는 것이 바람직하다. 또한, 상기 변환부호화부는, 상기 결정된 변환 블록 크기가 8X8인 경우 상기 변환 계수들 중 각 색상 성분 별로 4개의 8X8 블록에서 4개의 DC 계수들을 취합하고, 상기 취합된 DC 계수들을 2X2 하다마드변환하여 하다마드 변환된 변환계수들을 출력하는 것이 바람직하다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한 가변 블록 변환을 이용한 영상 부호화 방법은 (a) 색상 포맷 또는 색상계의 각 성분에 따라, 입력된 영상 을 가변 블록 변환하여 변환계수들을 생성하는 단계; 및 (b) 상기 생성된 변환계수들을 양자화하는 단계를 포함하는 것을 특징으로 한다.
상기 (a) 단계는, (a1) 상기 입력된 영상의 색상 포맷 또는 색상계의 각 성분에 따라 변환 블록 크기를 결정하는 단계; 및 (a2) 상기 입력된 영상의 색상계의 각 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 변환 계수들을 생성하는 단계를 포함하는 것이 바람직하다.
상기 방법은, (c) 상기 양자화된 변환계수들을 엔트로피 부호화하여 비트스트림을 생성하는 단계를 더 포함하는 것이 바람직하다. 상기 (c) 단계는, 상기 결정된 변환 블록 크기에 대한 정보를 엔트로피 부호화하는 것이 바람직하다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한 가변 블록 변환을 이용한 영상 복호화 장치는 입력된 영상 데이터를 역양자화하는 역양자화부; 및 변환 블록 크기 정보를 이용하여, 색상 포맷 또는 색상계의 각 성분에 따라, 상기 역양자화된 데이터를 가변블록 역 변환하는 가변블록 역 변환부를 포함하는 것을 특징으로 한다.
상기 가변블록 역 변환부는, 상기 변환 블록 크기 정보를 이용하여, 상기 입력된 영상데이터의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 변환 블록 크기 결정부; 및 상기 역양자화된 데이터의 각 색상 성분을 상기 결정된 변환 블록 크기로 역 변환부호화하여 역 변환된 데이터들을 출력하는 역 변환부호화부를 포함하는 것이 바람직하다.
상기 장치는, 입력된 비트스트림을 엔트로피 복호화하여 상기 입력된 영상 데이터를 출력하는 엔트로피 복호화부를 더 포함하는 것이 바람직하다. 상기 엔트로피 복호화부는, 상기 입력된 비트스트림을 엔트로피 복호화하여 상기 변환 블록 크기 정보를 출력하는 것이 바람직하다.
상기 변환 블록 크기 결정부는, 상기 변환 블록 크기 정보를 이용하여 기 설정된 규칙에 따라 각 색상 성분별로 변환 블록 크기를 결정하는 것이 바람직하다. 상기 기 설정된 규칙은, 각각의 색상성분에 대한 변환 블록 크기를 상기 색상 성분이 속하는 그룹의 변환 블록 크기로 결정하도록 하는 규칙이며, 상기 변환 블록 크기 결정부는, 상기 변환 블록 크기 정보를 이용하여 각 그룹의 변환 블록 크기를 추출하고, 각 색상 성분의 변환 블록 크기를 상기 색상 성분이 속하는 그룹에 대한 상기 추출된 변환 블록 크기로 결정하는 것이 바람직하다.
상기 변환 블록 크기 결정부는, YCbCr 색상계에 대해, 상기 변환 블록 크기 정보를 이용하여 Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하는 것이 바람직하다. 또한, 상기 변환 블록 크기 결정부는, RGB 색상계에 대해, 상기 변환 블록 크기 정보를 이용하여 R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하는 것이 바람직하다. 한편, 상기 변환 블록 크기는, 4X4, 8X8의 변환 블록 크기 중 하나로 결정되는 것이 바람직하다.
상기 역 변환부호화부는, 상기 역양자화된 데이터의 각 색상 성분에 대해, DC 계수들을 취합하고, 상기 취합된 DC 계수들을 역 하다마드 변환하어 얻어진 데이터와 AC 계수들을 역 변환부호화하는 것이 바람직하다. 또한, 상기 역 변환부호화부는, 상기 결정된 변환 블록 크기가 8X8인 경우 상기 역양자화된 데이터의 변환 계수들에 대해, 각 색상 성분 별로 4개의 8X8 블록에서 4개의 DC 계수들을 취합하고, 상기 취합된 DC 계수들을 2X2 역 하다마드변환하여 하다마드 변환된 변환계수들을 출력하는 것이 바람직하다.
상기의 기술적 과제를 이루기 위한, 본 발명에 의한 가변 블록 변환을 이용한 영상 복호화 방법은 (a) 입력된 영상 데이터를 역양자화하는 단계; 및 (b) 변환 블록 크기 정보를 이용하여, 색상 포맷 또는 색상계의 각 성분에 따라, 상기 역양자화된 데이터를 가변 역 블록변환하는 단계를 포함하는 것을 특징으로 한다.
상기 (b) 단계는, (b1) 상기 변환 블록 크기 정보를 이용하여, 상기 입력된 영상데이터의 색상 포맷 또는 색상계의 각 성분에 따라 변환 블록 크기를 결정하는 단계; 및 (b2) 상기 역양자화된 데이터의 색상계의 각 성분을 상기 결정된 변환 블록 크기로 역 변환부호화하는 단계를 포함하는 것이 바람직하다.
상기 방법은, (x) 상기 (a) 단계에 앞서, 입력된 비트스트림을 엔트로피 복호화하여 상기 입력된 영상 데이터를 생성하는 단계를 더 포함하는 것이 바람직하다. 상기 (x) 단계는, 입력된 비트스트림을 엔트로피 복호화하여 상기 변환 블록 크기 정보를 생성하는 것이 바람직하다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 방법 및 장치에 대해 상세히 설명한다.
영상을 카메라로부터 취득하면 일반적으로 RGB 색상계를 가지게 된다. 이러한 RGB 영상을 각 응용분야에 맞추어 색상계를 변환하여 사용하게 된다. 비디오 압축 분야에서 일반적으로 널리 사용되어온 색상계로는 YCbCr이 있는데 이 경우 Y는 휘도 성분을 Cb 및 Cr은 색상 성분을 나타내게 된다. 그러나, YCbCr에는 고화질을 나타내는데 한계가 있기 때문에 고화질을 나타내기 위해서는 RGB 색상계를 사용하거나 또는 XYZ 색상계를 사용하게 된다.
한편, 동영상을 압축할 때에 변환 부호화를 수행하는데, 이는 영상을 일정 크기의 블록으로 분할한 후에 주파수 영역으로 변환하여 부호화하는 것이다. 이 때 영상의 특성에 따라 가변 블록 변환 부호화를 수행하여 압축 효율을 높일 수 있는데, 여기서 가변 블록이라는 것은 영상의 특성에 따라 서로 다른 크기의 블록을 사용하는 것을 지칭한다.
입력 영상은 일정 크기의 블록 단위로 시공간 예측을 수행한다. 이 때 현재 부호화하고자 하는 소정 크기의 블록의 화소 값에서 예측된 값을 뺀다. 예측 부호화된 값은 DCT, Hadamard, 또는 정수변환 등의 변환을 통해 해당 블록 내의 중복되는 정보를 제거하게 된다. 이 과정을 통해서 한 블록 내의 정보는 저주파 계수로 몰리게 되며, 고주파 성분은 많은 정보를 갖지 않게 된다. 일반적으로 블록의 크기가 크면 변환 부호화에 의한 효과가 커지게 되는데, 이는 영역 내의 중복되는 정보를 더 많이 제거할 수 있게 되기 때문이다. 그러나, 블록 크기가 커지게 되면 시공간 예측부에서 사용하는 예측부호화의 성능이 저하되게 된다. 예를 들어 인트라 모드인 경우 블록 크기가 작으면 그만큼 인접한 화소 값을 사용하여 예측을 수행할 수 있기 때문에 효과적으로 예측부호화를 수행할 수 있게 된다. 그러므로, 영상의 특성에 따라 어떤 경우에는 블록 크기가 큰 것이 변환 부호화의 장점을 잘 살려서 효과적일 수도 있고, 어떤 경우에는 블록 크기가 작은 것이 시공간 예측부호화의 장점을 잘 살려서 효과적일 수도 있다. 현재, H.264/AVC에서는 휘도 블록을 부호화할 때 4X4와 8X8 블록 크기를 사용하여 최적화된 블록 크기를 선택하여 사용할 수 있도록 하고 있으나, 색도 성분에 대해서는 4X4로 고정된 블록 크기를 사용한다. 이 때 선택된 블록 크기는 엔트로피 부호화부에서 비트열에 포함하여 부호화한다.
본 발명은 색도 성분에 대해서도 가변 블록 변환을 수행하도록 하며, 그 구체적인 방법으로 서로 다른 변환 블록의 크기를 결정할 때에 주어진 색상 포맷의 특성 및 색상 성분의 특성에 따라 선택하도록 한다. 즉, 본 발명은 압축 대상인 비디오가 사용하고 있는 색상계에서 각 색상 성분의 특성에 맞추어 효율적으로 가변 블록 변환 부호화를 할 수 있도록 하는 것이다. 본 발명에서는 변환 부호화를 할 때에 주어진 색상 성분의 특성에 따라 적절한 블록 크기를 사용하는데, 각 색상 성분 별로 독립된 블록 크기를 가질 수 있고, 또는 모든 색상 성분이 통일된 블록 크기를 사용할 수 있도록 하여, 기존의 방식보다 다양한 특성의 영상에서 높은 압축 효율을 보인다는 특징을 갖는다.
도 1은 본 발명의 일실시예에 따른 가변 블록 변환을 이용한 영상 부호화 장치의 구성을 도시한 블록도로서, 시간상 예측부(100), 가변 블록 변환부(110), 양자화부(120), 엔트로피 부호화부(130), 역양자화부(140), 8X8 역 변환부호화부(150), 4X4 역 변환부호화부(152), 시공간 예측보상부(160)를 포함하여 이루어진다.
현재 부호화할 영상 프레임을 Fn이라고 하여 설명한다. 영상 프레임은 일정 크기의 블록 단위로 부호화 처리되는데, 일반적으로 16X16 화소로 이루어진 매크로 블록 단위로 부호화 처리된다. 부호화 처리 방법으로 인터 모드와 인트라 모드가 있다. 인터 모드는 참조 영상에서 움직임을 추정하여 예측하는 시간상 예측을 사용하며, 인트라 모드는 참조 영상에서 주변 블록의 값을 이용하여 예측하는 공간상 예측을 사용한다. 여기서, 참조 영상은 인터 모드이든 인트라 모드이든 재구성된 프레임 F'을 기반으로 형성되는데, 인트라 모드에서는 F'n-1을, 인터 모드에서는 F'n을 사용한다.
시공간 예측부(100)는 상기 참조 프레임을 시공간상 예측함으로써, 현재 프레임 Fn 중 부호화할 영상 블록과 유사한 블록을 생성한 후, 현재 프레임 Fn 중 부호화할 영상 블록의 각 화소 값에서 상기 생성된 블록의 각 화소 값들을 감산하여 출력한다. 즉, 시간상 예측을 하는 경우 이전 프레임 F'n-1에서 움직임을 추정하여 현재 프레임 Fn의 영상 블록을 예측한다.
가변 블록 변환부(110)는 입력 영상의 색상 포맷 또는 색상 성분에 따라 변환부호화할 변환 블록의 크기를 결정하고, 상기 결정된 변환 블록 크기에 따라 상기 색상 성분 별로 변환 부호화를 수행한다.
한편, 가변 블록 변환부(110)는 도 1처럼 변환 블록 크기 결정부(112), 변환 부호화부(114)를 포함하여 이루어 질 수 있다.
변환 블록 크기 결정부(112)는 입력 영상의 색상 포맷 또는 색상 성분을 고려하여 적합한 변환 블록 크기를 결정하여 블록 변환부(114)에 제공한다.
먼저, 색상 포맷의 특성과 무관하게 변환 블록 크기를 결정하는 방법에 대해, 색상계가 제1성분, 제2성분, 제3성분으로 구성된 것을 전제하여 설명한다. 첫 번째 방법은 제1성분, 제2성분, 제3성분을 각각 독립적으로 각 성분에 적합한 변환 블록 크기를 결정하는 방법이다. 두 번째 방법은 기 설정된 규칙에 따라 각 색상 성분에 대한 변환 블록 크기를 결정하는 것이다. 상기 규칙의 예로는 제1성분에 대해서는 2X2 및 4X4의 변환 블록 크기로 결정하며, 제2성분 및 제3성분에 대해서는 4X4 및 8X8의 변환 블록 크기로 결정하도록 설정하는 규칙을 들 수 있다. 또한, 다음과 같이 그룹화를 이용한 규칙을 예로 들 수도 있다. 즉, 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고, 상기 그룹단위로 변환 블록 크기를 결정하도록 부호화/복호화 단에 규칙을 미리 설정하는 것이다. 예컨대, 제1성분, 제2성분, 제3성분 중 두 성분 예컨대, 제2성분 및 제3성분을 동일한 변환 블록 크기로 결정하거나, 세 성분 모두를 동일한 변환 블록 크기로 결정하는 것이다. 이와 같이, 제2성분 및 제3성분의 특성이 유사하여 동일한 변환 블록 크기로 설정해도 무방한 경우, 상기 규칙에 따라 변환 부호화를 수행하면 제1그룹에 대한 변환 블록 크기 정보와 제2그룹에 대한 변환 블록 크기 정보 즉, 2 가지 정보만 전송하게 되어 데이터 전송량이 줄어드는 잇점이 있다. 여기서, 제1그룹은 제1성분이며, 제2그룹은 제2성분 및 제3성분을 의미한다.
상기의 규칙에 따라 최적인 변환 블록 크기를 결정하는데, 그 최적인 변환 블록 크기의 결정 방법은 다음과 같다. 색상 성분 별로 상기의 규칙에 따라 모든 변환 블록 크기에 대한 부호화를 적용하여 얻은 전송할 데이터량과 화질을 함께 고 려하여 최적인 변환 블록 크기를 결정한다. 최적인 변환 블록 크기를 선택하는 방법으로는 코스트 함수(cost function)에 의해 수행될 수 있으며, 상기 코스트 함수는 전송할 데이터량과 화질을 반영하여 다양하게 설정될 수 있다.
다음, 색상 포맷의 특성을 고려하여 변환 블록 크기를 결정하는 방법을 설명할 것인데, 특히, 본 발명을 색상 포맷 중 YCbCr 및 RGB에 대해 적용하는 경우에 대해 구체적으로 설명한다.
먼저, 색상 포맷 중 YCbCr의 색상계에 대해, 전술한 바와 같이, Y성분, Cb 성분, Cr 성분 각각에 대해 독립적으로 최적인 변환 블록 크기를 결정하는 방법이 있다. 그러나, YCbCr 색상 포맷의 특성을 고려하면, 휘도 성분인 Y 성분에 많은 정보가 몰려 있고, 색도 성분인 Cb 및 Cr 성분에는 정보가 적다. 즉, 휘도와 색도 영상 간에 상관 관계가 적다. 그러므로, 전술한 바와 같이 세 가지 색상 성분 각각에 대해 독립적으로 변환 블록 크기를 결정하여 변환 부호화를 수행하기 보다는, Cb 및 Cr 두 색도 성분은 서로 비슷한 특성을 가지고 있으므로, 두 성분 간에는 동일한 변환 블록 크기로 결정하여 블록변환을 수행하는 방법이 유리할 수 있다. 전자의 방법은 세 가지 색상 성분에 대해 결정된 변환 블록 크기 정보를 부호화해야 하지만, 후자의 방법은 휘도와 색도 성분에 사용된 변환 블록 크기 정보 즉, 두가지 변환 블록 크기에 대한 정보만 부호화하면 되므로 전자의 방법보다 그만큼 전송할 데이터량을 줄일 수 있다.
또한, YCbCr 색상계의 경우 YCbCr의 표본화율(sampling rate)의 비에 따라 4:2:0, 4:2:2, 4:4:4의 방식이 있다. 여기서는, 4:2:0과 4:4:4의 경우에 대해서 설 명한다. 전술한 바와 같이, 현재 H.264/AVC에서는 4X4 또는 8X8 블록 크기의 변환방법을 사용하는 것과는 달리 색도 성분에 대해서는 오직 4X4 블록 크기의 변환 방법을 사용한다. 이는, YCbCr 4:2:0을 타겟으로 했기 때문이다. 다만, 이 단점을 극복하기 위해서 각 블록의 DC 성분만 모아서 DC 변환을 하다마드(Hardamard) 변환을 이용해서 수행하고 있다.
본 발명에서는 현재 H.264/AVC에서 확장된 포맷인 YCbCr 4:2:2, YCbCr 4:4:4를 반영하여 효과적으로 가변 블록 변환 부호화를 수행하기 위해 다음과 같이 변환 블록 크기를 정한다. YCbCr 4:4:4의 경우 휘도 성분 뿐만 아니라 색도 성분을 4X4 또는 8X8을 변환 블록 크기로 하여 변환부호화를 수행하는 것이 바람직하다. 즉, Cb, Cr 성분 각각에 대해 4X4 또는 8X8 변환 블록 크기 중 적합한 변환 블록 크기를 각각 결정하여 변환부호화를 수행될 수도 있으며, 같은 변환 블록 크기로 결정될 수도 있다. 각 성분별로 독립적인 변환 블록 크기를 사용하는 경우에는 세 가지 성분 모두에 대한 변환 블록 크기 정보가 전송되어야 하지만, 색도 성분 Cb, Cr에 대해 같은 변환 블록 크기를 사용하는 경우에는 휘도 및 색도 성분에 대한 변환 블록 크기 정보를 전송하면 족하므로 그만큼 전송할 데이터량이 줄어든다. 한편, 각 성분에 적합한 변환 블록 크기를 결정하는 방법으로는 전술한 코스트 함수을 이용하는 방법을 들 수 있다.
YCbCr 4:2:0도 마찬가지로 색도 성분에 대해서 4X4 또는 8X8의 변환 블록크기를 사용할 수 있으며, YCbCr 4:4:4의 경우처럼 다양한 방법으로 변환 블록 크기를 결정하며 그에 따라 변환 블록 크기 정보를 전송한다. 다만, 현재의 H.264/AVC 처럼 4X4 의 변환 블록 크기만을 사용할 수도 있는데, 이 경우, 복호단에서는 수신된 영상의 색상 포맷이 YCbCr 4:2:0이라는 정보만을 가지고도 수신된 영상 중 색상성분에 대해서는 4X4 변환부호화를 수행한 것임을 알고 있으므로, 이를 전제로 4X4 역 변환부호화를 수행함으로써 수신된 영상을 복호할 수 있다. 따라서, 색도 성분에 대한 변환 블록 크기 정보는 전송할 필요 없게 되며, 그 결과, 전송할 데이터량이 줄어든다.
한편, RGB 색상 포맷의 경우를 설명한다. 첫 번째 방법으로, R, G, B 세 색상 성분 각각에 적합한 변환 블록 크기를 독립적으로 결정하여 변환 부호화할 수 있다. 두 번째 방법으로, YCbCr에서와 마찬가지로 휘도와 색도를 양분하여 휘도에는 G성분을, 색도에는 R 및 B 성분을 대응시켜서 두 가지의 블록 크기를 사용하고 이를 비트열에 부호화할 수도 있다. 즉, G성분에는 휘도 성분이 상대적으로 많기 때문에 G 성분에 대한 변환 블록 크기 결정을 하고, R 및 B 성분에 대해서는 공통된 변환 블록 크기로 결정하는 것이다. 이 경우 두 개의 변환 블록 크기 정보만 전송하면 족하므로, 그 만큼 전송할 데이터량이 줄어들게 된다. 세 번째, 방법으로 R,G,B 세 색상 성분이 모두 휘도와 색도 성분을 가지고 있으므로 세 성분 간에 유사성이 높은 특성을 이용한다. 즉, 각 색상 성분 별로 독립적으로 변환 블록 크기를 정하는 것보다는 동일한 변환 블록 크기로 결정하는 것이 더 바람직할 수 있다. 이 경우 한 가지의 변환 블록 크기에 대한 정보만 복호화 장치에 전송하면 되므로 그 만큼 전송 데이터 량이 줄어든다.
변환 부호화부(114)는 도 1에서는 4X4 변환 부호화부(116)와 8X8 변환 부호 화부(118)를 포함하여 이루어진다. 도 1의 경우 현재 H.264 포맷을 고려하여 설정된 것이므로 4X4, 8X8의 변환 블록 크기로 한정하였으나, 적용되는 영상 기술에 따라 좀 더 다양한 변환블록 크기에 대해 변환부호화를 수행하는 구성요소가 구비될 수 있음은 물론이다.
4X4 변환 부호화부(114)를 통하여 변환부호화를 수행할지, 8X8 변환부호화부(118)를 통하여 변환부호화를 수행할지는 변환 블록 크기 결정부(112)의 출력으로 결정된다.
4X4 변환 부호화부(114), 8X8 변환 부호화부(116)의 변환 부호화 방식으로는 직교변환 부호화 방식이 적용된다. 직교 변환 부호화 방식 중에서 많이 사용되는 방식은 고속 푸리에 변환(FFT : Fast Fourier Transform), 이산 코사인 변환(DCT: Discrete Cosine Transform), 카루넨 루베 변환(KLT), 하다마드 변환(Hadamard transform), 경사 변환(slant transform) 등이 있다.
한편, 변환 부호화부(114)의 출력인 변환계수들은 DC 계수와 AC 계수들로 이루어져 있다. 한 매크로 블록 내의 DC 계수들 간에는 상관관계가 있으므로 DC 계수들을 취합하여 하다마드 변환을 수행하기도 한다. 현재 H.263/AVC에서는 색도 성분에 대해서 4X4 변환 블록 크기만 사용하고 있으므로 YCbCr 4:2:0에 대해서는 한 매크로 블록당 DC 계수가 4개 발생하므로 2X2 하다마드 변환을 수행한다.
다만, 본 발명과 같이 색도 성분에 대해서도 4X4 뿐만 아니라 8X8의 블록변환을 수행하게 된다면 하다마드 변환의 형태는 더 다양하게 된다. 먼저, 색상 포맷이 YCbCr 4:2:0일 경우 색도 성분의 변환 블록 크기가 4X4 일 때와 8X8일 때에는, 각각 하나의 매크로 블록 당 산출되는 DC 계수가 4개, 1개이므로 전자에 대해서는 2X2 하다마드 변환을 수행할 수 있고, 후자의 경우는 하다마드 변환이 필요없게 된다. 다음, YCbCr 4:4:4인 경우에는 색도 성분의 변환 블록 크기가 4X4일 때와 8X8일 때에는, 각각 하나의 매크로 블록 당 산출되는 DC 개수가 16개, 4개이므로 각각 4X4 하다마드 변환, 2X2 하다마드 변환을 수행할 수 있다. 수학식 1은 2X2 하다마드 변환의 예를 나타내는 식이다.
Figure 112005039684740-pat00001
여기서, d00, d01, d10, d11는 취합된 DC 계수들이며, h00, h01, h10, h11는 하다마드 변환의 결과데이터이다.
양자화부(120)는 상기 변환부호화되어 얻어진 변환 계수들을 양자화한다. 하다마드 변환을 수행한 경우에는 DC 계수에 대해서는 하다마드 변환된 DC 계수들이 양자화된다. 한편, 변환 블록 크기에 따라 양자화 계수 등 양자화 방법이 달라지는 경우에는 상기 변환 블록 크기 결정부(112)는 사용된 변환 블록 크기 정보를 상기 양자화부(120)에 제공해야 함은 물론이다.
엔트로피 부호화부(130)는 양자화된 데이터들을 엔트로피 부호화하고, 부호화된 데이터는 저장 또는 전송을 위해 NAL(Network Abstraction Layer)로 비트열의 형태로 전달된다. 또한 필요에 따라 매크로블록의 예측 모드, 양자화 스텝 크기, 움직임 벡터 정보, 변환 블록 크기 정보 등을 함께 엔트로피 부호화할 수 있다. 한 편, 상기 엔트로피 부호화를 수행하기 전에 상기 양자화된 데이터들의 순서를 재배열하는 과정을 수행하기도 한다.
한편, 데이터를 재구성하여 상기 참조 프레임을 생성하는 경로에 대해 설명한다.
역양자화부(140)는 엔트로피 부호화부(130)의 입력 즉, 상기 양자화된 데이터들을 역양자화한다.
다음, 상기 역양자화된 데이터는 각 색상 성분 별로 부호화에 사용된 변환 블록 크기에 따라 8X8 역 변환부호화부(150), 4X4 역 변환부호화부(152) 둘 중 하나에 의해 역블록변환된다. 8X8 역 변환부호화부(150), 4X4 역 변환부호화부(152) 둘 중 하나를 결정하는 방법은 엔트로피 부호화부(130)에 입력되는 변환 블록 크기 정보를 이용하거나, 상기 변환 블록 크기 결정부(112)에서 사용된 변환 블록 크기를 버퍼링하여 사용하는 방법 등 다양한 방법으로 구현가능하다.
다음, 시공간 예측 보상부(160)는 참조 프레임 및 송신할 움직임 보상 벡터, 공간상 예측 방향 정보 등을 통해 복호화할 영상 블록을 시공간상 예측을 한 후, 상기 역 변환 부호화된 데이터와 합산하여 F'n을 생성한다. 전술한 시공간 예측부(100)와 마찬가지로 인터 모드에서는 참조 프레임으로 F'n-1을 사용하며, 인트라 모드에서는 F'n중 복원된 영상 블록을 사용한다.
도 2a 및 도 2b는 시간상 예측을 위한 매크로 블록의 분할 방법을 나타낸 그림이다. 이 방법은 ISO/IEC 14496-10 및 ITU-T Rec. H.264 표준 기술에서 사용된 다.
시간상 예측을 위한 블록의 크기 즉, 움직임 보상 블록 사이즈는 16X16에서 4X4까지 다양하다. 각 매크로 블록의 휘도 성분은 도 2a와 같이 4가지 방법으로 16X16, 16X8, 8X16, 8X8의 크기인 매크로 블록 파티션으로 분할된다. 특히, 8X8의 매크로 블록 파티션은 도 2b와 같이 8X8, 8X4, 4X8, 4X4의 크기인 서브 파티션으로 분할된다. 상기 파티션과 서브 파티션들은 각각의 매크로 블록 내에 다양한 조합을 가질 수 있다.
한편, 색도 성분에 대해서는 YCbCr 4:4:4의 경우에는 상기 휘도 블록 크기와 동일할 것이나, YCbCr 4:2:0을 사용할 경우 상기 휘도 블록 크기보다 1/4만큼 작은 블록이 사용된다. 그리고, 블록변환할 때, 전술한 바와 같이 휘도 성분에 대해서는 8X8 또는 4X4의 블록 크기 중 하나를 선택하여 변환부호화를 수행하나, 색도 성분에 대해서는 4X4의 블록크기를 선택하도록 되어 있다.
도 3a는 4X4 서브블록 단위의 공간상 예측을 위한 인접화소의 위치와 예측할 현재 블록의 화소의 위치를 나타낸 도면이다. 이 방법은 ISO/IEC 14496-10 및 ITU-T Rec. H.264 표준 기술에서 사용된다. 도 3a에서 4X4 크기의 블록 데이터 (pa, pb,
Figure 112005039684740-pat00002
, pq)를 예측하기 위해 이전에 부호화되어 복원된 공간상의 인접한 데이터 (P0, P1,
Figure 112005039684740-pat00003
, P12)를 이용한다.
도 3b는 공간상 인접한 화소로부터 투영(projection)하여 현재 블록을 예측하기 위한 0부터 8까지의 9가지 예측 방향을 나타낸다. 예를 들어 0의 방향의 경우 는 인접한 화소 값 P1, P2, P3 및 P4를 수직 방향으로 투영하여 pa, pe, pi 및 pm은 P1 값을, pb, pf, pj 및 pn은 P2 값을, pc, pg, pk 및 po는 P3 값을, pd, ph, pl 및 pq는 P4 값으로 예측한다. 다른 방향의 경우도 마찬가지로 투영을 통해 예측한다. 한편, 도 6b에 도시되지 않은 2의 방향은 P1, P4, P5, P8 등의 평균값으로 설정된다.
도 4는 가변 블록 변환을 이용한 영상 복호화 장치의 구성을 도시한 블록도로서, 엔트로피 복호화부(400), 역 양자화부(410), 가변블록 역 변환부(420), 시공간 예측 보상부(430)를 포함하여 이루어진다.
복호화 장치는 NAL로부터 압축된 비트열을 수신한다. 엔트로피 복호화부(400)는 수신된 비트열을 엔트로피 복호화하고, 복호화한 결과를 역양자화부(410)로 출력한다. 또한 매크로블록의 예측 모드, 양자화 스텝 크기, 움직임 벡터 정보, 변환 블록 크기 정보가 상기 비트열에 포함되는 경우 엔트로피 복호화하여, 이들 정보를 복원할 수 있다. 한편, 상기 엔트로피 부호화를 수행하기 전에 상기 양자화된 데이터들의 순서를 재배열하는 과정을 수행하기도 한다.
역양자화부(410)는 상기 엔트로피 복호화된 데이터들을 역양자화하고, 역양자화 결과를 가변블록 역 변환부(420)로 출력한다.
가변블록 역 변환부(420)는 상기 엔트로피 복호화부(400)로부터 제공받은 복원된 변환 블록 크기 정보를 이용하여 각 색상 성분에 해당되는 변환 블록 크기로서 IDCT(Inverse Discret Cosine Transform) 등의 역 변환부호화를 수행한다.
구체적으로 상기 가변블록 역 변환부(420)는 변환 블록 크기 결정부(422), 역 변환부호화부(424)를 포함하여 이루어진다.
변환 블록 크기 결정부(422)는 상기 엔트로피 복호화부(400)로부터 제공받은 변환 블록 크기 정보를 이용하여 현재 복호할 영상 블록의 변환 블록 크기를 추출하여 상기 역 변환부호화부(426)로 제공한다. 색상 포맷과 무관하게 각 성분마다 독립적으로 변환 블록 크기를 결정하는 규칙이 영상 부호화/복호화 장치에서 설정되었다면, 비트스트림에는 3개의 변환 블록 크기 정보가 포함되어 있게 되며, 상기 엔트로피 복호화부(400)는 복호된 3 개의 변환 블록 크기 정보를 제공하게 된다. 변환 블록 크기 결정부(422)는 이에 각각의 변환 블록 크기 정보를 이용하여 각각의 성분에 대한 변환 블록 크기를 결정한다.
영상 부호화/복호화 장치에서 각각의 색상성분에 대한 변환 블록 크기를 상기 색상 성분이 속하는 그룹의 변환 블록 크기로 결정하도록 하는 규칙이 설정되었다면, 상기 변환 블록 크기 결정부(422)는, 상기 변환 블록 크기 정보를 이용하여 각 그룹의 변환 블록 크기를 추출하고, 각 색상 성분의 변환 블록 크기를 상기 색상 성분이 속하는 그룹에 대한 상기 추출된 변환 블록 크기로 결정한다. 예컨대, 색상계의 제1성분, 제2성분, 제3성분이 있을 때, 제1성분이 제1그룹이고, 제2 성분 및 제3성분이 제2그룹이라면, 상기 비트스트림에는 두 그룹에 대한 변환 블록 크기 정보가 있을 것이고, 상기 변환 블록 크기 결정부(422)는 엔트로피 복호화된 변환 블록 크기 정보를 이용하여 제1 성분에 대해서는 제1 그룹의 변환 블록 크기로 결정하고, 제2성분 및 제3성분에 대해서는 제2 그룹의 변환 블록 크기로 결정한다.
한편, 부호화 장치에서 설명한 바와 같이 YCbCr 4:2:0이고, 색상 성분에 대 해서는 4X4의 변환 블록 크기로만 사용되도록 영상 부/복호화 장치에서 설정되었다면 수신된 비트스트림에는 색도 성분 즉, Cb, Cr 성분에 대해서는 변환 블록 크기 정보가 없어도 되며, 이 경우 변환 블록 크기 결정부(422)는 4X4 역 변환부호화를 수행하도록 상기 역 변환부호화부(424)를 제어한다.
또한, Cb 및 Cr성분에 대해 같은 변환 블록 크기를 사용하도록 영상 부호화/복호화 장치에서 규칙이 설정되었다면 상기 변환 블록 크기 결정부(422)는 휘도 성분에 대한 하나의 변환 블록 크기 정보와 색도 성분에 대한 하나의 변환 블록 크기 정보를 상기 엔트로피 복호화부(400)로부터 제공받고 Y성분에 대한 변환 블록 크기와 Cb, Cr 성분에 공통될 변환 블록 크기를 결정한다. 역양자화된 데이터의 각 색상 성분은 상기 결정된 변환 블록 크기로 역 변환부호화되는 것이다.
또한, R, G, B 성분에 대해 같은 변환 블록 크기를 사용하도록 영상 부호화/복호화 장치에서 규칙이 설정되었다면 상기 변환 블록 크기 결정부(422)는 하나의 변환 블록 크기 정보를 상기 엔트로피 복호화부(400)로부터 제공받고 R, G, B 세 성분에 대한 역 변환 부호화할 변환 블록 크기를 결정할 수 있다.
상기 역 변환부호화부(424)는 8X8 역 변환 부호화부(426)와 4X4 역 변환부호화부(428)를 포함하여 이루어진다. 8X8 역 변환부호화부(426)과 4X4 역 변환부호화부(428)는 상기 변환 블록 크기 결정부(422)로부터 제공받은 제어신호에 따라 상기 역양자화된 데이터들에 대해 역 변환부호화를 수행한다.
시공간 예측보상부(430)는 복호화로 재구성된 참조 프레임 및 상기 역 변환 부호화된 데이터들을 이용하여 현재의 프레임 F'n의 영상 블록을 복원한다. 여기서, 인터모드에서는 참조 프레임으로 복원된 F'n-1을 사용하며, 인트라 모드에서는 복원된 F'n의 부분을 사용한다. 참조 프레임을 시공간상으로 예측한 결과에 상기 역 변환부호화된 데이터들을 더하여 현재의 프레임 F'n의 영상 블록을 복원한다. 복원된 영상 블록은 다음 영상 블록에 대한 시공간 예측을 수행하기 위해 사용된다.
다음, 시공간 예측 보상부(160)는 참조 프레임 및 수신된 움직임 보상 벡터, 공간상 예측 방향 정보 등을 통해 복호화할 영상 블록을 시공간상 예측을 한 후, 상기 역 변환 부호화된 데이터와 합산하여 F'n을 생성한다. 전술한 시공간 예측부(100)와 마찬가지로 인터 모드에서는 참조 프레임으로 F'n-1을 사용하며, 인트라 모드에서는 F'n중 복원된 영상 블록을 사용한다.
도 5는 본 발명의 일실시예에 따른 가변 블록 변환을 이용한 영상 부호화 장치 및 방법의 동작을 도시한 흐름도이다.
현재 프레임 Fn 중 부호화할 영상 블록과 유사한 블록을 상기 참조 프레임으로부터 추출한 후, 두 블록간의 각 화소 값들의 차가 변환부호화의 대상으로서 시공간 예측부(100)에 의해 생성된다(510 단계). 여기서, 유사한 블록이란 전술한 시공간상 예측된 블록을 말한다.
다음, 입력 영상의 색상 포맷 또는 색상 성분을 고려하여 적합한 변환 블록 크기가 변환 블록 크기 결정부(112)에 의해 결정된다(510 단계). 변환 블록 크기 결정 방법은 전술한 바와 같다.
상기 결정된 변환 블록 크기에 따라 상기 시공간 예측부(100)의 출력데이터는 각 성분별로 변환부호화부(114)에 의해 변환부호화된다(520 단계). 한편, 변환된 계수들 중 DC 계수들은 필요에 따라 하다마드 변환될 수도 있다. 변환부호화 방법 및 하다마드 변환 방법에 대해서는 전술한 바와 같다.
상기 변환부호화되어 얻어진 변환 계수들은 양자화부(120)에 의해 양자화된다(530 단계). 하다마드 변환을 수행한 경우에는 DC 계수에 대해서는 하다마드 변환된 DC 계수들이 양자화된다.
상기 양자화된 데이터들은 엔트로피 부호화부(130)에 의해 엔트로피 부호화되고, 부호화된 데이터는 저장 또는 전송을 위해 NAL(Network Abstraction Layer)로 비트열의 형태로 전달된다(540 단계). 또한 필요에 따라 공간상 예측 방향 정보, 양자화 스텝 크기, 움직임 벡터 정보, 변환 블록 크기 정보 등을 함께 엔트로피 부호화할 수 있다. 한편, 상기 엔트로피 부호화를 수행하기 전에 상기 양자화된 데이터들의 순서를 재배열하는 과정을 수행하기도 한다.
한편 부호화기에서 상기 510 단계의 시공간 예측 부호화에 사용될 참조 영상을 생성하기 위해서, 상기 530 단계를 거쳐 생성된 양자화된 데이터는 역양자화 및 역 변환부호화를 거친 후, 앞서 사용된 예측 값을 더하여 영상을 복원한다.
즉, 상기 530 단계를 거쳐 생성된 양자화된 데이터는 역양자화부(140)에 의해 역양자화되며, 상기 역양자화된 데이터는 상기 부호화에 사용된 각각의 변환 블록크기로 각 색상 성분마다 역 변환부호화가 8X8 역 변환부호화부(150) 또는 4X4 역 변환부호화부(152)에 의해 수행된다. 다음, 시공간 예측 보상부(160)는 현재 구축된 참조 프레임 및 송신할 움직임 보상 벡터, 공간상 예측 방향 정보 등을 통해 복호화할 영상 블록을 시공간상 예측을 한 후, 상기 역 변환 부호화된 데이터와 합산하여 참조 프레임을 생성한다.
도 6은 본 발명의 일실시예에 따른 가변 블록 변환을 이용한 영상 복호화 장치 및 방법의 동작을 도시한 흐름도이다.
NAL로부터 수신된 비트열은 엔트로피 복호화부(400)에 의해 복호화된다(600 단계). 또한 매크로블록의 예측 모드, 양자화 스텝 크기, 움직임 벡터 정보, 변환 블록 크기 정보가 상기 비트열에 포함되는 경우 엔트로피 복호화하여, 이들 정보를 복원할 수 있다. 한편, 상기 엔트로피 부호화를 수행하기 전에 상기 양자화된 데이터들의 순서를 재배열하는 과정을 수행하기도 한다.
상기 엔트로피 복호화된 데이터들 중 역 양자화 및 역 변환부호화가 필요한 데이터들은 역양자화부(410)에 의해 역양자화되며, 역양자화된 데이터들은 가변블록 역 변환부(420)로 제공된다(610 단계).
상기 엔트로피 복호화부(400)로부터 제공받은 변환 블록 크기 정보를 이용하여 각 색상 성분에 대한 변환 블록 크기가 변환 블록 크기 결정부(422)에 의해 결정된다(620 단계). 여기서, 부호화 장치에서 설명한 바와 같이 YCbCr 4:2:0이고, 색상 성분에 대해서는 4X4의 변환 블록 크기로만 사용되도록 영상 부/복호화 장치에서 설정되었다면 수신된 비트스트림에는 색도 성분 즉, Cb, Cr 성분에 대해서는 변환 블록 크기 정보가 없어도 되며, 이 경우 변환 블록 크기 결정부(422)는 4X4 역 변환부호화를 수행하도록 상기 역 블록변환부(424)를 제어한다.
또한, Cb 및 Cr성분에 대해 같은 변환 블록 크기를 사용하도록 영상 부/복호화 장치에서 설정되었다면 상기 변환 블록 크기 결정부(422)는 색도 성분에 대한 하나의 변환 블록 크기 정보를 상기 엔트로피 복호화부(400)로부터 제공받고 Cb, Cr 성분 즉, 두 성분에 대한 역 변환 부호화할 변환 블록 크기를 결정할 수 있다.
또한, R, G, B 성분에 대해 같은 변환 블록 크기를 사용하도록 영상 부/복호화 장치에서 설정되었다면 상기 변환 블록 크기 결정부(422)는 하나의 변환 블록 크기 정보를 상기 엔트로피 복호화부(400)로부터 제공받고 R, G, B 세 성분에 대한 역 변환 부호화할 변환 블록 크기를 결정할 수 있다.
상기 역양자화된 데이터들은 각 색상 성분마다 상기 620 단계에서 결정된 변환 블록 크기로 8X8 역 변환 부호화부(426) 또는 4X4 역 변환부호화부(428)에 의해 역 변환부호화가 된다(630 단계). 즉, 상기 엔트로피 복호화부(400)로부터 제공받은 복원된 변환 블록 크기 정보를 이용하여 각 색상 성분에 해당되는 변환 블록 크기로서 IDCT(Inverse Discret Cosine Transform) 등의 역 변환 부호화를 수행한다.
다음, 복호화로 재구성된 참조 프레임 및 상기 역 변환부호화된 데이터들을 이용하여 현재의 프레임 F'n의 영상 블록이 시공간 예측보상부(430)에 의해 복원된다(640 단계). 구체적인 복원 방법은 전술한 바와 같다. 복원된 영상 블록은 다음 영상 블록에 대한 시공간 예측을 수행하기 위해 사용된다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 본 발명을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
이러한 본원 발명인 방법 및 장치는 이해를 돕기 위하여 도면에 도시된 실시예를 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위에 의해 정해져야 할 것이다.
본 발명에 따르면, 주어진 영상 특성 즉, 색상 포맷 및 색상계의 각 성분의 특성에 따라 적응적으로 변환 블록 크기를 가변시켜 변환 부호화함으로써, 비디오 데이터를 압축시 높은 압축 효율을 얻을 수 있다.
특히, 휘도 성분만을 가변 블록 변환하는 현재의 H.264의 가변 블록 변환을 개선하여, 나머지 색상 성분에도 가변 블록 변환을 수행하도록 하며, 기존의 H.264 의 구조에 최소한의 변경만을 수행함으로서 높은 압축 효율을 얻을 수 있다.

Claims (42)

  1. 입력된 영상의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 변환 블록 크기 결정부; 및
    상기 입력된 영상의 각 색상 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 변환 계수들을 출력하는 변환부호화부를 포함하고,
    상기 변환 블록 크기 결정부는 상기 각 색상 성분에 대해서, 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고 상기 그룹단위로 변환 블록 크기를 결정하는 기 설정된 규칙에 따라 상기 변환 블록 크기를 결정하는 것을 특징으로 하는 가변 블록 변환 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 변환 블록 크기 결정부는,
    YCbCr 색상 포맷에 대해, Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하는 것을 특징으로 하는 가변 블록 변환 장치.
  5. 제1항에 있어서, 상기 변환 블록 크기 결정부는,
    RGB 색상 포맷에 대해, R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하는 것을 특징으로 하는 가변 블록 변환 장치.
  6. 제1항에 있어서, 상기 변환 블록 크기 결정부는,
    RGB 색상 포맷에 대해, R성분, B성분에 대해서는 동일한 변환블록의 크기로 결정하는 것을 특징으로 하는 가변 블록 변환 장치.
  7. 제1항에 있어서, 상기 변환 블록 크기는,
    4X4, 8X8의 변환 블록 크기 중 하나로 결정되는 것을 특징으로 하는 가변 블록 변환 장치.
  8. (a) 입력된 영상의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 단계; 및
    (b) 상기 입력된 영상의 각 색상 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 변환 계수들을 생성하는 단계를 포함하고,
    상기 (a) 단계는 상기 각 색상 성분에 대해서, 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고 상기 그룹단위로 변환 블록 크기를 결정하는 기 설정된 규칙에 따라 상기 변환 블록 크기를 결정하는 것을 특징으로 하는 가변 블록 변환 방법.
  9. 제8항에 있어서, 상기 (a) 단계는,
    YCbCr 색상 포맷에 대해, Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크 기로 결정하는 것을 특징으로 하는 가변 블록 변환 방법.
  10. 제8항에 있어서, 상기 (a) 단계는,
    RGB 색상 포맷에 대해, R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하는 것을 특징으로 하는 가변 블록 변환 방법.
  11. 색상 포맷 또는 각 색상 성분에 따라, 입력된 영상을 가변 블록 변환하여 변환계수들을 출력하는 가변 블록 변환부; 및
    상기 변환계수들을 양자화하는 양자화부를 포함하고,
    상기 가변 블록 변환부는 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고 상기 그룹단위로 변환 블록 크기를 결정하는 기 설정된 규칙에 따라 변환 블록 크기를 결정하는 것을 특징으로 하는 영상 부호화 장치.
  12. 제11항에 있어서, 상기 가변 블록 변환부는,
    상기 입력된 영상의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 변환 블록 크기 결정부; 및
    상기 입력된 영상의 각 색상 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 상기 변환 계수들을 출력하는 변환부호화부를 포함하는 것을 특징으로 하는 영상 부호화 장치.
  13. 제12항에 있어서,
    상기 양자화된 변환계수들을 엔트로피 부호화하여 비트스트림으로 출력하는 엔트로피 부호화부를 더 포함하는 것을 특징으로 하는 영상 부호화 장치.
  14. 제13항에 있어서, 상기 엔트로피 부호화부는,
    상기 결정된 변환 블록 크기에 대한 정보를 엔트로피 부호화하는 것을 특징으로 하는 영상 부호화 장치.
  15. 제14항에 있어서,
    상기 변환 블록 크기 결정부는, 상기 기 설정된 규칙에 따라 각 색상 성분에 대한 변환 블록 크기를 결정하고,
    상기 엔트로피 부호화부는, 상기 결정된 변환 블록 크기 정보를 엔트로피 부호화하여 비트스트림으로 출력하는 것을 특징으로 하는 영상 부호화 장치.
  16. 제15항에 있어서,
    상기 엔트로피 부호화부는, 상기 각각의 그룹에 대해 결정된 변환 블록 크기 정보를 엔트로피 부호화하여 비트스트림으로 출력하는 것을 특징으로 하는 영상 부호화 장치.
  17. 제14항에 있어서,
    상기 변환 블록 크기 결정부는, YCbCr 색상 포맷에 대해, Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하고,
    상기 엔트로피 부호화부는, 상기 Cb 성분의 변환 블록 크기 정보와 상기 Cr 성분의 변환 블록 크기 정보 중 하나만을 엔트로피 부호화하여 비트스트림으로 출력하는 것을 특징으로 하는 영상 부호화 장치.
  18. 제14항에 있어서,
    상기 변환 블록 크기 결정부는, RGB 색상 포맷에 대해, R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하고,
    상기 엔트로피 부호화부는, RGB 색상계의 각 성분의 변환 블록 크기 정보 중 하나만을 엔트로피 부호화하여 비트스트림으로 출력하는 것을 특징으로 하는 영상 부호화 장치.
  19. 제12항에 있어서, 상기 변환부호화부는,
    상기 변환계수들 중 각 색상 성분별로 DC 계수들을 취합하고, 상기 취합된 DC 계수들을 하다마드변환하여 하다마드 변환된 변환계수들을 출력하는 것을 특징으로 하는 영상 부호화 장치.
  20. 제19항에 있어서, 상기 변환부호화부는,
    상기 결정된 변환 블록 크기가 8X8인 경우 상기 변환 계수들 중 각 색상 성 분 별로 4개의 8X8 블록에서 4개의 DC 계수들을 취합하고, 상기 취합된 DC 계수들을 2X2 하다마드변환하여 하다마드 변환된 변환계수들을 출력하는 것을 특징으로 하는 영상 부호화 장치.
  21. (a) 색상 포맷 또는 각 색상 성분에 따라, 입력된 영상을 가변 블록 변환하여 변환계수들을 생성하는 단계; 및
    (b) 상기 생성된 변환계수들을 양자화하는 단계를 포함하고,
    상기 (a) 단계는 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고 상기 그룹단위로 변환 블록 크기를 결정하는 기 설정된 규칙에 따라 변환 블록 크기를 결정하는 것을 특징으로 하는 영상 부호화 방법.
  22. 제21항에 있어서, 상기 (a) 단계는,
    (a1) 상기 입력된 영상의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 단계; 및
    (a2) 상기 입력된 영상의 각 색상 성분을 상기 결정된 변환 블록 크기로 변환부호화하여 상기 변환 계수들을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  23. 제22항에 있어서,
    (c) 상기 양자화된 변환계수들을 엔트로피 부호화하여 비트스트림을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 부호화 방법.
  24. 제23항에 있어서, 상기 (c) 단계는,
    상기 결정된 변환 블록 크기에 대한 정보를 엔트로피 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  25. 제24항에 있어서,
    상기 (a1) 단계는, YCbCr 색상계에 대해, Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하고,
    상기 (c) 단계는, 상기 Cb성분의 변환 블록 크기 정보와 상기 Cr 성분의 변환 블록 크기 정보 중 하나만을 엔트로피 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  26. 제24항에 있어서,
    상기 (a1) 단계는, RGB 색상계에 대해, R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하고,
    상기 (c) 단계는, RGB 색상계의 각 성분의 변환 블록 크기 정보 중 하나만을 엔트로피 부호화하는 것을 특징으로 하는 영상 부호화 방법.
  27. 입력된 영상 데이터를 역양자화하는 역양자화부; 및
    변환 블록 크기 정보를 이용하여, 색상 포맷 또는 색상계의 각 성분에 따라, 상기 역양자화된 데이터를 가변블록 역 변환하는 가변블록 역 변환부를 포함하고,
    상기 변환 블록 크기 정보는 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고 상기 그룹단위로 변환 블록 크기를 결정하는 기 설정된 규칙에 따라 결정된 변환 블록 크기에 대한 정보인 것을 특징으로 하는 영상 복호화 장치.
  28. 제27항에 있어서, 상기 가변블록 역 변환부는,
    상기 변환 블록 크기 정보를 이용하여, 상기 입력된 영상데이터의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 변환 블록 크기 결정부; 및
    상기 역양자화된 데이터의 각 색상 성분을 상기 결정된 변환 블록 크기로 역 변환부호화하여 역 변환된 데이터들을 출력하는 역 변환부호화부를 포함하는 것을 특징으로 하는 영상 복호화 장치.
  29. 제28항에 있어서,
    입력된 비트스트림을 엔트로피 복호화하여 상기 입력된 영상 데이터를 출력하는 엔트로피 복호화부를 더 포함하는 것을 특징으로 하는 영상 복호화 장치.
  30. 제29항에 있어서, 상기 엔트로피 복호화부는,
    상기 입력된 비트스트림을 엔트로피 복호화하여 상기 변환 블록 크기 정보를 출력하는 것을 특징으로 하는 영상 복호화 장치.
  31. 제28항에 있어서, 상기 변환 블록 크기 결정부는,
    상기 기 설정된 규칙에 기초한 상기 변환 블록 크기 정보를 이용하여 각 색상 성분별로 변환 블록 크기를 결정하는 것을 특징으로 하는 영상 복호화 장치.
  32. 제31항에 있어서,
    상기 변환 블록 크기 결정부는, 상기 변환 블록 크기 정보를 이용하여 각 그룹의 변환 블록 크기를 추출하고, 각 색상 성분의 변환 블록 크기를 상기 색상 성분이 속하는 그룹에 대한 상기 추출된 변환 블록 크기로 결정하는 것을 특징으로 하는 영상 복호화 장치.
  33. 제28항에 있어서, 상기 변환 블록 크기 결정부는,
    YCbCr 색상계에 대해, 상기 변환 블록 크기 정보를 이용하여 Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하는 것을 특징으로 하는 영상 복호화 장치.
  34. 제28항에 있어서, 상기 변환 블록 크기 결정부는,
    RGB 색상계에 대해, 상기 변환 블록 크기 정보를 이용하여 R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하는 것을 특징으로 하는 영상 복호화 장치.
  35. 제28항에 있어서, 상기 역 변환부호화부는,
    상기 역양자화된 데이터의 각 색상 성분에 대해, DC 계수들을 취합하고, 상 기 취합된 DC 계수들을 역 하다마드 변환하어 얻어진 데이터와 AC 계수들을 역 변환부호화하는 것을 특징으로 하는 영상 복호화 장치.
  36. (a) 입력된 영상 데이터를 역양자화하는 단계; 및
    (b) 변환 블록 크기 정보를 이용하여, 색상 포맷 또는 각 색상 성분에 따라, 상기 역양자화된 데이터를 가변블록 역변환하는 단계를 포함하고,
    상기 변환 블록 크기 정보는 동일한 변환 블록 크기로 설정될 색상 성분끼리 그룹화하고 상기 그룹단위로 변환 블록 크기를 결정하는 기 설정된 규칙에 따라 결정된 변환 블록 크기에 대한 정보인 것을 특징으로 하는 영상 복호화 방법.
  37. 제36항에 있어서, 상기 (b) 단계는,
    (b1) 상기 변환 블록 크기 정보를 이용하여, 상기 입력된 영상데이터의 색상 포맷 또는 각 색상 성분에 따라 변환 블록 크기를 결정하는 단계; 및
    (b2) 상기 역양자화된 데이터의 색상 성분 각각에 대해, 상기 결정된 변환 블록 크기로 역 변환부호화하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  38. 제37항에 있어서,
    (x) 상기 (a) 단계에 앞서, 입력된 비트스트림을 엔트로피 복호화하여 상기 입력된 영상 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 복호화 방법.
  39. 제38항에 있어서, 상기 (x) 단계는,
    상기 입력된 비트스트림을 엔트로피 복호화하여 상기 변환 블록 크기 정보를 생성하는 것을 특징으로 하는 영상 복호화 방법.
  40. 제37항에 있어서, 상기 (b1) 단계는,
    YCbCr 색상계에 대해, 상기 변환 블록 크기 정보를 이용하여 Cb성분 및 Cr성분에 대해서는 동일한 변환 블록 크기로 결정하는 것을 특징으로 하는 영상 복호화 방법.
  41. 제37항에 있어서, 상기 (b1) 단계는,
    RGB 색상계에 대해, 상기 변환 블록 크기 정보를 이용하여 R성분, G성분, B성분을 동일한 변환블록의 크기로 결정하는 것을 특징으로 하는 영상 복호화 방법.
  42. 제8항 내지 제10항, 제21항 내지 제26항, 제36항 내지 제41항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020050066350A 2005-07-21 2005-07-21 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법 Expired - Fee Related KR101088375B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020050066350A KR101088375B1 (ko) 2005-07-21 2005-07-21 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
US11/489,483 US7925107B2 (en) 2005-07-21 2006-07-20 Adaptive variable block transform system, medium, and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020050066350A KR101088375B1 (ko) 2005-07-21 2005-07-21 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20070011788A KR20070011788A (ko) 2007-01-25
KR101088375B1 true KR101088375B1 (ko) 2011-12-01

Family

ID=37694360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050066350A Expired - Fee Related KR101088375B1 (ko) 2005-07-21 2005-07-21 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법

Country Status (2)

Country Link
US (1) US7925107B2 (ko)
KR (1) KR101088375B1 (ko)

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9108107B2 (en) 2002-12-10 2015-08-18 Sony Computer Entertainment America Llc Hosting and broadcasting virtual events using streaming interactive video
US8964830B2 (en) 2002-12-10 2015-02-24 Ol2, Inc. System and method for multi-stream video compression using multiple encoding formats
US8526490B2 (en) * 2002-12-10 2013-09-03 Ol2, Inc. System and method for video compression using feedback including data related to the successful receipt of video content
US8711923B2 (en) 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US9446305B2 (en) 2002-12-10 2016-09-20 Sony Interactive Entertainment America Llc System and method for improving the graphics performance of hosted applications
US9314691B2 (en) * 2002-12-10 2016-04-19 Sony Computer Entertainment America Llc System and method for compressing video frames or portions thereof based on feedback information from a client device
US9077991B2 (en) * 2002-12-10 2015-07-07 Sony Computer Entertainment America Llc System and method for utilizing forward error correction with video compression
US9192859B2 (en) 2002-12-10 2015-11-24 Sony Computer Entertainment America Llc System and method for compressing video based on latency measurements and other feedback
US8949922B2 (en) * 2002-12-10 2015-02-03 Ol2, Inc. System for collaborative conferencing using streaming interactive video
US20090118019A1 (en) * 2002-12-10 2009-05-07 Onlive, Inc. System for streaming databases serving real-time applications used through streaming interactive video
US8979655B2 (en) 2002-12-10 2015-03-17 Ol2, Inc. System and method for securely hosting applications
US8549574B2 (en) 2002-12-10 2013-10-01 Ol2, Inc. Method of combining linear content and interactive content compressed together as streaming interactive video
US8366552B2 (en) * 2002-12-10 2013-02-05 Ol2, Inc. System and method for multi-stream video compression
US9061207B2 (en) * 2002-12-10 2015-06-23 Sony Computer Entertainment America Llc Temporary decoder apparatus and method
US10201760B2 (en) * 2002-12-10 2019-02-12 Sony Interactive Entertainment America Llc System and method for compressing video based on detected intraframe motion
US20100166056A1 (en) * 2002-12-10 2010-07-01 Steve Perlman System and method for encoding video using a selected tile and tile rotation pattern
US9227139B2 (en) 2002-12-10 2016-01-05 Sony Computer Entertainment America Llc Virtualization system and method for hosting applications
US9138644B2 (en) * 2002-12-10 2015-09-22 Sony Computer Entertainment America Llc System and method for accelerated machine switching
EP1538844A3 (en) * 2003-11-26 2006-05-31 Samsung Electronics Co., Ltd. Color image residue transformation and encoding method
KR100647294B1 (ko) * 2004-11-09 2006-11-23 삼성전자주식회사 화상 데이터 부호화 및 복호화 방법 및 장치
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
CN101222641B (zh) * 2007-01-11 2011-08-24 华为技术有限公司 帧内预测编解码方法及其装置
US8488672B2 (en) 2007-04-17 2013-07-16 Qualcomm Incorporated Mode uniformity signaling for intra-coding
US8804839B2 (en) * 2007-06-27 2014-08-12 Korea Electronics Technology Institute Method for image prediction of multi-view video codec and computer-readable recording medium thereof
TWI392372B (zh) * 2007-09-12 2013-04-01 Sony Corp Image processing apparatus and image processing method
JP5212373B2 (ja) * 2007-09-12 2013-06-19 ソニー株式会社 画像処理装置及び画像処理方法
US9168457B2 (en) 2010-09-14 2015-10-27 Sony Computer Entertainment America Llc System and method for retaining system state
BRPI0915821A2 (pt) * 2008-07-10 2015-11-10 Mitsubishi Electric Corp dispositivos codificador e decodificador de imagem, e, métodos de codificação e de decodificação de imagem.
EP2154898A3 (en) * 2008-08-12 2010-06-02 LG Electronics Inc. Method of processing a video signal
US8325801B2 (en) * 2008-08-15 2012-12-04 Mediatek Inc. Adaptive restoration for video coding
US8311112B2 (en) * 2008-12-31 2012-11-13 Entropic Communications, Inc. System and method for video compression using predictive coding
BRPI0924044B1 (pt) * 2009-01-27 2022-09-20 Interdigital Vc Holdings, Inc Métodos e aparelhos para seleções de transformada em codificação e decodificação de vídeo
US9635368B2 (en) 2009-06-07 2017-04-25 Lg Electronics Inc. Method and apparatus for decoding a video signal
WO2010143853A2 (ko) 2009-06-07 2010-12-16 엘지전자 주식회사 비디오 신호의 디코딩 방법 및 장치
KR101841783B1 (ko) * 2009-12-04 2018-03-23 톰슨 라이센싱 비디오 인코딩 및 디코딩에서 인터 프레임을 위한 개선된 색차 변환을 위한 방법 및 장치
KR20110065092A (ko) 2009-12-09 2011-06-15 삼성전자주식회사 회전 변환을 이용한 영상 부호화, 복호화 방법 및 장치
KR20110065089A (ko) * 2009-12-09 2011-06-15 삼성전자주식회사 영상의 부호화 방법 및 장치, 그 복호화 방법 및 장치
KR101040087B1 (ko) * 2010-01-13 2011-06-09 전자부품연구원 Ｈ.264 ｓｖｃ를 위한 효율적인 부호화 방법
KR101703327B1 (ko) * 2010-01-14 2017-02-06 삼성전자 주식회사 계층적 데이터 단위의 패턴 정보를 이용하는 비디오 부호화 방법과 그 장치, 및 비디오 복호화 방법과 그 장치
KR101487687B1 (ko) 2010-01-14 2015-01-29 삼성전자주식회사 큰 크기의 변환 단위를 이용한 영상 부호화, 복호화 방법 및 장치
US9215470B2 (en) 2010-07-09 2015-12-15 Qualcomm Incorporated Signaling selected directional transform for video coding
US20120014441A1 (en) * 2010-07-15 2012-01-19 Sharp Laboratories Of America, Inc. Parallel video coding based on boundaries
US8873617B2 (en) * 2010-07-15 2014-10-28 Sharp Laboratories Of America, Inc. Method of parallel video coding based on same sized blocks
US8848779B2 (en) * 2010-07-15 2014-09-30 Sharp Laboratories Of America, Inc. Method of parallel video coding based on block size
US8855188B2 (en) * 2010-07-15 2014-10-07 Sharp Laboratories Of America, Inc. Method of parallel video coding based on mapping
KR101767944B1 (ko) * 2010-11-10 2017-08-14 에스케이 텔레콤주식회사 복호 영상 버퍼 압축장치 및 그 압축방법
US10992958B2 (en) 2010-12-29 2021-04-27 Qualcomm Incorporated Video coding using mapped transforms and scanning modes
US8929455B2 (en) * 2011-07-01 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Method for selecting transform types from mapping table for prediction modes
CN102857755B (zh) * 2011-07-01 2016-12-14 华为技术有限公司 确定变换块尺寸的方法和设备
US8995708B2 (en) * 2011-09-08 2015-03-31 Samsung Electronics Co., Ltd. Apparatus and method for robust low-complexity video fingerprinting
US9398300B2 (en) * 2011-10-07 2016-07-19 Texas Instruments Incorporated Method, system and apparatus for intra-prediction in video signal processing using combinable blocks
US8615138B2 (en) 2011-11-03 2013-12-24 Google Inc. Image compression using sub-resolution images
US10178413B2 (en) 2013-09-12 2019-01-08 Warner Bros. Entertainment Inc. Method and apparatus for color difference transform
US9979970B2 (en) 2014-08-08 2018-05-22 Qualcomm Incorporated System and method for determining buffer fullness for display stream compression
US10306229B2 (en) 2015-01-26 2019-05-28 Qualcomm Incorporated Enhanced multiple transforms for prediction residual
GB2539486B (en) * 2015-06-18 2019-07-31 Gurulogic Microsystems Oy Encoder, decoder and method employing palette compression
CN115278231B (zh) 2015-11-11 2024-12-10 三星电子株式会社 对视频进行解码的设备和对视频进行编码的设备
US10623774B2 (en) 2016-03-22 2020-04-14 Qualcomm Incorporated Constrained block-level optimization and signaling for video coding tools
US11323748B2 (en) 2018-12-19 2022-05-03 Qualcomm Incorporated Tree-based transform unit (TU) partition for video coding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100497760B1 (ko) * 2003-02-18 2005-06-29 (주) 멀티비아 이동통신 단말기용 동영상 부호화 시스템 및 방법
KR100914160B1 (ko) 2001-07-02 2009-08-28 퀄컴 인코포레이티드 골롬-라이스를 이용하는 무손실의 프레임내 인코딩
KR100932412B1 (ko) 2001-06-15 2009-12-17 퀄컴 인코포레이티드 구성가능한 패턴 옵티마이저

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4829465A (en) * 1986-06-19 1989-05-09 American Telephone And Telegraph Company, At&T Bell Laboratories High speed cosine transform
US5097331A (en) * 1990-08-24 1992-03-17 Bell Communications Research, Inc. Multiple block-size transform video coding using an asymmetric sub-band structure
JP3088580B2 (ja) * 1993-02-19 2000-09-18 松下電器産業株式会社 変換符号化装置のブロックサイズ決定法
US5418714A (en) * 1993-04-08 1995-05-23 Eyesys Laboratories, Inc. Method and apparatus for variable block size interpolative coding of images
WO1998003018A2 (en) * 1996-07-11 1998-01-22 Philips Electronics N.V. Transmission and reception of encoded video pictures
US6154493A (en) * 1998-05-21 2000-11-28 Intel Corporation Compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
US6735254B2 (en) * 2001-06-29 2004-05-11 Qualcomm, Inc. DCT compression using Golomb-Rice coding
US7480417B2 (en) * 2004-10-19 2009-01-20 Microsoft Corp. System and method for encoding mosaiced image data employing a reversible color transform
US7305139B2 (en) * 2004-12-17 2007-12-04 Microsoft Corporation Reversible 2-dimensional pre-/post-filtering for lapped biorthogonal transform

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100932412B1 (ko) 2001-06-15 2009-12-17 퀄컴 인코포레이티드 구성가능한 패턴 옵티마이저
KR100914160B1 (ko) 2001-07-02 2009-08-28 퀄컴 인코포레이티드 골롬-라이스를 이용하는 무손실의 프레임내 인코딩
KR100497760B1 (ko) * 2003-02-18 2005-06-29 (주) 멀티비아 이동통신 단말기용 동영상 부호화 시스템 및 방법

Also Published As

Publication number Publication date
KR20070011788A (ko) 2007-01-25
US7925107B2 (en) 2011-04-12
US20070025631A1 (en) 2007-02-01

Similar Documents

Publication Publication Date Title
KR101088375B1 (ko) 가변 블록 변환 장치 및 방법 및 이를 이용한 영상부호화/복호화 장치 및 방법
RU2739729C1 (ru) Способ кодирования и декодирования изображений, устройство кодирования и декодирования и соответствующие компьютерные программы
KR101997604B1 (ko) 영상 부호화/복호화 방법 및 장치
EP1478189A2 (en) Method and apparatus for encoding/decoding image using image residue prediction
KR101538704B1 (ko) 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
JP4898111B2 (ja) カラー映像の剰余変換／逆変換方法と装置及びそれを利用したカラー映像符号化／復号化方法及び装置
KR100772391B1 (ko) 직교 변환 및 벡터 양자화에 기반한 동영상 부호화 및복호화 방법과 이를 이용한 장치
US10034024B2 (en) Method and apparatus for encoding/decoding images considering low frequency components
US20060146191A1 (en) Color image encoding and decoding method and apparatus using a correlation between chrominance components
US8229231B2 (en) Method and apparatus for encoding and decoding image
US20090147843A1 (en) Method and apparatus for quantization, and method and apparatus for inverse quantization
KR20110071231A (ko) 부호화 방법, 복호화 방법 및 장치
EP2105026A1 (en) Method and apparatus for encoding and decoding based on intra prediction
KR20070090700A (ko) 영상의 인트라 예측 부호화, 복호화 방법 및 장치
KR20080012026A (ko) 영상의 부호화 방법 및 장치, 복호화 방법 및 장치
EP1872585A4 (en) METHOD AND DEVICE FOR CODING AND DECODING MOVING IMAGES
CN101828405A (zh) 图像编码装置、图像解码装置、图像编码方法以及图像解码方法
KR20120025174A (ko) 효과적인 화면내 예측모드 집합 선택을 이용한 영상 부호화/복호화 방법 및 장치
KR101215614B1 (ko) 영상의 부호화 및 복호화 장치와, 그 방법, 및 이를수행하기 위한 프로그램이 기록된 기록 매체
KR101244309B1 (ko) 영상 데이터 부호화/복호화 방법 및 장치
EP2252059B1 (en) Image encoding and decoding method and device
KR101323732B1 (ko) 영상 부호화장치 및 방법과 그 복호화장치 및 방법
KR20070009337A (ko) 주파수 공간에서 컬러 성분간 예측을 이용한 컬러영상부호화/복호화 방법 및 장치
KR100647297B1 (ko) 컬러영상의 레지듀변환/역변환 방법 및 장치, 그를 이용한컬러영상 부호화/ 복호화 방법 및 장치
KR102020953B1 (ko) 카메라 영상의 복호화 정보 기반 영상 재 부호화 방법 및 이를 이용한 영상 재부호화 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

FPAY Annual fee payment

Payment date: 20141030

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20151029

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20161028

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20191125

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20191125