KR101033442B1

KR101033442B1 - 영상 처리 시스템에서 비트 레이트를 제어하는 장치 및방법

Info

Publication number: KR101033442B1
Application number: KR1020080055144A
Authority: KR
Inventors: 정철
Original assignee: 주식회사 몬도시스템즈
Priority date: 2008-06-12
Filing date: 2008-06-12
Publication date: 2011-05-09
Anticipated expiration: 2028-06-12
Also published as: US20090310673A1; KR20090129064A

Abstract

본 발명은 영상 처리 시스템에서 목표 동영상 품질을 보장할 수 있는 최저의 비트 레이트를 제어하는 장치 및 방법에 관한 것으로, 본 발명의 비트 레이트 제어 장치는 입력 영상에 대해 각 프레임별 또는 장면별로 미리 주어진 목표 화질을 만족하는 최저의 비트 레이트를 결정하는 비트 레이트 분석기와, 상기 결정된 각 프레임별 또는 장면별 비트 레이트를 이용하여 각 프레임을 인코딩하는 인코더를 포함한다. 본 발명의 비트 레이트 제어 방법은 입력 영상에 대해 각 프레임별 또는 장면별로 미리 주어지니 목표 화질을 만족하는 최저의 비트 레이트를 결정하는 과정과, 상기 결정된 각 프레임별 또는 장면별 비트 레이트를 이용하여 각 프레임을 인코딩하는 과정을 포함한다. 본 발명은 장면내의 각 복잡도를 근거로 화질을 나타낼 수 있는 고유한 비트 레이트를 찾아냄으로써, 일정 서비스 퀄리티를 보장할 수 있는 효과가 있다.

MPEG, CBR, VBR, QP

Description

영상 처리 시스템에서 비트 레이트를 제어하는 장치 및 방법{METHOD AND APPARATUS FOR CONTROLLING A BITRATE IN VIDEO PROCESSING SYSTEM}

본 발명은 영상 처리 시스템에서 동영상을 부호화하는 장치 및 방법에 관한 것으로, 특히 목표 동영상 품질을 보장할 수 있는 최저의 비트 레이트를 제어하는 장치 및 방법에 관한 것이다.

일반적으로 동영상 인코더에서 발생하는 비트량은 입력되는 영상 특성에 따라서 픽쳐간 및 픽쳐내의 매크로블록별로 불규칙하게 발생한다. 이와 같이 불규칙하게 발생되는 데이터를 고화질로 유지하며 일정한 전송 속도를 유지하기 위해 비트 레이트 조절이 필요하다.

기본적으로 MPEG 계열의 부호화(Encoding) 방법에서, 매 프레임(frame)마다 생산되는 압축된 데이터의 양(bitrate)은 화질과 영상의 내용에 의해 결정된다. 즉, 화질이 좋으면 데이터 양이 많아지고, 화질이 나빠지면 데이터 양이 적어진다. 그리고, 영상의 내용이 복잡하면 데이터의 양이 많아지고, 영상의 내용이 단순하면 데이터의 양이 적어진다. MPEG 계열의 부호화 방법에서, 주어진 프레임(frame)에 대해 화질과 데이터 양간의 트레이드오프(tradeoff)를 제어할 수 있는 방법이 여러 가지 존재하는데, 그 중 대표적인 것이 양자화 계수(Quantization Parameter : QP)를 조절하는 것이다. 주어진 프레임을 작은 QP로 부호화(encoding)하면 화질이 좋아지고, 큰 QP로 부호화(encoding)하면 화질이 나빠진다.

그러나, 서로 다른 두 영상을 동일한 QP로 부호화(encoding)한다고 해서 두 영상이 동일한 화질을 가지는 것은 아니다. 즉, QP는 주어진 프레임에 대한 상대적인 화질-데이터양 트레이드오프(tradeoff)를 나타낼 수 있으나, 화질에 대한 절대적 측정값이 될 수 없다.

이러한 QP를 제어하는 압축 기술들에는 CBR(Constant Bit Rate), VBR(Variable Bit Rate)등 많은 기술이 있다. 이러한 기술들이 달성하기 위한 노력은, 주어진 비트 레이트(bitrate) 내에서 한 비디오 시퀀스(sequence)의 화질을 비교적 균등하게 유지하려는 것이지, 화질의 주관적이거나 절대적인 수준을 성취하려는 것이 아니다.

즉, 거의 모든 MPEG 계열 압축 방법은 정해진 목표 비트 레이트(Target Bitrate)에 맞추어 영상을 부호화하는데 초점을 맞추고 있다. 이에 따라 목표 비트 레이트가 충분할 경우 어느 이상의 화질을 보장하기는 하지만, 영상이 복잡하지 않을 경우 불필요하게 큰 비트 레이트를 사용할 가능성이 높다.

따라서 본 발명의 목적은 영상 처리 시스템에서 일정 목표 이상의 서비스 품질을 제공하는 비트 레이트 제어 장치 및 방법을 제공함에 있다.

본 발명의 다른 목적은 영상 처리 시스템에서 일정 목표 이상의 서비스 품질을 제공하면서 최저의 비트 레이트를 달성할 수 있는 비트 레이트 제어 장치 및 방법을 제공함에 있다.

상술한 바를 해결하기 위한 본 발명은, 비트 레이트(bitrate)를 제어하는 장치에 있어서, 입력 영상에 대해 각 프레임별 또는 장면(scene)별로 미리 주어진 목표 화질을 만족하는 최저의 비트 레이트를 결정하는 비트 레이트 분석기(Bitrate Analyzer)와, 상기 결정된 각 프레임별 또는 장면별 비트 레이트를 이용하여 각 프레임을 인코딩하는 인코더(Encoder)를 포함함을 특징으로 한다.

상기 비트 레이트 분석기는 입력 영상에 대해 장면 분할(scene cut)를 이용하여 장면(scene)를 검출하는 장면 검출기(Scene Detector)와, 상기 검출된 장면내의 각 프레임 복잡도를 계산하는 복잡도 계산부와, 상기 복잡도 계산부의 결과값을 근거로 각 프레임별 비트 레이트를 결정하는 비트 할당부를 포함함을 특징으로 한다.

상기 복잡도 계산부는 상기 검출된 장면 내 프레임별로 상대적 복잡도를 계 산하는 상대적 복잡도 계산부와, 상기 장면의 전체에 할당되는 상기 목표 화질에 대응되는 비트 레이트를 계산하는 장면 비트 레이트 계산부를 포함하며,

상기 비트 할당부는, 상기 프레임별 상대적 복잡도와 장면 비트 레이트를 이용하여 각 프레임별 비트 레이트를 결정하는 것을 특징으로 한다.

다른 실시 예로, 상기 복잡도 계산부는 상기 검출된 장면(scene)에 대해 임의의 양자와 계수(Quantization Parameter : QP)로 인코딩을 수행한 후 프레임별 상대적 복잡도를 계산하며, 상기 장면 비트 레이트 계산부는 상기 장면을 하나 이상의QP로 인코딩하여 레이트 왜곡(Rate-Distortion : R-D) 커브를 계산하여 상기 장면의 전체에 할당되는 목표 화질에 대응되는 비트 레이트를 계산하는 것을 특징으로 한다.

다른 실시 예로, 상기 복잡도 계산부는, 영상처리를 통하여 영상 내 각 화소값들로부터 직접 복잡도를 추정하는 것을 특징으로 한다.

다른 실시 예로, 상기 비트 레이트 분석기는 입력 영상에 대해 장면 분할(scene cut)를 이용하여 장면(scene)을 검출하는 장면 검출기(Scene Detector)와, 상기 검출된 장면을 상기 목표 화질에 대응되는 비트 레이트를 계산하는 장면 비트 레이트 계산부를 포함하며, 상기 인코더는 상기 비트 레이트를 이용하여 임의의 프레임별로 인코딩함을 특징으로 한다.

다른 실시 예로, 상기 비트 레이트 분석기는 입력되는 영상의 변화를 검출하여, 장면(scene)을 검출하는 장면 검출기와, 상기 인코더에 의해 임의의 비트 레이트로 인코딩된 장면에 대해 원본 대비 상대적 화질을 측정하는 상대적 화질 계산부 와, 상기 측정된 상대적 화질이 미리 결정된 기준 화질 이외인 경우, 소정 비트 레이트를 증가 또는 감소시키도록 제어하는 제어부를 포함함을 특징으로 한다.

상술한 바를 달성하기 위한 본 발명은 비트 레이트(bitrate)를 제어하는 방법에 있어서, 입력 영상에 대해 각 프레임별 또는 장면(scene)별로 미리 주어지니 목표 화질을 만족하는 최저의 비트 레이트를 결정하는 제1 과정과, 상기 결정된 각 프레임별 또는 장면별 비트 레이트를 이용하여 각 프레임을 인코딩하는 제2 과정을 포함함을 특징으로 한다.

상기 제1 과정은, 입력 영상에 대해 장면 분할(scene cut)을 이용하여 장면(scene)을 검출하는 제3 과정과, 상기 검출된 장면내의 각 프레임 복잡도를 계산하는 제4 과정과, 상기 계산된 복잡도를 근거로 각 프레임별 비트 레이트를 결정하는 제5 과정을 포함함을 특징으로 한다.

상기 제4 과정은 상기 검출된 장면 내 프레임별로 상대적 복잡도를 계산하는 제6 과정과, 상기 장면의 전체에 할당되는 상기 목표 화질에 대응되는 비트 레이트를 계산하는 제7 과정과, 상기 프레임별 상대적 복잡도와 장면 비트 레이트를 이용하여 각 프레임별 비트 레이트를 결정하는 제8 과정을 포함함을 특징으로 한다.

다른 실시 예로, 상기 제4 과정은, 상기 검출된 장면(scene)에 대해 임의의 양자와 계수(Quantization Parameter : QP)로 인코딩을 수행한 후 프레임별 상대적 복잡도를 계산하는 과정과, 상기 장면을 하나 이상의 QP로 인코딩하여 레이트 왜곡(Rate-Distortion : R-D) 커브를 계산하여 상기 장면의 전체에 할당되는 목표 화질에 대응되는 비트 레이트를 계산하는 과정을 포함함을 특징으로 한다.

다른 실시 예로, 상기 복잡도 계산부는 영상처리를 통하여 영상 내 각 화소값들로부터 직접 복잡도를 추정하는 것을 특징으로 한다.

다른 실시 예로, 상기 제1 과정은 입력 영상에 대해 장면 분할(scene cut)를 이용하여 장면(scene)을 검출하는 과정과, 상기 검출된 장면을 상기 목표 화질에 대응되는 비트 레이트를 계산하는 과정과, 상기 비트 레이트를 이용하여 임의의 프레임별로 인코딩함을 특징으로 한다.

다른 실시 예로, 상기 제1 과정은 입력되는 영상의 변화를 검출하여, 장면(scene)을 검출하는 과정과, 상기 인코더에 의해 임의의 비트 레이트로 인코딩된 장면에 대해 원본 대비 상대적 화질을 측정하는 과정과, 상기 측정된 상대적 화질이 미리 결정된 기준 화질 이외인 경우, 소정 비트 레이트를 증가 또는 감소시키는 과정과, 상기 증가 또는 감소된 비트 레이트의 장면을 인코딩된 결과가 미리 결정된 기준 화질을 만족하는 경우, 상기 인코딩된 장면을 출력하는 과정을 포함함을 특징으로 한다.

본 발명은 장면(scene)내의 각 복잡도를 근거로 화질을 나타낼 수 있는 고유한 비트 레이트(Inherent bitrate)를 찾아냄으로써, 일정 서비스 퀄리티를 보장할 수 있다. 임의의 영상에 대해 적절한 비트 레이트만을 사용하게 되어 최적의 저장/전송 매체량을 사용할 수 있어, 결과적으로 평균 저장/전송 매체 비용을 절감할 수 있는 효과가 있다.

이하 본 발명의 바람직한 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 도면들 중 동일한 구성들은 가능한 한 어느 곳에서든지 동일한 부호들을 나타내고 있음을 유의하여야 한다. 하기 설명에서 구체적인 특정사항들이 나타나고 있는데, 이는 본 발명의 보다 전반적인 이해를 돕기 위해 제공된 것이다. 그리고 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

상술한 바와 같이 종래 기술에서는 정해진 비트 레이트내에서 이용함으로써, 서비스 품질을 완화시킬 수 있을 뿐, 서비스 품질을 보장할 수는 없었다. 이에 따라 본 발명에서는 목표 서비스 품질을 보장하면서 최저의 비트 레이트를 달성할 수 있는 비트 레이트 제어 장치 및 방법을 제안한다.

이에 대해 우선 본 발명의 설명을 돕기 위해 일반적인 비트 레이트 제어 방법을 설명하기로 한다.

MPEG 계열의 압축 방법으로는 CBR(Constant Bit Rate), VBR(Variable Bit Rate) 및 VBR의 변형된 기술들이 있다.

우선 CBR은 모든 프레임(frame)에 동일한 비트 레이트를 할당하는 방법이다. 상기 CBR은 각 프레임의 복잡도에 따라 화질의 변화(fluctuation)가 매우 심해진다. 즉, 내용의 복잡도와 상관없이 동일한 데이터 양을 생산하려 시도하기 때문에, 내용이 복잡하면 화질이 많이 떨어지고, 내용이 단순하면 화질이 매우 좋아진다. 이러한 기술은 공중파나 케이블과 같이, 매체 자체에 시간당 비트 레이트가 고정되어 있어 바꿀 수 없는 경우에 사용한다.

다음으로 VBR는 CBR의 문제점을 해결하기 위해 일정 크기의 버퍼(buffer)를 두고, 상기 버퍼의 사용량(consumption)에 따라 화질을 제어하는 레이트 제어(rate-control) 알고리즘에 기반한 방법을 말한다. 따라서 이 방법도 역시 목표 레이트(Target Bitrate)가 주어진다.

보통은 레이트 제어(rate-control)을 위해 QP를 조절한다. 초기의 QP로부터 인코딩(encoding)을 시작하고, 일정 시간의 버퍼 지연 시간(buffer delay)를 상정한다. 버퍼 지연 시간 이후부터는 일정 시간별로 한 프레임을 꺼내고, 일정한 비트 레이트로 데이터를 집어 넣는다. 따라서, 버퍼내의 데이터 양이 변화한다.

버퍼내의 데이터 양이 위험수위에 도달하면, QP를 일정 스텝(step)으로 조절한다. 즉, 데이터 양이 너무 많으면 예컨대, 버퍼 크기의 80%에 도달하면 매 프레임마다 QP를 일정 스텝(예를 들어 4) 만큼씩 늘려줌으로써, 생산되는 비트의 양을 줄여준다. 반대로, 데이터의 양이 너무 적으면 예컨대, 버퍼 크기의 20%이하이면 매 프레임마다 QP를 일정 스텝만큼씩 줄여줌으로써, 생산되는 비트의 양을 늘려 준다.

VBR은 CBR에 비해 조금 유연한 비트 레이트 할당이 가능하게 해 준다. 그러나, 버퍼 자체가 일정한(constant) 화질을 보장하지는 않는다. 예를 들어, 매우 복잡한 장면(scene)이 길어질 경우, 계속하여 QP가 올라가서, 화질이 떨어지게 된다. 또는 단순한 장면(scene)이 길어질 경우, 계속 QP가 떨어져서, 매우 좋은 화질이 영상이 지속되게 된다.

다음으로 VBR에는 다른 변형들이 있는데, 예를 들어 2-pass VBR 인코딩은, 주어진 비트 레이트로 먼저 한번 VBR 인코딩을 해 보고, 최적의(optimal) 화면을 구성하게 된다. 예를 들어, QP의 변화(fluctuation)을 조절함으로써 화질의 변화(fluctuation)을 조절하려 시도한다. 상기 QP의 변화 제어 방법은 최대(Maximum) 및 최소(Minimum) QP를 두는 방법이 있고, 평균 QP를 기준으로 하여 QP의 변동(variation)을 압축(compression)하는 방법도 있다.

그러나, 이 방법도 역시 화질 관점에서 최적의(optimal) 결과를 보여주지 못한다. 왜냐하면 2-pass VBR 인코딩 역시 버퍼의 사용량에 따라 QP를 제어하므로 VBR와 같이 화질을 완화시킬 뿐, 일정한 화질을 보장하지는 못하게 된다.

이에 대해 본 발명에서는 서비스 품질을 보장하기 위한 비트 레이트 제어 장치 및 방법을 제안한다. 이하 설명에서는 본 발명에 따른 원리를 설명한 후 본 발명의 장치 및 방법을 실시예 별로 설명할 것이다.

도 1은 본 발명에 따른 화질에 따른 고유한 비트 레이트를 나타내는 그래프로서, 가로축은 비트 레이트를 나타내며, 세로축은 인식 화질을 나타낸다.

도 1을 참조하면, 보통 화질을 나타내는 HD(High Definition) 또는 SD(Standard Definition)에서 동일한 화질을 얻기 위해서는 데이터량에 따라 다른 비트 레이트 값을 적용해야 함을 알 수 있다. 예컨대, HD화질에서 적은 양의 영상 정보(Low inherent Information)(101)를 갖는 경우, HD급의 화질을 얻기 위해서는 최소 700 k/bps의 비트 레이트를 할당하면 된다. 그 이상의 비트 레이트가 할당하는 것은 인간의 시각에서는 구별할 수 없어 불필요하게 데이터량을 낭비하게 된다. 반면, 많은 양의 영상 정보(High inherent information)(103)인 경우에는 HD급의 화질을 나타낼 수 있는 비트 레이트를 할당하여야만 HD 화질을 보장할 수 있게 된다.

상술한 바와 같이 본 발명에서는 서비스 품질을 보장하기 위해 화질의 포화가 일어나는 비트 레이트 또는 더 이상 비트를 더 할당하더라도 화질 개선이 둔화되는 고유의 비트 레이트(inherent bitrate)를 찾아내어, 내용별로 다른 비트 레이트로 영상을 인코딩을 수행하도록 하게 함으로써 최소한의 비트 레이트를 사용하게 한다.

본 발명의 설명에 앞서 본 발명에 따른 용어를 정의한다.

장면(Scene)은 화면 내에서 특정한 고유 비트율이 비교적 균일하게 유지되는 프레임들의 집합이며, MPEG 계열의 압축 방식을 예로 들자면, 단일 GOP(Group of Picture)이거나, 여러 GOP들로 구성되거나, 또는 단순히 하나 이상의 프레임들의 집합으로 구성된다.

도 2는 본 발명의 제1 실시 예에 따른 비트 레이트 제어 장치(200)를 나타낸 블록도이다.

도 2를 참조하면, 비트 레이트 제어 장치(200)는 크게 비트 레이트 분석기(Bitrate Analyzer)(210)와 인코더(220)를 포함한다. 상기 비트 레이트 제어 장치(200)는 다른 구성요소도 포함되지만, 설명의 편의상 본 발명의 필수 구성 요소만 나타내었다.

제1 실시 예에서는 상기 비트 레이트 분석기(210)는 입력 영상에 대해 각 프 레임별로 주어진 목표 화질을 만족하는 최저의 비트 레이트를 결정하게 되며, 이를 위해 각 프레임별 또는 장면별로 비트 레이트를 계산하게 된다. 상기 인코더(220)는 상기 계산된 비트 레이트를 이용하여 입력된 영상 데이터에 대한 인코딩을 수행하게 된다.

우선 상기 프레임별로 비트 레이트를 계산하는 경우, 상기 비트 레이트 분석기(210)는 목표 화질을 위한 비트 레이트를 계산하기 위해, 장면 검출기(scene detector, 211), 복잡도 계산부(213), 비트 할당부(219)를 포함한다.

상기 장면 검출기(211)는 입력 영상에 대해 장면 분할(scene cut)을 이용하여 장면(scene)을 검출한다. 상기 장면 분할은 MAD(mean of absolute differences) 또는 다른 방법에 의해서 구하는 것도 가능하다. 상기 MAD(mean of absolute differences)를 이용하는 방법은 다음과 같다. 우선 i번째 프레임의 움직임을 보상한 후, i-1번째 프레임과의 각 화소 차이의 절대값을 평균을 구하여, 상기 MAD(i)가 극대값이 되는 지점을 장면이 전환되는 것으로 인식하여 분할하게 된다. 상기 복잡도 계산부(213)는 상기 장면 검출기(211)에 의해 장면내의 각 프레임 대한 상대적 복잡도와 장면 전체의 목표 비트 레이트(Target bitrate)를 계산한다.

이에 따라 상기 복잡도 계산부(213)는 상대적 복잡도 계산부(215)와, 장면 비트 레이트 계산부(217)를 이용하여 계산하게 된다. 상기 상대적 복잡도 계산부(215)는 상기 검출된 장면(scene)에 대해 임의의 QP로 인코딩을 수행하여 프레임별로 상대적 복잡도를 계산한다. 여기서, 상기 장면 g의 i번째 프레임별 상대적 복 잡도 c_g,i 는 다음의 <수학식 1>에 의해 계산된다.

삭제

여기서, 상기 R_g,i와 H_g,I 는 각각 장면 g의 i번째 프레임의 인코딩 결과 비트(bit)수와, 헤더의(header)의 비트(bits)수이고, 상기 MV_(g,i)는 동일 프레임의 모션 벡터(motion vector)의 비트수이다. 또, 상기 와 는 각각 모션 벡터의 평균 비트수와, 헤더를 제외한 장면 g 전체의 평균 비트수이다.

여기서, 상기 <수학식1>에서 알 수 있듯이 상대적 복잡도는 QP와 관련성이 없으므로, 상기 복잡도 계산부(213)에게 사용되는 QP는 인코더(220)의 QP와 동일하게 사용될 수도 있으며, 임의의 QP를 사용될 수 있다. 그리고 상기 인코딩은 복잡도 계산부(213)내에 구비된 인코더(미도시)에 수행될 수 도 있으며, 도 2에 개시된 인코더(220)을 이용할 수 도 있다.

상기 장면 비트 레이트 계산부(217)는 장면 전체에 할당할 비트 레이트를 계산한다. 여기서 상기 장면 전체에 할당할 비트 레이트는 도 6에 나타낸 바와 같이 레이트 왜곡(Rate-Distortion : R-D) 커브를 구한 후, PSNR(Peak Signal To Noise Rate)이나 MSE(Mean Square Error)와 같이 목표하는 화질에 해당하는 비트 레이트 구할 수 있다. 상기 R-D 커브는 특정 비트 레이트로 프레임을 인코딩했을 때 원본과의 오차를 표시하는 곡선이다. 상기 방법들을 간략히 설명하면, 하나의 프레임을 몇 개의 미리 정해진 QP를 이용하여 인코딩 한 후 그 결과에 기반하여 R-D 커브를 추정한다.

예컨대, R-D 커브의 추정에 대한 설명은 [He and Mitra 2001] 과 [Lin, Ortega and Kuo] 등에 공지되었으므로 상세한 설명은 생략하기로 한다.

일단 R-D 커브를 구하고 나면, 특정한 화질, 예를 들어 PSNR='32'일 때의 비트 레이트를 구할 수 있다.

상기 프레임별 상대적 복잡도는 상술한 바와 같이 각 프레임의 상대적인 복잡도를 나타낸 파라미터로서, 절대적인 값은 아니다. 따라서, 상기 c_g,i 가 프레임별로 결정되고, 장면(scene)의 비트 레이트가 구해지고 나면, 장면(Scene)내의 각 프레임에 할당할 비트 레이트를 구한다. 장면(Scene) 내의 각 프레임에 대한 비트 레이트는 상기 c_g,i와 장면 g에 할당된 비트 레이트로부터 다음의 <수학식 2>와 같이 구할 수 있다.

삭제

여기서, 상기 BR_g,i는 프레임i에 할당된 비트 레이트, 상기 N_g는 장면 g 내의 프레임 수, 상기 BR_g는 장면 g 전체에 할당된 비트 레이트이다.

즉 상기 비트 할당부(219)는 상기 복잡도 계산부로부터 전송된 프레임별 상대적 복잡도와 장면 전체의 비트 레이트를 입력받은 후, 상기 <수학식 2>의 의해 계산된 각 프레임에 대한 비트 레이트를 계산하게 된다. 이후 상기 비트 할당부(219)는 상기 계산된 비트 레이트를 인코더(220)에 전달한다.

상기 인코더(220)는 상기 계산된 프레임별 비트 레이트를 이용하여 인코딩을 수행하게 된다.

도 3은 본 발명의 바람직한 제1 실시 예에 따른 비트 레이트 제어 장치(200)에서의 비트 레이트 제어 방법을 나타낸 순서도이다.

도 3을 참조하면, 비트 레이트 제어 장치(200)의 장면 검출기(211)는 301 단계에서 장면 분할(scene cut)을 이용하여 장면을 검출한다. 여기서 상기 장면 분할은 MAD 또는 다른 방법에 의해 검출될 수 있다.

그런 후, 상기 비트 레이트 제어 장치(200)는 상기 검출된 장면에 대해 상대적 복잡도와 장면 전체 비트 레이트를 병렬적으로 계산한다. 즉 상기 상대적 복잡 계산부(215)는 303 단계에서 상기 검출된 장면에 대해 임의의 QP로 인코딩을 수행한 후, 305 단계에서 각 프레임에 대한 상대적 복잡도를 계산한다. 상기 프레임별 상대적 복잡도를 상기 <수학식 1>에 의해 계산된다.

한편, 장면 비트 레이트 계산부(217)는 307 단계에서 임의의 비트 레이트를 이용하여 인코딩을 수행한다. 여기서, R-D 커브를 예측하기 위해 몇 개의 비트 레이트를 이용하여 미리 인코딩을 수행한다. 그런 후 상기 장면 비트 레이트 계산부(217)는 309 단계에서 상기 예측된 R-D 커브를 이용하여 목표하는 장면 전체 비트 레이트를 계산한다.

상기 상대적 복잡도 및 장면 전체 비트 레이트가 계산되면, 비트 할당 부(219)는 311 단계에서 상기 <수학식 2>에 의해 계산된 각 프레임별 비트 레이트를 인코더(220)에 할당함으로써, 목표 화질을 제공할 수 있게 된다.

여기서, 제1 실시 예의 변형된 일례를 설명하면, 상기 제1 실시 예에서는 각 프레임별로 목표 화질에 대응되는 비트 레이트를 계산하지 않고, 장면별로 비트 레이트를 계산하여 인코딩을 수행하게 된다.

본 일례를 설명하면, 상기 장면 비트 레이트 계산부(213)가 상기 장면 검출기(211)로부터 입력된 장면에 대해 임의의 QP로 인코딩을 수행하여, 장면별 비트 레이트를 계산한 후, 상기 인코더(220)가 상기 비트 레이트를 이용하여 임의의 프레임별에 인코딩을 수행하도록 하는 방안도 가능하다.

제1 실시 예에서 장면 검출후, 인코딩을 수행한 후, 프레임별 또는 장면별 비트 레이트를 계산하여 인코딩을 수행하게 된다. 그러나 다른 방안으로 인코딩없이 각 프레임의 복잡도를 직접 추정한 후, 상기 추정값을 근거로 장면의 비트 레이트를 직접 할당하는 방안도 가능하다.

이 경우, 각 프레임을 구성하는 각 매크로 블록에 대해 복잡도를 계산한 후, 상기 복잡도를 합함으로써 프레임의 복잡도를 계산할 수 있게 된다. 이에 대한 프레임의 복잡도를 다음의 <수학식 3>에 의해 계산될 수 있다.

삭제

여기서, 상기 (x,y) 는 해당 매크로블록 내의 픽셀 위치이며, edge(x,y)는 해당 픽셀에서 임의의 경계 검출기(edge detector)에 의한 경계 세기(edge strength), w_e는 경계 강도에 대한 경험적인 가중치, MV는 해당 매크로블록의 평균 motion vector 크기, w_m은 motion vector 크기에 대한 경험적인 가중치이다.

상술한 바와 같이 제1 실시 예에서는 PSNR이나 MSE와 같은 객관적인 화질에 따라 부호화하게 됨으로써, 인간의 시각심리적 특성에 의한 주관적 화질을 반영하지 못할 수 있다. 이에 대해 제2 실시 예에서는 입력된 장면별로 주관적 화질을 계산하여 일정 조건을 만족할 때까지 비트 레이트를 반복하는(iterative) 방법으로 보다 정확한 비트 레이트를 구할 수 있는 방안이다.

도 4는 본 발명의 바람직한 제2 실시 예에 따른 비트 레이트 제어 장치(400)를 나타낸 블록도이다.

도 4를 참조하면, 제2 실시 예에 따른 비트 레이트 제어 장치(400)는 장면 검출기(401), 인코더(403), 제어부(405) 및 주관적 화질 계산부(407)를 포함한다.

각 구성 장치를 상세히 설명하면, 상기 GOP 검출기(401)는 입력되는 장면(Scene) 변화를 검출한다. 상기 장면 변화의 검출은 상기 언급한 MAD 또는 그 외의 방법으로 검출할 수 있다. 상기 인코더(403)는 상기 장면 검출기(401)로부터 출력된 장면을 우선 임의의 비트 레이트로 인코딩을 수행하며, 이후 제어부(405)에 의해 주어진 비트 레이트로 인코딩을 수행 하게 된다. 상기 주관적 화질 계산부(403)는 상기 인코딩된 장면에 대해 주관적 화질을 측정하게 된다. 여기서 상기 주관적 화질은 인각이 시각적으로 인식할 수 있는 화질을 나타내는 메트릭(Metric) 을 사용하게 된다. 상기 메트릭은 [Masri and Hemami 2004]에서는 제안한 메트릭을 사용할 수 있고, 이 외의 주관적 화질을 나타내는 다른 메트릭을 사용할 수 도 있다.

상기 [Masri and Hemami 2004]의 9페이지 내지 14페이지에 개시된 내용을 살펴보면, 인코딩된 비디오와 원본 비디오를 입력으로 하여, 매 시간별로 원본 비디오 대비 인코딩된 비디오의 주관적인 화질을 측정할 수 있는 메트릭을 제시하였으며, 상기 메트릭의 측정 결과로서, 0~100%의 주관적 화질을 출력한다.

상기 제어부(405)는 상기 주관적 화질 계산부(407)의 화질과 미리 설정된 기준 화질을 비교하여 상기 인코더(403)의 비트 레이트를 제어한다. 예컨대, 기준 화질을 80% ~ 90%로 설정된 경우, 임의의 비트 레이트로 인코딩된 주관적 화질이 80% 이하가 되거나 90%이상이 되면, 인코더(403)에 비트 레이트를 일정량 증가 또는 감소시켜 인코딩하도록 제어하게 된다.

도 5는 본 발명의 제2 실시 예에 따른 비트 레이트 제어 장치(400)에서의 비트 레이트 제어 방법을 나타낸 순서도이다.

도 5를 참조하면, 상기 장면 검출기(401)가 501 단계에서 MAD 또는 그 이외의 방법을 이용하여 장면(Scene) 변화를 검출하게 된다. 그런 후, 상기 인코더(403)는 502 단계에서 임의의 비트 레이트로 검출된 장면을 인코딩한다.

그러면 상기 주관적 화질 계산부(407)는 505 단계에서 상기 임의의 비트 레이트로 인코딩된 장면에 대한 주관적 화질을 계산한다. 상기 주관적 화질은 상기 도 4에서 언급한 메트릭을 사용하나 주관적 화질을 나타내는 다른 메트릭도 사용할 수 있다.

상기 제어부(405)는 507 단계에서 상기 계산된 주관적 화질이 미리 설정된 기준과 비교하여 허용 가능한지 확인하게 된다. 만일 상기 제어부(405)가 상기 계산된 주관적 화질이 기준 이하이거나 이상인 경우, 509 단계로 진행하여 일정량의 비트 레이트를 증가시키거나 감소시키고, 503 단계와 같이 주어진 비트 레이트로 상기 검출된 장면을 인코딩한다. 이후 다시 505 단계와 같이 주관적 화질을 계산하여, 계산된 주관적 화질이 기준을 만족하는지 확인한다. 즉, 상기 503 단계 내지 507 단계의 과정을 반복하게 된다.

그리고, 상기 503 단계 내지 507 단계의 과정을 반복하여 계산된 주관적 화질이 기준 범위 이내의 화질이 되면, 511 단계에서와 같이 해당 비트 레이트로 인코딩된 장면을 출력하게 된다.

한편 본 발명의 상세한 설명에서는 하나의 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐 아니라 이 특허청구의 범위와 균등한 것들에 의해서 정해져야 한다.

도 1은 본 발명에 따른 화질에 따른 고유한 비트 레이트를 나타내는 그래프

도 2는 본 발명의 제1 실시 예에 따른 비트 레이트 제어 장치를 나타낸 블록도

도 3은 본 발명의 바람직한 제1 실시 예에 따른 비트 레이트 제어 방법을 나타낸 순서도

도 4는 본 발명의 바람직한 제2 실시 예에 따른 비트 레이트 제어 장치를 나타낸 블록도

도 5은 본 발명의 바람직한 제2 실시 예에 따른 비트 레이트 제어 방법을 나타낸 순서도

도 6은 본 발명의 레이트 왜곡(Rate-Distortion : R-D) 커브를 나타낸 그래프

Claims

비트 레이트(bitrate)를 제어하는 장치에 있어서,

입력 영상에 대해 각 프레임별 또는 장면(scene)별로 미리 주어진 목표 화질을 만족하는 최저의 비트 레이트를 결정하는 비트 레이트 분석기(Bitrate Analyzer)와,

상기 결정된 각 프레임별 또는 장면별 비트 레이트를 이용하여 각 프레임을 인코딩하는 인코더(Encoder)를 포함하는 비트 레이트 제어 장치.
제 1항에 있어서,

상기 비트 레이트 분석기는,

입력 영상에 대해 장면 분할(scene cut)를 이용하여 장면(scene)를 검출하는 장면 검출기(Scene Detector)와,

상기 검출된 장면내의 각 프레임 복잡도를 계산하는 복잡도 계산부와,

상기 복잡도 계산부의 결과값을 근거로 각 프레임별 비트 레이트를 결정하는 비트 할당부를 포함하는 비트 레이트 제어 장치.
제 2항에 있어서,

상기 복잡도 계산부는,

상기 검출된 장면 내 프레임별로 상대적 복잡도를 계산하는 상대적 복잡도 계산부와,

상기 장면의 전체에 할당되는 상기 목표 화질에 대응되는 비트 레이트를 계산하는 장면 비트 레이트 계산부를 포함하며,

상기 비트 할당부는,

상기 프레임별 상대적 복잡도와 장면 비트 레이트를 이용하여 각 프레임별 비트 레이트를 결정하는 것을 특징으로 하는 비트 레이트 제어 장치.
제 3항에 있어서,

상기 복잡도 계산부는,

상기 검출된 장면(scene)에 대해 임의의 양자와 계수(Quantization Parameter : QP)로 인코딩을 수행한 후 프레임별 상대적 복잡도를 계산하며,

상기 장면 비트 레이트 계산부는,

상기 장면을 하나 이상의QP로 인코딩하여 레이트 왜곡(Rate-Distortion : R-D) 커브를 계산하여 상기 장면의 전체에 할당되는 목표 화질에 대응되는 비트 레이트를 계산하는 것을 특징으로 하는 비트 레이트 제어 장치.
제 2항에 있어서,

상기 복잡도 계산부는,

영상처리를 통하여 영상 내 각 화소값들로부터 직접 복잡도를 추정하는 것을 특징으로 하는 비트 레이트 제어 장치
제 1항에 있어서,

상기 비트 레이트 분석기는,

입력 영상에 대해 장면 분할(scene cut)를 이용하여 장면(scene)을 검출하는 장면 검출기(Scene Detector)와,

상기 검출된 장면을 상기 목표 화질에 대응되는 비트 레이트를 계산하는 장면 비트 레이트 계산부를 포함하며,

상기 인코더는,

상기 비트 레이트를 이용하여 임의의 프레임별로 인코딩함을 특징으로 하는 비트 레이트 제어 장치.
제 1항에 있어서,

상기 비트 레이트 분석기는,

입력되는 영상의 변화를 검출하여, 장면(scene)을 검출하는 장면 검출기와,

상기 인코더에 의해 임의의 비트 레이트로 인코딩된 장면에 대해 원본 대비 상대적 화질을 측정하는 상대적 화질 계산부와,

상기 측정된 상대적 화질이 미리 결정된 기준 화질 이외인 경우, 소정 비트 레이트를 증가 또는 감소시키도록 제어하는 제어부를 포함하는 비트 레이트 제어 장치.
비트 레이트(bitrate)를 제어하는 방법에 있어서,

입력 영상에 대해 각 프레임별 또는 장면(scene)별로 미리 주어지니 목표 화질을 만족하는 최저의 비트 레이트를 결정하는 제1 과정과,

상기 결정된 각 프레임별 또는 장면별 비트 레이트를 이용하여 각 프레임을 인코딩하는 제2 과정을 포함하는 비트 레이트 제어 방법.
제 8항에 있어서,

상기 제1 과정은,

입력 영상에 대해 장면 분할(scene cut)을 이용하여 장면(scene)을 검출하는 제3 과정과,

상기 검출된 장면내의 각 프레임 복잡도를 계산하는 제4 과정과,

상기 계산된 복잡도를 근거로 각 프레임별 비트 레이트를 결정하는 제5 과정 을 포함하는 비트 레이트 제어 방법.
제 9항에 있어서,

상기 제4 과정은,

상기 검출된 장면 내 프레임별로 상대적 복잡도를 계산하는 제6 과정과,

상기 장면의 전체에 할당되는 상기 목표 화질에 대응되는 비트 레이트를 계산하는 제7 과정과,

상기 프레임별 상대적 복잡도와 장면 비트 레이트를 이용하여 각 프레임별 비트 레이트를 결정하는 제8 과정을 포함함을 특징으로 하는 비트 레이트 제어 방법.
제 10항에 있어서,

상기 제4 과정은,

상기 검출된 장면(scene)에 대해 임의의 양자와 계수(Quantization Parameter : QP)로 인코딩을 수행한 후 프레임별 상대적 복잡도를 계산하는 과정과,

상기 장면을 하나 이상의QP로 인코딩하여 레이트 왜곡(Rate-Distortion : R-D) 커브를 계산하여 상기 장면의 전체에 할당되는 목표 화질에 대응되는 비트 레이 트를 계산하는 과정을 포함함을 특징으로 하는 비트 레이트 제어 방법.
제 9항에 있어서,

상기 복잡도 계산부는 영상처리를 통하여 영상 내 각 화소값들로부터 직접 복잡도를 추정하는 것을 특징으로 비트 레이트 제어 방법.
제 9항에 있어서,

상기 제1 과정은,

입력 영상에 대해 장면 분할(scene cut)를 이용하여 장면(scene)을 검출하는 과정과,

상기 검출된 장면을 상기 목표 화질에 대응되는 비트 레이트를 계산하는 과정과,

상기 비트 레이트를 이용하여 임의의 프레임별로 인코딩함을 특징으로 하는 비트 레이트 제어 방법.
제 8항에 있어서,

상기 제1 과정은,

입력되는 영상의 변화를 검출하여, 장면(scene)을 검출하는 과정과,

임의의 비트 레이트로 상기 검출된 장면을 인코딩하는 과정과,

상기 인코딩된 장면에 대해 원본 대비 상대적 화질을 측정하는 과정과,

상기 측정된 상대적 화질이 미리 결정된 기준 화질 이외인 경우, 소정 비트 레이트를 증가 또는 감소시키는 과정과,

상기 증가 또는 감소된 비트 레이트의 장면을 인코딩된 결과가 미리 결정된 기준 화질을 만족하는 경우, 상기 인코딩된 장면을 출력하는 과정을 포함하는 비트 레이트 제어 방법.