[go: up one dir, main page]

KR101697550B1 - 멀티채널 오디오 대역폭 확장 장치 및 방법 - Google Patents

멀티채널 오디오 대역폭 확장 장치 및 방법 Download PDF

Info

Publication number
KR101697550B1
KR101697550B1 KR1020100091040A KR20100091040A KR101697550B1 KR 101697550 B1 KR101697550 B1 KR 101697550B1 KR 1020100091040 A KR1020100091040 A KR 1020100091040A KR 20100091040 A KR20100091040 A KR 20100091040A KR 101697550 B1 KR101697550 B1 KR 101697550B1
Authority
KR
South Korea
Prior art keywords
signal
channel
channel audio
parameter
downmixed
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020100091040A
Other languages
English (en)
Other versions
KR20120029494A (ko
Inventor
김미영
오은미
키릴 유르코프
주기현
보리스 쿠드리아쇼프
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020100091040A priority Critical patent/KR101697550B1/ko
Priority to US13/232,696 priority patent/US8976970B2/en
Publication of KR20120029494A publication Critical patent/KR20120029494A/ko
Application granted granted Critical
Publication of KR101697550B1 publication Critical patent/KR101697550B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/038—Speech enhancement, e.g. noise reduction or echo cancellation using band spreading techniques
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

멀티채널 오디오의 고주파 신호를 효율적으로 부호화 및 복호화하는 방법 및 장치가 제시된다. 복호화 장치는, 멀티채널 오디오 입력 신호를 다운믹싱하고, 상기 다운믹스된 신호의 채널 수를 확장한다. 그리고, 상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출한다. 그리고, 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화한다.

Description

멀티채널 오디오 대역폭 확장 장치 및 방법{APPARATUS AND METHOD FOR BANDWIDTH EXTENSION FOR MULTI-CHANNEL AUDIO}
멀티채널(multi-channel) 오디오를 부호화 및 복호화 하는 방법에 연관되며, 보다 특정하게는 멀티채널 오디오의 고주파 신호를 효율적으로 부호화 및 복호화하는 방법 및 장치에 연관된다.
일반적으로 멀티채널 오디오 코딩에는 웨이브폼(waveform) 멀티채널 오디오 코딩과 파라메트릭(Parametric) 멀티채널 오디오 코딩이 있다.
웨이브폼 멀티채널 오디오 코딩에는 MPEG-2 MC 오디오 코딩, AAC MC 오디오 코딩 및 BSAC/AVS MC 오디오 코딩 등이 있다.
파라메트릭 멀티채널 오디오 코딩으로는 대표적으로 MPEG Surround기술이 있으며, MPEG Surround 기술에서는 다운믹스 신호(down-mixed signal)와 공간정보(spatial)를 이용하여 멀티채널 오디오 신호를 복원한다.
종래의 MPEG Surround 기술은 멀티채널 오디오 신호를 다운믹싱하고 공간정보를 parameter화 하여 압축하는 방식이며, 적은 정보만으로도 멀티채널로 복원이 가능하다. 그리고, 압축 효율을 높이기 위해 MPEG Surround 기술은 SBR과 결합하여 사용된다.
멀티채널 오디오의 고주파 신호를 효율적으로 부호화 및 복호화 함으로써, 멀티채널 오디오 대역폭을 확장하는 부호화 및 복호화 방법이 제공된다.
멀티채널 오디오 신호에 있어서, 저주파 신호와 고주파 신호 간에 유사성(correlation)이 작은 경우에도 복원된 고주파 신호에서 음질이 열화되는 것을 방지할 수 있는 부호화 및 복호화 방법이 제공된다.
본 발명의 일측에 따르면, 멀티채널 오디오 입력 신호를 다운믹싱하는 다운믹서, 상기 다운믹스된 신호의 채널 수를 확장하는 채널 역상관기, 상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 파라미터 추정부, 및 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 비트 먹서를 포함하는, 멀티채널 오디오 부호화 장치가 제공된다.
여기서, 상기 채널 역상관기는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장할 수 있다.
그리고, 상기 비트 먹서는, 상기 다운믹싱된 신호 중, 상기 멀티채널 오디오 입력 신호의 고주파 대역 신호에 연관되는 신호 및 상기 추출된 파라미터를 부호화할 수 있다.
한편, 상기 파라미터 추정부는, 상기 다운믹스 신호 및 상기 확장된 채널 신호 중에서, 상기 멀티채널 오디오 입력 신호의 각 입력 신호와 match function 을 적용하여 최대 값을 가지는 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출할 수 있다.
본 발명의 다른 일측에 따르면, 멀티채널 오디오 신호를 부호화한 입력 비트스트림으로부터 상기 멀티채널 오디오 신호의 다운믹스 신호를 복원하는 비트 디먹서, 상기 입력 비트스트림으로부터 상기 멀티채널 오디오 신호를 구성하는 복수 개의 채널 신호를 복원하는데 사용되는 파라미터를 복원하는 파라미터 디코더, 상기 복원된 다운믹스 신호를 이용하여 채널 수를 확장하는 채널 역상관기, 상기 채널 수가 확장된 다운믹스 신호로부터, 상기 복원된 파라미터를 이용하여 패치(patching)할 채널 신호를 선택하는 고주파 신호 합성부, 상기 선택된 채널 신호와 상기 복원된 파라미터 정보를 이용하여 채널 신호를 복원하는 공간 정보 합성부를 포함하는, 멀티채널 오디오 복호화 장치가 제공된다.
여기서, 상기 채널 역상관기는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장할 수 있다.
본 발명의 또 다른 일측에 따르면, 멀티채널 오디오 입력 신호를 다운믹싱하는 단계, 상기 다운믹스된 신호의 채널 수를 확장하는 단계, 상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계, 및 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 단계를 포함하는, 멀티채널 오디오 부호화 방법이 제공된다.
여기서, 상기 다운믹스된 신호의 채널 수를 확장하는 단계는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장할 수 있다.
한편, 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 단계는, 상기 다운믹싱된 신호 중, 상기 멀티채널 오디오 입력 신호의 고주파 대역 신호에 연관되는 신호 및 상기 추출된 파라미터를 부호화할 수 있다.
또한, 상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계는, 상기 다운믹스 신호 및 상기 확장된 채널 신호 중에서, 상기 멀티채널 오디오 입력 신호의 각 입력 신호와 match function 을 적용하여 최대 값을 가지는 적어도 하나의 신호를 선택하는 단계, 및 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계를 포함할 수 있다.
본 발명의 또 다른 일측에 따르면, 멀티채널 오디오 신호를 부호화한 입력 비트스트림으로부터 상기 멀티채널 오디오 신호의 다운믹스 신호를 복원하는 단계, 상기 입력 비트스트림으로부터 상기 멀티채널 오디오 신호를 구성하는 복수 개의 채널 신호를 복원하는데 사용되는 파라미터를 복원하는 단계, 상기 복원된 다운믹스 신호를 이용하여 채널 수를 확장하는 단계, 상기 채널 수가 확장된 다운믹스 신호로부터, 상기 복원된 파라미터를 이용하여 패치(patching )할 채널 신호를 선택하는 단계, 및 상기 선택된 채널 신호와 상기 복원된 파라미터 정보를 이용하여 채널 신호를 복원하는 단계를 포함하는, 멀티채널 오디오 복호화 방법이 제공된다.
멀티채널 오디오의 고주파 신호를 효율적으로 부호화 및 복호화 함으로써, 멀티채널 오디오 대역폭을 확장될 수 있다.
멀티채널 오디오 신호에 있어서, 저주파 신호와 고주파 신호 간에 유사성(correlation)이 작은 경우에도 복원된 고주파 신호에서 음질이 열화되는 것이 방지될 수 있다.
도 1은 본 발명의 일실시예에 따른 멀티채널 오디오 신호 부호화 장치를 도시한다.
도 2는 본 발명의 일실시예에 따른 멀티채널 오디오 신호 부호화 장치 내에서, 고주파 신호를 부호화 하는 과정을 도시하는 개념도이다.
도 3은 본 발명의 일실시예에 따른 멀티채널 오디오 신호 복호화 장치를 도시한다.
도 4는 다운믹스 신호로부터 신호를 patching 하여 고주파 신호를 생성하는 과정을 설명하기 위한 개념도이다.
이하에서, 본 발명의 일부 실시예를, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일 실시예에 따른 멀티채널 부호화 장치를 도시한다.
멀티채널 신호 y1, y2, ..., yN이 다운믹서(Downmixer)(110)에 입력된다.
본 발명의 일실시예에 따르면, 다운믹서(110)는 MPEG Surround 기술을 이용하여 이러한 멀티채널 신호들을 2채널 신호인 x1과 x2로 다운믹스 한다.
그리고, 공간 파라미터(spatial parameter) 추출부(120)는 멀티 채널 신호신호 y1, y2, ..., yN의 저주파 대역(low frequency band) 신호를, 채널 간의 공간적 상관 관계를 나타내는 공간 파라미터(spatial parameter)로 표현한다.
그러면, 채널 역상관기(140)는 다운믹서(110)에 의해 다운믹스 된 신호 x1과 x2의 고주파 대역(high frequency band) 신호를 이용하여 채널을 확장하여 추가적인 신호 x3와 x4 등을 생성하여, 베이스 신호 세트(base signal set)를 만든다.
그리고, 파라미터 추정부(150)는 이러한 베이스 신호 세트에 대응하는 신호 x1, x2, x3 및 x4 등과, 입력된 멀티채널 신호 y1, y2, ..., yN의 고주파 대역 신호와의 상관관계(correlation)을 통해, 상기 고주파 대역 신호의 envelope에 해당하는 파라미터들을 생성한다.
이러한 일련의 과정이 아래 수학식 1 내지 수학식 3을 참조하여 보다 상세히 설명된다.
본 발명의 일실시예에 따르면, 이 과정에서 상기 입력 멀티채널 신호 y1, y2, ..., yN의 j 번째 subband에 해당하는 고주파 대역 신호를
Figure 112010060362394-pat00001
라고 하면, 다운믹스 신호인
Figure 112010060362394-pat00002
및
Figure 112010060362394-pat00003
는 다음 수학식과 같이 계산될 수 있다.
[수학식 1]
Figure 112010060362394-pat00004
여기서, 다운믹스 신호인
Figure 112010060362394-pat00005
및
Figure 112010060362394-pat00006
는 기존의 MPEG Surround 의 다운믹싱과 동일한 방식으로 계산될 수도 있다.
또한 상기 고주파 신호는 종래의 SBR coding 에 의해 고주파 신호가 복원된 신호일수도 있다.
그리고, 다운믹스 신호인
Figure 112010060362394-pat00007
및
Figure 112010060362394-pat00008
를 이용하여, 상기 생성되는 추가적인 고주파 신호인
Figure 112010060362394-pat00009
및
Figure 112010060362394-pat00010
는 다음과 같이 계산된다.
[수학식 2]
Figure 112010060362394-pat00011
여기서 추가적인 고주파 신호인
Figure 112010060362394-pat00012
및
Figure 112010060362394-pat00013
는 채널 역상관기(channel decorrelator)(140)에 의해 생성된다.
그러면, 이러한 추가적 고주파 신호 생성 후 구해지는 상기 베이스 신호 세트(base signal set)는 아래 수학식과 같다.
[수학식 3]
Figure 112010060362394-pat00014
여기서,
Figure 112010060362394-pat00015
,
Figure 112010060362394-pat00016
,
Figure 112010060362394-pat00017
및
Figure 112010060362394-pat00018
신호는 파라미터 추정부(150)가 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 데에 사용되는 최적의 신호의 후보 값으로 이해될 수 있다.
그러면, 복원될 멀티채널 신호의 고주파 신호는, bandwidth extension 과정에서 저주파 신호로부터 patching 할 신호를 가져오는 것과 유사한 방식으로,
Figure 112010060362394-pat00019
,
Figure 112010060362394-pat00020
,
Figure 112010060362394-pat00021
및
Figure 112010060362394-pat00022
신호로부터 patching 할 신호가 선택된다.
그리고, 이 중에서 원신호의 고주파 신호에 가장 유사한 신호를 선택하여, 이를 이용하여 멀티채널의 고주파신호를 복원한다.
이 경우, 파라미터 추정부(150)은 상기 확장된 채널 신호 중에서 최적의 신호를 선택한다.
여기서 최적의 신호라 함은, 상기 다운믹스 신호 및 상기 확장된 신호 중에서, 상기 각 입력 멀티채널 신호와의 match function 을 적용하여 최대 값을 가지는 채널 신호이다.
우선,
Figure 112010060362394-pat00023
,
Figure 112010060362394-pat00024
,
Figure 112010060362394-pat00025
및
Figure 112010060362394-pat00026
신호를 살펴보면,
Figure 112010060362394-pat00027
또는
Figure 112010060362394-pat00028
에서
Figure 112010060362394-pat00029
신호의 특성이 강하며,
Figure 112010060362394-pat00030
또는
Figure 112010060362394-pat00031
에서
Figure 112010060362394-pat00032
신호의 특성이 강함을 알 수 있다.
그리고,
Figure 112010060362394-pat00033
신호 성분은
Figure 112010060362394-pat00034
신호로 대표될 수 있다.
이러한 후보 신호로부터 최종 patching을 할 신호(상기 최적의 신호)에는 다음과 같이 energy matching 수식을 정의해서, 이 값이 최대가 되는 신호가 선택된다.
이러한 과정은 도 2를 참조하여 보다 상세히 후술한다.
도 2는 본 발명의 일실시예에 따른 부호화 장치(100) 내에서 채널 역상관기(channel decorrelator)(140)에서 생성된 채널 신호들로부터, 가장 최적의 patching 채널을 선택하고, 고주파 신호 생성에 필요한 parameter 를 추출하는 과정을 설명하기 위한 흐름도이다.
매치 펑션 계산부(Match function calculator)(220)는 상기 생성된 채널 신호들
Figure 112010060362394-pat00035
,
Figure 112010060362394-pat00036
,
Figure 112010060362394-pat00037
및
Figure 112010060362394-pat00038
을 수신하여, 매칭 펑션의 계산 값을 다음과 같이 도출한다.
[수학식 4]
Figure 112010060362394-pat00039
그러면 이러한 매칭 펑션의 계산 값
Figure 112010060362394-pat00040
이 최대가 되는 신호가 상기 최적의 채널 신호로 결정된다.
여기서, 베이스 신호 선택부(Base signal selector)(210)은 아래 수학식에 의해 베이스 신호를 선택한다.
[수학식 5]
Figure 112010060362394-pat00041
한편, 이득 추정부(Gain estimator)(230)은 상기 입력 멀티채널 오디오 신호의 고주파 대역 신호에 대해 다음과 같이 SBR 의 envelope 에 해당 하는 이득(gain) 값 정보를 생성한다.
여기서 이득(gain) 값은 일 예로 다음 수학식과 같이 원신호와 pathcing 할 신호의 energy ratio 로 계산될 수 있다.
[수학식 6]
Figure 112010060362394-pat00042
그러면, 다시 도 1을 참조하여, 비트 먹서(160)은 상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하여 비트 스트림을 생성한다.
도 3은 본 발명의 일실시예에 따른 멀티채널 복호화 장치를 도시한다
멀티채널 복호화의 과정은 상기 도 1 내지 도 2를 참조하여 상술한 멀티채널 부호화 과정의 역과정으로 수행된다.
먼저 비트 디먹서(Bit demuxer)(310)는 전송된 비트 스트림을 디먹싱한다.
본 발명의 일실시예에 따르면, 전송된 상기 다운믹스 신호와 공간 파라미터(spatial parameter) 추출부(120)가 추출한 공간 파라미터를 이용하여 저주파 영역의 다채널 신호가 복원된다.
공간 정보 합성부 (Spatial synthesizer)(340)는 상기 다운믹스 신호와 공간 파라미터(spatial parameter) 정보를 이용하여 저주파 영역에 해당하는 멀티채널 신호를 만들어 낸다.
여기서, 채널 역상관기(channel decorrelator)(330)는, 도 1의 부호화 장치에서와 동일한 방식으로 다운믹스 신호로부터 추가적인 신호를 생성하여, 베이스 신호 세트(base signal set)를 생성한다.
그리고, 공간 정보 합성부(340), 파라미터 복호화부(350) 및 고주파 신호 합성부(360)를 거치면서, 멀티채널 복호화가 수행되며, 멀티채널 입력 음성 신호(원 신호)와 매우 유사한 멀티채널 출력 음성 신호가 생성된다.
도 4는 다운믹스 신호로부터 신호를 patching 하여 고주파 신호를 생성하는 과정을 설명하기 위한 개념도이다.
다운믹스 신호(downmixed signal)(401)이 채널 역상관기(channel decorrelator)(410)에 입력되고, 이러한 채널 역상관기(410)는, 도 1의 부호화 장치에서와 동일한 방식으로 다운믹스 신호로부터 추가적인 신호를 생성하여, 베이스 신호 세트(base signal set)를 생성하게 된다.
그리고, 고주파 생성부(High-frequency generator)(420)는 patching 채널 index 정보를 이용하여 상기 베이스 신호 세트(base signal set)에서 patching 할 대상 신호를 선택하고, 상기 생성된 이득(gain) 정보를 이용하여 고주파 대역의 신호를 생성한다.
본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
110: 다운믹서
120: 공간 파라미터 추출부
130: 웨이브폼 인코더
140: 채널 역상관기
150: 파라미터 추정부
160: 비트 먹서

Claims (13)

  1. 멀티채널 오디오 입력 신호를 다운믹싱하는 다운믹서;
    상기 다운믹스된 신호의 채널 수를 확장하는 채널 역상관기;
    상기 다운믹스된 신호 및 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하고, 상기 선택된 적어도 하나의 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 파라미터 추정부; 및
    상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 비트 먹서
    를 포함하는, 멀티채널 오디오 부호화 장치.
  2. 제1항에 있어서,
    상기 채널 역상관기는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장하는, 멀티채널 오디오 부호화 장치.
  3. 제1항에 있어서,
    상기 비트 먹서는, 상기 다운믹싱된 신호 중, 상기 멀티채널 오디오 입력 신호의 고주파 대역 신호에 연관되는 신호 및 상기 추출된 파라미터를 부호화하는, 멀티채널 오디오 부호화 장치.
  4. 제1항에 있어서,
    상기 파라미터 추정부는,
    상기 다운믹스 신호 및 상기 확장된 채널 신호 중에서, 상기 멀티채널 오디오 입력 신호의 각 입력 신호와 match function 을 적용하여 최대 값을 가지는 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는, 멀티채널 오디오 부호화 장치.
  5. 멀티채널 오디오 신호를 부호화한 입력 비트스트림으로부터 상기 멀티채널 오디오 신호의 다운믹스 신호를 생성하는 비트 디먹서;
    상기 입력 비트스트림으로부터 상기 멀티채널 오디오 신호를 구성하는 복수 개의 채널 신호를 복원하는데 사용되는 파라미터를 디코딩하는 파라미터 디코더;
    상기 생성된 다운믹스 신호를 이용하여 채널 수를 확장하는 채널 역상관기;
    상기 다운믹스 신호 및 확장된 채널 신호로부터, 상기 디코딩된 파라미터를 이용하여 패치(patching )할 채널 신호를 선택하는 고주파 신호 합성부; 및
    상기 선택된 채널 신호와 상기 디코딩된 파라미터 정보를 이용하여 채널 신호를 복원하는 공간 정보 합성부
    를 포함하는, 멀티채널 오디오 복호화 장치.
  6. 제5항에 있어서,
    상기 채널 역상관기는, 선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장하는, 멀티채널 오디오 복호화 장치.
  7. 멀티채널 오디오 입력 신호를 다운믹싱하는 단계;
    상기 다운믹스된 신호의 채널 수를 확장하는 단계;
    상기 다운믹스된 신호 및 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하고, 상기 선택된 적어도 하나의 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계; 및
    상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 단계
    를 포함하는, 멀티채널 오디오 부호화 방법.
  8. 제7항에 있어서,
    상기 다운믹스된 신호의 채널 수를 확장하는 단계는,
    선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장하는, 멀티채널 오디오 부호화 방법.
  9. 제7항에 있어서,
    상기 다운믹싱된 신호 및 상기 추출된 파라미터를 부호화하는 단계는,
    상기 다운믹싱된 신호 중, 상기 멀티채널 오디오 입력 신호의 고주파 대역 신호에 연관되는 신호 및 상기 추출된 파라미터를 부호화하는, 멀티채널 오디오 부호화 방법.
  10. 제7항에 있어서,
    상기 확장된 채널 신호 중에서 적어도 하나의 신호를 선택하여, 상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계는,
    상기 다운믹스 신호 및 상기 확장된 채널 신호 중에서, 상기 멀티채널 오디오 입력 신호의 각 입력 신호와 match function 을 적용하여 최대 값을 가지는 적어도 하나의 신호를 선택하는 단계; 및
    상기 선택한 신호와 상기 멀티채널 오디오 입력 신호 간의 특성 관계를 나타내는 파라미터를 추출하는 단계
    를 포함하는, 멀티채널 오디오 부호화 방법.
  11. 멀티채널 오디오 신호를 부호화한 입력 비트스트림으로부터 상기 멀티채널 오디오 신호의 다운믹스 신호를 생성하는 단계;
    상기 입력 비트스트림으로부터 상기 멀티채널 오디오 신호를 구성하는 복수 개의 채널 신호를 복원하는데 사용되는 파라미터를 디코딩하는 단계;
    상기 생성된 다운믹스 신호를 이용하여 채널 수를 확장하는 단계;
    상기 다운믹스 신호 및 확장된 채널 신호로부터, 상기 디코딩된 파라미터를 이용하여 패치(patching)할 채널 신호를 선택하는 단계; 및
    상기 선택된 채널 신호와 상기 디코딩된 파라미터 정보를 이용하여 채널 신호를 복원하는 단계
    를 포함하는, 멀티채널 오디오 복호화 방법.
  12. 제11항에 있어서,
    상기 생성된 다운믹스 신호를 이용하여 채널 수를 확장하는 단계는,
    선형 조합(linear combination) 또는 역상관(decorrelation)을 통해 상기 다운믹스된 신호의 채널 수를 확장하는, 멀티채널 오디오 복호화 방법.
  13. 제7항 내지 제12항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020100091040A 2010-09-16 2010-09-16 멀티채널 오디오 대역폭 확장 장치 및 방법 Expired - Fee Related KR101697550B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100091040A KR101697550B1 (ko) 2010-09-16 2010-09-16 멀티채널 오디오 대역폭 확장 장치 및 방법
US13/232,696 US8976970B2 (en) 2010-09-16 2011-09-14 Apparatus and method for bandwidth extension for multi-channel audio

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100091040A KR101697550B1 (ko) 2010-09-16 2010-09-16 멀티채널 오디오 대역폭 확장 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120029494A KR20120029494A (ko) 2012-03-27
KR101697550B1 true KR101697550B1 (ko) 2017-02-02

Family

ID=45817789

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100091040A Expired - Fee Related KR101697550B1 (ko) 2010-09-16 2010-09-16 멀티채널 오디오 대역폭 확장 장치 및 방법

Country Status (2)

Country Link
US (1) US8976970B2 (ko)
KR (1) KR101697550B1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2704142B1 (en) * 2012-08-27 2015-09-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for reproducing an audio signal, apparatus and method for generating a coded audio signal, computer program and coded audio signal
US9258428B2 (en) 2012-12-18 2016-02-09 Cisco Technology, Inc. Audio bandwidth extension for conferencing
EP2830053A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-channel audio decoder, multi-channel audio encoder, methods and computer program using a residual-signal-based adjustment of a contribution of a decorrelated signal
EP2830051A3 (en) 2013-07-22 2015-03-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Audio encoder, audio decoder, methods and computer program using jointly encoded residual signals
EP2854133A1 (en) * 2013-09-27 2015-04-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Generation of a downmix signal
US11322164B2 (en) * 2018-01-18 2022-05-03 Dolby Laboratories Licensing Corporation Methods and devices for coding soundfield representation signals
KR102109972B1 (ko) 2018-10-05 2020-05-26 주식회사 플레이티지 반도체공정용 히터 재킷
US12167219B2 (en) 2018-11-13 2024-12-10 Dolby Laboratories Licensing Corporation Audio processing in immersive audio services
JP7553355B2 (ja) 2018-11-13 2024-09-18 ドルビー ラボラトリーズ ライセンシング コーポレイション オーディオ信号及び関連するメタデータによる空間オーディオの表現
EP3719799A1 (en) * 2019-04-04 2020-10-07 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. A multi-channel audio encoder, decoder, methods and computer program for switching between a parametric multi-channel operation and an individual channel operation

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60318835T2 (de) * 2002-04-22 2009-01-22 Koninklijke Philips Electronics N.V. Parametrische darstellung von raumklang
MY145083A (en) * 2004-03-01 2011-12-15 Dolby Lab Licensing Corp Low bit rate audio encoding and decoding in which multiple channels are represented by fewer channels and auxiliary information.
EP3573055B1 (en) * 2004-04-05 2022-03-23 Koninklijke Philips N.V. Multi-channel decoder
SE0400998D0 (sv) * 2004-04-16 2004-04-16 Cooding Technologies Sweden Ab Method for representing multi-channel audio signals
SE0402650D0 (sv) * 2004-11-02 2004-11-02 Coding Tech Ab Improved parametric stereo compatible coding of spatial audio
CA2610430C (en) * 2005-06-03 2016-02-23 Dolby Laboratories Licensing Corporation Channel reconfiguration with side information
BRPI0615899B1 (pt) * 2005-09-13 2019-07-09 Koninklijke Philips N.V. Unidade decodificadora espacial, dispositivo decodificador espacial, sistema de áudio, dispositivo de consumidor, e método para produzir um par de canais de saída binaurais
KR20070043651A (ko) * 2005-10-20 2007-04-25 엘지전자 주식회사 멀티채널 오디오 신호의 부호화 및 복호화 방법과 그 장치
KR101358700B1 (ko) * 2006-02-21 2014-02-07 코닌클리케 필립스 엔.브이. 오디오 인코딩 및 디코딩
ATE538604T1 (de) * 2006-03-28 2012-01-15 Ericsson Telefon Ab L M Verfahren und anordnung für einen decoder für mehrkanal-surroundton
JP5227946B2 (ja) * 2006-03-28 2013-07-03 テレフオンアクチーボラゲット エル エム エリクソン（パブル） フィルタ適応周波数分解能
KR100923156B1 (ko) 2006-05-02 2009-10-23 한국전자통신연구원 멀티채널 오디오 인코딩 및 디코딩 시스템 및 방법
KR101435893B1 (ko) 2006-09-22 2014-09-02 삼성전자주식회사 대역폭 확장 기법 및 스테레오 부호화 기법을 이용한오디오 신호의 부호화/복호화 방법 및 장치
WO2008035949A1 (en) * 2006-09-22 2008-03-27 Samsung Electronics Co., Ltd. Method, medium, and system encoding and/or decoding audio signals by using bandwidth extension and stereo coding
MX2008012246A (es) * 2006-09-29 2008-10-07 Lg Electronics Inc Metodos y aparatos para codificar y descodificar señales de audio basadas en objeto.
KR101434198B1 (ko) * 2006-11-17 2014-08-26 삼성전자주식회사 신호 복호화 방법
KR101453732B1 (ko) * 2007-04-16 2014-10-24 삼성전자주식회사 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
US8630863B2 (en) * 2007-04-24 2014-01-14 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding audio/speech signal
KR20090004778A (ko) * 2007-07-05 2009-01-12 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
KR101403340B1 (ko) * 2007-08-02 2014-06-09 삼성전자주식회사 변환 부호화 방법 및 장치
CA2705968C (en) 2007-11-21 2016-01-26 Lg Electronics Inc. A method and an apparatus for processing a signal
KR101452722B1 (ko) * 2008-02-19 2014-10-23 삼성전자주식회사 신호 부호화 및 복호화 방법 및 장치
EP2144231A1 (en) 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Low bitrate audio encoding/decoding scheme with common preprocessing
EP2144229A1 (en) * 2008-07-11 2010-01-13 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Efficient use of phase information in audio encoding and decoding
US8831958B2 (en) 2008-09-25 2014-09-09 Lg Electronics Inc. Method and an apparatus for a bandwidth extension using different schemes
EP2374123B1 (fr) * 2008-12-15 2019-04-10 Orange Codage perfectionne de signaux audionumeriques multicanaux
KR101692394B1 (ko) * 2009-08-27 2017-01-04 삼성전자주식회사 스테레오 오디오의 부호화, 복호화 방법 및 장치

Also Published As

Publication number Publication date
US20120070007A1 (en) 2012-03-22
KR20120029494A (ko) 2012-03-27
US8976970B2 (en) 2015-03-10

Similar Documents

Publication Publication Date Title
KR101697550B1 (ko) 멀티채널 오디오 대역폭 확장 장치 및 방법
US9280974B2 (en) Audio decoding device, audio decoding method, audio decoding program, audio encoding device, audio encoding method, and audio encoding program
US9514759B2 (en) Method and apparatus for performing an adaptive down- and up-mixing of a multi-channel audio signal
KR101376100B1 (ko) 대역폭 확장 복호화 방법 및 장치
KR101823278B1 (ko) 결합하여 인코딩된 잔류 신호들을 이용하는 오디오 인코더, 오디오 디코더, 방법들 및 컴퓨터 프로그램
KR100908081B1 (ko) 인코딩 및 디코딩된 다채널 신호를 생성하는 장치 및 방법
JP4601669B2 (ja) マルチチャネル信号またはパラメータデータセットを生成する装置および方法
EP2209114B1 (en) Speech coding/decoding apparatus/method
KR101975066B1 (ko) 신호 처리 장치 및 방법, 및 컴퓨터 판독가능 기록 매체
CN106847295B (zh) 编码装置和编码方法
JP5154934B2 (ja) 知覚的歪みを最小化する結合オーディオ符号化
KR101600352B1 (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
RU2696952C2 (ru) Аудиокодировщик и декодер
JP2012037582A (ja) 信号処理装置および方法、並びにプログラム
US20080288263A1 (en) Method and Apparatus for Encoding/Decoding
US20140278446A1 (en) Device and method for data embedding and device and method for data extraction
JP2004184975A (ja) 少ない計算量で高周波数成分を復元するオーディオデコーディング方法及び装置
KR20110116079A (ko) 멀티 채널 신호의 부호화/복호화 장치 및 방법
JPWO2006070760A1 (ja) スケーラブル符号化装置およびスケーラブル符号化方法
KR101709690B1 (ko) 멀티 채널 신호의 복호화방법
KR101613979B1 (ko) 멀티 채널 신호의 복호화방법
US9854379B2 (en) Personal audio studio system
KR20120089230A (ko) 신호 복호화 장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20200113

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20200113