[go: up one dir, main page]

KR101227876B1 - 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치 - Google Patents

서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치 Download PDF

Info

Publication number
KR101227876B1
KR101227876B1 KR1020107025827A KR20107025827A KR101227876B1 KR 101227876 B1 KR101227876 B1 KR 101227876B1 KR 1020107025827 A KR1020107025827 A KR 1020107025827A KR 20107025827 A KR20107025827 A KR 20107025827A KR 101227876 B1 KR101227876 B1 KR 101227876B1
Authority
KR
South Korea
Prior art keywords
channel
voice
measurement
power level
signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020107025827A
Other languages
English (en)
Other versions
KR20110015558A (ko
Inventor
한네스 무에슈
Original Assignee
돌비 레버러토리즈 라이쎈싱 코오포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 돌비 레버러토리즈 라이쎈싱 코오포레이션 filed Critical 돌비 레버러토리즈 라이쎈싱 코오포레이션
Publication of KR20110015558A publication Critical patent/KR20110015558A/ko
Application granted granted Critical
Publication of KR101227876B1 publication Critical patent/KR101227876B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/21—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being power information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/04—Circuit arrangements, e.g. for selective connection of amplifier inputs/outputs to loudspeakers, for loudspeaker detection, or for adaptation of settings to personal preferences or hearing impairments
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Speech or voice signal processing techniques to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02165—Two microphones, one receiving mainly the noise signal and the other one mainly the speech signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2205/00—Details of stereophonic arrangements covered by H04R5/00 but not provided for in any of its subgroups
    • H04R2205/041—Adaptation of stereophonic signal reproduction for the hearing impaired

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Quality & Reliability (AREA)
  • Stereophonic System (AREA)
  • Tone Control, Compression And Expansion, Limiting Amplitude (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은, 멀티-채널 오디오 신호에서 음성을 개선하는 방법에 관한 것으로, 상기 방법은 멀티-채널 오디오 신호의 제 1 특징과 제 2 특징을 비교하여 감쇠 요소를 생성하는 단계를 포함하고, 상기 제 1 특징은 음성 및 비-음성 오디오를 포함하는 멀티-채널 오디오 신호의 제 1 채널에 해당하며, 제 2 특징은 비-음성 오디오를 우선적으로 포함하는 멀티-채널 오디오 신호의 제 2 채널에 해당하고, 상기 방법은 음성 개연성 값에 따른 감쇠 요소를 조정하여 조정된 감쇠 요소를 생성하는 단계를 더 포함하고, 상기 방법은 조정된 감쇠 요소를 사용하여 제 2 채널을 감쇠시키는 단계를 더 포함하는 것을 특징으로 한다.

Description

서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치{METHOD AND APPARATUS FOR MAINTAINING SPEECH AUDIBILITY IN MULTI-CHANNEL AUDIO WITH MINIMAL IMPACT ON SURROUND EXPERIENCE}
관련 출원에 대한 상호 참조
이 출원은, 그 전체 내용이 본 명세서에 참조로 포함되어 있는 2008년 4월 18일 출원된 미국 가특허 출원 번호 제 61/046,271호의 우선권의 이점을 청구한다.
본 발명은, 일반적으로 오디오 신호 처리에 관한 것이고, 보다 구체적으로는 서라운드 엔터테인먼트 오디오에서 대화(dialog) 및 이야기(narrative)의 선명도를 향상시키는 방법에 관한 것이다.
본 명세서에서 다르게 표시하지 않는 한, 본 섹션에 기술된 접근법은 본 출원의 특허청구범위에 대한 선행기술이 아니고, 본 섹션에 포함됨으로써 선행기술로 인정되지 않는다.
오디오(서라운드 사운드)의 다중 동시채널을 갖춘 현대의 엔터테인먼트 오디오는 청중에게 광대한 엔터테인먼트 가치의 실감 사운드 환경을 제공한다. 상기 환경에서, 대화, 음악 및 효과와 같은 많은 사운드 요소는 동시에 표현되어, 청취자의 주위를 끌려고 경쟁한다. 청중의 일부, 특히 청각 능력이 떨어지거나, 또는 인지 처리가 느린 청중들은, 크게 경쟁하는 사운드 요소들이 존재하는 프로그램 부분 동안에는 대화 및 이야기를 이해하기 어려울 수 있다. 상기 구절 중에, 경쟁하는 사운드의 레벨이 낮춰진다면 상기 청취자는 도움이 될 것이다.
음악 및 효과들이 대화를 제압할 수 있는 인식은 새로운 것이 아니며, 이러한 상황을 해결하기 위한 여러 방법이 제시되고 있다. 그러나, 이하에 설명될 바와 같이, 제시된 방법은 현 방송 실무와 서로 안 맞으며, 전체 엔터테인먼트 경험에 불필요하게 높은 피해를 주고 있거나, 또는 모두이다.
종래에는, 영화 및 텔레비젼용 서라운드 오디오를 제작하는데 있어서 대부분의 대화 및 이야기를 겨우 1개의 채널(센터 채널, 음성 채널이라고도 함)에만 두는 것에 통상적으로 고수해왔다. 음악, 환경 사운드 및 사운드 효과들은 통상적으로 음성 채널 및 모든 남은 채널들(예를 들면, 레프트[L], 라이트[R], 레프트 서라운드[ls] 및 라이트 서라운드[rs], 비-음성 채널이라고도 함) 모두로 혼합된다. 결과적으로, 음성 채널은 오디오 프로그램에 포함된 상당량의 비음성 오디오와 대복수의 음성을 전달하며, 반면, 비-음성 채널들은 대부분 비-음성 오디오를 전달하지만, 소량의 음성을 전달할 수도 있다. 상기 종래의 믹스 중에서 대화 및 이야기를 인식하는데 도움을 주는 한 가지 간단한 접근법은 음성 채널의 레벨에 대한 모든 비-음성 채널의 레벨을 영구적으로 예를 들어, 6dB까지 낮추는 것이다. 이러한 접근법은 간단하며, 효과적이고, 오늘날 실시되고 있다(예를 들면, SRS[사운드 복원 시스템(sound retrieval system)] 서라운드 복호화기에서 대화 선명도 또는 변조된 다운믹스 등식). 그러나, 여기에는 적어도 하나의 단점: 비-음성 채널의 일정한 감소로 인해, 청중이 더 이상 들을 수 없는 지점까지 음성 수신을 방해하지 않는 조용한 환경 사운드의 레벨이 낮아질 수 있다는 단점이 있다. 비-방해 환경 사운드를 감소시킴으로써, 음성 이해에 수반되는 어떠한 이점도 없이 프로그램의 미적 균형이 변형된다.
대안적인 해결방법이 Vaudrey 및 Saunders의 일련의 특허(미국 특허 제 7,266,501호, 미국 특허 제 6,772,127호, 미국 특허 제 6,912,501호 및 미국 특허 제 6,650,755호)에 기술되어 있다. 이해하고 있는 바와 같이, 이러한 접근법은 컨텐트 제작 및 분포를 변형시키는 것을 포함한다. 이러한 방식에 따라, 소비자는 2개의 별도의 오디오 신호를 받는다. 상기 신호들 중 첫 번째는 "일차 컨텐트(Primary Content)" 오디오를 포함한다. 많은 경우, 상기 신호는 음성에 의해 지배될 것이지만, 컨텐트 제작자가 원한다면, 다른 신호 타입도 포함할 수 있다. 두 번째 신호는 모든 남은 사운드 요소로 조성된 "이차 컨텐트(Secondary Content)" 오디오를 포함한다. 사용자는 각 신호의 레벨을 수동으로 조정하거나, 또는 사용자-선택된 출력비를 자동으로 유지시킴으로써 상기 2개의 신호의 상대 레벨을 제어한다. 비록 상기 방식이 비-방해 환경 사운드의 불필요한 감소를 한정할 수 있더라도, 그의 광범위한 배치는 인정받은 제조방법 및 분배방법들과의 비호환성에 의해 간섭받는다.
음성 및 비-음성 오디오의 상대 레벨을 처리하는 방법의 다른 예는 Bennett의 미국 출원 공보 제 20070027682호에 제안되어 있다.
배경 기술의 모든 예는 다른 단점 중에서도, 컨텐트 제작자에 의해 고안된 청취 경험에 대화 개선이 미치는 효과를 최소화하기 위한 수단을 제공하지 않는 한계를 공유한다. 그러므로, 본 발명의 목적은, 비-음성 오디오 성분의 가청도를 유지하면서 음성이 이해될 수 있도록 종래의 믹싱된 멀티-채널 엔터테인먼트 프로그램에서 비-음성 오디오 채널의 레벨을 제한하는 수단을 제공하는 것이다.
따라서, 음성 가청도(speech audibility)를 유지하는 개선 방법이 필요하다. 본 발명은 멀티-채널 오디오 신호에서 음성 가청도를 개선하는 장치와 방법을 제공함으로써 상기 문제점 및 이와 다른 문제점을 해결한다.
본 발명의 실시예는 음성 가청도를 개선시킨다. 한 실시예에서, 본 발명은 멀티-채널 오디오 신호에서 음성의 가청도를 개선하는 방법을 포함한다. 상기 방법은 멀티-채널 오디오 신호의 제 1 특징과 제 2 특징을 비교하여 감쇠 요소를 생성하는 단계를 포함한다. 상기 제 1 특징은 음성 및 비-음성 오디오를 포함하는 멀티-채널 오디오 신호의 제 1 채널에 해당하며, 제 2 특징은 비-음성 오디오를 우선적으로 포함하는 멀티-채널 오디오 신호의 제 2 채널에 해당한다. 상기 방법은 음성 개연성 값에 따른 감쇠 요소를 조정하여 조정된 감쇠 요소를 생성하는 단계를 더 포함한다. 상기 방법은 조정된 감쇠 요소를 사용하여 제 2 채널을 감쇠시키는 단계를 더 포함한다.
본 발명의 제 1 측면은 전형적인 엔터테인먼트 프로그램의 음성 채널이 프로그램 지속의 실질적인 일부를 위해 비-음성 신호를 전달한다는 관찰에 기반을 두고 있다. 결과적으로, 본 발명의 제 1 측면에 따라, 비-음성 오디오에 의해 음성 오디오를 마스킹(masking)하는 것은 (a) 음성 채널의 신호 전력에 대한 비-음성 채널의 신호 전력의 비율을 예정된 임계값을 초과하지 않도록 한정하는데 필요한 비-음성 채널의 신호 감쇠를 결정하는 단계, (b) 음성인 음성 채널의 신호의 계산과 단조적으로 연관된 요소에 의해 감쇠를 스케일링하는 단계 및 (c) 스케일링된 감쇠를 적용하는 단계에 의해 제어될 수 있다.
본 발명의 제 2 측면은 음성 신호의 전력과 마스킹 신호의 전력 사이의 비율이 음성 명료도의 부족한 예측 변수라는 관찰에 기반을 두고 있다. 결과적으로, 본 발명의 상기 제 2 측면에 따라, 예정된 수준의 명료도를 유지하는데 필요한 비-음성 채널의 신호 감쇠는 음향심리학적으로 기반을 둔 명료도 예측 모델에 의해 비-음성 신호의 존재시에 음성 신호의 명료도를 예측함으로써 계산된다.
본 발명의 제 3 측면은 감쇠가 주파수를 통해 변화된다면, (a) 주어진 레벨의 명료도가 다양한 감쇠 패턴에 의해 얻어질 수 있고, 및 (b) 다른 감쇠 패턴들이 다른 레벨의 라우드니스 또는 특징의 비-음성 오디오를 생성할 수 있다는 관찰에 기반을 두고 있다. 결과적으로, 본 발명의 제 3 측면에 따라, 비-음성 오디오에 의한 음성 오디오의 마스킹은 예정된 레벨의 예측 음성 명료도가 얻어지는 제약하에서 비-음성 오디오의 특징의 일부 다른 측정 또는 라우드니스를 최대화하는 감쇠 패턴을 발견함으로써 제어된다.
본 발명의 실시예는 한 방법 또는 프로세스로서 수행될 수 있다. 방법은 하드웨어 또는 소프트웨어, 또는 이들의 조합으로서 전자 회로에 의해 구현될 수 있다. 프로세스를 구현하는데 사용되는 회로는 전용 회로(특정 임무만 수행함) 또는 일반 회로(하나 또는 그 이상의 특정 임무를 수행하기 위해 프로그램됨)이다.
이하의 상세한 설명 및 첨부한 도면에 의해, 본 발명의 특징과 이점을 보다 잘 이해할 수 있을 것이다.
본 발명은, 서라운드 엔터테인먼트 오디오에서 대화(dialog) 및 이야기(narrative)의 선명도를 향상시키는 방법을 제공하는 효과를 갖는다.
도 1은, 본 발명의 한 실시예에 따른 신호 프로세서를 나타낸 도면.
도 2는, 본 발명의 다른 실시예에 따른 신호 프로세서를 나타낸 도면.
도 3은, 본 발명의 다른 실시예에 따른 신호 프로세서를 나타낸 도면.
도 4a~4b는, 도 1~3의 실시예의 추가 변형예를 나타낸 블럭도.
본 명세서에 기술된 것은 음성 가청도를 유지하기 위한 기술이다. 하기 설명에서, 예시의 목적으로, 본 발명을 전반적으로 이해할 수 있도록 많은 실시예 및 특정 설명이 되어 있다. 그러나, 당업자라면, 특허청구범위에 의해 한정된 본 발명이 실시예의 모든 특징 또는 일부를 단독으로, 또는 이하에 설명되는 다른 특징과 함께 포함할 수 있으며, 본 명세서에 기술된 특징과 개념의 변형예와 균등물을 더 포함할 수 있다는 사실을 분명히 알 것이다.
이하에 다양한 방법 및 프로세스가 기술되어 있다. 이들이 기술되어 있는 순서는 주로 설명하기 쉬운 순서이다. 특정 단계는 다양한 구현에 따라 요구되는 바와 같이 다른 순서 또는 병행해서 수행될 수 있다. 만약 특정 단계가 다른 단계를 선행하거나 뒤따라야만 한다면, 그것이 문맥으로부터 분명하지 않을 때에 별도로 언급될 것이다.
본 발명의 제 1 측면의 원칙은 도 1에 예시되어 있다. 도 1을 보면, 음성 채널(101)과 두 개의 비음성 채널(102와 102)로 구성되는 다채널 신호가 수신된다. 이러한 채널 각각의 신호 전력은 일련의 전력 측정기(104,105 및 106)를 이용하여 측정되고 로그 스케일[dB]로 표현된다. 이러한 전력 측정기는 리키 적분기(leaky integrator)와 같은 평탄화 방법(smoothing mechanism)을 포함하여, 측정된 전력 레벨이 하나의 문장 또는 전체 문구 동안에 걸쳐 평균된 전력 레벨을 반영하도록 할 수 있다. 음성 채널에서의 신호의 전력 레벨은 비음성 채널 각각의 전력 레벨로부터 감산되어(덧셈기 107과 108에 의해) 두 신호 형태 사이의 전력 레벨 차이를 측정한다. 비교 회로(109)는 각 비음성 채널에 대해서 비음성 채널이 그것의 전력 레벨이 적어도 θdB만큼 음성 채널에서의 신호의 전력 레벨보다 낮게 남을 수 있도록 감쇄되어야 하는 dB 수를 결정한다 {기호 θ는 변수를 나타내고 또한 쎄타(theta)라고 불릴 수 있다}. 하나의 실시예에 따르면, 이것의 한 구현은 임계값 θ(회로 110에 의해 저장된)를 전력 레벨 차이에 더하고 {이러한 중간 결과는 마진(margin)이라고 불린다} 그 결과를 영보다 같거나 작도록 제한{리미터(limiter) 111과 112에 의해}하는 것이다. 그 결과는 이득 dB(또는 음수화된 감쇄)로서 비음성 채널에 적용되어서 그 채널의 전력 레벨이 음성 채널의 전력 레벨보다 θdB만큼 낮도록 유지되어야 한다. θ의 적정값은 15dB이다. θ값은 다른 구현에서 요구되는 대로 조정될 수 있다.
로그 스케일(dB)로 표현된 측정값과 선형 스케일로 표현된 동일한 측정값 사이에는 고유한 관계가 있기 때문에, 도 1과 동등한 회로는 전력, 이득 그리고 임계값이 모두 선형 스케일로 표현되어 구축될 수 있다. 이러한 구현에서는 모든 레벨 차는 선형 측정의 비로 대체된다. 또 다른 구현은 전력 측정값을 신호의 절대값과 같은 신호 강도와 관련된 측정값으로 대체할 수 있다.
본 발명의 제 1 측면의 주목할만한 특징은 실제로 음성인 음성 채널에서의 신호의 개연성(likelihood)과 단조적으로(monotonically) 관련된 값에 의해 얻어지도록 게인(gain)을 조정하는 것이다. 도 1을 보면, 제어 신호(113)가 수신되고, {곱셈기(114, 115)에 의해} 게인과 곱해진다. 그리고나서 스케일된 게인은 {증폭기(116, 117)에 의해} 해당하는 비-음성 채널에 적용되어, 변형된 신호 L' 및 R'(118, 119)를 생성한다. 제어 신호(113)는 통상적으로, 음성인 음성 채널 내 신호의 개연성의 측정을 자동으로 유도할 것이다. 음성 신호인 신호의 개연성을 자동 측정하는 여러 방법이 사용될 수 있다. 일 실시예에 따라, 음성 개연성 프로세서(130)는 C 채널(101)의 정보로부터 음성 개연성 값 p(113)을 생성한다. 상기 메커니즘의 한 가지 예는, Robinson과 Vinton의 "Automated Speech/Other Discrimination for Loudness Monitoring"(Audio Engineering Society, Preprint number 6437 of Convention 118, May 2005)에 기술되어 있다. 대안적으로, 제어 신호(113)는 컨텐트 크리에이터에 의해 수동으로 형성되고, 최종 사용자에게 오디오 신호를 나란히 전송할 수 있다.
당업자는 여러 입력 채널로 배열이 확장될 수 있는 방법을 쉽게 인지할 것이다.
본 발명의 제 2 측면의 원리는 도 2에 도시되어 있다. 도 2를 보면, 음성 채널(101) 및 2개의 비-음성 채널(102, 103)로 구성된 멀티-채널 신호가 수신된다. 상기 채널 각각에서 신호의 전력은 전력 측정기(102, 202 및 203)의 뱅크에 의해 측정된다. 도 1에서 대응부분과 달리, 상기 전력 측정기는 주파수에 걸친 신호 전력의 분포를 측정하여, 단일 수보다는 전력 스펙트럼을 얻는다. 전력 스펙트럼의 스펙트럼 해상도는 명료도 예측 모델(205, 206, 아직 논의되지 않음)의 스펙트럼 해상도와 이상적으로 부합한다.
전력 스펙트럼은 비교 회로(204)로 주입된다. 상기 블록의 목적은 각 비-음성 채널에 적용되는 감쇠를 측정하는 것이며, 비-음성 채널 내 신호가 예측된 기준보다 낮은 음성 채널 내 신호의 명료도를 감소시키도록 한다. 상기 기능은 음성 신호(201) 및 비-음성 신호(202 및 203)의 전력 스펙트럼으로부터 음성 명료도를 예측하는 명료도 예측 회로(205 및 206)를 사용하여 얻어진다. 명료도 예측 회로(205 및 206)는 디자인 선택(choices) 및 균형(tradeoffs)에 따라, 적당한 명료도 예측 모델을 구현할 수 있다. 그 예로는, ANSI S3.5-1997에 명시된 음성 명료도 인덱스("음성 명료도 인덱스를 계산하는 방법") 및 Muesch 및 Buus의 음성 인식 감도 모델("통계적 결정 이론을 사용하여 음성 명료도를 예측함. I 모델 구조" 저널 Acoustical Society of America, 2001, Vol. 109, p.2896-2909)이 있다. 음성 채널 내 신호가 음성 외 다른 것인 경우, 명료도 예측 모델의 출력은 아무 의미가 없다는 것이 분명하다. 그렇지만, 이하에는 명료도 예측 모델의 출력은 예측된 음성 명료도로 언급될 것이다. 감각 실수는 신호의 개연성과 연관된 변수가 음성(113, 아직 논의되지 않음)인 비교 회로(204)로부터 게인 값 출력을 스케일함으로써 계속 처리하기 위해 간주될 것이다.
명료도 예측 모델은 비-음성 신호의 레벨을 낮추는 결과로서 증가되거나, 또는 불변하는 음성 명료도를 예측한다. 도 2의 프로세스 흐름에서, 비교 회로(207 및 208)는 예측된 명료도를 기준값과 비교한다. 비-음성 신호의 레벨이 낮아서, 예측된 명료도가 기준을 초과한다면, 0dB로 초기화되는 게인 변수는 회로(209 또는 210)로부터 회수되며, 비교 회로(204)의 출력으로서 회로(211 및 212)에 제공된다. 만약 기준이 충족되지 않으면, 게인 변수는 고정량까지 감소되며, 명료도 예측은 반복된다. 게인을 감소시키기에 적당한 단계 크기는 1dB이다. 상기 반복은 예측된 명료도가 기준값을 충족시키거나 또는 초과할 때까지 계속한다. 음성 채널 내 신호가 기준 명료도가 비-음성 채널 내 신호의 부재 하에서도 도달될 수 없도록 하는 것이 가능하다. 상기 상황의 예는 매우 낮은 레벨 또는 크게 제한된 대역폭의 음성 신호이다. 이러한 상황이 일어나면, 비-음성 채널에 적용된 게인의 추가 감소가 예측된 음성 명료도에 영향을 미치지 않고 기준이 결코 충족되지 않는 지점에 도달할 것이다. 상기 조건에서, (205, 206), (207, 208) 및 (209, 210)에 의해 형성된 루프는 무기한 계속되며, 추가 로직(도시되지 않음)이 적용되어 루프를 깬다. 상기 로직의 하나의 특히 간단한 예는 반복 수를 계산하고, 반복의 예측된 수가 초과되면 바로 루프를 나간다.
도 2의 프로세스 흐름을 계속하면, 제어 신호 p(113)가 수신되어 {곱셈기(114 및 115)에 의해} 게인과 곱해진다. 제어 신호(113)는 음성인 음성 채널 내 신호의 개연성의 측정을 자동으로 유도할 것이다. 음성 신호인 신호의 개연성을 자동으로 측정하는 방법은 그 자체로서 공지되어 있으며, 도 1의 문맥상에 기술되어 있다{음성 개연성 프로세서(130) 참조}. 그리고나서 스케일된 게인은 {증폭기(116 및 117)에 의해} 그들의 해당하는 비-음성 채널에 적용되어, 변형된 신호 R' 및 L'(118 및 119)를 생성한다.
본 발명의 제 3 측면의 원리는 도 3에 도시되어 있다. 도 3을 보면, 음성 채널(101) 및 2개의 비-음성 채널(102 및 103)로 구성된 멀티-채널 신호가 수신된다. 3개의 신호 각각은 {필터 뱅크(301, 302 및 303)에 의해} 그의 스펙트럼 성분으로 분할된다. 스펙트럼 분석은 시간-도메인 N-채널 필터 뱅크에 의해 수득될 수 있다. 일 실시예에 따라, 필터 뱅크는 주파수 범위를 1/3-옥타브 대역으로 분할하거나, 또는 사람의 안쪽 귀(inner ear)에서 일어나는 것으로 추정되는 필터링과 유사하다. 신호가 N 서브-신호로 구성되어 있는 사실은 진한 선을 사용하여 표시되어 있다. 도 3의 프로세스는 사이드-브랜치 프로세스로 인지될 수 있다. 신호 경로를 따르면, 비-음성 채널을 형성하는 N 서브-신호는 N 게인 값의 세트 중 하나의 멤버에 의해 {증폭기(116 및 117)에 의해} 각각 스케일된다. 상기 게인 값의 유도는 이후 설명될 것이다. 다음으로, 스케일된 서브-신호는 단일 오디오 신호로 재조합된다. 이는 {합 회로(313 및 314)에 의해} 간단한 합으로 수행될 수 있다. 선택적으로, 분석 필터 뱅크와 부합되는 합성 필터-뱅크가 사용될 수 있다. 상기 프로세스에 의해, 변형된 비-음성 신호 R' 및 L'(118 및 119)이 형성된다.
도 3의 프로세스의 사이드-브랜치 경로를 설명하면, 각 필터 뱅크 출력은 N 전력 견적기(304, 305 및 306)의 해당 뱅크에 사용 가능하다. N-차원 게인 벡터를 출력으로 갖는 최적화 회로(307 및 308)로 입력으로서 상기 수득된 전력 스펙트럼이 제공된다. 최적화는 명료도 예측 회로(309 및 310) 및 라우드니스 계산 회로(311 및 312)를 모두 사용하여, 음성 신호의 예측된 명료도의 예정된 레벨을 유지하면서 비-음성 채널의 라우드니스를 최대화하는 게인 벡터를 발견한다. 명료도를 예측하는데 적당한 모델은 도 2와 연관되어 설명되어 있다. 라우드니스 계산 회로(311 및 312)는 디자인 선택 및 균형에 따라 적당한 라우드니스 예측 모델을 구현할 수 있다. 적당한 모델의 예는, American National Standard ANSI S3.4-2007 "Procedure for the Computation of Loudness of Steady Sounds" 및 German standard DIN 45631 "Berechnung des Lautstaerkepegels und der Lautheit aus dem Gereauschspektrum"이다.
사용 가능한 계산 소스 및 부가된 제약에 따라, 최적화 회로(307, 308)의 형태 및 복잡도는 매우 다양할 수 있다. 일 실시예에 따라, N 자유 변수의 반복적 다차원 제약 최적화가 사용된다. 각 변수는 비-음성 채널의 주파수 대역 중 하나에 적용된 게인을 나타낸다. N-차원 검색 공간 내 가장 급격한 구배와 같은 표준 기술이 적용되어 최대를 발견한다. 다른 실시예에서, 계산적으로 적은 요구 접근법은 다른 스펙트럼 구배 또는 선반 필터의 세트와 같은, 작은 세트의 가능한 게인 대 주파수 함수의 멤버에 대하여, 게인-주파수 함수를 한정한다. 이러한 추가적인 제한에 의해, 최적화 문제는 1차원 최적화의 작은 수로 감소될 수 있다. 다른 실시예에서, 가능한 게인 함수의 매우 작은 세트에 대하여 소모적인 연구가 진행된다. 이러한 후자의 접근은 일정한 계산 로드 및 검색 속도를 목적으로 하는 실시간 용도에 특히 바람직하다.
당업자는 본 발명의 추가 실시예에 따라 최적화에 부가된 추가 제약을 쉽게 인지할 것이다. 한 예는 변형 전에 라우드니스보다 크지 않은, 변형된 비-음성 채널의 라우드니스를 제한한다. 다른 예는 재구성 필터 뱅크(313, 314)에서 경사진 임시 포텐셜을 제한하거나, 관찰 가능한 음색 변형의 가능성을 감소시키기 위해, 인접한 주파수 대역 사이의 게인 차이에 리미트를 부여하는 것이다. 목적하는 제한은 필터 뱅크의 기술적인 구현과 명료도 개선 및 음색 변형 사이의 선택된 균형에 따라 다르다. 보다 명확한 설명을 위해, 상기 제한점은 도 3에서 생략되어 있다.
도 3의 프로세스 흐름을 계속하면, 제어 신호 p(113)가 수신되고, {곱셈기(114 및 115)에 의해} 게인 함수와 곱해진다. 제어 신호(113)는 음성인 음성 채널 내 신호의 개연성의 자동 유도된 측정값일 것이다. 음성인 신호의 개연성을 자동 계산하는 적당한 방법은 도 1과 연관되어 설명되어 있다 {음성 개연성 프로세스(130) 참조}. 스케일된 게인 함수는 상술한 바와 같이, {증폭기(116 및 117)에 의해} 그들의 대응하는 비-음성 채널로 적용된다.
도 4a 및 4b는 도 1~3에 도시된 측면의 변형예를 설명하는 블럭도이다. 또한, 당업자는 도 1~3에 기술된 본 발명의 요소를 조합하는 여러 방법을 인지할 것이다.
도 4a는 도 1의 배열이 L, C 및 R의 1개 또는 그 이상의 주파수 서브-대역에 적용될 수도 있다는 것을 보여준다. 특히, 신호 L, C 및 R은 각각 필터 뱅크(441, 442 및 443)를 통해 통과하여, n 서브-대역의 3개의 세트를 생성한다: {L1, L2, ...,Ln}, {C1, C2, ...Cn} 및 {R1, R2,...,Rn}. 부합되는 서브-대역은 도 1에 도시된 회로(125)의 n 경우로 통과되며, 프로세스된 서브 신호는 {합 회로(451 및 452)에 의해} 재조합된다. 별개의 임계값 θn은 각 서브 대역에 대하여 선택될 수 있다. 해당하는 주파수 영역에서 실시되는 많은 음성 큐에 대하여 θn이 비례하는 세트가 좋은 선택이다. 주파수 스펙트럼의 극한에서 대역은 주된 음성 주파수에 대응하는 대역보다 낮은 임계값이다. 본 발명의 상기 구현은 계산 복잡도 및 성능 사이의 매우 양호한 균형을 제공한다.
도 4b는 다른 변형예를 나타낸다. 예를 들면, 계산 부담을 감소시키기 위해, 5개의 채널(C, L, R, ls 및 rs)을 갖는 전형적인 서라운드 사운드 신호는 도 3에 도시된 회로(325)에 따라 L 및 R 신호 및 ls 및 rs 신호를 처리하여 개선될 수 있으며, 이는 도 1에 도시된 회로(125)에 따라, L 신호 및 R 신호보다 덜 세다.
상기 설명에서, "음성(speech)"(또는 음성 오디오 또는 음성 채널 또는 음성 신호) 및 "비-음성(non-speech)"(또는 비-음성 오디오 또는 비-음성 채널 또는 비-음성 신호)이라는 용어가 사용된다. 당업자는 상기 용어가 서로 분화되기 위해 많이, 채널의 내용의 절대 설명을 위해 적게 사용됨을 인지할 것이다. 예를 들면, 영화의 레스토랑 장면에서, 음성 채널은 1개의 테이블에서의 대화를 우선적으로 포함할 수 있고, 비-음성 채널은 다른 테이블에서의 대화를 포함할 수 있다(즉, 비전문가가 용어를 사용하므로, "음성"을 모두 포함함). 본 발명의 특정 실시예가 감쇠에 관한 것은 다른 테이블에서의 대화이다.
실시예
본 발명은 하드웨어 또는 소프트웨어, 또는 이들의 조합(예를 들면, 프로그램가능한 로직 어레이)으로 구현될 수 있다. 다르게 설명하지 않는 한, 본 발명의 일부로서 포함되는 알고리즘은 특정 컴퓨터 또는 다른 장치와 고유하게 연관되어 있지 않다. 특히, 여러 일반적인 목적의 기계는 본 명세서의 교시에 따라 기록된 프로그램으로 사용될 수 있거나, 또는 필요로 하는 방법 단계를 수행하기 위해 보다 특수화된 장치(예를 들면, 집적 회로)를 제조하는데 더욱 편리할 수 있다. 따라서, 본 발명은 1개 이상의 프로세서, 1개 이상의 데이터 저장 시스템(휘발성 및 비휘발성 메모리 및/또는 저장 요소를 포함), 1개 이상의 입력 장치 또는 포트, 및 1개 이상의 출력 장치 또는 포트를 각각 포함하는 1개 이상의 프로그램 가능한 컴퓨터 시스템상에서 1개 이상의 컴퓨터 프로그램으로 구현될 수 있다. 프로그램 코드는 입력 데이터에 적용되어 본 명세서의 함수를 수행하여 출력 정보를 생성한다. 출력 정보는 알려진 방식으로 1개 이상의 출력 장치에 적용된다.
상기 각 프로그램은 목적하는 컴퓨터 언어(머신, 어셈블리, 또는 고수준 절차, 논리적, 또는 목적 지행된 프로그램 언어를 포함)로 구현되어, 컴퓨터 시스템과 통신할 수 있다. 특정 경우에서, 언어는 컴파일된 또는 해석된 언어일 수 있다.
상기 각 컴퓨터 프로그램은 저장 매체 또는 장치가 컴퓨터 시스템에 의해 판독되어 본 명세서의 절차를 수행할 때, 컴퓨터를 환경 설정하고 동작하기 위해, 일반적인 또는 특수 목적의 프로그램 가능한 컴퓨터에 의해 해독 가능한 저장 매체 또는 장치(예를 들면, 솔리드 상태 메모리 또는 매체, 또는 마그네틱 또는 광학 매체)로 저장되거나 또는 다운로드되는 것이 바람직하다. 본 발명의 시스템은 또한, 환경 설정된 저장 매체가 컴퓨터 시스템을 특정 및 예정된 방법으로 동작하게 하여 본 명세서에 기술된 기능을 수행하게 되는 경우, 컴퓨터-해독 가능한 저장 매체로 구현되고, 컴퓨터 프로그램에 의해 환경 설정될 수도 있다.
상기 설명은 본 발명의 측면이 구현되는 방법의 실시예와 함께 본 발명의 여러 실시예를 설명한다. 상기 실시예들 및 실시예는 실시예로만 간주되어서는 아니되고, 본 발명의 유동성 및 이점을 하기 특허청구범위에 의해 한정되는 것으로 설명하기 위해 제시된다. 본 상세한 설명 및 하기 특허청구범위에 기초하여, 다른 배열, 구체예, 실시예 및 균등물은 당업자에게 분명할 것이며, 본 발명의 사상과 범주를 벗어나지 않으면서 특허청구범위에 의해 한정되는 것으로 사용될 수 있다.

Claims (23)

  1. 멀티-채널 오디오 신호에서 음성 가청도(audibility)를 개선하는 방법에 있어서,
    상기 멀티-채널 오디오 신호의 제 1 특징과 제 2 특징을 비교하여 감쇠 요소를 생성하는 단계로서, 상기 제 1 특징은 음성 및 비-음성 오디오를 포함하는 상기 멀티-채널 오디오 신호의 제 1 채널에 해당하고, 상기 제 1 특징은 상기 제 1 채널의 신호 세기와 관련된 제 1 측정에 해당하며, 상기 제 2 특징은 상기 비-음성 오디오를 포함하는 상기 멀티-채널 오디오 신호의 제 2 채널에 해당하고, 상기 제 2 특징은 상기 제 2 채널의 신호 세기와 관련된 제 2 측정에 해당하며,
    상기 제 1 측정과 상기 제 2 측정 사이의 차이를 결정하는 단계와,
    상기 제 1 측정과 상기 제 2 측정 사이의 차이 및 임계값(threshold value)에 기초하여 상기 감쇠 요소(attenuation factor)를 계산하는 단계를
    포함하는, 상기 단계와,
    음성 개연성 값에 따라 감쇠 요소를 조정하여 조정된 감쇠 요소를 생성하는 단계와,
    상기 조정된 감쇠 요소를 사용하여 상기 제 2 채널을 감쇠시키는 단계를
    포함하는, 음성 가청도 개선 방법.
  2. 제 1항에 있어서, 상기 멀티-채널 오디오 신호를 처리하여, 상기 제 1 특징과 상기 제 2 특징을 생성하는 단계를 더 포함하는, 음성 가청도 개선 방법.
  3. 제 1항에 있어서, 상기 제 1 채널을 처리하여, 음성 개연성 값(speech likelihood value)을 생성하는 단계를 더 포함하는, 음성 가청도 개선 방법.
  4. 제 1항에 있어서, 상기 제 2 채널은 복수의 제 2 채널들 중 하나이고, 상기 제 2 특징은 복수의 제 2 특징들 중 하나이며, 상기 감쇠 요소는 복수의 감쇠 요소들 중 하나이며, 상기 조정된 감쇠 요소는 복수의 조정된 감쇠 요소들 중 하나이고,
    상기 제 1 특징과 복수의 제 2 특징들을 비교하여 복수의 감쇠 요소들을 생성하는 단계와,
    음성 개연성 값에 따라 복수의 감쇠 요소를 조정하여 복수의 조정된 감쇠 요소들을 생성하는 단계와,
    복수의 조정된 감쇠 요소들을 사용하여 복수의 제 2 채널을 감쇠시키는 단계를
    더 포함하는, 음성 가청도 개선 방법.
  5. 제 1항에 있어서,
    상기 멀티-채널 오디오 신호는 비-음성 오디오를 포함하는 제 3 채널을 포함하고,
    상기 제 1 특징과 제 3 특징을 비교하여 추가적인 감쇠 요소를 생성하는 단계로서, 상기 제 3 특징은 제 3 채널에 해당하는, 상기 단계와,
    상기 음성 개연성 값에 따라 상기 추가적인 감쇠 요소를 조정하여 조정된 추가적인 감쇠 요소를 생성하는 단계와,
    상기 조정된 감쇠 요소를 사용하여 상기 제 3 채널을 감쇠시키는 단계를
    포함하는, 음성 가청도 개선 방법.
  6. 제 1항에 있어서, 상기 제 1 측정은 상기 제 1 채널의 신호의 제 1 전력 레벨이고, 상기 제 2 측정은 상기 제 2 채널의 신호의 제 2 전력 레벨이며, 거리는 상기 제 1 전력 레벨과 상기 제 2 전력 레벨 사이의 차이인, 음성 가청도 개선 방법.
  7. 제 1항 내지 제 5항 중 어느 한 항에 있어서, 상기 제 1 측정은 상기 제 1 채널의 신호의 제 1 전력이고, 상기 제 2 측정은 상기 제 2 채널의 신호의 제 2 전력이며, 거리는 상기 제 1 전력과 상기 제 2 전력 사이의 비율인, 음성 가청도 개선 방법.
  8. 멀티-채널 오디오 신호에서 음성 가청도를 개선하기 위한 회로를 포함하는 장치에 있어서,
    멀티-채널 오디오 신호의 제 1 특징과 제 2 특징을 비교하여 감쇠 요소를 생성하도록 구성된 비교 회로로서, 상기 제 1 특징은 음성 및 비-음성 오디오를 포함하는 멀티-채널 오디오 신호의 제 1 채널에 해당하고, 상기 제 1 특징은 상기 제 1 채널의 신호 세기와 관련된 제 1 측정에 해당하며, 상기 제 2 특징은 비-음성 오디오를 포함하는 멀티-채널 오디오 신호의 제 2 채널에 해당하고, 상기 제 2 특징은 상기 제 2 채널의 신호 세기와 관련된 제 2 측정에 해당하며, 상기 비교 회로는,
    상기 제 1 측정과 상기 제 2 측정 사이의 차이를 결정하고,
    상기 제 1 측정과 상기 제 2 측정 사이의 차이 및 임계값에 기초하여 상기 감쇠 요소를 계산하도록
    구성된, 상기 비교 회로와,
    음성 개연성 값에 따라 감쇠 요소를 조정하여 조정된 감쇠 요소를 생성하도록 구성된 곱셈기와,
    조정된 감쇠 요소를 사용하여 제 2 채널을 감쇠시키도록 구성된 증폭기를
    포함하는, 장치.
  9. 제 8항에 있어서, 상기 제 1 특징은 제 1 전력 레벨에 해당하고, 상기 제 2 특징은 제 2 전력 레벨에 해당하며, 상기 비교 회로는,
    상기 제 2 전력 레벨로부터 상기 제 1 전력 레벨을 감산하여 전력 레벨 차이를 일으키도록 구성된 제 1 가산기와,
    상기 전력 레벨 차이와 상기 임계값을 더하여 마진(margin)을 생성하도록 구성된 제 2 가산기와,
    마진과 0 중 더 큰 것으로 감쇠 요소를 계산하도록 구성된 리미터 회로를
    포함하는, 장치.
  10. 제 8항에 있어서, 상기 제 1 특징은 제 1 전력 레벨에 해당하고, 상기 제 2 특징은 제 2 전력 레벨에 해당하며,
    상기 제 1 채널의 상기 제 1 전력 레벨을 계산하도록 구성된 제 1 전력 계산기와,
    상기 제 2 채널의 상기 제 2 전력 레벨을 계산하도록 구성된 제 2 전력 계산기를
    더 포함하는, 장치.
  11. 제 8항에 있어서, 상기 제 1 채널을 처리하여 음성 개연성 값을 생성하도록 구성된 음성 측정 프로세서를 더 포함하는, 장치.
  12. 멀티-채널 오디오 신호에서 음성 가청도를 개선하기 위한 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체에 있어서,
    프로세싱을 실행하기 위한 장치를 제어하는 상기 컴퓨터 프로그램은,
    멀티-채널 오디오 신호의 제 1 특징과 제 2 특징을 비교하여 감쇠 요소를 생성하는 단계로서, 상기 제 1 특징은 음성 및 비-음성 오디오를 포함하는 멀티-채널 오디오 신호의 제 1 채널에 해당하고, 상기 제 1 특징은 상기 제 1 채널의 신호 세기와 관련된 제 1 측정에 해당하며, 상기 제 2 특징은 비-음성 오디오를 포함하는 멀티-채널 오디오 신호의 제 2 채널에 해당하고, 상기 제 2 특징은 상기 제 2 채널의 신호 세기와 관련된 제 2 측정에 해당하며,
    상기 제 1 측정과 상기 제 2 측정 사이의 차이를 결정하는 단계와,
    상기 제 1 측정과 상기 제 2 측정 사이의 차이 및 임계값에 기초하여 상기 감쇠 요소를 계산하는 단계를
    포함하는, 상기 단계와,
    음성 개연성 값에 따른 감쇠 요소를 조정하여 조정된 감쇠 요소를 생성하는 단계와,
    조정된 감쇠 요소를 사용하여 상기 제 2 채널을 감쇠시키는 단계를
    포함하여 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능한 기록 매체.
  13. 멀티-채널 오디오 신호에서 음성 가청도를 개선하기 위한 장치에 있어서,
    멀티-채널 오디오 신호의 제 1 특징과 제 2 특징을 비교하여 감쇠 요소를 생성하는 수단으로서, 상기 제 1 특징은 음성 및 비-음성 오디오를 포함하는 멀티-채널 오디오 신호의 제 1 채널에 해당하고, 상기 제 1 특징은 상기 제 1 채널의 신호 세기와 관련된 제 1 측정에 해당하며, 상기 제 2 특징은 비-음성 오디오를 포함하는 멀티-채널 오디오 신호의 제 2 채널에 해당하고, 상기 제 2 특징은 상기 제 2 채널의 신호 세기와 관련된 제 2 측정에 해당하며,
    상기 제 1 측정과 상기 제 2 측정 사이의 차이를 결정하는 수단과,
    상기 제 1 측정과 상기 제 2 측정 사이의 차이 및 임계값에 기초하여 상기 감쇠 요소를 계산하는 수단을
    포함하는, 상기 수단과,
    음성 개연성 값에 따라 감쇠 요소를 조정하여 조정된 감쇠 요소를 생성하는 수단과,
    조정된 감쇠 요소를 사용하여 상기 제 2 채널을 감쇠시키는 수단을
    포함하는, 장치.
  14. 제 13항에 있어서, 상기 제 1 특징은 제 1 전력 레벨에 해당하고, 상기 제 2 특징은 제 2 전력 레벨에 해당하며, 비교 수단은,
    상기 제 2 전력 레벨로부터 상기 제 1 전력 레벨을 추출하여 전력 레벨 차이를 생성하는 수단을
    포함하는, 장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
KR1020107025827A 2008-04-18 2009-04-17 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치 Active KR101227876B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US4627108P 2008-04-18 2008-04-18
US61/046,271 2008-04-18
PCT/US2009/040900 WO2010011377A2 (en) 2008-04-18 2009-04-17 Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020117007859A Division KR101238731B1 (ko) 2008-04-18 2009-04-17 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치

Publications (2)

Publication Number Publication Date
KR20110015558A KR20110015558A (ko) 2011-02-16
KR101227876B1 true KR101227876B1 (ko) 2013-01-31

Family

ID=41509059

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020117007859A Active KR101238731B1 (ko) 2008-04-18 2009-04-17 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치
KR1020107025827A Active KR101227876B1 (ko) 2008-04-18 2009-04-17 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020117007859A Active KR101238731B1 (ko) 2008-04-18 2009-04-17 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치

Country Status (15)

Country Link
US (1) US8577676B2 (ko)
EP (2) EP2373067B1 (ko)
JP (2) JP5341983B2 (ko)
KR (2) KR101238731B1 (ko)
CN (2) CN102137326B (ko)
AU (2) AU2009274456B2 (ko)
BR (2) BRPI0911456B1 (ko)
CA (2) CA2720636C (ko)
IL (2) IL208436A (ko)
MX (1) MX2010011305A (ko)
MY (2) MY159890A (ko)
RU (2) RU2467406C2 (ko)
SG (1) SG189747A1 (ko)
UA (2) UA101974C2 (ko)
WO (1) WO2010011377A2 (ko)

Families Citing this family (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11431312B2 (en) 2004-08-10 2022-08-30 Bongiovi Acoustics Llc System and method for digital signal processing
US8284955B2 (en) 2006-02-07 2012-10-09 Bongiovi Acoustics Llc System and method for digital signal processing
US10848118B2 (en) 2004-08-10 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US10158337B2 (en) 2004-08-10 2018-12-18 Bongiovi Acoustics Llc System and method for digital signal processing
US10848867B2 (en) 2006-02-07 2020-11-24 Bongiovi Acoustics Llc System and method for digital signal processing
US10701505B2 (en) 2006-02-07 2020-06-30 Bongiovi Acoustics Llc. System, method, and apparatus for generating and digitally processing a head related audio transfer function
US10069471B2 (en) * 2006-02-07 2018-09-04 Bongiovi Acoustics Llc System and method for digital signal processing
US11202161B2 (en) 2006-02-07 2021-12-14 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function
US8315398B2 (en) 2007-12-21 2012-11-20 Dts Llc System for adjusting perceived loudness of audio signals
AU2009274456B2 (en) * 2008-04-18 2011-08-25 Dolby Laboratories Licensing Corporation Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience
US8538042B2 (en) * 2009-08-11 2013-09-17 Dts Llc System for increasing perceived loudness of speakers
US8774417B1 (en) * 2009-10-05 2014-07-08 Xfrm Incorporated Surround audio compatibility assessment
US9324337B2 (en) * 2009-11-17 2016-04-26 Dolby Laboratories Licensing Corporation Method and system for dialog enhancement
TWI459828B (zh) * 2010-03-08 2014-11-01 Dolby Lab Licensing Corp 在多頻道音訊中決定語音相關頻道的音量降低比例的方法及系統
KR101538623B1 (ko) * 2010-09-22 2015-07-22 돌비 레버러토리즈 라이쎈싱 코오포레이션 두 개의 입력 오디오 신호 믹싱 방법, 및 이를 실행하기 위한 디코더 및 컴퓨터 판독가능한 매체, 및 입력 오디오 신호 믹싱 디바이스
JP2013114242A (ja) * 2011-12-01 2013-06-10 Yamaha Corp 音響処理装置
US9312829B2 (en) 2012-04-12 2016-04-12 Dts Llc System for adjusting loudness of audio signals in real time
US9135920B2 (en) 2012-11-26 2015-09-15 Harman International Industries, Incorporated System for perceived enhancement and restoration of compressed audio signals
US9363603B1 (en) * 2013-02-26 2016-06-07 Xfrm Incorporated Surround audio dialog balance assessment
JP5969727B2 (ja) 2013-04-29 2016-08-17 ドルビー ラボラトリーズ ライセンシング コーポレイション 動的閾値を用いた周波数帯域圧縮
US9883318B2 (en) 2013-06-12 2018-01-30 Bongiovi Acoustics Llc System and method for stereo field enhancement in two-channel audio systems
ES2700246T3 (es) 2013-08-28 2019-02-14 Dolby Laboratories Licensing Corp Mejora paramétrica de la voz
US9906858B2 (en) 2013-10-22 2018-02-27 Bongiovi Acoustics Llc System and method for digital signal processing
US10639000B2 (en) 2014-04-16 2020-05-05 Bongiovi Acoustics Llc Device for wide-band auscultation
US10820883B2 (en) 2014-04-16 2020-11-03 Bongiovi Acoustics Llc Noise reduction assembly for auscultation of a body
KR101559364B1 (ko) * 2014-04-17 2015-10-12 한국과학기술원 페이스 투 페이스 인터랙션 모니터링을 수행하는 모바일 장치, 이를 이용하는 인터랙션 모니터링 방법, 이를 포함하는 인터랙션 모니터링 시스템 및 이에 의해 수행되는 인터랙션 모니터링 모바일 애플리케이션
CN105336341A (zh) * 2014-05-26 2016-02-17 杜比实验室特许公司 增强音频信号中的语音内容的可理解性
US10362422B2 (en) 2014-08-01 2019-07-23 Steven Jay Borne Audio device
WO2016038876A1 (ja) * 2014-09-08 2016-03-17 日本放送協会 符号化装置、復号化装置及び音声信号処理装置
KR20220066996A (ko) * 2014-10-01 2022-05-24 돌비 인터네셔널 에이비 오디오 인코더 및 디코더
TWI575510B (zh) * 2014-10-02 2017-03-21 杜比國際公司 用於增強對話之解碼方法、電腦程式產品及解碼器
US9792952B1 (en) * 2014-10-31 2017-10-17 Kill the Cann, LLC Automated television program editing
CA2959090C (en) 2014-12-12 2020-02-11 Huawei Technologies Co., Ltd. A signal processing apparatus for enhancing a voice component within a multi-channel audio signal
KR102686742B1 (ko) 2015-10-28 2024-07-19 디티에스, 인코포레이티드 객체 기반 오디오 신호 균형화
US9621994B1 (en) 2015-11-16 2017-04-11 Bongiovi Acoustics Llc Surface acoustic transducer
EP3203472A1 (en) * 2016-02-08 2017-08-09 Oticon A/s A monaural speech intelligibility predictor unit
RU2620569C1 (ru) * 2016-05-17 2017-05-26 Николай Александрович Иванов Способ измерения разборчивости речи
CN109416914B (zh) * 2016-06-24 2023-09-26 三星电子株式会社 适于噪声环境的信号处理方法和装置及使用其的终端装置
WO2019200119A1 (en) 2018-04-11 2019-10-17 Bongiovi Acoustics Llc Audio enhanced hearing protection system
WO2020028833A1 (en) 2018-08-02 2020-02-06 Bongiovi Acoustics Llc System, method, and apparatus for generating and digitally processing a head related audio transfer function
US11335357B2 (en) * 2018-08-14 2022-05-17 Bose Corporation Playback enhancement in audio systems
MX2021012309A (es) 2019-04-15 2021-11-12 Dolby Int Ab Mejora de dialogo en codec de audio.
EP4158627A1 (en) * 2020-05-29 2023-04-05 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Method and apparatus for processing an initial audio signal
US20220270626A1 (en) * 2021-02-22 2022-08-25 Tencent America LLC Method and apparatus in audio processing
CN115881146A (zh) * 2021-08-05 2023-03-31 哈曼国际工业有限公司 用于动态语音增强的方法及系统
US20230080683A1 (en) * 2021-09-08 2023-03-16 Minus Works LLC Readily biodegradable refrigerant gel for cold packs

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0517233A1 (en) * 1991-06-06 1992-12-09 Matsushita Electric Industrial Co., Ltd. Music/voice discriminating apparatus
JPH0764598A (ja) * 1993-07-26 1995-03-10 Philips Electron Nv 音声信号弁別装置及びオーディオ装置
WO2003022003A2 (en) * 2001-09-06 2003-03-13 Koninklijke Philips Electronics N.V. Audio reproducing device

Family Cites Families (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208860A (en) * 1988-09-02 1993-05-04 Qsound Ltd. Sound imaging method and apparatus
US5046097A (en) * 1988-09-02 1991-09-03 Qsound Ltd. Sound imaging process
US5105462A (en) * 1989-08-28 1992-04-14 Qsound Ltd. Sound imaging method and apparatus
US5212733A (en) * 1990-02-28 1993-05-18 Voyager Sound, Inc. Sound mixing device
JP2961952B2 (ja) * 1991-06-06 1999-10-12 松下電器産業株式会社 音楽音声判別装置
JP2737491B2 (ja) * 1991-12-04 1998-04-08 松下電器産業株式会社 音楽音声処理装置
US5623577A (en) * 1993-07-16 1997-04-22 Dolby Laboratories Licensing Corporation Computationally efficient adaptive bit allocation for encoding method and apparatus with allowance for decoder spectral distortions
US5485522A (en) * 1993-09-29 1996-01-16 Ericsson Ge Mobile Communications, Inc. System for adaptively reducing noise in speech signals
US5727124A (en) * 1994-06-21 1998-03-10 Lucent Technologies, Inc. Method of and apparatus for signal recognition that compensates for mismatching
JP3560087B2 (ja) * 1995-09-13 2004-09-02 株式会社デノン 音信号処理装置およびサラウンド再生方法
PL185513B1 (pl) * 1995-09-14 2003-05-30 Ericsson Inc Sposób i urządzenie do selektywnej zmiany ramki sygnału cyfrowego ukształtowanego z wielu kolejnych ramek
US5956674A (en) * 1995-12-01 1999-09-21 Digital Theater Systems, Inc. Multi-channel predictive subband audio coder using psychoacoustic adaptive bit allocation in frequency, time and over the multiple channels
US6697491B1 (en) * 1996-07-19 2004-02-24 Harman International Industries, Incorporated 5-2-5 matrix encoder and decoder system
CN1214690C (zh) 1997-09-05 2005-08-10 雷克西康公司 5－2－5矩阵编码器和解码器系统
US6311155B1 (en) * 2000-02-04 2001-10-30 Hearing Enhancement Company Llc Use of voice-to-remaining audio (VRA) in consumer applications
US7260231B1 (en) * 1999-05-26 2007-08-21 Donald Scott Wedge Multi-channel audio panel
US6442278B1 (en) 1999-06-15 2002-08-27 Hearing Enhancement Company, Llc Voice-to-remaining audio (VRA) interactive center channel downmix
US6675125B2 (en) * 1999-11-29 2004-01-06 Syfx Statistics generator system and method
US7277767B2 (en) * 1999-12-10 2007-10-02 Srs Labs, Inc. System and method for enhanced streaming audio
JP2001245237A (ja) * 2000-02-28 2001-09-07 Victor Co Of Japan Ltd 放送受信装置
US7266501B2 (en) 2000-03-02 2007-09-04 Akiba Electronics Institute Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US6351733B1 (en) 2000-03-02 2002-02-26 Hearing Enhancement Company, Llc Method and apparatus for accommodating primary content audio and secondary content remaining audio capability in the digital audio production process
US7076071B2 (en) * 2000-06-12 2006-07-11 Robert A. Katz Process for enhancing the existing ambience, imaging, depth, clarity and spaciousness of sound recordings
US6862567B1 (en) * 2000-08-30 2005-03-01 Mindspeed Technologies, Inc. Noise suppression in the frequency domain by adjusting gain according to voicing parameters
EP1191814B2 (en) * 2000-09-25 2015-07-29 Widex A/S A multiband hearing aid with multiband adaptive filters for acoustic feedback suppression.
KR100870870B1 (ko) * 2001-04-13 2008-11-27 돌비 레버러토리즈 라이쎈싱 코오포레이션 오디오 신호의 고품질 타임 스케일링 및 피치 스케일링
JP2002335490A (ja) * 2001-05-09 2002-11-22 Alpine Electronics Inc Ｄｖｄ再生装置
CA2354755A1 (en) * 2001-08-07 2003-02-07 Dspfactory Ltd. Sound intelligibilty enhancement using a psychoacoustic model and an oversampled filterbank
JP2003084790A (ja) 2001-09-17 2003-03-19 Matsushita Electric Ind Co Ltd 台詞成分強調装置
TW569551B (en) 2001-09-25 2004-01-01 Roger Wallace Dressler Method and apparatus for multichannel logic matrix decoding
GR1004186B (el) * 2002-05-21 2003-03-12 Διαχυτης ευρεως φασματος ηχου με ελεγχομενη απορροφηση χαμηλων συχνοτητων και η μεθοδος εγκαταστασης του
RU2206960C1 (ru) * 2002-06-24 2003-06-20 Общество с ограниченной ответственностью "Центр речевых технологий" Способ подавления шума в информационном сигнале и устройство для его осуществления
US7308403B2 (en) * 2002-07-01 2007-12-11 Lucent Technologies Inc. Compensation for utterance dependent articulation for speech quality assessment
US7146315B2 (en) * 2002-08-30 2006-12-05 Siemens Corporate Research, Inc. Multichannel voice detection in adverse environments
US7251337B2 (en) * 2003-04-24 2007-07-31 Dolby Laboratories Licensing Corporation Volume control in movie theaters
US7551745B2 (en) * 2003-04-24 2009-06-23 Dolby Laboratories Licensing Corporation Volume and compression control in movie theaters
AU2004248544B2 (en) * 2003-05-28 2010-02-18 Dolby Laboratories Licensing Corporation Method, apparatus and computer program for calculating and adjusting the perceived loudness of an audio signal
US7680289B2 (en) * 2003-11-04 2010-03-16 Texas Instruments Incorporated Binaural sound localization using a formant-type cascade of resonators and anti-resonators
JP4013906B2 (ja) * 2004-02-16 2007-11-28 ヤマハ株式会社 音量制御装置
ES2294506T3 (es) * 2004-05-14 2008-04-01 Loquendo S.P.A. Reduccion de ruido para el reconocimiento automatico del habla.
JP2006072130A (ja) * 2004-09-03 2006-03-16 Canon Inc 情報処理装置及び情報処理方法
US8199933B2 (en) * 2004-10-26 2012-06-12 Dolby Laboratories Licensing Corporation Calculating and adjusting the perceived loudness and/or the perceived spectral balance of an audio signal
PL1866911T3 (pl) * 2005-03-30 2010-12-31 Koninl Philips Electronics Nv Skalowalne, wielokanałowe kodowanie dźwięku
US7567898B2 (en) 2005-07-26 2009-07-28 Broadcom Corporation Regulation of volume of voice in conjunction with background sound
US7912232B2 (en) * 2005-09-30 2011-03-22 Aaron Master Method and apparatus for removing or isolating voice or instruments on stereo recordings
JP2007142856A (ja) * 2005-11-18 2007-06-07 Sharp Corp テレビジョン受信装置
JP2007158873A (ja) * 2005-12-07 2007-06-21 Funai Electric Co Ltd 音声補正装置
JP2007208755A (ja) * 2006-02-03 2007-08-16 Oki Electric Ind Co Ltd ３次元音声信号出力方法及びその装置並びに３次元音声信号出力プログラム
RU2426180C2 (ru) 2006-04-04 2011-08-10 Долби Лэборетериз Лайсенсинг Корпорейшн Расчет и регулировка воспринимаемой громкости и/или воспринимаемого спектрального баланса звукового сигнала
CN101432965B (zh) * 2006-04-27 2012-07-04 杜比实验室特许公司 使用基于特性响度的听觉事件检测的音频增益控制
JP2008032834A (ja) * 2006-07-26 2008-02-14 Toshiba Corp 音声翻訳装置及びその方法
KR101061132B1 (ko) * 2006-09-14 2011-08-31 엘지전자 주식회사 다이알로그 증폭 기술
CN101573866B (zh) * 2007-01-03 2012-07-04 杜比实验室特许公司 响度补偿音量控制方法和装置
WO2008106036A2 (en) * 2007-02-26 2008-09-04 Dolby Laboratories Licensing Corporation Speech enhancement in entertainment audio
AU2009274456B2 (en) * 2008-04-18 2011-08-25 Dolby Laboratories Licensing Corporation Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience
EP2337020A1 (en) * 2009-12-18 2011-06-22 Nxp B.V. A device for and a method of processing an acoustic signal

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0517233A1 (en) * 1991-06-06 1992-12-09 Matsushita Electric Industrial Co., Ltd. Music/voice discriminating apparatus
JPH0764598A (ja) * 1993-07-26 1995-03-10 Philips Electron Nv 音声信号弁別装置及びオーディオ装置
WO2003022003A2 (en) * 2001-09-06 2003-03-13 Koninklijke Philips Electronics N.V. Audio reproducing device

Also Published As

Publication number Publication date
AU2010241387B2 (en) 2015-08-20
AU2010241387A1 (en) 2010-12-02
MY179314A (en) 2020-11-04
BRPI0923669A2 (pt) 2013-07-30
BRPI0923669B1 (pt) 2021-05-11
CN102137326A (zh) 2011-07-27
SG189747A1 (en) 2013-05-31
CA2745842C (en) 2014-09-23
BRPI0911456A2 (pt) 2013-05-07
KR20110052735A (ko) 2011-05-18
KR20110015558A (ko) 2011-02-16
EP2279509B1 (en) 2012-12-19
JP2011518520A (ja) 2011-06-23
UA104424C2 (uk) 2014-02-10
BRPI0911456B1 (pt) 2021-04-27
RU2010146924A (ru) 2012-06-10
IL208436A0 (en) 2010-12-30
CA2720636A1 (en) 2010-01-28
IL208436A (en) 2014-07-31
CA2720636C (en) 2014-02-18
HK1161795A1 (en) 2012-08-03
MX2010011305A (es) 2010-11-12
IL209095A0 (en) 2011-01-31
UA101974C2 (ru) 2013-05-27
RU2541183C2 (ru) 2015-02-10
CA2745842A1 (en) 2010-01-28
RU2467406C2 (ru) 2012-11-20
JP2011172235A (ja) 2011-09-01
AU2009274456B2 (en) 2011-08-25
CN102007535A (zh) 2011-04-06
WO2010011377A3 (en) 2010-03-25
JP5259759B2 (ja) 2013-08-07
US8577676B2 (en) 2013-11-05
MY159890A (en) 2017-02-15
CN102137326B (zh) 2014-03-26
EP2373067A1 (en) 2011-10-05
JP5341983B2 (ja) 2013-11-13
EP2373067B1 (en) 2013-04-17
WO2010011377A2 (en) 2010-01-28
RU2010150367A (ru) 2012-06-20
EP2279509A2 (en) 2011-02-02
CN102007535B (zh) 2013-01-16
AU2009274456A1 (en) 2010-01-28
IL209095A (en) 2014-07-31
US20110054887A1 (en) 2011-03-03
KR101238731B1 (ko) 2013-03-06
HK1153304A1 (en) 2012-03-23

Similar Documents

Publication Publication Date Title
KR101227876B1 (ko) 서라운드 경험에 최소한의 영향을 미치는 멀티-채널 오디오에서 음성 가청도를 유지하는 방법과 장치
US9881635B2 (en) Method and system for scaling ducking of speech-relevant channels in multi-channel audio
US20130163781A1 (en) Breathing noise suppression for audio signals
GB2585086A (en) Pre-processing for automatic speech recognition
HK1161795B (en) Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience
HK1153304B (en) Method and apparatus for maintaining speech audibility in multi-channel audio with minimal impact on surround experience
HK1175881B (en) Method and system for scaling ducking of speech-relevant channels in multi-channel audio
HK1175881A (en) Method and system for scaling ducking of speech-relevant channels in multi-channel audio

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20101118

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A107 Divisional application of patent
A201 Request for examination
PA0104 Divisional application for international application

Comment text: Divisional Application for International Patent

Patent event code: PA01041R01D

Patent event date: 20110405

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20110405

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20120418

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20121023

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130124

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130125

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160111

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160111

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170116

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170116

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20180109

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20180109

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20190110

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190110

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20200102

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210108

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20211221

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20231227

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20241224

Start annual number: 13

End annual number: 13