[go: up one dir, main page]

CN101536609A - 响应音频信号控制光 - Google Patents

响应音频信号控制光 Download PDF

Info

Publication number
CN101536609A
CN101536609A CNA2007800406121A CN200780040612A CN101536609A CN 101536609 A CN101536609 A CN 101536609A CN A2007800406121 A CNA2007800406121 A CN A2007800406121A CN 200780040612 A CN200780040612 A CN 200780040612A CN 101536609 A CN101536609 A CN 101536609A
Authority
CN
China
Prior art keywords
audio signal
light
parameter
photocontrol
photocontrol parameter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2007800406121A
Other languages
English (en)
Inventor
M·F·麦克金尼
J·斯科夫罗尼克
D·塞库洛夫斯基
B·卡特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TP Vision Holding BV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN101536609A publication Critical patent/CN101536609A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/155—Coordinated control of two or more light sources
    • H—ELECTRICITY
    • H05—ELECTRIC TECHNIQUES NOT OTHERWISE PROVIDED FOR
    • H05B—ELECTRIC HEATING; ELECTRIC LIGHT SOURCES NOT OTHERWISE PROVIDED FOR; CIRCUIT ARRANGEMENTS FOR ELECTRIC LIGHT SOURCES, IN GENERAL
    • H05B47/00—Circuit arrangements for operating light sources in general, i.e. where the type of light source is not relevant
    • H05B47/10—Controlling the light source
    • H05B47/105—Controlling the light source in response to determined parameters
    • H05B47/115—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings
    • H05B47/12—Controlling the light source in response to determined parameters by determining the presence or movement of objects or living beings by detecting audible sound
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02B—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO BUILDINGS, e.g. HOUSING, HOUSE APPLIANCES OR RELATED END-USER APPLICATIONS
    • Y02B20/00—Energy efficient lighting technologies, e.g. halogen lamps or gas discharge lamps
    • Y02B20/40—Control techniques providing energy savings, e.g. smart controller or presence detection

Landscapes

  • Stereophonic System (AREA)

Abstract

生成用于根据音频信号(A)控制例如环境光的光(20)的光控制参数的方法、设备和系统。分析该音频信号(A)，以便提取音频信号(A)的语义内容的时间演变。然后根据音频信号(A)的语义内容的时间演变在线地或者离线地生成光控制参数。这实现了生成感知上与音频信号(例如音乐)一致的光。在一个优选实施例中，提取音频信号(A)的空间属性，例如针对其中光源靠近每一个扬声器而定位的立体声系统或环绕声系统，根据音频信号的空间属性生成用于控制空间定位的光源的单独光控制参数。这样的实施例实现了光和音频之间的空间一致性。在另一个优选实施例中，确定了音频信号(A)序列的在语义上不同的时间区段，例如一段音乐的区段，其中生成光控制参数以反映音频信号(A)的这些区段。这样的实施例实现了光的时间变化遵循例如一段音乐的感知的变化。所述方法应用在例如家庭娱乐系统、剧场、自动电唱机、酒吧、餐厅、电影院和迪斯科舞厅中。

Description

响应音频信号控制光
技术领域
本发明涉及信号处理、特别是音频信号处理的领域。更具体地，本发明涉及用于处理音频信号的方法、信号处理器和设备，处理音频信号的目的在于提取用于响应所述音频信号控制光源(例如环境照明)的参数。
背景技术
为了反映音频信号的性质而控制光(例如环境光)是已知的，音频信号的性质例如音乐的性质，目标是产生一种与光和音乐相匹配的音频-视觉感知。这例如在音乐会、餐厅、酒吧和迪斯科舞厅里实现。
在音乐会上，常常精心地策划复杂的光的顺序，以便完美地匹配音乐内容，因而需要手工操作技能和策划来获得这样的结果。相反，在迪斯科舞厅或酒吧里表现的光常常通过检测到的音乐信号的信号参数来自动地控制。这样的光控制可以通过检测音频信号的总体水平并相应地调节光强度来完成，因而产生光随着音乐节拍而闪烁的总体体验。另一个实例是检测音频信号在三个频带中的水平，这三个频带是低音、中音、高音，每一个指定一种光颜色，光颜色的强度由各个检测的水平来控制。
所述自动光控制方法容易实施，例如采用模拟电子电路，也可以响应音频信号在线地控制光，而不需要可用的操作人员。然而，这样的低水平方法不提供音乐内容和光之间的完全一致，尤其在大量的各种各样的音频信号(例如经典音乐对舞曲或演说)的情况下，更是如此。
发明内容
因此，本发明的目的是提供能够自动地控制光(例如环境光)的方法和设备，于是光的变化在感知上对应于音频信号的变化。
按照本发明的第一方面，这个目的和若干其他目的通过提供一种用于生成用于响应音频信号控制光(例如环境光)的光控制参数的方法来实现。该方法包括：
-分析该音频信号，以便提取音频信号的语义内容的时间演变，
-根据音频信号的语义内容的时间演变生成光控制参数。
语义内容理解为基于低水平特征的组合的特征，并对所述低水平特征进行推理，所述低水平特征是从音频信号的表现中直接提取的，例如频率、振幅和时域分析。另外，如果可得到的话，可以应用前后关系信息来进一步帮助提取音频信号的语义内容。
光控制参数理解为例如软件参数或电信号的任何信息，该信息可以用于相对于不同属性(例如亮度、饱和度、色调、它们的空间分布和时间动态)来控制光源或光源组。
这个创造性方法的一个优点在于，它变得可以控制光源来以下面方式提供与音频信号的表现一致的光效应时间：在光效果和音频信号(例如一段音乐)内容之间存在感知的一致。尤其获得：通过光强调了或正确反映了音乐中的变化，并且该方法非常适合于对于大量的各种各样的音频信号(例如不同类型的音乐)来自动地控制光，同时保持音乐和光之间良好的对应。
本方法可以包括与根据光控制参数控制环境光同时播放音频信号的步骤。
在一组实施例中，本方法包括提取音频信号的空间属性并根据所述音频信号的空间属性生成用于控制空间定位的光源的单独的光控制参数。利用这样的实施方式，可以实现音频信号和光之间进一步的对应，因为考虑了在感知上重要的参数，例如在家庭hi-fi立体声或环绕声系统中再现的听觉意象可以通过对应的光来强调。
优选地，定位许多空间分开的单独可控光源，以便至少覆盖由音频信号再现产生的听觉意象。特别地，优选的是，在音频信号中提取对象(例如乐器)的空间属性，并根据对象的空间属性生成单独的光控制参数。这使得可以在音频信号中以特殊的光效果空间地反映对象(例如乐器)，所述光效果对应于感知的听觉意象中的空间位置，或者换句话说，光的对象特定的映射。特别地，所述音频信号可以包括或代表环绕声音信号，环绕声音信号代表三个或更多个通道，其中针对每一个环绕声音通道生成单独的光控制参数。因而，例如本方法适合于与家庭系统中或者影院中等的音频系统一起使用。音频信号可以包括或者代表至少两个单独的通道，例如立体声、杜比环绕、5.1、6.1、6.2音频系统。
在另一组实施例中，本方法包括确定音频信号序列的在语义上不同的时间区段(section)，其中生成光控制参数来反映音频信号的这些区段。特别地，音频信号的区段的确定包括提取与选自由区段边界、拍子、动态变化、音乐键组成的组的至少一个属性有关的统计数据。光控制参数可以反映每一个区段中音频信号(A)的特征属性。
光控制参数可以包括用于控制选自由亮度、饱和度、色调、其空间分布和时间动态组成的组的至少一个光属性的信息。
可以与给出音频信号并根据光控制参数控制光源同时，即在线地，进行音频信号的分析以及光控制参数的生成。可替换地，一种离线的解决方案也是优选的，即根据音频信号序列(例如一段音乐)生成光控制参数，存储光控制参数，并随后与根据光控制参数控制光源同时给出音频信号的序列。
原则上本发明可以对诸如压缩的MPEG类型音频信号之类的任何格式的音频信号(即模拟的或数字的)起作用。然而，优选地在数字域中进行分析，因而优选地在进行分析步骤之前将模拟音频信号转换为数字表示。
应当理解，所述第一方面的子方面或者上述实施例的两个或更多个可以以任何方式结合。
按照第二方面，本发明提供一种设置成生成用于响应音频信号控制光(例如环境光)的光控制参数的信号处理器，该信号处理器包括：
-设置成提取音频信号的语义内容的时间演变的音频分析器，以及
-设置成根据音频信号的语义内容的时间演变生成光控制参数的光参数控制生成器。
信号处理器可以以各种方式实施，例如集成到单个芯片中，分析器和光参数控制生成器被分开到设备的不同芯片中。另外，信号处理器可以是例如具有适于进行音频分析和光参数生成的软件的个人计算机中的通用信号处理器或者专用信号处理器。
应当理解，针对第一方面提及的相同优点和相同实施例也适用于第二方面。
按照第三方面，本发明提供包括根据第二方面的信号处理器的设备。可以具有第二方面的集成的信号处理器的设备的非穷举列表是：1)诸如音频放大器、CD播放器、便携式音频设备或音频控制中心之类的音频设备，2)诸如电视机、DVD播放器或机顶盒之类的视觉设备，或者3)诸如硬盘记录器或媒体中心之类的组合视听设备。
应当理解，针对第一方面提及的相同优点和相同实施例也适用于第三方面。
按照第四方面，本发明提供了一种设置成根据音频信号生成光(例如环境光)的系统，该系统包括：
-设置成提取音频信号的语义内容的时间演变的音频分析器，
-设置成根据音频信号的语义内容的时间演变生成光控制参数的光参数控制生成器，
-至少一个用于给出音频信号的扬声器，
-至少一个用于根据光控制参数生成光的光源。
在本系统的实施例中，音频分析器和光控制生成器设置成提取音频信号的空间属性并生成用于根据音频信号的空间属性来控制多个空间上分开的光源的单独的光控制参数。特别地，本系统可以包括具有三个或更多个空间上分开的扬声器的环绕声系统，因此，许多单独可控的光源优选地被空间地定位或者被分散，使得由环绕声系统覆盖的听觉意象被充分地覆盖，以致能够产生在产生的环绕声中以对应的空间光效果空间地跟随对象的印象。
根据第四方面的系统可以应用于各种不同的应用中，非穷举列表是：家庭娱乐系统、自动电唱机、电影院、剧场、酒吧、餐厅、音乐会、旅馆房间、旅馆休息室和迪斯科舞厅。光源可以是本领域中已知的发光二极管(LED)或LED组、辉光灯等。
本系统甚至可以应用于便携式音频装置，例如“便携式立体声系统”，其中光源被空间地布置在箱体外壳扬声器的末端上，以便随着音频信号的空间属性提供空间分布的光效果。特别地，在使用光控制参数根据音频信号的空间方面控制光源的实施例中，便携式音频设备可以具有朝着其箱体末端空间定位的LED组，以便随着其扬声器再现的音频信号的空间属性来空间地调整光。可替换地，或者可附加地，这样的设备可以包括位于箱体之中或箱体之上的、朝向不同方向的聚光灯，以便产生感知上增强了由扬声器产生的音频信号的空间印象的环境照明效果。
应当理解，针对第一方面提及的相同优点和相同实施例也适用于第四方面。
按照第五方面，本发明提供适于执行根据第一方面的方法的计算机可执行程序代码。如所提及的，这样的程序原则上可以在专用信号处理器或通用的计算硬件上执行。
应当理解，针对第一方面提及的相同优点和相同实施例也适用于第五方面。
按照第六方面，本发明提供一种包括根据第五方面的计算机可执行程序代码的计算机可读存储介质。存储媒介的非穷举列表是：存储棒、存储卡，它可以是基于盘的，例如CD、DVD或基于蓝光的盘，或者硬盘，例如便携式硬盘。应当理解，针对第一方面提及的相同优点和相同实施例也适用于第六方面。
应当理解，针对第一方面提及的相同优点和相同实施例也适用于本发明的第二、第三、第四、第五、第六方面。因此，应当理解，本发明的任何一个方面都可以与任何其他方面相结合。
附图说明
将参照附图仅以实例的方式说明本发明，其中
图1图示了根据本发明的设备或系统实施例，
图2图示了环绕声系统实施例，其中单独可控的光源被空间地定位以覆盖由一组环绕声扬声器扩展的范围，以及
图3图示了基于所提取的音乐序列在语义上不同的区段的光控制参数的方法的实例。
具体实施方式
图1图示了包括信号处理器10的系统或设备，信号处理器10具有设置成接收音频信号A的音频分析器11，音频信号A例如诸如遵循MPEG标准的压缩数字音频流之类的数字音频流。音频分析器11在音频信号A上应用许多信号处理算法以便例如基于对音频信号A的频率分析和时间分析(temporal analysis)提取音频信号A的基本的低水平(low-level)信号属性。音频分析器11然后结合这些低水平(low-level)信号属性(如果可行，选择性地使用附加的前后关系信息)以得到反映音频信号A中语义内容的时间演变的分析结果。
光控制参数生成器12从音频分析器11接收有关音频信号A的语义内容的时间演变的信息，并基于此，光控制参数生成器12生成反映音频信号A的语义内容的时间演变的光控制参数。结果，光源20(或者光源组，例如辉光灯或发光二极管(LED))由所生成的光控制参数来控制以便产生环境照明，该环境照明在时间上与扬声器30适当放大和再现的音频信号A的听觉表现一致。因为光控制参数是根据音频信号A的语义内容的时间演变而生成的，所以可以体验到组合的视听表现，在该视听表现中“智能”或“合适”方式的环境照明遵循音频信号A的语义内容。例如，利用根据本发明的方法和系统，可以独立于音乐类型自动地控制反映一段音乐的语义内容的环境照明。
关于提取音频信号的语义内容的时间演变的步骤，可以参考2006年博洛尼亚第9界音乐感知与认识国际会议的会议录中的、由M.Bruderer，A.G.Kohlrausch和M.F.McKinney所著的文章“Perception ofstructural boundaries in popular music”(参见例如http://www.icmpc2006.org)。这篇文章描述了用于从歌曲中提取结构信息的方法。描述了代表一段音乐的音频信号的“边界提示(cue)”的实例。这篇文章里提及的音频信号中的提示对于检测一段音乐的语义不同的区段之间的边界是重要，所述提示是：(例如鼓、嗓音的)音色、音调(例如和声进行(harmonic progression)，旋律变化)、节奏(例如强度的变化、拍子的变化、节奏的变化)、结构(例如，全局结构、重复)。另外，这篇文章使用“Towards a general computational theory of musicalstructure”(爱丁堡大学E.Cambouropoulos 1988年的博士论文)和“Parsingof melody：Quantification and testing of the local grouping rules of“Lerdahl and 
Figure A200780040612D0009180639QIETU
 a Generative Theory of Tonal Music””(B.W.Frankland & A.J.Cohen所著，Music Perception，21(4)，pp.499-543，2004)中描述的两个基于音乐学(musicological)的模型，以提取不同提示的时间上的分布：休止符(rest)、长度变化和寄存器变化、敲击点(attack-point)(短音符之间的长音符)。另外，还提取了三个其他的提示：乐器音的引入和结束以及和声分辨(harmonic resolution)的时间点。如果一首歌在不同提示的分布之间具有低的时间相关性，那么它被视为所述体验的合适候选物(低的时间相关性允许我们更好地隔离片段边界的特定提示)。在这篇文章里得出结论，这是在流行音乐区段的布置方面个体之间的大致一致，描述了提取这样的区段的方法。因此，优选的还有，生成在时间上与一段音乐的这样的区段一致地变化的光，因为将存在大致的一致，即光“以正确的方式”随着音乐改变。
结合图1的系统描述的方法可以或者在线地、即基于接收音频流A来执行，同时通过扬声器30回放所述音频流A。可替换地，由信号处理器10进行的信号处理(即11和12或者至少11)可以基于音频信号A的序列离线地进行，音频信号A例如一段音乐或者整个CD唱片集的内容。然后，最终得到的作为时间函数的光控制参数可以存储在计算机可读存储介质上，以便稍后使用，即稍后用于与通过扬声器30表现音频信号A同时控制光源20。
应当理解，包括11和12这两者或其中之一的信号处理10可以以各种方式来实现。信号处理10可以借助于专用信号处理器、或者使用通用计算机(例如个人计算机)的信号处理功能来实现。信号处理器也可以实现为单机设备或者集成到某个设备中。所述设备可以包括光源20和扬声器30这两者或其中之一。
图2图示了通过虚线框指示的环绕声装置的一个实施例，其中某人110位于环绕声系统中，在所选实施例中，使用了五个扬声器S1-S5作为实例。这些扬声器S1-S5在空间上分开地定位以根据包括在音频信号A中的信息为人提供空间的听觉体验，所述信息例如以数字格式代表五个音频通道。在所示实例中，信号处理器100提取单独的光控制参数，光控制参数能够实现五个光源(或光源组)L1-L5的独立控制，在图示中，光源L1-L5示为邻近扬声器S1-S5而空间地定位，以便在感知上覆盖由扬声器扩展的空间范围。单独可控的光源的数量当然可以充分大于音频通道的数量，这将在音频信号中实现物体(例如乐器)的更精确的空间光映射。
利用相对于扬声器S1-S5在空间上分散的五个光源L1-L5，可以控制光源L1-L5，使得当光源L1-L5随着音频信号A通过扬声器S1-S5的回放而受控时，空间环境照明体验对应于空间听觉体验。例如光源L1-L5中的每一个能够产生不同颜色、不同强度的光。通过在一段音乐中提取语义对象的信息，例如吉他，在音频信号A中跟踪吉他在听觉意象中的空间位置变得可能。因此，例如可以使用绿光来代表吉他，绿光的强度指示吉他的声级(level)。当吉他手走过音乐会录音中的场景时，吉他改变听觉意象中的位置，于是绿光可以在空间上相应地发生改变，例如随着吉他手的移动从L1经由L2到达L3。这将增强听众/观众110的总体体验。
可以在例如来自DVD等的视听表现的音频部分上实施本发明，所述视听表现还包括将在二维或三维显示屏D(例如电视机)上显示的图像信号部分I。这些视觉元件(element)I、D在图2中以虚线示出，因为它们是可选的。在信号处理器100的某些实施例中，设置成考虑对象在图像I中的空间属性以便辅助来自音频信号A的信息生成光控制参数以控制空间分布的光源L1-L5。这样做可以进一步支持在生成光控制参数时从音频提取空间对象属性。例如，如果在影片中一名英雄拿着消防枪(fire gun)朝图像I的右边跑去，那么可以利用光源L1产生例如具有低强度的闪烁的红光，尽管音频信号A还没有指示消防枪的存在，然后在消防枪开火时，主要由扬声器S1产生的大的枪声可以伴随着来自光源L1的具有高强度的红光。
图3图示了三副曲线图200、210、220，示出了作为时间t的函数的一段音乐，其被分离为虚线所示的边界201之间的区段。曲线图200示出参数p的时间演变，p可以代表例如作为时间函数的那段音乐的、经过分析和提取的拍子。在本实例中，可以看到，拍子的时间演变看上去与区段边界201相关。曲线图210图示了对应的作为时间t的函数的光控制参数，这个参数可以例如是光强度i。如所看到的，在本实例中，选择直接将音乐信号的拍子转换为光强度，因为可以看到光强度看上去以直接对应于拍子的步骤受到控制，并对应于所提取的区段边界201而变化。曲线图220指示了作为时间t的函数的光控制参数，即不同的闪烁图案FP1-FP3。可以看到，这些闪烁图案没有直接反映音乐的拍子，而是选择随着区段改变闪烁图案FP1-FP3，这取决于拍子与前面的区段相比是否已经增大或者减小。闪烁图案FP1-FP3中的每一个可以是一系列不同于闪烁图案中光源的空间分布、闪烁拍子、闪烁强度等的变化。因此，总而言之，图3示出了光控制参数，所生成的光控制参数根据所提取的那段音乐的区段而改变，所述音乐的区段反映了音乐的语义内容的变化。
提供光控制参数的一个替换方式是取决于检测的所播放的和音是大调还是小调来分析音乐音频信号并将之分成区段，然后在具有小三和音(minor chord)的区段中朝着蓝色改变总体的光颜色，而在其中检测到大三和音(major chord)的区段中朝着嫩黄改变总体的光颜色。在另一个实施例中，可以在音频信号A上应用语音识别算法以便提取一首歌的歌词的语义内容。一个简单的实例可以是识别特定的词并相应地生成光控制参数，例如以便与词“爱”出现在这首歌中同时接通光源来显现红心。
关于本发明的实施例，即音频信号的空间方面，用于提取这样的空间方面的一个可能的方法的详细描述在下文中给出。对于水平(双耳的)声音定位，三个信号参数是重要的：耳间强度差、耳间时差以及耳间相关性。这些参数应当被估计为频率和时间的函数，包括听觉系统的有限频谱分辨率和时间分辨率。另外，如Leslie R.Bernstein和ConstantineTrahiotis所著的“The effects of randomizing values of interaural disparitieson binaural detection and on discrimination of interaural correlation”(参见J.Acoust.Soc.Am.，102，pp.1113-1120，1997)中所描述的，双耳听觉系统可以只利用少量的相互作用来估计这些信号参数。这些参数之一的实际值对于人对其他参数变化的敏感性的影响极小。
使用下面的三个阶段模型找出所提及的参数：
1)第一阶段包括一个外围预处理器。这个阶段用于模仿在耳蜗和听觉神经中觉察到的外围信号转换。外围预处理器的相关阶段可以概述如下。
-包括基膜的耳蜗通过三阶伽马调(gamma tone)滤波器组来建模，使用具有对应于等效矩形带宽(ERB)的带宽的滤波器。
-内毛细胞的有效信号处理由半波整流器建模，接在半波整流器后面的是具有770Hz截止频率(-3dB点)的5阶低通滤波器。
-为了包括调适各种时间常数的影响，包括了一连串的五个调适环路。
2)第二阶段包括双耳处理器，其中通过所谓的EI(激发-抑制)元件对来自左耳和右耳的信号进行比较，EI(激发-抑制(Excitation-Inhibition))元件是与Durlach的EC-理论(N.I.Durlach所著“Equalization and cancellation theory of binaural masking-leveldifferences”，J.Acoust.Soc.Am，35：1206-1218，1963)紧密相关的框架。EI类型的元件通过典型的ITD和典型的IID来描述。每一个EI类型的元件具有与两个输入信号(即一个输入是激发的，另一个是抑制的)之差相关的输出。更特别地，所述输出由两个输入信号的方差组成。通过对具有一定等效矩形持续时间(ERD)的双侧指数窗的EI元件的输出卷积来时间上平滑该输出。通过在EI活动图案中扫描最小值，所述模型可以在模型的输入处提取波形的IID和ITD。另外，最小值内的活动量是对于来自用于每一个特定频率范围的左通道和右通道的波形之间最大互相关的度量。
3)所述模型的第三阶段包括中央处理器，其分析EI活动中的差异。这意味着如果对于两个激励的EI活动是完全相同的或者是几乎相同的，假设这些激励导致相同的空间印象。
综上所述，本发明提供用于生成光控制参数的方法、设备和系统，所述光控制参数用于响应音频信号(A)来控制光(20)，例如环境光。分析音频信号以便提取音频信号的语义内容的时间演变。然后根据音频信号的语义内容的时间演变或者在线地或者离线地生成光控制参数。这使得能够生成在感知上与音频信号(例如音乐)一致的光。在一个优选实施例中，提取音频信号的空间属性，例如针对其中光源靠近每一个扬声器而定位的立体声系统或环绕声系统，根据音频信号的空间属性生成用于控制空间定位的光源的单独光控制参数。这样的实施例实现了光和音频之间的空间一致性。在另一个优选实施例中，确定了音频信号序列的在语义上不同的时间区段，例如一段音乐的区段，其中生成光控制参数以反映音频信号的这些区段。这样的实施例实现了光的时间变化遵循例如一段音乐的感知的变化。所述方法应用在例如家庭娱乐系统、剧场、自动电唱机、酒吧、餐厅、电影院和迪斯科舞厅中。
尽管已经结合特定实施例描述了本发明，但是不意欲将本发明限于前面提到的特定形式。而是，本发明的范围仅仅受到所附权利要求的限制。在权利要求中，术语“包括”不排除其他元件或步骤的存在。另外，尽管在不同的权利要求中包括了各个特征，但是这些特征可以有利地结合起来，在不同权利要求中的包含并不暗示特征的组合是不可行的和/或是不利的。另外，单数表示并不排除多数。因此，“一”、“一个”、“第一”、“第二”的使用并不排除多数。另外，权利要求中的附图标记不应理解为限制范围。

Claims (19)

1.用于生成用于响应音频信号(A)控制光(20)的光控制参数的方法，该方法包括：
-分析该音频信号(A)，以便提取音频信号(A)的语义内容的时间演变，以及
-根据音频信号(A)的语义内容的时间演变生成光控制参数。
2.根据权利要求1所述的方法，包括与根据光控制参数控制环境光(20)同时播放音频信号(A)。
3.根据权利要求1所述的方法，包括提取音频信号(A)的空间属性并根据所述音频信号(A)的空间属性生成用于控制空间定位的光源(L1-L5)的单独的光控制参数。
4.根据权利要求3所述的方法，包括在音频信号(A)中提取例如乐器的对象的空间属性，并根据对象的空间属性生成单独的光控制参数。
5.根据权利要求1所述的方法，包括确定音频信号(A)序列的在语义上不同的时间区段，其中生成光控制参数来反映音频信号(A)的这些区段。
6.根据权利要求5所述的方法，其中确定音频信号(A)的所述区段包括提取统计数据，所述统计数据与从区段边界、拍子、动态变化、音乐键组成的组中选择的至少一个属性有关。
7.根据权利要求5所述的方法，其中所述光控制参数反映每一个区段中音频信号(A)的特征属性。
8.根据权利要求1所述的方法，其中所述光控制参数包括用于控制从由亮度、饱和度、色调、其空间分布和时间动态组成的组中选择的至少一个光(20)属性的信息。
9.根据权利要求1所述的方法，其中与给出音频信号(A)并根据所述光控制参数控制光源(20)同时进行音频信号(A)的分析以及光控制参数的生成。
10.根据权利要求1所述的方法，包括根据例如一段音乐的音频信号(A)的序列生成光控制参数，存储该光控制参数，并随后与根据光控制参数控制光源(20)同时给出音频信号(A)的序列。
11.设置成生成用于根据音频信号(A)控制光(20)的光控制参数的信号处理器(10)，该信号处理器包括：
-设置成提取音频信号(A)的语义内容的时间演变的音频分析器(11)，以及
-设置成根据音频信号(A)的语义内容的时间演变生成光控制参数的光参数控制生成器(12)。
12.根据权利要求11所述的信号处理器，设置成提取音频信号(A)的空间属性，并根据音频信号(A)的空间属性生成用于控制空间地定位的光源(L1-L5)的单独光控制参数。
13.根据权利要求12所述的信号处理器，还设置成在音频信号(A)中提取例如乐器的对象的空间属性，并根据所述对象的空间属性生成单独的光控制参数。
14.根据权利要求11所述的信号处理器，设置成确定音频信号(A)的序列的在语义上不同的时间区段，并生成光控制参数来反映音频信号(A)的这些区段。
15.包括根据权利要求11的信号处理器(10)的设备。
16.设置成根据音频信号(A)生成光的系统，该系统包括：
-设置成提取音频信号(A)的语义内容的时间演变的音频分析器(11)，
-设置成根据音频信号(A)的语义内容的时间演变生成光控制参数的光参数控制生成器(12)，
-至少一个用于给出音频信号(A)的扬声器(30)，
-至少一个用于根据光控制参数生成光的光源(20)。
17.根据权利要求16所述的系统，其中所述音频分析器和光控制生成器(100)设置成提取音频信号(A)的空间属性，并根据音频信号(A)的空间属性生成用于控制多个空间上分开的光源(L1-L5)的单独光控制参数。
18.适合于执行根据权利要求1的方法计算机可执行程序代码。
19.包括根据权利要求18的计算机可执行程序代码的计算机可读存储介质。
CNA2007800406121A 2006-10-31 2007-10-25 响应音频信号控制光 Pending CN101536609A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP06123265 2006-10-31
EP06123265.8 2006-10-31

Publications (1)

Publication Number Publication Date
CN101536609A true CN101536609A (zh) 2009-09-16

Family

ID=39031066

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2007800406121A Pending CN101536609A (zh) 2006-10-31 2007-10-25 响应音频信号控制光

Country Status (5)

Country Link
US (1) US8461443B2 (zh)
EP (1) EP2080419A1 (zh)
JP (1) JP2010508626A (zh)
CN (1) CN101536609A (zh)
WO (1) WO2008053409A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103578324A (zh) * 2012-07-19 2014-02-12 明馨国际有限公司 乐器的光声装置
CN103677796A (zh) * 2012-09-07 2014-03-26 索尼公司 照明设备和存储介质
CN103974512A (zh) * 2014-05-05 2014-08-06 生迪光电科技股份有限公司 一种基于照明装置的无线音乐调光方法及其系统
CN106132040A (zh) * 2016-06-20 2016-11-16 科大讯飞股份有限公司 歌唱环境的灯光控制方法和装置
CN108235541A (zh) * 2017-12-28 2018-06-29 广州歌斯达舞台灯光设备有限公司 舞台用灯光系统及控制方法
CN108322853A (zh) * 2018-02-02 2018-07-24 福建捷联电子有限公司 一种显示器及其工作方法
CN108551710A (zh) * 2011-11-07 2018-09-18 飞利浦灯具控股公司 使用声音控制照明系统的用户接口
CN113873735A (zh) * 2021-11-05 2021-12-31 杭州顾家定制家居有限公司 一种灯光门的灯光控制方法、装置、智能终端及存储介质
CN114126158A (zh) * 2021-11-12 2022-03-01 深圳市欧瑞博科技股份有限公司 灯效控制方法、装置、电子设备及可读存储介质
CN115134706A (zh) * 2021-03-25 2022-09-30 阿里巴巴新加坡控股有限公司 音频播放设备及阵列、相关方法和介质
CN116343757A (zh) * 2021-12-24 2023-06-27 福建星网视易信息系统有限公司 基于音频数据的界面灯光控制方法及计算机可读存储介质

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008038340B4 (de) * 2008-08-19 2010-04-22 Austriamicrosystems Ag Schaltungsanordnung zur Ansteuerung einer Lichtquelle und Verfahren zum Erzeugen eines Ansteuersignals für dieselbe
JP2010054530A (ja) * 2008-08-26 2010-03-11 Sony Corp 情報処理装置、発光制御方法およびコンピュータプログラム
CZ301933B6 (cs) * 2008-10-29 2010-08-04 Nušl@Jaroslav Zpusob rízení zejména svetelné techniky zvukovým signálem a zarízení k provádení tohoto zpusobu
ES2548139T3 (es) * 2008-12-09 2015-10-14 Koninklijke Philips N.V. Procedimiento y sistema para generar datos para controlar un sistema para renderizar al menos una señal
LT5671B (lt) * 2008-12-23 2010-08-25 Vytautas JANU�ONIS Stroboskopinio apšvietimo sistema žemų dažnių garsiakalbiui
DE202010003849U1 (de) 2010-03-17 2010-07-22 Zschaubitz Audioelektronik Gmbh Schaltungsanordnung zur Steuerung von Lichtquellen
US8917905B1 (en) * 2010-04-15 2014-12-23 Don K. Dill Vision-2-vision control system
US8667100B2 (en) * 2010-07-07 2014-03-04 Comcast Interactive Media, Llc Device communication, monitoring and control architecture and method
JP5903758B2 (ja) 2010-09-08 2016-04-13 ソニー株式会社 信号処理装置および方法、プログラム、並びにデータ記録媒体
US20130166042A1 (en) * 2011-12-26 2013-06-27 Hewlett-Packard Development Company, L.P. Media content-based control of ambient environment
US9779757B1 (en) 2012-07-30 2017-10-03 Amazon Technologies, Inc. Visual indication of an operational state
US9786294B1 (en) * 2012-07-30 2017-10-10 Amazon Technologies, Inc. Visual indication of an operational state
US8812144B2 (en) * 2012-08-17 2014-08-19 Be Labs, Llc Music generator
US8928811B2 (en) 2012-10-17 2015-01-06 Sony Corporation Methods and systems for generating ambient light effects based on video content
US20140104247A1 (en) * 2012-10-17 2014-04-17 Adam Li Devices and systems for rendering ambient light effects in video
US9721586B1 (en) 2013-03-14 2017-08-01 Amazon Technologies, Inc. Voice controlled assistant with light indicator
JP6135267B2 (ja) * 2013-04-16 2017-05-31 ソニー株式会社 照明装置、照明システム、及び制御方法
BR112016012438B1 (pt) 2013-12-18 2022-04-19 Sony Corporation Dispositivo de reprodução de áudio
CN105025427B (zh) * 2014-04-22 2019-09-24 罗伯特·博世有限公司 麦克风测试装置及用于校准麦克风的方法
US20150312648A1 (en) 2014-04-23 2015-10-29 Verizon Patent And Licensing Inc. Mobile device controlled dynamic room environment using a cast device
EP3167691B1 (en) * 2014-07-07 2020-02-05 Pisani, Patrizio Remote audiovisual communication system between two or more users, lamp with lights with luminous characteristics which can vary according to external information sources, specifically of audio type, and associated communication method
CN104219849A (zh) * 2014-09-16 2014-12-17 深圳市华海技术有限公司 基于音频信号控制发光设备的方法及装置
CN105812989A (zh) * 2014-12-31 2016-07-27 鸿富锦精密工业（深圳）有限公司 扬声器
WO2016123007A1 (en) * 2015-01-26 2016-08-04 Eventide Inc. Lighting systems and methods
KR20160120469A (ko) * 2015-04-08 2016-10-18 삼성전자주식회사 사용자 단말 장치, 외부 장치 및 오디오 출력 방법
US10978033B2 (en) 2016-02-05 2021-04-13 New Resonance, Llc Mapping characteristics of music into a visual display
US10319395B2 (en) * 2016-03-11 2019-06-11 Limbic Media Corporation System and method for predictive generation of visual sequences
EP3434073B1 (en) 2016-03-22 2020-08-26 Signify Holding B.V. Enriching audio with lighting
JP6585289B2 (ja) * 2016-05-12 2019-10-02 Ｐｉｏｎｅｅｒ ＤＪ株式会社 照明制御装置、照明制御方法、および照明制御プログラム
JP6603422B2 (ja) * 2016-05-30 2019-11-06 シグニファイ ホールディング ビー ヴィ 照明制御
US10708998B2 (en) 2016-06-13 2020-07-07 Alphatheta Corporation Light control device, lighting control method, and lighting control program for controlling lighting based on a beat position in a music piece information
CN106422374B (zh) * 2016-11-22 2018-03-13 深圳市环球数码科技有限公司 一种用于数字影院的动态视觉效果增强系统及控制方法
US10146100B2 (en) 2016-12-12 2018-12-04 Gracenote, Inc. Systems and methods to transform events and/or mood associated with playing media into lighting effects
JP7214852B2 (ja) 2018-05-24 2023-01-30 エーアイエムアイ インコーポレイテッド 音楽生成器
WO2020011694A1 (en) * 2018-07-09 2020-01-16 Signify Holding B.V. Determining light effects to be rendered simultaneously with a content item
US10764984B2 (en) * 2018-07-30 2020-09-01 David KASLE Method and apparatus for musical instrument with dynamic animation and lighting
JP7170884B2 (ja) * 2019-01-09 2022-11-14 シグニファイ ホールディング ビー ヴィ メディアコンテンツにおけるスピーチの度合に基づく光効果の決定
US11071182B2 (en) 2019-11-27 2021-07-20 Gracenote, Inc. Methods and apparatus to control lighting effects
CN120544524A (zh) 2020-02-11 2025-08-26 艾米有限公司 音乐内容生成
US20230328865A1 (en) * 2020-08-26 2023-10-12 Signify Holding B.V. Determining an order for reproducing songs based on differences between light scripts
US11840997B2 (en) 2021-02-24 2023-12-12 Ford Global Technologies, Llc Engine performance indicator
WO2023144269A1 (en) * 2022-01-31 2023-08-03 Signify Holding B.V. Determining global and local light effect parameter values
US11695980B1 (en) * 2022-11-07 2023-07-04 Roku, Inc. Method and system for controlling lighting in a viewing area of a content-presentation device
CN115665942B (zh) * 2022-11-14 2025-05-06 两氢一氧(杭州)数字科技有限公司 音随律动灯珠控制方法、系统及无线耳机
US20250267774A1 (en) * 2024-02-19 2025-08-21 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method for analyzing sounds in a vehicle and activating a disco mode in the vehicle based on the sounds

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2221274Y (zh) * 1994-09-27 1996-02-28 常玉德 声光同步音箱
WO2001099475A1 (en) * 2000-06-21 2001-12-27 Color Kinetics Incorporated Method and apparatus for controlling a lighting system in response to an audio input

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02165597A (ja) * 1988-12-16 1990-06-26 Matsushita Electric Ind Co Ltd 照明制御音場可変装置
JP3743079B2 (ja) * 1996-10-24 2006-02-08 ヤマハ株式会社 演奏データ作成方法および装置
GB2354602A (en) * 1999-09-07 2001-03-28 Peter Stefan Jones Digital controlling system for electronic lighting devices
JP2001118689A (ja) * 1999-10-15 2001-04-27 Matsushita Electric Ind Co Ltd 照明制御方法
TW571266B (en) * 2002-02-27 2004-01-11 Friend Spring Ind Co Ltd Control method and device of full-color LED audio/visual generating system
EP1512312A4 (en) * 2002-05-13 2006-11-22 Johnson & Son Inc S C COORDINATED EMISSION OF FRAGRANCE, LIGHT AND SOUNDS
ATE556404T1 (de) * 2002-10-24 2012-05-15 Nat Inst Of Advanced Ind Scien Wiedergabeverfahren für musikalische kompositionen und einrichtung und verfahren zum erkennen eines repräsentativen motivteils in musikkompositionsdaten
US7522967B2 (en) * 2003-07-01 2009-04-21 Hewlett-Packard Development Company, L.P. Audio summary based audio processing
US20060096445A1 (en) * 2004-11-10 2006-05-11 Leach Cary H Entertainment display systems
CN1703131B (zh) * 2004-12-24 2010-04-14 北京中星微电子有限公司 一种音乐控制发光灯组的亮度和颜色的方法
US8577686B2 (en) * 2005-05-26 2013-11-05 Lg Electronics Inc. Method and apparatus for decoding an audio signal

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2221274Y (zh) * 1994-09-27 1996-02-28 常玉德 声光同步音箱
WO2001099475A1 (en) * 2000-06-21 2001-12-27 Color Kinetics Incorporated Method and apparatus for controlling a lighting system in response to an audio input

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108551710A (zh) * 2011-11-07 2018-09-18 飞利浦灯具控股公司 使用声音控制照明系统的用户接口
CN108551710B (zh) * 2011-11-07 2021-10-22 昕诺飞控股有限公司 使用声音控制照明系统的用户接口
CN103578324A (zh) * 2012-07-19 2014-02-12 明馨国际有限公司 乐器的光声装置
CN103677796A (zh) * 2012-09-07 2014-03-26 索尼公司 照明设备和存储介质
CN103677796B (zh) * 2012-09-07 2018-02-23 索尼公司 照明设备和存储介质
CN103974512A (zh) * 2014-05-05 2014-08-06 生迪光电科技股份有限公司 一种基于照明装置的无线音乐调光方法及其系统
CN106132040A (zh) * 2016-06-20 2016-11-16 科大讯飞股份有限公司 歌唱环境的灯光控制方法和装置
CN106132040B (zh) * 2016-06-20 2019-03-19 科大讯飞股份有限公司 歌唱环境的灯光控制方法和装置
CN108235541A (zh) * 2017-12-28 2018-06-29 广州歌斯达舞台灯光设备有限公司 舞台用灯光系统及控制方法
CN108322853A (zh) * 2018-02-02 2018-07-24 福建捷联电子有限公司 一种显示器及其工作方法
CN115134706A (zh) * 2021-03-25 2022-09-30 阿里巴巴新加坡控股有限公司 音频播放设备及阵列、相关方法和介质
CN113873735A (zh) * 2021-11-05 2021-12-31 杭州顾家定制家居有限公司 一种灯光门的灯光控制方法、装置、智能终端及存储介质
CN113873735B (zh) * 2021-11-05 2024-04-12 杭州顾家定制家居有限公司 一种灯光门的灯光控制方法、装置、智能终端及存储介质
CN114126158A (zh) * 2021-11-12 2022-03-01 深圳市欧瑞博科技股份有限公司 灯效控制方法、装置、电子设备及可读存储介质
CN116343757A (zh) * 2021-12-24 2023-06-27 福建星网视易信息系统有限公司 基于音频数据的界面灯光控制方法及计算机可读存储介质

Also Published As

Publication number Publication date
EP2080419A1 (en) 2009-07-22
JP2010508626A (ja) 2010-03-18
US8461443B2 (en) 2013-06-11
US20100071535A1 (en) 2010-03-25
WO2008053409A1 (en) 2008-05-08

Similar Documents

Publication Publication Date Title
CN101536609A (zh) 响应音频信号控制光
CN104303522B (zh) 用于布局与格式独立的三维音频再现的方法和装置
Thery et al. Anechoic audio and 3D-video content database of small ensemble performances for virtual concerts
Bartlett Stereo microphone techniques
US20060050908A1 (en) Personalized surround sound headphone system
WO2022014326A1 (ja) 信号処理装置および方法、並びにプログラム
EP4527079A2 (en) Generating digital media based on blockchain data
CN117043851A (zh) 电子设备、方法和计算机程序
Holbrook Sound objects and spatial morphologies
AU2021382800A9 (en) Playback of generative media content
Avarese Post sound design: the art and craft of audio post production for the moving image
Terrell et al. An offline, automatic mixing method for live music, incorporating multiple sources, loudspeakers, and room effects
Henriksen Space in electroacoustic music: composition, performance and perception of musical space
Pennycook Live electroacoustic music: old problems, new solutions
Gozzi et al. Listen to the theatre! exploring florentine performative spaces
Toole Audio–Science in the Service of Art
WO2024216494A1 (en) Method for multichannel audio reconstruction and speaker system using the method
Dean LOW FREQUENCY SPATIALIZATION IN ELECTROACOUSTIC MUSIC AND PERFORMANCE: COMPOSITION MEETS PERCEPTION.
KR100703923B1 (ko) 멀티미디어기기를 위한 입체음향 최적화 장치 및 방법
Filimowicz An audiovisual colocation display system
Woszczyk et al. Creating mixtures: The application of auditory scene analysis (ASA) to audio recording
Fung Live electronics: Sounding (of) the coil
CN120642347A (zh) 多无线扬声器环境中的动态音频混合
Valente Listeners' expectation of room acoustical parameters based on visual cues
Kessler An Optimized Method for Capturing Multidimensional “Acoustic Fingerprints”

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: TP VISION HOLDING B.V.

Free format text: FORMER OWNER: ROYAL PHILIPS ELECTRONICS N.V.

Effective date: 20120820

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20120820

Address after: Holland Ian Deho Finn

Applicant after: Tp Vision Holding B. V.

Address before: Holland Ian Deho Finn

Applicant before: Koninklijke Philips Electronics N.V.

C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20090916