具体实施方式
下面,边参照附图,边说明本发明的数据处理装置的实施方式。在下面的说明中,添附了相同参照符号的构成要素具有同等的功能及结构。
(实施方式1)
图3是显示本实施方式的数据处理装置的一个例子的摄像机100的图。摄像机100与普通的摄像机一样,具有用于取得显示影像的影像信号的摄像部(镜头及摄像元件等)和用于取得表示语音的语音信号的麦克风,其能将影像信号和/或语音信号编码后的动画流记录在记录介质中。
本实施方式的摄像机100是在装载DVD—RAM盘(以下称为“光盘”)120的DVD—RAM驱动器(后述图5的驱动器107)之外,还包括装载半导体存储器121的半导体存储卡插槽(图中未表示)。因此,摄像机100能在光盘120及半导体存储器121内、以数据速率不同的动画流记录同一影像。
记录在光盘120内的动画流,比如是有数据速率为10Mbps左右的较高数据速率的动画流(以下称为“高速率动画流”)。另一方面,记录在半导体存储器121内的动画流,比如是有数据速率为1Mbps左右的较低数据速率的动画流(以下称为“低速率动画流”)。还有,应当注意的是,“10Mbps”和“1Mbps”也可以是其他值,是否为高速率是否为低速率,是由两个动画流各自的速率所相对决定的。
边参照图4(a)及(b),对本实施方式的摄像机100的动作及PC201的动作予以大致说明。另外,本说明书中是以PC来进行说明,但这只是数据处理装置的一个例子,其他,还可以是后边讲述的具有“播放列表”编辑功能的DVD录像机、影像编辑器械等。
图4(a)及(b)显示摄像机100和PC201的处理顺序。首先,参照图4(a)。(1)首先,摄像机100在半导体存储器121内记录低速率动画流。此时,摄像机100并行地将高速率动画流记录在光盘120内。(2)用户将半导体存储器121装载在PC201内。用户对PC201指示低速率动画流的播放,边看着播放的影像,边生成该影像所相应的播放列表。“播放列表”规定一个以上的动画流的一部分或者全部的播放区间。当存在多个动画流时,播放列表中规定应播放动画流及其顺序。(3)PC201取得用户作成的播放列表并生成播放列表信息,并将其记录在半导体存储器121内。(4)如用户将该半导体存储器121装载在摄像机100,(5)摄像机100根据记录在半导体存储器121内的播放列表信息及记录在光盘120内的高速率动画流,生成高速率用播放列表信息,并记录在光盘120内。
按照图4(a)所示的处理,用于根据在PC201中生成的低速率用播放列表信息,摄像机100自动地生成高速率用播放列表信息,因此用户无需生成高速率用播放列表信息。
下面,边参照图4(b),说明摄像机100和PC201的处理。(1)首先,摄像机100在光盘120内记录高速率动画流。(2)用户将光盘120装载在PC201内。用户对PC201指示高速率动画流的播放,边看着播放的影像,边生成该影像所相应的播放列表。(3)PC201取得用户作成的播放列表并生成播放列表信息,并将该播放列表信息记录在光盘120内。(4)PC201由高速率动画流生成低速率动画流,并记录在光盘120内。(5)PC201根据记录在光盘120内的高速率动画流、其播放列表信息及低速率动画流,生成地速率用播放列表信息,并记录在光盘120内。
用于用户可以在处理能力高且操作性良好的PC201内生成播放列表信息,另外PC201能生成低速率动画流及其播放列表信息,因此能实现简易化及高效化操作。还有在(1)的处理时,由于摄像机100没有必要生成低速率动画流,与前边说明过的处理相比较摄像机100的处理简易、并能省略半导体存储器121用的插槽等结构。通过在摄像机100内装载光盘120,能依照低速率用播放列表信息播放低速率动画流。
下面,边参照图5及图6说明摄像机100及PC201的结构。还有,在下面的说明中,说明能执行图4(a)及图4(b)所示两个处理的摄像机100及PC201。想要提醒注意的是,由于包含了根据处理的内容可以省略的构成要素,因此并不是所有的构成要素都是必须的。
图5显示摄像机100的功能模块的结构。摄像机100具有影像信号接收信号部101、语音信号接收信号部102、附属信息生成部105、累计开关部106、驱动器107、储存控制器109、播放列表信息管理部110、附属信息管理部111、动画流解码部112、影像信号输出部113、语音信号输出部114和动画流生成部115。
摄像机100的各构成要素如下所述。影像信号接收信号部101从照相机的CCD(图中未表示)的输出接收表示影像的影像信号。语音信号接收信号部102从麦克风(图中未表示)接收表示语音的语音信号。
动画流生成部115包括高速率动画流生成部103及低速率动画流生成部104,分别生成高速率及低速率动画流。编码的数据速率的不同是由使用的编码参数、编码方法等决定的编码处理的不同所引起的。编码处理比如依照MPEG2标准进行,但因其具体内容已是众所周知,故省略其说明。还有,各动画流生成部103及104可以用物理性的两个电路来实现,也可以用一个电路利用时间划分来实现。
附属信息生成部105生成动画流相应的附属信息。附属信息比如包括用于读出构成动画流的数据所必须的访问数据、显示播放时序的时间标记、编码比特速率、编码信息等。访问数据是规定动画流的播放时间与该时间内所播放的数据的存储地址的对应关系的表,在从动画流的开头开始的播放、中途开始的播放、特殊播放等时参照。累计开关部106切换数据的转送路径。
驱动器107在光盘120内记录数据,并从光盘120读出数据。驱动器107包括光拾取器108和驱动控制器116。光拾取器108将激光照射光盘120,通过检测反射光输出播放信号等。驱动控制器116是控制驱动器107的动作的中央处理电路(CPU)。还有,驱动器107的其他的众所周知的构成,比如包括光拾取器108的驱动电路、转动光盘的主轴电动机(图中未表示)。另一方面,储存控制器109控制向半导体存储器121的数据的读出及写入。
播放列表信息管理部110取得记录在半导体存储器121、光盘120等的播放列表信息并予以保持。或者,播放列表信息管理部110取得用户利用摄像机100的按钮设定的播放列表信息并予以保持。附属信息管理部111管理在附属信息生成部105中生成的附属信息,或者读出记录在记录介质中的附属信息并予以保持。
动画流解码部112(以下记为“解码部112”)解码动画流并取出影像信号及语音信号。影像信号输出部113及语音信号输出部114是分别输出影像信号及语音信号的端子或者显示器、扬声器等的输出装置。
下面,说明摄像机100的基本的动作的记录动作及播放动作。在图4所示的摄像机100和PC201之间进行的摄像机100的动作将在后边讲述。
首先,说明摄像机100记录动画流时的动作。下面是以记录高速率及低速率两个动画流来予以说明的,但也可以是仅其中的任一个。如影像信号接收信号部101及语音信号接收信号部102接收影像信号及语音信号,则动画流生成部103及104将这些信号向比如包括MPEG影像流的高速率动画流和低速率动画流转换。生成的高速率动画流通过累计开关部106传送给驱动部107。驱动器107通过拾取器108将动画流记录在DVD—RAM盘120。另一方面,低速率动画流通过累计开关部106传送给储存控制器109。存储器控制器109将该动画流记录在半导体存储器121。
接着说明摄像机100播放动画流的动作。下面,将动画流被记录在光盘120的情况和动画流被记录在半导体存储器121的情况分开说明。
首先,如用户指示储存在光盘120的动画流的播放,则驱动控制器116根据在附属信息管理部111中管理的附属信息,或者储存在光盘120中的附属信息,指定光盘120上的动画流的位置。然后,驱动控制器116使用拾取器108读出动画流,经累计开关部106发送信号至解码部112。解码部112将动画流解码,分解出影像信号和语音信号并输出。影像信号输出部113及语音信号输出部114分别输出影像信号和语音信号。
另一方面,如用户指示储存在半导体存储器121内的动画流的播放,则存储器控制器109根据在附属信息管理部111中管理的附属信息,或者储存在半导体存储器121中的附属信息,指定半导体存储器121上的动画流的位置。然后,存储器控制器109从半导体存储器121读出动画流,经累计开关部106发送信号至解码部112。其后的处理与从光盘120读出动画流的动作相同。
当在记录介质上记录有播放列表信息时,驱动器107的驱动控制器116从光盘120取得播放列表信息,存储器控制器109从半导体存储器121取得播放列表信息。播放列表信息经累计开关部106传送给播放列表信息管理部110,播放列表信息管理部110保持该播放列表信息。依照播放列表信息播放动画流时,利用保持在播放列表信息管理部110内的播放列表信息和保持在附属信息管理部111内的附属信息。
下面,边参照图6、说明PC201的结构。图6显示PC201的功能模块的结构。PC201具备指示部130、控制器131、高速率动画流生成部133、低速率动画流生成部134、附属信息生成部135、累计开关部136、驱动器137、光拾取器138、储存控制器139、播放列表信息管理部140、附属信息管理部141、动画流解码部142、影像信号输出部143、语音信号输出部144。
在PC201的各构成要素中,对与摄像机100的构成要素具有相同功能的构成要素添附相同名称。下面,省略对这些构成要素的个别的说明,与PC201的动作相关联说明具体功能及动作。
指示部130是接受来自用户的各种指示的键盘、鼠标等的输入装置。用户通过指示部130输入作成播放列表的意图的指示,还有输入动画流的变换等的指示。控制器131接受来自用户的指示,指示与该指示相应的处理。比如,控制器131,可以作为PC201的中央处理单元(CPU)(图中未表示)的一部分功能来实现。控制器131根据规定播放列表的指示、生成播放列表信息,根据动画流的变换指示,对动画流生成部指示动画流的速率变换。
下面,说明边参照图4(a)说明的本实施方式的第一处理。图7显示在摄像机100及PC201中进行的第一处理的流程。图7的左半部分显示摄像机100的处理,右半部分显示PC201的处理。步骤S1中,摄像机100的动画流生成部115对影像信号及语音信号编码,生成高速率及低速率的动画流。接着,在步骤S2中,存储器控制器109在半导体存储器121内写入低速率动画流,驱动控制器116在光盘120内写入高速率动画流。
如用户将该半导体存储器121从摄像机100中拔出,然后装载在PC201内,则在步骤S3中,PC201从半导体存储器读出低速率动画流并播放,显示在PC201的显示器上。由于用户能边看显示的影像边开始播放列表的制作,比如用只装备有摄像机100等受到局限的输入单元的装置制作播放列表的情况下,也能方便作业。
在步骤S4中,指示部130从用户接受指定低速率动画流的播放区间的指示。
另外,该说明,是以如图2(a)所示那样一个流为对象制作播放列表时的说明。但是,在图2(b)所示以多个流为对象制作播放列表的情况下,指示部130接受指定各个流的播放区间的指示,并接受指定流的播放顺序的指示。另外,还可以接受如图2(c)所示那样指定对影像流及语音流两个方面的播放区间及播放顺序的指示。
接着,步骤S5中,控制器131根据来自用户的指示生成播放列表信息,在步骤S6中在半导体存储器121内记录播放列表信息。该播放列表信息规定对应于现在正在播放的低速率动画流的播放列表。然后,将半导体存储器121取出并再次插入摄像机100。
图8显示插入PC201的半导体存储器插槽202、经处理后又被取出的半导体存储器121。图8还显示了从PC201取出的半导体存储器121的文件构造的例子。图的目录“dir001”中,储存有三个低速率动画流的数据文件(以下,称“低速率动画文件”)203、204、205及管理这些动画流的播放的播放列表信息文件206。低速率动画文件203、204、205是用摄像机100记录的文件,播放列表信息文件206是用PC201记录的文件。
播放列表信息文件206中记录有储存在低速率动画文件203~205中的低速率动画流的播放位置(播放时刻)和播放顺序。图9显示低速率动画流A~C与播放列表信息207的对应关系。流A~C分别对应于储存在低速率动画文件203~205中的流。另外,低速率动画文件203~205中,除分别储存低速率动画流A~C外,还存储与存储的流相应的包含访问数据的附属信息。
播放列表信息207描述播放顺序、储存动画流的文件名、开始该动画流的播放时间(=start time)及连续播放时间(=duration)。摄像机100及PC201等的播放装置,作为用于选定流的信息,使用比如文件名。通过参照储存在上述各信息及各文件中的附属信息中的访问数据,能实现播放列表播放。图10显示播放列表信息207中描述的内容与低速率动画流的播放位置的对应关系。这里,以第一个播放的低速率动画流A(文件名“LMOV001.mov”)为例进行说明。首先,依据播放列表信息207中的播放开始时间Tsa及连续播放时间Tda,选定开始时刻Tsa及结束时刻Tsa+Tda。这样,接着,参照规定于文件内的附属信息A的访问数据。访问数据是规定时间与储存有在该时间播放的数据的地址之间的对应关系的表。其结果,得到与选定的开始时刻Tsa及结束时刻Tsa+Tda相应的、低速率动画流的地址信息。通过此,播放规定在播放列表信息207内的动画流A的选定区间。还有,关于第二个与第三个播放的动画流,也是以同样的顺序选定播放区间、播放。
再次参照图7。下面,说明再次装载半导体存储器121的摄像机100的处理。步骤S7中,摄像机100的存储器控制器109从半导体存储器121读出低速率动画流用的播放列表信息文件206,并传送至播放列表信息管理部110。播放列表信息管理部110分析播放列表信息文件206,选定规定在播放列表信息207至的低速率动画流文件,并识别器播放顺序位置及播放时间。
接着,如摄像机100检测出在DVD—RAM盘120内记录有储存与低速率动画文件相应的高速率动画流的文件(以下,称“高速率动画文件”),则执行步骤S8。
这里,与低速率动画文件“相应的”高速率动画文件是指,比如,高速率动画文件的文件名为与低速率动画文件的文件名以一定的规则建立关联。比如,可规定规则为相对低速率动画文件的文件名“LMOV001.mov”,以将开头的一个字母L替换为H的“HMOV001.mov”为高速率动画文件的文件名。或者,也可以是规则为相对低速率动画文件的文件名“MOVE001.mvl”,以扩展名的最后字母l替换为h的“MOVE001.mvh”为高速率动画文件的文件名。
上述低速率动画文件与高速率动画文件的对应关联也可以是用流的记录日期时间。具体来讲,通过记录各动画流或者与其对应的附属信息中的流的生成日期时间信息,使同时记录两个流时生成日期时间成为一致,以作为表示相同影像的动画文件进行对应关联。另外,还可以将管理流的关联关系作为一个文件记录在记录介质内。
接着,在步骤S8中,播放列表信息管理部110根据低速率用的播放列表信息207及高/低速率动画流,生成高速率用播放列表信息,在步骤S9中,驱动器107将高速率用播放列表信息写入到光盘。
图11显示高速率动画流A~C与高速率用播放列表信息507的对应关系。高速率动画流A~C分别储存在高速率动画文件503~505。然后,在储存有播放列表信息文件506的播放列表信息507中,规定储存在高速率动画文件503~505中的高速率动画流A~C的播放位置(播放时刻)和播放顺序。
将图11与图9进行对比可以看出,播放列表信息管理部110将所参照文件名设定为高速率动画文件的文件名,并通过开始播放的时间(starttime)及结束播放的时间(end time)设定高速率动画流的播放区间。还有,相对用低速率用播放列表信息207规定播放连续时间(duration),用高速率用播放列表信息507规定播放结束时间(=end time),但这些只是表示能任意规定播放区间的例子,并不特别意味该变换是必须的。
在高速率用播放列表信息507中也是以开始播放的时间(start time)及连续播放时间(duration)规定播放区间时,能就以直接利用低速率用播放列表信息207的规定。其理由在于,相应的各高速率及低速率动画流中,在选定时刻播放、显示的帧或者半帧原则上是相同的。此时,使用任一种方法,以高速率用播放列表信息507规定的高速率动画流的播放位置(播放时刻)及播放顺序,与相应的低速率动画流的播放位置(播放时刻)及播放顺序是相同的。
如上所述,本实施方式的摄像机100能根据在外围器械(PC201)中生成的低速率动画流用播放列表信息207,生成高速率动画流用播放列表信息507。
按照本实施方式的处理,由于对以摄像机摄影的流进行编辑时的繁琐作业能以PC进行、并能自动从完成的低速率动画流用播放列表信息生成高速率动画流用播放列表信息,因此不必在摄像机中进行用于生成播放列表的细致的输入作业,而能得到高速率动画流用播放列表。
还有,如上所述在PC201中为了播放列表的生成而利用低速率动画流数据,则可以将必要的数据量低控制。由此,能利用与光盘120相比一般来说数据容量小的半导体存储器121,从而使携带搬运等变得容易。再有,由于动画流的数据量少,在PC201中也能减轻处理负荷,与以高速率动画流进行相同作业的情况相比可望提高设备的灵敏度。
下面,说明边参照图4(b)说明的本实施方式的第二处理。图12显示在摄像机100及PC201中进行的第二处理的流程。图12的左半部分显示摄像机100的处理,右半部分显示PC201的处理。在步骤S10中,摄像机100的动画流生成部115对影像信号及语音信号编码,生成高速率动画流。接着,在步骤S11中,驱动控制器116在光盘120内写入高速率动画流。
如用户将该光盘120从摄像机100中取出,然后装载在PC201的驱动器137内,则在步骤S12中,PC201从光盘120读出高速率动画流并播放,显示在PC201的显示器上。用户能边看显示的影像边开始播放列表的制作。
如在步骤S13中,指示部130从用户接受指定高速率动画流的播放区间、播放顺序等的指示,则在步骤S14中,控制器131根据该指示,生成如图11所示的高速率用播放列表信息507,并写入光盘120内。
在步骤S15中,低速率动画流生成部134根据高速率动画流生成低速率动画流。该处理,通过比如由低速率动画流生成部134接受经动画流解码部142解码后的影像信号及语音信号、然后将这些信号以更低的数据速率编码来进行。还有,附属信息生成部135生成包括低速率动画流的访问数据等的附属信息。
然后,在步骤S16中,驱动控制器132将生成的低速率动画流及附属信息作为低速率动画文件写入在光盘120内。其结果,在光盘120上设置了如图9所示的低速率动画文件203~205。
接着,在步骤S17中,PC201的播放列表信息管理部140,根据高速率用播放列表信息507、高/低速率动画流,生成如图9所示的低速率用播放列表信息207。还有,高速率用播放列表信息507及低速率用播放列表信息207中,规定播放区间的参数的不同于如前面所说明的例子,但可以是相同的,或者采用其他的规定方法。
在步骤S18中,驱动控制器132在光盘120内记录低速率用播放列表信息。其结果,在光盘120内成为包括高/低速率动画流文件和与各流相应的播放列表信息文件。具体来讲,在光盘120内,记录图11中目录“dir001”内的高速率动画文件503~505及其播放列表信息文件506,并且记录图9中目录“dir001”内的低速率动画文件203~205及其播放列表信息文件206。由于是在一张光盘120内记录,因此后者的目录名可以为如“dir002”。
通过执行图12所示的处理,用户用摄像机100在光盘120内仅记录一个动画流,并生成该动画流的播放列表,能得到编码程序(比如编码速率)不同的动画流和与该动画流相应的播放列表信息。由此,与必须生成与各动画流相应的播放列表信息的情况相比,提高了便利性。通过将该光盘120再次装载在摄像机100中,使在摄像机100中低速率的动画流的播放列表播放成为可能。
(实施方式2)
本实施方式中,说明生成具有与前边的例子不同的数据结构的动画流及播放列表信息的数据处理装置。这里,说明以MPEG4系统标准(ISO/IEC14496—1)为基准的MP4文件格式的例子。还有,MP4文件格式是以Apple(注册商标)公司的QuickTime(TM)文件格式为基础规定的,近年在得到各式各样PC应用程序支持这一点上使与PC之间的亲和性提高,是很有前途的格式。
本实施方式的数据处理装置,以具有与图5所示的摄像机100及图6所示的PC201相同的功能构成而省略各自的说明。
首先,边顺次参照图13到图16,说明MP4文件的文件结构,然后,说明本发明的处理的适用例。
图13所示为MP4文件20的数据结构。MP4文件20具有附属信息21及动画流22。在MPEG4系统标准(ISO/IEC 14496—1)中,如图所示那样规定了包括MPEG2影像或者MPEG4影像的系统流(动画流)22及其附属信息21的数据结构。附属信息21作为与影像及语音对应的访问数据,分别独立地包括帧单位的数据大小、数据的存储地址、各帧的播放时间等。动画流22将影像数据及语音数据分别以一个以上的帧单位配置。
图14显示MP4文件20的具体结构。首先,说明动画流22。MP4文件20是对动画流中的数据以样本(sample)和信息块(chunk)单位来管理的。“样本(sample)”是MP4文件中流管理的最小单位,对应于比如影像帧的被编码的帧数据及语音帧的被编码的帧数据。图中显示表示影像帧的帧数据的影像样本(Video Sample)及表示语音帧的帧数据的语音样本(Audio Sample)。另一方面,“信息块(chunk)”是指1以上的样本的集合。即使信息块中仅存在有一个样本,也作为包含一个样本的信息块而被管理。
附属信息21对与影像样本相关的信息和与语音样本相关的信息分别以信息道单位进行管理。图14所示的附属信息21中,包括视频信息道及语音信息道。这些信息道中,描述各样本的大小及其显示时间、各信息道的开头位置及包含在该信息道中的样本数。播放装置能读出附属信息21的各信息道并访问所有的样本,还能进行每个样本及信息块的读出等的控制。MP4文件的管理信息中的各样本及各信息道的储存位置信息相当于前边说过的访问数据。
图15(a)及(b)分别显示MP4文件的其他结构。如图15(a)所示,附属信息和动画流3分别作为不同的MP4文件来构成。在这样的结构中,附属信息2包括控制动画流的读出的链接信息。还有,如图15(b)所示,附属信息和动画流作为一个MP4文件来构成时,该MP4文件的动画流可以从其他MP4文件的附属信息来参照。
图16是MP4文件的再一个结构。如图16所示,在规定在附属信息中的多个信息道中分别规定链接信息,根据链接信息可以参照两个以上的动画流。比如,能从信息道1(例如视频信息道)参照仅储存影像流的动画流1,从信息道2(比如音频信息道)参照仅储存语音流的动画流2。还有,在附属信息中能储存多个视频信息道和音频信息道,还能储存参照存储的文本信息的文本信息道等其他信息道。
下面说明采用图16所示的文件结构时的动画流及播放列表信息的处理。图17所示为由储存在MP4文件23中的视频信息道参照的MP4文件的动画流。MP4文件23由储存了2个视频信息道的附属信息构成。另一方面,MP4文件24及25,包括由MP4文件23的个视频信息道参照的动画流。附属信息的信息道中,除了链接和访问数据以外,还存储播放列表信息。
与前边的实施方式关联进行说明,播放列表信息用播放时刻指定进行动画流的播放的区间。被指定的时刻能参照为时间一地址变换表的访问数据而选定在该时刻应播放的影像帧。播放列表信息中,由于能储存到开始目标影像帧的播放的时间(偏移时间),因此通过偏移时间的相对关系而能规定动画流的播放区间1及影像流2的播放区间2的播放顺序。还有,当无需进行播放区间的指定时可以不设播放列表信息。
下面,边参照图18,说明以MP4文件格式储存在光盘120及半导体储存器121中的播放列表信息及动画流的例子。
图18(a)显示记录在半导体存储器121中的MP4文件等的分级构造1101,图18(b)显示记录在光盘120中的MP4文件等的分级构造1102。摄像机100及PC201能依照如各图所示的文件结构及各文件的构成来记录数据。
如图18(a)所示,半导体存储器121中储存有由低速率动画流A1104及其附属信息1103构成的MP4文件“LMOV001.mp4”、由低速率动画流B1106及其附属信息1105构成的MP4文件“LMOV002.mp4”、和仅包括附属信息1107的MP4文件“LPLY001.mp4”。附属信息1107包括规定分别对应于低速率动画流1104及1106的播放位置及播放顺序的播放列表信息、该播放中所必须的访问数据、和向参照的MP4“LMOV001.mp4”及“LMOV002.mp4”的链接信息。
另一方面,图18(b)所示的光盘120储存有由高速率动画流A1109及其附属信息1108构成的MP4文件“HMOV001.mp4”、由高速率动画流A1111及其附属信息1110构成的MP4文件“HMOV002.mp4”、和仅包括附属信息1112的MP4文件“HPLY001.mp4”。附属信息1112也同样包括规定分别对应于高速率动画流1109及1111的播放位置及播放顺序的播放列表信息、该播放中所必须的访问数据、和向参照的MP4“HMOV001.mp4”及“HMOV002.mp4”的链接信息。
构成图18(a)及(b)所示各MP4文件及各文件的数据和信息能由第一实施方式的图7所示的处理顺序来生成。比如,低速率动画流A1104及A1106、和高速率动画流A1109及A1111由摄像机100对同一影像生成、记录。另一方面,包括与低速率动画流相应的播放列表信息的附属信息1107在PC201生成、记录。包括与高速率动画流相应的播放列表信息的附属信息1112由PC201生成、记录。
图19为附属信息1107与附属信息1112的对应关系。附属信息1107包括与参照的两个MP4文件相应的信息道信息26—1及26—2。信息道信息26—1与MP4文件“LMOV001.mp4”对应、信息道信息26—2与MP4文件“LMOV002.mp4”对应。
信息道信息26—1的链接信息1201中储存有向MP4文件“LMOV001.mp4”的链接信息。播放列表信息1202中储存有用于识别低速率动画流A1104的播放区间和偏移时间、即到播放开始的偏移时间的信息。访问数据1203中规定与低速率动画流A1104相应的时间和地址的变换表。同样,在信息道信息26—2的链接信息1204中储存有向MP4文件“LMOV002.mp4”的链接信息。播放列表信息1205中储存低速率动画流B1106的播放区间和偏移时间。访问数据1206中规定低速率动画流B1106的时间和地址的变换表。
摄像机100的播放列表信息管理不110及附属信息管理部111中根据这些信息生成应储存在高速率用附属信息1112中的信息。所生成的高速率用附属信息1112也包括与参照的两个MP4文件相应的信息道信息27—1及27—2。信息道信息27—1与MP4文件“HMOV001.mp4”对应、信息道信息27—2与MP4文件“HMOV002.mp4”对应。
信息道信息27—1的链接信息1207中储存有向与链接信息1201的链接目标“LMOV001.mp4”相应的“HMOV001.mp4”的链接信息。播放列表信息1208是根据播放列表信息1202而生成、存储的。另外,访问数据1209需要根据链接目标MP4文件“HMOV001.mp4”的附属信息1108的访问数据变换生成。作为被变换的访问数据情况的例子,可以举出各影像/语音流的数据大小不同的情况和文件间的帧速率不同的情况。当为这些情况时,变更包含在访问数据中的数据大小表中的值。接着,同样地,在信息道信息27—2的链接信息1210值储存有向“HMOV002.mp4”的链接信息。播放列表信息1211中也需要根据播放列表信息1205变换、储存。访问数据1212需要根据附属信息1110的访问数据变换生成。
如上所述,本发明的AV数据记录播放装置也可适用于播放列表信息与访问数据成为一体的文件格式,并可以得到与本发明的实施方式1相同的效果。
还有,也可以不用像上述例子那样通过以依照MPEG4系统标准(ISO/IEC 14496—1)的MP4文件记录来事先准备用于在PC201中生成播放列表信息的专用应用程序软件,而使用与MP4文件相应的己知的应用程序。作为与MP4文件相应的代表性应用程序如apple公司的quicktime等。
再有,本实施方式中是以依照MPEG4系统标准(ISO/IEC 14496—1)的MP4文件为例进行的说明,但本发明并不局限于此,只要是能成为可识别播放列表信息与访问数据及动画流的对应关系的结构,还可以适用于其他的文件格式。
(实施方式3)
本实施方式中,说明在如图4(a)所示处理中同时生成高速率动画流及低速率动画流时的有用的处理。
图20显示第三实施方式的数据处理装置200的功能模块的结构。下面,以数据处理装置为摄像机的情况为例进行说明。另外,也可以其他的PC、固定型的DVD录像装置等来实现。
摄像机200在实施方式1的摄像机100中追加I帧编码控制部1301(以下称为“编码控制部1301”)。由于摄像机200的其他构成与摄像机100相同,因此在图面中赋予相同的参照符号而省略说明。
编码控制部1301控制同时生成包括MPEG影像流的高速率动画流及低速率动画流时的编码处理。具体来讲,编码控制部1301控制高速率流生成部103和低速率流生成部104以使在相应的高速率及低速率的动画流中I帧对应于相同的影像帧。
MPEG影像流中将影像的各帧分为I帧、P帧、B帧来进行编码。这其中,相对进行利用P帧及B帧间的相关的编码,I帧是在帧内完成的编码。由于I帧不使用用于解码的其他的帧数据为参照信息,因此成为从动画流的中途开始播放时的访问点。
图21(a)~(c)显示动画流内的帧数据影像帧的对应关系。首先,图21(b)帧显示输入到影像信号输入部101内的影像帧组,图21(a)显示包含在低速率动画流中的低速率MPEG影像流,图21(c)显示包含在高速率动画流中的高速率MPEG影像流。图21(a)所示的低速率动画流以仅包括(b)中所示的影像帧的数据的一部分的方式被编码。另一方面,图21(c)所示的高速率动画流以包括(b)中所示的影像帧的所有的数据的方式被编码。
高速率动画流生成部103将图21(b)中所示多个帧中赋予了斜线的帧作为I帧进行编码,生成为(c)中所示的高速率动画流。另一方面,低速率动画流生成部104也同样将图21(b)中所示多个帧中赋予了斜线的帧作为I帧进行编码,生成为(a)中所示的低速率动画流。这些都是根据来自I帧编码控制部1301的指示进行的。输入的影像帧中,哪些帧成为I帧能根据比如预定的时间间隔、设定在低速率动画流中的数据速率等来适当决定。
另外,在图21中,所示的例子是影像帧被编码为I帧或者P帧。但即使进行包括B帧在内的编码,也能以低速率动画流和高速率动画流将同一影像帧进行编码作为I帧。图22(a)~(c)显示的是将影像帧作为I、P及B帧编码时的动画流内的帧数据与影像帧的对应关系。还有,图21及图22中说明了高速率动画流和低速率动画流以不同帧速率编码的例子,但也可以以同一帧速率编码。
下面,说明将图4(a)所示的摄像机100替换为本实施方式的摄像机200时的处理。图23显示的是记录在半导体存储器121内的低速率动画流A~C与低速率用播放列表信息207的对应关系。在进行了图4(a)中所示的(1)到(3)的处理后,以这样的文件结构将数据记录在半导体存储器121内。
由播放列表信息207规定的播放区间的开始帧中指定有I帧。如上所述,由于I帧从流的中途成为开始播放时的访问点,播放装置能从播放区间的开始顺利地开始播放。另外,如在播放区间的开始帧中指定除I帧以外的帧,则为了解码该帧必须追溯到所需I帧以开始解码。由此,依照播放列表信息播放动画流时可能不能顺利地进行。
在图4(a)所示的处理中,如将记录了低速率用播放列表信息文件206的半导体存储器121装载在摄像机200中,则生成高速率用播放列表信息并记录在光盘120内。图24显示记录在光盘120内的高速率动画流A~C与高速率用播放列表信息507的对应关系。图23及图24中由于同一影像帧作为I帧编码,因此由高速率用播放列表信息507规定的播放区间的开始帧指定I帧。其结果,即使是高速率动画流,播放装置也能从播放区间的开始顺利地开始播放。
另外,本实施方式中说明了与图4(a)所示处理进行关联而得到的文件结构、动作等,但其只是例子,也可以适用于将同一影像生成数据速率不同的动画流时。比如,图4(b)所示的处理或者、同时在光盘120内记录高速率动画流和低速率动画流然后将低速率动画流拷贝或者移动到半导体存储器的处理时也能适用。
还有,本实施方式中,以动画流的I、P及B帧为例进行了说明,但也可以换读I、P及B字段那样的字段。作为包括了帧和字段两个方面的概念,可以使用“图片”这个用语。
(实施方式4)
本实施方式中,说明当在播放列表信息中规定消褪(消褪)、擦拭(wipe)等播放效果时,根据该播放列表信息生成不同编码速率的播放列表信息的处理。由于是与如图4(a)所示处理关联来进行的,因此以图4(a)的摄像机100及PC201为例说明。更具体地说,下面说明的处理,适用于进行了图4(a)所示的(1)到(3)的处理后。
图25显示记录在半导体存储器121内的低速率动画流A~C及其播放列表信息。本实施方式的播放列表信息中,是在实施方式1的播放列表信息中再加上规定IN点过渡效果、OUT点过渡效果、播放效果。过渡效果是指适用于动画流的播放开始点和结束点的播放效果。
边参照图25边说明过渡效果。首先,由于播放顺序1的IN点过渡中指定了消褪,因此适用在低速率动画流A的播放区间的开始部分由白色画面渐渐显现出影像的效果。
接着由于播放顺序2的IN点过渡效果中指定了擦拭,因此以渐渐与低速率动画流A的影像重叠的方式开始低速率动画流B的播放。还有由于用播放顺序2的播放效果(固定时间)指定了马赛克,因此低速率动画流B对该播放区间的影像整体进行了马赛克处理并播放。由于低速率动画流B的OUT点过渡效果为“没有”且播放顺序3的IN点过渡效果中指定了混合,因此如结束了低速率动画流B的影像则同时在低速率动画流C的开始部分进行组合消褪、擦拭等的处理并播放。
由于之后的播放顺序3的播放效果(固定时间)为“没有”,因此低速率动画流C以不实施播放效果来播放。最后,由于低速率动画流C的OUT点过渡效果为“消褪”,则低速率动画流C的影像被实施消褪的效果。
如上所述,能在播放列表信息中附加各种各样的效果。比如在apple公司的QuickTime等的PC应用程序中,能在播放列表信息中规定如这样的效果,还有,能适用于在动画流的播放时附加的效果。
但是,即使由播放装置具备用于在低速率动画流中实施播放效果的处理能力,但也要考虑不具备在高速率动画流中实施相同播放效果的处理能力的情况。
这里,当低速率用播放列表信息中规定了播放效果时,本实施方式的摄像机100根据预定的变换规则,生成变更了和/或删除了播放效果的高速率播放列表信息。
图26显示记录在半导体存储器121内的高速率动画流A~C、及变更和删除了播放效果的播放列表信息。如将图25与图26进行比较,则在图26中作为IN点过渡效果和OUT过渡效果规定的消褪以外的播放效果(点划线区域31的部分)都被置换为消褪效果,播放顺序3的固定时间的播放效果(点划线区域32的部分)被删除。
上述的生成高速率用播放列表信息的处理是依照:作为IN点过渡效果及OUT过渡效果仅许可消褪处理,作为固定时间的播放效果消除黑白影片这一规则进行的。
另外,播放列表信息管理部110保持有播放效果变换表,根据该变换表能生成高速率用播放列表信息。下面的表1显示的是播放效果变换表的例子。
| 变换对象的播放效果 | 变换后的播放效果 |
| 擦拭 | 消褪 |
| 混合 | 消褪 |
| 黑白 | 没有 |
| … | … |
表1
播放列表信息管理部110参照播放效果变换表,能在低速率用播放列表信息中包含有变换对象的播放效果时变换播放效果。利用这样的变换表,也能从图25所示的低速率用播放列表信息生成图26所示的高速率用播放列表信息。
还有,本实施方式中说明了与图4(a)所示处理进行关联、摄像机100变换播放列表信息的播放效果,但也可适用于图4(b)所示的处理。比如,在PC201中,当用户生成了高速率动画流的播放列表时,实行播放效果的检测处理。检测处理的结果,播放列表信息管理部110只要生成将不适合于所述规则等的播放效果进行了变更和/或删除的高速率用播放列表信息就可以。然后,在生成其后的低速率用播放列表信息时,播放列表信息管理部110只要采用检测前的播放列表信息就可以了。
至此为止的说明中,都是以根据低速率用播放列表信息生成高速率用播放列表信息进行的说明,但也可以是根据高速率用播放列表信息生成低速率用播放列表信息。
再有,在根据低速率动画流用播放列表信息编辑高速率动画流的装置中也可以适用本发明。图27显示提取设定在高速率动画流A~C中的播放区间生成的一个高速率动画流D。高速率动画流A~C的各播放区间是根据播放列表信息被规定的,但由于该播放列表信息不论是低速率用还是高速率用都是用时间指定播放区间,因此能利用低速率用播放列表信息编辑高速率用动画流。即、通过根据该播放列表信息切取出高速率动画流的各播放区间,再重新添加表示播放时刻的类型标记(type stamp),生成图27所示的高速率动画流。
按照至此为止说明的本发明的第一至第四实施方式,在上述各实施方式中都是使用半导体存储器121及光盘120,在摄像机200和PC201之间收授低速率动画流的数据文件。但是,也可以使用其他形式如电缆或无线通信收授数据文件。图28显示用USB等的数字IF电缆30连接摄像机300和PC201的例子。摄像机300的连接接口28与PC201的连接接口之间连接有数字IF电缆30。另外,利用电缆30时,可以不必有对半导体存储器121的记录功能。图29显示摄像机300的功能模块。如与图5所示的摄像机100进行比较,则可以不必设置存储器控制器109而相反设置连接电缆30的接口28。还有,摄像机300还可以具有比如图20的摄像机200所示的编码控制部1301,并进行与摄像机200同样的处理。
本说明书中,是对记录介质为DVD—RAM盘进行了说明,但并不特别局限于此。比如作为记录介质,可以是MO,DVD—R、DVD—RW、DVD+RW、CD—R、CD—RW等的光记录介质或硬盘等的磁性记录介质、半导体存储器等的半导体记录介质。但是,在图4(b)所示的处理中,优选为能储存高速率动画流的可移动记录介质。
还有,本发明的摄像机、PC等的数据处理装置能根据计算机程序进行上述处理。像这样的处理能通过根据比如图7、图12所示的流程图、实行用于各数据处理装置所描述的计算机程序来实现。计算机程序可以记录在以光盘为代表的光记录介质、以SD储存卡、EEPROM为代表的半导体记录介质、以软盘为代表的磁性记录介质等的记录介质中。还有,光盘装置100不仅能通过记录介质,还可以通过互联网等电子通信回线取得计算机程序。