CN1765130A - 数据发送装置 - Google Patents

Abstract

数据发送装置(100)使数据接收装置执行内容数据的适当的再现处理，具备：文件分析部(110)和RTSP处理部(101)，在与数据接收装置之间进行内容数据的传送路径的建立和初始化，之后，从MP4文件中取出再现控制信息发送给数据接收装置；RTP生成部(102)，通过文件分析部(110)从MP4文件中取得内容数据并打包；以及RTP发送部(103)，发送通过RTP生成部(102)已被打包的内容数据。

Description

数据发送装置

技术领域

本发明涉及一种数据发送装置，将动态图像和声音、文本等的数字内容数据打包传送。

背景技术

近年来，随着通信网络的大容量化和传送技术的进步，在网络上的面向PC(Personal Computer：个人电脑)的动态图像发送服务越来越普及。并且，作为制定无线网络中的接收终端的标准的国际标准化组织即3GPP(Third Generation Partnership Project第三代合作伙伴计划)中的标准，制定了TS26.234(Transparent end-to-end packetswitched streaming service)等，可以预测在便携式终端中的动态图像发送服务的扩大。在存储和发送声音、动态图像、静态图像及文本等的媒体数据时，将媒体数据的再现和发送所需要的标题信息和媒体数据进行复用。作为用于此的复用文件格式，MP4被标准化。MP4是在ISO/IEC JTC1/SC29/WG 11(International StandardizationOrganization/International Engineering Consortium)中被标准化了的复用文件格式，在3GPP的TS26.234中也被采用。使用了MP4的动态图像发送服务有两种。

上述两种动态图像发送服务中的一种是直接收发MP4文件的称为下载式的方式，在目前的无线终端上的动态图像发送中，该方式是主流。但是，该动态图像发送服务具有不适合于文件大小较大的长时间内容的发送，并且，不能进行快进等特殊再现的缺点。

上述两种动态图像发送服务中的另一种是称为流动式的方式，作为解决下载式的问题的方式，在无线终端上的服务正要开始。在流动式中使用的MP4文件，除了在下载式MP4文件中被复用的媒体数据外，还存储用于打包媒体数据的称为提示数据的信息。

在流动式动态图像发送服务中，不是发送MP4文件本身，而是由服务器端参照提示数据打包媒体数据，向终端发送已被打包的媒体数据。另外，由ァップル公司在日本特开2001-197120号公报中公开了提示数据的框架结构。这样地，流动式动态图像发送服务打包媒体数据(内容数据)进行发送，所以适合于长时间内容的发送。另外，由于服务器可以选择内容的任意时间的数据进行发送，所以该动态图像服务还适合于快进和跳越再现等特殊再现。

以下，详细说明使用了MP4文件的流动式动态图像发送服务。

在MP4中，在称为Box的目标单位存储标题和媒体数据。

图1是用于说明Box的结构的图。Box包含大小字段、类型字段、版本字段、标记字段、和数据字段。

在大小字段中存储也包含有该大小字段的Box整体的大小。

在类型字段中存储Box的识别符(通常为4个阿拉伯文字)。字段长度为4字节。通过判定连续4字节的数据与类型字段的识别符是否一致来进行MP4文件中的Box的检索。

在版本字段中存储Box的版本编号。在标记字段中存储对每个Box设定的标记信息。在数据字段中存储标题信息和媒体数据。另外，由于版本字段和标记字段不是必需的，随着Box有时不存在这些字段。

接着，在Box的参照中使用类型字段的识别符，例如，将其识别符为“moov”的Box称为moov。

图2是表示MP4文件的结构的数据结构图。

如图2(a)所示，MP4文件由ftyp、moov和mdat这三个Box构成，在文件的起始配置ftyp。ftyp包含用于识别MP4文件的信息。mdat存储媒体数据和提示数据。所谓提示数据是用于将媒体数据进行RTP(Real Time Transmission Protocol实时传送协议)打包来传送所需要的信息。服务器参照提示数据将媒体数据进行RTP打包并发送。另外，包含在mdat中的各种媒体和提示数据分别称为轨道(track)，通过轨道ID识别各个轨道。

并且，在MP4中以称为采样的单位来处理数据。在媒体轨道中，视频和音频的一个或多个帧相当于采样，在提示轨道中，用于生成一个以上的RTP数据包的信息相当于采样。

在moov中存储与包含在mdat的各轨道中的采样有关的标题信息。在MP4文件中moov的使用是必须的，其个数为一个。如图2(b)所示，在moov内分层次地配置有Box，在mvhd中存储整个文件中相同的标题信息。另外，分别在各自的trak中存储与音频、视频和各种媒体的轨道相关联的提示轨道的标题信息。在此，通过trak内的tkhd表示作为轨道的识别信息的轨道ID。trak如图2(c)所示地构成，在stbl内的各Box中存储采样的大小和解码时间、显示开始时间等信息。

在stts中存储采样的解码时间。即，在stts中存储着连续的两个采样之间的解码时间的差分值。因此，通过将该差分值相加，可以取得各采样的解码时间。另外，在解码时间和显示时间不同时，使用存储解码时间和显示时间的差分的、称为ctts的Box。例如，在使用双向预测进行编码的帧中，由于解码时间和显示时间不同，为了求出显示时间而使用ctts。

并且，在从轨道的中途开始(随机存取)再现时，变得需要表示解码可以开始的采样的信息。作为用于此的Box有stss，在stss中存储可以随机存取的采样(以下称为同步采样)的一览表。另外，在stss不存在的情况下，表示轨道内的所有采样可以随机存取。在此省略说明，但是，在stbl中除了上述Box以外，还存储表示采样的大小的stsz等多个Box。

下面，参照图3说明提示数据的使用方法。

图3是用于说明提示数据的使用方法的图。

在此，说明服务器由视频轨道的中途的采样(显示时间T)来生成RTP数据包时的步骤。

(1)服务器参照视频的提示轨道用的trak，并取得同步采样，该同步采样存储了对于显示时间与T一致或在T附近的视频轨道的采样进行RTP打包的信息。通过参照stts和stss并取得显示时间来进行同步采样的确定。在取得的同步采样中存储用于生成一个以上的RTP数据包所需要的信息。

另外，同步采样的显示时间表示通过起始RTP数据包开始传送的视频轨道的采样的显示时间。同步采样根据视频轨道的采样编号和采样内的字节位置，表示各自的数据包传送视频轨道的哪个部分的数据。例如，第i个RTP数据包传送从第K个采样的第L字节到第M个采样的第N字节。

(2)服务器参照视频轨道用的trak，取得从第K个到第M个的采样的存储位置。

(3)服务器以在(2)中取得的存储位置为基础，取得从第K个采样的第L字节到第M个采样的第N字节的数据。服务器对该取得的数据设定进行RTP打包所需要的其他信息而生成RTP数据包。

图4是用于说明媒体数据(内容数据)作为RTP数据包从服务器向终端发送的步骤的图。

在此，在存储装置中存储MP4文件，在服务器和终端之间的再现控制中使用RTSP(Real Time Transmission Protocol)。另外，存储装置可以在服务器内部，也可以在外部。

(1)首先，终端向服务器请求使用RTSP发送内容数据(news.mp4)。

(2)服务器确认是否可以使用news.mp4，在可以使用时对news.mp4进行存取。

(3)服务器分析news.mp4的提示轨道，取得向终端发送的内容数据，由该内容数据生成RTP数据包。

(4)服务器向终端发送存储了内容数据的RTP数据包。

接着，说明在服务器和终端之间进行的再现控制的详细情况。

图5是表示在服务器和终端之间的再现控制中被交换的RTSP信息的一例的图。图中的c->s表示从终端到服务器的信息，s->c表示从服务器到终端的信息。

(1)终端使用DESCRIBE命令，向服务器请求news.mp4的内容数据。

(2)服务器响应可以使用news.mp4，根据SDP(SessionDescription Protocol会话描述协议)发送有关news.mp4的信息(向news.mp4的存取信息等)。在此，SDP的内容的一部分存储在MP4文件的提示轨道用trak和moov正下方的称为udta的Box中。因此，服务器通过向上述一部分内容附加剩余的信息，生成SDP的内容。

(3)终端进行向服务器传送时的参数设定。

(4)服务器通知向终端传送时的参数。

通过这种(1)～(4)所示的RTSP信息的收发，进行服务器和终端之间的传送路径的建立和初始化。

(5)终端向服务器发出PLAY命令，请求开始发送news.mp4的内容数据。

(6)服务器回复表示开始发送的信息作为PLAY命令的响应，之后开始RTP数据包的发送。另外，服务器也可以在RTP数据包的发送开始后发送PLAY命令的响应。

在此，音频和视频的媒体数据(内容数据)，利用对每个媒体具有不同的识别符的RTP数据包来传送。识别符使用RTP数据包的标题中包含的SSRC(Synchronization Source同步源)。并且，传送音频和视频的媒体数据的RTP数据包发送到终端的各自不同的端口，所以可以根据端口编号识别RTP数据包传送的媒体数据。另外，在发送有两种音频的数据等、同一媒体的多个数据时，也可以利用相同方法识别RTP数据包传送的数据。

图5的(7)～(10)表示进行随机存取时的步骤。在该(7)～(10)列举的信息，表示终端的用户在观看内容数据的第10秒时跳越到第30秒的情况的内容。

(7)终端向服务器请求停止发送数据。

(8)服务器停止发送数据。

(9)终端通过发出PLAY命令，请求news.mp4的从第30秒开始的数据。

(10)服务器将表示发送从30秒到最后(60秒)的信息作为PLAY命令的响应来发送。然后，从第30秒开始的内容数据发送到终端。

(11)终端对服务器催促通信的结束步骤。

(12)服务器进行通信的结束步骤。

图6是表示以往的数据发送装置(服务器)的结构的框图。

数据发送装置具备文件分析部801、RTP生成部802、RTP发送部803和RTSP处理部804。

RTSP处理部804向数据接收装置(终端)发送发送信息d806，并且从数据接收装置接收接收信息d807，由此在与数据接收装置之间进行使用了RTSP的再现控制。RTSP处理部804分析接收信息d807，将包括MP4文件的文件名、存储位置及被请求发送的显示时间位置的RTSP请求数据d808输出给文件分析部801。

文件分析部801从未图示的存储装置取得RTSP请求数据d808所表示的MP4文件d801。接着，文件分析部801通过分析提示轨道来取得与被请求发送的显示时间位置对应的采样。文件分析部801将该取得的采样和生成RTP数据包的标题所需要的信息一起作为数据包生成数据d802输出给RTP生成部802。另外，文件分析部801将包括SDP或在发送开始时的起始RTP数据包中包含的媒体数据的显示时间信息的RTSP发送信息d805输出给RTSP处理部804。

RTP生成部802从文件分析部801取得数据包生成数据d802，并且从未图示的装置取得RTP数据包的标题信息即数据包标题信息d809。并且，RTP生成部802根据该数据包生成数据d802和数据包标题信息d809，生成RTP数据包d803并输出给RTP发送部803。

RTP发送部803取得从RTP生成部802输出的RTP数据包数据d803，将其作为RTP数据包d804发送给数据接收装置(终端)。

图7是表示数据发送装置的文件分析部801的动作的流程图。

在此，数据发送装置将视频轨道的数据从显示时间为T的部分的数据起进行RTP打包来发送。并且，视频轨道的轨道ID为1，视频轨道用的提示轨道的轨道ID为3。即，文件分析部801通过参照轨道ID＝3的提示轨道，将轨道ID＝1的视频轨道的数据进行RTP打包来发送。

首先，文件分析部801分析轨道ID＝3的轨道的stss和stts(步骤S801)。通过该分析，文件分析部801确定显示时间与T一致、或在T之前最接近T的同步采样(步骤S802)。另外，文件分析部801也可以确定显示时间在T之后最接近T的同步采样。此外，在音频等中，通常全部采样是同步采样，所以不存在stss。这样地在不存在stss的情况下，文件分析部801将全部采样作为同步采样处理。

接着，文件分析部801参照stbl内的其他的Box，取得被确定的同步采样的数据(步骤S803)。

另外，文件分析部801通过分析取得的同步采样，确定通过由该同步采样生成的RTP数据包来传送的、轨道ID＝1的视频轨道的采样(步骤S804)。

接着，文件分析部801分析轨道ID＝1的轨道的trak，并取得在步骤S804中作为RTP打包的对象被确定的采样的数据(步骤S805)。

并且，在步骤S802中确定的同步采样以后存在提示轨道的采样的情况下，文件分析部801取得该采样，并根据该采样进行与步骤S804、S805相同的动作。

以上叙述了取得单一的媒体数据的步骤，但在处理音频和视频等多种媒体时，对各媒体进行相同的处理。另外，各媒体轨道和对应的提示轨道通过轨道ID相关联。

数据接收装置取得从上述数据发送装置输出的RTP数据包d804(编码数据)，在称为缓冲器的存储器中保持该编码数据，并进行存储器内的编码数据的解码。

在此，规定了称为缓冲器模式的模式。该缓冲器模式在以预定的速率输入编码数据时，如果准备预定大小的缓冲器，可保证缓冲器不变空(下溢)或溢出(上溢)而进行解码。

缓冲器模式由每个MPEG-4AVC(Advanced Video Coding)和MPEG-4(Moving Picture Expert Group Visual)等的编码方式制定，编码数据按照该缓冲器模式被编码。

图8是表示从开始输入编码数据起的经过时间(横轴)、和数据接收装置的缓冲器的占有量(纵轴)的关系的图。

所谓缓冲器占有量是在某时间存在于缓冲器中的编码数据的数据量。例如该图8所示，按照具有倾斜度R的比特速率向缓冲器输入编码数据。数据接收装置在时刻t1对图像P1开始解码处理，分别在t2、t3、…时刻对后续的图像进行解码。即，在各个图像的解码时刻(t1、t2、…)，从缓冲器抽出相当于解码对象的图像的数据。例如，在时刻t2，从缓冲器抽出解码对象的图像的数据，由此缓冲器占有量只减少该解码对象图像的数据量Ps2。

在此，将从编码数据开始流入缓冲器到开始解码的时间称为预缓冲时间。在数据接收装置进行图8所示的动作的情况下，预缓冲时间为t1。数据接收装置根据缓冲器模式，并且遵守在编码时决定的预缓冲时间开始解码，在缓冲器占有量未超过根据视频编码标准(MPEG-4等)规定的缓冲器大小，并且，在图像的解码时刻解码对象图像的数据完全齐全的状态下，可以继续编码数据的解码。即，如图8所示，缓冲器占有量经常保持在大于零小于缓冲器大小的状态。

但是，在上述以往的数据发送装置中，由于应传送到数据接收装置的、进行RTP数据包d804的再现所需要的信息不足，所以存在不能使通过RTP数据包d804传送的编码数据对数据接收装置适当地再现的问题。

数据接收装置在从编码数据的中途图像(第5个图像P5)开始解码时，为了防止缓冲器的下溢和上溢，在从缓冲器中抽出图像P5的数据后，需要将缓冲器占有量设为偏置os5。但是，在经常经过一定时间作为预缓冲时间后，数据接收装置开始解码，所以抽出图像P5的数据后，存在使缓冲器占有量比偏置os5少的情况。

图9是表示随着预缓冲时间而不同的缓冲器占有量的时间上的变化的图。

如图9(a)所示，数据接收装置在经过预缓冲时间db后开始图像P5的解码时，由于缓冲器占有量成为偏置os5，所以在解码时刻对图像P6以后的图像也能够正常地进行解码。

但是，如图9(b)所示，在经过预缓冲时间da后，数据接收装置开始图像P5的解码时，由于缓冲器占有量成为零，所以在图像P6的解码时刻图像P6的数据不齐全，不能对图像P6进行解码。因此，数据接收装置到图像P6的数据齐全为止停止解码动作或停止显示。

这样，防止缓冲器的上溢和下溢的适当的预缓冲时间，随着成为解码的开始对象的图像而不同。数据接收装置不能在每个图像得到这样的适当的缓冲时间等、适当的再现所需要的信息，所以有时在再现时停止图像显示，会使到开始解码为止的等待时间比需要的长。

发明内容

本发明是为了解决相关问题而做出的，其目的在于，提供一种数据发送装置，使数据接收装置执行内容数据的适当的再现处理。

为达到上述目的，本发明的数据发送装置，从文件中取出数字作品的内容数据并发送给接收装置，其特征在于，所述文件将所述内容数据和使用于所述内容数据的再现处理的再现控制信息进行复用而构成，所述数据发送装置具备：前置处理单元，在与所述接收装置之间进行内容数据的传送路径的建立和初始化；控制发送单元，通过所述前置处理单元进行传送路径的建立和初始化后，从所述文件中取出所述再现控制信息的至少一部分发送给所述接收装置；数据包生成单元，从所述文件中取得内容数据的至少一部分来打包；内容发送单元，发送通过所述数据包生成单元打包后的内容数据的至少一部分。

由此，在通过前置处理单元进行传送路径的建立和初始化后，从文件中取出再现控制信息的至少一部分发送给接收装置，所以接收装置接收从内容发送单元发送的内容数据、和从控制发送单元发送的再现控制信息时，可以使用该再现控制信息对内容数据适当地进行再现处理。

并且，本发明的特征可以是，在所述文件中复用的再现控制信息，在每个所述内容数据包含的多个数据单位中，包含来自该数据单位的、使用于再现的再现控制单位信息而构成为表格形式；所述控制发送单元从所述文件的再现控制信息中取出来自与对应于所述接收装置的请求的数据单位相关联的所述再现控制单位信息来发送；所述数据包生成单元取得来自对应于所述接收装置的请求的数据单位的所述内容数据进行打包。

由此，来自对应于所述接收装置的请求的数据单位的内容数据被打包并发送，并且从控制发送单元还发送与该数据单位相关联的再现控制单位信息，因此，接收装置使用再现控制单位信息，从包含在该一部分中的起始数据单位开始对自身请求的内容数据的一部分适当地进行再现处理。

并且，本发明的特征可以是，所述再现控制单位信息表示通知定时的内容，该定时是对由所述内容发送单元发送、并由所述接收装置接收的内容数据应该开始解码处理的定时。例如，所述再现控制单位信息表示通过所述接收装置开始接收内容数据到开始所述解码处理的时间作为通知所述定时的内容。或者，所述再现控制单位信息表示通过所述接收装置存储的内容数据的数据量作为通知所述定时的内容。

由此，接收内容数据并开始向缓冲器存储的接收装置，通过使用再现控制单位信息，可以知道对存储在该缓冲器中的内容数据应该开始解码处理的定时，防止缓冲器的上溢和下溢的发生，可以适当地进行该存储的内容数据的再现处理。并且，在再现控制单位信息表示时间时，接收装置对从开始接收的时间进行计时，由此可以知道上述定时，在再现控制单位信息表示数据量时，接收装置根据存储在缓冲器中的数据量可以知道上述定时。

并且，本发明的特征可以是，所述控制发送单元将所述再现控制单位信息表示的数据量变换为从所述接收装置开始接收内容数据到开始所述解码处理为止的时间，并发送所述已变换的再现控制单位信息。在此，所述控制发送单元根据所述内容发送单元中的内容数据的传送状况变换所述再现控制单位信息。

由此，再现控制单位信息表示的数据量被变换为时间通知给接收装置，所以即使是不能掌握存储在缓冲器中的数据量的接收装置，也能够适当地知道上述定时。并且，在根据内容数据的传送状况进行上述变换的情况下，不受该传送状况的影响，可以向接收装置通知合适的时间。例如，在内容数据的发送速度已降低时，进行变换以使该时间变长，可以向接收装置通知合适的时间。

并且，本发明的特征可以是，所述内容发送单元根据传送路径的状况改变内容数据的发送速度。

由此，接收装置能够以稳定的品质再现内容数据。

并且，本发明的特征可以是，所述内容数据是包括多个图像构成的动态图像数据，所述再现控制单位信息表示能否从该数据单位的起始的图像获得正确的解码处理结果。或者，所述内容数据是包括多个图像构成的动态图像数据，在从该数据单位的起始图像开始解码处理的情况下，所述再现控制单位信息表示最先能够获得正确的解码处理结果的部位。

由此，从数据发送装置接收了内容数据的接收装置，可以选择是从未完全进行解码处理的图像输出内容，还是从正确进行解码处理的图像输出内容。

并且，本发明的特征可以是，所述内容数据是包含由连续的多个图像构成的场景作为所述数据单位的动态图像数据，所述再现控制信息表示对构成所述各场景的图像进行解码时的初始化所需要的信息。

由此，例如，在接收装置依次要求像限幅再现那样的不同的场景的图像时，数据发送装置发送各个场景(scene)并发送与这些场景相关联的再现控制单位信息，所以接收装置能够使用再现控制单位信息对每个场景适当地进行初始化，并显示各图像。

并且，本发明的特征可以是，所述内容数据是包括多个图像构成的动态图像数据，所述再现控制信息表示所述多个图像中的可以随机存取的图像的周期。

由此，接收了再现控制信息的接收装置根据该再现控制信息能够确定内容数据的可以随机存取的部位，接收装置能够从这些部位适当地进行再现处理。

另外，本发明也可以作为通过上述数据发送装置发送内容数据的数据发送方法和程序、存储该程序的存储媒体实现。

附图说明

图1是用于说明MP4文件的Box的结构的图。

图2是表示MP4文件的结构的数据结构图。

图3是用于说明提示数据的使用方法的图。

图4是用于说明媒体数据(内容数据)作为RTP数据包从服务器向终端发送的步骤的图。

图5是表示在服务器和终端之间的再现控制中交换的RTSP信息的一例的图。

图6是表示以往的数据发送装置(服务器)的结构的框图。

图7是表示上述数据发送装置的文件分析部的动作的流程图。

图8是表示从开始传输编码数据起的经过时间(横轴)、和数据接收装置的缓冲器的占有量(纵轴)的关系的图。

图9是表示随着预缓冲时间而不同的缓冲器占有量的时间上的变化的图。

图10是表示本发明的实施方式1相关的数据发送装置的结构的框图。

图11是表示在stsp中存储的预缓冲信息的内容的一例的数据内容显示图。

图12是表示在stsp中存储的预缓冲信息的内容的其他例的数据内容显示图。

图13是表示数据发送装置的文件分析部的动作的流程图。

图14是表示预缓冲信息的取得处理(图13的步骤S105)的详细的动作的流程图。

图15是表示在数据发送装置和数据接收装置之间交换的RTSP信息的一例的图。

图16是表示与本发明的实施方式2相关的数据接收装置的结构的框图。

图17是表示该数据发送装置的指示部的动作的流程图。

图18是本发明的实施方式3的存储媒体的说明图，该存储媒体存储通过计算机系统来实现实施方式1或2的数据发送装置和数据接收装置的程序。

具体实施方式

(实施方式1)

以下，参照附图说明本发明的第1实施方式的数据发送装置。

图10是表示本发明的实施方式1相关的数据发送装置的结构的框图。

本实施方式的数据发送装置100从MP4文件取出例如预缓冲时间等的适当的再现所需要的信息(再现控制信息)发送给数据接收装置，由此使该数据接收装置执行适当的再现处理。在本实施方式中使用的MP4文件是将音频、视频、或者文本的媒体数据以及提示数据进行复用的文件，上述再现控制信息在该提示数据的标题上进行了复用。另外，在本实施方式中使用的MP4文件，表示用MPEG-4AVC和MPEG-4Visual、H.263等编码方式进行编码的视频数据。

这种数据发送装置100具备：文件分析部110、RTSP处理部101、RTP生成部102、RTP发送部103以及文件生成部104。

文件生成部104取得内容数据的数据流来生成MP4文件，并在存储装置中存储该MP4文件。

RTSP处理部101向数据接收装置发送发送信息d107，并且从数据接收装置接收接收信息d108，由此与数据接收装置之间进行使用了RTSP的再现控制。在此，发送信息d107中包括从文件分析部110取得的RTSP送出信息d105和再现参数信息d110的至少一方。RTSP处理部101分析接收信息d108，将包括MP4文件的文件名、存储位置、以及正在请求发送的显示时间位置的RTSP请求数据d101输出给文件分析部110。

文件分析部110分析MP4文件来生成用于生成RTP数据包所需要的数据和进行RTSP通信所需要的数据，具备：RTP分析部112、信息取得部111、再现分析部113以及变换部114。

RTP分析部112通过信息取得部111取得RTSP请求数据d101，并通过分析MP4文件的提示(hint)轨道，取得包含与该RTSP请求数据d101对应的采样(sample)的采样数据d102。另外，RTP分析部112向信息取得部111输出该取得的采样数据d102，向再现信息部113输出包含位于采样数据d102起始的采样的采样编号的采样编号信息d103。所谓采样编号是用于识别采样的编号。例如，对轨道的各采样，从起始采样开始按顺序分配采样编号1、2、3…。另外，采样编号信息d103也可以包含提示轨道和媒体轨道的轨道ID。

信息取得部111从RTP分析部112取得采样数据d102。信息取得部111将该取得的采样数据d102和生成RTP数据包的标题所需要的信息作为数据包生成数据d104输出给RTP生成部102。另外，信息取得部111根据采样数据d102，生成包括顺序编号、时间标记、SDP、或在开始发送RTP数据包时包含在起始的媒体数据的显示时间信息等的RTSP发送信息d105，输出给RTSP处理部101。

再现分析部113从RTP分析部112取得采样编号信息d103。再现分析部113从MP4文件的提示轨道取得与该取得的采样编号信息d103表示的采样编号的采样以后的各采样相关的再现控制信息d109。并且，再现分析部113将取得的再现控制信息d109输出给变换部114。再现控制信息d109是用于在数据接收装置侧适当地进行从采样编号信息d103表示的采样编号的采样开始的再现处理的信息。例如，该再现控制信息d109是在数据接收装置的缓冲器中用于进行不产生上溢和下溢那样的、适当的预缓冲的预缓冲信息。

变换部114将从再现分析部113取得的再现控制信息d109变换为RTSP的参数，生成再现参数信息d110，并将其输出给RTSP处理部101。

RTP生成部102从文件分析部110取得数据包生成数据d104，并且从未图示的装置取得RTP数据包的标题信息即数据包标题信息d111。另外，该数据包标题信息d111包含顺序编号的初始值等。并且，RTP生成部102根据数据包生成数据d104和数据包标题信息d111，生成RTP数据包d112。

RTP发送部103将在RTP生成部102生成的RTP数据包d112发送给数据接收装置。

这样的本实施方式的数据发送装置100，例如由数据接收装置请求发送视频的中途开始的数据时，参照提示轨道用的stss。并且，数据发送装置100从提示轨道的同步采样中确定对数据接收装置的请求最恰当的采样，根据确定的采样以后的采样，生成视频数据的RTP数据包来发送。在由数据接收装置请求从显示时间T的部分开始的数据(RTP数据包)的情况下，数据发送装置100确定显示时间与T相同、或在T之前并最接近T的提示轨道的同步采样。另外，数据发送装置100也可以确定显示时间在T之后最接近T的同步采样。

另外，本实施方式相关的数据发送装置100，在根据提示轨道的同步采样生成一个以上的RTP数据包时，将对利用起始的RTP数据包最先传送的视频轨道的采样的再现参数信息d110作为发送信息d107发送给数据接收装置。从这种数据发送装置100接收了RTP数据包的数据接收装置，根据该再现参数信息d110(再现控制信息d109)，对其接收的RTP数据包可以进行适当的再现。

在此，说明本实施方式的数据发送装置100处理的MP4文件的结构。

MP4文件作为再现控制信息包括预缓冲信息。再现控制信息是用于通过数据接收装置适当地进行来自各采样的再现处理的信息。预缓冲信息是用于适当地进行来自各采样的预缓冲的信息，在提示轨道用的trak的stbl正下方配置的stsp(SyncSample To PrebufBox)中呈表格形式存储。具体地，预缓冲信息根据各采样(图像)表示从开始接收到开始解码的预缓冲所需要的时间(预缓冲所需时间)、以及从开始接收到开始解码的预缓冲所需要的数据量(预缓冲所需数据量)。

图11是表示在stsp中存储的预缓冲信息的内容的一例的数据内容显示图。

如图11(a)所示，预缓冲信息D109包括提示轨道的同步采样的采样编号(同步采样编号)、以及与该采样编号的同步采样对应的预缓冲所需数据量。预缓冲用数据量在从根据与其对应的同步采样来生成的RTP数据包起开始了通过数据接收装置的接收的情况下，表示从该开始接收到开始解码之前需要在数据接收装置的缓冲器中存储的数据量。

例如，数据接收装置在从根据采样编号1的同步采样来生成的RTP数据包d112起开始接收时，在接收到15000字节的RTP数据包d112起开始解码。另外，也可以将该预缓冲所需数据量作为数据包中包含的视频和音频的编码数据的量，以使预缓冲所需数据量不依存于RTP等的传输协议。

图11(b)是表示存储如上述的预缓冲信息D109的stsp的句法的一例的图。图11中的sync_sample_number表示同步采样的采样编号，prebuf_data_byte表示预缓冲所需数据量。

图12是表示在stsp中存储的预缓冲信息的内容的其他例的数据内容显示图。

如图12(a)所示，预缓冲信息D109包括提示轨道的同步采样的采样编号(同步采样编号)、以及与该采样编号的同步采样对应的预缓冲所需时间。

例如，数据接收装置在从根据采样编号1的同步采样来生成的RTP数据包d112起开始接收时，在从该接收开始起经过1.875(s)后开始RTP数据包d112的解码。换言之，在传输速率为64000(bps)的情况下，在缓冲器中存储了64000×1.875/8＝15000字节的数据时，数据接收装置开始RTP数据包d112的解码。

图12(b)是表示存储如上述的预缓冲信息D109的stsp的句法的一例的图。图12中的sync_sample_number表示同步采样的采样编号，prebuf_period表示预缓冲所需时间。

另外，如果可以表示同步采样的预缓冲信息，也可以通过其他方法在MP4文件中存储该预缓冲信息。例如，与使用Sample to ChunkBox(’stsc’)表示采样参照的采样项目的索引编号相同地、将预缓冲信息作为stbl内的Box中的表数据的项目存储，使同步采样和所述项目的索引编号相关联。

图13是表示数据发送装置100的文件分析部110的动作的流程图。另外，以下将再现控制信息d109作为预缓冲信息进行说明。

在此，数据发送装置100将视频轨道的数据从显示时间为T的部分的数据起进行RTP打包来发送。此外，视频轨道的轨道ID为1，视频轨道用的提示轨道的轨道ID为3。即，文件分析部110通过参照轨道ID＝3的提示轨道，将轨道ID＝1的视频轨道的数据进行RTP打包来发送。另外，在此说明视频数据，但对于音频数据或文本数据，也可以使用预缓冲信息。

首先，文件分析部110分析轨道ID＝3的轨道(提示轨道)的stbl(stss和stts)(步骤S101)。通过该分析，文件分析部110确定显示时间与T一致、或在T之前最接近T的同步采样(步骤S102)。接着，文件分析部110参照stbl内的其他Box，取得确定的同步采样的数据(步骤S103)。另外，文件分析部110通过分析取得的同步采样，确定通过由该同步采样生成的RTP数据包来传送的、轨道ID＝1的视频轨道的采样(步骤S104)。

接着，文件分析部110参照轨道ID＝3的提示轨道的stsp，由此取得根据在步骤S103确定的同步采样(轨道ID＝3)进行RTP打包的、对起始的RTP数据包(图像)的预缓冲信息d109(步骤S105)。

取得了预缓冲信息d109的文件分析部110将该预缓冲信息d109变换为RTSP的参数，生成再现参数信息d110(步骤S106)。

接着，文件分析部110分析轨道ID＝1的视频轨道的trak，取得在步骤S104中作为RTP打包的对象而被确定的采样(步骤S107)。

并且，文件分析部110对在步骤S102中确定的同步采样以后的提示轨道的采样，取得该采样的数据，并继续进行和步骤S104、S107相同的动作。

另外，数据发送装置100可以在取得同步采样(步骤S103)之前进行预缓冲信息的取得处理(S105)，也可以在取得视频轨道的采样(步骤S107)之后进行。

图14是表示预缓冲信息的取得处理(图13的步骤S105)的详细的动作的流程图。

另外，stsp以图11(b)所示的句法表示，并假定在图13的步骤S103中确定的提示轨道的同步采样的采样编号为N。

首先，文件分析部110将用于读出数据的指针设定在stsp的entry_count字段的起始，将计数值设定为0(步骤1)。

接着，文件分析部110取得包含在stsp中的项目数M(步骤S202)，使指针前进4字节(步骤S203)。

接着，文件分析部110在计数值上加1(步骤S204)，取得同步采样的采样编号(sync_number)(步骤S205)。文件分析部110再使指针前进4字节(步骤S206)。

文件分析部110判定在步骤S105中取得的同步采样的采样编号(sync_number)是否等于N(步骤S207)。如果等于N(步骤S207为是)，文件分析部110取得与采样编号为N的同步采样对应的预缓冲信息d109(步骤S208)。在不相等时(步骤S207为否)，文件分析部110判定计数值是否小于项目数M(步骤S209)。在此，如果计数值比项目数M小(步骤S209为是)，文件分析部110反复执行步骤S204～S207的处理。另一方面，在计数值大于等于项目数M时(步骤S209为否)，文件分析部110不能取得与采样编号为N的同步采样对应的预缓冲信息d109，而取得预先设定的默认值，将该默认值作为预缓冲信息d109来使用(步骤S210)。

图15是表示在本实施方式的数据发送装置100和数据接收装置之间所交换的RTSP信息的一例的图。

如(1)～(5)所示，数据发送装置100进行与数据接收装置之间的传送路径的建立和初始化后，将预缓冲信息d109变换为再现参数信息d110，并将其作为RTSP的PLAY命令的响应发送给数据接收装置。例如图15所示，数据发送装置100将表示预缓冲所需时间的预缓冲信息d109变换为根据3GPP TS 26.234标准规定的称为x-initprebufperiod的再现参数信息d110，将该再现参数信息d110包含在发送信息d107中发送。

具体地说明在图15的(6)中发送的再现参数信息d110。

例如，在图11(a)所示的预缓冲信息D109存储在stsp中的情况下，数据发送装置100取得“预缓冲所需数据量15000字节”作为与采样编号1的同步采样对应的预缓冲信息d109。在RTP数据包的传输速率为64000bps、时间量程为90000时，数据发送装置100将该取得的预缓冲信息d109变换为90000×15000×8/64000＝168750的再现参数信息d110(x-initprebufperiod)。

具体地说明在图15的(10)中发送的再现参数信息d110。

例如，在从视频轨道的显示时间为30秒的位置的采样起开始发送的情况下，数据发送装置100取得“预缓冲所需数据量9000”作为与采样编号300的同步采样对应的预缓冲信息d109。在RTP数据包的传输速率为64000bps、时间量程为90000时，数据发送装置100将其取得的预缓冲信息d109变换为90000×9000×8/64000＝101250的再现参数信息d110(x-initprebufperiod)。

另外，在图15所示的例中，数据发送装置100发送再现参数信息d110(预缓冲信息)作为PLAY命令的响应，但在从内容(例如视频)的起始起开始发送RTP数据包时，也可以将再现参数信息d110存储在SDP中发送。并且，数据发送装置100可以发送再现参数信息d110作为对RTSP标准中的其他命令或新生成的命令等的响应，而不作为PLAY命令的响应。

在此，如上所述地在数据发送装置100使用默认值来代替从stsp取得预缓冲信息的情况下，该默认值作为预缓冲所需数据量，例如表示相当于缓冲器大小的三分之二的数据量。

例如，MPEG-4Visual的情况下，不能在VOL(Video ObjectLayer)内表示预缓冲信息时，规定了将根据标准决定的、相当于缓冲器大小的三分之二的数据量的编码视频数据进行预缓冲后开始解码。因此，数据发送装置100将相当于缓冲器大小的三分之二的数据量作为默认值使用。

这样地本实施方式的数据发送装置100将预缓冲信息d109变换为再现参数信息d110，并发送给数据接收装置，因此，数据接收装置根据该已变换的预缓冲信息d109，可以确定RTP数据包的适当的解码开始时间。其结果，数据接收装置例如可以不中断地再现从数据发送装置100通过RTP发送的视频数据。

在此，详细说明MPEG-4AVC和MPEG-4Visual的各种情况下的文件生成部104的动作。

在MPEG-4AVC中，可以向视频数据的数据流内输入称为SEI(Supplemental Enhancement Information)的、用于解码的辅助信息。SEI在解码中不直接需要，却是进行解码时成为帮助的信息，例如可以表示与预缓冲所需时间和随机存取相关的信息。

特别是表示预缓冲信息的SEI称为缓冲期SEI(Buffering periodSEI)，存储从缓冲期SEI后面紧接的图像数据开始输入MPEG-4AVC的解码缓冲器、到开始该图像的解码为止的时间长度。

即，文件生成部104参照数据流中包含的缓冲期SEI，生成具有如上述的stsp的MP4文件。

例如以下说明，缓冲期SEI表示1秒作为到图像N的开始解码为止的时间长度，并且到开始解码为止成为时间的计算基准的速率为64000bps的情况。

该情况下，在接收了64000×1/8＝8000字节的MPEG-4AVC视频数据后，开始图像M的解码。在此，在生成MP4文件的提示轨道时，决定用于传送8000字节的视频数据所需要的RTP数据包的个数，因此，文件生成部104将RTP数据包的标题的大小的总和与8000字节相加。并且，文件生成部104将该相加结果作为预缓冲所需数据量(预缓冲信息)存储在stsp中。例如，如果用20个RTP数据包传送8000字节的视频数据，使RTP数据包的标题大小为12字节，则RTP数据包的标题大小的总和成为12×20＝240字节。其结果，8000+240＝8240字节成为预缓冲所需数据量。

另外，在MPEG-4AVC视频数据的数据流不能使用缓冲期SEI的情况下，文件生成部104与数据流分开地取得图像的预缓冲信息。或者，文件生成部104由该数据流中包含的各图像的大小和解码时间等计算出预缓冲信息。

另一方面，在MPEG-4Visual中，视频数据的数据流的VOL(Video Object Layer)内的参数表示从缓冲器中抽出VOL后面紧接的VOP(Video Object Plane)数据之前的缓冲器占有量。即，该缓冲器占有量表示预缓冲所需数据量。因此，如果在可以随机存取的图像之前配置了VOL，文件生成部104由该VOL内的参数计算出对VOL后面紧接的图像的预缓冲所需数据量(预缓冲信息)。

以上，使用上述实施方式说明了本发明的数据发送装置100，但本发明的数据发送装置100不限定于这些。

例如，在本实施方式中，如图12所示，在stsp中只包含了表示预缓冲所需时间的预缓冲信息，但存在传输速率变化的情况，所以也可以在stsp内存储传输速率作为用于导出该预缓冲所需时间的基准。并且，也可以在MP4文件的其他位置存储。

在通过网络发送RTP数据包等的数据包数据时，网络的传输速率未必恒定，而产生波动。例如，即使数据发送装置100以64000bps的传输速率发送了RTP数据包，如果网络越来越混乱，有时该传输速率下降到60000bps。

在这种情况下，接收了RTP数据包的数据接收装置，如果将预缓冲所需时间设定为1秒，虽然预缓冲用数据量为64000比特，但是在缓冲器占有量达到了60000比特的时刻开始解码。

因此，如上所述地如果在stsp中存储着传输速率，数据发送装置100也将该传输速率传给数据接收装置，由此可以确定适合于数据接收装置的预缓冲所需时间。

并且，在本实施方式中，在stsp中设置了同步采样编号的字段，但也可以省略这个。

并且，在本实施方式中，使RTP数据包的传输速率恒定，但正在发送内容时，在网络的拥挤或数据包丢失的产生频率等、传送路径的状况变化的情况下，也可以根据该状况变化积极地改变RTP数据包的传输速率。该情况下，数据发送装置100从存储在stsp中的预缓冲信息D109取得预缓冲所需数据量，根据发送时的传输速率计算预缓冲所需时间。

例如，数据发送装置100取得“预缓冲所需数据量15000字节”作为对由PLAY命令请求的视频数据的预缓冲信息d109时，根据传输速率64000bps，判断预缓冲所需时间为15000×8/64000＝1.875秒。但是，由于网络的混乱，数据发送装置100在开始发送由PLAY命令请求的视频数据时，主动地或必然地将上述传输速率变更为60000bps。由此，数据发送装置100使预缓冲所需时间为15000×8/60000＝2.0秒来改变上述判断。并且，数据发送装置100将表示“预缓冲所需时间为2.0秒”的预缓冲信息d109变换为再现参数信息d110并发送给数据接收装置，作为对PLAY命令的响应。

但是，在传送路径中产生数据包丢失时，仅通过如上所述地只是变更传给数据接收装置的预缓冲所需时间，有时不能防止数据接收装置侧的缓冲器的上溢和下溢。

例如，在开始解码时，尽管需要第1～第N个的N个RTP数据包，但随着发生数据包丢失，数据接收装置在由数据发送装置100通知的预缓冲所需时间内，有时只能接收从第1～第N-2个的RTP数据包。这时，数据接收装置如果在经过了预缓冲用时间的时刻开始解码，由于缺少第N-1个和第N个的RTP数据包，所以产生缓冲器的下溢。

因此，数据发送装置100也可以向数据接收装置发送用于确定在开始解码之前需要接收的RTP数据包的信息、例如顺序编号作为预缓冲信息d109。在RTP数据包的标题中包含称为顺序编号的数据包的识别编号。RTP数据包的标题中包含的顺序编号是在从数据发送装置100发送之前的RTP数据包的标题中包含的顺序编号加1的值。因此，在开始解码之前需要接收第1～第N个的RTP数据包的情况下，将这些RTP数据包的顺序编号设为1～N，数据发送装置100传给数据接收装置表示顺序编号1～N的信息作为预缓冲信息d109。

并且，在本实施方式中，在MP4文件的提示轨道(提示轨道用的trak)中包括预缓冲信息D109作为再现控制信息，但除此以外，也可以包括表示从图像的解码结束到显示为止的等待时间的信息、与对内容的特定区间进行解码时需要的缓冲器大小以及发送时的加密相关的信息。另外，在RTP数据包中交织地发送编码数据的情况下，也可以包括(1)表示交织的深度的信息，(2)从1个图像的数据的开始接收到结束为止花费的时间、或者开始接收时刻和解码时刻的差分值等由交织引起的延迟时间的信息，或者(3)表示接收及重新构成交织进行RTP打包的编码数据来用于分离为各个图像所需要的缓冲器的大小的信息等，在数据接收装置的数据接收、解码和显示时有效的信息作为再现控制信息。该情况下，数据发送装置100从MP4文件的trak取得这种再现控制信息，变换为再现参数信息d110发送给数据接收装置。

并且，以由连续的多个图像构成的场景(scene)单位，将视频数据的解码处理的初始化所需要的场景初始化信息，与场景的索引编号或场景的起始采样的采样编号等的用于识别场景的信息相关联，可以作为再现控制信息包含在MP4文件中。在MPEG-4AVC中，顺序参数集合(Sequence Parameter Set)和图像参数集合(Picture ParameterSet)相当于场景初始化信息。该情况下，例如在数据接收装置像限幅再现那样地按顺序请求不同场景的图像时，数据发送装置100将请求的各场景的图像数据作为RTP数据包发送，并且在RTSP的PLAY响应等中包含与这些相关联的场景初始化信息来发送，所以数据接收装置能够使用场景初始化信息对每个场景适当地进行初始化，并对各图像进行解码而显示。另外，关于开始接收的起始场景的场景初始化信息，可以将该场景初始化信息包含于SDP中，所以也可以不包含于PLAY响应中。

并且，也可以在MP4文件中包含图像周期信息作为再现控制信息，该图像周期信息表示包含在视频数据中的可以随机存取的图像的周期。该情况下，接收了图像周期信息的数据接收装置，根据该图像周期信息能够确定视频数据的可以随机存取的部位，并且能够从这些部位适当地进行再现处理。例如，数据接收装置可以根据该确定结果事先判断是否可以随机存取约30秒前的时间位置的图像，可以防止突然随机存取5分钟前的时间位置的图像。

并且，在本实施方式中，使用RTSP将预缓冲信息d109(再现参数信息d110)发送给数据接收装置，但也可以使用RTSP以外的协议来发送。

并且，在本实施方式中，在stsp中存储对应于视频的预缓冲信息D109，但也可以存储与视频以外的内容(媒体)、例如与音频和文本等对应的预缓冲信息。

并且，在本实施方式中，为了将预缓冲信息D109与MP4文件进行复用而使用了stsp，但是，在MPEG-2TS(Transport Stream传输数据流)等RTP以外的传送方式中，将用于生成数据包的信息与MP4文件进行复用的情况下也可以使用该stsp。

并且，在本实施方式中，在stsp中只存储了对通过stss表示的同步采样的预缓冲信息，但是，也可以存储对除此以外的采样的预缓冲信息。例如，可以在stsp中存储对除同步采样以外的、存储I图像的采样，或所有采样的预缓冲信息。并且，在stsp中可以存储对存储附加了恢复点(Recovery Point)SEI的I图像的采样的预缓冲信息。

另外，可以在视频轨道的标题信息中存储预缓冲信息等的再现控制信息。例如，通过对于视频轨道定义stsp那样的Box，使与视频轨道的同步采样有关的预缓冲信息能够包含于该Box中。具体地，由提示轨道的同步采样参照的视频轨道的采样是同步采样或同步采样以外的可以随机存取的采样，所以在视频轨道的标题信息中存储与该视频轨道的采样有关的预缓冲信息。在MPEG-4AVC中，也可以将与包含恢复点SEI的采样有关的预缓冲信息存储在标题信息中。

在此，说明上述的恢复点SEI。

在MPEG-4AVC中，利用stss表示的同步采样表示IDR(Instantaneous Decoder Refresh)图像。IDR图像是按解码顺序IDR图像以后的图像不参照按解码顺序IDR图像以前的图像可以进行解码的图像，具有与MPEG-2的closed GOP的起始I图像相同的特征。在MPEG-4AVC中，除IDR图像以外也存在可以随机存取的图像，这些图像可以通过上述的恢复点SEI识别。

恢复点SEI包括在从该SEI后面紧接的图像开始了解码时，表示对几个图像进行解码就可以得到与原图像相同品质的图像的信息，或断开链接的识别信息。即，附加了恢复点SEI的I图像具有与MPEG-2中的open-GOP的起始I图像相同的特征。因此，如上所述，也可以在stsp中存储对附加了恢复点SEI的I图像的采样的预缓冲信息。

并且，数据发送装置100可以将通过上述的恢复点SEI表示的信息作为再现控制信息处理。由此，从附加了恢复点SEI的I图像接收了视频数据的数据接收装置，根据在该接收之前取得的再现控制信息可以选择是显示不完全的解码图像，还是从成为能够获得正确的解码图像开始显示，并且可以取得用于从正确的解码图像进行显示而需要预先进行解码的图像的个数。

并且，在本实施方式中，在MP4文件的trak的stsp中存储了预缓冲信息D109，但是也可以在trak或moov的正下方作为SDP数据存储。并且，还可以扩展提示轨道中的采样的定义，在mdat中存储预缓冲信息D109作为提示轨道的采样。

(实施方式2)

以下，参照附图说明本发明的实施方式2的数据接收装置。

本实施方式的数据接收装置使用根据RTSP从实施方式1的数据发送装置100接收的再现控制信息(再现参数信息)，进行媒体(内容)数据的适当的再现。

另外，该数据接收装置作为媒体数据接收的视频数据可以是按照MPEG-4AVC编码的数据，也可以是MPEG-4Visual或H.263等其他编码方式的视频数据。

图16是表示本实施方式的数据接收装置的结构的框图。

数据接收装置200具备：RTP接收处理部201、解码部202、显示部203、RTSP处理部204和指示部205。

RTSP处理部204从数据发送装置100接收包含再现参数信息的接收信息d205，并且向数据发送装置100发送发送信息d207，由此在与数据发送装置100之间进行使用了RTSP的再现控制。在此，以下说明再现参数信息作为表示预缓冲信息。

RTSP处理部204取得接收信息d205中包含的预缓冲信息时，根据该预缓冲信息确定预缓冲所需时间。例如，在RTP接收处理部201接收RTP数据包时，RTSP处理部204判断为应该在从该接收开始只经过了根据预缓冲信息确定的预缓冲所需时间的时刻开始解码。

另外，RTSP处理部204将包括每个媒体(内容)的RTP数据包的同步信息的RTP控制数据d206输出给RTP接收处理部201，并且向指示部205输出包括上述预缓冲所需时间的解码开始信息d209。

并且，RTSP处理部204取得外部命令d208。该外部命令d208是通过数据接收装置200的用户的操作产生的信息，表示以下内容：指示内容接收的开始或结束、临时停止、向内容中的特定时间位置跳越等。

RTP接收处理部201在接收RTP数据包d201，并从RTP数据包d201取得例如视频的编码数据d202后，将该编码数据d202输出给解码部202。另外，RTP接收处理部201瞬间地进行从RTP数据包d201的接收到编码数据d202的输出为止的处理。并且，根据RTP控制数据d206，确定成为解码开始的对象的RTP数据包。

并且，RTP接收处理部201在已开始接收RTP数据包d201的时刻，向指示部205输出接收开始信号d210。

指示部205根据接收开始信号d210和解码开始信息d209决定开始解码的定时，将指示开始解码的开始指示信号d211输出给解码部202。

解码部202从指示部205取得开始指示信号d211时，开始编码数据d202的解码，将解码数据d203输出给显示部203。

即，在RTP接收处理部201接收了RTP数据包d201起只经过了预缓冲所需时间的时刻，本实施方式的解码部202开始解码处理。

显示部203从解码部202取得解码数d203时，显示该解码数据d203的内容。

图17是表示本实施方式的数据接收装置200的指示部205的动作的流程图。

首先，指示部205从RTP接收处理部201取得接收开始信号d210，从RTSP处理部204取得解码开始信息d209(步骤S401)。例如，接收开始信号d210表示已开始接收与轨道ID＝1的视频轨道相关的RTP数据包d201。

指示部205以该接收开始信号d210的接收为触发，对从开始RTP数据包d201的接收起的经过时间进行计时(步骤S402)。

接着，指示部205判断在步骤S402中已计时的经过时间与解码开始信息d209中包含的预缓冲所需时间是否相等(步骤S403)。例如，假定RTP接收处理部201接收的RTP数据包d201是轨道ID＝1的视频轨道的数据，并且RTSP的PLAY命令的响应的接收信息d205中包含称为“预缓冲所需时间M秒”的预缓冲信息的情况。该情况下，指示部205判定轨道ID＝1的视频轨道的RTP数据包d201从接收开始是否经过了M秒。

指示部205在判别为与预缓冲所需时间相等时(步骤S403为是)，将开始指示信号d211输出给解码部202(步骤S404)，在判别为与预缓冲所需时间不同时(步骤S403为否)，再次执行从步骤S402的动作。

以上，使用上述实施方式说明了本发明相关的数据接收装置200，但本发明相关的数据接收装置200不限定于这些。

例如，在本实施方式中，从RTSP的PLAY命令的响应的接收信息d205取得预缓冲信息，但是，也可以从对于RTSP的PLAY命令以外的现有命令或新规定的命令的响应即接收信息d205取得预缓冲信息。并且，可以从根据RTSP以外的协议的信息取得预缓冲信息。

并且，在本实施方式中，取得了表示预缓冲所需时间的预缓冲信息，但是，也可以取得表示预缓冲所需数据量的预缓冲信息。

该情况下，在每次接收该数据包时或每隔一定时间，RTP接收处理部201将表示对每个媒体(内容)已接收的RTP数据包d201的总数据量的总量信息输出给指示部205。指示部205根据该总量信息比较RTP数据包d201的总数据量和预缓冲所需数据量，在这些数据量一致时输出开始指示信号d211。另外，数据量的比较可以在每次取得总量信息时或每隔一定时间进行。

并且，在本实施方式中，取得变换为再现参数信息的预缓冲信息作为再现控制信息，但也可以取得与接收、解码或显示处理相关联的信息作为再现控制信息。该情况下，指示部205或RTSP处理部204根据所取得的信息控制解码部202和显示部203。

并且，在本实施方式中，作为预缓冲信息取得了预缓冲所需时间，但是，也可以取得程序编号作为预缓冲信息。该情况下，数据接收装置200全部接收了由取得的程序编号表示的RTP数据包时，开始解码处理。数据接收装置200未能全部接收RTP数据包时，向数据发送装置100请求未能接收的RTP数据包。或者，数据接收装置200在开始解码之前，对用户发出警告的基础上，根据预先设定的条件开始解码。该警告是通知用户由于在解码处理中途产生的下溢或上溢，内容的显示具有停止的可能性。

(实施方式3)

另外，将用于实现上述各实施方式所示的数据发送装置100和数据接收装置200的程序记录在软盘等存储媒体中，由此在可以在独立的计算机系统中容易地实施上述各实施方式所示的处理。

图18是关于存储程序的存储媒体的说明图，该程序用于通过计算机系统实现实施方式1、2的数据发送装置100和数据接收装置200的程序。

图18中的(b)表示从软盘FD的正面和侧面看的外观，以及从记录媒体的主体即盘主体FD1的正面看的外观，图18中的(a)表示盘主体FD1的物理格式的示例。

盘主体FD1内置于壳体F内，在盘主体FD1的表面上形成有从外周朝向内周的同心圆状的多个轨道Tr，各个轨道在角方向上划分成16个扇区Se。因此，在存储了上述程序的软盘FD中，在上述盘主体FD1上被划分的区域中记录着上述程序。

并且，图18中的(c)表示在软盘FD上用于进行上述程序的记录再现的结构。

在软盘FD上记录上述程序时，计算机系统Cs通过软盘驱动器FDD写入上述程序。并且，在计算机系统Cs中构建软盘FD内的程序时，利用软盘驱动器FDD从软盘FD读出程序，并转送给计算机系统Cs。

另外，在上述说明中，使用软盘FD作为记录介质进行了说明，但使用光盘也可以同样地进行。并且，记录媒体不限于此，如果是可以记录程序的IC卡、ROM盒等的记录媒体可以同样地实施。

工业上利用的可能性

本发明涉及的数据发送装置，可以对数据接收装置执行内容数据的适当的再现处理，例如对面向便携式终端的动态图像发送服务中使用的服务器等非常有用。

Claims (19)

1.一种数据发送装置，从文件中取出数字作品的内容数据，发送给接收装置，其特征在于，

所述文件将所述内容数据和使用于所述内容数据的再现处理的再现控制信息进行复用而构成，

所述数据发送装置具备：

前置处理单元，与所述接收装置之间进行内容数据的传送路径的建立和初始化；

控制发送单元，通过所述前置处理单元进行传送路径的建立和初始化后，从所述文件中取出所述再现控制信息的至少一部分，发送给所述接收装置；

数据包生成单元，从所述文件中取得内容数据的至少一部分并打包；以及

内容发送单元，发送通过所述数据包生成单元打包后的内容数据的至少一部分。

2.根据权利要求1所述的数据发送装置，其特征在于，在所述文件中被复用的再现控制信息，在每个所述内容数据包含的多个数据单位，包括来自该数据单位的、使用于再现的再现控制单位信息而构成为表格形式；

所述控制发送单元从所述文件的再现控制信息中，取出并发送与对应于来自所述接收装置的请求的数据单位相关联的所述再现控制单位信息；

所述数据包生成单元取得并打包来自对应于所述接收装置的请求的数据单位的所述内容数据。

3.根据权利要求2所述的数据发送装置，其特征在于，所述再现控制单位信息表示通知定时的内容，该定时是对从所述内容发送单元发送、并由所述接收装置接收的内容数据应该开始解码处理的定时。

4.根据权利要求3所述的数据发送装置，其特征在于，所述再现控制单位信息表示从所述接收装置开始接收内容数据到开始所述解码处理为止的时间，作为通知所述定时的内容。

5.根据权利要求3所述的数据发送装置，其特征在于，所述再现控制单位信息表示通过所述接收装置接收的内容数据的数据量，作为通知所述定时的内容。

6.根据权利要求5所述的数据发送装置，其特征在于，所述控制发送单元将所述再现控制单位信息表示的数据量变换为从所述接收装置开始接收内容数据到开始所述解码处理为止的时间，并发送所述已变换的再现控制单位信息。

7.根据权利要求6所述的数据发送装置，其特征在于，所述控制发送单元根据所述内容发送单元中的内容数据的传送状况变换所述再现控制单位信息。

8.根据权利要求7所述的数据发送装置，其特征在于，所述内容发送单元根据传送路径的状况改变内容数据的发送速度。

9.根据权利要求2所述的数据发送装置，其特征在于，所述内容数据是包括多个图像构成的动态图像数据，

所述再现控制信息构成为，在内容数据中包括的所有图像每一个图像中，包含所述再现控制单位信息。

10.根据权利要求2所述的数据发送装置，其特征在于，所述内容数据是包括多个图像构成的动态图像数据，

所述再现控制信息构成为，在每个所述内容数据包括的进行了帧内编码的图像中，包含所述再现控制单位信息。

11.根据权利要求2所述的数据发送装置，其特征在于，所述内容数据是包括多个图像构成的动态图像数据，

所述再现控制单位信息表示能否从该数据单位的起始的图像得到正确的解码处理结果。

12.根据权利要求2所述的数据发送装置，其特征在于，所述内容数据是包括多个图像构成的动态图像数据，

所述再现控制单位信息表示在从该数据单位的起始的图像开始了解码处理的情况下，最初能够得到正确的解码处理结果的部位。

13.根据权利要求2所述的数据发送装置，其特征在于，所述内容数据是包括由连续的多个图像构成的场景作为所述数据单位的动态图像数据，

所述再现控制信息表示对构成所述各场景的图像进行解码时的初始化所需要的信息。

14.根据权利要求1所述的数据发送装置，其特征在于，所述内容数据是包括多个图像构成的动态图像数据，

所述再现控制信息表示所述多个图像之中的可以随机存取的图像的周期。

15.根据权利要求1所述的数据发送装置，其特征在于，在所述文件中被复用的再现控制信息，是来自所述内容数据中包括的预定的一个数据单位的、使用于再现的再现控制单位信息，

所述控制发送单元根据来自所述接收装置的请求，从所述文件中取出并发送所述再现控制单位信息，

所述数据包生成单元根据来自所述接收装置的请求，取得并打包来自所述数据单位的所述内容数据。

16.一种数据发送方法，从文件中取出数字作品的内容数据发送给接收装置，其特征在于，

所述文件将所述内容数据和使用于所述内容数据的再现处理的再现控制信息进行复用而构成，

所述数据发送方法包括：

前置处理步骤，与所述接收装置之间进行内容数据的传送路径的建立和初始化；

控制发送步骤，在进行了传送路径的建立和初始化后，从所述文件中取出所述再现控制信息的至少一部分发送给所述接收装置；

数据包生成步骤，从所述文件中取得并打包内容数据的至少一部分；以及

内容发送步骤，发送在所述数据包生成步骤已被打包的内容数据的至少一部分。

17.根据权利要求16所述的数据发送方法，其特征在于，在所述文件中被复用的再现控制信息，在每个所述内容数据包含的多个数据单位中，包含来自该数据单位的、使用于再现的再现控制单位信息，而构成为表格形式，

在所述控制发送步骤，从所述文件的再现控制信息中，取出并发送与对应于所述接收装置请求的数据单位相关联的所述再现控制单位信息，

在所述数据包生成步骤，取得并打包来自对应于所述接收装置的请求的数据单位的所述内容数据。

18.根据权利要求17所述的数据发送方法，其特征在于，所述再现控制单位信息表示通知定时的内容，该定时是对在内容发送步骤发送并存储在所述接收装置的内容数据应该开始再现处理的定时。

19.一种程序，用于从文件中取出数字作品的内容数据发送给接收装置，其特征在于，

所述文件是将所述内容数据和使用于所述内容数据的再现处理的再现控制信息进行复用而构成，

所述数据发送方法使计算机执行以下步骤：

前置处理步骤，与所述接收装置之间进行内容数据的传送路径的建立和初始化；

控制发送步骤，在进行了传送路径的建立和初始化后，从所述文件中取出所述再现控制信息的至少一部分发送给所述接收装置；

数据包生成步骤，从所述文件中取得并打包内容数据的至少一部分；以及

内容发送步骤，发送在所述数据包生成步骤已被打包的内容数据的至少一部分。

Images