CN106162204A - 全景视频生成、播放方法、装置及系统 - Google Patents
全景视频生成、播放方法、装置及系统 Download PDFInfo
- Publication number
- CN106162204A CN106162204A CN201610525899.8A CN201610525899A CN106162204A CN 106162204 A CN106162204 A CN 106162204A CN 201610525899 A CN201610525899 A CN 201610525899A CN 106162204 A CN106162204 A CN 106162204A
- Authority
- CN
- China
- Prior art keywords
- video
- frame
- information
- user
- panoramic video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000006073 displacement reaction Methods 0.000 claims description 12
- 230000004044 response Effects 0.000 claims description 3
- 230000002194 synthesizing effect Effects 0.000 claims description 2
- 238000007654 immersion Methods 0.000 abstract description 16
- 239000004575 stone Substances 0.000 description 16
- 230000002708 enhancing effect Effects 0.000 description 11
- 238000013507 mapping Methods 0.000 description 10
- 238000003860 storage Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 7
- 210000003128 head Anatomy 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 210000000887 face Anatomy 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 230000000007 visual effect Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000015572 biosynthetic process Effects 0.000 description 3
- 230000003993 interaction Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 238000007906 compression Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000000205 computational method Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000151 deposition Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 230000035807 sensation Effects 0.000 description 1
- 210000000697 sensory organ Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/296—Synchronisation thereof; Control thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
本发明涉及一种全景视频生成、播放方法、装置及系统。该方法包括：获取全景视频的视频帧；确定视频帧对应的方位信息和/或地理位置信息，其中视频帧的方位信息表示视频帧的拍摄方位，视频帧的地理位置信息表示视频帧的拍摄位置；将视频帧与方位信息和/或所述地理位置信息进行关联；以及基于关联后的视频帧以及方位信息和/或地理位置信息生成全景视频数据。本发明能够使所播放的全景视频能够与所面向的方位和/或所处的位置相适应，增强了用户浸入式的VR体验。
Description
技术领域
本发明涉及视频技术领域，尤其涉及一种全景视频生成、播放方法、全景视频生成、播放装置及全景视频系统。
背景技术
全景视频技术涉及计算机图形学、人机交互技术、传感技术、人工智能等领域，它用计算方法生成逼真的三维视、听等感觉，提供用户关于视觉、听觉等感官的模拟，让用户通过使用各种装置将自己“投射”到这个虚拟的环境中，使用户如同身临其境地观察三维空间内的场景。但是，目前在不同用户通过全景视频播放设备观看全景视频时，都是始于相同的默认起点和方向，用户看到的播放内容可能与他所处的现实环境或者所关注的方向完全不相关，造成全景视频的播放与用户的欣赏需求不相适应，导致用户缺乏浸入式的虚拟现实(VR，Virtual Reality)体验，然而，如果通过用户手动来调整全景视频的播放内容，又会给用户带来操作负担，分散用户的精力，影响用户体验。
发明内容
技术问题
有鉴于此，本发明提出一种全景视频的生成、播放方案，使得全景视频的播放能够适应于用户的欣赏需求，增强用户的VR体验效果。
解决方案
为了解决上述技术问题，提出了一种全景视频生成方法，所述方法包括：获取全景视频的视频帧；确定所述视频帧对应的方位信息和/或地理位置信息，其中所述视频帧的方位信息表示所述视频帧的拍摄方位，所述视频帧的地理位置信息表示所述视频帧的拍摄位置；将所述视频帧与所述方位信息和/或所述地理位置信息进行关联；以及基于关联后的所述视频帧以及所述方位信息和/或所述地理位置信息生成全景视频数据。
为了解决上述技术问题，提出了一种全景视频播放方法，所述方法包括：获取全景视频数据，其中所述全景视频数据包括视频帧及与所述视频帧相关联的方位信息和/或地理位置信息；获取用户的方位信息和/或地理位置信息，其中所述用户的方位信息表示所述用户面向的方位，所述用户的地理位置信息表示所述用户所处的地理位置；将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户。
为了解决上述技术问题，提出了一种全景视频生成装置，所述装置包括：视频获取部件，用于获取全景视频的视频帧；确定部件，用于确定所述视频帧对应的方位信息和/或地理位置信息，其中所述视频帧的方位信息表示所述视频帧的拍摄方位，所述视频帧的地理位置信息表示所述视频帧的拍摄位置；关联部件，用于将所述视频帧与所述方位信息和/或所述地理位置信息进行关联；以及生成部件，用于基于关联后的所述视频帧以及所述方位信息和/或所述地理位置信息生成全景视频数据。
为了解决上述技术问题，提出了一种全景视频播放装置，所述装置包括：第一获取部件，用于获取全景视频数据，其中所述全景视频数据包括视频帧及与所述视频帧相关联的方位信息和/或地理位置信息；第二获取部件，用于获取用户的方位信息和/或地理位置信息，其中所述用户的方位信息表示所述用户面向的方位，所述用户的地理位置信息表示所述用户所处的地理位置；展示部件，用于将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户。
为了解决上述技术问题，提出了全景视频系统，所述全景视频系统包括：全景视频采集设备，用于采集全景视频的视频帧并提供给全景视频生成设备；全景视频生成设备，所述全景视频生成设备承载有上述的全景视频生成装置；服务器，用于存储所述全景视频生成设备上传的全景视频数据；全景视频播放设备，所述全景视频播放设备承载有上述的全景视频播放装置，所述全景视频播放设备用于从所述服务器下载全景视频数据，并为用户进行播放。
有益效果
通过获取全景视频的视频帧，并确定视频帧对应的方位信息和/或地理位置信息；将视频帧与方位信息和/或地理位置信息进行关联，从而能够在播放全景视频时，能够根据用户的方位信息和/或地理位置信息，将与用户的方位信息和/或地理位置信息相对应的全景视频数据展示给用户，使全景视频的播放内容能够与用户所处现实环境和/或关注方向一致，使用户获得浸入式的VR体验。
根据下面参考附图对示例性实施例的详细说明，本发明的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本发明的示例性实施例、特征和方面，并且用于解释本发明的原理。
图1示出根据本发明一实施例的全景视频生成方法的流程图；
图2示出根据本发明一实施例的全景视频播放方法的流程图；
图3示出根据本发明一实施例的全景视频生成装置的结构图；
图4示出根据本发明一实施例的全景视频生成装置的另一结构图；
图5示出根据本发明一实施例的全景视频播放装置的结构图；
图6示出根据本发明一实施例的全景视频播放装置的另一结构图；
图7示出根据本发明一实施例的全景视频系统的结构图；
图8示出了本发明的另一个实施例的一种全景视频设备的结构框图。
具体实施方式
以下将参考附图详细说明本发明的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本发明，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本发明同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本发明的主旨。
实施例1
图1示出根据本发明一实施例的全景视频生成方法的流程图。如图1所示，该方法可应用于全景视频生成设备，该全景视频生成方法主要包括：
步骤101，获取全景视频的视频帧；
步骤102，确定所述视频帧对应的方位信息和/或地理位置信息，其中所述视频帧的方位信息表示所述视频帧的拍摄方位，所述视频帧的地理位置信息表示所述视频帧的拍摄位置；
步骤103，将所述视频帧与所述方位信息和/或所述地理位置信息进行关联；以及
步骤104，基于关联后的所述视频帧以及所述方位信息和/或所述地理位置信息生成全景视频数据。
本发明实施例提供的全景视频生成方法，能够获取全景视频的视频帧，确定视频帧对应的方位信息和/或地理位置信息，能够将视频帧与方位信息和/或地理位置信息进行关联，并基于关联后的视频帧以及方位信息和/或地理位置信息生成全景视频数据。通过上述技术手段，使全景视频结合了方位信息和地理位置信息，使得能够基于用户所需方位和/或位置来播放全景视频，增强了用户浸入式的VR体验。
在一个示例中，步骤102中所述方位信息可包括以下中的一种或多种：东、东南、南、西南、西、西北、北、东北、上、下；水平方向变化范围为0度至360度的方位角；垂直方向变化范围为0度至360度的方位角。
在一个示例中，全景视频的视频帧可以从全景视频采集设备获取，全景视频采集设备可以是摄像头、传感器等任意能够采集全景视频的视频帧的装置或其组合，采集设备可以是一个或多个，可以分布式布设在所需的位置，并通过有线或无线方式将所采集的视频帧传输至全景视频生成设备，全景视频生成设备获取这些视频帧后可进行本实施例的处理，以生成全景视频数据。
以对博物馆进行全景视频采集为例，可采用多镜头对博物馆1号陈列室进行全方位的视频图像采集，例如可采用10个镜头，使10个镜头的拍摄方位分别为东、东南、南、西南、西、西北、北、东北、上、下，由于每个镜头已经确定了拍摄方位，因此根据各个镜头的ID，即可确定与该镜头所拍摄的视频帧对应的方位信息。如果采用拍摄视角较好的广角镜头，也可采用6个镜头，使6个镜头的拍摄方位分别为东、南、西、北、上、下来对1号陈列室进行全方位的视频图像采集。也可将镜头布置在圆形导轨上，镜头可沿圆形导轨作0度至360度旋转，在该镜头拍摄视频图像时，可记录某一时刻，与拍摄的视频帧对应的镜头旋转到的方位角。还可以在圆形导轨上等间隔布置多个镜头，例如可在圆形导轨上布置3个镜头，镜头的拍摄方位角分别为0度、120度、240度，由于每个镜头已经确定了拍摄方位，因此各个镜头在拍摄时，可确定与所拍摄的视频帧对应的方位信息。可通过分别布置在水平方向圆形导轨和垂直方向圆形导轨上的镜头对陈列室进行全方位的视频图像采集。以上示例，可以使全景视频的视频帧与方位信息相对应，便于在全景视频进行播放时，能够根据用户的欣赏需要改变全景视频的视角，从而使全景视频中播放画面的拍摄方位与用户关注的方位相一致，增强了用户浸入式的VR体验。
在一个示例中，步骤102中所述地理位置信息可包括所述视频帧的拍摄位置的经纬度信息，和/或所述视频帧的拍摄位置相对于基准位置的位移信息。
再以对博物馆进行全景视频采集为例，可在博物馆的门口处任取一点作为全景视频拍摄的起点，开始进行全景视频的采集，并将该点作为后续移动拍摄的基准点(即基准位置)。可在起点处，采用GPS接收器等定位工具，获取在起点位置拍摄的视频帧对应的经纬度信息。通常GPS接收器的定位精度在3米至30米之间，并且受大雾、云层遮挡等天气的影响，有时会接收不到经纬度信息，因此，可在小范围内进行移动位置拍摄时，采用相对于基准点的位移信息来标识在不同位置拍摄的视频帧对应的地理位置信息。本领域技术人员可以采用现有技术(例如电子罗盘、测距装置等)来获取拍摄镜头相对于基准点的位移信息，本发明对此不作限制。当然，在定位工具精度足够高的情况下，也可以针对各视频帧都采用拍摄位置的经纬度信息作为地理位置信息。以上示例，可使全景视频的视频帧与地理位置信息相对应，便于在播放全景视频时，能够根据用户的欣赏需要改变全景视频的播放画面的拍摄位置，使得播放画面的内容与用户所处的实际位置一致，增强了用户浸入式的VR体验。
以对博物馆进行全景视频采集为例，可根据博物馆的占地面积、陈列室的布局选择500至800个不同位置，进行全景视频的各方位的视频采集，选择的拍摄位置越多，在不同位置拍摄的方位越多，越有利于用户在全景视频中自由主动地从不同位置、不同角度欣赏博物馆的具体风貌。
在一个示例中，可采用如下方法来记录与全景视频的视频帧相对应的方位信息和/或地理位置信息。例如，在采集博物馆这类静态图像为主的全景视频时，可在起点处记录镜头采集视频帧的时间、与该视频帧对应的该镜头的方位信息和该镜头在起点的经纬度信息，在下一次采集视频帧时，可将方位信息分解为水平方向和垂直方向的变化，记录该次方位信息与上一次方位信息在水平方向和垂直方向的差值，还可记录该次位移信息与上一次位移信息的差值，此外，用来标识视频帧的时间戳可通过采集相邻两次视频帧的时间间隔来计算。通过上述技术手段，可有效减小数据量，降低视频采集设备硬件处理视频数据的压力，并节约了数据存储空间。
在一个示例中，在步骤103中可以针对全景视频中的每个视频帧都关联其相应的方位信息和/或地理位置信息，也可以是每隔一定的视频帧间隔统计和关联一次方位信息和/或地理位置信息，该视频帧间隔可以根据需要进行选取，例如，如果是拍摄方向和位置切换较频繁的全景视频，可以选取较小的视频帧间隔，如果是拍摄方向和位置切换较不频繁的全景视频，可以选取较大的视频帧间隔。关联方式的一个例子是将方向信息和/或地理位置信息与视频帧的时间戳相关联，例如以与视频帧相同的时间轴，记录所统计的方向信息和/或地理位置信息对应的全景视频的时间偏移量，由此建立该方向信息和/或地理位置信息与对应于相同时间偏移量的视频帧之间的关联。
在另一个示例中，该全景视频生成方法还可包括：对所获取的所述视频帧、所述方位信息和/或所述地理位置信息进行去重。
举例而言，由于视频生成设备获取全景视频时，获取了大量不同方位，不同位置的视频帧数据，并且需要记录与这些视频帧对应的方位信息与地理位置信息，这对视频生成设备的硬件处理能力造成很大压力，同时需要相对于普通视频采集和生成更多的数据存储空间，因此，可依据全景视频的采集需求(例如上一示例中，以静态图像为主的博物馆)，对所获取的视频帧以及对应的方位信息和/或所述地理位置信息进行去重。例如，针对方向信息和/或地理位置信息无变化的一组连续的视频帧，可以将它们关联到一个共同的方向信息和/或地理位置信息，并记录这一组视频帧的起始帧，而不必针对其中的每个视频帧都关联和保存各自的方向信息和/或地理位置信息，以降低对视频生成设备的硬件处理能力的压力，并节约存储空间。相应地，在播放全景视频时，可根据用户的需要从上述起始帧开始播放这组视频帧。本领域技术人员可采用现有的去重方法来进行上述操作，本发明对此不作限制。
在一个示例中，该全景视频生成方法还可包括：创建与所述视频帧相对应的描述信息；将所述视频帧与所述方位信息和/或所述地理位置信息、以及所述描述信息进行关联；基于关联后的所述视频帧、所述方位信息和/或所述地理位置信息、以及所述描述信息生成全景视频数据。
举例而言，描述信息可以是针对所拍摄的视频帧或者该视频帧中的某些特定对象的文字、语音或其他任何形式的描述，例如，在对博物馆一块四方碑进行全景视频采集时，可创建与四方碑各个面的视频帧相对应的文字信息或语音信息，这可以通过例如人工输入描述信息，或对视频帧中的对象进行识别和描述信息匹配等各种方式来实现。例如，将碑上的古文转换为简体字，或者讲解碑文的历史故事的语音等。可将不同碑面对应的文字信息与不同碑面的视频帧以及与视频帧对应的方位信息和/或地理位置信息进行关联后，生成全景视频数据，这样，在全景视频播放时，可在根据用户的方位信息和/或地理位置信息向用户展示全景视频图像的同时，向用户提供在全景视频的当前播放画面中特定对象的描述信息(例如文字信息、语音信息等)，以方便用户对关注对象的了解。
在一个示例中，该全景视频生成方法还可包括：对所获取的视频帧、与视频帧对应的方位信息和/或地理位置信息(以及可选的描述信息等)进行保存，并将保存的视频帧、方位信息和/或地理位置等按照预定的格式进行封包，生成全景视频数据包，还可将生成的全景视频数据包通过网络上传至服务器，以供服务器进行存储，方便用户下载播放。本领域技术人员可采用现有的存储方法、封包方法、压缩方法及传输方法进行上述操作，本发明对此不作限制。
实施例2
图2示出根据本发明一实施例的全景视频播放方法的流程图。如图2所述，该方法可应用于全景视频播放设备。该全景视频播放方法主要包括：
步骤201，获取全景视频数据，其中所述全景视频数据包括视频帧及与所述视频帧相关联的方位信息和/或地理位置信息；
步骤202，获取用户的方位信息和/或地理位置信息，其中所述用户的方位信息表示所述用户面向的方位，所述用户的地理位置信息表示所述用户所处的地理位置；
步骤203，将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户。
本发明实施例提供的全景视频播放方法，能够获取用户的方位信息和/或地理位置信息，并能够将与用户的方位信息和/或地理位置信息相对应的全景视频数据中的视频帧展示给用户。这样一来，所播放的全景视频能够与用户所处位置和/或所面向(关注)的方向相适应，增强了用户浸入式的VR体验。
在一个示例中，步骤202中的用户的方位信息和/或地理位置信息可以通过多种方式来获得，例如可通过可穿戴设备(例如VR头盔)、智能终端(例如智能手机)等用户使用的设备来获得，也可以通过现场环境中的摄像设备、传感设备等进行采集，并传递给全景视频播放设备，本发明对此不作限制。
在一个示例中，上述步骤203将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户，可包括：将用户的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，将与该对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。
以用户佩戴VR头盔观看实施例1中生成的四方碑的全景视频为例，VR头盔可通过无线网络从服务器下载根据实施例1生成的全景视频数据包，并可对该全景视频数据包进行解包，以获取全景视频的视频帧及与视频帧相关联的方位信息和/或地理位置信息。VR头盔可实时采集用户方位信息和地址位置信息，可将用户实时的方位和/或地理位置与全景视频中的方位和/或地理位置建立对应关系(即进行映射)，通过上述映射可使全景视频所播放的视频帧的拍摄方位和/或拍摄位置会根据用户在现实环境中所处的方位和/或位置的改变而改变。例如，用户在全景视频中欣赏四方碑的一面碑文后，想欣赏相邻一面碑文的文字，此时用户可在现实环境中围绕眼睛观看到的四方碑进行绕行以改变自己的观看位置，并可转动头部来改变自己的观看方位，基于该方法中的上述对应关系，全景视频的播放画面也会转变为相应拍摄方向和拍摄位置的画面，与用户的观看位置和方位保持一致。通过上述技术手段，用户可根据自己的欣赏需要自由走动，可以自由地选择处在某一位置，以某一方位欣赏全景视频中视频图像，增强了用户浸入式的VR体验。
可以根据需要，设置用户的方位信息和/或地理位置信息与用户在全景视频中对应的方位信息和/或地理位置信息之间的“映射”关系，本发明对此不作限制。例如，如果全景视频中的视频帧关联的方位信息是东、南、西、北、上、下六个方向中的一个，而VR头盔采集的用户方位信息是方位角信息，则可以建立用户的方位角的角度范围与视频帧的相应方向之间的映射关系(例如以正北方向为基准，0度到22.5度，以及337.5度到360度的方位角可映射到全景视频的“北”方向，等等)。再例如，如果全景视频中视频帧关联的方位信息是东、南、西、北、上、下六个方向中的一个，而检测发现用户面向东南方向，由于在全景视频采集时，没有采集东南方位的视频帧，此时，可将将用户的方位信息映射到全景视频中的“东”和“南”两个方向，并将与两个方向相关联的视频帧合成后展示给用户。对地理位置信息也可以以类似的方式建立映射关系。
在一个示例中，上述步骤203将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户，可包括：将用户的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，确定与该对应的方位信息和/或地理位置信息相关联的第一视频帧；确定拍摄方向与所述第一视频帧相邻的第二视频帧；将所述第一视频帧和第二视频帧合成后展示给用户。
举例而言，为了在全景视频中增大展示给用户的视场范围，如果经映射后得到关联至“东”方向的视频帧，可将东北、东、东南三个相邻方向的视频帧进行合成后展示给用户，以提供更广阔的视场范围。
在一个示例中，该全景视频数据还可包括与所述视频帧相关联的描述信息；将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户，可包括：将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧以及相关联的描述信息展示给用户。关于将描述信息展示给用户的说明可参见实施例1中的相关说明，此处为简明起见，不再赘述。
在一个示例中，该全景视频播放方法还包括：响应于用户对目标方位的提示要求，将用户当前面向的方位至目标方位的转动方向和/或转动幅度指示给用户。
举例而言，传统的全景视频由于没有进行视频帧与方位信息的关联，多个用户在观看同一全景视频时，并不确切的知道自己面对的方位，例如，在多人互动观看传统的同一全景视频时，某一用户提示大家向东看，但大家在观看该传统的全景视频时，并不知道东在哪个方位。本发明实施例1中全景视频生成方法对视频帧与方位信息进行了关联，因此在进行全景视频播放时，能够使不同用户有统一的方位视角，全景视频播放设备(例如VR头盔)可响应某一用户要求大家向东看的提示要求，检测各用户当前面向的方位，并可指示给各用户向东看各自需要转动的方向(或者还可以指示转动角度)，用户可按该指示的转动方向、角度，转动头部。如前文所述，全景视频播放设备可根据用户面对的方向播放相应的视频帧，因此不同用户按照指示转动到相同方向后，就会具有统一的方位视角，提高了用户之间的互动交流，增强了用户浸入式的VR体验。
在一个示例中，以上所说的将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户，可包括：以与用户的方位信息和/或地理位置信息相对应的全景视频数据中的视频帧作为起点，展示全景视频数据中的后续视频帧。例如，在用户改变面向方位或者所处地理位置的情况下，可以以改变后的方向和位置相对应的全景视频数据中的视频帧作为起点继续播放后续视频帧，即后续全景视频内容。
在一个示例中，本实施例也可以根据用户输入的方位信息和/或地理位置来展示全景视频。例如，可将用户输入的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，并将与所述对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。例如，用户可以通过按键、手势动作等输入其想要观看的拍摄方位和拍摄位置，相应地，全景视频可切换至与该拍摄方位和拍摄位置相对应的视频帧，并以此视频帧为起点继续播放。
实施例3
图3示出根据本发明一实施例的全景视频生成装置的结构图。如图3所示，该装置300可用于实现实施例1中方法各步骤的操作，该全景视频生成装置300主要包括：
视频获取部件301，用于获取全景视频的视频帧；
确定部件302，用于确定所述视频帧对应的方位信息和/或地理位置信息，其中所述视频帧的方位信息表示所述视频帧的拍摄方位，所述视频帧的地理位置信息表示所述视频帧的拍摄位置；
关联部件303，用于将所述视频帧与所述方位信息和/或所述地理位置信息进行关联；以及
生成部件304，用于基于关联后的所述视频帧以及所述方位信息和/或所述地理位置信息生成全景视频数据。
通过获取全景视频的视频帧，确定视频帧对应的方位信息和/或地理位置信息，能够将视频帧与方位信息和/或地理位置信息进行关联，并基于关联后的视频帧以及方位信息和/或地理位置信息生成全景视频数据，根据本发明实施例的全景视频生成装置能够使全景视频结合了方位信息和地理位置信息，能够基于用户所需方位和/或位置来播放全景视频，增强了用户浸入式的VR体验。
在一个示例中，所述方位信息可包括以下中的一种或多种：东、东南、南、西南、西、西北、北、东北、上、下；水平方向变化范围为0度至360度的方位角；垂直方向变化范围为0度至360度的方位角。
视频获取部件301可以获取来自摄像头、传感器等视频采集设备的全景视频的视频帧。以对博物馆进行全景视频采集为例，可采用多镜头对博物馆1号陈列室进行全方位的视频图像采集，例如，视频采集部件可采用10个镜头进行拍摄，并将拍摄到的视频帧提供给视频获取部件301，可使10个镜头的拍摄方位分别为东、东南、南、西南、西、西北、北、东北、上、下，由于每个镜头已经确定了拍摄方位，因此各个镜头在拍摄时，确定部件302根据视频获取部件301所获取的视频帧对应的镜头ID，即可确定与所获取的视频帧对应的方位信息。如果采用拍摄视角较好的广角镜头，也可采用6个镜头，使6个镜头的拍摄方位分别为东、南、西、北、上、下来对1号陈列室进行全方位的视频图像采集。也可将镜头布置在圆形导轨上，镜头可沿圆形导轨作0度至360度旋转，在该镜头拍摄视频图像时，确定部件302可记录某一时刻，与拍摄的视频帧对应的镜头旋转到的方位角，该方位角可以由视频采集设备提供给确定部件302，也可以由驱动视频采集部件运动的驱动部件提供给确定部件302。还可以在圆形导轨上等间隔布置多个镜头，例如可在圆形导轨上布置3个镜头，镜头的拍摄方位角分别为0度、120度、240度，由于每个镜头已经确定了拍摄方位，因此各个镜头在拍摄时，确定部件302可确定与所拍摄的视频帧对应的方位信息。可通过分别布置在水平方向圆形导轨和垂直方向圆形导轨上的镜头对陈列室进行全方位的视频图像采集。以上示例，可以使全景视频的视频帧与方位信息相对应，便于在全景视频进行播放时，能够根据用户的欣赏需要改变全景视频的视角，从而使全景视频中播放画面的拍摄方位与用户关注的方位相一致，增强了用户浸入式的VR体验。
在一个示例中，所述地理位置信息可包括所述视频帧的拍摄位置的经纬度信息，和/或所述视频帧的拍摄位置相对于基准位置的位移信息。
再以对博物馆进行全景视频采集为例，可在博物馆的门口处任取一点作为全景视频拍摄的起点，开始进行全景视频的采集，确定部件302可将该点作为后续移动拍摄的基准点(即基准位置)，确定部件302可以与GPS接收器等定位工具连接，可在起点处利用GPS接收器等定位工具，获取在起点位置拍摄的视频帧对应的经纬度信息。通常GPS接收器的定位精度在3米至30米之间，并且受大雾、云层遮挡等天气的影响，有时会接收不到经纬度信息，因此，可在小范围内进行移动位置拍摄时，采用相对于基准点的位移信息来标识在不同位置拍摄的视频帧对应的地理位置信息。确定部件302可以与电子罗盘、测距装置等方向及位置测量装置连接，来获取拍摄镜头相对于基准点的位移信息。当然，在定位工具精度足够高的情况下，也可以针对各视频帧都采用拍摄位置的经纬度信息作为地理位置信息。以上示例，可使全景视频的视频帧与地理位置信息相对应，便于在播放全景视频时，能够根据用户的欣赏需要改变全景视频的播放画面的拍摄位置，使得播放画面的内容与用户所处的实际位置一致，增强了用户浸入式的VR体验。
以对博物馆进行全景视频采集为例，可根据博物馆的占地面积、陈列室的布局选择500至800个不同位置，进行全景视频的各方位的视频采集，选择的拍摄位置越多，在不同位置拍摄的方位越多，越有利于用户在全景视频中自由主动地从不同位置、不同角度欣赏博物馆的具体风貌。
在一个示例中，确定部件302可采用如下方式来记录与全景视频的视频帧相对应的方位信息和/或地理位置信息。例如，在采集博物馆这类静态图像为主的全景视频时，确定部件302可在起点处记录镜头采集视频帧的时间、与该视频帧对应的该镜头的方位信息和该镜头在起点的经纬度信息，在下一次采集视频帧时，可将方位信息分解为水平方向和垂直方向的变化，记录该次方位信息与上一次方位信息在水平方向和垂直方向的差值，还可记录该次位移信息与上一次位移信息的差值，此外，用来标识视频帧的时间戳可通过采集相邻两次视频帧的时间间隔来计算。通过上述技术手段，可有效减小数据量，降低视频生成设备硬件处理视频数据的压力，并节约了数据存储空间。
在一个示例中，如图4所示，全景视频生成装置300还可包括：去重部件305，用于对所采集的所述视频帧、所述方位信息和/或所述地理位置信息进行去重。
举例而言，由于视频生成设备获取全景视频时，获取了大量不同方位，不同位置的视频帧数据，并且需要记录与这些视频帧对应的方位信息与地理位置信息，这对视频生成设备的硬件处理能力造成很大压力，同时需要相对于普通视频采集、生成更多的数据存储空间，因此，去重部件305可依据全景视频的采集需求(例如上一示例中，以静态图像为主的博物馆)，对所获取的视频帧以及对应的方位信息和/或所述地理位置信息进行去重。例如，去重部件305针对方向信息和/或地理位置信息无变化的一组连续的视频帧，可以将它们关联到一个共同的方向信息和/或地理位置信息，并可记录这一组视频帧的起始帧，而不必针对其中的每个视频帧都关联和保存各自的方向信息和/或地理位置信息，以降低对视频生成设备的硬件处理能力的压力，并可节约存储空间。相应地，在播放全景视频时，可根据用户的需要从上述起始帧开始播放这组视频帧。本领域技术人员应理解去重部件305可采用现有的去重方法来实现上述操作，本发明对此不作限制。
在一个示例中，如图4所示，全景视频生成装置300还可包括：信息描述部件306，用于创建与所获取的视频帧相对应的描述信息；其中，关联部件303还可用于将所述视频帧与所述方位信息和/或所述地理位置信息、以及所述描述信息进行关联；生成部件304还可用于基于关联后的所述视频帧、所述方位信息和/或所述地理位置信息、以及所述描述信息生成全景视频数据。
举例而言，描述信息可以是针对所拍摄的视频帧或者该视频帧中的某些特定对象的文字、语音或其他任何形式的描述，例如，视频采集设备在对博物馆一块四方碑进行全景视频采集时，信息描述部件306可创建与四方碑各个面的视频帧相对应的文字信息或语音信息，这可以通过例如人工输入描述信息，或对视频帧中的对象进行识别和描述信息匹配等各种方式来实现。例如，可将碑上的古文转换为简体字，或者讲解碑文的历史故事的语音等。关联部件303可将不同碑面对应的文字信息与不同碑面的视频帧以及与视频帧对应的方位信息和/或地理位置信息进行关联后，可由生成部件304生成全景视频数据，这样，在全景视频播放时，可在根据用户的方位信息和/或地理位置信息向用户展示全景视频图像的同时，向用户提供在全景视频的当前播放画面中特定对象的描述信息(例如文字信息、语音信息等)，以方便用户对关注对象的了解。
在一个示例中，该全景视频生成装置还可包括：保存部件，可用于对所获取的视频帧、与视频帧对应的方位信息和/或地理位置信息进行保存，封包部件，可用于将保存的视频帧、方位信息和/或地理位置按照预定的格式进行封包，生成全景视频数据包。通信部件(例如蓝牙设备)，可将生成的全景视频数据包通过网络上传至服务器，以供服务器进行存储，方便用户下载播放。本领域技术人员应理解上述部件可采用现有技术方法(例如现有的存储方法、封包方法、压缩方法及传输方法)来实现上述操作，本发明对此不作限制。
实施例4
图5示出根据本发明一实施例的全景视频播放装置的结构图。如图5所示，该装置500可应用于全景视频播放设备，该全景视频播放装置500主要包括：
第一获取部件501，用于获取全景视频数据，其中所述全景视频数据包括视频帧及与所述视频帧相关联的方位信息和/或地理位置信息；
第二获取部件502，用于获取用户的方位信息和/或地理位置信息，其中所述用户的方位信息表示所述用户面向的方位，所述用户的地理位置信息表示所述用户所处的地理位置；
展示部件503，用于将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户。
本发明实施例提供的全景视频播放装置，能够获取用户的方位信息和/或地理位置信息，并能够将与用户的方位信息和/或地理位置信息相对应的全景视频数据中的视频帧展示给用户。这样一来，所播放的全景视频能够与用户所处位置和/或所面向(关注)的方向相适应，增强了用户浸入式的VR体验。
在一个示例中，如图6所示，展示部件503可包括：第一映射单元5031，用于将用户的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，第一展示单元5032，用于将与所述对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。
以用户佩戴VR头盔(视频播放设备)观看实施例3中生成的四方碑的全景视频为例，第一获取部件501可通过无线网络从服务器下载实施例3中视频生成设备上传的全景视频数据包，并可对该全景视频数据包进行解包，以获取全景视频的视频帧及与视频帧相关联的方位信息和/或地理位置信息。第二获取部件502可实时采集用户方位信息和地址位置信息，第一映射单元5031可将用户实时的方位和/或地理位置与全景视频中的方位和/或地理位置建立对应关系(即进行映射)，第一展示单元5032可使全景视频所播放的视频帧的拍摄方位和/或拍摄位置根据用户在现实环境中所处的方位和/或位置的改变而改变。例如，用户在全景视频中欣赏四方碑的一面碑文后，想欣赏相邻一面碑文的文字，此时用户可在现实环境中围绕眼睛观看到的四方碑进行绕行以改变自己的观看位置，并可转动头部来改变自己的观看方位，基于第一映射单元5031建立的上述对应关系，全景视频的播放画面也会转变为相应拍摄方向和拍摄位置的画面，与用户的观看位置和方位保持一致。通过上述技术手段，用户可根据自己的欣赏需要自由走动，可以自由地选择处在某一位置，以某一方位欣赏全景视频中视频图像，增强了用户浸入式的VR体验。
第一映射单元5031可以根据需要，设置用户的方位信息和/或地理位置信息与用户在全景视频中对应的方位信息和/或地理位置信息之间的“映射”关系，本发明对此不作限制。例如，如果全景视频中视频帧关联的方位信息是东、南、西、北、上、下六个方向中的一个，而VR头盔采集的用户方位信息是方位角信息，则第一映射单元5031可以建立用户的方位角的角度范围与视频帧的相应方向之间的映射关系(例如以正北方向为基准，0度到22.5度，以及337.5度到360度的方位角可映射到全景视频的“北”方向，等等)。再例如，如果全景视频中视频帧关联的方位信息是东、南、西、北、上、下六个方向中的一个，而检测发现用户面向东南方向，由于在全景视频采集时，没有采集东南方位的视频帧，此时，第一映射单元5031可将将用户的方位信息映射到全景视频中的“东”和“南”两个方向，第一展示单元5032可将与两个方向相关联的视频帧合成后展示给用户。第一映射单元5031对地理位置信息也可以以类似的方式建立映射关系。
在一个示例中，如图6所示，展示部件503还可包括：第二映射单元5033，用于将用户的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息(该第二映射单元5033也可通过第一映射单元5031实现)，第一视频帧确定单元5034，用于确定与所述对应的方位信息和/或地理位置信息相关联的第一视频帧；第二视频帧确定单元5035，用于确定拍摄方向与所述第一视频帧相邻的第二视频帧；第二展示单元5036，用于将所述第一视频帧和第二视频帧合成后展示给用户。
举例而言，为了在全景视频中增大展示给用户的视场范围，如果经第二映射单元5033映射后得到关联至“东”方向的视频帧，第二展示单元5036可将东北、东、东南三个相邻方向的视频帧进行合成后展示给用户，以提供更广阔的视场范围。
在一个示例中，如图6所示，所述全景视频数据还可包括与所述视频帧相关联的描述信息；展示部件503还可用于将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧以及相关联的描述信息展示给用户。关于展示部件503将描述信息展示给用户的说明可参见实施例1中的相关说明，此处为简明起见，不再赘述。
在一个示例中，如图6所示，全景视频播放装置500还可包括：指示部件504，用于响应于用户对目标方位的提示要求，将用户当前面向的方位至目标方位的转动方向和/或转动幅度指示给用户。
举例而言，传统的全景视频由于没有进行视频帧与方位信息的关联，多个用户在观看同一全景视频时，并不确切的知道自己面对的方位，例如，在多人互动观看传统的同一全景视频时，某一用户提示大家向东看，但大家在观看该传统的全景视频时，并不知道东在哪个方位。本发明实施例3中关联部件303对视频帧与方位信息进行了关联，因此在进行全景视频播放时，能够使不同用户有统一的方位视角，指示部件504可响应某一用户要求大家向东看的提示要求，根据检测到的各用户当前面向的方位，指示给各用户向东看各自需要转动的方向(或者还可以指示转动角度)，用户可按该指示的转动方向、角度，转动头部。如前文所述，全景视频播放设备可根据用户面对的方向播放相应的视频帧，因此不同用户按照指示转动到相同方向后，就会具有统一的方位视角，提高了用户之间的互动交流，增强了用户浸入式的VR体验。
在一个示例中，如图6所示，展示部件503具体可用于：以全景视频数据中与用户的方位信息和/或地理位置信息相对应的一视频帧作为起点，展示全景视频数据中的后续视频帧。例如，在用户改变面向方位或者所处地理位置的情况下，展示部件503可以以改变后的方向和位置相对应的全景视频数据中的视频帧作为起点继续播放后续视频帧，即后续全景视频内容。
在一个示例中，如图6所示，展示部件503可包括：第三映射单元5037，用于将用户输入的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，第三展示单元5038，用于将与所述对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。例如，第三映射单元5037可将用户输入的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，第三展示单元5038可将与所述对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。例如，用户可以通过按键、手势动作等输入其想要观看的拍摄方位和拍摄位置，相应地，全景视频可切换至与该拍摄方位和拍摄位置相对应的视频帧，并以此视频帧为起点继续播放。
实施例5
图7示出根据本发明一实施例的全景视频系统的结构图。如图7所示，该装置700主要包括：
全景视频采集设备701，用于采集全景视频的视频帧并提供给全景视频生成设备702；
全景视频生成设备702，承载有实施例3中的全景视频生成装置300；
服务器703，用于存储全景视频生成设备702上传的全景视频数据；
全景视频播放设备704，全景视频播放设备704承载有实施例4中的全景视频播放装置500，全景视频播放设备704用于从服务器703下载全景视频数据，并为用户进行播放。
本发明实施例提供的全景视频系统，能够获取全景视频的视频帧，确定视频帧对应的方位信息和/或地理位置信息，能够将视频帧与方位信息和/或地理位置信息进行关联，并基于关联后的视频帧以及方位信息和/或地理位置信息生成全景视频数据，能够获取用户的方位信息和/或地理位置信息，并能够将与用户的方位信息和/或地理位置信息相对应的全景视频数据中的视频帧展示给用户。这样一来，所播放的全景视频能够与用户所处位置和/或所面向(关注)的方向相适应，增强了用户浸入式的VR体验。
实施例6
图8示出了本发明的另一个实施例的一种全景视频设备的结构框图。所述全景视频设备1100可以是具备计算能力的主机服务器、个人计算机PC、或者可携带的便携式计算机或终端等。本发明具体实施例并不对计算节点的具体实现做限定。
所述全景视频设备1100包括处理器(processor)1110、通信接口(CommunicationsInterface)1120、存储器(memory)1130和总线1140。其中，处理器1110、通信接口1120、以及存储器1130通过总线1140完成相互间的通信。
通信接口1120用于与网络设备通信，其中网络设备包括例如虚拟机管理中心、共享存储等。
处理器1110用于执行程序。处理器1110可能是一个中央处理器CPU，或者是专用集成电路ASIC(Application Specific Integrated Circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。
存储器1130用于存放文件。存储器1130可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器1130也可以是存储器阵列。存储器1130还可能被分块，并且所述块可按一定的规则组合成虚拟卷。
在一种可能的实施方式中，上述程序可为包括计算机操作指令的程序代码。该程序具体可用于实现实施例1中方法各步骤的操作或实施例2中方法各步骤的操作。
本领域普通技术人员可以意识到，本文所描述的实施例中的各示例性单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件形式来实现，取决于技术方案的特定应用和设计约束条件。专业技术人员可以针对特定的应用选择不同的方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
如果以计算机软件的形式来实现所述功能并作为独立的产品销售或使用时，则在一定程度上可认为本发明的技术方案的全部或部分(例如对现有技术做出贡献的部分)是以计算机软件产品的形式体现的。该计算机软件产品通常存储在计算机可读取的非易失性存储介质中，包括若干指令用以使得计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各实施例方法的全部或部分步骤。而前述的存储介质包括U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。
Claims (25)
1.一种全景视频生成方法，其特征在于，所述方法包括：
获取全景视频的视频帧；
确定所述视频帧对应的方位信息和/或地理位置信息，其中所述视频帧的方位信息表示所述视频帧的拍摄方位，所述视频帧的地理位置信息表示所述视频帧的拍摄位置；
将所述视频帧与所述方位信息和/或所述地理位置信息进行关联；以及
基于关联后的所述视频帧以及所述方位信息和/或所述地理位置信息生成全景视频数据。
2.根据权利要求1所述的全景视频生成方法，其特征在于，所述方位信息包括以下中的一种或多种：
东、东南、南、西南、西、西北、北、东北、上、下；
水平方向变化范围为0度至360度的方位角；
垂直方向变化范围为0度至360度的方位角。
3.根据权利要求1所述的全景视频生成方法，其特征在于，所述地理位置信息包括所述视频帧的拍摄位置的经纬度信息，和/或所述视频帧的拍摄位置相对于基准位置的位移信息。
4.根据权利要求1所述的全景视频生成方法，其特征在于，所述方法还包括：
对获取的所述视频帧、所述方位信息和/或所述地理位置信息进行去重。
5.根据权利要求1至4中任意一项所述的全景视频生成方法，其特征在于，所述方法还包括：
创建与所述视频帧相对应的描述信息；
将所述视频帧与所述方位信息和/或所述地理位置信息、以及所述描述信息进行关联；
基于关联后的所述视频帧、所述方位信息和/或所述地理位置信息、以及所述描述信息生成全景视频数据。
6.一种全景视频播放方法，其特征在于，所述方法包括：
获取全景视频数据，其中所述全景视频数据包括视频帧及与所述视频帧相关联的方位信息和/或地理位置信息；
获取用户的方位信息和/或地理位置信息，其中所述用户的方位信息表示所述用户面向的方位，所述用户的地理位置信息表示所述用户所处的地理位置；
将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户。
7.根据权利要求6所述的全景视频播放方法，其特征在于，将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户，包括：
将用户的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，
将与所述对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。
8.根据权利要求6所述的全景视频播放方法，其特征在于，将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户，包括：
将用户的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，
确定与所述对应的方位信息和/或地理位置信息相关联的第一视频帧；
确定拍摄方向与所述第一视频帧相邻的第二视频帧；
将所述第一视频帧和第二视频帧合成后展示给用户。
9.根据权利要求6至8中任意一项所述的全景视频播放方法，其特征在于，所述全景视频数据还包括与所述视频帧相关联的描述信息；
将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户，包括：
将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧以及相关联的描述信息展示给用户。
10.根据权利要求6至8中任意一项所述的全景视频播放方法，其特征在于，所述方法还包括：
响应于用户对目标方位的提示要求，将用户当前面向的方位至目标方位的转动方向和/或转动幅度指示给用户。
11.根据权利要求6至8中任意一项所述的全景视频播放方法，其特征在于，将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户，包括：
以全景视频数据中与用户的方位信息和/或地理位置信息相对应的一视频帧作为起点，展示全景视频数据中的后续视频帧。
12.根据权利要求6至8中任意一项所述的全景视频播放方法，其特征在于，所述方法还包括：
将用户输入的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，
将与所述对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。
13.一种全景视频生成装置，其特征在于，所述装置包括：
视频获取部件，用于获取全景视频的视频帧；
确定部件，用于确定所述视频帧对应的方位信息和/或地理位置信息，其中所述视频帧的方位信息表示所述视频帧的拍摄方位，所述视频帧的地理位置信息表示所述视频帧的拍摄位置；
关联部件，用于将所述视频帧与所述方位信息和/或所述地理位置信息进行关联；以及
生成部件，用于基于关联后的所述视频帧以及所述方位信息和/或所述地理位置信息生成全景视频数据。
14.根据权利要求13所述的全景视频生成装置，其特征在于，所述方位信息包括以下中的一种或多种：
东、东南、南、西南、西、西北、北、东北、上、下；
水平方向变化范围为0度至360度的方位角；
垂直方向变化范围为0度至360度的方位角。
15.根据权利要求13所述的全景视频生成装置，其特征在于，所述地理位置信息包括所述视频帧的拍摄位置的经纬度信息，和/或所述视频帧的拍摄位置相对于基准位置的位移信息。
16.根据权利要求13所述的全景视频生成装置，其特征在于，所述装置还包括：
去重部件，用于对所获取的所述视频帧、所述方位信息和/或所述地理位置信息进行去重。
17.根据权利要求13至16中任意一项所述的全景视频生成装置，其特征在于，所述装置还包括：
信息描述部件，用于创建与所述的视频帧相对应的描述信息；
其中，所述关联部件还用于将所述视频帧与所述方位信息和/或所述地理位置信息、以及所述描述信息进行关联；所述生成部件还用于基于关联后的所述视频帧、所述方位信息和/或所述地理位置信息、以及所述描述信息生成全景视频数据。
18.一种全景视频播放装置，其特征在于，所述装置包括：
第一获取部件，用于获取全景视频数据，其中所述全景视频数据包括视频帧及与所述视频帧相关联的方位信息和/或地理位置信息；
第二获取部件，用于获取用户的方位信息和/或地理位置信息，其中所述用户的方位信息表示所述用户面向的方位，所述用户的地理位置信息表示所述用户所处的地理位置；
展示部件，用于将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧展示给用户。
19.根据权利要求18所述的全景视频播放装置，其特征在于，所述展示部件包括：
第一映射单元，用于将用户的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，
第一展示单元，用于将与所述对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。
20.根据权利要求18所述的全景视频播放装置，其特征在于，所述展示部件包括：
第二映射单元，用于将用户的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，
第一视频帧确定单元用于确定与所述对应的方位信息和/或地理位置信息相关联的第一视频帧；
第二视频帧确定单元，用于确定拍摄方向与所述第一视频帧相邻的第二视频帧；
第二展示单元，用于将所述第一视频帧和第二视频帧合成后展示给用户。
21.根据权利要求18至20中任意一项所述的全景视频播放装置，其特征在于，所述全景视频数据还包括与所述视频帧相关联的描述信息；
所述展示部件还用于将全景视频数据中与用户的方位信息和/或地理位置信息相对应的视频帧以及相关联的描述信息展示给用户。
22.根据权利要求18至20中任意一项所述的全景视频播放装置，其特征在于，所述装置还包括：
指示部件，用于响应于用户对目标方位的提示要求，将用户当前面向的方位至目标方位的转动方向和/或转动幅度指示给用户。
23.根据权利要求18至20中任意一项所述的全景视频播放装置，其特征在于，所述展示部件具体用于：
以全景视频数据中与用户的方位信息和/或地理位置信息相对应的一视频帧作为起点，展示全景视频数据中的后续视频帧。
24.根据权利要求18至20中任意一项所述的全景视频播放装置，其特征在于，所述展示部件包括：
第三映射单元，用于将用户输入的方位信息和/或地理位置信息映射到全景视频中对应的方位信息和/或地理位置信息，
第三展示单元，用于将与所述对应的方位信息和/或地理位置信息相关联的视频帧展示给用户。
25.一种全景视频系统，其特征在于，所述全景视频系统包括：
全景视频采集设备，用于采集全景视频的视频帧并提供给全景视频生成设备；
全景视频生成设备，所述全景视频生成设备承载有根据权利要求13至17中任意一项所述的全景视频生成装置；
服务器，用于存储所述全景视频生成设备上传的全景视频数据；
全景视频播放设备，所述全景视频播放设备承载有根据权利要求18至24中任意一项所述的全景视频播放装置，所述全景视频播放设备用于从所述服务器下载全景视频数据，并为用户进行播放。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610525899.8A CN106162204A (zh) | 2016-07-06 | 2016-07-06 | 全景视频生成、播放方法、装置及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201610525899.8A CN106162204A (zh) | 2016-07-06 | 2016-07-06 | 全景视频生成、播放方法、装置及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN106162204A true CN106162204A (zh) | 2016-11-23 |
Family
ID=58061118
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201610525899.8A Pending CN106162204A (zh) | 2016-07-06 | 2016-07-06 | 全景视频生成、播放方法、装置及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN106162204A (zh) |
Cited By (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106657792A (zh) * | 2017-01-10 | 2017-05-10 | 哈尔滨市舍科技有限公司 | 共享式观景装置 |
| CN106657923A (zh) * | 2017-01-10 | 2017-05-10 | 哈尔滨市舍科技有限公司 | 基于位置的场景切换式共享观景系统 |
| CN106657922A (zh) * | 2017-01-10 | 2017-05-10 | 哈尔滨市舍科技有限公司 | 基于位置的场景切换式共享图像处理系统 |
| CN107172442A (zh) * | 2017-06-11 | 2017-09-15 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频存储方法及装置 |
| CN108012202A (zh) * | 2017-12-15 | 2018-05-08 | 浙江大华技术股份有限公司 | 视频浓缩方法、设备、计算机可读存储介质及计算机装置 |
| CN108174265A (zh) * | 2016-12-07 | 2018-06-15 | 华为技术有限公司 | 一种360度全景视频的播放方法、装置及系统 |
| CN108600858A (zh) * | 2018-05-18 | 2018-09-28 | 高新兴科技集团股份有限公司 | 一种同步显示ar信息的视频播放方法 |
| CN109756727A (zh) * | 2017-08-25 | 2019-05-14 | 华为技术有限公司 | 信息显示方法及相关设备 |
| WO2019100631A1 (zh) * | 2017-11-27 | 2019-05-31 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
| CN109840952A (zh) * | 2018-12-29 | 2019-06-04 | 深圳市虚拟现实科技有限公司 | 虚拟现实记忆再现系统及其方法 |
| CN109978945A (zh) * | 2019-02-26 | 2019-07-05 | 浙江舜宇光学有限公司 | 一种增强现实的信息处理方法和装置 |
Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101872243A (zh) * | 2010-06-13 | 2010-10-27 | 上海杰图软件技术有限公司 | 一种实现跟随现实空间方向的360°全景播放系统及其方法 |
| CN101971606A (zh) * | 2008-03-14 | 2011-02-09 | 索尼爱立信移动通讯有限公司 | 显示与相关位置和方向信息一起记录的数据的装置、方法及系统 |
| CN102572258A (zh) * | 2010-09-29 | 2012-07-11 | 卡西欧计算机株式会社 | 能再现全景图像的图像再现装置 |
| CN102056015B (zh) * | 2009-11-04 | 2012-12-05 | 沈阳迅景科技有限公司 | 一种全景虚拟现实漫游中的流媒体应用方法 |
| CN103141078A (zh) * | 2010-10-05 | 2013-06-05 | 索尼电脑娱乐公司 | 图像显示装置及图像显示方法 |
| CN103487059A (zh) * | 2013-09-25 | 2014-01-01 | 中国科学院深圳先进技术研究院 | 一种定位导航系统、装置及方法 |
| CN103543831A (zh) * | 2013-10-25 | 2014-01-29 | 梁权富 | 头戴式全景播放装置 |
| CN104570577A (zh) * | 2015-02-12 | 2015-04-29 | 深圳市圆周率软件科技有限责任公司 | 一种720度全景照相机 |
| US20150302648A1 (en) * | 2014-02-18 | 2015-10-22 | Sulon Technologies Inc. | Systems and methods for mapping an environment using structured light |
| CN105120251A (zh) * | 2015-08-19 | 2015-12-02 | 京东方科技集团股份有限公司 | 一种3d场景展示方法及装置 |
| WO2016050283A1 (en) * | 2014-09-30 | 2016-04-07 | Telefonaktiebolaget L M Ericsson (Publ) | Reduced bit rate immersive video |
-
2016
- 2016-07-06 CN CN201610525899.8A patent/CN106162204A/zh active Pending
Patent Citations (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101971606A (zh) * | 2008-03-14 | 2011-02-09 | 索尼爱立信移动通讯有限公司 | 显示与相关位置和方向信息一起记录的数据的装置、方法及系统 |
| CN102056015B (zh) * | 2009-11-04 | 2012-12-05 | 沈阳迅景科技有限公司 | 一种全景虚拟现实漫游中的流媒体应用方法 |
| CN101872243A (zh) * | 2010-06-13 | 2010-10-27 | 上海杰图软件技术有限公司 | 一种实现跟随现实空间方向的360°全景播放系统及其方法 |
| CN102572258A (zh) * | 2010-09-29 | 2012-07-11 | 卡西欧计算机株式会社 | 能再现全景图像的图像再现装置 |
| CN103141078A (zh) * | 2010-10-05 | 2013-06-05 | 索尼电脑娱乐公司 | 图像显示装置及图像显示方法 |
| CN103487059A (zh) * | 2013-09-25 | 2014-01-01 | 中国科学院深圳先进技术研究院 | 一种定位导航系统、装置及方法 |
| CN103543831A (zh) * | 2013-10-25 | 2014-01-29 | 梁权富 | 头戴式全景播放装置 |
| US20150302648A1 (en) * | 2014-02-18 | 2015-10-22 | Sulon Technologies Inc. | Systems and methods for mapping an environment using structured light |
| WO2016050283A1 (en) * | 2014-09-30 | 2016-04-07 | Telefonaktiebolaget L M Ericsson (Publ) | Reduced bit rate immersive video |
| CN104570577A (zh) * | 2015-02-12 | 2015-04-29 | 深圳市圆周率软件科技有限责任公司 | 一种720度全景照相机 |
| CN105120251A (zh) * | 2015-08-19 | 2015-12-02 | 京东方科技集团股份有限公司 | 一种3d场景展示方法及装置 |
Cited By (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN108174265A (zh) * | 2016-12-07 | 2018-06-15 | 华为技术有限公司 | 一种360度全景视频的播放方法、装置及系统 |
| US11184646B2 (en) | 2016-12-07 | 2021-11-23 | Huawei Technologies Co., Ltd. | 360-degree panoramic video playing method, apparatus, and system |
| CN106657922B (zh) * | 2017-01-10 | 2020-02-18 | 哈尔滨市一舍科技有限公司 | 基于位置的场景切换式共享图像处理系统 |
| CN106657923B (zh) * | 2017-01-10 | 2020-02-18 | 哈尔滨市一舍科技有限公司 | 基于位置的场景切换式共享观景系统 |
| CN106657923A (zh) * | 2017-01-10 | 2017-05-10 | 哈尔滨市舍科技有限公司 | 基于位置的场景切换式共享观景系统 |
| CN106657922A (zh) * | 2017-01-10 | 2017-05-10 | 哈尔滨市舍科技有限公司 | 基于位置的场景切换式共享图像处理系统 |
| CN106657792B (zh) * | 2017-01-10 | 2020-02-18 | 哈尔滨市一舍科技有限公司 | 共享式观景装置 |
| CN106657792A (zh) * | 2017-01-10 | 2017-05-10 | 哈尔滨市舍科技有限公司 | 共享式观景装置 |
| CN107172442A (zh) * | 2017-06-11 | 2017-09-15 | 成都吱吖科技有限公司 | 一种基于虚拟现实的交互式全景视频存储方法及装置 |
| CN109756727B (zh) * | 2017-08-25 | 2021-07-20 | 华为技术有限公司 | 信息显示方法及相关设备 |
| CN109756727A (zh) * | 2017-08-25 | 2019-05-14 | 华为技术有限公司 | 信息显示方法及相关设备 |
| CN109842792B (zh) * | 2017-11-27 | 2021-05-11 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
| CN109842792A (zh) * | 2017-11-27 | 2019-06-04 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
| WO2019100631A1 (zh) * | 2017-11-27 | 2019-05-31 | 中兴通讯股份有限公司 | 视频播放方法、装置、系统及存储介质 |
| WO2019114835A1 (en) * | 2017-12-15 | 2019-06-20 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for generating video synopsis |
| US11076132B2 (en) | 2017-12-15 | 2021-07-27 | Zhejiang Dahua Technology Co., Ltd. | Methods and systems for generating video synopsis |
| CN108012202A (zh) * | 2017-12-15 | 2018-05-08 | 浙江大华技术股份有限公司 | 视频浓缩方法、设备、计算机可读存储介质及计算机装置 |
| WO2019218770A1 (zh) * | 2018-05-18 | 2019-11-21 | 高新兴科技集团股份有限公司 | 一种同步显示ar信息的视频播放方法 |
| CN108600858B (zh) * | 2018-05-18 | 2020-08-04 | 高新兴科技集团股份有限公司 | 一种同步显示ar信息的视频播放方法 |
| CN108600858A (zh) * | 2018-05-18 | 2018-09-28 | 高新兴科技集团股份有限公司 | 一种同步显示ar信息的视频播放方法 |
| CN109840952A (zh) * | 2018-12-29 | 2019-06-04 | 深圳市虚拟现实科技有限公司 | 虚拟现实记忆再现系统及其方法 |
| CN109978945A (zh) * | 2019-02-26 | 2019-07-05 | 浙江舜宇光学有限公司 | 一种增强现实的信息处理方法和装置 |
| CN109978945B (zh) * | 2019-02-26 | 2021-08-31 | 浙江舜宇光学有限公司 | 一种增强现实的信息处理方法和装置 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN106162204A (zh) | 全景视频生成、播放方法、装置及系统 | |
| US12112443B2 (en) | Display control apparatus, display control method, and program | |
| US12211160B2 (en) | Techniques for capturing and displaying partial motion in virtual or augmented reality scenes | |
| US9552675B2 (en) | Display application and perspective views of virtual space | |
| US10403044B2 (en) | Telelocation: location sharing for users in augmented and virtual reality environments | |
| US11212437B2 (en) | Immersive capture and review | |
| CN108391445B (zh) | 一种虚拟现实显示方法及终端 | |
| CN106951561B (zh) | 基于虚拟现实技术与gis数据的电子地图系统 | |
| JP6126821B2 (ja) | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 | |
| JP6181993B2 (ja) | 情報処理システム、情報処理装置、情報処理プログラム、および、情報の送受信方法 | |
| CN106683197A (zh) | 一种融合vr和ar技术的楼盘展示系统及其方法 | |
| CN101872243B (zh) | 一种实现跟随现实空间方向的360°全景播放系统及其方法 | |
| JP6126820B2 (ja) | 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置 | |
| JP6147966B2 (ja) | 情報処理プログラム、情報処理装置、情報処理システム、および情報処理方法 | |
| CN105894584A (zh) | 一种三维沉浸式环境下与现实环境交互的方法和装置 | |
| CA3119609A1 (en) | Augmented reality (ar) imprinting methods and systems | |
| CN109599047A (zh) | 一种基于ar技术的交互式导游解说系统 | |
| CN113253842A (zh) | 场景编辑方法和相关装置、设备 | |
| CN102831816A (zh) | 一种提供实时场景地图的装置 | |
| CN110634190A (zh) | 一种远程摄像vr体验系统 | |
| WO2017145552A1 (ja) | プログラム及びアイウエア | |
| Yu | Study on intelligent augmented reality tourist guide application based on android smart phone | |
| AU2021330784A1 (en) | Volumetric immersion system and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20161123 |