[go: up one dir, main page]

CN112423108B - 码流的处理方法、装置、第一终端、第二终端及存储介质 - Google Patents

码流的处理方法、装置、第一终端、第二终端及存储介质 Download PDF

Info

Publication number
CN112423108B
CN112423108B CN201910770654.5A CN201910770654A CN112423108B CN 112423108 B CN112423108 B CN 112423108B CN 201910770654 A CN201910770654 A CN 201910770654A CN 112423108 B CN112423108 B CN 112423108B
Authority
CN
China
Prior art keywords
information
image data
motion
head
motion information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910770654.5A
Other languages
English (en)
Other versions
CN112423108A (zh
Inventor
吴钊
吴平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN201910770654.5A priority Critical patent/CN112423108B/zh
Priority to PCT/CN2020/109928 priority patent/WO2021032105A1/zh
Priority to JP2022511181A priority patent/JP7356579B2/ja
Priority to US17/636,533 priority patent/US20220303518A1/en
Priority to KR1020227008752A priority patent/KR102802929B1/ko
Priority to EP20855105.1A priority patent/EP4021001A4/en
Publication of CN112423108A publication Critical patent/CN112423108A/zh
Application granted granted Critical
Publication of CN112423108B publication Critical patent/CN112423108B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/366—Image reproducers using viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/458—Scheduling content for creating a personalised stream, e.g. by combining a locally stored advertisement with an incoming stream; Updating operations, e.g. for OS modules ; time-related management operations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Library & Information Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Ecology (AREA)
  • Emergency Management (AREA)
  • Environmental & Geological Engineering (AREA)
  • Environmental Sciences (AREA)
  • Remote Sensing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Processing Or Creating Images (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本申请提出码流的处理方法、装置、第一终端、第二终端及存储介质，该方法包括：获取全景图像数据；获取运动信息；根据所述全景图像数据和所述运动信息生成码流。

Description

码流的处理方法、装置、第一终端、第二终端及存储介质
技术领域
本申请涉及通讯领域，具体涉及码流的处理方法、装置、第一终端、第二终端及存储介质。
背景技术
沉浸式视频能让用户参与媒体内容的发展，有身临其境的体验，带来完全不同以往的媒体感受。用户可以通过佩戴头戴式显示设备实时的参与到视频的播放过程中。沉浸式视频与以往视频不同，也称为360度全景视频，它所覆盖的视频区域更大，范围更广。
在用户观看沉浸式视频的时候，由于用户的视角范围有限，用户所能观看的视频场景并不是一个完整的360度全景视频，而只是全景视频中的部分画面，因此，在将沉浸式视频传输给用户进行观看时，呈现给用户沉浸式视频中的哪一部分的视频画面是目前亟待解决的技术问题。
发明内容
本申请提供码流的处理方法、装置、第一终端、第二终端及存储介质，能够有效解决无法确定将沉浸式视频中哪部分视频画面呈现给用户的技术问题。
第一方面，本申请实施例提供一种码流的处理方法，包括：
获取全景图像数据；
获取运动信息；
根据所述全景图像数据和所述运动信息生成码流。
第二方面，本申请实施例提供一种码流的处理方法，包括：
接收码流；
从所述码流中提取运动信息；
在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。
第三方面，本申请实施例提供了一种码流的处理装置，包括：
获取模块，设置为获取全景图像数据和获取运动信息；
生成模块，设置为根据所述全景图像数据和所述运动信息生成码流。
第四方面，本申请实施例提供了一种码流的处理装置，包括：
接收模块，设置为接收码流；
提取模块，设置为从所述码流中提取运动信息；
处理模块，设置为在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。
第五方面，本申请实施例提供了一种第一终端，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请第一方面所述的码流的处理方法。
第六方面，本申请实施例提供了一种第二终端，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本申请第二方面所述的码流的处理方法。
第七方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中的任意一种方法。
关于本申请的以上实施例和其他方面以及其实现方式，在附图说明、具体实施方式和权利要求中提供更多说明。
附图说明
图1为本申请提供的一种码流的处理方法的流程示意图；
图2为本申请提供的另一种码流的处理方法的流程示意图；
图3为本申请提供的一种码流的处理装置的结构示意图；
图3a为本申请提供的又一种码流的处理装置的结构示意图；
图4为本申请提供的另一种码流的处理装置的结构示意图；
图4a为本申请提供的再一种码流的处理装置的结构示意图；
图5为本申请提供的一种第一终端的结构示意图；
图6为本申请提供的一种第二终端的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在一个示例性实施方式中，图1为本申请提供的一种码流的处理方法的流程示意图。该方法可以适用于形成码流的情况，所形成的码流能够在被用户播放时，自动确定呈现给用户码流中哪一部分的视频画面。该方法可以由本申请提供的码流的处理装置执行，该码流的处理装置可以由软件和/或硬件实现，并集成在第一终端上。第一终端可以为码流的生成设备。其中码流可以是视频码流，也可以是包含系统层信息的媒体流。生成的码流可以直接在第一终端上供用户观看，也可以发送至第二终端观看。在观看时，可以基于运动信息确定对应的目标图像数据，以实现自动确定呈现给用户沉浸式视频中哪部分视频画面的技术效果。另外，本申请的场景至少包括：本申请在电影制作中使用，导演利用不同组运动信息，即不同组的运动参数组合，对应设计不同的叙事线索，从而得到对应的码流。用户观看时可以根据自己的喜好选取不同组运动信息所展示的故事场景，从而实现不同用户在观看同一码流时，由于不同用户选取了不同组的运动参数组合，使得所观看的故事场景不同；本申请可以在运动赛事中使用，不同运动员对应不同组运动信息，用户观看时可以选择喜好的运动员的运动画面，即选取对应喜好的运动员的运动参数组合，实现对喜好的运动员的运动画面的观看。
一般情况下，沉浸式视频是以球面形式采集，发送端将球面数据映射为二维平面数据，经过编码后传送或者存储，接收端获取压缩数据后，解码重建二维平面数据，再将二维平面数据根据用户的需要进行渲染。不同的用户在观看沉浸式视频时，可以通过头部或者身体的运动观看到不同的视频画面。
本申请在编码时，即生成码流时将头部或者身体的运动信息与视频数据，即全景图像数据关联，解码重建播放时可以根据对应的运动信息来控制视频播放，以达到不同的视频观看效果的目的。解码重建播放时也可以根据自己的个人喜好，选择不同的预先设定好的视线或者身体的运动轨迹来获得不同的视频观看效果。不同的视线或身体的运动轨迹可以通过不同组的运动参数组合表示。
如图1所示，本申请提供的一种码流的处理方法，包括S110、S120和S130。
S110、获取全景图像数据。
全景图像数据可以用于形成码流。码流可以为沉浸式视频。
全景图像数据可以是多个摄像头同时采集后拼接而成，也可以是单个摄像头通过平移旋转等操作采集多幅图像拼接而成，也可以是人工合成的全景图像数据，也可以是现有的全景图像数据，还可以是通过全景相机采集得到。
第一终端获取全景图像数据的手段包括但不限于：接收其余设备发送的全景图像数据或通过第一终端的采集装置获得。采集装置包括但不限于如下至少之一：至少一个摄像头；全景相机。
其中，全景图像数据可以是单幅静止图像，也可以是视频中的一帧图像数据。
S120、获取运动信息。
运动信息可以在全景图像数据采集时同步实时获取，也可以是预先设定，此处不作限定只要能够获取到与全景图像数据关联的运动信息即可。即本步骤获取的运动信息可以是与S110获取的全景图像数据关联的运动信息。
可以理解的是，码流可以由多帧全景图像数据编码生成，每帧全景图像数据均可以存在对应的运动信息本实施例在生成码流的过程中，可以将全景图像数据和对应的运动信息关联。
运动信息包括但不限于，头部运动信息、身体运动信息和视点运动信息。头部运动信息包括但不限于：用户的头部位置信息；头部旋转信息；也可以是头部变化信息，如头部位置信息与头部旋转信息的组合。身体运动信息包括但不限于：用户的身体位置信息；身体旋转信息；身体变化信息，如身体位置信息与身体旋转信息的组合。视点运动信息可以是用户的视点位置信息；视点旋转信息；视点变化信息，如，视点位置信息与视点旋转信息的组合。
其中，位置信息可以是全局坐标系中的坐标信息，如笛卡尔坐标系，也可以是局部坐标系中的坐标信息。位置信息包括但不限于：头部运动信息、身体运动信息和视点运动信息。
本实施例中的运动信息可以是至少一组运动参数组合。在码流播放时，用户可以根据实际情况，选取相应的运动参数组合，进行码流的观看。每组运动参数组合至少包括如下至少之一：头部运动信息；身体运动信息；视点运动信息。在运动信息包括多组运动参数组合的情况下，运动信息可以包括多个头部运动信息。可以理解的是，每组运动参数组合可以对应码流中的不同的故事线，即不同的视频画面，即全景图像数据中的不同部分的图像。以比赛场景为例，一组运动参数组合可以对应一个运动员不同时刻的图像。在以电影场景为例，若导演需要设置不同的故事走向，可以在生成码流时，设置多组运动参数组合，每组运动参数组合对应不同的故事走向，即每组运动参数组合呈现给用户的是全景图像数据中不同部分的图像。
示例性的，表1为头部运动信息组织关系表。身体运动信息和视点运动信息的组织关系表可以根据头部运动信息的组织关系表进行适应性调整，此处不作赘述。
表1头部运动信息组织关系表
Figure BDA0002173458470000051
参见表1，描述可以表示运动信息所包括内容占用的比特位数。如u(10)可以表示占用10比特。
其中，omni_head_movement_id可以理解为运动信息标识符，用于识别不同的头部运动信息，即对不同时刻的运动信息进行区分。
omni_head_movement_cancel_flag可以理解为头部运动信息取消标识。omni_head_movement_cancel_flag等于1，表示保持前面头部运动信息不变，即保持上一时刻的头部运动信息不变；omni_head_movement_cancel_flag等于0，则其后为新的头部运动信息。
omni_head_movement_persistence_flag可以理解为头部运动信息维持标识。omni_head_movement_persistence_flag等于0，此头部运动信息只应用于当前全景图像数据；omni_head_movement_persistence_flag等于1，此头部运动信息可以延续使用于后续帧。
omni_head_movement_cnt_minus1加1表示运动信息的组数。
omni_head_movment_para()可以表示头部运动参数。头部运动参数包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。
表2为头部运动参数的一种组织形式表。
表2头部运动参数的一种组织形式表
Figure BDA0002173458470000061
参见表2，该表可以表示由头部绝对位置信息和头部绝对旋转信息组成头部运动参数。其中，(omni_head_pos_x，omni_head_pos_y，omni_head_pos_z)可以为位置信息的绝对坐标分量，即头部绝对位置信息。(omni_head_yaw，omni_head_pitch，omni_head_roll)可以为绝对旋转角度，即头部绝对旋转信息。
表3为头部运动参数的另一种组织形式表。
表3头部运动参数的另一种组织形式表
Figure BDA0002173458470000072
参见表3，该表可以表示由头部相对位置信息和头部相对旋转信息组合头部运动参数。其中，(omni_head_pos_dx，omni_head_pos_dy，omni_head_pos_dz)可以为位置信息差值，即头部相对位置信息。(omni_head_yaw_diff，omni_head_pitch_diff，omni_head_roll_diff)可以为旋转角度差值，即头部相对旋转信息。
表4为头部运动参数的又一种组织形式表。
表4头部运动参数的又一种组织形式表
Figure BDA0002173458470000071
参见表4，mov_type_cnt_minus1加1表示运动类型数量。
mov_type可以表示运动信息的运动类型，0：无数据，1:头部绝对位置信息，2：头部相对位置信息，3：旋转角度绝对值，即头部绝对旋转信息，4：旋转角度相对值，即头部绝对旋转信息。
(omni_head_pos_x，omni_head_pos_y，omni_head_pos_z)可以表示位置信息绝对坐标分量，即头部绝对位置信息。
(omni_head_pos_dx，omni_head_pos_dy，omni_head_pos_dz)可以表示位置信息差值，即头部相对位置信息。
(omni_head_yaw，omni_head_pitch，omni_head_roll)可以表示绝对旋转角度，即头部绝对旋转信息。
(omni_head_yaw_diff，omni_head_pitch_diff，omni_head_roll_diff)可以表示旋转角度差值，即头部相对旋转信息。
类似的，用户的身体运动信息和视点运动信息可以以上述表格的形式单独出现，也可以将用户的头部运动信息，身体运动信息和视点运动信息的至少一个以上述表格的形式出现。其中身体运动信息可以为姿态运动信息。
需要注意的是，获取运动信息和全景图像数据的顺序不作限定，可以同步获取，也可以依次获取，如先获取运动信息，再获取全景图像数据。
S130、根据所述全景图像数据和所述运动信息生成码流。
获取全景图像数据和运动信息后，本步骤可以根据全景图像数据和运动信息生成码流。具体的，码流可以为对不同时刻获取的全景图像数据和运动信息编码得到的数据。在获取全景图像数据后，可以将全景图像数据编码至码流。需要注意的是，运动信息可以直接写入码流，也可以对当前时刻的运动信息与上一时刻的运动信息进行比较，确定是否将当前时刻的运动信息写入码流，或确定写入码流的内容。
示例性的，在当前时刻的运动信息和上一时刻的运动信息相同的情况下，可以不在码流中写入运动信息；或者，为了提高所形成码流的精度，可以设置一个标识信息，建立标识信息与全景图像数据的关联，并将标识信息写入码流。所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。其中，上一时刻可以为上次获取运动信息的时刻。
本申请实施例提供的一种码流的处理方法，获取全景图像数据；获取运动信息；根据所述全景图像数据和所述运动信息生成码流。解决了在将沉浸式视频传输给用户进行观看时，无法确定呈现给用户沉浸式视频中的哪一部分的视频画面的技术问题，根据全景图像数据和运动信息生成的码流，能够在用户观看该码流时自动确定呈现给用户的目标图像数据，即自动确定呈现给用户码流中哪部分视频画面。其中，目标图像数据为根据运动信息对全景图像数据进行处理得到的数据。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中，所述运动信息与所述全景图像数据同步获取或所述运动信息是预先设定的。
在一个实施例中，所述运动信息包括如下至少之一：头部运动信息、身体运动信息、视点运动信息。
头部运动信息可以理解为表示头部位置的信息。头部运动信息包括的具体内容不作限定，只要能够标识头部位置即可，位置可以以绝对位置或相对位置表示。身体运动信息可以理解为表示身体位置的信息。身体运动信息包括的具体内容不作限定，只要能够标识身体位置即可，位置可以以绝对位置或相对位置表示。视点运动信息可以理解为表示视点位置的信息。视点运动信息包括的具体内容不作限定，只要能够标识视点位置即可，位置可以以绝对位置或相对位置表示。
在一个实施例中，所述头部运动信息包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。
需要注意的是，相对可以认为是相对于上一时刻的运动信息。如头部相对旋转信息可以是相对于上一时刻的头部绝对位置信息而言的旋转信息。
在一个实施例中，所述身体运动信息包括如下之一：身体绝对位置信息；身体相对位置信息；身体绝对旋转信息；身体相对旋转信息；身体绝对位置信息与身体绝对旋转信息的组合；身体绝对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体绝对信息的组合。
在一个实施例中，所述视点运动信息包括如下之一：视点绝对位置信息；视点相对位置信息；视点绝对旋转信息；视点相对旋转信息；视点绝对位置信息与视点绝对旋转信息的组合；视点绝对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点绝对旋转信息的组合。
在一个实施例中，所述运动信息包括至少一组运动参数组合，每组运动参数组合设置有对应的运动参数组别；一组运动参数组合至少包括以下至少之一：头部运动信息；身体运动信息；视点运动信息。
运动参数组别可以用于区分不同的运动参数组合，运动参数组别的具体形式不作限定，可以根据对应的运动参数组合的具体内容确定。用户在观看码流的过程中，若运动信息包括多组运动参数组合，用户可以通过选取指令选取对应的运动参数组别，然后基于所选取运动参数组别对应的运动参数组合确定目标图像数据。
在一个实施例中，所述根据所述全景图像数据和所述运动信息生成码流，包括如下至少之一：在所述运动信息与上一时刻的运动信息相同的情况下，根据所述全景图像数据生成码流；在所述运动信息与上一时刻的运动信息相同的情况下，将标识信息作为新的运动信息，并根据所述全景图像数据和所述新的运动信息生成码流，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。
在当前获取的运动信息与上一时刻的运动信息相同的情况下，可以认为当前的运动信息未发生改变，在生成码流的过程中，可以直接基于全景图像数据生成；也可以将运动信息使用标识信息表示，即将标识信息作为新的运动信息，然后根据全景图像数据和新的运动信息生成码流。
在一个实施例中，所述根据所述全景图像数据和所述运动信息生成码流，包括：将所述运动信息写入由所述全景图像数据生成的码流中。
在生成码流的过程中，可以将当前的运动信息与上一时刻的运动信息进行比较，直接将运动信息写入由全景图像数据生成的码流中。
在一个实施例中，所述将所述运动信息写入由所述全景图像数据生成的码流中，包括：将所述运动信息写入由所述全景图像数据生成的码流的如下至少之一中：补充增强信息(Supplemental Enhancement Information，SEI)；视频应用信息(Video UsabilityInformation，VUI)；系统层媒体属性描述单元。其中，SEI相关标准信息包括H.264/AVC和H.265/HEVC。VUI相关标准信息包括H.264/AVC和H.265/HEVC。
表5为将运动信息写入SEI中时SEI的结构表。
表5将运动信息写入SEI中时SEI的结构表
Figure BDA0002173458470000111
参见表5，omni_head_movement()的数据结构与表1中omni_head_movement()数据结构相对应，包含了头部运动信息。从SEI信息中可以获取标识信息为HEAD_MOVEMENT_PARA的信息。
类似的，用户的身体运动信息和视点运动信息可以表1的形式单独出现在SEI里，也可以将用户头部运动信息、身体运动信息和视点运动信息组合起来出现在SEI里。
表6为将运动信息写入VUI中时VUI的结构表
表6为将运动信息写入VUI中时VUI的结构表
Figure BDA0002173458470000112
参见表6，omni_head_movement_flag取值等于1时，表示后续有运动信息。omni_head_movement()的数据结构与表1中omni_head_movement()数据结构相对应，包含了运动信息。
在一个实施例中，可以将运动信息写入系统层媒体属性描述单元，例如在传输流的描述子、文件格式的数据单元(例如Box中)、传输流的媒体描述信息，例如媒体呈现描述(Media Presentation Description，MPD)等信息单元。MPD包括的相关标准信息为MPEGDASH。
在一个实施例中，该方法还包括：存储或发送码流。
发送码流可以供使用第二终端的用户观看码流。
以下对本实施例提供的码流的处理方法进行实例性描述，本申请可以提供的码流的处理方法可以认为是虚拟现实视频码流的处理方法，首先获取全景图像数据，设定至少一组运动参数组合，将运动参数组合写入全景图像数据的码流中，发送或存储码流。为了进一步说明本实施例所提供的技术方案，下面通过具体应用示例对本发明实施例所提供的技术方案进行描述。
以下对上述各种方法的描述仅为各对应方法的具体示例。当使用多种方法时，可将下述各方法的示例进行简单组合和串联，即可得到对应的示例。
在一个示例中，用户通过头戴设备实时采集周围场景图像，即全景图像数据以及用户头部位置信息，T时刻用户头部位置在A点，将A点的位置信息写入T时刻图像码流中，T+1时刻用户头部位置在B点，将B点位置信息写入T+1时刻图像码流中，也可以将B点相对于A的位置增量信息(B-A)写入T+1时刻图像码流中。如果用户头部位置从T时刻到T+1时刻没有改变，即A＝B，则可以选择不将位置信息B或者增量信息(B-A)写入T+1时刻图像码流；或将标识信息写入T+1时刻图像码流。
需要注意的是，全景图像数据和头部位置信息也可以不是实时采集，而是根据需要在现有的全景视频中添加头部位置信息。
在一个示例中，用户通过头戴设备实时采集周围场景图像以及用户头部旋转角度，即头部旋转信息(包括头部相对旋转信息或头部绝对旋转信息)，T时刻用户头部旋转角度为α，将头部旋转角度α信息写入T时刻图像码流中，T+1时刻用户头部旋转角度为β，将头部旋转角度β信息写入T+1时刻图像码流中，也可以将β与α的差值信息(β-α)写入T+1时刻图像码流中。如果用户头部旋转信息从T时刻到T+1时刻没有改变，即α＝β，则可以选择不将头部旋转信息β或者差值信息(β-α)写入T+1时刻图像码流；或将标识信息写入T+1时刻图像码流。
需要注意的是，全景图像数据和头部旋转信息也可以不是实时采集，而是根据需要在现有的全景视频中添加头部旋转信息。
在一个示例中，用户通过头戴设备实时采集周围场景图像以及用户头部位置信息和头部旋转角度，T时刻用户头部位置信息为A，头部旋转角度为α，将A和α写入T时刻图像码流中，T+1时刻用户头部位置信息为B，头部旋转角度为β，将B和β信息写入T+1时刻图像码流中，也可以将B与A的差值信息(B-A)，β与α的差值信息(β-α)写入T+1时刻图像码流中，也可以将B和(β-α)，或者(B-A)和β的组合形式写入T+1时刻图像码流中。如果用户头部旋转信息，如头部旋转角度从T时刻到T+1时刻没有改变，即A＝B，α＝β，则可以选择不将B或者(B-A)，β或者(β-α)写入T+1时刻图像码流或将标识信息写入T+1时刻图像码流。
需要注意的是，全景图像数据、头部位置信息和头部旋转信息也可以不是实时采集，而是根据需要在现有的全景视频中添加头部位置信息和头部旋转信息。
在一个示例中，在现有的全景视频中，根据用户喜好或者预设约定(例如导演剪辑director’s cut)，针对同一时刻全景图像数据生成多组运动参数组合，每一组运动参数组合可以包含如下至少一头部位置信息；头部旋转信息。例如，T时刻设定2组运动参数组合，分别为第1组头部位置信息为A1，第2组头部位置信息是A2，将A1和A2写入T时刻图像码流中。T+1时刻2组运动参数组合分别为第1组头部位置信息为B1，第2组头部位置信息为B2，将B1和B2信息写入T+1时刻图像码流中，也可以将第1组头部位置信息B1与A1的差值信息(B1-A1)，第2组头部位置信息B2与A2的差值信息(B2-A2)写入T+1时刻图像码流中，也可以将头部位置信息和差值信息以不同的组合形式写入T+1时刻图像码流中。如果头部位置信息从T时刻到T+1时刻没有改变，即A1＝B1，或者A2＝B2，则可以选择不将B1或者(B1-A1)，B2或者(B2-A2)写入T+1时刻图像码流或将标识信息写入T+1时刻图像码流。
类似的，不同组的运动参数组合可以采用头部位置信息与旋转信息的组合的方式表示，此处仅以第一组运动参数组合包括头部位置信息为例进行说明。当运动参数组合包括旋转信息的情况下，本领域技术人员可以参见上述示例确定写入码流的具体方式。
需要注意的是，上述头部位置信息可以替换为如下至少之一：身体运动信息；视点运动信息；身体运动信息。
在一个示例性实施例方式中，本申请还提供了一种码流的处理方法，图2为本申请提供的另一种码流的处理方法的流程示意图。该方法可以适用于基于码流确定呈现给用户码流中哪部分视频画面(即目标图像数据)的情况。该方法可以由本申请提供的码流的处理装置执行，该码流的处理装置可以由软件和/或硬件实现，并集成在第二终端上。本实施例尚未详尽的内容可以参见上述实施例，此处不作赘述。
如图2所示，本申请提供的码流的处理方法，包括S210、S220和S230。
S210、接收码流。
码流可以为第一终端生成的码流。
S220、从所述码流中提取运动信息。
在接收到码流后，可以从码流中提取运动信息。运动信息可以放置在码流的不同位置，如SEI、VUI、MPD等。
S230、在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。
在从码流中提取到运动信息的情况下，可以根据提取到的运动信息对对应所述提取到的运动信息的全景图像数据进行处理，确定该全景图像数据的目标图像数据。
处理的手段包括但不限于，根据运动信息，在全景图像数据中截取部分数据，生成目标图像数据。该目标图像数据可以直接显示给用户；也可以存储在第二终端中；还可以编码生成新的码流。
本申请提供的码流的处理方法，首先接收码流；然后从所述码流中提取运动信息；在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。解决了在将沉浸式视频传输给用户进行观看时，无法确定呈现给用户沉浸式视频中的哪一部分的视频画面的技术问题，能够在用户观看该码流时通过码流中的运动信息自动确定呈现给用户的目标图像数据，即自动确定呈现给用户码流中哪部分视频画面。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中，所述从所述码流中提取运动信息，包括：从所述码流的如下至少之一中提取运动信息：补充增强信息；视频应用信息；系统层媒体属性描述单元。
在一个实施例中，所述根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据，包括：根据所述运动信息在全景图像数据中截取得到目标图像数据。
在一个实施例中，所述运动信息包括如下至少之一：头部运动信息；身体运动信息；视点运动信息。
在一个实施例中，所述头部运动信息包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。
在一个实施例中，所述身体运动信息包括如下之一：身体绝对位置信息；身体相对位置信息；身体绝对旋转信息；身体相对旋转信息；身体绝对位置信息与身体绝对旋转信息的组合；身体绝对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体绝对旋转信息的组合。
在一个实施例中，所述视点运动信息包括如下之一：视点绝对位置信息；视点相对位置信息；视点绝对旋转信息；视点相对旋转信息；视点绝对位置信息与视点绝对旋转信息的组合；视点绝对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点绝对旋转信息的组合。
在一个实施例中，所述运动信息包括至少一组运动参数组合；一组运动参数组合至少包括以下至少之一：头部运动信息、身体运动信息、视点运动信息。
在一个实施例中，所述根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据，包括：在提取到的运动信息为标识信息的情况下，根据上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。
在提取到的运动信息为标识信息的情况下，可以认为当前的运动信息与上一时刻的运动信息相同，则可以直接根据上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据。标识信息的具体内容不作限定，只要能够标识当前的运动信息与上一时刻的运动信息相同即可。
在一个实施例中，该方法，还包括：在未提取到运动信息的情况下，根据上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据。没有提取的运动信息可以认为当前时刻的运动信息和上一时刻的运动信息相同，可以直接基于上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据。
在一个实施例中，所述根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据，包括：在所述运动信息包括至少两组运动参数组合，且检测到选取指令的情况下，确定对应所述选取指令的运动参数组别，根据所述运动参数组别对应的运动参数组合对全景图像数据进行处理，得到目标图像数据；在所述运动信息包括至少两组运动参数组合，且未检测到选取指令的情况下，将上一时刻的运动参数组别作为当前时刻的运动参数组别，并根据所述当前时刻的运动参数组别对应的运动参数组合对全景图像数据进行处理，得到目标图像数据。
在运动信息包括至少两组运动参数组合的情况下，不同的运动参数组合可以对应不同的目标图像数据。用户可以通过对运动参数组别进行选取，得到不同的目标图像数据，如可以在第二终端上显示每组运动参数组合的运动参数组别，供用户进行选取。运动参数组别可以用于区分每组运动参数组合。运动参数组别的命名方式不作限定，可以便于用于区分不同组运动参数组合对应的目标图像数据。如以比赛场景为例，运动参数组别可以以运动员A和运动员B命名。
选取指令可以理解为用于选取运动参数组别的指令。在检测到选取指令后，确定对应所述选取指令的运动参数组别，不用的选取指令可以对应有不同的运动参数组别。在确定运动参数组别后，根据运动参数组别对应的运动参数组合对全景图像数据进行处理，即从运动信息中选取所述运动参数组别对应的运动参数组合对全景图像数据进行处理。
在没有检测到选取指令的情况下，可以认为用户当前并未切换运动参数组合，可以将上一时刻的运行参数组别对应的运动参数组合对全景图像数据进行处理。
在一个实施例中，对所述目标图像数据进行编码，并将编码后的目标图像数据进行如下至少之一操作：存储和传输。
得到目标图像数据后，可以将目标图像进行视频编码，形成新的码流。
在一个实施例中，该方法，还包括显示所述目标图像数据。
以下对本申请实施例进行示例性描述，本申请获取码流，从码流中提取运动信息，然后根据运动信息对对应的全景图像数据进行处理，得到目标图像数据。显示目标图像数据或对目标图像数据进行编码生成新的码流，传输或存储新的码流。
为了进一步说明本实施例所提供的技术方案，下面通过具体应用示例对本发明实施例所提供的技术方案进行描述。以下对上述各种方法的描述仅为各对应方法的具体示例。当使用多种方法时，可将下述各方法的示例进行简单组合和串联，即可得到对应的示例。
示例1：获取T时刻码流，从码流中提取头部位置在A点，根据A点的位置信息获取全景图像数据中的部分图像数据，即目标图像数据，在显示设备上显示部分图像数据。获取T+1时刻码流，从码流中提取头部位置在B点，根据B点的位置信息获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。
如果T+1时刻获取的头部运动信息是B点相对于A的位置增量信息(B-A)，则先计算出新的位置信息B，再根据B点的位置信息获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。
如果T+1时刻获取的头部运动信息表明位置没有改变，则根据T时刻A点的位置获取全景图像中的部分图像数据，在显示设备上显示部分图像数据。
示例2：获取T时刻码流，从码流中提取头部旋转角度α，根据α获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。获取T+1时刻码流，从码流中提取头部旋转角度β，根据β获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。
如果T+1时刻获取相对于头部旋转角度α差值信息(β-α)，则先计算出新的头部旋转角度β，再根据β获取全景图像中的部分图像数据，在显示设备上显示部分图像数据。
如果T+1时刻获取的头部运动信息表明没有改变，则根据T时刻旋转角度α获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。未获取到头部位置信息或头部运动信息为标识信息的情况下，可以表明头部运动信息没有改变。
示例3：获取T时刻码流，从码流中提取头部位置在A点和头部旋转角度α，根据A点的位置和头部旋转角度α获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。
获取T+1时刻码流，从码流中提取头部位置在B点和头部旋转角度β，根据B点的位置和头部旋转角度β获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。
如果T+1时刻获取的头部运动信息是B点相对于A的位置增量信息(B-A)，相对于旋转角度α差值信息(β-α)，则先计算出新的位置信息B和新的头部旋转角度β，再根据B点的位置和头部旋转角度β获取全景图像中的部分图像数据，在显示设备上显示部分图像数据。
如果T+1时刻获取的头部运动信息表明位置没有改变，则根据T时刻A点的位置和旋转角度α获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。
示例4：获取T时刻码流，从码流中提取出多组头部运动信息，可选取其中一组头部运动信息，比如第一组，根据第1组头部运动信息获取全景图像数据中的部分图像数据，在显示设备上显示部分图像数据。
获取T+1时刻码流，从码流中提取多组头部运动信息，对应T时刻选取的运动信息组别，选取第1组运动信息，如果运动信息是绝对数值，则直接根据此信息获取全景图像中的部分图像数据，在显示设备上显示图像。
如果运动信息是相对数值，则先计算新的绝对运动信息，再根据新的绝对运动信息获取全景图像数据中的部分图像数据，也可以不计算新的绝对运动信息，直接根据T时刻位置，如T时刻运动信息以及增量头部运动信息，即T+1时刻的相对运动信息(如头部相对位置信息)，获取全景图像中的部分图像数据，最后在显示设备上显示部分图像数据。
类似的，不同组的头部运动信息可以采用位置信息与旋转信息的组合方式来表示，如不同组的头部运动信息包括如下至少之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。
类似的，示例1至示例4中的头部运动信息可以替换为如下之一：身体运动信息；视点运动信息；头部运动信息和视点运行信息；头部运动信息和身体运动信息；头部运动信息、视点运动信息和身体运动信息。
需要注意的是，码流的处理方法中视频码流属于立体视频，在应用至立体视频时，运动信息可以同时使用于左视场和右视场。运动信息可以仅与左视场生成码流，也可以仅与右视场生成码流，也可以与左右视场一起生成码流。
本申请提供了一种码流的处理装置，图3为本申请提供的一种码流的处理装置的结构示意图，该码流的处理装置可以集成在第一终端上。如图3所示，该装置包括：获取模块31，设置为获取全景图像数据和获取运动信息；生成模块32，设置为根据所述全景图像数据和所述运动信息生成码流。
其中，获取模块31在获取运动信息的过程中，可以先获取运动参数。运动参数包括头部运动参数、身体运动参数和视点运动参数。获取到运动参数后可以参见上述表格，加入相应的辅助数据，如运动信息标识符等，得到运动信息。
运动信息可以供视频编码器使用也可以直接供传输模块使用。
以下对本实施例提供的码流的处理装置进行示例性说明，图3a为本申请提供的又一种码流的处理装置的结构示意图。参见图3a，该装置包括：获取设备301，用于获取球面全景视频图像数据(即全景图像数据)和运动数据；运动模块302，用于基于运动数据生成运动信息，此运动信息可以供视频编码器使用，也可以供传输模块使用；视频编码器303，对视频图像数据进行编码，并将运动信息编码加入码流对应位置，也可以将运动信息编码加入到已经编码过的视频码流中；传输模块304，用于对视频编码数据或者媒体数据进行网络传输层编码，可以是对含有运动信息视频图像数据进行编码，也可以是对视频数据和运动信息单独编码。
上述采集设备301、运动信息模块302、视频编码器303、传输模块304可以通过使用专用硬件、或者能够与适当的软件相结合来执行处理的硬件来实现。这样的硬件或专用硬件可以包括专用集成电路(ASIC)、各种其它电路、各种处理器等。当由处理器实现时，该功能可以由单个专用处理器、单个共享处理器、或者多个独立的处理器(其中某些可能被共享)来提供。另外，处理器不应该被理解为专指能够执行软件的硬件，而是可以隐含地包括、而不限于数字信号处理器(DSP)硬件、用来存储软件的只读存储器(ROM)、随机存取存储器(RAM)、以及非易失存储设备。
本实施例的装置可以是视频应用中设备，例如，手机、计算机、服务器、机顶盒、便携式移动终端、数字摄像机，电视广播系统设备等。
本实施例提供的码流的处理装置用于实现如图1所示实施例的码流的处理方法，本实施例提供的码流的处理装置实现原理和技术效果与图1所示实施例的码流的处理方法类似，此处不再赘述。
在一个实施例中，所述运动信息与所述全景图像数据同步获取或所述运动信息是预先设定的。
在一个实施例中，所述运动信息包括如下至少之一：头部运动信息、身体运动信息、视点运动信息。
在一个实施例中，所述头部运动信息包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。
在一个实施例中，所述身体运动信息包括如下之一：身体绝对位置信息；身体相对位置信息；身体绝对旋转信息；身体相对旋转信息；身体绝对位置信息与身体绝对旋转信息的组合；身体绝对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体绝对信息的组合。
在一个实施例中，所述视点运动信息包括如下之一：视点绝对位置信息；视点相对位置信息；视点绝对旋转信息；视点相对旋转信息；视点绝对位置信息与视点绝对旋转信息的组合；视点绝对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点绝对旋转信息的组合。
在一个实施例中，所述运动信息包括至少一组运动参数组合，每组运动参数组合设置有对应的运动参数组别；一组运动参数组合至少包括以下至少之一：头部运动信息；身体运动信息；视点运动信息。
在一个实施例中，生成模块32设置为如下至少之一：在所述运动信息与上一时刻的运动信息相同的情况下，根据所述全景图像数据生成码流；在所述运动信息与上一时刻的运动信息相同的情况下，将标识信息作为新的运动信息，并根据所述全景图像数据和所述新的运动信息生成码流，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。
在一个实施例中，生成模块32设置为将所述运动信息写入由所述全景图像数据生成的码流中。
在一个实施例中，生成模块32设置为将所述运动信息写入由所述全景图像数据生成的码流的如下至少之一中：补充增强信息；视频应用信息；系统层媒体属性描述单元。
在一个实施例中，该装置还包括如下至少之一：存储模块，设置为存储码流；发送模块，设置为发送码流。
本申请还提供了一种码流的处理装置，图4为本申请提供的另一种码流的处理装置的结构示意图，该装置可以集成在第二终端上。如图4所示，该装置包括：接收模块41，设置为接收码流；提取模块42，设置为从所述码流中提取运动信息；处理模块43，设置为在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。
以下对本申请提供的码流的处理装置进行示例性的描述，图4a为本申请提供的再一种码流的处理装置的结构示意图。该装置可以包括：传输模块401，用于从包含有视频编码数据或者媒体数据的网络传输层数据进行解码，可以是仅提出运动信息，也可以提取包含有运动信息的视频图像数据；运动信息处理模块402，用于解析运动信息。视频解码器403，用于对视频图像数据解码，也可以从视频码流中提取运动信息供运动信息处理模块使用；显示设备404，用于全景视频图像显示，或者根据运动信息选取部分图像显示。
上述传输模块401、区域相邻信息处理模块402、视频解码器403、显示设备404可以通过使用专用硬件、或者能够与适当的软件相结合来执行处理的硬件来实现。这样的硬件或专用硬件可以包括专用集成电路(ASIC)、各种其它电路、各种处理器等。当由处理器实现时，该功能可以由单个专用处理器、单个共享处理器、或者多个独立的处理器(其中某些可能被共享)来提供。另外，处理器不应该被理解为专指能够执行软件的硬件，而是可以隐含地包括、而不限于数字信号处理器(DSP)硬件、用来存储软件的只读存储器(ROM)、随机存取存储器(RAM)、以及非易失存储设备。
本实施例的装置可以是视频应用中设备，例如，手机、计算机、服务器、机顶盒、便携式移动终端、数字摄像机，电视广播系统设备等。
本实施例提供的码流的处理装置用于实现如图2所示实施例的码流的处理方法，本实施例提供的码流的处理装置实现原理和技术效果与图2所示实施例的码流的处理方法类似，此处不再赘述。
在一个实施例中，提取模块42，具体设置为从所述码流的如下至少之一中提取运动信息：补充增强信息；视频应用信息；系统层媒体属性描述单元。
在一个实施例中，处理模块43设置为根据所述运动信息在全景图像数据中截取得到目标图像数据。
在一个实施例中，所述运动信息包括如下至少之一：头部运动信息；身体运动信息；视点运动信息。
在一个实施例中，所述头部运动信息包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。
在一个实施例中，所述身体运动信息包括如下之一：身体绝对位置信息；身体相对位置信息；身体绝对旋转信息；身体相对旋转信息；身体绝对位置信息与身体绝对旋转信息的组合；身体绝对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体绝对旋转信息的组合。
在一个实施例中，所述视点运动信息包括如下之一：视点绝对位置信息；视点相对位置信息；视点绝对旋转信息；视点相对旋转信息；视点绝对位置信息与视点绝对旋转信息的组合；视点绝对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点绝对旋转信息的组合。
在一个实施例中，所述运动信息包括至少一组运动参数组合；一组运动参数组合至少包括以下至少之一：头部运动信息、身体运动信息、视点运动信息。
在一个实施例中，处理模块43设置为在提取到的运动信息为标识信息的情况下，根据上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。
在一个实施例中，处理模块43还设置为：在未提取到运动信息的情况下，根据上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据。
在一个实施例中，处理模块43设置为在所述运动信息包括至少两组运动参数组合，且检测到选取指令的情况下，确定对应所述选取指令的运动参数组别，根据所述运动参数组别对应的运动参数组合对全景图像数据进行处理，得到目标图像数据；在所述运动信息包括至少两组运动参数组合，且未检测到选取指令的情况下，将上一时刻的运动参数组别作为当前时刻的运动参数组别，并根据所述当前时刻的运动参数组别对应的运动参数组合对全景图像数据进行处理，得到目标图像数据。
在一个实施例中，该装置还包括编码模块，设置为对所述目标图像数据进行编码，并将编码后的目标图像数据进行如下至少之一操作：存储和传输。
在一个实施例中，该装置还包括显示模块，设置为显示所述目标图像数据。
本申请实施例还提供了一种第一终端，图5为本申请提供的一种第一终端的结构示意图。如图5所示，本申请提供的第一终端，包括一个或多个处理器51和存储装置52；该第一终端中的处理器51可以是一个或多个，图5中以一个处理器51为例；存储装置52用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器51执行，使得所述一个或多个处理器51实现如本发明实施例中所述的码流的处理方法。
第一终端还包括：通信装置53、输入装置54和输出装置55。
第一终端中的处理器51、存储装置52、通信装置53、输入装置54和输出装置55可以通过总线或其他方式连接，图5中以通过总线连接为例。
输入装置54可用于接收输入的数字或字符信息，以及产生与第一终端的用户设置以及功能控制有关的按键信号输入。输入装置54包括但不限于获取全景图像数据的采集装置和获取运动信息的获取装置。此处不对获取装置进行限定，只要能够获取运动信息即可，如传感器。输出装置55可包括显示屏等显示设备。
通信装置53可以包括接收器和发送器。通信装置53设置为根据处理器51的控制进行信息收发通信。信息包括不限于码流、全景图像数据和运动信息。
存储装置52作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请实施例所述码流的处理方法对应的程序指令/模块(例如，码流的处理装置中的获取模块31和生成模块32)。存储装置52可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据第一终端的使用所创建的数据等。此外，存储装置52可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置52可进一步包括相对于处理器51远程设置的存储器，这些远程存储器可以通过网络连接至第一终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例还提供了一种第二终端，图6为本申请提供的一种第二终端的结构示意图。如图6所示，本申请提供的第二终端，包括一个或多个处理器61和存储装置62；该第二终端中的处理器61可以是一个或多个，图6中以一个处理器61为例；存储装置62用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器61执行，使得所述一个或多个处理器61实现如本发明实施例中所述的码流的处理方法。
第二终端还包括：通信装置63、输入装置64和输出装置65。
第二终端中的处理器61、存储装置62、通信装置63、输入装置64和输出装置65可以通过总线或其他方式连接，图6中以通过总线连接为例。
输入装置64可用于接收输入的数字或字符信息，以及产生与第二终端的用户设置以及功能控制有关的按键信号输入。输出装置65可包括显示屏等显示设备。
通信装置63可以包括接收器和发送器。通信装置63设置为根据处理器61的控制进行信息收发通信。信息包括但不限于码流、目标图像数据和编码后的目标图像数据。
存储装置62作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请实施例所述码流的处理方法对应的程序指令/模块(例如，码流的处理装置中的接收模块41、提取模块42和处理模块43)。存储装置62可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据第二终端的使用所创建的数据等。此外，存储装置62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至第二终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中任一所述的码流的处理方法。如应用于第一终端的码流的处理方法和应用于第二终端的码流的处理方法，其中，应用于第一终端的码流的处理方法包括：获取全景图像数据；获取运动信息；根据所述全景图像数据和所述运动信息生成码流。
应用于第二终端的码流的处理方法包括：接收码流；从所述码流中提取运动信息；在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据。
以上所述，仅为本申请的示例性实施例而已，并非用于限定本申请的保护范围。
本领域内的技术人员应明白，术语终端(包括第一终端和第二终端)涵盖任何适合类型的无线用户设备，例如移动电话、便携数据处理装置、便携网络浏览器头戴式显示设备或车载移动台。
一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。
本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(Read-Only Memory，ROM)、随机访问存储器(Random Access Memory，RAM)、光存储器装置和系统(数码多功能光碟(Digital Video Disc，DVD)或光盘(Compact Disk，CD))等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑器件(Field-Programmable Gate Array，FGPA)以及基于多核处理器架构的处理器。
通过示范性和非限制性的示例，上文已提供了对本申请的示范实施例的详细描述。但结合附图和权利要求来考虑，对以上实施例的多种修改和调整对本领域技术人员来说是显而易见的，但不偏离本申请的范围。因此，本申请的恰当范围将根据权利要求确定。

Claims (23)

1.一种码流的处理方法，其特征在于，应用于第一终端，包括：
获取全景图像数据；
获取运动信息；
根据所述全景图像数据和所述运动信息生成码流；
所述根据所述全景图像数据和所述运动信息生成码流，包括：
将所述运动信息写入由所述全景图像数据生成的码流中；
所述将所述运动信息写入由所述全景图像数据生成的码流中，包括：
将所述运动信息写入由所述全景图像数据生成的码流的如下至少之一中：补充增强信息；视频应用信息；系统层媒体属性描述单元；
其中，所述运动信息与所述全景图像数据同步获取或所述运动信息是预先设定的；
所述根据所述全景图像数据和所述运动信息生成码流，包括：
在所述运动信息与上一时刻的运动信息相同的情况下，将标识信息作为新的运动信息，并根据所述全景图像数据和所述新的运动信息生成码流，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。
2.根据权利要求1所述的方法，其特征在于，所述运动信息包括如下至少之一：头部运动信息、身体运动信息、视点运动信息。
3.根据权利要求2所述的方法，其特征在于，所述头部运动信息包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。
4.根据权利要求2所述的方法，其特征在于，所述身体运动信息包括如下之一：身体绝对位置信息；身体相对位置信息；身体绝对旋转信息；身体相对旋转信息；身体绝对位置信息与身体绝对旋转信息的组合；身体绝对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体绝对信息的组合。
5.根据权利要求2所述的方法，其特征在于，所述视点运动信息包括如下之一：视点绝对位置信息；视点相对位置信息；视点绝对旋转信息；视点相对旋转信息；视点绝对位置信息与视点绝对旋转信息的组合；视点绝对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点绝对旋转信息的组合。
6.根据权利要求1所述的方法，其特征在于，所述运动信息包括至少一组运动参数组合，每组运动参数组合设置有对应的运动参数组别；一组运动参数组合至少包括以下至少之一：头部运动信息；身体运动信息；视点运动信息。
7.根据权利要求1所述的方法，其特征在于，所述根据所述全景图像数据和所述运动信息生成码流，包括：
在所述运动信息与上一时刻的运动信息相同的情况下，根据所述全景图像数据生成码流。
8.根据权利要求1所述的方法，其特征在于，还包括：
存储或发送码流。
9.一种码流的处理方法，其特征在于，应用于第二终端，包括：
接收码流；
从所述码流中提取运动信息；
在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据；
所述从所述码流中提取运动信息，包括：
从所述码流的如下至少之一中提取运动信息：补充增强信息；视频应用信息；系统层媒体属性描述单元；
所述根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据，包括：
根据所述运动信息在全景图像数据中截取得到目标图像数据；
所述根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据，包括：
在提取到的运动信息为标识信息的情况下，根据上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。
10.根据权利要求9所述的方法，其特征在于，所述运动信息包括如下至少之一：头部运动信息；身体运动信息；视点运动信息。
11.根据权利要求10所述的方法，其特征在于，所述头部运动信息包括如下之一：头部绝对位置信息；头部相对位置信息；头部绝对旋转信息；头部相对旋转信息；头部绝对位置信息与头部绝对旋转信息的组合；头部绝对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部相对旋转信息的组合；头部相对位置信息与头部绝对旋转信息的组合。
12.根据权利要求10所述的方法，其特征在于，所述身体运动信息包括如下之一：身体绝对位置信息；身体相对位置信息；身体绝对旋转信息；身体相对旋转信息；身体绝对位置信息与身体绝对旋转信息的组合；身体绝对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体相对旋转信息的组合；身体相对位置信息与身体绝对旋转信息的组合。
13.根据权利要求10所述的方法，其特征在于，所述视点运动信息包括如下之一：视点绝对位置信息；视点相对位置信息；视点绝对旋转信息；视点相对旋转信息；视点绝对位置信息与视点绝对旋转信息的组合；视点绝对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点相对旋转信息的组合；视点相对位置信息与视点绝对旋转信息的组合。
14.根据权利要求9所述的方法，其特征在于，所述运动信息包括至少一组运动参数组合；一组运动参数组合至少包括以下至少之一：头部运动信息、身体运动信息、视点运动信息。
15.根据权利要求9所述的方法，其特征在于，还包括：
在未提取到运动信息的情况下，根据上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据。
16.根据权利要求9所述的方法，其特征在于，所述根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据，包括：
在所述运动信息包括至少两组运动参数组合，且检测到选取指令的情况下，确定对应所述选取指令的运动参数组别，根据所述运动参数组别对应的运动参数组合对全景图像数据进行处理，得到目标图像数据；
在所述运动信息包括至少两组运动参数组合，且未检测到选取指令的情况下，将上一时刻的运动参数组别作为当前时刻的运动参数组别，并根据所述当前时刻的运动参数组别对应的运动参数组合对全景图像数据进行处理，得到目标图像数据。
17.根据权利要求9所述的方法，其特征在于，还包括：对所述目标图像数据进行编码，并将编码后的目标图像数据进行如下至少之一操作：存储和传输。
18.根据权利要求9所述的方法，其特征在于，还包括显示所述目标图像数据。
19.一种码流的处理装置，其特征在于，应用于第一终端，包括：
获取模块，设置为获取全景图像数据和获取运动信息；
生成模块，设置为根据所述全景图像数据和所述运动信息生成码流；
所述生成模块设置为将所述运动信息写入由所述全景图像数据生成的码流中；
所述生成模块设置为将所述运动信息写入由所述全景图像数据生成的码流的如下至少之一中：补充增强信息；视频应用信息；系统层媒体属性描述单元；
其中，所述运动信息与所述全景图像数据同步获取或所述运动信息是预先设定的；
所述生成模块，还用于在所述运动信息与上一时刻的运动信息相同的情况下，将标识信息作为新的运动信息，并根据所述全景图像数据和所述新的运动信息生成码流，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。
20.一种码流的处理装置，其特征在于，应用于第二终端，包括：
接收模块，设置为接收码流；
提取模块，设置为从所述码流中提取运动信息；
处理模块，设置为在提取到运动信息的情况下，根据提取到的运动信息对全景图像数据进行处理，得到目标图像数据；
所述提取模块，具体设置为从所述码流的如下至少之一中提取运动信息：补充增强信息；视频应用信息；系统层媒体属性描述单元；
其中，所述运动信息与所述全景图像数据同步获取或所述运动信息是预先设定的；
所述处理模块，还用于：
在提取到的运动信息为标识信息的情况下，根据上一时刻的运动信息对全景图像数据进行处理，得到目标图像数据，所述标识信息用于指示所述运动信息与上一时刻的运动信息相同。
21.一种第一终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-8中任一所述的码流的处理方法。
22.一种第二终端，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求9-18中任一所述的码流的处理方法。
23.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-18中任一所述的码流的处理方法。
CN201910770654.5A 2019-08-20 2019-08-20 码流的处理方法、装置、第一终端、第二终端及存储介质 Active CN112423108B (zh)

Priority Applications (6)

Application Number Priority Date Filing Date Title
CN201910770654.5A CN112423108B (zh) 2019-08-20 2019-08-20 码流的处理方法、装置、第一终端、第二终端及存储介质
PCT/CN2020/109928 WO2021032105A1 (zh) 2019-08-20 2020-08-19 码流的处理方法、装置、第一终端、第二终端及存储介质
JP2022511181A JP7356579B2 (ja) 2019-08-20 2020-08-19 コードストリームの処理方法、装置、第１端末、第２端末及び記憶媒体
US17/636,533 US20220303518A1 (en) 2019-08-20 2020-08-19 Code stream processing method and device, first terminal, second terminal and storage medium
KR1020227008752A KR102802929B1 (ko) 2019-08-20 2020-08-19 코드 스트림의 처리 방법, 장치, 제1 단말, 제2 단말 및 저장 매체
EP20855105.1A EP4021001A4 (en) 2019-08-20 2020-08-19 CODE STREAM PROCESSING METHOD AND APPARATUS, FIRST TERMINAL, SECOND TERMINAL AND STORAGE MEDIUM

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910770654.5A CN112423108B (zh) 2019-08-20 2019-08-20 码流的处理方法、装置、第一终端、第二终端及存储介质

Publications (2)

Publication Number Publication Date
CN112423108A CN112423108A (zh) 2021-02-26
CN112423108B true CN112423108B (zh) 2023-06-30

Family

ID=74659939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910770654.5A Active CN112423108B (zh) 2019-08-20 2019-08-20 码流的处理方法、装置、第一终端、第二终端及存储介质

Country Status (6)

Country Link
US (1) US20220303518A1 (zh)
EP (1) EP4021001A4 (zh)
JP (1) JP7356579B2 (zh)
KR (1) KR102802929B1 (zh)
CN (1) CN112423108B (zh)
WO (1) WO2021032105A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114365874B (zh) * 2022-01-11 2023-07-04 深圳市华微矽电子科技有限公司 一种高效雾化装置及其在电子烟中的应用
US20230343028A1 (en) * 2022-04-20 2023-10-26 Apple Inc. Method and Device for Improving Comfortability of Virtual Content

Family Cites Families (46)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050018911A1 (en) * 2003-07-24 2005-01-27 Eastman Kodak Company Foveated video coding system and method
US20120092348A1 (en) * 2010-10-14 2012-04-19 Immersive Media Company Semi-automatic navigation with an immersive image
US8953022B2 (en) * 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US20140009503A1 (en) * 2012-07-03 2014-01-09 Tourwrist, Inc. Systems and Methods for Tracking User Postures to Control Display of Panoramas
CN104754358B (zh) * 2013-12-27 2019-02-19 中兴通讯股份有限公司 码流的生成和处理方法、装置及系统
US9691181B2 (en) * 2014-02-24 2017-06-27 Sony Interactive Entertainment Inc. Methods and systems for social sharing head mounted display (HMD) content with a second screen
GB2523740B (en) * 2014-02-26 2020-10-14 Sony Interactive Entertainment Inc Image encoding and display
JP6610546B2 (ja) * 2014-07-03 2019-11-27 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10204658B2 (en) * 2014-07-14 2019-02-12 Sony Interactive Entertainment Inc. System and method for use in playing back panorama video content
US9997199B2 (en) * 2014-12-05 2018-06-12 Warner Bros. Entertainment Inc. Immersive virtual reality production and playback for storytelling content
EP3291563A4 (en) * 2015-05-01 2018-12-05 Dentsu Inc. Free viewpoint video data distribution system
US11245939B2 (en) * 2015-06-26 2022-02-08 Samsung Electronics Co., Ltd. Generating and transmitting metadata for virtual reality
US11019257B2 (en) * 2016-05-19 2021-05-25 Avago Technologies International Sales Pte. Limited 360 degree video capture and playback
WO2018002882A1 (en) * 2016-06-30 2018-01-04 Nokia Technologies Oy Method and apparatus for rotation and switching of video content
US20180007422A1 (en) * 2016-06-30 2018-01-04 Sony Interactive Entertainment Inc. Apparatus and method for providing and displaying content
EP3501014A1 (en) * 2016-08-17 2019-06-26 VID SCALE, Inc. Secondary content insertion in 360-degree video
CN109691094B (zh) * 2016-08-25 2021-10-22 Lg电子株式会社 发送全向视频的方法、接收全向视频的方法、发送全向视频的装置和接收全向视频的装置
KR102264028B1 (ko) * 2016-08-25 2021-06-11 엘지전자 주식회사 전방향 비디오를 전송하는 방법, 전방향 비디오를 수신하는 방법, 전방향 비디오 전송 장치, 전방향 비디오 수신 장치
DE102017009145A1 (de) * 2016-10-14 2018-04-19 Avago Technologies General Ip (Singapore) Pte. Ltd. Erfassung und Wiedergabe von 360-Grad-Videos
US10754529B2 (en) * 2016-10-28 2020-08-25 Adobe Inc. Facilitating editing of virtual-reality content using a virtual-reality headset
US10560678B2 (en) * 2016-11-09 2020-02-11 Mediatek Inc. Method and apparatus having video encoding function with syntax element signaling of rotation information of content-oriented rotation applied to 360-degree image content or 360-degree video content represented in projection format and associated method and apparatus having video decoding function
US10887572B2 (en) * 2016-11-17 2021-01-05 Intel Corporation Suggested viewport indication for panoramic video
US10560660B2 (en) * 2017-01-04 2020-02-11 Intel Corporation Rectilinear viewport extraction from a region of a wide field of view using messaging in video transmission
US10769797B2 (en) * 2017-01-05 2020-09-08 Samsung Electronics Co., Ltd. Virtual reality experience sharing
WO2018131813A1 (en) * 2017-01-10 2018-07-19 Samsung Electronics Co., Ltd. Method and apparatus for generating metadata for 3d images
WO2018131888A1 (ko) * 2017-01-13 2018-07-19 삼성전자 주식회사 360도 이미지를 부호화 또는 복호화하는 방법 및 장치
CN106791437B (zh) * 2017-01-20 2020-02-14 维沃移动通信有限公司 一种全景图像拍摄方法及移动终端
CN107659851B (zh) * 2017-03-28 2019-09-17 腾讯科技（北京）有限公司 全景图像的展示控制方法及装置
CN107230179A (zh) * 2017-04-27 2017-10-03 北京小鸟看看科技有限公司 全景图像的存储方法、展示方法及设备
WO2018236715A1 (en) * 2017-06-19 2018-12-27 Bitmovin, Inc. Predictive content buffering in streaming of immersive video
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
EP3515082B1 (en) * 2018-01-19 2020-05-13 Nokia Technologies Oy Server device for streaming video content and client device for receiving and rendering video content
WO2019245303A1 (en) * 2018-06-22 2019-12-26 Lg Electronics Inc. Method for transmitting 360-degree video, method for receiving 360-degree video, apparatus for transmitting 360-degree video, and apparatus for receiving 360-degree video
CN109099915B (zh) * 2018-06-27 2020-12-25 未来机器人（深圳）有限公司 移动机器人定位方法、装置、计算机设备和存储介质
WO2020009341A1 (ko) * 2018-07-06 2020-01-09 엘지전자 주식회사 동적 뷰포인트의 좌표계에 대한 메타데이터를 송수신하는 방법 및 장치
US20200296350A1 (en) * 2018-07-13 2020-09-17 Lg Electronics Inc. Method and device for transmitting and receiving metadata on coordinate system of dynamic viewpoint
KR101982291B1 (ko) * 2018-07-19 2019-05-24 주식회사 테크노블러드코리아 가상현실 화면의 배열 및 표시방법
US10699154B2 (en) * 2018-08-08 2020-06-30 At&T Intellectual Property I, L.P. Optimizing 360-degree video streaming with video content analysis
US11528509B2 (en) * 2018-09-07 2022-12-13 Lg Electronics Inc. Video transmission method, video transmission device, video receiving method and video receiving device
WO2020071738A1 (en) * 2018-10-02 2020-04-09 Lg Electronics Inc. Method for transmitting video, apparatus for transmitting video, method for receiving video, and apparatus for receiving video
US20210329214A1 (en) * 2018-10-04 2021-10-21 Lg Electronics Inc. An apparatus for transmitting a video, a method for transmitting a video, an apparatus for receiving a video, and a method for receiving a video
US12155809B2 (en) * 2019-06-20 2024-11-26 At&T Intellectual Property I, L.P. Processing system for streaming volumetric video to a client device
CN112148115A (zh) * 2019-06-28 2020-12-29 中兴通讯股份有限公司 媒体处理方法、装置、系统和可读存储介质
JP7614168B2 (ja) * 2019-07-22 2025-01-15 インターデジタル ヴイシー ホールディングス， インコーポレイテッド ボリュメトリックビデオコンテンツを配信するための方法および装置
EP4128808A4 (en) * 2020-04-02 2024-05-15 Nokia Technologies Oy DEVICE, METHOD AND COMPUTER PROGRAM FOR VIDEO ENCODING AND DECODING
US12279071B2 (en) * 2022-05-11 2025-04-15 Brian R. Muras Visual image management

Also Published As

Publication number Publication date
JP2022545880A (ja) 2022-11-01
US20220303518A1 (en) 2022-09-22
KR102802929B1 (ko) 2025-04-30
JP7356579B2 (ja) 2023-10-04
WO2021032105A1 (zh) 2021-02-25
CN112423108A (zh) 2021-02-26
KR20220045038A (ko) 2022-04-12
EP4021001A4 (en) 2023-09-20
EP4021001A1 (en) 2022-06-29

Similar Documents

Publication Publication Date Title
US11245939B2 (en) Generating and transmitting metadata for virtual reality
CN106303289B (zh) 一种将真实对象与虚拟场景融合显示的方法、装置及系统
CN106789991B (zh) 一种基于虚拟场景的多人互动网络直播方法及系统
KR102493754B1 (ko) 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
CN112423110A (zh) 直播视频数据生成方法、装置及直播视频播放方法、装置
WO2019227904A1 (zh) 视频处理方法和装置
CA3018600C (en) Method, apparatus and stream of formatting an immersive video for legacy and immersive rendering devices
US20170225077A1 (en) Special video generation system for game play situation
CN110933461A (zh) 图像处理方法、装置、系统、网络设备、终端及存储介质
CN112423108B (zh) 码流的处理方法、装置、第一终端、第二终端及存储介质
US20210195300A1 (en) Selection of animated viewing angle in an immersive virtual environment
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
US12148106B2 (en) Data processing method and apparatus for immersive media, and computer-readable storage medium
CN108810574B (zh) 一种视频信息处理方法及终端
US12081720B2 (en) Devices and methods for generating and rendering immersive video
CN112511866B (zh) 媒体资源播放方法、装置、设备和存储介质
CN113194326A (zh) 全景直播方法、装置、计算机设备及计算机可读存储介质
TWI838050B (zh) 立體成像串流方法及應用其之電子裝置與伺服裝置
HK40064620B (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质
HK40064620A (zh) 沉浸媒体的数据处理方法、装置、设备及可读存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant