CN114040226B - 低带宽高分辨率视频传输的数据传输方法、系统及设备 - Google Patents
低带宽高分辨率视频传输的数据传输方法、系统及设备 Download PDFInfo
- Publication number
- CN114040226B CN114040226B CN202210021556.3A CN202210021556A CN114040226B CN 114040226 B CN114040226 B CN 114040226B CN 202210021556 A CN202210021556 A CN 202210021556A CN 114040226 B CN114040226 B CN 114040226B
- Authority
- CN
- China
- Prior art keywords
- code stream
- image
- data
- video
- format
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000005540 biological transmission Effects 0.000 title claims abstract description 133
- 238000000034 method Methods 0.000 title claims abstract description 79
- 238000006243 chemical reaction Methods 0.000 claims abstract description 46
- 230000006835 compression Effects 0.000 claims description 26
- 238000007906 compression Methods 0.000 claims description 26
- 230000000295 complement effect Effects 0.000 claims description 11
- 238000004364 calculation method Methods 0.000 claims description 10
- 230000003321 amplification Effects 0.000 claims description 9
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 9
- 230000000717 retained effect Effects 0.000 claims description 9
- 230000000153 supplemental effect Effects 0.000 claims description 8
- 230000001502 supplementing effect Effects 0.000 claims description 7
- 239000013589 supplement Substances 0.000 claims description 5
- 238000012545 processing Methods 0.000 abstract description 28
- 238000010586 diagram Methods 0.000 description 12
- 238000003672 processing method Methods 0.000 description 8
- 238000012546 transfer Methods 0.000 description 6
- 230000002123 temporal effect Effects 0.000 description 4
- 230000002441 reversible effect Effects 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000006467 substitution reaction Methods 0.000 description 2
- 230000009469 supplementation Effects 0.000 description 2
- 101100460704 Aspergillus sp. (strain MF297-2) notI gene Proteins 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- QVRVXSZKCXFBTE-UHFFFAOYSA-N n-[4-(6,7-dimethoxy-3,4-dihydro-1h-isoquinolin-2-yl)butyl]-2-(2-fluoroethoxy)-5-methylbenzamide Chemical compound C1C=2C=C(OC)C(OC)=CC=2CCN1CCCCNC(=O)C1=CC(C)=CC=C1OCCF QVRVXSZKCXFBTE-UHFFFAOYSA-N 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000011064 split stream procedure Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234381—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the temporal resolution, e.g. decreasing the frame rate by frame skipping
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
- H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
- H04N21/234309—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by transcoding between formats or standards, e.g. from MPEG-2 to MPEG-4 or from Quicktime to Realvideo
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
- H04N21/2385—Channel allocation; Bandwidth allocation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
本发明属于视频处理领域,具体涉及了一种低带宽高分辨率视频传输的数据传输方法、系统及设备,旨在解决无法在突破业务卡与背板间数据传输链路总带宽对可处理视频的最大分辨率的限制的同时,也适应多路小分辨率视频的使用场景的问题。本发明包括:计算可拆分码流数N;N=1不压缩;2的倍数且非3的倍数,则图像缩小、YCbCr420转换,3的倍数,则图像缩小、拜耳阵列转换,数据为原来的1/N;否则,N+1为3的倍数,图像缩小、拜耳阵列转换,N+1不为3的倍数,图像缩小、YCbCr420格式转换,数据为原来的1/(N+1);码流传输、数据还原后输出。本发明突破了业务卡与背板间数据传输链路总带宽对可处理视频的最大分辨率的限制,同时也适应多路小分辨率视频的使用场景。
Description
技术领域
本发明属于视频处理领域,具体涉及了一种低带宽高分辨率视频传输的数据传输方法、系统及设备。
背景技术
随着视频传输与显示技术在电力、空管、政企、医疗等行业中得到广泛应用,用户对视频画面的清晰度和流畅性的要求不断提高,视频的分辨率越来越大,对高分辨率视频的传输就成为了视频处理设备发展面临的主要问题。
在视频处理设备中,输入卡、输出卡等业务卡都连接在背板上,每张业务卡与背板之间连接一定数量的数据传输链路,视频数据通过背板完成从输入卡到输出卡的交换和传输功能。由于受到硬件设计规则和生产成本的限制,每张业务卡与背板之间的链路数量和每条链路的可用带宽都是有限的。
在传统的数据传输方法中,为了能够传输更高分辨率的视频数据,视频处理设备会采用数据拆分的方法,将N条链路绑定传输一路视频数据。如图1所示,为现有技术的通过数据拆分实现高分辨率视频传输过程的示意图,具体的方法包括:水平区域拆分:在水平方向上把视频的每一帧画面拆分成N等分,每条链路传输其中一份数据,如图1中的(a);行交错拆分:把视频的每一帧画面按行拆分,第一条链路传输第1行、第N+1行……数据,第二条链路传输第2行、第N+2行……数据,第N条链路传输第N行、第N+N行……数据,如图1中的(b);列交错拆分:把视频的每一帧画面按列拆分,第一条链路传输第1列、第N+1列……数据,第二条链路传输第2列、第N+2列……数据,第N条链路传输第N列、第N+N列……数据,如图1中的(c);编码数据拆分:对视频画面进行压缩编码,再按照水平区域拆分、行交错拆分或列交错拆分的方法传输数据。类似的数据拆分的具体方法还有很多,其特点是按照空间坐标将视频画面的所有像素或编码数据拆分,每条链路传输视频画面的一部分像素或编码后的一部分信息。
然而,现有技术还存在诸多缺陷:第一,视频处理设备可处理的视频分辨率上限受到业务卡与背板间数据传输链路的总带宽限制:在现有技术中,如果传输数据带宽超过了业务卡与背板间数据传输链路的总带宽,就会有一部分像素或编码数据无法传输,这样输出卡处理后显示的视频画面就会有明显失真,视频处理器可处理的视频分辨率上限受到限制;第二针对高分辨率视频的视频处理设备,在处理小分辨率视频时,数据传输链路使用效率低,可处理的视频路数少:在现有技术中,因为处理高分辨率视频的需要,视频处理设备将多条数据传输链路绑定传输一路视频数据,所以在处理小分辨率视频的使用场景下,视频处理器可处理的视频路数与处理高分辨率视频时相同,数据传输链路的使用效率低,不能适应多路小分辨率视频的使用场景。
总的来说,现有技术进行视频传输时,无法既突破业务卡与背板间数据传输链路总带宽对可处理视频的最大分辨率的限制,又能适应多路小分辨率视频的使用场景。
发明内容
为了解决现有技术中的上述问题,即无法在突破业务卡与背板间数据传输链路总带宽对可处理视频的最大分辨率的限制的同时,也适应多路小分辨率视频的使用场景的问题,本发明提供了一种低带宽高分辨率视频传输的数据传输方法,该数据传输方法包括:
否则,判断是否为3的倍数,若为3的倍数,则将输入视频每一帧图像
缩小到原来的,并将缩小后的图像转换成拜耳阵列格式,获得数据量是输入视频的
的第一码流;若不为3的倍数,则将输入视频每一帧图像缩小到原来的,并将缩
小后的图像转换成YCbCr420格式,获得的数据量是输入视频的的第一码流;
步骤S30,通过单条链路进行所述第一码流的传输,对传输后的第一码流进行数据还原,输出数据还原后与所述输入视频大小相同的输出视频。
需要注意的是,本发明中所述的低带宽表示每路输入视频可使用的数据传输链路带宽小于该输入视频的视频传输带宽的情况,即即使输入视频可使用的数据传输链路带宽并不是传统意义上的低带宽,但是其带宽比输入视频的视频传输带宽小,就属于本发明所述的低带宽的情况。
在一些优选的实施例中,步骤S20中将缩小后的图像转换成YCbCr420格式,其方法为:
步骤S211,根据不同的转换系数将缩小后的RGB444格式图像转换为YCbCr444格式图像;
转换系数遵循BT601格式时:
转换系数遵循BT709格式时:
转换系数遵循BT2020格式时:
步骤S212,将YCbCr444格式图像转换为YCbCr420格式图像。
在一些优选的实施例中,步骤S212中将YCbCr444格式图像转换为YCbCr420格式图像,其方法为:
依次将YCbCr444格式图像中相邻的4个像素划分为一组,对于每一组像素,保留4个像素的Y分量、1个设定位置像素的Cb分量和1个设定位置像素的Cr分量,获得YCbCr420格式图像。
在一些优选的实施例中,步骤S20中将缩小后的图像转换成拜耳阵列格式,其方法为:
步骤S221,针对缩小后的RGB444格式图像,以图像左上角为原点建立直角坐标系,将水平和垂直方向的相邻像素间的距离设为1;
步骤S223,当一个像素点的与均为偶数或者均为奇数时,仅保留该像素点的G
分量;当一个像素点的是偶数、是奇数时,仅保留该像素点的B分量;当一个像素点的是奇数、是偶数时,仅保留该像素点的R分量,获得拜耳阵列格式图像。
将YCbCr420格式转换中保留的1个设定位置像素的Cb分量和1个设定位置像素的Cr分量以外的Cb分量和Cr分量作为码流补充数据,记作第二码流;
若所述可拆分码流数为4,则将所述第一码流、所述第二码流对齐组合后转换成
RGB444格式数据,再根据图像缩小倍数进行RGB444格式数据的放大还原,并将放大还原后
的图像和所述第三码流、第四码流对齐叠加,获得输出视频;
若所述可拆分码流数为2和4以外的2的倍数,同时不是3的倍数,将所述第一
码流、所述第二码流对齐组合后转换成RGB444格式数据,再根据图像缩小倍数进行RGB444
格式数据的放大还原,并将放大还原后的图像和所述第三码流、……、第码流对齐叠加,
获得输出视频。
将拜耳阵列补充数据B作为第二码流,拜耳阵列补充数据R作为第三码流;对于视频帧图像的每一个像素,若拜耳阵列转换中保留R分量、G分量或B分量,则所述拜耳阵列补充数据B中该像素保留G分量、B分量或R分量,所述拜耳阵列补充数据R中的该像素保留B分量、R分量或G分量;
若所述可拆分码流数为6,则所述第一码流、所述第二码流、所述第三码流对齐
组合,再根据图像缩小倍数进行对齐组合图像的放大还原,并将放大还原后的图像和所述
第四码流、第五码流、第六码流对齐叠加,获得输出视频;
本发明的另一方面,提出了一种低带宽高分辨率视频传输的数据传输系统,该数据传输系统包括以下模块:
第一判断及跳转模块,配置为判断所述可拆分码流数,并执行:若所述可拆分码
流数为1,则将输入视频作为第一码流,并跳转码流传输模块;若所述可拆分码流数为2
的倍数,同时不是3的倍数,则跳转码流压缩模块1;若所述可拆分码流数为3的倍数,则
跳转码流压缩模块2;否则,跳转第二判断及跳转模块;
码流传输模块,配置为通过单条链路进行所述第一码流的传输;
输出模块,配置为对传输后的第一码流进行数据还原,输出数据还原后与所述输入视频大小相同的输出视频。
本发明的第三方面,提出了一种电子设备,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述的低带宽高分辨率视频传输的数据传输方法。
本发明的第四方面,提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现上述的低带宽高分辨率视频传输的数据传输方法。
本发明的有益效果:
(1)本发明低带宽高分辨率视频传输的数据传输方法,若需要传输的视频带宽高于业务卡与背板间数据传输链路的带宽,则根据视频带宽与传输链路带宽的关系进行码流拆分,将视频图像压缩为传输链路可以传输的大小,有效提升了视频处理器可处理的视频分辨率的上限,同时输出视频不会存在明显失真。
(2)本发明低带宽高分辨率视频传输的数据传输方法,在可处理高分辨率视频的同时,也可以适应低分辨率视频传输的需要,充分利用数据传输链路的使用效率,增加可处理视频的数量,数据传输链路使用效率高,可处理的视频路数多。
(3)本发明低带宽高分辨率视频传输的数据传输方法,在压缩后的图像传输后进行显示时,可根据实际情况获取视频的补充数据,压缩后的视频图像携带原视频图像的基础信息,补充数据携带原视频图像的细节信息,若设备不支持高分辨率视频,则可仅显示比原画面画质略差的基础信息,若设备支持高分辨率视频,则可显示无损画质的原画面(包含基础信息和细节信息),既能满足传输和处理高分辨率视频的要求,又能支持传输和处理多路低分辨率视频,灵活性好,适用于各种视频处理设备的应用场景。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:
图1是现有技术的通过数据拆分实现高分辨率视频传输过程的示意图;
图2是本发明低带宽高分辨率视频传输的数据传输方法的传输过程示意图;
图3是本发明低带宽高分辨率视频传输的数据传输方法一种实施例的YCbCr444格式图像的像素示意图;
图4是本发明低带宽高分辨率视频传输的数据传输方法一种实施例的YCbCr444格式图像转换为YCbCr420格式的像素示意图;
图5是本发明低带宽高分辨率视频传输的数据传输方法一种实施例的RGB444格式图像转换为拜耳阵列格式的像素示意图;
图6是本发明低带宽高分辨率视频传输的数据传输方法一种实施例的YCbCr444格式图像转换为YCbCr420格式的补充数据图;
图7是本发明低带宽高分辨率视频传输的数据传输方法一种实施例的RGB444格式图像转换为拜耳阵列格式的补充数据图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
本发明提供一种低带宽高分辨率视频传输的数据传输方法,本方法在处理高分辨率视频时,存在以下优势:第一,即使业务卡与背板间数据传输链路总带宽小于传输数据,也能保证视频处理设备显示完整视频画面,而不会出现明显失真;第二,业务卡与背板间数据传输链路总带宽越大,视频处理设备显示画面的画质越好;第三,在处理低分辨率视频时,可以提高数据传传输链路的使用效率,增加可处理视频的数量。
本发明的一种低带宽高分辨率视频传输的数据传输方法,该数据传输方法包括:
否则,判断是否为3的倍数,若为3的倍数,则将输入视频每一帧图像
缩小到原来的,并将缩小后的图像转换成拜耳阵列格式,获得数据量是输入视频的
的第一码流;若不为3的倍数,则将输入视频每一帧图像缩小到原来的,并将缩
小后的图像转换成YCbCr420格式,获得的数据量是输入视频的的第一码流;
步骤S30,通过单条链路进行所述第一码流的传输,对传输后的第一码流进行数据还原,输出数据还原后与所述输入视频大小相同的输出视频。
为了更清晰地对本发明低带宽高分辨率视频传输的数据传输方法进行说明,下面结合图2对本发明实施例中各步骤展开详述。
本发明第一实施例的低带宽高分辨率视频传输的数据传输方法,包括步骤S10-步骤S30,各步骤详细描述如下:
视频是由连续的图像组成的,图像又是由若干个像素点组成的,在自然图像中,相邻像素点在一定程度上具有连续性,因此将RGB数据转换成YCbCr420数据或者拜耳阵列的格式,转换后的数据可以再还原成RGB444格式,且根据还原后数据显示的画面能够保证画面完整,没有明显失真,将RGB数据转换成YCbCr420数据或者拜耳阵列的格式可以减少数据传输带宽。另一种减少数据传输带宽的方法是图像缩放,将图像进行“缩小--传输--放大”的处理,放大后的画面同样能够保证图像无明显失真。
按照合适的方法综合使用上述的三种数据处理方式:YCbCr420转换、拜耳阵列转换和图像缩放,就可以将数据拆分成多个码流,只传输第一码流的时候可以显示完整图像,增加码流数量就能够增加画质,如果码流都被传输,视频图像被原样接收下来。
此时,开拆分码流数如式(3)所示:
否则,判断是否为3的倍数,若为3的倍数,则将输入视频每一帧图像
缩小到原来的,并将缩小后的图像转换成拜耳阵列格式,获得数据量是输入视频的
的第一码流;若不为3的倍数,则将输入视频每一帧图像缩小到原来的,并将缩
小后的图像转换成YCbCr420格式,获得的数据量是输入视频的的第一码。
根据可拆分码流数来进行码流拆分,实现图像压缩,当=1时,单条链路可以传输
完整视频数据;=2时,采用YCbCr420转换,可以将视频数据量减少到;=3时,采用拜耳
阵列转换,拜耳阵列可以将视频数据量减少到;如果,采用YCbCr420转换或拜耳阵
列转换结合图像缩放的方法。图像缩放的比例可以根据来确定,如果是2的倍数,采用
YCbCr420转换结合图像缩放的方法,视频画面需要缩小到原本的;如果是3的倍数,采
用拜耳阵列的方式,视频画面需要缩小到原本的。表1为输入视频的可拆分码流数与码
流拆分方法的对应关系:
表1
选择拜耳阵列转换的方式。如果接收端仅接收1条链路上的码流时,就只传输拜耳阵列数据作为主码流,还原后的图像可以完整显示,但画质略差;如果接收端接收2条链路上的码流时,还原后的图像可以完整显示,相较可用1条链路的方案画质提升;如果接收端接收3条链路上的码流时,还原后的图像与原图像相同。
步骤S20中将缩小后的图像转换成YCbCr420格式,其方法为:
步骤S211,根据不同的转换系数将缩小后的RGB444格式图像转换为YCbCr444格式图像。
转换系数遵循BT601格式时,如式(4)-式(6)所示:
转换系数遵循BT709格式时,如式(7)-式(9)所示:
转换系数遵循BT2020格式时,如式(10)-式(12)所示:
步骤S212,将每一帧YCbCr444格式图像转换为YCbCr420格式图像,获得YCbCr420格式的输入视频。
步骤S212,将YCbCr444格式图像转换为YCbCr420格式图像,其方法为:
依次将YCbCr444格式图像中相邻的4个像素划分为一组,对于每一组像素,保留4个像素的Y分量、1个设定位置像素的Cb分量和1个设定位置像素的Cr分量,获得YCbCr420格式图像。
如图3所示,为本发明低带宽高分辨率视频传输的数据传输方法一种实施例的YCbCr444格式图像的像素示意图,包括像素0(Y0,Cb0,Cr0)、像素1(Y1,Cb1,Cr1)、像素2(Y2,Cb2,Cr2)、像素3(Y3,Cb3,Cr3)、像素4(Y4,Cb4,Cr4)、像素5(Y5,Cb5,Cr5)、像素6(Y6,Cb6,Cr6)、像素7(Y7,Cb7,Cr7)……,Y分量、Cb分量、Cr分量均为8bit。
如图4所示,为本发明低带宽高分辨率视频传输的数据传输方法一种实施例的
YCbCr444格式图像转换为YCbCr420格式的像素示意图,保留所有Y分量数据(Y0, Y1, Y2,
Y3, Y4, Y5, Y6, Y7),每4个像素点中保留一个像素点的Cb分量(Cb0,Cb4)和一个像素点
的Cr分量(Cr1,Cr5),即图中深色背景部分数据为有效数据。这样,每4个相邻的像素点中,
YCbCr444格式有96bit数据量,YCbCr420格式有48bit数据量,转换后视频数据量是转化前
视频数据量的。
步骤S20中步骤S20中将缩小后的图像转换成拜耳阵列格式,其方法为:
步骤S221,针对缩小后的RGB444格式图像,以图像左上角为原点建立直角坐标系,将水平和垂直方向的相邻像素间的距离设为1;
步骤S223,当一个像素点的与均为偶数或者均为奇数时,仅保留该像素点的G
分量;当一个像素点的是偶数、是奇数时,仅保留该像素点的B分量;当一个像素点的是奇数、是偶数时,仅保留该像素点的R分量,获得拜耳阵列格式图像。
如图5所示,为本发明低带宽高分辨率视频传输的数据传输方法一种实施例的
RGB444格式图像转换为拜耳阵列格式的像素示意图,以图像中R分量、G分量和B分量均为
8bit的情况为例进行说明,图5中的(a)为H行V列的RGB444数据,以左上角为原点建立直角
坐标系,像素间的距离(包括水平方向和垂直方向)均设为1,将第1行第1列的像素记为(0,
0),则第x行第y列的像素为,当与均为偶数或者均为奇数时,仅保留像素点的
G分量;当是偶数、是奇数时,仅保留像素点的B分量;当是奇数、是偶数时,仅保
留像素点的R分量,获得图5中的(b)所示的拜耳阵列格式图像。这样,RGB444视频图像携带
的数据量是,拜耳阵列视频图像携带的数据量是,是
RGB444视频数据量的。
步骤S30,通过单条链路进行所述第一码流的传输,对传输后的第一码流进行数据还原,输出数据还原后与所述输入视频大小相同的输出视频。
将YCbCr420格式转换中保留的1个设定位置像素的Cb分量和1个设定位置像素的Cr分量以外的Cb分量和Cr分量作为码流补充数据,记作第二码流;
若所述可拆分码流数为4,则将所述第一码流、所述第二码流对齐组合后转换成
RGB444格式数据,再根据图像缩小倍数进行RGB444格式数据的放大还原,并将放大还原后
的图像和所述第三码流、第四码流对齐叠加,获得输出视频;
若所述可拆分码流数为2和4以外的2的倍数,同时不是3的倍数,将所述第一
码流、所述第二码流对齐组合后转换成RGB444格式数据,再根据图像缩小倍数进行RGB444
格式数据的放大还原,并将放大还原后的图像和所述第三码流、……、第码流对齐叠加,
获得输出视频。
YCbCr444数据转化成YCbCr420数据的补充数据,也就是YCbCr444转YCbCr420过程中未被保留的数据。如图6所示,为本发明低带宽高分辨率视频传输的数据传输方法一种实施例的YCbCr444格式图像转换为YCbCr420格式的补充数据图,包括Cb分量(Cb1, Cb2,Cb3,Cb5, Cb6, Cb7)和Cr分量(Cr0, Cr2, Cr3,Cr4, Cr6, Cr7),即图中深色背景部分数据为补充数据。
将有效数据和补充数据对齐组合后,获得完整YCbCr444格式数据,然后根据转换系数遵循的不同格式,通过式(4)-式(12)进行反向的转换,将YCbCr444格式数据转换为RGB444格式数据,实现了输出视频与输入视频的一致性传输。
将拜耳阵列补充数据B作为第二码流,拜耳阵列补充数据R作为第三码流;对于视频帧图像的每一个像素,若拜耳阵列转换中保留R分量、G分量或B分量,则所述拜耳阵列补充数据B中该像素保留G分量、B分量或R分量,所述拜耳阵列补充数据R中的该像素保留B分量、R分量或G分量;
若所述可拆分码流数为6,则所述第一码流、所述第二码流、所述第三码流对齐
组合,再根据图像缩小倍数进行对齐组合图像的放大还原,并将放大还原后的图像和所述
第四码流、第五码流、第六码流对齐叠加,获得输出视频;
改变拜耳阵列上像素点携带的颜色分量信息,使携带R分量的像素点携带G分量,携带G分量的像素点携带B分量,携带B分量的像素点携带R分量,得到一种拜耳阵列补充数据,称为拜耳阵列B;使携带R分量的像素点携带B分量,携带G分量的像素点携带R分量,携带B分量的像素点携带G分量,得到一种拜耳阵列补充数据,称为拜耳阵列R。
如图7所示,为本发明低带宽高分辨率视频传输的数据传输方法一种实施例的RGB444格式图像转换为拜耳阵列格式的补充数据图,图7中的(a)为拜耳阵列转换中保留R分量、G分量、B分量时丢弃的G分量、B分量、R分量构成的拜耳阵列B(即第二码流的数据),图7中的(b)为拜耳阵列转换中保留R分量、G分量、B分量时丢弃的B分量、R分量、G分量构成的拜耳阵列R(即第三码流的数据)。
根据实际使用场景的需要,将转化出的码流分配到数据传输链路,码流传输的优先级是第一码流>第二码流>第三码流>…。
上述的将计算结果拆分,以拆分为L份,通过水平方向间隔采样为例进行说明:
第一份选择每行中水平坐标为0,0+1*L、0+2*L、……的像素点,第二份选择1、1+1*L、1+2*L、……,……第L份选择L-1、L-1+1* L、L-1+2*L、……。
接收传输的码流,若视频数据进行了缩小,则将缩小后的码流进行放大,获得与缩小前分辨率相同的视频图像,视频图像可以携带原视频的基本信息;若接收的码流中还包含缩小后的补充数据,则将补充数据按像素点坐标叠加到放大后的视频图像上,补充原视频的细节信息。
上述实施例中虽然将各个步骤按照上述先后次序的方式进行了描述,但是本领域技术人员可以理解,为了实现本实施例的效果,不同的步骤之间不必按照这样的次序执行,其可以同时(并行)执行或以颠倒的次序执行,这些简单的变化都在本发明的保护范围之内。
通过单条链路依次进行第一码流、第二码流、第三码流、第四码流、……、第码流
的传输之后;接收端根据每路输入视频可使用的数据传输链路数量和每路输入视频的可
拆分码流数决定数据还原方法,再将还原后的视频数据输出,可以显示无损的或画质略
差但不失真的输入视频画面。
当时,若,则接收端将接收到的输入视频的第一码流进行线性插值
获取YCbCr444格式数据,然后根据转换系数遵循的不同格式,通过式(4)-式(12)进行反向
的转换,将YCbCr444格式数据转换为RGB444格式数据,并将获取的RGB444格式的视频数据
输出,输出视频可以显示画质稍差但不失真的输入视频画面;若,则接收端将接收
到的输入视频的第一码流和第二码流进行对齐组合获取YCbCr444格式数据,根据转换系数
遵循的不同格式,通过式(4)-式(12)进行反向的转换,将YCbCr444格式数据转换为RGB444
格式数据,并将获取的RGB444格式的视频数据输出,输出视频可以显示无损的输入视频画
面;
当时,若,则接收端将接收到的输入视频的第一码流进行线性插值
获取RGB444格式数据,并将获取的RGB444格式的视频数据输出,输出视频可以显示画质稍
差但不失真的输入视频画面;若,则接收端将接收到的输入视频的第一码流和第二
码流进行对齐组合,再进行线性插值获取RGB444格式数据,并将获取的RGB444格式的视频
数据输出,输出视频可以显示画质稍差但不失真的输入视频画面,画质优于,且的情况;若,则接收端将接收到的输入视频的第一码流、第二码流和第三码
流进行对齐组合获取RGB444格式数据,并将获取的RGB444格式的视频数据输出,输出视频
可以显示无损的输入视频画面;
当时,若,则接收端将接收到的输入视频的第一码流进行线性插值
获取YCbCr444格式数据,然后将YCbCr444格式数据转换为RGB444格式数据,并根据图像缩
小倍数将获取的RGB444格式的视频帧画面放大,再将放大后的视频数据输出,输出视频可
以显示画质稍差但不失真的输入视频画面;若,则接收端将接收到的输入视频的第
一码流和第二码流进行对齐组合获取YCbCr444格式数据,然后将YCbCr444格式数据转换为
RGB444格式数据,并根据图像缩小倍数将获取的RGB444格式的视频画面放大,再将放大后
的视频数据输出,输出视频可以显示画质稍差但不失真的输入视频画面,画质优于
,且的情况;若,则接收端将接收到的输入视频的第一码流和第二码流进行
对齐组合获取YCbCr444格式数据,然后将YCbCr444格式数据转换为RGB444格式数据,并根
据图像缩小倍数将获取的RGB444格式的视频画面放大,再将放大后的视频画面与第三码流
对齐叠加,之后将对齐叠加后的视频数据输出,输出视频可以显示画质稍差但不失真的输
入视频画面,画质优于,且的情况;若,则接收端将接收到的输入视
频的第一码流和第二码流进行对齐组合获取YCbCr444格式数据,然后将YCbCr444格式数据
转换为RGB444格式数据,并根据图像缩小倍数将获取的RGB444格式的视频画面放大,再将
放大后的视频画面与第三码流和第四码流对齐叠加,之后将对齐叠加后的视频数据输出,
输出视频可以显示无损的输入视频画面;
当时,若,则接收端将接收到的输入视频的第一码流进行线性插值
获取RGB444格式数据,并根据图像缩小倍数将获取的RGB444格式的视频画面放大,再将放
大后的视频数据输出,输出视频可以显示画质稍差但不失真的输入视频画面;若,
则接收端将接收到的输入视频的第一码流和第二码流进行对齐组合,再进行线性插值获取
RGB444格式数据,并根据图像缩小倍数将获取的RGB444格式的视频画面放大,再将放大后
的视频数据输出,输出视频可以显示画质稍差但不失真的输入视频画面,画质优于,
且的情况;若,则接收端将接收到的输入视频的第一码流、第二码流和第三
码流进行对齐组合获取RGB444格式数据,并根据图像缩小倍数将获取的RGB444格式的视频
画面放大,再将放大后的视频数据输出,输出视频可以显示画质稍差但不失真的输入视频
画面,画质优于,且的情况;若,则接收端将接收到的输入视频的第
一码流、第二码流和第三码流进行对齐组合获取RGB444格式数据,并根据图像缩小倍数将
获取的RGB444格式的视频画面放大,再将放大后的视频数据与第四码流对齐叠加,之后将
对齐叠加后的视频数据输出,输出视频可以显示画质稍差但不失真的输入视频画面,画质
优于,且的情况;若,则接收端将接收到的输入视频的第一码流、第二
码流和第三码流进行对齐组合获取RGB444格式数据,并根据图像缩小倍数将获取的RGB444
格式的视频画面放大,再将放大后的视频数据与第四码流和第五码流对齐叠加,之后将对
齐叠加后的视频数据输出,输出视频可以显示画质稍差但不失真的输入视频画面,画质优
于,且的情况;若,则接收端将接收到的输入视频的第一码流、第二
码流和第三码流进行对齐组合获取RGB444格式数据,并根据图像缩小倍数将获取的RGB444
格式的视频画面放大,再将放大后的视频数据与第四码流、第五码流和第六码流对齐叠加,
之后将对齐叠加后的视频数据输出,输出视频可以显示无损的输入视频画面;
本发明第二实施例的低带宽高分辨率视频传输的数据传输系统,该数据传输系统包括以下模块:
第一判断及跳转模块,配置为判断所述可拆分码流数,并执行:若所述可拆分码
流数为1,则将输入视频作为第一码流,并跳转码流传输模块;若所述可拆分码流数为2
的倍数,同时不是3的倍数,则跳转码流压缩模块1;若所述可拆分码流数为3的倍数,则
跳转码流压缩模块2;否则,跳转第二判断及跳转模块;
码流传输模块,配置为通过单条链路进行所述第一码流的传输;
输出模块,配置为对传输后的第一码流进行数据还原,输出数据还原后与所述输入视频大小相同的输出视频。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
需要说明的是,上述实施例提供的低带宽高分辨率视频传输的数据传输系统,仅以上述各功能模块的划分进行举例说明,在实际应用中,可以根据需要而将上述功能分配由不同的功能模块来完成,即将本发明实施例中的模块或者步骤再分解或者组合,例如,上述实施例的模块可以合并为一个模块,也可以进一步拆分成多个子模块,以完成以上描述的全部或者部分功能。对于本发明实施例中涉及的模块、步骤的名称,仅仅是为了区分各个模块或者步骤,不视为对本发明的不当限定。
本发明第三实施例的一种电子设备,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现上述的低带宽高分辨率视频传输的数据传输方法。
本发明第四实施例的一种计算机可读存储介质,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现上述的低带宽高分辨率视频传输的数据传输方法。
所属技术领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的存储装置、处理装置的具体工作过程及有关说明,可以参考前述方法实施例中的对应过程,在此不再赘述。
本领域技术人员应该能够意识到,结合本文中所公开的实施例描述的各示例的模块、方法步骤,能够以电子硬件、计算机软件或者二者的结合来实现,软件模块、方法步骤对应的程序可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。为了清楚地说明电子硬件和软件的可互换性,在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以电子硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。
术语“第一”、“第二”等是用于区别类似的对象,而不是用于描述或表示特定的顺序或先后次序。
术语“包括”或者任何其它类似用语旨在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备/装置不仅包括那些要素,而且还包括没有明确列出的其它要素,或者还包括这些过程、方法、物品或者设备/装置所固有的要素。
至此,已经结合附图所示的优选实施方式描述了本发明的技术方案,但是,本领域技术人员容易理解的是,本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下,本领域技术人员可以对相关技术特征做出等同的更改或替换,这些更改或替换之后的技术方案都将落入本发明的保护范围之内。
Claims (10)
1.一种低带宽高分辨率视频传输的数据传输方法,其特征在于,该数据传输方法包括:
否则,判断是否为3的倍数,若为3的倍数,则将输入视频每一帧图像缩小
到原来的,并将缩小后的图像转换成拜耳阵列格式,获得数据量是输入视频的的第
一码流;若不为3的倍数,则将输入视频每一帧图像缩小到原来的,并将缩小后
的图像转换成YCbCr420格式,获得的数据量是输入视频的的第一码流;
步骤S30,通过单条链路进行所述第一码流的传输,对传输后的第一码流进行数据还原,输出数据还原后与所述输入视频大小相同的输出视频。
4.根据权利要求3所述的低带宽高分辨率视频传输的数据传输方法,其特征在于,步骤S212中将YCbCr444格式图像转换为YCbCr420格式图像,其方法为:
依次将YCbCr444格式图像中相邻的4个像素划分为一组,对于每一组像素,保留4个像素的Y分量、1个设定位置像素的Cb分量和1个设定位置像素的Cr分量,获得YCbCr420格式图像。
将YCbCr420格式转换中保留的1个设定位置像素的Cb分量和1个设定位置像素的Cr分量以外的Cb分量和Cr分量作为码流补充数据,记作第二码流;
若所述可拆分码流数为4,则将所述第一码流、所述第二码流对齐组合后转换成
RGB444格式数据,再根据图像缩小倍数进行RGB444格式数据的放大还原,并将放大还原后
的图像和所述第三码流、第四码流对齐叠加,获得输出视频;
将拜耳阵列补充数据B作为第二码流,拜耳阵列补充数据R作为第三码流;对于视频帧图像的每一个像素,若拜耳阵列转换中保留R分量、G分量或B分量,则所述拜耳阵列补充数据B中该像素保留G分量、B分量或R分量,所述拜耳阵列补充数据R中的该像素保留B分量、R分量或G分量;
若所述可拆分码流数为6,则所述第一码流、所述第二码流、所述第三码流对齐组合,
再根据图像缩小倍数进行对齐组合图像的放大还原,并将放大还原后的图像和所述第四码
流、第五码流、第六码流对齐叠加,获得输出视频;
8.一种低带宽高分辨率视频传输的数据传输系统,其特征在于,该数据传输系统包括以下模块:
第一判断及跳转模块,配置为判断所述可拆分码流数,并执行:若所述可拆分码流数为1,则将输入视频作为第一码流,并跳转码流传输模块;若所述可拆分码流数为2的倍
数,同时不是3的倍数,则跳转码流压缩模块1;若所述可拆分码流数为3的倍数,则跳转
码流压缩模块2;否则,跳转第二判断及跳转模块;
码流传输模块,配置为通过单条链路进行所述第一码流的传输;
输出模块,配置为对传输后的第一码流进行数据还原,输出数据还原后与所述输入视频大小相同的输出视频。
9.一种电子设备,其特征在于,包括:
至少一个处理器;以及
与至少一个所述处理器通信连接的存储器;其中,
所述存储器存储有可被所述处理器执行的指令,所述指令用于被所述处理器执行以实现权利要求1-7任一项所述的低带宽高分辨率视频传输的数据传输方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于被所述计算机执行以实现权利要求1-7任一项所述的低带宽高分辨率视频传输的数据传输方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210021556.3A CN114040226B (zh) | 2022-01-10 | 2022-01-10 | 低带宽高分辨率视频传输的数据传输方法、系统及设备 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210021556.3A CN114040226B (zh) | 2022-01-10 | 2022-01-10 | 低带宽高分辨率视频传输的数据传输方法、系统及设备 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114040226A CN114040226A (zh) | 2022-02-11 |
| CN114040226B true CN114040226B (zh) | 2022-03-11 |
Family
ID=80147444
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210021556.3A Active CN114040226B (zh) | 2022-01-10 | 2022-01-10 | 低带宽高分辨率视频传输的数据传输方法、系统及设备 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114040226B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116170592B (zh) * | 2023-04-21 | 2023-08-15 | 深圳市微智体技术有限公司 | 高分辨率视频的传输方法、装置、设备及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101640674A (zh) * | 2009-09-03 | 2010-02-03 | 田园 | 一种实现p2p高码流数据直播的方法 |
| CN101977330A (zh) * | 2010-11-12 | 2011-02-16 | 北京空间机电研究所 | 一种基于YUV变换的Bayer图像压缩方法 |
| CN105791836A (zh) * | 2016-03-07 | 2016-07-20 | 中国科学院计算技术研究所 | 视频编码方法、视频码流自适应传输方法和显示方法 |
| CN108496369A (zh) * | 2017-03-30 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 视频传输、接收方法、系统、设备及无人飞行器 |
| CN108513712A (zh) * | 2017-03-30 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 视频发送方法、接收方法、系统以及无人飞行器 |
| CN111770347A (zh) * | 2020-07-17 | 2020-10-13 | 广州市奥威亚电子科技有限公司 | 一种视频传输方法及系统 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7142251B2 (en) * | 2001-07-31 | 2006-11-28 | Micronas Usa, Inc. | Video input processor in multi-format video compression system |
| US8532170B2 (en) * | 2007-08-29 | 2013-09-10 | Harman International Industries, Incorporated | Enhanced presentation of sub-picture information |
| JP2015019182A (ja) * | 2013-07-10 | 2015-01-29 | ソニー株式会社 | 信号処理装置、信号処理方法、プログラム、及び、信号伝送システム |
| US10334219B2 (en) * | 2015-10-12 | 2019-06-25 | Lumantek Co., Ltd | Apparatus for switching/routing image signals through bandwidth splitting and reduction and the method thereof |
-
2022
- 2022-01-10 CN CN202210021556.3A patent/CN114040226B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101640674A (zh) * | 2009-09-03 | 2010-02-03 | 田园 | 一种实现p2p高码流数据直播的方法 |
| CN101977330A (zh) * | 2010-11-12 | 2011-02-16 | 北京空间机电研究所 | 一种基于YUV变换的Bayer图像压缩方法 |
| CN105791836A (zh) * | 2016-03-07 | 2016-07-20 | 中国科学院计算技术研究所 | 视频编码方法、视频码流自适应传输方法和显示方法 |
| CN108496369A (zh) * | 2017-03-30 | 2018-09-04 | 深圳市大疆创新科技有限公司 | 视频传输、接收方法、系统、设备及无人飞行器 |
| CN108513712A (zh) * | 2017-03-30 | 2018-09-07 | 深圳市大疆创新科技有限公司 | 视频发送方法、接收方法、系统以及无人飞行器 |
| CN111770347A (zh) * | 2020-07-17 | 2020-10-13 | 广州市奥威亚电子科技有限公司 | 一种视频传输方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| MPEG-4视频压缩编码算法研究;尚宇等;《探测与控制学报》;20060630(第03期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114040226A (zh) | 2022-02-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10242646B2 (en) | RGB to YUV format conversion and inverse conversion method and circuit for depth packing and depacking | |
| EP2894862B1 (en) | Video signal transmitting device, video signal receiving device, video signal transmitting method, video signal receiving method, program and recording medium | |
| JPH07507428A (ja) | デジタルビデオ信号プロセッサ装置 | |
| US8902993B2 (en) | Signal transmission apparatus and signal transmission method | |
| CN114040226B (zh) | 低带宽高分辨率视频传输的数据传输方法、系统及设备 | |
| US20100165078A1 (en) | Image compression using checkerboard mosaic for luminance and chrominance color space images | |
| JPH02299377A (ja) | 映像信号の方式変換装置 | |
| JP2011061327A (ja) | 映像信号デジタルインターフェース装置 | |
| JP4522860B2 (ja) | Mpeg−2彩度アップコンバートアーティファクトの検出と修理 | |
| JP2005278025A (ja) | 輝度・色差信号生成装置、画像圧縮装置、及び画像処理システム | |
| KR101012585B1 (ko) | 다채널 영상 정합 시스템 및 그 방법 | |
| JP2009268017A (ja) | 画像分割処理用の画像信号処理装置、方法及びプログラム | |
| KR100331372B1 (ko) | 보간된비디오데이터제공장치 | |
| EP1870811A2 (en) | Line memory packaging apparatus and television receiver | |
| US6424384B1 (en) | Method and apparatus for improved signal filtering | |
| US8264601B2 (en) | Video picture format conversion method and corresponding device | |
| US20030174246A1 (en) | Method and device for processing image data from non-interlacing type into interlacing one | |
| JP3458813B2 (ja) | 色差信号補間回路及びそれに用いる色差信号補間方法 | |
| JP5945816B2 (ja) | 映像処理システム | |
| Kuno et al. | Aliasing reduction method for color digital still cameras with a single-chip charge-coupled device | |
| CN101258746B (zh) | 移动电视设备中的液晶显示器的图形缩放方法 | |
| JP2005142699A (ja) | 画像圧縮伸張装置 | |
| JP5457270B2 (ja) | 画像伸張チップおよび電子機器 | |
| JPH02186390A (ja) | ビディオ画像変換装置 | |
| CN115665416A (zh) | 图像数据编码方法、编码装置、解码方法及解码装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |