[go: up one dir, main page]

CN115689968A - 一种码流处理方法、装置、终端设备及存储介质 - Google Patents

一种码流处理方法、装置、终端设备及存储介质 Download PDF

Info

Publication number
CN115689968A
CN115689968A CN202110832744.XA CN202110832744A CN115689968A CN 115689968 A CN115689968 A CN 115689968A CN 202110832744 A CN202110832744 A CN 202110832744A CN 115689968 A CN115689968 A CN 115689968A
Authority
CN
China
Prior art keywords
image
image quality
information
quality
quality assessment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110832744.XA
Other languages
English (en)
Inventor
高莹
吴平
吴钊
蔡品隆
谢绍伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
ZTE Corp
Original Assignee
ZTE Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ZTE Corp filed Critical ZTE Corp
Priority to CN202110832744.XA priority Critical patent/CN115689968A/zh
Priority to KR1020247002883A priority patent/KR20240025005A/ko
Priority to PCT/CN2022/095288 priority patent/WO2023000815A1/zh
Priority to US18/291,027 priority patent/US20240331122A1/en
Priority to EP22844982.3A priority patent/EP4376405A4/en
Priority to JP2024503771A priority patent/JP7701548B2/ja
Publication of CN115689968A publication Critical patent/CN115689968A/zh
Priority to JP2025103711A priority patent/JP2025131889A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/004—Diagnosis, testing or measuring for television systems or their details for digital television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/36—Scalability techniques involving formatting the layers as a function of picture distortion after decoding, e.g. signal-to-noise [SNR] scalability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

本申请提出了一种码流处理方法、装置、终端设备及存储介质，该方法包括确定图像质量评估区域；确定所述质量评估区域的质量评估数据；确定图像质量信息，所述图像质量信息中包括所述质量评估数据；将所述图像质量信息添加至码流中得到处理后的码流。利用该方法有效提高了图像质量评估的灵活性。

Description

一种码流处理方法、装置、终端设备及存储介质
技术领域
本发明涉及通信技术领域，例如涉及一种码流处理方法、装置、终端设备及存储介质。
背景技术
随着沉浸式媒体技术的不断发展，越来越多的视频应用可以提供360度全景视频供用户观看。为了为用户提供更加灵活合适的视频图像服务，可以对图像进行图像质量评估。
相关技术在对图像进行质量评估时以一副图像为单位计算图像质量，计算量大。故，如何提高图像质量评估的灵活性是当前亟待解决的技术题。
发明内容
本申请提供一种码流处理方法、装置、终端设备及存储介质，有效提高了图像质量评估的灵活性。
第一方面，本申请实施例提供了一种码流处理方法，包括：
确定图像质量评估区域；
确定所述质量评估区域的质量评估数据；
确定图像质量信息，所述图像质量信息中包括所述质量评估数据；
将所述图像质量信息添加至码流中得到处理后的码流。
第二方面，本申请实施例提供了一种一种码流处理方法，包括：
获取处理后的码流；
解析所述处理后的码流获取图像质量信息；
根据所述图像质量信息确定图像质量评估区域和对应的质量评估数据。
第三方面，本申请实施例提供了一种码流处理装置，包括：
第一确定模块，设置为确定图像质量评估区域；
第二确定模块，设置为确定所述质量评估区域的质量评估数据；
第三确定模块，设置为确定图像质量信息，所述图像质量信息中包括所述质量评估数据；
添加模块，设置为将所述图像质量信息添加至码流中得到处理后的码流。
第四方面，本申请实施例提供了一种码流处理装置，包括：
获取模块，设置为获取处理后的码流；
解析模块，设置为解析所述处理后的码流获取图像质量信息；
确定模块，设置为根据所述图像质量信息确定图像质量评估区域和对应的质量评估数据。
第五方面，本申请实施例提供了一种终端设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请实施例提供的码流处理方法。
第六方面，本申请实施例提供了一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中的任意一种码流处理方法。
关于本申请的以上实施例和其他方面以及其实现方式，在附图说明、具体实施方式和权利要求中提供更多说明。
附图说明
图1为本申请实施例提供的一种码流处理方法的流程示意图；
图2为本申请实施例提供的又一种码流处理方法的流程示意图；
图3为本申请实施例提供的一种媒体码流的示意图；
图4为本申请实施例提供的一种码流处理装置的结构示意图；
图5为本申请实施例提供的一种码流处理装置的结构示意图；
图6为本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明白，下文中将结合附图对本申请的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。
在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行。并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
在一个示例性实施方式中，图1为本申请实施例提供的一种码流处理方法的流程示意图。该方法可以适用于对码流进行处理以提高图像质量评估灵活性的情况，该方法可以由码流处理装置执行，该装置可以由软件和/或硬件实现，并集成在终端设备上，该终端设备可以为发送码流的发送端设备。
如图1所示，本申请提供的码流处理方法，包括如下步骤：
S110、确定图像质量评估区域。
图像质量评估区域可以理解为可以为整幅待评估图像或多幅待评估图像或整幅待评估图像中的部分区域。此处不对部分区域进行限定，可以基于具体场景确定。其中部分区域可以为对待评估图像进行区域划分后形成的区域。
图像质量评估区域的数量可以为一个或多个。一个质量评估区域可以对应一个或多个质量评估数据。
本步骤不限定如何确定图像质量评估区域，如可以基于待评估图像的图像特征确定图像质量评估区域。
S120、确定所述质量评估区域的质量评估数据。
质量评估数据可以认为是对质量评估区域进行质量评估后获取的数据。
确定质量评估数据可以采用图像质量评估方法，图像质量评估方法包括全参考质量评估方法、半参考质量评估方法和无参考质量评估方法。此处不对如何基于图像质量评估方法确定图像评估数据进行限定。
质量评估区域的质量评估数据可以为一个或多个。
S130、确定图像质量信息，所述图像质量信息中包括所述质量评估数据。
图像质量信息可以认为是表征待评估图像质量的信息。
在确定质量评估数据后，本步骤可以将质量评估数据添加至图像质量信息中。此处不限定图像质量信息中所包括的内容。
S140、将所述图像质量信息添加至码流中得到处理后的码流。
在确定图像质量信息后，本步骤可以将图像质量信息添加至码流中，以得到处理后码流，以便于接收处理后码流的终端设备解析图像质量信息。本实施例中码流可以为媒体码流。
本申请提供的码流处理方法，通过确定包括质量评估数据的图像质量信息，然后将图像质量信息添加至码流中，以提高处理后码流图像质量评估的灵活性。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中，所述图像质量评估区域的数量为至少一个，所述图像质量评估区域包括整幅或多幅待评估图像区域或所述图像质量评估区域包括待评估图像进行区域划分后形成的部分区域，所述待评估图像基于图像特征确定划分策略。
图像特征可以为表征图像特征的信息，此处不对图像特征的具体内容进行限定。图像特征可以为图像类型或图像中的具体内容等。
图像质量评估区域可以为整幅待评估图像区域，也可以为多幅待评估图像区域，还可以为一幅或多幅待评估图像中进行区域划分后形成的部分区域。部分区域可以认为是待评估图像进行区域划分后形成的多个区域中的一个或多个。部分区域所包括区域的数量不作限定，部分区域为进行区域划分后的哪一区域也不作限定，可以根据实际场景确定。
在一个实施例中，所述图像质量信息还包括如下一个或多个：
确定所述质量评估数据所采用的图像质量评估方法；
生成所述质量评估数据的时间戳；
生成所述质量评估数据的设备标识；
所述质量评估数据的标识，即质量评估数据的序号；
所述图像质量评估区域的数量；
原始图像的信息，所述原始图像的信息包括所述原始图像的链接或所述原始图像的部分统计信息，待评估图像为对所述原始图像处理后生成的重构图像；
进行无参考图像质量评估所采用的数学模型；
图像质量评估区域划分指示信息，如pqm_picture_division_idc，所述质量评估区域划分指示信息还可以是待评估图像的图像特征，如pqm_picture_type；
不同图像质量评估区域所采用质量评估方法相同性的指示信息，如pqm_mixed_measurement_flag，所述指示信息用于指示不同图像质量评估区域所采用质量评估方法是否相同；
所述图像质量评估区域所评估分量的指示信息；
可伸缩编码层的信息，所述可伸缩编码层的信息包括可伸缩编码层的数量，所述图像质量评估区域所属的可伸缩编码层，所述待评估图像中第i层图像所采用的质量评估方法如pqm_PSNR[i]，所述待评估图像中第k层图像第n个图像质量评估区域所采用的质量评估方法如pqm_PSNR[i][j]，i，k和n为正整数；
所述图像质量评估区域所包括图像序列的信息，所述图像序列包括多幅待评估图像；
图像序列中包含的图像数量；
图像序列中每一幅图像中质量评估区域的数量；
确定图像序列中第j个图像质量评估区域所采用的质量评估方法，j为正整数；
第m个质量评估区域的信息，m为正整数；
第h个质量评估区域确定质量评估数据所采用的质量评估方法，h为正整数；
图像序列中第g个待评估图像中质量评估区域的数量，g为正整数。
图像质量评估区域划分指示信息可以用于指示图像质量评估区域个数及质量评估数据计算方式。
本申请可以计算一个图像(区域)的质量评估分值，即质量评估数据，也可能会计算多张待评估图像(区域)的质量评估分值，多张待评估图像即图像序列。
多个质量评估区域对应一组质量评估数据。多个质量评估区域可以是一幅待评估图像中的多个质量评估区域，也可以是多幅待评估图像中的质量评估区域。多个质量评估区域可以认为是质量评估区域序列。
本实施例不对质量信息所包括内容的组合方式进行限定，本领域技术人员可以基于实际应用场景进行确定。
在一个实施例中，所述图像质量信息还包括：
所述图像质量评估区域的划分信息；所述划分信息存在与否的指示信息，所述图像质量评估区域的划分信息包括如下一个或多个：
所述质量评估区域的标识；所述质量评估区域的位置；所述质量评估区域的大小。
在一个实施例中，所述确定图像质量评估区域，包括：
根据待评估图像的图像特征确定待评估图像的图像质量评估区域。
不同的图像特征对应有不同的图像质量评估区域，确定图像质量评估区域的具体方式基于所选取的图像特征确定，此处不作限定。
在一个实施例中，所述将所述图像质量信息添加至码流中得到处理后的码流，包括：
根据所述图像质量信息生成补充增强信息；
将所述补充增强信息添加至码流得到处理后的码流。
在根据图像质量信息生成补充增强信息时，可以将图像质量信息添加至补充增强信息中。
在一个实施例中，所述将所述图像质量信息添加至码流中得到处理后的码流，包括：
将所述图像质量信息写入媒体文件中，或者将所述图像质量信息作为所对应图像质量评估区域的等级信息写入媒体文件中；
将所述媒体文件添加至码流中得到处理后的码流。
在一个实施例中，一个图像质量评估区域对应一个或多个质量评估数据，多个质量评估数据为待评估图像不同编码层在不同分量上进行质量评估确定；或多个质量评估数据为图像序列在不同分量上进行质量评估确定；或多个质量评估数据为对一个图像质量评估区域采用相同或不同的质量评估方法确定的。
在一个实施例中，不同图像质量评估区域所采用质量评估方法相同或不同。
在一个示例性实施方式中，图2为本申请实施例提供的又一种码流处理方法的流程示意图，该方法可以适用于提高图像质量评估灵活性的情况，该方法可以由码流处理装置执行，该装置可以由软件和/或硬件执行，并集成在接收处理后码流的终端设备上。
如图2所示，本申请提供的码流处理方法，包括如下步骤：
S210、获取处理后的码流。
S220、解析所述处理后的码流获取图像质量信息。
此处不对解析的具体手段进行限定，解析的具体手段基于发送处理后码流的终端设备生成处理后码流的具体手段确定。如从处理后码流的媒体文件中获取图像质量信息或从补充增强信息中获取图像质量信息。
S230、根据所述图像质量信息确定图像质量评估区域和对应的质量评估数据。
本步骤可以提取图像质量信息所包括的内容确定图像质量评估区域和对应的质量评估数据，如获取图像质量评估区域划分指示信息、图像质量评估区域的数量和所采用的质量评估方法等内容，以确定图像质量评估区域和质量评估数据。
本实施例尚未详尽的内容可以参见上述实施例，此处不作赘述。
本申请实施例提供的码流处理方法，通过获取包括图像质量信息的处理后的码流，然后对处理后的码流进行解析，得到对应的图像质量评估区域和质量评估数据，有效提高了图像质量评估的灵活性。
以下对本申请进行示例性描述，本申请提供的码流处理方法可以认为是一种在媒体码流中增加图像质量信息的处理方法，本申请根据图像的特征，即图像特征确定图像质量度量区域，即图像质量评估区域，计算各图像质量度量区域的质量评估分值，即质量评估数据，并将包含图像质量度量区域对应质量评估分值的图像质量信息写入媒体码流中。在媒体码流中提供所述图像质量评估区域所对应的图像质量信息，以便接收媒体码流的应用可以根据编码端提供的基于图像质量度量区域(即图像质量评估区域)的图像质量信息进一步提供更灵活合适的视频图像服务。
随着沉浸式媒体技术的不断发展，越来越多的视频应用可以提供360度全景视频供用户观看，但因为人的视角范围一般约是120度，往往用户在某个时刻实际观看的视频画面并不是完整的360度全景视频画面，而只是用户当前视角所对应的部分画面。同时，不同的用户对画面的感知也并不是完全一样，对画面上的不同区域、不同目标对象或者不同的颜色都有不同的关注度，因此，在观看沉浸式视频的时候，如果能够根据用户的需求和喜好，结合场景特点，或者根据预先设定，提供更灵活的观看或者处理方式，为用户提供与其更加匹配的图像质量对应的视频画面，从而让用户获得更好的体验效果。ISO/IEC 23090-2OMAF中规定了与质量相关的质量等级，以指示质量等级区域的相对质量顺序。排名的值可以从特定的质量度量中导出。ISO/IEC 23090-6，沉浸式媒体指标，也使用质量排名来衡量视角切换延迟。
图像质量评价用于衡量图像在采集、处理、压缩、存储、传输和再现过程中的各种失真。图像质量客观评价方法是指借助于某种数学模型，给出基于数字计算的结果。根据图像质量计算时是否需要参考图像的信息，图像质量客观评价方法分为三类，全参考质量评价，部分参考质量评价以及无参考质量评价。全参考和部分参考质量评价主要通过对图像的特征进行分析，量化原始图像和重构图像之间的差异，以计算重构图像的质量。目前在视频编解码领域多采用全参考图像质量评价方法来评估视频图像的质量，常用的全参考图像质量客观评价方法包括：PSNR(Peak Signal to Noise Ratio，峰值信噪比)、SSIM(structural similarity,结构相似性)、MS-SSIM(Multi-Scale Structural SIMilarity，多尺度结构相似性)、视频质量度量(Video Quality Metric，VQM)和均方误差(MeanSquared Error，MSE)等。基于上述图像质量评价方法，还衍生出了一系列改进的质量评价方法，例如：加权峰值信噪比(weighted Peak Signal-to-noise Ratio，wPSNR)、加权到球形均匀峰值信噪比(weighted Peak Signal-to-noise Ratio，WS-PSNR)、球形峰值信噪比(Spherical Peak Signal-to-noise Ratio，S-PSNR)等。此外，ISO/IEC 23001-10中，指定了媒体质量度量的用法。ITU-T J.143中，指定了数字有线电视中视频客观质量评估的用户需求。ITU-T P.914中，指定了3D视频质量评估的显示要求。ITU-T P.1204中，指定了对高达4K分辨率的可靠传输流媒体服务进行视频质量评估等。
如今视频编码已经不仅仅局限于满足用户端的观看需求，在用户需求不断增长和变化的当下，视频编码传输后的分析和其他视觉应用也更加丰富。这种基于参考的图像质量客观评价结果只能在编码器侧计算获得，而在媒体码流中携带这些信息能够向应用程序提供编码图像质量评估信息，以便应用程序可以根据质量评估信息进一步提供更灵活合适的视频服务及质量评估相关探索研究工作。例如，完整的参考质量指标可以为面向质量的应用程序提供最佳保真度测量精度。而这些应用程序通常由于无法获得完整的参考，大多数只能采用基于分辨率、比特率、量化参数或质量排名等参数来进行质量评价。此外，来自移动设备或无人机的用户生成内容通常是预先压缩的，并且捕获质量是未知的，将用户生成内容的原始质量指标传达给客户端和服务是非常有必要和有意义的。另一方面，在视频通信中一个非常实用的场景是将现有压缩视频流转换为其他格式/比特率。经过解码再重新编码，而在这个过程中，可能会增加压缩和缩放处理。而在视频转码过程中也可能进行进一步的像素处理，例如去噪、对比度/亮度调整等。以上所述的场景中，在执行相应的操作时，期望的目标是可以增强感知的视频质量而不是降低质量。因此在媒体码流中提供图像质量评估信息，即图像质量信息，即原始质量评估信息以及后续生成的质量评估信息对于整个系统和服务的评估也是有意义的。
在JVET会议中，相关提案提出了一种图像质量度量补充增强信息(SupplementalEnhancement Information,SEI)信息的方案，但是该方案中图像质量度量SEI信息中仅包含度量类型(即所采用的图像质量客观评价方法，例如PSNR、SSIM等)以及该度量类型下亮度分量和/或色度分量的质量度量值。
相关技术中针对图像的客观质量评估只考虑以一幅图像为单位计算图像客观质量的。当全景视频中，用户观看的只是某一区域的图像画面时，针对整幅图像计算的质量取值很显然是没有意义的，需要根据图像特征确定质量度量区域，计算出各质量度量区域的质量评估分值。随着视频技术的日益发展，类似全景视频、自由视角视频这种可以根据用户视角播放对应用户视角区域对应的视频图像画面的应用场景会越来越多，按照区域计算图像质量评估分值也更加有意义。通常基于参考的图像质量客观评价结果只能在编码器侧计算获得，而携带这些信息的SEI信息能够向应用程序提供相关信息，以便应用程序可以根据质量信息进一步提供更灵活合适的视频服务。
本申请通过如下实施例实现码流处理。
实施例一：
本申请实施例提供了一种媒体码流处理的方法，根据待质量评估的图像，即待评估图像的图像特征确定图像质量评估区域，计算所述质量评估区域对应的质量评估分值并写入媒体码流中。
本实施例包括如下步骤：
步骤S101.获取待质量评估的图像；
所述待质量评估的图像为原始图像分别经编码和解码流程后生成的重构图像。所述原始图像是指未经编码压缩前的图像。没有特别说明的话，所述图像可以是单幅静止图像，也可以是视频中的一幅(帧)图像数据。
步骤S102.根据图像特征确定图像质量评估区域。
所述图像特征可以是图像类型，所述图像类型可以为普通图像和非普通图像，非普通图像至少包括360度全景视频图像和自由视角视频图像以及其他多视角视频图像等。
当所述图像为普通图像时，图像质量评估区域为整幅图像区域，当所述图像为非普通图像时，所述图像可以划分不同区域，每个区域对应一个图像质量评估区域。通常，图像质量评估区域的划分和用户可以选择观看的视角区域对应，但是本方案并不限制图像质量评估区域的划分方式。
本实施例中将图像类型分为普通图像和非普通图像只是作为一种示例，也可以按照图像实际类型进行分类，或者其他可能用于划分图像视角区域的图像分类方法。
此外，所述图像特征还可以是图像画面内容，例如，根据图像中是否包含人物、车辆等画面内容来划分图像质量评估区域。或者根据图像画面内容是否发生运动或其他变化来划分图像质量评估区域等。
在高性能视频编码(H.265/High Efficiency Video Coding，HEVC)标准和通用视频编码(Versatile Video Coding，VVC)标准中，一幅图像可以划分为瓦片(Tile)、切片(Slice)，VVC中还支持将一幅图像划分为子图像(subpicture)。所以本方案中的一个质量评估区域可以对应一幅图像，也可以是一个子图像，或者一个质量评估区域可以包含一个或多个瓦片，又或者一个质量评估区域可以包含一个或多个切片。
步骤S103.计算所述图像质量评估区域对应的质量评估分值，确定图像质量信息。
计算所述图像质量评估区域对应的质量评估分值应首先确定所采用的图像质量评估方法。当所采用的图像质量评估方法为全参考质量评估方法时，需要利用所述图像质量评估区域和原始图像与所述图像质量评估区域对应的区域的像素值，按照所述全参考图像质量评估方法给出的质量评估数学模型计算得到所述图像质量评估区域对应的质量评估分值。当所采用的图像质量评估方法为半参考质量评估方法时，需要利用所述图像质量评估区域和所述部分参考图像质量评估方法所需要的原始图像中提取的部分统计信息，按照所述方法给出的质量评估数学模型计算得到所述图像质量评估区域对应的质量评估分值，例如，可以提取图像中的数字水印作为部分统计信息，或者将图像内视觉敏感系数作为部分统计信息提取出来等。当所采用的图像质量评估方法为无参考质量评估方法时，不需要利用原始图像，直接根据无参考质量评估方法给出的质量评估数学模型计算得到所述图像质量评估区域对应的质量评估分值。当所述无参考质量评估方法是基于神经网络时，所述数学模型应至少包括神经网络模型和网络参数等信息，还可以进一步提供所述神经网络模型所采用的数据集或训练集。
质量评估分值可以对应一个质量评估区域，也可以对应多个质量评估区域；所述多个质量评估区域可以是同一幅图像中的不同位置的质量评估区域，也可以是多幅图像中的质量评估区域。
图像质量信息中应包括至少一个图像质量评估区域对应的质量评估分值。
图像质量信息中可以包含对应至少一个图像质量评估区域对应的质量评估分值所采用的图像质量评估方法。
当图像质量评估区域为两个或两个以上时，图像质量信息中应包括图像质量评估区域的数量。
当图像质量评估区域为两个或两个以上时，图像质量信息中可以包括图像质量评估区域划分信息，所述图像质量评估区域划分信息可以包括图像质量评估区域的序号，图像质量评估区域的位置，图像质量评估区域的大小等属性中的一个或多个。
当所述媒体码流为可伸缩编码码流时，图像质量信息中还可以包含可伸缩编码层的信息，所述可伸缩编码层的信息可以包括可伸缩编码层的数量，图像质量评估区域所属的可伸缩编码层。
进一步地，当图像质量信息中包含的图像质量评估方法为全参考或部分参考图像质量评估方法时，图像质量信息中还可以包含原始图像的信息，所述原始图像的信息可以是获取原始图像的链接或者原始图像的部分统计信息。
当图像质量信息中包含的图像质量评估方法为无参考图像质量评估方法时，图像质量信息中还可以包含所述无参考图像质量评估方法采用的数学模型。当所述无参考质量评估方法是基于神经网络时，所述数学模型可以包括神经网络模型、网络参数等信息和/或所述神经网络模型采用的数据集信息。
如背景技术中所述，当一个视频码流在传输过程中可能经过转码操作或解码再编码的过程时，一个质量评估区域可能存在不止一个质量评估分值。当同一个质量评估区域所对应的质量评估分值大于等于两个时，图像质量信息中应包含所述一个图像质量评估区域对应的多个质量评估分值分别所采用的图像质量评估方法，所述图像质量评估方法可以是不同的评估类型，所述评估类型包括完全参考、半参考和无参考。此外，图像质量信息中还可以包含生成所述每个质量评估分值所对应的时间戳、生成所述每个质量评估分值的设备I D、生成所述每个质量评估分值的序号等信息中的一个或多个。
不同的质量评估区域可以采用不同的图像质量评估方法，所述图像质量评估方法的选择，可以根据图像质量评估区域中所包含的图像特征来确定。例如，当所述图像质量评估区域是根据图像画面内容作为图像特征进行划分，分为包含重点人物的图像质量评估区域和不包含关键内容的背景图像质量评估区域，可以分别采用不同的图像质量评估方法。
不同的图像质量评估方法通常有各自特定的评估尺度，例如，PSNR通常在20-60dB(分贝)范围内变化，SSIM在0-1范围内变化等。本方案中的质量评估分值，可以是图像质量评估方法原始计算出来的分值，也可以是经过数学公式进行转换后的值，例如，对原始分值进行取整操作，或者对原始分值进行等级分类等。
步骤S104.将所述图像质量评估信息，即图像质量信息写入媒体码流。
作为一种实现方式，根据所述图像质量评估信息生成对应的图像质量评估SEI信息，并写入媒体码流中。图像质量评估SEI信息可以理解为包含图像质量信息的SEI信息。
除了采用根据图像质量评估信息生成对应的图像质量评估SEI信息以外，还可以将图像质量评估区域及其对应的质量评估分值作为所述图像质量评估区域的等级信息，并根据需要写在媒体码流的不同部分，比如媒体描述部分。也可以将所述图像质量评估信息根据需要写在对应的参数集中，本发明并不限制将所述图像质量评估信息写入媒体码流的方式。
步骤S105.发送或存储媒体码流。
将所述图像质量评估区域及其对应的质量评估分值的媒体码流发送或者存储。当所述图像质量评估区域及其对应的质量评估分值作为所述图像质量评估区域的等级信息时，媒体码流可以不按照扫描顺序进行发送或者存储，而是根据等级信息的不同属性，发送或者存储。
实施例二
本实施例给出一种利用图像质量评估SEI信息实现实施例一中步骤S104“将所述图像质量信息写入媒体码流”的方式示例。
作为一种实现方式，可以将图像质量信息写入视频码流中的补充增强信息中，表1示出了本申请实施例提供的一种将图像质量信息写入补充增强信息的示意表，具体示例如下表所示的结构。
表1本申请实施例提供的一种将图像质量信息写入补充增强信息的示意表
Figure BDA0003176126280000092
SEI信息包含有效载荷类型payloadType和有效载荷大小payloadSize，其中：payloadType用于指示SEI信息的类型，例如当payloadType为PIC_QUALITY_MEASURE_INFO时，表示所述SEI信息为图像质量评估SEI信息，payloadSize中则包含了实际携带的图像质量信息，表2示出了本申请实施例提供的携带图像质量信息的有效载荷大小的示意表。如下表所示：
表2本申请实施例提供的携带图像质量信息的有效载荷大小的示意表
Figure BDA0003176126280000091
Figure BDA0003176126280000101
pqm_picture_type:指示SEI信息关联的图像类型。如实施例一中步骤S102和S103所述，当pqm_picture_type＝0时，表示SEI信息关联的图像为普通图像，图像质量评估区域为整幅图像区域；当pqm_picture_type＝1时，表示SEI信息关联的图像为非普通图像，图像质量评估区域可以是整幅图像中划分出的不同质量评估区域，也可以是子图像中划分出的不同质量评估区域。
需要说明的是，这里只是给出了pqm_picture_type作为图像特征的一种示例。根据实施例一中所述，图像特征还可以是根据图像画面中的内容，从而根据画面中的内容判断是否要对图像划分质量评估区域，并确定图像质量评估区域划分指示信息，表3为本申请实施例提供的一种图像质量评估区域划分指示信息的示意表，下表给出了一种可能的示例：
表3本申请实施例提供的一种图像质量评估区域划分指示信息的示意表
Figure BDA0003176126280000111
此外，当一幅图像需要分多个图像质量评估区域分别进行质量评估时，所述多个图像质量评估区域的总和可以是完整的一幅图像，也可以只是一幅图像中的部分区域。
pqm_mixed_measurement_flag:指示是否支持针对不同的图像质量评估区域采用不同的质量评估方法。当pqm_mixed_measurement_flag＝0时，表示针对所有的图像质量评估区域都采用同一种质量评估方法。当pqm_mixed_measurement_flag＝1时，表示针对所有的图像质量评估区域都采用同一种质量评估方法。
如实施例一种步骤S102中所述，当所述图像质量评估区域是根据图像画面内容作为图像特征进行划分，分为包含重点人物的图像质量评估区域和不包含关键内容的背景图像质量评估区域时，可以分别采用不同的图像质量评估方法。后续实施例中未作特别说明，默认支持pqm_mixed_measurement_flag＝1，即针对所有的图像质量评估区域都采用同一种质量评估方法。
pqm_measurement_method：指示所采用的图像质量评估方法，表4为本申请实施例提供的进行图像质量评估方法指示的示意表，具体指示方式参见下表：
表4本申请实施例提供的进行图像质量评估方法指示的示意表
pqm_measurement_method 图像质量评估方法
0 PNSR
1 SSIM
2 VQM
3 MS-SSIM
保留 ...
本实施例只是给出一种图像质量评估方法取值的一种示例，任何用于评估图像质量的质量评估方法都是允许的，包括同时采用两种以上的图像质量评估方法，或者使用外部质量评估方法注册机制，识别不同的质量评估方法等。
pqm_single_component_flag:指示是否只针对图像质量评估区域的单个分量进行质量评估。当pqm_single_component_flag＝1时，表示只针对图像质量评估区域的颜色空间中的单个分量进行质量评估；当pqm_single_component_flag＝0时，表示需要针对图像质量评估区域的颜色空间中的所有分量都分别进行质量评估。对于多个质量评估区域，可以支持采用不同的策略，即：部分质量评估区域只针对单个分量进行质量评估，部分质量评估区域对多有的分量都进行质量评估。
颜色空间的表示有很多种，例如：常见的RGB颜色空间是通过三原色来描述颜色，分量R代表红色Red，分量G代表绿色Green，分量B代表蓝色Blue；YUV颜色空间则是通过亮度和色度来描述颜色，亮度分量为Y，色度分量是由两个独立的信号组成，通常表示为U、V或Cb、Cr等等。后续我们实施例中将以YUV为例进行描述并且在未作特别说明的情况下，默认只针对亮度分量Y进行质量评估。
pqm_PSNR[i]:指示利用质量评估方法PSNR计算得到图像亮度分量Y的质量评估分值或利用质量评估方法PSNR计算得到图像色度分量U、V的质量评估分值。
pqm_SSIM[i]:指示利用质量评估方法SSIM下得到图像亮度分量Y的质量评估分值或利用质量评估方法SSIM计算得到图像色度分量U、V的质量评估分值。
pqm_VQM[i]:指示利用质量评估方法VQM计算得到图像亮度分量Y的质量评估分值或利用质量评估方法VQM计算得到图像色度分量U、V的质量评估分值。
pqm_MSSSIM[i]:指示利用质量评估方法MS-SSIM计算得到图像亮度分量Y的质量评估分值或利用质量评估方法MS-SSIM计算得到图像色度分量U、V的质量评估分值。
num_quality_regions：指示图像质量评估区域的数量；
pqm_quality_region_info_present_flag:指示是否存在质量评估区域划分信息。当pqm_quality_region_info_present_flag＝1时，表示存在质量评估区域划分信息；当pqm_quality_region_info_present_flag＝0时，表示不存在质量评估区域划分信息。此时可以默认采用全景图像信息中的区域划分信息，也可以在媒体码流中单独传输质量评估区域划分的信息。
pqm_quality_region_info[i]()：指示第i个质量评估区域的信息，即质量评估区域的划分信息。质量评估区域的信息中可以进一步包括图像质量评估区域的序号，图像质量评估区域的位置，图像质量评估区域的大小等属性中的一个或多个；其中，图像质量评估区域的位置可以包括该图像质量评估区域在整幅图像中所处的水平位置和该图像质量评估区域在整幅图像中所处的垂直位置，又或者图像质量评估区域的位置可以包括该图像质量评估区域的左上像素点在整幅图像中水平方向上的坐标和图像质量评估区域的左上像素点在整幅图像中垂直方向上的坐标；图像质量评估区域的大小可以包括该图像质量评估区域的宽度和该图像质量评估区域的高度。
pqm_PSNR[i][j]:指示利用质量评估方法PSNR计算得到第i个图像质量评估区域中亮度分量Y的质量评估分值或利用质量评估方法PSNR计算得到第i个图像质量评估区域中色度分量U、V的质量评估分值。
pqm_SSIM[i][j]:指示利用质量评估方法SSIM下得到第i个图像质量评估区域中亮度分量Y的质量评估分值或利用质量评估方法SSIM计算得到第i个图像质量评估区域中色度分量U、V的质量评估分值。
pqm_VQM[i][j]:指示利用质量评估方法VQM计算得到第i个图像质量评估区域中亮度分量Y的质量评估分值或利用质量评估方法VQM计算得到第i个图像质量评估区域中色度分量U、V的质量评估分值。
pqm_MSSSIM[i][j]:指示利用质量评估方法MS-SSIM计算得到第i个图像质量评估区域中亮度分量Y的质量评估分值或利用质量评估方法MS-SSIM计算得到第i个图像质量评估区域中色度分量U、V的质量评估分值。
本实施例中，质量评估分值对应的质量评估区域是一个单幅图像或包含在单幅图像中的某一个质量评估区域，此时，携带图像质量评估信息的图像质量评估SEI信息的持久性范围是包含该图像质量评估SEI信息图像单元(Picture Unit,PU)，表示该图像质量评估SEI信息只作用于其关联的一幅(帧)图像。
实施例三
由ISO/IEC和ITU下属的联合专家组(Joint Video Expert Teams，JVET)制定的高性能视频编码(H.265/High Efficiency Video Coding，HEVC)标准和通用视频编码(H.266/Versatile Video Coding，VVC)标准都已经支持“多层视频编码/可伸缩视频编码”的概念。图3为本申请实施例提供的一种媒体码流的示意图。如图3所示，媒体码流中可以包括一个基本层和至少一个增强层，从而可以提供不同质量的视频图像画面。此时，以图像1为例，图像1中的一个质量评估区域可以有多个质量评估分值，分别对应基本层、第一增强层和第二增强层。
本实施例给出一种在可伸缩编码条件下，利用图像质量评估SEI信息实现实施例一中步骤S104“将所述图像质量信息写入媒体码流”的方式的一种示例。表5为本申请实施例提供的一种将图像质量信息写入媒体码流的示意表。
pqm_picture_type:指示SEI信息关联的图像类型。参考实施例二中对于pqm_picture_type的描述说明。
pqm_measurement_method：指示所采用的图像质量评估方法，参考实施例二中对于pqm_measurement_method的描述说明。
pqm_max_layers_minus1：指示编码层的数量；pqm_max_layers_minus1的取值应等于视频参数集VPS(Video Paremeter Set)中的vps_max_layers_minus1的取值。
pqm_PSNR[i]:指示利用质量评估方法PSNR计算得到第i层图像的质量评估分值。
pqm_SSIM[i]:指示利用质量评估方法SSIM计算得到第i层图像的质量评估分值。
num_quality_regions：指示图像质量评估区域的数量；
pqm_quality_region_info[j]()：指示第j个质量评估区域的信息。参考实施例二中对于pqm_quality_region_info[i]()的描述说明。
pqm_PSNR[i][j]:指示利用质量评估方法PSNR计算得到第i层第j个图像质量评估区域的质量评估分值。
pqm_SSIM[i][j]:指示利用质量评估方法SSIM下得到第i层第j个图像质量评估区域的质量评估分值。
需要说明的是，本实施例中仅仅是为了方案的简洁性从而突出多层编码的特征，因此在给出的SEI信息示例中省略了pqm_single_component_flag，假设pqm_single_component_flag＝1，即只针对图像的亮度分量进行质量评估。但是本方案可以支持pqm_single_component_flag＝0的情况，即针对图像的亮度分量和色度分量分别进行质量评估。
表5本申请实施例提供的一种将图像质量信息写入媒体码流的示意表
Figure BDA0003176126280000141
本方案还可以支持对不同的编码层采用不同的亮度和色度分量的质量评估方案。例如，只对基本层图像的亮度分量和色度分量分别进行质量评估，对增强层图像只进行亮度分量上的质量评估。又或者，只对最高增强层图像的亮度分量和色度分量分别进行质量评估，对基本层图像只进行亮度分量上的质量评估等。
本实施例中，质量评估分值对应的质量评估区域是一个单幅基本层图像或增强层图像，也可以是包含在单幅基本层图像或增强层图像中的某一个质量评估区域，此时，携带图像质量评估信息的图像质量评估SEI信息的持久性范围是包含该图像质量评估SEI信息的访问单元(Access Unit,AU)，表示该图像质量评估SEI信息只作用于其关联的一幅(帧)图像。
实施例四
本实施例给出一种针对多帧图像，实现实施例一中步骤S104“将所述图像质量信息写入媒体码流中的SEI信息”的方式的一种示例。表6为本申请实施例提供的图像质量信息写入码流的示意表。
表6本申请实施例提供的图像质量信息写入码流的示意表
Figure BDA0003176126280000151
Figure BDA0003176126280000161
pqm_picture_type:指示SEI信息关联的图像类型。参考实施例二中对于pqm_picture_type的描述说明。
pqm_measurement_method：指示所采用的图像质量评估方法，参考实施例二中对于pqm_measurement_method的描述说明。
pqm_sequence_info：指示该图像质量评估SEI信息关联的图像序列的信息。所述图像序列的信息至少包括图像序列中的每一帧图像的标识号，根据所述图像的标识号可以确定所述图像序列中的图像信息。所述图像的标识号可以是该图像的解码顺序号或者播放顺序号，也可以是其他任何可以确定图像信息的方式。
pqm_quality_of_sequence_flag:指示是否针对图像序列计算质量评估分值。当pqm_quality_of_sequence_flag取值为1时，表示只针对图像序列中的所有图像计算一个总体质量评估分值；当pqm_quality_of_sequence_flag取值为0时，表示分别对图像序列中的每一幅图像计算其各自的质量评估分值。
特别说明的是，本实施例只是给出了计算图像序列质量评估分值的一种示例。例如，还可以设计pqm_quality_of_sequence_type用于指示图像序列的质量评估类型，即如何计算图像序列的质量评估分值，表7为本申请实施例提供的一种图像序列的质量评估类型的示意表，pqm_quality_of_sequence_type的取值可以如下表所示：
表7本申请实施例提供的一种图像序列的质量评估类型的示意表
Figure BDA0003176126280000171
pqm_sequence_PSNR:指示利用质量评估方法PSNR计算得到图像序列的质量评估分值。
pqm_num_of_picture：指示图像序列中包含的图像数量；
pqm_PSNR[i]：指示利用质量评估方法PSNR计算得到图像序列中第i个图像的质量评估分值。
参考实施例二中所述，利用pqm_mixed_measurement_flag指示是否支持针对不同的图像质量评估区域采用不同的质量评估方法。在本实施例中，实际实施过程中也可以针对单个图像评估区域和图像评估区域序列分别采用不同的更适合的质量评估方法。例如，单个图像评估区域可以采用PSNR、SSIM等质量评估方法，而图像评估区域序列可以采用VQM、wPSNR质量评估方法。同样的，不同的图像评估区域序列也可以采用不同的质量评估方法。
num_quality_regions：指示图像序列中每一幅图像中质量评估区域的数量；
pqm_quality_region_info[i]()：指示第i个质量评估区域序列的信息。参考实施例二中对于pqm_quality_region_info[i]()的描述说明。其中，第i个质量评估区域序列可以认为是每张图像中第i个质量评估区域所形成的序列。示例性的，多幅待评估图像，每幅待评估图像分为多个区域，每幅待评估图像中的第i个质量评估区域形成了质量评估区域序列。
pqm_sequence_PSNR[i]:指示利用质量评估方法PSNR计算得到第i个质量评估区域序列的质量评估分值。
num_quality_regions[i]:指示图像序列中第i幅图像中质量评估区域的数量；
pqm_quality_region_info[i][j]()：指示图像序列中第i幅图像中第j个质量评估区域序列的信息。参考实施例二中对于pqm_quality_region_info[i]()的描述说明。
pqm_PSNR[i][j]:指示利用质量评估方法PSNR计算得到第i幅图像中第j个图像质量评估区域的质量评估分值。
同实施例三，本实施例在给出的SEI信息示例中也省略了pqm_single_component_flag，假设pqm_single_component_flag＝1，即只针对图像或图像序列的亮度分量进行质量评估。但是本方案可以支持pqm_single_component_flag＝0的情况，即针对图像或图像序列的亮度分量和色度分量分别进行质量评估。
本方案还可以支持对图像序列和单幅图像采用不同的亮度和色度分量的质量评估方案。例如，只对单幅图像的亮度分量和色度分量分别进行质量评估，对图像序列只进行亮度分量上的质量评估。又或者，只对图像序列的亮度分量和色度分量分别进行质量评估，对单幅图像只进行亮度分量上的质量评估等。
本实施例中，质量评估分值对应的质量评估区域是一个图像序列或包含在图像中的某一个质量评估区域序列，此时，携带图像质量评估信息的图像质量评估SEI信息的持久性范围是包含该图像质量评估SEI信息的编码视频序列(Coded Video Sequence,CVS)或编码层视频序列(Coded Layer Video Sequence,CLVS)。
实施例五：
本实施例给出另一种实现实施例一中步骤S104“将所述图像质量信息写入媒体码流”的SEI信息方式的示例。表8为本申请实施例提供的一种将图像质量信息写入媒体码流的示意表。
表8本申请实施例提供的一种将图像质量信息写入媒体码流的示意表
Figure BDA0003176126280000181
pqm_cancel_flag:取值等于1时，表示所述图像质量评估SEI信息取消了任何在先的图像质量评估SEI消息的持久性且不使用相关的SEI功能。反之，取值等于0时，表示紧随其后的是图像质量评估信息。
pqm_persistence_flag:用于指示关联的图像质量评估SEI信息的持久性。当pqm_persistence_flag＝0时，指示图像质量评估SEI信息只对当前解码的图像适用。当pqm_persistence_flag＝1时，指示所述图像质量评估SEI信息当前解码的图像适用，并持续用于所有后续输出图像，直到满足以下一个或多个条件：(1)码流结束；(2)新的图像序列开始；(3)后续输出的图像已关联了图像质量评估SEI信息。
在本技术方案中也可以理解为，当pqm_persistence_flag＝0时，用于指示关联的图像质量评估SEI信息的质量评估分值是针对当前解码的图像或当前解码的图像中的图像质量评估区域；当pqm_persistence_flag＝1时，用于指示关联的图像质量评估SEI信息的质量评估分值是针对当前解码的图像及其后续输出图像组成的图像序列或当前解码的图像及其后续输出图像组成的图像中的图像质量评估序列。
pqm_picture_type:指示SEI信息关联的图像类型。参考实施例二中对于pqm_picture_type的描述说明。
pqm_measurement_method：指示所采用的图像质量评估方法，参考实施例二中对于pqm_measurement_method的描述说明。
pqm_PSNR:指示利用质量评估方法PSNR计算得到的当前图像或当前图像及其后续输出图像组成的图像序列的质量评估分值。
num_quality_regions:指示图像序列中一幅图像中质量评估区域的数量；
pqm_quality_region_info[i]()：指示第i个质量评估区域的信息，参考实施例二中对于pqm_quality_region_info[i]()的描述说明。
pqm_PSNR[i]:指示利用质量评估方法PSNR计算得到当前图像中第i个图像质量评估区域或当前图像及其后续输出图像中第i个图像质量评估区域序列的质量评估分值。
在本实施例中，利用pqm_cancel_flag和pqm_persistence_flag可以实现针对单个图像质量评估区域、图片组(GroupofPicture,GoP)、一个场景或者图像质量评估区域序列等计算图像质量评估分值。其中：单个图像质量评估区域包括单幅图像或者包含在单幅图像中的一个图像质量评估区域。图像质量评估区域序列包括整幅图像序列或者包含在同一幅或不同幅图像中的图像质量评估区域组成的图像质量评估区域序列。
实施例六：
本实施例给出又一种实现实施例一中步骤S104“将所述图像质量信息写入媒体码流”的方式的示例。
在本实施例中，采用基于国际标准化组织(International Organization forStandardization，ISO)，基本媒体文件格式(Base Media File Formate，BMFF)将图像质量评估数据存储在文件中。如下所示给出了一种实现方式：
Figure BDA0003176126280000191
Figure BDA0003176126280000201
picture_type指示图像类型，值为0时指示图像作为一个图像质量评估区域；值为1时指示图像划分为至少2个图像质量评估区域。
measurement_method指示所采用的图像质量评估方法，参考实施例二中pqm_measurement_method的描述说明。
quality_result指示利用measurement_method所指示的质量评估方法计算得到图像的质量评估结果。
num_quality_regions指示图像质量评估区域的数量。
quality_region_info[i]()指示第i个质量评估区域的信息。参考参考实施例二中pqm_quality_region_info[i]()的描述说明。
measurement_method[i]指示第i个质量评估区域所采用的图像质量评估方法。
quality_result[i]指示利用measurement_method[i]所指示的质量评估方法计算得到第i个质量评估区域的质量评估结果。
如下给出质量评估区域的信息quality_region_info()的一种示例：
aligned(8)quality_region_info(){
unsigned int(8)segment_top_left_x；
unsigned int(8)segment_top_left_y；
unsigned int(8)segment_width；
unsigned int(8)segment_height；
}
segment_top_left_x指示质量评估区域左上像素点在整幅图像中水平方向上的坐标。
segment_top_left_y指示质量评估区域左上像素点在整幅图像中垂直方向上的坐标。
segment_width[i]指示质量评估区域的像素宽度。
segment_height[i]指示质量评估区域的像素高度。
需要说明的是，本实施例只是给出了一个简单示例。类似地，实施例一到五所描述的方案都可以采用基于ISO基本媒体文件格式将图像质量评估数据存储在文件中，这里不再进行赘述。
实施例七：
步骤S701：获取媒体码流
本技术方案并不限定获取的媒体码流的类型和方式等。
步骤S702：解析媒体码流，获取图像质量评估信息，即图像质量信息。
解析媒体码流，获取媒体码流中携带的图像质量信息。所述图像质量信息可以包含在所述媒体码流中的SEI信息中携带。
此外，由实施例1步骤S104中描述，除了采用根据图像质量评估信息生成对应的图像质量评估SEI信息以外，还可以将图像质量评估区域及其对应的质量评估分值作为所述图像质量评估区域的等级信息，并根据需要写在媒体码流的不同部分，比如媒体描述部分。因此，本实施例也并不限制从媒体码流中获取图像质量评估信息的方式。
步骤S703：根据所述图像质量评估信息，确定图像质量评估区域及其对应的质量评估分值。
根据所述图像质量评估信息，确定图像质量评估区域及其对应的质量评估分值之前，还可以包括：根据所述图像质量评估信息，确定所述图像质量评估信息对应图像质量评估区域划分指示信息及所述图像质量评估区域的数量。确定图像质量评估区域及其对应的质量评估分值还可以包括，确定所述质量评估分值对应的质量评估方法。
在一个示例性实施方式中，本申请提供了一种码流处理装置，图4为本申请实施例提供的一种码流处理装置的结构示意图，该装置可以集成在终端设备上，如图4所示，该装置包括：
第一确定模块41，设置为确定图像质量评估区域；
第二确定模块42，设置为确定所述质量评估区域的质量评估数据；
第三确定模块43，设置为确定图像质量信息，所述图像质量信息中包括所述质量评估数据；
添加模块44，设置为将所述图像质量信息添加至码流中得到处理后的码流。
本实施例提供的码流处理装置用于实现如图1所示实施例的码流处理方法，本实施例提供的码流处理装置实现原理和技术效果与图1所示实施例的码流处理方法类似，此处不再赘述。
在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
在一个实施例中，所述图像质量评估区域的数量为至少一个，所述图像质量评估区域包括整幅或多幅待评估图像区域或所述图像质量评估区域包括待评估图像进行区域划分后形成的部分区域，所述待评估图像基于图像特征确定划分策略。
在一个实施例中，所述图像质量信息还包括如下一个或多个：
确定所述质量评估数据所采用的图像质量评估方法；
生成所述质量评估数据的时间戳；
生成所述质量评估数据的设备标识；
所述质量评估数据的标识；
所述图像质量评估区域的数量；
原始图像的信息，所述原始图像的信息包括所述原始图像的链接或所述原始图像的部分统计信息，待评估图像为对所述原始图像处理后生成的重构图像；
进行无参考图像质量评估所采用的数学模型；
图像质量评估区域划分类型指示信息；
不同图像质量评估区域所采用质量评估方法相同性的指示信息；
所述图像质量评估区域所评估分量的指示信息；
可伸缩编码层的信息，所述可伸缩编码层的信息包括可伸缩编码层的数量，所述图像质量评估区域所属的可伸缩编码层，所述待评估图像中第i层图像所采用的质量评估方法，所述待评估图像中第k层图像第n个图像质量评估区域所采用的质量评估方法，i，k和n为正整数；
所述图像质量评估区域所包括图像序列的信息，所述图像序列包括多幅待评估图像；
图像序列中包含的图像数量；
图像序列中每一幅图像中质量评估区域的数量；
确定图像序列中第j个图像质量评估区域所采用的质量评估方法，j为正整数；
第m个质量评估区域的信息，m为正整数；
第h个质量评估区域确定质量评估数据所采用的质量评估方法，h为正整数；
图像序列中第g个待评估图像中质量评估区域的数量，g为正整数。
在一个实施例中，所述图像质量信息还包括：
所述图像质量评估区域的划分信息；所述划分信息存在与否的指示信息，所述图像质量评估区域的划分信息包括如下一个或多个：
所述质量评估区域的标识；所述质量评估区域的位置；所述质量评估区域的大小。
在一个实施例中，第一确定模块41具体设置为：
根据待评估图像的图像特征确定待评估图像的图像质量评估区域。
在一个实施例中，添加模块44，将所述图像质量信息添加至码流中得到处理后的码流，包括：
根据所述图像质量信息生成补充增强信息；
将所述补充增强信息添加至码流得到处理后的码流。
在一个实施例中，添加模块44，所述将所述图像质量信息添加至码流中得到处理后的码流，包括：
将所述图像质量信息写入媒体文件中，或者将所述图像质量信息作为所对应图像质量评估区域的等级信息写入媒体文件中；
将所述媒体文件添加至码流中得到处理后的码流。
在一个实施例中，添加模块44，一个图像质量评估区域对应一个或多个质量评估数据，多个质量评估数据为待评估图像不同编码层在不同分量上进行质量评估确定；或多个质量评估数据为图像序列在不同分量上进行质量评估确定；或多个质量评估数据为对一个图像质量评估区域采用不同的质量评估方法确定的。
在一个实施例中，添加模块44，不同图像质量评估区域所采用质量评估方法相同或不同。
在一个示例性实施方式中，本申请实施例还提供了一种码流处理装置，该装置集成在接收处理后码流的终端设备上。图5为本申请实施例提供的一种码流处理装置的结构示意图，如图5所示，该装置包括：
获取模块51，设置为获取处理后的码流；
解析模块52，设置为解析所述处理后的码流获取图像质量信息；
确定模块53，设置为根据所述图像质量信息确定图像质量评估区域和对应的质量评估数据。
本实施例提供的码流处理装置用于实现如图2所示实施例的码流处理方法，本实施例提供的码流处理装置实现原理和技术效果与图2所示实施例的码流处理方法类似，此处不再赘述。
在一个示例性实施方式中，本申请实施例还提供了一种终端设备，图6为本申请实施例提供的一种终端设备的结构示意图，如图6所示，本申请提供的终端设备，包括一个或多个处理器61和存储装置62；该终端设备中的处理器61可以是一个或多个，图6中以一个处理器61为例；存储装置62用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器61执行，使得所述一个或多个处理器61实现如本申请实施例中所述的码流处理方法。
终端设备还包括：通信装置63、输入装置64和输出装置65。
终端设备中的处理器61、存储装置62、通信装置63、输入装置64和输出装置65可以通过总线或其他方式连接，图6中以通过总线连接为例。
输入装置64可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的按键信号输入。输出装置65可包括显示屏等显示设备。
通信装置63可以包括接收器和发送器。通信装置63设置为根据处理器61的控制进行信息收发通信。信息包括但不限于处理后的码流。
存储装置62作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本申请实施例所述码流处理方法对应的程序指令/模块(例如，码流处理装置中的第一确定模块41、第二确定模块42、第三确定模块43和添加模块44或者码流处理装置中的获取模块51、解析模块52和确定模块53)。存储装置62可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置62可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置62可进一步包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至终端设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
本申请实施例还提供一种存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请任一所述方法，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例中任一所述的码流处理方法。
码流处理方法包括：确定图像质量评估区域；
确定所述质量评估区域的质量评估数据；
确定图像质量信息，所述图像质量信息中包括所述质量评估数据；
将所述图像质量信息添加至码流中得到处理后的码流。
码流处理方法包括：获取处理后的码流；
解析所述处理后的码流获取图像质量信息；
根据所述图像质量信息确定图像质量评估区域和对应的质量评估数据。
本申请实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于，电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(Random Access Memory，RAM)、只读存储器(Read Only Memory，ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式CD-ROM、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(Radio Frequency，RF)等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
以上所述，仅为本申请的示例性实施例而已，并非用于限定本申请的保护范围。
本领域内的技术人员应明白，术语终端设备涵盖任何适合类型的无线用户设备，例如移动电话、便携数据处理装置、便携网络浏览器或车载移动台。
一般来说，本申请的多种实施例可以在硬件或专用电路、软件、逻辑或其任何组合中实现。例如，一些方面可以被实现在硬件中，而其它方面可以被实现在可以被控制器、微处理器或其它计算装置执行的固件或软件中，尽管本申请不限于此。
本申请的实施例可以通过移动装置的数据处理器执行计算机程序指令来实现，例如在处理器实体中，或者通过硬件，或者通过软件和硬件的组合。计算机程序指令可以是汇编指令、指令集架构(Instruction Set Architecture，ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码。
本申请附图中的任何逻辑流程的框图可以表示程序步骤，或者可以表示相互连接的逻辑电路、模块和功能，或者可以表示程序步骤与逻辑电路、模块和功能的组合。计算机程序可以存储在存储器上。存储器可以具有任何适合于本地技术环境的类型并且可以使用任何适合的数据存储技术实现，例如但不限于只读存储器(Read-Only Memory，ROM)、随机访问存储器(Random Access Memory，RAM)、光存储器装置和系统(数码多功能光碟(DigitalVideoDisc，DVD)或光盘(Compact Disk，CD))等。计算机可读介质可以包括非瞬时性存储介质。数据处理器可以是任何适合于本地技术环境的类型，例如但不限于通用计算机、专用计算机、微处理器、数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、可编程逻辑器件(Field-Programmable GateArray，FGPA)以及基于多核处理器架构的处理器。
通过示范性和非限制性的示例，上文已提供了对本申请的示范实施例的详细描述。但结合附图和权利要求来考虑，对以上实施例的多种修改和调整对本领域技术人员来说是显而易见的，但不偏离本申请的范围。因此，本申请的恰当范围将根据权利要求确定。

Claims (14)

1.一种码流处理方法，其特征在于，包括：
确定图像质量评估区域；
确定所述质量评估区域的质量评估数据；
确定图像质量信息，所述图像质量信息中包括所述质量评估数据；
将所述图像质量信息添加至码流中得到处理后的码流。
2.根据权利要求1所述的方法，其特征在于，所述图像质量评估区域的数量为至少一个，所述图像质量评估区域包括整幅或多幅待评估图像区域或所述图像质量评估区域包括待评估图像进行区域划分后形成的部分区域，所述待评估图像基于图像特征确定划分策略。
3.根据权利要求1所述的方法，其特征在于，所述图像质量信息还包括如下一个或多个：
确定所述质量评估数据所采用的图像质量评估方法；
生成所述质量评估数据的时间戳；
生成所述质量评估数据的设备标识；
所述质量评估数据的标识；
所述图像质量评估区域的数量；
原始图像的信息，所述原始图像的信息包括所述原始图像的链接或所述原始图像的部分统计信息，待评估图像为对所述原始图像处理后生成的重构图像；
进行无参考图像质量评估所采用的数学模型；
图像质量评估区域划分指示信息；
不同图像质量评估区域所采用质量评估方法相同性的指示信息；
所述图像质量评估区域所评估分量的指示信息；
可伸缩编码层的信息，所述可伸缩编码层的信息包括可伸缩编码层的数量，所述图像质量评估区域所属的可伸缩编码层，所述待评估图像中第i层图像所采用的质量评估方法，所述待评估图像中第k层图像第n个图像质量评估区域所采用的质量评估方法，i，k和n为正整数；
所述图像质量评估区域所包括图像序列的信息，所述图像序列包括多幅待评估图像；
图像序列中包含的图像数量；
图像序列中每一幅图像中质量评估区域的数量；
确定图像序列中第j个图像质量评估区域所采用的质量评估方法，j为正整数；
第m个质量评估区域的信息，m为正整数；
第h个质量评估区域确定质量评估数据所采用的质量评估方法，h为正整数；
图像序列中第g个待评估图像中质量评估区域的数量，g为正整数。
4.根据权利要求1所述的方法，其特征在于，所述图像质量信息还包括：
所述图像质量评估区域的划分信息；所述划分信息存在与否的指示信息，所述图像质量评估区域的划分信息包括如下一个或多个：
所述质量评估区域的标识；所述质量评估区域的位置；所述质量评估区域的大小。
5.根据权利要求1所述的方法，其特征在于，所述确定图像质量评估区域，包括：
根据待评估图像的图像特征确定待评估图像的图像质量评估区域。
6.根据权利要求1所述的方法，其特征在于，所述将所述图像质量信息添加至码流中得到处理后的码流，包括：
根据所述图像质量信息生成补充增强信息；
将所述补充增强信息添加至码流得到处理后的码流。
7.根据权利要求1所述的方法，其特征在于，所述将所述图像质量信息添加至码流中得到处理后的码流，包括：
将所述图像质量信息写入媒体文件中，或者将所述图像质量信息作为所对应图像质量评估区域的等级信息写入媒体文件中；
将所述媒体文件添加至码流中得到处理后的码流。
8.根据权利要求1所述的方法，其特征在于，一个图像质量评估区域对应一个或多个质量评估数据，多个质量评估数据为待评估图像不同编码层在不同分量上进行质量评估确定；或多个质量评估数据为图像序列在不同分量上进行质量评估确定；或多个质量评估数据为对一个图像质量评估区域采用不同的质量评估方法确定的。
9.根据权利要求1所述的方法，其特征在于，不同图像质量评估区域所采用质量评估方法相同或不同。
10.一种码流处理方法，其特征在于，包括：
获取处理后的码流；
解析所述处理后的码流获取图像质量信息；
根据所述图像质量信息确定图像质量评估区域和对应的质量评估数据。
11.一种码流处理装置，其特征在于，包括：
第一确定模块，设置为确定图像质量评估区域；
第二确定模块，设置为确定所述质量评估区域的质量评估数据；
第三确定模块，设置为确定图像质量信息，所述图像质量信息中包括所述质量评估数据；
添加模块，设置为将所述图像质量信息添加至码流中得到处理后的码流。
12.一种码流处理装置，其特征在于，包括：
获取模块，设置为获取处理后的码流；
解析模块，设置为解析所述处理后的码流获取图像质量信息；
确定模块，设置为根据所述图像质量信息确定图像质量评估区域和对应的质量评估数据。
13.一种终端设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-10中任一所述的方法。
14.一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-10中任一项所述的方法。
CN202110832744.XA 2021-07-22 2021-07-22 一种码流处理方法、装置、终端设备及存储介质 Pending CN115689968A (zh)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN202110832744.XA CN115689968A (zh) 2021-07-22 2021-07-22 一种码流处理方法、装置、终端设备及存储介质
KR1020247002883A KR20240025005A (ko) 2021-07-22 2022-05-26 비트스트림 처리방법, 장치, 단말 설비 및 저장 매체
PCT/CN2022/095288 WO2023000815A1 (zh) 2021-07-22 2022-05-26 一种码流处理方法、装置、终端设备及存储介质
US18/291,027 US20240331122A1 (en) 2021-07-22 2022-05-26 Bitstream processing method, apparatus, terminal device, and storage medium
EP22844982.3A EP4376405A4 (en) 2021-07-22 2022-05-26 Code stream processing method, device, terminal device and storage medium
JP2024503771A JP7701548B2 (ja) 2021-07-22 2022-05-26 ビットストリーム処理方法、装置、端末機器および記憶媒体
JP2025103711A JP2025131889A (ja) 2021-07-22 2025-06-19 ビットストリーム処理方法、装置、端末機器および記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110832744.XA CN115689968A (zh) 2021-07-22 2021-07-22 一种码流处理方法、装置、终端设备及存储介质

Publications (1)

Publication Number Publication Date
CN115689968A true CN115689968A (zh) 2023-02-03

Family

ID=84979943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110832744.XA Pending CN115689968A (zh) 2021-07-22 2021-07-22 一种码流处理方法、装置、终端设备及存储介质

Country Status (6)

Country Link
US (1) US20240331122A1 (zh)
EP (1) EP4376405A4 (zh)
JP (2) JP7701548B2 (zh)
KR (1) KR20240025005A (zh)
CN (1) CN115689968A (zh)
WO (1) WO2023000815A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20250030873A1 (en) * 2023-07-17 2025-01-23 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Coded video transmission concept

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010112472A1 (fr) * 2009-03-30 2010-10-07 Universite De Nantes Procédé et dispositif d'évaluation de la qualité visuelle d'une image ou d'une séquence d'images, mettant en oeuvre des indicateurs objectifs, et programme d'ordinateur correspondant.
CN104185285A (zh) * 2013-05-28 2014-12-03 华为技术有限公司 一种媒体数据的传输方法、装置和系统

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100505895C (zh) * 2005-01-17 2009-06-24 华为技术有限公司 一种视频质量评估方法
JP2011239066A (ja) * 2010-05-07 2011-11-24 Sony Corp 画像処理装置および方法
WO2018169176A1 (ko) * 2017-03-17 2018-09-20 엘지전자 주식회사 퀄리티 기반 360도 비디오를 송수신하는 방법 및 그 장치
US11729407B2 (en) * 2018-10-29 2023-08-15 University Of Washington Saliency-based video compression systems and methods
US11875495B2 (en) * 2020-08-10 2024-01-16 Tencent America LLC Methods of video quality assessment using parametric and pixel level models
JP2024512602A (ja) * 2021-04-02 2024-03-19 クゥアルコム・インコーポレイテッド ビデオコーディングのためのピクチャ向きおよび品質メトリクス補足拡張情報メッセージ

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010112472A1 (fr) * 2009-03-30 2010-10-07 Universite De Nantes Procédé et dispositif d'évaluation de la qualité visuelle d'une image ou d'une séquence d'images, mettant en oeuvre des indicateurs objectifs, et programme d'ordinateur correspondant.
CN104185285A (zh) * 2013-05-28 2014-12-03 华为技术有限公司 一种媒体数据的传输方法、装置和系统

Also Published As

Publication number Publication date
JP7701548B2 (ja) 2025-07-01
KR20240025005A (ko) 2024-02-26
WO2023000815A1 (zh) 2023-01-26
EP4376405A4 (en) 2025-06-25
EP4376405A1 (en) 2024-05-29
JP2025131889A (ja) 2025-09-09
US20240331122A1 (en) 2024-10-03
JP2024525927A (ja) 2024-07-12

Similar Documents

Publication Publication Date Title
US9143776B2 (en) No-reference video/image quality measurement with compressed domain features
US11544824B2 (en) Method and device for generating a second image from a first image
US9414086B2 (en) Partial frame utilization in video codecs
JP6822122B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP6822123B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2012238927A (ja) 画像処理装置及び画像処理方法
CN118842908A (zh) 一种用于图像划分的方法及装置
JP2025131889A (ja) ビットストリーム処理方法、装置、端末機器および記憶媒体
US12382056B2 (en) Encoding and decoding a point cloud using patches for in-between samples
CN114762339A (zh) 基于变换跳过和调色板编码相关高级语法元素的图像或视频编码
JP2025516240A (ja) フィルムグレインモデリングのための方法及び装置
US12136243B2 (en) Processing missing points of a point cloud
US20250106436A1 (en) Sei message for film grain synthesis mask
CN114762335B (zh) 基于变换跳过和调色板编码相关数据的图像或视频编码
CN114762350B (zh) 基于切片类型的图像/视频编译方法和设备
EP4611367A1 (en) Film grain modeling using encoding information
US20240283936A1 (en) Image encoding/decoding method, method for transmitting bitstream, and recording medium storing bitstream
US20250254334A1 (en) Intra mode coding based on template
JP2019176212A (ja) 色差信号形式判定装置、符号化装置、及びプログラム
JP2025522408A (ja) 画像又はビデオを符号化及び復号するための方法及び装置
CN120345244A (zh) 带偏移专用选项的ccso
RU2628198C1 (ru) Способ межканального предсказания и межканальной реконструкции для многоканального видео, снятого устройствами с различными углами зрения
EP3713239A1 (en) Processing a point cloud
WO2025056400A1 (en) Encoding and decoding methods using multi-criterion classification for adaptive filtering and corresponding apparatuses
CN120051986A (zh) 使用方向帧内预测的编码和解码方法及对应的装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination