[go: up one dir, main page]

CN117321625A - 显示优化的hdr视频对比度适配 - Google Patents

显示优化的hdr视频对比度适配 Download PDF

Info

Publication number
CN117321625A
CN117321625A CN202280033540.2A CN202280033540A CN117321625A CN 117321625 A CN117321625 A CN 117321625A CN 202280033540 A CN202280033540 A CN 202280033540A CN 117321625 A CN117321625 A CN 117321625A
Authority
CN
China
Prior art keywords
brightness
image
input
value
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202280033540.2A
Other languages
English (en)
Inventor
R·尼吉兰德
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips NV filed Critical Koninklijke Philips NV
Publication of CN117321625A publication Critical patent/CN117321625A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/40Image enhancement or restoration using histogram techniques
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/92Dynamic range modification of images or parts thereof based on global image properties
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/485End-user interface for client configuration
    • H04N21/4854End-user interface for client configuration for modifying image parameters, e.g. image brightness, contrast
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20208High dynamic range [HDR] image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

为了以实用的方式获得用于各种可能显著不同的观看环境光水平的更好的可观看图像,发明人提出了一种用于处理输入图像的装置(900),所述输入图像具有像素,所述像素具有落在第一明度动态范围(DR_1)内的输入明度,所述第一明度动态范围具有第一最大明度(PL_V_HDR),所述装置包括:图像输入部(921),其被布置为获得所述输入图像(513);数据输入部(920),其用于接收参考明度映射函数(F_L),所述参考明度映射函数是与所述输入图像相关联的元数据,所述参考明度映射函数(F_L)指定如何在两个参考图像之间对明度进行重新分级,其中,所述输出图像具有与所述第一最大明度不同的输出最大明度(PUV_MDR);所述装置还包括:用户值电路(903),其被布置为确定并输出由所述装置的人类用户设置的用户校正值(UCBVal);以及最大明度确定单元(901),其被布置为:从所述用户值电路(903)获得所述用户校正值(UCBVal);并且将经调整的最大明度值输出为从所述输出最大明度(PL_V_MDR)减去用户校正值(UCBVal)的结果;所述装置还包括:显示调整电路(510),其被布置为基于所述经调整的最大明度值(PL_V_CO)和所述参考明度映射函数(F_L)来确定适配明度映射函数(FL_DA),其中,所述适配明度映射函数(FL_DA)的计算涉及在量规(SM)上找到与所述经调整的最大明度值(PL_V_CO)相对应的位置(pos),其中,所述量规的第一端点对应于所述第一最大明度(PL_V_HDR),并且所述量规的第二端点对应于所述第二参考图像的最大明度,其中,对于任何归一化输入亮度(Yn_CC0),所述量规的第一端点共同定位在对角线上的点上,所述点的水平坐标和竖直坐标等于所述归一化输入亮度,其中,所述第二端点位于所述参考明度映射函数(F_L)的轨迹上,其中,所述显示适配单元被布置为将所述适配明度映射函数(FL_DA)应用于所述输入明度或对所述输入明度进行编码的输入亮度以获得输出明度或输出亮度,并且将这些输出明度或输出亮度输出为所述输出图像的像素颜色。

Description

显示优化的HDR视频对比度适配
技术领域
本发明涉及用于适配高动态范围视频的图像像素明度以产生在特定观看场所环境光量下显示HDR视频的情况的期望外观的方法和装置。
背景技术
几年前,尤其由申请人引入了高动态范围(HDR)视频编码的新颖技术(参见例如WO2017157977)。
视频的编码通常主要或仅涉及制作或更精确地定义颜色代码(例如,每像素一个明度和两个色度)以表示图像。这与知道如何最佳地显示HDR图像不同(例如,最简单的方法仅采用高度非线性的光电传递函数OETF来将期望的明度转换为例如10比特明度代码,并且反之亦然,人们可以通过使用反向整形的光电传递函数EOTF,将10比特电明度代码映射到要显示的光学像素明度,将那些视频像素明度代码转换为要显示的明度,但是更复杂的系统可能会在若干方向上从编码图像的特定用途偏离,特别是通过与图像的断开连接)。
HDR视频的编码和处理与如何使用传统视频技术形成相当大的对比,直到最近才根据传统视频技术对所有视频进行编码,这现在被称为标准动态范围(SDR)视频编码(也称为低动态范围视频编码;LDR)。这种SDR在模拟时代最初是PAL或NTSC,后来发展到基于Rec.709的编码,例如在数字视频时代的MPEG2压缩。
虽然在20世纪是一种令人满意的用于传送运动图像的技术,但是技术的进步,超越了20世纪CRT的电子束的物理极限或全球化的TL-背光LCD,使得可以示出具有比在那些传统显示器上显著更亮(并且也可能更暗)的像素的图像,这促使需要能够编码和创建这样的HDR图像。
实际上,从利用SDR标准(8比特Rec.709)不可编码的更亮并且也可能更暗的图像对象开始,出于各种原因,首先发明了能够在技术上表示那些增加的明度范围颜色的方式,并且由此逐个重新研究了视频技术的所有规则,并且通常必须重新发明。
由于其近似平方根OETF函数形状,Rec.709的SDR的明度编码定义能够对仅约1000:1的明度动态范围进行编码(具有8或10比特明度),明度:Y_code=power(2,N)*sqrt(L_norm),其中N是明度通道的比特数,并且L_norm是物理明度的在0和1之间的归一化版本。
此外,在SDR时代,没有定义要显示的绝对明度,因此实际上经由平方根OETF将最大相对明度L_norm_max=100%或1映射到对应于例如Y_code_max=255的最大归一化明度代码Yn=1。与制作绝对HDR图像相比,这具有若干技术差异,即,其中被编码为被显示为200nit的图像像素理想地(即,在可能的情况下)在所有显示器上都被显示为200nit,而不是显示为完全不同的显示明度。在相对范例中,200nit编码像素明度可以在更亮的显示器(即,具有更亮的最大可显示明度PL_D(也称为显示器最大明度)的显示器)上以300nit显示,并且例如在更小能力的显示器上以100nit显示。注意,绝对编码也可以在归一化明度表示或归一化3D色域上工作,但是1.0则例如唯一地意味着1000nit。
在显示器处,通常通过将视频的最亮明度映射到最亮的可显示像素明度(这在不涉及进一步的明度映射的情况下经由通过max.luma Y_code_max电驱动显示面板而自动发生)来稍微启发式地显示这样的相对图像,因此如果你购买了200nitPL_D显示器,你的白色看起来比在100nit PL_D显示器上亮2倍,但是考虑到像眼睛适应的这种因素,这被认为不太重要,除了给出相同SDR视频图像的更亮、更好地可观看且稍微更美观的版本。
通常,如果现在(在绝对框架中)谈论SDR视频图像,则它通常具有PL_V=100nit的视频峰值明度(例如,按照标准商定),因此在本申请中,我们认为SDR图像(或SDR分级)的最大明度确切地是其,或在那个值周围泛化。
本申请中的分级旨在表示活动或结果图像,其中像素已经例如由人类颜色分级者或者通过自动化而被给予明度。如果人们观看图像,例如设计图像,则将存在若干图像对象,并且人们可能理想地想要给那些对象的像素一分布在平均明度周围的明度,该平均明度对于该对象是最佳的,也给出了图像的整体和场景。例如,如果人们具有可用的图像能力,使得该图像的最亮可编码像素是1000nit(图像或视频最大明度PL_V),则一个分级者可以选择给予爆炸明度的像素在800与1000nit之间的值,以使爆炸看起来相当有力度,而另一个电影制作者可以选择不比500nit亮的爆炸,以例如在该时刻不太多地阻止图像的其余部分(并且当然技术应当能够处理两种情况)。
HDR图像或视频的最大明度可以显著变化,并且通常作为关于HDR视频或图像的元数据与图像数据共同传送(典型的值可以是例如1000nit、或4000nit、或10,000nit,非限制性的;通常可以说当PL_V至少为600nit时具有HDR图像)。如果视频创建者选择将他的图像定义为对于4000nit,他当然可以选择创建更亮的爆炸,但是相对地它们将不会达到100%的PL_V水平,而是例如对于场景的这样的高PL_V定义仅高达50%。
HDR显示器可以具有最大能力,即最高可显示像素明度(从低端HDR显示器开始),例如600nit、或1000nit、或数字N乘以1000nit。该显示最大或峰值明度PL_D是除了视频最大明度PL_V之外的其他明度,并且这两者不应被混淆。视频创建者通常不能为每个可能的最终用户显示器制作最佳视频(即,在最佳视频中,最终用户显示器的能力被视频最佳地使用,其中,视频的最大明度永远不会超过显示器的最大明度(理想地),但是也不会更低,即,在一些视频图像中应当至少存在具有像素明度L_p=PL_V的一些像素,其对于任何特定显示器的连续优化也将涉及PL_V=PL_D)。
创建者将做出他自己的一些决定(例如,他正在捕获什么类型的内容,以及以哪种方式),并且通常制作具有如此高的PL_V的视频,使得他至少可以服务于他今天的预期观众的最高PL_D显示,并且可能还在将来,当可能已经出现更高的PL_D显示时。
然后出现了第二个问题,如何在具有低的(通常低地多的)显示峰值明度PL_D的显示器上最佳地显示具有峰值明度PL_V的图像,这被称为显示适配。即使在将来,仍将存在需要比例如2000nit PL_V图像更低的动态范围图像的显示器,该图像被创建并且经由通信介质被接收。理论上,显示器总是可以重新分级(即映射)图像像素的明度,使得它们通过其自身的内部启发法变得可显示,但是如果视频创建者在确定像素明度时非常小心,则他还可以指示他的图像应当如何显示以适应于更低PL_D值可能是有益的,并且理想地,显示器在很大程度上遵循这些技术需求。
关于最暗的可显示像素明度BL_D,情况更复杂。其中的一些可以是显示器的固定物理特性,例如LCD盒漏光,但是,即使使用最佳显示器,观看者最终可以将什么辨别为不同的最暗的黑色,也取决于观看室的照明,这不是明确定义的值。该照明可以被表征为例如以lux为单位的平均照度水平,但是为了视频显示目的,更优雅地被表征为最小像素明度。这通常也涉及人眼,以比亮或中等明度的外观更强的方式,因为如果人眼正在看许多高明度的像素,则更暗的像素并且特别是其绝对明度可能变得不太相关。但是可以假设,眼睛不是限制因素,例如当观看大部分很暗的场景图像但仍然被显示屏前面的周围光掩蔽时。如果假设人类可以看到2%的刚刚可察觉差异,则存在一些最暗驱动水平(或明度)b,高于该最暗驱动水平仍然可以看到下一个暗的明度水平(即,比所显示的明度高X%,例如,显示多2%的明度水平)。
在LDR时代,人们根本不太关心最暗的像素。人们主要关心平均明度,大约是最大PL_V=100nit的1/4。如果图像在该值附近曝光,则场景中的所有东西看起来都很好地明亮和鲜艳,除了场景的明亮部分在100%最大值之上的裁剪。对于场景的最暗部分,在它们足够重要的情况下,在录制工作室或拍摄环境中创建具有足够量的基础照明的捕获图像。如果一些场景没有被很好地看到,例如因为它被淹没在代码Y=0中,这被认为是正常的。
因此,如果没有进一步指定,则可以假设最黑的黑色为零,或在实践中像0.1或0.01nit。在这种情况下,技术人员更关心HDR图像中的如被编码和/或显示的高于平均的更亮像素。
关于编码,HDR和SDR之间的差异不仅是物理差异(要在更大的动态范围能力显示器上显示的更多不同的像素明度),而且是涉及不同明度代码分配功能的技术差异(为此使用OETF;或在绝对方法中是EOTF的逆)并且还可能有另外的技术HDR概念,例如附加的动态(每幅图像或时间上连续的图像的集合)改变元数据,其指定如何对各种图像对象像素明度进行重新分级以获得与起始图像动态范围不同的次级动态范围的图像(两个明度范围通常以不同至少1.5x的峰值明度结束)等。
简单的HDR编解码器被引入市场,HDR10编解码器,其例如用于创建最近出现的黑色宝石盒HDR蓝光。该HDR10视频编解码器使用比平方根更加对数形状的函数作为OETF(逆EOTF),即在SMPTE 2084中标准化的所谓的感知量化器(PQ)函数。该PQ OETF允许定义足够用于实际HDR视频制作的更多(理想地要显示的)明度(即在1/10,000nit和10,000nit之间)的明度,而不是像Rec.709OETF那样被限制于1000:1。
注意,读者不应简单地将HDR与明度码字节中的大量比特混淆。这对于类似模数转换器的比特量的线性系统可能是正确的,其中比特量实际上遵循动态范围的以2为底的对数。然而,由于代码分配函数可以具有相当非线性的形状,因此理论上期望,可以仅用10比特明度(并且甚至每个颜色分量HDR图像8比特)来定义HDR图像,这导致已经部署的系统的可重用性的优点(例如,IC可以具有一定的比特深度或视频线缆等)。
在计算明度之后,人们得到像素明度Y_code的10比特平面,每个像素的两个色度分量Cb和Cr被添加到该像素明度Y_code的10比特平面作为色度像素平面。该图像可以在数学上被进一步沿线向下处理(例如MPEG-HEVC压缩等)为其“如同”SDR图像。压缩器并不真正需要关心像素颜色或明度。
但是接收装置(例如显示器(或实际上其解码器))通常需要对{Y,Cb,Cr}像素颜色进行正确的颜色解释,以显示正确看起来的图像,而不是具有例如漂白颜色的图像。
这通常通过将另外的图像定义元数据与三个像素化颜色分量平面一起共同传送来处理,这定义了图像编码,诸如使用哪个EOTF的指示,为此我们将不受限制地假设使用了PQ EOTF(或OETF)、以及PL_V的值等。
更复杂的编解码器可以包括另外的图像定义元数据,例如,处理元数据,例如,指定如何将高达PL_V=1000nit的第一图像的明度的归一化版本映射到辅助参考图像(例如,PL_V=100nit SDR参考图像)的归一化明度的函数(如我们关于图2更详细地阐明的)。
为了方便对HDR不太了解的读者了解最新情况,我们在图1中快速阐明了一些有趣的方面,图1示出了未来的HDR系统(例如,连接到1000nit PL_D显示器)可能需要能够正确处理的许多可能的HDR场景的几个原型说明性示例。像素颜色的实际技术处理可以以各种方式在各种颜色空间定义中发生,但是重新分级的迫切需要可以被示出为跨越不同动态范围的明度轴之间的绝对明度映射。
例如ImSCN1是来自西部电影的阳光充足的户外图像,其主要具有明亮的区域。不应当误解的第一件事是任何图像中的像素明度通常不是在现实世界中可以实际测量的明度。
即使在输出HDR图像(其可以用作起始图像,我们将其称为主HDR分级或图像)的创建中没有进一步的人类参与,无论通过调整一个参数多么简单,相机由于其光圈至少总是测量图像传感器中的相对明度。因此,总是涉及如下的一些步骤,其中至少最亮图像像素在主HDR图像的可用编码明度范围中结束。
例如,在现实世界中,可以测量太阳在警长的星形徽章上的镜面反射高于100,000nit,但是这既不可能在典型的不远的将来的显示器上显示,也不让观看电影中的图像的观看者(例如,在晚上光线昏暗的房间中)愉快。替代地,视频创建者可以决定5000nit对于徽章的像素足够亮,因此如果这将是电影中的最亮像素,则视频创建者可以决定制作PL_V=5000nit视频。尽管作为仅用于主HDR分级的原始版本的相对像素明度测量设备,但是相机还应当具有足够高的原生动态范围(明显超过噪声基底的完整像素)以制作良好的图像。分级的5000nit图像的像素通常以非线性方式从相机捕获的原始图像导出,其中例如颜色分级者将考虑作为典型观看情况的这些方面,其将与站在实际拍摄位置(即炎热的沙漠)时不同。选择为该场景ImSCN1制作的最佳(最高PL_V)图像(即在该示例中,5000nit图像)是主HDR分级。这是要创建和传送的最低要求的HDR数据,但不是在所有编解码器中传送的唯一数据,也不是在一些编解码器中甚至是完全传送的图像。
具有可用的这样的可编码高明度范围DR_1(例如在0.001nit和5000nit之间)将允许内容制作者向观看者提供明亮的外部拍摄的更好体验,但也提供更暗的夜间场景(当在整个电影中被良好分级时),当然,只要观看者也将具有对应的高端PL_D=5000nit显示器。良好的HDR电影不仅在一幅图像中平衡各种图像对象的明度,而且在电影的故事中或在一般创建的视频材料(例如,精心设计的HDR足球程序)中随时间平衡各种图像对象的明度。
在图1的最左边的竖直轴上示出了一些(平均)对象明度,如想要在5000nit PL_V主HDR分级中看到它们的那样,理想地旨在用于5000nit PL_D显示器。例如,在电影中,可能想要显示具有大约500nit的像素明度(即,通常比在LDR中亮10倍,尽管另一个创建者可能期望稍微更少的HDR冲击性,例如300nit)的明亮的阳光照射牛仔,根据创建者,这将构成显示该西部图像的最佳方式,向终端消费者给出最佳可能的外观。
通过考虑在同一图像中具有相当暗的区域(诸如洞穴图像ImSCN3的阴影角)但也具有非常亮的像素的相对大的区域(如通过洞穴入口看到的阳光照射的外部世界)的图像,更容易理解对更高动态范围的明度的需要。这创建了与例如其中ImSCN2的夜间图像(仅路灯包含高明度像素区域)不同的视觉体验。
现在,问题是,人们需要能够定义最优地对应于主HDR图像的PL_V_SDR=100nitSDR图像,因为目前仍有许多消费者具有LDR显示器,并且即使在将来也将存在做出电影的两个分级而不是原型的唯一HDR图像本身编码的良好原因。这是与关于编码本身的技术选择分开的技术需求,这例如被证明的是,如果知道如何(可逆地)从另一个创建主HDR图像和该次要图像中的一个,则可以选择编码和传送该对中的任一个(以一个的价格有效地传送两幅图像,即,每个视频时刻仅传送一幅图像像素颜色分量平面)。在这样的减小的动态范围图像中,当然可以不定义像真正明亮的太阳那样的5000nit像素明度对象。最小像素明度或最深的黑色也可以高达0.1nit,而不是更优选的0.001nit。
因此,以某种方式应当能够使该对应的SDR图像具有减小的明度动态范围DR_2。
这可以通过接收侧显示器中的一些自动算法来完成,例如,可以使用固定明度映射函数,或可以由像PL_V_HDR值的简单元数据以及潜在的一个或多个其他明度值来调节。
然而,通常可以使用更复杂的明度映射算法,但是对于本申请,我们假设不失一般性地通过一些全局照度映射函数(例如,每幅图像一个函数)来定义映射,其针对至少一幅图像定义第一图像中的所有可能出现的明度(即,例如0.0001-5000)如何被映射到第二输出图像的对应明度(例如,对于SDR输出图像为0.1到100nit)。可以通过将沿着两个轴的明度除以其相应的最大值来获得归一化函数。在此背景下,全局意味着相同的函数用于图像的所有像素,而不管其他条件,例如其在图像中的位置(更通用的算法使用例如用于可根据一些标准分类的像素的若干函数)。
理想地,所有明度应当如何沿着二次图像(SDR图像)的可用范围重新分布应当由视频创建者确定,因为他最好地知道如何针对减小的动态范围进行子优化,使得在给定限制的情况下,SDR图像仍然看起来至少像预期的主HDR图像一样可行地好。读者可以理解,实际定义(定位)这样的对象明度对应于定义照度映射函数的形状,其细节超出了本申请。
理想地,函数的形状也应当根据不同的场景而改变(即在电影中稍后的洞穴场景与晴朗西部场景)或者一般地根据时间图像而改变。这被称为动态元数据(F_L(t),t指示图像时刻)。
现在理想地,内容创建者将针对每种情况(即,每个潜在服务的终端用户显示器,例如,具有PL_V_MDR=800nit的显示器,其需要对应的PL_V_MDR=800nit图像)做出最佳图像,但是这对于内容创建者而言通常是太多的努力,即使在最昂贵的离线视频创建者中也是如此。
然而,申请人先前已经展示,(仅)进行场景的两个不同的动态范围参考分级就足够了(通常在极端的端,例如5000nit是最高必要的PL_V,并且100nit通常足以作为最低需要的PL_V),因为然后可以经由一些(通常固定的,例如标准化的)显示适配算法(例如应用于接收两个分级的信息的终端用户显示器中)自动地从这两个参考分级(HDR和SDR)导出所有其他分级。通常,计算可以在任何视频接收器中进行,例如机顶盒、TV、计算机、电影设备等。用于HDR图像的通信信道也可以是任何通信技术,例如地面或有线广播、诸如蓝光盘的物理介质、互联网、到便携式设备的通信信道、专业站点间视频通信等。
该显示适配通常还可以将明度映射函数应用于例如主HDR图像的像素明度。但是显示适配算法需要确定与F_L_5000至100(其是连接两个参考分级的明度的参考明度映射函数)不同的明度映射函数,即显示适配明度映射函数FL_DA,其不一定与两个参考分级F_L之间的原始映射函数微不足道地相关(可以存在显示适配算法的若干变体)。在5000nitPL_V动态范围和800nit中等动态范围上定义的主明度之间的明度映射函数在本文中将被写为F_L_5000至800。
我们已经通过箭头象征性地示出了显示适配(仅针对平均对象像素明度之一),该箭头不映射到将“朴素地”期望F_L_5000至100函数穿过800nit MDR图像明度范围的地方,但是例如稍微更高(即,在这样的图像中,牛仔必须稍微更亮,至少根据所选择的显示适配算法)。因此,一些更复杂的显示适配算法可以将牛仔放置在所指示的更高位置处,但是一些客户可能对更简单的位置感到满意,其中500nit HDR牛仔与18nit SDR牛仔之间的连接穿过800nit PL_V明度范围。
通常,显示适配算法基于原始照度映射函数(或参考明度映射函数,也称为参考重分级函数)的形状来计算经显示适配的明度映射函数FL_DA的形状。
该基于图1的阐明构成了任何HDR视频编码和/或处理系统的技术需求,在图2中,我们图示了根据本申请人的编解码器方法的用于实现需求(非限制性)的一些示例性技术系统及其部件。本领域技术人员应当理解,这些部件可以体现在各种设备等中。本领域技术人员应当理解,该示例仅作为用于各种HDR编解码器框架的部分介绍,以具有对一些操作原理的背景理解,并且不旨在特别限制下面介绍的创新贡献的任何实施例。
尽管是可能的,但是每个时刻的两个实际不同图像的技术通信(HDR和SDR分级均作为其相应的三个颜色平面进行通信)尤其在所需的数据量方面是昂贵的。
这也不是必需的,因为如果知道可以基于主图像中的明度和函数F_L来计算所有对应的次图像像素明度,则可以决定每个时刻仅传送主图像和函数F_L作为元数据(并且可以选择传送主HDR或SDR图像作为两者的代表)。由于接收器知道其(通常固定的)显示适配算法,因此它可以基于该数据在其末尾确定FL_DA函数(可能存在控制或引导显示适配的传送的另外的元数据,但是当前没有部署)。
可以存在每个时刻传送唯一图像的两种模式和函数F_L。
在第一向后兼容模式中,传送SDR图像(“SDR通信模式”)。该SDR图像可以直接(不需要进一步的明度映射)显示在传统SDR显示器上,但是HDR显示器需要应用F_L或FL_DA函数以从SDR图像获得HDR图像(或其逆,或其相反,取决于函数的哪个变体被传送,向上分级变体还是向下分级变体)。感兴趣的读者可以找到在以下中标准化的本申请人的示例性第一模式方法的所有细节:
ETSI TS 103 433-1 V1.2.1(2017-08):High-Performance Single Layer HighDynamic Range System for use in Consumer Electronics devices;Part 1:DirectlyStandard Dynamic Range(SDR)Compatible HDR System(SL-HDR1).
另一模式传送主HDR图像本身(“HDR通信模式”),即例如5000nit图像,以及允许从其计算100nit SDR图像(或任何其他更低动态范围图像,经由显示适配)的函数F_L。主HDR传送图像本身可以例如通过使用PQ EOTF来编码。
图2还示出了整个视频通信系统。在传输侧,它以图像源201开始。取决于是否具有离线创建的视频(例如,来自互联网递送公司)或现实生活广播,这可以是从硬盘到来自例如电视演播室等的电缆输出的任何内容。
这产生了主HDR视频(主HDR),例如由人类颜色分级者进行颜色分级,或相机捕获的阴影版本,或借助于自动明度重新分布算法等。
除了对主HDR图像进行分级之外,还定义了一组通常可逆的颜色变换函数F_ct。在不旨在失去一般化的情况下,我们假设这包括至少一个照度映射函数(然而,可以存在另外的函数和数据,例如,指定像素的饱和度应当如何从HDR改变到SDR分级)。
如上所述,该明度映射函数定义HDR与SDR参考分级之间的映射(图2中的SDR参考分级是要传送到接收器的SDR图像Im_SDR;经由例如MPEG或其他视频压缩算法或不经由MPEG或其他视频压缩算法进行数据压缩)。
不应将颜色变换器220的任何颜色映射与应用于原始相机馈送以获得主HDR视频的任何事物混淆,主HDR视频在这里已经被假设为输入,因为该颜色变换用于获得要传送的图像,并且同时获得重新分级需求,如在照度映射函数中技术上公式化的。
对于示例性SDR通信类型(即SDR通信模式),主HDR图像被输入到颜色变换器202,颜色变换器202被配置为将F_L明度映射应用于主HDR图像(MAST_HDR)的明度,以获得写入输出图像Im_SDR中的所有对应明度。为了阐明,我们假设人类颜色分级者通过使用颜色分级软件来调整电影的类似场景的图像的每次拍摄的该函数的形状。所应用的函数F_ct(即,至少F_L)被写入(动态,处理)元数据中以与图像共同通信,在示例MPEG补充增强信息数据SEI(F_ct)中,或在其他标准化或非标准化通信方法中的类似元数据机制中。
在将要传送的HDR图像正确地重新定义为对应的SDR图像Im_SDR之后,这些图像通常(至少例如用于向终端用户广播)使用现有的视频压缩技术(例如MPEG HEVC或VVC或AVI等)来压缩。这在视频压缩器203中执行,视频压缩器203形成视频编码器221的一部分(视频编码器221又可以包括在各种形式的视频创建装置或系统中)。
压缩图像Im_COD通过一些图像通信介质205(例如,卫星或电缆或互联网传输,例如根据ATSC 3.0或DVB等;但是HDR视频信号也可以例如通过两个视频处理装置之间的电缆传送)被传送到至少一个接收器。
典型地,在传送之前,传输格式化器204可以进行一些进一步的变换,传输格式化器204可以根据系统应用诸如例如分组化、调制、传输协议控制等技术。这将典型地应用集成电路。
在任何接收站点处,对应的视频信号去格式化器206应用必要的去格式化方法来重新获得压缩视频作为例如压缩HEVC图像(即HEVC图像数据)的集合,例如解调等。
视频解压缩器207进行例如HEVC解压缩,以获得像素化的未压缩图像Im_USDR的流,其在本示例中是SDR图像,但是在另一模式中将是HDR图像。视频解压缩器还将从例如SEI消息中解包必要的照度映射函数,或通常颜色变换函数F_ct。图像和函数被输入到(解码器)颜色变换器208,颜色变换器208被布置为将SDR图像变换为(即,高于100nit的PL_V并且通常至少高几倍(例如5x)的)任何非SDR动态范围的图像。
例如,通过应用在编码侧使用的颜色变换F_ct的逆颜色变换F_ct,可以将5000nit重建的HDR图像Im_RHDR重建为主HDR图像(MAST_HDR)的密切近似,以从MAST_HDR产生Im_LDR。然后可以将该图像发送到例如显示器210以进行进一步的显示适配,但是在解码期间,通过在颜色变换器中使用FL_DA函数(在离线循环中确定,例如在固件中)而不是F_L函数,也可以一次性发生显示适配图像Im_DA_MDR的制作。因此,颜色变换器还可以包括显示适配单元209,以导出FL_DA函数。
如果视频解码器220被包括在例如机顶盒或计算机等中,则可以将优化的例如800nit显示适配图像Im_DA_MDR发送到例如显示器210,或如果解码器驻留在例如移动电话中,则可以将其发送到显示面板,或如果解码器驻留在例如某个互联网连接的服务器中,则可以将其传送到电影院投影仪等。
图3示出了HDR解码器(或编码器,其通常可以在很大程度上具有相同的拓扑,但是使用反函数,但是通常不包括显示适配)的颜色变换器300的内部处理的有用变型,即对应于图2的208。
像素(在该示例中,SDR图像像素)的明度作为对应的明度Y'SDR被输入。色度(也称为色度分量Cb和Cr)被输入到颜色变换器300的下处理路径。
通过照度映射电路310将明度Y'SDR映射到所需的输出照度L'_HDR——例如主HDR重建明度或一些其他HDR图像明度。它应用如从显示适配函数计算器350获得的合适函数,例如,用于特定图像的显示适配照度映射函数FL_DA(t)和最大显示明度PL_D,显示适配函数计算器350使用元数据共同传送的参考照度映射函数F_L(t)作为输入。显示适配函数计算器350还可以确定用于处理色度的合适函数。目前,我们将仅假设每个可能的输入图像像素明度Y的一组乘法因子mC[Y]存储在例如颜色LUT 301中。彩色处理的确切性质可以变化。例如,可能想要通过首先通过输入明度(颜色LUT中的对应双曲线)归一化色度并且然后校正输出明度来保持像素饱和度恒定,但是也可以使用任何差分饱和度处理。通常色调将被保持,因为两个色度乘以相同的乘数。当用当前正被颜色变换(明度映射)的像素Y的明度值索引颜色LUT 301时,所需的乘法因子mC作为LUT输出。乘法器302使用该乘法因子mC将其乘以当前像素的两个色度值,即,以产生颜色变换的输出色度:
Cbo=mC*Cb,
Cro=mC*Cr
经由固定的颜色矩阵化处理器303,应用标准比色计算,色度可以转换为无明度的归一化非线性R’G’B’坐标R’/L’、G’/L’和B’/L’。
通过乘法器311获得给出输出图像的适当明度的R’G’B’坐标,乘法器311计算:
R’_HDR=(R’/L’)*L’_HDR,
G’_HDR=(G’/L’)*L’_HDR,
B’_HDR=(B’/L’)*L’_HDR,其可以在颜色三元组R’G’B’_HDR中概括。
最后,可以通过显示映射电路320进一步映射到显示器所需的格式。这产生了显示器驱动颜色D_C,其不仅可以以显示器所需的比色法(例如甚至HLG OEFT格式)来制定,而且可以以该显示器映射电路320来制定。在一些变型中,可以被布置为对显示器进行一些特定的颜色处理,即,它可以例如进一步重新映射一些像素明度。
在WO2016/091406或ETSI TS103 433-2V1.1.1(2018-01)中教导了阐明一些合适的显示适配算法以针对创建侧分级者可能已经确定的任何可能的F_L函数导出对应的FL_DA函数的一些示例。
然而,这些算法不太关心最终用户显示器上的最小可显示黑色。
实际上,可以说他们假装最小明度BL_D足够小,以至于可以说它是零。因此,显示适配主要关注各种显示器的最大明度PL_D与视频PL_V的最大明度相比的差异。
如在现有申请WO2016/091406的第18附图中可以看到的,任何输入函数(在阐明示例中,由两个线性段形成的简单函数)基于沿着135度角定位的量规(metric)朝向对角线缩放,该135度角从通常归一化为1.0输入和输出明度的曲线图中的输入明度的水平轴开始。应当理解,这仅仅是整个类别的显示适配算法的显示适配的示例,其没有以旨在限制我们的新颖显示适配概念的适用性的方式提及,例如,特别地,量规方向的角度可以具有其他值。
但是,该量规及其对重新整形的F_L函数(即,所确定的FL_DA函数)的作用仅取决于要用最佳重新分级的中等动态范围图像服务的显示器的最大明度PL_V和PL_D。例如,5000nit位置将对应于位于对角线上的零量规点(对于沿着对应于输入图像中的可能像素明度的对角线放置的任何位置),并且100nit位置(标记为PBE)将是原始F_L函数的点。
作为该方法的有用变体的显示适配在图4中通过示出其在可能的归一化输入亮度Ln_in对归一化输出明度Ln_out的曲线图上的动作来总结(这些将通过乘以与归一化明度相关联的显示器的最大明度(即PL_V值)而被转换为实际照度)。
例如视频创建者已经设计了两个参考分级之间的照度映射策略,如关于图1所解释的。因此,对于输入图像(例如主HDR图像)中的像素的任何可能的归一化照度Ln_in,该归一化输入亮度必须被映射到作为输出图像的第二参考分级的归一化输出照度Ln_out。所有照度的这种重新分级对应于某个函数F_L,其可以具有由人类分级者或分级自动机确定的许多不同的形状,并且该函数的形状作为动态元数据被共同传送。
问题是现在在该简单的显示适配协议中,F_L函数的导出的次级版本应当具有什么形状来映射到MDR图像(而不是映射到参考SDR图像)(假设映射再次从作为输入图像的HDR参考分级图像开始)。例如,在量规上,可以计算例如800nit显示器应当具有50%的分级效果,完全100%是主HDR图像到100nit PL_V SDR图像的重新分级。通常,对于像素的任何可能的归一化输入亮度(Ln_in_pix),可以经由量规来确定没有重新分级和完全重新分级到第二参考图像之间的任何点,其被表示为显示适配明度L_P_n,其位置当然取决于输入归一化明度,而且还取决于与输出图像相关联的最大明度的值(PL_V_out)。本领域技术人员理解,尽管可以用归一化明度表示来表示函数,但是可以用根据任何OETF定义的任何归一化明度表示来等效地表示它。
我们可以如下确定对应的经显示器调整的明度映射FL_DA(参见图4a)。取所有输入明度中的任何一个,例如Ln_in_pix。这对应于对角线上与归一化明度的输入和输出轴具有相等角度的起始位置(如正方形所示)。将量规的缩放版本(缩放量规Sm)放置在对角线上的每个点处,使得其与对角线正交(或逆时针与输入轴成135度),在对角线处开始,并且以其100%水平在F_L曲线上的点处结束,即在F_L曲线与正交缩放量规SM的交叉点处(由五边形示出)。在量规的50%水平(在该示例中,对于必须为其计算图像的显示器的PL_D值)处放置一个点,即中间[注意,在这种情况下,输出图像的PL_V值将被设置为等于需要被提供显示优化图像的显示器的PL_D值]。通过对对角线上的所有点(对应于所有Ln_in值)进行此,获得FL_DA曲线,并且其与原始曲线类似地成形,即进行相同的重新分级,但是最大明度重新缩放/调整。给定Ln_in的任何输入HDR明度值,该函数现在准备好应用于计算所需的对应的最佳重新分级/显示适配的800nit PL_V像素明度。该函数FL_DA将由明度映射电路310应用。
通常,该显示适配的性质如下(并且不旨在具体地更受限制)。可以根据技术上的需要预先固定量规的取向。图4b示出了另一缩放量规,即竖直定向的缩放量规SMV(即,与归一化输入亮度Ln_in的轴正交)。再次,0%和100%(或1.0)对应于没有重新分级(即,对输入图像明度的恒等变换),分别重新分级到两幅参考分级图像中的第二参考分级图像(在该示例中,通过不同形状的照度映射函数2相关)。
量规上的测量点的位置(即10%、20%等值所在的位置)也可以在技术上变化,但通常是非线性的。
它将在技术中预先设计,例如电视显示器。例如可以使用WO2015007505中描述的函数。还可以设计对数函数,使得对于PL_V_HDR值(例如5000nit),某个a*(log(PL_V)+b)等于1.0,并且0.0点对应于100nit PL_V_SDR参考水平,或反之亦然。然后,需要计算图像明度的任何PL_V_MDR的位置都遵循量规的设计数学。
关于图5总结了这种量规的动作。
例如电视或机顶盒等中的显示适配电路510可以包含配置处理器511。在图像的运行像素颜色开始被处理之前,它设置用于图像处理的值。例如,显示优化的输出图像PL_V_out的最大明度值可以通过从连接的显示器轮询它来在机顶盒中设置一次(即,显示器将其最大可显示明度PL_D传送到机顶盒),或当电路驻留在电视机中时,这可以由制造商配置,等等。
在一些实施例中,照度映射函数F_L可以根据传入图像而变化(在其他变型中,它可以对于多幅图像是固定的),并且是从元数据信息源512输入的(例如,这可以作为SEI消息广播,从像蓝光盘的存储器的扇区读取等)。该数据建立了归一化量规(Sm1、Sm2等)的归一化高度,在该归一化高度上可以从量规的数学公式中找到PL_D值的期望位置。
当输入图像513被输入时,连续的像素明度(例如,Ln_in_pix_33和Ln_in_pix_34或明度)穿过应用显示适配的颜色处理流水线,并且产生对应的输出明度,诸如Ln_out_pix_33。
注意,在该方法中没有任何特别满足最小黑色明度的内容。
这是因为正常方法如下。黑水平非常依赖于实际观看情况,其可以比显示特性(即,最前的PL_D)更可变。可以发生各种效果,范围从物理照明方面到人眼中的光敏分子的最佳配置。
因此,我们制作了“用于显示器”的良好图像,并且这是所有的(即,预期的HDR显示器在明度方面比典型的SDR显示器更有能力多少)。然后,在需要的情况下,可以稍后对观看情况进行后校正,这将是留给显示器的(未定义的)特设任务。
因此,通常假设显示器可以显示图像中编码的所有必要的像素明度(目前我们假设其已经是针对PL_D值优化的MDR图像,即图像中的至少一些像素区域通常达到PL_D),直到其可变的高明度能力,即PL_D。这是因为通常不想遭受白色裁剪的苛刻结果,但是如所述的,图像的黑色通常不那么有趣。
无论如何,黑色可以是“大部分”可见的,因此如果其中的一些不太好可见,则这不是最重要的。至少一个可以最佳地将主HDR分级的潜在相当亮的像素明度挤压到显示器的有限上范围中,例如高于200nit,比如说从200到PL_D=600nit(对于高达例如5000nit的主HDR明度)。
对于所有图像和所有显示器(至少近似地),这类似于假设黑色总是零nit。与丢失一些黑色相比,白色的裁剪可能是视觉上更令人烦恼的性质,其中通常仍然可以看到一些东西,因为它不太舒适。
然而,有时该方法是不够的,因为在观看室(例如,在白天期间具有大窗口的消费者电视观看者的起居室)中的显著周围光下,最暗明度的相当显著的子范围可能变得不可见,或至少不充分可见。这将与创建视频的视频编辑室中的周围光情况不同,周围光情况可能是昏暗的,或甚至是黑暗的。
因此,可能需要例如通常利用显示器上的控制按钮(所谓的明度按钮)来提高那些像素的明度。
如果我们采用如Rec.ITU-R BT.814-4(07/2018)中的电视电子行为模型,则HDR场景中的电视获得明度+色度像素颜色(实际上驱动显示器),并将这些(根据标准色度计算)转换为非线性R’,G’,B’非线性驱动值以驱动其面板。然后,显示器将利用PQ EOTF处理这些R’,G’,B’非线性驱动值,以知道要显示哪些前屏幕像素明度(即,如何驱动例如OLED面板像素或LCD像素,其中通常仍然存在考虑LCD材料的电光物理行为的内部处理,但是该方面与本讨论无关)。
然后,例如在显示器前面的控制旋钮可以给出明度偏移值b(对于PLUGE或其他测试图案中高于最小黑色块2%变得可见而-2%黑色不可见的时刻)。
如果原始的未校正的显示行为是:
LR_D=EOTF[max(0,R’)]=PQ[max(0,R’)]
LG_D=EOTF[max(0,G’)]=PQ[max(0,G’)]
LB_D=EOTF[max(0,B’)]=PQ[max(0,B’)][公式1]
在该公式中,LR_D是要显示的红色贡献的(线性)量,以创建具有特定明度(以(部分)nit为单位)的特定像素颜色,并且R'是非线性明度代码值,例如10比特编码中的1023个值中的419个。
对于蓝色和绿色分量也会发生相同的情况。如果例如需要制作1nit的特定颜色(该颜色对眼睛的总明度),则需要例如0.33单位的蓝色,并且对于红色和绿色也是如此。如果需要制造100nit的相同颜色,则可以说LR_D=100*0.33nit。
如果现在经由明度偏移旋钮控制该显示器驱动模型,则一般公式变为:
LR_D_c=EOTF[max(0,a*R’+b)],witha=1-b/OETF[PL_D][公式2]
代替在隐藏在不可见显示器黑色中的某处显示图像的零黑色,利用这种方法将其提升到黑色恰好变得充分可辨别的水平(注意,对于消费者显示器,可以使用除了PLUGE之外的其他机制,例如观看者偏好,潜在地导致另一个可能次优但观看者偏好和可用的明度偏移b值)。
这是在创建最佳重新分级图像之后的显示器的后处理步骤。即首先,由解码器计算最佳理论上重新分级的图像,例如首先映射到重建的主HDR图像,并且然后明度重新映射到例如550nit PL_VMDR图像,即考虑显示器的明度能力PL_D。
并且在根据电影创建者的理想视觉确定了该最佳图像之后,通过考虑图像中黑色的预期可见性的显示器进一步映射该最佳图像。
US2017025603教导了一种通过分析输入图像的明度直方图来实现最佳明度映射的方法,所述最佳明度映射可以取决于周围光的量。可以使用最小、最大和平均明度来进行对应的三部分曲线映射,并且因此合适的色调映射将优化明度,即,可以为很暗的场景选择针对最暗图像明度将明度增强得更强的函数,并且可以为明亮场景选择不太陡峭的函数。用户可以通过使用这两个函数中间的某处的函数进行微调。
US2019304379教导了如何可以通过使用预定的周围明度校正明度映射函数来预先计算虚拟图像,所述虚拟图像基本上是例如5000nit主HDR图像,但是主要具有变亮的更暗图像对象以便补偿比主HDR图像被分级的5nit更亮的观看环境。此后,可以使用标准显示适配算法,通常是由但不是原始主HDR图像而是预校正的虚拟图像的最小、平均和最大明度确定的S形映射。还存在如何通过使用PQ空间中的人类视觉对比度性质来确定变亮(虚拟)图像的特定教导。
US20170186141一般地教导了从HDR图像的明度到SDR图像的明度的映射使用色调映射函数(通常是分段线性的),并且这可以由电视或移动电话的用户确定。
根据发明人,问题在于这是观看要显示的图像的房间周围光水平适配的相当粗糙的方式。开发了一种替代方式,特别是其中观看者将至少在图像的重要的一些部分中看到更对比度的图像的替代方式。通常,现有技术也不能满足视频或图像创建者的高重分级需求。
发明内容
一种用于各种周围照明水平的视觉上看起来更好的图像可以通过一种处理输入图像以获得输出图像的方法来获得,所述方法包括:
其中,所述输入图像具有像素,所述像素具有落在第一明度动态范围(DR_1)内的输入明度,所述第一明度动态范围具有第一最大明度(PL_V_HDR),
其中,参考明度映射函数(F_L)被接收为与所述输入图像相关联的元数据,
其中,所述参考明度映射函数指定两幅图像中的共同定位的像素的明度之间的关系,其中,所述两幅图像被不同地分级,其在于同一图像对象的像素明度在所述两幅图像中具有不同的像素明度,
其中,所述参考明度映射函数指定所述输入图像的明度与具有第二参考最大明度(PL_V_SDR)的辅助参考图像的明度之间的关系,
其中,所述输出图像具有与所述第一最大明度不同并且与所述第二参考最大明度(PL_V_SDR)不同的输出最大明度(PL_V_MDR);
其中,所述处理包括基于所述参考明度映射函数(F_L)和经调整的最大明度值(PL_V_CO)来确定适配明度映射函数(FL_DA),其中,所述经调整的最大明度值(PL_V_CO)不同于所述输出最大明度(PL_V_MDR),并且将所述适配明度映射函数(FL_DA)应用于所述输入像素明度,以获得所述输出图像的输出明度,
其中,所述适配明度映射函数(FL_DA)的计算涉及在指定最大明度(SM)的位置的量规上找到位置(pos),所述位置对应于所述经调整的最大明度值(PL_V_CO),
其中,所述量规的第一端点对应于所述第一最大明度(PL_V_HDR),并且所述量规的第二端点对应于所述第二参考最大明度(PL_V_SDR),
其中,对于任何归一化输入亮度(Yn_CC0),所述量规的所述第一端点共同定位在对角线上的点上,所述点的水平坐标和竖直坐标等于所述归一化输入亮度,
其中,所述第二端点位于由所述量规的取向确定的所述参考明度映射函数(F_L)的轨迹上;
其特征在于,所述经调整的最大明度值(PL_V_CO)通过以下操作来确定:
获得用户校正值(UCBVal);
将所述经调整的最大明度值(PL_V_CO)确定为从所述输出最大明度(PL_V_MDR)减去用户校正值(UCBVal)的结果;
将所述输出明度作为像素颜色写入所述输出图像中并且输出所述输出图像。
参考明度映射函数通常是视频的内容创建者在制作例如通常更低的最大(可能)明度的图像在视觉上对应于主HDR图像时如何指示它应当被重新分级(对于视频,最大明度通常将是上限,创建者可以使用该上限来使与一些图像中的超亮对象对应的一些像素最大明亮,如根据他选择的技术HDR编码变体)。即,针对任何HDR场景的每幅图像(例如,电影开始时的夜间图像与稍后的白天图像)的重新分级需要由映射两个具体分级的参考图像之间的明度的函数(例如,由内容创建者或自动机的颜色分级者)指定。通常,那些参考图像中的第一幅将是输入图像本身(例如,具有最大明度(例如5000nit)的主HDR图像,或SDR图像)。第二参考图像也可以称为辅助参考图像。该函数通常可以在明度域中定义(根据所选择的OETF函数风格),并且颜色处理也可以在明度域中发生(但是即使当叠加在明度重新分级函数的这种明度域图上时,量规通常将指示最大明度而不是明度的位置)。明度通常将被归一化。第二参考图像通常可以非限制性地是SDR,即100nit最大明度图像,通常从主HDR图像重新分级(或反之亦然,SDR图像可以是用于对对应的HDR图像重新分级的起始图像,但是该方面不改变对比度改善处理)。
发明人想要有一种这样的方法,当提出他的方法时,该方法考虑到由函数F_L的形状指定的重新明度或明度分级需求的这种引导。他希望一种在这样的技术条件下以简单且实用的方式工作的用户控制,特别是当在具有高照明水平的环境中观看时有效地改善图像的对比度,所述高照明水平通常远高于理想地将观看图像的光水平。他想要一种容易的方式来干预重新分级曲线(即F_L),这对于视频创建者可以共同传送的任何可能的曲线(其可以是简单的凹函数,其相对提升更暗的像素明度以用于重新分级到更低的输出图像最大明度,同时朝向最亮的明度逐渐缩小,但是也可以是复杂得多的曲线,其中例如总范围的中间附近的明度的一些重要子范围的对比度被曲线F_L保持拉伸,这然后可以获得例如双阶梯外观)将很好地工作。
因此,可以如发明人所发明的那样使用显示器适配方法,其现在将被不同地调谐(形状适配),即,朝向对角线的挤压以不同的控制变量(即经调谐的最大明度值(PL_V_CO))发生。
可以定义各种量规,但是它们通常总是将其第一端点(对应于主HDR分级/图像的最大明度的位置)定位在对角线上,即归一化明度曲线图中的在0和1之间的线,该线与输入明度轴和输出明度轴都具有45度的角度。具体地,对于每个可能的输入明度Y_in,对于任何Y_in(以及竖直坐标的值),该点将具有在对角线上的位置,其中,水平坐标等于Y_in。量规的端点的位置(即,在典型示例中,其定位PL_V_SDR的值)将位于F_L函数的形状的轨迹上的某处,该位置取决于选择哪个角度来进行显示适配算法(例如,对于竖直角度,量规端点将是h=Y_in;v=F_L(Y_in))。
在这样的直接用户控制的装置中,不需要测量周围光水平指示值,即可以被量化为明度的周围照明值(Lx_sur),但是可以可选地存在这样的照明测量以进一步引导用户,例如通过建议具体用于当前观看环境的良好工作值或初始值,即用于白天或夜间观看电视的例如起居室中的光量。
参考照明值(GenVwLx)是典型值,例如预期值或良好工作的值。理想地,其被与所接收的(一幅或多幅)图像相对应地确定,例如,它可以作为(一幅或多幅)图像的元数据被共同传送,指示图像是针对这样的环境照明制作的或在这样的环境照明下被最佳地观看。它可以是用于例如观看主HDR图像(例如,视图MET)的值,或例如通过还考虑用于SDR分级的值并且应用公式以获得最终典型值而从其导出的值。该公式可以在接收侧计算,或者其结果可以由视频或图像创建者计算并作为元数据共同传送。例如如果没有接收到当前(一组)图像的元数据等,则可以在存储器中覆写GenVwLx值,该存储器可以包含固定的制造商值或通常传送的值(例如,来自先前的程序)。
如果输入明度(L_in)作为输入存在,则可以通过将光电传递函数(OETF_psy)应用于输入图像的输入明度(L_in)来计算任何明度。在一些方法或装置中,输入图像像素颜色可以具有明度分量。
所使用的光电传递函数(OETF_psy)优选地是心理视觉上均匀的光电传递函数。该函数通过将明度到照度(luminance)映射函数形状(通常在实验室中实验地)而被确定为使得比在所述明度(luma)范围上的任何地方选择的第一明度高固定整数N明度的第二明度大致对应于与对人类观察者的第一明度的感知明度(brightness)相比的感知明度的类似差异来定义。
即,人类视觉是非线性的,因此它不会经历与例如2000nit和(1.05)*2000nit之间的差异相同的10nit和(1.05)*10nit之间的差异,并且该均匀感知曲线还取决于人类正在观看的内容,即特别是正在观看的显示器的动态范围(在特定环境中),即,其最大PL_D和最小明度。
因此,理想地,针对处理,定义具有以下性质的OETF(或其逆EOTF):
如果采用任何第一明度,例如在10比特中luma_1=10。并且然后向更高处移动例如n=5明度代码,得到第二明度luma_2=15。这对应于明度感知的变化(即,表征人类观看者体验到的作为具有某个物理显示的明度的所显示的贴片的明度的值;其可以通过应用EOTF来确定)。
因此,假设在1-200的明度范围内,明度10给出了5的明度印象,并且明度15给出7的印象,即增亮了2个单位的明度。
然后,可以采用对更亮的明度进行编码的两个明度,例如800和800+5。然后,如果观看者由于明度差值异而经历相同的明度差值异,则明度标度在视觉上近似均匀。例如,明度800可以给出160的明度感知,并且明度805将看起来像明度162,即再次2个单位的明度差异。该函数不一定确切地是明度确定函数,因为在感知上合理地均匀化的明度定义将已经很好地工作。
如果在这种心理视觉均匀系统中进行,则由于明度处理引起的任何变化的影响在视觉上不太令人反感(因为大脑可能更容易抵消)。
与对SDR图像的参考重分级相比,显示适配通常将减小更暗对象明度的斜率,但现在目的是将斜率保持为所需的值,以给出视觉上良好可观看的图像。
即,可以使用如关于图4和5阐明的进行特定整形的F_L函数的更小的变型例(对应于用于当前特定HDR图像或场景以获得对应的更低最大明度二次分级的特定所需的明度重新映射,也称为重新分级需要)的任何可能的实施例或类似技术。照度映射函数通常被表示为明度映射函数,即通过经由适当的OETF(使用输入和输出图像的适当最大明度值的归一化)将两个归一化明度轴转换为明度轴。
具体地,在其上定义F_L函数的二级分级可以有利地是100nit分级,其将适合于服务大多数未来的显示情况(注意,在未来也将存在低动态范围质量显示场景)。
在实际的实施例中,可以存在缩放器和/或限幅器,或通常存在具有针对更高输入值的减小斜率的制动功能,使得经调整的最大明度值PF_V_CO不会变得太低,例如,如果它变得低于PF_V_SDR,则它可以被设置为等于PF_V_SDR,等等。
例如,这可以在用户值电路(903)中通过制造商预设强度值(EXCS)来完成,强度值(EXCS)确定装置在线性用户控制中对用户控制(例如,重复按下按钮或转动旋钮等)的灵敏度通常是令人满意的(但是可以同样使用更高级的非线性控制器)。
有利地,所述处理输入图像的方法使用由输入图像的创建者创建并且通过图像通信通道作为元数据被接收的明度映射函数作为参考明度映射函数(F_L)。
该系统还可以用在确定良好工作的重分级函数的它们自己的版本(即,例如基于对一些先前图像和/或当前图像(在延迟输出的情况下)的明度出现的分析启发式地确定F_L的良好形状)的装置上,但是当与创建者确定的重分级函数一起工作时,该系统特别有用。
算法中的量规在电子电路内部的计算中被表示为可以在输入对输出明度的曲线图中数学地呈现的量规。这样的曲线图中的参考明度映射函数(F_L)的轨迹是当使用归一化输入亮度作为参考明度映射函数(F_L)的输入时得到的归一化输出明度作为竖直坐标的位置。
可以为本方法选择各种显示适配算法,特别是通过预先定义算法必须使用的取向。量规的第一点(其对应于输入图像,并且当明度将输入图像映射到其自身时,明度的恒等变换)总是在对角线上。对于任何可能的归一化输入亮度(0至1.0),第二端点可以是F_L的轨迹上第一端点正上方的点。对于45度取向、或从输入明度的轴(水平轴)逆时针135度,该取向线将在某个水平偏移位置处与F_L轨迹相交,并且第二端点将位于那里。即,量规的第二端点正好落在函数轨迹上的位置由在对角线上的每个位置处开始的线段的取向确定。可以通过例如在接收函数F_L适用的要处理的一组图像的集合之前,将适配明度映射函数(FL_DA)计算为具有针对N个归一化输入亮度的N个输出条目的1D LUT来加速这些计算。
在这些实施例中,用户控制值UCB Val通常将被呈现为具有与最大明度值(即,以nit(其是用于SI单位Cd/m^2的印刷上更容易的用词)为单位)相同维度的量。
有利地,所述处理输入图像的方法具有被设置为等于要被提供所述输出图像的显示器的最大可显示像素明度的输出最大明度(PL_V_MDR)。因此,所有处理都将基于所连接的显示器(通常是观看者正在观看或打算观看视频(例如,广播的电视节目)的显示器)的该值以经调整的最大明度值(PL_V_CO)工作(但是可以存在其中使用另一值的系统,例如,与其通信的显示器想要稍微更高的PL_V_MDR并且仍然想要进行内部明度优化处理,但是本方法仍然类似地工作)。
所述处理输入图像的方法的简单但充分的实施例包括:
从显示器的用户获得输入值(UCBSliVal);
通过将所述输入值乘以强度值(EXCS)并乘以所述输出最大明度(PL_V_MDR)来计算所述用户控制值(UCBVal)。
这样的方法被正确地缩放并且使用起来直观(注意,影响仍然在心理视觉上均匀的领域中,因此用户具有视觉上准确的控制,并且它与重新分级需要相协调,即对创建者的艺术视觉的干扰最小化)。
有利地,所述处理输入图像的方法不仅通过修改特别是最暗像素的对比度来工作(不知道任何特定的黑色偏移处理),而且还进行将输入图像中的最暗黑色设置为作为周围照明值(Lx_sur)的函数的黑色偏移值的处理。例如,它以最小黑色明度开始图像。原则上,任何这样的方法可以被组合,但是下面教导了与对比度优化特别好地协作的一些特别有利的方法。
有利地,所述处理输入图像的方法具有所述量规的所述取向被预设为竖直,这意味着归一化输入亮度(Yn_CC0)的第二端点将在具有归一化输入亮度作为水平坐标并且具有以所述归一化输入亮度(F_L(Yn_CC0))作为输入应用所述参考明度映射函数的结果作为竖直坐标的位置处。
所述方法还可以被体现为一种用于处理输入图像以获得输出图像的装置(900),
其中,所述输入图像具有像素,所述像素具有落在第一明度动态范围(DR_1)内的输入明度,所述第一明度动态范围具有第一最大明度(PL_V_HDR),所述装置包括:
图像输入部(921),其被布置为获得所述输入图像(513);
数据输入(920),其用于接收参考明度映射函数(F_L),所述参考明度映射函数与所述输入图像相关联的元数据,
其中,所述参考明度映射函数指定第一参考图像的明度与第二参考图像的明度之间的关系,
其中,所述参考明度映射函数指定所述输入图像的明度与所述第二参考图像的明度之间的关系,
其中,所述第二参考图像具有第二参考最大明度,
其中,所述输出图像具有与所述第一最大明度和所述第二参考最大明度不同的输出最大明度(PUV_MDR);所述装置还包括:
用户值电路(903),其被布置为确定并输出由所述装置的人类用户设置的用户校正值(UCBVal);以及
最大明度确定单元(901),其被布置为:
从所述用户值电路(903)获得所述用户校正值(UCBVal);并且
将经调整的最大明度值输出为从所述输出最大明度(PL_V_MDR)减去用户校正值(UCBVal)的结果;所述装置还包括:
显示调整电路(510),其被布置为基于所述经调整的最大明度值(PL_V_CO)和所述参考明度映射函数(F_L)来确定适配明度映射函数(FL_DA),
其中,所述适配明度映射函数(FL_DA)的计算涉及在量规(SM)上找到与所述经调整的最大明度值(PL_V_CO)相对应的位置(pos),
其中,所述量规的第一端点对应于所述第一最大明度(PL_V_HDR),并且所述量规的第二端点对应于所述第二参考图像的最大明度,
其中,对于任何归一化输入亮度(Yn_CC0),所述量规的第一端点共同定位在对角线上的点上,所述点的水平坐标和竖直坐标等于所述归一化输入亮度,
其中,所述第二端点位于由所述量规的取向确定的所述参考明度映射函数(F_L)的轨迹上,
其中,所述显示适配单元被布置为将所述适配明度映射函数(FL_DA)应用于所述输入明度或对所述输入明度进行编码的输入亮度以获得输出明度或输出亮度,并且将这些输出明度或输出亮度输出为所述输出图像的像素颜色。
用于处理输入图像的该装置的另一有用实施例具有所述用户值电路(903),所述用户值电路(903)被布置为:
从显示器的用户获得输入值(UCBSliVal);
通过将所述输入值乘以强度值(EXCS)并乘以所述输出最大明度(PL_V_MDR)来计算用户控制值(UCBVal);
将所述用户控制值(UCBVal)输出到所述最大明度确定单元(901)。
用于处理输入图像的该装置的另一有用实施例包括黑色适配电路,所述黑色适配电路被布置为根据所述周围照明值(Lx_sur)来将所述输入图像中的最暗黑色亮度设置为黑色偏移亮度。
特别地,本领域技术人员理解,这些技术元件可以体现在各种处理元件(如ASIC(专用集成电路,即通常IC设计者将使IC(的一部分)执行该方法)、FPGA、处理器等)中,并且可以存在于各种消费者或非消费者装置中,无论是包括显示器还是可以外部连接到显示器的非显示装置,并且图像和元数据可以通过各种图像通信技术(诸如无线广播、基于电缆的通信)传入和传出,并且所述装置可以用于各种图像通信和/或使用生态系统(诸如例如电视广播、互联网上的点播等)。
附图说明
参考下文描述的实施方式和实施例,并且参考附图,根据本发明的方法和装置的这些和其他方面将是显而易见的并得到阐述,附图仅用作例示更一般概念的非限制性具体说明,并且其中虚线用于指示元件是任选的,非虚线部件不一定是必需的。虚线也能够用于指示被解释为必需的但隐藏在对象的内部的那些元件或用于无形的东西,诸如对对象/区域的选择。
在附图中:
图1示意性地图示了当最佳地将高动态范围图像映射到对应的最佳颜色分级的类似外观(与在给定第一动态范围DR_1和第二动态范围DR_2的差异的情况下期望的和可行的那样类似)更低动态范围图像(例如,100nit最大明度的标准动态范围图像)时发生的多种典型颜色变换,其在可逆性的情况下也将对应于如所接收的SDR图像(其实际编码HDR场景)到该场景的重建HDR图像的映射。明度被示出为竖直轴上从最暗的黑色到最大明度PL_V的位置。明度映射函数由箭头象征性地示出,该箭头将平均对象明度从其在第一动态范围上的明度映射到第二动态范围上的明度(本领域技术人员知道例如在归一化到1的轴上如何将其等效地绘制为经典函数,其通过除以相应的最大明度来归一化);
图2示意性地示出了对申请人最近开发的高动态范围图像(即能够具有通常至少600或更多(通常1000nit或更多)的明度的图像)进行编码的技术的高层级视图示例,其实际上可以传送HDR图像本身或作为对应的明度重新分级的SDR图像加上元数据编码颜色变换函数,该元数据编码颜色变换函数至少包括用于像素颜色的适当确定的明度映射函数(F_L),以由解码器使用以将接收到的(一幅或多幅)SDR图像转换为(一幅或多幅)HDR图像;
图3示出了作为(非限制性)优选实施例的图像解码器(特别是像素颜色处理引擎)的内部的细节;
由子图像图4a和图4b组成的图4示出了显示适配的两种可能的变型,以从参考照度映射函数F_L获得最终的显示适配明度映射函数FL_DA,该参考照度映射函数F_L编纂了两个参考图像之间的明度重分级需求,该最终的显示适配明度映射函数FL_DA用于针对特定显示能力(PL_D)计算输入图像的最佳显示适配版本;
图5更一般地总结了显示适配的原理,以更容易地将其理解为本实施例和权利要求的公式化中的部件;
图6示出了用于阐明关于环境照明补偿处理的技术要素的示例性装置;
图7解释了虚拟目标显示器的相关概念(特别是目标显示器的最小明度(mL_VD))和与实际显示器(如通常是执行明度重新映射的观看者的终端用户显示器)的关系或可相关性;
图8解释了可用于(例如,通常与像素颜色图像共同通信)未来证明专业HDR编码框架的元数据类别中的一些,使得任何接收器具有其可能需要或至少优雅地利用的所有可用数据,特别是用于针对特定最终观看情况(显示和环境)优化接收到的图像;
图9阐明了优化图像对比度的方式,特别是补偿各种观看环境光水平或情况,特别是当围绕现有的显示适配方法设计它时;
图10示出了在应用观看环境照明适配技术(关于图6进行解释)时发生的情况的具有特定参考映射函数F_L(为了容易理解,被选择为简单的线性曲线)的一些图像明度的实际示例;
图11示出了当应用关于图9解释的对比度改善技术时发生的情况的实际示例(没有观看环境照明,但是这两个处理也可以组合,这将导致最黑的黑色的附加偏移)。
具体实施方式
图6示出了一般性地阐明如何执行本创新的元件的装置,特别是颜色处理电路600。我们将一般性地描述它,并且然后给出实施例变型的一些细节。我们假设周围光适配颜色处理是在专用集成电路(ASIC)内部执行的,但是本领域技术人员将理解如何在其他材料装置中类似地实现颜色处理。一些方面将根据该ASIC是驻留在例如电视显示器(通常是终端用户显示器)中还是驻留在例如连接到显示器的机顶盒等另一装置中而变化,以对显示器进行处理并向其提供已经明度优化的图像。(本领域技术人员还可以将该装置构造图映射到相应方法的方法流程图)。
在经由图像像素数据输入690输入之后,要处理的输入图像(我们可以假设,在不希望失去一般性的情况下,将其作为主HDR图像MAST_HDR)的输入明度(L_in)首先被变换成对应的明度(例如,10比特编码明度),为此使用光电传递函数,该光电传递函数通常将由其制造商固定在装置中(但是它可以是可配置的)。
采用感知均匀的OETF(OETF_psy)是有用的。
我们将假设使用以下OETF(将其明度Yn_CC0定义为输出):
Yn_CC0=v(L_in;PL_V_in)=log[1+(RHO-1)*power(L_in;p)]/log[RHO],
其中,RHO是通过公式RHO(PL_V_in)=1+32*power((PL_V_in/10,000);p)而取决于输入最大明度PL_V_in的常数,
并且p是幂函数的幂,其优选地等于1/(2.4)[公式3]
输入最大明度将是与输入图像相关联的最大明度(其不一定是视频序列的每幅图像中的最亮像素的明度,而是将图像或视频表征为绝对上限值的元数据)。
它通常可以是可配置的,并且经由第一最大数据输入691输入,作为PL_V_HDR,例如2000nit。在其他变型中,它也可以是用于图像通信和/或处理系统的固定值,例如5000nit,并且因此是光电转换电路601的处理中的固定值(因此表示PL_V_HDR的数据输入的竖直箭头被示出为虚线,因为它不存在于所有实施例中;注意,空心圆表示该数据供应的分支,以免与不混合的重叠数据总线混淆)。
随后,在一些实施例中,可以存在由明度映射电路602进行的进一步的明度映射,以获得本方法或颜色处理装置将针对特定观看环境最佳地适配的起始明度Yn_CC。这种另外的明度映射通常可以是显示适配,以使图像预符合所连接的显示器的特定显示器最大明度PL_D。
更简单的实施例不存在该可选的明度映射,因此我们将首先解释颜色处理,假设2000nit环境优化的图像将是针对传入的2000nit主HDR图像(或固定的5000nit HDR图像情况)计算,即,其中最大明度值在输入和输出图像之间保持相同。在这种情况下,起始明度Yn_CC将简单地等于如由光电转换电路601输出的初始起始明度Yn_CC0。
线性缩放电路603通过应用以下类型的函数来计算中间明度Yim:
Yim=(Ydif+1)*Yn_CC-1.0*Ydif[公式4]
明度差值Ydif是从(第二)光电转换电路611获得的。该电路将明度差值DIF转换为对应的明度差值Ydif。该电路将使用与电路601相同的OETF公式,即也具有相同的PL_V_in值(和功率值)。
明度差值dif由明度差值计算器610计算,明度差值计算器610接收两个最暗的明度值,即给定观看室的特定照明特性的目标显示器的最小明度(mL_VD)和终端用户显示器的最小明度(mL_De),并且计算:
dif=mL_VD-mL_De[公式5]
mL_De将通常是一方面终端用户显示器的固定显示器最小黑色(mB_fD)和作为周围光量的函数的明度(mB_sur)的函数(通常是相加)。显示器最小黑色(mB_fD)的典型示例将是LCD显示器的泄漏光。如果这样的显示器用指示完美(即,零光子要输出,理想地)黑色的代码驱动,则由于LCD材料的物理特性,它仍然将总是输出例如0.05nit的光,所谓的泄漏光。这与观看环境中的周围光无关,因此在完全黑暗的观看室中将是这样。
mL_VD和mL_De的值通常经由第一最小元数据输入693和第二最小元数据输入694(例如,从相同或不同装置中的外部存储器,或经由来自光测量设备的电路等)来获得。在特定实施例中,所需的最大明度值(诸如例如用于显示经颜色处理的输出图像的显示器的最大明度(PL_D))通常经由诸如第二最大元数据输入692的输入连接器来输入。输出图像颜色将在像素颜色输出699上写出(本领域技术人员可以理解如何将其实现为各种技术变型,例如IC的引脚、像HDMI的标准视频电缆连接、图像的像素颜色数据的基于无线通道的通信等)。
作为周围光量(mB_sur)的函数的明度的精确确定[我们将其简称为周围黑色明度]不是本发明的典型方面,因为它可以以几种替代方式确定。例如,观看者可以使用测试信号(诸如PLUGE或更消费者友好的变体)来确定他认为代表掩蔽黑色的明度mB_sur的值,这通常将由显示器的前屏幕上的反射产生。我们甚至可以假设观众只是设置了一个值,无论是针对特定的夜晚,还是考虑到通常消费者例如在购买显示器时保持其房间照明配置固定。或甚至可以是电视制造商在至少一种典型的消费者观看情况下作为平均良好工作值烘烤的值。在该方法用于适配用于在移动设备上观看的明度的情况下,通常观看环境不是相对稳定的(例如,可能正在火车中观看视频,并且当火车进入隧道时,照明水平可能从室外改变到室内)。
在这种情况下,可以采用例如内置照度计的时间滤波测量(不会太频繁地测量而不是随时间疯狂地适配处理,而是例如当坐在太阳中的长凳上,并且然后在室内走动等)。
这样的计量器通常测量落在其上的平均光量(以lux为单位),也测量显示器上的平均光量。
虽然是不同的光度量,但是lux值可以通过众所周知的光度公式转换为周围黑色明度:
mB_sur=R*Ev/pi[公式6]
在该公式中,Ev是以lux为单位的周围环境照度,pi是常数3.1415,并且R是显示屏的反射率。通常,移动显示器的制造者将该值放在公式中。
对于周围(例如房屋的墙壁)中的具有平均灰色和白色之间某处的颜色的法向反射表面,可以假设R值约为0.3,即根据经验,明度值约为以lux为单位的引用照度值的1/10。显示器的正面应当反射少得多的光:取决于是否已经采用了特殊的抗反射技术,R值可以例如是大约1%(但是可以更高,到玻璃的8%反射率,这在更亮的观看环境中可能尤其是一个问题)。
因此,mL_De=mB_fD+mB_sur[公式7]
将关于图7进一步阐明目标显示器的最小明度(mL_VD)的值的技术含义。
从左侧开始的前三个明度范围实际上是“虚拟”显示例围,即对应于图像而不一定是实际显示器的范围(即,它们对应于目标显示器,即理想地在其上显示图像的显示器,但是潜在地没有消费者拥有的显示器)。这些目标显示器是共同定义的,因为图像是针对目标显示器专门创建的(即,明度被分级为特定期望的对象明度):例如,爆炸在550nit显示器上不能非常明亮,因此分级者可能想要降低一些其他图像对象的明度,使得爆炸至少看起来有些对比度。但是很可能没有人拥有这样的显示器,并且图像仍然需要通过对任何特定观看者拥有的实际显示器的显示适配来优化。该终端用户显示器上的物理可显示明度的范围被示出为最右明度范围(EU_DISP)。
一个或多个目标显示器的该信息构成元数据,其中一些元数据通常与图像本身一起传送,即与图像像素明度一起传送。
因为用于表征(编码)HDR图像的这种方法显著偏离传统SDR图像编码,并且只有在最近才发明了这些方面,并且因为重要的技术元素不应被误解,所以为了方便读者,我们关于图8总结了所需的概念。
HDR视频由元数据丰富地补充,因为如此多的方面可以变化(例如,尽管SDR显示器的最大明度总是在100nit左右,但是现在可以具有相当不同的显示能力的显示器,例如PL_D等于50nit、500nit、1000nit、2500nit,并且在将来甚至可以是10000nit;诸如视频PL_V的最大可编码明度的内容特性也可以显著变化,并且因此分级者将针对典型场景做出的暗与亮之间的明度分布也将主要在典型SDR图像与任何HDR图像之间变化,等等),并且由于对那些各种光滑范围的控制不足,不应当遇到问题。
如上所述,应当得到至少一个像素颜色的像素化矩阵,包括至少像素明度,否则(即使错误地以比色方式显示),甚至不会看到图像几何形状。如上所述,可以通过每个时刻实际上仅传送一幅图像来传送两个不同的动态范围图像(其可以兼作两个参考分级,用于在需要制作不同动态范围的图像(如MDR图像)时指示特定视频内容的明度重分级需要)。
我们将假设我们传送主HDR图像本身,因此第一数据集801(图像颜色)包含被传送的图像的像素的颜色分量三元组,并且成为颜色处理电路的输入,例如驻留在接收侧电视显示器中。
通常,这样的图像被数字化为一个(例如10比特)明度和两个色度分量Cr和Cb(但是也可以传送非线性R'G'B'分量)。但是需要知道明度1023或者例如229表示哪个明度。
为此,共同传送容器元数据802。我们将假设明度例如根据感知量化器EOTF(或其逆OETF)来定义,如在SMPTE ST.2084中标准化的。这是可以指定高达10,000nit的明度的宽大容器,即使当前不会产生具有如此高的像素明度的图像,因此可以说它是包含实际使用的高达比如2500nit的明度的“理论容器”。(注意,还将传达原色色度,但是那些细节将仅不必要地妨碍本说明)。
在它变得感兴趣的情况下,是视频的实际可编码(或经编码)的最大像素明度,并且这在另一视频表征元数据中被编码,该另一视频表征元数据通常是主显示器颜色容量元数据803。
这是接收侧要知道的重要明度值,因为即使显示器不关心如何沿着范围重新映射所有明度的具体细节(至少根据内容创建者的期望显示适配),知道最大值仍然引导大致对所有明度最好做什么,因为对于任何图像像素,至少知道视频将不会超过什么明度。
对于我们的2000nit示例,该主显示颜色体积(MDCV)元数据803将包括主HDR图像最大明度,即图7的PL_V_HDR值,即表征主HDR视频(其在该示例中也实际上被传送为SMPTE2084定义的PQ像素明度,但是该方面目前也可以被忽略,因为我们可以理解创新颜色处理的原理,好像(线性)像素明度本身是传入的,因为技术人员知道如何在两者之间转换)。
该MDCV是HDR主图像的“虚拟”显示,即目标显示。通过在元数据中指示这一点,视频创建者在他的传送的视频信号中向接收侧实际终端用户显示器指示在他的电影中的某处可能存在与2000nit一样亮的像素,因此终端用户显示器在对当前图像的明度进行其处理时更好地考虑这一点。
图像集合的这些(实际)明度实际上是又一方面,因此存在另外的视频相关元数据集804。这给出了不是相关联的显示器的性质(即,例如,视频中可能的最大值),而是实际视频的进一步信息。为了容易地理解这一点,可以想象两个视频正在用相同的MDCV PL_V_HDR(和EOTF)进行注释:第一视频是夜间视频,并且因此实际上没有图像达到高于比如80nit的像素明度(但是它仍然在2000nit MDCV上指定;并且如果它是另一视频,则它可以在至少一幅图像中具有一些闪光灯,该至少一幅图像具有达到2000nit水平或几乎该水平的几个像素),并且根据完全相同的编码技术指定/创建的第二视频(即,在802和803中用相同的数据注释)仅由爆炸组成,即,大部分具有1000nit以上的像素。
一方面,可能想要另外说出关于该视频的一些东西,但是另一方面,本领域技术人员可以理解,如果想要将两个视频从其2000nit主表示重新分级为例如200nit输出表示,则将不同地这样做(可以简单地通过将明度除以10来缩放爆炸,而可以保持夜景的明度在主HDR和200nit输出图像中相同)。
注释所传送的HDR图像的集合804中的可能的(对于本创新是可选的,但是为了完整性而解释的)有用元数据将是所有时间顺序图像的所有像素的平均像素明度,MaxFall例如是350nit。接收侧颜色处理然后可以从该值理解,如果它是暗的,则明度可以按原样显示,即未映射,并且如果它是亮的,则调光可以是要进行的。
还可以注释SDR视频(即,第二参考分级图像,示出SDR图像必须看起来如何根据内容创建者尽可能类似于主HDR图像(给定减小的动态范围能力)),即使实际上没有传送它,即,将仅发送该元数据(元数据814)。
因此,尽管一些HDR代码也可以发送包括SDR图像的像素明度(Rec.709OETF定义的)的像素颜色三元组(即SDR像素颜色数据811),但是如上面所解释的,我们的阐明示例编解码器(SLHDR编解码器)实际上将不传送该SDR图像(即其像素颜色或取决于那些颜色的任何东西),因此传送交叉(如果没有传送的像素颜色,则也不需要传送SDR容器元数据812,其指示像素代码如何被定义并且如何被解码为线性RGB像素颜色分量的容器格式)。
理想地应当传送的内容(但是一些系统可以默认地假设它)是对应的以SDR为目标的显示元数据813。在这种情况下,通常将PL_V_SDR的值填充为等于100nit。
对于本发明重要的是,这也是通常将填充视频创建者对其电影分级的理论目标SDR显示器的假定最小黑色的值的地方,即SDR参考最小黑色mB_SDR。
例如,如果创建者假设他使他的视频用于不能比0.1nit更深的显示器(例如,由于LCD泄漏光),则他可能不想使太重要的图像对象像素明度接近该值,但是例如从0.2nitSDR图像像素开始,并且可能稍微高于0.2nit SDR图像像素,大多数像素高于1nit水平。将存在表征主HDR图像的类似值,或更确切地说,其相关联的目标显示,即HDR最小黑色mB_HDR(在元数据803中)。
重新分级需要是图像相关的,因此根据如上所述的我们选择的说明编解码器,它们将有利地被编码在SDR视频元数据814中。如上所述,通常可以传送一个(或多个,甚至对于单个时刻)图像优化明度映射函数,用于将归一化到最大-1HDR明度(或明度)映射到归一化到最大-1SDR明度或明度(即F_L参考明度映射函数形状(对这些函数进行编码的精确方式与本专利申请无关,并且可以在上述ETSI SLHDR标准中找到示例)。由于现在利用该函数形状(结合目标显示器、HDR和SDR的最大明度的元数据),规定了所有可能的图像像素明度的所需重新映射,因此实际上不需要关于图像的另外的元数据(如例如maxFall),但是它也可以被传送。
这将已经构成一组相当专业的HDR视频编码数据,在其上可以应用我们目前的周围适配明度重映射技术。
然而(并且对于下面进一步详述的对比度优化实施例特别有用),可以(以各种方式)添加尚未很好地标准化的两个另外的元数据集。还可能的是,内容创建者在使用感知量化器的同时在默默假设下工作,即在特定照明水平(例如,10lux)的观看环境中创建视频(并且因此理想地在可能时也在接收侧显示,如果想要最佳外观的话)(特定内容创建者是否也紧密遵循该照明建议是另一种方式)。
如果想要增加的确定性,则可以关联主HDR图像针对其被具体分级的典型(预期)观看环境(HDR观看元数据805;可选的/点状的)。如所述的,可以制作2000nit最大主HDR图像。但是如果该图像旨在在1000lux的观看环境中观看,则分级者可能不会做出太多细微分级的暗对象明度(像通过包括前面的照亮的第一房间的场景的后部处的打开的门看到的暗室中略微不同的昏暗照亮的对象),因为观看者的大脑可能只是将所有这些都视为“纯黑色”,但是如果图像通常是针对例如50lux或10lux的房间中的更暗的晚上观看而制作的,则情况将是不同的。对于典型的更明亮的观看情况(比如200lux),还可以具体地对SDR图像进行重新分级,特别是F_L函数,并且在SDR周围元数据815中注释,并且如果需要,接收侧装置也可以利用该信息来获得其优点(或可以传送针对不同预期观看的不同SDR图像的重新分级)。
返回到图7,我们示出了一种配置,其中期望(通过显示适配)为600nit MDR显示器制作输出图像,即输出图像需要是PL_V_MDR=600nit输出图像。
在我们根据本发明优化具有与输入图像相同的最大明度的输出图像的情况下(上面关于图6描述的简单情况),目标显示器的最小明度(mL_VD)的值将简单地是mB_HDR值。然而,现在我们需要为MDR显示器动态范围建立最小明度(作为目标显示器的最小明度mL_VD的适当值)。这将从两个参考图像的明度范围信息内插(即,在图8的标准化实施例解释中,MDCV和呈现显示颜色体积PDCV通常分别在元数据803和813中共同传送或至少可获得)。
公式如下:
mL_VD=mB_SDR+(mB_HDR-mB_SDR)*(PL_V_MDR-PL_V_SDR)/(PL_V_HDR-PL_V_SDR)[公式8]
在该公式中,PL_V_MDR值被选择为等于要被提供有显示优化图像的显示器的PL_D显示器。
返回到图6,通过在光电转换电路611中应用公式3的v函数,将L_in替换为值dif除以PL_V_in(即,归一化明度差值),将dif值转换为心理视觉均匀的明度差值(Ydif),其中,当使用PL_V_in的值时:在制作具有与输入主HDR图像相同的最大明度的周围调整图像的情况下,值PL_V_HDR;分别对于适应于MDR显示器的显示的场景,PL_V_in的值是显示器的PL_D值,例如600nit。
电光转换电路604计算中间明度Yim的归一化线性版本,即中间明度Ln_im。它应用公式3的逆公式(对于RHO的相同定义公式)。对于RHO值,实际上在最简单的情况下将使用相同的PL_V_HDR值,其中,输出图像具有与输入图像相同的最大明度,并且仅存在更暗像素明度的调整。然而,在对MDR最大明度的显示适配的情况下,PL_D值将用于计算表征v函数的特定形状(陡度)的合适的RHO值。为了实现这一点,输出最大值确定电路671可以存在于颜色处理电路600中。它通常将是逻辑处理器针对所配置的情况决定是否用作输出图像PL_O的最大明度,即用于确定由电光转换电路604施加的EOTF的RHO的值,分别为PL_V_HDR或PL_D(本领域技术人员理解,在一些特定的固定变型中,可以以固定公式来配置该情况)。
最终周围调整电路605通过用以下公式计算最终归一化明度Ln_f而在明度域中执行线性相加偏移:
Ln_f=(Ln_im-(mL_De2/PL_O))/(1-(mL_De2/PL_O)) [公式9]
mL_De2是终端用户显示器的第二最小明度(也称为第二终端用户显示器最小明度),通常经由第三最小元数据输入695(其可以经由中间处理电路连接到光度计)输入。它与终端用户显示器的第一最小明度mL_De的不同之处在于,mL_De还包含显示器的物理黑色的表征值(mB_fD),但是mL_De不包含,并且仅表征使所显示的图像劣化的周围光的量(例如,通过反射),即它仅表征mB_sur,它通常等于mB_sur。
在最终周围调整电路605内,通过可应用的PL_O值(即,例如PL_D)对mL_De2值进行归一化。
最后,在大多数变型中,如果出现通常的(即,未归一化的)输出明度L_o,则可能是有利的,这可以通过乘法器606来实现,乘法器606计算:
L_o=Ln_f*PL_O [公式10]
即,用输出图像的适用最大明度进行归一化。
有利地,一些实施例不仅可以针对周围光情况调整更暗的明度,而且可以在颜色处理中这样做,该颜色处理还针对显示器的减小的最大明度进行优化。在这种情况下,明度映射电路602将应用适当计算的显示优化明度映射函数FL_DA(t),其通常将由显示优化电路670加载到明度映射电路602中。本领域技术人员理解,显示优化的具体方式仅仅是这样的实施例的可变部分,对于周围适配元素不是典型的,但是已经利用图4和5图示了一些示例(未绘制可配置PL_O值的670的输入,以免使图6过于复杂,如本领域技术人员可以理解的那样)。通常,显示适配将具有使函数更接近对角线以获得输入和输出最大明度之间的更小差异的性质,即,输出图像的期望最大明度(即PL_V_MDR=PL_D)将越接近输入最大明度(假设通常PL_V_HDR),并且因此离第二参考分级(通常PL_V_SDR)的最大明度越远,函数的形状将越平坦(即,在F_L和对角线之间,重分级函数版本FL_DA“越亮”)。注意,对于降级,通常将具有凸函数,这意味着(比一些中点)更暗的明度被相对提升,以更亮明度的压缩为代价。因此,对于降级,FL_DA通常将具有更不陡峭的斜率,用于将最暗的输入明度提升到小于F_L函数(其完全重新分级到另一个极端第二参考分级)。
下面教导了第二个创新,以优化图像的对比度,这对于更亮的周围环境是有用的。在各种实施例中,这些元件可以与上述周围调整配合使用,但是每个创新也可以彼此分开应用。
处理输入图像以特别改善其对比度的这种方法通常包括:
获得与输入图像相关联的参考明度映射函数(F_L),其通过映射到对应的辅助参考图像的明度的明度(或等效明度)来定义其重新分级需要。
输入图像通常将加倍作为第一分级参考图像。
输出图像通常将对应于在两个参考分级图像(也称为参考分级)的最大明度之间的最大明度情况,并且通常将针对对应的MDR显示器(与主HDR输入图像相比的中等动态范围HDR显示器)被计算,其中优化的输出图像的最大明度的关系是:PL_V_MDRPL_D_MDR。
应用(任何实施例的)显示适配,如通常用于更低最大明度显示器的显示适配,但现在以特别不同的方式(即,显示适配的大多数技术元素保持原样,但有一些改变)。
显示适配处理确定基于参考明度映射函数(F_L)的适配明度映射函数(F_DA)。该函数F_L可以是静态的,即对于若干图像是相同的(在这种情况下,FL_DA仍然可以改变,例如,如果周围照明显著改变或在用户控制动作时),但是它也可以随时间改变(F_L(t))。参考明度映射函数(F_L)通常可以来自内容创建者,但是也可以来自视频图像的接收侧处的任何装置中的最优重新分级函数计算自动机(正如归于关于图6-8阐明的偏移确定实施例)。
适配明度映射函数(FL_DA)将被应用于输入图像像素明度,以获得输出明度,
与现有显示适配的关键差异(而量规定义(即用于定位各种最大明度的数学方法)和量规的取向可以是相同的;例如,可以通过使对角线上的任何位置上的一个点对应于归一化到1的Yn_CC0明度并且另一个点在F_L函数的轨迹上的某处来缩放量规,例如,当竖直地在其上方时,当量规定位端点的另一坐标是函数F_L的输入Yn_CC0明度时,其将对应于F_L的输出明度或明度)是现在基于经调整的最大明度值(PL_V_CO)而不是所需输出图像的最大值(通常为PL_V_MDR)来计算用于获得适配明度映射函数(FL_DA)的量规上的位置(或更确切地说,通过F_L函数的形状的量规的所有缩放版本)。
该经调整的最大明度值(PL_V_CO)由装置的用户(通常是所连接的显示器的观看者(或装置可以在显示器中))确定。用户确定最优控制值,即用户校正值(UCBVal),其通常将用于降低在显示适配算法中使用的最大明度(用于降级),因此该算法不再与由所连接的显示器可实现的实际(物理)最大明度一起工作(例如,对于背光LCD,像素可以输出的最大光通过将背光设置为最大值(制造商的设置是为了确保正确的操作(例如冷却和寿命))并且将液晶像素控制为使得它透射尽可能多的光来确定),但是具有虚拟的、用户控制的值。通常,用户将通过在一个方向上从起始设定点偏移来进行控制。该设定点可以可选地受周围光水平的测量(例如周围照明值(Lx_sur))影响。
虽然周围照明值(Lx_sur)可以以各种方式获得,例如,观看者通过检查测试图案的可见性来凭经验确定它,但是它通常将由通过照度计902的测量产生,照度计902通常将相对于显示器适当地放置(例如,在边框边缘上,并且大致指向与屏幕前板相同的方向,或集成在移动电话的侧面上等)。
参考周围值GenVwLx也可以以各种方式确定,但通常是固定的,因为它与对于典型的目标观看情况预期的合理(“平均”)周围照明有关。
本方法可以在没有GenVwLx值的情况下使用,但是它可以用作用户控制的中点。
在电视显示观看的情况下,这通常可以是观看室。
起居室的实际照明可以显著变化,例如,取决于观看者是在白天还是在晚上观看,而且还取决于在哪种房间配置(例如,他具有小窗还是大窗,以及显示器与窗相比如何定位,或在晚上:是否使用一个大气灯,或是家庭的另一成员做需要足够照明量的精确工作)。
例如,即使在白天,当由于冰雹风暴来临而天空突然明显变暗时,外部照明可能低至200lux(lx),并且来自自然照明的室内光水平通常低100x,因此室内仅为2lx。这开始具有夜间外观(在白天期间特别奇怪),因此这是许多用户通常为了舒适而打开至少一个灯的一个点,再次有效地提高水平。正常的室外水平可以是冬季的10000lx至夏季的100000lx,因此可以是50倍或更亮。
但是其他观看者可能发现在黑暗中观看视频(尤其是HDR视频)是方便的,使得他们可以例如更可怕地享受恐怖电影,和/或更好地看到黑暗场景。
虽然在中世纪是典型的,但是一支蜡烛的照明现在可能是下限,这仅仅是因为对于在这样的水平下的城市居民,更多的光可能从室外灯(如城市灯)泄漏。坎德拉通常被定义为典型蜡烛的明度,因此如果将表面放置在距离蜡烛一米的地方,它将得到1lx,这仍然使得物体可观看,但是例如纸上的文本不是高度容易阅读的(作为参考,1lx也是典型的户外月亮场景)。因此,如果用许多蜡烛照亮5米宽的房间,则将实现该照明水平。即使单个40W白炽灯泡也已经产生比蜡烛多大约40倍的光,因此对于大多数观看者,一个或几个这样的灯将是更典型的周围光水平。因此,可能期望像k*10lx的情况下用于在没有太多(大气)光的情况下观看。然而,视频可能已经被定义为使得它们在白天也是合理可观看的,在这种情况下,照明可以是n*50lx(例如,如果200W的一组灯泡放置在大约2米远,则得到大约3000/50lux;如果要观看厨房中的食谱的显示,则可能想要大约3倍高的光水平,以安全地执行烹饪活动,如切割)。
对于移动/户外情况,光水平可以更高,例如当坐在火车的窗户附近或在阴影中的树下等时,则光水平可以是例如1000lx。
我们将假设,但不希望限制,用于电视节目视频观看的GenVwLx的良好值将是100lux。
假设光传感器测量Lx_sur=550lux。
则用户可以通过设置这样的UCBVal的值使得图像在比理想550lux水平实际高了5x的情况下更好地可观看而进行控制。他对过以下操作来进行此,调谐经调整的最大照度值(PL_V_CO)到以下程度:对于特定F_L函数,最暗明度的子范围被拉伸到视觉上可接受的水平。这是通过在最大照度确定单元(901)中计算调整后的最大明度值的要被输出的值PL_V_CO来完成的,如下所示:
PL_V_CO=PL_V_MDR–UCBVal[公式11]
用户控制值UCBVal可以通过任何适当缩放的用户输入(例如,以当滑块设置)(UCBSliVal,例如,在零校正周围对称地下降,或在零校正处开始等)来控制,其以如下的方式缩放,当滑块处于最大值时,用户将不会夸张地改变对比度而使得例如所有暗图像区域看起来几乎像亮HDR白色。
为此,装置(例如显示器)制造商可以预先设计合适的强度值(EXCS),并且然后公式可以是:
UCBVal=PL_D*UCBSliVal*EXCS [公式12]
例如,如果想要100%对应于10%额外的基于最大明度的对比度变化,则得到:PL_D*1*EXCS=0.1*PL_D,因此EXCS=0.1等(在特定实施例中,发现0.75的值是良好的)。
图9示出了典型装置构造中的可能实施例元件。
用于处理输入图像900以获得输出图像的装置(也称为周围优化显示优化装置)具有用于接收作为与输入图像相关联的元数据的参考明度映射函数(F_L)的数据输入(920)。该函数再次指定第一参考图像的明度与第二参考图像的明度之间的关系。在若干实施例中,这两幅图像可以再次由视频的创建者分级,并且例如通过卫星电视广播与视频本身作为元数据共同传送。然而,适当的重新分级照度映射函数F_L也可以由接收侧装置(例如电视显示器)中的重新分级自动机来确定。该函数可以随时间变化(F_L(t))。
输入图像通常用作第一参考分级,从第一参考分级确定显示优化图像和环境优化图像,并且输入图像通常可以是HDR图像。经显示适配的输出图像的最大明度(即,输出最大明度PL_V_MDR)通常落在两个参考图像的最大明度之间。
该装置可以可选地包括或等效地连接到照度计(902),该照度计(902)被布置为确定落在显示器(即被供应有要观看的优化图像的显示器)上的周围环境的光量。但是这对于本用户控制通常将是不需要的。
显示适配电路510被布置为确定基于参考明度映射函数(F_L)的适配明度映射函数(FL_DA)。它实际上还进行像素颜色处理,因此它包括类似于上述颜色变换器202的明度映射器(915)。还可能涉及颜色处理。配置处理器511可以在运行当前图像的每像素处理之前进行要使用的(周围优化的)明度映射函数的实际确定。这样的输入图像(513)经由图像输入(921)(例如,IC引脚)接收,图像输入(921)本身可以连接到进入装置的某幅图像供应,例如,HDMI电缆等。
根据上述显示适配算法变型,基于参考照度映射函数F_L和最大明度的某个值来确定适配明度映射函数(FL_DA),但是现在最大明度不是连接的显示器的典型最大明度(PL_D),而是被调整到观看环境中的光量(并且还可能用户校正)的具体调整的最大明度值(PL_V_CO)。明度映射器将适配明度映射函数(FL_DA)应用于输入像素明度,以获得输出明度,
为了计算经调整的最大明度值(PL_V_CO),该装置包括最大明度确定单元(901),其连接到显示调整电路510以将该经调整的最大明度值(PL_V_CO)供应给显示调整电路(510)。
该最大明度确定单元(901)从存储器905获得参考照明值(GenVwLx)(例如,该值可以由装置制造商预先存储,或可以基于进入哪种类型的图像来选择,或加载有与图像共同通信的典型预期周围元数据等)。它还获得最大明度(PL/MDR),其可以是例如存储在显示器中的固定值,或者可以在能够向各种显示器提供图像的装置(例如机顶盒或其他图像预处理装置)中配置。
在一些实施例中,用户(观看者)可以根据他的品味通过使用例如耦合的用户接口控制部件904(例如滑块(或旋钮等,其不需要是物理上存在的按钮,而是例如控制装置的移动电话的屏幕上的手指可控元件),其允许用户设置更高或更低的值,例如滑块设置UCBSliVal)来控制显示适配的自动周围优化。该值被输入到用户值电路903,用户值电路903向最大明度确定单元901传送用户控制值UCBVal。
图10示出了特定照度映射函数F_L的处理的示例。我们假设参考映射函数(1000)是简单的明度恒等变换,即,其限幅至600nit的最大显示能力以上。这里,明度映射在等效心理视觉均匀化明度的曲线图上表示,如可根据公式3计算的。输入归一化明度Yn_i对应于HDR输入明度,我们假设其是1000nit最大明度HDR图像(即,在公式中使用针对PL_V_HDR=1000nit的RHO)。对于输出归一化明度Yn_o,我们假设600nit的示例性显示,因此,通过使用对应于600nit的RHO值将它们重新转换为明度。为方便起见,右侧和顶部是明度位置的对应明度。因此,该选定的F_L参考映射函数1000在视觉上均匀化的明度域中执行均衡压缩。(周围)适配明度映射函数FL_DA被示出为曲线1001。一方面,我们看到偏移Bko,其尤其取决于显示器的漏黑。另一方面,我们看到主要增强最暗的黑色的曲率,这是由于非线性心理视觉均匀化明度域中的处理的残余效应。
图11示出了对比度增强实施例的示例(其中周围照明的偏移被设置为零,但是如上所述,两个处理可以被组合)。如果改变相对归一化心理视觉均匀化明度域中的明度映射,则该相对域可以从值零开始。主HDR图像可以在某个黑色值处开始,但是对于更小的输出,可以使用黑色偏移来将其映射到零(或映射到显示器的最小黑色;注意:显示器可以具有更暗输入的各种行为,例如限幅,因此可以将真正的零置于那里)。
如果使用经修改的显示适配,则黑零输入通常将映射到黑零,无论经调整的最大明度值(PL_V_CO)的值如何。通常,输出明度的零点可以在虚拟黑色水平mL_VD(理想地)或实际终端用户显示器的最小黑色mB_fD处开始,但是在任何情况下,存在这些最暗颜色的差分增亮,从而导致像夜景的暗图片的更好的可见对比度(输入明度直方图1010在输出明度的归一化明度轴上被拉伸为输出明度直方图1011,尽管是在更低的PL_V_MDR=PL_D=600nit的情况下,其仍将给出足够的图像对比度)。当两种方法被组合时,获得适当的黑色水平偏移BK0的所有处理最好转移到关于图6等解释的处理(即,可以利用从零开始的图像和从零开始的函数来进行调整的对比度处理)。在实践中,可以总是简单地定义从零开始的F_L曲线(将零HDR明度或明度映射到零输出明度或明度),而不管这样的值是否实际出现在输入图像中,因为显示适配明度(明度)映射无论如何都将简单地发生。
本文中公开的算法分量可以(全部或部分地)实际上被实现为硬件(例如,程序特定IC的部分)或在特殊数字信号处理器或通用处理器等上运行的软件。
从我们的介绍中技术人员应当可以理解哪些部件可以是任选的改进并且能够与其他部件组合实现,以及方法的(任选的)步骤如何对应于装置的各个单元,反之亦然。本申请中的“装置”一词以其最广泛的意义使用,即一组单元允许实现特定目标,因此能够例如是IC(的小电路部分)、或专用设备(例如带显示器的设备)、或网络系统的一部分等。“布置”也旨在以最广泛的意义使用,因此它可以尤其包括单个装置、装置的一部分、协作设备(的部分)的集合等。
计算机程序产品表示应当被理解为包括在将命令输入到处理器中的一系列加载步骤(其可包括中间转换步骤,例如翻译成中间语言,以及最终处理器语言)之后使得通用或专用处理器能够执行本发明的特征功能中的任何的命令集合的任何物理实现。特别地,计算机程序产品可以被实现为载体(例如,磁盘或磁带)上的数据、存在于存储器中的数据、经由网络连接(有线或无线)传输的数据、或纸上的程序代码。除了程序代码之外,程序所需的特征数据也可以被体现为计算机程序产品。
操作该方法所需的步骤中的一些可以已经存在于处理器的功能中而不是在计算机程序产品中描述,例如数据输入和输出步骤。
应注意,上述实施例说明而非限制本发明。在技术人员能够容易地实现所呈现的示例到权利要求的其他区域的映射的情况下,我们为了简洁而未深入提及所有这些选项。除了在权利要求中组合的本发明的元件的组合之外,元件的其他组合也是可能的。能够在单个专用元件中实现元件的任何组合。
权利要求中括号内的任何参考标记不旨在用于限制权利要求。“包括”一词不排除权利要求中未列出的元件或方面的存在。元件前面的词语“一个”或“一个”不排除存在多个这样的元件。

Claims (8)

1.一种处理输入图像以获得输出图像的方法,
其中,所述输入图像具有像素,所述像素具有落在第一明度动态范围(DR_1)内的输入明度,所述第一明度动态范围具有第一最大明度(PL_V_HDR),
其中,参考明度映射函数(F_L)被接收为与所述输入图像相关联的元数据,
其中,所述参考明度映射函数指定两幅图像中的共同定位的像素的明度之间的关系,其中,所述两幅图像被不同地分级,其中,同一图像对象的像素明度在所述两幅图像中具有不同的像素明度,
其中,所述参考明度映射函数指定所述输入图像的明度与具有第二参考最大明度(PL_V_SDR)的辅助参考图像的明度之间的关系,
其中,所述输出图像具有与所述第一最大明度不同并且与所述第二参考最大明度(PL_V_SDR)不同的输出最大明度(PL_V_MDR);
其中,所述处理包括基于所述参考明度映射函数(F_L)和经调整的最大明度值(PL_V_CO)来确定适配明度映射函数(FL_DA),其中,所述经调整的最大明度值(PL_V_CO)不同于所述输出最大明度(PL_V_MDR),并且将所述适配明度映射函数(FL_DA)应用于所述输入像素明度,以获得所述输出图像的输出明度,
其中,对所述适配明度映射函数(FL_DA)的计算涉及在指定最大明度(SM)的位置的量规上找到位置(pos),所述位置对应于所述经调整的最大明度值(PL_V_CO),
其中,所述量规的第一端点对应于所述第一最大明度(PL_V_HDR),并且所述量规的第二端点对应于所述第二参考最大明度(PL_V_SDR),
其中,对于任何归一化输入亮度(Yn_CC0),所述量规的所述第一端点共同定位在对角线上的点上,所述点的水平坐标和竖直坐标等于所述归一化输入亮度,
其中,所述第二端点位于由所述量规的取向确定的所述参考明度映射函数(F_L)的轨迹上;
其特征在于,所述经调整的最大明度值(PL_V_CO)通过以下操作来确定:
获得用户校正值(UCBVal);
将所述经调整的最大明度值(PL_V_CO)确定为从所述输出最大明度(PL_V_MDR)减去用户校正值(UCBVal)的结果;
将所述输出明度作为像素颜色写入所述输出图像中并且输出所述输出图像。
2.根据权利要求1所述的处理输入图像的方法,其中,所述输出最大明度(PL_V_MDR)被设置为等于要被提供所述输出图像的显示器的最大可显示像素明度。
3.根据权利要求1或2所述的处理输入图像的方法,包括:
从显示器的用户获得输入值(UCBSliVal);
通过将所述输入值乘以强度值(EXCS)并且乘以所述输出最大明度(PL_V_MDR)来计算所述用户控制值(UCBVal)。
4.根据上述权利要求中的任一项所述的处理输入图像的方法,其中,所述处理是附加于将所述输入图像中的最暗的黑色设置为作为周围照明值(Lx_sur)的函数的黑色偏移值而执行的。
5.根据上述权利要求中的任一项所述的处理输入图像的方法,其中,所述量规的所述取向被预设为竖直,这将归一化输入亮度(Yn_CC0)的第二端点置于以下位置处,所述位置具有归一化输入亮度作为水平坐标并且具有以所述归一化输入亮度(F_L(Yn_CC0))作为输入应用所述参考明度映射函数的结果作为竖直坐标。
6.一种用于处理输入图像以获得输出图像的装置(900),
其中,所述输入图像具有像素,所述像素具有落在第一明度动态范围(DR_1)内的输入明度,所述第一明度动态范围具有第一最大明度(PL_V_HDR),所述装置包括:
图像输入部(921),其被布置为获得所述输入图像(513);
数据输入部(920),其用于接收参考明度映射函数(F_L),所述参考明度映射函数是与所述输入图像相关联的元数据,
其中,所述参考明度映射函数指定第一参考图像的明度与第二参考图像的明度之间的关系,
其中,所述参考明度映射函数指定所述输入图像的明度与所述第二参考图像的明度之间的关系,
其中,所述第二参考图像具有第二参考最大明度,
其中,所述输出图像具有与所述第一最大明度不同并且与所述第二参考最大明度不同的输出最大明度(PUV_MDR);所述装置还包括:
用户值电路(903),其被布置为确定并输出由所述装置的人类用户设置的用户校正值(UCBVal);以及
最大明度确定单元(901),其被布置为:
从所述用户值电路(903)获得所述用户校正值(UCBVal);并且
将经调整的最大明度值输出为从所述输出最大明度(PL_V_MDR)减去用户校正值(UCBVal)的结果;所述装置还包括:
显示适配电路(510),其被布置为基于所述经调整的最大明度值(PL_V_CO)和所述参考明度映射函数(F_L)来确定适配明度映射函数(FL_DA),
其中,对所述适配明度映射函数(FL_DA)的计算涉及在量规(SM)上找到与所述经调整的最大明度值(PL_V_CO)相对应的位置(pos),
其中,所述量规的第一端点对应于所述第一最大明度(PL_V_HDR),并且所述量规的第二端点对应于所述第二参考图像的最大明度,
其中,对于任何归一化输入亮度(Yn_CC0),所述量规的所述第一端点共同定位在对角线上的点上,所述点的水平坐标和竖直坐标等于所述归一化输入亮度,
其中,所述第二端点位于由所述量规的取向确定的所述参考明度映射函数(F_L)的轨迹上,
其中,所述显示适配单元被布置为将所述适配明度映射函数(FL_DA)应用于所述输入明度或对所述输入明度进行编码的输入亮度以获得输出明度或输出亮度,并且将这些输出明度或输出亮度输出为所述输出图像的像素颜色。
7.根据权利要求6所述的用于处理输入图像的装置,其中用户值电路(903)被布置为:
从显示器的用户获得输入值(UCBSliVal);
通过将所述输入值乘以强度值(EXCS)并乘以所述输出最大明度(PL_V_MDR)来计算用户控制值(UCBVal);
将所述用户控制值(UCBVal)输出到所述最大明度确定单元(901)。
8.根据权利要求6或7所述的用于处理输入图像的装置,包括黑色适配电路,所述黑色适配电路被布置为根据周围照明值(Lx_sur)来将所述输入图像中的最暗黑色亮度设置为黑色偏移亮度。
CN202280033540.2A 2021-05-07 2022-04-28 显示优化的hdr视频对比度适配 Pending CN117321625A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP21172666.6 2021-05-07
EP21172666.6A EP4086844A1 (en) 2021-05-07 2021-05-07 Display-optimized hdr video contrast adaptation
PCT/EP2022/061322 WO2022233697A1 (en) 2021-05-07 2022-04-28 Display-optimized hdr video contrast adaptation

Publications (1)

Publication Number Publication Date
CN117321625A true CN117321625A (zh) 2023-12-29

Family

ID=75870416

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202280033540.2A Pending CN117321625A (zh) 2021-05-07 2022-04-28 显示优化的hdr视频对比度适配

Country Status (7)

Country Link
US (1) US20240257323A1 (zh)
EP (2) EP4086844A1 (zh)
JP (1) JP2024519606A (zh)
CN (1) CN117321625A (zh)
BR (1) BR112023022777A2 (zh)
CL (1) CL2023003278A1 (zh)
WO (1) WO2022233697A1 (zh)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6368365B2 (ja) 2013-07-18 2018-08-01 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
JP6132791B2 (ja) 2014-03-12 2017-05-24 東京エレクトロン株式会社 半導体デバイスの製造方法及び製造装置
WO2016091406A1 (en) 2014-12-11 2016-06-16 Koninklijke Philips N.V. Optimizing high dynamic range images for particular displays
US9984446B2 (en) * 2015-12-26 2018-05-29 Intel Corporation Video tone mapping for converting high dynamic range (HDR) content to standard dynamic range (SDR) content
US10019785B2 (en) * 2016-03-07 2018-07-10 Novatek Microelectronics Corp. Method of processing high dynamic range images using dynamic metadata
EP3430806B1 (en) 2016-03-18 2023-06-07 Koninklijke Philips N.V. Encoding and decoding hdr videos
CN109983530B (zh) * 2016-12-22 2022-03-18 杜比实验室特许公司 环境光自适应显示管理

Also Published As

Publication number Publication date
JP2024519606A (ja) 2024-05-20
BR112023022777A2 (pt) 2024-01-02
EP4334889A1 (en) 2024-03-13
CL2023003278A1 (es) 2024-04-12
US20240257323A1 (en) 2024-08-01
WO2022233697A1 (en) 2022-11-10
EP4334889B1 (en) 2024-10-30
EP4086844A1 (en) 2022-11-09

Similar Documents

Publication Publication Date Title
US11521537B2 (en) Optimized decoded high dynamic range image saturation
JP6596125B2 (ja) Hdrイメージの符号化のためのコードマッピング関数を作成するための方法及び装置、並びに、かかる符号化イメージの使用のための方法及び装置
CN109219961B (zh) 对hdr视频进行编码和解码的方法和装置
CN106464892A (zh) 用于对hdr图像进行编码的方法和装置以及用于使用这样的编码图像的方法和装置
EP4334888B1 (en) Display-optimized hdr video contrast adaptation
EP4334890B1 (en) Display-optimized ambient light hdr video adaptation
JP7300070B2 (ja) 飽和色のための改善されたhdrカラー処理
EP4334889B1 (en) Display-optimized hdr video contrast adaptation
US20240242472A1 (en) Content-optimized abient light hdr video adaptation
US20250301184A1 (en) Hdr video reconstruction by converte tone mapping
CN120359753A (zh) 用于感知均匀的电光传递函数的图像明亮度调整

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination