JP2021057060A - Information processing device and information processing method - Google Patents
Information processing device and information processing method Download PDFInfo
- Publication number
- JP2021057060A JP2021057060A JP2020202957A JP2020202957A JP2021057060A JP 2021057060 A JP2021057060 A JP 2021057060A JP 2020202957 A JP2020202957 A JP 2020202957A JP 2020202957 A JP2020202957 A JP 2020202957A JP 2021057060 A JP2021057060 A JP 2021057060A
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- brightness
- information processing
- pixels
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Digital Computer Display Output (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
【課題】比較的長い期間における輝度レベル分布の時間変化をユーザに容易に(直感的に)把握させることを可能する技術を提供する。【解決手段】本発明の情報処理装置は、動画の各時間位置における各画素の輝度レベルに関する情報を取得する取得手段と、前記情報に基づいて、前記時間位置を示す第1軸と、前記第1軸に交差する、前記輝度レベルを示す第2軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成する生成手段と、を有することを特徴とする。【選択図】図4PROBLEM TO BE SOLVED: To provide a technique capable of easily (intuitively) grasping a time change of a luminance level distribution in a relatively long period of time. An information processing apparatus of the present invention has an acquisition means for acquiring information on a luminance level of each pixel at each time position of a moving image, a first axis indicating the time position based on the information, and the first axis. It is characterized by having a second axis intersecting one axis and showing the luminance level, and having a generation means for generating a graph showing the presence or absence or number of corresponding pixels at each coordinate. [Selection diagram] Fig. 4
Description
本発明は、情報処理装置および情報処理方法に関する。 The present invention relates to an information processing apparatus and an information processing method.
広いダイナミックレンジ(広い輝度レンジ)を有する画像データの規格として、PQ(Perceptual Quantizer)や、HLG(Hybrid Log−Gamma)などの様々な規格が提案されている。これらの広いダイナミックレンジは「HDR(High Dynamic Range)」などと呼ばれる。一方、従来のダイナミックレンジ(HDRよりも狭いダイナミックレンジ)は「SDR(Standard Dynamic Range)」などと呼ばれる。HDRの各輝度を使用することで、非常に暗い暗部から非常に明るい明部までの幅広い画像表現が可能となる。 Various standards such as PQ (Perfectual Quantizer) and HLG (Hybrid Log-Gamma) have been proposed as standards for image data having a wide dynamic range (wide brightness range). These wide dynamic ranges are called "HDR (High Dynamic Range)" and the like. On the other hand, the conventional dynamic range (dynamic range narrower than HDR) is called "SDR (Standard Dynamic Range)" or the like. By using each brightness of HDR, it is possible to express a wide range of images from a very dark dark part to a very bright bright part.
HDRの規格には、例えば、米国CTA(Consumer Technology Association)が策定したHDR10がある。HDR10では、動画コンテンツ(動画)全体におけるピーク輝度(最大輝度)や最大フレーム平均輝度が、メタデータ(静的メタデータ)として規定されている。最大フレーム平均輝度は、複数のフレームにそれぞれ対応する複数のフレーム平均輝度(フレームに対応する画像(フレーム画像)の平均輝度)の最大輝度である。 The HDR standard includes, for example, HDR10 established by the US CTA (Consumer Technology Association). In HDR10, the peak brightness (maximum brightness) and the maximum frame average brightness of the entire moving image content (moving image) are defined as metadata (static metadata). The maximum frame average brightness is the maximum brightness of a plurality of frame average brightness (average brightness of an image (frame image) corresponding to a frame) corresponding to each of the plurality of frames.
HDRの規格には、米国SMPTE(Society of Motion Picture and Television Engineers)が策定したST2094−40もある。ST2094−40では、動画の一部期間ごとのピーク輝度や最大フレーム平均輝度が、メタデータ(動的メタデータ)として規定されている。具体的には、動画の各シーンや各フレームのピーク輝度や最大フレーム平均輝度が、動的メタデータとして規定されている。 The HDR standard also includes ST2094-40, which was established by SMPTE (Society of Motion Picture and Television Engineers) in the United States. In ST2094-40, the peak brightness and the maximum frame average brightness for each part of the moving image are defined as metadata (dynamic metadata). Specifically, the peak brightness and the maximum frame average brightness of each scene of the moving image and each frame are defined as dynamic metadata.
HDRの規格には、ITU(Internarional Telecomunication Union)が策定したBT.2408−1 Operational practices in HDR television productionもある。BT.2408−1 Operational practices in HDR television productionでは、輝度が大きく変化した場合のユーザへの影響についての考察、及び、ピーク輝度や平均輝度の変化を管理すべきである旨が述べられている。 The HDR standard includes BT. Established by the ITU (International Telecommunication Union). 2408-1 There is also an Operational practices in HDR television production. BT. In 2408-1 Operational practices in HDR television production, it is stated that consideration should be given to the effect on the user when the brightness changes significantly, and that changes in peak brightness and average brightness should be managed.
HDR画像(HDRを有する画像)の制作現場では、HDRの各輝度が使用できているかを確認するために、波形モニタや輝度ヒストグラムなどで各フレームの輝度分布を個別に表示する機能が使用されている。特許文献1には、フレーム間での輝度分布の変化をユーザに直感的に把握させるために、輝度ヒストグラムにおいてフレーム間で変化した箇所を他の箇所と異なる色などで描画する技術が開示されている。 At the production site of HDR images (images with HDR), a function to individually display the brightness distribution of each frame on a waveform monitor or a brightness histogram is used to check whether each brightness of HDR can be used. There is. Patent Document 1 discloses a technique for drawing a portion changed between frames in a brightness histogram in a color different from that of other portions in order to allow the user to intuitively grasp the change in the brightness distribution between frames. There is.
さらに、業務用ディスプレイ装置などの装置には、フレームピーク輝度(フレーム画像のピーク輝度)の時間変化とフレーム平均輝度の時間変化とを示すグラフを表示する機能が搭載されることがある。HDR画像の制作現場では、そのような機能を使用して、フレームピーク輝度の時間変化とフレーム平均輝度の時間変化とが確認および管理されている。 Further, a device such as a commercial display device may be equipped with a function of displaying a graph showing a time change of frame peak brightness (peak brightness of a frame image) and a time change of frame average brightness. At the HDR image production site, such a function is used to confirm and manage the time change of the frame peak brightness and the time change of the frame average brightness.
図10は、フレームピーク輝度の時間変化とフレーム平均輝度の時間変化とを示す従来
のグラフィック画像の一例を示す。図10のグラフィック画像1000には、フレームピーク輝度の時間変化1002とフレーム平均輝度の時間変化1003とを示すグラフ1001が描画されている。グラフ1001の横軸は時間位置(フレーム)を示し、グラフ1001の縦軸は輝度を示す。グラフィック画像1000の右上部には、最終フレームのフレームピーク輝度とフレーム平均輝度の数値が描画されている。グラフィック画像1000の左上部には、動画全体におけるピーク輝度(Maximum Content Light Level)と最大フレーム平均輝度(Maximum Frame Average Light Level)の数値が描画されている。グラフィック画像1000を表示している期間などの一部期間におけるピーク輝度や最大フレーム平均輝度の数値が描画されることもある。これらの情報は、HDMI(High−Definition Multimedia Interface)データなどに含まれているメタデータ(HDR10やST2094−40で規定されたメタデータ)から得ることができる。動画データ自体を解析することでも、これらの情報を得ることができる。
FIG. 10 shows an example of a conventional graphic image showing a time change of the frame peak brightness and a time change of the frame average brightness. In the
特許文献1に開示の技術を用いれば、ユーザは、各フレームの輝度分布や、2フレームの期間などの比較的短い期間における輝度分布の変化を把握できる。しかしながら、ユーザは、動画全体の期間やシーンの期間などの比較的長い期間における輝度分布の変化を容易に把握できない。例えば、ユーザは、比較的長い期間の各時間位置にどの輝度(輝度レベル)を有する画素がどの程度存在するか等を短時間で把握できない。図10のグラフィック画像1000を表示すれば、ユーザは、フレームピーク輝度の時間変化1002とフレーム平均輝度の時間変化1003とを把握できる。しかしながら、ユーザは、各フレームの輝度分布(輝度レベル分布)や、輝度分布の時間変化を把握できない。
By using the technique disclosed in Patent Document 1, the user can grasp the change in the luminance distribution of each frame and the luminance distribution in a relatively short period such as a period of 2 frames. However, the user cannot easily grasp the change in the brightness distribution over a relatively long period such as the period of the entire moving image or the period of the scene. For example, the user cannot grasp in a short time how many pixels have which brightness (luminance level) exists at each time position in a relatively long period of time. By displaying the
本発明は、比較的長い期間における輝度レベル分布の時間変化をユーザに容易に(直感的に)把握させることを可能する技術を提供することを目的とする。 An object of the present invention is to provide a technique that enables a user to easily (intuitively) grasp a time change of a luminance level distribution over a relatively long period of time.
本発明の第1の態様は、
動画の各時間位置における各画素の輝度レベルに関する情報を取得する取得手段と、
前記情報に基づいて、前記時間位置を示す第1軸と、前記第1軸に交差する、前記輝度レベルを示す第2軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成する生成手段と、
を有することを特徴とする情報処理装置である。
The first aspect of the present invention is
An acquisition means for acquiring information on the brightness level of each pixel at each time position of the moving image, and
Based on the information, it has a first axis indicating the time position and a second axis indicating the brightness level intersecting the first axis, and the presence / absence or number of corresponding pixels is indicated by each coordinate. The generation means to generate the graph shown and
It is an information processing apparatus characterized by having.
本発明の第2の態様は、
動画の各時間位置における各画素の輝度レベルに関する情報を取得するステップと、
前記情報に基づいて、前記時間位置を示す第1軸と、前記第1軸に交差する、前記輝度レベルを示す第2軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成するステップと、
を有することを特徴とする情報処理方法である。
A second aspect of the present invention is
Steps to get information about the brightness level of each pixel at each time position in the video,
Based on the information, it has a first axis indicating the time position and a second axis indicating the brightness level intersecting the first axis, and the presence / absence or number of corresponding pixels is indicated by each coordinate. Steps to generate the graph shown and
It is an information processing method characterized by having.
本発明の第3の態様は、コンピュータを、上述した情報処理装置の各手段として機能させるためのプログラムである。 A third aspect of the present invention is a program for causing a computer to function as each means of the above-mentioned information processing apparatus.
本発明によれば、比較的長い期間における輝度レベル分布の時間変化をユーザに容易に(直感的に)把握させることが可能となる。 According to the present invention, it is possible for the user to easily (intuitively) grasp the time change of the luminance level distribution over a relatively long period of time.
以下、本発明の実施形態について説明する。表示装置が本実施形態に係る情報処理装置を内蔵する例を説明するが、本実施形態に係る情報処理装置は、表示装置とは別体の装置(パーソナルコンピュータなど)であってもよい。 Hereinafter, embodiments of the present invention will be described. An example in which the display device incorporates the information processing device according to the present embodiment will be described, but the information processing device according to the present embodiment may be a device (personal computer or the like) separate from the display device.
図1は、本実施形態に係る表示装置の構成例を示すブロック図である。図1の表示装置100は、入力部101、画像解析部102、画像処理部103、グラフィック合成部104、表示部105、表示制御部106、メモリ部107、及び、グラフィック生成部108を有する。
FIG. 1 is a block diagram showing a configuration example of a display device according to the present embodiment. The
入力部101は、対象動画データを取得し、対象動画データを画像解析部102へ出力する。対象動画データは、例えば、HDR10、HDR10+、PQ、HLGなどに準拠したHDR(ハイダイナミックレンジ)動画データであり、動画(動画コンテンツ)を表す。対象動画データは、ガンマ2.2などに準拠したSDR(スタンダードダイナミックレンジ)動画データであってもよい。本実施形態では、入力部101は、対象動画(対象動画データによって表された動画)のフレーム毎に、フレーム画像データ(フレームに対応する画像(フレーム画像)を表す画像データ)を外部装置から取得する。そして、入力部101は、取得したフレーム画像データを画像解析部102へ出力する。入力部101は、例えば、SDI(Serial Digital Interface)や、HDMI(High−Definition Multimedia Interface)などの規格に準拠した入力端子である。外部装置は、撮像装置や再生装置などである。なお、表示装置100は、動画データを記憶する記憶部を有してもよく、入力部101は、記憶部に記録された動画データを対象動画データとして記憶部から取得してもよい。
The input unit 101 acquires the target moving image data and outputs the target moving image data to the
画像解析部102は、入力部101から出力された対象動画データを取得し、対象動画データを解析し、解析結果を表示制御部106へ出力し、対象動画データを画像処理部103へ出力する。
The
具体的には、画像解析部102は、対象動画データを解析し、対象動画の各時間位置(各フレーム)における各画素の輝度(絶対輝度;輝度レベル)に関する画素情報を、解析結果として取得する。本実施形態では、画像解析部102は、入力部101から出力されたフレーム画像データを解析する。画素情報は、入力部101から出力されたフレーム画像データの取り得る複数の階調値のそれぞれについて、当該フレーム画像データによって
表されたフレーム画像に存在する画素の数を示す。フレーム画像データの階調値が10ビットの値(0〜1023)である場合には、画素情報は、0〜1023のそれぞれについて存在する画素の数を示す。
Specifically, the
さらに、画像解析部102は、対象動画データから、対象動画データに対応するメタデータを取得し、取得したメタデータを解析結果として表示制御部106へ出力する。メタデータは、例えば、HDMIで規定されているInfoFrameに格納されたデータや、SDIで規定されているブランキング部に格納されたANC(Ancillary)データなどである。
Further, the
画像処理部103は、画像解析部102から出力された対象動画データに画像処理を施すことにより、処理動画データを生成する。そして、画像処理部103は、処理動画データをグラフィック合成部104へ出力する。
The image processing unit 103 generates processed moving image data by performing image processing on the target moving image data output from the
具体的には、表示制御部106から画像処理部103に、階調カーブ(階調値と輝度の対応関係;階調特性)が設定される。HLGやPQなどの階調カーブは、HDR(ハイダイナミックレンジ)画像を表示(処理)するために設定される。ガンマ2.2などの階調カーブは、SDR(スタンダードダイナミックレンジ)画像を表示(処理)するために設定される。表示制御部106から画像処理部103には、リミテッドレンジやフルレンジといった階調範囲も設定される。リミテッドレンジやフルレンジは、設定された輝度レンジ(HLGやPQなどの輝度レンジ;元レンジ)を割り当てる階調範囲である。リミテッドレンジは、対象動画データの取り得る階調値の範囲の一部であり、フルレンジは、対象動画データの取り得る階調値の範囲の全体である。画像処理部103は、設定された階調カーブや階調範囲に従って対象動画データの各階調値を変換する(階調変換処理)。 Specifically, a gradation curve (correspondence between gradation value and brightness; gradation characteristic) is set from the display control unit 106 to the image processing unit 103. Gradation curves such as HLG and PQ are set to display (process) HDR (high dynamic range) images. A gradation curve such as gamma 2.2 is set to display (process) an SDR (standard dynamic range) image. A gradation range such as a limited range or a full range is also set in the display control unit 106 to the image processing unit 103. The limited range and the full range are gradation ranges to which a set luminance range (luminance range such as HLG or PQ; original range) is assigned. The limited range is a part of the range of possible gradation values of the target moving image data, and the full range is the entire range of possible gradation values of the target moving image data. The image processing unit 103 converts each gradation value of the target moving image data according to the set gradation curve and gradation range (gradation conversion processing).
ここで、元レンジを圧縮して動画を表示するという機能(表示方法)がある。特に、HDR画像を表示する場合には、このような機能が使用されることが多い。本実施形態では、表示制御部106から画像処理部103に、圧縮後の輝度レンジ(HDRレンジ)も設定される。画像処理部103は、設定されたHDRレンジに応じて、元レンジの輝度に対応する階調値が、HDRレンジの輝度に対応する階調値に変換されるように、対象動画データの各階調値を変換する(マッピング処理)。ここで、HLGが設定され、元レンジが0〜1000cd/m2の輝度レンジであり、0〜600cd/m2のHDRレンジが設定された場合を考える。この場合には、0〜600cd/m2の輝度レンジの階調値は変換されず、600cd/m2よりも高い輝度に対応する階調値は、600cd/m2(上限輝度)に対応する階調値に変換される(クリップ処理)。 Here, there is a function (display method) of compressing the original range and displaying a moving image. In particular, such a function is often used when displaying an HDR image. In the present embodiment, the brightness range (HDR range) after compression is also set in the image processing unit 103 from the display control unit 106. The image processing unit 103 determines each gradation of the target moving image data so that the gradation value corresponding to the brightness of the original range is converted into the gradation value corresponding to the brightness of the HDR range according to the set HDR range. Convert the value (mapping process). Here, HLG is set, based on range is the luminance range of 0~1000cd / m 2, consider the case where HDR range 0~600cd / m 2 is set. In this case, the gradation value of the luminance range of 0~600cd / m 2 are not converted, the tone values corresponding to the brightness higher than 600 cd / m 2 corresponds to 600 cd / m 2 (upper limit luminance) It is converted to a gradation value (clip processing).
画像の輝度分布(輝度レベル分布)を確認するためのアシスト機能として、画素の色を当該画素の輝度に応じた変換色に変換する処理を各画素について行って画像を表示するというフォルスカラー機能(表示方法)がある。本実施形態では、表示制御部106から画像処理部103に、フォルスカラー機能の有効/無効も設定される。フォルスカラー機能が有効である場合には、輝度(輝度レンジ)と変換色の対応関係が表示制御部106から画像処理部103に通知される。画像処理部103は、通知された対応関係に従って対象動画データの各画素の色を変換色に変換する(色変換処理)。 As an assist function for checking the brightness distribution (luminance level distribution) of an image, a false color function (a false color function) in which a process of converting a pixel color to a conversion color according to the brightness of the pixel is performed for each pixel and the image is displayed. There is a display method). In the present embodiment, the display control unit 106 also sets the enable / disable of the false color function in the image processing unit 103. When the false color function is enabled, the display control unit 106 notifies the image processing unit 103 of the correspondence between the brightness (luminance range) and the converted color. The image processing unit 103 converts the color of each pixel of the target moving image data into a converted color according to the notified correspondence (color conversion processing).
グラフィック合成部104は、画像処理部103から出力された処理動画データ(各フレーム画像データ)に、グラフィック生成部108から出力されたグラフィックデータを合成することにより、合成動画データを生成する。そして、グラフィック合成部104は、合成動画データを表示部105へ出力する。グラフィック生成部108からグラフィックデータが出力されなかった場合には、グラフィック合成部104は、処理動画データを表示部105へ出力する。グラフィックデータは、OSD(On Screen Dis
play)画像などのグラフィック画像を表す画像データである。合成動画データは、処理動画(処理動画データによって表された動画)にグラフィック画像を重ねた動画(合成動画)を表す。
The graphic composition unit 104 generates composite moving image data by synthesizing the graphic data output from the graphic generation unit 108 with the processed moving image data (each frame image data) output from the image processing unit 103. Then, the graphic synthesis unit 104 outputs the composite moving image data to the display unit 105. If the graphic data is not output from the graphic generation unit 108, the graphic composition unit 104 outputs the processed moving image data to the display unit 105. Graphic data is OSD (On Screen Dis)
play) Image data representing a graphic image such as an image. The composite moving image data represents a moving image (synthetic moving image) in which a graphic image is superimposed on a processed moving image (moving image represented by the processed moving image data).
表示部105は、グラフィック合成部104から出力された動画データ(合成動画データまたは処理動画データ)に基づく動画を表示面に表示する。表示部105は、例えば、液晶パネルとバックライトユニットを有する液晶表示部や、有機EL表示パネルなどである。 The display unit 105 displays a moving image based on the moving image data (synthetic moving image data or processed moving image data) output from the graphic synthesizing unit 104 on the display surface. The display unit 105 is, for example, a liquid crystal display unit having a liquid crystal panel and a backlight unit, an organic EL display panel, or the like.
表示制御部106は、表示装置100の各ブロックの処理を制御する。メモリ部107は、プログラムやパラメータなどを記憶する。例えば、表示制御部106は、メモリ部107に格納されたプログラムを実行して表示装置100の各ブロックの処理を制御する演算処理回路である。なお、表示制御部106は、表示装置100に設けられた不図示のボタンなどに対してユーザが行った操作(ユーザ操作)に応じて、行われたユーザ操作に対応する操作情報を取得してもよい。そして、表示制御部106は、操作情報に応じて、制御の切り替えや、制御の詳細設定などを行ってもよい。
The display control unit 106 controls the processing of each block of the
本実施形態では、表示制御部106は、画像解析部102から出力された解析結果(画素情報)や、表示装置100に対するユーザ操作などに基づいて、画像処理部103やグラフィック生成部108の処理を制御する。具体的には、表示制御部106は、階調カーブ(HLG、PQ、ガンマ2.2など)、階調範囲(リミテッドレンジやフルレンジ)、HDRレンジ、フォルスカラー機能の有効/無効などの設定情報を、ユーザ操作(操作情報)に応じて決定する。そして、決定した設定情報を画像処理部103へ出力(設定)する。さらに、表示制御部106は、決定した設定情報と、画像解析部102から出力された解析結果とを、グラフィック生成部108へ出力(設定)する。なお、表示装置100の起動直後では、設定情報の初期情報(所定の情報)が設定されたり、前回の設定が継続されたりする。
In the present embodiment, the display control unit 106 processes the image processing unit 103 and the graphic generation unit 108 based on the analysis result (pixel information) output from the
グラフィック生成部108は、グラフィックデータを生成し、グラフィック合成部104へ出力する。本実施形態では、グラフィック生成部108は、表示制御部106から出力された解析結果(画素情報)に基づいて、対象動画の時間位置(フレーム)を示す時間軸と、時間軸に交差する、対象動画の輝度を示す輝度軸とを有するグラフを生成する。具体的には、グラフィック生成部108は、解析結果と設定情報に基づいて、上記グラフが描画されたグラフィック画像を表すグラフィックデータを生成する。本実施形態では、上記グラフの各座標で、対応する画素の数が示される。つまり、上記グラフでは、対象動画の比較的長い期間における輝度分布の時間変化が示される。 The graphic generation unit 108 generates graphic data and outputs it to the graphic synthesis unit 104. In the present embodiment, the graphic generation unit 108 intersects the time axis indicating the time position (frame) of the target moving image and the target based on the analysis result (pixel information) output from the display control unit 106. Generate a graph with a luminance axis showing the luminance of the moving image. Specifically, the graphic generation unit 108 generates graphic data representing the graphic image on which the graph is drawn based on the analysis result and the setting information. In this embodiment, the number of corresponding pixels is indicated at each coordinate of the graph. That is, in the above graph, the temporal change of the brightness distribution in the target moving image over a relatively long period is shown.
図2は、本実施形態に係るグラフィック画像の一例を示す。図2は、階調カーブがHLGであり、且つ、元レンジが0〜1000cd/m2の輝度レンジである例を示す。図2のグラフィック画像200には、対象動画のフレームピーク輝度の時間変化202とフレーム平均輝度の時間変化203とを示すグラフ201が描画されている。フレームピーク輝度は、フレーム画像のピーク輝度(最大輝度;最大輝度レベル;ピーク輝度レベル)であり、フレーム平均輝度は、フレーム画像の平均輝度(平均輝度レベル)である。グラフ201の横軸は時間軸であり、グラフ201の縦軸は輝度軸である。グラフィック画像200の右上部には、最終フレームのフレームピーク輝度とフレーム平均輝度の数値が描画されている。グラフィック画像200の左上部には、対象動画全体におけるピーク輝度(Maximum Content Light Level)と最大フレーム平均輝度(Maximum Frame Average Light Level)の数値が描画されている。最大フレーム平均輝度は、複数のフレームにそれぞれ対応する複数のフレーム平均輝度の最大輝度である。グラフィック画像200を表示している期間などの一部期
間におけるピーク輝度や最大フレーム平均輝度の数値が描画されることもある。これらの情報は、HDMI(High−Definition Multimedia Interface)データなどに含まれているメタデータ(HDR10やST2094−40で規定されたメタデータ)から得ることができる。動画データ自体を解析することでも、これらの情報を得ることができる。
FIG. 2 shows an example of a graphic image according to the present embodiment. FIG. 2 shows an example in which the gradation curve is HLG and the original range is a luminance range of 0 to 1000 cd / m 2. In the graphic image 200 of FIG. 2, a
本実施形態では、領域204を使って輝度分布の時間変化が示される。具体的には、領域204の各座標で、対応する画素の数が示される。なお、輝度分布からフレームピーク輝度を把握可能であるため、フレームピーク輝度の時間変化202は描画されなくてもよい。フレーム平均輝度の時間変化203、グラフィック画像200の右上部の数値、グラフィック画像200の左上部の数値などについても、描画が省略されてもよい。 In this embodiment, the region 204 is used to show the temporal variation of the luminance distribution. Specifically, the number of corresponding pixels is indicated at each coordinate of the area 204. Since the frame peak brightness can be grasped from the brightness distribution, the time change 202 of the frame peak brightness does not have to be drawn. Drawing may be omitted for the time change 203 of the frame average brightness, the numerical value in the upper right portion of the graphic image 200, the numerical value in the upper left portion of the graphic image 200, and the like.
図3は、本実施形態に係る輝度分布の示し方の一例を示す。本実施形態では、図3に示すように、画素の数を濃淡で示す。図3の例では、画素が少ない座標では淡く薄い色が描画され、画素が多い座標では濃い色が描画され、画素が存在しない座標では描画が行われない。例えば、画素が存在しない座標にRGBの各値が(255,255,255)の白色を設定し、画素が少ない座標にRGBの各値が(192,192,192)の灰色を設定し、画素が多い座標にRGBの各値が(0,0,0)の黒色を設定しても良い。 FIG. 3 shows an example of how to show the luminance distribution according to the present embodiment. In this embodiment, as shown in FIG. 3, the number of pixels is shown by shading. In the example of FIG. 3, a light and light color is drawn at coordinates with few pixels, a dark color is drawn at coordinates with many pixels, and drawing is not performed at coordinates without pixels. For example, the coordinates where there are no pixels are set to white with each RGB value (255,255,255), and the coordinates with few pixels are set to gray with each RGB value (192,192,192). Black may be set in which each RGB value is (0, 0, 0) in the coordinates where there are many.
図3は、ピーク輝度が400cd/m2の場合の例を示す。図3の(A)では、0〜50cd/m2、50〜100cd/m2、100〜200cd/m2、及び、200〜400cd/m2の4つの輝度レンジのそれぞれに画素が存在する。そして、高輝度の画素に比べて低輝度の画素が多い。具体的には、0〜50cd/m2の画素数が最も多く、50〜100cd/m2の画素数が100〜200cd/m2の画素数よりも多く、200〜400cd/m2の画素数が最も少ない。図3の(B)では、0〜400cd/m2の輝度レンジに画素が存在し、各輝度の画素が均等に存在する。図3の(C)では、0cd/m2の画素と400cd/m2の画素とのみが存在し、他の輝度の画素は存在しない。
FIG. 3 shows an example when the peak brightness is 400 cd / m 2. In (A) of FIG. 3, 0~50cd / m 2, 50~100cd /
なお、濃淡の決定方法は特に限定されない。例えば、フレーム画像の全画素数に対する画素数の比率が10%以上である場合に最も濃い色が描画され、比率が低いほど描画される色が淡くなるように、フレーム画像の全画素数に対する画素数の比率に応じて濃淡を決定してもよい。画素数が100個以上である場合に最も濃い色が描画され、画素数が少ないほど描画される色が淡くなるように、画素数に応じて濃淡を決定してもよい。画素数が100個以上である場合に最も濃い色が描画され、画素数が99個以下場合に最大の濃さに比率「画素数/100」を乗算した濃さの色が描画されるように、画素数と比率に応じて濃淡を決定してもよい。 The method of determining the shade is not particularly limited. For example, when the ratio of the number of pixels to the total number of pixels of the frame image is 10% or more, the darkest color is drawn, and the lower the ratio, the lighter the drawn color, so that the pixels to the total number of pixels of the frame image are drawn. The shade may be determined according to the ratio of the numbers. The shade may be determined according to the number of pixels so that the darkest color is drawn when the number of pixels is 100 or more, and the drawn color becomes lighter as the number of pixels is smaller. When the number of pixels is 100 or more, the darkest color is drawn, and when the number of pixels is 99 or less, the darkest color is drawn by multiplying the maximum darkness by the ratio "number of pixels / 100". , The shade may be determined according to the number of pixels and the ratio.
図4は、画素数を濃淡で示した状態のグラフィック画像の一例を示す。最初の4フレームでは、ピーク輝度までの輝度レンジ内の全ての輝度について、画素が存在し、画素数に応じた濃さの色が描画されている。5フレーム目以降では、中間輝度の画素が存在しておらず、高輝度の画素と低輝度の画素のみが存在し、高輝度と低輝度の部分で画素数に応じた濃さの色が描画されている。図4のグラフィック画像を表示することにより、ユーザは、対象動画の比較的長い期間における各フレームの輝度分布を濃淡で確認して、各フレームにどの輝度を有する画素がどの程度存在するかを容易に(直感的に)把握できる。 FIG. 4 shows an example of a graphic image in which the number of pixels is shown in shades. In the first four frames, pixels are present for all the luminances within the luminance range up to the peak luminance, and a dark color corresponding to the number of pixels is drawn. From the 5th frame onward, there are no intermediate-brightness pixels, only high-brightness pixels and low-brightness pixels, and dark colors are drawn according to the number of pixels in the high-brightness and low-brightness parts. Has been done. By displaying the graphic image of FIG. 4, the user can easily confirm the brightness distribution of each frame in a relatively long period of the target moving image by shading and how many pixels have which brightness in each frame. Can be grasped (intuitively).
なお、図4では、発明の理解を容易にするために、各フレームの横幅を広く記載している。しかし、現実には、図11のように、各フレームの横幅を狭くしたほうが、長時間における時間変化を一度に確認することができるので好ましい。図11は、本実施形態に係るグラフィック画像の別の一例を示す図である。 In FIG. 4, the width of each frame is shown wide in order to facilitate the understanding of the invention. However, in reality, it is preferable to narrow the width of each frame as shown in FIG. 11 because the time change over a long period of time can be confirmed at once. FIG. 11 is a diagram showing another example of the graphic image according to the present embodiment.
なお、画素数を濃淡以外の色の変化で示してもよい。例えば、画素数が少ないほど青色に近く、且つ、画素数が多いほど赤色に近い色を描画してもよい。つまり、輝度軸方向及び/又は時間軸方向における画素数の変化をユーザが認識できるように、画素数に応じて、色相、彩度、及び明度の少なくともいずれか1つを異ならせればよい。例えば、グラフィック画像を白黒表示する場合には、画素数に応じて明度だけを異ならせればよい。 The number of pixels may be indicated by a change in color other than shading. For example, a color that is closer to blue as the number of pixels is smaller and closer to red as the number of pixels is larger may be drawn. That is, at least one of hue, saturation, and lightness may be different depending on the number of pixels so that the user can recognize the change in the number of pixels in the luminance axis direction and / or the time axis direction. For example, when displaying a graphic image in black and white, only the brightness needs to be changed according to the number of pixels.
なお、対応する画素が存在し且つ所定レンジ内の輝度に対応する座標を所定色でさらに示してもよい。図5(A),5(B)は、所定レンジ内の輝度に対応する座標を所定色で示した状態のグラフィック画像の一例を示す。図5(A),5(B)では、図4と同様に画素数が濃淡で示されている。 In addition, the coordinates corresponding to the existence of the corresponding pixel and the brightness within the predetermined range may be further indicated by the predetermined color. FIGS. 5 (A) and 5 (B) show an example of a graphic image in a state in which the coordinates corresponding to the brightness within a predetermined range are shown in a predetermined color. In FIGS. 5 (A) and 5 (B), the number of pixels is shown in shades as in FIG.
図5(A)は、対応する画素が存在し且つHDRレンジ外の輝度に対応する座標を所定色(警告色)で着色した場合の例を示す。図5(A)は、0〜400cd/m2のHDRレンジが設定されている場合の例を示す。図5(A)では、対応する画素が存在し且つ400cd/m2よりも高い輝度に対応する座標が警告色で着色されている(濃淡は維持されている)。図5(A)のグラフィック画像を表示することにより、ユーザは、警告色で着色されている部分を確認して、HDRレンジ外の輝度が使用されていることを容易に(直感的に)把握できる。 FIG. 5A shows an example in which the corresponding pixel exists and the coordinates corresponding to the brightness outside the HDR range are colored with a predetermined color (warning color). FIG. 5A shows an example in the case where the HDR range of 0 to 400 cd / m 2 is set. In FIG. 5A, the corresponding pixels are present and the coordinates corresponding to the luminance higher than 400 cd / m 2 are colored with a warning color (shading is maintained). By displaying the graphic image of FIG. 5 (A), the user can easily (intuitively) grasp that the brightness outside the HDR range is used by confirming the portion colored with the warning color. it can.
図5(B)は、対応する画素が存在する座標をフォルスカラー機能の変換色(座標に対応する輝度に応じた変換色)で着色した場合の例を示す。図5(B)では、変換色として、0〜50cd/m2に灰色が、50〜100cd/m2に緑色が、100〜200cd/m2に黄色が、200〜400cd/m2に橙色が、400〜1000cd/m2に赤色が対応付けられている。このため、対応する画素が存在し且つ0〜50cd/m2に対応する座標は灰色で着色されている。なお、図5(A)の場合と同様に、濃淡は維持されており、各色において画素数に応じて濃淡を変化させている。例えば、50〜100cd/m2の緑色のレンジでは、画素が少ない座標にRGBの各値が(0,255,0)の緑色を設定し、画素が多い座標にRGBの各値が(0,100,0)の濃い緑色を設定しても良い。他の輝度に対応する座標についても、同様に当該他の輝度に応じた変換色で着色されている。図5(B)のグラフィック画像を表示することにより、ユーザは、各部分(各座標)の濃淡と色を確認して、輝度分布をより容易に(より直観的に)把握できる。 FIG. 5B shows an example in which the coordinates in which the corresponding pixels exist are colored with the conversion color of the false color function (conversion color corresponding to the brightness corresponding to the coordinates). In FIG. 5 (B), as converted color, gray 0~50cd / m 2 is green 50~100cd / m 2 is yellow 100~200cd / m 2 is an orange to 200~400cd / m 2 , 400 to 1000 cd / m 2 are associated with red. Therefore, the corresponding pixel exists and the coordinates corresponding to 0 to 50 cd / m 2 are colored in gray. As in the case of FIG. 5A, the shading is maintained, and the shading is changed according to the number of pixels in each color. For example, in the green range of 50 to 100 cd / m 2 , each RGB value is set to (0,255,0) green in the coordinates with few pixels, and each RGB value is (0,255) in the coordinates with many pixels. The dark green color of 100,0) may be set. The coordinates corresponding to the other luminances are also colored with the conversion color corresponding to the other luminances. By displaying the graphic image of FIG. 5B, the user can confirm the shading and color of each part (each coordinate) and grasp the luminance distribution more easily (more intuitively).
なお、フォルスカラー機能が有効の場合に図5(B)の着色が行われ、且つ、フォルスカラー機能が無効の場合に図5(B)の着色が行われないように、フォルスカラー機能の有効/無効に応じて、図5(B)の着色の有効/無効が切り替えられてもよい。フォルスカラー機能の有効/無効に拘わらずに、図5(B)の着色が行われてもよい。図5(A),5(B)では輝度分布に対して着色を行っているが、フレームピーク輝度やフレーム平均輝度に対して輝度分布と同様の着色を行ってもよい。 The false color function is effective so that the coloring shown in FIG. 5B is performed when the false color function is enabled and the coloring shown in FIG. 5B is not performed when the false color function is disabled. Depending on the / invalidity, the coloring of FIG. 5B may be enabled / disabled. The coloring shown in FIG. 5B may be performed regardless of whether the false color function is enabled or disabled. In FIGS. 5A and 5B, the luminance distribution is colored, but the frame peak luminance and the frame average luminance may be colored in the same manner as the luminance distribution.
なお、ユーザ操作などに応じて、輝度分布の描画(図2の領域204への濃淡の描画)の有効/無効、HDRレンジ外への着色(図5(A))の有効/無効、フォルスカラー機能の変換色での着色(図5(B))の有効/無効などが切り替えられてもよい。図6は、本実施形態に係るグラフの生成に関する設定情報の一例を示すテーブルである。図6の例では、設定項目「分布表示」の設定情報として、輝度分布を描画する「ON」、または、輝度分布を描画しない「OFF」が設定される。設定項目「フォルスカラー着色」の設定情報として、フォルスカラー機能が有効になったことに応じて(連動して)変換色での着色を行う「フォルスカラー連動」、変換色での着色を常に行う「ON」、または、変換色での着色を行わない「OFF」が設定される。設定項目「レンジ外着色」の設定情報として、HDRレンジ外への着色を行う「ON」、または、HDRレンジ外への着色を行わない「OFF」が設定される。表示制御部106は、表示装置100に対するユーザ操作(
操作情報)などに応じて、これらの設定情報をグラフィック生成部108に設定する。
Depending on the user's operation, the drawing of the luminance distribution (drawing of light and shade in the area 204 in FIG. 2) is enabled / disabled, the coloring outside the HDR range (valid / disabled in FIG. 5 (A)), and the false color. The coloration (FIG. 5 (B)) of the function conversion color may be enabled / disabled. FIG. 6 is a table showing an example of setting information related to the generation of the graph according to the present embodiment. In the example of FIG. 6, “ON” for drawing the luminance distribution or “OFF” for not drawing the luminance distribution is set as the setting information of the setting item “distribution display”. As the setting information of the setting item "False color coloring", "False color interlocking" that colors with the converted color according to (interlocking) the false color function is enabled, and coloring with the converted color is always performed. "ON" or "OFF" that does not color with the converted color is set. As the setting information of the setting item "coloring outside the range", "ON" for coloring outside the HDR range or "OFF" for not coloring outside the HDR range is set. The display control unit 106 is a user operation for the display device 100 (
These setting information are set in the graphic generation unit 108 according to the operation information) and the like.
図7は、表示装置100の処理フロー例を示すフローチャートである。例えば、フレームピーク輝度の時間変化などのグラフの生成(表示)が有効な状態で、入力部101によって取得されたフレーム画像データが更新され、画像解析部102の解析結果がグラフィック生成部108に通知されると、図7の処理フローが開始する。階調カーブ、階調範囲、HDRレンジ、フォルスカラー機能の有効/無効などの設定情報がユーザ操作によって変更され、変更後の設定情報がグラフィック生成部108に通知された場合にも、図7の処理フローが開始する。
FIG. 7 is a flowchart showing an example of a processing flow of the
ステップS701にて、グラフィック生成部108は、対象フレーム画像データ(処理対象のフレーム画像データ;画像解析部102から出力されたフレーム画像データ)のフレームピーク輝度やフレーム平均輝度を算出し、グラフに描画する。つまり、本実施形態では、複数のフレーム画像データが入力部101によって順次(フレーム毎に)取得され、複数のフレーム画像データに関する情報がグラフに順次描画される。 In step S701, the graphic generation unit 108 calculates the frame peak brightness and the frame average brightness of the target frame image data (frame image data to be processed; frame image data output from the image analysis unit 102) and draws it on a graph. To do. That is, in the present embodiment, the plurality of frame image data are sequentially acquired by the input unit 101 (for each frame), and the information regarding the plurality of frame image data is sequentially drawn on the graph.
フレームピーク輝度やフレーム平均輝度の決定方法の具体例を説明する。 A specific example of a method for determining the frame peak brightness and the frame average brightness will be described.
グラフィック生成部108は、表示制御部106から出力された解析結果(画素情報)と設定情報(階調カーブと階調範囲)に基づいて、対象フレーム画像データの各階調値を輝度に変換する。 The graphic generation unit 108 converts each gradation value of the target frame image data into brightness based on the analysis result (pixel information) and setting information (gradation curve and gradation range) output from the display control unit 106.
図8は、画素情報(階調値と画素数の対応関係)、及び、階調値と変換後の輝度との対応関係の一例を示す。図8は、対象フレーム画像データによって表されたフレーム画像の解像度(水平方向の画素数×垂直方向の画素数)が1920×1080画素、つまりフレーム画像の総画素数が2073600画素である場合の例を示す。図8は、対象フレーム画像データの階調値が10ビットの値(0〜1023)である場合の例を示す。図8では、階調値940を有する画素の数が1036800画素であり、階調値64を有する画素の数が1036800画素である。 FIG. 8 shows an example of the pixel information (correspondence between the gradation value and the number of pixels) and the correspondence between the gradation value and the brightness after conversion. FIG. 8 shows an example in which the resolution of the frame image represented by the target frame image data (number of pixels in the horizontal direction × number of pixels in the vertical direction) is 1920 × 1080 pixels, that is, the total number of pixels of the frame image is 2073600 pixels. Is shown. FIG. 8 shows an example in which the gradation value of the target frame image data is a 10-bit value (0 to 1023). In FIG. 8, the number of pixels having the gradation value 940 is 1036800 pixels, and the number of pixels having the gradation value 64 is 1036800 pixels.
ここで、階調カーブとしてHLGが設定されており、階調値64〜階調値940のリミテッドレンジが設定されているとする。このため、グラフィック生成部108は、階調値64〜階調値940の階調範囲をHLGの輝度レンジ(0cd/m2〜1000cd/m2の輝度レンジ)に変換する。階調値64〜階調値940の階調範囲において、階調値の変化に対する輝度の変化はHLGに従う。さらに、グラフィック生成部108は、64よりも小さい階調値を0cd/m2に変換し、940よりも大きい階調値を1000cd/m2に変換する(クリップ処理)。
Here, it is assumed that HLG is set as the gradation curve and the limited range of the gradation value 64 to the gradation value 940 is set. Therefore, the graphic generation unit 108 converts the gradation range of the gradation value 64 to the gradation value 940 into the luminance range of HLG (luminance range of 0 cd /
なお、図8に示すような複数のテーブル(複数の階調カーブのいずれかと複数の階調範囲のいずれかとの複数の組み合わせに対応する複数のテーブル)を予め用意し、階調カーブと階調範囲の設定情報に応じたテーブルを用いて上記変換を行ってもよい。上記複数の組み合わせに対応する複数の計算式のうち、階調カーブと階調範囲の設定情報に応じた計算式を用いた計算により上記変換を行ってもよい。 A plurality of tables (a plurality of tables corresponding to a plurality of combinations of any of the plurality of gradation curves and any of the plurality of gradation ranges) as shown in FIG. 8 are prepared in advance, and the gradation curves and gradations are prepared. The above conversion may be performed using a table according to the range setting information. Of the plurality of calculation formulas corresponding to the plurality of combinations, the above conversion may be performed by calculation using the calculation formula according to the setting information of the gradation curve and the gradation range.
なお、図8では、HLGの輝度レンジとして0cd/m2〜1000cd/m2の輝度レンジを用いたが、HLGで規定されている輝度は相対輝度であり、HLGの輝度レンジ(絶対輝度のレンジ)は変更可能である。例えば、HLGの輝度レンジは、0cd/m2〜2000cd/m2の輝度レンジなどに変更可能である。HLGの輝度レンジが変わると、階調値と変換後の輝度との対応関係も変わる。
In FIG. 8, a brightness range of 0 cd /
上記変換の後、グラフィック生成部108は、画素情報から、画素が存在し且つ最も大きい階調値を判断する。そして、グラフィック生成部108は、判断した階調値に対応する輝度(上記変換後の輝度)を、フレームピーク輝度として決定する。図8の例では、画素が存在し且つ最も大きい階調値は940であり、上記変換により階調値940は輝度1000cd/m2に変換されている。このため、1000cd/m2がフレームピーク輝度として決定される。 After the above conversion, the graphic generation unit 108 determines from the pixel information that the pixel exists and the largest gradation value. Then, the graphic generation unit 108 determines the brightness corresponding to the determined gradation value (the brightness after the conversion) as the frame peak brightness. In the example of FIG. 8, the pixel is present and the largest gradation value is 940, and the gradation value 940 is converted to a brightness of 1000 cd / m 2 by the above conversion. Therefore, 1000 cd / m 2 is determined as the frame peak brightness.
さらに、グラフィック生成部108は、各階調値について画素数と変換後の輝度との積(画素数×輝度)を算出し、算出結果(乗算値)の総和を算出する。これにより、全画素の輝度の総和が得られる。そして、グラフィック生成部108は、全画素の輝度の総和を総画素数で除算すること(全画素の輝度の総和/総画素数)により、フレーム平均輝度を算出する。図8の例では、「1036800画素×1000cd/m2+1036800画素×0cd/m2/2073600画素」により、500cd/m2がフレーム平均輝度として算出される。 Further, the graphic generation unit 108 calculates the product (number of pixels × brightness) of the number of pixels and the brightness after conversion for each gradation value, and calculates the total of the calculation results (multiplication value). As a result, the total brightness of all the pixels can be obtained. Then, the graphic generation unit 108 calculates the frame average brightness by dividing the total brightness of all the pixels by the total number of pixels (total brightness of all pixels / total number of pixels). In the example of FIG. 8, the "1,036,800 pixels × 1000cd / m 2 +1036800 pixels × 0cd / m 2/2073600 pixels", 500 cd / m 2 is calculated as the frame average luminance.
図7の説明に戻る。ステップS702にて、グラフィック生成部108は、図6の設定項目「分布表示」の設定情報が「ON」であるか否かを判断する。「ON」の場合はステップS703へ処理が進む。「OFF」の場合は、グラフに輝度分布が描画されず、本処理フローが終了する。 Returning to the description of FIG. In step S702, the graphic generation unit 108 determines whether or not the setting information of the setting item “distribution display” in FIG. 6 is “ON”. If it is "ON", the process proceeds to step S703. When it is "OFF", the luminance distribution is not drawn on the graph, and the present processing flow ends.
ステップS703にて、グラフィック生成部108は、図6の設定項目「フォルスカラー着色」の設定情報と、フォルスカラー機能の有効/無効とに基づいて、フォルスカラー機能の変換色での着色を行うか否かを判断する。変換色での着色を行う場合はステップS704へ処理が進み、変換色での着色を行わない場合はステップS705へ処理が進む。具体的には、図6の設定項目「フォルスカラー着色」の設定情報が「ON」の場合と、設定項目「フォルスカラー着色」の設定情報が「フォルスカラー連動」であり且つフォルスカラー機能が有効である場合とにおいて、ステップS704へ処理が進む。設定項目「フォルスカラー着色」の設定情報が「フォルスカラー連動」であり且つフォルスカラー機能が無効である場合と、設定項目「フォルスカラー着色」の設定情報が「OFF」の場合とにおいて、ステップS705へ処理が進む。 In step S703, the graphic generation unit 108 performs coloring with the converted color of the false color function based on the setting information of the setting item “false color coloring” in FIG. 6 and the enable / disable of the false color function. Judge whether or not. When coloring with the converted color, the process proceeds to step S704, and when coloring with the converted color is not performed, the process proceeds to step S705. Specifically, when the setting information of the setting item "False color coloring" in FIG. 6 is "ON", the setting information of the setting item "False color coloring" is "False color interlocking" and the false color function is effective. In the case where, the process proceeds to step S704. Step S705 when the setting information of the setting item "False color coloring" is "False color interlocking" and the false color function is invalid, and when the setting information of the setting item "False color coloring" is "OFF". Processing proceeds to.
ステップS704にて、グラフィック生成部108は、表示制御部106から出力された色情報(輝度と変換色の対応関係)と、ステップS701の変換結果(各輝度の画素数)とに基づいて、対象フレーム画像データの輝度分布をグラフに描画する。具体的には、輝度分布をフォルスカラー機能の変換色で着色して描画する。これにより、図5(B)に示すようなグラフィック画像が生成されて表示される。 In step S704, the graphic generation unit 108 targets based on the color information (correspondence between luminance and converted color) output from the display control unit 106 and the conversion result (number of pixels of each luminance) in step S701. Draw the luminance distribution of the frame image data on the graph. Specifically, the luminance distribution is colored with the conversion color of the false color function and drawn. As a result, a graphic image as shown in FIG. 5B is generated and displayed.
ステップS705にて、グラフィック生成部108は、図6の設定項目「レンジ外着色」の設定情報が「ON」であるか否かを判断する。「ON」の場合はステップS706へ処理が進み、「OFF」の場合はステップS707へ処理が進む。 In step S705, the graphic generation unit 108 determines whether or not the setting information of the setting item “out-of-range coloring” in FIG. 6 is “ON”. If it is "ON", the process proceeds to step S706, and if it is "OFF", the process proceeds to step S707.
ステップS706にて、グラフィック生成部108は、表示制御部106から出力されたHDRレンジと、ステップS701の変換結果(各輝度の画素数)とに基づいて、対象フレーム画像データの輝度分布をグラフに描画する。具体的には、HDRレンジ外への着色を行って輝度分布を描画する。これにより、図5(A)に示すようなグラフィック画像が生成されて表示される。 In step S706, the graphic generation unit 108 graphs the brightness distribution of the target frame image data based on the HDR range output from the display control unit 106 and the conversion result (number of pixels of each brightness) in step S701. draw. Specifically, the luminance distribution is drawn by coloring outside the HDR range. As a result, a graphic image as shown in FIG. 5A is generated and displayed.
ステップS707にて、グラフィック生成部108は、ステップS701の変換結果(各輝度の画素数)に基づいて、着色を行わずに、対象フレーム画像データの輝度分布をグラフに描画する。これにより、図4に示すようなグラフィック画像が生成されて表示され
る。
In step S707, the graphic generation unit 108 draws the luminance distribution of the target frame image data on the graph based on the conversion result (the number of pixels of each luminance) in step S701 without performing coloring. As a result, a graphic image as shown in FIG. 4 is generated and displayed.
なお、フレームピーク輝度、フレーム平均輝度、及び、輝度分布を1フレーム毎に描画(追加)して、グラフを1フレーム毎に更新する例を説明したが、そうでなくてもよい。例えば、フレームピーク輝度、フレーム平均輝度、及び、輝度分布を2フレーム毎に描画(追加)して、グラフを2フレーム毎に更新してもよい。これにより、グラフの更新頻度や情報の描画量を低減することができる。この場合は、フレームピーク輝度、フレーム平均輝度、及び、輝度分布が2フレーム毎に間引かれてもよい。つまり、フレームピーク輝度、フレーム平均輝度、及び、輝度分布は、1フレームに対応する情報であってもよい。フレームピーク輝度、フレーム平均輝度、及び、輝度分布は、2フレームの情報の平均であってもよい。 Although the example in which the frame peak brightness, the frame average brightness, and the brightness distribution are drawn (added) for each frame and the graph is updated for each frame has been described, this may not be the case. For example, the frame peak brightness, the frame average brightness, and the brightness distribution may be drawn (added) every two frames, and the graph may be updated every two frames. As a result, the frequency of updating the graph and the amount of information drawn can be reduced. In this case, the frame peak brightness, the frame average brightness, and the brightness distribution may be thinned out every two frames. That is, the frame peak brightness, the frame average brightness, and the brightness distribution may be information corresponding to one frame. The frame peak brightness, the frame average brightness, and the brightness distribution may be the average of the information of two frames.
なお、10ビットの対象動画データを10ビットの精度で解析する例を説明したが、10ビットの対象動画データを、10ビットよりも低い精度で解析してもよい。例えば、8ビットの精度で、階調値0〜3の画素数や、階調値4〜6の画素数などをカウントしてもよい。 Although an example of analyzing the 10-bit target moving image data with an accuracy of 10 bits has been described, the 10-bit target moving image data may be analyzed with an accuracy lower than 10 bits. For example, the number of pixels having a gradation value of 0 to 3 or the number of pixels having a gradation value of 4 to 6 may be counted with an accuracy of 8 bits.
なお、輝度レベルとして絶対輝度を使用する例を説明したが、輝度レベルは絶対輝度に限られない。例えば、輝度レベルとして階調値を使用してもよい。その場合は、階調値から輝度への変換は行わず、フレーム画像のピーク階調値(最大階調値)をフレームピーク輝度として決定し、フレーム画像の平均階調値「APL(AveragePicture
Level)」をフレーム平均輝度として決定してもよい。輝度レベルの種類を適宜切り替えてもよい。HDR画像を処理するための設定がされている場合、例えばHLGやPQなどの階調カーブが設定されている場合に、輝度レベルとして絶対輝度を使用してもよい。そして、SDR画像を処理するための設定がされている場合、例えばガンマ2.2などの階調カーブが設定されている場合に、輝度レベルとして階調値を使用してもよい。
Although an example of using absolute brightness as the brightness level has been described, the brightness level is not limited to absolute brightness. For example, a gradation value may be used as the brightness level. In that case, the gradation value is not converted to the brightness, the peak gradation value (maximum gradation value) of the frame image is determined as the frame peak brightness, and the average gradation value of the frame image "APL (Average Picture)" is determined.
Level) ”may be determined as the frame average brightness. The type of brightness level may be switched as appropriate. Absolute brightness may be used as the brightness level when the setting for processing the HDR image is set, for example, when the gradation curve such as HLG or PQ is set. Then, when the setting for processing the SDR image is set, for example, when the gradation curve such as gamma 2.2 is set, the gradation value may be used as the brightness level.
なお、フレーム画像データを1フレーム毎に取得して、グラフを1フレーム毎に更新する例を説明したが、そうでなくてもよい。例えば、動画ファイル(対象動画データの全体)を取得し、全フレーム画像データを解析し、全フレーム画像データの輝度分布が描画されたグラフを一括で生成してもよい。1つの動画ファイルのみを取得してもよいし、順番に再生する複数の動画ファイルを取得してもよい。複数の動画ファイルを取得した場合は、複数の動画ファイルの輝度分布を示すグラフを生成してもよい。 Although the example of acquiring the frame image data for each frame and updating the graph for each frame has been described, this may not be the case. For example, a moving image file (the entire target moving image data) may be acquired, all frame image data may be analyzed, and a graph in which the brightness distribution of all frame image data is drawn may be collectively generated. Only one moving image file may be acquired, or a plurality of moving image files to be played back in order may be acquired. When a plurality of moving image files are acquired, a graph showing the brightness distribution of the plurality of moving image files may be generated.
図9は、動画ファイルに基づいて生成したグラフの一例を示す。図9は、ファイル名「video_001.mov」,「video_002.mov」の2つの動画ファイルを連続して再生する場合の例を示す。図9では、時間軸(タイムライン)上に2つの動画ファイルのファイル名が描画されている。そして、2つの動画ファイルのフレームピーク輝度、フレーム平均輝度、及び、輝度分布の時間変化が示されている。このようなグラフを表示することで、ユーザは、複数の動画ファイルの輝度分布の時間変化などを確認して、複数の動画ファイルを連続して再生した場合に好適な見え方で動画ファイルが切り替わるかなどを容易に(直感的に)把握できる。これにより、ユーザは各動画ファイルを好適に編集できる(編集の効率が向上する)。複数の動画ファイルは、例えば、連結して1つの動画ファイルとすることを想定した複数の動画ファイルである。 FIG. 9 shows an example of a graph generated based on a moving image file. FIG. 9 shows an example in which two moving image files having the file names “video_001.mov” and “video_002.mov” are continuously played back. In FIG. 9, the file names of the two moving image files are drawn on the time axis (timeline). Then, the frame peak luminance, the frame average luminance, and the temporal variation of the luminance distribution of the two moving image files are shown. By displaying such a graph, the user can check the time change of the brightness distribution of a plurality of video files, and the video files are switched in a suitable appearance when the plurality of video files are played continuously. You can easily (intuitively) grasp the file. As a result, the user can appropriately edit each moving image file (editing efficiency is improved). The plurality of moving image files are, for example, a plurality of moving image files that are assumed to be concatenated into one moving image file.
なお、対象動画データを解析して、フレームピーク輝度、フレーム平均輝度、及び、画素情報を取得する例を説明したが、そうでなくてもよい。フレームピーク輝度、フレーム平均輝度、及び、画素情報の少なくともいずれかの情報が、対象動画データに対応するメタデータに含まれている場合には、メタデータから情報を取得してもよい。その際、メタデータは、対象動画データに付加されたメタデータ(対象動画データに含まれたメタデー
タ)であってもよいし、対象動画データとは独立したメタデータ(メタファイル)であってもよい。
Although an example of acquiring the frame peak brightness, the frame average brightness, and the pixel information by analyzing the target moving image data has been described, this may not be the case. When at least one of the frame peak brightness, the frame average brightness, and the pixel information is included in the metadata corresponding to the target moving image data, the information may be acquired from the metadata. At that time, the metadata may be metadata added to the target video data (metadata included in the target video data), or metadata (metafile) independent of the target video data. May be good.
なお、画素数を濃淡で示す例を説明したが、画素の有無だけを2値で示してもよい。例えば、上記グラフにおいて、対応する画素が存在する座標で描画を行い、対応する画素が存在しない座標で描画を行わないようにしてもよい。画素の有無については、画素数が所定の閾値以上の場合は「有」とし、閾値未満の場合は「無」としてもよい。例えば、画素数が10以上の場合は「有」とし、10画素未満の場合は「無」としても良い。所定の閾値は、ユーザの設定により可変としてもよい。 Although the example in which the number of pixels is indicated by shading has been described, only the presence or absence of pixels may be indicated by binary values. For example, in the above graph, drawing may be performed at the coordinates where the corresponding pixel exists, and drawing may not be performed at the coordinates where the corresponding pixel does not exist. Regarding the presence or absence of pixels, if the number of pixels is equal to or greater than a predetermined threshold value, it may be “Yes”, and if it is less than the threshold value, it may be “None”. For example, if the number of pixels is 10 or more, it may be "Yes", and if it is less than 10 pixels, it may be "No". The predetermined threshold value may be variable according to the user's setting.
以上述べたように、本実施形態によれば、動画の各時間位置における各画素の輝度(輝度レベル)に関する画素情報が取得される。そして、画素情報に基づいて、時間軸と輝度軸(輝度レベル軸)とを有するグラフとして、対応する画素の有無または数を各座標で示すグラフが生成される。これにより、比較的長い期間における輝度レベル分布の時間変化をユーザに容易に(直感的に)把握させることが可能となる。 As described above, according to the present embodiment, pixel information regarding the brightness (luminance level) of each pixel at each time position of the moving image is acquired. Then, based on the pixel information, a graph showing the presence or absence or the number of corresponding pixels in each coordinate is generated as a graph having a time axis and a luminance axis (luminance level axis). This makes it possible for the user to easily (intuitively) grasp the time change of the luminance level distribution over a relatively long period of time.
なお、本実施形態(図1)の各ブロックは、個別のハードウェアであってもよいし、そうでなくてもよい。2つ以上のブロックの機能が、共通のハードウェアによって実現されてもよい。1つのブロックの複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。1つのブロックの2つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各ブロックは、ハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリとを有していてもよい。そして、装置が有する少なくとも一部のブロックの機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。 It should be noted that each block of the present embodiment (FIG. 1) may or may not be individual hardware. The function of two or more blocks may be realized by common hardware. Each of the plurality of functions of one block may be realized by individual hardware. Two or more functions of one block may be realized by common hardware. Also, each block may or may not be implemented by hardware. For example, the device may have a processor and a memory in which the control program is stored. Then, the function of at least a part of the blocks of the device may be realized by the processor reading the control program from the memory and executing it.
なお、本実施形態(上述した変形例を含む)はあくまで一例であり、本発明の要旨の範囲内で本実施形態の構成を適宜変形したり変更したりすることにより得られる構成も、本発明に含まれる。 It should be noted that the present embodiment (including the above-described modified example) is merely an example, and a configuration obtained by appropriately modifying or changing the configuration of the present embodiment within the scope of the gist of the present invention is also the present invention. include.
<その他の実施形態>
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
<Other Embodiments>
The present invention supplies a program that realizes one or more functions of the above-described embodiment to a system or device via a network or storage medium, and one or more processors in the computer of the system or device reads and executes the program. It can also be realized by the processing to be performed. It can also be realized by a circuit (for example, ASIC) that realizes one or more functions.
100:表示装置 102:画像解析部 108:グラフィック生成部 100: Display device 102: Image analysis unit 108: Graphic generation unit
Claims (14)
前記情報に基づいて、前記時間位置を示す第1軸と、前記第1軸に交差する、前記輝度レベルを示す第2軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成する生成手段と、
を有することを特徴とする情報処理装置。 An acquisition means for acquiring information on the brightness level of each pixel at each time position of the moving image, and
Based on the information, it has a first axis indicating the time position and a second axis indicating the brightness level intersecting the first axis, and the presence / absence or number of corresponding pixels is indicated by each coordinate. The generation means to generate the graph shown and
An information processing device characterized by having.
ことを特徴とする請求項1に記載の情報処理装置。 The information processing apparatus according to claim 1, wherein the generation means generates the graph showing the number of corresponding pixels at each coordinate.
ことを特徴とする請求項2に記載の情報処理装置。 The information processing apparatus according to claim 2, wherein the generation means generates the graph in which the number of pixels corresponding to the coordinates is indicated by the color of the coordinates.
ことを特徴とする請求項1〜3のいずれか1項に記載の情報処理装置。 The generation means according to any one of claims 1 to 3, wherein the generation means generates the graph in which the corresponding pixels are present and the coordinates corresponding to the luminance level within the predetermined range are further shown in a predetermined color. Information processing equipment.
前記生成手段は、対応する画素が存在する座標を、対応する輝度レベルに応じた前記変換色で示す前記グラフを生成する
ことを特徴とする請求項4に記載の情報処理装置。 The moving image display method includes a method of displaying the moving image by performing a process of converting the color of the pixel into a conversion color according to the brightness level of the pixel for each pixel.
The information processing apparatus according to claim 4, wherein the generation means generates the graph in which the coordinates in which the corresponding pixels exist are indicated by the conversion colors corresponding to the corresponding luminance levels.
前記所定レンジは、圧縮後のレンジ外のレンジである
ことを特徴とする請求項4に記載の情報処理装置。 The moving image display method includes a method of compressing the brightness level range and displaying the moving image.
The information processing apparatus according to claim 4, wherein the predetermined range is a range outside the compressed range.
ことを特徴とする請求項6に記載の情報処理装置。 The information processing apparatus according to claim 6, wherein the generation means makes at least one of the hue, saturation, and lightness of the coordinates different according to the number of pixels corresponding to the coordinates.
ことを特徴とする請求項1〜7のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 7, wherein the acquisition means acquires the information by analyzing moving image data representing the moving image.
ことを特徴とする請求項1〜7のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 7, wherein the acquisition means acquires the information from the metadata corresponding to the moving image.
ことを特徴とする請求項1〜9のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 9, wherein the generation means further generates the graph showing the time change of the average luminance level of the moving image.
ことを特徴とする請求項1〜10のいずれか1項に記載の情報処理装置。 The information processing apparatus according to any one of claims 1 to 10, wherein the generation means further generates the graph showing the time change of the maximum luminance level of the moving image.
ことを特徴とする請求項1〜11のいずれか1項に記載の情報処理装置。 The information processing device according to any one of claims 1 to 11, wherein the moving image is an HDR (high dynamic range) image.
前記情報に基づいて、前記時間位置を示す第1軸と、前記第1軸に交差する、前記輝度レベルを示す第2軸とを有し、且つ、対応する画素の有無または数を各座標で示すグラフを生成するステップと、
を有することを特徴とする情報処理方法。 Steps to get information about the brightness level of each pixel at each time position in the video,
Based on the information, it has a first axis indicating the time position and a second axis indicating the brightness level intersecting the first axis, and the presence / absence or number of corresponding pixels is indicated by each coordinate. Steps to generate the graph shown and
An information processing method characterized by having.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020202957A JP7271490B2 (en) | 2020-12-07 | 2020-12-07 | Information processing device and information processing method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020202957A JP7271490B2 (en) | 2020-12-07 | 2020-12-07 | Information processing device and information processing method |
Related Parent Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019000549A Division JP6808762B2 (en) | 2019-01-07 | 2019-01-07 | Information processing device and information processing method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021057060A true JP2021057060A (en) | 2021-04-08 |
| JP7271490B2 JP7271490B2 (en) | 2023-05-11 |
Family
ID=75270943
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020202957A Active JP7271490B2 (en) | 2020-12-07 | 2020-12-07 | Information processing device and information processing method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7271490B2 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558254A (en) * | 2024-01-11 | 2024-02-13 | 宁波赛宝信息产业技术研究院有限公司 | Display screen brightness adjusting method, system, equipment and storage medium |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04235589A (en) * | 1991-01-11 | 1992-08-24 | Nippon Telegr & Teleph Corp <Ntt> | Display of contents of animated picture |
| JP2008242812A (en) * | 2007-03-27 | 2008-10-09 | Casio Comput Co Ltd | Image reproduction apparatus and program |
| JP2010021893A (en) * | 2008-07-11 | 2010-01-28 | Canon Inc | Moving image processing apparatus, and moving image processing method |
| JP2010113288A (en) * | 2008-11-10 | 2010-05-20 | Sony Corp | Histogram display device and histogram display method |
| JP2017181762A (en) * | 2016-03-30 | 2017-10-05 | キヤノン株式会社 | Display device and display method |
| JP2018146949A (en) * | 2017-03-01 | 2018-09-20 | キヤノン株式会社 | Image processing device and image processing method |
| JP6808762B2 (en) * | 2019-01-07 | 2021-01-06 | キヤノン株式会社 | Information processing device and information processing method |
-
2020
- 2020-12-07 JP JP2020202957A patent/JP7271490B2/en active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH04235589A (en) * | 1991-01-11 | 1992-08-24 | Nippon Telegr & Teleph Corp <Ntt> | Display of contents of animated picture |
| JP2008242812A (en) * | 2007-03-27 | 2008-10-09 | Casio Comput Co Ltd | Image reproduction apparatus and program |
| JP2010021893A (en) * | 2008-07-11 | 2010-01-28 | Canon Inc | Moving image processing apparatus, and moving image processing method |
| JP2010113288A (en) * | 2008-11-10 | 2010-05-20 | Sony Corp | Histogram display device and histogram display method |
| JP2017181762A (en) * | 2016-03-30 | 2017-10-05 | キヤノン株式会社 | Display device and display method |
| JP2018146949A (en) * | 2017-03-01 | 2018-09-20 | キヤノン株式会社 | Image processing device and image processing method |
| JP6808762B2 (en) * | 2019-01-07 | 2021-01-06 | キヤノン株式会社 | Information processing device and information processing method |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117558254A (en) * | 2024-01-11 | 2024-02-13 | 宁波赛宝信息产业技术研究院有限公司 | Display screen brightness adjusting method, system, equipment and storage medium |
| CN117558254B (en) * | 2024-01-11 | 2024-04-26 | 宁波赛宝信息产业技术研究院有限公司 | Display screen brightness adjusting method, system, equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7271490B2 (en) | 2023-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6921886B2 (en) | Information processing device and information processing method | |
| JP7612061B2 (en) | A scalable system for controlling color management including various levels of metadata | |
| EP2539884B1 (en) | Display management methods and apparatus | |
| JP6808762B2 (en) | Information processing device and information processing method | |
| JP6478499B2 (en) | Image processing apparatus, image processing method, and program | |
| KR20140066771A (en) | Apparatus and method for dynamic range transforming of images | |
| JP6700880B2 (en) | Information processing apparatus and information processing method | |
| JP5165076B2 (en) | Video display device | |
| US20210195139A1 (en) | Method for converting an image and corresponding device | |
| US11574607B2 (en) | Display device and control method of display device | |
| US11869174B2 (en) | Image processing apparatus, display apparatus, image processing method, and non-transitory computer readable medium | |
| JP7271490B2 (en) | Information processing device and information processing method | |
| KR20180094949A (en) | Methods, devices, terminal equipment and associated computer programs for processing digital images | |
| JP2020127068A (en) | Control device and control method | |
| JP2022079199A (en) | Display device | |
| JP5476108B2 (en) | Display device | |
| JP2024039874A (en) | Image processing device, control method and program for the image processing device | |
| JP2020095120A (en) | Image processing system, control method, program, and storage medium | |
| JP2019062539A (en) | Image processing apparatus and display determination method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211214 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211214 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221025 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221129 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230328 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230426 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 7271490 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |