JP2025512523A - 復号化方法、符号化方法、デコーダ、エンコーダ - Google Patents

Abstract

本願の実施例は、復号化方法、符号化方法、デコーダ、およびエンコーダを提供する。前記復号化方法は、前記コードストリームを復号化して、前記現在ブロックの第１変換係数を取得するステップと、前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得するステップと、前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得するステップと、予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、前記現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得するステップと、前記現在ブロックの予測ブロックと前記現在ブロックの残差ブロックに基づいて、前記現在ブロックの再構成ブロックを取得するステップと、を含む。本願では、予測モード導出モードと第２変換とを基に第１変換を導入して、現在ブロックの解凍効率を向上できる。

Description

本願の実施例は、画像ビデオの符号化・復号化の技術分野に関し、より具体的には、復号化方法、符号化方法、デコーダおよびエンコーダに関する。

デジタルビデオ圧縮技術は、送信・保存しやすくなるように、主に膨大なデジタルビデオデータを圧縮する。インターネットビデオの普及に伴い、ビデオの鮮明さに対する要求は、ますます高くなっていく。既存のデジタルビデオ圧縮規格でもビデオ解凍技術を実現できるが、圧縮効率を向上させるために、より優れるデジタルビデオ解凍技術を追求する必要がある。

本願の実施例は、圧縮効率を向上可能な復号化方法、符号化方法、デコーダおよびエンコーダを提供する。
第１側面では、本願は、復号化方法を提供することであって、前記方法は、
コードストリームを復号化して、現在ブロックの第１変換係数を取得するステップと、
前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得するステップと、
前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得するステップと、
予測モード導出モードによって導出された第２イントラ予測モードと第１イントラ予測モードとに基づいて、前記現在ブロックの予測ブロックを取得するステップと、
前記現在ブロックの予測ブロックと前記現在ブロックの残差ブロックに基づいて、前記現在ブロックの再構成ブロックを取得するステップと、を含む。

第２側面では、本願は、符号化方法を提供することであって、前記方法は、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得するステップと、
前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得するステップと、
前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得するステップと、
第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得するステップと、
第４変換係数に対して符号化するステップと、を含む。

第３側面では、本願は、デコーダを提供することであって、前記デコーダは、
コードストリームを復号化して現在ブロックの第１変換係数を取得することに用いられる復号化ユニットと、
前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得し、前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得することに用いられる変換ユニットと
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、前記現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニットと、
前記現在ブロックの予測ブロックと、前記現在ブロックの残差ブロックとに基づいて、前記現在ブロックの再構成ブロックを取得することに用いられる再構成ユニットと、を含む。

第４側面では、本願は、エンコーダを提供することであって、前記エンコーダは、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、現在ブロックを予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニットと、
前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得することに用いられる残差ユニットと、
前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得し、
前記第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得する変換ユニットと、
前記第４変換係数に対して符号化することに用いられる符号化ユニットと、を含む。

第５側面では、本願は、デコーダを提供することであって、前記デコーダは、
コンピュータ命令を実行するように構成されるプロセッサと、
コンピュータ命令が記憶されるコンピュータ読み取り可能な記憶媒体であって、コンピュータ命令は、プロセッサが上記第１側面または各側面における復号化方法をロードして実行するように構成されるコンピュータ読み取り可能な記憶媒体と、を含む。

一実装形態では、該プロセッサは１つまたは複数であり、該メモリは１つまたは複数である。

一実装形態では、該コンピュータ読み取り可能な記憶媒体はプロセッサと共に実現されてもよいし、プロセッサと別に設置されてもよい。

第６側面では、本願は、エンコーダを提供することであって、前記エンコーダは、
コンピュータ命令を実行するように構成されるプロセッサと、
コンピュータ命令が記憶されるコンピュータ読み取り可能な記憶媒体であって、コンピュータ命令はプロセッサが上記第２側面または各側面における符号化方法をロードして実行するように構成されるコンピュータ読み取り可能な記憶媒体と、を含む。

一実装形態では、該プロセッサは１つまたは複数であり、該メモリは１つまたは複数である。

一実装形態では、該コンピュータ読み取り可能な記憶媒体はプロセッサと共に実現されてもよいし、コンピュータ読み取り可能な記憶媒体はプロセッサとは別に設置されてもよい。

第７側面では、本願は、コンピュータ命令が記憶されるコンピュータ読み取り可能な記憶媒体を提供することであって、コンピュータ命令がコンピュータ装置のプロセッサによって読み取られて実行される場合、コンピュータ装置は上記第１側面に係る復号化方法または上記第２側面に係る符号化方法を実行させる。

第８の側面において、本願は、上記第１側面に係るコードストリームまたは上記第２側面に係るコードストリームを提供する。

上記の技術的方案に基づいて、本願は、予測モード導出モードと第２変換を基に、第１変換を導入して、現在ブロックの解凍効率を向上させることができる。

本願の実施例によって提供される符号化フレームワークの概略ブロック図である。 本願の実施例によって提供される６５つの角度予測モードの具体的な方向の概略図である。 本願の実施例によって提供される広角度予測モードの参照画素の例である。 本願の実施例によって提供されるＭＩＰモードの概略図である。 本願の実施例によって提供されるＤＩＭＤに基づいて予測モードを導出する概略図である。 本願の実施例によって提供されるＤＩＭＤに基づいて予測ブロックを導出する概略図である。 本願の実施例によって提供されるＴＩＭＤで使用されるテンプレートの概略図である。 本願の実施例によって提供されるＧＰＭの正方形ブロックにおける６４つの重み導出モードに対応する重みマップの例である。 本願の実施例によって提供される重み導出モードにおける分割線の例である。 本願の実施例によって提供されるＡＷＰの正方形ブロックにおける５６つの重み導出モードに対応する重みマップの例である。 本願の実施例によって提供されるＧＰＭまたはＡＷＰの概略図である。 本願の実施例によって提供されるＤＣＴ２タイプの基画像の例示である。 本願の実施例によって提供されるＬＦＮＳＴの例である。 本願の実施例によって提供されるＬＦＮＳＴの変換行列群の例である。 本願の実施例によって提供される復号化フレームワークの概略ブロック図である。 本願の実施例によって提供される復号化方法の概略的なフローチャートである。 本願の実施例によって提供される符号化方法の概略的なフローチャートである。 本願の実施例によって提供されるデコーダの概略ブロック図である。 本願の実施例によって提供されるエンコーダの概略ブロック図である。 本願の実施例によって提供される電子機器の概略ブロック図である。

以下、添付図面を参照して、本願の実施例における技術的方案について説明する。
本願の実施例によって提供される方案は、デジタルビデオ符号化技術の分野に適用することができる。例えば、画像符号化・復号化、ビデオ符号化・復号化、ハードウェアビデオ符号化・復号化、専用回路ビデオ符号化・復号化、リアルタイムビデオ符号化・復号化の分野を含むが、これらに限定されない。さらに、本願の実施例によって提供される方案は、オーディオおよびビデオ符号化規格（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ、ＡＶＳ）、第２世代ＡＶＳ規格（ＡＶＳ２）、または第３世代ＡＶＳ規格（ＡＶＳ３）に組み込まれることができる。例えば、Ｈ．２６４／オーディオビデオ符号化（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ、ＡＶＣ）規格、Ｈ．２６５／高効率ビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）規格、およびＨ．２６６／多用途ビデオ符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）規格を含むが、これらに限定されない。さらに、本願の実施例によって提供される方案は、画像の非可逆圧縮（ｌｏｓｓｙ ｃｏｍｐｒｅｓｓｉｏｎ）、画像の可逆圧縮（ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）にも用いられることができる。該可逆圧縮は、視覚的可逆圧縮（ｖｉｓｕａｌｌｙ ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）または数学的可逆圧縮（ｍａｔｈｅｍａｔｉｃａｌｌｙ ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）であってもよい。

ビデオの符号化・復号化の規格は、いずれもブロックベースのハイブリッド符号化フレームワークを採用する。ビデオにおける各フレームは、同じサイズ（１２８×１２８、６４×６４など）の最も大きな符号化ユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）または符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）の正方形に分割される。各最大符号化ユニットまたは符号化ツリーユニットは、ルールに従って長方形の符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）に分割される。符号化ユニットは、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）などに分割されることもある。ハイブリッド符号化フレームワークは、予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、エントロピー符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、ループフィルター（ｉｎ ｌｏｏｐ ｆｉｌｔｅｒ）などのモジュールを含む。予測モジュールは、イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）とインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を含む。インター予測は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）と動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を含む。ビデオにおける１つのフレームにおける隣接する画素間には強い関連性があるため、ビデオ符号化・復号化技術では、イントラ予測方法が使用され、隣接する画素間の空間的冗長性が排除される。イントラ予測は、同一フレーム画像の情報のみを参照し、現在の分割ブロックにおける画素情報を予測する。ビデオにおける隣接フレームの間には強い関連性があるため、ビデオ符号化・復号化技術では、インター予測方法が使用され、隣接フレームの間の時間的冗長性を排除し、符号化効率を向上させる。インター予測では、異なるフレームの画像情報を参照し、動き推定を用いて現在の分割ブロックに最も適合する動きベクトル情報を探索することができる。この変換は、予測された画像ブロックを周波数領域に変換し、エネルギーを再配分して、量子化と組み合わせることで、人間の目に影響を与えていない情報を削除できることにより、視覚的冗長性を除去する。エントロピー符号化は、現在のコンテキストモデルとバイナリコードストリームの確率情報に基づいて文字的冗長性を排除できる。

デジタルビデオ符号化プロセスでは、エンコーダは、まずオリジナルビデオシーケンスから白黒画像またはカラー画像を読み取り、次にその白黒画像またはカラー画像に対して符号化する。白黒画像は輝度成分の画素を含むことができ、カラー画像はクロミナンス成分の画素を含むことができる。選択的に、カラー画像には輝度成分を持つ画素も含まれる場合がある。オリジナルビデオシーケンスのカラーフォーマットは、輝度クロミナンス（ＹＣｂＣｒ、ＹＵＶ）フォーマットまたは赤緑青（Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ、ＲＧＢ）フォーマットなどであってもよい。具体的には、エンコーダは、１つの白黒画像またはカラー画像を読み取った後、ブロックにそれぞれ分割し、現在ブロックに対してイントラ予測またはインター予測を使用して、現在ブロックの予測ブロックを生成する。現在ブロックのオリジナルブロックから予測ブロックを減算して残差ブロックを取得して、残差ブロックを変換・量子化して量子化係数行列を取得して、量子化係数行列に対してエントロピー符号化してコードストリームに出力する。デジタルビデオ復号化プロセスにおいて、デコーダは、現在ブロックに対してイントラ予測またはインター予測を使用して、現在ブロックの予測ブロックを生成する。また、デコーダは、コードストリームを復号化して量子化係数行列を取得し、量子化係数行列に対して逆量子化・逆変換を実行して残差ブロックを取得し、予測ブロックと残差ブロックを加算して再構成ブロックを取得する。再構成ブロックは、再構成画像の構成に用いられ、デコーダは、画像またはブロックに基づいて、再構成画像に対してループフィルタリングを実行して、復号化画像を取得する。

現在ブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）は、現在の符号化ユニット（ＣＵ）または現在の予測ユニット（ＰＵ）などでもよい。

符号化側でも、復号化画像を取得するために復号化側と類似する処理が必要であることに留意されたい。復号化画像は、後続のフレームのインター予測の参照フレームとして使用できる。符号化側で決定されたブロック分割情報や、予測、変換、量子化、エントロピー符号化、ループフィルタリングなどのモード情報やパラメータ情報は、必要に応じてコードストリームに出力する必要がある。復号化側は、解析および既存の情報を分析して、符号化側と同じブロック分割情報や、予測、変換、量子化、エントロピー符号化、ループフィルタリングおよびその他のモード情報またはパラメータ情報を決定することにより、符号化側で取得される復号化画像と復号化側で取得される復号化画像とは同じであることを保証する。符号化側で取得される復号化画像は、通常、再構成画像とも呼ばれる。予測時に、現在ブロックを予測ユニットに分割することができ、変換時に、現在ブロックを変換ユニットに分割することができる。予測ユニットと変換ユニットとの間の分割は、同じであっても異なっていてもよい。勿論、上記はブロックベースのハイブリッド符号化フレームワークにおけるビデオコーデックの基本的なプロセスに過ぎなく、技術の発展に伴い、フレームワークの一部のモジュールやプロセスの一部のステップが最適化される可能性がある。本願は、ブロックベースのハイブリッド符号化フレームワークにおけるビデオコーデックの基本的なフローに適用される。

理解しやすくするように、本願によって提供される符号化フレームワークを先に簡単に紹介する。

図１は、本願の実施例によって提供される符号化フレームワーク１００の概略ブロック図である。

図１に示すように、符号化フレームワーク１００は、イントラ予測ユニット１８０、インター予測ユニット１７０、残差ユニット１１０、変換・量子化ユニット１２０、エントロピー符号化ユニット１３０、逆変換・逆量子化ユニット１４０、およびループフィルタリングユニット１５０を含むことができる。選択的に、符号化フレームワーク１００は、復号化画像バッファユニット１６０を含むこともできる。該符号化フレームワーク１００は、ハイブリッドフレームワーク符号化モードと呼ばれてもよい。

イントラ予測ユニット１８０またはインター予測ユニット１７０は、符号化対象の画像ブロックを予測して予測ブロックを出力することができる。残差ユニット１１０は、予測ブロックと符号化対象画像ブロックとに基づいて、予測ブロックと符号化対象画像ブロックとの差分値である残差ブロックを算出することができる。変換・量子化ユニット１２０は、残差ブロックに対して変換・量子化などの操作を実行して、人間の目に鈍感な情報を除去し、視覚的冗長性を除去することに用いられる。選択的に、変換・量子化ユニット１２０による変換・量子化前の残差ブロックは、時間領域残差ブロックと呼ばれることがあり、変換・量子化ユニット１２０による変換・量子化後の時間領域残差ブロックは、周波数残差ブロックまたは周波数領域の残差ブロックと呼ばれることがある。エントロピー符号化ユニット１３０は、変換・量子化ユニット１２０から出力された変換量子化係数を受信した後、その変換量子化係数に基づいてコードストリームを出力することができる。例えば、エントロピー符号化ユニット１３０は、バイナリコードストリームのターゲットコンテキストモデル及び確率情報に従って文字的冗長性を除去することができる。例えば、エントロピー符号化ユニット１３０は、コンテキストベースの適応型バイナリ算術エントロピー符号化（ＣＡＢＡＣ）に用いられる。エントロピー符号化ユニット１３０は、ヘッダ情報符号化ユニットと呼ばれてもよい。選択的に、本願では、符号化対象画像ブロックは、オリジナル画像ブロックまたはターゲット画像ブロックと呼ぶこともでき、予測ブロックは、予測画像ブロックまたは画像予測ブロックと呼ぶこともでき、また、予測信号や予測情報と呼ぶこともできる。再構成ブロックは、再構成画像ブロックまたは画像再構成ブロックとも呼ばれ、再構成信号または再構成情報とも呼ばれる。また、符号化側では、符号化対象の画像ブロックを符号化ブロックまたは符号化画像ブロックと呼ぶこともあり、復号化側では、符号化対象の画像ブロックを復号化ブロックまたは復号化画像と呼ぶこともある。符号化対象画像ブロックは、ＣＴＵであってもよいし、ＣＵであってもよい。

符号化フレームワーク１００は、予測ブロックと符号化対象画像ブロックとの残差を算出して残差ブロックを取得し、変換、量子化などのプロセスを経て復号化側に送信する。相応に、デコーダはコードストリームを受信して復号化した後、逆変換や逆量子化などの手順を通じて残差ブロックを取得する。デコーダによって予測された予測ブロックに残差ブロックを重ね合わせ、再構成ブロックを取得する。

符号化フレームワーク１００における逆変換・逆量子化ユニット１４０、ループフィルタリングユニット１５０、および復号化画像バッファユニット１６０は、１つのデコーダを形成することに用いられることに留意されたい。イントラ予測ユニット１８０またはインター予測ユニット１７０は、既存の再構成ブロックに基づいて符号化対象画像ブロックを予測することができることにより、符号化側と復号化側が参照フレームに対する理解の一貫性を保証することができる。言い換えると、エンコーダはデコーダの処理ループをコピーでき、デコーダと同じ予測を生成できる。具体的には、量子化された変換係数を逆変換・逆量子化ユニット１４０で逆変換・逆量子化し、復号化側で近似残差ブロックをコピーする。近似残差ブロックに予測ブロックを重ね合わせた後、ループフィルタリングユニット１５０を介して、ブロックベースの処理および量子化によって引き起こされるブロッキング効果を滑らかに除去することができる。ループフィルタリングユニット１５０によって出力された画像ブロックは、後続の画像の予測に使用するために復号化画像バッファユニット１６０に格納され得る。

図１は本願の例示にすぎず、本願を限定するものではないことを理解されたい。

例えば、符号化フレームワーク１００におけるループフィルタリングユニット１５０は、デブロッキングフィルタ（ＤＢＦ）およびサンプル適合補償フィルタリング（ＳＡＯ）を含むことができる。ＤＢＦの機能はブロッキング効果を除去することであり、ＳＡＯの機能はリンギング効果を除去することである。本願の他の実施例では、該符号化フレームワーク１００は、ビデオ圧縮効率を向上させるために、ニューラルネットワークベースのループフィルタリングアルゴリズムを採用することができる。言い換えると、該符号化フレームワーク１００は、深層学習ニューラルネットワークに基づくビデオ符号化ハイブリッドフレームワークであってもよい。一実現形態では、デブロッキングフィルタおよびサンプル適合補償フィルタリングを基に、畳み込みニューラルネットワークに基づくモデルを使用して、画素をフィルタリングした結果を算出することができる。ループフィルタリングユニット１５０の輝度成分とクロミナンス成分のネットワーク構造は同一であっても異なっていてもよい。輝度成分にはより多くの視覚情報が含まれることを考慮すると、輝度成分も使用してクロミナンス成分のフィルタリングをガイドし、クロミナンス成分の再構成品質を向上させることができる。

以下、イントラ予測とインター予測の関連内容について説明する。

インター予測について、インター予測は、異なるフレームの画像情報を参照し、動き推定を使用して、符号化対象画像ブロックに最もマッチングする動きベクトル情報を検索し、時間的冗長性を除去する。インター予測で使用されるフレームはＰフレーム及び／またはＢフレームであり、Ｐフレームは順方向予測フレームを指し、Ｂフレームは双方向予測フレームを指す。

イントラ予測について、イントラ予測は、画像の同じフレームの情報のみを参照し、符号化対象画像ブロックにおける画素情報を予測して空間的冗長性を除去する。イントラ予測で使用されるフレームは、Ｉフレームでもよい。例えば、左から右、上から下の符号化順序に従って、符号化対象画像ブロックは、左上側にある画像ブロック、上側にある画像ブロック、および左側にある画像ブロックを参照情報として参照して、画像ブロックを予測することができる。符号化対象画像ブロックは次の画像ブロックの参照情報として使用される。これにより、画像全体を予測することができる。入力したデジタルビデオが、ＹＵＶ４：２：０というフォーマットなどのカラー形式の場合、デジタルビデオの各画像フレームの４画素ごとに、４つのＹ成分と２つのＵＶ成分で構成される。符号化フレームワークは、Ｙ成分（即ち輝度ブロック）とＵＶ成分（即ちクロミナンスブロック）とを別々に符号化する。同様に、復号化側もフォーマットに応じて対応する復号化することができる。

イントラ予測プロセスに対して、イントラ予測は、角度予測モードと非角度予測モードを利用して符号化対象画像ブロックを予測でき、予測ブロックを取得する。予測ブロックと符号化対象画像ブロックとにより算出されたレート歪み情報に基づいて、符号化対象画像ブロックの最適な予測モードを絞り出し、該予測モードがコードストリームを通じてデコーダに送信する。復号化側は予測モードを解析し、ターゲット復号化ブロックの予測ブロックを予測し、コードストリーム伝送により得られた時間領域残差ブロックを重ね合わせて再構成ブロックを取得することができる。

長年にわたるデジタルビデオの符号化・復号化規格の発展を経て、平均モードやプレーナモードを有する非角度予測モードは比較的安定した状態を維持する。デジタルビデオの符号化・復号化規格の推進に伴い、角度予測モードは増加し続けている。国際デジタルビデオ符号化規格のＨシリーズを例とすると、Ｈ．２６４／ＡＶＣ規格には８つの角度予測モードと１つの非角度予測モードしかないが、Ｈ．２６５／ＨＥＶＣは３３つの角度予測モードと２つの非角度予測モードに拡張される。Ｈ．２６６／ＶＶＣでは、イントラ予測モードがさらに拡張されており、輝度ブロックに対して、６７つの従来の予測モードと非従来の行列加重イントラ予測モード（Ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ－ｆｒａｍｅ ｐｒｅｄｉｃｔｉｏｎ、ＭＩＰ）がある。６７つの従来の予測モードには、プレーナモード、直流（ＤＣ）モード、６５つの角度予測モードが含まれる。プレーナモードは、通常、グラデーションがあるテクスチャを有するブロックを処理することに用いられ、ＤＣモードは、通常、平らな領域を処理することに用いられ、角度予測モードは、通常、明らかな角度テクスチャを持つブロックを処理することに用いられる。

本願では、イントラ予測に用いられる現在ブロックは正方形ブロックでもよいし、長方形ブロックでもよいことに留意されたい。

さらに、イントラ予測ブロックはいずれも正方形であるため、各角度予測モードを使用する確率は等しい。現在ブロックの長さと幅が等しくない場合、水平ブロック（幅が高さよりも大きい）の上側にある参照画素の使用確率は、左側にある参照画素の使用確率よりも大きい。垂直ブロック（高さが幅よりも大きい）の上側にある参照画素の使用確率は、左側にある参照画素の使用確率よりも小さい。これに基づいて、本願は、広角度予測モードを導入して、長方形ブロックを予測する場合、従来の予測モードを広角度予測モードに切り替え、広角度予測モードで長方形ブロックを予測する場合、現在ブロックの予測角度範囲は、従来の予測モードで予測できる予測角度範囲よりも大きい。選択的に、広角度予測モードを使用する場合でも、従来の角度予測モードのインデックスを使用して、信号を送信することができる。これに応じて、復号化側は信号を受信した後に従来の角度予測モードを広角度予測モードに切り替えることができる。これにより、イントラ予測モードの総数とイントラモード符号化方法は変更されず、イントラモード符号化方法も変更されていない。

図２は、本願の実施例によって提供される６５つの角度予測モードの具体的な方向の概略図である。

図２に示すように、インデックス０はプレーンモードの識別に用いられ、インデックス１はＤＣモードの識別に用いられ、インデックス－１４～８０はそれぞれ異なる角度予測モードの識別に用いられる。具体的には、インデックス２～６６は従来の角度予測モードを識別することに用いられ、インデックス－１～－１４およびインデックス６７～８０は広角度予測モードを識別することに用いられる。言い換えると、インデックス２～６６により識別される従来のイントラ予測モードは正方形ブロックの予測に用いられ、インデックス－１～－１４および６７～８０により識別される広角度予測モードは長方形ブロックの予測に用いられる。

本願に係るインデックスｘによって識別される予測モードは、予測モードｘと呼ばれてもよいことを理解されたい。例えば、インデックス２によって識別されるイントラ予測モードは、イントラ予測モード２と呼ばれてもよい。

図３は、本願の実施例によって提供される広角度予測モードの参照画素の例である。

図３に示すように、広角度予測モードでは、サイズＷ×ＨであるＣＵの場合、その上側にある参照画素の数は２Ｗ＋１で、左側の参照サンプル点の数は２Ｈ＋１である。具体的には、図３の（ａ）に示すように、Ｗ＞Ｈ（例えば、８×４ＣＵ）の場合、イントラ予測モード２に近い（イントラ予測モード２より大きい）ＣＵの右下端の点が参照画素をインデックスすることができないことがある。イントラ予測モード６６に近い（イントラ予測モード６６よりも大きい）一部が依然として参照画素をインデックスすることができるため、予測角度範囲を拡大するように、イントラ予測モード２に近い（イントラ予測モード２よりも大きい）いくつかの準水平角度モードを、イントラ予測モード６６に近い（イントラ予測モード６６より大きい）いくつかの準垂直角度モードに置き換える必要がある。同様に、図３の（ｂ）に示すように、Ｗ<Ｈ（例えば、４×８ＣＵ）の場合、イントラ予測モード６６に近い（イントラ予測モード６６より小さい）一部は参照画素をインデックスすることができないことがある。イントラ予測モード２に近い（イントラ予測モード２よりも小さい）一部は依然として参照画素をインデックスすることができるため、予測角度範囲を拡大するように、イントラ予測モード６６に近い（イントラ予測モード６６より小さい）いくつかの準垂直角度モードをイントラ予測モード２に近い（イントラ予測モード２よりも小さい）いくつかの準水平角度モードに置き換える必要がある。

場合によって、実行対象イントラ予測モードは、現在ブロックのサイズに基づいて決定または選択されてもよく、例えば、現在ブロックのサイズに基づいて、広角度予測モードを決定・選択して、現在ブロックに対してイントラ予測を実行してもよい。例えば、現在ブロックが長方形のブロック（幅と高さとは異なるサイズを有する）である場合、広角度予測モードを使用して現在ブロックのイントラを予測することができる。現在ブロックのアスペクト比は、置き換え対象角度予測モードおよび置き換えた角度予測モードを決定することに用いられる。例えば、現在ブロックに対して予測する場合、現在ブロックの対角（現在ブロックの左下隅から右上隅まで）を超えない角度を有する任意のイントラ予測モードを置き換えた角度予測モードとして選択されてもよい。

以下は、本願に係る他のイントラ予測モードを説明する。
（１）行列ベースのイントラ予測（Ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＭＩＰ）モード。
ＭＩＰモードは、行列加重イントラ予測（Ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードとも呼ばれる。ＭＩＰモードに含まれるプロセスは、ダウンサンプリング工程、行列乗算工程、およびアップサンプリング工程という３つの主要なステップに分けられる。具体的には、まず、ダウンサンプリング工程におい空間的に隣接する再構成サンプルをダウンサンプリングして、次にダウンサンプリングされたサンプルシーケンスを行列乗算工程の入力ベクトルとして使用する。即ち、ダウンサンプリング工程の出力ベクトルを行列乗算工程の入力として使用し、予め設定された行列と乗算し、オフセットベクトルを加算し、算出されたサンプルベクトルを出力する。行列乗算工程の出力ベクトルをアップサンプリング工程の入力ベクトルとして使用し、アップサンプリングにより最終の予測ブロックを取得する。

図４は、本願の実施例によって提供されるＭＩＰモードの概略図である。

図４に示すように、ダウンサンプリング工程において、ＭＩＰモードは現在の符号化ユニットの上に隣接する再構成サンプルを平均することによって、上に隣接するダウンサンプリング再構成サンプルベクトルｂｄｒｙ_ｔｏｐを取得し、左に隣接する再構成されたサンプルを平均することによって、左に隣接するダウンサンプリング再構成サンプルベクトルｂｄｒｙ_ｌｅｆｔを取得する。ｂｄｒｙ_Ｔｏｐとｂｄｒｙ_Ｌｅｆｔを取得した後、これらを行列乗算工程の入力ベクトルｂｄｒｙ_ｒｅｄとして使用する。具体的には、サンプルベクトルは、ｂｄｒｙ_ｒｅｄに基づく最上位行ベクトルｂｄｒｙ^Ｔｏｐ _ｒｅｄ、ｂｄｒｙ_Ｌｅｆｔ、Ａ_ｋ・ｂｄｒｙ_ｒｅｄ＋ｂ_ｋによって取得される。ここで、Ａ_ｋは予め設定された行列である。ｂ_ｋは予め設定されたバイアスベクトル、ｋはＭＩＰモードのインデックスである。サンプルベクトルを取得した後、線形補間によってアップサンプリングされ、実際の符号化ユニットサンプル数とマッチングする予測サンプルブロックを取得する。

言い換えると、幅Ｗ、高さＨのブロックを予測するために、ＭＩＰは入力として現在ブロックの左側にある１列のＨつの再構成画素と、現在ブロックの上側にある１行のＷつの再構成画素を必要とする。ＭＩＰは、参照画素の平均化（Ａｖｅｒａｇｉｎｇ）、行列の乗算（Ｍａｔｒｉｘ Ｖｅｃｔｏｒ Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）、および補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）の３つのステップで予測ブロックを生成する。ＭＩＰの核心は行列乗算であり、行列乗算により入力画素（参照画素）を用いて予測ブロックを生成する処理と考えることができる。ＭＩＰは、複数タイプの行列を提供する。予測方法の相違は行列の相違に反映され、同じ入力画素に異なる行列を使用すると、異なる結果になる。参照画素の平均化と補間との工程は、パフォーマンスと複雑さとのバランスを取る設計である。大きなサイズであるブロックの場合、参照画素の平均化によってダウンサンプリングと同じ効果を達成でき、入力をより小さな行列に適合させることができ、補間によってアップサンプリング効果が得られる。これにより、各サイズのブロックにＭＩＰ行列を提供する必要はなく、１つまたは複数の特定のサイズの行列だけを提供すればよい。圧縮性能に対する要求が高まり、ハードウェアの機能が向上するにつれて、次世代の規格ではより複雑なＭＩＰが登場する可能性がある。

ＭＩＰモードは、ニューラルネットワークから簡素化することができる。例えば、トレーニングに基づいて行列を取得できるため、強い汎化能力と従来の予測モデルでは達成できない予測効果を備える。ＭＩＰモードは、ニューラルネットワークに基づくイントラ予測モデルのハードウェアとソフトウェアの複雑さを複数の簡素化によって取得されたモデルであり、膨大なトレーニングサンプルの上で、複数の予測モードはさまざまなモデルとパラメータを代表する。自然なシーケンスのテクスチャを良好にカバーする。

ＭＩＰはプレーナモードに似ているが、明らかにＭＩＰはプレーナモードよりも複雑で柔軟性が高くなる。
ブロックサイズが異なる符号化ユニットでは、ＭＩＰモードの数が異なる場合があることに注意されたい。例示的に、サイズ４×４である符号化ユニットの場合、ＭＩＰモードでは１６つの予測モードがあり、幅が４または高さが４である８×８の符号化ユニットの場合、ＭＩＰモードでは８つの予測モードがある。他のサイズの符号化ユニットの場合、ＭＩＰモードには６つの予測モードがある。また、ＭＩＰモードは転置機能を有し、現在のサイズに適する予測モードに対して、エンコーダ側で転置算出を試行できる。したがって、ＭＩＰモードは、現在の符号化ユニットがＭＩＰモードを使用するか否かを示す１つのフラグビットを必要とするだけでなく、現在の符号化ユニットがＭＩＰモードを使用する場合、１つの転置フラグビットをデコーダに追加送信する必要がある。

（２）デコーダ側のイントラモード導出（Ｄｅｃｏｄｅｒ ｓｉｄｅ ＩｎｔｒａＭｏｄｅ Ｄｅｒｉｖａｔｉｏｎ、ＤＩＭＤ）モード。
ＤＩＭＤモードの主なのは、デコーダがエンコーダと同じ方法を使用してイントラ予測モードを導出することにより、コードストリームにおいて現在の符号化ユニットのイントラ予測モードインデックスの送信を回避してビットオーバーヘッドを節約できることである。

ＤＩＭＤモードの具体的なプロセスは、次の２つの主なステップに分けることができる。
ステップ１：予測モデルを導出する。
図５は、本願の実施例によって提供されるＤＩＭＤに基づいて予測モードを導出する概略図である。

図５（ａ）に示すように、ＤＩＭＤは再構成領域におけるテンプレートにおける画素（現在ブロックの左側と上側の再構成画素）を使用して予測モードを導出する。例えば、テンプレートは、現在ブロックの上側にある３つの隣接する行の再構成サンプル、左側の３つの隣接する列の再構成サンプル、および左上側にある対応の隣接する再構成サンプルを含むことができ、これに基づいて、ウィンドウ（例えば、図５（ａ）に示すように、または図５（ｂ）に示すウィンドウ）に従ってテンプレートにおける複数の勾配値を決定し、各勾配値は、勾配方向に適したイントラ予測モード（Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＩＰＭ）に適合することに用いられる。これに基づいて、複数の勾配値のうち最大および２番目に大きい勾配値に適合する予測モードを導出の予測モードとして使用できる。例えば、図５の（ｂ）に示すように、サイズ４×４であるブロックの場合、勾配値を決定する必要がある全ての画素を分析して対応する勾配ヒストグラム（ｈｉｓｔｏｇｒａｍ ｏｆ ｇｒａｄｉｅｎｔｓ）を取得する。図５（ｃ）に示すように、他のサイズであるブロックの場合、勾配値を決定する必要がある全ての画素を分析して、対応する勾配ヒストグラムを取得して、最終的に勾配ヒストグラムにおける最大および２番目に大きい勾配に対応する予測モードを導出した予測モードとして使用される。

勿論、本願における勾配ヒストグラムは、導出予測モードを決定するための例示にすぎず、様々な簡易な形式で実現することができ、本願はこれを限定していない。さらに、本願は、統計的勾配ヒストグラムの方法を限定するものではなく、例えば、勾配ヒストグラムを算出するためにソーベル演算子または他の方法が使用されてもよい。

ステップ２：予測ブロックを導出する。
図６は、本願の実施例によって提供されるＤＩＭＤに基づいて予測ブロックを導出する概略図である。

図６に示すように、エンコーダは３つのイントラ予測モード（プレーナモードとＤＩＭＤに基づいて導出された２つのイントラ予測モード）の予測値に重み付けを行うことができる。コーデックは、同じ予測ブロック導出方法を使用して、現在ブロックの予測ブロックを取得する。最も大きな勾配値に対応する予測モードが予測モード１であり、２番目に大きい勾配値に対応する予測モードが予測モード２であるとする。エンコーダは次の２つの条件を判断する。
（１）予測モード２の勾配は０ではなく、
（２）予測モード１と予測モード２とは、いずれもプレーナモードまたはＤＣ予測モードではない。

上記の２つの条件が同時に成立しない場合、予測モード１のみを使用して現在ブロックの予測サンプル値を算出する。即ち、予測モード１に対して通常の予測プロセスを適用する。上記の２つの条件が同時に成立した場合は、加重平均法を使用して、現在ブロックの予測ブロックを導出する。具体的に、重み付けの１／３をプレーナモードで占め、残りの２／３を予測モード１と予測モード２の合計の重みとする。例えば、予測モード１の勾配振幅値を予測モード１の勾配振幅値と予測モード２の勾配振幅値との和で除算したものを予測モード１の重み付け重みとする。予測モード２の勾配振幅値を予測モード１の勾配振幅値と予測モード２の勾配振幅値との和で除算したものを予測モード２の重み付け重みとする。上記３つの予測モードに基づいて得られた予測ブロック、即ちプレーナモード、予測モード１、予測モード２に基づいてそれぞれ得られた予測ブロック１、予測ブロック２、予測ブロック３を重み付けして平均化して、現在符号化ユニットの予測ブロックを取得する。デコーダは同じ手順に従って予測ブロックを取得する。

言い換えると、上記のステップ２における重みの算出は次の通りである。
Ｗｅｉｇｈｔ（ＰＬＡＮＡＲ）＝１／３
Ｗｅｉｇｈｔ（ｍｏｄｅ１）＝２／３×（ａｍｐ１／（ａｍｐ１＋ａｍｐ２））
Ｗｅｉｇｈｔ（ｍｏｄｅ２）＝１－Ｗｅｉｇｈｔ（ＰＬＡＮＡＲ）－Ｗｅｉｇｈｔ（ｍｏｄｅ１）
ただし、ｍｏｄｅ１、ｍｏｄｅ２はそれぞれ予測モード１、予測モード２を表し、ａｍｐ１、ａｍｐ２はそれぞれ予測モード１の勾配振幅値、予測モード２の勾配振幅値を表す。ＤＩＭＤモードでは、現在の符号化ユニットがＤＩＭＤモードを使用するか否かを示すことに用いられる１つのフラグビットをデコーダに送信する必要がある。

勿論、上記の加重平均法は本願の例示に過ぎず、本願を限定するものとして理解されるべきではない。

要するに、ＤＩＭＤは再構成画素の勾配分析を使用してイントラ予測モードをスクリーニングし、２つのイントラ予測モードとプレーナモードを分析結果に従って重み付けを行うことができる。ＤＩＭＤの利点は、現在ブロックに対してＤＩＭＤモードが選択された場合、コードストリームにおいてどのイントラ予測モードが使用されるかを示す必要がなく、代わりにデコーダ自体が上記のプロセスを通じて導出し、ある程度でオーバーヘッドが節約されることになる。

（３）テンプレートベースのイントラモード導出（Ｔｅｍｐｌａｔｅ ｂａｓｅｄ Ｉｎｔｒａ Ｍｏｄｅ Ｄｅｒｉｖａｔｉｏｎ、ＴＩＭＤ）モード。
ＴＩＭＤモードの技術原理は、前述のＤＩＭＤモードの技術原理と似ており、いずれもコーデックが同じ動作で予測モードを導出することにより、送信モードインデックスのオーバーヘッドを節約する。ＴＩＭＤモードは２つの主要な部分として理解できる。まず、テンプレートに従って各予測モードのコスト情報を算出して、最小コストと２番目に小さいコストに対応する予測モードが選択される。最小コストに対応する予測モードは予測モード１として記録され、次に小さいコストに対応する予測モードは予測モード２として記録される。次に小さいコストの値（ｃｏｓｔＭｏｄｅ２）と最小コストの値（ｃｏｓｔＭｏｄｅ１）との比例は、ｃｏｓｔＭｏｄｅ２＜２×ｃｏｓｔＭｏｄｅ１ような事前に設定された条件に満たした場合、予測モード１および予測モード２がそれぞれ対応する予測ブロックは、予測モード１および予測モード２がそれぞれ対応する重みに従って重み付けして融合して、最終的な予測ブロックを取得することができる。

例えば、予測モード１と予測モード２がそれぞれ対応する重みは下記のように決定される。
ｗｅｉｇｈｔ１＝ｃｏｓｔＭｏｄｅ２／（ｃｏｓｔＭｏｄｅ１＋ｃｏｓｔＭｏｄｅ２）
ｗｅｉｇｈｔ２＝１－ｗｅｉｇｈｔ１
ただし、ｗｅｉｇｈｔ１は予測モード１に対応する予測ブロックの重みであり、Ｗｅｉｇｈｔ２は予測モード２に対応する予測ブロックの重みである。しかしながら、次に小さいコスト値ＣｏｓｔＭｏｄｅ２と最小のコスト値ＣｏｓｔＭｏｄｅ１との比が予め設定された条件に満たさない場合、予測ブロック間の重み付け融合は行われず、予測モード１に対応する予測ブロックは、ＴＩＭＤの予測ブロックとなる。

ＴＩＭＤモードを使用して現在ブロックに対してイントラ予測を実行する場合、現在ブロックの再構成サンプルテンプレートに利用可能な隣接する再構成サンプルが含まれていない場合、ＴＩＭＤモードはプレーナモードを選択して、現在ブロックに対してイントラ予測を実行し、即ち重み付けされていない融合は実行されていない。ＤＩＭＤモードと同じように、ＴＩＭＤモードは、現在の符号化ユニットがＴＩＭＤモードを使用するか否かを示すフラグビットをデコーダに送信する必要がある。

図７は、本願の実施例によって提供されるＴＩＭＤによって使用されるテンプレートの概略図である。

図７に示すように、現在ブロックは幅がＭ、且つ高さがＮの符号化ユニットである場合、コーデックは幅が２（Ｍ＋Ｌ１）＋１、高さが２（Ｎ＋Ｌ２）＋１に等しい符号化ユニットに基づいて、現在ブロックの参照テンプレート（Ｒｅｆｅｒｅｎｃｅ ｏｆ ｔｅｍｐｌａｔｅ）を選択して現在ブロックのテンプレートを算出することができる。この時点で、現在ブロックのテンプレートに使用可能な隣接テンプレートが含まれていない場合，ＴＩＭＤモードはプレーナモードを選択して、現在ブロックに対してイントラ予測を実行する。例えば、利用可能な隣接再構成サンプルは、図７における現在ＣＵの左側および上側に隣接するサンプルであり、即ち、斜め充填領域には利用可能な再構成サンプルがない。即ち、斜め充填領域には利用可能な再構成サンプルがない場合、ＴＩＭＤモードはプレーナモードを選択して、現在ブロックに対してイントラ予測を実行する。

境界の場合を除いて、現在ブロックを符号化・復号化するとき、理論的には、現在ブロックの左側と上側で再構成値を取得できる。即ち、現在ブロックのテンプレートには、利用可能な隣接する再構成サンプルが含まれる。具体的な実現では、デコーダはあるイントラ予測モードを使用してテンプレート上で予測し、予測値と再構成値を比較して、テンプレートにおけるイントラ予測モードのコストを取得できる。例えば、ＳＡＤ、ＳＡＴＤ、ＳＳＥなどである。テンプレートと現在ブロックは隣接しているため、テンプレートにおける再構成サンプルは現在ブロックにおける画素と相関するため、テンプレートにおける１つの予測モードのパフォーマンスを使用して、現在ブロックにおける該予測モードのパフォーマンスを推定できる。ＴＩＭＤは、テンプレートにいくつかの候補イントラ予測モードを予測し、テンプレートにおける候補イントラ予測モードのコストを取得し、コストが最も低い１つまたは２つのイントラ予測モードを現在ブロックのイントラ予測値とする。２つのイントラ予測モード間のテンプレートにおけるコストの差が大きくない場合、２つのイントラ予測モードの予測値に重み付けを行って平均化してことにより、圧縮性能を向上させることができる。選択的に、２つの予測モードの予測値の重みは、上記記載に係るコストに関連し、例えば、重みはコストに反比例する。

要するに、ＴＩＭＤは、テンプレートにおけるイントラ予測モードの予測効果を使用してイントラ予測モードをスクリーニングし、テンプレートにおけるコストに応じて２つのイントラ予測モードに重み付けを行うことができる。ＴＩＭＤの利点は、現在ブロックがＴＩＭＤモードを選択した場合、コードストリームにおいてどのイントラ予測モードが使用されているかを示す必要がなく、代わりにデコーダ自体が上記のプロセスを通じてそれを導出し、オーバーヘッドがある程度で節約されることになる。

いくつかのイントラ予測モードについての上記の簡単な紹介を通じて、ＤＩＭＤモードの技術原理がＴＩＭＤモードの技術原理に近く、いずれもデコーダを使用してエンコーダと同じ操作を実行し、現在の符号化ユニットの予測モードを推測する。この予測モードでは、複雑さが許容できる場合、予測モードのインデックスの送信を節約できるため、オーバーヘッドが節約され、圧縮効率が向上する。しかしながら、参照情報の制限と、予測品質があまり改善されないため、ＤＩＭＤモードとＴＩＭＤモードは、一貫したテクスチャ特性を持つ広い領域でより効果的に機能するが、テクスチャがわずかに変化することやテンプレート領域がカバーできない場合、この予測モードの予測効果は低い。

また、ＤＩＭＤモードであってもＴＩＭＤモードであっても、複数の従来の予測モードに基づいて得られた予測ブロックを融合したり、複数の従来の予測モードに基づいて得られた予測ブロックに対して重み付けを実行したりすることで、予測ブロックの融合は単一の予測モードで達成できない効果を生み出すことができる。ＤＩＭＤモードは、追加の重み付け予測モードとしてプレーナモードを導入することによって、隣接する再構成サンプルと予測サンプル間の空間関連性を高め、イントラ予測の予測効果を向上させるが、プレーナモードの予測原理は、比較的簡易であり、右上隅と左下隅とは明らかな相違がある一部の予測ブロックである場合、追加の重み付き予測モードとしてプレーナモードを使用すると、逆効果をもたらす可能性がある。

（４）幾何学的分割モード（ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ、ＧＰＭ）および角度重み付け予測（ａｎｇｕｌａｒ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＡＷＰ）。
ビデオ符号化・復号化規格では、従来の単方向予測では現在ブロックと同じサイズの参照ブロックを１つだけ使用し、従来の双方向予測では、現在ブロックと同じサイズの２つの参照ブロックを使用し、予測ブロックの各ポイントの画素は２つの参照ブロックの対応する位置の平均値であり、即ち各参照ブロックにおける全ての点が５０％を占める。さらに、双方向加重予測では、２つの参照ブロックの割合を異なるものにすることができる。例えば、第１参照ブロックにおける全てのポイントが７５％を占め、第２参照ブロックにおける全てのポイントが２５％を占めるが、同一の参照ブロックにおける全てのポイントの比例は同じである。さらに、復号化側動きベクトルリファインメント（ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ、ＤＭＶＲ）や双方向オプティカルフロー（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ、ＢＩＯまたはＢＤＯＦ）などのいくつかの最適化方法では、参照画素または予測画素に何らかの変化が生じることになる。

ＧＰＭまたはＡＷＰの場合、現在ブロックと同じサイズの２つの参照ブロックも使用するが、一部の画素位置は第１参照ブロックに対応する画素値を１００％使用し、一部の画素位置は第２参照ブロックに対応する画素値を１００％使用する。境領域またはブレンディング領域と呼ばれる領域では、２つの参照ブロックの対応する位置の画素値が一定の割合に従って使用される。境領域の重みも徐々に変化する。これらの重みがどのように割り当てられるかは、ＧＰＭまたはＡＷＰの重み導出モードによって決まる。ＧＰＭまたはＡＷＰの重み導出モードに従って、各画素位置の重みを決定する。

勿論、ブロックサイズが非常に小さいなどの場合、いくつかのＧＰＭまたはＡＷＰモードでは、一部の画素位置が第１参照ブロックに対応する位置の画素値を１００％使用することが保証することができない。一部の画素位置は第２参照ブロックに対応する画素値を１００％使用することが保証することができない。このとき、ＧＰＭまたはＡＷＰは現在ブロックと異なるサイズである２つの参照ブロックを使用する。即ちそれぞれが必要な部分を参照ブロックとする。即ち、重みが０以外の部分が参照ブロックとして使用され、重みが０である部分は排除される。本願はその実現方法を制限しない。

図８は、本願の実施例によって提供されるＧＰＭの正方形ブロックにおける６４つの重み導出モードに対応する重みマップの例示である。

図８に示すように、ＧＰＭの正方形ブロックにおける６４つの重み導出モードに対応する重みマップがある。また、各重み導出モードに対応する重みマップについて、黒色は第１参照ブロックの対応位置の重み値が０％であることを意味し、白色は第１参照ブロックの対応位置の重み値が１００％であることを意味し、灰色の領域は、色の濃さに応じて、第１参照ブロックの対応する位置の重み値が０％より大きく１００％未満であることを意味し、第２参照ブロックの対応位置の重み値は、１００％から第１参照ブロックの対応位置の重み値を引いた値となることを意味する。

図９は、本願の実施例によって提供される重み導出モードにおける分割線の例である。
図９に示すように、重み導出モードの分割線は、ＧＰＭに対応する２つの予測モードの同じ重みを有する点で構成される線であってもよい。即ち、ＧＰＭの重み行列において、分割線は、ＧＰＭに対応する２つの予測モードの重みが同じ点で構成される線である。言い換えると、分割線は、ＧＰＭの重み値行列のうち重み値が変化する領域において、ＧＰＭに対応する２つの予測モードの重み値が同じ点で構成される線であってもよい。言い換えると、分割線は、重みが中央値である点で構成される線であり、重みが中央値である点は画素全体の中間に位置してもよいが、画素全体の中間に位置しなくてもよい。０～８を重み値とすると、中央値である重みは４でもよい。

図１０は、本願の実施例によって提供されるＡＷＰの正方形ブロックにおける５６つの重み導出モードに対応する重みマップの例である。

図１０に示すように、ＡＷＰの正方形ブロックにおける５６つの重み導出モードに対応する重みマップである。各重み導出モードに対応する重みマップについて、黒色は第１参照ブロックの対応位置の重み値が０％であることを意味し、白色は第１参照ブロックの対応位置の重み値が１００％であることを意味し、灰色の領域は、色の濃さに応じて、第１参照ブロックの対応する位置の重み値が０％より大きく１００％未満であり、第２参照ブロックの対応位置の重み値は、１００％から第１参照ブロックの対応位置の重み値を引いた値となることを意味する。

ＧＰＭとＡＷＰの重み導出方法は異なってもよいことを注意されたい。例えば、ＧＰＭは、各重み導出モードに基づいて角度とオフセットを決定し、各重み導出モードに対応する重みマップを算出する。ＡＷＰは、まず各重み導出モードに基づいて１次元重みラインを決定し、次にインター角度予測と同じ方法を使用して１次元重みラインを画像全体に広げ、各重み導出モードに対応する重みマップを取得する。勿論、他の実施例では、各重み導出モードに対応する重みマップを重み行列と呼ぶこともできる。

以下では、ＧＰＭを例として、重みの導出方法を説明する。
エンコーダは、各重み導出モードに従って対応する分割線を決定し、分割線に基づいて対応する重み行列を決定することができる。例えば、エンコーダは、表１を使用して、重み導出モードに対応する角度インデックス変数ａｎｇｌｅＩｄｘおよび距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘを決定し、重み導出モードｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_Ｉｄｘを決定することができる。角度インデックス変数ａｎｇｌｅＩｄｘおよび距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘは、分割線を決定することに用いられる変数である。即ち、分割線の角度とオフセットをそれぞれ決定することに用いられる。エンコーダは、各重み導出モードに対応する分割線を決定した後、各重み導出モードに対応する分割線に基づいて、各重み導出モードに対応する重み行列を決定することができる。

表１に示すように、６４つの重み導出モード（例えば、図８に示す６４つのモード）があり、そのインデックス（ｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_Ｉｄｘ）の取り得る値は０～６３である。これらの６４つの重み導出モードのそれぞれは、１つの角度インデックス変数ａｎｇｌｅＩｄｘと距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘに対応できる。各重み導出モードのそれぞれは１つの分割線に対応することができることに相当する。勿論、１つの角度インデックス変数ａｎｇｌｅＩｄｘまたは１つの距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘは、１つまたは複数の重み導出モードのインデックスに対応することができ、表１は、本願の例示にすぎず、本願を限定するものとして理解されるべきではない。

３つの成分（例えば、Ｙ、Ｃｂ、Ｃｒ）はいずれもＧＰＭを使用できるため、１つの成分のＧＰＭの予測サンプル行列を生成するプロセスは、１つのサブプロセスにパッケージすることができ、即ちＧＰＭの重み付け予測工程（Ｗｅｉｇｈｔｅｄ ｓａｍｐｌｅｓ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ）に対して、３つの成分がいずれもこの工程を呼び出すことができ、呼び出されるパラメータだけは異なる。本願では輝度成分を例として説明する。例示的に、ＧＰＭの重み付き予測プロセスから現在の輝度ブロックの予測行列ｐｒｅｄＳａｍｐｌｅｓＬ「ｘＬ」「ＹＬ」を導出できる。ただし、ｘＬ＝０..ｃｂＷｉｄｔｈ－１、ｙＬ＝０..ｃｂＨｅｉｇｈｔ－１である。ただし、ｎＣｂＷはｃｂＷｉｄｔｈに設定され、ｎＣｂＨはｃｂＨｅｉｇｈｔに設定される。

ＧＰＭの重み付き予測工程の入力には、現在ブロックの幅ｎＣｂＷ、現在ブロックの高さｎＣｂＨ、２つの（ｎＣｂＷ）×（ｎＣｂＨ）の予測サンプル行列ｐｒｅｄＳａｍｐｌｅｓＬＡおよびｐｒｅｄＳａｍｐｌｅｓＬＢ、ＧＰＭの「分割」角度インデックスａｎｇｌｅＩｄｘ、ＧＰＭの距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘ、成分インデックス変数ｃＩｄｘを含む。例えば、ｃＩｄｘが０である場合、輝度成分を表すことに用いられる。ＧＰＭの重み付き予測プロセスの出力は、（ｎＣｂＷ）×（ｎＣｂＨ）のＧＰＭ予測サンプル行列ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」である。ただし、ｘ＝０..ｎＣｂＷ－１、ｙ＝０..ｎＣｂＨ－１である。

予測サンプル行列ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」は次のように導出できる。
例示的に、まず、変数ｎＷ、ｎＨ、ｓｈｉｆｔ１、ｏｆｆｓｅｔ１、ｄｉｓｐｌａｃｅｍｅｎｔＸ、ｄｉｓｐｌａｃｅｍｅｎｔＹ、ｐａｒｔＦｌｉＰ、ｓｈｉｆｔＨｏｒを次のように導出できる。
ｎＷ＝（ｃＩｄｘ＝＝０）？ｎＣｂＷ：ｎＣｂＷ×ＳｕｂＷｉｄｔｈＣ
ｎＨ＝（ｃＩｄｘ＝＝０）？ｎＣｂＨ：ｎＣｂＨ×ＳｕｂＨｅｉｇｈｔＣ
ｓｈｉｆｔ１＝Ｍａｘ（５、１７－ＢｉｔＤｅｐｔｈ）、ただし、ＢｉｔＤｅｐｔｈは符号化・復号化のビット深度である。
ｏｆｆｓｅｔ１＝１＜＜（ｓｈｉｆｔ１－１）
ｄｉｓｐｌａｃｅｍｅｎｔＸ＝ａｎｇｌｅＩｄｘ
ｄｉｓｐｌａｃｅｍｅｎｔＹ＝（ａｎｇｌｅＩｄｘ＋８）％３２
ｐａｒｔＦｌｉｐ＝（ａｎｇｌｅＩｄｘ＞＝１３＆＆ａｎｇｌｅＩｄｘ<＝２７）？０：１
ｓｈｉｆｔＨｏｒ＝（ａｎｇｌｅＩｄｘ％１６＝＝８||（ａｎｇｌｅＩｄｘ％１６！＝０＆＆ｎＨ＞＝ｎＷ））？０：１
次に、変数ｏｆｆｓｅｔＸとｏｆｆｓｅｔＹを次のように導出できる。
ｓｈｉｆｔＨｏｒの値が０である場合、
ｏｆｆｓｅｔＸ＝（－ｎＷ）＞＞１
ｏｆｆｓｅｔＹ＝（（－ｎＨ）＞＞１）＋（ａｎｇｌｅＩｄｘ＜１６？（ｄｉｓｔａｎｃｅＩｄｘ×ｎＨ）＞＞３：－（（ｄｉｓｔａｎｃｅＩｄｘ×ｎＨ）＞＞３））
それ以外（即ち、ｓｈｉｆｔＨｏｒの値が１である）の場合、
ｏｆｆｓｅｔＸ＝（（－ｎＷ）＞＞１）＋（ａｎｇｌｅＩｄｘ＜１６？（ｄｉｓｔａｎｃｅＩｄｘ×ｎＷ）＞＞３：－（（ｄｉｓｔａｎｃｅＩｄｘ×ｎＷ）＞＞３））
ｏｆｆｓｅｔＹ＝（－ｎＨ）＞＞１
そして、予測サンプル行列ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」は次のように導出される。ただし、ｘ＝０..ｎＣｂＷ－１、ｙ＝０..ｎＣｂＨ－１）。
変数ｘＬとｙＬは次のように導出される。
ｘＬ＝（ｃＩｄｘ＝＝０）？ｘ：ｘ×ＳｕｂＷｉｄｔｈＣ
ｙＬ＝（ｃＩｄｘ＝＝０）？ｙ：ｙ×ＳｕｂＨｅｉｇｈｔＣ
ｗｅｉｇｈｔＩｄｘ＝（（（ｘＬ＋ｏｆｆｓｅｔＸ）＜＜１）＋１）×ｄｉｓＬｕｔ「ｄｉｓｐｌａｃｅｍｅｎｔＸ」＋（（（ｙＬ＋ｏｆｆｓｅｔＹ）＜＜１）＋１）×ｄｉｓＬｕｔ「ｄｉｓｐｌａｃｅｍｅｎｔＹ」
ただし、表２によりｄｉｓＬｕｔ「ｄｉｓｐｌａｃｅｍｅｎｔＸ」を取得することができる。

ｗｅｉｇｈｔＩｄｘＬ＝ｐａｒｔＦｌｉｐ？３２＋ｗｅｉｇｈｔＩｄｘ：３２－ｗｅｉｇｈｔＩｄｘ
ｗＶａｌｕｅ＝Ｃｌｉｐ３（０、８、（ｗｅｉｇｈｔＩｄｘＬ＋４）＞＞３）
ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」＝Ｃｌｉｐ３（０、（１＜＜ＢｉｔＤｅｐｔｈ）－１、（ｐｒｅｄＳａｍｐｌｅｓＬＡ「ｘ」「ｙ」×ｗＶａｌｕｅ＋ｐｒｅｄＳａｍｐｌｅｓＬＢ「ｘ」「ｙ」×（８－ｗＶａｌｕｅ）＋ｏｆｆｓｅｔ１）＞＞ｓｈｉｆｔ１）。
ただし、ＰｂＳａｍｐｌｅｓ「ｘ」「ｙ」は、（ｘ,ｙ）点の予測サンプルを表す。ｗＶａｌｕｅは（ｘ,ｙ）点の１つの予測モードの予測行列の予測値ｐｒｅｄＳａｍｐｌｅｓＬＡ「ｘ」「ｙ」の重みを表す。（８－ｗＶａｌｕｅ）は（ｘ,ｙ）点のもう１つの予測モードの予測行列の予測値ｐｒｅｄＳａｍｐｌｅｓＬＢ「ｘ」「ｙ」の重みを表す。

１つの重み導出モードについて、その重み導出モードを使用して各ポイントに対して１つの重み値ｗＶａｌｕｅを導出し、１つのＧＰＭ予測値ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」を算出できることに注意されたい。このような重みｗＶａｌｕｅは１つの行列の形式で記述する必要はないが、各位置のｗＶａｌｕｅを１つの行列に保存すれば、１つの重み行列になることがわかる。各点の重みを別々に算出して重み付けしてＧＰＭの予測値を取得する原理は、全ての重みを算出して、統合に重み付けしてＧＰＭの予測サンプル行列を取得する原理と同じである。理解しやすくなるように、重み行列マップを使用してより直感的である。実際には、各位置の重みに従って記述することもできる。例えば、重み行列導出モードは重み導出モードともいえるが、本願では特に限定されない。

さらに、ＣＵ、ＰＵ、ＴＵの分割はいずれも長方形の分割に基づくものであるが、ＧＰＭとＡＷＰは分割せずに予測された非長方形の分割効果を実現する。ＧＰＭとＡＷＰは、２つの参照ブロックの重みのマスク（ｍａｓｋ）、即ち前述の重みマップまたは重み行列を使用する。このマスクは、予測ブロックを生成するときの２つの参照ブロックの重みを決定する。言い換える、予測ブロックの一部の位置は第１参照ブロックから取得され、位置の一部は第２参照ブロックから取得されると単純に理解できる。一方、ブレンディング領域（ｂｌｅｎｄｉｎｇ ａｒｅａ）は２つの参照ブロックの対応する位置を使用して重み付けされて取得されるものである。これにより、ブレンディングがより滑らかになる。ＧＰＭやＡＷＰは現在ブロックを２つのＣＵやＰＵに分割しないため、予測後の残差の変換、量子化、逆変換、逆量子化なども現在ブロックを１つの全体として処理される。

ＧＰＭは重み行列を使用して２つのインター予測ブロックを結合できることに注意されたい。本願は、これを２つの任意の予測ブロックの結合に拡張する。例えば、２つのインター予測ブロック、２つのイントラ予測ブロック、１つのインター予測ブロックと１つのイントラ予測ブロックである。画面コンテンツの符号化においても、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）モードの予測ブロックやパレット（ｐａｌｅｔｔｅ）モードの予測ブロックを１つまたは２つの予測ブロックとして使用できる。説明の便宜上、本願では、イントラモード、インターモード、ＩＢＣモード、パレットモードを予測モードと総称する。予測モードは、コーデックに基づいて現在ブロックの予測ブロックの情報を生成することができると理解する。例示的に、イントラ予測では、予測モードは、ＤＣモード、プレーンモード、様々なイントラ角度予測モードなどのあるイントラ予測モードであってもよい。勿論、フレーム内参照画素の最適化方法や、予備予測ブロック生成後の最適化方法（例えば波フィルタリングなど）などの補助情報を取り込むこともできる。例えば、インター予測では、予測モードは、融合（ｍｅｒｇｅ）モード、動きベクトル差分融合（Ｍｅｒｇｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ、ＭＭＶＤ）モード、アドバンスト動きベクトル予測モード（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＡＭＶＰ）であってもよい。例示的に、予測モードは、単方向予測、双方向予測、または多仮説予測であってもよい。さらに、インター予測モードが単方向予測であり、動き情報が決定できる場合には、その動き情報に基づいて予測ブロックを決定することができる。インター予測モードが双方向予測であり、２つの動き情報が決定できる場合には、その動き情報に基づいて予測ブロックを決定することができる。

図１１は、本願の実施例によって提供されるＧＰＭまたはＡＷＰの概略図である。
図１１に示すように、ＧＰＭが決定する必要がある情報は、１つの重み導出モードと２つの予測モードとして表すことができる。重み導出モードは重み行列または重みを決定することに用いられ、２つの予測モードはそれぞれ予測ブロックまたは予測値を決定する。重み導出モードは、分割モードまたは重み行列導出モードとも呼ばれる。２つの予測モードは、同じ予測モードであっても異なる予測モードであってもよい。例えば、イントラ予測モード、インター予測モード、ＩＢＣモード、およびパレットモードを含むが、これらに限定されない。

残差ブロックの変換に関する内容について説明する。
符号化するとき、現在ブロックを先に予測する。空間または時間の関連性を使用して、現在ブロックと同じまたは類似した画像を取得する。１つのブロックについて、予測ブロックと現在ブロックが完全に同一である可能性はあるが、ビデオにおける全てのブロックが同じ状況であることを保証するのは困難である。特に自然のビデオやカメラにより撮影されたビデオである場合、画像のテクスチャが複雑であり、かつ画像におけるノイズなどの要因があるため、通常、予測ブロックは現在ブロックに非常に似ているが、相違がある。さらに、ビデオの不規則な動き、歪み、オクルージョン、輝度などの変化により、現在ブロックを完全に予測することは困難である。したがって、ハイブリッド符号化フレームワークは、現在ブロックのオリジナル画像から予測画像を減算して残差画像を取得するか、または、現在ブロックから予測ブロックを引いて残差ブロックを取得する。残差ブロックは通常、オリジナル画像よりもはるかに簡素であるため、予測によって圧縮効率が大幅に向上する。残差ブロックに対して直接符号化しなく、通常は先に変換を行う。変換とは、残差画像を空間領域から周波数領域に変換し、残差画像の相関性を除去することである。残差画像が周波数領域に変換された後、エネルギーは主に低周波数領域に集中するため、変換された非ゼロ係数の大部分は左上隅に集中する。次に、量子化を使用してさらに圧縮する。また、人間の目は高周波に対して敏感ではないため、高周波領域では、より大きな量子化ステップサイズを使用できる。

画像変換技術は、直交関数または直交行列でオリジナル画像を表現できるようにオリジナル画像を変換する技術であり、この変換は２次元で線形可逆である。一般にオリジナル画像を空間領域画像と呼ばれ、変換された画像は変換領域画像（周波数領域とも呼ばれる）と呼ばれる。変換領域画像は空間領域画像に逆変換することができる。画像変換後は、画像自体の特性をより効果的に反映できる一方で、エネルギーを少量のデータに集中させることができるため、画像の保存、送信及び処理が容易になる。

画像ビデオ符号化の分野において、エンコーダが残差ブロックを取得した後、残差ブロックを変換できる。変換方法は、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）および離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＳＴ）を含むが、これらに限定されていない。ＤＣＴはエネルギー集中特性が強いため、オリジナル画像をＤＣＴ変換した後に、０ではない係数が一部の領域（例えば左上隅の領域）のみに存在する。勿論、ビデオの符号化・復号化では画像をブロックに分割して処理するため、変換もブロック単位で行われる。ビデオ符号化・復号化で使用可能なＤＣＴは、ＤＣＴ２およびＤＣＴ８タイプを含むが、これらに限定されていない。ビデオ符号化・復号化で使用可能なＤＳＴは、ＤＳＴ７タイプを含むが、これらに限定されていない。ただし、ＤＣＴ２タイプはビデオ圧縮規格で一般的に用いられる変換であり、ＶＶＣでＤＣＴ８タイプとＤＳＴ７タイプを使用できる。変換は一般的なビデオ圧縮において非常に有用であるが、必ずしも全てのブロックは変換を行う必要ではない。場合によって、変換を行った方が、変換を行わない圧縮よりも効果的でないこともある。したがって、場合によって、エンコーダは、現在のブロックに対して変換を使用するか否かを選択することができる。

エンコーダが現在の画像における現在ブロックを変換するとき、基関数または基画像を使用して、現在ブロックの残差ブロックを変換できる。基画像は、基関数をグラフで表現したものである。

図１２は、本願の実施例によって提供されるＤＣＴ２タイプの基画像の例示である。
図１２に示すように、ＤＣＴ２タイプの基画像は、基関数に従って描かれた８×８の小ブロックで構成される基画像であり、各小ブロックは８×８の要素（サブブロック）で構成される。具体的な実現では、８×８の小ブロックで構成される基画像を使用して８×８ブロックサイズのブロックを変換することができ、８×８変換係数行列が得られる。

前述したように、ＶＶＣにおいて、ＤＣＴ２タイプを使用して残差ブロックに対して基本的な変換を実行することに加えて、ＤＣＴ８タイプとＤＳＴ７タイプを使用して残差ブロックに対して基本的な変換、即ちマルチ変換モード選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）を実行することもできる。基本変換が使用する基関数に対応する変換タイプを、基本変換が使用する変換カーネルタイプと呼ぶこともできる。エンコーダがさまざまな残差分布特性に基づいて基本的な変換を実行する場合、最も適切な変換カーネルタイプを選択することで圧縮性能を向上させることができる。基本変換は主要変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）とも呼ばれる。ＭＴＳは、いくつかの構文要素を通じて変換カーネルタイプを選択できる。構文要素を通じて変換カーネルタイプを選択するＭＴＳを、表３と併せて以下に示す。

表３に示すように、ＭＴＳ_ＣＵ_ｆｌａｇの値が０である場合、水平方向および鉛直方向の基本変換の変換カーネルタイプはＤＣＴ２を使用する。ＭＴＳ_ＣＵ_ｆｌａｇの値が１、ＭＴＳ_Ｈｏｒ_ｆｌａｇの値が０、およびＭＴＳ_Ｖｅｒ_ｆｌａｇの値が０である場合、水平方向の変換カーネルタイプはＤＳＴ７を使用し、鉛直方向の変換カーネルタイプはＤＳＴ７を使用する。

ＶＶＣ規格では、ＭＴＳの構文を書き換えたり簡素化したりすることもできる。即ち、ＶＶＣは構文要素ｍｔｓ_Ｉｄｘを使用して、基本変換の変換カーネルタイプを決定する。

表４に示すように、ｔｒＴｙｐｅＨｏｒは水平変換の変換カーネルタイプを表し、ｔｒＴｙｐｅＶｅｒは鉛直変換の変換カーネルタイプを表し、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒでは、０がＤＣＴ２タイプの変換を示し、１がＤＳＴ７タイプの変換を示し、２がＤＣＴ８タイプの変換を示す。

残差の分布はイントラ予測モードと一定の関連性があるため、基本的な変換ではこの関連性を利用することもできる。１つの手段は、イントラ予測モードに従ってＭＴＳの変換カーネルタイプをグループ化することである。１つのグループ化の例を次の表に示す。

表５に示すように、イントラ予測モードのインデックスが０または１である場合、ＭＴＳのインデックス０を有する変換カーネルタイプ群を対応的に選択して、ＶＶＣではインデックス０を有するモードがＰｌａｎａｒであり、インデックス１を有するモードがＤＣであり、ＤＣおよびＰｌａｎａｒの両方がより平坦な予測値を生成する。イントラ予測モードのインデックスが２～１２である場合、ＭＴＳ１のインデックスは１である変換カーネルタイプ群を対応的に選択する。イントラ予測モードの画像によれば、２～１２の角度が左下方向を向いていることが分かる。

各変換カーネルタイプ群には、１つの水平変換と鉛直変換の変換カーネルタイプの選択が存在する場合や、複数の水平変換と鉛直変換の変換カーネルタイプの選択がある場合があることを注意されたい。即ち、イントラ予測モードがどの変換カーネルタイプを選択したことに応じて、変換カーネルタイプ群をさらに細分することができ、例えば、何らかの識別またはブロックサイズ情報などを通じて変換カーネルタイプをさらに選択することができ、ここでは詳しく説明しない。大事なのは、基本変換はイントラ予測モードに応じて変換カーネルタイプ群を選択できることである。イントラ予測モードに従って基本変換の変換カーネルタイプ群を選択する方法は、将来、より詳細な基本変換のグループ化を推測することもできることも分かるが、本願ではこれを限定しない。

さらに、本願では主変換に係る変換カーネルタイプは、変換行列、変換タイプ、変換カーネルなどの類似または同一の意味を持つ他の用語とも呼ばれることがある。主変換に係る変換カーネルタイプ群は変換行列群、変換タイプ群、変換カーネル群、などの類似または同一の意味を有する他の用語と呼ばれ、本願では特に限定されない。即ち、本願に係る選択変換カーネルタイプ群または変換カーネルタイプ群は、選択変換行列または変換行列群と呼ぶこともでき、また、選択変換タイプまたは選択変換タイプ群と呼ぶこともでき、選択カーネルまたは変換カーネル群と呼ばれてもよい。変換カーネルタイプまたは変換タイプは、ＤＣＴ２、ＤＣＴ８、ＤＳＴ７などを含む場合があり、ＤＣＴ５、ＤＳＴ４、ＤＳＴ１または識別変換（Ｉｄｅｎｔｉｔｙ Ｔｒａｎｓｆｏｒｍ、ＩＤＴＲ）などを含んでもよい。

さらに、異なるサイズのブロックは、対応するサイズの変換カーネルタイプを使用できるが、本願では詳しく説明しない。

画像はいずれも２次元であり、ハードウェアにとって、２次元変換演算を直接実行する演算量およびメモリのオーバーヘッドは受け入れないため、上記のＤＣＴ２タイプ、ＤＣＴ８タイプ、およびＤＳＴ７タイプの変換は、水平方向と鉛直方向である１次元変換に分けて２つのステップで実行される。例えば、先に水平変換を実行してから鉛直変換を実行するか、先に鉛直変換を実行してから水平変換を実行する。上記の変換方法は、水平および鉛直方向のテクスチャに対してはより効果的であるが、斜めテクスチャに対してはあまり効果的ではない。水平テクスチャと鉛直テクスチャがありふれたものため、上記の変換方法は圧縮効率を向上させるのに非常に有用である。しかしながら、技術の発展につれて、水平および鉛直テクスチャの残差を処理するだけでは、圧縮効率の要求を満たすことができなくなる。

これに基づいて、本願は二次変換の概念を導入する。即ち、エンコーダは一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）を基に二次変換を実行して、圧縮効率を向上させることができる。

例示的に、主変換は、水平方向および鉛直方向のテクスチャを処理するために用いられることができ、例えば、主変換には、上記記載に係るＤＣＴ２タイプ、ＤＣＴ８タイプ、およびＤＳＴ７タイプ変換が含まれるが、これらに限定されない。二次変換は、斜めテクスチャを処理することに用いられる。例えば、二次変換には、低周波非分離変換（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｒｏｍ、ＬＦＮＳＴ）を含むが、これらに限定されていない。符号化側では、二次変換は主変換の後、量子化の前に用いられる。復号化側では、二次変換は逆量子化の後、逆一次変換の前に用いられる。

図１３は、本願の実施例によって提供されるＬＦＮＳＴの例示である。

図１３に示すように、符号化側で、ＬＦＮＳＴは基本変換の後に左上隅の低周波係数に対して二次変換を実行する。一次変換は、画像の非関連化によってエネルギーを左上隅に集中させる。二次変換は、一次変換の低周波係数に対して非関連化を行う。符号化側では、１６つの係数が４×４ＬＦＮＳＴに入力する際に、８つの係数が出力され、６４つの係数が８×８ＬＦＮＳＴに入力する際に、１６つの係数が出力される。復号化側では、８つの係数が４×４逆ＬＦＮＳＴに入力する際に、１６つの係数が出力され、１６つの係数が８×８逆ＬＦＮＳＴに入力する際に、６４つの係数が出力される。

エンコーダが現在の画像における現在ブロックに対して二次変換を実行するとき、選択された変換行列群内のある変換行列を使用して、現在ブロックの残差ブロックを変換することができる。二次変換はＬＦＮＳＴであることを例とすると、変換行列はある斜めテクスチャを変換することに用いられる行列を指し、変換行列群はいくつかの類似する斜めテクスチャを変換することに用いられる行列を含むことができる。

図１４は、本願の実施例によって提供されるＬＦＮＳＴの変換行列群の例である。

図１４の（ａ）～（ｄ）に示すように、ＬＦＮＳＴは４群の変換行列を有することができ、同じ変換行列群における変換行列は同じ斜めテクスチャを有する。例えば、図１４の（ａ）に示される変換行列群は、インデックスが０である変換行列群であってもよく、図１４の（ｂ）に示される変換行列群は、インデックスが１である変換行列群であってもよい。図１４の（ｃ）に示す変換行列群はインデックス２である変換行列群であり、図１４の（ｄ）に示す変換行列群はインデックス３である変換行列群である。

本願では、二次変換に係る変換行列は、変換カーネル、変換カーネルタイプまたは基関数、および類似または同一の意味を有する他の用語とも呼ばれることがあり、二次変換に係る変換行列群も変換カーネル群、変換カーネル群、変換カーネルタイプ群、または基関数群などの用語は、類似または同一の意味を有し、本願では特に限定されない。即ち、本願に係る選択変換行列または変換行列群は、選択変換カーネルタイプまたは変換カーネルタイプ群と呼ぶこともでき、選択変換タイプまたは選択変換タイプ群と呼ぶこともできる。選択カーネルまたは変換カーネル群とも呼ばれる。

以下に、ＬＦＮＳＴをイントラ符号化ブロックに適用する関連方案について説明する。

イントラ予測では、参照として現在ブロックの周囲の再構成された画素を使用して現在ブロックに対して予測する。現在のビデオは左から右、上から下に符号化されるため、現在ブロックで使用可能な参照画素は通常、左側と上側にある。角度予測では、指定された角度に従って参照画素を現在ブロックに平坦化することを予測値とする。これは、予測されたブロックが明確な方向性テクスチャを持つことを意味し、角度予測後の現在ブロックの残差も統計的に明らかな角度特性を反映する。したがって、ＬＦＮＳＴによって選択された変換行列は、イントラ予測モードにバインドできる。即ち、イントラ予測モードが決定された後、ＬＦＮＳＴは、テクスチャ方向がイントラ予測モードの角度特性に適合する一群（ｓｅｔ）の変換行列を使用できる。

例えば、ＬＦＮＳＴに合計４つの変換行列群があり、各群に２つの変換行列があるとする。イントラ予測モードと変換行列群との対応を表６に示す。

表６に示すように、イントラ予測モード０～８１は、４つの変換行列群のインデックスと関連付けることができる。

クロミナンスイントラ予測で使用されるクロス成分予測モードは８１～８３であるが、輝度イントラ予測にはこれらのモードがないことに注意されたい。ＬＦＮＳＴの変換行列は、転置により１つの変換行列群を使用してより多くの角度を処理できる。例えば、イントラ予測モード１３～２３とイントラ予測モード４５～５５はいずれも変換行列群２に対応するが、イントラ予測モード１３～２３は明らかに水平モードに近く、イントラ予測モード４５～５５は明らかに鉛直モードに近い。イントラ予測モード４５～５５に対応する後変換および逆変換は、必要な転置により適合されることになる。

具体的な実現では、ＬＦＮＳＴには合計４つの変換行列群があるため、符号化側は、現在ブロックで使用されるイントラ予測モードに基づいて、ＬＦＮＳＴがどの変換行列群を使用するかを決定し、決定された１つの変換行列群に用いられる変換行列を決定できる。イントラ予測モードとＬＦＮＳＴ変換行列群との間の関連性を利用することにより、コードストリームにおける送信においてＬＦＮＳＴを選択した変換行列を減らすことができる。現在ブロックがＬＦＮＳＴを使用するか否かことやＬＦＮＳＴを使用しようとする場合、群における第１ブロックを使用するか第２ブロックを使用するかは、コードストリームといくつかの条件によって決定できる。

勿論、共通のイントラ予測モードが６７つあるが、ＬＦＮＳＴには４つの変換行列群しかないことを考慮すると、複数の類似角度予測モードは１つのＬＦＮＳＴ変換行列群にしか対応できず、性能と複雑さとのバランスを取る設計である。各変換行列は、変換行列の係数を保存するための記憶領域が必要になるためである。圧縮効率の要件とハードウェア機能の向上により、ＬＦＮＳＴはより複雑になるように設計することもできる。例えば、より大きな変換行列、より多くの変換行列群を使用し、変換行列群ごとにより多くの変換行列を使用する。例えば、表７は、イントラ予測モードと変換行列群との別の対応関係を示す。

表７に示すように、３５つの変換行列群が使用され、各変換行列群は３つの変換行列を使用する。変換行列群とイントラ予測モードの対応関係は、次のように表すことができる。イントラ予測モード０～３４の場合、変換行列群０～３４に順方向に対応する。即ち予測モードの番号が大きいほど変換行列群のインデックスが大きくなる。イントラ予測モード３５～６７の場合、転置により、２～３３に逆方向に対応する。即ち、予測モードの番号が大きいほど、変換行列群のインデックスが小さくなる。残りの予測モードについては、いずれもインデックス２である変換行列群に対応できる。即ち、転置を考慮しない場合、１つのイントラ予測モードが１つの変換行列群に相当する。この設計により、各イントラ予測モードに対応する残差は、より適切なＬＦＮＳＴ変換行列を取得することができ、圧縮性能も向上する。

勿論、理論的には、広角度モードでも１対１設計を実現できるが、この設計のコスパが低いため、本願では詳しく説明しない。

また、ＬＦＮＳＴについて、ＭＩＰを変換行列群に適合させるために、本願でプレーナモードが適合した変換行列群をＭＩＰに適合する変換行列群として使用することができる。

ＬＦＮＳＴは２次変換の例示にすぎず、２次変換に対する制限として理解されるべきではないことに注意されたい。例えば、ＬＦＮＳＴは分離不可能な二次変換であるが、他の代替実施例では、分離可能な二次変換も使用して、斜めテクスチャの残差の圧縮効率を向上させることができる。

図１５は、本願の実施例によって提供される復号化フレームワーク２００の概略ブロック図である。

図１５に示すように、復号フレームワーク２００は、エントロピー復号化ユニット２１０、逆変換・逆量子化ユニット２２０、残差ユニット２３０、イントラ予測ユニット２４０、インター予測ユニット２５０、ループフィルタリングユニット２６０、および復号化画像バッファーユニット２７０を含む。

エントロピー復号化ユニット２１０は、コードストリームを受信して復号化した後、予測ブロックと周波数領域残差ブロックを取得し、周波数領域残差ブロックに対して、逆変換・逆量子化ユニット２２０は、変換および逆量子化などのステップを実行して時間領域残差ブロックを取得する。残差ユニット２３０は、逆変換・逆量子化ユニット２２０による変換・逆量子化後の時間領域残差ブロックに、イントラ予測ユニット２４０またはインター予測ユニット２５０により予測された予測ブロックを重ね合わせ、再構成ブロックを取得する。

図１６は、本願の実施例によって提供される復号化方法３００の概略フローチャートである。復号化方法３００はデコーダによって実行できることを理解されたい。例えば、図１５に示す復号フレームワーク２００に適用される。説明の便宜上、以下ではデコーダを例に挙げる。

図１６に示すように、復号化方法３００は、以下の一部または全部を含むことができる。
Ｓ３１０、デコーダはコードストリームを復号化して、現在ブロックの第１変換係数を取得する。
Ｓ３２０、デコーダは、前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得する。
Ｓ３３０、デコーダは、前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得する。
Ｓ３４０、デコーダは、予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、前記現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得する。
Ｓ３５０、デコーダは、前記現在ブロックの予測ブロックと前記現在ブロックの残差ブロックに基づいて、前記現在ブロックの再構成ブロックを取得する。

本願では、予測モード導出モードと第２変換を基に、第１変換を導入して、現在ブロックの解凍効率を向上させることができる。

例示的に、前記第１変換はＬＦＮＳＴであってもよい。即ち、本願は、ＬＦＮＳＴを予測モード導出モードに盛り込むことにより、斜めテクスチャの残差の圧縮効率を向上させることができる。

勿論、予測モード導出モードおよびＬＦＮＳＴの適合方法は、他の二次変換方法にも適用可能である。例えば、ＬＦＮＳＴは非分離型二次変換であるが、他の代替実施例では、予測モード導出モードは分離型二次変換にも適用可能であり、本願では特に限定されない。

いくつかの実施例では、前記予測モード導出モードは、デコーダ側イントラモード導出ＤＩＭＤモード、または、テンプレートベースのイントラモード導出ＴＩＭＤモードを含むことができる。

いくつかの実施例では、前記Ｓ３２０は、以下を含むことができる。
前記コードストリームを復号化して、第１識別子と第２識別子を取得し、
前記第１識別子が、予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、第１変換係数に対して第１変換を実行して、第２変換係数を取得する。

例示的に、前記現在シーケンスは、前記現在ブロックを含む画像シーケンスである。

例示的に、前記第１識別子は、現在シーケンスが予測モード導出モードを使用するか否かを制御することに用いられる。

例示的に、前記第１識別子の取り得る値が第１数値である場合、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別する。前記第１識別子の取り得る値が第２数値である場合、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容しないことを識別する。一つの実現様態としては、前記第１数値が０であり、前記第２数値が１である。別の実現態様として、前記第１数値が１であり、前記第２数値が０である。勿論、前記第１数値や前記第２数値は他の取り得る値であってもよい。

例示的に、前記第２識別子は、現在シーケンスが第１変換を使用するか否かを制御することに用いられる。

例示的に、前記第２識別子の取り得る値が第３数値である場合、前記第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容することを識別する。また、前記第２識別子の値が第４数値である場合、前記第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容しないことを識別する。１つの実現態様としては、前記第３数値が０、前記第４数値が１である。別の実現態様として、前記第３数値が１、前記第４数値が０である。勿論、前記第３数値や前記第４数値は他の取り得る値であってもよい。

例示的に、第１識別子がｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第２識別子がｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録されている場合、ｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇの取り得る値がいずれも１であるときに、前記第１変換係数に対して第１変換を実行して、前記第２変換係数を取得する。

例示的に、前記第１識別子が予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容しないことを識別することに用いられる場合、及び／または、前記第２識別子が第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容しないことを識別することに用いられる場合、前記第１変換係数に対して前記第１変換を実行していない。言い換えると、前記第１変換係数に対して前記第２変換を直接に実行でき、前記現在ブロックの残差値を取得する。

勿論、他の代替実施例では、前記第１識別子及び／または前記第２識別子は、画像（ｐｉｃｔｕｒｅ）、スライス（ｓｌｉｃｅ）、最大符号化単位（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）、ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）、符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、また、変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）などのレベルの識別子に置き換えることもできる。あるいは、前記第１識別子および前記第２識別子を基に、予測モード導出モードを使用するか否か、または、前記第１変換を使用するか否かについて、画像、スライス、ＬＣＵ、ＣＴＵ、ＣＵ、ＰＵおよびＴＵなどのレベルの識別子を追加してもよい。本願の実施例では特に限定されない。

いくつかの実施例では、Ｓ３２０は、以下を含むことができる。
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記コードストリームを復号化して第３識別子を取得する。

前記第３識別子が、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第１変換を同時に使用できることを識別することに用いられる場合、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得する。

例示的に、前記第３識別子は、予測モード導出モードと第１変換とを共用できるか否かを制御することに用いられる。

例示的に、前記第３識別子の取り得る値が第５数値である場合、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第１変換を同時に使用できることを許容することを識別する。前記第３識別子の取り得る値が第６数値である場合、現在シーケンスにおける画像ブロックが予測モード導出モードと第１変換を同時に使用することを許容しないことを識別する。１つの実現態様としては、前記第５数値が０、前記第６数値が１である。別の実装態様として、前記第５数値が１、前記第６数値が０である。勿論、前記第５数値や前記第６数値は他の取り得る値であってもよい。

例示的に、第１識別子がｓｐｓ＿ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第２識別子がｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第３識別子がｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録される場合、ｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇの取り得る値がいずれも１である場合、ｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否か、且つｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得する。

勿論、他の代替実施例では、前記第３識別子は、画像（ｐｉｃｔｕｒｅ）、スライス（ｓｌｉｃｅ）、最大符号化単位（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）、ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）、符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）などのレベルの識別子に置き換えることもできる。あるいは、前記第３識別子を基に、前記予測モード導出モードまたは前記第１変換を使用するか否かについて、画像、スライス、ＬＣＵ、ＣＴＵ、ＣＵ、ＰＵ、またはＴＵなどのレベルの識別子を追加してもよい。本願の実施例はこれを特に限定するものではない。

いくつかの実施例では、Ｓ３２０は以下を含むことができる。
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを識別することに用いられる場合、デコーダは、前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得する。

例示的に、第１識別子がｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第２識別子がｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第３識別子がｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録される場合、ｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇの取り得る値がいずれも１である場合、デコーダは、前記現在ブロックの高さ及び／または幅を決定する。前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得する。

例示的に、前記第１閾値は、４、８、１６、３２、６４、または他の取り得る値であってもよい。

いくつかの実施例では、前記Ｓ３２０の前に、前記方法３００はさらに、以下を含むことができる。
デコーダは、前記第１変換が使用する変換行列群を決定する。

予測モード導出モードは、２つの予測モード（即ち、第１イントラ予測モードと第２イントラ予測モード）を組み合わせて現在ブロックに対して予測するため、異なるイントラ予測モードで現在ブロックに対して予測して取得られる予測ブロックは、異なるテクスチャ特性を示すことがあることに留意されたい。したがって、現在ブロックが予測モード導出モードを選択する場合、第１イントラ予測モードにより現在ブロックの予測ブロックが１つのテクスチャ特性を示される可能性があり、第２イントラ予測モードにより現在ブロックの予測ブロックがもう１つのテクスチャ特性を示される可能性がある。言い換えると、現在ブロックに対して予測した後、統計的な観点から、現在ブロックの予測ブロックも２つのテクスチャ特性を示すことがある。即ち、現在ブロックの残差ブロックは必ずしもある予測モードに示される規律に合わない。したがって、予測モード導出モードに対して、デコーダが第１変換係数に対して第１変換を行う前に、その特性に適合する変換行列群を決定する必要がある。しかしながら、第１変換が使用する変換行列群は、一般的に、単一のイントラ予測モードによって定義される変換行列群である。そのため、予測モード導出モードに対して、第１変換が使用する変換行列群を決定する方案を改良する必要があり、下記には各実現様態を例示的に説明する。

いくつかの実施例では、第１変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである。

例示的に、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用している場合、デコーダは予測モード導出モードとプレーナモード（またはＤＣモード）を１つのカテゴリに分類し、予測モード導出モードを決定する。プレーナモード（またはＤＣモード）に従って、第１変換に用いられる変換行列群を適合する。言い換えると、デコーダが現在ブロックの予測モードをチェックするときに、現在ブロックが予測モード導出モードを使用している場合、エンコーダは現在ブロックの予測モードをプレーナモード（またはＤＣモード）に戻すことができることにより、デコーダは、プレーナモード（またはＤＣモード）に適合する変換行列群を前記第１変換が使用する変換行列群に決定する。言い換えると、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、デコーダは、現在ブロックの第１変換が使用した変換行列群が、プレーナモード（またはＤＣモード）に適合する変換行列群であってもよいと判断する。

本実施例では、プレーナモード（またはＤＣモード）と予測モード導出モードの両方も様々なテクスチャ特性を反映できるため、プレーナモードまたは直流ＤＣモードに適合する変換行列群を第１変換が使用する変換行列群に決定することにより、予測モード導出モードと第１変換に基づいて現在ブロックを復号化するだけでなく、第１変換が使用する変換行列群のテクスチャ特性が現在ブロックの残差ブロックのテクスチャ特性にできる限り接近することを保証でき、解凍効率を向上させる。

いくつかの実施例では、デコーダは、第１イントラ予測モードおよび第２イントラ予測モードに基づいて第３イントラ予測モードを決定し、第１変換が使用する変換行列群は、第３イントラ予測モードに適合する変換行列群と同じである。

例示的に、デコーダは、第３イントラ予測モードが適合した変換行列群を、第１変換が使用する変換行列群に決定することができる。

例示的に、デコーダ側が現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、デコーダは第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定する。デコーダが第３イントラ予測モードに従って第１変換が使用する変換行列群を適合できるように、予測モード導出モードと第３イントラ予測モードを１つのカテゴリに分類する。言い換えると、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、エンコーダは現在ブロックの予測モードを第３イントラ予測モードに戻すことができることにより、デコーダが第３イントラ予測モードに適合する変換行列群を、前記第１変換が使用する変換行列群に決定する。言い換えると、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、デコーダが現在ブロックに対する第１変換が使用する変換行列群は第３イントラ予測モードに適合する変換行列群であってもよいと判断してもよい。

勿論、他の代替実施例では、デコーダは、先に第３イントラ予測モードを決定し、第３イントラ予測モードにより前記第１変換が使用する変換行列群を明示的に決定しなくてもよい。その代わりに、前記第３イントラ予測モードに適合する変換行列群を前記第１変換が使用する変換行列群とする。

いくつかの実施例では、デコーダは、前記第１イントラ予測モードおよび前記第２イントラ予測モードにおけるデフォルト予測モードを前記第３イントラ予測モードに決定するか、または、デコーダは、前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定するか、または、デコーダが、前記第１イントラ予測モードのタイプおよび前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定するか、または、デコーダが前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて前記第３イントラ予測モードを決定する。

例示的に、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、第１変換が使用する変換行列群を選択する場合、第１イントラ予測モードと第２イントラ予測モードに基づいて、第１変換が使用する変換行列群を決定する。１つの実現態様としては、任意の場合でも第１イントラ予測モードを使用して決定することができる。即ち、任意の場合でも第１イントラ予測モードに適合する変換行列群を、第１変換が使用する変換行列群に決定する。または、任意の場合でも第２イントラ予測モードを用いて決定することもできる。即ち、任意の場合でも第２イントラ予測モードに適合する変換行列群を第１変換が使用する変換行列に決定する。もう１つの実現態様において、場合によって、第１イントラ予測モードを使用して決定することができる。即ち、場合によって、第１イントラ予測モードに適合する変換行列群を第１変換が使用する変換行列群に決定する。または、場合によって、第２イントラ予測モードを使用して決定することができる。即ち、第２イントラ予測モードに適合する変換行列群を第１変換が使用する変換行列群に決定する。場合によって、プレーンモードまたはＤＣモードにより決定される。即ち、場合によって、プレーンモードまたはＤＣモードに適合する変換行列群を第１変換が使用する変換行列群に決定する。ある予測モードを使用して決定するということは、予測モード導出モードがある予測モードと同じカテゴリに分類され、デコーダがある予測モードに基づいて第１変換が使用する変換行列群を適合できることを意味する。言い換えると、デコーダが現在ブロックの予測モードをチェックするときに、現在ブロックが予測モード導出モードを使用している場合、前記ある予測モードを返すことができることにより、デコーダは前記ある予測モードに従って第１変換が使用する変換行列群に適合できる。言い換えると、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、デコーダは、現在ブロックの第１変換に使用された変換行列群が、前記ある予測モードに適合する変換行列群であってもよい。

いくつかの実施例では、デコーダが前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定するとき、第１イントラ予測モードと第２イントラ予測モードとのうちの最も大きな重みを有するイントラ予測モードを第３イントラ予測モードに決定する。

例示的に、デコーダが前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて前記第３イントラ予測モードを決定する場合、重みの大きいイントラ予測モードの優先度は、重みの小さいイントラ予測モードの優先度よりも高い。例えば、第１イントラ予測モードの重みが第２イントラ予測モードの重みよりも大きい場合、第１イントラ予測モードを第３イントラ予測モードに決定し、第２イントラ予測モードの重みが第１イントラ予測モードの重みよりも大きい場合、第２イントラ予測モードを第３イントラ予測モードに決定する。

いくつかの実施例では、デコーダが前記第１イントラ予測モードのタイプおよび前記第２イントラ予測モードのタイプに基づいて前記第３イントラ予測モードを決定するとき、前記第１イントラ予測モードおよび前記第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、前記角度予測モードを第３イントラ予測モードに決定する。

例示的に、デコーダが前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて前記第３イントラ予測モードを決定する場合、角度予測モードが第３イントラ予測モードとする優先度は、非角度予測モードが第３イントラ予測モードとする優先度よりも高い。例えば、前記第１イントラ予測モードが角度予測モードであり、前記第２イントラ予測モードが非角度予測モード（例えば、プレーナモードまたはＤＣモード）である場合、第１イントラ予測モード（即ち角度予測モード）を第３イントラ予測モードに決定する。

いくつかの実施例では、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、第１予測モードに対応するイントラ予測モードを前記第３イントラ予測モードに決定して、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測に基づいて決定される。前記第１イントラ予測モードの予測角度および前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを第３イントラ予測モードに決定する。

例示的に、デコーダが前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて前記第３イントラ予測モードを決定する場合、第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度との差は比較的小さい場合、デコーダは、第１イントラ予測モード、第２イントラ予測モード、または第１イントラ予測モードに位置する予測角度と第２イントラ予測モードの予測角度との間の予測角度を。例えば、第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度との差が比較的大きい場合、デコーダは、プレーナモードまたはＤＣモードを第３イントラ予測モードに決定することができる。

いくつかの実施例では、デコーダは、前記予測モード導出モードに適合された変換行列群を、前記第１変換が使用する変換行列群に決定する。

例示的に、デコーダは、予測モード導出モードに対して、適合または専用の変換行列群を定義することができる。

いくつかの実施例では、前記第１変換は、現在ブロックにおける斜め方向に沿うテクスチャを処理することに用いられ、前記第２変換は、現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。

なお、復号化側の第１変換は、符号化側の第１変換の逆変換であり、復号化側の第２変換は、符号化側の第２変換の逆変換である。例えば、符号化側では、第１変換は上記記載に係る二次変換であり、第２変換は、上記記載に係る基本変換または主変換であり、復号化側では、前記第１変換は、上記記載に係る二次変換の逆変換でもよい。例えば、符号化側では、前記第１変換は逆ＬＦＮＳＴでもよく、前記第２変換はＤＣＴ２タイプ、ＤＣＴ８タイプ、またはＤＳＴ７タイプなどでもよい。デコーダについて、前記第１変換は、逆（反）ＬＦＮＳＴでもよく、第２変換は、逆（反）ＤＣＴ２タイプ、逆（反）ＤＣＴ８タイプ、または逆（反）ＤＳＴ７タイプなどでもよい。

以上、デコーダの視点から本願の実施例に係る復号化方法を詳細に説明した。下記に、図１７を参照しながら、エンコーダの視点から本願の実施例に係る符号化方法を説明する。

図１７は、本願の実施例によって提供される符号化方法４００の概略フローチャートである。符号化方法４００はエンコーダによって実行されることを理解されたい。例えば、図１に示す符号化フレームワーク１００に適用される。説明を簡単にするために、以下ではエンコーダを例として使用する。

図１７に示すように、符号化方法４００は、以下を含むことができる。
Ｓ４１０、予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得する。
Ｓ４２０、前記現在ブロックの予測ブロックに基づいて前記現在ブロックの残差ブロックを取得する。
Ｓ４３０、前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得する。
Ｓ４４０、前記第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得する。
Ｓ４５０、前記第４変換係数に対して符号化する。

なお、復号化側の第１変換は、符号化側の第４変換の逆変換であり、復号化側の第２変換は、符号化側の第３変換の逆変換である。例えば、前記第３変換は、上記記載に係る基本変換または主変換であり、前記第４変換は、上記記載に係る二次変換であり、対応的に、前記第１変換は、二次変換の逆変換（または反変換）である。前記第２変換は、基本変換または主変換の逆変換（または反変換）であってもよい。例えば、前記第１変換は、逆（反）ＬＦＮＳＴであってもよく、前記第２変換は、逆（反）ＤＣＴ２タイプ、逆（反）ＤＣＴ８タイプ、または逆（反）ＤＳＴ７タイプなどであってもよい。前記第３変換は、ＤＣＴ２タイプ、ＤＣＴ８タイプ、またはＤＳＴ７タイプなどであってもよく、前記第４変換は、ＬＦＮＳＴであってもよい。

いくつかの実施例では、予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む。

いくつかの実施例では、Ｓ４５０は、以下を含むことができる。
第１識別子、第２識別子、および第４変換係数に対して符号化する。
前記第１識別子は、前記予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子は、前記第４変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる。

いくつかの実施例では、Ｓ４５０は、以下を含むことができる。
第１識別子、第２識別子、第４変換係数、および第３識別子を符号化する。
前記第３識別子は、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第４変換を同時に使用することを許容することを識別することに用いられる。

いくつかの実施例では、Ｓ４４０は、以下を含むことができる。
前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第３変換係数に対して第４変換を実行して、前記第４変換係数を取得する。

いくつかの実施例では、Ｓ４４０の前に、前記方法４００は、以下をさらに含むことができる。
前記第４変換が使用する変換行列群を決定する。

いくつかの実施例では、前記第４変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである。

いくつかの実施例では、第４変換が使用する変換行列群を決定することは、以下を含むことができる。
第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定する。
前記第４変換が使用する変換行列群は、前記第３イントラ予測モードに適合する変換行列群と同じである。

いくつかの実施例では、前記第１イントラ予測モードおよび前記第２イントラ予測モードに基づいて、第３イントラ予測モードを決定することは、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちのデフォルト予測モードを前記第３イントラ予測モードに決定すること、または、
前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定することを含む。

いくつかの実施例では、前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定することは、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定することを含む。

いくつかの実施例では、前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定することは、
前記第１イントラ予測モードおよび前記第２イントラ予測モードは、角度予測モードと非角度予測モードを含む場合、角度予測モードを前記第３イントラ予測モードに決定することを含む。

いくつかの実施例では、第１イントラ予測モードの予測角度および第２イントラ予測モードの予測角度に基づいて、第３イントラ予測モードを決定することは、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、第１予測角度に対応するイントラ予測モードを前記第３イントラ予測モードに決定することであって、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて決定されることと、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを前記第３イントラ予測モードに決定することを含む。

いくつかの実施例では、前記第４変換が使用する変換行列群を決定することは、
前記予測モード導出モードに適合する変換行列群を、第４変換が使用する変換行列群に決定することを含む。

いくつかの実施例では、前記第４変換は、前記現在ブロックにおける斜め方向に沿うテクスチャを処理することに用いられ、前記第３変換は、前記現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。

符号化方法は、復号化方法の逆のプロセスとして理解できることを理解されたい。したがって、符号化方法４００の具体的な方案は、復号化方法３００の関連内容を参照することができる。説明の便宜上、本願では詳しく説明しない。

以上、添付図面を参照しながら本願の好適な実施例について詳細に説明したが、本願はその技術的思想の範囲内において上記実施例の具体的な内容に限定されるものではない。これらの簡易な修正は、いずれも本願の保護範囲に属する。例えば、上記記載に係る特定の実施例で説明された各特定の技術的特徴は、矛盾することなく任意の適切な方法で組み合わせることができる。別の例として、本願の思想に反しない限り、本願の様々な実施例を任意に組み合わせて実施することも可能である。また、本願の様々な方法の実施例において、上記記載に係るプロセスの順番の大きさは、各プロセスの実行順序を意味しなく、その機能および内部のロジックによって決定されるべきであり、本願の実施例をいかなる制限も構成しないことも理解されたい。

上記には、本願の方法の実施例について詳細に説明し、本願の装置の実施例については図１８から図２０を参照しながら、以下に詳細に説明する。
図１８は、本願の実施例のデコーダ５００の概略ブロック図である。
図１８に示すように、前記デコーダ５００は、
コードストリームを復号化して現在ブロックの第１変換係数を取得することに用いられる復号化ユニット５１０と、
前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得し、前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得する変換ユニット５２０と、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、前記現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニット５３０と、
前記現在ブロックの予測ブロックと前記現在ブロックの残差ブロックに基づいて、前記現在ブロックの再構成ブロックを取得することに用いられる再構成ユニット５４０と、を含む。

いくつかの実施例では、前記予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む。

いくつかの実施例では、前記変換ユニット５２０は、
コードストリームを復号化して、第１識別子と第２識別子を取得し、
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記第１変換係数に対して第１変換を実行して、前記第２変換係数を取得することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記コードストリームを復号化して第３識別子が取得し、
前記第３識別子は、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第１変換を同時に使用できることを識別することに用いられる場合、前記第１変換係数に対して第１変換を実行して、前記第２変換係数を取得することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記現在ブロックの高さ及び／または幅が第１閾値以上であるとき、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、前記第２変換係数に対して前記第２変換を実行し、前記現在ブロックの残差ブロックを取得する前に、
前記第１変換が使用する変換行列群を決定することにさらに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
いくつかの実施例では、前記第１変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じであることに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードと前記第２イントラ予測モードに基づいて、前記第３イントラ予測モードを決定することにさらに用いられる。
前記第１変換が使用する変換行列群は、前記第３イントラ予測モードに適合する変換行列群と同じである。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちのデフォルト予測モードを前記第３イントラ予測モードに決定すること、または、
前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードおよび前記第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、前記角度予測モードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、前記第１予測角度に対応するイントラ予測モードを前記第３イントラ予測モードに決定することであって、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて決定されることと、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が前記第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記予測モード導出モードに適合する変換行列群を前記第１変換が使用する変換行列群に決定することに用いられる。
いくつかの実施例では、前記第１変換は、現在ブロックにおける斜め方向に沿うテクスチャを処理することに用いられ、前記第２変換は、現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。

図１９は、本願の実施例のエンコーダ６００の概略ブロック図である。
図１９に示すように、エンコーダ６００は、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニット６１０と、
前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得することに用いられる残差ユニット６２０と、
前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得し、
前記第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得することに用いられる変換ユニット６３０と、
前記第４変換係数に対して符号化することに用いられる符号化ユニット６４０と、を含む。

いくつかの実施例では、前記予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む。

いくつかの実施例では、前記符号化ユニット６４０は、
第１識別子、第２識別子、および第４変換係数に対して符号化することに用いられ、
前記第１識別子は、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子は、前記第４変換が現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる。

いくつかの実施例では、前記符号化ユニット６４０は、
第１識別子、第２識別子、第４変換係数、および第３識別子を符号化することに用いられ、
前記第３識別子は、現在シーケンスにおける画像ブロックが予測モード導出モードと第４変換を同時に使用することを許容することを識別することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第３変換係数に対して前記第４変換を実行して、前記第４変換係数を取得することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、前記第３変換係数に対して第４変換を実行し、前記現在ブロックの第４変換係数を取得する前に、
前記第４変換が使用する変換行列群を決定することに用いられる。

いくつかの実施例では、前記第４変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードと前記第２イントラ予測モードに基づいて、前記第３イントラ予測モードを決定する。
前記第４変換が使用する変換行列群は、前記第３イントラ予測モードに適合する変換行列群と同じである。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちのデフォルト予測モードを前記第３イントラ予測モードに決定すること、または、
前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードおよび前記第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、前記角度予測モードを第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、前記第１予測角度に対応するイントラ予測モードを前記第３イントラ予測モードに決定することであって、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて決定され、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記予測モード導出モードに適合する変換行列群を、前記第４変換が使用する変換行列群に決定することに用いられる。

いくつかの実施例では、前記第４変換は、現在ブロックにおける斜め方向に沿うテクスチャを処理することに用いられ、前記第３変換は、現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。

装置の実施例と方法の実施例は互いに対応して、類似する説明が方法の実施例を参照することができることを理解されたい。繰り返しを避けるため、ここでは詳しく説明しない。具体的には、図１８に示されるデコーダ５００は、本願の実施例の方法３００を実行する際の対応する主体に対応することができ、デコーダ５００における各ユニットの前述および他の動作及び／または機能は、それぞれ、方法３００などの各方法における対応のプロセスを実現するためである。類似的に、図１９に示されるエンコーダ６００は、本願の実施例の方法４００を実行する際の対応する主体に対応することができ、即ち、エンコーダ６００の各ユニットの前述及び他の動作及び／または機能は、それぞれ、方法４００などの各方法における対応するプロセスを実現するためである。

また、本願の実施例に含まれるデコーダ５００またはエンコーダ６００の各ユニットは、別々または全体的に１つまたはいくつかの他のユニットを結合して形成することができ、またはユニットのある（いくつか）をより小さな機能を有する複数のユニッさらに分解することができることも理解されたい。ここで、本願の実施例の技術的効果の実現に影響を与えることなく、同じ動作を達成することができる。上記のユニットは論理的な機能に基づいて分割されており、実際の実装では、１つのユニットの機能を複数のユニットで実現したり、複数のユニットの機能を１つのユニットで実現したりすることもできる。本願の他の実施例では、デコーダ５００またはエンコーダ６００は、他のユニットを含んでもよく、実際の応用例では、これらの機能は、他のユニットの支援を受けて実現されてもよく、複数のユニットが協働して実現されてもよい。本願の別の実施例によれば、中央処理装置（ＣＰＵ）、ランダムアクセス記憶媒体（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）などの処理要素および記憶要素を含む汎用コンピュータを含む汎用コンピュータ装置が提供される。対応する方法に含まれる各ステップを実行することができるコンピュータプログラム（プログラムコードを含む）を実行して、本願の実施例に係るデコーダ５００またはエンコーダ６００を構成し、符号化方法または復号化方法を実現する。コンピュータプログラムは、例えばコンピュータ読み取り可能な記憶媒体に記録され、コンピュータ読み取り可能な記憶媒体を介して電子機器にロード・実行されて本願の実施例の対応する方法を実現することができる。

言い換えると、上記の各部は、ハードウェアで実現することもできるし、ソフトウェアの命令で実現することもできるし、ソフトウェアとハードウェアとの組み合わせで実現することもできる。具体的には、本願実施例の方法実施例におけるステップは、プロセッサ内のハードウェアの集積論理回路および／またはソフトウェアの形態の命令によって完成されてもよく、本願実施例に開示された方法と連動する方法のステップは、ハードウェア復号プロセッサに直接具現化されてもよく、または復号プロセッサ内のハードウェアとソフトウェアの組み合わせで実行されてもよい。選択的に、ソフトウェアは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野で周知した記憶媒体に配置される。該当記憶媒体はメモリ内に配置され、プロセッサはメモリにおける情報を読み取り、ハードウェアと組み合わせて上記の方法の実施例のステップを完成する。

図２０は、本願の一実施例により提供される電子機器７００の概略構造図である。
図２０に示すように、電子機器７００は、プロセッサ７１０とコンピュータ読み取り可能な記憶媒体７２０を少なくとも含む。プロセッサ７１０およびコンピュータ読み取り可能な記憶媒体７２０は、バスまたは他の手段を通じて接続され得る。コンピュータ読み取り可能な記憶媒体７２０は、コンピュータプログラム７２１を記憶することに用いられ、コンピュータプログラム７２１はコンピュータ命令を含み、プロセッサ７１０は、コンピュータ読み取り可能な記憶媒体７２０に記憶されたコンピュータ命令を実行することに用いられる。プロセッサ７１０は、電子機器７００のコンピューティングカーネルおよび制御カーネルである。プロセッサ７１０は、１つまたは複数のコンピュータ命令を実現するのに適しており、特に、１つまたは複数のコンピュータ命令をロードして実行して、対応する方法フローまたは対応する機能を実現するように構成される。

例示として、プロセッサ７１０は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）と呼ばれてもよい。プロセッサ７１０は、汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェア成分などを含むことができるが、これらに限定されない。

例示として、コンピュータ読み取り可能な記憶媒体７２０は、高速ＲＡＭメモリ、または少なくとも１つのディスクメモリなどの不揮発性メモリ（Ｎｏｎ－ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）であってもよく、選択的に少なくとも１つのディスクメモリであってもよい。選択的に、前述のプロセッサ７１０から離れた場所に配置されるコンピュータ読み取り可能な記憶媒体であってもよい。具体的には、コンピュータ読み取り可能な記憶媒体７２０には、揮発性メモリ及び／または不揮発性メモリが含まれるが、これらに限定されない。その中で、不揮発性メモリは、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、プログラマブル読み取り専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）、電気的にリムーバブルプログラム可能な読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）またはフラッシュメモリであってもよい。揮発性メモリは、外部キャッシュとしてランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）を使用してもよい。例として、限定的な説明ではないが、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ ＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ ＲＡＭ、ＤＲＡＭ）、同期ダイナミックランダムアクセスメモリ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ、ＳＤＲＡＭ）、ダブルコードストリーム同期ダイナミックランダムアクセスメモリ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ、ＤＤＲＳ ＤＲＡＭ）、拡張同期ダイナミックランダムアクセスメモリ（Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ、ＥＳＤＲＡＭ）、同期リンクダイナミックランダムアクセスメモリ（ｓｙｎｃｈ ｌｉｎｋ ＤＲＡＭ、ＳＬＤＲＡＭ）、およびダイレクトバスランダムアクセスメモリ（Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ、ＤＲ ＲＡＭ））との多くの形式のＲＡＭが利用可能である。

一実装形態では、該当電子機器７００は、本願の実施例に係るエンコーダまたは符号化フレームワークであってもよく、コンピュータ読み取り可能な記憶媒体７２０は、第１コンピュータ命令を記憶する。記憶媒体７２０に記憶された第１コンピュータ命令は、プロセッサ７１０によってロード・実行されることにより、本願の実施例によって提供される符号化方法の対応するステップを実現することに用いられる。言い換えると、コンピュータ読み取り可能な記憶媒体７２０における第１コンピュータ命令は、プロセッサ７１０によって対応するステップがロード・実行される。繰り返しを避けるため、ここでは詳しく説明しない。

一実装形態では、該当電子機器７００は、本願の実施例に係るデコーダまたは復号化フレームワークであってもよく、コンピュータ読み取り可能な記憶媒体７２０は、第２コンピュータ命令を記憶する。記憶媒体７２０に記憶された第２コンピュータ命令は、プロセッサ７１０によってロードされ、実行されることにより、本願の実施例によって提供される復号化方法の対応するステップを実現することに用いられる。言い換えると、コンピュータ読み取り可能な記憶媒体７２０における第２コンピュータ命令は、プロセッサ７１０によって対応するステップがロード・実行される。繰り返しを避けるため、ここでは詳しく説明しない。

本願の別の態様によれば、本願の実施例は、上記記載に係るエンコーダとデコーダとを含む符号化・復号化システムも提供する。

本願の別の態様によれば、本願の実施例は、コンピュータ読み取り可能な記憶媒体（Ｍｅｍｏｒｙ）も提供する。コンピュータ読み取り可能な記憶媒体は、電子機器７００におけるメモリデバイスであり、プログラムおよびデータを記憶することに用いられる。例えば、コンピュータ読み取り可能な記憶媒体７２０である。ここで、コンピュータ読み取り可能な記憶媒体７２０は、電子機器７００に内蔵された記憶媒体を含み得るが、電子機器７００がサポートする拡張記憶媒体も含み得る。コンピュータ読み取り可能な記憶媒体は、電子機器７００のオペレーティングシステムを記憶する記憶空間を提供する。さらに、プロセッサ７１０によってロード・実行されることに適する１つ以上のコンピュータ命令も記憶空間に記憶される。これらのコンピュータ命令は、１つ以上のコンピュータプログラム７２１（プログラムコードを含む）であってもよい。

本願の別の態様によれば、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータ命令を含むコンピュータプログラム製品またはコンピュータプログラムが提供される。例えば、コンピュータプログラム７２１である。このとき、データ処理装置７００は、コンピュータであってもよい。プロセッサ７１０は、コンピュータ読み取り可能な記憶媒体７２０からコンピュータ命令を読み取る。これにより、コンピュータは、上記の選択的な態様に提供された符号化方法または復号化方法を実行する。

言い換えると、ソフトウェアにより実現される場合、その全体または一部がコンピュータプログラム製品の形で実現されてもよい。コンピュータプログラム製品には、１つまたは複数のコンピュータ命令が含まれている。コンピュータプログラム命令がコンピュータにロード・実行されると、本願の実施例の処理の全部または一部が実行され、または本願の実施例の機能が実現される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラム可能なデバイスであってもよい。コンピュータ命令は、あるコンピュータ読み取り可能な記憶媒体に記憶されたり、あるコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に送信されたりすることがある。例えば、コンピュータ命令は、有線（同軸ケーブル、光ファイバー、デジタルユーザ線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）など）または無線（赤外線、無線、マイクロ波など）手段を介してウェブサイト、コンピュータ、サーバー、またはデータセンターから別のウェブサイト、コンピュータ、サーバー、またはデータセンターに送信することができる。

当業者は、本明細書に開示される実施例に関連して説明される各例のユニットおよびプロセスステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアの組み合わせによって実現されることを理解することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、特定のアプリケーションと技術ソリューションの設計制約条件次第である。当業者は、特定の用途ごとに異なる方法を使用して説明された機能を実現することができるが、そのような実現は本願の範囲を超えるものとみなされるべきではない。

なお、上記の内容は本願の特定の実施例にすぎず、本願の保護範囲はこれに限定されなく、当業者であれば、開示された技術的範囲内で容易に想到できる変更または置換は、本願の保護範囲に含まれるものとする。したがって、本願の保護範囲は請求の範囲の保護範囲に従うべきである。

本願の実施例は、画像ビデオの符号化・復号化の技術分野に関し、より具体的には、復号化方法、符号化方法、デコーダおよびエンコーダに関する。

デジタルビデオ圧縮技術は、送信・保存しやすくなるように、主に膨大なデジタルビデオデータを圧縮する。インターネットビデオの普及に伴い、ビデオの鮮明さに対する要求は、ますます高くなっていく。既存のデジタルビデオ圧縮規格でもビデオ解凍技術を実現できるが、圧縮効率を向上させるために、より優れるデジタルビデオ解凍技術を追求する必要がある。

本願の実施例は、圧縮効率を向上可能な復号化方法、符号化方法、デコーダおよびエンコーダを提供する。
第１側面では、本願は、復号化方法を提供することであって、前記方法は、
コードストリームを復号化して、現在ブロックの第１変換係数を取得するステップと、
前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得するステップと、
前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得するステップと、
予測モード導出モードによって導出された第２イントラ予測モードと第１イントラ予測モードとに基づいて、前記現在ブロックの予測ブロックを取得するステップと、
前記現在ブロックの予測ブロックと前記現在ブロックの残差ブロックに基づいて、前記現在ブロックの再構成ブロックを取得するステップと、を含む。

第２側面では、本願は、符号化方法を提供することであって、前記方法は、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得するステップと、
前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得するステップと、
前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得するステップと、
第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得するステップと、
第４変換係数に対して符号化するステップと、を含む。

第３側面では、本願は、デコーダを提供することであって、前記デコーダは、
コードストリームを復号化して現在ブロックの第１変換係数を取得することに用いられる復号化ユニットと、
前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得し、前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得することに用いられる変換ユニットと
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、前記現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニットと、
前記現在ブロックの予測ブロックと、前記現在ブロックの残差ブロックとに基づいて、前記現在ブロックの再構成ブロックを取得することに用いられる再構成ユニットと、を含む。

第４側面では、本願は、エンコーダを提供することであって、前記エンコーダは、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、現在ブロックを予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニットと、
前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得することに用いられる残差ユニットと、
前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得し、
前記第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得する変換ユニットと、
前記第４変換係数に対して符号化することに用いられる符号化ユニットと、を含む。

第５側面では、本願は、デコーダを提供することであって、前記デコーダは、
コンピュータ命令を実行するように構成されるプロセッサと、
コンピュータ命令が記憶されるコンピュータ読み取り可能な記憶媒体であって、コンピュータ命令は、プロセッサが上記第１側面または各側面における復号化方法をロードして実行するように構成されるコンピュータ読み取り可能な記憶媒体と、を含む。

一実装形態では、該プロセッサは１つまたは複数であり、該メモリは１つまたは複数である。

一実装形態では、該コンピュータ読み取り可能な記憶媒体はプロセッサと共に実現されてもよいし、プロセッサと別に設置されてもよい。

第６側面では、本願は、エンコーダを提供することであって、前記エンコーダは、
コンピュータ命令を実行するように構成されるプロセッサと、
コンピュータ命令が記憶されるコンピュータ読み取り可能な記憶媒体であって、コンピュータ命令はプロセッサが上記第２側面または各側面における符号化方法をロードして実行するように構成されるコンピュータ読み取り可能な記憶媒体と、を含む。

一実装形態では、該プロセッサは１つまたは複数であり、該メモリは１つまたは複数である。

一実装形態では、該コンピュータ読み取り可能な記憶媒体はプロセッサと共に実現されてもよいし、コンピュータ読み取り可能な記憶媒体はプロセッサとは別に設置されてもよい。

第７側面では、本願は、コンピュータ命令が記憶されるコンピュータ読み取り可能な記憶媒体を提供することであって、コンピュータ命令がコンピュータ装置のプロセッサによって読み取られて実行される場合、コンピュータ装置は上記第１側面に係る復号化方法または上記第２側面に係る符号化方法を実行させる。

第８の側面において、本願は、上記第１側面に係るコードストリームまたは上記第２側面に係るコードストリームを提供する。

上記の技術的方案に基づいて、本願は、予測モード導出モードと第２変換を基に、第１変換を導入して、現在ブロックの解凍効率を向上させることができる。

本願の実施例によって提供される符号化フレームワークの概略ブロック図である。 本願の実施例によって提供される６５つの角度予測モードの具体的な方向の概略図である。 本願の実施例によって提供される広角度予測モードの参照画素の例である。 本願の実施例によって提供されるＭＩＰモードの概略図である。 本願の実施例によって提供されるＤＩＭＤに基づいて予測モードを導出する概略図である。 本願の実施例によって提供されるＤＩＭＤに基づいて予測ブロックを導出する概略図である。 本願の実施例によって提供されるＴＩＭＤで使用されるテンプレートの概略図である。 本願の実施例によって提供されるＧＰＭの正方形ブロックにおける６４つの重み導出モードに対応する重みマップの例である。 本願の実施例によって提供される重み導出モードにおける分割線の例である。 本願の実施例によって提供されるＡＷＰの正方形ブロックにおける５６つの重み導出モードに対応する重みマップの例である。 本願の実施例によって提供されるＧＰＭまたはＡＷＰの概略図である。 本願の実施例によって提供されるＤＣＴ２タイプの基画像の例示である。 本願の実施例によって提供されるＬＦＮＳＴの例である。 本願の実施例によって提供されるＬＦＮＳＴの変換行列群の例である。 本願の実施例によって提供される復号化フレームワークの概略ブロック図である。 本願の実施例によって提供される復号化方法の概略的なフローチャートである。 本願の実施例によって提供される符号化方法の概略的なフローチャートである。 本願の実施例によって提供されるデコーダの概略ブロック図である。 本願の実施例によって提供されるエンコーダの概略ブロック図である。 本願の実施例によって提供される電子機器の概略ブロック図である。

以下、添付図面を参照して、本願の実施例における技術的方案について説明する。
本願の実施例によって提供される方案は、デジタルビデオ符号化技術の分野に適用することができる。例えば、画像符号化・復号化、ビデオ符号化・復号化、ハードウェアビデオ符号化・復号化、専用回路ビデオ符号化・復号化、リアルタイムビデオ符号化・復号化の分野を含むが、これらに限定されない。さらに、本願の実施例によって提供される方案は、オーディオおよびビデオ符号化規格（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ Ｓｔａｎｄａｒｄ、ＡＶＳ）、第２世代ＡＶＳ規格（ＡＶＳ２）、または第３世代ＡＶＳ規格（ＡＶＳ３）に組み込まれることができる。例えば、Ｈ．２６４／オーディオビデオ符号化（Ａｕｄｉｏ Ｖｉｄｅｏ ｃｏｄｉｎｇ、ＡＶＣ）規格、Ｈ．２６５／高効率ビデオ符号化（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＨＥＶＣ）規格、およびＨ．２６６／多用途ビデオ符号化（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ、ＶＶＣ）規格を含むが、これらに限定されない。さらに、本願の実施例によって提供される方案は、画像の非可逆圧縮（ｌｏｓｓｙ ｃｏｍｐｒｅｓｓｉｏｎ）、画像の可逆圧縮（ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）にも用いられることができる。該可逆圧縮は、視覚的可逆圧縮（ｖｉｓｕａｌｌｙ ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）または数学的可逆圧縮（ｍａｔｈｅｍａｔｉｃａｌｌｙ ｌｏｓｓｌｅｓｓ ｃｏｍｐｒｅｓｓｉｏｎ）であってもよい。

ビデオの符号化・復号化の規格は、いずれもブロックベースのハイブリッド符号化フレームワークを採用する。ビデオにおける各フレームは、同じサイズ（１２８×１２８、６４×６４など）の最も大きな符号化ユニット（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）または符号化ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）の正方形に分割される。各最大符号化ユニットまたは符号化ツリーユニットは、ルールに従って長方形の符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）に分割される。符号化ユニットは、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）などに分割されることもある。ハイブリッド符号化フレームワークは、予測（ｐｒｅｄｉｃｔｉｏｎ）、変換（ｔｒａｎｓｆｏｒｍ）、量子化（ｑｕａｎｔｉｚａｔｉｏｎ）、エントロピー符号化（ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、ループフィルター（ｉｎ ｌｏｏｐ ｆｉｌｔｅｒ）などのモジュールを含む。予測モジュールは、イントラ予測（ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）とインター予測（ｉｎｔｅｒ ｐｒｅｄｉｃｔｉｏｎ）を含む。インター予測は、動き推定（ｍｏｔｉｏｎ ｅｓｔｉｍａｔｉｏｎ）と動き補償（ｍｏｔｉｏｎ ｃｏｍｐｅｎｓａｔｉｏｎ）を含む。ビデオにおける１つのフレームにおける隣接する画素間には強い関連性があるため、ビデオ符号化・復号化技術では、イントラ予測方法が使用され、隣接する画素間の空間的冗長性が排除される。イントラ予測は、同一フレーム画像の情報のみを参照し、現在の分割ブロックにおける画素情報を予測する。ビデオにおける隣接フレームの間には強い関連性があるため、ビデオ符号化・復号化技術では、インター予測方法が使用され、隣接フレームの間の時間的冗長性を排除し、符号化効率を向上させる。インター予測では、異なるフレームの画像情報を参照し、動き推定を用いて現在の分割ブロックに最も適合する動きベクトル情報を探索することができる。この変換は、予測された画像ブロックを周波数領域に変換し、エネルギーを再配分して、量子化と組み合わせることで、人間の目に影響を与えていない情報を削除できることにより、視覚的冗長性を除去する。エントロピー符号化は、現在のコンテキストモデルとバイナリコードストリームの確率情報に基づいて文字的冗長性を排除できる。

デジタルビデオ符号化プロセスでは、エンコーダは、まずオリジナルビデオシーケンスから白黒画像またはカラー画像を読み取り、次にその白黒画像またはカラー画像に対して符号化する。白黒画像は輝度成分の画素を含むことができ、カラー画像はクロミナンス成分の画素を含むことができる。選択的に、カラー画像には輝度成分を持つ画素も含まれる場合がある。オリジナルビデオシーケンスのカラーフォーマットは、輝度クロミナンス（ＹＣｂＣｒ、ＹＵＶ）フォーマットまたは赤緑青（Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ、ＲＧＢ）フォーマットなどであってもよい。具体的には、エンコーダは、１つの白黒画像またはカラー画像を読み取った後、ブロックにそれぞれ分割し、現在ブロックに対してイントラ予測またはインター予測を使用して、現在ブロックの予測ブロックを生成する。現在ブロックのオリジナルブロックから予測ブロックを減算して残差ブロックを取得して、残差ブロックを変換・量子化して量子化係数行列を取得して、量子化係数行列に対してエントロピー符号化してコードストリームに出力する。デジタルビデオ復号化プロセスにおいて、デコーダは、現在ブロックに対してイントラ予測またはインター予測を使用して、現在ブロックの予測ブロックを生成する。また、デコーダは、コードストリームを復号化して量子化係数行列を取得し、量子化係数行列に対して逆量子化・逆変換を実行して残差ブロックを取得し、予測ブロックと残差ブロックを加算して再構成ブロックを取得する。再構成ブロックは、再構成画像の構成に用いられ、デコーダは、画像またはブロックに基づいて、再構成画像に対してループフィルタリングを実行して、復号化画像を取得する。

現在ブロック（ｃｕｒｒｅｎｔ ｂｌｏｃｋ）は、現在の符号化ユニット（ＣＵ）または現在の予測ユニット（ＰＵ）などでもよい。

符号化側でも、復号化画像を取得するために復号化側と類似する処理が必要であることに留意されたい。復号化画像は、後続のフレームのインター予測の参照フレームとして使用できる。符号化側で決定されたブロック分割情報や、予測、変換、量子化、エントロピー符号化、ループフィルタリングなどのモード情報やパラメータ情報は、必要に応じてコードストリームに出力する必要がある。復号化側は、解析および既存の情報を分析して、符号化側と同じブロック分割情報や、予測、変換、量子化、エントロピー符号化、ループフィルタリングおよびその他のモード情報またはパラメータ情報を決定することにより、符号化側で取得される復号化画像と復号化側で取得される復号化画像とは同じであることを保証する。符号化側で取得される復号化画像は、通常、再構成画像とも呼ばれる。予測時に、現在ブロックを予測ユニットに分割することができ、変換時に、現在ブロックを変換ユニットに分割することができる。予測ユニットと変換ユニットとの間の分割は、同じであっても異なっていてもよい。勿論、上記はブロックベースのハイブリッド符号化フレームワークにおけるビデオコーデックの基本的なプロセスに過ぎなく、技術の発展に伴い、フレームワークの一部のモジュールやプロセスの一部のステップが最適化される可能性がある。本願は、ブロックベースのハイブリッド符号化フレームワークにおけるビデオコーデックの基本的なフローに適用される。

理解しやすくするように、本願によって提供される符号化フレームワークを先に簡単に紹介する。

図１は、本願の実施例によって提供される符号化フレームワーク１００の概略ブロック図である。

図１に示すように、符号化フレームワーク１００は、イントラ予測ユニット１８０、インター予測ユニット１７０、残差ユニット１１０、変換・量子化ユニット１２０、エントロピー符号化ユニット１３０、逆変換・逆量子化ユニット１４０、およびループフィルタリングユニット１５０を含むことができる。選択的に、符号化フレームワーク１００は、復号化画像バッファユニット１６０を含むこともできる。該符号化フレームワーク１００は、ハイブリッドフレームワーク符号化モードと呼ばれてもよい。

イントラ予測ユニット１８０またはインター予測ユニット１７０は、符号化対象の画像ブロックを予測して予測ブロックを出力することができる。残差ユニット１１０は、予測ブロックと符号化対象画像ブロックとに基づいて、予測ブロックと符号化対象画像ブロックとの差分値である残差ブロックを算出することができる。変換・量子化ユニット１２０は、残差ブロックに対して変換・量子化などの操作を実行して、人間の目に鈍感な情報を除去し、視覚的冗長性を除去することに用いられる。選択的に、変換・量子化ユニット１２０による変換・量子化前の残差ブロックは、時間領域残差ブロックと呼ばれることがあり、変換・量子化ユニット１２０による変換・量子化後の時間領域残差ブロックは、周波数残差ブロックまたは周波数領域の残差ブロックと呼ばれることがある。エントロピー符号化ユニット１３０は、変換・量子化ユニット１２０から出力された変換量子化係数を受信した後、その変換量子化係数に基づいてコードストリームを出力することができる。例えば、エントロピー符号化ユニット１３０は、バイナリコードストリームのターゲットコンテキストモデル及び確率情報に従って文字的冗長性を除去することができる。例えば、エントロピー符号化ユニット１３０は、コンテキストベースの適応型バイナリ算術エントロピー符号化（ＣＡＢＡＣ）に用いられる。エントロピー符号化ユニット１３０は、ヘッダ情報符号化ユニットと呼ばれてもよい。選択的に、本願では、符号化対象画像ブロックは、オリジナル画像ブロックまたはターゲット画像ブロックと呼ぶこともでき、予測ブロックは、予測画像ブロックまたは画像予測ブロックと呼ぶこともでき、また、予測信号や予測情報と呼ぶこともできる。再構成ブロックは、再構成画像ブロックまたは画像再構成ブロックとも呼ばれ、再構成信号または再構成情報とも呼ばれる。また、符号化側では、符号化対象の画像ブロックを符号化ブロックまたは符号化画像ブロックと呼ぶこともあり、復号化側では、符号化対象の画像ブロックを復号化ブロックまたは復号化画像と呼ぶこともある。符号化対象画像ブロックは、ＣＴＵであってもよいし、ＣＵであってもよい。

符号化フレームワーク１００は、予測ブロックと符号化対象画像ブロックとの残差を算出して残差ブロックを取得し、変換、量子化などのプロセスを経て復号化側に送信する。相応に、デコーダはコードストリームを受信して復号化した後、逆変換や逆量子化などの手順を通じて残差ブロックを取得する。デコーダによって予測された予測ブロックに残差ブロックを重ね合わせ、再構成ブロックを取得する。

符号化フレームワーク１００における逆変換・逆量子化ユニット１４０、ループフィルタリングユニット１５０、および復号化画像バッファユニット１６０は、１つのデコーダを形成することに用いられることに留意されたい。イントラ予測ユニット１８０またはインター予測ユニット１７０は、既存の再構成ブロックに基づいて符号化対象画像ブロックを予測することができることにより、符号化側と復号化側が参照フレームに対する理解の一貫性を保証することができる。言い換えると、エンコーダはデコーダの処理ループをコピーでき、デコーダと同じ予測を生成できる。具体的には、量子化された変換係数を逆変換・逆量子化ユニット１４０で逆変換・逆量子化し、復号化側で近似残差ブロックをコピーする。近似残差ブロックに予測ブロックを重ね合わせた後、ループフィルタリングユニット１５０を介して、ブロックベースの処理および量子化によって引き起こされるブロッキング効果を滑らかに除去することができる。ループフィルタリングユニット１５０によって出力された画像ブロックは、後続の画像の予測に使用するために復号化画像バッファユニット１６０に格納され得る。

図１は本願の例示にすぎず、本願を限定するものではないことを理解されたい。

例えば、符号化フレームワーク１００におけるループフィルタリングユニット１５０は、デブロッキングフィルタ（ＤＢＦ）およびサンプル適合補償フィルタリング（ＳＡＯ）を含むことができる。ＤＢＦの機能はブロッキング効果を除去することであり、ＳＡＯの機能はリンギング効果を除去することである。本願の他の実施例では、該符号化フレームワーク１００は、ビデオ圧縮効率を向上させるために、ニューラルネットワークベースのループフィルタリングアルゴリズムを採用することができる。言い換えると、該符号化フレームワーク１００は、深層学習ニューラルネットワークに基づくビデオ符号化ハイブリッドフレームワークであってもよい。一実現形態では、デブロッキングフィルタおよびサンプル適合補償フィルタリングを基に、畳み込みニューラルネットワークに基づくモデルを使用して、画素をフィルタリングした結果を算出することができる。ループフィルタリングユニット１５０の輝度成分とクロミナンス成分のネットワーク構造は同一であっても異なっていてもよい。輝度成分にはより多くの視覚情報が含まれることを考慮すると、輝度成分も使用してクロミナンス成分のフィルタリングをガイドし、クロミナンス成分の再構成品質を向上させることができる。

以下、イントラ予測とインター予測の関連内容について説明する。

インター予測について、インター予測は、異なるフレームの画像情報を参照し、動き推定を使用して、符号化対象画像ブロックに最もマッチングする動きベクトル情報を検索し、時間的冗長性を除去する。インター予測で使用されるフレームはＰフレーム及び／またはＢフレームであり、Ｐフレームは順方向予測フレームを指し、Ｂフレームは双方向予測フレームを指す。

イントラ予測について、イントラ予測は、画像の同じフレームの情報のみを参照し、符号化対象画像ブロックにおける画素情報を予測して空間的冗長性を除去する。イントラ予測で使用されるフレームは、Ｉフレームでもよい。例えば、左から右、上から下の符号化順序に従って、符号化対象画像ブロックは、左上側にある画像ブロック、上側にある画像ブロック、および左側にある画像ブロックを参照情報として参照して、画像ブロックを予測することができる。符号化対象画像ブロックは次の画像ブロックの参照情報として使用される。これにより、画像全体を予測することができる。入力したデジタルビデオが、ＹＵＶ４：２：０というフォーマットなどのカラー形式の場合、デジタルビデオの各画像フレームの４画素ごとに、４つのＹ成分と２つのＵＶ成分で構成される。符号化フレームワークは、Ｙ成分（即ち輝度ブロック）とＵＶ成分（即ちクロミナンスブロック）とを別々に符号化する。同様に、復号化側もフォーマットに応じて対応する復号化することができる。

イントラ予測プロセスに対して、イントラ予測は、角度予測モードと非角度予測モードを利用して符号化対象画像ブロックを予測でき、予測ブロックを取得する。予測ブロックと符号化対象画像ブロックとにより算出されたレート歪み情報に基づいて、符号化対象画像ブロックの最適な予測モードを絞り出し、該予測モードがコードストリームを通じてデコーダに送信する。復号化側は予測モードを解析し、ターゲット復号化ブロックの予測ブロックを予測し、コードストリーム伝送により得られた時間領域残差ブロックを重ね合わせて再構成ブロックを取得することができる。

長年にわたるデジタルビデオの符号化・復号化規格の発展を経て、平均モードやプレーナモードを有する非角度予測モードは比較的安定した状態を維持する。デジタルビデオの符号化・復号化規格の推進に伴い、角度予測モードは増加し続けている。国際デジタルビデオ符号化規格のＨシリーズを例とすると、Ｈ．２６４／ＡＶＣ規格には８つの角度予測モードと１つの非角度予測モードしかないが、Ｈ．２６５／ＨＥＶＣは３３つの角度予測モードと２つの非角度予測モードに拡張される。Ｈ．２６６／ＶＶＣでは、イントラ予測モードがさらに拡張されており、輝度ブロックに対して、６７つの従来の予測モードと非従来の行列加重イントラ予測モード（Ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ－ｆｒａｍｅ ｐｒｅｄｉｃｔｉｏｎ、ＭＩＰ）がある。６７つの従来の予測モードには、プレーナモード、直流（ＤＣ）モード、６５つの角度予測モードが含まれる。プレーナモードは、通常、グラデーションがあるテクスチャを有するブロックを処理することに用いられ、ＤＣモードは、通常、平らな領域を処理することに用いられ、角度予測モードは、通常、明らかな角度テクスチャを持つブロックを処理することに用いられる。

本願では、イントラ予測に用いられる現在ブロックは正方形ブロックでもよいし、長方形ブロックでもよいことに留意されたい。

さらに、イントラ予測ブロックはいずれも正方形であるため、各角度予測モードを使用する確率は等しい。現在ブロックの長さと幅が等しくない場合、水平ブロック（幅が高さよりも大きい）の上側にある参照画素の使用確率は、左側にある参照画素の使用確率よりも大きい。垂直ブロック（高さが幅よりも大きい）の上側にある参照画素の使用確率は、左側にある参照画素の使用確率よりも小さい。これに基づいて、本願は、広角度予測モードを導入して、長方形ブロックを予測する場合、従来の予測モードを広角度予測モードに切り替え、広角度予測モードで長方形ブロックを予測する場合、現在ブロックの予測角度範囲は、従来の予測モードで予測できる予測角度範囲よりも大きい。選択的に、広角度予測モードを使用する場合でも、従来の角度予測モードのインデックスを使用して、信号を送信することができる。これに応じて、復号化側は信号を受信した後に従来の角度予測モードを広角度予測モードに切り替えることができる。これにより、イントラ予測モードの総数とイントラモード符号化方法は変更されず、イントラモード符号化方法も変更されていない。

図２は、本願の実施例によって提供される６５つの角度予測モードの具体的な方向の概略図である。

図２に示すように、インデックス０はプレーンモードの識別に用いられ、インデックス１はＤＣモードの識別に用いられ、インデックス－１４～８０はそれぞれ異なる角度予測モードの識別に用いられる。具体的には、インデックス２～６６は従来の角度予測モードを識別することに用いられ、インデックス－１～－１４およびインデックス６７～８０は広角度予測モードを識別することに用いられる。言い換えると、インデックス２～６６により識別される従来のイントラ予測モードは正方形ブロックの予測に用いられ、インデックス－１～－１４および６７～８０により識別される広角度予測モードは長方形ブロックの予測に用いられる。

本願に係るインデックスｘによって識別される予測モードは、予測モードｘと呼ばれてもよいことを理解されたい。例えば、インデックス２によって識別されるイントラ予測モードは、イントラ予測モード２と呼ばれてもよい。

図３は、本願の実施例によって提供される広角度予測モードの参照画素の例である。

図３に示すように、広角度予測モードでは、サイズＷ×ＨであるＣＵの場合、その上側にある参照画素の数は２Ｗ＋１で、左側の参照サンプル点の数は２Ｈ＋１である。具体的には、図３の（ａ）に示すように、Ｗ＞Ｈ（例えば、８×４ＣＵ）の場合、イントラ予測モード２に近い（イントラ予測モード２より大きい）ＣＵの右下端の点が参照画素をインデックスすることができないことがある。イントラ予測モード６６に近い（イントラ予測モード６６よりも大きい）一部が依然として参照画素をインデックスすることができるため、予測角度範囲を拡大するように、イントラ予測モード２に近い（イントラ予測モード２よりも大きい）いくつかの準水平角度モードを、イントラ予測モード６６に近い（イントラ予測モード６６より大きい）いくつかの準垂直角度モードに置き換える必要がある。同様に、図３の（ｂ）に示すように、Ｗ<Ｈ（例えば、４×８ＣＵ）の場合、イントラ予測モード６６に近い（イントラ予測モード６６より小さい）一部は参照画素をインデックスすることができないことがある。イントラ予測モード２に近い（イントラ予測モード２よりも小さい）一部は依然として参照画素をインデックスすることができるため、予測角度範囲を拡大するように、イントラ予測モード６６に近い（イントラ予測モード６６より小さい）いくつかの準垂直角度モードをイントラ予測モード２に近い（イントラ予測モード２よりも小さい）いくつかの準水平角度モードに置き換える必要がある。

場合によって、実行対象イントラ予測モードは、現在ブロックのサイズに基づいて決定または選択されてもよく、例えば、現在ブロックのサイズに基づいて、広角度予測モードを決定・選択して、現在ブロックに対してイントラ予測を実行してもよい。例えば、現在ブロックが長方形のブロック（幅と高さとは異なるサイズを有する）である場合、広角度予測モードを使用して現在ブロックのイントラを予測することができる。現在ブロックのアスペクト比は、置き換え対象角度予測モードおよび置き換えた角度予測モードを決定することに用いられる。例えば、現在ブロックに対して予測する場合、現在ブロックの対角（現在ブロックの左下隅から右上隅まで）を超えない角度を有する任意のイントラ予測モードを置き換えた角度予測モードとして選択されてもよい。

以下は、本願に係る他のイントラ予測モードを説明する。
（１）行列ベースのイントラ予測（Ｍａｔｒｉｘ ｂａｓｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ、ＭＩＰ）モード。
ＭＩＰモードは、行列加重イントラ予測（Ｍａｔｒｉｘ ｗｅｉｇｈｔｅｄ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ）モードとも呼ばれる。ＭＩＰモードに含まれるプロセスは、ダウンサンプリング工程、行列乗算工程、およびアップサンプリング工程という３つの主要なステップに分けられる。具体的には、まず、ダウンサンプリング工程におい空間的に隣接する再構成サンプルをダウンサンプリングして、次にダウンサンプリングされたサンプルシーケンスを行列乗算工程の入力ベクトルとして使用する。即ち、ダウンサンプリング工程の出力ベクトルを行列乗算工程の入力として使用し、予め設定された行列と乗算し、オフセットベクトルを加算し、算出されたサンプルベクトルを出力する。行列乗算工程の出力ベクトルをアップサンプリング工程の入力ベクトルとして使用し、アップサンプリングにより最終の予測ブロックを取得する。

図４は、本願の実施例によって提供されるＭＩＰモードの概略図である。

図４に示すように、ダウンサンプリング工程において、ＭＩＰモードは現在の符号化ユニットの上に隣接する再構成サンプルを平均することによって、上に隣接するダウンサンプリング再構成サンプルベクトルｂｄｒｙ_ｔｏｐを取得し、左に隣接する再構成されたサンプルを平均することによって、左に隣接するダウンサンプリング再構成サンプルベクトルｂｄｒｙ_ｌｅｆｔを取得する。ｂｄｒｙ_Ｔｏｐとｂｄｒｙ_Ｌｅｆｔを取得した後、これらを行列乗算工程の入力ベクトルｂｄｒｙ_ｒｅｄとして使用する。具体的には、サンプルベクトルは、ｂｄｒｙ_ｒｅｄに基づく最上位行ベクトルｂｄｒｙ^Ｔｏｐ _ｒｅｄ、ｂｄｒｙ_Ｌｅｆｔ、Ａ_ｋ・ｂｄｒｙ_ｒｅｄ＋ｂ_ｋによって取得される。ここで、Ａ_ｋは予め設定された行列である。ｂ_ｋは予め設定されたバイアスベクトル、ｋはＭＩＰモードのインデックスである。サンプルベクトルを取得した後、線形補間によってアップサンプリングされ、実際の符号化ユニットサンプル数とマッチングする予測サンプルブロックを取得する。

言い換えると、幅Ｗ、高さＨのブロックを予測するために、ＭＩＰは入力として現在ブロックの左側にある１列のＨつの再構成画素と、現在ブロックの上側にある１行のＷつの再構成画素を必要とする。ＭＩＰは、参照画素の平均化（Ａｖｅｒａｇｉｎｇ）、行列の乗算（Ｍａｔｒｉｘ Ｖｅｃｔｏｒ Ｍｕｌｔｉｐｌｉｃａｔｉｏｎ）、および補間（Ｉｎｔｅｒｐｏｌａｔｉｏｎ）の３つのステップで予測ブロックを生成する。ＭＩＰの核心は行列乗算であり、行列乗算により入力画素（参照画素）を用いて予測ブロックを生成する処理と考えることができる。ＭＩＰは、複数タイプの行列を提供する。予測方法の相違は行列の相違に反映され、同じ入力画素に異なる行列を使用すると、異なる結果になる。参照画素の平均化と補間との工程は、パフォーマンスと複雑さとのバランスを取る設計である。大きなサイズであるブロックの場合、参照画素の平均化によってダウンサンプリングと同じ効果を達成でき、入力をより小さな行列に適合させることができ、補間によってアップサンプリング効果が得られる。これにより、各サイズのブロックにＭＩＰ行列を提供する必要はなく、１つまたは複数の特定のサイズの行列だけを提供すればよい。圧縮性能に対する要求が高まり、ハードウェアの機能が向上するにつれて、次世代の規格ではより複雑なＭＩＰが登場する可能性がある。

ＭＩＰモードは、ニューラルネットワークから簡素化することができる。例えば、トレーニングに基づいて行列を取得できるため、強い汎化能力と従来の予測モデルでは達成できない予測効果を備える。ＭＩＰモードは、ニューラルネットワークに基づくイントラ予測モデルのハードウェアとソフトウェアの複雑さを複数の簡素化によって取得されたモデルであり、膨大なトレーニングサンプルの上で、複数の予測モードはさまざまなモデルとパラメータを代表する。自然なシーケンスのテクスチャを良好にカバーする。

ＭＩＰはプレーナモードに似ているが、明らかにＭＩＰはプレーナモードよりも複雑で柔軟性が高くなる。
ブロックサイズが異なる符号化ユニットでは、ＭＩＰモードの数が異なる場合があることに注意されたい。例示的に、サイズ４×４である符号化ユニットの場合、ＭＩＰモードでは１６つの予測モードがあり、幅が４または高さが４である８×８の符号化ユニットの場合、ＭＩＰモードでは８つの予測モードがある。他のサイズの符号化ユニットの場合、ＭＩＰモードには６つの予測モードがある。また、ＭＩＰモードは転置機能を有し、現在のサイズに適する予測モードに対して、エンコーダ側で転置算出を試行できる。したがって、ＭＩＰモードは、現在の符号化ユニットがＭＩＰモードを使用するか否かを示す１つのフラグビットを必要とするだけでなく、現在の符号化ユニットがＭＩＰモードを使用する場合、１つの転置フラグビットをデコーダに追加送信する必要がある。

（２）デコーダ側のイントラモード導出（Ｄｅｃｏｄｅｒ ｓｉｄｅ ＩｎｔｒａＭｏｄｅ Ｄｅｒｉｖａｔｉｏｎ、ＤＩＭＤ）モード。
ＤＩＭＤモードの主なのは、デコーダがエンコーダと同じ方法を使用してイントラ予測モードを導出することにより、コードストリームにおいて現在の符号化ユニットのイントラ予測モードインデックスの送信を回避してビットオーバーヘッドを節約できることである。

ＤＩＭＤモードの具体的なプロセスは、次の２つの主なステップに分けることができる。
ステップ１：予測モデルを導出する。
図５は、本願の実施例によって提供されるＤＩＭＤに基づいて予測モードを導出する概略図である。

図５（ａ）に示すように、ＤＩＭＤは再構成領域におけるテンプレートにおける画素（現在ブロックの左側と上側の再構成画素）を使用して予測モードを導出する。例えば、テンプレートは、現在ブロックの上側にある３つの隣接する行の再構成サンプル、左側の３つの隣接する列の再構成サンプル、および左上側にある対応の隣接する再構成サンプルを含むことができ、これに基づいて、ウィンドウ（例えば、図５（ｃ）に示すように、または図５（ｂ）に示すウィンドウ）に従ってテンプレートにおける複数の勾配値を決定し、各勾配値は、勾配方向に適したイントラ予測モード（Ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｍｏｄｅ、ＩＰＭ）に適合することに用いられる。これに基づいて、複数の勾配値のうち最大および２番目に大きい勾配値に適合する予測モードを導出の予測モードとして使用できる。例えば、図５の（ｂ）に示すように、サイズ４×４であるブロックの場合、勾配値を決定する必要がある全ての画素を分析して対応する勾配ヒストグラム（ｈｉｓｔｏｇｒａｍ ｏｆ ｇｒａｄｉｅｎｔｓ）を取得する。図５（ｃ）に示すように、他のサイズであるブロックの場合、勾配値を決定する必要がある全ての画素を分析して、対応する勾配ヒストグラムを取得して、最終的に勾配ヒストグラムにおける最大および２番目に大きい勾配に対応する予測モードを導出した予測モードとして使用される。

勿論、本願における勾配ヒストグラムは、導出予測モードを決定するための例示にすぎず、様々な簡易な形式で実現することができ、本願はこれを限定していない。さらに、本願は、統計的勾配ヒストグラムの方法を限定するものではなく、例えば、勾配ヒストグラムを算出するためにソーベル演算子または他の方法が使用されてもよい。

ステップ２：予測ブロックを導出する。
図６は、本願の実施例によって提供されるＤＩＭＤに基づいて予測ブロックを導出する概略図である。

図６に示すように、エンコーダは３つのイントラ予測モード（プレーナモードとＤＩＭＤに基づいて導出された２つのイントラ予測モード）の予測値に重み付けを行うことができる。コーデックは、同じ予測ブロック導出方法を使用して、現在ブロックの予測ブロックを取得する。最も大きな勾配値に対応する予測モードが予測モード１であり、２番目に大きい勾配値に対応する予測モードが予測モード２であるとする。エンコーダは次の２つの条件を判断する。
（１）予測モード２の勾配は０ではなく、
（２）予測モード１と予測モード２とは、いずれもプレーナモードまたはＤＣ予測モードではない。

上記の２つの条件が同時に成立しない場合、予測モード１のみを使用して現在ブロックの予測サンプル値を算出する。即ち、予測モード１に対して通常の予測プロセスを適用する。上記の２つの条件が同時に成立した場合は、加重平均法を使用して、現在ブロックの予測ブロックを導出する。具体的に、重み付けの１／３をプレーナモードで占め、残りの２／３を予測モード１と予測モード２の合計の重みとする。例えば、予測モード１の勾配振幅値を予測モード１の勾配振幅値と予測モード２の勾配振幅値との和で除算したものを予測モード１の重み付け重みとする。予測モード２の勾配振幅値を予測モード１の勾配振幅値と予測モード２の勾配振幅値との和で除算したものを予測モード２の重み付け重みとする。上記３つの予測モードに基づいて得られた予測ブロック、即ちプレーナモード、予測モード１、予測モード２に基づいてそれぞれ得られた予測ブロック１、予測ブロック２、予測ブロック３を重み付けして平均化して、現在符号化ユニットの予測ブロックを取得する。デコーダは同じ手順に従って予測ブロックを取得する。

言い換えると、上記のステップ２における重みの算出は次の通りである。
Ｗｅｉｇｈｔ（ＰＬＡＮＡＲ）＝１／３
Ｗｅｉｇｈｔ（ｍｏｄｅ１）＝２／３×（ａｍｐ１／（ａｍｐ１＋ａｍｐ２））
Ｗｅｉｇｈｔ（ｍｏｄｅ２）＝１－Ｗｅｉｇｈｔ（ＰＬＡＮＡＲ）－Ｗｅｉｇｈｔ（ｍｏｄｅ１）
ただし、ｍｏｄｅ１、ｍｏｄｅ２はそれぞれ予測モード１、予測モード２を表し、ａｍｐ１、ａｍｐ２はそれぞれ予測モード１の勾配振幅値、予測モード２の勾配振幅値を表す。ＤＩＭＤモードでは、現在の符号化ユニットがＤＩＭＤモードを使用するか否かを示すことに用いられる１つのフラグビットをデコーダに送信する必要がある。

勿論、上記の加重平均法は本願の例示に過ぎず、本願を限定するものとして理解されるべきではない。

要するに、ＤＩＭＤは再構成画素の勾配分析を使用してイントラ予測モードをスクリーニングし、２つのイントラ予測モードとプレーナモードを分析結果に従って重み付けを行うことができる。ＤＩＭＤの利点は、現在ブロックに対してＤＩＭＤモードが選択された場合、コードストリームにおいてどのイントラ予測モードが使用されるかを示す必要がなく、代わりにデコーダ自体が上記のプロセスを通じて導出し、ある程度でオーバーヘッドが節約されることになる。

（３）テンプレートベースのイントラモード導出（Ｔｅｍｐｌａｔｅ ｂａｓｅｄ Ｉｎｔｒａ Ｍｏｄｅ Ｄｅｒｉｖａｔｉｏｎ、ＴＩＭＤ）モード。
ＴＩＭＤモードの技術原理は、前述のＤＩＭＤモードの技術原理と似ており、いずれもコーデックが同じ動作で予測モードを導出することにより、送信モードインデックスのオーバーヘッドを節約する。ＴＩＭＤモードは２つの主要な部分として理解できる。まず、テンプレートに従って各予測モードのコスト情報を算出して、最小コストと２番目に小さいコストに対応する予測モードが選択される。最小コストに対応する予測モードは予測モード１として記録され、次に小さいコストに対応する予測モードは予測モード２として記録される。次に小さいコストの値（ｃｏｓｔＭｏｄｅ２）と最小コストの値（ｃｏｓｔＭｏｄｅ１）との比例は、ｃｏｓｔＭｏｄｅ２＜２×ｃｏｓｔＭｏｄｅ１ような事前に設定された条件に満たした場合、予測モード１および予測モード２がそれぞれ対応する予測ブロックは、予測モード１および予測モード２がそれぞれ対応する重みに従って重み付けして融合して、最終的な予測ブロックを取得することができる。

例えば、予測モード１と予測モード２がそれぞれ対応する重みは下記のように決定される。
ｗｅｉｇｈｔ１＝ｃｏｓｔＭｏｄｅ２／（ｃｏｓｔＭｏｄｅ１＋ｃｏｓｔＭｏｄｅ２）
ｗｅｉｇｈｔ２＝１－ｗｅｉｇｈｔ１
ただし、ｗｅｉｇｈｔ１は予測モード１に対応する予測ブロックの重みであり、Ｗｅｉｇｈｔ２は予測モード２に対応する予測ブロックの重みである。しかしながら、次に小さいコスト値ＣｏｓｔＭｏｄｅ２と最小のコスト値ＣｏｓｔＭｏｄｅ１との比が予め設定された条件に満たさない場合、予測ブロック間の重み付け融合は行われず、予測モード１に対応する予測ブロックは、ＴＩＭＤの予測ブロックとなる。

ＴＩＭＤモードを使用して現在ブロックに対してイントラ予測を実行する場合、現在ブロックの再構成サンプルテンプレートに利用可能な隣接する再構成サンプルが含まれていない場合、ＴＩＭＤモードはプレーナモードを選択して、現在ブロックに対してイントラ予測を実行し、即ち重み付けされていない融合は実行されていない。ＤＩＭＤモードと同じように、ＴＩＭＤモードは、現在の符号化ユニットがＴＩＭＤモードを使用するか否かを示すフラグビットをデコーダに送信する必要がある。

図７は、本願の実施例によって提供されるＴＩＭＤによって使用されるテンプレートの概略図である。

図７に示すように、現在ブロックは幅がＭ、且つ高さがＮの符号化ユニットである場合、コーデックは幅が２（Ｍ＋Ｌ１）＋１、高さが２（Ｎ＋Ｌ２）＋１に等しい符号化ユニットに基づいて、現在ブロックの参照テンプレート（Ｒｅｆｅｒｅｎｃｅ ｏｆ ｔｅｍｐｌａｔｅ）を選択して現在ブロックのテンプレートを算出することができる。この時点で、現在ブロックのテンプレートに使用可能な隣接テンプレートが含まれていない場合，ＴＩＭＤモードはプレーナモードを選択して、現在ブロックに対してイントラ予測を実行する。例えば、利用可能な隣接再構成サンプルは、図７における現在ＣＵの左側および上側に隣接するサンプルであり、即ち、斜め充填領域には利用可能な再構成サンプルがない。即ち、斜め充填領域には利用可能な再構成サンプルがない場合、ＴＩＭＤモードはプレーナモードを選択して、現在ブロックに対してイントラ予測を実行する。

境界の場合を除いて、現在ブロックを符号化・復号化するとき、理論的には、現在ブロックの左側と上側で再構成値を取得できる。即ち、現在ブロックのテンプレートには、利用可能な隣接する再構成サンプルが含まれる。具体的な実現では、デコーダはあるイントラ予測モードを使用してテンプレート上で予測し、予測値と再構成値を比較して、テンプレートにおけるイントラ予測モードのコストを取得できる。例えば、ＳＡＤ、ＳＡＴＤ、ＳＳＥなどである。テンプレートと現在ブロックは隣接しているため、テンプレートにおける再構成サンプルは現在ブロックにおける画素と相関するため、テンプレートにおける１つの予測モードのパフォーマンスを使用して、現在ブロックにおける該予測モードのパフォーマンスを推定できる。ＴＩＭＤは、テンプレートにいくつかの候補イントラ予測モードを予測し、テンプレートにおける候補イントラ予測モードのコストを取得し、コストが最も低い１つまたは２つのイントラ予測モードを現在ブロックのイントラ予測値とする。２つのイントラ予測モード間のテンプレートにおけるコストの差が大きくない場合、２つのイントラ予測モードの予測値に重み付けを行って平均化してことにより、圧縮性能を向上させることができる。選択的に、２つの予測モードの予測値の重みは、上記記載に係るコストに関連し、例えば、重みはコストに反比例する。

要するに、ＴＩＭＤは、テンプレートにおけるイントラ予測モードの予測効果を使用してイントラ予測モードをスクリーニングし、テンプレートにおけるコストに応じて２つのイントラ予測モードに重み付けを行うことができる。ＴＩＭＤの利点は、現在ブロックがＴＩＭＤモードを選択した場合、コードストリームにおいてどのイントラ予測モードが使用されているかを示す必要がなく、代わりにデコーダ自体が上記のプロセスを通じてそれを導出し、オーバーヘッドがある程度で節約されることになる。

いくつかのイントラ予測モードについての上記の簡単な紹介を通じて、ＤＩＭＤモードの技術原理がＴＩＭＤモードの技術原理に近く、いずれもデコーダを使用してエンコーダと同じ操作を実行し、現在の符号化ユニットの予測モードを推測する。この予測モードでは、複雑さが許容できる場合、予測モードのインデックスの送信を節約できるため、オーバーヘッドが節約され、圧縮効率が向上する。しかしながら、参照情報の制限と、予測品質があまり改善されないため、ＤＩＭＤモードとＴＩＭＤモードは、一貫したテクスチャ特性を持つ広い領域でより効果的に機能するが、テクスチャがわずかに変化することやテンプレート領域がカバーできない場合、この予測モードの予測効果は低い。

また、ＤＩＭＤモードであってもＴＩＭＤモードであっても、複数の従来の予測モードに基づいて得られた予測ブロックを融合したり、複数の従来の予測モードに基づいて得られた予測ブロックに対して重み付けを実行したりすることで、予測ブロックの融合は単一の予測モードで達成できない効果を生み出すことができる。ＤＩＭＤモードは、追加の重み付け予測モードとしてプレーナモードを導入することによって、隣接する再構成サンプルと予測サンプル間の空間関連性を高め、イントラ予測の予測効果を向上させるが、プレーナモードの予測原理は、比較的簡易であり、右上隅と左下隅とは明らかな相違がある一部の予測ブロックである場合、追加の重み付き予測モードとしてプレーナモードを使用すると、逆効果をもたらす可能性がある。

（４）幾何学的分割モード（ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ、ＧＰＭ）および角度重み付け予測（ａｎｇｕｌａｒ ｗｅｉｇｈｔｅｄ ｐｒｅｄｉｃｔｉｏｎ、ＡＷＰ）。
ビデオ符号化・復号化規格では、従来の単方向予測では現在ブロックと同じサイズの参照ブロックを１つだけ使用し、従来の双方向予測では、現在ブロックと同じサイズの２つの参照ブロックを使用し、予測ブロックの各ポイントの画素は２つの参照ブロックの対応する位置の平均値であり、即ち各参照ブロックにおける全ての点が５０％を占める。さらに、双方向加重予測では、２つの参照ブロックの割合を異なるものにすることができる。例えば、第１参照ブロックにおける全てのポイントが７５％を占め、第２参照ブロックにおける全てのポイントが２５％を占めるが、同一の参照ブロックにおける全てのポイントの比例は同じである。さらに、復号化側動きベクトルリファインメント（ｄｅｃｏｄｅｒ ｓｉｄｅ ｍｏｔｉｏｎ ｖｅｃｔｏｒ ｒｅｆｉｎｅｍｅｎｔ、ＤＭＶＲ）や双方向オプティカルフロー（ｂｉ－ｄｉｒｅｃｔｉｏｎａｌ ｏｐｔｉｃａｌ ｆｌｏｗ、ＢＩＯまたはＢＤＯＦ）などのいくつかの最適化方法では、参照画素または予測画素に何らかの変化が生じることになる。

ＧＰＭまたはＡＷＰの場合、現在ブロックと同じサイズの２つの参照ブロックも使用するが、一部の画素位置は第１参照ブロックに対応する画素値を１００％使用し、一部の画素位置は第２参照ブロックに対応する画素値を１００％使用する。境領域またはブレンディング領域と呼ばれる領域では、２つの参照ブロックの対応する位置の画素値が一定の割合に従って使用される。境領域の重みも徐々に変化する。これらの重みがどのように割り当てられるかは、ＧＰＭまたはＡＷＰの重み導出モードによって決まる。ＧＰＭまたはＡＷＰの重み導出モードに従って、各画素位置の重みを決定する。

勿論、ブロックサイズが非常に小さいなどの場合、いくつかのＧＰＭまたはＡＷＰモードでは、一部の画素位置が第１参照ブロックに対応する位置の画素値を１００％使用することが保証することができない。一部の画素位置は第２参照ブロックに対応する画素値を１００％使用することが保証することができない。このとき、ＧＰＭまたはＡＷＰは現在ブロックと異なるサイズである２つの参照ブロックを使用する。即ちそれぞれが必要な部分を参照ブロックとする。即ち、重みが０以外の部分が参照ブロックとして使用され、重みが０である部分は排除される。本願はその実現方法を制限しない。

図８は、本願の実施例によって提供されるＧＰＭの正方形ブロックにおける６４つの重み導出モードに対応する重みマップの例示である。

図８に示すように、ＧＰＭの正方形ブロックにおける６４つの重み導出モードに対応する重みマップがある。また、各重み導出モードに対応する重みマップについて、黒色は第１参照ブロックの対応位置の重み値が０％であることを意味し、白色は第１参照ブロックの対応位置の重み値が１００％であることを意味し、灰色の領域は、色の濃さに応じて、第１参照ブロックの対応する位置の重み値が０％より大きく１００％未満であることを意味し、第２参照ブロックの対応位置の重み値は、１００％から第１参照ブロックの対応位置の重み値を引いた値となることを意味する。

図９は、本願の実施例によって提供される重み導出モードにおける分割線の例である。
図９に示すように、重み導出モードの分割線は、ＧＰＭに対応する２つの予測モードの同じ重みを有する点で構成される線であってもよい。即ち、ＧＰＭの重み行列において、分割線は、ＧＰＭに対応する２つの予測モードの重みが同じ点で構成される線である。言い換えると、分割線は、ＧＰＭの重み値行列のうち重み値が変化する領域において、ＧＰＭに対応する２つの予測モードの重み値が同じ点で構成される線であってもよい。言い換えると、分割線は、重みが中央値である点で構成される線であり、重みが中央値である点は画素全体の中間に位置してもよいが、画素全体の中間に位置しなくてもよい。０～８を重み値とすると、中央値である重みは４でもよい。

図１０は、本願の実施例によって提供されるＡＷＰの正方形ブロックにおける５６つの重み導出モードに対応する重みマップの例である。

図１０に示すように、ＡＷＰの正方形ブロックにおける５６つの重み導出モードに対応する重みマップである。各重み導出モードに対応する重みマップについて、黒色は第１参照ブロックの対応位置の重み値が０％であることを意味し、白色は第１参照ブロックの対応位置の重み値が１００％であることを意味し、灰色の領域は、色の濃さに応じて、第１参照ブロックの対応する位置の重み値が０％より大きく１００％未満であり、第２参照ブロックの対応位置の重み値は、１００％から第１参照ブロックの対応位置の重み値を引いた値となることを意味する。

ＧＰＭとＡＷＰの重み導出方法は異なってもよいことを注意されたい。例えば、ＧＰＭは、各重み導出モードに基づいて角度とオフセットを決定し、各重み導出モードに対応する重みマップを算出する。ＡＷＰは、まず各重み導出モードに基づいて１次元重みラインを決定し、次にインター角度予測と同じ方法を使用して１次元重みラインを画像全体に広げ、各重み導出モードに対応する重みマップを取得する。勿論、他の実施例では、各重み導出モードに対応する重みマップを重み行列と呼ぶこともできる。

以下では、ＧＰＭを例として、重みの導出方法を説明する。
エンコーダは、各重み導出モードに従って対応する分割線を決定し、分割線に基づいて対応する重み行列を決定することができる。例えば、エンコーダは、表１を使用して、重み導出モードに対応する角度インデックス変数ａｎｇｌｅＩｄｘおよび距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘを決定し、重み導出モードｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_Ｉｄｘを決定することができる。角度インデックス変数ａｎｇｌｅＩｄｘおよび距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘは、分割線を決定することに用いられる変数である。即ち、分割線の角度とオフセットをそれぞれ決定することに用いられる。エンコーダは、各重み導出モードに対応する分割線を決定した後、各重み導出モードに対応する分割線に基づいて、各重み導出モードに対応する重み行列を決定することができる。

表１に示すように、６４つの重み導出モード（例えば、図８に示す６４つのモード）があり、そのインデックス（ｍｅｒｇｅ_ｇｐｍ_ｐａｒｔｉｔｉｏｎ_Ｉｄｘ）の取り得る値は０～６３である。これらの６４つの重み導出モードのそれぞれは、１つの角度インデックス変数ａｎｇｌｅＩｄｘと距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘに対応できる。各重み導出モードのそれぞれは１つの分割線に対応することができることに相当する。勿論、１つの角度インデックス変数ａｎｇｌｅＩｄｘまたは１つの距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘは、１つまたは複数の重み導出モードのインデックスに対応することができ、表１は、本願の例示にすぎず、本願を限定するものとして理解されるべきではない。

３つの成分（例えば、Ｙ、Ｃｂ、Ｃｒ）はいずれもＧＰＭを使用できるため、１つの成分のＧＰＭの予測サンプル行列を生成するプロセスは、１つのサブプロセスにパッケージすることができ、即ちＧＰＭの重み付け予測工程（Ｗｅｉｇｈｔｅｄ ｓａｍｐｌｅｓ ｐｒｅｄｉｃｔｉｏｎ ｐｒｏｃｅｓｓ ｆｏｒ ｇｅｏｍｅｔｒｉｃ ｐａｒｔｉｔｉｏｎｉｎｇ ｍｏｄｅ）に対して、３つの成分がいずれもこの工程を呼び出すことができ、呼び出されるパラメータだけは異なる。本願では輝度成分を例として説明する。例示的に、ＧＰＭの重み付き予測プロセスから現在の輝度ブロックの予測行列ｐｒｅｄＳａｍｐｌｅｓＬ「ｘＬ」「ＹＬ」を導出できる。ただし、ｘＬ＝０..ｃｂＷｉｄｔｈ－１、ｙＬ＝０..ｃｂＨｅｉｇｈｔ－１である。ただし、ｎＣｂＷはｃｂＷｉｄｔｈに設定され、ｎＣｂＨはｃｂＨｅｉｇｈｔに設定される。

ＧＰＭの重み付き予測工程の入力には、現在ブロックの幅ｎＣｂＷ、現在ブロックの高さｎＣｂＨ、２つの（ｎＣｂＷ）×（ｎＣｂＨ）の予測サンプル行列ｐｒｅｄＳａｍｐｌｅｓＬＡおよびｐｒｅｄＳａｍｐｌｅｓＬＢ、ＧＰＭの「分割」角度インデックスａｎｇｌｅＩｄｘ、ＧＰＭの距離インデックス変数ｄｉｓｔａｎｃｅＩｄｘ、成分インデックス変数ｃＩｄｘを含む。例えば、ｃＩｄｘが０である場合、輝度成分を表すことに用いられる。ＧＰＭの重み付き予測プロセスの出力は、（ｎＣｂＷ）×（ｎＣｂＨ）のＧＰＭ予測サンプル行列ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」である。ただし、ｘ＝０..ｎＣｂＷ－１、ｙ＝０..ｎＣｂＨ－１である。

予測サンプル行列ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」は次のように導出できる。
例示的に、まず、変数ｎＷ、ｎＨ、ｓｈｉｆｔ１、ｏｆｆｓｅｔ１、ｄｉｓｐｌａｃｅｍｅｎｔＸ、ｄｉｓｐｌａｃｅｍｅｎｔＹ、ｐａｒｔＦｌｉＰ、ｓｈｉｆｔＨｏｒを次のように導出できる。
ｎＷ＝（ｃＩｄｘ＝＝０）？ｎＣｂＷ：ｎＣｂＷ×ＳｕｂＷｉｄｔｈＣ
ｎＨ＝（ｃＩｄｘ＝＝０）？ｎＣｂＨ：ｎＣｂＨ×ＳｕｂＨｅｉｇｈｔＣ
ｓｈｉｆｔ１＝Ｍａｘ（５、１７－ＢｉｔＤｅｐｔｈ）、ただし、ＢｉｔＤｅｐｔｈは符号化・復号化のビット深度である。
ｏｆｆｓｅｔ１＝１＜＜（ｓｈｉｆｔ１－１）
ｄｉｓｐｌａｃｅｍｅｎｔＸ＝ａｎｇｌｅＩｄｘ
ｄｉｓｐｌａｃｅｍｅｎｔＹ＝（ａｎｇｌｅＩｄｘ＋８）％３２
ｐａｒｔＦｌｉｐ＝（ａｎｇｌｅＩｄｘ＞＝１３＆＆ａｎｇｌｅＩｄｘ<＝２７）？０：１
ｓｈｉｆｔＨｏｒ＝（ａｎｇｌｅＩｄｘ％１６＝＝８||（ａｎｇｌｅＩｄｘ％１６！＝０＆＆ｎＨ＞＝ｎＷ））？０：１
次に、変数ｏｆｆｓｅｔＸとｏｆｆｓｅｔＹを次のように導出できる。
ｓｈｉｆｔＨｏｒの値が０である場合、
ｏｆｆｓｅｔＸ＝（－ｎＷ）＞＞１
ｏｆｆｓｅｔＹ＝（（－ｎＨ）＞＞１）＋（ａｎｇｌｅＩｄｘ＜１６？（ｄｉｓｔａｎｃｅＩｄｘ×ｎＨ）＞＞３：－（（ｄｉｓｔａｎｃｅＩｄｘ×ｎＨ）＞＞３））
それ以外（即ち、ｓｈｉｆｔＨｏｒの値が１である）の場合、
ｏｆｆｓｅｔＸ＝（（－ｎＷ）＞＞１）＋（ａｎｇｌｅＩｄｘ＜１６？（ｄｉｓｔａｎｃｅＩｄｘ×ｎＷ）＞＞３：－（（ｄｉｓｔａｎｃｅＩｄｘ×ｎＷ）＞＞３））
ｏｆｆｓｅｔＹ＝（－ｎＨ）＞＞１
そして、予測サンプル行列ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」は次のように導出される。ただし、ｘ＝０..ｎＣｂＷ－１、ｙ＝０..ｎＣｂＨ－１）。
変数ｘＬとｙＬは次のように導出される。
ｘＬ＝（ｃＩｄｘ＝＝０）？ｘ：ｘ×ＳｕｂＷｉｄｔｈＣ
ｙＬ＝（ｃＩｄｘ＝＝０）？ｙ：ｙ×ＳｕｂＨｅｉｇｈｔＣ
ｗｅｉｇｈｔＩｄｘ＝（（（ｘＬ＋ｏｆｆｓｅｔＸ）＜＜１）＋１）×ｄｉｓＬｕｔ「ｄｉｓｐｌａｃｅｍｅｎｔＸ」＋（（（ｙＬ＋ｏｆｆｓｅｔＹ）＜＜１）＋１）×ｄｉｓＬｕｔ「ｄｉｓｐｌａｃｅｍｅｎｔＹ」
ただし、表２によりｄｉｓＬｕｔ「ｄｉｓｐｌａｃｅｍｅｎｔＸ」を取得することができる。

ｗｅｉｇｈｔＩｄｘＬ＝ｐａｒｔＦｌｉｐ？３２＋ｗｅｉｇｈｔＩｄｘ：３２－ｗｅｉｇｈｔＩｄｘ
ｗＶａｌｕｅ＝Ｃｌｉｐ３（０、８、（ｗｅｉｇｈｔＩｄｘＬ＋４）＞＞３）
ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」＝Ｃｌｉｐ３（０、（１＜＜ＢｉｔＤｅｐｔｈ）－１、（ｐｒｅｄＳａｍｐｌｅｓＬＡ「ｘ」「ｙ」×ｗＶａｌｕｅ＋ｐｒｅｄＳａｍｐｌｅｓＬＢ「ｘ」「ｙ」×（８－ｗＶａｌｕｅ）＋ｏｆｆｓｅｔ１）＞＞ｓｈｉｆｔ１）。
ただし、ＰｂＳａｍｐｌｅｓ「ｘ」「ｙ」は、（ｘ,ｙ）点の予測サンプルを表す。ｗＶａｌｕｅは（ｘ,ｙ）点の１つの予測モードの予測行列の予測値ｐｒｅｄＳａｍｐｌｅｓＬＡ「ｘ」「ｙ」の重みを表す。（８－ｗＶａｌｕｅ）は（ｘ,ｙ）点のもう１つの予測モードの予測行列の予測値ｐｒｅｄＳａｍｐｌｅｓＬＢ「ｘ」「ｙ」の重みを表す。

１つの重み導出モードについて、その重み導出モードを使用して各ポイントに対して１つの重み値ｗＶａｌｕｅを導出し、１つのＧＰＭ予測値ｐｂＳａｍｐｌｅｓ「ｘ」「ｙ」を算出できることに注意されたい。このような重みｗＶａｌｕｅは１つの行列の形式で記述する必要はないが、各位置のｗＶａｌｕｅを１つの行列に保存すれば、１つの重み行列になることがわかる。各点の重みを別々に算出して重み付けしてＧＰＭの予測値を取得する原理は、全ての重みを算出して、統合に重み付けしてＧＰＭの予測サンプル行列を取得する原理と同じである。理解しやすくなるように、重み行列マップを使用してより直感的である。実際には、各位置の重みに従って記述することもできる。例えば、重み行列導出モードは重み導出モードともいえるが、本願では特に限定されない。

さらに、ＣＵ、ＰＵ、ＴＵの分割はいずれも長方形の分割に基づくものであるが、ＧＰＭとＡＷＰは分割せずに予測された非長方形の分割効果を実現する。ＧＰＭとＡＷＰは、２つの参照ブロックの重みのマスク（ｍａｓｋ）、即ち前述の重みマップまたは重み行列を使用する。このマスクは、予測ブロックを生成するときの２つの参照ブロックの重みを決定する。言い換える、予測ブロックの一部の位置は第１参照ブロックから取得され、位置の一部は第２参照ブロックから取得されると単純に理解できる。一方、ブレンディング領域（ｂｌｅｎｄｉｎｇ ａｒｅａ）は２つの参照ブロックの対応する位置を使用して重み付けされて取得されるものである。これにより、ブレンディングがより滑らかになる。ＧＰＭやＡＷＰは現在ブロックを２つのＣＵやＰＵに分割しないため、予測後の残差の変換、量子化、逆変換、逆量子化なども現在ブロックを１つの全体として処理される。

ＧＰＭは重み行列を使用して２つのインター予測ブロックを結合できることに注意されたい。本願は、これを２つの任意の予測ブロックの結合に拡張する。例えば、２つのインター予測ブロック、２つのイントラ予測ブロック、１つのインター予測ブロックと１つのイントラ予測ブロックである。画面コンテンツの符号化においても、イントラブロックコピー（ｉｎｔｒａ ｂｌｏｃｋ ｃｏｐｙ、ＩＢＣ）モードの予測ブロックやパレット（ｐａｌｅｔｔｅ）モードの予測ブロックを１つまたは２つの予測ブロックとして使用できる。説明の便宜上、本願では、イントラモード、インターモード、ＩＢＣモード、パレットモードを予測モードと総称する。予測モードは、コーデックに基づいて現在ブロックの予測ブロックの情報を生成することができると理解する。例示的に、イントラ予測では、予測モードは、ＤＣモード、プレーンモード、様々なイントラ角度予測モードなどのあるイントラ予測モードであってもよい。勿論、フレーム内参照画素の最適化方法や、予備予測ブロック生成後の最適化方法（例えば波フィルタリングなど）などの補助情報を取り込むこともできる。例えば、インター予測では、予測モードは、融合（ｍｅｒｇｅ）モード、動きベクトル差分融合（Ｍｅｒｇｅ ｗｉｔｈ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｄｉｆｆｅｒｅｎｃｅ、ＭＭＶＤ）モード、アドバンスト動きベクトル予測モード（Ａｄｖａｎｃｅｄ Ｍｏｔｉｏｎ Ｖｅｃｔｏｒ Ｐｒｅｄｉｃｔｉｏｎ、ＡＭＶＰ）であってもよい。例示的に、予測モードは、単方向予測、双方向予測、または多仮説予測であってもよい。さらに、インター予測モードが単方向予測であり、動き情報が決定できる場合には、その動き情報に基づいて予測ブロックを決定することができる。インター予測モードが双方向予測であり、２つの動き情報が決定できる場合には、その動き情報に基づいて予測ブロックを決定することができる。

図１１は、本願の実施例によって提供されるＧＰＭまたはＡＷＰの概略図である。
図１１に示すように、ＧＰＭが決定する必要がある情報は、１つの重み導出モードと２つの予測モードとして表すことができる。重み導出モードは重み行列または重みを決定することに用いられ、２つの予測モードはそれぞれ予測ブロックまたは予測値を決定する。重み導出モードは、分割モードまたは重み行列導出モードとも呼ばれる。２つの予測モードは、同じ予測モードであっても異なる予測モードであってもよい。例えば、イントラ予測モード、インター予測モード、ＩＢＣモード、およびパレットモードを含むが、これらに限定されない。

残差ブロックの変換に関する内容について説明する。
符号化するとき、現在ブロックを先に予測する。空間または時間の関連性を使用して、現在ブロックと同じまたは類似した画像を取得する。１つのブロックについて、予測ブロックと現在ブロックが完全に同一である可能性はあるが、ビデオにおける全てのブロックが同じ状況であることを保証するのは困難である。特に自然のビデオやカメラにより撮影されたビデオである場合、画像のテクスチャが複雑であり、かつ画像におけるノイズなどの要因があるため、通常、予測ブロックは現在ブロックに非常に似ているが、相違がある。さらに、ビデオの不規則な動き、歪み、オクルージョン、輝度などの変化により、現在ブロックを完全に予測することは困難である。したがって、ハイブリッド符号化フレームワークは、現在ブロックのオリジナル画像から予測画像を減算して残差画像を取得するか、または、現在ブロックから予測ブロックを引いて残差ブロックを取得する。残差ブロックは通常、オリジナル画像よりもはるかに簡素であるため、予測によって圧縮効率が大幅に向上する。残差ブロックに対して直接符号化しなく、通常は先に変換を行う。変換とは、残差画像を空間領域から周波数領域に変換し、残差画像の相関性を除去することである。残差画像が周波数領域に変換された後、エネルギーは主に低周波数領域に集中するため、変換された非ゼロ係数の大部分は左上隅に集中する。次に、量子化を使用してさらに圧縮する。また、人間の目は高周波に対して敏感ではないため、高周波領域では、より大きな量子化ステップサイズを使用できる。

画像変換技術は、直交関数または直交行列でオリジナル画像を表現できるようにオリジナル画像を変換する技術であり、この変換は２次元で線形可逆である。一般にオリジナル画像を空間領域画像と呼ばれ、変換された画像は変換領域画像（周波数領域とも呼ばれる）と呼ばれる。変換領域画像は空間領域画像に逆変換することができる。画像変換後は、画像自体の特性をより効果的に反映できる一方で、エネルギーを少量のデータに集中させることができるため、画像の保存、送信及び処理が容易になる。

画像ビデオ符号化の分野において、エンコーダが残差ブロックを取得した後、残差ブロックを変換できる。変換方法は、離散コサイン変換（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＣＴ）および離散サイン変換（Ｄｉｓｃｒｅｔｅ Ｓｉｎｅ Ｔｒａｎｓｆｏｒｍ、ＤＳＴ）を含むが、これらに限定されていない。ＤＣＴはエネルギー集中特性が強いため、オリジナル画像をＤＣＴ変換した後に、０ではない係数が一部の領域（例えば左上隅の領域）のみに存在する。勿論、ビデオの符号化・復号化では画像をブロックに分割して処理するため、変換もブロック単位で行われる。ビデオ符号化・復号化で使用可能なＤＣＴは、ＤＣＴ２およびＤＣＴ８タイプを含むが、これらに限定されていない。ビデオ符号化・復号化で使用可能なＤＳＴは、ＤＳＴ７タイプを含むが、これらに限定されていない。ただし、ＤＣＴ２タイプはビデオ圧縮規格で一般的に用いられる変換であり、ＶＶＣでＤＣＴ８タイプとＤＳＴ７タイプを使用できる。変換は一般的なビデオ圧縮において非常に有用であるが、必ずしも全てのブロックは変換を行う必要ではない。場合によって、変換を行った方が、変換を行わない圧縮よりも効果的でないこともある。したがって、場合によって、エンコーダは、現在のブロックに対して変換を使用するか否かを選択することができる。

エンコーダが現在の画像における現在ブロックを変換するとき、基関数または基画像を使用して、現在ブロックの残差ブロックを変換できる。基画像は、基関数をグラフで表現したものである。

図１２は、本願の実施例によって提供されるＤＣＴ２タイプの基画像の例示である。
図１２に示すように、ＤＣＴ２タイプの基画像は、基関数に従って描かれた８×８の小ブロックで構成される基画像であり、各小ブロックは８×８の要素（サブブロック）で構成される。具体的な実現では、８×８の小ブロックで構成される基画像を使用して８×８ブロックサイズのブロックを変換することができ、８×８変換係数行列が得られる。

前述したように、ＶＶＣにおいて、ＤＣＴ２タイプを使用して残差ブロックに対して基本的な変換を実行することに加えて、ＤＣＴ８タイプとＤＳＴ７タイプを使用して残差ブロックに対して基本的な変換、即ちマルチ変換モード選択（ｍｕｌｔｉｐｌｅ ｔｒａｎｓｆｏｒｍ ｓｅｌｅｃｔｉｏｎ、ＭＴＳ）を実行することもできる。基本変換が使用する基関数に対応する変換タイプを、基本変換が使用する変換カーネルタイプと呼ぶこともできる。エンコーダがさまざまな残差分布特性に基づいて基本的な変換を実行する場合、最も適切な変換カーネルタイプを選択することで圧縮性能を向上させることができる。基本変換は主要変換（ｃｏｒｅ ｔｒａｎｓｆｏｒｍ）とも呼ばれる。ＭＴＳは、いくつかの構文要素を通じて変換カーネルタイプを選択できる。構文要素を通じて変換カーネルタイプを選択するＭＴＳを、表３と併せて以下に示す。

表３に示すように、ＭＴＳ_ＣＵ_ｆｌａｇの値が０である場合、水平方向および鉛直方向の基本変換の変換カーネルタイプはＤＣＴ２を使用する。ＭＴＳ_ＣＵ_ｆｌａｇの値が１、ＭＴＳ_Ｈｏｒ_ｆｌａｇの値が０、およびＭＴＳ_Ｖｅｒ_ｆｌａｇの値が０である場合、水平方向の変換カーネルタイプはＤＳＴ７を使用し、鉛直方向の変換カーネルタイプはＤＳＴ７を使用する。

ＶＶＣ規格では、ＭＴＳの構文を書き換えたり簡素化したりすることもできる。即ち、ＶＶＣは構文要素ｍｔｓ_Ｉｄｘを使用して、基本変換の変換カーネルタイプを決定する。

表４に示すように、ｔｒＴｙｐｅＨｏｒは水平変換の変換カーネルタイプを表し、ｔｒＴｙｐｅＶｅｒは鉛直変換の変換カーネルタイプを表し、ｔｒＴｙｐｅＨｏｒおよびｔｒＴｙｐｅＶｅｒでは、０がＤＣＴ２タイプの変換を示し、１がＤＳＴ７タイプの変換を示し、２がＤＣＴ８タイプの変換を示す。

残差の分布はイントラ予測モードと一定の関連性があるため、基本的な変換ではこの関連性を利用することもできる。１つの手段は、イントラ予測モードに従ってＭＴＳの変換カーネルタイプをグループ化することである。１つのグループ化の例を次の表に示す。

表５に示すように、イントラ予測モードのインデックスが０または１である場合、ＭＴＳのインデックス０を有する変換カーネルタイプ群を対応的に選択して、ＶＶＣではインデックス０を有するモードがＰｌａｎａｒであり、インデックス１を有するモードがＤＣであり、ＤＣおよびＰｌａｎａｒの両方がより平坦な予測値を生成する。イントラ予測モードのインデックスが２～１２である場合、ＭＴＳ１のインデックスは１である変換カーネルタイプ群を対応的に選択する。イントラ予測モードの画像によれば、２～１２の角度が左下方向を向いていることが分かる。

各変換カーネルタイプ群には、１つの水平変換と鉛直変換の変換カーネルタイプの選択が存在する場合や、複数の水平変換と鉛直変換の変換カーネルタイプの選択がある場合があることを注意されたい。即ち、イントラ予測モードがどの変換カーネルタイプを選択したことに応じて、変換カーネルタイプ群をさらに細分することができ、例えば、何らかの識別またはブロックサイズ情報などを通じて変換カーネルタイプをさらに選択することができ、ここでは詳しく説明しない。大事なのは、基本変換はイントラ予測モードに応じて変換カーネルタイプ群を選択できることである。イントラ予測モードに従って基本変換の変換カーネルタイプ群を選択する方法は、将来、より詳細な基本変換のグループ化を推測することもできることも分かるが、本願ではこれを限定しない。

さらに、本願では主変換に係る変換カーネルタイプは、変換行列、変換タイプ、変換カーネルなどの類似または同一の意味を持つ他の用語とも呼ばれることがある。主変換に係る変換カーネルタイプ群は変換行列群、変換タイプ群、変換カーネル群、などの類似または同一の意味を有する他の用語と呼ばれ、本願では特に限定されない。即ち、本願に係る選択変換カーネルタイプ群または変換カーネルタイプ群は、選択変換行列または変換行列群と呼ぶこともでき、また、選択変換タイプまたは選択変換タイプ群と呼ぶこともでき、選択カーネルまたは変換カーネル群と呼ばれてもよい。変換カーネルタイプまたは変換タイプは、ＤＣＴ２、ＤＣＴ８、ＤＳＴ７などを含む場合があり、ＤＣＴ５、ＤＳＴ４、ＤＳＴ１または識別変換（Ｉｄｅｎｔｉｔｙ Ｔｒａｎｓｆｏｒｍ、ＩＤＴＲ）などを含んでもよい。

さらに、異なるサイズのブロックは、対応するサイズの変換カーネルタイプを使用できるが、本願では詳しく説明しない。

画像はいずれも２次元であり、ハードウェアにとって、２次元変換演算を直接実行する演算量およびメモリのオーバーヘッドは受け入れないため、上記のＤＣＴ２タイプ、ＤＣＴ８タイプ、およびＤＳＴ７タイプの変換は、水平方向と鉛直方向である１次元変換に分けて２つのステップで実行される。例えば、先に水平変換を実行してから鉛直変換を実行するか、先に鉛直変換を実行してから水平変換を実行する。上記の変換方法は、水平および鉛直方向のテクスチャに対してはより効果的であるが、斜めテクスチャに対してはあまり効果的ではない。水平テクスチャと鉛直テクスチャがありふれたものため、上記の変換方法は圧縮効率を向上させるのに非常に有用である。しかしながら、技術の発展につれて、水平および鉛直テクスチャの残差を処理するだけでは、圧縮効率の要求を満たすことができなくなる。

これに基づいて、本願は二次変換の概念を導入する。即ち、エンコーダは一次変換（ｐｒｉｍａｒｙ ｔｒａｎｓｆｏｒｍ）を基に二次変換を実行して、圧縮効率を向上させることができる。

例示的に、主変換は、水平方向および鉛直方向のテクスチャを処理するために用いられることができ、例えば、主変換には、上記記載に係るＤＣＴ２タイプ、ＤＣＴ８タイプ、およびＤＳＴ７タイプ変換が含まれるが、これらに限定されない。二次変換は、斜めテクスチャを処理することに用いられる。例えば、二次変換には、低周波非分離変換（ｌｏｗ ｆｒｅｑｕｅｎｃｙ ｎｏｎ－ｓｅｐａｒａｂｌｅ ｔｒａｎｓｆｒｏｍ、ＬＦＮＳＴ）を含むが、これらに限定されていない。符号化側では、二次変換は主変換の後、量子化の前に用いられる。復号化側では、二次変換は逆量子化の後、逆一次変換の前に用いられる。

図１３は、本願の実施例によって提供されるＬＦＮＳＴの例示である。

図１３に示すように、符号化側で、ＬＦＮＳＴは基本変換の後に左上隅の低周波係数に対して二次変換を実行する。一次変換は、画像の非関連化によってエネルギーを左上隅に集中させる。二次変換は、一次変換の低周波係数に対して非関連化を行う。符号化側では、１６つの係数が４×４ＬＦＮＳＴに入力する際に、８つの係数が出力され、６４つの係数が８×８ＬＦＮＳＴに入力する際に、１６つの係数が出力される。復号化側では、８つの係数が４×４逆ＬＦＮＳＴに入力する際に、１６つの係数が出力され、１６つの係数が８×８逆ＬＦＮＳＴに入力する際に、６４つの係数が出力される。

エンコーダが現在の画像における現在ブロックに対して二次変換を実行するとき、選択された変換行列群内のある変換行列を使用して、現在ブロックの残差ブロックを変換することができる。二次変換はＬＦＮＳＴであることを例とすると、変換行列はある斜めテクスチャを変換することに用いられる行列を指し、変換行列群はいくつかの類似する斜めテクスチャを変換することに用いられる行列を含むことができる。

図１４は、本願の実施例によって提供されるＬＦＮＳＴの変換行列群の例である。

図１４の（ａ）～（ｄ）に示すように、ＬＦＮＳＴは４群の変換行列を有することができ、同じ変換行列群における変換行列は同じ斜めテクスチャを有する。例えば、図１４の（ａ）に示される変換行列群は、インデックスが０である変換行列群であってもよく、図１４の（ｂ）に示される変換行列群は、インデックスが１である変換行列群であってもよい。図１４の（ｃ）に示す変換行列群はインデックス２である変換行列群であり、図１４の（ｄ）に示す変換行列群はインデックス３である変換行列群である。

本願では、二次変換に係る変換行列は、変換カーネル、変換カーネルタイプまたは基関数、および類似または同一の意味を有する他の用語とも呼ばれることがあり、二次変換に係る変換行列群も変換カーネル群、変換カーネル群、変換カーネルタイプ群、または基関数群などの用語は、類似または同一の意味を有し、本願では特に限定されない。即ち、本願に係る選択変換行列または変換行列群は、選択変換カーネルタイプまたは変換カーネルタイプ群と呼ぶこともでき、選択変換タイプまたは選択変換タイプ群と呼ぶこともできる。選択カーネルまたは変換カーネル群とも呼ばれる。

以下に、ＬＦＮＳＴをイントラ符号化ブロックに適用する関連方案について説明する。

イントラ予測では、参照として現在ブロックの周囲の再構成された画素を使用して現在ブロックに対して予測する。現在のビデオは左から右、上から下に符号化されるため、現在ブロックで使用可能な参照画素は通常、左側と上側にある。角度予測では、指定された角度に従って参照画素を現在ブロックに平坦化することを予測値とする。これは、予測されたブロックが明確な方向性テクスチャを持つことを意味し、角度予測後の現在ブロックの残差も統計的に明らかな角度特性を反映する。したがって、ＬＦＮＳＴによって選択された変換行列は、イントラ予測モードにバインドできる。即ち、イントラ予測モードが決定された後、ＬＦＮＳＴは、テクスチャ方向がイントラ予測モードの角度特性に適合する一群（ｓｅｔ）の変換行列を使用できる。

例えば、ＬＦＮＳＴに合計４つの変換行列群があり、各群に２つの変換行列があるとする。イントラ予測モードと変換行列群との対応を表６に示す。

表６に示すように、イントラ予測モード０～８１は、４つの変換行列群のインデックスと関連付けることができる。

クロミナンスイントラ予測で使用されるクロス成分予測モードは８１～８３であるが、輝度イントラ予測にはこれらのモードがないことに注意されたい。ＬＦＮＳＴの変換行列は、転置により１つの変換行列群を使用してより多くの角度を処理できる。例えば、イントラ予測モード１３～２３とイントラ予測モード４５～５５はいずれも変換行列群２に対応するが、イントラ予測モード１３～２３は明らかに水平モードに近く、イントラ予測モード４５～５５は明らかに鉛直モードに近い。イントラ予測モード４５～５５に対応する後変換および逆変換は、必要な転置により適合されることになる。

具体的な実現では、ＬＦＮＳＴには合計４つの変換行列群があるため、符号化側は、現在ブロックで使用されるイントラ予測モードに基づいて、ＬＦＮＳＴがどの変換行列群を使用するかを決定し、決定された１つの変換行列群に用いられる変換行列を決定できる。イントラ予測モードとＬＦＮＳＴ変換行列群との間の関連性を利用することにより、コードストリームにおける送信においてＬＦＮＳＴを選択した変換行列を減らすことができる。現在ブロックがＬＦＮＳＴを使用するか否かことやＬＦＮＳＴを使用しようとする場合、群における第１ブロックを使用するか第２ブロックを使用するかは、コードストリームといくつかの条件によって決定できる。

勿論、共通のイントラ予測モードが６７つあるが、ＬＦＮＳＴには４つの変換行列群しかないことを考慮すると、複数の類似角度予測モードは１つのＬＦＮＳＴ変換行列群にしか対応できず、性能と複雑さとのバランスを取る設計である。各変換行列は、変換行列の係数を保存するための記憶領域が必要になるためである。圧縮効率の要件とハードウェア機能の向上により、ＬＦＮＳＴはより複雑になるように設計することもできる。例えば、より大きな変換行列、より多くの変換行列群を使用し、変換行列群ごとにより多くの変換行列を使用する。例えば、表７は、イントラ予測モードと変換行列群との別の対応関係を示す。

表７に示すように、３５つの変換行列群が使用され、各変換行列群は３つの変換行列を使用する。変換行列群とイントラ予測モードの対応関係は、次のように表すことができる。イントラ予測モード０～３４の場合、変換行列群０～３４に順方向に対応する。即ち予測モードの番号が大きいほど変換行列群のインデックスが大きくなる。イントラ予測モード３５～６７の場合、転置により、２～３３に逆方向に対応する。即ち、予測モードの番号が大きいほど、変換行列群のインデックスが小さくなる。残りの予測モードについては、いずれもインデックス２である変換行列群に対応できる。即ち、転置を考慮しない場合、１つのイントラ予測モードが１つの変換行列群に相当する。この設計により、各イントラ予測モードに対応する残差は、より適切なＬＦＮＳＴ変換行列を取得することができ、圧縮性能も向上する。

勿論、理論的には、広角度モードでも１対１設計を実現できるが、この設計のコスパが低いため、本願では詳しく説明しない。

また、ＬＦＮＳＴについて、ＭＩＰを変換行列群に適合させるために、本願でプレーナモードが適合した変換行列群をＭＩＰに適合する変換行列群として使用することができる。

ＬＦＮＳＴは２次変換の例示にすぎず、２次変換に対する制限として理解されるべきではないことに注意されたい。例えば、ＬＦＮＳＴは分離不可能な二次変換であるが、他の代替実施例では、分離可能な二次変換も使用して、斜めテクスチャの残差の圧縮効率を向上させることができる。

図１５は、本願の実施例によって提供される復号化フレームワーク２００の概略ブロック図である。

図１５に示すように、復号フレームワーク２００は、エントロピー復号化ユニット２１０、逆変換・逆量子化ユニット２２０、残差ユニット２３０、イントラ予測ユニット２４０、インター予測ユニット２５０、ループフィルタリングユニット２６０、および復号化画像バッファーユニット２７０を含む。

エントロピー復号化ユニット２１０は、コードストリームを受信して復号化した後、予測ブロックと周波数領域残差ブロックを取得し、周波数領域残差ブロックに対して、逆変換・逆量子化ユニット２２０は、変換および逆量子化などのステップを実行して時間領域残差ブロックを取得する。残差ユニット２３０は、逆変換・逆量子化ユニット２２０による変換・逆量子化後の時間領域残差ブロックに、イントラ予測ユニット２４０またはインター予測ユニット２５０により予測された予測ブロックを重ね合わせ、再構成ブロックを取得する。
上記に説明した符号化／複合化フレームおよび関連技術方案に基づいて、下記には、本願によって提供される符号化／複合化方法を具体的に説明する。
第１側面では、復号化方法を提供して、該方法は、
コードストリームを復号化して、現在ブロックの第１変換係数を取得するステップと、
第１変換係数に対して第１変換を実行して、現在ブロックの第２変換係数を取得するステップと、
第２変換係数に対して第２変換を実行して、現在ブロックの残差ブロックを取得するステップと、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、現在ブロックに対して予測し、現在ブロックの予測ブロックを取得するステップと、
現在ブロックの予測ブロックと現在ブロックの残差ブロックに基づいて、現在ブロックの再構成ブロックを取得するステップと、を含む。
第１側面に係る前記方法に基づいて、１番目の可能な実現方式において、予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む。
第１側面または１番目の可能な実現方式に基づいて、２番目の可能な実現方式において、第１変換係数に対して第１変換を実行して、現在ブロックの第２変換係数を取得するステップは、
コードストリームを復号化して、第１識別子と第２識別子を取得するステップと、
第１識別子が、予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、第２識別子が、第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、第１変換係数に対して第１変換を実行して、第２変換係数を取得するステップと、を含む。
２番目の可能な実現方式に基づいて、３番目の可能な実現方式において、第１変換係数に対して第１変換を実行して、現在ブロックの第２変換係数を取得するステップは、
第１識別子が、予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、第２識別子が、第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前ードストリームを復号化して第３識別子を取得するステップと、
第３識別子が、現在シーケンスにおける画像ブロックが予測モード導出モードと第１変換を同時に使用できることを許容することを識別することに用いられる場合、第１変換係数に対して第１変換を実行して、現在ブロックの第２変換係数を取得するステップと、を含む。
２番目の可能な実現方式に基づいて、４番目の可能な実現方式において、第１変換係数に対して第１変換を実行して、現在ブロックの第２変換係数を取得するステップは、
第１識別子が、予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、現在ブロックの高さ及び／または幅が第１閾値以上であるとき、第１変換係数に対して第１変換を実行して、第２変換係数を取得するステップ、を含む。
第１側面～４番目の可能な実現方式のいずれか１つに基づいて、５番目の可能な実現方式において、第２変換係数に対して第２変換を実行して、現在ブロックの残差ブロックを取得するステップの前に、方法は、
第１変換が使用する変換行列群を決定するステップ、をさらに含む。
５番目の可能な実現方式に基づいて、６番目の可能な実現方式において、第１変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである。
５番目の可能な実現方式に基づいて、７番目の可能な実現方式において、第１変換が使用する変換行列群を決定するステップは、
第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップであって、第１変換が使用する変換行列群は、第３イントラ予測モードに適合する変換行列群と同じであるステップを含む。
７番目の可能な実現方式に基づいて、８番目の可能な実現方式において、第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップは、
第１イントラ予測モードと第２イントラ予測モードのうちのデフォルト予測モードを第３イントラ予測モードに決定するステップ、または、
第１イントラ予測モードの重み及び／または第２イントラ予測モードの重みに基づいて、第３イントラ予測モードを決定するステップ、または、
第１イントラ予測モードのタイプと第２イントラ予測モードのタイプに基づいて、第３イントラ予測モードを決定するステップ、または、
第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度に基づいて、第３イントラ予測モードを決定するステップ、を含む。
８番目の可能な実現方式に基づいて、９番目の可能な実現方式において、第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップは、
第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定するステップを含む。
８番目の可能な実現方式に基づいて、１０番目の可能な実現方式において、第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップは、
第１イントラ予測モードおよび第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、角度予測モードを第３イントラ予測モードに決定するステップを含む。
８番目の可能な実現方式に基づいて、１１番目の可能な実現方式において、第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップは、
第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、第１予測角度に対応するイントラ予測モードを第３イントラ予測モードに決定するステップであって、第１予測角度は、第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度に基づいて決定されるステップと、
第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを第３イントラ予測モードに決定するステップと、を含む。
５番目の可能な実現方式に基づいて、１２番目の可能な実現方式において、第１変換が使用する変換行列群を決定するステップは、
予測モード導出モードに適合する変換行列群を、第１変換が使用する変換行列群に決定するステップを含む。
第１側面～１２番目の可能な実現方式のいずれか１つに基づいて、１３番目の可能な実現方式において、第１変換は、現在ブロックにおける斜め方向に沿ったテクスチャを処理することに用いられ、第２変換は、前記現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。
第２側面では、本願は、符号化方法をさらに提供して、該方法は、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて現在ブロックに対して予測し、現在ブロックの予測ブロックを取得するステップと、
現在ブロックの予測ブロックに基づいて、現在ブロックの残差ブロックを取得するステップと、
現在ブロックの残差ブロックに対して第３変換を実行して、現在ブロックの第３変換係数を取得するステップと、
第３変換係数に対して第４変換を実行して、現在ブロックの第４変換係数を取得するステップと、
第４変換係数に対して符号化するステップと、を含む。
第２側面に係る方法に基づいて、１番目の可能な実現方式において、予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む。
第２側面または１番目の可能な実現方式に基づいて、２番目の可能な実現方式において、第４変換係数に対して符号化するステップは、
第１識別子、第２識別子、および第４変換係数に対して符号化するステップであって、第１識別子は、予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、第２識別子は、第４変換を使用して現在シーケンスにおける画像ブロックを変換することを許容することを識別するステップを含む。
２番目の可能な実現方式に基づいて、３番目の可能な実現方式において、第１識別子、第２識別子、および第４変換係数に対して符号化するステップは、
第１識別子、第２識別子、第４変換係数、および第３識別子を符号化するステップであって、第３識別子は、現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第４変換を同時に使用することを許容することを識別するステップを含む。
第２側面～３番目の可能な実現方式に基づいて、４番目の可能な実現方式において、第３変換係数に対して第４変換を実行して、現在ブロックの第４変換係数を取得するステップは、
現在ブロックの高さ及び／または幅が第１閾値以上である場合、第３変換係数に対して第４変換を実行して、第４変換係数を取得するステップを含む。
第２側面～４番目の可能な実現方式に基づいて、５番目の可能な実現方式において、第３変換係数に対して第４変換を実行して、現在ブロックの第４変換係数を取得するステップの前に、方法は、
第４変換が使用する変換行列群を決定するステップを更に含む。
５番目の可能な実現方式に基づいて、６番目の可能な実現方式において、第４変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである。
５番目の可能な実現方式に基づいて、７番目の可能な実現方式において、第４変換が使用する変換行列群を決定するステップは、
第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップであって、第４変換が使用する変換行列群は、第３イントラ予測モードに適合する変換行列群と同じであるステップを含む。
５番目の可能な実現方式に基づいて、８番目の可能な実現方式において、第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップは、
第１イントラ予測モードと第２イントラ予測モードのうちのデフォルト予測モードを第３イントラ予測モードに決定するステップ、または、
第１イントラ予測モードの重み及び／または第２イントラ予測モードの重みに基づいて、第３イントラ予測モードを決定するステップ、または、
第１イントラ予測モードのタイプと第２イントラ予測モードのタイプに基づいて、第３イントラ予測モードを決定するステップ、または、
第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度に基づいて、第３イントラ予測モードを決定するステップ、を含む。
８番目の可能な実現方式に基づいて、９番目の可能な実現方式において、第１イントラ予測モードの重み及び／または第２イントラ予測モードの重みに基づいて、第３イントラ予測モードを決定するステップは、
第１イントラ予測モードと第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを第３イントラ予測モードに決定するステップを含む。
８番目の可能な実現方式に基づいて、１０番目の可能な実現方式において、第１イントラ予測モードのタイプおよび第２イントラ予測モードのタイプに基づいて、第３イントラ予測モードを決定するステップは、
第１イントラ予測モードおよび第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、角度予測モードを第３イントラ予測モードに決定するステップを含む。
８番目の可能な実現方式に基づいて、１１番目の可能な実現方式において、第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度に基づいて、第３イントラ予測モードを決定するステップは、
第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、第１予測角度に対応するイントラ予測モードを第３イントラ予測モードに決定するステップであって、第１予測角度は、第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度に基づいて決定されるステップと、
第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを第３イントラ予測モードに決定するステップと、を含む。
１２番目の可能な実現方式に基づいて、１２番目の可能な実現方式において、第４変換が使用する変換行列群を決定するステップは、
予測モード導出モードに適合する変換行列群を、第４変換が使用する変換行列群に決定するステップを含む。
第２側面～１２番目の可能な実現方式のいずれか１つに基づいて、１３番目の可能な実現方式において、第４変換は、現在ブロックにおける斜め方向に沿ったテクスチャを処理することに用いられ、第３変換は、現在ブロックにおけるテクスチャを処理することに用いられる。

図１６は、本願の実施例によって提供される復号化方法３００の概略フローチャートである。復号化方法３００はデコーダによって実行できることを理解されたい。例えば、図１５に示す復号フレームワーク２００に適用される。説明の便宜上、以下ではデコーダを例に挙げる。

図１６に示すように、復号化方法３００は、以下の一部または全部を含むことができる。
Ｓ３１０、デコーダはコードストリームを復号化して、現在ブロックの第１変換係数を取得する。
Ｓ３２０、デコーダは、前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得する。
Ｓ３３０、デコーダは、前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得する。
Ｓ３４０、デコーダは、予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、前記現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得する。
Ｓ３５０、デコーダは、前記現在ブロックの予測ブロックと前記現在ブロックの残差ブロックに基づいて、前記現在ブロックの再構成ブロックを取得する。

本願では、予測モード導出モードと第２変換を基に、第１変換を導入して、現在ブロックの解凍効率を向上させることができる。

例示的に、前記第１変換はＬＦＮＳＴであってもよい。即ち、本願は、ＬＦＮＳＴを予測モード導出モードに盛り込むことにより、斜めテクスチャの残差の圧縮効率を向上させることができる。

勿論、予測モード導出モードおよびＬＦＮＳＴの適合方法は、他の二次変換方法にも適用可能である。例えば、ＬＦＮＳＴは非分離型二次変換であるが、他の代替実施例では、予測モード導出モードは分離型二次変換にも適用可能であり、本願では特に限定されない。

いくつかの実施例では、前記予測モード導出モードは、デコーダ側イントラモード導出ＤＩＭＤモード、または、テンプレートベースのイントラモード導出ＴＩＭＤモードを含むことができる。

いくつかの実施例では、前記Ｓ３２０は、以下を含むことができる。
前記コードストリームを復号化して、第１識別子と第２識別子を取得し、
前記第１識別子が、予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、第１変換係数に対して第１変換を実行して、第２変換係数を取得する。

例示的に、前記現在シーケンスは、前記現在ブロックを含む画像シーケンスである。

例示的に、前記第１識別子は、現在シーケンスが予測モード導出モードを使用するか否かを制御することに用いられる。

例示的に、前記第１識別子の取り得る値が第１数値である場合、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別する。前記第１識別子の取り得る値が第２数値である場合、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容しないことを識別する。一つの実現様態としては、前記第１数値が０であり、前記第２数値が１である。別の実現態様として、前記第１数値が１であり、前記第２数値が０である。勿論、前記第１数値や前記第２数値は他の取り得る値であってもよい。

例示的に、前記第２識別子は、現在シーケンスが第１変換を使用するか否かを制御することに用いられる。

例示的に、前記第２識別子の取り得る値が第３数値である場合、前記第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容することを識別する。また、前記第２識別子の値が第４数値である場合、前記第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容しないことを識別する。１つの実現態様としては、前記第３数値が０、前記第４数値が１である。別の実現態様として、前記第３数値が１、前記第４数値が０である。勿論、前記第３数値や前記第４数値は他の取り得る値であってもよい。

例示的に、第１識別子がｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第２識別子がｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録されている場合、ｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇの取り得る値がいずれも１であるときに、前記第１変換係数に対して第１変換を実行して、前記第２変換係数を取得する。

例示的に、前記第１識別子が予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容しないことを識別することに用いられる場合、及び／または、前記第２識別子が第１変換を使用して現在シーケンスにおける画像ブロックを変換することを許容しないことを識別することに用いられる場合、前記第１変換係数に対して前記第１変換を実行していない。言い換えると、前記第１変換係数に対して前記第２変換を直接に実行でき、前記現在ブロックの残差値を取得する。

勿論、他の代替実施例では、前記第１識別子及び／または前記第２識別子は、画像（ｐｉｃｔｕｒｅ）、スライス（ｓｌｉｃｅ）、最大符号化単位（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）、ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）、符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、また、変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）などのレベルの識別子に置き換えることもできる。あるいは、前記第１識別子および前記第２識別子を基に、予測モード導出モードを使用するか否か、または、前記第１変換を使用するか否かについて、画像、スライス、ＬＣＵ、ＣＴＵ、ＣＵ、ＰＵおよびＴＵなどのレベルの識別子を追加してもよい。本願の実施例では特に限定されない。

いくつかの実施例では、Ｓ３２０は、以下を含むことができる。
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記コードストリームを復号化して第３識別子を取得する。

前記第３識別子が、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第１変換を同時に使用できることを識別することに用いられる場合、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得する。

例示的に、前記第３識別子は、予測モード導出モードと第１変換とを共用できるか否かを制御することに用いられる。

例示的に、前記第３識別子の取り得る値が第５数値である場合、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第１変換を同時に使用できることを許容することを識別する。前記第３識別子の取り得る値が第６数値である場合、現在シーケンスにおける画像ブロックが予測モード導出モードと第１変換を同時に使用することを許容しないことを識別する。１つの実現態様としては、前記第５数値が０、前記第６数値が１である。別の実装態様として、前記第５数値が１、前記第６数値が０である。勿論、前記第５数値や前記第６数値は他の取り得る値であってもよい。

例示的に、第１識別子がｓｐｓ＿ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第２識別子がｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第３識別子がｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録される場合、ｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇの取り得る値がいずれも１である場合、ｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１であるか否か、且つｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇが１である場合、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得する。

勿論、他の代替実施例では、前記第３識別子は、画像（ｐｉｃｔｕｒｅ）、スライス（ｓｌｉｃｅ）、最大符号化単位（ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ、ＬＣＵ）、ツリーユニット（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ、ＣＴＵ）、符号化ユニット（ｃｏｄｉｎｇ ｕｎｉｔ、ＣＵ）、予測ユニット（ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ、ＰＵ）、または変換ユニット（ｔｒａｎｓｆｏｒｍ ｕｎｉｔ、ＴＵ）などのレベルの識別子に置き換えることもできる。あるいは、前記第３識別子を基に、前記予測モード導出モードまたは前記第１変換を使用するか否かについて、画像、スライス、ＬＣＵ、ＣＴＵ、ＣＵ、ＰＵ、またはＴＵなどのレベルの識別子を追加してもよい。本願の実施例はこれを特に限定するものではない。

いくつかの実施例では、Ｓ３２０は以下を含むことができる。
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを識別することに用いられる場合、デコーダは、前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得する。

例示的に、第１識別子がｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第２識別子がｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録され、第３識別子がｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇとして記録される場合、ｓｐｓ_ｔｉｍｄ／ｄｉｍｄ_ｅｎａｂｌｅｄ_ｆｌａｇとｓｐｓ_ｌｆｎｓｔ_ｅｎａｂｌｅｄ_ｆｌａｇの取り得る値がいずれも１である場合、デコーダは、前記現在ブロックの高さ及び／または幅を決定する。前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得する。

例示的に、前記第１閾値は、４、８、１６、３２、６４、または他の取り得る値であってもよい。

いくつかの実施例では、前記Ｓ３２０の前に、前記方法３００はさらに、以下を含むことができる。
デコーダは、前記第１変換が使用する変換行列群を決定する。

予測モード導出モードは、２つの予測モード（即ち、第１イントラ予測モードと第２イントラ予測モード）を組み合わせて現在ブロックに対して予測するため、異なるイントラ予測モードで現在ブロックに対して予測して取得られる予測ブロックは、異なるテクスチャ特性を示すことがあることに留意されたい。したがって、現在ブロックが予測モード導出モードを選択する場合、第１イントラ予測モードにより現在ブロックの予測ブロックが１つのテクスチャ特性を示される可能性があり、第２イントラ予測モードにより現在ブロックの予測ブロックがもう１つのテクスチャ特性を示される可能性がある。言い換えると、現在ブロックに対して予測した後、統計的な観点から、現在ブロックの予測ブロックも２つのテクスチャ特性を示すことがある。即ち、現在ブロックの残差ブロックは必ずしもある予測モードに示される規律に合わない。したがって、予測モード導出モードに対して、デコーダが第１変換係数に対して第１変換を行う前に、その特性に適合する変換行列群を決定する必要がある。しかしながら、第１変換が使用する変換行列群は、一般的に、単一のイントラ予測モードによって定義される変換行列群である。そのため、予測モード導出モードに対して、第１変換が使用する変換行列群を決定する方案を改良する必要があり、下記には各実現様態を例示的に説明する。

いくつかの実施例では、第１変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである。

例示的に、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用している場合、デコーダは予測モード導出モードとプレーナモード（またはＤＣモード）を１つのカテゴリに分類し、予測モード導出モードを決定する。プレーナモード（またはＤＣモード）に従って、第１変換に用いられる変換行列群を適合する。言い換えると、デコーダが現在ブロックの予測モードをチェックするときに、現在ブロックが予測モード導出モードを使用している場合、エンコーダは現在ブロックの予測モードをプレーナモード（またはＤＣモード）に戻すことができることにより、デコーダは、プレーナモード（またはＤＣモード）に適合する変換行列群を前記第１変換が使用する変換行列群に決定する。言い換えると、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、デコーダは、現在ブロックの第１変換が使用した変換行列群が、プレーナモード（またはＤＣモード）に適合する変換行列群であってもよいと判断する。

本実施例では、プレーナモード（またはＤＣモード）と予測モード導出モードの両方も様々なテクスチャ特性を反映できるため、プレーナモードまたは直流ＤＣモードに適合する変換行列群を第１変換が使用する変換行列群に決定することにより、予測モード導出モードと第１変換に基づいて現在ブロックを復号化するだけでなく、第１変換が使用する変換行列群のテクスチャ特性が現在ブロックの残差ブロックのテクスチャ特性にできる限り接近することを保証でき、解凍効率を向上させる。

いくつかの実施例では、デコーダは、第１イントラ予測モードおよび第２イントラ予測モードに基づいて第３イントラ予測モードを決定し、第１変換が使用する変換行列群は、第３イントラ予測モードに適合する変換行列群と同じである。

例示的に、デコーダは、第３イントラ予測モードが適合した変換行列群を、第１変換が使用する変換行列群に決定することができる。

例示的に、デコーダ側が現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、デコーダは第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定する。デコーダが第３イントラ予測モードに従って第１変換が使用する変換行列群を適合できるように、予測モード導出モードと第３イントラ予測モードを１つのカテゴリに分類する。言い換えると、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、エンコーダは現在ブロックの予測モードを第３イントラ予測モードに戻すことができることにより、デコーダが第３イントラ予測モードに適合する変換行列群を、前記第１変換が使用する変換行列群に決定する。言い換えると、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、デコーダが現在ブロックに対する第１変換が使用する変換行列群は第３イントラ予測モードに適合する変換行列群であってもよいと判断してもよい。

勿論、他の代替実施例では、デコーダは、先に第３イントラ予測モードを決定し、第３イントラ予測モードにより前記第１変換が使用する変換行列群を明示的に決定しなくてもよい。その代わりに、前記第３イントラ予測モードに適合する変換行列群を前記第１変換が使用する変換行列群とする。

いくつかの実施例では、デコーダは、前記第１イントラ予測モードおよび前記第２イントラ予測モードにおけるデフォルト予測モードを前記第３イントラ予測モードに決定するか、または、デコーダは、前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定するか、または、デコーダが、前記第１イントラ予測モードのタイプおよび前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定するか、または、デコーダが前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて前記第３イントラ予測モードを決定する。

例示的に、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、第１変換が使用する変換行列群を選択する場合、第１イントラ予測モードと第２イントラ予測モードに基づいて、第１変換が使用する変換行列群を決定する。１つの実現態様としては、任意の場合でも第１イントラ予測モードを使用して決定することができる。即ち、任意の場合でも第１イントラ予測モードに適合する変換行列群を、第１変換が使用する変換行列群に決定する。または、任意の場合でも第２イントラ予測モードを用いて決定することもできる。即ち、任意の場合でも第２イントラ予測モードに適合する変換行列群を第１変換が使用する変換行列に決定する。もう１つの実現態様において、場合によって、第１イントラ予測モードを使用して決定することができる。即ち、場合によって、第１イントラ予測モードに適合する変換行列群を第１変換が使用する変換行列群に決定する。または、場合によって、第２イントラ予測モードを使用して決定することができる。即ち、第２イントラ予測モードに適合する変換行列群を第１変換が使用する変換行列群に決定する。場合によって、プレーンモードまたはＤＣモードにより決定される。即ち、場合によって、プレーンモードまたはＤＣモードに適合する変換行列群を第１変換が使用する変換行列群に決定する。ある予測モードを使用して決定するということは、予測モード導出モードがある予測モードと同じカテゴリに分類され、デコーダがある予測モードに基づいて第１変換が使用する変換行列群を適合できることを意味する。言い換えると、デコーダが現在ブロックの予測モードをチェックするときに、現在ブロックが予測モード導出モードを使用している場合、前記ある予測モードを返すことができることにより、デコーダは前記ある予測モードに従って第１変換が使用する変換行列群に適合できる。言い換えると、デコーダが現在ブロックの予測モードをチェックするとき、現在ブロックが予測モード導出モードを使用する場合、デコーダは、現在ブロックの第１変換に使用された変換行列群が、前記ある予測モードに適合する変換行列群であってもよい。

いくつかの実施例では、デコーダが前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定するとき、第１イントラ予測モードと第２イントラ予測モードとのうちの最も大きな重みを有するイントラ予測モードを第３イントラ予測モードに決定する。

例示的に、デコーダが前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて前記第３イントラ予測モードを決定する場合、重みの大きいイントラ予測モードの優先度は、重みの小さいイントラ予測モードの優先度よりも高い。例えば、第１イントラ予測モードの重みが第２イントラ予測モードの重みよりも大きい場合、第１イントラ予測モードを第３イントラ予測モードに決定し、第２イントラ予測モードの重みが第１イントラ予測モードの重みよりも大きい場合、第２イントラ予測モードを第３イントラ予測モードに決定する。

いくつかの実施例では、デコーダが前記第１イントラ予測モードのタイプおよび前記第２イントラ予測モードのタイプに基づいて前記第３イントラ予測モードを決定するとき、前記第１イントラ予測モードおよび前記第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、前記角度予測モードを第３イントラ予測モードに決定する。

例示的に、デコーダが前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて前記第３イントラ予測モードを決定する場合、角度予測モードが第３イントラ予測モードとする優先度は、非角度予測モードが第３イントラ予測モードとする優先度よりも高い。例えば、前記第１イントラ予測モードが角度予測モードであり、前記第２イントラ予測モードが非角度予測モード（例えば、プレーナモードまたはＤＣモード）である場合、第１イントラ予測モード（即ち角度予測モード）を第３イントラ予測モードに決定する。

いくつかの実施例では、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、第１予測モードに対応するイントラ予測モードを前記第３イントラ予測モードに決定して、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測に基づいて決定される。前記第１イントラ予測モードの予測角度および前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを第３イントラ予測モードに決定する。

例示的に、デコーダが前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて前記第３イントラ予測モードを決定する場合、第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度との差は比較的小さい場合、デコーダは、第１イントラ予測モード、第２イントラ予測モード、または第１イントラ予測モードに位置する予測角度と第２イントラ予測モードの予測角度との間の予測角度を。例えば、第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度との差が比較的大きい場合、デコーダは、プレーナモードまたはＤＣモードを第３イントラ予測モードに決定することができる。

いくつかの実施例では、デコーダは、前記予測モード導出モードに適合された変換行列群を、前記第１変換が使用する変換行列群に決定する。

例示的に、デコーダは、予測モード導出モードに対して、適合または専用の変換行列群を定義することができる。

いくつかの実施例では、前記第１変換は、現在ブロックにおける斜め方向に沿うテクスチャを処理することに用いられ、前記第２変換は、現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。

なお、復号化側の第１変換は、符号化側の第１変換の逆変換であり、復号化側の第２変換は、符号化側の第２変換の逆変換である。例えば、符号化側では、第１変換は上記記載に係る二次変換であり、第２変換は、上記記載に係る基本変換または主変換であり、復号化側では、前記第１変換は、上記記載に係る二次変換の逆変換でもよい。例えば、符号化側では、前記第１変換はＬＦＮＳＴでもよく、前記第２変換はＤＣＴ２タイプ、ＤＣＴ８タイプ、またはＤＳＴ７タイプなどでもよい。デコーダについて、前記第１変換は、逆（反）ＬＦＮＳＴでもよく、第２変換は、逆（反）ＤＣＴ２タイプ、逆（反）ＤＣＴ８タイプ、または逆（反）ＤＳＴ７タイプなどでもよい。

以上、デコーダの視点から本願の実施例に係る復号化方法を詳細に説明した。下記に、図１７を参照しながら、エンコーダの視点から本願の実施例に係る符号化方法を説明する。

図１７は、本願の実施例によって提供される符号化方法４００の概略フローチャートである。符号化方法４００はエンコーダによって実行されることを理解されたい。例えば、図１に示す符号化フレームワーク１００に適用される。説明を簡単にするために、以下ではエンコーダを例として使用する。

図１７に示すように、符号化方法４００は、以下を含むことができる。
Ｓ４１０、予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得する。
Ｓ４２０、前記現在ブロックの予測ブロックに基づいて前記現在ブロックの残差ブロックを取得する。
Ｓ４３０、前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得する。
Ｓ４４０、前記第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得する。
Ｓ４５０、前記第４変換係数に対して符号化する。

なお、復号化側の第１変換は、符号化側の第４変換の逆変換であり、復号化側の第２変換は、符号化側の第３変換の逆変換である。例えば、前記第３変換は、上記記載に係る基本変換または主変換であり、前記第４変換は、上記記載に係る二次変換であり、対応的に、前記第１変換は、二次変換の逆変換（または反変換）である。前記第２変換は、基本変換または主変換の逆変換（または反変換）であってもよい。例えば、前記第１変換は、逆（反）ＬＦＮＳＴであってもよく、前記第２変換は、逆（反）ＤＣＴ２タイプ、逆（反）ＤＣＴ８タイプ、または逆（反）ＤＳＴ７タイプなどであってもよい。前記第３変換は、ＤＣＴ２タイプ、ＤＣＴ８タイプ、またはＤＳＴ７タイプなどであってもよく、前記第４変換は、ＬＦＮＳＴであってもよい。

いくつかの実施例では、予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む。

いくつかの実施例では、Ｓ４５０は、以下を含むことができる。
第１識別子、第２識別子、および第４変換係数に対して符号化する。
前記第１識別子は、前記予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子は、前記第４変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる。

いくつかの実施例では、Ｓ４５０は、以下を含むことができる。
第１識別子、第２識別子、第４変換係数、および第３識別子を符号化する。
前記第３識別子は、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第４変換を同時に使用することを許容することを識別することに用いられる。

いくつかの実施例では、Ｓ４４０は、以下を含むことができる。
前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第３変換係数に対して第４変換を実行して、前記第４変換係数を取得する。

いくつかの実施例では、Ｓ４４０の前に、前記方法４００は、以下をさらに含むことができる。
前記第４変換が使用する変換行列群を決定する。

いくつかの実施例では、前記第４変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである。

いくつかの実施例では、第４変換が使用する変換行列群を決定することは、以下を含むことができる。
第１イントラ予測モードと第２イントラ予測モードに基づいて、第３イントラ予測モードを決定する。
前記第４変換が使用する変換行列群は、前記第３イントラ予測モードに適合する変換行列群と同じである。

いくつかの実施例では、前記第１イントラ予測モードおよび前記第２イントラ予測モードに基づいて、第３イントラ予測モードを決定することは、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちのデフォルト予測モードを前記第３イントラ予測モードに決定すること、または、
前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定することを含む。

いくつかの実施例では、前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定することは、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定することを含む。

いくつかの実施例では、前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定することは、
前記第１イントラ予測モードおよび前記第２イントラ予測モードは、角度予測モードと非角度予測モードを含む場合、角度予測モードを前記第３イントラ予測モードに決定することを含む。

いくつかの実施例では、第１イントラ予測モードの予測角度および第２イントラ予測モードの予測角度に基づいて、第３イントラ予測モードを決定することは、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、第１予測角度に対応するイントラ予測モードを前記第３イントラ予測モードに決定することであって、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて決定されることと、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを前記第３イントラ予測モードに決定することを含む。

いくつかの実施例では、前記第４変換が使用する変換行列群を決定することは、
前記予測モード導出モードに適合する変換行列群を、第４変換が使用する変換行列群に決定することを含む。

いくつかの実施例では、前記第４変換は、前記現在ブロックにおける斜め方向に沿うテクスチャを処理することに用いられ、前記第３変換は、前記現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。

符号化方法は、復号化方法の逆のプロセスとして理解できることを理解されたい。したがって、符号化方法４００の具体的な方案は、復号化方法３００の関連内容を参照することができる。説明の便宜上、本願では詳しく説明しない。

以上、添付図面を参照しながら本願の好適な実施例について詳細に説明したが、本願はその技術的思想の範囲内において上記実施例の具体的な内容に限定されるものではない。これらの簡易な修正は、いずれも本願の保護範囲に属する。例えば、上記記載に係る特定の実施例で説明された各特定の技術的特徴は、矛盾することなく任意の適切な方法で組み合わせることができる。別の例として、本願の思想に反しない限り、本願の様々な実施例を任意に組み合わせて実施することも可能である。また、本願の様々な方法の実施例において、上記記載に係るプロセスの順番の大きさは、各プロセスの実行順序を意味しなく、その機能および内部のロジックによって決定されるべきであり、本願の実施例をいかなる制限も構成しないことも理解されたい。

上記には、本願の方法の実施例について詳細に説明し、本願の装置の実施例については図１８から図２０を参照しながら、以下に詳細に説明する。
図１８は、本願の実施例のデコーダ５００の概略ブロック図である。
図１８に示すように、前記デコーダ５００は、
コードストリームを復号化して現在ブロックの第１変換係数を取得することに用いられる復号化ユニット５１０と、
前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得し、前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得する変換ユニット５２０と、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、前記現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニット５３０と、
前記現在ブロックの予測ブロックと前記現在ブロックの残差ブロックに基づいて、前記現在ブロックの再構成ブロックを取得することに用いられる再構成ユニット５４０と、を含む。

いくつかの実施例では、前記予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む。

いくつかの実施例では、前記変換ユニット５２０は、
コードストリームを復号化して、第１識別子と第２識別子を取得し、
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記第１変換係数に対して第１変換を実行して、前記第２変換係数を取得することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記コードストリームを復号化して第３識別子が取得し、
前記第３識別子は、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第１変換を同時に使用できることを識別することに用いられる場合、前記第１変換係数に対して第１変換を実行して、前記第２変換係数を取得することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記現在ブロックの高さ及び／または幅が第１閾値以上であるとき、前記第１変換係数に対して前記第１変換を実行して、前記第２変換係数を取得することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、前記第２変換係数に対して前記第２変換を実行し、前記現在ブロックの残差ブロックを取得する前に、
前記第１変換が使用する変換行列群を決定することにさらに用いられる。

いくつかの実施例では、前記第１変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じであることに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードと前記第２イントラ予測モードに基づいて、前記第３イントラ予測モードを決定することにさらに用いられる。
前記第１変換が使用する変換行列群は、前記第３イントラ予測モードに適合する変換行列群と同じである。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちのデフォルト予測モードを前記第３イントラ予測モードに決定すること、または、
前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードおよび前記第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、前記角度予測モードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、前記第１予測角度に対応するイントラ予測モードを前記第３イントラ予測モードに決定することであって、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて決定されることと、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が前記第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット５２０は、
前記予測モード導出モードに適合する変換行列群を前記第１変換が使用する変換行列群に決定することに用いられる。
いくつかの実施例では、前記第１変換は、現在ブロックにおける斜め方向に沿うテクスチャを処理することに用いられ、前記第２変換は、現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。

図１９は、本願の実施例のエンコーダ６００の概略ブロック図である。
図１９に示すように、エンコーダ６００は、
予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニット６１０と、
前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得することに用いられる残差ユニット６２０と、
前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得し、
前記第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得することに用いられる変換ユニット６３０と、
前記第４変換係数に対して符号化することに用いられる符号化ユニット６４０と、を含む。

いくつかの実施例では、前記予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む。

いくつかの実施例では、前記符号化ユニット６４０は、
第１識別子、第２識別子、および第４変換係数に対して符号化することに用いられ、
前記第１識別子は、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子は、前記第４変換が現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる。

いくつかの実施例では、前記符号化ユニット６４０は、
第１識別子、第２識別子、第４変換係数、および第３識別子を符号化することに用いられ、
前記第３識別子は、現在シーケンスにおける画像ブロックが予測モード導出モードと第４変換を同時に使用することを許容することを識別することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第３変換係数に対して前記第４変換を実行して、前記第４変換係数を取得することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、前記第３変換係数に対して第４変換を実行し、前記現在ブロックの第４変換係数を取得する前に、
前記第４変換が使用する変換行列群を決定することに用いられる。

いくつかの実施例では、前記第４変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードと前記第２イントラ予測モードに基づいて、前記第３イントラ予測モードを決定する。
前記第４変換が使用する変換行列群は、前記第３イントラ予測モードに適合する変換行列群と同じである。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちのデフォルト予測モードを前記第３イントラ予測モードに決定すること、または、
前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定すること、または、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードおよび前記第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、前記角度予測モードを第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、前記第１予測角度に対応するイントラ予測モードを前記第３イントラ予測モードに決定することであって、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて決定され、
前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを前記第３イントラ予測モードに決定することに用いられる。

いくつかの実施例では、前記変換ユニット６３０は、
前記予測モード導出モードに適合する変換行列群を、前記第４変換が使用する変換行列群に決定することに用いられる。

いくつかの実施例では、前記第４変換は、現在ブロックにおける斜め方向に沿うテクスチャを処理することに用いられ、前記第３変換は、現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる。

装置の実施例と方法の実施例は互いに対応して、類似する説明が方法の実施例を参照することができることを理解されたい。繰り返しを避けるため、ここでは詳しく説明しない。具体的には、図１８に示されるデコーダ５００は、本願の実施例の方法３００を実行する際の対応する主体に対応することができ、デコーダ５００における各ユニットの前述および他の動作及び／または機能は、それぞれ、方法３００などの各方法における対応のプロセスを実現するためである。類似的に、図１９に示されるエンコーダ６００は、本願の実施例の方法４００を実行する際の対応する主体に対応することができ、即ち、エンコーダ６００の各ユニットの前述及び他の動作及び／または機能は、それぞれ、方法４００などの各方法における対応するプロセスを実現するためである。

また、本願の実施例に含まれるデコーダ５００またはエンコーダ６００の各ユニットは、別々または全体的に１つまたはいくつかの他のユニットを結合して形成することができ、またはユニットのある（いくつか）をより小さな機能を有する複数のユニッさらに分解することができることも理解されたい。ここで、本願の実施例の技術的効果の実現に影響を与えることなく、同じ動作を達成することができる。上記のユニットは論理的な機能に基づいて分割されており、実際の実装では、１つのユニットの機能を複数のユニットで実現したり、複数のユニットの機能を１つのユニットで実現したりすることもできる。本願の他の実施例では、デコーダ５００またはエンコーダ６００は、他のユニットを含んでもよく、実際の応用例では、これらの機能は、他のユニットの支援を受けて実現されてもよく、複数のユニットが協働して実現されてもよい。本願の別の実施例によれば、中央処理装置（ＣＰＵ）、ランダムアクセス記憶媒体（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）などの処理要素および記憶要素を含む汎用コンピュータを含む汎用コンピュータ装置が提供される。対応する方法に含まれる各ステップを実行することができるコンピュータプログラム（プログラムコードを含む）を実行して、本願の実施例に係るデコーダ５００またはエンコーダ６００を構成し、符号化方法または復号化方法を実現する。コンピュータプログラムは、例えばコンピュータ読み取り可能な記憶媒体に記録され、コンピュータ読み取り可能な記憶媒体を介して電子機器にロード・実行されて本願の実施例の対応する方法を実現することができる。

言い換えると、上記の各部は、ハードウェアで実現することもできるし、ソフトウェアの命令で実現することもできるし、ソフトウェアとハードウェアとの組み合わせで実現することもできる。具体的には、本願実施例の方法実施例におけるステップは、プロセッサ内のハードウェアの集積論理回路および／またはソフトウェアの形態の命令によって完成されてもよく、本願実施例に開示された方法と連動する方法のステップは、ハードウェア復号プロセッサに直接具現化されてもよく、または復号プロセッサ内のハードウェアとソフトウェアの組み合わせで実行されてもよい。選択的に、ソフトウェアは、ランダムアクセスメモリ、フラッシュメモリ、読み取り専用メモリ、プログラマブル読み取り専用メモリ、電気的に消去可能なプログラマブルメモリ、レジスタなどの当分野で周知した記憶媒体に配置される。該当記憶媒体はメモリ内に配置され、プロセッサはメモリにおける情報を読み取り、ハードウェアと組み合わせて上記の方法の実施例のステップを完成する。

図２０は、本願の一実施例により提供される電子機器７００の概略構造図である。
図２０に示すように、電子機器７００は、プロセッサ７１０とコンピュータ読み取り可能な記憶媒体７２０を少なくとも含む。プロセッサ７１０およびコンピュータ読み取り可能な記憶媒体７２０は、バスまたは他の手段を通じて接続され得る。コンピュータ読み取り可能な記憶媒体７２０は、コンピュータプログラム７２１を記憶することに用いられ、コンピュータプログラム７２１はコンピュータ命令を含み、プロセッサ７１０は、コンピュータ読み取り可能な記憶媒体７２０に記憶されたコンピュータ命令を実行することに用いられる。プロセッサ７１０は、電子機器７００のコンピューティングカーネルおよび制御カーネルである。プロセッサ７１０は、１つまたは複数のコンピュータ命令を実現するのに適しており、特に、１つまたは複数のコンピュータ命令をロードして実行して、対応する方法フローまたは対応する機能を実現するように構成される。

例示として、プロセッサ７１０は、中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＣＰＵ）と呼ばれてもよい。プロセッサ７１０は、汎用プロセッサ、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ、ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＡＳＩＣ）、およびフィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、ＦＰＧＡ）、または他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジックデバイス、ディスクリートハードウェア成分などを含むことができるが、これらに限定されない。

例示として、コンピュータ読み取り可能な記憶媒体７２０は、高速ＲＡＭメモリ、または少なくとも１つのディスクメモリなどの不揮発性メモリ（Ｎｏｎ－ｖｏｌａｔｉｌｅ Ｍｅｍｏｒｙ）であってもよく、選択的に少なくとも１つのディスクメモリであってもよい。選択的に、前述のプロセッサ７１０から離れた場所に配置されるコンピュータ読み取り可能な記憶媒体であってもよい。具体的には、コンピュータ読み取り可能な記憶媒体７２０には、揮発性メモリ及び／または不揮発性メモリが含まれるが、これらに限定されない。その中で、不揮発性メモリは、読み取り専用メモリ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ、ＲＯＭ）、プログラマブル読み取り専用メモリ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ、ＰＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（Ｅｒａｓａｂｌｅ ＰＲＯＭ、ＥＰＲＯＭ）、電気的にリムーバブルプログラム可能な読み取り専用メモリ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ、ＥＥＰＲＯＭ）またはフラッシュメモリであってもよい。揮発性メモリは、外部キャッシュとしてランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、ＲＡＭ）を使用してもよい。例として、限定的な説明ではないが、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ ＲＡＭ、ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ ＲＡＭ、ＤＲＡＭ）、同期ダイナミックランダムアクセスメモリ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ、ＳＤＲＡＭ）、ダブルコードストリーム同期ダイナミックランダムアクセスメモリ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ、ＤＤＲＳ ＤＲＡＭ）、拡張同期ダイナミックランダムアクセスメモリ（Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ、ＥＳＤＲＡＭ）、同期リンクダイナミックランダムアクセスメモリ（ｓｙｎｃｈ ｌｉｎｋ ＤＲＡＭ、ＳＬＤＲＡＭ）、およびダイレクトバスランダムアクセスメモリ（Ｄｉｒｅｃｔ Ｒａｍｂｕｓ ＲＡＭ、ＤＲ ＲＡＭ））との多くの形式のＲＡＭが利用可能である。

一実装形態では、該当電子機器７００は、本願の実施例に係るエンコーダまたは符号化フレームワークであってもよく、コンピュータ読み取り可能な記憶媒体７２０は、第１コンピュータ命令をを記憶する。記憶媒体７２０に記憶された第１コンピュータ命令は、プロセッサ７１０によってロード・実行されることにより、本願の実施例によって提供される符号化方法の対応するステップを実現することに用いられる。言い換えると、コンピュータ読み取り可能な記憶媒体７２０における第１コンピュータ命令は、プロセッサ７１０によって対応するステップがロード・実行される。繰り返しを避けるため、ここでは詳しく説明しない。

一実装形態では、該当電子機器７００は、本願の実施例に係るデコーダまたは復号化フレームワークであってもよく、コンピュータ読み取り可能な記憶媒体７２０は、第２コンピュータ命令を記憶する。記憶媒体７２０に記憶された第２コンピュータ命令は、プロセッサ７１０によってロードされ、実行されることにより、本願の実施例によって提供される復号化方法の対応するステップを実現することに用いられる。言い換えると、コンピュータ読み取り可能な記憶媒体７２０における第２コンピュータ命令は、プロセッサ７１０によって対応するステップがロード・実行される。繰り返しを避けるため、ここでは詳しく説明しない。

本願の別の態様によれば、本願の実施例は、上記記載に係るエンコーダとデコーダとを含む符号化・復号化システムも提供する。

本願の別の態様によれば、本願の実施例は、コンピュータ読み取り可能な記憶媒体（Ｍｅｍｏｒｙ）も提供する。コンピュータ読み取り可能な記憶媒体は、電子機器７００におけるメモリデバイスであり、プログラムおよびデータを記憶することに用いられる。例えば、コンピュータ読み取り可能な記憶媒体７２０である。ここで、コンピュータ読み取り可能な記憶媒体７２０は、電子機器７００に内蔵された記憶媒体を含み得るが、電子機器７００がサポートする拡張記憶媒体も含み得る。コンピュータ読み取り可能な記憶媒体は、電子機器７００のオペレーティングシステムを記憶する記憶空間を提供する。さらに、プロセッサ７１０によってロード・実行されることに適する１つ以上のコンピュータ命令も記憶空間に記憶される。これらのコンピュータ命令は、１つ以上のコンピュータプログラム７２１（プログラムコードを含む）であってもよい。

本願の別の態様によれば、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータ命令を含むコンピュータプログラム製品またはコンピュータプログラムが提供される。例えば、コンピュータプログラム７２１である。このとき、電子機器７００は、コンピュータであってもよい。プロセッサ７１０は、コンピュータ読み取り可能な記憶媒体７２０からコンピュータ命令を読み取る。これにより、コンピュータは、上記の選択的な態様に提供された符号化方法または復号化方法を実行する。

言い換えると、ソフトウェアにより実現される場合、その全体または一部がコンピュータプログラム製品の形で実現されてもよい。コンピュータプログラム製品には、１つまたは複数のコンピュータ命令が含まれている。コンピュータプログラム命令がコンピュータにロード・実行されると、本願の実施例の処理の全部または一部が実行され、または本願の実施例の機能が実現される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、または他のプログラム可能なデバイスであってもよい。コンピュータ命令は、あるコンピュータ読み取り可能な記憶媒体に記憶されたり、あるコンピュータ読み取り可能な記憶媒体から別のコンピュータ読み取り可能な記憶媒体に送信されたりすることがある。例えば、コンピュータ命令は、有線（同軸ケーブル、光ファイバー、デジタルユーザ線（ｄｉｇｉｔａｌ ｓｕｂｓｃｒｉｂｅｒ ｌｉｎｅ、ＤＳＬ）など）または無線（赤外線、無線、マイクロ波など）手段を介してウェブサイト、コンピュータ、サーバー、またはデータセンターから別のウェブサイト、コンピュータ、サーバー、またはデータセンターに送信することができる。

当業者は、本明細書に開示される実施例に関連して説明される各例のユニットおよびプロセスステップは、電子ハードウェア、またはコンピュータソフトウェアと電子ハードウェアの組み合わせによって実現されることを理解することができる。これらの機能がハードウェアで実行されるかソフトウェアで実行されるかは、特定のアプリケーションと技術ソリューションの設計制約条件次第である。当業者は、特定の用途ごとに異なる方法を使用して説明された機能を実現することができるが、そのような実現は本願の範囲を超えるものとみなされるべきではない。

なお、上記の内容は本願の特定の実施例にすぎず、本願の保護範囲はこれに限定されなく、当業者であれば、開示された技術的範囲内で容易に想到できる変更または置換は、本願の保護範囲に含まれるものとする。したがって、本願の保護範囲は請求の範囲の保護範囲に従うべきである。

Claims (34)

1. 復号化方法であって、
   コードストリームを復号化して、現在ブロックの第１変換係数を取得するステップと、
   前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得するステップと、
   前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得するステップと、
   予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、前記現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得するステップと、
   前記現在ブロックの予測ブロックと前記現在ブロックの残差ブロックに基づいて、前記現在ブロックの再構成ブロックを取得するステップと、を含む、
   ことを特徴とする復号化方法。
2. 前記予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む、
   ことを特徴とする請求項１に記載の方法。
3. 前記第２変換係数に対して第２変換を実行して前記現在ブロックの残差ブロックを取得するステップは、
   前記コードストリームを復号化して、第１識別子と第２識別子を取得するステップと、
   前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記第１変換係数に対して第１変換を実行して、前記第２変換係数を取得するステップと、を含む、
   ことを特徴とする請求項１または２に記載の方法。
4. 前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得するステップは、
   前記第１識別子が、予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記コードストリームを復号化して第３識別子を取得するステップと、
   前記第３識別子が、現在シーケンスにおける画像ブロックが予測モード導出モードと第１変換を同時に使用できることを許容することを識別することに用いられる場合、前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得するステップと、を含む、
   ことを特徴とする請求項３に記載の方法。
5. 前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得するステップは、
   前記第１識別子が、前記予測モード導出モードを使用して前記現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子が、前記第１変換を使用して前記現在シーケンスにおける画像ブロックを変換することを許容することを識別することに用いられる場合、前記現在ブロックの高さ及び／または幅が第１閾値以上であるとき、前記第１変換係数に対して第１変換を実行して、前記第２変換係数を取得するステップ、を含む、
   ことを特徴とする請求項３に記載の方法。
6. 前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得するステップの前に、前記方法は、
   前記第１変換が使用する変換行列群を決定するステップ、をさらに含む、
   ことを特徴とする請求項１～５のいずれかに記載の方法。
7. 前記第１変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである、
   ことを特徴とする請求項６に記載の方法。
8. 前記第１変換が使用する変換行列群を決定するステップは、
   前記第１イントラ予測モードと前記第２イントラ予測モードに基づいて、前記第３イントラ予測モードを決定するステップであって、前記第１変換が使用する変換行列群は、前記第３イントラ予測モードに適合する変換行列群と同じであるステップを含む、
   ことを特徴とする請求項６に記載の方法。
9. 前記第１イントラ予測モードおよび前記第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップは、
   前記第１イントラ予測モードと前記第２イントラ予測モードのうちのデフォルト予測モードを前記第３イントラ予測モードに決定するステップ、または、
   前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定するステップ、または、
   前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定するステップ、または、
   前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定するステップ、を含む、
   ことを特徴とする請求項８に記載の方法。
10. 前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定するステップは、
    前記第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定するステップを含む、
    ことを特徴とする請求項９に記載の方法。
11. 前記第１イントラ予測モードのタイプおよび前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定するステップは、
    前記第１イントラ予測モードおよび前記第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、前記角度予測モードを前記第３イントラ予測モードに決定するステップを含む、
    ことを特徴とする請求項９に記載の方法。
12. 前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定するステップは、
    前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、前記第１予測角度に対応するイントラ予測モードを前記第３イントラ予測モードに決定するステップであって、前記第１予測角度は、前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて決定されるステップと、
    前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が前記第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを前記第３イントラ予測モードに決定するステップと、を含む、
    ことを特徴とする請求項９に記載の方法。
13. 前記第１変換が使用する変換行列群を決定するステップは、
    前記予測モード導出モードに適合する変換行列群を、前記第１変換が使用する変換行列群に決定するステップを含む、
    ことを特徴とする請求項６に記載の方法。
14. 前記第１変換は、前記現在ブロックにおける斜め方向に沿ったテクスチャを処理することに用いられ、前記第２変換は、前記現在ブロックにおける水平方向および鉛直方向に沿うテクスチャを処理することに用いられる、
    ことを特徴とする請求項１～１３のいずれかに記載の方法。
15. 符号化方法であって、
    予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて現在ブロックに対して予測し、前記現在ブロックの予測ブロックを取得するステップと、
    前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得するステップと、
    前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得するステップと、
    前記第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得するステップと、
    前記第４変換係数に対して符号化するステップと、を含む、
    ことを特徴とする符号化方法。
16. 前記予測モード導出モードは、デコーダ側イントラモード導出モードまたはテンプレートベースのイントラモード導出モードを含む、
    ことを特徴とする請求項１５に記載の方法。
17. 前記第４変換係数に対して符号化するステップは、
    第１識別子、第２識別子、および第４変換係数に対して符号化するステップであって、前記第１識別子は、予測モード導出モードを使用して現在シーケンスにおける画像ブロックを予測することを許容することを識別することに用いられ、前記第２識別子は、第４変換を使用して現在シーケンスにおける画像ブロックを変換することを許容することを識別するステップを含む、
    ことを特徴とする請求項１５または１６に記載の方法。
18. 前記第１識別子、前記第２識別子、および前記第４変換係数に対して符号化するステップは、
    第１識別子、第２識別子、第４変換係数、および第３識別子を符号化するステップであって、前記第３識別子は、前記現在シーケンスにおける画像ブロックが前記予測モード導出モードと前記第４変換を同時に使用することを許容することを識別するステップを含む、
    ことを特徴とする請求項１７に記載の方法。
19. 前記第３変換係数に対して第４変換を実行して、前記現在ブロックの前記第４変換係数を取得するステップは、
    前記現在ブロックの高さ及び／または幅が第１閾値以上である場合、前記第３変換係数に対して前記第４変換を実行して、前記第４変換係数を取得するステップを含む、
    ことを特徴とする請求項１５～１８のいずれかに記載の方法。
20. 前記第３変換係数に対して第４変換を実行して、前記現在ブロックの前記第４変換係数を取得するステップの前に、前記方法は、
    前記第４変換が使用する変換行列群を決定するステップを更に含む、
    ことを特徴とする請求項１５～１９のいずれかに記載の方法。
21. 前記第４変換が使用する変換行列群は、プレーナモードまたは直流ＤＣモードに適合する変換行列群と同じである、
    ことを特徴とする請求項２０に記載の方法。
22. 前記第４変換が使用する変換行列群を決定するステップは、
    前記第１イントラ予測モードと前記第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップであって、前記第４変換が使用する変換行列群は、前記第３イントラ予測モードに適合する変換行列群と同じであるステップを含む、
    ことを特徴とする請求項２０に記載の方法。
23. 前記第１イントラ予測モードおよび前記第２イントラ予測モードに基づいて、第３イントラ予測モードを決定するステップは、
    前記第１イントラ予測モードと前記第２イントラ予測モードのうちのデフォルト予測モードを前記第３イントラ予測モードに決定するステップ、または、
    前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定するステップ、または、
    前記第１イントラ予測モードのタイプと前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定するステップ、または、
    前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定するステップ、を含む、
    ことを特徴とする請求項２２に記載の方法。
24. 前記第１イントラ予測モードの重み及び／または前記第２イントラ予測モードの重みに基づいて、前記第３イントラ予測モードを決定するステップは、
    前記第１イントラ予測モードと前記第２イントラ予測モードのうちの重みが最も大きいイントラ予測モードを前記第３イントラ予測モードに決定するステップを含む、
    ことを特徴とする請求項２３に記載の方法。
25. 前記第１イントラ予測モードのタイプおよび前記第２イントラ予測モードのタイプに基づいて、前記第３イントラ予測モードを決定するステップは、
    前記第１イントラ予測モードおよび前記第２イントラ予測モードが角度予測モードと非角度予測モードを含む場合、前記角度予測モードを前記第３イントラ予測モードに決定するステップを含む、
    ことを特徴とする請求項２３に記載の方法。
26. 前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度に基づいて、前記第３イントラ予測モードを決定するステップは、
    前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値以下である場合、前記第１予測角度に対応するイントラ予測モードを前記第３イントラ予測モードに決定するステップであって、前記第１予測角度は、第１イントラ予測モードの予測角度と第２イントラ予測モードの予測角度に基づいて決定されるステップと、
    前記第１イントラ予測モードの予測角度と前記第２イントラ予測モードの予測角度との差の絶対値が第２閾値より大きい場合、プレーナモードまたは直流ＤＣモードを前記第３イントラ予測モードに決定するステップと、を含む、
    ことを特徴とする請求項２３に記載の方法。
27. 前記第４変換が使用する変換行列群を決定するステップは、
    前記予測モード導出モードに適合する変換行列群を、前記第４変換が使用する変換行列群に決定するステップを含む、
    ことを特徴とする請求項２０に記載の方法。
28. 前記第４変換は、前記現在ブロックにおける斜め方向に沿ったテクスチャを処理することに用いられ、前記第３変換は、前記現在ブロックにおけるテクスチャを処理することに用いられる、
    ことを特徴とする請求項１５～２７のいずれかに記載の方法。
29. デコーダであって、
    コードストリームを復号化して現在ブロックの第１変換係数を取得することに用いられる復号化ユニットと、
    前記第１変換係数に対して第１変換を実行して、前記現在ブロックの第２変換係数を取得し、前記第２変換係数に対して第２変換を実行して、前記現在ブロックの残差ブロックを取得する変換ユニットと、
    予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、現在ブロックに対して予測して、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニットと、
    前記現在ブロックの予測ブロックと、前記現在ブロックの残差ブロックとに基づいて、前記現在ブロックの再構成ブロックを取得することに用いられる再構成ユニットと、を含む、
    ことを特徴とするデコーダ。
30. エンコーダであって、
    予測モード導出モードによって導出された第１イントラ予測モードと、第２イントラ予測モードとに基づいて、現在ブロックを予測し、前記現在ブロックの予測ブロックを取得することに用いられる予測ユニットと、
    前記現在ブロックの予測ブロックに基づいて、前記現在ブロックの残差ブロックを取得することに用いられる残差ユニットと、
    前記現在ブロックの残差ブロックに対して第３変換を実行して、前記現在ブロックの第３変換係数を取得し、
    前記第３変換係数に対して第４変換を実行して、前記現在ブロックの第４変換係数を取得することに用いられる変換ユニットと、
    前記第４変換係数に対して符号化することに用いられる符号化ユニットと、を含む、
    ことを特徴とするエンコーダ。
31. 電子機器であって、
    コンピュータプログラムを実行するように構成されるプロセッサと、
    コンピュータ読み取り可能な記憶媒体であって、コンピュータ読み取り可能な記憶媒体に記憶されたコンピュータプログラムがプロセッサによって実行されるとき、請求項１～１４のいずれかに記載の方法、または、請求項１５～２８のいずれかに記載の方法を実現する、
    ことを特徴とする電子機器。
32. コンピュータプログラムを記憶することに用いられるコンピュータ読み取り可能な記憶媒体であって、コンピュータプログラムがコンピュータに請求項１～１４のいずれか、または、請求項１５～２８のいずれかに記載の方法を実行させる、
    ことを特徴とするコンピュータ読み取り可能な記憶媒体。
33. コンピュータプログラム／命令を含むコンピュータプログラム製品であって、前記コンピュータプログラム／命令がプロセッサによって実行されるとき、請求項１～１４のいずれかに記載の方法、または、請求項１５～２８のいずれかに記載の方法を実現する、
    ことを特徴とするコンピュータプログラム製品。
34. 請求項１～１４のいずれかに記載の方法、または、請求項１５～２８のいずれかに記載の方法により生成されたものである、
    ことを特徴とするコードストリーム。

Images