JP7362903B2

JP7362903B2 - 画像データ転送装置、画像表示システム、および画像データ転送方法

Info

Publication number: JP7362903B2
Application number: JP2022512938A
Authority: JP
Inventors: 活志大塚
Original assignee: Sony Interactive Entertainment Inc
Current assignee: Sony Interactive Entertainment Inc
Priority date: 2020-03-30
Filing date: 2020-03-30
Publication date: 2023-10-17
Anticipated expiration: 2040-03-30
Also published as: JPWO2021199205A1; WO2021199205A1; US20230099405A1; US12387381B2

Description

この発明は、表示対象の動画像のデータを処理する画像データ転送装置、画像表示システム、および画像データ転送方法に関する。

近年の情報処理技術や画像表示技術の向上により、様々な形態で映像世界を体験することができるようになってきた。例えばヘッドマウントディスプレイにパノラマ映像を表示し、ユーザの視線に対応する画像を表示させることにより、映像世界への没入感を高めたり、ゲームなどのアプリケーションの操作性を向上させたりできる。また、潤沢なリソースを有するサーバからストリーミング転送された画像データを表示させることにより、ユーザは場所や規模によらず高精細な動画像やゲーム画面を楽しむことができる。

システム構成によらず、画像のデータを転送させ表示させる技術においては、通信による遅延時間が問題となり得る。例えばユーザ操作を表示画像に反映させる場合、転送元への操作内容の送信と、転送元からの画像データの送信といったデータの行き来が必要になり、看過できない遅延時間を生むことがある。ヘッドマウントディスプレイを表示先とする場合は、ユーザの頭部の動きに対し表示が遅れることにより、臨場感が損なわれたり映像酔いを引き起こしたりすることも考えられる。この問題は、高い画質を追求するほど顕在化しやすい。

本発明はこうした課題に鑑みてなされたものであり、その目的は、データ伝送を伴う画像表示において、画質と遅延時間の低減を両立させることのできる技術を提供することにある。

上記課題を解決するために、本発明のある態様は画像データ転送装置に関する。この画像データ転送装置は、表示対象の動画像を描画する画像生成部と、動画像を構成するフレームの平面に対し画質低下の許容度を圧縮単位ごとに設定したレート制御マップを参照し、それに対応する目標値を設定してデータサイズを制御しながら動画像のデータを圧縮符号化する圧縮符号化部と、圧縮符号化された動画像のデータをストリーミング転送する通信部と、を備えたことを特徴とする。

本発明の別の態様は画像表示システムに関する。この画像表示システムは、画像生成部が、フレームの平面において解像度を異ならせて画像を描画する上記描画画像データ転送装置と、画像データ転送装置がストリーミング転送した動画像のデータを取得し表示させる画像処理装置と、を含み、画像処理装置は、画像生成部がフレームの描画において採用した、フレームの平面における解像度の分布を表すマップを、当該フレームのデータとともに取得する画像データ取得部と、フレームのデータを復号伸張したうえ、マップに基づき、一律な解像度のデータに変換する復号伸張部と、を備えたことを特徴とする。

本発明のさらに別の態様も画像表示システムに関する。この画像表示システムは、画像生成部が、画像の内容に応じて、複数の画素のまとまりに対し画素値を計算する領域を設ける上記画像データ転送装置と、画像データ転送装置がストリーミング転送した動画像のデータを取得し表示させる画像処理装置と、を含み、画像処理装置は、画像生成部がフレームの描画において採用した画素マップを、当該フレームのデータとともに取得する画像データ取得部と、フレームのデータを復号伸張したうえ、画素マップに基づき、一律な解像度のデータに変換する復号伸張部と、を備えたことを特徴とする。

本発明のさらに別の態様も画像表示システムに関する。この画像表示システムは、通信部が、フレームの平面を所定規則で分割してなり、複数の圧縮単位で構成される部分画像ごとに、圧縮符号化後のデータを転送し、圧縮符号化部が、画質低下の許容度に応じて、部分画像での圧縮単位の圧縮符号化順を決定する上記画像データ転送装置と、画像データ転送装置がストリーミング転送した動画像のデータを取得し表示させる画像処理装置と、を含み、画像処理装置は、圧縮符号化部が採用した、圧縮単位の圧縮符号化順表す処理順マップを、部分画像のデータとともに取得する画像データ取得部と、部分画像のデータを圧縮単位ごとに復号伸張したうえ、本来の画像上の順序に戻す復号伸張部と、を備えたことを特徴とする。

本発明のさらに別の態様は画像データ転送方法に関する。この画像データ転送方法は、表示対象の動画像を描画するステップと、動画像を構成するフレームの平面に対し画質低下の許容度を圧縮単位ごとに設定したレート制御マップを参照し、それに対応する目標値を設定してデータサイズを制御しながら動画像のデータを圧縮符号化するステップと、圧縮符号化された動画像のデータをストリーミング転送するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、データ伝送を伴う画像表示において、画質と遅延時間の低減を両立させることができる。

本実施の形態における画像処理システムの構成例を示す図である。本実施の形態のヘッドマウントディスプレイの外観例を示す図である。本実施の形態におけるサーバと画像処理装置の基本的な構成を示す図である。本実施の形態における、画像の描画から表示までの処理の様子を概念的に示す図である。本実施の形態におけるレート制御マップの一例を示す図である。本実施の形態のサーバおよび画像処理装置の機能ブロックを示す図である。本実施の形態においてフィードバック制御機能を有する圧縮符号化処理部の機能ブロックを示す図である。本実施の形態においてレート制御マップを用いてフィードバック制御を行う効果を説明するための図である。本実施の形態においてレート制御マップの生成に利用できる、画像生成部の処理内容について説明するための図である。本実施の形態において画素の面積を変化させることによる画像上の変化を概念的に示す図である。本実施の形態における、エリアによって解像度が異なる画像の、表示までのデータ変換の流れを例示する図である。本実施の形態における、エリアによって解像度が異なる画像の、表示までのデータ変換の流れの別の例を示す図である。本実施の形態においてレート制御マップの生成に利用できる、画像生成部の処理内容の別の例を説明するための図である。本実施の形態において、ユーザの注視点に基づきレート制御マップを生成する原理を説明するための図である。本実施の形態において、画像の内容やユーザの注視点に基づきレート制御マップを補正した場合の効果を説明するための図である。本実施の形態において、部分画像内で圧縮符号化の処理順を可変とした場合の累積データサイズの変化を例示する図である。本実施の形態において、部分画像内で圧縮符号化処理の順序を可変とする場合の処理順の設定例を模式的に示す図である。本実施の形態のサーバおよび画像処理装置の機能ブロックの別の例を示す図である。

第１実施形態
図１は、本実施の形態における画像処理システムの構成例を示す。画像表示システム１は、画像処理装置２００、ヘッドマウントディスプレイ１００、平板型ディスプレイ３０２、およびサーバ４００を含む。画像処理装置２００は、ヘッドマウントディスプレイ１００および平板型ディスプレイ３０２と、無線通信またはＵＳＢＴｙｐｅ－Ｃ、ＨＤＭＩ（登録商標）などのインターフェース３００により接続される。画像処理装置２００はさらに、インターネットやＬＡＮ（Local Area Network）などのネットワーク３０６を介してサーバ４００に接続される。

サーバ４００は、画像データ転送装置として、表示対象の画像の少なくとも一部を生成して画像処理装置２００に送信する。ここでサーバ４００は、クラウドゲームなど各種配信サービスを提供する企業などのサーバでもよいし、任意の端末にデータを送信する家庭内サーバなどでもよい。したがってネットワーク３０６は、インターネットなどの公衆ネットワークやＬＡＮ（Local Area Network）など、その規模は限定されない。例えばネットワーク３０６は携帯電話キャリアネットワークや、街中にあるＷｉ－Ｆｉスポット、家庭にあるＷｉ－Ｆｉアクセスポイントを経由したものでもよい。あるいは画像処理装置２００とサーバ４００は、ビデオインターフェースにより直接接続されてもよい。

画像処理装置２００は、サーバ４００から送信された画像のデータに必要な処理を施し、ヘッドマウントディスプレイ１００および平板型ディスプレイ３０２の少なくともいずれかに出力する。例えばサーバ４００は、各自ヘッドマウントディスプレイ１００を装着した複数のユーザの頭部の動きやユーザ操作を、各ヘッドマウントディスプレイ１００に接続された複数の画像処理装置２００から受信する。そして、ユーザ操作に応じて変化させた仮想世界を、各ユーザの頭部の動きに対応する視野で描画したうえ、それぞれの画像処理装置２００に送信する。

画像処理装置２００は送信された画像のデータを、必要に応じて、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に適した形式に変換したうえ、適切なタイミングでヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に出力する。このような処理を、動画像のフレームごとに繰り返せば、複数のユーザが参加するクラウドゲームシステムを実現できる。この際、画像処理装置２００は、サーバ４００から送信された画像に、別途準備したＵＩ（User Interface）プレーン画像（あるいはＯＳＤ（On Screen Display)プレーン画像とも呼ぶ)や、ヘッドマウントディスプレイ１００が備えるカメラによる撮影画像を合成してから、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に出力してもよい。

画像処理装置２００はまた、サーバ４００から送信された画像を、ヘッドマウントディスプレイ１００の表示直前の位置や姿勢に基づき補正することにより、頭部の動きに対する表示の追随性を高めてもよい。画像処理装置２００は、平板型ディスプレイ３０２にも同様の視野で画像を表示させることにより、ヘッドマウントディスプレイ１００を装着しているユーザがどのような画像を見ているかを、その他の人が見られるようにしてもよい。

ただし本実施の形態において表示対象とする動画像の内容や、その表示先は特に限定されない。例えばサーバ４００は、図示しないカメラによって撮影された画像を表示対象とし、画像処理装置２００にライブ配信してもよい。このときサーバ４００は、スポーツ競技やコンサートなどのイベント会場を複数のカメラで撮影した多視点画像を取得し、それを用いてヘッドマウントディスプレイ１００の動きに応じた視野での画像を作り出すことにより、自由視点のライブ映像を生成し、各画像処理装置２００に配信してもよい。

また本実施の形態を適用できるシステムの構成は図示するものに限定されない。例えば画像処理装置２００に接続する表示装置はヘッドマウントディスプレイ１００と平板型ディスプレイ３０２のどちらか一方でもよいし、複数のヘッドマウントディスプレイ１００であってもよい。また画像処理装置２００はヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に内蔵されていてもよい。例えば平板型のディスプレイと画像処理装置を、それらを一体的に備えたパーソナルコンピュータや携帯端末（ポータブルゲーム機、高機能携帯電話、タブレット端末）としてもよい。

これらの装置にさらにヘッドマウントディスプレイ１００および平板型ディスプレイ３０２の少なくともいずれかを必要に応じて接続できるようにしてもよい。画像処理装置２００やこれらの端末に、図示しない入力装置を内蔵もしくは接続してもよい。またサーバ４００に接続される画像処理装置２００の数も限定されない。さらにサーバ４００は、各自の平板型ディスプレイ３０２を視聴している複数のユーザの操作内容を、各平板型ディスプレイ３０２に接続された複数の画像処理装置２００から受信し、それに対応する画像を生成したうえ、それぞれの画像処理装置２００に送信してもよい。

さらに本実施の形態はサーバ４００と画像処理装置２００の組み合わせに限らず、画像データを転送する装置と、それを受信して表示パネルに出力する装置であれば適用できる。例えば前者をゲーム装置や画像処理装置などとし、後者を表示パネルと一体的に設けた表示装置として、ユーザのいるローカルな環境に双方を置いてもよい。あるいは全ての装置を一体的に備えた端末や表示装置などとしてもよい。この場合、画像のデータは装置内部で構築されたバスなどを伝送することになる。このように本実施の形態において、画像データの伝送経路は限定されない。

図２は、ヘッドマウントディスプレイ１００の外観例を示す。この例においてヘッドマウントディスプレイ１００は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。出力機構部１０２は、ヘッドマウントディスプレイ１００をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。

筐体１０８内部にはさらに、ヘッドマウントディスプレイ１００の装着時に表示パネルとユーザの目との間に位置し、画像を拡大して見せる接眼レンズを備える。またヘッドマウントディスプレイ１００はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

ヘッドマウントディスプレイ１００はさらに、筐体１０８の前面にステレオカメラ１１０、中央に広視野角の単眼カメラ１１１、左上、右上、左下、右下の四隅に広視野角の４つのカメラ１１２を備え、ユーザの顔の向きに対応する方向の実空間を動画撮影する。ある態様においてヘッドマウントディスプレイ１００は、ステレオカメラ１１０が撮影した動画像を即時表示させることにより、ユーザが向いた方向の実空間の様子をそのまま見せるシースルーモードを提供する。

またステレオカメラ１１０、単眼カメラ１１１、４つのカメラ１１２による撮影画像の少なくともいずれかを、表示画像の生成に利用してもよい。例えばＳＬＡＭ（Simultaneous Localization and Mapping）により周囲の空間に対するヘッドマウントディスプレイ１００、ひいてはユーザの頭部の位置や姿勢を所定のレートで取得し、サーバ４００において生成する画像の視野を決定したり、画像処理装置２００において当該画像を補正したりしてもよい。あるいは画像処理装置２００において、サーバ４００から送信された画像に撮影画像を合成し表示画像としてもよい。

またヘッドマウントディスプレイ１００は、内部に加速度センサ、ジャイロセンサ、地磁気センサなど、ヘッドマウントディスプレイ１００の位置、姿勢、動きを導出するためのモーションセンサのいずれかを備えてよい。この場合、画像処理装置２００は、当該モーションセンサの計測値に基づき、ユーザ頭部の位置や姿勢の情報を所定のレートで取得する。この情報は、サーバ４００において生成する画像の視野を決定したり、画像処理装置２００において当該画像を補正したりするのに用いることができる。

図３は、本実施の形態におけるサーバ４００と画像処理装置２００の基本的な構成を示している。本実施の形態におけるサーバ４００および画像処理装置２００は、表示画像の１フレームより小さい部分画像を記憶するローカルメモリを要所に備える。そしてサーバ４００における画像データの圧縮符号化および送信、画像処理装置２００におけるデータの受信、復号伸張、各種画像処理、表示装置への出力を、当該部分画像の単位でパイプライン処理する。これにより、サーバ４００での画像の描画から、画像処理装置２００に接続された表示装置への表示までの遅延時間を軽減させる。

サーバ４００において、描画制御部４０２はＣＰＵ（Central Processing Unit）で実現され、画像描画部４０４における画像の描画を制御する。上述のとおり本実施の形態において表示させる画像の内容は特に限定されないが、描画制御部４０２は例えば、クラウドゲームを進捗させ、その結果を表す動画像のフレームを画像描画部４０４に描画させる。この際、描画制御部４０２は、画像処理装置２００からユーザの頭部の位置や姿勢に係る情報を取得し、それに対応する視野で各フレームを描画するように制御してもよい。

画像描画部４０４はＧＰＵ（Graphics Processing Unit）で実現され、描画制御部４０２の制御のもと、所定または可変のレートで動画像のフレームを描画し、その結果をフレームバッファ４０６に格納する。フレームバッファ４０６はＲＡＭ（Random Access Memory）によって実現される。ビデオエンコーダ４０８は、描画制御部４０２の制御のもと、フレームバッファ４０６に格納された画像のデータを、１フレームより小さい部分画像の単位で圧縮符号化する。部分画像は、フレームの画像平面を例えば横方向、縦方向、縦横双方向、または斜め方向に設定した境界線で分割してなる、各領域の画像である。

ビデオエンコーダ４０８はこの際、圧縮符号化に必要な画像が画像描画部４０４により描画され次第、サーバの垂直同期信号を待たずに、当該フレームの圧縮符号化を開始してよい。フレームの描画や圧縮符号化など各種処理を、垂直同期信号を基準として同期させる従来技術によれば、画像の描画から表示までの各処理に与える時間をフレーム単位で揃えることにより、フレーム順の管理が容易である。しかしながらこの場合、フレームの内容によって描画処理が早く終了しても、圧縮符号化処理を次の垂直同期信号まで待機する必要がある。本実施の形態では後に述べるように、部分画像単位でその生成時刻を管理することにより、無駄な待機時間が生じないようにする。

ビデオエンコーダ４０８が圧縮符号化に用いる符号化方式は、Ｈ．２６４／ＡＶＣやＨ．２６５／ＨＥＶＣなど一般的なものでよい。ビデオエンコーダ４０８は、圧縮符号化した画像のデータを部分画像記憶部４１０に格納する。部分画像記憶部４１０はＳＲＡＭ(Static Random Access Memory)などで実現されるローカルメモリであり、１フレームより小さい部分画像のデータサイズに対応する記憶領域を有する。以後に述べる「部分画像記憶部」も同様である。ビデオストリーム制御部４１４は、圧縮符号化された部分画像のデータが部分画像記憶部４１０に格納される都度、当該データを読み出し、オーディオデータや制御情報などを必要に応じて含めたうえでパケット化する。

制御部４１２は、部分画像記憶部４１０に対するビデオエンコーダ４０８のデータ書き込み状況や、ビデオストリーム制御部４１４のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。例えば制御部４１２は、部分画像記憶部４１０にデータ欠乏、すなわちバッファアンダーランや、データ溢れ、すなわちバッファオーバーランが起きないように制御する。

入出力インターフェース４１６は画像処理装置２００と通信を確立し、ビデオストリーム制御部４１４がパケット化したデータを、ネットワーク３０６を介して順次送信する。入出力インターフェース４１６は画像データのほか、オーディオデータなども適宜送信してよい。入出力インターフェース４１６はさらに、ユーザ操作やユーザの頭部の位置や姿勢に係る情報、ユーザの注視点に係る情報などを画像処理装置２００から取得し、描画制御部４０２やビデオエンコーダ４０８などに供給してもよい。

画像処理装置２００において入出力インターフェース２０２は、サーバ４００から送信された画像やオーディオのデータを順次取得する。入出力インターフェース２０２はさらに、ユーザ操作やユーザの頭部の位置や姿勢に係る情報、ユーザの注視点に係る情報などをヘッドマウントディスプレイ１００や図示しない入力装置などから適宜取得し、サーバ４００に送信してもよい。入出力インターフェース２０２は、サーバ４００から取得したパケットを復号のうえ、取り出した画像のデータを部分画像記憶部２０４に格納する。

部分画像記憶部２０４は入出力インターフェース２０２とビデオデコーダ２０８の間に設けたローカルメモリである。制御部２０６は、部分画像記憶部２０４に対する入出力インターフェース２０２のデータ書き込み状況や、ビデオデコーダ２０８のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。ビデオデコーダ２０８は、部分画像のデータが部分画像記憶部２０４に格納される都度、当該データを読み出し、符号化方式に応じた手順で復号伸張したうえ、部分画像記憶部２１０に順次格納する。

部分画像記憶部２１０はビデオデコーダ２０８と画像処理部２１４の間に設けたローカルメモリである。制御部２１２は、部分画像記憶部２１０に対するビデオデコーダ２０８のデータ書き込み状況や、画像処理部２１４のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。画像処理部２１４は、復号伸張された部分画像のデータが部分画像記憶部２１０に格納される都度、当該データを読み出し、表示に必要な処理を施す。例えばヘッドマウントディスプレイ１００において、接眼レンズを介して見たときに歪みのない画像を視認させるために、接眼レンズによる歪みと逆の歪みを与える補正処理を実施する。

あるいは画像処理部２１４は、別途準備したＵＩプレーン画像を参照し、サーバ４００から送信された画像に合成（スーパーインポーズ）してもよい。また画像処理部２１４は、ヘッドマウントディスプレイ１００が備えるカメラによる撮影画像を、サーバ４００から送信された画像に合成してもよい。画像処理部２１４はまた、処理の時点におけるユーザの頭部の位置や姿勢に対応する視野となるように、サーバ４００から送信された画像を補正してもよい。画像処理部２１４はまた、超解像処理など平板型ディスプレイ３０２へ出力するのに適した画像処理を行ってもよい。

いずれにしろ画像処理部２１４は、部分画像記憶部２１０に格納された部分画像の単位で処理を施し、部分画像記憶部２１６に順次格納していく。部分画像記憶部２１６は画像処理部２１４とディスプレイコントローラ２２０の間に設けたローカルメモリである。制御部２１８は、部分画像記憶部２１６に対する画像処理部２１４のデータ書き込み状況や、ディスプレイコントローラ２２０のデータを読み出し状況などを常に監視し、両者の動作を適切に制御する。

ディスプレイコントローラ２２０は、画像処理後の部分画像のデータが部分画像記憶部２１６に格納される都度、当該データを読み出し、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２に適切なタイミングで出力する。具体的には、それらのディスプレイの垂直同期信号に合致するタイミングで、各フレームの最上段の部分画像のデータを出力し、その後、下方に向けて部分画像のデータを順次出力していく。

次に、画像の描画から表示までにサーバ４００および画像処理装置２００において実現される、部分画像のパイプライン処理について説明する。図４は、本実施の形態における、画像の描画から表示までの処理の様子を概念的に示している。上述のとおりサーバ４００は、動画像のフレーム９０を所定または可変のレートで生成する。図示する例でフレーム９０は、左右に二等分した領域に左目用、右目用の画像をそれぞれ表した構成を有するが、サーバ４００で生成する画像の構成をこれに限る趣旨ではない。

サーバ４００は上述のとおり、フレーム９０を部分画像ごとに圧縮符号化する。図では画像平面を水平方向に５分割し、部分画像９２ａ、９２ｂ、９２ｃ、９２ｄ、９２ｅとしている。これにより、部分画像はこの順で次々に圧縮符号化され、矢印に示すように画像処理装置２００へ伝送され表示される。すなわち最上段の部分画像９２ａに対し、圧縮符号化、送信、復号伸張、表示パネル９４への出力といった処理が施されている間に、その下の部分画像９２ｂ、さらに下の部分画像９２ｃ、というように順次部分画像が伝送され表示される。これにより、画像の描画から表示までに必要な各種処理を並列に実施でき、転送時間が介在しても最低限の遅延で表示を進捗させることができる。

これまで述べた構成において、サーバ４００から画像処理装置２００へ、低遅延で安定的にデータを送信するには、送信対象のデータのサイズを極力小さくすることが望ましい。一方で、表示世界への臨場感や没入感など高いレベルでのユーザ体験を提供するには、解像度やフレームレートをある程度維持するため、圧縮率を上げないようにすることが望ましく、ジレンマが生じる。

特にサーバ４００や画像処理装置２００のほか、図示しない携帯端末やヘッドマウントディスプレイ１００に内蔵されているシステムなどから、ヘッドマウントディスプレイ１００の表示パネルに動画データを伝送する態様においては、表示画像の高解像度化、高フレームレート化、高ビット深度化が要求される。そのため必要な転送帯域幅を抑制するには、画像データの圧縮符号化が必要となる。転送経路が有線か無線かに関わらず、単位時間あたりに転送可能なデータサイズ（ビットレート）は用いるテクノロジによって決まっているため、圧縮後のデータサイズをこの範囲に収める必要がある。

一方、動画像を構成する各フレームの圧縮率は、その画像の内容に依存して変動する。一般に、圧縮しようとする画像が、動きが激しい、高精細、高周波数成分が多い、などの特徴を持つと圧縮率が低下する。そのため、単位時間あたりに伝送すべき圧縮後データのサイズを所定値以下に抑制する目的で、圧縮符号化処理においてレート制御を行うことがある。一般にレート制御には、フィードバック制御とフィードフォワード制御がある。

フィードバック制御では、許容ビットレートを規定する単位時間より小さな粒度（以後、「圧縮単位」と呼ぶ）で画像圧縮（エンコード処理）した結果、実際に生成された圧縮後のデータのサイズを目標値と比較し、その差分が小さくなるようにパラメータを調整して次の圧縮単位を圧縮する、という処理を繰り返す。ここで調整対象のパラメータは、例えば量子化パラメータ（ＱＰ）、ビット深度、画像の解像度などである。この方式では、目標値との差分が大きいとき、パラメータの調整幅が大きくなり、ひいては圧縮単位ごとに画質が大きく揺れる恐れがある。

さらにフィードバック制御では、圧縮率が低い（圧縮してもデータサイズを下げにくい）画像の圧縮単位が続き、単位時間あたりのビットレートの上限を上回りかねない状態になると、単位時間の終盤において画質を犠牲にして圧縮率を上げる制御がなされる。逆に単位時間の序盤で圧縮率が高い画像の圧縮単位が続くと、終盤のみ画質がよい状態に振れることもあり得る。いずれにしろ単位時間の終盤にかけてデータサイズのつじつま合わせが集中し、フレーム全体での画質バランスが均一にならない場合がある。

フィードフォワード制御では、あらかじめ対象フレームの仮圧縮を行い、圧縮率を事前に見積もることにより、本圧縮処理のパラメータを計画的に調整することで、単位時間あたりのデータサイズを調整する、いわゆるマルチパスエンコードがなされる。この方式の場合、仮圧縮処理が完了するまで本圧縮処理を開始できないため、圧縮符号化処理が完了するまでの時間が長くなる。その結果、表示までの遅延時間が増加し、例えば仮想現実や拡張現実などリアルタイム・アプリケーションへの適用が難しい。

そこで本実施の形態では、動画像を構成するフレームの平面に対し、圧縮率を上げてもよい、すなわちある程度の画質の低下を許容する領域を示すレート制御マップを事前に準備し、必要に応じて当該マップに従い圧縮率が調整されるようにする。図５は、レート制御マップの一例を示している。この例は、ヘッドマウントディスプレイ１００を表示先とし、左目用、右目用の画像を圧縮符号化するためのレート制御マップ６を示している。

すなわちレート制御マップ６は、左目用の領域８ａと右目用の領域８ｂで構成される。また左目用、右目用の画像からなる１フレームの平面を、縦方向に３２分割、横方向に１６分割してなる圧縮単位ごとに、画質低下を許容する度合い（以後、「画質低下の許容度」と呼ぶ）を、０から１０までの整数で設定している。すなわち数値が大きい圧縮単位ほど、圧縮率を上げることによる画質低下の許容度が大きいとしている。

ヘッドマウントディスプレイ１００の場合、接眼レンズの光軸に近いほど画像が拡大され、ユーザにより詳細に視認される傾向となる。したがってこの例では、左目用の領域８ａと右目用の領域８ｂのそれぞれにおいて、光軸近傍である中央付近で、画質低下の許容度を「０」とし、周縁へ近づくほど許容度を大きくしている。この場合の許容度の変化は、例えば接眼レンズの収差など光学パラメータに基づき決定する。またそれぞれの領域における最外周近傍は接眼レンズの視野外にあるため、許容度を最大値の「１０」としている。

ただしレート制御マップ６の形式は図示するものに限らない。例えば画質低下の許容度を表す数値は、許容する／許容しないを表す２値でもよいし、それ以外の任意数の段階を設けてもよい。またレート制御マップ６において画質低下の許容度を設定する圧縮単位は好適には、圧縮符号化を行う最小単位（例えばマクロブロック）や、その整数倍の面積の領域とする。なお表示先はヘッドマウントディスプレイ１００に限らない。したがってレート制御マップ６の構成は、図示するように２つの領域を設けるのに限らず、表示パネルの構造に応じて適宜変化させてよい。

いずれにしろ、接眼レンズの光学パラメータを利用する場合や、ユーザが注視する可能性が高い箇所を画像中心などに限定できる場合は、レート制御マップ６をあらかじめ生成しておくことができる。ただし画像生成時の状況、画像の内容、ユーザの注視点などに基づき、レート制御マップ６を動的なデータとしてもよい。

また本実施の形態では、レート制御マップ６を用いたデータサイズの調整を、必要に応じて実施する。例えば通常の圧縮符号化処理によっても、圧縮後のデータサイズが小さく抑えられ、ビットレートの上限を上回るようなことがない画像については、レート制御マップ６を用いた調整を行わないようにする。フィードバック制御において目標値からの大きな乖離がない画像についても通常通りの処理としてよい。このようにレート制御マップ６を用いた調整を必要に応じて行うことで、無駄に画質を低下させたり処理の負荷を上げたりするのを回避できる。

従来技術では、画質を重視する領域を示す静的マップや、動的ＲＯＩ（Region of Interest）指定により、視野中心領域では画質を重視する圧縮処理を指定する方法があるが、対象画像の内容に依存して変動する圧縮後データ量の生成経過に基づいて、動的に調整パラメータを変えることはできない。よって、画質抑制が不要な場合も実行されるなどの課題がある。すなわち画質を重視する領域が指定されていると、レート制御の過去推移や現状に連携せず、指定に基づき画一的な処理がなされる場合がある。

本実施の形態においては、レート制御マップ６を用いたフィードバック制御のオン／オフを切り替えるのではなく、常にオンにしたまま圧縮処理を実行してよい。本実施の形態では、直前までの累計データサイズが目標値未満であったり、画質を重視する領域で量子化パラメータが通常のままでも十分な画質とデータ量で圧縮できたりする場合、レート制御マップ６における画質を重視する領域においても、レート制御が有効に機能することで、不要な量子化パラメータの引き下げなどはなされない。レート制御マップ６は、レート制御に対するガイダンス・ヒントであり、固定された量子化パラメータ値の指定ではないからである。

図６は、本実施の形態のサーバ４００および画像処理装置２００の機能ブロックを示している。同図および後述する図１８に示す各機能ブロックは、ハードウェア的にはＣＰＵ、ＧＰＵ、エンコーダ、デコーダ、演算器、各種メモリなどで実現でき、ソフトウェア的には、記録媒体からメモリにロードした、情報処理機能、画像描画機能、データ入出力機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。後述する機能ブロックも同様である。

サーバ４００は、画像生成部４２０、圧縮符号化部４２２、パケット化部４２４、および通信部４２６を備える。画像生成部４２０は図３の描画制御部４０２、画像描画部４０４、フレームバッファ４０６で構成され、ゲーム画像など画像処理装置２００に送信すべき動画像のフレームを、所定または可変のレートで生成する。あるいは画像生成部４２０は、図示しないカメラや記憶装置などから動画像のデータを取得してもよい。この場合、画像生成部４２０は、画像取得部と読み替えることができる。以後の説明でも同様である。

圧縮符号化部４２２は、図３のビデオエンコーダ４０８、部分画像記憶部４１０、制御部４１２で構成され、画像生成部４２０が生成した画像のデータを、部分画像ごとに圧縮符号化する。ここで圧縮符号化部４２２は、１行、２行など所定数の行の領域や、１６×１６画素、６４×６４画素など所定サイズの矩形領域を圧縮単位として動き補償や符号化を行う。したがって圧縮符号化部４２２は、圧縮符号化に必要な最小単位の領域のデータが画像生成部４２０により生成されたら、圧縮符号化を開始してよい。

なお圧縮符号化や送信におけるパイプライン処理の単位である部分画像は、当該最小単位の領域と同じでもよいしそれより大きな領域としてもよい。詳細には圧縮符号化部４２２は、レート制御マップ記憶部４３０、状況取得部４３２、マップ生成部４３４、および圧縮符号化処理部４３６を備える。レート制御マップ記憶部４３０は、図５で例示したように、画質低下の許容度を圧縮単位ごとに表したレート制御マップを格納する。画像処理装置２００が画像を表示させる表示装置によって適切なレート制御マップが異なる場合、レート制御マップ記憶部４３０は、表示装置の型格などに対応づけてレート制御マップを格納する。

状況取得部４３２は、画質低下の許容度の分布に影響を与え得る、様々な状況に係る情報を取得する。状況取得部４３２は例えば、画像生成部４２０が動画像を生成する際に生成、あるいは用いた情報を取得する。例えば画像生成部４２０が、視野中心から周縁へ向かうにつれ画像の解像度を下げる制御を行う場合、フレームの平面に対し解像度の分布を表した解像度マップが取得されている。この場合、状況取得部４３２は、当該解像度マップを取得する。

あるいは画像生成部４２０が、視野の端、オブジェクトの動きが小さい領域、緻密度が低い領域などについて、画素値の計算（ピクセルシェーディング）を近傍の複数画素でまとめて行う場合、当該画素のまとまりをフレームの平面に表した画素マップが取得される。この場合、状況取得部４３２は、当該画素マップを取得する。または画像生成部４２０が、表示された画像に対するユーザの注視点からの距離に応じて解像度を変化させるフォービエイテッド・レンダリング（Foveated Rendering)を行う場合、状況取得部４３２は、当該解像度の分布を取得する。

あるいは状況取得部４３２は、表示された画像に対するユーザの注視点に係る情報を画像処理装置２００から取得してもよい。状況取得部４３２は、例えば動画像の転送処理開始時、部分画像ごと、フレームごと、シーンごとなど、情報の種類に応じた適切な頻度で状況情報を取得する。

マップ生成部４３４は、状況取得部４３２が取得した情報に基づき、レート制御マップを生成する。定性的には、画像の解像度が低いほど、また注視点から離れているほど、レート制御マップにおける画質低下の許容度を大きくする。このような基準によれば、それぞれの状況情報から個別にレート制御マップを生成できるため、マップ生成部４３４は、状況取得部４３２が取得したいずれかの状況情報に基づき、１つのレート制御マップを生成してもよい。

あるいはマップ生成部４３４は、複数の状況情報を組み合わせて１つのレート制御マップを生成してもよい。例えばマップ生成部４３４は、解像度マップおよび画素マップの少なくともいずれかを用いてレート制御マップを作成したうえ、フォービエイテッド・レンダリングによる解像度の分布やユーザの注視点からの距離に応じて計算したオフセット値を、当該レート制御マップに設定した各許容度に加算することで、最終的なレート制御マップとしてもよい。

あるいはマップ生成部４３４は、レート制御マップ記憶部４３０にあらかじめ格納されたレート制御マップを読み出し、それを状況取得部４３２が取得した情報に基づき補正することにより、最終的なレート制御マップとしてもよい。この場合も、状況取得部４３２が取得した各種情報の少なくともいずれかから許容度のオフセット値を計算し、元のレート制御マップに設定された各許容度に加算すればよい。

ただし許容度の計算式は各観点から得られた許容度を単純に加算するのに限らず、各観点に対し設定された重みづけを行ったうえでの線形結合などでもよい。多次元のパラメータから何らかの評価値を算出する手法にはそのほか様々なものがあり、本実施の形態ではそのいずれを採用してもよい。

圧縮符号化処理部４３６は上述のとおり、画像生成部４２０が生成した動画像のデータを圧縮符号化する。この際、圧縮符号化処理部４３６は基本的には、フィードバック制御による一般的な手法で、圧縮符号化後のデータサイズの単位時間あたりの累積値が目標値に近づくように、圧縮率を調整しながら圧縮単位の圧縮符号化を進める。ここでデータサイズの累積値が目標値を上回り、その差が所定のしきい値以上となるなど、データサイズを大きく下げるべき所定の条件を満たしたとき、圧縮符号化処理部４３６はレート制御マップを参照し、画像上の適切な領域で圧縮率を上げるように調整する。

この際、圧縮符号化処理部４３６は、レート制御マップ記憶部４３０に格納された静的なレート制御マップを参照してもよいし、マップ生成部４３４が生成または補正した動的なレート制御マップを参照してもよい。そして圧縮符号化処理部４３６は、レート制御マップに従い圧縮単位ごとにデータサイズの目標値を設定し直したうえで、フィードバック制御を行う。これにより画質の低下が許容される領域においてデータサイズの目標値を下げ、結果として当該領域の圧縮率が上がる方向に制御される。

このように画質低下の許容度が大きい領域の圧縮率を優先して上げることにより、画質を維持したい領域への影響を抑えつつ、全体としてのデータサイズを下げることができる。なお圧縮符号化処理部４３６は、一旦、画像の仮圧縮処理を実施して、その結果をレート制御マップに反映させてもよい。すなわち仮のパラメータを用いて圧縮符号化し、そのデータサイズを取得することで、圧縮単位ごとの圧縮のしやすさを見積もる。

圧縮によりデータサイズが低下しにくい圧縮単位については、レート制御マップにおいて画質低下の許容度を低く設定することで、不当な圧縮により画像が大きく劣化してしまうのを防止できる。この場合、圧縮符号化処理部４３６は、仮圧縮処理の結果に基づき生成または補正したレート制御マップを用いて、圧縮符号化処理の本番を実施する。

また圧縮符号化処理部４３６は、部分画像の端から順に、圧縮単位での圧縮符号化を繰り返すのに限らず、画質低下の許容度が小さい、ひいては重要な部分から順に、圧縮符号化を進捗させてもよい。ここで圧縮符号化処理部４３６は、処理順を決定するのにレート制御マップを利用してよい。重要な部分を時間的に優先して圧縮符号化することにより、上述のように単位時間の終盤において、データサイズの累積値がビットレートの上限に達しそうな状況におけるつじつま合わせに、当該重要な部分が使われるのを回避できる。

これにより、部分画像のその他の領域の画像がどのようなものであっても、重要な部分の圧縮結果への影響を与えることなく、データサイズを適正値に収めることができる。このとき圧縮符号化処理部４３６は、単位時間の序盤はデータサイズと目標値との乖離を許容することで圧縮率が大きく変化しないようにし、終盤にかけて高速に目標値に収束するようにすることで、重要な部分の圧縮結果がより安定するようにしてもよい。圧縮符号化部４２２は、圧縮符号化後の部分画像のデータを順次、パケット化部４２４に供給する。

パケット化部４２４は、図３のビデオストリーム制御部４１４、制御部４１２で構成され、圧縮符号化された部分画像のデータを、利用する通信のプロトコルに応じた形式でパケット化する。この際、当該部分画像が描画された時刻（以下、「生成時刻」と呼ぶ）、画像平面での解像度の分布、圧縮符号化に用いた量子化パラメータ、上述の解像度マップあるいは画素マップなどのデータを、画像生成部４２０または圧縮符号化部４２２から取得することにより、部分画像のデータと対応づけておく。

通信部４２６は、図３の入出力インターフェース４１６で構成され、圧縮符号化された部分画像のデータとそれに対応づけられた各種データを含めたパケットを、画像処理装置２００に送信する。これらの構成によりサーバ４００は、圧縮符号化、パケット化、送信を、１フレームより小さい部分画像単位でパイプライン処理することにより並列に行う。

画像処理装置２００は、画像データ取得部２４０、復号伸張部２４２、画像処理部２４４、表示制御部２４６、および注視点取得部２４８を備える。なお復号伸張部２４２と画像処理部２４４は、部分画像のデータに所定の処理を施し表示用の部分画像のデータを生成するという意味で共通の機能を有し、それらの少なくともいずれかを「画像処理部」と総称することもできる。

画像データ取得部２４０は、図３の入出力インターフェース２０２、部分画像記憶部２０４、および制御部２０６で構成され、圧縮符号化された部分画像のデータを、それに対応づけられた各種データとともにサーバ４００から取得する。復号伸張部２４２は、図３のビデオデコーダ２０８、部分画像記憶部２１０、制御部２０６、制御部２１２で構成され、圧縮符号化された部分画像のデータを復号伸張する。ここで復号伸張部２４２は、動き補償や符号化など圧縮符号化に必要な最小単位の領域のデータが画像データ取得部２４０により取得されたら、復号伸張処理を開始してよい。

この際、復号伸張部２４２は、サーバ４００から送信された、圧縮符号化時に用いられた量子化パラメータの分布を用いて、圧縮単位ごとに適切に復号伸張する。さらに復号伸張部２４２は、画像平面での解像度の分布に係る情報、すなわち上述の解像度マップや画素マップを用いて、画素を補間するなどして元の画素列を復元し、一律の解像度の画像に変換してよい。画像処理部２４４は図３の画像処理部２１４、部分画像記憶部２１６、制御部２１２、制御部２１８で構成され、部分画像のデータに所定の処理を施し、表示用の部分画像のデータを生成する。例えば上述のとおり画像処理部２４４は、ヘッドマウントディスプレイ１００が備える接眼レンズの歪みを考慮して逆の歪みを与える補正を施す。

あるいは画像処理部２４４は、ＵＩプレーン画像など、動画像とともに表示させるべき画像を、部分画像単位で合成する。または画像処理部２４４は、その時点でのユーザ頭部の位置や姿勢を取得し、サーバ４００が生成した画像を、正しく表示時の視野になるように補正する。これにより、サーバ４００からの転送時間によって、ユーザの頭部の動きと表示画像の間に生じる時間的なずれを最小限にすることができる。

画像処理部２４４はそのほか、一般的になされる画像処理のいずれかまたは組み合わせを実施してもよい。例えば画像処理部２４４は、ガンマーカーブ補正、トーンカーブ補正、コントラスト強調などを行ってもよい。すなわち表示装置の特性やユーザ指定に基づき、復号伸張した画像データの画素値・輝度値について必要なオフセット補正をしてもよい。また画像処理部２４４は、近傍画素を参照し、重畳・加重平均・平滑化などの処理を行うノイズ除去処理を行ってもよい。

また画像処理部２４４は、画像データの解像度と、表示パネルの解像度を合わせたり、近傍画素を参照し、バイリニア・トライリニアなど、加重平均・オーバーサンプリングなどを行ったりしてもよい。また画像処理部２４４は、近傍画素を参照し、画像テクスチャの種類を判定し、それに応じた、デノイズ・エッジ強調・平滑化・トーン／ガンマ／コントラスト補正を選択的に処理してもよい。このとき画像処理部２４４は、画像サイズのアップスケーラ・ダウンスケーラと合わせて処理してもよい。

また画像処理部２４４は、画像データの画素フォーマットと、表示パネルの画素フォーマットが異なる場合にフォーマット変換を行ってもよい。例えばＹＵＶからＲＧＢ、ＲＧＢからＹＵＶ、ＹＵＶにおける４４４、４２２、４２０間の変換、ＲＧＢにおける８、１０、１２ビットカラー間の変換などを行ってもよい。また画像処理部２４４は、デコードした画像データがＨＤＲ(High Dynamic Range)の輝度レンジ対応フォーマットである一方、表示ディスプレイのＨＤＲの輝度レンジ対応範囲が狭い場合（表示可能な輝度ダイナミックレンジがＨＤＲフォーマット規定より狭いなど）、できるだけＨＤＲ画像の特徴を残しながら、表示パネル対応可能な範囲のＨＤＲの輝度レンジフォーマットへ変換する疑似ＨＤＲ処理（色空間変更）を行ってもよい。

また画像処理部２４４は、デコードした画像データがＨＤＲ対応フォーマットだったが、表示ディスプレイがＳＤＲ(Standard Dynamic Range)のみに対応している場合、できるだけＨＤＲ画像の特徴を残しながら、ＳＤＲフォーマットへ色空間変換してもよい。デコードした画像データがＳＤＲ対応フォーマットだったが、表示ディスプレイがＨＤＲに対応している場合、画像処理部２４４はできるだけＨＤＲパネルの特性にあわせて、ＨＤＲフォーマットへエンハンス変換してもよい。

また画像処理部２４４は、表示ディスプレイの階調表現能力が低い場合、誤差拡散付加をしてもよいし、画素フォーマット変換とあわせて処理するディザリング処理を実施してもよい。また画像処理部２４４は、ネットワーク転送データの欠落やビット化けにより、デコードした画像データに部分的な欠損や異常がある場合に、その領域を補正処理してもよい。また画像処理部２４４は、単色塗りつぶし、近傍画素複製による補正、前フレーム近傍画素による補正、適応型欠損補正により過去フレームや現フレームの周辺から推測した画素による補正をしてもよい。

また画像処理部２４４は、画像処理装置２００から表示装置へ出力するインターフェースの必要帯域を削減するために画像圧縮を行ってもよい。この際、画像処理部２４４は、近傍画素参照によるライトウェイトなエントロピー符号化、インデックス値参照符号化、ハフマン符号化などを行ってもよい。また表示装置が液晶パネルを採用した場合、高解像度化が可能な反面、反応速度が遅い。表示装置が有機ＥＬパネルを採用した場合は反応速度が速い反面、高解像度化が難しく、また黒色領域とその周辺で色にじみが発生するBlack Smearingと呼ばれる現象が生じ得る。

そこで画像処理部２４４は、このような表示パネルによる様々な悪影響を解消するように補正を行ってもよい。例えば液晶パネルの場合、画像処理部２４４はフレーム間に黒い画像を挿入することにより液晶をリセットし、反応速度を向上させる。また有機ＥＬパネルの場合、画像処理部２４４は輝度値や、ガンマ補正におけるガンマ値にオフセットをかけBlack Smearingによる色にじみを目立ちにくくする。

画像処理部２４４は画像に対し、高精細度化や、高周波数成分の復元や再構築を行う超解像処理（Super Resolution）を行ってもよい。画像処理部２４４はこのとき、機械学習や深層学習を用いてあらかじめ構築したデータベースやネットワークモデルへ画像データを入力することにより画像を変換してもよい。ここで画像処理部２４４は、部分画像単位で変換を実施することにより低遅延化を図ってよい。このときの部分画像単位を、表示パネルの走査順序や分割構成に基づいて決定された部分画像単位と一致させることで、一連の処理をパイプライン化でき、さらなる低遅延化を実現できる。

表示制御部２４６は、図３のディスプレイコントローラ２２０と制御部２１８で構成され、表示用の部分画像のデータを順次、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２の表示パネルに表示させる。ただし本実施の形態では、部分画像の圧縮符号化データをサーバ４００から個別に取得するため、通信状況によっては取得順が入れ替わったり、パケットロスにより部分画像のデータ自体が取得できなかったりすることが考えられる。

そこで表示制御部２４６は、部分画像が描画されてからの経過時間を、各部分画像の生成時刻から導出したうえ、サーバ４００での描画タイミングを再現するように、表示パネルへの部分画像の出力タイミングを調整する。すなわち表示制御部２４６は、部分画像のデータの生成時刻、および／または生成時刻からの経過時間に基づき、部分画像のデータの本来の表示順や表示タイミング、部分画像のデータの欠落量などのデータ取得状況を特定する。

そして表示制御部２４６はデータ取得状況に応じて、表示パネルへの出力対象を変化させたり、出力順や出力タイミングを適切に調整したりする。例えば表示制御部２４６はデータ取得状況に応じて、次のフレームに含まれる本来の部分画像のデータを出力するか、それより前のフレームに含まれる部分画像のデータを再度出力するかを決定する。このとき表示制御部２４６は、次のフレームの表示開始時刻である垂直同期信号のタイミングまでにそのような出力対象を決定する。

例えば表示制御部２４６は、フレーム中、所定値以上の割合で部分画像が欠落している場合に、出力対象を前のフレームのデータに置き換えるなど、取得された部分画像の量（割合）に応じて出力対象を変化させてもよい。また表示制御部２４６は、過去のフレームの出力実績や、生成時刻からの経過時間に応じて、次のフレーム表示期間の出力対象を変化させてもよい。そして表示制御部２４６は、決定した順序およびタイミングで、出力対象として決定された部分画像のデータを表示パネルに出力する。

注視点取得部２４８は、ヘッドマウントディスプレイ１００や平板型ディスプレイ３０２など、画像処理装置２００に接続された表示装置に表示された、描画済みの動画像に対するユーザの注視点の位置情報を取得する。例えばヘッドマウントディスプレイ１００の内部に注視点検出器を設けたり、平板型ディスプレイ３０２を見ているユーザに注視点検出器を装着させたりし、当該注視点検出器による計測結果を取得する。

そして画像処理装置２００の画像データ取得部２４０からサーバ４００の通信部４２６に、注視点の位置座標情報を所定のレートで送信することにより、必要に応じて画像生成部４２０や圧縮符号化部４２２がそれを取得する。注視点検出器は、例えば赤外線などの参照光をユーザの眼球に照射し、その反射光をセンサにより検出して得られる瞳孔の方向から注視点を特定する一般的な装置でよい。

なお注視点取得部２４８は、画像処理装置２００からの送信失敗に備え、注視点の位置情報の最新値とともに、所定数の履歴値もサーバ４００へ送信するようにしてもよい。またサーバ４００において注視点を用いた処理を実施しない場合、画像処理装置２００において注視点取得部２４８の機能を省略することもできる。

図７は、フィードバック制御機能を有する圧縮符号化処理部４３６の機能ブロックを示している。圧縮符号化処理部４３６は、目標値設定部４４０、比較部４４２、圧縮部４４４、および圧縮後データサイズ取得部４４６を備える。目標値設定部４４０は、圧縮後のデータサイズの圧縮単位ごとの目標値、ひいては目標とするデータサイズの累積値の変化を設定する。以後、主に後者を「目標値」と呼ぶ。目標値は基本的に、単位時間において、利用可能な転送帯域などから求められるビットレートの上限に達するように決定する。

ここでレート制御マップを用いない通常制御においては、例えば、単位時間に処理する圧縮単位の数でビットレートを均等に分配することにより、目標値は時間に対し正比例の関数となる。ただし通常制御をこれに限る主旨ではない。一方で、レート制御マップを用いる場合、目標値設定部４４０は、当該マップに設定されている、画質低下の許容度に合わせて目標値を設定する。すなわち目標値設定部４４０は、画質低下の許容度が大きいほど目標値の変化の割合を小さく設定することで、データサイズが抑えられるようにする。

圧縮部４４４は、画像生成部４２０が生成した画像データを上述のとおり圧縮符号化する。圧縮後データサイズ取得部４４６は、圧縮部４４４が実際に圧縮符号化を行った結果、得られた圧縮符号化後のデータのサイズを圧縮単位ごとに取得する。比較部４４２は、目標値設定部４４０が設定した目標値と、実際の圧縮符号化後のデータサイズの累積値を比較し、その差に基づき量子化パラメータを調整する。

すなわち圧縮後の累積データサイズが目標値より大きく下回っている場合、量子化パラメータを下げて以後の圧縮処理を行うよう圧縮部４４４を制御する。圧縮後の累積データサイズが目標値より大きく上回っている場合は、量子化パラメータを上げて以後の圧縮処理を行うよう圧縮部４４４を制御する。この処理は実際には、ＰＩＤ制御など一般的な制御手法を用いることができる。このようなフィードバック制御により、圧縮後のデータサイズの累積値が目標値に収束していき、単位時間あたりに転送すべきデータのサイズを、ビットレートの上限以下に収めることができる。

ここで目標値設定部４４０は、切り替え部４４１を備える。切り替え部４４１は比較部４４２から、目標値と実際の累積データサイズとの差に係る情報を取得する。そして上述のとおりその差が、データサイズを大きく下げるべき所定の条件を満たしたとき、通常制御からレート制御マップを用いた制御に切り替える。すなわち一般的な線形の目標値から、画質低下の許容度を反映させた、位置依存の変化を示す目標値へ切り替える。

図８は、本実施の形態においてレート制御マップを用いてフィードバック制御を行う効果を説明するための図である。同図（ａ）、（ｂ）はいずれも、横軸の時間経過のうち単位時間Ｔにおける、圧縮符号化後のデータサイズの累積値の変化を表している。一例として、単位時間Ｔは、図の上段に示されるような画像平面１０におけるスライス状の部分画像１２内の圧縮単位を、左端から右端へ圧縮符号化していくとする。

累積データサイズ「Ａ」は、単位時間Ｔにおいて、サーバ４００と画像処理装置２００との通信に利用できる帯域幅（ビットレートの上限）を示している。（ａ）は通常のフィードバック制御による圧縮符号化結果である。図示する例では全ての圧縮単位でデータサイズを均等にすることを前提としており、結果として破線で示す目標値１４は時間に対し線形となる。一方、実際のデータサイズは画像の内容によって変動する。これをフィードバック制御により目標値１４に収束させようとすることにより、実線で示す累積データサイズ１６のように、オーバーシュート１８やアンダーシュート２０が発生する。

すなわち目標値を下回った後の圧縮単位は、フィードバックによりオーバーシュートしやすい。目標値を超過した後の圧縮単位は、フィードバックによりアンダーシュートしやすい。また単位時間Ｔの序盤に複雑な画像が続くなどしてオーバーシュートの状態が長引くと、単位時間Ｔにおける累積データサイズの拘束条件である上限Ａ以下に収めるため、終盤に急に圧縮率を上げる必要が生じる。その結果、画像上の位置に依存して、意図しない画質の変化が生じ、ひいては重要な部分の画質が下がってしまうことが考えられる。

（ｂ）は本実施の形態において、レート制御マップを用いてフィードバック制御を行った場合の圧縮符号化結果である。例えば図５の領域８ａあるいは領域８ｂのように、中央付近において画質低下の許容度を低く設定したレート制御マップを用い、画像平面１０の中央を横切る部分画像１２の端から圧縮符号化を行った場合、破線で示した累積データサイズの目標値２２は、単位時間Ｔの半ばの有限期間で顕著な増加を見せる形状となる。

これに対し実線で示した実際の累積データサイズ２４は、フィードバック制御により、やはりオーバーシュートやアンダーシュートを発生させ得るが、そのようであっても単位時間Ｔの半ばの有限期間で大幅に増加するような変化となる。結果として、画像平面の中央付近へのデータサイズの割り当てを、その他の領域より大きくできることになる。

図９は、レート制御マップの生成に利用できる、画像生成部４２０の処理内容について説明するための図である。一般的な画像描画処理では、画像平面を均等に分割してなる同面積の単位領域を画素として、それぞれの色を表す値を計算することで画像データとする。一方、画素領域の面積やアスペクト比を画像平面での位置に対し異ならせることで、データサイズを削減することが考えられる。

図示する例はヘッドマウントディスプレイ１００に表示させる左目用、右目用の画像のうち一方の、例えば１４４０×１４４０画素の領域２５を示している。この領域を、１９２画素、２５６画素、５４４画素、２５６画素、１９２画素の幅で縦横双方向に５分割することにより、５×５＝２５個の領域を形成している。そして一部の領域について解像度を下げる、すなわち画像を縮小することでデータサイズを軽減させる。

図示する例で、２５個の矩形領域内に示された数値は、横方向、縦方向の縮小割合を示している。例えば中央部の「１×１」と示された領域３０は縦横双方向に同倍、すなわち画像を縮小しない。左上の「０．２５×０．２５」と示された領域２６は、画像を縦横双方向に１／４に縮小する。その右隣の「０．５×０．２５」と示された領域２８は、画像を横方向に１／２、縦方向に１／４に縮小する。

このような縮小処理は、一部の拡大図３２に示すように、実際には色の値が均等に得られている画像平面において、１画素に含める面積を変化させていると捉えることができる。すなわち「１×１」の領域は最も細かい単位で画素値が決定され、例えば「０．５×０．５」の領域は２×２倍の面積単位で画素値が決定される。

図１０は、画素の面積を変化させることによる画像上の変化を概念的に示している。画像３４は本来の大きさを有する画像であり、矩形内に線で表されるように分割してなる領域ごとに画素の面積を異ならせるとする。画像３８は、そのように領域によって面積の異なる画素を同じ面積として表した場合のデータ上の画像である。本来の画像において描画された像３６は、位置によって異なる割合で縮小された結果、像４０のように変形する。

例えば図９で示したように、領域の外周に近いほど画素面積を大きくする（縮小率を上げる）場合、像４０は外周に近いほど小さく歪んだ象になる。画像生成部４２０（すなわちＧＰＵ）は、図９で示したような、画像平面を所定規則で分割して縮小率（解像度）を設定した解像度マップを内部で保持し、それに基づき描画対象エリアを分割して、それぞれのエリアを異なる解像度にて描画することで、画像３８のようなデータを生成する。その結果、描画に要する演算量、メモリアクセス量、処理時間を削減できる。

このようにエリアごとに画素の面積を異ならせた場合、表示までのいずれかの段階で、表示パネルの画素配列に合わせて画素の面積を統一した、一律な解像度のデータに変換する必要がある。図１１は、エリアによって解像度が異なる画像の、表示までのデータ変換の流れを例示している。この例では、サーバ４００の画像生成部４２０が生成した、図１０の画像３８のようなデータを、その状態で圧縮符号化し、画像処理装置２００に転送する。すなわち画像生成部４２０は画像３８をそのままの画素数、解像度、画素領域のアスペクト比で出力し（Ｓ１０）、圧縮符号化部４２２は当該画像３８をそのまま圧縮符号化する（Ｓ１２）。

サーバ４００は、そのように圧縮符号化したデータと解像度マップを画像処理装置２００に送信する。画像処理装置２００の画像データ取得部２４０はそれらを取得し、復号伸張部２４２は、当該データを復号伸張のうえ、解像度マップに基づき画素を補完することにより、本来の画素の配列、すなわち本来の画素数、解像度、画素領域のアスペクト比を有する一律な解像度のデータを生成する（Ｓ１４）。このような処理により、サーバ４００から画像処理装置２００へ送信すべき画素数を削減できる。

図１２は、エリアによって解像度が異なる画像の、表示までのデータ変換の流れの別の例を示している。この例では、サーバ４００の画像生成部４２０は、図１０の画像３８のようなデータを生成したあと、解像度マップに基づき画素を補間することにより、本来の画素の配列、すなわち画素数、解像度、画素領域のアスペクト比を有する一律な解像度の画像４１を生成する（Ｓ１６）。そして圧縮符号化部４２２は当該画像４１を圧縮符号化する（Ｓ１８）。

この場合、画像処理装置２００の復号伸張部２４２は、サーバ４００から送信されたデータを復号伸張するのみで、一律な解像度の画像が得られる（Ｓ２０）。この手順によれば、画像処理装置２００へ送信すべき画素数は削減できないが、圧縮符号化部４２２が用いるレート制御マップを、解像度マップを反映させたものとすることで、図１１の場合と同等のビットレートにおいて同等の画質で圧縮符号化することができる。サーバ４００は、画像処理装置２００の復号伸張部２４２が、解像度マップに基づくデータ変換に対応するか否かで、処理手順を図１１のようにするか図１２のようにするかを決定する。

なお解像度マップは固定としてもよいし、画像の内容に応じて画像生成部４２０が動的に生成してもよい。例えば画像生成部４２０は、動画像を解析するなどして、詳細に示したい領域の大きさや位置を特定し、当該領域の解像度は維持したうえ、そこから離れるほど解像度を下げるように設定してもよい。

解像度マップを固定とする場合、それを反映させたレート制御マップを事前に生成し、レート制御マップ記憶部４３０に格納しておいてもよい。解像度マップを可変とする場合、画像生成部４２０が解像度マップを生成する都度、圧縮符号化部４２２の状況取得部４３２がそのデータを取得し、マップ生成部４３４が、当該データをレート制御マップに反映させる。この際、マップ生成部４３４は、あらかじめ準備されたレート制御マップに、解像度マップから計算した画質低下の許容度を加算したり、解像度マップから得られる重みづけ値を乗算したりして補正してもよい。

あるいはマップ生成部４３４は、解像度マップからレート制御マップを新たに生成してもよい。いずれにしろ解像度マップを反映させる場合、設定される解像度が低いほど（縮小率が高いほど）、レート制御マップにおける画質低下の許容度が大きな値となるように、あらかじめ導出規則を準備しておく。これにより、画像生成部４２０が解像度を維持した部分について圧縮率を下げ、圧縮符号化処理を経ても画質を保つことができる。

図１３は、レート制御マップの生成に利用できる、画像生成部４２０の処理内容の別の例を説明するための図である。この例では、実際の画像の内容に基づき解像度の分布、すなわち画素の面積分布を決定している。図の（ａ）に示す画像を描画する場合、画像生成部４２０はまず、視野中心からの距離、オブジェクトの動きの大きさ、像の詳細度などの少なくともいずれかに基づき、（ｂ）に示すような画素マップを生成したうえで、それに従い画素値を計算する。

同図に示す画素マップは、画像平面における本来の画素領域をマス目状に表しており、下に凡例を示すように、解像度が高い（画素領域が小さい）ほど濃い色としている。例えば主たるオブジェクト４２が表される領域については「１×１」個の画素単位、すなわち本来の画素ごとに画素値を計算するように設定する。画像世界で進行方向の左右にある、比較的重要なオブジェクト４４が表される領域については、配列によって「１×２」個または「２×１」個の画素単位で画素値を計算するように設定する。

画像生成部４２０は描画対象の動画像を解析し、オブジェクトの重要性、像の大きさ、提示内容の重要性、緻密さ、色、動きの大きさ、テクスチャの種類、ユーザの操作対象か否か、などに基づき画素マップを生成する。定性的には、重要性が高いほど、あるいは像の詳細度が高いほど、画素の単位を細かくする。画像生成部４２０は、動画像の描画開始時に画素マップを生成するほか、部分画像ごと、フレームごと、所定数のフレームごと、シーンの切り替わり時などに画素マップを適宜更新する。

このケースにおいても、図１１または図１２で示したのと同様の手順により、いずれかの段階で、画素の面積を統一した、一律な解像度のデータに変換する。すなわち画像処理装置２００の復号伸張部２４２が、画素マップに基づくデータ変換に対応する場合、サーバ４００は、位置によって画素の単位が異なる画像をそのまま圧縮符号化し、画像処理装置２００に転送する。そして画像処理装置２００の復号伸張部２４２は、当該データを復号伸張のうえ、画素マップに基づき画素を補間することにより、本来の画素数、解像度、画素領域のアスペクト比を有する一律な解像度のデータを生成する。

このような処理により、サーバ４００から画像処理装置２００へ送信すべき画素数を削減できる。一方、復号伸張部２４２が、画素マップに基づくデータ変換に対応しない場合、サーバ４００の画像生成部４２０は、位置によって画素の単位が異なる画像の画素を、画素マップに基づき補間することにより、本来の画素の配列、すなわち画素数、解像度、画素領域のアスペクト比を有する一律な解像度の画像を生成する。そして画像処理装置２００の復号伸張部２４２は、サーバ４００から送信されたデータを復号伸張するのみで、一律な解像度の画像を取得する。

この手順によれば、画像処理装置２００へ送信すべき画素数は削減できないが、圧縮符号化部４２２が用いるレート制御マップを、画素マップを反映させたものとすることで、画素数を削減した画像データを転送する場合と同等のビットレートにおいて同等の画質で圧縮符号化することができる。このように、画像生成部４２０が画素マップにより、一部領域において複数の画素をまとめて１つの画素とし画像を描画する場合、圧縮符号化部４２２が用いるレート制御マップは、画素マップを反映させたものとすることができる。

すなわち状況取得部４３２は、画像生成部４２０が画素マップを生成する都度、そのデータを取得し、マップ生成部４３４が、当該データをレート制御マップに反映させる。反映のさせ方は解像度マップの場合と同様でよい。これにより、画像生成部４２０が細かい粒度で描画した部分について圧縮率を下げ、圧縮符号化処理を経ても画質を保つことができる。なおマップ生成部４３４は、さらに解像度マップを加味してレート制御マップを生成したり補正したりしてもよい。これにより、解像度マップで区切られた領域と、画素マップで区別された像の組み合わせに対し、画質低下の許容度を設定できる。

図１４は、ユーザの注視点に基づきレート制御マップを生成する原理を説明するための図である。画像処理装置２００に接続された表示装置の表示画面２９０において、ユーザの注視点２９２は、図示する例では中央付近に存在するとしている。ヘッドマウントディスプレイ１００を装着しているユーザは通常、見たい方向に顔を向けるため、表示画面２９０の中央を注視点２９２と見なすこともできる。ただし注視点検出器を導入することにより、任意の位置の注視点２９２を検出できる。

一般的な人の視覚特性として、瞳孔から注視点へ向かう視線を中心軸として５°以内に対応する領域２９４は弁別視野と呼ばれ、視力などの視機能が優れている。また水平方向に約３０°、垂直方向に約２０°以内に対応する領域２９６は有効視野と呼ばれ、眼球運動だけで瞬時に情報を受容できる。さらに水平方向に６０～９０°、垂直方向に４５～７０°以内に対応する領域２９８は安定注視野、水平方向に１００～２００°、垂直方向に８５～１３０°以内に対応する領域２９９は補助視野、というように、注視点２９２から離れるほど情報の識別能力が低くなる。

すなわち図の上と左に示すように、識別力は、表示画面２９０の平面において注視点２９２に近いほど大きな値を示すような関数３２０ａ、３２０ｂで表される。なおこの図では、表示画面２９０の平面における水平方向、垂直方向の１次元での位置に対し関数３２０ａ、３２０ｂを表しているが、実際には当該平面上の２次元の位置座標に対する分布となる。ユーザの識別力が低い領域ほど、画質を低下させても見た目の印象への影響は小さいことから、画質低下の許容度は、定性的には関数３２０ａ、３２０ｂと増減が逆の分布となるように設定すればよい。

画像処理装置２００に注視点取得部２４８を設ける場合、サーバ４００の圧縮符号化部４２２における状況取得部４３２は、表示画面における実際の注視点の位置座標を逐次取得する。そしてマップ生成部４３４は、当該位置座標をレート制御マップに反映させる。この場合もマップ生成部４３４は、あらかじめ準備されたレート制御マップに、注視点からの距離に依存させた画質低下の許容度を加算するなどして補正してもよいし、レート制御マップを新たに生成してもよい。また上述した他の観点で得られた画質低下の許容度と組み合わせて最終的なレート制御マップとしてもよい。

画像生成部４２０が注視点に基づく描画を行う場合、マップ生成部４３４はその情報を参照してレート制御マップに反映させてもよい。上述の弁別視野のように、ユーザの識別能力が高い視野中心を高解像度で、そこから離れるほど低い解像度で描画することにより、描画処理の負荷やデータサイズを抑える技術として、フォービエイテッド・レンダリングが知られている（例えば"Foveated 3D graphics", Brian Guenter, et. al., ACM Transactions on Graphics, Vol. 31, No. 6, Article 164, November 2012参照) 。

この場合、画像生成部４２０は、画像処理装置２００の注視点取得部２４８から得られる注視点の位置座標に基づき、画像平面上での解像度の境界および、解像度の低減率を設定する。そのようにして決定した解像度の分布を、画像平面に表したマップをフォービエイテッド・レンダリングマップと呼ぶ。圧縮符号化部４２２の状況取得部４３２は、画像生成部４２０からフォービエイテッド・レンダリングマップを取得し、マップ生成部４３４は、フォービエイテッド・レンダリングマップをレート制御マップに反映させる。反映のさせ方は上述と同様でよい。

このケースにおいても、図１１または図１２で示したのと同様の手順により、いずれかの段階で、画素の面積を統一した、一律な解像度のデータに変換する。すなわち画像処理装置２００の復号伸張部２４２が、フォービエイテッド・レンダリングマップに基づくデータ変換に対応する場合、サーバ４００は、フォービエイテッド・レンダリングされた画像をそのまま圧縮符号化し、画像処理装置２００に転送する。そして画像処理装置２００の復号伸張部２４２は、当該データを復号伸張のうえ、フォービエイテッド・レンダリングマップに基づき画素を補間することにより、本来の画素数、解像度、画素領域のアスペクト比を有する一律な解像度のデータを生成する。

このような処理により、サーバ４００から画像処理装置２００へ送信すべき画素数を削減できる。一方、復号伸張部２４２が、フォービエイテッド・レンダリングマップに基づくデータ変換に対応しない場合、サーバ４００の画像生成部４２０は、フォービエイテッド・レンダリングされた画像の画素を、画素マップに基づき補間することにより、本来の画素の配列、すなわち画素数、解像度、画素領域のアスペクト比を有する一律な解像度の画像を生成する。

そして画像処理装置２００の復号伸張部２４２は、サーバ４００から送信されたデータを復号伸張するのみで、一律な解像度の画像を取得する。この手順によれば、画像処理装置２００へ送信すべき画素数は削減できないが、圧縮符号化部４２２が用いるレート制御マップを、フォービエイテッド・レンダリングマップを反映させたものとすることで、画素数を削減した画像データを転送する場合と同等のビットレートにおいて同等の画質で圧縮符号化することができる。

なおサーバ４００の画像生成部４２０は、これまで述べたエリアごとの解像度切り替え、複数の画素のまとまりに対する画素値の計算、フォービエイテッド・レンダリングのいずれかを単独で実施してもよいし、２つ以上を組み合わせて実施してもよい。組み合わせて実施する場合、解像度マップ、画素マップ、フォービエイテッド・レンダリングマップを適宜組み合わせたマップに基づき、上述と同様に処理する。

図１５は、画像の内容やユーザの注視点に基づきレート制御マップを補正した場合の効果を説明するための図である。図の表し方は図８と同様である。（ａ）は図８の（ｂ）と同様、画像平面１０の中央付近５０ａで画質低下の許容度を低く設定したレート制御マップを用いて、スライス状の部分画像１２を左端から順次圧縮符号化したときの、データサイズの累積値を示している。すなわち当該レート制御マップに基づく目標値２２を用いてフィードバック制御がなされた結果、実際の累積データサイズ２４が図のように得られる。

（ｂ）、（ｃ）は、上述のとおり画像の内容やユーザの注視点に基づき補正したレート制御マップを用いて圧縮符号化を実施したときの、データサイズの累積値を示している。ただし（ａ）と同じ目標値２２を比較のために示している。（ｂ）は、重要な箇所は画像平面１０の中央付近５０ａで変化しないが、画像の内容や注視点を考慮すると、中央付近５０ａでの重要度がより高いことが判明した場合を示している。このときマップ生成部４３４はレート制御マップにおいて、中央付近５０ａでの画質低下の許容度をさらに低める補正をする。

これにより、他の領域に割り当てられるデータサイズが相対的に抑えられる。その結果、図示するように、単位時間Ｔの序盤や終盤は累積データサイズの増加量が小さく、半ばの有限期間において急激に増加するような累積データサイズ５２が得られる。（ｃ）は、例えば重要なオブジェクトやユーザの注視点が、画像平面１０の中央より右寄りの位置５０ｂにある場合を示している。

このときマップ生成部４３４は、画質低下の許容度が低い領域を、画像平面の右寄りにずらすようにレート制御マップを補正する。その結果、図示するように、単位時間Ｔの半ばを過ぎてから急激に増加するような累積データサイズ５４が得られる。いずれの場合も、単位時間Ｔあたりのデータサイズの累積値を上限Ａ以下に抑えたうえで、重要な領域に、より多くのデータサイズを割り当てることが容易にできる。

なお上述のとおりマップ生成部４３４は、圧縮符号化処理部４３６に、仮圧縮処理として画像を実際に圧縮符号化させることで、圧縮単位ごとにデータサイズを見積もり、その結果に基づいてレート制御マップを補正してもよい。この場合、圧縮符号化処理部４３６は、次のような手法で簡易的に圧縮符号化を行うことにより、データサイズの見積もりを高速化してもよい。すなわち圧縮符号化処理部４３６は、画像生成部４２０が生成した画像の解像度を低下させたうえで仮圧縮処理を行ってよい。

このとき圧縮符号化処理部４３６は、画像生成部４２０が生成した画像の解像度を、１／２、１／４、１／８といった比率で低下させた複数の縮小画像を用意し、最も低い解像度側から順に仮圧縮処理を行ってよい。画像の解像度が低いほど、仮圧縮によるデータサイズの見積もりが高速化される。圧縮符号化処理部４３６は、低解像度側から順に、データサイズの見積もりを繰り返し、ある解像度で見積もったデータサイズと、直前の解像度で見積もったデータサイズとの差が所定のしきい値以下であれば、仮圧縮処理を打ち切ってもよい。

あるいは圧縮符号化処理部４３６は、各圧縮単位から切り出した矩形領域をサンプル領域とし、解像度を低下させずに当該サンプル領域の仮圧縮処理を行ってもよい。この場合、解像度を低下させることにより精細さや高周波成分などの特徴が失われ、データサイズの見積もり精度が低下するのを防止できる。ここで圧縮符号化処理部４３６は、レート制御マップにおいて画質低下の許容度が所定値以下の領域、すなわち画像の内容やユーザの注視点の観点から重要と判定される圧縮単位については、サンプリング数を増やしてもよい。

これにより、圧縮率を低く抑えデータサイズに影響を与えやすい部分について、データサイズの見積もりを正確に行える。また圧縮符号化処理部４３６は、レート制御マップにおいて画質の低下を所定値以上許容する領域については、仮圧縮処理を省略してもよい。マップ生成部４３４は、このようにして得られた圧縮単位ごとのデータサイズの見積もりを参照し、レート制御マップを補正する。

例えば、画像平面１０の中央付近５０ａに画質を重視したい領域がある一方、それより右寄りの位置５０ｂに、圧縮してもデータサイズが下がりにくい像があることが見積もりから判明したとする。この場合、マップ生成部４３４は、レート制御マップにおいてそれら以外の領域の画質低下の許容度を相対的に大きくする。これにより、図の（ｂ）や（ｃ）と同様の状態が得られる。結果として上述同様、単位時間Ｔあたりのデータサイズの累積値を上限Ａ以下に抑えたうえで、必要な領域により多くのデータサイズを割り当てることができる。なお仮圧縮処理によるレート制御マップの補正も、上述したその他の観点での補正と組み合わせることができる。

図８、図１５に示す累積データサイズの時間変化は、画像平面を水平方向に分割したスライス状の部分画像の左端から右端までを横断するように、圧縮符号化を進捗させることを前提としていた。一方、データサイズを多く割り当てたい領域を、単位時間Ｔにおいて先に圧縮符号化することで、単位時間Ｔの終盤におけるデータサイズのつじつま合わせの対象から外すようにしてもよい。これにより、より確実かつ安定的に、画質維持を優先する領域にデータサイズを割り当てることができる。

図１６は、部分画像内で圧縮符号化の処理順を可変とした場合の累積データサイズの変化を例示している。図の表し方は図８、１５と同様である。例えば画像平面１０のの中央付近５０ａにおいて画質低下の許容度が低く設定されている場合、圧縮符号化処理部４３６は図の上段に矢印で示すように、当該中央付近５０ａから、左右の方向に圧縮符号化を進捗させる。この場合、これまでと同じレート制御マップを用いても、破線で示す目標値５６は、単位時間Ｔの序盤から変化量が大きく、徐々に緩やかになっていく形状となる。

当該目標値に対しフィードバック制御を行うことにより、実線で示した実際の累積データサイズ５８も同様の変化となる。結果として、画質が重視される中央付近５０ａに対しデータサイズの割り当てを潤沢にできる。また単位時間Ｔの終盤で、累積データサイズがビットレートの上限Ａを超えそうな状態となり、圧縮率を上げる制御がなされたとしても、そのときの処理対象は画質を重視しない領域であるため、見た目への影響を小さくできる。

圧縮符号化処理部４３６は、圧縮符号化が終了した圧縮単位を、最大で部分画像１つ分バッファリングし、本来の画像上での順序に戻したうえで部分画像のデータとしてパケット化部４２４へ出力する。あるいはサーバ４００は、圧縮符号化した順番のまま部分画像のデータを送信し、画像処理装置２００側で、本来の順序に戻してもよい。この場合、サーバ４００は、各部分画像における圧縮単位の圧縮処理順、ひいては送信順を表した処理順マップを、部分画像のデータとともに送信する。

そして画像処理装置２００の復号伸張部２４２は、各圧縮単位を、サーバ４００から送信された順に復号伸張したうえ、最大で部分画像１つ分バッファリングすることにより、本来の画像上の順序に戻す。どちらの場合も、圧縮符号化の処理順の入れ替えを部分画像内で完結させることにより、上述した、部分画像単位でのパイプライン処理を阻害することなく、低遅延での表示を実現できる。なお図では画像平面１０の中央付近５０ａを重要な領域とし、そこを始点として左右の方向に圧縮符号化を進捗させたが、圧縮符号化処理の始点や進捗方向は特に限定されない。

いずれにしろ部分画像において、レート制御マップに表された画質低下の許容度が低い圧縮単位ほど、処理順での優先度を高くすることを基本とし、さらに処理効率などを踏まえて圧縮処理順を決定すればよい。上述のとおりこの態様では、単位時間Ｔの序盤においてフィードバック制御の拘束を緩め、終盤にかけて拘束を厳しくするように制御パラメータを時間変化させてもよい。例えばＰＩＤ制御を行う場合、Ｐパラメータ（比例成分）、Ｄパラメータ（微分成分）を時間経過に対し増加させていく。

これにより、序盤で処理される、画質を重視する領域において大きなオーバーシュートやアンダーシュートが発生し、量子化パラメータが変動した結果、圧縮単位ごとに画質が揺れるような状態を回避できる。なおこの場合、制御化パラメータを時間経過に対し連続的に変化させてもよいし、序盤、中盤、終盤といったように単位時間Ｔを複数の期間に分割し、それぞれに制御パラメータを設定することで不連続に変化させてもよい。

図１７は、部分画像内で圧縮符号化処理の順序を可変とする場合の処理順の設定例を模式的に示している。この例は、ヘッドマウントディスプレイ１００を表示先とし、左目用、右目用の画像を含むフレームを圧縮符号化することを想定している。すなわち処理順マップ６０は、左目用の領域６２ａと右目用の領域６２ｂで構成される１フレームの平面を、縦方向に１１分割、横方向に６分割してなる圧縮単位に対し、圧縮符号化処理の順序を番号で示している。ここで横一列分の圧縮単位を部分画像とする。

また点線で囲われた領域６４ａ、６４ｂはヘッドマウントディスプレイ１００におけるユーザの可視領域を示しており、それに含まれない単位領域は圧縮処理の対象外とする。結果として圧縮符号化処理部４３６は、最上段の第１部分画像は圧縮処理をスキップし、その下の第２部分画像は番号が付されている圧縮単位のみ、当該番号順に圧縮処理を実施する。第２部分画像の８つの圧縮単位の圧縮符号化が完了したら、圧縮符号化処理部４３６はバッファリングしておいたそれらのデータの順序を元に戻したうえで、パケット化部４２４へ出力する。

その下の第３部分画像、第４部分画像、第５部分画像についても同様に、番号順に圧縮符号化したうえ部分画像単位で出力する。そして最下段の第６部分画像は圧縮処理をスキップする。これにより、部分画像ごとのパイプライン処理の構成を崩すことなく、また、画質を重視する領域については累積データサイズのつじつま合わせに使われることなく、安定的にデータサイズを割り当てられる。

なお図示するヘッドマウントディスプレイ用の画像のように、類似性の高い複数の画像を１フレームに含む画像を圧縮符号化する場合、当該類似性を利用した予測符号化を圧縮単位で効率的に行えるように、圧縮処理の順序を設定することが望ましい。図示する例では、左目用の領域６２ａにおいて最初に圧縮符号化される「１」の単位領域の次に、右目用の領域６２ｂの対応する位置にある「２」の単位領域を圧縮符号化する。

このようにすると、「２」の単位領域のデータを、それと類似性の高い「１」の単位領域を参照画像とする差分画像で構成することができ、データサイズを格段に抑えることができる。ここで直前に圧縮符号化された領域を参照画像とすることにより、差分画像の圧縮処理を効率よく行える。いずれにしろ圧縮符号化処理部４３６は、レート制御マップを参照し、部分画像ごとに画質低下の許容度が低い圧縮単位に高い優先順位を与えるとともに、画像の類似性や処理順の効率性などの観点を加味して処理順マップ６０を作成したうえで圧縮符号化を実施する。

なお画質低下の許容度に基づく圧縮処理の順序づけは、上述した様々な観点でのレート制御マップの生成や補正と適宜組み合わせることができる。すなわち圧縮符号化処理部４３６は、様々な観点から最終的に得られたレート制御マップを参照し処理順マップ６０を生成すればよい。

以上述べた本実施の形態によれば、動画像のデータを圧縮符号化する処理において、画質低下の許容度を表したレート制御マップを参照し、許容度の高い領域について優先的に圧縮率を上げるよう制御する。ここでレート制御マップは、ユーザに視認されやすい部分、画像の内容として重要な部分、実際の注視点を含む部分、仮圧縮処理によりデータサイズが下がりにくいと見積もられた部分などにおいて、画質低下の許容度を低くするように設定する。

これにより、それらの部分については優先的に多くのデータサイズを割り当てて画質を維持しつつ、単位時間あたりの累積データサイズを一定値以下に収めることができる。レート制御マップを用いたデータサイズの制御は、それを参照しない通常制御においてデータサイズを大きく下げるべき所定の条件を満たしたときに実施する。これにより、過度なデータ圧縮により無駄に画質が低下するのを防ぐとともに、圧縮符号化処理の負荷への影響を小さくできる。

また圧縮符号化後のデータを、１フレームを分割してなる部分画像の単位でパイプライン処理することにより、表示までの遅延時間を低減させることができる。この際、部分画像の内部で、画質を優先すべき領域から圧縮符号化を進捗させることにより、単位時間あたりの累積データサイズをビットレートの上限以下に収めつつ、重要領域に対しデータサイズを安定的に割り当てられる。さらにフィードバック制御のパラメータを時間変化させることにより、データサイズの割り当ての安定性をより高められる。

第２実施形態
第１実施形態ではサーバ４００が、レート制御マップに基づく分布でフレームのデータを圧縮符号化することにより、画質とデータサイズ削減を両立させた。一方、そのような圧縮符号化処理の制御をせず、画像平面での解像度を変化させたデータを送信するのみでも、視認される画質への影響を抑えながら送信すべきデータサイズを削減できる。図１８は、本実施の形態のサーバ４００ａおよび画像処理装置２００ａの機能ブロックを示している。なおこれらの装置の基本的な構成や、それによって構成される画像表示システムの構成は、第１実施形態と同様である。また同図において、図６と同様の機能を有するブロックには同じ符号を付し、適宜説明を省略する。

サーバ４００は、画像生成部４２０ａ、圧縮符号化部４２２、パケット化部４２４、および通信部４２６を備える。ここで画像生成部４２０ａは、動画像のフレーム平面における位置対し解像度を変化させて画像を描画する。詳細には画像生成部４２０ａは、解像度マップ記憶部４５０、状況取得部４５２、マップ生成部４５４、および描画部４５６を備える。解像度マップ記憶部４５０は、図９で示したような、フレームの平面に対し解像度の分布を表した解像度マップを記憶する。状況取得部４５２は、解像度の分布に対し影響を与え得る、様々な状況に係る情報を取得する。状況取得部４５２は例えば、フォービエイテッド・レンダリングを実施する際に用いる、ユーザの注視点の位置に係る情報を取得する。

あるいは状況取得部４５２は、描画対象の画像を解析するなどして、視野の端、オブジェクトの動きが小さい領域、緻密度が低い領域などを特定する。マップ生成部４５４は、状況取得部４５２が取得した情報に基づき、フレームの平面に対し解像度の分布を表したマップを生成する。例えばマップ生成部４５４は、ユーザの注視点から離れるほど解像度が低減するようなフォービエイテッド・レンダリングマップを生成する。あるいはマップ生成部４５４は、視野の端、オブジェクトの動きが小さい領域、緻密度が低い領域などに基づいて、図１３で示したような、１つの画素値の計算を行う画素のまとまりをフレームの平面に表した画素マップを生成する。

描画部４５６は、解像度マップ記憶部４５０に格納された解像度マップ、マップ生成部４５４が生成したフォービエイテッド・レンダリングマップ、画素マップの少なくともいずれかに基づき、フレーム平面における位置によって解像度を変化させて画像を描画する。なお以後の説明では、それらのマップを「解像度マップ」と総称する。解像度マップ記憶部４５０に格納された静的な解像度マップのみを用いて画像を描画する場合、状況取得部４５２、マップ生成部４５４の機能を省略できる。またマップ生成部４５４は、解像度マップ記憶部４５０に格納された静的な解像度マップを読み出し、それ以外の観点で決定した解像度や画素のまとまりの分布を反映させるように補正することで、最終的な解像度マップを生成してもよい。

圧縮符号化部４２２ａは、画像生成部４２０が生成した画像のデータを圧縮符号化する。ここでは上述のとおり、第１実施形態の圧縮符号化部４２２における、レート制御マップに基づく圧縮率の制御機能を省略できる。パケット化部４２４、および通信部４２６の機能は、第１実施形態と同様である。ただしパケット化部４２４は、画像生成部４２０ａが画像の描画に採用した解像度マップを、フレームのデータに対応づける。通信部４２６はそれらのデータを、部分画像の単位で画像処理装置２００ａに順次送信する。

画像処理装置２００ａは、画像データ取得部２４０、復号伸張部２４２ａ、画像処理部２４４、表示制御部２４６、および注視点取得部２４８を備える。画像データ取得部２４０の機能は、第１実施形態と同様である。ただし画像データ取得部２４０は、圧縮符号化された部分画像のデータとともに、解像度マップをサーバ４００から取得する。復号伸張部２４２ａは、第１実施形態と同様、圧縮符号化された部分画像のデータを復号伸張する。ただし本実施形態において復号伸張部２４２ａは、解像度変換部２４３を備える。解像度変換部２４３は、サーバ４００から送信された解像度マップを用いて、画素を補間するなどして元の画素列を復元し、一律の解像度の画像に変換する。

これにより復号伸張部２４２ａは、図１１に例示されるように、画像平面で解像度を変化させたまま圧縮符号化され送信されたデータを復号伸張のうえ、解像度マップに基づき画素を補間することにより、本来の画素数、解像度、画素領域のアスペクト比を有する一律な解像度のデータを生成する。画像処理部２４４、表示制御部２４６、および注視点取得部２４８の機能は、第１実施形態と同様でよい。

以上述べた本実施の形態によれば、サーバは、動画像のフレーム平面における位置によって解像度を変化させて画像を描画したうえ、当該解像度の分布を表した解像度マップとともにストリーミング転送する。クライアント側である画像処理装置は、解像度マップに基づき、フレームの解像度を本来の一律な状態に変換したうえ、表示パネルに出力する。このときサーバは、ユーザが注視しやすい画像中央や、実際の注視点、あるいは画像の内容上、目立ちやすい部分などについては描画の解像度、ひいては画質を維持する。これにより、視認上の画質への影響を少なく、サーバから画像処理装置へ送信すべき画素数、ひいてはデータサイズを削減できる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

以上のように本発明は、サーバ、画像表示装置、ヘッドマウントディスプレイ、ゲーム装置、携帯端末、パーソナルコンピュータなど各種情報処理装置や、それらのいずれかを含む画像表示システムなどに利用可能である。

１画像表示システム、１００ヘッドマウントディスプレイ、２００画像処理装置、２４０画像データ取得部、２４２復号伸張部、２４４画像処理部、２４６表示制御部、２４８注視点取得部、３０２平板型ディスプレイ、４００サーバ、４２０画像生成部、４２２圧縮符号化部、４２４パケット化部、４２６通信部、４３０レート制御マップ記憶部、４３２状況取得部、４３４マップ生成部、４３６圧縮符号化処理部、４４０目標値設定部、４４１切り替え部、４４２比較部、４４４圧縮部、４４６圧縮後データサイズ取得部、４５２状況取得部、４５４マップ生成部、４５６描画部。

Claims

表示対象の動画像を描画する画像生成部と、
前記動画像を構成するフレームの平面を分割してなる圧縮単位ごとに、データサイズの累積値に基づくフィードバック制御により圧縮符号化後のデータサイズの目標値を設定し、圧縮率を調整しながら前記動画像のデータを圧縮符号化する圧縮符号化部と、
圧縮符号化された動画像のデータをストリーミング転送する通信部と、
を備え、
前記圧縮符号化部は、前記圧縮単位ごとに画質低下の許容度を設定したレート制御マップを参照し、前記画質低下の許容度に対応するように、前記データサイズの目標値を設定するとともに、前記画質低下の許容度に応じて、前記圧縮単位の圧縮符号化順を決定することを特徴とする画像データ転送装置。
前記通信部は、前記フレームの平面を所定規則で分割してなり、複数の前記圧縮単位で構成される部分画像ごとに、圧縮符号化後のデータを転送し、
前記圧縮符号化部は、前記部分画像での前記圧縮単位の圧縮符号化順を決定することを特徴とする請求項１に記載の画像データ転送装置。
前記圧縮符号化部は、圧縮符号化順を変化させて圧縮符号化した前記圧縮単位を、本来の画像上の順序に戻してなる前記部分画像のデータを、前記通信部に転送させることを特徴とする請求項２に記載の画像データ転送装置。
前記圧縮符号化部は、前記フィードバック制御における拘束の度合いを決定づける制御パラメータを時間変化させることを特徴とする請求項２または３に記載の画像データ転送装置。
前記圧縮符号化部は、１フレームに含まれる左目用画像および右目用画像のうち一方を、他方を参照画像とする差分画像として圧縮符号化し、双方の対応する位置にある前記圧縮単位を連続して圧縮符号化することを特徴とする請求項１から４のいずれかに記載の画像データ転送装置。
前記圧縮符号化部は、前記データサイズの目標値の設定に、前記レート制御マップを参照するか否かを、所定の条件で切り替えることを特徴とする請求項１から５のいずれかに記載の画像データ転送装置。
前記圧縮符号化部は、あらかじめ生成された前記レート制御マップを格納するレート制御マップ記憶部を備えたことを特徴とする請求項１から６のいずれかに記載の画像データ転送装置。
前記画像生成部は、前記フレームの平面において解像度を異ならせて画像を描画し、
前記圧縮符号化部は、前記画像の解像度の分布に基づき、前記画質低下の許容度を変化させることを特徴とする請求項１から７のいずれかに記載の画像データ転送装置。
前記画像生成部は、前記フレームの平面を分割してなる領域ごとに、画像の縮小率を設定した解像度マップに従い画像を描画し、
前記圧縮符号化部は、前記解像度マップに基づき前記画質低下の許容度を変化させることを特徴とする請求項１から８のいずれかに記載の画像データ転送装置。
前記画像生成部は、画像の内容に応じて、複数の画素のまとまりに対し１つの画素値を計算する領域を設け、
前記圧縮符号化部は、前記フレームの平面において前記画素のまとまりを表した画素マップに基づき前記画質低下の許容度を変化させることを特徴とする請求項１から９のいずれかに記載の画像データ転送装置。
前記画像生成部は、前記フレームの平面において、前記動画像に対するユーザの注視点からの距離に応じて解像度を異ならせることを特徴とする請求項８から１０のいずれかに記載の画像データ転送装置。
前記圧縮符号化部は、前記フレームの平面における、前記動画像に対するユーザの注視点からの距離に応じて、前記画質低下の許容度を変化させることを特徴とする請求項１から１１のいずれかに記載の画像データ転送装置。
前記レート制御マップ記憶部は、前記動画像の表示先のヘッドマウントディスプレイに対応づけて、当該ヘッドマウントディスプレイが備える接眼レンズの光学パラメータに基づき生成された前記レート制御マップを格納することを特徴とする請求項７に記載の画像データ転送装置。
前記圧縮符号化部は、前記フレームのデータを仮に圧縮符号化し、その結果得られる前記圧縮単位ごとのデータサイズの見積もり値に基づき、前記レート制御マップを補正することを特徴とする請求項１から１３のいずれかに記載の画像データ転送装置。
前記圧縮符号化部は、前記フレームを低解像度化したうえで、仮の圧縮符号化を行うことにより前記見積もり値を取得することを特徴とする請求項１４に記載の画像データ転送装置。
前記圧縮符号化部は、各圧縮単位における一部領域をサンプル領域として仮の圧縮符号化を行うことにより、前記見積もり値を取得することを特徴とする請求項１４に記載の画像データ転送装置。
前記圧縮符号化部は、前記レート制御マップに基づき、各圧縮単位におけるサンプル領域の数を異ならせることを特徴とする請求項１６に記載の画像データ転送装置。
請求項８から１１のいずれかに記載の画像データ転送装置と、
前記画像データ転送装置がストリーミング転送した動画像のデータを取得し表示させる画像処理装置と、を含み、
前記画像処理装置は、
前記画像生成部がフレームの描画において採用した、前記フレームの平面における解像度の分布を表すマップを、当該フレームのデータとともに取得する画像データ取得部と、
前記フレームのデータを復号伸張したうえ、前記マップに基づき、一律な解像度のデータに変換する復号伸張部と、
を備えたことを特徴とする画像表示システム。
請求項１０に記載の画像データ転送装置と、
前記画像データ転送装置がストリーミング転送した動画像のデータを取得し表示させる画像処理装置と、を含み、
前記画像処理装置は、
前記画像生成部がフレームの描画において採用した前記画素マップを、当該フレームのデータとともに取得する画像データ取得部と、
前記フレームのデータを復号伸張したうえ、前記画素マップに基づき、一律な解像度のデータに変換する復号伸張部と、
を備えたことを特徴とする画像表示システム。
請求項２から４のいずれかに記載の画像データ転送装置と、
前記画像データ転送装置がストリーミング転送した動画像のデータを取得し表示させる画像処理装置と、を含み、
前記画像処理装置は、
前記圧縮符号化部が採用した、前記圧縮単位の圧縮符号化順を表す処理順マップを、前記部分画像のデータとともに取得する画像データ取得部と、
前記部分画像のデータを前記圧縮単位ごとに復号伸張したうえ、本来の画像上の順序に戻す復号伸張部と、
を備えたことを特徴とする画像表示システム。
表示対象の動画像を描画するステップと、
前記動画像を構成するフレームの平面を分割してなる圧縮単位ごとに、データサイズの累積値に基づくフィードバック制御により圧縮符号化後のデータサイズの目標値を設定し、圧縮率を調整しながら前記動画像のデータを圧縮符号化するステップと、
圧縮符号化された動画像のデータをストリーミング転送するステップと、
を含み、
前記圧縮符号化するステップは、前記圧縮単位ごとに画質低下の許容度を設定したレート制御マップを参照し、前記画質低下の許容度に対応するように、前記データサイズの目標値を設定するとともに、前記画質低下の許容度に応じて、前記圧縮単位の圧縮符号化順を決定することを特徴とする画像データ転送装置による画像データ転送方法。
表示対象の動画像を描画する機能と、
前記動画像を構成するフレームの平面を分割してなる圧縮単位ごとに、データサイズの累積値に基づくフィードバック制御により圧縮符号化後のデータサイズの目標値を設定し、圧縮率を調整しながら前記動画像のデータを圧縮符号化する機能と、
圧縮符号化された動画像のデータをストリーミング転送する機能と、
をコンピュータに実現させ、
前記圧縮符号化する機能は、前記圧縮単位ごとに画質低下の許容度を設定したレート制御マップを参照し、前記画質低下の許容度に対応するように、前記データサイズの目標値を設定するとともに、前記画質低下の許容度に応じて、前記圧縮単位の圧縮符号化順を決定することを特徴とするコンピュータプログラム。