JP2005045357A

JP2005045357A - リモートディスプレイプロトコル、映像表示システム及び端末装置

Info

Publication number: JP2005045357A
Application number: JP2003200494A
Authority: JP
Inventors: Masaya Umemura; 雅也梅村; Atsushi Hara; 原　　敦; Kazue Hiroi; 和重廣井; Kazuo Shigematsu; 和男重松; Masayuki Hanaoka; 誠之花岡
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2003-07-23
Filing date: 2003-07-23
Publication date: 2005-02-17
Also published as: CN1578452A; KR100561154B1; US20050021810A1; KR20050012098A

Abstract

【課題】リモートディスプレイ技術において、表示を行う端末装置側で再生動画のフレームレートの低下を防ぎ、簡便な構成下で再生を行うことが可能な技術の提供。
【解決手段】サーバ側または端末装置側のいずれか一方または両方に、ルータ付き描画エンジンを備え、サーバ側が、窓と該窓の装飾を仮想ＶＲＡＭに描画し、該描画したデータの差分を計算し、前処理としての第１のデコード処理を行い、該第１のデコード処理で得られた中間データに描画位置情報を付加して動画ストリームデータを端末装置側に送信し、該端末装置側では、受信データに対し、後処理としての第２のデコード処理を行い、上記描画位置情報に従って描画し表示する構成とする。
【選択図】図１

Description

【０００１】
【発明の属する技術分野】
本発明は、サーバに格納ないし、サーバで生成した表示データをクライアント側等の端末装置側で表示するためのリモートディスプレイ技術に関する。
【０００２】
【従来の技術】
本発明に関連した従来技術としては、例えば特開２００１−２５１５９４号公報（特許文献１）に記載されたものがある。該公報には、専用ソフトウェアを用いずに、セキュリティを確保しつつ、遠隔地のコンピュータ端末の画面を閲覧できるようにするために、コンピュータ端末のディスプレイに表示されたＲＧＢ画像信号をＮＴＳＣ信号に変換し、入力した該変換出力であるＮＴＳＣ信号を改めてＲＧＢ画像データに変換し、ＭＰＥＧ画像コーデック／デコーデック部により符号化するとともに、電話機からの音声信号を音声信号符号／復号化部により符号化し、これらＭＰＥＧ画像コーデック／デコーデック部の出力と音声信号符号／復号化部の出力とを多重化し該多重化信号をネットワークに送出する技術が記載されている。
【０００３】
【特許文献１】
特開２００１−２５１５９４号公報
【０００４】
【発明が解決しようとする課題】
例えば上記公報記載の上記従来技術では、コンピュータ端末が表示するデータは、外付けのハードウェアにおいて、ＲＧＢ画像データに変換し、ＭＰＥＧ画像コーデック／デコーデック部により符号化されＭＰＥＧ画像データとして送信され、受信した遠隔地の端末装置において再度ＲＧＢ画像データに復号しディスプレイに表示する。
該コンピュータ端末で表示するデータがＭＰＥＧ画像データである場合、該コンピュータ端末ではＭＰＥＧ画像データを復号しＲＧＢ画像データを得、該外付けのハードウェアにおいてＲＧＢ画像データを符号化してＭＰＥＧ画像データを得、該遠隔地の端末装置においてＭＰＥＧ画像データを復号しＲＧＢ画像データを得と云う、復号、符号化、復号と３回の処理を要している。
【０００５】
本発明の課題は、サーバに格納ないし、サーバで生成した表示データをクライアント側等の端末装置側で表示するリモートディスプレイ技術において、上記従来技術で３回の処理のうち符号化を省略し、（１）サーバ側と遠隔地の端末での復号により動画再生を可能とすること、（２）サーバ側、遠隔地の端末装置側各々の処理量を削減することで、遠隔地の端末装置側で、再生動画のフレームレートの低下を防ぐことができるようにすること、などである。
本発明の目的は、上記課題を解決できる技術の提供にある。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、本発明のリモートディスプレイプロトコルとこのプロトコルで表示データを伝送するサーバ側または端末装置側は、いずれか一方または両方に、ルータ付き描画エンジンを備える。
（１）本発明のリモートディスプレイプロトコルは従来のリモートディスプレイプロトコルと同様に、サーバ側が、窓と該窓の装飾を仮想ＶＲＡＭに描画し、該描画したデータの差分を計算し、描画位置情報を付加して端末装置側に送信し、該端末装置側では、受信データをデコードし、上記描画位置情報に従って描画し表示する。
（２）本発明のリモートディスプレイプロトコルは、サーバ側が、該窓の中に表示すべきＲＧＢ画像データがサーバ中に格納されたＭＰＥＧ画像データの場合、このＭＰＥＧ画像データをＲＧＢ画像データに復号しない。代わりに、前処理としての第１のデコード処理を行い、該第１のデコード処理で得られた中間データに描画位置情報を付加して動画ストリームデータとし、この動画ストリームデータを端末装置側に送信する。該端末装置側では、受信した動画ストリームデータに対し、後処理としての第２のデコード処理を行い、上記描画位置情報に従って描画し表示する。すなわち、サーバは、例えばＭＰＥＧ−４のフルデコードは行わずにデコーダ処理の一部だけを行い、残りのデコーダ処理を、例えばクライアント側の端末装置で行いＶＲＡＭに書き込んで表示する。
【０００７】
（３）本発明のリモートディスプレイプロトコルは、第１、第２の端末装置間で映像を第２の端末装置から第１の端末装置に伝送して第１の端末装置で表示する映像表示システムにおいて、第１の端末装置が、自己の第１の描画エンジンのリソースに関する情報を上記第２の端末装置に通知する。この通知を持って第２の端末装置が、該通知された第１の描画エンジンのリソースに関する情報に基づき、自己の第２の描画エンジンのリソースに関する情報と比較し、該比較結果に基づいて上記第１の描画エンジンのリソースの一部を利用せずに、代わりに、上記第２の描画エンジンのリソースにより処理した中間段階のデータを送信し、上記第１の端末装置は、利用しないリソースの処理を代行する形で、元のＭＰＥＧ画像データを該第１のデコード処理を行い中間データである動画ストリームデータを生成し伝送し、映像を再生する。
（４）動画ストリームデータを送受信可能な端末装置として、撮影した映像、受信した映像または読み出した映像を、該端末装置が具備するＣＰＵで中間データまでエンコードして送信し、受信した動画ストリームデータを、描画エンジンにおいてデコードする構成とする。
【０００８】
【発明の実施の形態】
以下、本発明の実施例につき、図面を用いて説明する。
図１〜図１０は本発明の実施例の説明図である。図１は、本発明のルータ付き描画エンジンを搭載したコンピュータの基本構成図、図２は、本発明のリモートディスプレイ転送方式によるＭＰＥＧ−４の再生時の処理の説明図、図３は、本発明におけるサーバと端末装置とを示す図、図４は、図３のサーバと端末装置との通信状態を示す図、図５は、携帯型端末装置の表示内容をパソコン（以下、ＰＣという）画面上に表示した場合の表示例を示す図、図６は、携帯型端末装置の表示内容をテレビ（以下、ＴＶという）画面上に表示した場合の表示例を示す図、図７は、ＤＶＤプレーヤの再生画面を携帯型端末装置の画面上に表示した場合の表示例を示す図、図８は、本発明のルータ付き描画エンジンを搭載した液晶コントローラチップの構成例を示す図、図９は、本発明のルータ付き描画エンジンを搭載したシステム液晶の例を示す図、図１０は、ルータ付き描画エンジンを搭載しないコンピュータの構成例図である。
【０００９】
図１において、１はルータ付き描画エンジン、１０は描画エンジン、１１はルータ、１２はＶＲＡＭ、１３は、無線ＬＡＮモジュール等のベアラチップ、１４は液晶コントローラ、１５は液晶表示部、２０はＣＰＵ、２１はノースブリッジ、２２は主記憶部、２３はＩ／Ｏ、２４はＩ／Ｏとしてのカメラ、２５はＩ／Ｏとしてのストレージ、３は端末装置としてのコンピュータである。
【００１０】
ノースブリッジ２１には、ＣＰＵ２０、主記憶部２２、Ｉ／Ｏ２３、カメラ２４、ストレージ２５などが接続される。該Ｉ／Ｏ２３、カメラ２４、ストレージ２５はＩ／Ｏバスを介し該ノースブリッジ２１に接続される。グラフィックバスにはルータ付き描画エンジン１が接続される。ルータ付き描画エンジン１は、描画エンジン１０とルータ１１から構成される。描画エンジン１０にはＶＲＡＭ１２が接続され、該ＶＲＡＭ１２は、フレームメモリ、演算用メモリ、通信バッファとして利用される。ルータ１１にはノースブリッジ２１と描画エンジン１０とベアラチップ１３とが接続され、該ルータ１１は、これらの間にあって情報のやり取りを行う。すなわち、該ルータ１１は、ＣＰＵ２０から描画エンジン２０ないしＶＲＡＭ１２へのＰＩＯアクセス、ベアラチップ１３の主記憶部２２へのＤＭＡアクセス、描画エンジン１０のベアラ１３へのＩ／Ｏ間転送の中継などを行う。描画エンジン１０にはさらに、液晶コントローラ１４が接続され、該液晶コントローラ１４が、フレームメモリのビットマップデータを読み出して液晶表示部１５側に出力する。液晶表示部１５では該ビットマップデータに基づき画像表示を行う。
【００１１】
図２は、本発明のリモートディスプレイ転送方式によるＭＰＥＧ−４の再生におけるサーバとクライアント側端末装置の処理動作の説明図である。
本発明のリモートディスプレイ転送方式には、ＭＰＥＧストリーミング方式（図２（ｂ））とデコード処理分散方式（図２（ｃ））とがある。ＭＰＥＧストリーミング方式では窓描画を仮想ＶＲＡＭに行い、差分エンコードし、ＭＰＥＧ−４のストリーミングデータと併せてクライアント側端末装置に送信する。クライアント側端末装置は、上記差分エンコードされた窓のデータをデコードし、ＭＰＥＧ−４のデータをデコードし、個別にデコードしたデータを合わせて表示する。また、デコード処理分散方式では、上記ＭＰＥＧストリーミング方式がクライアント側端末装置で行っていたＭＰＥＧ−４のデコードを、前処理と後処理とに分け、前処理をサーバで行うようにする。該前処理の結果により得られたデータには、付帯情報をタグとして付加し、中間データとしてクライアント側端末装置側に送信する。クライアント側端末装置では、受信した差分エンコードされた窓のデータをデコードし、中間データをタグに従って後処理してＭＰＥＧ−４のデコードを完了し、個別にデコードしたデータを合わせて表示する。タグ情報は、後処理に必要なＭＰＥＧ−４のパラメータ、例えば量子化係数やマクロブロックの通し番号または表示位置と、次になされるべき処理、例えばマクロブロックまで切り出したデータのｉＤＣＴ（逆離散コサイン変換）などを示す。
【００１２】
次に、情報端末間のリモートディスプレイプロトコルとその動作、特に本発明のリモートディスプレイ転送方式のデコード処理分散方式による描画エンジンの連携処理につき述べる。
図３は、本発明におけるサーバと端末装置を示す図、図４は、図３のサーバと端末装置との通信状態を示す図である。
図３において、３ａはサーバ（サーバ情報端末）、３ｂはクライアント側端末装置である。また、図４において、４０１は各情報端末における描画、４０２は、サーバ３ａとクライアント側端末装置３ｂ間のリモートディスプレイプロトコル、４０３は、サーバ３ａからクライアント側端末装置３ｂの描画エンジン１０ｂへのコマンド、４０４は、サーバ３ａからクライアント側端末装置３ｂへの動画ストリームの配信（流し込み）と描画、４０５は、サーバ３ａの命令によるクライアント側端末装置３ｂのＶＲＡＭ１２ｂ上でのＢｉｔＢｌｔ処理、４０６は、サーバの命令によるサーバ３ａの主記憶部２２ａからクライアント側端末装置３ｂのＶＲＡＭ２２ｂへのメモリコピー、４０７は、サーバ３ａの命令によるサーバ３ａのＶＲＡＭ１２ａからクライアント側端末装置３ｂのＶＲＡＭ１２ｂへのメモリコピー、４０８は、サーバ３ａ側の描画エンジン１０ａによる中途デコード（中間段階のデータ生成）とクライアント側端末装置３ｂへの配信とクライアント側端末装置３ｂの描画エンジン１０ｂによるデコードと表示、４０９は、サーバ３ａの描画エンジン１０ａによるサーバ３ａ側のＶＲＡＭ１２ａに格納されているデータの処理とクライアント側端末装置３ｂのＶＲＡＭ１２ｂへの書き込みと表示である。
【００１３】
図３、図４において、サーバ３ａとクライアント側端末装置３ｂは、無線ＬＡＮであるベアラチップ１３ａ、１３ｂ間の通信を行う。サーバ３ａはリモートディスプレイプロトコル４０２で、解像度と色数の情報をクライアント側端末装置３ｂに送ることでセッションを確立する。セッション開始直後、サーバ３ａはクライアント側端末装置３ｂの描画エンジン１０ｂの型番とＶＲＡＭ１２ｂの容量等の情報などを取得し、サーバ３ａの描画エンジン１０ａで肩代わり可能な処理を割り出す。
【００１４】
サーバ３ａとクライアント側端末装置３ｂは、クライアント側端末装置３ｂがリモートディスプレイプロトコル４０２で解像度と色数、キーボード等入力機器（Ｉ／Ｏ２３ｂ）の情報をサーバ３ａに送ることでセッションを確立し、サーバとクライアントの間の関係を確立する（４０２）。
サーバ３ａのＣＰＵ２０ａは、クライアント側端末装置３ｂの描画エンジン１０ｂに描画領域の設定を行い、応答を得（４０３）、引き続き、セッション確立時に要求された解像度と色数でウィンドウを開き、ボタン等のデコレーションを行う。
サーバ３ａはＭＰＥＧ−４等の動画ストリームデータを直接クライアント側端末装置３ｂの描画エンジン１０ｂに送り、該描画エンジン１０ｂはこれをデコードし、液晶表示部１５ｂが表示を行う（４０４）。
【００１５】
サーバ３ａのＩ／Ｏ２３ｂのウィンドウ操作で表示位置に変更があると、サーバ３ａのＣＰＵ２０ａはクライアント側端末装置３ｂの描画エンジン１０ｂにＢｉｔＢｌｔコマンドを送る。描画エンジン１０ｂはＢｉｔＢｌｔコマンドに従い、ＶＲＡＭ１２ｂ上のデータを読み出して演算し、指定アドレスに書き込むことで、液晶１５ｂに表示されていたウィンドウないしウィンドウペイン上のオブジェクトは表示位置を変える（４０５）。
サーバ３ａはＣＰＵ２０ａがフォントを指定したサイズとスタイルで主記憶部２２ａに展開したビットマップデータをクライアント側端末装置３ｂのＶＲＡＭ１２ｂに書き込むことで文字情報を表示する（４０６）。
サーバ３ａは、ＶＲＡＭ１２ａに格納されているサムネイル画像やアイコンの読み出しをクライアント側端末装置３ｂの描画エンジン１０ｂに命令し、描画エンジン１０ｂは、該命令に従いＶＲＡＭ１２ａの指定されたアドレスのデータを読み出してＶＲＡＭ１２ｂに書き込み表示する（４０７）。
【００１６】
また、ＣＰＵ２０ａは、別プロセスでカメラ２４ａの動画をエンコードし主記憶部２２ａに書き込んだ動画ストリームデータを、クライアント側端末装置３ｂに配信する。サーバ３ａのＣＰＵ２０ａは、描画エンジン１０ａとクライアント側端末装置３ｂの描画エンジン１０ｂとに対して再生を命令し、それぞれ、描画エンジン１０ａは、一部デコードを行い中間段階のデータを生成して描画エンジン１０ｂに送信する。該データを受信した描画エンジン１０ｂは、残りのデコードを行い、ＶＲＡＭ１２ｂに書き込み、液晶表示部１５ｂに表示する（４０８）。中間段階のデータは例えばＭＰＥＧ−４のブロック単位のデータで、描画エンジン１０ｂは最後のｉＤＣＴ（逆離散コサイン変換）のみを行う。
【００１７】
また、サーバの３ａのＣＰＵ２０ａは、既に液晶表示部１５ａに表示している情報を、クライアント側端末装置３ｂの液晶表示部１５ｂに表示させるため、描画エンジン１０ａに命令を出す。該描画エンジン１０ａは、クライアント側端末装置の３ｂの描画エンジン１０ｂに対し命令（指定アドレスへの書込み／上書き禁止）を転送する。描画エンジン１０ａはＶＲＡＭ１２ａ上のデータ、例えば３Ｄ画像のポリゴン処理とレンダリングを処理し、ビットマップデータを生成し、クライアント３ｂのＶＲＡＭ１２ｂに書き込み表示する。
一連のＣＰＵ２０ａの命令により、動画ストリームや３Ｄ表示において描画エンジン１０ａ、１０ｂが連携してデータを処理し表示する。
【００１８】
次に、携帯電話機等携帯型端末装置と、ＰＣやＴＶやＤＶＤプレーヤとの間で動画ストリームの配信とデコードと表示を行う場合につき述べる。
図５は、携帯型端末装置の表示内容をＰＣ画面上に表示した場合の表示例、図６は、携帯型端末装置の表示内容をＴＶ画面上に表示した場合の表示例、図７は、ＤＶＤプレーヤの再生画面を携帯型端末装置の画面上に表示した場合の表示例を示す。
図５において、３０は携帯型端末装置の表示画面、４０は、携帯型端末装置の表示内容を表示するＰＣの画面を示し、図６において、５０は携帯型端末装置の表示内容を表示するＴＶ画面を示し、図７において、６０はポータブルＤＶＤプレーヤの表示画面、３０は、ポータブルＤＶＤプレーヤと携帯型端末装置が連携してデコードしたＤＶＤのコンテンツを表示する携帯型端末装置の画面を示す。
【００１９】
図５において、利用者は直前まで携帯型端末装置でテレビ電話通話を行っているとする。携帯型端末装置は、描画エンジンに無線ＬＡＮのモジュールが接続され周囲のＰＣと通信が可能なようになっているとする。利用者は携帯型端末装置と周囲のＰＣとの間で、リモートディスプレイプロトコルでセッションの確立を行う。セッションが確立されるとＰＣの画面４０の一部に携帯型端末装置の画面３０が現れる。以後は、携帯型端末装置の画面３０だけでなく、より大きく広いＰＣの画面４０を見ながらテレビ電話通話を行うことができる。
セッション確立前に、携帯型端末装置の描画エンジンは、動画のエンコードとデコードを行っている。携帯型端末装置にはＰＣのような大画面に対応するＶＲＡＭがない。このため、セッション確立後は、ＰＣに動画データを送り、該ＰＣがデコードとエンラージ処理を行って拡大表示を実現する。携帯型端末装置の上下左右の方向キーを押すことで、ＰＣに映る携帯型端末装置の表示は、ＰＣの画面４０上で上下左右に移動する。
セッション確立後もＰＣのＯＳまたはデバイスドライバは、リモートディスプレイプロトコルにより携帯型端末装置に対しキーマップを送り、例えばキーボードのテンキーを携帯型端末装置の仮想Ｉ／Ｏにキーバインディングする。以後、セッションが継続する間、ＰＣのキーボードでダイヤリング等が可能となる。
【００２０】
図６において、利用者は直前まで携帯型端末装置によってテレビ電話通話を行う。携帯型端末装置にはルータ付き描画エンジンが搭載され、該描画エンジンには無線ＬＡＮのモジュールが接続されているものとする。利用者の周囲のＴＶまたはＴＶに接続されているＳＴＢ（セットトップボックス）にもルータ付き描画エンジンが搭載され、利用者の携帯型端末装置と通信が可能であるとする。利用者は携帯型端末装置と周囲のＳＴＢ間で、リモートディスプレイプロトコルによりセッションの確立を行う。セッションが確立するとＴＶの画面５０の一部に携帯型端末装置の画面３０が現れ、以後、携帯型端末装置の画面３０だけでなく、より大きく広いＴＶの画面５０を見ながらテレビ電話通話を行う。このセッションでは、ＳＴＢはＭＰＥＧ−２のプログラムストリームとトランスポートストリームの再生には対応しているがＭＰＥＧ−４の再生には対応していない。そのため、携帯型端末装置はＭＰＥＧ−４のストリームについて逆量子化、動きベクトルのデコードを行い中間段階のデータを生成しＳＴＢに送付する。ＳＴＢは逆量子化後のブロック単位のデータを逆離散コサイン変換でビットマップデータに変換し、また、動きベクトルに従ってメモリ読み出しと演算を行い、動画再生を実現する。携帯型端末装置の上下左右の方向キーを押すことで、テレビ画面５０に映る携帯型端末装置の表示３０はテレビの画面５０上で上下左右に移動する。
携帯型端末装置側からセッションを確立後、リモートディスプレイプロトコルにより、ＳＴＢのＯＳがテレビ画面５０上に表示するソフトキーボードに対応するキーマップを携帯型端末装置に対して送り、携帯電話の仮想Ｉ／Ｏにキーバインディングする。以後、セッションが継続する間、ＴＶの画面５０上にソフトキーボードを表示し、ソフトキーボードでのダイヤリング等が可能となる。
【００２１】
図７においても、利用者の携帯型端末装置にはルータ付き描画エンジンが搭載され、該描画エンジンには無線ＬＡＮのモジュールが接続されているとする。利用者の周囲のＤＶＤプレーヤまたは該ＤＶＤプレーヤが接続されたＳＴＢ（セットトップボックス）も、ルータ付き描画エンジンが搭載され、利用者の携帯型端末装置と通信可能であるとする。利用者は、携帯型端末装置と周囲のＳＴＢ間でリモートディスプレイプロトコルによりセッションの確立を行う。セッションが確立されると、ＤＶＤで再生する画像や再生開始時のトップメニューなどが表示画面６０に映る。ほぼ同時に、ＤＶＤプレーヤやＳＴＢに搭載されている描画エンジンが画像の縮小処理を行い、例えば、５２５ｉの６４０×３２０の画像をＱＣＩＦサイズに、また、フレームレートを１５フレーム／秒に変換し、無線ＬＡＮを通じて携帯型端末装置に送信する。利用者は携帯型端末装置の画面３０上のアイコンに対応付けられたボタンやキーを押して再生の制御を行う。
【００２２】
さらに、携帯型端末装置の十字方向のボタンやキーのマッピング情報は、リモートディスプレイプロトコルでセッションを確立する際に、携帯型端末装置とＤＶＤプレーヤ間で交換し登録される。このため、ＢＭＬ記述されたＤＶＤのメニュー画面を携帯型端末装置の例えば十字方向のボタンまたはキーを押下することで切り換えて選択し、対応する動作をＤＶＤプレーヤに指示する。
【００２３】
本構成で、ＤＶＤプレーヤが前処理としてＭＰＥＧ−２固有の処理を行うことで、携帯型端末装置は、ＭＰＥＧ−２、ＭＰＥＧ−４で共通の処理のみを行えばよくなり、ＭＰＥＧ−４の再生しかできない携帯型端末装置でＭＰＥＧ−２の再生が可能となる。
【００２４】
上記図１〜図７で説明した実施例によれば、従来のリモートディスプレイ転送方式では低フレームレートとなっていたＭＰＥＧ−４等のストリーミング再生の高速化、高フレームレート化が可能となる。また、サーバ側では、ＭＰＥＧ−４ストリーミングデータのデコードと差分エンコードが不要となり、主記憶部の容量とＣＰＵの負荷の軽減化が可能となる。また、主記憶部を実態とする仮想ＶＲＡＭへのメモリアクセス頻度を低減でき、メモリバスの占有時間の低減、キャッシュメモリのコンテキストスイッチの動作回数の削減などが可能となり、ＣＰＵで実行する他の処理への影響も減り、該他の処理の実行時間の短縮化も可能となる。さらに、サーバとクライアント側端末装置で、ルータ付き描画エンジンにより、ＭＰＥＧ−４のデコード処理を前処理と後処理に切り分けることで、サーバとクライアント側端末装置の負荷バランスをとることができる。また、前処理の処理量を増やすことで、処理性能が低いクライアント側端末装置での動画再生が可能となる。また、例えば、前処理をＭＰＥＧ−４固有の処理、後処理をＭＰＥＧ−２、ＭＰＥＧ−４で共通の処理とすることで、ＭＰＥＧ−２の再生しかできない端末でもＭＰＥＧ−４の再生が可能となる。
【００２５】
図８は、ルータ付き描画エンジンを搭載した液晶コントローラチップの構成例図である。
図８に示す液晶コントローラチップは、描画エンジン１０と液晶コントローラ１４が同一チップ内に設けられ、ＶＲＡＭ１２を共有する。かかる構成により、従来、液晶コントローラと描画エンジンが個別に持っていた作業領域用ＲＡＭの容量が削減できる。また、液晶コントローラ１４によるＶＲＡＭ１２の読み出しタイミングが既知で、ベアラチップ１３やＣＰＵ２０、描画エンジン１０の読み出し／書き込みについてスケジューリングが容易となる。
【００２６】
図９は、本発明のルータ付き描画エンジンを搭載したシステム液晶の構成例図である。
図９において、システム液晶は、液晶表示部１５の液晶パネル（図示なし）の裏に、描画エンジン１０、ルータ１１及び液晶コントローラ１４が液晶駆動ＬＳＩ（図示なし）とともに搭載される。液晶駆動ＬＳＩでは、ＶＲＡＭ１２の書き換えの有無や、書き換えのあった領域なども容易に判定できるため、書き換えがなかった領域では表示内容の変更を行わない。特に、ＭＰＥＧ−１、２のｐフレームやｂフレーム、ＭＰＥＧ−４のｐＶＯＰやｂＶＯＰでは、ストリーム中のマクロブロックはその位置情報が指し示す領域に描画され、表示領域中マクロブロックが描画されない領域は書き換えを行わず、１画面前つまり１つ前のフレームデータを保持し表示する。
ＶＲＡＭ１２と表示領域の各画素は液晶駆動ＬＳＩが把握しているため、書き換えがないと表示内容の変更をしない。表示内容の変更がない場合は余分な処理や電力の消費を回避することができる。また、ベアラチップ１３より直接、ＶＲＡＭ１２に対してはビットマップデータが、描画エンジン１０に対してはコマンドやＭＰＥＧ等の動画ストリームが流し込まれるため、高速描画や高速表示が可能となる。
【００２７】
図１０は、上記本願発明の比較説明図であって、ルータ付き描画エンジンを搭載しないコンピュータの基本構成例（（ａ））とその動作（（ｂ））を示す図である。
図１０の構成のコンピュータでサーバとクライアント側端末装置によるリモートディスプレイを構成した場合、サーバでは、窓描画とデコードの処理結果を、仮想ＶＲＡＭに割り当てた主記憶部２２に書き込み、その後差分計算を行ってクライアント側端末装置に送信し、クライアント側端末装置は、差分デコードの結果、窓と動画ストリームを表示する（図２（ａ））。サーバ中では、例えば、ＣＰＵ２０ｐにはノースブリッジ２１ｐが接続され、主記憶部２２ｐとＰＣＩバスにＷｉｒｅｌｅｓｓＬＡＮ等のベアラチップ２６ｐが接続され、ビデオカードに描画エンジン１０ｐが搭載され、該描画エンジン１０ｐは、ＡＧＰバスを介しノースブリッジ２１ｐに接続される。クライアント側端末装置の表示サイズと色数に基づいた仮想ＶＲＡＭをサーバ側で用意し、該サーバは仮想ＶＲＡＭへの描画を行う。仮想ＶＲＡＭには表示サイクル（読み出しサイクル）が存在し、該表示サイクルが１サイクル進む毎に仮想ＶＲＡＭの描画データの差分を計算し該差分データをクライアント側端末装置に送信することでクライアント側端末装置の描画を行う。
【００２８】
動画データの再生では、例えばＭＰＥＧ−４の場合、サーバ（パソコン４）は、ＭＰＥＧ−４のデコードを行い、主記憶部２２ｐ上の仮想ＶＲＡＭに描画を行う。該仮想ＶＲＡＭにも、ＭＰＥＧ−４のフレームレートとは独立してかつ無関係に表示サイクルが存在し、ＭＰＥＧ−４デコード中も表示サイクルが１サイクル進む毎に、ＣＰＵ２０ｐは主記憶部２２ｐ上の仮想ＶＲＡＭの描画データの差分を計算し（５０４）、該差分データを、ベアラチップ２６ｐを介しクライアント側端末装置に送信する（５０５）ことでクライアント側端末装置の描画を行う。
【００２９】
また、一部のグラフィックワークステーションでは、ＡＧＰに接続されたビデオカードでレンダリングやデコードしたデータを引き戻す機能を利用し、ＭＰＥＧ−４のデコードを、ＣＰＵ２０ｐに替わって描画エンジン１０ｐが行い（５０２）、ＶＲＡＭ１２ｐに一旦格納し、改めてＡＧＰバス経由で主記憶部２２ｐに引き戻し（５０３）、ＣＰＵ２０ｐは、主記憶部２２ｐ上の仮想ＶＲＡＭの描画データの差分を計算し（５０４）、該差分データをベアラチップ２６ｐを介しクライアント側端末装置に送信する（５０５）。
【００３０】
上記図１０の構成では、リモートディスプレイ転送方式でＭＰＥＧ−４の再生を行うとき、サーバ側でデコードし改めて差分デコードを行うため、処理のオーバヘッドが大きくなる。このため、クライアント側端末装置では２フレーム毎秒程度の低フレームレートでしか再生ができなくなるおそれがある。上記図１〜図９で説明した本願発明によればこの点も解決することができる。
【００３１】
上記図１〜図９で説明した実施例構成によれば、クライアント側端末装置で、外付けのハードウェアを不要にするなど簡便な構成下で動画再生を行うことができる。また、再生動画のフレームレートの低下も防ぐことができる。
【００３２】
【発明の効果】
本発明によれば、リモートディスプレイ技術において、端末装置側で、簡便な構成下で動画再生を行うことができる。また、再生動画のフレームレートの低下も防ぐことができる。
【図面の簡単な説明】
【図１】本発明のルータ付き描画エンジンを搭載したコンピュータの基本構成図である。
【図２】本発明のリモートディスプレイ転送方式によるＭＰＥＧ−４の再生時の処理の説明図である。
【図３】本発明におけるサーバと端末装置とを示す図である。
【図４】図３のサーバと端末装置との通信状態を示す図である。
【図５】携帯型端末装置の表示内容のＰＣ画面上への表示例を示す図である。
【図６】携帯型端末装置の表示内容のＴＶ画面上への表示例を示す図である。
【図７】ＤＶＤプレーヤの再生画面の携帯型端末装置の画面上への表示例を示す図である。
【図８】本発明のルータ付き描画エンジンを搭載した液晶コントローラチップの構成例を示す図である。
【図９】本発明のルータ付き描画エンジンを搭載したシステム液晶の例を示す図である。
【図１０】ルータ付き描画エンジンを搭載しないコンピュータの構成例図である。
【符号の説明】
１、１ａ、１ｂ…ルータ付き描画エンジン、３…コンピュータ、３ａ…サーバ、３ｂ…クライアント側端末装置、１０、１０ａ、１０ｂ…描画エンジン、１１…ルータ、１２、１２ａ、１２ｂ…ＶＲＡＭ、１３、１３ａ、１３ｂ…ベアラチップ、１４、１４ａ、１４ｂ…液晶コントローラ、１５、１５ａ、１５ｂ…液晶表示部、２０、２０ａ、２０ｂ…ＣＰＵ、２１、２１ａ、２１ｂ…ノースブリッジ、２２…主記憶部、２３、２３ａ、２３ｂ…Ｉ／Ｏ、２４、２４ａ、２４ｂ…カメラ、２５、２５ａ、２５ｂ…ストレージ。

Claims

サーバに格納またはサーバで生成した動画ストリームデータを端末装置側で表示するためのリモートディスプレイプロトコルであって、
上記サーバは、窓と該窓の装飾を仮想ＶＲＡＭに描画し、該描画したデータの差分を計算し、前処理としての第１のデコード処理を行い、該第１のデコード処理で得られた中間データに描画位置情報を付加して上記端末装置側に送信し、
上記端末装置は、上記動画ストリームデータを受信後、後処理としての第２のデコード処理を行い、上記描画位置情報に従って上記窓の内部に描画し表示することを特徴とするリモートディスプレイプロトコル。
上記サーバは、上記中間データに上記第２のデコード処理に必要な情報をタグ付けして上記端末装置側に転送する構成である請求項１に記載のリモートディスプレイプロトコル。
上記タグ付けされる情報は、上記第１のデコード処理で得られたストリームデータのパラメータである請求項２に記載のリモートディスプレイプロトコル。
上記タグ付けされる情報は、上記第１のデコード処理で完了した処理の手順を識別する情報または上記第２のデコード処理で着手する処理の手順を識別する情報である請求項２に記載のリモートディスプレイプロトコル。
上記サーバと上記端末装置は、それぞれが具備する描画エンジンのリソースに関する情報を互いに交換可能な構成である請求項１に記載のリモートディスプレイプロトコル。
上記サーバ、上記端末装置のいずれか一方または両方は、上記交換した描画エンジンのリソースに関する情報に基づき上記第１のデコード処理、上記第２のデコード処理のいずれか一方または両方を行う請求項５に記載のリモートディスプレイプロトコル。
上記サーバは、上記第１のデコード処理で得られた中間データを上記端末装置側に送信する構成である請求項６に記載のリモートディスプレイプロトコル。
上記サーバは、セッション確立時に上記端末装置側に対し表示リソースの条件と確保を指示する構成である請求項１に記載のリモートディスプレイプロトコル。
上記端末装置は、セッション確立時に上記サーバに対し表示リソースの条件と入力手段の情報を開示する構成である請求項１に記載のリモートディスプレイプロトコル。
第１、第２の端末装置間で映像を送受信し表示する映像表示システムであって、
自己の第１の描画エンジンのリソースに関する情報を上記第２の端末装置側に通知する第１の端末装置と、
上記通知された第１の描画エンジンのリソースに関する情報に基づき、自己の第２の描画エンジンのリソースに関する情報と比較し、該比較結果に基づき上記第１の描画エンジンのリソースの一部を利用せず、代わりに、上記第２の描画エンジンのリソースにより上記処理を代行し、処理した中間段階のデータを送信する第２の端末装置と、
を備え、上記第１の描画エンジンのリソースの一部を停止した上記第１の端末装置は、停止していないリソースにより中間段階のデータを処理して映像を再生することを特徴とする映像表示システム。
上記第１、第２の描画エンジンのリソースに関する情報が、該描画エンジンの支配下にあるメモリの情報である請求項１０に記載の映像表示システム。
上記第１、第２の描画エンジンのリソースに関する情報が、該描画エンジンのリソースの動作周波数についての情報、該描画エンジンの演算器のファンクション毎の演算能力の情報、または該描画エンジンの製造者と描画エンジンの型式についての情報である請求項１０に記載の映像表示システム。
複数の端末装置間で映像を送受信し表示する映像表示システムであって、
上記端末装置はそれぞれ、ホストＣＰＵ、描画エンジン、複数のベアラチップ、記憶装置及び入出力装置を具備し、該描画エンジンは、内部にルータを具備し上記複数のベアラチップと上記ホストＣＰＵとに接続されることを特徴とする映像表示システム。
上記複数の端末装置は、第１の端末装置が、自己のホストＣＰＵが用意した映像を、自己の第１の描画エンジンのルータと該第１の描画エンジンに接続されたベアラとを介して送信し、第２の端末装置が、自己の第２の描画エンジンに接続されたベアラで上記第２の端末装置からの映像を受信し、該受信した映像を、上記第１の描画エンジンのルータを介して該第１の描画エンジンに直接書き込む構成である請求項１３に記載の映像表示システム。
上記第１の端末装置のホストＣＰＵが用意した映像は、該ホストＣＰＵがエンコードした映像である請求項１４に記載の映像表示システム。
上記第１の描画エンジンは、該第１の描画エンジンのルータを経由して、該第１の描画エンジンに接続されたベアラにリードコマンドを送り、該ベアラは、該リードコマンドに従い、該第１の描画エンジンまたは該第１の描画エンジンが具備するＶＲＡＭから、該送信する映像を読み出す構成である請求項１４に記載の映像表示システム。
上記第２の描画エンジンに接続されたベアラが映像を受信すると、該第２の描画エンジンのルータは、該映像の先頭部分を解析し、転送先としての、上記第２の端末装置のＣＰＵ、主記憶部、または、該第２の描画エンジンもしくは該第２の描画エンジンが具備するＶＲＡＭに書き込む構成である請求項１４に記載の映像表示システム。
動画ストリームデータを送受信する端末装置であって、
撮影した映像、受信した映像または読み出した映像を、該端末装置が具備するＣＰＵでエンコードし、表示部の描画エンジンのコマンドないしデコードに要するリソースを表すオペコードを付加して送信し、受信したデータを、表示部の描画エンジンにおいて、上記コマンドないし上記オペコードに従いデコードすることを特徴とする端末装置。