JP2001512637A - オブジェクト指向オーディオ−ビジュアル端末及びビットストリーム構造 - Google Patents

Abstract

(57)【要約】 オブジェクト指向ビテオ又はオーディオ−ビジュアル（ＡＶ）端末で処理すべき情報として、オブジェクト指向ビットストリームは、オブジェクト、構成情報及びシーン境界画定情報を有する。このようなビットストリーム構成によって、オンライン編集、例えば、カット、ペースト、挿入／削除、グループ化及び特別な機能を実行することができる。編集を簡単にするために、ＡＶオブジェクト及びその構成情報を、個別の論理チャネル（ＬＣ）上で送信し及びその上にアクセスする。最初の表示時間を超える寿命をデコーダ中に有するオブジェクトは、選択した満了時間まで再使用のためにキャッシュされる。システムは、デマルチプレクサ（１）と、ＡＶ端末の動作を制御するコントローラ（２）と、入力バッファ（３）と、ＡＶオブジェクトデコーダ（４）と、復号化されたデータ用のバッファ（４’）と、コンポーザ（５）と、ディスプレイ（６）と、オブジェクトキャッシュ（７）とを有する。

Description

【発明の詳細な説明】 オブジェクト指向オーディオ−ビジュアル端末及びビットストリーム構造技術分野 本発明は、ビデオ及びオーディオ−ビジュアル情報、特にオブジェクト指向情 報の表現、送信、処理及び表示に関するものである。発明の背景 イメージ及びビデオ圧縮技術が開発されており、それは、波形符号化と異なり 、ハイレベル構造の視覚成分を取り出すことを試みるものである。このような構 成は構成「オブジェクト」に関して説明され、それは、よく知られた物理的なオ ブジェクト、例えば、ボール、テーブル、人、曲又は話されたフレーズを表す直 接的な視覚的な関連性を有する。オブジェクトは、各オブジェクトに対して最良 の品質を与える圧縮技術を用いて独立して符号化される。圧縮されたオブジェク トは、オブジェクトがシーン中のどの位置にあるかを端末に知らせる構成情報に 従って端末に送信される。端末は、オブジェクトを復号化し、かつ、構成情報に よって指定されたようにオブジェクトをシーン中に配置する。符号化利得の発生 に加えて、オブジェクト指向表示は、モジュール化、内容の再生、処理の容易化 、個々のイメージ成分とのインタラクションの容易化及びカメラで撮った自然の 成分とコンピュータで発生させた合成内容との統合に有利である。発明の要約 オブジェクト指向又はオーディオ−ビジュアル（ＡＶ）端末で処理すべき情報 に対する好適なアーキテクチャ、構造又はフォーマットにおいて、オブジェクト 指向ビットストリームは、オブジェクト、合成情報及びシーン境界画定情報を有 する。ビットストリーム構成によって、オンライン編集、例えば、カット及びペ ースト、挿入／削除、グループ化及び特別の機能を許容する。 編集の容易に関する好適なアーキテクチャにおいて、ＡＶオブジェクト及びそ の構成情報は、個別の論理チャネル（ＬＣ）上で送信され又はアクセスされる。 そのアーキテクチャによって「オブジェクト持続」を利用することもでき、これ によって、一部のオブジェクトが、最初の表示時間を超えた選択した満了時間ま での寿命をデコーダ中で有するという利点がある。図面の簡単な説明 図１は、オブジェクト指向オーディオ−ビジュアル端末の一例の機能図である 。 図２ａは、オブジェクト指向オーディオ−ビジュアル構成パケットの一例の線 形図である。 図２ｂは、オブジェクト指向オーディオ−ビジュアルデータパケットの一例の 線形図である。 図２ｃは、複合構成パケットの一例の線形図である。 図３は、構成を用いたノード及びシーン表現情報の一例の線形図である。 図４は、ストリーム−ノード関連情報の一例の線形図である。 図５は、シーンを用いたノード／グラフ更新情報の一例の線形図である。 図６は、オーディオ−ビジュアル端末設計の一例の線形図である。 図７は、図６による端末中のオーディオ−ビジュアルシステムコントローラの 一例の線形図である。 図８は、図７によるコントローラ中の情報の流れの一例の線形図である。詳細な説明 オーディオ−ビジュアル（ＡＶ）端末は、オーディオ−ビジュアル成分を形成 し、表現し又は表示する装置であるシステム構成要素である。これは、オーディ オ−ビジュアル情報が処理されるサーバ機構及びコンピュータ本体の機構と同様 に、モニタスクリーン及び拡声器を有するエンド−ユーザ端末を有する（が、こ れに限定されるものではない。）。ＡＶ端末において、所望の機能を、ハードウ ェア、ファームウェア又はソフトウェアで実現することができる。処理すべき情 報を、通信チャネルを通じて遠隔情報源から端末に供給し、それを、例えばロー カルア−カイブから検索することができる。さらに、オブジェクト指向オーディ オ−ビジュアル端末は、端末に供給された構成情報に従ってシーンに結合すべき 個々のオブジェクトの形態の情報を受信する。 図１はこのような端末を示し、それは、論理チャネルＬＣ０を通じてシステム コントローラすなわち「実行部」２に接続するとともに論理チャネルＬＣ１を通 じてバッファ３に接続したデマルチプレクサ（ＤＭＵＸ）１を有する。実行部２ 及びバッファ３をテコーダ４に接続し、それを構成ユニット５に接続する。また 、実行部２を構成ユニット５に直接接続し、実行部２は、例えばユーザインタラ クション用の外部入力部を有する。 好適なＡＶアーキテクチャにおいて、ＡＶオブジェクト及びその構成情報を送 信し又は個別の論理チャネル上でアクセスする。ＤＭＵＸは、下層からＭｕｘ２ 層を受信し、それを論理チャネル上でデマルチプレクサ処理する。ＬＣ０は、実 行部に送られる構成情報を搬送する。他の論理チャネル上で受信したＡＶオブジ ェクトは、デコーダによって作動すべきバッファに格納される。実行部は、符号 化及び表示タイムスタンプを有する構成情報を受信し、それに応じてデコーダ及 びコンポーザ（ｃｏｍｐｏｓｅｒ）に命令を行う。 システムは、オブジェクト構成パケット（ＯＣＰ）及びオブジェクトデータパ ケット（ＯＤＰ）を処理する。構成パケットは、オブジェクトＩＤ、タイムスタ ンプ及びオブジェクトを発生させるための「構成パラメータ」を有する。オブジ ェクトデータパケットは、オブジェクトＩＤ、持続オブジェクトの場合の満了タ イムスタンプ及びオブジェクトデータを有する。 好適には、ユーザインタラクションのような任意の外部入力を、実行部に供給 される前にＯＣＰ及び／又はＯＤＰに変換する。ネットワーク上で搬送されるビ ットストリームにヘッダは必要でない。しかしながら、ファイルにＭＰＥＧ４表 示を格納する際にはヘッダが必要とされる。 図２ａ及び２ｂは、構成パケット及びデータパケットの構造を更に詳細に示す 。関連の形態は次の通りである。 オブジェクトＩＤをオブジェクトタイプ及びオブジェクト数から構成する。オ ブジェクトＩＤのデフォルト長を２バイトとし、それは、オブジェクト数に対す る１０ビットと、オブジェクトタイプ（例えば、テキスト、グラフィックス、Ｍ ＰＥＧ２ ＶＯＰ、構成オブジェクト）に対する６ビットを有する。１０２３個 より多いオブジェクト又は３１個より多いオブジェクトタイプに適応するために 、拡張可能コードを用いる。以下の規則を設ける。オブジェクトＩＤの最初の６ ビットの０ｂ１１１１１１の値は、３１及び直後にオブジェクトＩＤが続くバイ トの値に相当する。オブジェクトＩＤの１０の最下位ビットの０ｂ１１．１１１ １．１１１１の値は、（存在する場合にオブジェクトタイプ拡張バイトを計数す ることなく）１０２３及び直後にオブジェクトＩＤが続く２バイトの値に相当す る。以下のオブジェクトタイプを規定する。 合成オブジェクト（１６−ビットオブジェクトＩＤ） ０Ｘ００００ シーン形態オブジェクト ０Ｘ０００１ ノード階層仕様 ０Ｘ０００２ ストリーム−ノード連関 ０Ｘ０００３ ノード／シーン更新 ０Ｘ０００４ 合成オブジェクト オブジェクトデータ（オブジェクトタイプ、６の最上位ビット） ０ｂ００．００１０ テキスト ０ｂ００．００１１ ＭＰＥＧ２ ＶＯＰ（矩形ＶＯＰ） 持続オブジェクト（ＰＯ）は、後に使用するためにデコーダにセーブすべきオ ブジェクトである。満了タイムスタンプ（ＥＴＳ）は、数ミリ秒中にＰＯの寿命 を与える。ＰＯは、ＥＴＳがなくなった後にデコーダを利用できない。ＰＯをシ ーン中で後に使用すべき場合、対応する構成情報をＡＶ端末に送信するだけでよ い。 復号化タイムスタンプ（ＤＴＳ）は、オブジェクト（アクセスユニット）をデ コーダで復号化する必要があるときを示す。 表示タイムスタンプ（ＰＴＳ）は、オブジェクト（アクセスユニット）をデコ ーダによって表示すべきときを示す。 寿命タイムスタンプ（ＬＴＳ）は、オブジェクトがシーン中に表示すべき（数 ミリ秒の）持続時間を与える。ＬＴＳは、一部の場合、例えば、フレームを１／ フレーム−レート中すなわち次のフレームが利用できるまで表示するビデオシー ケンスにおいて暗黙であり、いずれの場合も大きい。暗黙ＬＴＳは、グラフィッ クス及びテキストを表示する際に用いられる。ＡＶオブジェクトを、その寿命中 に使用するために一度だけ復号化する必要がある。 満了タイムスタンプ（ＥＴＳ）は、オブジェクト持続の意向をサポートするた めに明記される。オブジェクトは、それを表示した後、ＥＴＳによって時間を付 与されるまでデコーダ（キャッシュ）にセーブされる。このようなオブジェクト を、ＥＴＳがなくなる前に複数回使用することができる。満了したＥＴＳを有す るＰＯはもはやデコーダを利用できない。 オブジェクト時間基準（ＯＴＢ）は、付与されたＡＶオブジェクトエンコーダ の時間の概念を規定する。相違するオブジェクトが相違する時間基準に属するこ とができる。ＡＶ端末は、これら時間基準を、ＭＳＤＬ ＶＭで指定したような ローカルのものに適合させる。 オブジェクトクロック基準（ＯＣＲ）を、ＯＴＢの速度をデコーダに搬送する 必要がある場合に用いることができる。この機構によって、ＯＴＢをＡＶ端末で 回復し／適合させることかできる。 構成パラメータを用いて、シーンを構成する（シーン中にオブジェクトを配置 する）。これらパラメータは、表示フレームの左上からの移動、回転角、ズーミ ング係数等を有する。 プライオリティは、送信、復号化及び表示に対するオブジェクトのプライオリ ティを表す。ＭＰＥＧ４は、３２レベルのプライオリティをサポートする。数が 小さくなるに従ってプライオリティが高くなることを表す。 持続インディケータ（ＰＩ）は、オブジェクトが継続するか否かを表す。 継続インディケータ（ＣＩ）は、現パケット中のオブジェクトの終了（又は継 続）を表す。 オブジェクトグループ化は、単一動作を有する一組のオブジェクトに適用すべ き動作を容易にする。このような形態を用いて、送信される構成情報の量を最小 にするとともに、独立したサブシーンに基づいて階層シーン構成をサポートする ことができる。コンポーザは構成オブジェクトをグループとして処理する。構成 パケット（ＣＣＰ）の構成を図２ｃに示す。 ビットストリーム構成は、構成を表現するとともに表示を制御するオブジェク ト構成パケットと、オブジェクトに対するデータを有するオブジェクトデータパ ケットとを有する。シーンを、一組の構成パケットによって構成する。ビットス トリームは、構成オブジェクト（ＣＣＰ）を用いることによって、ノード階層と しても既知である階層としてシーンの表示をサポートする。ＣＣＰによって、構 成オブジェクトを結合して複雑なオーディオ−ビジュアルシーンを形成すること ができる。 オブジェクト−データパケット： オブジェクトＩＤ − ｍｉｎ（ｄｅｆａｕｌｔ）１０ビット ＣＩ及びＰＩを結合することができる。 ００ − 非持続開始 ０１ − 持続開始 １０ − 継続 １１ − オブジェクトの終了 プライオリティ：ＣＩ／ＰＩが０ｂ００又は０ｂ０１の場合のみ存在する５ビッ ト ＥＴＳ：ＣＩ／ＰＩが０ｂ０１である場合に存在する３０ビット 予測指向ビデオ符号化に対して、ＶＯＰ＿ｔｙｐｅを２ビット（００（Ｉ），０ １（Ｐ），１０（Ｂ），１１（ＰＢ））によって表して、編集を容易にする。 オブジェクト合成パケット 構成パラメータは、ＭＳＤＬ Ｖｅｒｉｆｉｃａｔｉｏｎ Ｍｏｄｅｌ，ＭＰ ＥＧ Ｎ１４８３，Ｓｙｓｔｅｍｓ Ｗｏｒｋｉｎｇ Ｄｒａｆｔ Ｖ２．０の セクション２に規定され、その開示を、ここに参照することによって組み込む。 構成パケット シーン構成パケット（ＳＣＰ）を用いて、基準シーン幅、高さを変更し、バッ ファをフラッシュし及び他の構成機能を実行する。ＳＣＰに対するオブジェクト タイプを０ｂ００．００００とする。これは、１，０２４個の相違する構成パケ ットを許容する。オブジェクト番号０ｂ００．００００．００００（オブジェク トＩＤ ０Ｘ００００）を、端末バッファをフラッシュために規定する。 バッファ管理に対する合成制御（オブジェクトＩＤ ０ｘ００００） ＡＶ端末バッファを、Ｆｌｕｓｈ＿Ｃａｃｈｅフラグ及びＳｃｅｎｅ＿Ｕｐｄ ａｔｅフラグを用いてフラッシュする。階層シーン構造を用いると、現在のシー ングラフがフラッシュされ、端末はビットストリームから新たなシーンをロード する。フラグを使用することによって、それをフラッシュする代わりに現在のシ ーン構造をセーブすることができる。新たなシーンが開始するときには常に、こ れらフラグを用いて基準シーン幅及び高さを更新する。Ｆｌｕｓｈ＿Ｃａｃｈｅ フラグをセットする場合、キャッシュがフラッシュされ、（任意の場合には）オ ブジェクトを除去する。Ｓｃｅｎｅ＿Ｕｐｄａｔｅフラグをセットする場合、二 つの可能性がある。（ｉ）Ｆｌｕｓｈ＿Ｃａｃｈｅフラグをセットして、キャッ シュ中のオブジェクトをもはや使用できないようにする。（ii）Ｆｌｕｓｈ＿Ｃ ａｃｈｅフラグをセットせず、導入された新たなシーン（ビットストリーム上で の編集作業）が現在のシーンをスプライスし、シーン中のオブジェクトを新たな シーンの終了後に用いる。任意の場合には、オブジェクトのＥＴＳを、導入され た新たなシーンの持続時間中に凍結する。次のシーンを、他のシーン形成パケッ トによって表す。 シーン表現に対する構成制御（オブジェクトＩＤ ０ｘ０００１） ノードの階層を規定し、シーンを表現する。シーン構成パケットを用いて、Ａ Ｖオブジェクトの階層としてシーンを表現するのを許容するシーン階層を規定す ることもできる。このようなグラフの各ノードは、リーフをグループ分けするノ ード及び／又はグラフの他のノードの構成ＡＶオブジェクトへのグループ化とな る。各ノード（リーフ）は、図３に示すようなパラメータが続く独自のＩＤを有 する。 ストリーム−ノードマッピングに対する合成制御（オブジェクトＩＤ ０ｘ０ ００２） 図４に示すように、テーブルエントリは、論理チャネル中の基本オブジェクト ストリームを階層シーンの各ノードに関連させる。ストリームＩＤは特有である が、ノードＩＤはそうでない。これは、１個より多いストリームを同一ノードに 関連させることができることを意味する。 シーン更新に対する構成制御（オブジェクトＩＤ ０ｘ０００３） 図５は、ノードの特定のパラメータを変更することによるシーン階層中のノー ドの更新を示す。グラフそれ自体を、グラフ中でノードを追加／削除することに よって更新することができる。パケット中の更新タイプは、グラフ中で実行すべ きタイプを表す。構造的な実施の形態 以下説明する実施の形態は、オブジェクト指向ＡＶビットストリーム及び端末 アーキテクチャを有する。ビットストリーム設計は、ＡＶオブジェクトを表示す る方法及びこれらを構成する方法を２ビット形態で指定する。ＡＶ端末構造は、 ２値ビットストリーム中のオブジェクトを復号化し及び表示する方法を指定する 。 ＡＶ端末アーキテクチャ 図１及び６を参照すると、デマルチフルクサ１に対する入力を、ＭＰＥＧ−４ のようなオブジェクト指向ビットストリームとし、それは、ＡＶオブジェクトと 、論理チャネル（ＬＣ）にマルチプレクサ処理される構成情報とからなる。シー ン中のオブジェクトの構成を、独立した構成指定を有するオブジェクトの集合と して、すなわち、階層シーングラフとして指定することができる。構成及び制御 情報をＬＣ０に含めることができる。制御情報は、シーングラフを更新するため の制御コマンド、デコーダバッファをリセットするための制御コマンド等を有す る。論理チャネルはオブジェクト日付を有する。システムは、ＡＶ端末の動作を 制御するコントローラ（すなわち「実行部」）２を有する。 端末は、入力バッファ３と、ＡＶオブジェクトデコーダ４と、復号化されたデ ータ用のバッファ４’と、コンポーザ５と、ディスプレイ６と、オブジェクトキ ャッシュ７とを更に具える。入力ビットストリームを、ネットワーク接続部又は ＤＶＤ，ＣＤ−ＲＯＭ若しくはコンピュータハードディスクのような局部記憶装 置から読み出すことができる。構成情報を有するＬＣ０はコントローラに供給さ れる。ＤＭＵＸは、ＬＣ１等のオブジェクトを、コントローラによって指定され たバッファのロケーションに格納する。ネットワーク配送の場合、エンコーダ及 びストリームサーバが共同して、入力オブジェクトバッファがオーバフローもア ンダフローもしないようにする。符号化されたデータオブジェクトは、典型的に は関連の復号化タイムスタンプによって付与される復号化時のデコーダによる読 出し時まで入力データバッファに格納される。データオブジェクトをバッファに 書き込む前に、ＤＭＵＸは、タイムスタンプ及び他のヘッダをオブジェクトデー タパケットから除去し、それを、適切なデコーダに信号送信するコントローラ及 び入力バッファに送信する。テコーダは、コントローラによって信号送信される と、入力バッファ中のデータを復号化し、それをデコーダ出力バッファに格納す る。ＡＶ端末は、ユーザインタラクションのような外部入力も処理する。 オブジェクトは、初期表示時間を超えて使用するためにオブジェクトキャッシ ュ７に格納される。そのようなオブジェクトは、関連のノードがシーングラフか ら除去されてもキャッシュ中に存在したままであるが、満了タイムスタンプと称 される関連の時間間隔の満了時にのみ除去される。この形態を、オブジェクトが セッション中に繰り返し用いられる表示において使用することができる。そのよ うなオブジェクトに関連した構成を、適切な更新メッセージを用いて更新するこ とができる。例えば、放送局のロゴを表示の開始時にダウンロードし、同一コピ ーを用いてセッション中で繰り返し表示することができる。続く構成更新によっ て、ディプレ以上のロゴの位置を変更することができる。最初の表示時間を超え て再生されるオブジェクトを、持続オブジェクトと称する。 システムコントローラ（ＳＣ） システムコントローラは、ＡＶ端末のビットストリームの復号化及び再生を制 御する。始動時に、ＳＣは、ユーザインタラクションから又はセッション中にデ フォルトネットワークアドレスを見ることによって、局部記憶装置又はネットワ ークポートからの読出しを行うためにＤＭＵＸを初期化する。初期化の際に制御 論理をプログラムＲＡＭにロードする。命令デコーダは、プログラムから命令を 読出し、それを実行する。実行は、入力バッファからのデータ（構成データ又は 外部データ）の読出し、データＲＡＭに対するオブジェクトテーブルのロードす なわち更新、オブジェクトタイマのロード又は制御信号送信を伴う。 図７は、システムコントローラを更に詳細に示す。ＤＭＵＸは、入力ビットス トリームを読み出し、ＬＣ０の構成データをコントローラに供給する。構成デー タは、ＡＶ表示の第１シーンの表現によって開始する。このシーンを、構成パケ ットを用いるオブジェクトの階層集合又は独立したオブジェクト構成パケットの 集合として表現することができる。基本ストリームをシーン表現中のノードに関 連させるテーブルが、シーン表現の直後に続く。コントローラは、オブジェクト ＩＤ（ストリームＩＤ）を、データＲＡＭ中に維持されるオブジェクトリスト及 び描写リストにロードする。描写リストは、表示装置上に描写すべきオブジェク トのリストを有する。ユーザインタラクションによって無効にされるオブジェク トを描写リストから除去する。構成制御パケットを通じて送信されるノード除去 コマンドによって、オブジェクトリストから対応するオブジェクトＩＤを除去す る。ノード階層は、データＲＡＭ中にも維持され、構成更新を受信したときには 常に更新される。 構成デコーダは、構成及び外部データバッファからデータを読出し、これらデ ータを、命令デコーダによって理解されるフォーマットに変換する。外部入力は 、オブジェクトを選択するとともにオブジェクト及びオブジェクト上の予め規定 された動作を無効にし及び有効にするユーザインストラクションを有する。プロ グラム実行中、データＲＡＭに２個のリストが形成される。これらのリストは、 現在デコーダによって処理されているオブジェクトのリスト（オブジェクトＩＤ ）を有するオブジェクトリスト及びシーン中の有効なオブジェクトのリストを有 する描写リストである。これらリストは、構成情報を受信すると動的に更新され る。例えば、ユーザが外部入力を通じてコマンドを送信することによってオブジ ェクトを隠すことを選択すると、オブジェクトは、ユーザによって指定されるま で描写リストから除去される。これは、外部入力をシステムによって処理する方 法でもある。一部の外部インタラクションがあるときは常に、構成デコーダは、 外部データバッファの読出しを行うとともに、要求された動作を実行する。 また、ＳＣは、デコーダ及びデコーダバッファに復号化及び表示時間を信号送 信するために各ＡＶオブジェクトに対するタイミングを維持する。ＡＶオブジェ クトに対するタイミング情報は、時間基準に関して指定される。端末はシステム クロックを使用して、オブジェクトの時間基準をシステム時間に変換する。復号 化の必要がないオブジェクトに対して、表示タイマのみが必要となる。これらタ イマに、当該ＡＶオブジェクトに対する復号化タイムスタンプ及び表示タイムス タンプをロードする。コントローラは、ＤＭＵＸから各オブジェクトに対するタ イムスタンプを得る。オブジェクトに対する復号化タイマが切れると、適切なデ コーダに対する信号送信が行われて、入力バッファからデータが読み出されると ともに復号化プロセスを開始する。表示タイマが切れると、当該オブジェクトに 対する復号化データを、表示のためにフレームバッファに転送する。デュアルバ ッファアプローチ（ｄｕａｌ ｂｕｆｆｅｒ ａｐｐｒｏａｃｈ）を用いて、第 ２バッファの内容をモニタに表示する間フレームバッファへの書込みを行うこと ができる。命令デコーダは、リセット信号を送信することによってＤＭＵＸすな わち入力バッファをリセットすることができ、これによってこれらをデフォルト 状態に初期化する。 コントローラ中の情報の流れ 図８は、コントローラ中の情報の流れを示す。形態を簡単にするために、命令 デコーダによって実行される動作をグループで示す。３グループはそれぞれオブ ジェクト特性変更、オブジェクトタイミング及び信号送信に関する。 オブジェクト特性変更 これら動作は、基本ストリームＩＤとも称されるオブジェクトＩＤを処理する 。最初にシーンがロードされると、シーン中のオブジェクトのオブジェクトＩＤ によってシーングラフが形成される。コントローラは、シーン中のオブジェクト 及び描写リストからのオブジェクト中の有効なオブジェクトのリスト（オブジェ クトリスト）を形成し及び維持する。他の動作は、端末が構成パケットを受信す る際に構成パラメータのようなオブジェクト特性を設定し及び更新する。 オブジェクトタイミング このグループの動作は、同期、表示及び復号化に対するオブジェクトタイマの 管理を行う。オブジェクト時間基準に関して指定したオブジェクトのタイムスタ ンプは、システム時間に変換され、そのオブジェクトの表示及び復号化時間がセ ットされる。これら動作は、持続オブジェクトに対する満了タイムスタンプもセ ットし及びリセットする。 信号送信 信号送信は、端末の全体に亘る動作を制御する。端末の種々の構成要素が、コ ントローラの信号送信によってセット、リセット及び操作される。コントローラ は、描写リスト中のオブジェクトの復号化時間及び表示時間を検査し、それに応 じてデコーダ及び表示フレームバッファに信号送信する。また、コントローラは 、ネットワーク又は部分記憶装置からの読出しを行うためにＤＥＭＵＸを初期化 する。コントローラの起動時に、テコーダは、入力バッファからデータを読み出 し、データをデコーダ出力バッファに送信する。復号化されたデータは、コント ローラによって信号送信されると表示装置に送られる。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 エレフセリアディス アクレサンドロス アメリカ合衆国 ニューヨーク州 10027 ―6699 ニューヨーク ウェスト ワンハ ンドレッドトゥエンティース ストリート 500 コロンビア ユニヴァーシティ デパートメント オブ エレクトリカル エンジニアリング (72)発明者 カルヴァ ハリ アメリカ合衆国 ニューヨーク州 10027 ―6699 ニューヨーク ウェスト ワンハ ンドレッドトゥエンティース ストリート 500 コロンビア ユニヴァーシティ デパートメント オブ エレクトリカル エンジニアリング

Claims (1)

1. 【特許請求の範囲】 １．オブジェクト指向オーディオ−ビジュアル／ビデオデータを表示するに当た り、 （ａ）複数のオーディオ−ビジュアル／ビデオオブジェクト及びオブジェクト に対する構成情報を時間外に受信し、 （ｂ）前記オブジェクトのうちの少なくとも１個をキャッシュメモリに格納し 、 （ｃ）前記キャッシュメモリに格納されたオブジェクトのうちの１個を有する 前記オブジェクトからシーンを構成し、 （ｄ）構成したシーンを表示することを特徴とする方法。 ２．前記オブジェクトのうちの１個を格納することに加えて、前記オブジェクト のうちの１個に対する満了時間データを格納することを更に具えることを特徴と する請求の範囲１記載の方法。 ３．前記オブジェクトのうちの少なくとも１個をネットワーク接続部から受信す ることを特徴とする請求の範囲１記載の方法。 ４．前記オブジェクトのうちの少なくとも１個をローカルメモリから受信するこ とを特徴とする請求の範囲１記載の方法。 ５．前記オブジェクトのうちの少なくとも１個をローカルメモリから受信すると ともに前記少なくとも１個以外のオブジェクトのうちの少なくとも１個をネット ワーク接続部から受信し、前記構成したシーンが、前記オブジェクトのうちの少 なくとも１個及び前記少なくとも１個以外のオブジェクトのうちの少なくとも１ 個を有することを特徴とする請求の範囲１記載の方法。 ６．インタラクティブユーザ入力に応答することを特徴とする請求の範囲１記載 の方法。 ７．前記応答が、前記オブジェクトのうちの１個を選択すること、それを有効に すること及びそれを無効にすることのうちの少なくとも１個を具えることを特徴 とする請求の範囲６記載の方法。 ８．オブジェクト指向オーディオ−ビジュアル／ビデオデータを表示する装置で あって、 （ａ）複数のオーディオ−ビジュアル／ビデオオブジェクト及びそのオブジェ クトに対する構成情報の時間外の取り出しを制御する制御回路と、 （ｂ）前記オブジェクトのうちの少なくとも１個を格納するキャッシュメモリ と、 （ｃ）このキャッシュメモリに結合され、前記格納メモリに格納されたオブジ ェクトのうちの１個を有する前記ビデオオブジェクトからシーンを構成する構成 回路と、 （ｄ）構成したシーン用のディスプレイとを具えることを特徴とする装置。 ９．オブジェクト指向オーディオ−ビジュアル／ビデオデータを表示する装置で あって、プロセッサを具え、このプロセッサが、 （ａ）複数のオーディオ−ビジュアル／ビデオオブジェクト及びオブジェクト に対する構成情報の時間外の取り出しを制御し、 （ｂ）前記オブジェクトのうちの少なくとも１個をキャッシュメモリに格納し 、 （ｃ）前記キャッシュメモリに格納されたオブジェクトのうちの１個を有する 前記ビデオオブジェクトからシーンを構成し、 （ｄ）構成したシーンを表示するように命令されるようにしたことを特徴とす る装置。 １０．オブジェクト指向オーディオ−ビジュアル／ビデオデータを表示する装置 であって、 （ａ）複数のオーディオ−ビジュアル／ビデオオブジェクト及び前記オブジェ クトに対する構成情報の時間外の取り出しを制御する手段と、 （ｂ）前記オブジェクトのうちの少なくとも１個をキャッシュメモリに格納す る手段と、 （ｃ）前記キャッシュメモリに結合され、前記キャッシュメモリに格納された オブジェクトのうちの１個を有する前記ビデオオブジェクトからシーンを構成す る手段と、 （ｄ）前記シーンを表示する手段とを具えることを特徴とする装置。