JP2001502097A - 音声画像データの復号方法 - Google Patents

Abstract

(57)【要約】 本発明は音声画像データを復号する方法であって、改善された統語言語に基づき、情景の個別の要素を、個々のアニメーション、特別な対話ユーザ／要素並びに上記要素と定義されたアニメーション及び／又は対話との間の特定の関係を規定することが可能な対象として処理することができるようにする方法に関する。記述は、二次元的対象及び／又は三次元的対象を互いに埋め込むべく設けられる横方向接続を有する階層的ツリーに編成される一方、埋め込まれた対象及び／又は情景並びに元の対象の両方における全ての関係する動作の制御を維持しながら、情景の種々の視点からの表示を任意選択的に制御する。

Description

【発明の詳細な説明】 音声画像データの復号方法 技術分野 本発明は、音声画像データを表し且つ連続したビットストリームの形で利用可 能な符号化されたデジタル信号を、表示装置上に表示（render）されるべき情景 の二進記述に鑑みて復号する方法であって、発展的な統語言語（syntacticlangu age）に基づく処理動作を有し、該処理動作が第１のステップにおいて上記情景 の構造に従って対象（object）と呼ばれる別個の要素を上記ビットストリームか ら抽出し、第２のステップにおいて上記情景の要素の個々のアニメーションを定 義し、第３のステップにおいてユーザと上記要素との間の特別な対話（interact ion）を定義し、第４のステップにおいて種々のアプリケーションの等級に応じ て上記情景要素と対応する個々のアニメーション及び／又はユーザ対話との間の 特定の関係を編成するような方法に関する。本発明は、主に、将来のMPEG-4復号 器に使用されるであろう。 背景技術 フレームに基づくビデオ及びオーディオを扱う周知のMPEG-1及びMPRG-2規格の 最も重要な目標は、データを圧縮することにより記憶及び伝送を一層効率的にす ることにあった。将来のMPEG-4復号規格は、音声画像情景をピクセルのみという よりは対象の合成として表す故に、根本的に異なったものとなるであろう。各情 景は、空間及び時間の関係を与える音声画像対象の符号化された表現として定義 され、この場合、該情景が以前にこれら対象で構成されていた（又は区画されて いた）態様如何にはよらない。 現在までのところ、自然ソース及び合成ソースを扱う規格本体は異なっていた 。良好な３次元的（３Ｄ）な能力はＶＲＭＬ（Virtual-Reality Modeling Langu age:仮想現実モデル化言語は今や３Ｄグラフィックスに基づく対話型仮想 環境を特定し及び供給のための規格となっている）を使用するマルチメディア及 びワールドワイドウェブアプリケーションを含む多くの分野の益々重要な部分と なりつつあるので、MPEG-4は自然題材（ビデオ、オーディオ、音声）及び合成題 材（２Ｄ及び３Ｄグラフィックス及び合成音声）を一緒に考え、斯かるマルチメ ディア内容の端末スクリーン上での提示に鑑みて、これら題材を規格化されたビ ットストリーム内で合成しようとしている。上記音声画像情報を情景内で組み立 てるため、それらの空間−時間的関係が端末に伝送される必要がある。 MPEG-4規格は、音声画像対象のビットストリーム表現の二進構文及び情景描写 情報の二進構文を記述する統語記述言語を規定する。もっと詳細には、MPEG-4シ ステム検証モデル４.０は、情景の記述のために、情景用二進フォーマット（BIF S：Binary Format for Scenes）と呼ばれる二進フォーマットを提案している。 属性（attributes）及び事象ソース及び目標のような他の情報を伴うノードの符 号化された階層として構成された該記述は、情景構造がコンピュータプログラム としてというよりはむしろパラメータ的記述（即ち、スクリプト）として伝送さ れるという仮定に基づいている。この場合、情景記述は符号化された情景描写の 更新を用いることにより時間とともに発展することができる。BIFS構文において 伝送されるノード記述も、明瞭化の目的で、テキスト形式で表すことができる。 幾つかのMPEG-4のノード及び概念は、VRML 2.0ノードと極めて類似している。他 のものは修正されたVRML 2.0であり、更に他のものがMPEG-4固有の要件で加えら れている。VRML 2.0構文と同様に、BIFSも、簡単な行為及び事象受け渡し機構（ event passing mechanism）を介するユーザとの対話を記述する規定を有してい る。しかしながら、以下に説明するように、このフォーマットでは幾つかの問題 が解決されていない。 これらの問題の第１のものは、２Ｄと３Ｄの混合された情景の統一された記述 に関するものである。確かに、純３Ｄ情景の記述、純２Ｄ情景の記述及び混合さ れた２Ｄ／３Ｄ情景の記述の間には根本的な相違がある。３Ｄ情景においては、 対象の層化（layering）は深さ情報に基づくものである。２Ｄにおいては、深さ の概念はなく、層化は明示的に定義されねばならない。更に、２Ｄ及び３Ｄの混 合対象は、以下のような幾つかの方法により達成することができる。即ち： （１）２Ｄ情景への３Ｄ対象の埋め込み (a) これは、例えば２Ｄ背景の前に３Ｄ対象を表示しようと試みる場合 である。この場合、ユーザが該情景内を移動（navigate）する場合、背景は移動 しない； (b) 他の例は、ユーザインターフェースが２Ｄ対象(例えば、釦又はテ キスト)、及び情景が表示される３Ｄビューワ（viewer）を含んでいるようなア プリケーションである； （２）３Ｄ情景への２Ｄ対象の埋め込み (a) これは、例えば３Ｄ対象上へのテックスチャマップとしてビデオ対 象を使用するような場合である； (b) 他の例は、２Ｄグラフィック対象からなるテクスチャである（これ の特別な場合は“活動マップ”、即ち数個の複合された２Ｄ対象からなる３Ｄ情 景内の２Ｄ面である）； （３）これら２つの方法は反復的に混合することができ、これにより例えば３Ｄ 対象を２Ｄ情景に埋め込み、結果としての合成を３Ｄ対象上へのテックスチャマ ップとして使用する（これは、鏡の反射をシミュレートするために使用すること ができる）； （４）最後の可能性は、同一の３Ｄ情景を異なる視点から同時に見ることである 。 その時点では、これら全ての可能性を単一の情景グラフを用いて記述すること はできない。情景グラフは、ノードと呼ばれる対象の階層により情景を表すツリ ーである。情景は群化ノード（grouping nodes）と子ノード（children nodes） とからなっている。群化ノードの役割は、当該情景の階層構造及び空間的構成を 定義することである。子ノードはツリーの葉である。これらのノードは、幾何学 的対象、光源及び種々の形式のセンサ（ユーザの対話に感応する対象）を定義す るために使用される。群化ノードは子ノードを有している。これらの子ノードは 子ノード又は他の群化ノードであってもよい。 全てのノードはフィールドと呼ばれる属性を有している。フィールドは如何な る形式のものであってもよい。例えば、球は形状ノードである。該ノードは、そ の半径を定義するフィールドを有している。それは、形式フロートの単一値フィ ールド（SFFloat）である。群化ノードの子ノードは特別なフィールドで特定さ れる。このフィールドは多値フィールド（ノードのリスト）であり、各値は形式 ノード（MFNode）のものである。 さて、情景内でのアニメーション及びユーザ対話を定義するため、配送（rout ing）と呼ばれる事象受け渡し機構を用いてフィールド間の接続をすることが可 能である。フィールドＡをフィールドＢに配送するということは、フィールドＡ が変化した場合には常にフィールドＢがフィールドＡと同一の値をとるというこ とを意味する。同一の形式の（又は同一の種類の）フィールドのみを接続するこ とができる。フィールドは特殊化することができる。即ち、幾つかのものは配送 先（destination of route）でのみあり得、eventInと呼ばれ；他のものは配送 元（origin of route）でのみあり得、eventOutと呼ばれ；他のものは配送元及 び配送先の両方であり得、exposedFieldと呼ばれ、最後に他のものは接続するこ とができず、単にフィールドと呼ばれる。 VRMLにおいては、４つのノード（視点：Viewpoint；背景：Backgroud；霧：Fo g；ナビゲーション情報：NavigationInfo）が、或る時点において各々のうちの １つのみが活性状態になり得るという意味で、特別な役割を果たす。これらのノ ードは結合可能な（bindable）ノードであると言われる。 １つのコヒーレントなフレーム内に２Ｄ及び３Ｄの両方の特徴を統合しようと 試みる多くの理由が存在する： − 全体の２Ｄ／３Ｄ情景に対して同一の事象受け渡し機構を使用することがで きる。 − 内容の表現が一層凝縮したものになり得る。 − ２Ｄの仕様と３Ｄの仕様とは一緒に働くように設計されているので、実施化 を最適化することができる。 これらの要件を満たすために、２Ｄ空間内で、２Ｄ又は３Ｄ情景の表示の結果 を表す２Ｄ及び３Ｄ層を、２Ｄ又は３Ｄ情景の表示の結果を当該情景グラフ内の 他のノードへの入力として使用して、作成することができる必要がある。 また、特に以下に示すような依然として解決されていない他の問題を考慮しな ければならない： （１）２Ｄ対象との対話可能性：即ち、VRML 2.0の事象受け渡し機構と互換性の ある２Ｄ対象の深さを設定する方法無しでは可能ではないような、対象との対話 、層化の変更、対象の追加又は削除が可能でなければならない； （２）対話可能性及び単純な行為可能性を備えるための単一の事象配送機構(eve nt routing mechanism)：即ち、これの一例はウォークスルーアプリケーション （walk through application）におけるナビゲートに使用される２Ｄ地図の表示 であり得、これはユーザに起動された事象を２Ｄ対象（地図）から３Ｄ情景（視 点）へ配送する能力を必要とする； （３）情景の全体的階層(global hierarchy)：情景グラフ表現が情景の階層的構 成に関わるが、２Ｄ又は３Ｄ層が他のグラフィック対象とは見なされ、全体的情 景グラフと混ぜ合わされてはならない（更に、例えば後述する第１図の層グラフ に図示されているように、層は階層的であってもよい)； （４）ビデオ対象との対話可能性：MPEG-4の特徴の１つは対象レベルの対話、即 ちピクセルの組というよりは対象の組としてのビデオの描写であり、これは、ビ デオの内容との対話（ビデオ内の対象の切り取り及び貼り付け等）を可能とし、 内容作成者によりアプリケーション毎に定義される必要がある(端末自体の特徴 ではない上記対話はBIFSにより記述することはできるが、これには種々のビデオ 対象の構成自体がBIFSで記述されねばならない)。 発明の開示 従って、本発明の目的は、２Ｄ及び３Ｄ対象の両方から構築された複合情景の 構成を完全に記述するためのBIFSの強化を提案することにある。この強化により 、完全な情景及びそのレイアウトの統一された表現、並びに３Ｄ情景内のみなら ず（VRML 2.0におけるように）２Ｄ及び３Ｄノード間での事象受け渡しが可能と なる一方、端末により設けられるデフォルトユーザインターフェースの使用では なく、情景と共に伝送することができる特別なユーザインターフェースの定義が 可能となる。 この目的のため、本発明は冒頭で述べたような方法に関するもので、更に前記 処理動作が、何れかの種類の二次元的及び三次元的対象から構築される複合情景 を、二次元的及び三次元的な両特徴を統合すると共に前記情景の構造の組立機構 及び表現機構を統一するような枠組みに従って記述する付加的ステップを含んで いることを特徴としている。 更に詳細には、上記枠組みは前記付加的記述ステップが、前記情景の階層的表 現を当該情景の空間的構造を与える階層的接続を示す群化ノードとツリーの葉を 構成する子ノードとの両ノードで編成されるツリー構造に従って定義する第１の 主副ステップと、何れかの種類のノードの間の可能な横方向の接続を定義する第 ２の補助副ステップとを有していることを特徴としている。 提案された本発明の有利な実施例においては、前記ツリー構造のノードが少な くとも二次元的対象と三次元的対象とを有し、前記補助定義副ステップは、前記 二次元的対象の少なくとも１つを前記三次元的対象の少なくとも１つに埋め込む 第１の動作と、前記三次元的対象と前記二次元的対象との間の横方向接続を定義 する任意選択的な第２の動作と、埋め込まれた二次元的対象及び対応する元の対 象の両方における少なくとも１つの個々のアニメーション及び／又は少なくとも １つの特別な対話の定義ステップを制御する任意選択的な第３の動作とを有する ことを特徴としている。 また、本発明の他の有利な実施例においては、前記ツリー構造のノードが少な くとも二次元的対象と三次元的対象とを有し、前記補助定義副ステップは、前記 三次元的対象の少なくとも１つを前記二次元的対象の少なくとも１つに埋め込む 第１の動作と、前記二次元的対象と前記三次元的対象との間の横方向接続を定義 する任意選択的な第２の動作と、埋め込まれた三次元的対象及び対応する元の対 象の両方における少なくとも１つの個々のアニメーション及び／又は少なくとも １つの特別な対話の定義ステップを制御する任意選択的な第３の動作とを有する ことを特徴としている。 また、本発明の更に他の有利な実施例においては、前記ツリー構造のノードが 少なくとも三次元的対象を有し、前記補助定義副ステップは、前記三次元的対象 の少なくとも１つを前記三次元的対象の何れかの少なくとも１つに埋め込む第１ の動作と、前記三次元的対象の間の横方向接続を定義する任意選択的な第２の動 作と、埋め込まれた三次元的対象及び対応する元の対象の両方における少なくと も１つの個々のアニメーション及び／又は少なくとも１つの特別な対話の定義ス テップを制御する任意選択的な第３の動作とを有することを特徴としている。 これら最後に述べた２つの実施例の何れであれ、前記補助定義副ステップは、 少なくとも１つの単一三次元的情景の種々の視点からの同時的表示を制御し、そ の際に前記個々のアニメーション及び／又は特別な対話の定義ステップを制御す る任意選択的な第３の動作を維持するような付加的な動作を有することができる こと注意すべきである。 本発明は、上記任意選択的な動作を伴っても伴わなくても上述した方法のみに 関するものではなく、斯かる方法をその変形の何れかの形態で実施することによ り得られる如何なる信号にも関するものである。例えば、本発明が、第１のステ ップにおいて情景の構造に従って入力ビットストリームから対象と呼ばれる個別 の要素を抽出し、第２のステップにおいて前記情景の要素の個々のアニメーショ ンを定義し、第３のステップにおいてユーザと前記要素との間の特別な対話を定 義し、第４のステップにおいてアプリケーションの種々の分類に従い前記情景要 素と対応する個々のアニメーション及び／又はユーザ対話との間の特定の関係を 編成し、何れかの種類の二次元的及び三次元的対象から構築される複合情景を二 次元的及び三次元的な両特徴を統合すると共に前記情景の構造の組立機構及び表 現機構を統一するような枠組みに従って記述する付加的ステップを実行した後で 得られるような信号にも関するものであることは明らかである。 このような信号は、二次元的対象及び三次元的対象を一緒に記述することを可 能にすると共に、階層的接続を定義する群化ノード及び子ノードで編成されたツ リー構造に従って情景の階層的表現を編成することを可能にし、これらノードは 、２Ｄ情景グラフ、３Ｄ情景グラフ、層情景グラフ及び当該情景グラフのノード 間の横方向接続からなる単一の情景グラフを一緒に形成することを可能にする。 このような信号は、既に組み立てられた若しくはスクリーン上に組み立てられ るべき２Ｄ若しくは３Ｄ情景を深さの表現で以て定義し、又は２Ｄ若しくは３Ｄ 対象から既に組み立てられた他の情景が埋め込まれる３Ｄ情景を定義し、又は他 の３Ｄ若しくは２Ｄ対象からなる３Ｄ対象用のテクスチャを定義することを可能 にする。実際に、このような信号は、当該情景の如何なる２Ｄ又は３Ｄ対象とも 対話することを可能にすると共に、当該情景の金てのこれら対象の間でのデータ の如何なる種類の伝送を編成することも可能にする。本発明は、形式及び構成の 如何に拘わらず、上記のような信号を記憶する記憶媒体にも関するものであるこ とは明らかである。最後に、本発明は、二次元的及び三次元的対象を含む何れか の種類の情景を構成するため、上述したような信号に基づいてグラフィック情景 を表示し又は何れかの他の態様で伝達するような装置にも関する。 図面の簡単な説明 本発明の特徴及び利点は以下の説明及び添付図面から一層明らかとなるであろ うが、添付図面において： 第１図は、完全な情景グラフの一例である。 発明を実施するための最良の形態 第１図の情景グラフは、ツリー構造による当該情景の階層的表示である。この 構造は、表示装置のスクリーンの方形領域を表す層の階層構造である。この階層 構造は、ノード（階層的接続を規定する群化ノードＧＮ又はツリーの葉である子 ノードＣＮ）で構成され、本発明により、これらのノード間に可能な横方向の接 続を伴う(第１図では、例えば３Ｄ対象が２Ｄ情景を含む状況を図示するために 、子ノード3D Object-2と群化ノード2D Scene-1との間、又は２つの“Layer3D” が異なる視点から見た同一の３Ｄ情景を含む状況を図示するために、群ノード3D Scene-2と3D Scene-1との間)。 図示された情景グラフにおいては、実際に３つの異なる情景グラフが設けられ ている。即ち、２Ｄグラフィックス情景グラフ、３Ｄグラフィックス情景グラフ 及び層情景グラフである。図示のように、3D Layer-2は3D Layer-1と同一の情景 を見るが、視点は異なり得る。3D Object-3は2D Scene-1をテクスチャノードと して使用する外形ノードである。 本発明の原理は、２Ｄ／３Ｄ組み合わせの記述を単一のグラフとして統一する 新たなノードを提案することにある。 最初の２つの新たなノードは２Ｄ及び３Ｄ層の階層構造を記述するために定義 される。これら２Ｄ及び３Ｄ層は、２Ｄ面である表示領域の階層的な組として複 合される： − Layer2D：層２Ｄの子ノードは、Layer2D、Layer3D及び２Ｄ情景記述にとっ て許容可能な全てのノードであり得る； − Layer3D：層３Ｄの子ノードは、２Ｄ又は３Ｄ層及び３Ｄ情景を記述する情 景グラフであり得る。 また、３Ｄ対象上にマップされるべき３Ｄワールド（world）におけるテクス チャ用入力として２Ｄ及び３Ｄ複合情景を使用することができるように２つの新 たなノードも定義される： − Composite2DTexture：これは子ノードとして２Ｄ情景を含むテクスチャマッ プであり、複合された２Ｄ情景が該テクスチャマップとして使用される。 − Composite3DTexture：これは３Ｄ情景を規定する子ノードを含むテクスチャ マップである。複合された３Ｄ情景が該テクスチャマップとして使用される。特 に、このノードを、他の視点から見た既存の３Ｄ情景の表示の結果をマップする ために使用することが可能である。このノードは、例えば、反射効果をシミュレ ートするのに有効である。 上記の有効な特別な場合は、複合された２Ｄ情景が３Ｄ空間内の方形上にマッ プされる場合である。これは、３Ｄ空間内に挿入された“活動マップ”として見 ることができる。このようなノードの実施化はComposite2DTextureノードの実施 化とは非常に異なり得るので、この場合のための特別のノードを設計する意味が ある。かくして、ActiveMapノードが以下の説明において提案される。 最後に、上記視点の所定の値又は他の結合可能な子ノードを上述したノードの １つに配送するために、特別なバリュエータ（Valuator）ノードが定義される。 このノードはBIFS仕様内で広い範囲で使用することができ、又は準拠したVRML2. 0プロトタイプとして定義することができる。 本発明の原理を説明したので、これらの新たなノードの定義及び意味を以下の 節（Ａ）ないし（Ｆ）により詳細に示す。 （Ａ）Layer2Dの定義及び意味 Layer2Dノードは群化ノードとして定義される。該ノードは、２Ｄ対象が表示 されるスクリーン上の領域を定義する。３つのフィールド（又は属性）が、当該 ノードが他の対象に対してどのように表示されるかを記述する：そのサイズ、そ の位置及びその深さである。これらフィールドは、配送元又は配送先であり得る 。このように、これらはexposedFieldである。このLayer2Dノードは同一形式の （即ち、同じくLayer2Dの）又は以下に定義する同様の形式の（Layer3Dの）他の ノードの親であってもよい。これは、形式ノードの多値フィールド（MFNode）に より記述することができる。それとは別に、このノードは２Ｄ対象を表すノード の親でもあり得る。これも、形式ノードの多値フィールド（MFNode）により記述 することができる。 BIFS言語においては、Layer2Dノードは以下のように記述される： children2Dフィールドは、値として、２Ｄ情景を定義する如何なる群化又は子 ノードも有することができる。childrenLayerフィールドは、値として、２Ｄ又 は３Ｄ層ノードの何れかをとることができる。Layer2Dノードの子の順番（層化 ）はtransform2Dノートの使用により明示的に与えられる。２つの２Ｄノードが 同一のTransform2Dの子である場合は、2Dノードの層化はTransform2Dの子フィー ルドにおける子の順番で実施される。 ２Ｄ及び３Ｄ層の層化は、平行移動（translation）フィールド及び深さ（dep th）フィールドにより特定される。サイズパラメータは浮動小数点数で与えられ 、状況に従って、ピクセルで又は“グラフィックスメータ”で０.０と１.０の間 で表すことができる。平行移動パラメータに関しても同様である。或る方向にお ける−１なるサイズは、当該Layer2Dノードが、その方向ではサイズが特定され ておらず、視聴者が表示領域のサイズを決定することを意味する。 同一のLayer2Dノード下の全ての２Ｄ対象は単一の組み立てられた対象を形成 する。この組み立てられた対象は、他の対象により単一の対象として見られる。 言い換えると、Layer2DノードＡが一方の上に他方が層重ねされた２つの対象Ｂ 及びＣの親である場合は、ＤがＡの子として加えられない限り、ＢとＣとの間に 新たな対象Ｄを挿入することはできない。 （Ｂ）Layer3Dの定義及び意味 同様に、Layer3Dノードは群化ノードとして定義される。該ノードは３Ｄ対象 が表示されるスクリーン上の位置を定義する。３つのフィールド（又は属性）が 、該ノードが他の対象に対してどのように表示されるかを記述する：即ち、その サイズ、その位置及びその深さである。これらのフィールドは配送元又は配送先 であり得る。このように、これらフィールドはexposedFieldsである。このノー ドは、同一の形式（即ち、Layer3D）の又は類似の形式（Layer2D）の他のノード の親であり得る。このことは、形式ノードの多値フィールド（MFNode）により記 述することができる。これとは他に、該ノードは３Ｄ対象を表すノードの親であ り得る。このことも、形式ノードの多値フィールド（MFNode）により記述するこ とができる。 同一の２Ｄワールド（又は対象）の数個の見方が必要な特別な場合には、全て のアプリケーションにおいて各々のうちの１個のみが同時に活性状態であるとは 最早言えないから、結合可能なノードが問題を課す。しかしながら、各layer3D においては、各々のうちの１個のみが活性状態であり得る。この振る舞いは、La yer3Dノードが上記結合可能なノードの各々に対してexposedFieldを有すること を必要とする。 BIFS言語においては、Layer3Dノードは以下のように記述される： children3Dフィールドは、値として、３Ｄ情景を定義する如何なる３Ｄ群化ノ ード又は子ノードも有することができる。childrenLayerフィールドは、値とし て、２Ｄ層又は３Ｄ層の何れかを有することができる。２Ｄ層及び３Ｄ層の層化 は平行移動フィールド及び深さフィールドにより特定される。平行移動フィール ドは、Layer2Dの場合におけるのと同様に、ピクセルで又は“グラフィックスメ ータ”で０.０と１.０との間で表わされる。サイズパラメータは、Layer2Dにお けるのと同じ意味及び単位を有する。或る方向における−１なるサイズは、Laye r3Dノードが該方向においてはサイズが特定されず、視聴者が表示領域のサイズ を決定するであろうことを意味する。全ての結合可能な子ノードは、Layer3Dノ ードのexposedFieldとして用いられる。実行時においては、これらフィールドは 、Layer3Dノードの子である３Ｄ情景に関して、現在結び付けられている結合可 能な子ノードの値をとる。これにより、何らかの事象に応答して現在の視点を例 えばLayer3Dに設定することが可能になるであろうが、これは視点ノードのset_b ind eventInの直接的な使用によっては達成することはできない。何故なら、情 景が異なる層間で共有されているからである。 ３Ｄ情景が幾つかのLayer 3Dの間で共有されている場合は、種々のセンサノー ドの振る舞いは次のように定義される。即ち、センサがLayer3Dのうちの該セン サを含む何れかにおいてトリガされると、該センサは事象をトリガする。 （Ｃ）Composite2DTextureの定義及び意味 composite2DTextureは、VRML 2.0画像テクスチャノードのようなテクスチャノ ードである。しかしながら、、該ノードは群化ノードとして定義される。該ノー ドは何れかの２Ｄノードの親であり得る。このノードにより表されるテクスチャ は子フィールドに記述される２Ｄ情景の組み合わせの結果である。 BIFS言語においては、Composite2DTextureノードは以下のように記述される： 形式MFNodeのchildren2Dフィールドは３Ｄ対象上にマップされるべき２Ｄ情景 を定義する２Ｄ群化ノード又は子ノードのリストである。サイズフィールドは、 このマップのサイズを特定する。単位はLayer2D/3Dの場合におけるのと同一であ る。デフォルト値のままとされる場合は、未定義のサイズが使用される。このco mposite2DTextureノードは外観ノードのテクスチャフィールドとしてのみ使用す ることができる。 （Ｄ）Composite3DTextureの定義及び意味 composite3DTextureは、VRML 2.0画像テクスチャノードのようなテクスチャノ ードである。しかしながら、該ノードは群化ノードとして定義される。該ノード は何れかの３Ｄノードの親であり得る。このノードにより表されるテクスチャは 子フィールドに記述される３Ｄ情景の組み合わせの結果である。Layer3Dノード の場合と同様に、結合可能なノードの問題はexposedFieldを用いて解決される。 BIFS言語においては、Composite3DTextureノードは以下のように記述される： 形式MFNodeのchildren3Dフィールドは、３Ｄ対象上にマップされるべき３Ｄ情 景を定義する３Ｄ群化ノード及び子ノードのリストである。サイズフィールドは 、該マップのピクセルでのサイズを特定する(デフォルトのままとされた場合は 、未定義のサイズが使用される)。続く４つのフィールドは３Ｄ情景で使用され る結合可能な子ノードの現在の値を表す。このComposite3DTextureノードは外観 フィールドのテクスチャフィールドとしてのみ使用することができる。 （Ｅ）CompositeMapの定義及び意味 CompositeMapノードは、局部座標系のｚ＝０面の方形内に表されたComposite2 Dtextureノードの特別な場合である。Composite2DTextureノードのこの有効な部 分集合は、組み合わされた２Ｄ及び３Ｄ構成の多くの単純な場合を効率的に扱う のを可能にする。 BIFS言語においては、CompositeMapノードは以下のように記述される： 形式MFNodeのchildren2Dフィールドは、３Ｄ対象上にマップされるべき２Ｄ情 景を定義する２Ｄ群化ノード及び子ノードのリストである。sceneSizeフィール ドは、２Ｄ複合情景のピクセルでのサイズを特定する(デフォルトのままとされ た場合は、未定義のサイズが使用される)。centerフィールドはｘ０ｙ座標系に おける複合マップ（Composite Map）の中心の座標を特定する。mapSizeフィール ドは、２Ｄ情景がマップされるべき方形領域の３Ｄ空間尺度でのサイズを特定す る。このノードは如何なる子ノードとしても使用することができる。 （Ｆ）Valuatorの定義及び意味 Valuatorノードは、予め決められた値を他のノードのフィールドに配送（rout e）するために使用されるノードである。該ノードは既存の各形式のexposedFiel dを有する。Valuatorは、そのexposedFieldの一つが変更される場合に常に起動 されるか、又はenentInを介して起動される。 BIFS言語においては、Valuatorノードは下記のように記述される： パラメータの意味は、単に、一定値の入れ物というだけである。この値は同一 の形式の他のフィールドに配送することができ、これによりフィールドに値を明 示的に設定することができる。配送は、eventInのset_Activeフィールドにより 起動することができる。 上述した解決策は、前記問題を解決する。完全な２Ｄ／３Ｄ情景のための単一 の表現及び２Ｄ及び３Ｄ対象とのグローバルな対話が確かに得られ、ここで、２ Ｄ及び３Ｄ対象は同一のファイル（又はストリーム）内で記述されるから、フィ ールド間で同一の配送機構を使用することが可能となる。この機能の一例が付録 Ａに示され、該機能によれば１つの立方体と、２Ｄ情景内の２Ｄ円として表され たカラーパレットとからなる３Ｄ情景に対して、ユーザが該パレット内の１つの 色に触れると、上記立方体の色が触れた色に設定される。 更に、第１図に示すように、Layer2D及びLayer3Dなる２つのノードが、当該情 景を単一のグローバルな階層構造内に編成するように設計されている。また、テ クスチャマップとしての２Ｄ複合情景と２Ｄ複合マップとが概念的に非常に類似 していることに注意すべきである。該複合マップは、２Ｄ複合情景でマップされ た方形ファセットのテクスチャを定義する。テクスチャマップとしての上記２Ｄ 複合情景は如何なる幾何学形上へもマップすることができるテクスチャである。 付録Ｂは複合マップの一例を示す。この例においては、ワールドの原点に、２ つの画像ならなる地上の2.0ｘ4.0の方形領域を有する。ユーザは、或る行為（本 例では特定されていない）を起動するために、上記２つの画像の何れかに触 れることができる。 付録Ｃは、テクスチャマップとしての３Ｄ複合情景に関して、複合マップの他 の例を示す。この例においては、Layer3D内に立方体を有している。この立方体 は、特定の視点から見た円筒の表示からなるテクスチャマップを有している。ユ ーザは、或る行為（本例では、該行為は特定されていない）を起動するために、 上記円筒に触れることができる。 同一の情景を多重に見ることに関しては、提案された該解決策は、同一の情景 が幾つかのLayer3Dに異なる視点から表示されることを可能にする。これとは別 に、該情景の視点は何らかの２Ｄ画像に触れることにより変更することができる 。この機能は最後の付録Ｄに示されている。

───────────────────────────────────────────────────── フロントページの続き (81)指定国 ＥＰ(ＡＴ，ＢＥ，ＣＨ，ＣＹ， ＤＥ，ＤＫ，ＥＳ，ＦＩ，ＦＲ，ＧＢ，ＧＲ，ＩＥ，Ｉ Ｔ，ＬＵ，ＭＣ，ＮＬ，ＰＴ，ＳＥ)，ＯＡ(ＢＦ，ＢＪ ，ＣＦ，ＣＧ，ＣＩ，ＣＭ，ＧＡ，ＧＮ，ＭＬ，ＭＲ， ＮＥ，ＳＮ，ＴＤ，ＴＧ)，ＡＰ(ＧＨ，ＧＭ，ＫＥ，Ｌ Ｓ，ＭＷ，ＳＤ，ＳＺ，ＵＧ，ＺＷ)，ＥＡ(ＡＭ，ＡＺ ，ＢＹ，ＫＧ，ＫＺ，ＭＤ，ＲＵ，ＴＪ，ＴＭ)，ＡＬ ，ＡＭ，ＡＴ，ＡＵ，ＡＺ，ＢＡ，ＢＢ，ＢＧ，ＢＲ， ＢＹ，ＣＡ，ＣＨ，ＣＮ，ＣＵ，ＣＺ，ＤＥ，ＤＫ，Ｅ Ｅ，ＥＳ，ＦＩ，ＧＢ，ＧＥ，ＧＨ，ＨＲ，ＨＵ，ＩＤ ，ＩＬ，ＩＳ，ＪＰ，ＫＥ，ＫＧ，ＫＰ，ＫＲ，ＫＺ， ＬＣ，ＬＫ，ＬＲ，ＬＳ，ＬＴ，ＬＵ，ＬＶ，ＭＤ，Ｍ Ｇ，ＭＫ，ＭＮ，ＭＷ，ＭＸ，ＮＯ，ＮＺ，ＰＬ，ＰＴ ，ＲＯ，ＲＵ，ＳＤ，ＳＥ，ＳＧ，ＳＩ，ＳＫ，ＳＬ， ＴＪ，ＴＭ，ＴＲ，ＴＴ，ＵＡ，ＵＧ，ＵＳ，ＵＺ，Ｖ Ｎ，ＹＵ，ＺＷ (72)発明者 マラート ロール オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６ (72)発明者 シグネス ジュリアン オランダ国 5656 アーアー アインドー フェン プロフ ホルストラーン ６

Claims (1)

1. 【特許請求の範囲】 １．音声画像データを表し且つ連続したビットストリームの形態で利用可能な符 号化されたデジタル信号を表示装置上に表示されるべき情景の２進記述に鑑み て復号する方法であって、該方法が発展的統語言語に基づく処理動作を有し、 該処理動作が第１のステップにおいて前記情景の構造に従って前記ビットスト リームから対象と呼ばれる個別の要素を抽出し、第２のステップにおいて前記 情景の要素の個々のアニメーションを定義し、第３のステップにおいてユーザ と前記要素との間の特別な対話を定義し、第４のステップにおいてアプリケー ションの種々の分類に従い前記情景要素と対応する個々のアニメーション及び ／又はユーザ対話との間の特定の関係を編成するような方法において、 前記処理動作が、何れかの種類の二次元的及び三次元的対象から構築される 複合情景を、二次元的及び三次元的な両特徴を統合すると共に前記情景の構造 の組立機構及び表現機構を統一するような枠組みに従って記述する付加的ステ ップを含んでいることを特徴とする方法。 ２．請求項１に記載の方法において、前記付加的記述ステップが前記情景の階層 的表現を、当該情景の空間的構造を与える階層的接続を示す群化ノードとツリ ーの葉を構成する子ノードとの両ノードで編成されるツリー構造に従って定義 する第１の主副ステップと、何れかの種類のノードの間の可能な横方向の接続 を定義する第２の補助副ステップとを有していることを特徴とする方法。 ３．請求項２に記載の方法においで、前記ツリー構造のノードが少なくとも二次 元的対象と三次元的対象とを有し、前記補助定義副ステップは、前記二次元的 対象の少なくとも１つを前記三次元的対象の少なくとも１つに埋め込む第１の 動作と、前記三次元的対象と前記二次元的対象との間の横方向接続を定義する 任意選択的な第２の動作と、埋め込まれた二次元的対象及び対応する元の対象 の両方における少なくとも１つの個々のアニメーション及び／又は少なくとも １つの特別な対話の定義ステップを制御する任意選択的な第３の動作とを有す ることを特徴とする方法。 ４．請求項２に記載の方法において、前記ツリー構造のノードが少なくとも二次 元的対象と三次元的対象とを有し、前記補助定義副ステップは、前記三次元的 対象の少なくとも１つを前記二次元的対象の少なくとも１つに埋め込む第１の 動作と、前記二次元的対象と前記三次元的対象との間の横方向接続を定義する 任意選択的な第２の動作と、埋め込まれた三次元的対象及び対応する元の対象 の両方における少なくとも１つの個々のアニメーション及び／又は少なくとも １つの特別な対話の定義ステップを制御する任意選択的な第３の動作とを有す ることを特徴とする方法。 ５．請求項２に記載の方法において、前記ツリー構造のノードが少なくとも三次 元的対象を有し、前記補助定義副ステップは、前記三次元的対象の少なくとも １つを前記三次元的対象の何れかの少なくとも１つに埋め込む第１の動作と、 前記三次元的対象の間の横方向接続を定義する任意選択的な第２の動作と、埋 め込まれた三次元的対象及び対応する元の対象の両方における少なくとも１つ の個々のアニメーション及び／又は少なくとも１つの特別な対話の定義ステッ プを制御する任意選択的な第３の動作とを有することを特徴とする方法。 ６．請求項４及び５の何れか一項に記載の方法において、前記補助定義副ステッ プが、少なくとも１つの単一三次元的情景の種々の視点からの同時的表示を制 御し、その際に前記個々のアニメーション及び／又は特別な対話の定義ステッ プを制御する任意選択的な第３の動作を維持するような付加的な動作を有して いることを特徴とする方法。