JPH07500470A - カメラ画像からのスタジオカメラ位置及び移動の導出 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 この発明はテレビジョンカメラにより捕獲された画像データからのテレビジョン カメラの位置に関する情報の導出に関係している。

発明の背景 テレビジョン映画製作においては、スタジオにおいてビデオ生演技を行いこの演 技を背景画像に電子的に重ね合わせることがしばしば要求される。これは通常、 青色背景の前で演技を撮影して、前景と背景とを区別するためにビデオ信号から 「キー」を生成することによって行われる。背景区域においては、選ばれた背景 画像は電子的に挿入することができる。

この技法に対する制限は、スタジオにおけるカメラが動くことができないことで あるが、これは比例した背景の移動がなければ前景の移動を生成することになる からである。カメラの移動を可能にする一つの方法は事前規定のカメラ移動の実 行を可能にするロボットカメラ取付具を使用して、背景画像が撮影されるときに 同じカメラ移動を行うことである。しかしながら、事前規定の移動の必要性は映 画製作過程に厳しい制限を課している。

カメラが移動されるときに現在のカメラ位置に適するように変更され得る背景画 像を電子的に生成することができることを意図した諸技法が現在開発中である。

それゆえにスタジオにおけるカメラの位置を測定する手段が必要とされる。これ が行われ得る一つの方法はカメラにセンサを取り付けてそれの位置及び写角を決 定することである。しかしながら、そのようなセンサの使用は常に実用的である とはかぎらない。

ここで取り扱われている問題はカメラからのビデオ信号だけを用いてカメラの位 置及び移動を導出する方法である。従ってこの方法は特別のセンサを伴わない無 変更のカメラについて利用されることができる。

従来技術の説明 カメラの画像信号の解析によるカメラの位置及び移動の導出はしばしば受動的航 法と呼ばれる課題である。文献にはこの問題に対する対策の多（の例があるが、 そのうちの比較的適切なものは次のとおりである。

１、プラント他、１９９０年 カメラダイナミックスのモデルに基づいた繰返し運動推定（Ｂｎｎｄ＋ｔｔ１１ ．１９９０．Ｒ＋ｃｕ＋ｉｔｅｍｏ＋ｉｏａ＠ｌｌ１ｍ畠ｔｉｏａｂｕｓｄ＋ｏ ＋＊ｍｏｄｅｌｏｌＩｈｅ　ｔｓｍｔｒｓ　ｄｌｎ＊ｍ１ｔｓ、）２、プラント 、カルマン、ランサー 信号処理Ｖ・理論及び応用（トレス外編）、エルゼビ乙１９９０年発行、９５９ 〜９６２ページ （Ｂ＋ｓｍｄ＋、＾　、Ｋ！＋ｓｕｕ＋、Ｋ　、　Ｌｕ＋ｕ、Ｓ、Ｓｉ（＋＋ｓ ｌ　Ｐ＋ｏＣｔｓｓｉＢ　Ｖ　丁ｈｅｏｒｉｔｓｓｏｄ　Ａｐｐｌ＋ｃｒｔｉｏ ｎｓ（Ｅｄ、Ｔｏｔｔｅｒ、　Ｌ、　ｅ＋　ｚｌ、ｌ、　ＥＩｓｚｔｉ＋、ｐｐ 、９５９−９６２．　１９９P１．１ ３、バックストン外、１９８５年 視覚運動の機械認知 Ｂ、Ｆ、バックストン、Ｈ，バックストン、Ｄ、　Ｗ、マレ−、Ｎ、Ｓ、ウィリ アムス ＧＥＣジャーナル・オブ・リサーチ、第３巻　第３号、１４５〜１６１ページ（ ＢｕｊｏＩｌｅ＋　ｌｌ　ｌｌ１１１５　ＭｓｃｈＩＩｌｔ　ｇｔｒｃｅｐｒＩ ｏａ　ｏｌ　ｒｉｕｓｌ　５ａｌｉｏａ、　ｈ！ｔｅａ、@ａ、Ｆ、。

Ｂｕｘｔｏｍ、Ｈ，、Ｍｕｎ７．　Ｄ、Ｗ、、Ｗｉｌｌｉｓｓｓ、Ｎ、　Ｓ、　 ＧＥＣＩｏｗｒａ＊ｌ　ｏｆ　ｌｌ＊５ｓｕｃｋ。

ｙｏｌ、　３　Ｋ５．３．　ｐｐ、　１４５−１６１．１４、ネトラバリ及びロ ビング、　１９７９年運動補償形テレビジョン符号化、第１部Ａ、　Ｎ、ネトラ バリ、Ｊ、　Ｄ、ロビングベル・システム・テクニカル・ジャーナル第５８巻第 ３号、　１９７９年３月、６３１〜６７０ページ　。

（Ｎ！ｆｎｗ＊ｌｉ　！ｎｄ　Ｒｏｂｂｉａ＋　１９７９　１１ｏ１ｉｏｅ−ｅ ｏｓｐ■ｍｅｄ　ｌ＊１５ｗ１ｓｉｏｓ　ｃｏｄ■Ｉ：Ｐｕｔ　１．　Ｎｓ＋＋ ！ｔ１ｉ、　Ａ、　Ｎ、、　Ｒｏｂｌ＋ｉａ＋、　１．　Ｄ、　Ｂｅ１ｌ　５７ ｓｌｅｓ　Ｔｔｅｈａｉｃ＊１１ｏｕｎｓｌＶｏ１．５１１．！ｌｏｊ、Ｍｓ、 、１９７９．ｐｐ、６１３−６７０．）５、トーツス、１９８７年 ＤＡＴＶ及び他の適用装置のためのテレビジタン運動測定Ｇ、　Ａ、トーツス ＢＢＣ研究研究部門報告書１ツ８７ Ｂｐｌｉｃｚ＋ｉｏ＋ｕ．　Ｔｈｏ＋ｕ＋．　Ｇ．　Ａ．　ＢＢＣ　Ｒｕｅｕｅ ｈ　Ｄｅｐｕｌ＋ｕａｌ　Ｒｔｐｏ＋ｆＮｏ．　１９８７／Ｉ１．　１ ６、ウオモリ外，　１９９２年 ビデオカメラ及びＶＣＨのための電子的画像安定化システムに，ウオモ１ハ　Ａ ．モリムラ、Ｊ，イシイＳＭＰＴＥンヤーナル．第１ｏｔ巻　箪２号．　１９９ ２年２月，６６〜７５ページ（ｌＩｏＩＩｏ＋ｉ　＋ｌ　＋１．　１９９２　Ｅ １ｍ＋ｏｎｉｃ　１ｓｌｅ　山ｂｉｌｉｓ８１ｉｏｎ　１川ｔｔａ　ｌｏ口ｉｄ ｓ。

ｎａｎｏ　ｕｆｌ　ＶＣｈ．　Ｕｏｍｏ＋ｉ，　Ｋ，、　Ｍｏ＋ｉａ＋ｏｒ！， ＾．，１山ｉ，　１．　ＳＭＰＴＥ　１ｅａｒｎｔ。

Ｖｏｌ．ｌＱＩ　Ｎｏ．２．　ｐｐ．６６−７５．　Ｆｅｂ．　＋９９２．）７ 、ウー及びキノチル、１９９０年 Ｓ．　Ｆ　ウー．Ｊ．キソテル，　１９９０年回転、尺度変更及び並進の同時推 定のための差分方法．信号処理２画像通信２。

エルゼビア．　１９９０年，６９〜８０ページ（Ｖｗ　＋ｎｄ　Ｋ１１ｌｓｌ　 １９９０　Ｗｕ．　Ｓ．Ｆ．、Ｋ１ｍ１，　１．　１９９０．　Ａ　ｄｉｆｆｕ ｅａｔｉ＊ｌ　ｍｅ＋ｈｏ■ ｒａｔ　＋１Ｉｌｌｎｌ１１ｕｏｕ＋　ｅｌｌｉＩＩｌ！１ｉｏｎ　ｏｌ　ｔｏ ……．山Ｈｔ　ｏｆ　＋ｃｓｌｓ　ｕｄ＋ｎｎ＋ｌ！Ｎｏｎ．　５１ｇｎ１ｌ　 Ｐ＋ｏｃｕ＋ｉｎｇ：　ｌｓｖ！ｅ　ＣＨＨａｉｕｌｉｏｎ　２，　Ｅｌｕｓｉ ｕ。

１９９Ｇ．　ｐｐ．６９−８０．１ 例えば、多数の特徴点が画像において識別されてそれらの運動がフレームごとに 追跡され得るならば、多数の非線形連立方程式を解くことによってこれらの点に 対するカメラの運動を計算することが可能である〔バックストン１９８５年〕。

？！黴点の追跡は多くの場合画像の光学的流れ（運動）の場を測定することによ って達成される。これは多くの方法で、例えば画像の空間・時間的輝度こう配の 測定値に基づいたアルゴリズムを用いることによって、行われることができる〔 ネトラベリ及びロビンズ１９７９年〕。

類似の方法は、カルマン（Ｋｓｍａ）フィルタリング技法を用いて光学的流れの 場及び深さ情報からカメラ運動パラメータを推定することである〔プラント外１ ９９０年〕。

しかしながら、カメラの運動に関する確実な（比較的雑音のない）情報を得るた めに、いつでも見える十分な数の特徴点を有すること、及びこれらの点が適当な 方法で空間に分布させられることが必要である。例えば、すべての点がカメラか ら比較的大きい距離にあるならば、カメラパン（垂直軸の周りのカメラの回転） の効果は観察方向に直角な水平並進のそれに非常に類似して現れる。ある範囲の 深さの点はそれゆえにこれらの形式の運動を確実に区別することを要求される。

場景内容に比較的少ない制約を課しながらカメラ運動パラメータの部分集合が決 定されることを可能にする比較的簡単なアルゴリズムが存在する。例えば、カメ ラのパニング及びティルテイングにより引き起こされたもののような水平及び垂 直画像運動の測定は手持ち式カメラにおける画像の安定化のような応用に対して は比較的簡単に測定されることができる〔ウオモリ外１９９２年〕。

発明の要約 カメラ画像の解析からすべての所要のカメラパラメータ（三つの空間座標、パン 及びティルト角度並びにズーム度）を導出するためには、画像における多数の点 が識別され且つ追跡されなければならないであろう。ＴＶスタジオにおける操作 上の制約についての考察から考えついたことであるが、画像に適当な数の適切に 分布した基準点を準備することは非実用的であろうと思われる。すなわち、カメ ラ又は俳優の位置に関係なく、相当数のものが常に見えるような方法である範囲 の種々の深さの所に場景の全域にわたって標識が配置されなければならないであ ろう。

我々が察知したことであるが、画像並進及び尺度変化の測定は行うのが比較的容 ５であり、これらの測定値から次のいずれかを計算することは容易である。

１、カメラが固定三脚に取り付けられているという仮定の下でのパン、ティルト 及びズーム。尺度変化はカメラズームの程度が変更された量の直接の表示であり 、又水平及び垂直並進はパン及びティルト角度における変化を表示している。又 は、２、カメラが三次元で動き得る（しかし、パン又はティルトはできない）よ うな方法で取り付けられており且つ平面状背景に垂直な方向を見ているという仮 定の下での水平及び垂直移動。尺度変化はカメラが光軸□に沿って移動した距離 を表示しており又画像並進はカメラが光軸に垂直にどれだけ移動したかを表示し ている。

この方法は画像における特別の標識又は特徴点を必要とせず、単に全体的運動パ ラメータの単純な推定を可能にするように十分な細部描写を必要とするだけであ る。それゆえに広範囲の画像資料についそ機能することができるはずである。

必要とされるすべてのことは焦点距離（又は視野に対する角度）並びにカメラの 初期位置及び写角の測定である。

この発明は独立請求項によって定義されており、これに参照が行われるべきであ る。好適な諸特徴は従属請求項に述べられている。

既述の方法は、画像深さのような他の情報が導出され得たならば、より一般的な 状況に拡張される（許容されるカメラ移動の種類に、より多くの自由を与える） であろう〔プラント外１９９０年〕。カメラにおける若干のセンサからの付加的 な情報（例えばズーム度を測定すること）はより大きい順応性を与えるであろう 。

画像の並進及び尺度変化が測定されることを可能にするために、画像の背景には 十分な細部が存在しなければならない。現在の実行は通常、ビデオ信号のＲＧＢ 値の解析によってキー信号が発生されることを可能にするように、青色スクリー ン背景の使用に基づいそいる。明らかに、カメラ移動情報が画像から導出される べきである場合には、無地の青色スクリーンは細部を含んでいないので使用され ることができない。それゆえに、ある種の模様を含んでいるが、それでもキー信 号の発生を可能にするように適当な形式のものである背景を使用することが必要 になる。　。

考慮されている一形式の背景は、それぞれが現在使用されている青色によく似て いる二つの類似した青の色調の正方形の「市松模様のもの」である。これは現在 のキーイング技法を使用可能とすると共に、十分な細部を与えて光学的流れの測 定が行われることを可能にするはずである。このような測定は、青色の色調（濃 淡）間の差を強調するように意図されたＲＧＢ値の適当な重み付き和から得られ た信号について行われることができるであろう。

キー信号は運動推定過程に先立って画像から前景物体を除去するために使用され ることができる。されゆえに前景物体の運動は計算を混乱させることにはならな い。

図１はこの発明を具体化したカメラ移動推定装置システムの基本的構成を概略的 ブロック形式で示しており、 図２は現在及び基準画像における測定点の関係を図解しており、図３は基準画像 から現在画像への所与の測定点の変位を示した概略図であり、又 図４は市松模様の背景を示している。

最良の方法の説明 全体的並進及び尺度変化を測定するために選ばれたアルゴリズムは次の基準を満 足させなければならない。

１、選ばれたアルゴリズムは、実時間で動作しなければならないので、あまりに も計算量の多いものであってはならない、２、それは、測定誤差が前景と背景と の間の変位誤差として現れるので、高度に正確な測定が可能でなければならない 、３、測定誤差は、カメラがその出発点から更に離れて移動するにつれて有意の 程度に累積するべきではない。

実施例　移動推定とこれに続く全体的移動パラメータ決定使用されることがぞき るような一形式のアルゴリズムの一例は参考文献４〔ネトラバリ及びロビンズ１ ９７９年〕に記述された繰返し空間一時間的こう配技法に基づいたものである。

この種のアルゴリズムは計算効率がよくて小さい変位を高確度で測定することが 可能であることが知られている。参考文献６〔ウォモリ外１９９２年〕に記述さ れたブロックマツチング又は参考文献５〔トーマス１９８７年〕に記述された位 相相関に基づいた他のアルゴリズムも又適当であろう。

アルゴリズムは新しい各カメラ画像と記憶基準画像との間の標本ごとの方式によ る移動を推定するために使用されることができる。基準画像は最初は、カメラが 既知の位置にあるときに撮影の開始時にカメラにより観察された画像である。

各測定前に、期待並進及び尺度変化は前の測定値から予測され且つ基準画像はこ の推定量だけ並進及び尺度変化を受けている。それゆえ移動推定過程は実際の移 動と予測された移動との間の差を測定するだけでよ（１゜生成された移動ベクト ル場は水平及び垂直変位並びに尺度変化を決定するために解析される。これは正 確なベクトルを持っていそうなベクトル場において（例えば、高画像細部及び一 様なベクトルを持″っている領域において）多数の点を選択することによって行 われ得る。尺度変化は選択されたベクトル間の差を点の空間的離隔距離の関数さ して橋査することによって決定されることができる。並進はそこで尺度変化の効 果を割引した後測定ベクトルの平均値から決定されることができる。測定値は推 定値に加算されて現在のカメラ画像に対する累積変位及び尺度変化を与える。

このシステムの順応性を拡大するために将来は、例えば所与の画像点の深さを決 定するための手段と関係して、ベクトル場を解析する、より複雑な方法が加えら れ得るであろう。

累積並進及び尺度変化がより大きくなると、並進した基準画像は現在のカメラ画 像に対する良くない近似を与え始める。例えば、カメラが右ヘパンしているなら ば、現在画像の右にある画像資料は基準画像に存在しなくなり、従って移動推定 はこの区域に対しては得られない。この問題を軽減するために、一旦累積値が所 与のしきい値を越えると、基準画像は現在のカメラ画像により置き換えられる。

しかしながら、これが起こるたびごとに測定誤差がｉ積する。

すべての処理は空間的にフィルタされ且つ副標本化された画像について実施され る。これは測定確度に有意の損失を伴うことなく所要の計算量を減少させる。

このフィルタリング通線は又画像を柔らかにする。これはこう配（グラジェント ）形移動推定装置の確度及び信頼性を改善することが知られている。更なる計算 量の節約がことごとくのフィールドについてではなく一つおきのフィールドの間 で処理を実施すｉことによ・て達成され得る。これは急な加速が追跡され得る確 度を低減するが、スタノ矛カメラの大抵の移動は滑らかである傾向があるのでそ れ′りされた。このベンチマークの結果間らかになったことであるが、到来画像 をフィルタし且つ下位標本化する過程が全計算時間の半分間を使用しそうである 。

実施例２　全体的移動パラメータの直接推定全体的並進及び尺度変化を決定する 代替的且つ好適な方法はそれらをビデオ信号から直接導出することである。これ を行う方法は〔ウー及びキラチル１９９０年］によって参考文献７に記述されて いる。我々はこの方法を拡張して、記憶基準画像を用いて機能するように且つ予 測移動値を出発点として使用するようにした。更に、この技法は、計算量を低減 するために、我々が測定点と名づけた、画像における画素の部分集合にだけ適用 される。前の実施例におけるようにＲＧＢビデオ信号は単一成分の信号を形成す るようにマトリックス化され、そして処理前に空間的に低域フィルタされる。前 に記述されたように、キー信号により背景として同定された区域だけが考察され る。

この方法は各到来画像における多数の測定点並びに予測並進及び尺度変化に従っ て変位した基準画像における対応する点を考察することによって適用される。

これらの予測値は、例えば、先行する二つの画像において行われた測定の線形補 外によって計算されることができる。測定点は図２に示されたように規則的な配 列として配列されればよい。より複雑な方法は、限定された数の点が使用される ときの確度を改善するために、高輝度こう配の区域に測定値を集中させることで あろう。我々は一様に分布した５００〜１０００の測定点が良好な結果を与える ことを見いだした。前景区域に入る点（キー信号により示されたような）は、決 定されることになっている背景の移動であるので、捨てられる。

各測定点においては輝度こう配が図３に示されたように計算される。これらは、 例えば、測定点の両側の画素間の差を単に取ることによって計算されることがで きる。空間的こう配は又予測された移動だけずれた、基準画像における対応する 点に対しても計算される。時間的輝度こう配も又計算され、又副画素補間が基準 画像において使用されてもよい。測定されたこう配を移動値に関係づける方程式 は次のように形成される。

こう配は次の方程式によって変位及び尺度変化に（近似的に）関係づけられる。

ｇ　Ｘ＋ｇ　Ｙ＋（Ｚ−１）　＠（ｇ　ｘ＋ｇ　ｙ）＝ｇｔｘｙ　ｘｙ ここで は二つの画像間で平均化された水平及び垂直輝度こう配であり、ｇＣ，ｇｃｘ　 ｙ は現在の画像における水平及び垂直輝度こう配であり、ｇｒ、ｇｒ　は基準面ｘ 　ｙ 像における水平及び垂直輝度こう配であり、又ｇｔは時間的輝度こう配である。

Ｘ及びＹは現在画像と基準画像との間の変位であり且つＺは尺度変化（予測値を 越えたもの）である。

方程式の導出は参考文献７〔ウー及びキラチル１９９０年〕に見いだされること ができる（この参考文献は画像回転の効果を含んでいる。スタジオカメラは光軸 の周りに回転することができないように取り付けられる傾向があるため画像回転 はここではほとんど関連がないので我々はこれを省略した）。

この方法で導出された連立−次方程式（各測定点に対して一つ）の集合は標準的 最小二乗解法を用いて解かれて予測及び実際の並進及び尺度変化の間の差の推定 値を与える。計算された並進値は次に予測値に加算されて基準画像と現在画像と の間の推定並進を与える。

同様に、計算及び予測尺度変化は互いに乗算されて推定尺度変化を与える。この ように計算された推定値は今度は次の画像の並進及び尺度変化に対する予測を導 出するために使用される。

以前に説明されたように、基準画像はカメラがその初期位置から十分遠くに離れ て移動したときに更新される。この自動リフレッシュ過程は、例えば、到来及び 基準画像間の重なりの区域が所与のしきい値より下になったときにトリガされれ ばよい。重なりの区域を評価するときには、キー信号が考慮されなければならな いが、これは例えば、基準画像における背景の左半部を覆い隠した俳優が移動し て右半部を覆い隠し、到来画像と基準画像との間に共通した認識できる背景を残 さないようになるからであ゛る。重なりの程度を測定する一つの方法は利用可能 な（すなわち、到来及び基準の両画像の可視背景区域に入る）測定点の数を数え ることである。この数は基準画像が最初に使用されたときに使用可能であった測 定点の数によって除算されて、その基準画像で得られる最大区域の分数としての 、利用可能な画像区域の測定を得ることができる。所与の基準画像における使用 可能な点の初期の数がそれ自体所与のしきい値より下にあったならば、これは画 像の大部分が背景ではなく前景でとられたことを示すであろうから、警告メツセ ージが生成されるべきである。

測定された尺度変化が所与の範囲を越えるならば（例えば、カメラが長い距離ズ ームインするならば）基準画像をリフレッシュするのも又有利であり得る。この 状況では使用可能な測定点の数ば非常に高くてもよいけれども、記憶基準画像の 解像度は正確な移動推定を可能にするのに不十分になることがあるであろう。

基準画像は、更新されると、その累積変位及び尺度変化の細目と共に、将来の使 用のために記憶装置に保持されることができる。現在の基準画像がもはや適当で ないとの決定が行われると、記憶画像はそのいずれかが場景の適当な観察を与え たかどうかを見るために検査されることができる。この評価は上に説明された基 準に類似の基準を用いて実施されることができる。例えば、カメラが左ヘパンし てから再びその出発位置ヘバンするならば、初期基準画像はカメラがこの位置に 近づくときに再使用されろことができる。これは−場面の終了時に行われたカメ ラ方位の測定値が開始時打われたそれと同様に正確であることを保証する。

図１に戻って言及すると、二つの移動推定方法のそれぞれを実施するための装置 が示されている。カメラ１０は、前に説明されたように図４に示されたような二 つの色調で模様化されることのできる背景１２からビデオ信号を得る。図４に示 された背景は正方形の二色調配列を示している。一方の色調の正方形３０が他方 の色調の系列３２に隣接して配列されている。正方形以外の形状も使用されるこ とができ、又三つ以上の異なった色調を使用することも可能である。更に、色調 は色相及び明るさの両方において又は色相若しくは明るさにおいて異なっていれ ばよい。現在では、明るさにおける変化は最終の画像に現れることがあるので明 るさは一定であることが好ましいと考えられる。

青の色は背景のために最も普通であるけれども、他の色、例えば緑又はオレンジ は適当であるときには時々使用される。既述の技法は任意特定の背景色に特有の ものではないが、背景の多くの異なった区域の間で色相及び／又は明るさにおけ るわずかな変化を必要とし、又、所与の区域に隣接した区域が所与の区域のもの とは異なった明るさ及び／又は色相を持つことを必要とする。このコントラスト は背景からの移動推定が実行されることを可能にする。

カメラにより形成された赤、緑及び青（ＲＧＢ）の色信号は単一の色信号へとマ トリックス化されて空間的低域フィルタに（１４において）加えられる。低域出 力は画像記憶装置１６に加えられ、この記憶装置は基準画像データを保持してお り、それの出力は画像に対して予測移動を適用することによって１８において変 換される。移動調整された基準画像データは低減フィルタされた画像と共にユニ ット２０に加えられ、このユニットは入力Ｉにおける到来画像と入力Ｒにおける 記憶基準画像との間で背景区域における正味の移動を測定する。ユニット２０は 既述の移動推定アルゴリズムの一つを適用する。正味移動測定はカメラ１０から のフィルタされていないＲＧＢ出力からキー発生器２２により得られたキー信号 にの制御の下で行われて測定値から画像の前景部分を除外する。移動予測信号は 前の測定された移動に基づいて更新され、これによって画像記憶装置１６からの 出力が正確に補間されることを保証する。前に論述されたように、カメラがその 初期位置から十分に離れて移動したときにリフレッシュ信号２４が正味移動測定 ユニット２０から画像記憶装置１６へ送られる。リフレッシュ信号２４の受信に より新しい画像が画像記憶装置に記憶されて従来の正味移動測定のための基礎と して使用される。

正味移動ｆｆ１ｌ定ユニツト２０からの出力は前に論述されたように現在のカメ ラ位置及び方位の表示を得るため使用される。

任意選択的に、カメラに取り付けられたセンサ２６は画像導出移動信号を増やし 又は取り替えるデータを正味移動測定ユニット２０に供給することができる。

画像記憶装置１６は現在の基準画像はもとより前の基準画像の記憶をも可能にす る多フレーム記憶装置からなることができる。

既述の技法は又前に記述された正に青色背景の代わりに任意の画像資料を示す画 像信号に適用されることができる。場景において物体が移動しているならば、コ ノ物体はクロマ・キー信号を使用することによる代わりにそれの移動によって区 分分割されることができる。区分分割は、例えば、（予測背景、移動を補償した 後の）時間的輝度こう配があるしきい値より上にあった任意の測定点を度外視す ることによって実行され得るであろう。予測背景移動に対する移動を検出するた めの更に複雑な技法も又使用され得る。

既述の技法が特殊目的のディジタル信号処理機器によって、コンピュータにおけ るソフトウェアによって、又はこれらの方法の組合せによって実施され得ること は理解されるであろう。この技法の任意のテレビジョン標準に等しく効果的に適 用され得ることも又、明らかであろう。

Ｑｉ　時間的輝度こう配

Claims (1)

1. 【特許請求の範囲】 １．一続きのビデオ画像における最初の画像を記憶すること、この記憶画像を並 進及び尺度変化の予測によって変換すること、前記−続きのビデオ画像における 後続の画像を変換された前記最初の画像と比較すること、並びに並進及び尺度変 化の測定値をこの比較から導出することを含む、一続きのビデオ画像における並 進及び尺度変化を測定する方法において、基準画像と到来画像との間の重なりが 所与の割合により下に低下したときに最初の基準画像を新しい到来画像で置き換 えることによって特徴づけられている、一続きのビデオ画像において並進及び尺 度変化を測定する方法。 ２．画像の背景区域だけが並進及び尺度変化の測定において使用される、請求項 １に記載の方法。 ３．前景と背景を分離するために使用される信号がクロマ・キー技法を用いて導 出される、請求項２に記載の方法。 ４．画像の前景及び背景部分を分離するために使用される信号が、背景について 予測されたものとは異なった移動で移動している物体を識別するための移動検出 方法を用いて導出される、請求項２に記載の方法。 ５．各画像が一様に近い色の背景を含む場景を観察しているカメラから得られた 単一成分の信号であって、背景が複数の区域に間分割されており、この各区が隣 接の区域の色相及び／又は明るさとは異なった色相及び／又は明るさを有してい るクロマ・キー技法によるキー信号の発生を可能にしており、且つ前記単一成分 の信号が三成分カメラ信号から形成されていて、背景の個々の区域の色相及び／ 又は明るさにおける差を強調して移動推定を可能にしている、先行するいずれか 一つの請求項に記載の方法。 ６．画像が一様に近い色の背景を含む場景を観察しているカメラにより得られた 単一成分信号からなっていて、この背景が複数の区域に分割されていて各区域が クロマ・キー技法によるキー信号の発生を可能にするように隣接した区域の色相 及び／又は明るさとは異なった色相及び／又は明るさを持っており、単一成分信 号が、背景の個々の区域の色相及び／又は明るさにおける差を強調して移動推定 を可能にするようにカメラ信号から形成されている、一続きのビデオ画像の最初 の画像を記憶すること、記憶画像を並進及び尺度変化の予測によって変換するこ と、一続きの画像における後続の画像を変換された前記最初の画像と比較するこ と、並びに比較から並進及び尺度変化の測定値を導出することを含んでいる、カ メラにより得られた一続きのビデオ画像における並進及び尺度変化を測定するた めの方法。 ７．背景が複数の区域に分割されていて、各区域が二つの色相及び／又は明るさ のうち一つを有している、請求項５又は６に記載の方法。 ８．背景の区域が正方形である、請求項５，６又は７に記載の方法。 ９．各方程式が並進及び尺度変化を基準画像の一点における空間的及び時間的こ う配に関係づけられており且つ移動パラメータのための最小二乗法の解を与える ように解かれる多数の連立方程式の計算によって並進及び尺度変化が予測される 、先行するいずれか一つの請求項に記載の方法。 １０．移動推定のために基準画像において多数の測定点を選択すること、並びに 基準画像及び所与の到来画像の両方に見える背景の区域にある測定点の数が測定 点の総数の所与の割合より下に低下したときに前記基準画像を新しい到来画像で 置き換えることを含んでいる、先行するいずれか一つの請求項に記載の方法。 １１．到来画像と基準画像との間の尺度変化が所与の係数を越えたならは基準画 像を置き換えることを含んでいる、先行するいずれか一つの請求項に記載の方法 。 １２．記憶及び比較の前に画像信号を空間的にプレフィルタすることを含んでい る、先行するいずれか一つの請求項に記載の方法。 １３．測定点が画像における規則的配列にある、先行するいずれか一つの請求項 に記載の方法。 １４．測定点が高い空間的こう配の点にあるように選はれている、請求項１ない し２のいずれか一つに記載の方法。 １５．後程の使用のために置換された基準画像を記憶することを含んでいる、先 行するいずれか一つの請求項に記載の方法。 １６．一続きのビデオ画像を獲得するための手段（１０）、一統きの画像におけ る最初の画像を記憶するための記憶手段（１６）、記憶画像を並進及び尺度変化 の予測によって変換するための手段（１８）、変換された最初の画像を一続きの 画像における後院の画像と比較するための及びこれから並進及び尺度変化の測定 値を導出するための手段（２０）を含んでいる、一続きのビデオ画像における並 進及び尺度変化を測定するための装置において、基準画像と到来画像との間の重 なりが所与の割合より下に低下したときに最初の基準画像を新しい到来画像で置 き換えるための手段（２４）によって特徴づけられている、一続きのビデオ画像 における並進及び尺度変化を測定するための装置。 １７．前記導出するための手段が画像の背景区域においてだけ動作し、背景に対 して予測されたものとは異なった移動で移動している物体を識別するための移動 技法を用いて画像の前景及び背景部分を分離するための手段を含む、請求項１６ に記載の装置。 １８．前記導出するための手段が画像の背景においてだけ動作し、前景及び背景 を分離するためにクロマ・キーを発生するためのキー発生器を含む、請求項１６ に記載の装置。 １９．一様に近い色の背景を含んでいる場景を観察しているカメラから単一成分 信号を発生するための手段（１２，１０，１４）を含んでいて、背景が複数の区 域に分割されていて各区域がクロマ・キー技法によるキー信号の発生を可能にす るように隣接区域の色相及び／又は明るさとはと異なった色相及び／又は明るさ を持っており、且つ背景の個々の区域の色相及び／又は明るさにおける差を強調 して移動推定を可能にするように前記単一成分信号が三成分カメラ信号から形成 されている、請求項１６ないし１８のいずれか一つに記載の装置。 ２０．画像が一様に近い色の背景を含んでいる場景を観察しているカメラにより 得られた単一成分信号からなっていて、この背景が複数の区域に分割されていて 各区域がクロマ・キー技法によるキー信号の発生を可能にするように隣接区域の 色相及び／又は明るさとは異なった色相及び／又は明るさを持っており、前記単 一成分信号が、背景の個々の区域の色相及び／又は明るさにおける差を強調して 移動推定を可能にするようにカメラ信号から形成されている、一続きのビデオ画 像の最初の画像を記憶するための手段（１６）、記憶画像を並進及び尺度変化の 予測によって変換するための手段（１８）、並びに一続きの画像における後続の 画像を変換された最初の画像を比較するための及びこの比較から並進及び尺度変 化の測定値を導出するための手段（２０）を含んでいる、カメラにより得られた 一続きのビデオ画像における並進及び尺度変化を測定するための装置。 ２１．背景（１２）が複数の区域（３０，３２）に分割されていて、各区域が一 つ又は二つの色相及び／又は明るさを有している、請求項１９又は２０に記載の 装置。 ２２．背景の区域が正方形である、請求項１９，２０又は２１に記載の装置。 ２３．各方程式が並進及び尺度変化を基準画像の一点における空間的及び時間的 こう配に関係づけており且つ移動パラメータのための最小二乗法の解を与えるよ うに解かれる多数の連立方程式の計算によって並進及び尺度変化を予測するため の手段（２０）を含んでいる、請求項１６ないし２２のいずれか一つに記載の装 置。 ２４．置き換える手段（２０）が、移動推定のために基準画像において多数の測 定点を選択するための、並びに基準画像及び所与の到来画像の両方に見える背景 の区域にある測定点の数が測定点の総数の所与の割合より下に低下したときに前 記基準画像を新しい到来画像で置き換えるための手段を含んでいる、請求項１６ ないし２３のいずれか一つに記載の装置。 ２５．記憶及び比較の前に画像をフィルタするための空間的フィルタ（１４）を 含んでいる、請求項１６ないし２４のいずれか一つ記載の装置。 ２６．将来の使用のために置換された基準画像を記憶するための更なる記憶手段 （１６）を含んでいる、請求項１６ないし２５のいずれか一つに記載の装置。