JPH0818941A

JPH0818941A - 画像処理装置及び多対地会議方法

Info

Publication number: JPH0818941A
Application number: JP6146176A
Authority: JP
Inventors: Noboru Hamada; 昇浜田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 1994-06-28
Filing date: 1994-06-28
Publication date: 1996-01-19

Abstract

(57)【要約】【目的】画面多重方式の端末で、分離能力数までの映
像を表示できるようにする。【構成】制御対象端末Ｘが新しく発言者となった端末
ｓであるかどうかを判断し（Ｓ３）、端末Ｘが端末ｓと
一致するとき、Ｓ１に戻り、次の端末の処理に移行す
る。端末Ｘが端末ｓに一致しない場合（Ｓ３）、制御対
象端末Ｘ向けの下り映像信号に端末ｓの映像が含まれて
いるかどうかを調べる（Ｓ４）。含まれているとき、追
加順序の履歴を更新し（Ｓ５，Ｓ６，Ｓ７）、含まれな
いとき、追加順序履歴表からあまり発言のない端末を削
除し、追加順序履歴表の最後尾に端末ｓを追加する（Ｓ
８，Ｓ９，Ｓ７）。全端末についてＳ２〜Ｓ９の処理が
終了したら（Ｓ１）、更新された追加順序履歴表に従っ
て各端末への映像信号の構成を更新する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、画像処理装置及び多対
地会議方法に関する。

【０００２】

【従来の技術】多数の地点間でビデオ会議又はテレビ会
議を行なう場合の端末画面の表示方式には、会議に参加
している複数の端末からの映像のうちひとつだけを選択
して表示する画面切替方式と、複数の対地から（多重化
されて）送信されて複数の映像を同時に表示する画面多
重方式のふたつの方式がある。これら表示方式の異なる
テレビ会議装置が混在する場合でも多対地会議を行なう
ことのできる多対地会議システムが、昭和６３年特許出
願公開第６２９５０号公報に記載されている。同公報に
記載されるシステムでは、画面多重システムを用いる端
末で、対地数が多重化映像の分離能力を越える場合に
も、多対地会議を行なうことができる。

【０００３】同公報に記載されたシステムの内容を図２
を参照して、簡単に説明する。図２において、１１０，
１１２，１１４，１１６，１１８は多地点会議に参加す
るテレビ会議端末、１２０は、各端末１１０〜１１８か
らの映像信号、音声信号及び制御信号を受信し、各端末
１１０〜１１８に分配する多対地通信制御装置である。

【０００４】多地点制御装置１２０は、会議の開始にあ
たって、各端末１１０〜１１８に分離可能数、即ち、多
重化信号の分離能力を問い合わせる。各端末１１０〜１
１８は、この問い合わせに応じて、自己の分離可能数を
返答する。もし、多重化された映像信号を分離して表示
する能力を持たない切替方式の場合には返答信号を返さ
ない。図２では、端末１１０，１１２，１１４，１１６
はそれぞれ、分離可能数として、４、４、３及び２を多
対地通信制御装置１２０に返信しているが、端末１１８
は画面切替方式の端末であり、返答信号を多対地通信制
御装置１２０に返さない。

【０００５】多対地通信制御装置１２０は次に、返答の
あった端末１１０〜１１６からの分離可能数を、会議に
参加している端末数から１を除した数と比較し、分離可
能数が会議に参加している端末の数より１少ない数より
も大きいか等しい端末には特に何もしないが、小さい端
末には、切替え受信方式（画面切替方式）を取るように
指示する。装置１２０はまた、分離可能数の返答の無い
端末（ここでは、端末１１８）に対しては、分離機能な
しと判断して、画面切替え方式で映像信号などを送信す
る。

【０００６】図２の例では、端末１１０と端末１１２は
画面多重方式で動作し、端末１１４と端末１１６は、画
面多重方式に対応する能力を具備するけれども、画面切
替方式で動作する。

【０００７】このような制御により、画面切替方式の端
末と、画面多重方式の端末が混在していても、また、画
面多重方式の端末の分離能力が対地数に満たない場合で
も、支障なく多対地会議を実行できる。

【０００８】

【発明が解決しようとする課題】しかしながら、このシ
ステムでは、対地数が画面多重方式の端末の最大分離数
を越える場合には、その端末は画面切替方式で動作する
ことになるので、複数の対地からの画像を同時に表示す
る能力を持ちながら、その能力を活かせない。すなわ
ち、１地点からの画像のみしか表示できず、他の地点の
画像を同時に見ることができない。これでは非常に不便
である。

【０００９】本発明は、このような不都合を解消し、画
面多重方式の端末の分離能力を越える数の会議参加者が
ある場合にも、複数の会議参加者を同時表示できるよう
にした画像処理装置及び多対地会議方法を提供すること
を目的とする。

【００１０】また、複数の映像を同時に表示する端末、
即ち、画面多重方式の端末でも、モニタ画面の表示エリ
ア等の関係で、全ての会議参加者を画面に同時表示しな
い場合がある。勿論、上述のように、分離能力を越える
会議参加者がある場合には、モニタ画面に表示されてい
ない参加者が存在する。他方、モニタ画面には、少なく
とも発言者の映像が常に表示されていることが重要であ
るが、発言者の交代があった場合で、新しく発言者とな
る端末からの映像の表示エリアがモニタ画面に確保され
ていないときには、表示中の映像のどれかの表示を中止
して、新しく発言者となった端末からの映像の表示エリ
アを確保する必要がある。

【００１１】そこで本発明は、複数の参加者映像を同時
に表示する端末で、新しく表示すべき映像を現在表示さ
れている映像の中のどれかと入れ替える際に適切に対応
できる画像処理装置及び多対地会議方法を提示すること
を目的とする。

【００１２】

【課題を解決するための手段】本発明に係る画像処理装
置は、入力端末からの画像情報を入力する第１の入力手
段と、出力先端末に画像情報を出力する出力手段と、当
該出力先端末からの処理可能画面数に関する情報を入力
する第２の入力手段と、当該第１の入力手段によって入
力された画像情報が当該処理可能画面数を越えるに際し
ては、当該処理可能画面数に関する情報に応じて当該出
力手段によって出力する複数画面の画像情報を制御する
制御手段とを有することを特徴とする。

【００１３】本発明に係る多対地会議方法は、多対地通
信制御装置に複数の会議端末を接続して多対地会議を行
う場合の多対地会議方法であって、多対地通信制御装置
から端末への下り信号に含まれている多重化された複数
の映像に対して、映像の追加順序履歴を更新するか、又
は映像の入れ替えを行なうかを判断する更新入れ替え判
断ステップと、映像の追加順序履歴を更新する追加順序
履歴更新ステップと、現在の下り信号に含まれている多
重化された複数の映像のなかから所定の映像を削除して
あらたな映像を追加する映像入れ替えステップとを具備
することを特徴とする。

【００１４】

【実施例】以下、図面を参照して本発明の一実施例を詳
細に説明する。

【００１５】なお、説明の都合上、まず本発明を適用す
る可能な多対地通信会議装置及び会議端末の一構成例を
説明する。

【００１６】図３は、本発明の一実施例における多対地
通信制御装置の概略構成ブロック図を示す。但し、図３
に示す多対地通信制御装置は５端末までに対応可能であ
り、図３には、画像情報、音声情報及び制御情報の処理
部分のみを図示してある。装置全体はＣＰＵ１０によっ
て制御され、ＣＰＵ１０を動かすためのプログラム及び
制御データなどはメモリ１２に格納されている。

【００１７】各会議端末からの映像１４ａ，１４ｂ，１
４ｃ，１４ｄ，１４ｅは、フレーム同期化装置１６によ
ってフレーム同期を合わせられた後、映像多重化装置１
８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅによって各会議
端末向けに多重化され、それぞれ下り映像信号２０ａ，
２０ｂ，２０ｃ，２０ｄ，２０ｅとして各会議端末に送
信される。なお、ＣＰＵ１０は、各映像多重化装置１８
ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅで多重化される映
像の個数と組み合わせを個別に制御できる。

【００１８】各会議端末から送信される各種制御データ
２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅは、セレクタ
・バッファ２４を介してＣＰＵ１０に入力される。ＣＰ
Ｕ１０は必要により、各部を制御すると共に、セレクタ
２６を介して各会議端末に制御データ２８ａ，２８ｂ，
２８ｃ，２８ｄ，２８ｅを送信する。

【００１９】各会議端末からの送信される音声信号３０
ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅは、音声レベル検
知装置３２に入力する。音声レベル検知装置３２は、ど
の端末からの音声が最大であるかを検知し、その検知結
果をＣＰＵ１０に通知すると共に、入力する全音声信号
をそのまま音声合成回路３４に出力する。音声合成回路
３４は音声レベル検出回路３２からの音声信号を合成
し、合成音声信号を音声信号３６ａ，３６ｂ，３６ｃ，
３６ｄ，３６ｅとして各会議端末に送信する。

【００２０】図３は、５端末に対応する多対地通信制御
装置であるが、６端末以上に対応可能とすることが容易
であることは明らかである。

【００２１】図４は、本実施例の多対地会議システムで
使用する会議端末の一例の概略構成ブロック図を示す。
ＣＰＵ４０は、装置の各ブロックを制御し、メモリ４２
には、制御プログラム及び種々のデータが記憶される。
入力装置４４によりユーザはＣＰＵ４０に種々の指示を
入力し、図４に示す会議端末を操作できる。表示装置４
６は、送信画像、受信画像及びその他の情報を画像表示
する。画像音声圧縮伸長装置４８は、送信すべき画像及
び音声を情報圧縮し、受信した圧縮画像情報及び圧縮音
声情報を伸長する。多重分離化回路５０は、送信すべき
画像情報、音声情報及び制御情報を多重化し、受信した
多重化信号を画像情報、音声情報及び制御情報に分離す
る。また、回線制御装置５２は、通信回線５４との接続
と通信回線５４を介した通信の所定部分を制御する。ビ
デオ・カメラ５６は、図示した会議端末の使用者を撮影
し、マイク５８は、使用者の音声を取り込み、それぞれ
の出力は画像音声圧縮伸長装置４８に供給される。

【００２２】画像音声圧縮伸長装置４８は、圧縮された
映像及び音声を伸長し、１画面内に複数の画像を有する
映像信号を表示装置４６に、音声信号をスピーカ６０に
それぞれ印加する。

【００２３】図１は、本実施例の動作フローチャートを
示す。以下の説明では、図３に示す多対地通信制御装置
に図４に示す構成からなる５つの会議端末Ａ，Ｂ，Ｃ，
Ｄ，Ｅが図２と同様に、５つ通信回線又は通信網を介し
て接続されており、会議端末Ａ，Ｂ，Ｃ，Ｄ，Ｅの映像
分離可能数は、それぞれ４、４、３、２及び１であると
する。

【００２４】音声レベル検出回路３２は、現在の発言者
を検出し、検出結果を常時ＣＰＵ１０に通知している。
ＣＰＵ１０は、回路３２の出力により発言者が変わった
と判断した場合、発言者変更処理を起動する。図１は、
発言者更新処理のフローチャートを示す。

【００２５】発言者変更処理では、まず全端末について
同じ処理を行なうループのために全端末について作業を
終了したかどうかを判断する（Ｓ１）。終了していない
場合（Ｓ１）、次の端末を制御対象端末Ｘとする（Ｓ
２）。ここでは、もし、制御対象端末Ｘが新しく発言者
となった端末であった場合には、その端末Ｘには発言者
の映像を折り返して送信する必要は無いので、現在の制
御対象端末Ｘが新しく発言者となった端末ｓであるかど
うかを判断する（Ｓ３）。端末Ｘが端末ｓと一致すると
き、Ｓ１に戻り、次の端末の処理に移行する。

【００２６】端末Ｘが端末ｓに一致しない場合（Ｓ
３）、制御対象端末Ｘ向けの下り映像信号に、新しく発
言者となった端末ｓの映像が含まれているかどうかを調
べる（Ｓ４）。含まれているのであれば、追加順序の履
歴を更新する（Ｓ５，Ｓ６，Ｓ７）。即ち、新しく発言
者となった端末を追加順序履歴表の中で最新の位置にし
て、なるべく長い間、その端末に表示されるようにす
る。（出力優先順序の変更）追加順序履歴更新処理を具体的に説明すると、まず、現
在の制御対象端末Ｘ向けの追加順序履歴表の中から新し
く発言者になった端末ｓを一時的に削除し（Ｓ５）、次
にＳ５で削除したためにできた表の空きを埋めるよう
に、削除した映像よりも後ろに位置する要素の順序を一
づつ前につめ（Ｓ６）、最後に、Ｓ５で一時的に削除し
た新しく発言者になった端末ｓを表の最後尾に追加する
（Ｓ７）。

【００２７】一方、現在の制御対象端末Ｘ向けの下り映
像信号に新しく発言者となった端末Ｘの映像が含まれて
いない場合（Ｓ４）、追加順序履歴表からあまり発言の
ない端末、具体的には、追加順序履歴表の先頭に記載さ
れる端末を削除し（Ｓ８）、追加順序履歴表の２番目の
要素から最後尾の要素までを、Ｓ８でできた表の空きを
埋めるようにひとつずつ前につめ（Ｓ９）、最後に、追
加順序履歴表の最後尾に新しく発言者になった端末ｓを
追加する。（出力優先順序の変更）全端末についてＳ２〜Ｓ９の処理が終了したら（Ｓ
１）、映像多重化装置１８ａ，１８ｂ，１８ｃ，１８
ｄ，１８ｅを制御して、更新された追加順序履歴表に従
って下り映像信号２０ａ，２０ｂ，２０ｃ，２０ｄ，２
０ｅの構成を更新する。新しい構成は、映像信号に載せ
て各端末に通知してもよいし、各端末毎にセレクタ２６
を介して下り制御データ２８ａ，２８ｂ，２８ｃ，２８
ｄ，２８ｅとして通知してもよい。

【００２８】追加順序履歴表の更新の様子を図５に示
す。図５（１）に示す表は、発言者がＡ、Ｂ、Ｃ、Ｄ及
びＥと順に推移した後の追加順序履歴表を示す。表の下
にあるものほど、最近発言したことを示している。現在
の発言者はＥであり、従って、どの端末向けの表でもＥ
が一番下に位置している。

【００２９】ここで次にＢが発言者になったとする。す
ると、Ａ向け及びＣ向けの表には既にＢの映像が含まれ
ているので、Ｓ５，Ｓ６及びＳ７からなる追加順序履歴
更新処理が実行され、Ｄ向け及びＥ向けの表にはＢの映
像が含まれていないので、Ｓ８，Ｓ９及びＳ７からなる
映像入れ替え処理が実行される。なお、Ｂは新しく発言
者となった端末であるので、Ｂ向けの表は変更されな
い。追加順序履歴更新処理又は映像入れ替え処理された
後の表を図５（２）に示す。図５（２）に示す表では、
どの端末向けも、Ｂが一番下に位置している。また、映
像入れ替えステップを行ったＤ向け及びＥ向けの表で
は、一番上に位置していたＣ及びＤが削除されている。

【００３０】上記実施例では、声レベルが最大のものを
発言者としたが、その他の手段、例えばユーザがボタン
を押すなどの方法により明示的に発言要求を出した者
を、発言者として同様に扱ってもよいことは明らかであ
る。

【００３１】図６は、ユーザからの要望に応じて、表示
する映像を変更する実施例の動作フローチャートを示
す。

【００３２】何れかの端末のユーザがその端末に付属す
る入力装置４４を操作することにより、見たい映像を指
示した場合には、その端末のＣＰＵ４０は、映像切替え
要求信号を生成し、多重分離化装置５０に供給する。多
重分離化装置５０では、ＣＰＵ４０からの映像切替え要
求信号を制御データとして、画像音声圧縮伸長装置４８
からの画像情報及び音声情報と多重化する。多重分離化
装置５０による多重化信号は回線制御装置５２及び通信
回線５４を介して図３に示す多対地通信制御装置に転送
される。多対地通信制御装置では、図示しない多重分離
化装置が制御情報を分離し、分離された制御情報はセレ
クタ２４を介してＣＰＵ１０に転送される。

【００３３】映像切替え要求を受け取ったＣＰＵ１０
は、図６に示す映像切り替え要求対応処理を実行する。
まず、映像切替え要求を出力する端末Ｘとその映像切替
え要求で要求している映像の送信元端末ｎが同一の端末
であるかどうかを判断する（Ｓ１１）。これは、もし同
一の場合には、送られてきた映像をその端末に折り返し
て送信することになり、無意味であるからである。勿
論、このようなチェックは、映像切替え要求を出力する
端末が、受信している映像の出力元の端末を知っている
ときには、自身で行なってもよい。もし同一の端末であ
るならば処理を終了する。

【００３４】同一の端末でないとき（Ｓ１１）、映像切
り替え要求を出した端末向けの下り映像信号に、その映
像切替要求で要求している端末の映像が含まれているか
どうかを判断する（Ｓ１２）。含まれているのであれば
（Ｓ１２）、追加順序の履歴を更新する（Ｓ１３，Ｓ１
４，Ｓ１５）。即ち、先ず、現在の制御対象端末Ｘ向け
の追加順序履歴表の中から映像切替え要求で要求されて
いる映像の送信元端末ｎを一時的に削除し（Ｓ１３）、
次に、Ｓ１３で削除したためにできた表の空きを埋める
ように、削除した映像よりも後ろに位置し、かつ、最後
尾の要素（即ち、現在の発言者）より前の要素を一づつ
前につめ（Ｓ１４）、最後に、Ｓ１３で一時的に削除し
た端末（映像切替え要求で要求されている映像の送信端
末）を表の最後尾のひとつ手前に追加する（Ｓ１５）。
（出力優先順序の変更）以上の処理により、現在の発言者端末を最新の位置に保
ったまま、映像切替え要求で要求されている映像の送信
元端末の位置を最新のひとつ前の位置に移動させること
ができる。

【００３５】一方、映像切替え要求を出した端末向けの
下り映像信号に、その映像切替え要求で要求している映
像が含まれていない場合（Ｓ１２）、追加順序履歴表か
らあまり発言のない端末を削除し、かわりに映像切替え
要求で要求している映像の送信元端末を追加する（Ｓ１
７，Ｓ１８，Ｓ１５）。即ち、映像切替え要求を出した
端末向けの下り映像信号の中から最も早くに登録された
端末を削除し（Ｓ１７）、表の２番目の要素から最後尾
のひとつ手前の要素までを、Ｓ１７でできた表の空きを
埋めるようにひとつずつ前につめ（Ｓ１８）、最後に、
表の最後尾のひとつ手前に映像切替え要求で要求してい
る映像の送信元端末を追加する（Ｓ１５）。（出力優先
順序の変更）追加順序履歴更新処理（Ｓ１３，Ｓ１４，Ｓ１５）又は
映像入れ替え処理（Ｓ１７，Ｓ１８，Ｓ１５）が終了し
たら、ＣＰＵ１０は、映像多重化装置１８ａ，１８ｂ，
１８ｃ，１８ｄ，１８ｅを制御して、更新された追加順
序履歴表に従って下り映像信号２０ａ，２０ｂ，２０
ｃ，２０ｄ，２０ｅの構成を更新する。新しい構成は、
映像信号に載せて各端末Ａ，Ｂ，Ｃ，Ｄ，Ｅに通知して
もよいし、各端末Ａ，Ｂ，Ｃ，Ｄ，Ｅ毎にセレクタ２６
を介して下り制御データ２８ａ，２８ｂ，２８ｃ，２８
ｄ，２８ｅとして通知してもよい。

【００３６】図６による追加順序履歴表の変化の一例を
図７に示す。図７（１）は、発言者がＡ、Ｂ、Ｃ、Ｄ及
びＥと推移した後のＢ向けの追加順序履歴表を示す。表
の下にあるものほど、最近発言したことを示す。現在の
発言者はＥであるので、Ｅが一番下に位置している。図
７（１）に示す表の状態で、端末Ｂが端末Ｃの映像を見
たいという要求を出したとする。この場合、端末Ｂと端
末Ｃが異なるので、Ｓ１１からＳ１２に進み、Ｂ向けの
追加履歴表にＣが既に含まれているので、Ｓ１２からＳ
１３に進み、追加履歴表が更新される。Ｂ向けの追加履
歴表は、Ｓ１３の処理により図７（２）に示すようにな
り、Ｓ１４の処理により図７（３）に示すようになり、
Ｓ１５の処理により図７（４）に示すようになる。

【００３７】実行前の図７（１）に示す表と、実行後の
図７（４）に示す表を比較すると、映像切替え要求で要
求された映像の送信元端末Ｃが発言者Ｅの一つ手前に移
動し、Ｃより後ろに位置しかつ発言者ではない端末Ｄが
ひとつ前に移動している。

【００３８】図８は、同様に、発言者がＡ、Ｂ、Ｃ、Ｄ
及びＥと推移した後のＣ向けの追加順序履歴表の変化を
示す。端末Ｃが端末Ａの映像を見たいという要求を出し
たとする。この場合には、端末Ｃと端末Ａが異なるの
で、Ｓ１１からＳ１２に進み、Ｃ向けの追加履歴表に端
末Ａが含まれていないので、Ｓ１２からＳ１７に進み、
映像入れ替え処理が実行される。Ｃ向けの追加履歴表
は、Ｓ１７の処理により図８（１）から図８（２）に変
化し、Ｓ１８の処理により図８（３）に示すようにな
り、Ｓ１５の処理により図８（４）に示すようになる。

【００３９】入替え処理の実行前の図８（１）に示す表
と実行後の図８（４）に示す表とを比較すると、一番早
くに表に追加された端末Ｄが削除され、残りの要素でか
つ発言者以外の要素がひとつずつ前に移動し、映像切替
え要求で要求された映像の送信元端末Ａが発言者Ｅの一
つ手前に追加されている。

【００４０】本実施例では、複数端末から入力される複
数端末の画像を表示する上で、画面に表示可能な最大分
離数を越える場合にも、同時表示を可能にする構成であ
るが、入力は複数端末から行なわれるものに限られず、
１端末から複数画面を入力した際に最大分離数を越えた
場合に応用できることは明らかである。

【００４１】本実施例によれば、多重化映像信号の分離
能力を有する端末は、分離可能数を越える数の相手端末
がある場合でも、複数の会議参加者の映像を同時に表示
できるようになる。また、同時に映像表示できる参加者
数が実質的に限定されている端末でも、映像を合理的に
切り替えることが可能になる。例えば、新しく表示すべ
き映像を現在表示されている映像の中のどれかと入れ替
える際に、あまり発言のない端末からの映像を削除し、
それと入れ替えて新しい映像を表示することが可能にな
る。

【００４２】

【発明の効果】以上の説明から容易に理解できるよう
に、本発明によれば、入力画像情報が出力先端末におい
て処理可能な画面数を越えた場合においても、その処理
可能な画面数に関する情報に基づいて出力する複数画面
の画像情報を制御するので、出力先端末では処理可能な
画面数を有効に活用できるという効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例のフローチャートである。

【図２】多対地会議システムの全体構成図である。

【図３】本実施例の多対地通信制御装置の概略構成ブ
ロック図である。

【図４】本実施例の会議端末の概略構成ブロック図で
ある。

【図５】図１に示す動作における追加順序履歴表の変
化の一例である。

【図６】本実施例における映像切替え要求に対するフ
ローチャートである。

【図７】図６に示す動作における追加順序履歴表の変
化の一例である。

【図８】図６に示す動作における追加順序履歴表の変
化の別の例である。

【符号の説明】

１０：ＣＰＵ１２：メモリ１４ａ，１４ｂ，１４ｃ，１４ｄ，１４ｅ：映像信号１６：フレーム同期化装置１８ａ，１８ｂ，１８ｃ，１８ｄ，１８ｅ：映像多重化
装置２０ａ，２０ｂ，２０ｃ，２０ｄ，２０ｅ：下り映像信
号２２ａ，２２ｂ，２２ｃ，２２ｄ，２２ｅ：制御データ２４：セレクタ・バッファ２６：セレクタ２８ａ，２８ｂ，２８ｃ，２８ｄ，２８ｅ：制御データ３０ａ，３０ｂ，３０ｃ，３０ｄ，３０ｅ：音声信号３２：音声レベル検知装置３４：音声合成回路３６ａ，３６ｂ，３６ｃ，３６ｄ，３６ｅ：音声信号４０：ＣＰＵ４２：メモリ４４：入力装置４６：表示装置４８：画像音声圧縮伸長装置５０：多重分離化回路５２：回線制御装置５４：通信回線５６：ビデオ・カメラ５８：マイク６０：スピーカ１１０，１１２，１１４，１１６，１１８：テレビ会議
端末１２０：多対地通信制御装置

Claims

【特許請求の範囲】

【請求項１】入力端末からの画像情報を入力する第１
の入力手段と、出力先端末に画像情報を出力する出力手
段と、当該出力先端末からの処理可能画面数に関する情
報を入力する第２の入力手段と、当該第１の入力手段に
よって入力された画像情報が当該処理可能画面数を越え
るに際しては、当該処理可能画面数に関する情報に応じ
て当該出力手段によって出力する複数画面の画像情報を
制御する制御手段とを有することを特徴とする画像処理
装置。
【請求項２】上記第１の入力手段によって入力される
画像情報は動画像である請求項１に記載の画像処理装
置。
【請求項３】上記入力端末が複数あり、それぞれの端
末から画像情報が入力される請求項１に記載の画像処理
装置。
【請求項４】上記処理可能画面数に関する情報は、上
記入力端末の最大表示可能画面数の情報である請求項１
に記載の画像処理装置。
【請求項５】上記制御手段は、いずれの入力端末が発
言者であるかを判断する発言者判断手段を含み、当該制
御手段は、当該発言者の画像情報を含む複数画面の画像
情報を上記出力手段により出力させる請求項２に記載の
画像処理装置。
【請求項６】上記発言者判断手段は、音声レベルの最
大の者を発言者と判断する請求項５に記載の画像処理装
置。
【請求項７】上記発言者判断手段は、上記入力端末か
らの発言要求に応じて発言者を判断する請求項５に記載
の画像処理装置。
【請求項８】上記制御手段は、上記発言者が上記複数
画面の画像情報に含まれている際には、当該複数画面の
画像情報の出力優先順序を変更する請求項５に記載の画
像処理装置。
【請求項９】上記複数画面の画像情報の出力優先順序
変更とは、上記発言者の画像情報を当該複数画面の画像
情報の出力優先順序を下げることである請求項８に記載
の画像処理装置。
【請求項１０】上記制御手段は、上記発言者が上記複数
画面の画像情報に含まれない際には、当該複数画面の画
像情報に当該発言者の画像情報を当該複数画面の画像情
報の所定の画像情報と入れ替える請求項５に記載の画像
処理装置。
【請求項１１】上記所定の画像情報は、上記複数画面
中、上記出力手段により連続して出力されている時間が
最も長い画像情報である請求項１０に記載の画像処理装
置。
【請求項１２】上記複数画面の所定画像と入れ替える
とは、上記出力手段により連続して出力されている時間
が最も長い画像情報を上記発言者の画像情報と入れ替え
ることである請求項１０に記載の画像処理装置。
【請求項１３】上記発言者の画像情報は、上記複数画
面の未部に入れ替えられる請求項１２に記載の画像処理
装置。
【請求項１４】上記制御手段は、使用者から要求され
た画像を判断する要求画像判断手段を含み、当該制御手
段は、当該要求された画像の情報を含む複数画面の画像
情報を上記出力手段により出力させる請求項２に記載の
画像処理装置。
【請求項１５】上記制御手段は、上記要求された画像
の情報が上記複数画面の画像情報に含まれる際には、当
該複数画面の画像情報の出力優先順序を変更する請求項
１４に記載の画像処理装置。
【請求項１６】上記複数画面の画像情報の出力優先順
序変更とは、上記要求された画像の情報を当該複数画面
の画像情報の出力優先順序を下げることである請求項８
に記載の画像処理装置。
【請求項１７】上記制御手段は、上記要求された画像
の情報が上記複数画面の画像情報に含まれない際には、
当該複数画面の画像情報に当該要求された画像の情報
を、当該複数画面の画像情報の所定の画像情報と入れ替
える請求項２に記載の画像処理装置。
【請求項１８】上記所定の画像情報は、上記複数画面
中、上記出力手段により連続して出力されている時間が
最も長い画像情報である請求項１７に記載の画像処理装
置。
【請求項１９】上記複数画面の所定画像と入れ替える
とは、上記出力手段により連続して出力されている時間
が最も長い画像情報を上記要求された画像の情報と入れ
替えることである請求項１７に記載の画像処理装置。
【請求項２０】上記要求された画像の情報は、上記複
数画面の未部に入れ替えられる請求項１７に記載の画像
処理装置。
【請求項２１】多対地通信制御装置に複数の会議端末
を接続して多対地会議を行う場合の多対地会議方法であ
って、多対地通信制御装置から端末への下り信号に含ま
れている多重化された複数の映像に対して、映像の追加
順序履歴を更新するか、又は映像の入れ替えを行なうか
を判断する更新入れ替え判断ステップと、映像の追加順
序履歴を更新する追加順序履歴更新ステップと、現在の
下り信号に含まれている多重化された複数の映像のなか
から所定の映像を削除してあらたな映像を追加する映像
入れ替えステップとを具備することを特徴とする多対地
会議方法。
【請求項２２】前記更新入れ替え判断ステップでは、
現在の下り信号に新しく加えようとする映像が既に下り
信号に含まれているかどうかを判断し、含まれている場
合に前記追加順序履歴更新ステップを実行し、含まれて
いない場合に前記映像入れ替えステップを実行すること
を特徴とする請求項２１の多対地会議方法。
【請求項２３】上記多対地通信制御装置は現在の発言
者を決定する発言者決定手段を持ち、上記更新入れ替え
判断ステップで現在の下り信号に既に含まれているかど
うかを判断する映像は、新しく発言者となった端末の映
像である請求項２２に記載の多対地会議方法。
【請求項２４】上記映像入れ替えステップは、現在の
下り信号に含まれている多重化された複数の映像のう
ち、最も早く下り信号に加えられた映像を削除する映像
削除ステップと、削除した映像よりも後に下り信号に加
えられた映像の追加順序履歴における順序番号をひとつ
づつ減らす追加順序履歴表要素移動ステップと、新たに
下り信号に映像を追加する映像追加ステップとからなる
請求項２２又は２３に記載の多対地会議方法。
【請求項２５】上記追加順序履歴更新ステップは、上
記更新入れ替え判断ステップで現在の下り信号に含まれ
ているかどうかを判断した映像を追加順序履歴表の中で
最新の位置にし、今までその映像よりも順序が後ろであ
った映像の順序番号を１繰り上げることとして追加順序
履歴表を更新する請求項２２乃至２４の何れか１項に記
載の多対地会議方法。
【請求項２６】会議端末が、ユーザがどの端末からの
映像を要求しているかを選択するための映像選択手段を
持ち、上記更新入れ替え判断ステップで現在の下り信号
に既に含まれているかどうかを判断する映像は、ユーザ
が選択した端末からの映像であることを特徴とする請求
項２２に記載の多対地会議方法。
【請求項２７】上記映像入れ替えステップは、現在の
下り信号に含まれている多重化された複数の映像のう
ち、最も早く下り信号に加えられた映像を削除する映像
削除ステップと、削除した映像よりも後に下り信号に加
えられた映像でかつ追加順序が最新でない映像の追加順
序履歴における順序番号をひとつづつ減らす追加順序履
歴表要素移動ステップと、新たに下り信号に映像を追加
する映像追加ステップとからなる請求項２２又は２６に
記載の多対地会議方法。
【請求項２８】上記追加順序履歴更新ステップは、上
記更新入れ替え判断ステップで現在の下り信号に含まれ
ているかどうかを判断した映像を追加順序履歴表の中で
最新の位置の一つ前の位置にし、今までその映像よりも
順序が後ろであってかつ最新の位置でない映像の順序番
号を１繰り下げることとして追加順序履歴表を更新する
請求項２２、２６又は２７に記載の多対地会議方法。
【請求項２９】更に、上記更新入れ替え判断ステップ
で既に下り信号に含まれているかどうかを判断した映像
が、下り信号の送信先の端末から送られてきた映像であ
るかどうかを判断する映像及び送信先判断ステップを具
備し、下り信号の送信先の端末から送られてきた映像で
あった場合には動作を終了する請求項２２乃至２８の何
れか１項に記載の多対地会議方法。
【請求項３０】会議に参加している全端末への下り信
号について、上記更新入れ替え判断ステップと、必要な
上記追加順序履歴更新ステップと、必要な映像入れ替え
ステップとを実行する請求項２１乃至２９の何れか１項
に記載の多対地会議方法。
【請求項３１】下り信号の映像構成について前記追加
順序履歴を記した表を用いて下り信号の映像構成を定め
た後、その更新された表に従って映像信号を再構成する
映像信号再構成ステップを持つことを特徴とする請求項
２１乃至３０の何れか１項に記載の多対地会議方法。
【請求項３２】上記多対地通信制御装置が、上記更新
入れ替え判断ステップ、上記追加順序履歴更新ステッ
プ、上記映像入れ替えステップ、上記映像及び送信先判
断ステップ、並びに、映像信号再構成ステップを実行す
る請求項２１乃至３１に記載の多対地会議方法。