WO2008018156A1

WO2008018156A1 - Procédé d'affichage d'image corrigée en fluctuation et système de commande à distance d'objet mobile utilisant le procédé

Info

Publication number: WO2008018156A1
Application number: PCT/JP2006/316123
Authority: WO
Inventors: Yuji Katayama; Yutaka Kidawara; Mina Aoki; Kenji Tanaka
Original assignee: Sanritz Automation Co., Ltd.; National Institute Of Information And Communications Technology, Incorporated Administrative Agency
Priority date: 2006-08-10
Filing date: 2006-08-10
Publication date: 2008-02-14
Also published as: JP5140889B2; JPWO2008018156A1

Description

明細書ゆらぎ補正による画像表示方法及びその方法を用いた動体リモートコントローノレシステム技術分野

本発明は、ゆらぎ補正による画像表示方法及びその方法を用いた動

' 体リモートコントロールシステムに係り、より詳細には、ゆらぎ補正による画像表示方法及びその方法を用いた、オペレーションマシンの操作者の操縦により、模型自動車、模型飛行機、模型ボート、ロボット、産業用ロボットのアーム等の動体の走行ゃスピード制御等を遠隔的に行なうリモートコント口ール機能を備えた動体リモートコント口一ルシステムに関する。

'

背景技術 . 撮影領域等を遠隔操作で変更できる遠隔力メラ装置や遠隔監視システム装置が提案されている。このような遠隔カメラ装置として、例えば、伝送遅延や信号処理遅延による監視カメラ部の制御行き過ぎ量を補正することのできる遠隔カメラ装置が提案されている（特開平 6 — 3 8 0 8 7号公報）。遠隔監視システム装置としては、例えば、カメラを動作させているときに受信側で表示する画像を、その時点で力メラが撮影している範囲に近づくようにシフトして表示し、あたかも画像の遅れが発生していないように見えるように表示範囲を加工し、力メラの遠隔操作による遅延を感じられないような監視システム装置が提案されている（特開 2 0 0 2— 1 8 5 9 5 6号公報）。

しかしながら、これらの技術は、有線回線による動画伝送を前提としており、固定遅延時間分の補正を行なうことにより、違和感のない動画を伝送することができるが、インターネットゃ無線 L A Nによる動画伝送を行なう場合には、均一な通信速度が得られないために、動画データの到達時間にゆらぎが発生する。

. 即ち、通信の遅れがバラつくことにより描画タイミングがバラつき.、時には通信エラーによるデータ消失が起こり、その結果、動画に違和感を感じる事態が発生する（図 2 0乃至 2 2参照）。

このような訳で、例えばカメラを模型自動車等の動体に搭載して、パーソナルコンピュータ等のモニタでカメラからの映像を見ながら操作するような場合は、このゆらぎが動画データの不連続性を生み、操 ' 作者が模型自動車等の動きを予想できなくなって、的確な操作が困難となり、遠隔操作の操縦性が悪くなる。

この対策として従来は、ゆらぎ変化範囲をカバーする量の動画データを受信側で蓄積することにより、ゆらぎを抑えるという方法が採られている。しかし、この手法の場合、動画データの蓄積分の動画遅延が発生するという問題が生ずる。

特許文献 1 特開平 6— 3 8 0 8 7号公報

特許文献 2 特開 2 0 0 2— 1 8 5 9 5 6号公報 · 発明の開示

発明が解決しようとする課題

本発明は上記問題を解決することを課題としてなされたもので、遠隔地に設置されたカメラを搭載した模型自動車、ロボットアーム等の動体からインターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、ゆらぎ補正処理を行なうことにより、不自然さのない映像が得られる画像表示方法、並びに、この方法を採用することにより、的確な遠隔操作が可能となる動体リモートコント口ールシステムを提供することを課題とする。

課題を解決するための手段 ' 上記課題を解決するための請求項 1に記載の発明は、模型自動車、ロボットアーム等の動体に搭載されたカメラからの画像のモニタ表示を見ながら前記動体を遠隔制御可能にするための前記モニタへの前記受信画像の表示を行なうオペレ一ションマシンにおいて、前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行なレ、、且つ、前記描画画像は、前記受信画像を遅れ処理した予測画像とすることを特徴とするゆらぎ補正による画像表示方法である。

請求項 2に記載の発明は、請求項 1 に記載のゆらぎ補正による画像表示方法において、前記遅れ処理した予測画像が、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であることを特徴とする。 ·

請求項 3に記載の発明は、請求項 1に記載のゆらぎ補正による画像表示方法において、前記遅れ予測画像が、前記受信画像を、前記遅れ予測時間と前記動体の移動速度、振れ角度、バッテリー電圧値等のセンサー情報に基いて画像処理したものであることを特徴とする。

請求項 4に記載の発明は、請求項 3に記載のゆらぎ補正による画像表示方法において、前記画像処理が、前記センサー情報に基いて前記受信画像をズームし及びノ又は上下、左右、斜めにシフトしたものであることを特徴とする。

上記課題を解決するための請求項 5に記載の発明は、模型自動車、口ボットアーム等の動体からの画像情報に基づいて前記動体を遠隔制御するためのオペレーションマシンを備えた動体リモートコントロールシステムであって、

前記オペレーションマシンは、

前記動体に搭載されたカメラからの画像情報とセンサ一情報とを受信する画像描画用情報受信手段と、

前記受信した画像描画用情報内の画像データを伸張する画像伸張手段と、

前記伸張した画像データを、受信した前記センサー情報に基づいて加ェする画像加工手段と、

コントローラによって入力された操作入力値を前記動体に対する制御情報へ変換処理する操作入力手段と、前記操作入力手段によつて生成'された制御情報を前記動体へ送信する制御情報送信手段とを備え、

前記動体は、

前記搭載力メラの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、前記速度センサーからの前記動体の移動速度及びバッテリ—からのバッテリ一電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサ一取込手段と、前記画像 ' 情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、受信した前記制御情報に基づいてサーボ及ぴモータを制御する制御処理手段、とを備えることを特徴とする動体リモ一トコントロールシステムである。請求項 6に記載の発明は、請求項 5に記載の動体リモートコント口ールシステムにおいて、前記画像加工丰段が、前記伸張された画像デ —タを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画エリァを調整するものであることを特徴とする。 '

請求項 7に記載の発明は、請求項 6に記載の動体リモートコント口ールシステムにおいて、前記画像加工手段が、前記伸張された画像デ —タに格納されたタイムスダンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と前記動体の移動速度から画像拡大率を算出すると共に、前記描画遅れ時間と振れ位置から上下、左右又は斜め方向への画像シフト量を算出し、前記画像拡大率と前記画像シフト量とから前記描画工リアを指定することを特徴とする。

請求項 8に記載の発明は、請求項 5に記載の動体リモートコント口 —ルシステムにおいて、前記センサー情報が、前記動体に搭載の速度センサーからの速度値と、バッテリ一の電圧値とを含むことを特徴とする。発明の効果

- 本発明に係るゆらぎ補正による画像表示方法によれば、受信画像から画像処理して得られた予測画像（擬似的画像）が定間隔置きに表示されるためにゆらぎがなくなり、遠隔地に設置されたカメラを搭載した模型自動車、口ボットアーム等の動体からィンターネットを介して接続されるパーソナルコンピュータ等に動画伝送を行なう場合に、このゆらぎ補正処理を行なうことにより、不自然さのない映像が得られ、以て的確な遠隔操作が可能となる。発明を実施するための最良の形態

以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。以下の説明は、動体が模型自動車の場合のものである力他の模型飛行機、模型ボート、あるいは、ロボットないし産業用ロボ . ットのアーム等の動体の場合にも当てはまる。

図 1 は、模型自動車 1 とオペレーションマシン 2から成る、本発明に係る動体リモートコント口ールシステムの全体構成を表したものである。このシステムは、カメラを搭載した動体である模型自動車 1 と、模型自動車 1から離れた場所で模型自動車 1 を操縦する操作者のモ- タ付きオペレーションマシン 2 と、ィンタ一ネット 4等の通信手段とから構成されている。

オペレーションマシン 2では、そのモニタに模型自動車 1のカメラ映像が出力される。操作者は、模型自動車 1のカメラ映像を見ながらステアリングコントローラ、ジョイスティック等のゲームコントローラその他のコントローラ 3で制御情報を入力して、模型自動車 1 を操縦することが可能である。そして、当該制御情報を受け取った模型自動車 1では、その車載コンピュータにより当該制御情報から各制御用データが読み込まれ、既に駆動されているサーボ（操舵）や駆動モータが制御されることにより、模型自動車 1 は、オペレーションマシン 2で入力された制御情報に従って動作することが可能になる。図 2は、本実施形態における模型自動車 1の構成を表したプロック図である。本実施形態における模型自動車 1は、無線 L A Nに接続さ .れており、模型自動車 1 内のセンサーからセンサー情報生成を行なう機能や、カメラキヤプチヤー画像にタイムスタンプ値の付加等を行なう画像情報生成機能等の送信情報処理機能の他、サーボや駆動モータに対して所定の処理を行なう制御機能も備えている。本実施形態の模型自動車 1 では、画像情報生成機能を実現するためのカメラ 5、センサー情報生成機能を実現するための車速センサー 6、バッテリー 7、

' 制御機能を実現するためのサーボ 8及び駆動モータ 9、 9 a 、ギアボックス 1 0、 1 0 a、並びに、各種機能処理手段として機能する車載コンピュータ 1 1 を備えている。

車載コンピュータ 1 1 は、各装置の制御やデータの計算 . 加工を行なう C P U、一度書き込んだ内容は消去できないが電源を切っても内容が消えない F— R O M、半導体素子を利用した R A M、内部時計 1 3、ビデオキヤプチヤー部 1 2、画像圧縮部、センサー入力部 1 6、モータ制御部 1 5、無線 L A N通信部 1 4を備えている。

また、車載コンピュータ 1 1 には、カメラ 5、車速センサー 6、バッテリ一 7、サーボ 8、及び駆動モータ 9、 9 a が接続されており (図 2、図 3参照）、図 4に示すよう'に、オペレーションマシン 2へ送信する情報の処理と、オペレーションマシン 2から受信した情報の処理を行なう。

オペレーションマシン 2へ送信する情報の処理としては、ビデオキャプチヤ一部 1 2からの画像に内部時計 1 3のタイムスタンプ値を付加して画像を圧縮する画像圧縮処理と、車速センサー 6によつて得られた車速とバッテリ一電圧値をセンサ一情報として取り込むセンサー取込処理とがある。オペレーションマシン 2から受信した情報の処理はモータ制御処理で、受信した制御情報に従って、サーボ 8及び駆動モータ 9、 9 a を制御する。

本実施形態のオペレーションマシン 2は、車載力メラ 5 の映像のうちの所定の描画エリアをモニタに表示する。そして、模型自動車 1 に設置されているセンサー等の検出結果から模型自動車 1 の状態を認識、判断し、その結果に応じた車載力メラ映像ゃスピードメ一ター表示やバッテリ一残量表示を出力するという機能を、この模型自動車 1からの画像情報やセンサー情報と連動して実行する。例えば、「画像デ一タ、タイムスタンプ、車速、バッテリー電圧値」等の画像描画用情報を受信する処理を行ない、この画像描画用情報に含まれる画像情報、. センサ一情報を判別して、次の映像に応じた処理を実行する。

ここで、上記システムに採用される本発明に係るゆらぎ補正による画像表示方法について、より詳細に説明する。該画像表示方法は、ネットワークを介して受信する模型自動車等の動体のカメラからの画像のモニタ表示を見ながら前記動体を遠隔制御可能にするための前記モユタの前記受信画像の表示を行なうオペレーションマシンにおいて、前記受信画像の前記モニタへの描画が予め定められた描画タイミング間隔で行なわれ、且つ.、前記描画画像が、前記受信画像を遅れ処理した予測画像であることを特徴とする。

前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像であり、前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と車速、操舵角度 (振れ角度）、バッテリー電圧値等のセンサー情報に基いて画像処理したものであり、また、前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び/又は左右にシフトしたものである。

このゆらぎ補正の方法について、図 5乃至図 8を参照して詳細に説明する。図 5において、送り側画像の段の S a、 S b、 S c、 S d、 S eは、カメラからの画像取り込み時の撮像時刻を示し、ゆらぎの段の S a、 S b、 S c、 S d、 S eは、画像情報に力メラ力らの画像取り込み時の撮像時刻が付加されたタイムスタンプを示し、受け惻画像描画の段の T a、 T b、 T c、 T d、 T eは、描画タイミング時刻を示している。受け側画像描画では、等間隔で遅れ予測画像が描画されることになるので、描画タイミングにバラつきがなく、換言すれば、ゆらぎがなく、スムーズな動画が得られることになる。その遅れ予測時間 tは、 . 描画タイミング時刻丁から、そのとき受信している画像情報に付加されているタイムスタンプ Sを差し引いた時間 T一 Sである。

図 6乃至図 8は、オペレーションマシン 2の遅れ予測画像の描画機能について説明するものである。オペレーションマシン 2は、図 6に示されるように、受信画像上の描画エリアを指定することで、その範 ' 囲をビデオメモリにメモリ転送する機能を有する。この機能によって、受信画像の任意のエリァを表示することが可能となる。

また、図 7は、模型自動車 1の直進時の描画エリアの変化について説明するものであり、そこには、模型自動車 1が A地点から B地点へ直進した場合の、オペレーションマシン 2のモニタに表示される領域の変化が示されている。この描画工リァの変化を見ても分かるように、単に模型自動車 1が直進する場合には、受信画像に対して視点の中心を変えずに、領域だけを中心へズームさせればよレ、。この場合のズーム量は、センサー情報である車速から算出される。

更に、図 8は、模型自動車 1 の右カーブ時の描画エリアの変化について説明するものであり、そこには、模型自動車 1 が右カーブしょうと A地点から B地点へ移動した場合の、オペレーションマシン 2 のモニタに表示される領域の変化が示されている。この描画エリアの変化を見ても分かるように、模型自動車 1が右カープする場合には、受信画像に対して徐々に視点の中心を右側へ移動させながらズームさせればよい。この場合のズーム量及びシフト量は、センサー情報である車速と操舵角度から算出される。

このように、本発明に係る画像表示方法においては、センサー情報を利用して、受信画像の遅れ予測時間経過時の遅れ予測画像を生成し、これを描画タイミング時刻に描画するので、通信のゆらぎが是正され、不自然さのないリアルタイムの動画が得られるのである。次に、上記画像表示方法を採用した本発明に係るシステムの、模型自動車 1 、オペレーションマシン 2、及び操作者の操作による一連の処理の流れを、図 9のフローチャートを参照して簡単に説明する。まず、模型自動車 1 では、カメラ画像に内部時計 1 3によるタイムスタンプが付されて画像圧縮処理され、この画像情報がオペレーションマシン 2へ送信される第 1 のデータとされる。

また、車速センサー 6で得られた車速値と、バッテリ一電圧値とがセンサー取込処理によって取り込まれ、センサー情報としてオペレー

' ションマシン 2へ送信される第 2のデータとされる。

画像圧縮処理により生成された画像情報、センサ一取込処理により生成されたセンサー情報は、オペレーションマシン 2へ送信される情報として通信処理によつて送信される。オペレーションマシン 2は、この情報を通信処理によって受信し、画像情報を画像伸張処理へ、また、センサー情報を画像加工処理へそれぞれ引き渡す。画像伸張処理では、画像情報內の画像データを伸張し、画像加工処理へ引き渡す。画像加工処理では、伸張された画像データ、タイムスタンプ、センサ一情報からモタに描画する画像を生成してモニタに出力する。

, 操作者は、モニタに映し出されたカメラからの映像を見ながらゲームコントローラを操作する。ゲームコ'ントロ一ラの操作によって入力された制御情報は、通信処理によって模型自動車 1 へ送信され、模型自動車 1では、受信した制御情報を基に、サーボ 6、駆動モータ 7、 7 a を制御する。

以下、上述した図 9のフローチヤ一トにおける各処理について詳細に説明する。まず、本発明に係る車載コンピュータ 1 1 の無線 L A N 通信処理を、図 1 0のフローチャートに基づいて説明する。車載コンピュータ 1 1 の無線 L A N通信部 1 4 (図 3参照）は、平時は、オペレ一ションマシン 2からのシステム接続情報を受信するために待機している（ S 1 0 1 ) 。

そして、情報を受信すると、それがオペレーションマシン 2からのシステム接続情報であるかどうかを確認し（ S 1 0 2 ) 、オペレーションマシン 2からのシステム接続情報であれば、認証コードが正常かどうかの確認をする（ S 1 0 3 ) 。

. 接続コードが正常であれば、送信元のオペレーションマシン 2へ接続応答情報を送信してシステム状態を接続中へ切り替え（ S 1 0 4、 S 1 0 5 ) 、内部時計 1 3をシステム接続情報中のシステム時刻データに合わせる '（ S 1 0 6 ) 。

オペレーションマシン 2からの受信情報がシステム接続情報ではない場合には（ S 1 0 2 ) 、それが制御情報であれば（ S 1 0 7 ) 、システム状態が接続中であるかどうかのチェックを行なう（ S 1 0 8 ) 。システムが接続中であれば、モータ制御処理へ制御情報を受け渡し

(S 1 0 9 ) 、内部時計調時処理を行なう（ S 1 1 0 ) 。もし、制御情報の受信エラーが発生した場合には（ S 1 1 1 ) 、システム状態を未接続に切り替える（ S 1 1 2 ) 。

システム情報を受信していないときには、逆に、オペレーションマ . シン 2へ送信情報があるかどうかのチェックを行ない（ S 1 1 3 ) 、送信情報があれば、システム状態が接続中であるかどうかを確認して

( S 1 1 4 ) 、. 送信情報を送信する（S 1 1 5 ) 。

本発明に係る車載ユンピュータ 1 1の画像圧縮処理を、図 1 1のフローチャートを参照して説明する。車載コンピュータ 1 1 は、平時、オペレーションマシン 2 とシステム上接続されているかどうかの判断をしており（S 2 0 1 ) 、接続されていれば、ビデオキヤプチヤーを開始する（ S 2 0 2 ) 。キヤプチヤーされた画像は圧縮され（ S 2 0 3 ) 、内部時計 1 3から生成されたタイムスタンプが付加されて画像情報が作成され（ S 2 0 4、 S 2 0 5 ) 、無線 L AN通信処理へ受け渡される（ S 2 0 6 ) 。

次いで、本発明に係る車載コンピュータ 1 1 のモータ制御処理及びセンサー入力処理を、図 1 2のフローチャートを参照して説明'する。モータ制御部 1 5は、平時は、オペレーションマシン 2からの制御情報の受信に備えて待機している（S 3 0 1 ) 。制御情報を受信すると、制御情報に含まれている駆動モータ値、サ―ボ位置の情報に従って、駆動モータ 9、 9 a及びサーボ 8を制御するように出力する（ S 3 0 2、 S 3 0 3 ) 。

モータ制御処理で制御された直後の車速、バッテリ一電圧値をオペレーションマシン 2へ送信するセンサー情報として利用するために、モータ制御処理で駆動モータ 9、 9 a、サーボ 8が制御されると、連動してセンサー入力処理が開始される（S 3 0 4 ) 。

センサー入力部 1 6では、モータ制御部 1 5のモータ制御処理による処理起動命令を受けると（ S 4 0 1 ) 、車速センサー 6から車速、バッテリー 7力ゝらバッテリ一電圧をそれぞれ取り込み '（ S 4 0 2、 S 4 0 3 ) 、それらを元にセンサー情報を作成し（ S 4 0 4 ) 、ォペレーションマシン 2へセンサー情報を送信するために、無線 L A N通信部 1 4へセンサー情報を受け渡す（ S 4 0 5 ) 。

次に、本発明に係る車載コンピュータ 1 1 の内部時計調時処理を、図 1 3のフローチャートを参照して説明する。内部時計調時処理では、. 制御情報の送信時間、通信遅延時間から内部時計 1 3 とオペレーションマシン 2のシステム時刻の時間差を割り出し、調時時間を算出する ( S 5 0 1〜 S 5 0 3 ) 。調時時間は、時間差の 2 0分の 1 とし、急激な変化を吸収する。この処理は、オペレーションマシン 2がシステム接続されたときに行なわれる。

算出された調時時間が 1 m s未満であれば内部時計 1 3は再設定されないが、 1 m s以上であれば、内部時計 1 3の時間に調時時間を加えて内部時計 1 3を再設定する（ S 5 0 4、 S 5 0 5 ) 。

オペレーションマシン 2は、模型自動車 1 を遠隔操作するためのプログラムが記憶されたパーソナルコンピュータである。操作者は、ォペレ一ションマシン 2を操作して模型自動車 1 をリモ一トコントロールすることができる。

オペレーションマシン 2で行なわれる処理は、図 1 4 に示す'ように、模型自動車 1から送信されたデータに基づく処理と、操作者によるゲ —ムコントローラ 3からの入力に基づく処理に大別される。模型自動車 1から送信されたデータに基づく処理は、無線 L AN通信処理で受信した画像情報を伸張する画像伸張処理と、画像伸張処理によって伸張された画像を、受信したセンサー情報に基づいてモニタに映し出すためのビデオ信号を生成する画像加工処理である。

一方、操作者によるゲームコント口一ラ 3からの入力に基づく処理は、操作入力処理として図示されているが、ここで処理された制御情報が、無線 L AN通信処理によって模型自動車 1へ送信される。

本発明に係るオペレーションマシン 2の無線 L A N通信処理を、図

' 1 5のフローチャートを参照して説明する。オペレーションマシン 2 の無線 L AN通信処理では、平時、模型自動車 1 との接続が保たれているかどうかのチェックがなされる '（ S 6 0 1 ) 。

模型自動車 1 との接続が保たれていない場合には、前回接続時に送信したシステム接続情報を送信してから指定時間経過したかどうかを判断して（ S 6 0 2 ) 、指定時間経過している'場合には、再度、システム接続情報を送信する（ S 6 0 3 ) 。

そして、模型自動車 1からの接続応答情報が受信されれば（ S 6 0 4 ) 、その応答コードから正常接続されたかどうかを判断して（ S 6 0 5 ) 、正常に接続されていれば、システムの状態を接続中へ切り替える（ S 6 0 6 ) 。

模型自動車 1 との接続が保たれている場合には（ S 6 0 1 ) 、常に、模型自動車 1からの受信情報があるかどうかをチヱックしている（ S 6 0 7 ) 。模型自動車 1からの受信情報が画像情報であれば（ S.6 0 8 ) 、画像伸張処理プログラムへ画像情報が受け渡される（ S 6 0 9 ) 。

受信情報が画像情報でなく、センサー情報であれば（ S 6 1 0 ) 、現在時刻と通信時刻とから通信遅延時間を算出し（ S 6 1 1 ) 、画像加工処理へセンサ一情報を受け渡し（ S 6 1 2 ) 、通信監視タイマーをリセットする（ S 6 1 3 ) 。

模型自動車 1からの受信情報がないときには、逆に模型自動車 1への送信情報があるかどうかをチェックしており（ S 6 1 4 ) 、送信情報があれば、送信情報を送信して（ S 6 1 5 ) 、通信監視タイマーをリセットする（ S 6 1 6 ) 。受信情報も送信情報もない状態が続き、通信監視時間がタイムアウトしてしまうと（ S 6 1 7 ) 、システム状態が未接続に切り替わる（ S 6 1 8 ) 。

本発明に係るオペレーションマシン 2の画像伸張処理を、図 1 6のフローチヤ一トを参照して説明する。オペレーションマシン 2の画像伸張処理では、平時、模型自動車 1からの画像情報の受信に備えて待機している（ S 7 0 1 ) 。そして、画像情報を受信すると、画像情報に含まれるタイムスタンプを格納し（ S 7 0 2 ) 、画像データを伸張して、 1 フレーム分の画像を画像加工処理へ受け渡す（ S 7 0 3 ) 。続いて、本発明に係るオペレーションマシン 2の画像加工処理を、図 1 7のフローチャートを参照して説明する。オペレーションマシン 2の画像加工処理では、システムに接続された状態で画像伸張処理された画像が更新されると（S 8 0 1、 S 8 0 2 ) 、まず、更新された画像に格納されたタイムスタンプの時刻を現在のシステム時刻から差し引いた時間、即ち、描画遅れ時間を算出する（ S 8 0 3 ) 。描画遅れ時間が算出されると、その描画遅れ時間と車速から画像拡大率を算出し（S 8 0 4 ) 、描画遅れ時間と操舵位置から画像左右シフト量を算出する（S 8 0 5 ) 。

そして、算出された画像拡大率、画像左右シフト量から描画エリアを指定し（ S 8 0 6 ) 、ビデオメモリに転送される（ S 8 0 7 ) 。一方、センサ一情報内の車速データとバッテリー電圧データを元に、スピードメ一ター、バッテリ一残量の上書き描画も行なわれる（ S 8 0 8 ) 。

本発明に係るオペレ一ションマシン 2の操作入力処理を、図 1 8のフローチャートを参照して説明する。本実施形態におけるオペレ一シヨンマシン 2では、システムの制御周期を 5 0 m s とし、ゲームコントローラ 3からの入力が 5 0 m sの定周期で入力されているかどうかが監視される（ S 9 0 1 ) 。そして、ゲームコントローラ 3力ら 5 0 m s の定周期で入力があると、そのステアリング値、アクセル ' ブレーキペダル値を取り込む（ S 9 0 2 ) 。そして、その取り込まれたステアリング値を操舵位置として、ァクセル · ブレーキペダル値を駆動モータ値として変換し、これを模型自動車 1 へ送信するための制御値とする（. S 9 0 3 ) 。

変換された制御値に変化がなく（ S 9 0 4 ) 、前回制御情報を送信してから 5 0 0 m s以上送信履歴がなければ（ S 9 0 5 ) 、現在の制御値から制御情報を作成し、無線 L A N通信処理へ受け渡す（ S 9 0 6 ) 変換された制御値に変化があれば、新しレ、制御値から制御情報を作成し、無線 L A N通信処理へ受け渡す（ S 9 0 6 ) 。

本発明における通信データをまとめると、図 1 9に示すとおりである。即ち、オペレーションマシン 2をシステムに接続する際に送信されるシステム接続情報は、認証コードとシステム時刻とで構成される。ここで、認証コードとは、オペレーションマシン 2がシステム接続を行なうためのコードであり、システム時刻とは、オペレーションマシン 2の時刻であり、システム接続時に車載コンピュータ 1 1 の内部時計 1 3を調時するために利用される。

この発明をある程度詳細にその最も好ましい実施形態について説明してきたが、この発明の精神と範囲に反することなしに広範に異なる実施形態を構成することができるこどは明白なので、この発明は添付請求の範囲において限定した以外はその特定の実施形態に制約されるものではない。 .

例えば、上記のとおり、動体として模型自動車について説明してきたが、本発明に係る方法による制御の対象となる動体はそれに限られる訳ではなく、模型飛行機、模型ボート'、ロボット、産業用ロボットのアーム、産業用機器その他種々の動体が含まれることは言うまでもない。

そして、模型自動車の場合には、振れ角度は左右方向の操舵角度であるが、例えば産業用ロボットのアームの場合は、その振れ方向は上下方向又は斜め方向である場合があり、それに伴ない、画像処理において受信画像を上下方向又は斜め方向にシフ卜することもある。図面の簡単な説明

. 図 1 本発明の一実施形態におけるオペレーションマシンを使用レた、模型自動車用リモートコントロールシステムについてのシステム構成図を表したものである。

図 2. 本発明の一実施形態における模型自動車の構成を示すプロック図である。

図 3 車載コンピュータの構成図である。

図 4 車載コンピュータの処理を示すプロック図である。

図 5 ゆらぎ補正を説明するための図である。

図 6 オペレーションマシンの描画機能を説明するための図である。図 7 模型自動車の直進時の描画工リァの変化を示す図である。

図 8 模型自動車の右カーブ時の描画工リァの変化を示す図である。図 9 ハードウェアと操作者による一連の処理のフローチャートである。

図 1 0 模型自動車側の通信処理のフローチャートである。

図 1 1 画像圧縮処理のフローチャートである。

図 1 2 モータ操作'処理とセンサー入力処理のフローチヤ一トである。

図 1 3 内部時計調時処理のフローチャートである。

図 1 4 オペレーションマシンの処理を示すブロック図である。

図 1 5 オペレーションマシン側の通信処理のフローチャートである。

図 1 6 画像伸張処理のフロ一チャートである。

図 1 7 画像加工処理のフローチャートである。

図 1 8 操作入力処理のフローチャートである。

図 1 9 模型自動車用リモートコント口ールシステムの通信データの構成図である。

図 2 0 通信のゆらぎを説明するための図である。図 2 1 ゆらぎによるフレーム描画タイミングへの影響を説明するための図である。

• 図 2 2 エラーによるフレーム描画タイミングへの影響を説明するための図である。

Claims

請求の範囲

1 模型自動車、ロボットアーム等の動体に搭載されたカメラからの' 画像のモニタ表示を見ながら前記動体を遠隔制御可能にするための前記モユタへの前記受信画像の表示を行なうオペレーションマシンにおいて、

前記受信画像の前記モニタへの描画は予め定められた描画タイミング間隔で行ない、且つ、前記描画画像は、前記受信画像を遅れ処理した ' 予測画像とすることを特徴とするゆらぎ補正による画像表示方法。

2 前記遅れ処理した予測画像は、前記描画タイミング時のシステム時刻から、そのとき受信している画像情報に付加されているタイムスタンプを差し引いた遅れ予測時間経過後の擬似的画像である請求項 1 に記載のゆらぎ補正による画像表示方法。

3 前記遅れ予測画像は、前記受信画像を、前記遅れ予測時間と前記動体の移動速度、振れ角度、バッテリー電圧値等のセンサー情報に基いて画像処理するものである請求項 1 に記載のゆらぎ補正による画像表示方法。

4 前記画像処理は、前記センサー情報に基いて前記受信画像をズームし及び/又は上下、左右、斜めにシフトするものである請求項 3に記載のゆらぎ補正による画像表示方法。

5 模型自動車、ロボットアーム等の動体からの画像情報に基づいて前記動体を遠隔制御するためのオペレーシヨンマシンを備えた動体リモートコントローノレシステムであって、

前記オペレーションマシンは、

前記動体に搭載された力メラからの画像情報とセンサー情報とを受信する画像描画用情報受信手段と、

前記伸張した画像データを、受信した前記センサー情報に基づいて加ェする画像加工手段と、コントローラによって入力された操作入力値を前記動体に対する制御情報へ変換処理する操作入力手段と、

前記操作入力手段によって生成された制御情報を前記動体へ送信する制御情報送信手段とを備え、

前記動体は、

前記搭載カメの画像に内部時計の時刻をタイムスタンプとして付加し、前記オペレーションマシンへ送信する画像情報として画像圧縮する画像圧縮手段と、

前記速度センサーからの前記動体の移動速度及びバッテリ一からのバッテリー電圧値を、前記オペレーションマシンへ送信するセンサー情報として取り込むセンサー取込手段と、

前記画像情報と前記センサー情報とを画像描画用情報として前記オペレーションマシンへ送信する画像描画用情報送信手段と、

前記オペレーションマシンから前記制御情報を受信する制御情報受信手段と、

受信した前記制御情報に基づいてサーボ及びモータを制御する制御処理手段、

とを備えることを特徴とする動体リモートコントロールシステム。 6 前記画像加工手段は、前記伸張された画像データを、受信した前記センサー情報に基づいて、出力するタイミング及び表示させる画像の描画工リァを調整する請求項 5に記載の動体リモートコントロールシステム。

7 前記画像加工手段は、前記伸張された画像データに格納されたタィムスタンプの時刻を現在のシステム時刻から差し引いた描画遅れ時間を算出し、前記描画遅れ時間と前記動体の移動速度から画像拡大率を算出すると共に、前記描画遅れ時間と振れ位置から上下、左右、又は斜め方向への画像シフト量を算出し、前記画像拡大率と前記画像シフト量とから前記描画工リアを指定する請求項 6に記載の動体リモートコントローノレシステム。 8 前記センサー情報は、前記動体に搭載された速度センサ一からの速度値と、バッテリ一の電圧値とを含む請求項 5に記載の動体リモー .トコン' トローノレシ 'ステム。