WO2018154714A1 - 操作入力システム、操作入力方法及び操作入力プログラム - Google Patents

Abstract

【課題】マウスやタッチパネルなどの直接操作するデバイスを要することなく、指先の細かで且つ素早い動きなど、操作者に負担が少ない動作入力を的確に取得する。 【解決手段】電磁波又は音波を発信波として表示画面５ｂが視認可能な視野範囲Ｒ２の一部又は全部を含む監視空間領域Ｒ３に対して発信する発信部５ｃと、対象物によって反射された前記発信波を反射波として受信する受信部６ａ０～２と、発信波と反射波とに基づき、反射波を生成した対象物の３次元空間上における位置及びその変位に関する位置情報を検出し、表示画面５ｂ上における座標位置に関する入力信号を生成して、情報処理端末装置に提供する信号処理部１１２と、発信波の波長と反射波の波長とを比較して接近又は離脱する方向における対象物の移動及びその速度を検出する接離検出部１１３とを備える。

Description

操作入力システム、操作入力方法及び操作入力プログラム

　本発明は、情報処理装置の表示画面上における座標位置、及びその座標位置に関する操作コマンドを入力する操作入力システム及び操作入力方法、操作入力プログラムに関する。

　従来、パーソナルコンピューター等の情報処理装置に対する操作コマンドを入力するデバイスとしては、文字を入力するキーボードの他、マウスやタッチパッド、タッチパネルのように、ディスプレイの表示画面上における座標位置を指定するとともに、ボタンのクリックやタップ、スワイプというように、その座標位置における操作コマンドを入力するものが普及している。

　また、操作者が、上述したマウスやタッチパッド、タッチパネルのような特別な機器を用いることなく、操作の利便性をより向上させるために、情報処理端末に備えられたカメラによって操作者の手を撮影し、情報処理端末の画面に対応させて、指の位置の付近の空中に操作領域を設定し、その操作領域内における指の移動を画像解析により検出して、その指の動きから、画面上のカーソルを移動させたり、或いはアイコンを強調表示して指定させたりする操作入力装置が提案されている（特許文献１参照）。この特許文献１に開示された操作入力装置によれば、マウスやタッチパッド、タッチパネル等の直接指を接触させる操作を必要とせず、操作者に負担が少ない動作入力を判定することができる。

　ところで、上述した特許文献１に開示された操作入力装置では、カメラで撮影した画像を解析して指の位置を検出するため、指の前後の動きは、指先の画像上の大きさの変化で判断することとなり、細かな動きを検知できないという問題がある。

　これに対して、例えば、特許文献２に開示されたような、カメラから物体表面までの距離の分布である距離画像を用いて、距離画像中の極小点を検出するなどして、操作者の指先の位置を求めて、その動きによって画面上のポインティングができるようにする情報入力装置も提案されている。

特開２０１３－１７１５２９号公報 特開平７－３３４２９９号公報

　しかしながら、上述した特許文献に開示された装置は、いずれも画像解析により指先を検出し、その動きによってポインティング操作を判定しているため、指先の細かで素早い動きを検知するのは困難であり、誤動作を起こす可能性がある。

　そこで、本発明は、上記のような問題を解決するものであり、マウスやタッチパッド、タッチパネルなどの直接操作するデバイスを要することなく、指先の細かで且つ素早い動きなど、操作者に負担が少ない動作入力を的確に取得することが可能な操作入力システム及び操作入力方法、操作入力プログラムを提供することを目的とする。

　上記課題を解決するために、本発明は、情報処理装置の表示画面上における座標位置、及びその座標位置に関する操作コマンドを入力する操作入力システムであって、
　電磁波又は音波を発信波として、前記表示画面が視認可能な視野範囲の一部又は全部を含む監視空間領域に対して発信する発信部と、
　対象物によって反射された前記発信波を反射波として受信する受信部と、
　前記発信波の波長と前記反射波の波長とを比較して、前記発信部又は前記受信部に対して接近又は離脱する方向における前記対象物の移動及びその速度を検出する接離検出部と、
　発信した前記発信波と受信した前記反射波に基づき、前記反射波を生成した前記対象物の３次元空間上における位置及びその変位に関する位置情報を検出し、前記位置情報及び前記接離検出部による検出結果に基づき、前記表示画面上における座標位置に関する入力信号を生成して、前記情報処理装置に提供する信号処理部と
を備えることを特徴とする。

　また、本発明は、情報処理装置の表示画面上における座標位置、及びその座標位置に関する操作コマンドを入力する操作入力方法であって、
　電磁波又は音波を発信波として、前記表示画面が視認可能な視野範囲の一部又は全部を含む監視空間領域に対して発信部から発信するとともに、対象物によって反射された前記発信波を反射波として受信部が受信するステップと、
　発信した前記発信波と受信した前記反射波とに基づき、前記反射波を生成した前記対象物の３次元空間上における位置情報及びその変位に関する位置情報を検出し、前記位置情報に基づき、信号処理部が、前記表示画面上における座標位置に関する入力信号を生成して前記情報処理装置に提供するステップと、
　前記発信波の波長と前記反射波の波長とを比較して、前記発信部又は前記受信部に対して接近又は離脱する方向における前記対象物の移動及びその速度を、接離検出部が検出するステップと
を含むことを特徴とする。

　これらの発明によれば、発信波と反射波とに基づき対象物の３次元空間内の位置及びその変位を検出して、カーソルの移動や基本的なコマンド操作に関する入力信号を情報処理装置に提供し、マウスやタッチパッド、タッチパネル等の直接操作するデバイスを要することなく、操作者によるポインティング操作を入力することができる。この際、発信波とその反射波の波長の変化を比較して、いわゆるドップラー効果を監視するため、画像解析などの負担の大きい処理を行うことなく、発信部又は受信部に対する対象物の接近又は離脱、及びその移動速度を検出することができ、指先などの細かで且つ素早い動きなど、操作者に負担が少ない動作入力を的確に取得できる。

（発受信部の指向性）
　上記発明において、前記表示画面方向からパルス波を障害物の無い空間に向けて指向性をもって照射する発信部と、また、近傍からの再反射の混入をふせぎ、空中の指先＝監視対象物からの直接反射波のみを指向性を持って受信する受信部をさらに備え、監視対象点から直接戻ってくる反射波に基づいて前記入力信号を生成することが好ましい。

（フィルター）
　上記発明において、受信した前記反射波のうちその後の処理プロセスに必要な最低限のデータ、すなわち反射波の初動波から一定時間までのデータのみを予め抽出し、その後の処理フローに送るフィルタリング部をさらに備え、前記信号処理部は、前記フィルタリング部により抽出された反射波に基づいて前記入力信号を生成することが好ましい。

　このフィルタリングにより処理対象とするデータを早い段階で取捨選択することで、演算処理量を低減して負荷を軽減するとともに処理の高速化を図り、入力操作の応答性を高めることができる。

（指差しゼスチャー認識と指先検出）
　上記発明において、前記信号処理部は、前記フィルター後の反射波の振幅－時間プロファイルの形状が、初動波が最高振幅強度となり引き続く波がしきい値以下の無～弱振幅となるような、特有なパターンを示すときに指差しゼスチャーとして認識するモジュールと、この指差しゼスチャーが認識される場合にのみ、前記振幅－時間プロファイルの初動波、すなわち最高振幅強度を示しかつ前記受信部までの距離が最短となる点を指先＝監視対象点として検出するモジュールをさらに備え、必要かつ最小限の装置を用いて操作者の指差しゼスチャーでの指先＝監視対象点を検出することが好ましい。

（指先検出＋３点測距）
　上記発明において、前記信号処理部にて前記指差しゼスチャーが認定され前記初動波を指先＝監視対象点として検出した場合、指先＝監視対象点と、少なくとも３つある受信部のそれぞれとの距離を求め、これら少なくとも３つの距離から、３点測距法により指先＝監視対象点の空間的座標位置を取得するモジュールをさらに備え、複雑な画像処理を省略しつつ操作者のポインティング座標を取得することが好ましい。更に、前記接離検出部は、前記指先＝監視対象点の前後の移動及びその速度を検出し、このポインティング座標でのコマンド信号を生成することが好ましい。

（３Ｄタッチパネル）
　上記発明において、前記信号処理部は、前記監視空間領域内に前記表示画面と平行又は所定角度をなし、前記表示画面と同一形又は相似形をなし、前記表示画面から前記監視対象点までの距離に応じてその大きさを変化させる仮想的な連続する無数の操作面、すなわち３Ｄタッチパネルを設定する操作面設定部をさらに備え、前記３Ｄタッチパネルの仮想的な操作面上における前記監視対象点の座標位置に応じて、前記ポインティング入力信号を生成することが好ましい。

　前記３Ｄタッチパネルは、前記操作者と前記表示画面の間の空中に連続する無数の仮想的な操作面を定義することで、カーソルの移動といったポインティング操作をイメージしやすくできるとともに、操作者の指先＝監視対象点と表示画面との距離に応じて仮想的操作面の大きさが異なるため（遠いほど大きい）、その距離を調整することで、指先＝監視対象点を表示画面に平行に動かす時の指先＝監視対象点の速さと、表示画面上のポインターの速さとの比が変わり（遠いほど遅い）、より機動的なポインティング操作が可能となる。

前記３Ｄタッチパネルは、画面から操作者までの空間を利用してポインティング操作を実行するといういわゆる非接触型のデバイスであるため、指先＝監視対象点によるタッチングによるコマンド操作が困難である。この弱点を補うために、前記ドップラー効果を利用したボタン操作（ドップラーコマンド）を採用することで、情報処理端末の操作性を向上させることが好ましい。

（サブコマンドキー）
　上記発明において、ドップラーコマンドはボタンダウンとボタンアップの２種類とその組み合わせに限定されるため、現行のマウスやタッチパッド、タッチパネルで実行可能な基本的なコマンドしか実現できない。よって、指差しゼスチャーに１つのサブコマンドキーをさらに備え、前記ドップラーコマンドに加えて入力コマンドの多様化を図ることが好ましい。このサブコマンドキーは音声入力等の他の方法でも代替することもできる。

（距離画像＋３Ｄタッチパネル）
　上記発明において、前記３点測距法に代えて距離画像によって形態から前記指差しゼスチャーを認識し前記指先＝監視対象点の空間的座標を直接的に求めるようにモジュールを変更し、より視覚的にわかりやすく操作者のポインティング操作を取得することもできる。この変更においても、前記３Ｄタッチパネルとの組み合わせでポインティング操作をおこない、また、前記接離検出部では、前記ドップラー効果にて前記指先＝監視対象点の前後の移動及びその速度を検出することが好ましい。

（距離画像＋ベクトル投影）
　上記発明で、前記距離画像を利用する場合には、指先＝監視対象点の位置座標と３Ｄタッチパネルの組み合わせによるポインティング操作に代わり、前記距離画像により指差しゼスチャー時の指の形を柱状形に模式化し監視対象点とし、この柱状形の軸の向くベクトルが表示画面と交わる座標位置にポインターを表示する操作方法を採用することもできる。この場合も、前記接離検出部では、距離画像に利用する反射波を用いてドップラー効果を監視することが好ましい。

（サブコマンド（第２柱状）検出）
　上記発明において、距離画像を利用する場合には、前記監視空間領域内で前記受信部までの距離が２番目に近い指先又は柱状形を第２監視対象として検出し、前記信号処理部は、前記第２監視対象点の有無に応じて、前記入力信号の内容を変更することが好ましい。この場合、例えば人差し指によるポインター操作と併せて、小指を立てるなどの付加的なゼスチャーを検出し、入力コマンドの多様化を図ることができる。

（操作入力プログラム）
　なお、上述した本発明に係る装置及び方法は、所定の言語で記述された本発明の操作入力プログラムをコンピューター上で実行することにより実現することができる。すなわち、本発明のプログラムを、携帯端末装置やスマートフォン、ウェアラブル端末、モバイルパーソナルコンピューター、その他の情報処理端末、パーソナルコンピューターやサーバーコンピューター等の汎用コンピューターのＩＣチップ、メモリ装置にインストールし、ＣＰＵ上で実行することにより、上述した各機能を有するシステムを構築して、本発明の方法を実施することができる。

　すなわち、本発明のプログラムは、情報処理装置の表示画面上における座標位置、及びその座標位置に関する操作コマンドを入力する操作入力プログラムであって、コンピューターを、
　電磁波又は音波を発信波として、前記表示画面が視認可能な視野範囲の一部又は全部を含む監視空間領域に対して発信する発信部、
　対象物によって反射された前記発信波を反射波として受信する受信部と、
　発信した前記発信波と、受信した前記反射波とに基づき、前記反射波を生成した前記対象物の３次元空間上における位置及びその変位に関する位置情報を検出し、前記位置情報に基づき、前記表示画面上における座標位置に関する入力信号を生成して、前記情報処理装置に提供する信号処理部、及び
　前記発信波の波長と前記反射波の波長とを比較して、前記発信部又は前記受信部に対して接近又は離脱する方向における前記対象物の移動及びその速度を検出する接離検出部
として機能させる。

　このような本発明の操作入力プログラムでは、例えば、通信回線を通じて配布することが可能であり、また、コンピューターで読み取り可能な記録媒体に記録することにより、スタンドアローンの計算機上で動作するパッケージアプリケーションとして譲渡することができる。この記録媒体として、具体的には、フレキシブルディスクやカセットテープ等の磁気記録媒体、若しくはＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の光ディスクの他、ＲＡＭカードなど、種々の記録媒体に記録することができる。そして、このプログラムを記録したコンピューター読み取り可能な記録媒体によれば、汎用のコンピューターや専用コンピューターを用いて、上述したシステム及び方法を簡便に実施することが可能となるとともに、プログラムの保存、運搬及びインストールを容易に行うことができる。

　これらの発明によれば、卓上あるいはノートパーソナルコンピューターやタブレットパーソナルコンピューター、スマートフォンなどの情報処理端末装置の表示画面上における、ポインティングやコマンドの入力に際し、マウスやタッチパッド、タッチパネルなどの直接触って操作するデバイスを要することなく、指先の細かで且つ素早い動きなど、操作者に負担が少ない動作入力を的確に取得することが可能となる。

第１実施形態に係る操作入力システムを実現するための情報処理端末装置の外観構成を示す斜視図である。 第１実施形態に係る情報処理端末装置のハードウェア構成を示すブロック図である。 第１実施形態に係る操作入力システムのＣＰＵ上に構築される機能モジュールを示すブロック図である。 第１実施形態に係る操作入力システムの指先＝監視対象点の検出処理を示す説明図である。 第１実施形態に係る操作入力システムの３点測距法の概要を示す説明図である。 第１実施形態に係る操作入力システムのドップラー効果検出処理を示す説明図である。 第１実施形態に係る操作入力システムの３Ｄタッチパネルを示す説明図である。 第１実施形態に係る操作入力システムの３Ｄタッチパネルを示す説明図である。 第１実施形態に係る操作入力システムのフィルタリング処理と指差しゼスチャー認識を示す説明図である。 第１実施形態に係る操作入力システムの指差しゼスチャー認識と指先＝監視対象点検出処理に利用される振幅－時間プロファイルの例を示す説明図である。 第１実施形態に係る操作入力方法の手順を示すフローチャート図である。 第２実施形態に係る操作入力システムのＣＰＵ上に構築される機能モジュールを示すブロック図である。 第２実施形態に係る操作入力システムの操作方法を示す説明図である。 第２実施形態に係る操作入力システムのベクトル投影処理を示す説明図である。 第２実施形態に係る操作入力システムの柱状形検出処理を示す説明図である。 第２実施形態に係る操作入力システムのサブコマンド認識処理を示す説明図である。 第２実施形態に係る操作入力方法の手順を示すフローチャート図である。 変更例に係る３Ｄタッチパネルを示す説明図である。 変更例に係る操作入力システムの指先＝監視対象点検出処理における３点測距の概要を示す説明図である。

［第１実施形態］
（操作入力システムの全体構成）
　以下に添付図面を参照して、本発明に係る操作入力システムの第１実施形態について詳細に説明する。図１は、本実施形態に係る操作入力システムを実現するための情報処理端末装置の外観構成を示す概念図であり、図２は、本実施形態に係る操作入力システムを実現するための情報処理端末装置のハードウェア構成を示すブロック図である。なお、説明中で用いられる「モジュール」とは、装置や機器等のハードウェア、或いはその機能を持ったソフトウェア、又はこれらの組み合わせなどによって構成され、所定の動作を達成するための機能単位を示す。

　本実施形態に係る情報処理端末装置は、汎用的なコンピューターや専用の装置で実現することができ、本実施形態では、図１に示すように、汎用的なノートパーソナルコンピューター１に、本発明の操作入力プログラムをインストールして実施する。ノートパーソナルコンピューター１は、モニターなどの表示画面５ｂを備え、キーボードやポインティングデバイスなどを有する本体部分が二つ折りとなるように一体化された情報処理端末装置であり、発信部５ｃと、受信部６ａ０～２とが表示画面５ｂの下側に、操作者側に向けて配置されている。なお、本実施形態では、ノートパーソナルコンピューターに本発明を適用した場合を例に説明するが、本発明はこれに限定されず、発信部５ｃ及び受信部６ａ０～２が装備若しくは接続可能な情報処理端末であれば、デスクトップ形式のパーソナルコンピューター等の汎用コンピューターや機能を特化させた専用装置により実現することができる他、タブレットパーソナルコンピューターやスマートフォン、携帯電話機、ウェアラブル端末装置等を採用することもできる。

　ノートパーソナルコンピューター１内部のハードウェア構成としては、図２に示すように、ＣＰＵ１１と、メモリ１２と、入力インターフェース１６と、記憶装置１４と、出力インターフェース１５と、通信インターフェース１３とが備えられている。なお、本実施形態では、これらの各デバイスは、ＣＰＵバス１０を介して接続されており、相互にデータの受け渡しが可能となっている。

　入力インターフェース１６は、キーボード６ｂやポインティングデバイス、タッチパネルやボタン等の操作デバイスから操作信号を受信するモジュールであり、受信された操作信号はＣＰＵ１１に伝えられ、ＯＳや各アプリケーションに対する操作を行うことができる。また、入力インターフェース１６には、ＣＣＤカメラ６ｄやマイク６ｃなどの入力デバイスも接続可能であり、本発明の受信部６ａ０～２もこの入力インターフェース１６に接続される。

　受信部６ａ０～２は、図４～図６に示すように、近傍からの再反射をブロックし、空中の監視対象物からの直接反射波のみを選択的に受信する指向性を持つ受信デバイスである。詳述すると受信部６ａ０～２は、近傍に監視対象と操作者以外には何も存在しない空間に所定の指向性をもって発信波Ｗ１を照射し、対象物によって反射された発信波のうちキーボード方向などからの再反射の混入を防ぐように指向性を持たせた受信部に到達する直接的な反射波を反射波Ｗ２として受信し、受信された反射波Ｗ２は、図３に示される同期処理部１１１を通じて信号処理部１１２や接離検出部１１３に入力される。

　本実施形態においては、この受信部６ａ０～２は、物理的に離間され、隣接配置された複数の赤外線センサーであり、表示画面５ｂの下部右側に三角形に配列される。なお、十分な解像度があれば、赤外線以外の電磁波センサー、超音波センサーなど、発信部５ｃによって発信される電磁波や音波などの種類に対応した各種センサーを採用することができる。

　出力インターフェース１５は、表示画面５ｂやスピーカー５ａ等の出力デバイスから映像や音声を出力するために映像信号や音声信号を送出するモジュールである。なお、電磁波又は音波を発信波として発信する発信部５ｃもこの出力インターフェース１５に接続されている。

　発信部５ｃは、図４に示すように、電磁波又は音波を発信波として、表示画面５ｂが視認可能な視野範囲Ｒ２の一部又は全部を含む監視空間領域Ｒ３に対して、所定の指向性をもって発信するデバイスであり、図３の同期処理部１１１による制御に応じて発信波を発信する。特に本実施形態においてこの発信部５ｃは、赤外線レーザーをパルス照射する赤外線ライトが採用されており、表示画面５ｂの右側下部に三角形に配列された受信部６ａ０～２の中心に配置されている。なお、この発信部５ｃは、指先＝監視対象点を検出するだけの十分な解像度があれば、超音波発信器、赤外線以外の電波発信器など、受信部６ａ０～２で感知可能な電磁波や音波などの種類に対応した各種発信器を採用することができる。

　通信インターフェース１３は、他の通信機器とデータの送受信を行うモジュールであり、通信方式としては、例えば、電話回線やＩＳＤＮ回線、ＡＤＳＬ回線、光回線などの公衆回線、専用回線、ＷＣＤＭＡ（登録商標）及びＣＤＭＡ２０００などの第３世代（３Ｇ）の通信方式、ＬＴＥなどの第４世代（４Ｇ）の通信方式、及び第５世代（５Ｇ）以降の通信方式等の他、Ｗｉｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの無線通信ネットワークが含まれる。

　記憶装置１４は、データを記録媒体に蓄積するとともに、これら蓄積されたデータを各デバイスの要求に応じて読み出す装置であり、例えば、ハードディスクドライブ（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリカード等により構成することができる。

　ＣＰＵ１１は、各部を制御する際に必要な種々の演算処理を行う装置であり、各種プログラムを実行することにより、ＣＰＵ１１上に仮想的に各種モジュールを構築する。また、このＣＰＵ１１上では、ＯＳ（Ｏｐｅｒａｔｉｎｇ　Ｓｙｓｔｅｍ）が起動・実行されており、このＯＳによってノートパーソナルコンピューター１の基本的な機能が管理・制御されている。さらに、このＯＳ上では種々のアプリケーションが実行可能になっており、ＣＰＵ１１でＯＳプログラムが実行されることによって、ノートパーソナルコンピューター１の基本的な機能が管理・制御されるとともに、ＣＰＵ１１でアプリケーションプログラムが実行されることによって、種々の機能モジュールがＣＰＵ上に仮想的に構築される。

（各種機能モジュールの構成）
　図３は第１実施形態に係る操作入力システムのＣＰＵ上に構築される機能モジュールを示すブロック図である。本実施形態では、本発明の操作入力プログラムを実行することにより、同期処理部１１１、信号処理部１１２、接離検出部１１３の３モジュールがＣＰＵ１１上に構築される。

　同期処理部１１１は、図４～図６に示すように、発信部５ｃにおける発信波Ｗ１の発信処理と、受信部６ａにおける反射波Ｗ２の受信処理とを同期させ、発信波Ｗ１と反射波Ｗ２との関連付けを行うモジュールである。本実施形態では、発信部５ｃは間欠的なパルサー波を発信波Ｗ１として発信し、その発信した各パルサー波に対応する反射波を受信し、発信及び受信した順番、時刻、発信から受信までの時間長に基づいて、各発信波の信号とそれに対応する各反射波の信号とを選別し、発信波と反射波の信号をセットとして関連づけ、信号処理部１１２に送出する。

　信号処理部１１２は、発信部５ｃが発信した発信波Ｗ１と、受信部６ａが受信した反射波Ｗ２とに基づき、反射波Ｗ２を生成した対象物の空間的位置情報及びその変位を検出し、表示画面５ｂ上における座標位置に関する入力信号を生成して、情報処理装置上で実行されているＯＳやアプリケーションに提供するモジュールである。
　具体的に本実施形態に係る信号処理部１１２は、フィルタリング部１１２ａと、指差しゼスチャー認識部１１２ｂ、指先＝監視対象点検出部１１２ｃ、位置情報算出部１１２ｄ、操作面設定部１１２ｅ、ポインティング信号生成部１１２ｆ、入力信号生成部１１２ｇから構成される。

　フィルタリング部１１２ａは、図４に示す監視空間領域Ｒ３を監視する際に、後の処理作業で必要とされる反射波以外の信号を予め除外するモジュールである。今後実施が予定される処理作業、すなわち指差しゼスチャー認識及び指先＝監視対象検出には、図１０に示す初動波から奥行き３ｃｍ程度に相当する範囲（Ａ１）の反射波のみが必要とされるため、それ以外の反射波データを前段階で排除し、排除後のデータのみを指差しゼスチャー認識部１１２ｂへ入力する。

　指差しゼスチャー認識部１１２ｂでは、図１、図４～図９、図１３、図１４、図１８及び図１９に示すような指差しゼスチャーの有無を判断する。図９に示す指差しが行われる時には、発信波の進行方向に垂直な指先Ｂ１では反射波は強振幅となり、発信波の進行方向に平行或いは又は所定角度（例えば鈍角）に接する指の腹では無～弱振幅となるため、反射波は図１０のＡ１領域にみられるような振幅―時間プロファイルを形成する。逆説的に言えば、反射波にこのような振幅－時間プロファイルの特徴が観察されれば指差しゼスチャーがあったと推定される。本実施形態では、３つの受信部６ａ０～２の全ての所定数以上のパルス波でこのようなプロファイルが同時に観察された場合に指差しゼスチャーがあったと判断し、これら反射波データは次の指先＝監視対象点検出部１１２ｃへ入力される。

　指先＝監視対象点検出部１１２ｃでは、図１０のＡ１の範囲内に示される指差しゼスチャーに伴う反射波データのうち初動波を図９及び図１０のＢ１に示す指先＝監視対象点として同定し、発信波パルスの往復時間を光速で乗じ２で割ることで、指先＝監視対象点からそれぞれ３つの受信部までの距離を計算する。こうして計算された３つの距離値は位置情報算出部１１２ｄに入力される。
　次に、位置情報算出部１１２ｄでは、指先＝監視対象点検出部１１２ｃから入力された前記３つの距離から、３点測距法により、指先＝監視対象点の相対的位置情報（ｘ、ｙ、ｚ）が求められ、ポインティング信号生成部１１２ｆに入力される。

　本実施形態では、三角形に配置された受信部３点から３点測距法により空間的位置情報を求めているが、受信部の数が増えるほど、また、その配置を工夫することで、監視対象点の三次元位置情報の精度は向上する。また、本実施形態では発信部は１点であるが、それぞれの受信部に同期させることで発信部の数を受信部と同数まで増やすことができる。受信部と発信部が接近することで、距離測定の精度が上がり、指先＝監視対象点の空間的位置情報の信頼性が高まる。送信部と受信部の数と配置の組み合わせは必要とされる監視対象点位置情報の精度にあわせて最適化できる。第一実施形態では図１に示すように最も基本的な１発信部＋３受信部を採用しているが、図１８で示すように３つの発信部とそれぞれに対応する３つの受信部のペアとしてもよい。

　操作面設定部１１２ｅは、図７及び図８に示すように、監視空間領域Ｒ３内に、表示画面５ｂと平行又は鈍角を成す、この画面と同一形又は相似形をなし、表示画面から前記監視対象点までの距離に応じてその大きさを変化させる仮想的な連続する無数の仮想操作画面ＶＰの集合（３Ｄタッチパネル）を設定するモジュールである。

　３Ｄタッチパネルでは、表示画面５ｂから監視対象点３ａまでの距離に応じてＶＰの大きさが変化する。すなわち、操作者の指先（３ａ又は３ａ’）＝監視対象点と表示画面５ｂとの距離Ｄ１又はＤ２に応じて、仮想操作画面ＶＰ又はＶＰ２の大きさが変化するため（遠いほど大きい）、その距離Ｄ１（又はＤ２）を調整することで、指先＝監視対象点（３ａ又は３ａ’）を表示画面５ｂに平行に動かす速さと、表示画面上のポインターの速さとの比が変わる。ポインターを早く大きく動かしたいときには画面の近くで、ゆっくりと緻密に動かしたいときには指先を画面から離して操作すればいい。仮想操作画面ＶＰ又はＶＰ２は四角錐の底面であり、四角錐の高さ＝発信波の中心軸方向（図中ｚ）に沿って無数に形成される。四角錐の底面としての仮想操作画面ＶＰ又はＶＰ２は、例えば表示画面５ｂと直行する法線に対して垂直となるように設定してもよく、発信部又は受信部を通る延長線に対して垂直又は所定角度をなすように設定してもよく、表示画面５ｂに対して平行となるように設定してもよい。

　すなわち、表示画面５ｂの横縦をそれぞれｘ軸ｙ軸、画面から垂直な方向をｚ軸とする３次元空間において、任意のｚ値に対して同形で縮尺の異なるＶＰが１つ割り当てられる。指先＝監視対象点３ａを前方に動かしてｚ値が小さくなれば仮想操作画面ＶＰは小さくなり、後方に動かしてｚ値が大きく仮想操作画面ＶＰは大きくなる。この操作面設定部１１２ｅで設定された３Ｄタッチパネルのフレームワーク＝３Ｄグリッドはポインティング信号生成部１１２ｆに入力される。

　ポインティング信号生成部１１２ｆは、画面上の座標により、画面上に表示されるカーソルやポインター、スクロールバーなどのＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）をポインティング信号として生成するモジュールである。ここでは、位置情報算出部１１２ｄから入力された指先＝監視対象点の空間的位置情報（ｘ、ｙ、ｚ）が、前記操作面設定部１１２ｅで設定された３Ｄタッチパネルのフレームワーク＝３Ｄグリッドに取り込まれる。指先＝監視対象点のｚ値に対応する１つのＶＰが選択され、そのＶＰ上での指先＝監視対象点の位置（ｘ、ｙ）に基づき、表示画面５ｂのポインターの位置が決められ、入力信号生成部１１２ｇに入力される。ここまでが信号処理部の説明となる。

　次に接離検出部について説明する。接離検出部１１３は発信波の波長と反射波の波長とを比較してドップラー効果を検出し、対象物の発受信部に対して接近又は離脱する方向の移動及びその速度を検出するモジュールである。この接離検出部１１３は、ドップラー効果検出部１１３ａとドップラーコマンド信号生成部１１３ｂを備えている。

　ドップラー効果検出部１１３ａでは、図６に示すように、発信されたパルス波である発信波Ｗ１の波長Ｔ１と、反射波Ｗ２の波長Ｔ２とを比べてドップラー効果を検出する。反射波Ｗ２には、図１０に示す、指先＝監視対象点検出部１１２ｃから入力される指先Ｂ１での初動波を利用する。反射波の波長Ｔ２が短くなる、すなわち青方偏移を検出したときには指先＝監視対象点が接近したと判定し、波長Ｔ２が長くなる、すなわち赤方偏移を検出したときには指先＝監視対象点が離脱したと判定する。３つの受信部の偏移方向が一致し全ての受信部で指先＝監視対象点の移動速度がしきい値以上のパルス波が特定回数以上認識される場合に、その各受信部のパルス波のうち最高速度の平均がドップラーコマンド信号生成部１１３ｂに入力される。

　ドップラーコマンド信号生成部１１３ｂは、前記ドップラー効果検出部１１３ａで求められた指先＝監視対象点の前後の移動方向及び移動速度をコマンド（ドップラーコマンド）に変換するモジュールである。本実施形態では、反射波の波長が短くなる青方偏移であるときにはボタンダウン操作と、波長が長くなる赤方偏移であるときにはボタンアップ操作と解釈する。例えば、急速にボタンダウン操作があればマウスでのクリック、ボタンダウン操作が２回急速に連続すればダブルクリック操作と判断する。急速にボタンアップがあればドラッグ操作開始、ドラッグ範囲を選択後急速にボタンダウンすればドラッグ操作の終了と判断する。ここで生成されたドップラーコマンドは入力信号生成部に入力される。

　入力信号生成部１１２ｇでは、ポインティング信号生成部１１２ｆで得られた画面上のポインター座標（ｘ、ｙ）と、ドップラーコマンド信号生成部１１３ｂで得たコマンド信号を統合して、ＧＵＩに対する総合的な操作コマンドとして翻訳された入力信号を生成する。入力信号生成部１１２ｇにドップラーコマンド信号が入力されるとポインティング信号の入力信号生成部１１２ｇへの入力は中断されポインター座標（ｘ、ｙ）はコマンドが実施された位置に一定時間静止する。更には、ドップラーコマンドを認識するまでのわずか間にポインター座標にブレが生じないように、ポインティング信号とドップラーコマンド信号の入力時間にタイムラグを設け、指先＝監視対象点が動き始めてからドップラー効果を検出するまでの指の動きをポインティング操作から除外することが好ましい。

　入力信号生成部１１２ｇで生成された入力信号は、ＣＰＵ１１上で実行されているＯＳや他のアプリケーションを通じてノートパーソナルコンピューター１に提供される。なお、入力信号生成部１１２ｇでは、前記ドップラーコマンドに加えて、他の入力デバイスによる操作信号を取り入れて、多様なコマンドを生成してもよい。例えば、指差しゼスチャーにより表示画面にポインターを表示した状態で、図１に示される情報処理端末の左手前隅のサブコマンドキー１ａを短く１回押してメニュー画面を表示させたり、また、同じキーを長押ししながらポインターを前後に動かしてズームインアウト、画面と平行に動かして画面のスクロールを実行したりすることもできる。このように、サブコマンドキーを１つ加えるだけで、ドップラーコマンドとあわせて現在のマウスやタッチパネルのコマンドのほぼ全てが実現可能となる。また、「クリック」「ドラッグ」「ズームイン」などとマイク６ｃに呼びかける音声入力による補助を加えるなど、ニーズに応じてＧＵＩの様態を操作者の好みに最適化させることができれば一層便利である。

　また、入力信号の生成にあたり、入力信号に含まれるコマンドの内容を画面上のポインターの近傍に表示させる画像信号や文字情報を含めるようにすれば一層便利である。例えば、「クリック」や「ダブルクリック」等の文字列をメッセージとして１秒程度表示させたり、操作中に「ドラッグ」「ズーム」「スクロール」を継続表示させたりしてもよい。

（操作入力方法の手順）
　以上説明した操作入力システムを動作させることによって、本発明の操作入力方法を実施できる。図１１は、本実施形態に係る操作入力方法の手順を示すフローチャート図である。

　先ず、ステップＳ１０１では、赤外線或いはその他の電磁波又は音波を、指向性のある発信波として、発信部５ｃから図４に示す監視空間領域Ｒ３に対して発信するとともに、対象物によって反射された反射波を受信部６ａ０～２で再反射が混入しないように受信する。
　ステップＳ１０２では、図６に示す発信部における発信波Ｗ１の発信処理と、受信部における反射波Ｗ２の受信処理とを同期させ、発信波Ｗ１と反射波Ｗ２との関連付けを行う。
　ステップＳ１０３では、不要な情報を予め除去して処理負担を軽減するために、フィルタリング部１１２ａによって初動波から奥行き３センチメートルに相当する範囲の反射波の信号のみを選択するフィルタリングを行い、次のステップに送る。
　ステップＳ１０４では、フィルタリングされた信号に対して、指差しゼスチャーの有無を判断する。３つの受信部での所定数以上のパルス波で同時に図１０のＡ１領域に示されるような特徴的な反射波のパターンが検出された場合指差しゼスチャーありと判断する。

　また、ステップＳ１０５で指差しゼスチャーありと判断されれば（Ｓ１０５における「Ｙ」）、次のステップＳ１０６に進み、図１０のＡ１領域に示す３つの受信部の反射波データを次のステップに送る。指差しゼスチャーが認められない場合は（Ｓ１０５における「Ｎ」）、認められるまで前のステップが繰り返される。
　ステップＳ１０６では、図１０のＡ１領域の反射波データの初動波を指先Ｂ１と解釈し、発信波が照射されてから３つの受信部それぞれに戻ってくるまでの時間から指先までの距離を計算する。この３つの距離に基づいて位置情報算出部１１２ｄにて３点測距法に基づいて指先＝監視対象点の空間的位置情報（ｘ、ｙ、ｚ）が求められる。
　ステップＳ１０７では、指先＝監視対象点検出部１１２ｃから入力される３つの受信部の初動反射波データの波長と、パルス発信波の波長とを比較し、ドップラー効果の有無を調べて指先＝監視対象点の前後の移動を検出する。

　指先＝監視対象点の各受信部の所定数以上のパルス波で偏移方向が一致し、その速度がしきい値を超える場合には（ステップＳ１０８の「Ｙ」）、ステップＳ１１１においてドップラーコマンド信号を生成する。

　入力信号生成部１１２ｇにドップラーコマンド信号が入力されるとポインティング信号の入力信号生成部１１２ｇへの入力は中断されポインター座標（ｘ、ｙ）はコマンドが実施された位置に一定時間静止する。更には、ドップラーコマンドを認識するまでのわずか間にポインター座標にブレが生じないように、ポインティング信号とドップラーコマンド信号の入力時間にタイムラグを設け、指先＝監視対象点が動き始めてからドップラー効果を検出するまでの指の動きをポインティング操作から除外することが好ましい。一方、ドップラー効果が検出されない場合には（ステップＳ１０８における「Ｎ」）通常のポインティング操作が継続実施される（Ｓ１０９）。

　ステップＳ１１０では、ステップＳ１０９のポインティング信号生成部から入力されたポインティング位置情報とステップＳ１１１のドップラーコマンド信号を併せ、特定のポインター位置（ｘ、ｙ）でのドップラーコマンドの入力信号が出力され、ＣＰＵ１１上で実行されているＯＳや他のアプリケーションを通じてノートパーソナルコンピューター１に提供される。

（作用・効果）
　本実施形態によれば、同期された発信波と反射波とに基づき指先＝監視対象点の空間的位置及びその変位を検出して、ポインターの移動やその他の操作などの入力信号を出力できることから、マウスやタッチパッド、タッチパネル等の直接触って操作するデバイスを要することなく操作者のポインティング操作を入力することができる。この際、発信波とその反射波の波長の変化を比較して、いわゆるドップラー効果を監視することで、画像解析などの負担の大きい処理を行うことなく、簡単かつ正確に、対象物の接近又は離脱、及びその移動速度を検出でき、指先などの細かで且つ素早い動きなどを的確に検出しコマンドに変換できる。

　また、ドップラーコマンドだけではカバーしされない他のコマンドについても、１つのボタン操作を追加して指差しゼスチャーと組み合わせることで、現在のマウスやタッチパッド、タッチパネルでのコマンドをほぼ全てカバーできるようになる。更に音声によるコマンドを付け加えたりすることで、操作者のニーズに合わせた様々な仕様に対応させることもできる。

　本実施形態では、３点測距法により指先＝監視対象点の三次元位置を得ることで、最低３つの受信センサーにより距離画像と遜色の無い指先＝監視対象点の空間的位置情報を取得できる。更に受信部を増やすことで、またそれぞれの受信部に連動させる形で発信部を増やすことで指先＝監視対象点検出の精度を上げることができる。本実施形態では１つの発信部と３つの受信部という最もベーシックな設定を採用したが、図１８で示すスマートフォンでの変更例では同じ位置にそれぞれ連動する形で受発信部のペアが３つ存在するより高度な設定を採用している。

　なお、３点測距離法に代わり距離画像により指差しゼスチャーを認識し指先＝監視対象点の空間的位置情報を取得して３Ｄタッチパネル、ドップラーコマンドと組み合わせてポインティング、コマンド操作を行うこともできる。距離画像を他の目的で利用する場合にはこれを転用すればよい。

　本実施形態では、指差しゼスチャー認識及びドップラー効果検出において、異なる３つの受信部の複数のパルス反射波から提供されるそれぞれ独立した情報が整合した場合のみ採用する、統計的なクロスチェックを行うため誤認の可能性が低く抑えられている。上述のように３つの受信点は最もベーシックな仕様であり、受信部、及びパルス波密度が増えればクロスチェックの数が増え、判定の確からしさが更に向上する。

　本実施形態では、発信部は、近傍に監視対象物と操作者以外の物体が存在しない空間に発信波を照射し、また受信部はその空間からの反射波のみを受ける仕様とするため最初から不要な信号＝ノイズが抑えられている。また、フィルタリング及び指先ゼスチャー認識をおこない、必要かつ最低限の情報のみを取捨選択しながら指先＝監視対象点検出とドップラー効果検出の目的を達成する。このため、従来のゼスチャーＧＵＩのように、ハイスペックな機器による膨大なデータ処理と複雑な画像処理を要さないので、ＣＰＵの負荷を大幅に軽減することができる。

　本実施形態では、３Ｄタッチパネルとドップラーコマンドの組み合わせにより、操作者は情報処理端末の表示画面の前面に存在する空間を自在に利用して自然で自由な操作が実行できる。３Ｄタッチパネルでは、指先＝監視対象点の表示画面からの距離に応じて仮想操作画面ＶＰの大きさが変わるため、ポインターを大きく動かしたいときには指を画面に寄せ、より精密な操作をしたいときは指を後方に退けて操作すればよい。タッチするゼスチャーにより実際にタッチした効果を生むドップラーコマンドとの組み合わせにより操作性を高めることができる。

［第２実施形態］
　次いで、本発明の第２実施形態について説明する。本実施形態では、対象物表面までの距離の分布である距離画像における指の３次元形状に基づき、指差しの方向の延長線上の表示画面にポインターを表現する。図１２は、第２実施形態に係る操作入力システムのＣＰＵ上に構築される機能モジュールを示すブロック図である。なお、本実施形態において、上述した第１実施形態と同一の構成要素には同一の符号を付し、その機能等は特に言及しない限り同一であり、その説明は省略する。

（操作入力システムの構成）
　図１２に示すように、本実施形態に係る信号処理部１１２は、柱状検出部１１２ｉと、ベクトル判定部１１２ｈを特徴的構成要素とする。
　本実施形態において、表示画面５ｂの右下に１つ設けられている受信部６ａはいわゆる距離画像カメラである。距離画像カメラは、画像を撮影するＣＣＤ等の半導体チップであり、多数のセンサー素子により受光された反射波の到達距離を測定、イメージングしいわゆる距離画像を生成する。

　指差しゼスチャー認識部１１２ｂの役割は第一実施形態と同じであるが、本実施形態では画像情報から得られる形状を基に指差しゼスチャーを抽出する。図１４に示すように表示画面に向けられた指は細長い円柱状の形状に模すことができるため、フィルター後の画像データに、表示画面を向く所定の直径の円柱形状が認識される場合に指先ゼスチャーありと認識する。

　距離画像で指差しゼスチャーを見た場合発信波照射方向と反対側に影が生まれるため、実際にはｘｚ面、すなわちキーボードと水平な面に投影された細長い長方形を基準に指先ゼスチャーを認識する。このようにして指差しゼスチャー認識がなされた距離画像データは柱状検出部１１２ｉに入力される。

　柱状検出部１１２ｉでは、指差しゼスチャーが認識された場合、入力された距離画像データに基づいて、影を含まない部分の画像（図１５（ａ））から、図１４及び図１５（ｂ）のＯｂのような円柱形を幾何学的に近似し三次元的に描図する。

　ベクトル判定部１１２ｈでは、柱状検出部１１２ｉによって検出された柱状形Ｏｂ（図１４及び図１５（ｂ））の軸のベクトルＶ１（図１３～１５）の近似式を作る。操作面設定部１１２ｅでは、監視空間領域内に、表示画面５ｂをＸＹ軸、それと直行する方向をＺ軸とする３Ｄグリッドを設定する。この操作面設定部１１２ｅで設定された３Ｄグリッドは位置情報算出部１１２ｄにフレームワークとして入力される。

　位置情報算出部１１２ｄでは、上記3Ｄグリッド内に表現されたベクトルＶ１の近似直線が表示画面５ｂ上と交わる座標位置（ｘ、ｙ）を計算し、これをポインターの位置としてポインティング信号生成部１１２ｆに受け渡す。これに基づき、ポインティング信号生成部１１２ｆは、ポインターの位置や移動を指定する入力信号を生成する。

　なお、本実施形態においては、上記のプロセスの中で、第２の指差しゼスチャーが認識されればこれをサブコマンド信号として捕らえ入力信号の内容を変更させる。例えば、図１６に示されるように、人差し指による指差しゼスチャーによる操作と併せて小指を立てるなどのゼスチャーを行えば、これをサブコマンド信号と判断し、画面上にサブコマンド用のダイアログを表示させ、操作者による選択操作の範囲を拡張できる。これは第一次実施形態でのサブコマンドキー（図１の１ａ）に相当するが、本実施形態では距離画像の豊富な情報量を生かしてこれをゼスチャーに置き換える。

（操作入力方法の手順）
　以上説明した本実施形態に係る操作入力システムを動作させることによって、本発明の操作入力方法を実施できる。図１７は、本実施形態に係る操作入力方法の手順を示すフローチャート図である。基本的なプロセスは第一次実施形態と同じだが、指先＝監視対象点の位置情報に代わって、距離画像解析の指差しゼスチャーのベクトルに基づいて、ポインティング操作が実施される。以下に、第一次実施形態と同じ内容については省略して本実施形態に特有なステップについてのみ記載する。

　ステップＳ２０２にて、対象物を距離画像カメラでモニターし、ステップＳ２０４にて、距離画像データに基づいて指差しゼスチャーの有無を判断する。
　ステップＳ２０５では、先のステップで指差しゼスチャーがあると判断された場合、柱状検出部１１２ｉにて、指差しゼスチャーの距離画像データに基づいて、図１４及び図１５に示す柱状形Ｏｂを幾何学的に近似する。
　ステップＳ２０６では、ベクトル判定部１１２ｈにて、図１３～図１５に示すように、柱状検出部１１２ｉによって検出された柱状形Ｏｂの軸の方向、すなわちベクトルＶ１の近似式を算定する。

　ステップＳ２０７では、位置情報算出部１１２ｄにて、ベクトルＶ１の延長線が表示画面５ｂ上と交わる座標位置を計算し、これをポインティング信号生成部１１２ｆに受け渡す。この情報に基づき、ポインティング信号生成部１１２ｆは、ポインター位置や移動を指定するポインティング信号を生成し（Ｓ２０９）、入力信号生成部１１２ｇに入力する。

　ステップＳ２０８及びステップＳ２１１のドップラーコマンド生成に関するプロセスについても基本的に第一実施形態と同一である。本実施形態では、ドップラー効果を検出に要する、発信波と波長を比較するための反射波サンプルを指先ゼスチャー認識後の指先＝監視対象点に相当する初動波からではなく、距離画像データから直接抽出する点で異なる。

　また、第一次実施形態ではサブコマンドキーを利用していたが、本実施形態においては距離画像の豊富な情報量を利用して、第２の指差しゼスチャーによってサブコマンド信号を生成する。サブコマンドのゼスチャーが認識されていると判断したときにはサブコマンドメニューを表示させる処理を実行させた後、サブコマンドメニュー上のポインターを移動させるポインティング信号を生成する。その後、ステップＳ２１０において、位置情報に基づき、信号処理部１１２が表示画面５ｂ上における座標位置に関する入力信号を生成し、出力する。

［変更例］
　なお、上述した実施形態の説明は、本発明の一例である。このため、本発明は上述した実施形態に限定されることなく、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能である。

　上述した第１及び第２実施形態では、情報処理端末装置としてノートパーソナルコンピューターを用いたが、本発明の操作入力プログラムをスマートフォン１’にインストールする。本変更例では、図１８に示すように発受信部が表示画面５ｂの左上に、操作者側に向けて三角形に配置される。発信部は３つの受信部と同じ場所に同じ数だけあり、発受信のペアが連動してそれぞれの場所で指先＝監視対象点までの距離を測定する。発受信部が同一箇所にあることから距離測定の精度、指先＝監視対象点の位置情報の精度は高い。このような発受信部の構成にすることでスマートフォンのような小さな画面でもすぐれた操作性を実現できる。

　本変更例では、左手でスマートフォンを持ち右手人差し指で指差しゼスチャー操作を行う、又は右手でスマートフォンを持ち右手親指で指差しゼスチャー操作を行うことを想定する。スマートフォンではノートパーソナルコンピューターと異なり自由に使えるキーが限られるので、左側面下部にサブコマンド用のボタン１ｂを新設する。このボタン１ｂの機能は図１の１ａに示される第一実施形態のサブコマンドキー同じであり、このボタン操作と指差しゼスチャー操作とを組み合わせることで、ドップラーコマンドに加えて様々なコマンドを実施できる。

　ＶＰ…仮想操作画面
　Ｗ１…発信波
　Ｗ２…反射波
　１…ノートパーソナルコンピューター
　１’…スマートフォン
　１ａ…サブコマンドキー
　３ａ…指先（監視対象点）
　３ｂ…指先（第２監視対象点）
　６ａ，６ａ０～２…受信部
　１０…ＣＰＵバス
　１１…ＣＰＵ
　１２…メモリ
　１３…通信インターフェース
　１４…記憶装置
　１５…出力インターフェース
　１６…入力インターフェース
　５１…ポインター
　１１１…同期処理部
　１１２…信号処理部
　１１２ａ…フィルタリング部
　１１２ｂ…指差しゼスチャー認識部
　１１２ｃ…指先＝監視対象点検出部
　１１２ｄ…位置情報算出部
　１１２ｅ…操作面設定部
　１１２ｆ…ポインティング信号生成部
　１１２ｇ…入力信号生成部
　１１２ｈ…ベクトル判定部
　１１２ｉ…柱状検出部
　１１３…接離検出部
　１１３ａ…ドップラー効果検出部
　１１３ｂ…ドップラーコマンド生成部

Claims (12)

1. 　情報処理装置の表示画面上における座標位置、及びその座標位置に関する操作コマンドを入力する操作入力システムであって、　電磁波又は音波を発信波として、前記表示画面が視認可能な視野範囲の一部又は全部を含む監視空間領域に対して発信する発信部と、
   　対象物によって反射された前記発信波を反射波として受信する受信部と、
   　前記発信波の波長と前記反射波の波長とを比較して、前記発信部又は前記受信部に対して接近又は離脱する方向における前記対象物の移動及びその速度を検出する接離検出部と、
   　発信した前記発信波と、受信した前記反射波とに基づき、前記反射波を生成した前記対象物の３次元空間上における位置及びその変位に関する位置情報を検出し、前記位置情報及び前記接離検出部による検出結果とに基づき、前記表示画面上における座標位置に関する入力信号を生成して、前記情報処理装置に提供する信号処理部と、
   を備えることを特徴とする操作入力システム。
2. 　前記発信部は相互に離間されて少なくとも１つ、前記受信部は少なくとも３つ、或いは連動する発信部と受信部のペアが少なくとも３つ設けられ、
   　前記信号処理部は、前記発信波の発信から前記反射波の受信までの時間長に基づいて、３点測距法により指先＝監視対象点の空間的位置を把握し、これに基づいて前記入力信号を生成する位置情報算出部をさらに備え、
   　前記接離検出部は、前記対象物として前記監視対象点の移動及びその速度を検出する
   ことを特徴とする請求項１に記載の操作入力システム。
3. 　前記受信部と前記対象物表面までの距離の分布である距離画像に基づいて、前記監視空間領域内において、前記受信部までの距離が最短となる座標点を監視対象点として検出する監視対象点検出部をさらに備え、
   　前記接離検出部は、前記対象物として前記監視対象点の移動及びその速度を検出する
   ことを特徴とする請求項１に記載の操作入力システム。
4. 　前記信号処理部は、
   　前記監視空間領域内に、前記表示画面と平行又は所定角度をなし前記表示画面と同一形又は相似形をなす、互いに平行な連続する無数の仮想的な操作面を設定するとともに、前記受信部から前記監視対象点までの距離に応じて前記仮想的な操作面の大きさを変化させる操作面設定部をさらに備え、
   　前記仮想的な操作面上における前記監視対象点の座標位置に応じて、前記入力信号を生成する
   ことを特徴とする請求項２又は３に記載の操作入力システム。
5. 　前記受信部までの距離が最短となる座標点から所定の距離までの前記反射波に限って抽出し、その後の処理フローに送るフィルタリング部をさらに備え、
   　前記信号処理部は、前記フィルタリング部により抽出された反射波に基づいて前記入力信号を生成する
   ことを特徴とする請求項２又は３に記載の操作入力システム。
6. 　前記信号処理部は、３点測距離法においては、前記反射波の振幅－時間プロファイルの形態的特徴に基づき、距離画像においては指の３次元形状に基づき、操作者の指差しゼスチャーを認識し、それぞれ、前記振幅－時間プロファイルの初動波、または前記受信部に最も近い点を指先＝監視対象点として検出する
   ことを特徴とする請求項２又は３に記載の操作入力システム。
7. 　前記信号処理部は、操作者による任意の操作を検出し、この任意の操作の有無に応じて、前記入力信号の内容を変更する
   ことを特徴とする請求項２又は３に記載の操作入力システム。
8. 　前記距離画像にて、前記指差しゼスチャーにおいて表示画面に向けられた指の形状を模す柱状形を検出し、検出された前記柱状形の軸の延長線が前記表示画面上と交わる座標位置を指定する入力信号として生成する柱状検出部とベクトル判定部をさらに備え、
   　前記接離検出部は、前記監視対象点の移動及びその速度を検出する
   ことを特徴とする操作入力システム。
9. 　前記指差しゼスチャー認識において、前記距離画像に基づいて、前記監視空間領域内で前記各受信部までの距離が２番目の指差しゼスチャーを検出し、
   　前記信号処理部は、前記第２の指差しゼスチャーの有無に応じて、前記入力信号の内容を変更する
   ことを特徴とする請求項３又は８に記載の操作入力システム。
10. 　前記発信部は、前記受信部から発信されたパルス波を障害のない空間に向けて指向性をもって照射し、
    　前記受信部は、近傍からの再反射をブロックし、空中の監視対象物からの直接反射波のみを選択的に受信する指向性を持つ
    ことを特徴とする請求項１に記載の操作入力システム。
11. 　情報処理装置の表示画面上における座標位置、及びその座標位置に関する操作コマンドを入力する操作入力方法であって、
    　電磁波又は音波を発信波として、前記表示画面が視認可能な視野範囲の一部又は全部を含む監視空間領域に対して発信部から発信するとともに、対象物によって反射された前記発信波を反射波として受信部が受信するステップと、
    　発信した前記発信波と、受信した前記反射波とに基づき、前記反射波を生成した前記対象物の３次元空間上における位置及びその変位に関する位置情報を検出し、前記位置情報に基づき、信号処理部が、前記表示画面上における座標位置に関する入力信号を生成して前記情報処理装置に提供するステップと、
    　前記発信波の波長と前記反射波の波長とを比較して、前記発信部又は前記受信部に対して接近又は離脱する方向における前記対象物の移動及びその速度を、接離検出部が検出するステップと
    を含むことを特徴とする操作入力方法。
12. 　情報処理装置の表示画面上における座標位置、及びその座標位置に関する操作コマンドを入力する操作入力プログラムであって、コンピューターを、
    　電磁波又は音波を発信波として、前記表示画面が視認可能な視野範囲の一部又は全部を含む監視空間領域に対して発信する発信部、
    　対象物によって反射された前記発信波を反射波として受信する受信部と、
    　発信した前記発信波と、受信した前記反射波とに基づき、前記反射波を生成した前記対象物の３次元空間上における位置及びその変位に関する位置情報を検出し、前記位置情報に基づき、前記表示画面上における座標位置に関する入力信号を生成して、前記情報処理装置に提供する信号処理部、及び
    　前記発信波の波長と前記反射波の波長とを比較して、前記発信部又は前記受信部に対して接近又は離脱する方向における前記対象物の移動及びその速度を検出する接離検出部
    として機能させることを特徴とする操作入力プログラム。

Images