[go: up one dir, main page]

JP3404651B2 - 三次元入力装置 - Google Patents

三次元入力装置

Info

Publication number
JP3404651B2
JP3404651B2 JP2000093904A JP2000093904A JP3404651B2 JP 3404651 B2 JP3404651 B2 JP 3404651B2 JP 2000093904 A JP2000093904 A JP 2000093904A JP 2000093904 A JP2000093904 A JP 2000093904A JP 3404651 B2 JP3404651 B2 JP 3404651B2
Authority
JP
Japan
Prior art keywords
dimensional
grip
virtual object
yarn
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000093904A
Other languages
English (en)
Other versions
JP2001282448A (ja
Inventor
佐藤  誠
Original Assignee
財団法人理工学振興会
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財団法人理工学振興会 filed Critical 財団法人理工学振興会
Priority to JP2000093904A priority Critical patent/JP3404651B2/ja
Priority to US09/819,001 priority patent/US6630923B2/en
Publication of JP2001282448A publication Critical patent/JP2001282448A/ja
Application granted granted Critical
Publication of JP3404651B2 publication Critical patent/JP3404651B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は実体、あるいは仮想
物体を三次元的に操作するための三次元入力装置に関す
るものであり、特に、指示入力の際の触感を入力者にフ
ィードバックするための手段を設けた三次元入力装置に
関するものである。
【0002】
【従来の技術】従来のこの種、三次元入力装置として
は、例えば、特開平4−18626号公報に開示された
装置が知られている。
【0003】図11は係る三次元装置50を示し、3自
由度(並進)の指先位置の計測と同時に指先への力覚フ
ィードバックを実現する。指51の位置の測定は指51
に装着するリング52にそれぞれ四つの支点53〜56
から糸57、57、57、57を張り、各糸57、5
7、57、57の長さを検出することで行っている。
【0004】また、図12に示すように、各糸57、5
7、57、57の端部をロータリーエンコーダ58と一
体となって回転するプーリー59に巻き付け、先端に重
り60を取り付けて糸の張力を設定するとともに、電磁
ソレノイド(図示せず)による各糸57、57、57、
57の制動により、指先への力覚のフィードバックを実
現している。
【0005】
【発明が解決しようとする課題】このように従来の三次
元入力装置は、各糸の長さの変化により指先の3自由度
(並進)の位置を検知し、仮想物体の性質、指先位置等
に基づいて糸57、57、57、57の張力を制御し、
触覚(力覚)を指先にフィードバックするが、リング5
2の移動方向に対して回転することはできない。
【0006】また、図12に示したように、リング52
の数を1から2に増加し、各リング52、52をそれぞ
れ四本の糸57、57、57、57で支持すれば、仮想
空間内に存在する三次元物体Xの把持、持ち上げの操作
は可能となるが、図13に示すように、物体、または仮
想物体Xを掴んだ状態のままでは、親指51と人差し指
61を結ぶ軸回りの回転はできない。
【0007】そこで、少なくとも6自由度の操作を可能
とするために解決すべき技術的課題が生じて来るのであ
り、この発明はこの課題を解決することを目的とする。
【0008】
【課題を解決するための手段】請求項1記載の発明は、
三次元位置を指示するための指示手段と、該指示手段を
三次元方向に移動自在に且つ任意の軸回りに回動自在に
支持すべく、該指示手段を中心として外側の少なくも7
箇所に配設された支持点と、該支持点から前記指示手段
に臨んで繰出され先端がそれぞれ前記指示手段に接続さ
れた糸と、各支持点から前記指示手段との接続点までの
各糸の糸長を計測する計測手段と、該計測手段の計測値
に基づいて前記各糸の張力を制御する糸張力制御手段と
を設けた三次元入力装置を提供するものである。
【0009】このように、支持点及び糸数を少なくとも
7とすると、三次元の位置(3自由度)、姿勢(3自由
度)の合計6自由度に対応することができる。計測手段
は、指示手段の指示に対応して、各支持点から指示手段
との接続点までの糸長を計測し、糸張力制御手段は、計
測手段の計測値に基づいて各糸の張力を制御する。
【0010】このため、指示に対応する触覚、すなわ
ち、力覚が操作者(入力者)にフィードバックされ、
作者は、このフィードバックによって操作の程度を力覚
の変化として知得することになる。
【0011】この場合、好ましくは、各糸は、(a)同じ
張力(最小張力)が掛けられたときに初期状態に安定す
る、(b)それぞれの糸が指示手段に与える力覚ベクトル
がqi (∈R6)(i=1〜8)としたとき、8つのベ
クトルqi (i=1〜8)によって作られる行列W(∈
R6X8)のランクが6となるように張り渡される。こ
の場合、前記糸は、好ましくは、軽く、引張りに対する
伸びがきわめて小さい材料、例えば、ケブラー(商品
名)、つり糸などから構成される。
【0012】また、請求項2記載の発明は、三次元位置
を指示するための指示手段であって把持入力可能に形成
された指示手段と、該指示手段を三次元方向に移動自在
に且つ任意の軸回りに回動自在に支持するとともに、把
持入力可能に支持すべく、前記指示手段を中心として外
側の少なくとも8箇所に配設された支持点と、各支持点
から前記指示手段に臨んで繰出され先端がそれぞれ前記
指示手段に接続された糸と、各支持点から前記指示手段
との接続点までの各糸の糸長を計測する計測手段と、該
測手段の計測値に基づいて前記各糸の張力を制御する
糸張力制御手段とを設けた三次元入力装置を提供するも
のである。
【0013】このように、支持点及び糸数を少なくとも
8とすると、三次元位置(3自由)、姿勢(3自由
度)、及び、把持(1自由度)の合計7自由度に対応す
ることができる。
【0014】計測手段は、指示手段の指示に対応して、
各支持点から指示手段との接続点までの糸の長さを計測
し、糸張力制御手段は、計測手段の計測値に基づいて各
糸の張力を制御する。このため、指示に対応する触覚、
すなわち、力覚が入力者にフィードバックされる。
【0015】この場合、各糸は、請求項1記載の発明と
同様に、(a)同じ張力(最小張力)が掛けられたときに
初期状態に安定する、(b)それぞれの糸が指示手段に与
える力覚ベクトルがqi (∈R7)(i=1〜8)とし
たとき、8つのベクトルqi(i=1〜8)によって作
られる行列W(∈R7X8 )のランクが7となるように
張り渡される。
【0016】また、糸は、好ましくは、軽く、引張りに
対する伸びがきわめて小さい材料、例えば、ケブラー:
(商品名)、つり糸などから構成される。
【0017】請求項3記載の発明は、請求項2記載の三
次元入力装置において、さらに、前記指示手段が把持可
能なほぼ球形に形成されるとともに、把持力に応じて拡
縮自在に形成された三次元入力装置を提供するものであ
る。
【0018】このように構成すれば、少なくとも二本の
指により把持力を簡単に入力することができる。この場
合、指示手段は、手で把持可能な球形あるいは球形と類
似形状とするのが好ましい。
【0019】請求項4記載の発明は、請求項2記載の三
次元入力装置において、前記指示手段が、互いに重合す
る一対のリンクと、該一対のリンク同士の中心部を貫通
してリンク同士の相対回転を許容するピンとを有し、前
記糸が相隣接する二本を一組として前記一対のリンクの
両端部にそれぞれ接続された三次元入力装置を提供する
ものである。
【0020】この結果、把持力を簡単に入力するできる
とともに、計測手段による糸長が四則演算によって計算
でき、計算の高速化及び応答性の向上が達成される。
【0021】請求項5記載の発明は、請求項1、2、3
又は4記載の三次元入力装置において、入力者が視認可
能な仮想物体についての三次元情報を記憶している仮想
物体記憶手段と、該仮想物体記憶手段から読み出された
仮想物体についての三次元情報に基づいて仮想物体を表
示する仮想物体表示手段とを具備し、前記計測手段の計
測による前記指示手段の三次元情報と、前記仮想物体表
示手段に表示されている前記仮想物体の三次元情報とを
比較して相互の位置関係を判定し、この判定結果に基づ
いて前記糸張力制御手段により前記各糸の張力を制御す
ることにより操作者に力覚を提示するように構成された
三次元入力装置を提供するものである。斯かる構成によ
れば、仮想物体を視認しながら実物と同様の力覚で操作
でき、実物と同様の操作を知得することができる。
【0022】
【0023】請求項記載の発明は、請求項1、2、
3、4又は5記載の三次元入力装置において、前記支持
点が、前記指示手段を中心として立方格子状または直方
格子状に配設された三次元入力装置を提供するものであ
る。このため、あらゆる方向に均一で安定な力覚の提示
が実現される。
【0024】
【発明の実施の形態】以下、本発明の一実施の形態を図
1乃至図10を参照して詳述する。
【0025】(実施の形態1)図1は三次元入力装置1
を示し、フレーム2の各頂点上に一台づつ、全体として
合計8台のモータ(DCモータ)3a,3b,3c,3
d,3e,3f,3g,3hを設置している。
【0026】このフレーム2は、あらゆる方向に均一で
安定な力覚を提示するため、立方格子状に形成されてい
て、フレーム2の中心に8本の糸4a,4b,4c,4
d,4e,4f,4g,4hを介して一つのグリップ5
を支持している。
【0027】該グリップ5は、親指とそれ以外の指で把
持し得るようにほぼ球状に形成されており、グリップ5
の右半分の上部と下部、及び左半分の上部と下部とに、
それぞれ上下及び左右対象に前記8本の糸4a,4b,
4c,4d,4e,4f,4g,4hの一端部を接続
し、他端部を、各モータ3a,3b,3c,3d,3
e,3f,3g,3hのモータ軸と一体となって回転す
るプーリ6a,6b,6c,6d,6e,6f,6g,
6hに巻回により取着している。
【0028】そして、各モータ3a,3b,3c,3
d,3e,3f,3g,3hに糸長計測手段の一部とし
てロータリーエンコーダ7a,7b,7c,7d,7
e,7f,7g,7hを取り付け、各ロータリーエンコ
ーダ7a,7b,7c,7d,7e,7f,7g,7h
が出力するパルス数の積算により、各プーリ6a,6
b,6c,6d,6e,6f,6g,6hと各糸4a,
4b,4c,4d,4e,4f,4g,4hとの接点
(以下、支持点という)から前記グリップ5との接続点
までの糸長がそれぞれ計測されるようにしている。
【0029】なお、各糸4a,4b,4c,4d,4
e,4f,4g,4hは、慣性及び伸びの影響を排除す
るために、芳香性ポリアミド繊維(ケブラー:商品
名)、つり糸などの軽量で伸びにくい糸材料から形成さ
れ、前記グリップ5も、慣性の影響を排除するために、
アルミニウム、又はアルミニウム合金、あるいは樹脂
材、その他の軽量な材料から構成される。
【0030】従って、指示手段としてのグリップ5を親
指とそれ以外の指で挟んだ状態でこれを三次元方向に移
動し、任意の軸回りに回動すると、各糸4a,4b,4
c,4d,4e,4f,4g,4hの長さの変化量が計
測され、グリップ5の三次元位置、及び任意の軸回りの
回動が検出される。なお、前記糸は、8本としたが少な
くとも7本以上であれば6自由度の指示が可能となる。
【0031】図2に前記三次元入力装置1の演算処理系
の一例を示す。同図に示すように、この例では計測手段
としてのロータリーエンコーダ7a,7b,7c,7
d,7e,7f,7g,7hの出力部は、カウンターボ
ード8を介してコンピュータ9の入力部に接続し、モー
タ3a,3b,3c,3d,3e,3f,3g,3hの
制御部は、D/Aコンバータ10を介してコンピュータ
9に接続している。ロータリエンーダ7a,7b,7
c,7d,7e,7f,7g,7hから出力されたパル
スがカウンターボード8を介してコンピュータ9に入力
されると、コンピュータ9の演算処理部は積算パルスを
各糸4a,4b,4c,4d,4e,4f,4g,4h
の長さに変換する。そして、各糸4a,4b,4c,4
d,4e,4f,4g,4hの長さの変化量に基づいて
前記グリップ5の3次元位置、任意の軸回りの回動量を
算出する。
【0032】また、コンピュータ9は、前記各グリップ
5の三次元位置及び姿勢と、コンピュータ9の記憶部に
記憶されている記憶データとに基づいて各糸4a,4
b,4c,4d,4e,4f,4g,4hに与えるべき
張力を計算するともに、この張力値に対応して各モータ
3a,3b,3c,3d,3e,3f,3g,3hに与
えるべき回転方向と制御量とを算出し、各モータ3a,
3b,3c,3d,3e,3f,3g,3hにこの回転
方向と制御量とを出力して抗力を操作者にフィードバッ
クする。このため、操作者に操作に対応した力覚が提示
される。
【0033】なお、実施例として、カウンターボード8
はロータリーエンコーダ7a,7b,7c,7d,7
e,7f,7g,7hからの信号パルスをコンピュータ
9に入力する際のパルス信号を4てい倍して、回転角計
測を2000(カウント/回転)の精度に設定してい
る。また、糸4a,4b,4c,4d,4e,4f,4
g,4hを巻き取るために使用するプーリ6a,6b,
6c,6d,6e,6f,6g,6hの半径は8mmに
設定し、一回転あたりの全パルスをp、プーリ6a,6
b,6c,6d,6e,6f,6g,6hの半径rをと
すると、1カウントあたりの糸長の変化dはd=2πr
=2π×8/500×4=0.0251となる。つま
り、この場合は、糸長の変化量は0.0251(mm)
の精度で計測することができる。
【0034】また、糸4a,4b,4c,4d,4e,
4f,4g,4hの張力変化に対応する抗力の生成につ
いては、モータ3a,3b,3c,3d,3e,3f,
3g,3hのトルクと電流の大きさとが比例関係にある
ので、前記コンピュータ9からD/Aコンバータ10に
送る電流を制御して張力を制御している。
【0035】D/Aコンバータ10の出力は、図3に示
すように、オペアンプ(図示せず)を用いた定電流回路
12に送り、各モータ3a,3b,3c,3d,3e,
3f,3g,3hを駆動する。これにより、モータ3
a,3b,3c,3d,3e,3f,3g,3hのトル
クが制御され、常に指定したトルクが得られる。また、
前記D/Aコンバータ10には12ビットのD/Aコン
バータを用い、張力を4096段階に制御可能とし、モ
ータ3a,3b,3c,3d,3e,3f,3g,3h
の最大張力が約13(mN)に設定されるようにしてい
る。
【0036】従って、前述のグリップ5を操作する場合
でも、グリップ5の三次元位置(3自由度)、姿勢(3
自由度)の合計6自由度が精密に検出され、対応する抗
力が操作者に力覚(触覚)としてフィードバックされる。
【0037】しかし、このような構成では、操作者の把
持による指示を入力することはできない。然るときに
は、図4に示すグリップ30、図5に示すグリップ31
または図6に示すグリップ71を用いるものとする。
【0038】図4に示すグリップ30は、半球状に二分
割された一対のグリップ分割体30a,30bより構成
している。この場合、他方のグリップ分割体30bの分
割面には、中心部に摺動軸部30cを凸設または一体的
に形成し、一方のグリップ分割体30aの分割面中心
に、前記摺動軸部30cを摺動自在に嵌合する嵌合孔3
0dを開口し、嵌合穴30dに、摺動軸部30cの先端
面と嵌合孔30dの底面の両者に弾発力を付勢すべくコ
イルばね30e又はゴム等の弾性体を収容している。
【0039】そして、他方のグリップ分割体30bの上
部と下部及び一方のグリップ分割体30aの上部と下部
とに、それぞれ上下、左右及び奥行き方向に対して対象
に前記8本の糸4a,4b,4c,4d,4e,4f,
4g,4hを取り付けて、各糸4a,4b,4c,4
d,4e,4f,4g,4hを各モータ3a,3b,3
c,3d,3e,3f,3g,3hのプーリ6a,6
b,6c,6d,6e,6f,6g,6hに巻き付けて
固定している。
【0040】従って、この例では、グリップ30の三次
元方向の移動、任意の回転軸回りの回動はもちろん、摺
動軸部30cの軸方向に沿って一対のグリップ分割体3
0a,30bが把持されたときに、各糸4a,4b,4
c,4d,4e,4f,4g,4hの各支持点からグリ
ップ5との接続点までの長さが変化する。
【0041】なお、この場合に、一対のグリップ分割体
30a,30bは、アルミニウム、又はアルミニウム合
金、あるいは比重の小さい樹脂材、木材、合成木材等か
ら構成され、また、前記摺動軸部30c及び嵌合穴30
dは、横断面が回転を防止する断面、例えば、矩形状に
形成され、図示しない、ピン、止め輪等によって抜け止
めされる。
【0042】一方、図5に示すグリップ31は、一対の
リンク板31a,31b同士を重ね合わせた状態で、こ
れらリンク板31a,31b同士の中心部を貫通する連
結ピン(又は段付きリベット)31fにより連結された
折り畳みリンク31cと、一対のリング板31a,31
bに掛け渡して設けられた弾性体としてのリターンスプ
リング31dと、このリターンスプリング31dが連結
された折り畳みリンク31cを内臓するボール状の表皮
31eとからなり、前記8本の糸4a,4b,4c,4
d,4e,4f,4g,4hを、相隣接する二本の糸を
一組としてそれぞれ前記一対のリンク板31a,31b
の両端部に接続している。
【0043】もちろん、各糸4a,4b,4c,4d,
4e,4f,4g,4hは、全体として上下、左右方向
に対して対象に接続され、前記ボール状の表皮31e
は、把持力に対して拡縮自在な合成ゴムから形成され
る。
【0044】従って、ゴム弾性を有する表皮31を、
親指とそれ以外の指で外側から掴み、この状態から把持
力を増すと、リンク板31a,31bは、リターンスプ
リング31の弾発力によって開かれた状態からリンク
板31a,31b同士の交差角が小さくなる方向へと回
動する。
【0045】このため、各糸4a,4b,4c,4d,
4e,4f,4g,4hの支持点からグリップ31との
接続点までの長さが、把持力の変化、すなわち、一対の
リンク板31a,31b相互の交差角の変化に対応して
変化する。そして、各糸4a,4b,4c,4d,4
e,4f,4g,4hの長さの変化が、計測手段の一部
を構成するロータリーエンコーダ7a,7b,7c,7
d,7e,7f,7g,7hにより検出されると、コン
ピュータ9によるモータ3a,3b,3c,3d,3
e,3f,3g,3hの駆動制御により、各糸4a,4
b,4c,4d,4e,4f,4g,4hがそれぞれ対
応した張力に設定される。
【0046】よって、かかるグリップ31によっても、
三次元位置(3自由度)と、任意の軸回りの回動(3自
由度)及び把持(1自由度)の合計7自由度の操作が実
現され、フィードバックとして入力者に各自由度に対応
した力覚が提示される。
【0047】また、このようにリンク板31a,31b
の両端部に、二本の糸を一組として張る構成とすると、
糸長を簡単な四則演算のみで算出することが可能とな
り、前述のグリップ5を用いる場合と比較して処理系全
体の応答速度が飛躍的に向上する。
【0048】図6に示されるグリップ71は、半球状に
分割された一対のグリップ分割体71a,71bと、一
方のグリップ分割体71aの分割面71cの中心から他
方の分割面71e側に延びるねじ軸71dと、他方のグ
リップ分割体71bの分割面71eの中心部に形成され
た軸案内部71fと、一対のリンク板72a,72bと
からなる。
【0049】一方のリンク板72aには長手方向中心部
に前記ねじ軸71dに遊嵌される嵌入孔73が形成さ
れ、両端部に、前記糸を接続するための糸取付孔74が
形成されており、前記ねじ軸71dに遊嵌された後、一
方のグリップ分割体71aの分割面71cに固設され
る。他方のリンク板72bの長手方向中央部には、前記
ねじ軸71dに螺合するねじ孔75が形成され、両端部
に前記糸を取り付けるための糸取付孔76が形成され
る。前記ねじ軸71d及び他方のリンク板72bのねじ
孔75のリードは45゜よりも小さい角度に設定され
る。
【0050】グリップ71を手で掴んで把持すると、他
方のグリップ分割体71bが一方のグリップ分割体71
a側へ移動し、他方のグリップ分割体71bが他方のリ
ンク板72bに当接する。他方のリンク板72bがなお
も押圧されると、ねじ軸71dの軸芯線回りに回動す
る。このため、一方のリンク板72aの一つの糸取付孔
74に糸4a,4bを接続し、残りの糸取付孔74に糸
4f,4gを取り付け、さらに、他方のリンク板72b
の一つの糸取付孔76に糸4c,4dを取り付け、残り
の糸取付孔76に糸4e,4fを取り付けた状態で、グ
リップ71を把持すると、他方のリンク板72bが回動
し、糸4c,4d,4e,4fの繰り出し長さが変化す
る。従って、図4に示したグリップ30と同様に、把持
の出力が可能となり、合計7自由度の操作が可能とな
る。この場合、グリップ71の三次元位置、姿勢につい
ては、把持による張力変化分の減算によって正確な値を
得るものとする。
【0051】なお、図7に示されるように、前記グリッ
プ30の右半分と左半分の上部と下部とに、それぞれ前
記フレーム2の各頂部側に延びた突起部30k,30
k,30k,30kを設け、各突起部30k,30k,
30k,30kに対して糸4a,4b,4c,4d,4
e,4f,4g,4hを二本一組として、且つ全体とし
て上下左右及び奥行き方向に対象に接続することも可と
する。然るときは、手との干渉を回避でき、操作性を良
好とすることが可能となる。
【0052】なお、この実施の形態において、前記モー
タ3a,3b,3c,3d,3e,3f,3g,3h、
コンピュータ9及びD/Aコンバータ10が糸張力制御
手段を構成し、ロータリーエンコーダ7a,7b,7
c,7d,7e,7f,7g,7h及びコンピュータ9
が糸長の変化を計測するための計測手段を構成してい
る。
【0053】(実施の形態2)次に、図8及び図9を参
照して仮想物体を操作する三次元操作システムに採用さ
れた三次元入力装置について説明する。
【0054】同図において、1は前述のグリップ5、グ
リップ30、グリップ31またはグリップ71のいずれ
かを用いる三次元入力装置、13はこの三次元入力装置
1の前方で且つ入力者の操作範囲内に仮想物体を表示す
るためのディスプレイ、14はこのディスプレイ13に
仮想物体Xの表示データを出力して表示する処理装置を
示している。
【0055】処理装置14は、三次元位置算出手段1
5、仮想物体記憶手段16、接触判定手段17、抗力発
生手段18及び仮想物体更新手段19とを有している。
三次元位置算出手段15は、前記ロータリーエンコーダ
7a,7b,7c,7d,7e,7f,7g,7hから
出力されたパルスを演算し、積算パルス数に基づいて、
例えば、グリップ31の三次元位置、任意の軸回りの回
動及び把持を算出するように電気的に構成され、一方、
仮想物体記憶手段16は、仮想物体Xのデータとして三
次元空間内に仮想的に存在する仮想物体Xの三次元情報
と、前記仮想物体更新手段19によって更新された仮想
物体Xの三次元情報とを記録するように構成される。
【0056】また、接触判定手段17は、三次元位置算
出手段15が算出した仮想物体Xに対するグリップ31
による指示点の三次元位置と、仮想物体記憶手段16に
記憶してある仮想物体Xの三次元情報に基づいてグリッ
プ31による指示点が仮想物体Xに対して仮想的に接触
しているか否か、すなわち、指示点が仮想物体Xの内部
に存在するかあるいは外部に存在するかを判定する。判
定には下式(1)を用い、 f(x,y,z)=0(内部),1(境界),2(外部)…(1) 但し、(x,y,z)は任意の点の座標 f(x,y,z)=0(内部)又は1(境界)のとき
は、グリップ31による指示点は仮想物体Xに接触して
いると判定する。
【0057】そして、抗力発生手段18が、接触判定手
段17からの接触判定信号に基づいて、グリップ31の
指示点が仮想物体Xに接触していると判定したとき、フ
ィードバックとして前記モータ3a〜3hの対応するモ
ータを制御し、このモータの制御によって、糸4a,4
b,4c,4d,4e,4f,4g,4hの糸長の変化
を制限あるいは糸の張力を増減する。この結果、グリッ
プ31を操作しようとする入力者の指先に仮想物体Xと
の接触に対応した抗力がフィードバックされる。
【0058】前記仮想物体更新手段19は、三次元位置
算出手段15により算出されたグリップ31による指示
点の位置と、仮想物体記憶手段16に記憶されていた仮
想物体Xのデータを入力して、グリップ31による指示
点が仮想物体Xの内部に入ったとき、仮想物体Xの変
形、移動、姿勢変化等の仮想物体の三次元情報を変更
し、変更情報を仮想物体記憶手段16に出力する。この
ため、人間が仮想物体Xに対して行った7自由度の操作
がディスプレイ13上の仮想物体Xに反映される。
【0059】なお、前述の処理装置14は、メモリ、C
PU、I/O、割り込み回路、及びデータ読み書き装置
等を中心として構成された周知のコンピュータより構成
されることを可とする。また、立体視については、立体
眼鏡を使用したとき、グリップ31、グリップ30又は
グリップ71と仮想物体Xとがあたかも一体に接続され
ているように、予めフレーム2の位置が設定されている
ものとする。
【0060】もちろん、グリップ30の位置と仮想物体
とを物理的に一致させずに、通常のコンピュータ操作に
用いるマウスと同様、グリップ31、グリップ30又は
グリップ71を手元に設置し、手元でグリップ31を操
作するようにしてもよい。
【0061】(実施の形態3)次に、図10を参照して
遠隔操作システムに適用された三次元入力装置の一実施
の形態を詳述する。なお、グリップ30、グリップ31
又はグリップ71のうのいずれを用いても構わないが、
この実施の形態ではグリップ31を用いるものとして説
明する。
【0062】図10において、25は周知のロボットア
ーム、26は通信回線、27は被操作物を示す。ロボッ
トアーム25及び被操作物27は遠隔地に配設されてい
るものとし、三次元入力装置1は入力者の所在地に配設
されているものとする。
【0063】ロボットアーム25はマニュピュレータ等
の操作手段のアーム部分であり、被操作物27を掴むた
めの把持部28を有しており、把持部28に、把持のた
めの5本の指29a,29b,29c,29d,29e
を有している。
【0064】各指29a,29b,29c,29d,2
9eの物体把持面には、被操作物27との接触と接触力
を感知するための感知センサ、例えば、感圧センサ,歪
センサなどの周知の感知センサ32a,32b,32
c,32d,32eが取付けられており、把持に対応す
る信号と、把持力の増減に比例した信号を出力するよう
に構成される。また、遠隔地の天井、壁、柱、梁(いず
れも図示せず)等の構造物に支持させて監視カメラある
いは監視ビデオカメラなどの撮像手段33が取付けられ
る。該撮像手段33、前記感知センサ32a,32b,
32c,32d,32e及びロボットアーム25の駆動
制御部(図示せず)は、電話回線、専用通信回線などの
通信回線26を介して、入力者所在地のコンピュータ3
6と接続され、コンピュータ36には、前述の三次元入
力装置1、被操作物27、ロボットアーム25を表示す
るためのディスプレイ35が接続される。
【0065】前記ロボットアーム25により、被操作物
27を掴んで所定箇所に移動するに際しては、まず、入
力者の遠隔操作により、撮像手段33の撮影範囲を監視
位置に設定し、次に、三次元入力装置1の操作により被
操作物27の把持と移動とを順次実行する。
【0066】そして、入力者が三次元入力装置1の操作
を実行すると、コンピュータ3は、前述の如くロータリ
ーエンコーダ7a,7b,7c,7d,7e,7f,7
g,7hより入力されるパルス数の積算により前記グリ
ップ31の指示位置を監視し、指示位置に対応して、ロ
ボットアーム25の上昇、水平移動を切り替える。この
ため、入力者がディスプレイ35を視認しながらグリッ
プ31を左右へ移動したときは、対応方向にロボットア
ーム25が駆動され、ロボットアーム25の移動に対応
して算出された力覚が操作者にフィードバックされる。
【0067】ロボットアーム25の把持部28が被操作
物27の上方に位置し、かつ把持部28が被操作物27
にほぼ正対すると視認されたとき、入力者は、グリップ
31を緩速度で下降する操作を実行する。すると、コン
ピュータ36が把持部28の掌部に取り付けられている
感知センサ32fにより、把持部28の被操作物に対す
る着床を感知すると同時に、糸長の変化に基づいて前記
各モータ3a,3b,3c,3d,3e,3f,3g,
3hの回転方向及び回転量を制御し、力覚をフィードバ
ックする。
【0068】操作者は、この力覚のフィードバックによ
って、把部部28の着床を感知すると、次に、グリップ
31の把持操作による被操作物27の把持を実行する。
把持は、前述したように、親指とそれ以外の指でグリッ
プ31を把持することにより行われる。この把持により
コンピュータ36が前記ロータリーエンコーダ7a,7
b,7c,7d,7e,7f,7g,7hから出力され
るパルスによって前記各糸4a,4b,4c,4d,4
e,4f,4g,4hの糸長の変化を検出すると、対応
した制御信号をモータ3a,3b,3c,3d,3e,
3f,3g,3hに出力し、把持を開始する。
【0069】この後、把持部28の5本の指29a,2
9b,29c,29d,29eに取り付けられている感
知センサ32a,32b,32c,32d,32eによ
り、前記コンピュータ36に把持信号が入力されると、
各指毎の把持に対応して各モータ3a,3b,3c,3
d,3e,3f,3g,3hの回転方向、回転量を制御
し、同時に、対応する抗力を操作者にフィードバックす
る。
【0070】全ての感知センサ32a,32b,32
c,32d,32eから予め設定された大きさの信号が
出力されたとき、把持完了を警告する。なお、把持完了
時には、グリップ31に対して大きな力覚をフィードバ
ックさせ、把持完了が強制的に認知されるように構成す
ること、及び、振動等の別の状態を生成して認知させる
ようにすることも可とする。
【0071】把持が完了すると、次は、グリップ31に
対する指の把持を保持しながら、グリップ31を上方へ
移動させ、所定高さでグリップ31を左右に移動させ
て、被操作物27を所定高さ上昇し、続いてグリップ3
1を右または左に移動させて被操作物27を水平移動
し、予め指定された位置でグリップ31の下降操作によ
り、指定箇所に載置する。なお、グリップ31に押しボ
タン(図示せず)を設け、該押しボタンから信号が継続
して入力されたときには、把時制御が継続されるように
構成してもよい。
【0072】又、他の制御のための押を設けることも
可とし、さらには、グリップ31による操作が、ロボッ
トアーム25の移動及び昇降動作と、把持動作とをより
区別するためにグリップ31に押釦スイッチあるいは
シフトスイッチ(図示せず)を取付けることも可とす
る。
【0073】従って、遠隔地より、被操作物27を遠隔
地より監視しながら、安全で信頼性の高い被操作物27
の移動を行うことができる。なお、窓越しに被操作物2
7を視認できる環境においては、前記撮像手段33を廃
止することも可能である。
【0074】このように本発明の実施の形態に係る三次
元入力装置1は種々の入力装置として適用することが可
能であり、より、自然な人工現実感を発揮するが、よ
り、操作性の向上のためには、実施の形態3で説明した
ように、グリップに対し押釦を設置していもよい。
【0075】例えば、前記本体に対して押釦を出没自在
に収容するための孔を形成し、この孔の上部側に前記糸
の端部を横断させて固定し、孔に挿入される押釦の下面
によって前記糸が張られるように構成すれば、押釦の操
作によつて把持を検知することが可能となる。なお、こ
の場合には、押釦の操作に対応する糸の張力に基づく計
算により、抗力を算出し、この抗力に対応した制御量で
前記モータを制御すると、対応する抗力が操作者に対し
てフィードバックされることになる。このため、軽い操
作感を実現することも可能となる。
【0076】又、コマンド入力等、他の制御のための他
の押釦、シフトスイッチを1〜3個取付け、ユーザーイ
ンターフェィスを向上してもよい。この場合、グリップ
の内部に押釦、シフト釦によって作動されるスイッチが
内臓されるものとする。さらに、前記各実施の形態のモ
ータ3a〜3hの制御にあっては、パルス幅変調制御(P
MM制御)を用いることも可とする。然るときには、エネ
ルギ効率を向上することができる。このように、本発明
は、本発明の技術的思想を逸脱しない限り、種々の改変
が可能であり、本発明は該改変された発明に及ぶことは
当然である。
【0077】
【発明の効果】以上、要するに本発明によれば次の如き
優れた効果を発揮する。
【0078】(1)請求項1記載の発明によれば、三次
元位置、姿勢の合計6自由度の指示入力と6自由度の指
示に対する力覚の提示が可能となる。 (2)請求項2記載の発明によれば、三次元位置、姿勢
及び把持の合計7自由度の指示入力と7自由度の指示に
対する力覚の提示が可能となる。 (3)請求項3記載の発明によれば、把持の指示を簡単
に入力することができる。 (4)請求項4記載の発明によれば、糸長の変化を四則
演算によって簡単に計算できるので、応答性を可及的に
向上することができる。 (5)請求項5記載の発明によれば、仮想物体を実物と
同様の力覚で操作することができる。 (6)請求項6記載の発明によれば、あらゆる方向に均
一で安定な力覚提示を行うことができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態を示し、三次元入力装置
を示す解説図である。
【図2】本発明の一実施の形態を示し、三次元入力装置
の処理系を示すブロック図である。
【図3】本発明の一実施の形態を示し、モータ制御部の
ブロック図である。
【図4】本発明の一実施の形態を示し、グリップの一部
切欠断面図である。
【図5】本発明の一実施の形態を示し、別のグリップの
断面図である。
【図6】本発明の一実施の形態を示し、別のグリップの
一部切欠断面図である。
【図7】本発明の一実施の形態を示し、別のグリップの
一部切欠断面図である。
【図8】三次元入力装置により仮想物体を操作するため
のシステム図である。
【図9】処理装置の構成を示すブロック図である。
【図10】三次元入力装置により遠隔操作するシステム
の解説図である。
【図11】従来の三次元入力装置を示す解説図である。
【図12】従来の他の三次元入力装置を示す解説図であ
る。
【図13】従来の三次元入力装置を示す要部の解説図で
ある。
【符号の説明】
3a〜3h モータ(糸張力制御手段) 4a,〜4h 糸 5 グリップ 7a〜7h ロータリーエンコーダ 9 コンピュータ(糸張力制御手及び計測手段) 10 D/Aコンバータ(糸張力制御手段) 13 ディスプレイ(仮想物体表示手段) 16 仮想物体記憶手段(記憶手段) 30 グリップ 31 グリップ 31a リンク板 31d リターンスプリング(弾性体) 31e 表皮 31f ピン 33 撮像手段 71 グリップ X 仮想物体
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06F 3/00 G06F 3/03 G06F 3/033 - 3/037 G01B 5/00 - 5/30

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 三次元位置を指示するための指示手段
    と、 該指示手段を三次元方向に移動自在に且つ任意の軸回り
    に回動自在に支持すべく、該指示手段を中心として外側
    の少なくも7箇所に配設された支持点と、 該支持点から前記指示手段に臨んで繰出され先端がそれ
    ぞれ前記指示手段に接続された糸と、 各支持点から前記指示手段との接続点までの各糸の糸長
    を計測する計測手段と、 該計測手段の計測値に基づいて前記各糸の張力を制御す
    る糸張力制御手段と、 を設けたことを特徴とする三次元入力装置。
  2. 【請求項2】 三次元位置を指示するための指示手段で
    あって把持入力可能に形成された指示手段と、 該指示手段を三次元方向に移動自在に且つ任意の軸回り
    に回動自在に支持するとともに、把持入力可能に支持す
    べく、前記指示手段を中心として外側の少なくとも8箇
    所に配設された支持点と、 各支持点から前記指示手段に臨んで繰出され先端がそれ
    ぞれ前記指示手段に接続された糸と、 各支持点から前記指示手段との接続点までの各糸の糸長
    を計測する計測手段と、 該計測手段の計測値に基づいて前記各糸の張力を制御す
    る糸張力制御手段と、 を設けたことを特徴とする三次元入力装置。
  3. 【請求項3】 前記指示手段が把持可能なほぼ球形に形
    成されるとともに、把持力に応じて拡縮自在に形成され
    た請求項2記載の三次元入力装置。
  4. 【請求項4】 前記指示手段が、 いに重合する一対のリンクと、 該一対のリンク同士の中心部を貫通してリンク同士の相
    対回転を許容するピンとを有し、 前記糸が相隣接する二本を一組として前記一対のリンク
    の両端部にそれぞれ接続された請求項2記載の三次元入
    力装置。
  5. 【請求項5】 入力者が視認可能な仮想物体についての
    三次元情報を記憶している仮想物体記憶手段と、 該仮想物体記憶手段から読み出された仮想物体について
    の三次元情報に基づいて仮想物体を表示する仮想物体表
    示手段とを具備し、 前記計測手段の計測による前記指示手段の三次元情報
    と、前記仮想物体表示手段に表示されている前記仮想物
    体の三次元情報とを比較して相互の位置関係を判定し、
    この判定結果に基づいて前記糸張力制御手段により前記
    各糸の張力を制御することにより操作者に力覚を提示す
    るように構成された 請求項1、2、3又は4記載の三次
    元入力装置。
  6. 【請求項6】 前記支持点が、前記指示手段を中心とし
    て立方格子状または直方格子状に配設された請求項1、
    2、3、4又は5記載の三次元入力装置。
JP2000093904A 2000-03-30 2000-03-30 三次元入力装置 Expired - Fee Related JP3404651B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2000093904A JP3404651B2 (ja) 2000-03-30 2000-03-30 三次元入力装置
US09/819,001 US6630923B2 (en) 2000-03-30 2001-03-28 Three-dimensional input apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000093904A JP3404651B2 (ja) 2000-03-30 2000-03-30 三次元入力装置

Publications (2)

Publication Number Publication Date
JP2001282448A JP2001282448A (ja) 2001-10-12
JP3404651B2 true JP3404651B2 (ja) 2003-05-12

Family

ID=18609026

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000093904A Expired - Fee Related JP3404651B2 (ja) 2000-03-30 2000-03-30 三次元入力装置

Country Status (2)

Country Link
US (1) US6630923B2 (ja)
JP (1) JP3404651B2 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100526741B1 (ko) * 2003-03-26 2005-11-08 김시학 와이어의 장력을 이용한 위치 추적 및 반력시스템과 이를이용한 최소 절개용 수술시스템
WO2005101169A1 (en) * 2004-04-15 2005-10-27 University Of Northern British Columbia Methods and systems for interacting with virtual objects
JP4547559B2 (ja) * 2004-07-08 2010-09-22 国立大学法人東京工業大学 張力駆動によるグリップ型力覚提示装置およびその入力方法
US20070171199A1 (en) * 2005-08-05 2007-07-26 Clement Gosselin Locomotion simulation apparatus, system and method
KR100664963B1 (ko) * 2005-09-29 2007-01-04 삼성전자주식회사 슬라이드 방식의 입력 장치, 이를 구비한 휴대용 장치 및입력 방법
US8054289B2 (en) 2006-12-01 2011-11-08 Mimic Technologies, Inc. Methods, apparatus, and article for force feedback based on tension control and tracking through cables
FR2913625B1 (fr) * 2007-03-12 2009-08-21 Haption Sa Sa Interface haptique a cables tendus dans laquelle l'element mobile comprend un organe central sur lequel un organe de prehension est couple de facon reversible.
US20080297491A1 (en) * 2007-05-29 2008-12-04 Adkins Gordon K Stylus for a touch-screen device
US8751193B2 (en) * 2008-06-20 2014-06-10 Delta II, I.P. Positioning device with extensible cord and method
KR101242416B1 (ko) * 2009-12-21 2013-03-18 한국전자통신연구원 손가락에 연결된 줄의 장력 변화를 이용한 휴대형 문자 입력 장치 및 방법
US9824091B2 (en) 2010-12-03 2017-11-21 Microsoft Technology Licensing, Llc File system backup using change journal
US10275046B2 (en) * 2010-12-10 2019-04-30 Microsoft Technology Licensing, Llc Accessing and interacting with information
US8620894B2 (en) 2010-12-21 2013-12-31 Microsoft Corporation Searching files
WO2014119382A1 (ja) * 2013-01-29 2014-08-07 日本電気株式会社 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
JP6387762B2 (ja) * 2014-09-19 2018-09-12 日本電気株式会社 力覚提示装置、情報端末、力覚提示方法、及びプログラム
FI127606B (fi) * 2015-04-01 2018-10-15 Konecranes Oyj Menetelmä, kuormankäsittelylaite, tietokoneohjelma ja tietokoneohjelmatuote tartuntavälineiden paikantamiseksi
WO2018042718A1 (ja) * 2016-08-31 2018-03-08 アルプス電気株式会社 操作装置および前記操作装置を使用した触覚再現装置
JP6927498B2 (ja) * 2018-01-29 2021-09-01 アラクノフォース株式会社 力覚提示装置
KR102162440B1 (ko) 2019-04-18 2020-10-06 울산과학기술원 기계적 임피던스 추정 로봇의 신뢰도 및 정확도 검증용 스프링 어레이 장치
GB201906857D0 (en) 2019-05-15 2019-06-26 King S College London Cable driven robot
FR3098432B1 (fr) * 2019-07-08 2021-06-11 Univ Sorbonne Module robotique de traction
CN112558618B (zh) * 2021-02-24 2021-06-25 北京哈崎机器人科技有限公司 一种机器人的控制方法、装置、介质及电子设备
US12353641B2 (en) * 2021-10-25 2025-07-08 Sony Interactive Entertainment Inc. Display control system, display control method, and program

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6476311A (en) 1987-09-18 1989-03-22 Fujitsu Ltd Pointing device for three-dimensional coordinates
JP2771010B2 (ja) 1989-11-30 1998-07-02 佐藤 誠 3次元入力装置
US5143505A (en) * 1991-02-26 1992-09-01 Rutgers University Actuator system for providing force feedback to a dextrous master glove
US5589828A (en) * 1992-03-05 1996-12-31 Armstrong; Brad A. 6 Degrees of freedom controller with capability of tactile feedback
JPH05333994A (ja) 1992-06-04 1993-12-17 Toshiba Corp 位置情報入力装置
US5701140A (en) * 1993-07-16 1997-12-23 Immersion Human Interface Corp. Method and apparatus for providing a cursor control interface with force feedback
US5731804A (en) * 1995-01-18 1998-03-24 Immersion Human Interface Corp. Method and apparatus for providing high bandwidth, low noise mechanical I/O for computer systems
JPH07141099A (ja) 1993-11-18 1995-06-02 Sumitomo Electric Ind Ltd 三次元位置入力装置
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
JP3126901B2 (ja) 1995-05-24 2001-01-22 シャープ株式会社 3次元入力装置及び3次元入力装置を用いた入出力装置

Also Published As

Publication number Publication date
US6630923B2 (en) 2003-10-07
US20010038376A1 (en) 2001-11-08
JP2001282448A (ja) 2001-10-12

Similar Documents

Publication Publication Date Title
JP3404651B2 (ja) 三次元入力装置
US10993774B2 (en) Robotic hand controller
US5709219A (en) Method and apparatus to create a complex tactile sensation
US6979164B2 (en) Force feedback and texture simulating interface device
US5184319A (en) Force feedback and textures simulating interface device
US6413229B1 (en) Force-feedback interface device for the hand
US7880717B2 (en) Method, apparatus, and article for force feedback based on tension control and tracking through cables
EP0981423B1 (en) Force-feedback interface device for the hand
US20070018958A1 (en) Force reflective robotic control system and minimally invasive surgical device
WO1995020788A1 (en) Intelligent remote multimode sense and display system utilizing haptic information compression
US8844376B2 (en) Multi-degree of freedom transducer
JP3624374B2 (ja) 力覚呈示装置
JP2016539017A (ja) 多方向力フィードバックを有する制御装置
US5305429A (en) Input apparatus using three-dimensional image
CN114029990B (zh) 带多传感器的仿生机器人智能动力手臂的结构和控制方法
US6246391B1 (en) Three-dimensional tactile feedback computer input device
KR100362733B1 (ko) 장착형 반직접 구동방식의 역감제시 기구
JPH06324622A (ja) 力覚呈示装置
Kohno et al. Evaluation of two-handed multi-finger haptic device SPIDAR-8
JP4547559B2 (ja) 張力駆動によるグリップ型力覚提示装置およびその入力方法
WO2022239294A1 (ja) 情報入力装置、制御装置、並びに手術システム
CN115266902B (zh) 一种人工皮肤柔性触觉传感器测量装置
US20240288943A1 (en) Systems and methods for tactile intelligence
CN119772947A (zh) 用于坐标测量机的具有测量功能的人机交互元件
JP3424392B2 (ja) 操縦装置、操縦方法、内視鏡の操縦装置、仮想イメージの操縦装置

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090307

Year of fee payment: 6

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090307

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100307

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110307

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120307

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130307

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140307

Year of fee payment: 11

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees