JPS61126406A - 画像計測装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 イ、Ｆ光明の目的ｊ （産業上の利用分野〕 本発明は、３次元空間内の任意の平面上に璽かれた物体
を、その平面と垂直に光軸を設定したカメラでＩｆｉ像
し、その画像データから物体の３次元における位置、ｔ
ｊ２勢を計測する画像ｇｔ８ＩＩＩ駅歇に関するもので
ある。

〔従来の技術〕

本発明は、主にロボットに使用される技術であるため、
ロボットを具体例にとって以下の説明を行なう。ロボッ
ト等で３次元空間の成る面（通常はＦ１面）に置かれた
物体をハンドリングする場合、その物体の３次元空間上
の位ｎと姿勢が分らないと、ハンドリングを行なうこと
ができない。

一方、通常のロボットにおいては、この物体の位置と姿
勢を計測する手段として、カメラ（例えばテレビカメラ
）が用いられる。カメラから得られる情報は、２次元の
イ装置と姿勢であり、この２次元のデータから、３次元
の１１１報を４！Ｖ＜１１Ｊればなら％いわＩＪであ？
２．そこて彷末て１４　、）ｉ・１″ｊ゛′■１６・呵
’ｅ　ｆｌ　／Ｅって３次元の情、報を粋出し、−（い
イ、が、この作業１ユ、手１）ｌのｌ］）かろものでｄ
５ろ、２本発明の目的は、このＪ、うな２次元の（ｉ！
豹と姿勢データから、３次元のデータを比転的簡使に術
ることができる一手段を提供１！／υとする６のである
。

目、「発明の構成」 〔発明の概要〕 本発明は、スクリーン座標系標系ど、「ワールド座標系
とのオフセット鎖を記１０１６手段と、画面座標系と、
スクリーン座標系のＸ−Ｙ軸からなる２次元直交座標系
とのオフセット伯を記憶する手段と、 上記２種のオフセット値を用いて、ワールド座標系、ス
クリーン座標系、画面座標系の３つの相互の座標変換を
行なう手段とを備え、 画面座標系における物体の２次元での（ｆｆ置・姿勢を
８１測することにより、ワールド座標系での３次元６自
由度の位置と姿勢を締出するような手段を謁ＵｌＪもの
であ？、。

（実施例〕 Ｊズ下、本発明を具体化した＝実施例のＩＪ１明を（１
なう。

まず、第２図を用いて本発明のＩＭ役を説明する。

本発明１ｔ、上ｊ生のように、２次元のデータｈ’　ｌ
”１３次元の−ｒ−夕をｐ出づるｂのであり、複数の座
標系の相互関係を予めＩ！１！解しておく必曹がある。

第２　ＦＨＩ　Ｉ：ｔ、カメラと、物体と、３つの座標
系を表わしたものである。

同図において、１と２は物体であり、［ｌボッ］−（ま
この物体１．２を作業対象（例えば把む、溶接覆る）の
目的物とする。そして、この物体１．２４．１　する平
面Ｈ５の上に乗っているとする。ここで、この平面Ｈ１
上の成る点Ｏｓ　（任急の点）を原点として、この平面
上に座標軸Ｘｓ、Ｙｓをとる。

そして、この原点Ｏ５で平面Ｈ１に立てた垂直軸をＺｓ
とし、直交座標系をとる。この３次元の座標系を“スク
リーン座標系°°と呼ぶ。

３はカメラであり、ロボットの作業対象である物体のイ
ひ置と姿勢を認識するためのものである。

物体の“姿勢”を認Ｗ、する必要性の理由は、ここで言
う物体の“姿勢°°とは、物体の長手方向を示すもので
あり、通常、細長いものを捌む時は、物体の細い部分を
掴むのが安定に保持できるからである。このカメラ３は
、その光軸が前記スクリーン座標系のｚ５軸上に配置さ
れる。そして、このカメラ３によって得られる信号は、
Ｚｓ軸から物体１．２を見た２次元の画１＃情報である
。この画像情報は、通常ＣＲＴ等で可視化することがで
きるとともに、画像メモリのプレーン上に情報として格
納される。第２図の（イ）はこの画像メモリプレーン上
の画素データを概念的に示しｔ；図である。（イ）に示
す２次元直交！ｉへ標系を“画面座標系°“と呼ぶ、（
イ）において、点Ｏｐは画面座標系の原点、ｘｐ、ｙｐ
は画面座標系の直交軸である。即ち、カメラ３で８１測
される物体１，２は、（イ）のような２次元の情報とし
てロボットに与えられる。

“画面座標系”と゛スクリーン座標系”の関係を第３図
に示す。同図から分るようにＸ−Ｙ平面は、角度θΔｐ
回転し、また、（×ΔＰ、ＹＡｐ）だけ平行移動してい
る。

以上２つの座標系（Ｉｊｉ面座標系、スクリーン座標系
）に対して、３次元空間内での基準となる座標系が存在
する。この座標系を第２図（ロ）に示し、これを“ワー
ルド座標系”と呼ぶ。

このワールド座標系とスクリーン座標系とは、通常、ｘ
、ｙ、ｚ軸が成る角度で回転（ＹＡＷΔＳ＋　ＰＩＴＣ
ＨＡｓ、ＲＯＬＬΔｓ）Ｌ、及び平行移ｅ　（ＸΔｓ　
、ＹＡｓ　、ＺΔＳ）の関係にある。

ここで、上記各座標系の座標軸のズレ及び回転を本明ｉ
書ではオフセット値と言う。即ち、上記し、または後述
する（ＸＡＩ）、ＹＡｐ　、ＲＯＬＩ−Δｐ）、（ＸΔ
ｓ　＋　ＹΔｓ、ＺΔｓ　、ＹＡＷＡＳ　。

ＰＩＴＣＨＡＳ　、ＲＯＬＬΔｇ　＞はオフセット値で
ある。

以上の３つの座標系の関係を賢約すると、スクリーン座
標系は、物体が置かれた平面上にＸ−Ｙ平面を持つもの
であるので、ワールド座！系に対２１　ロＡ　−７ｔ＝
　ツｔ、ｆ！ｎ　Ｌ　Ｘ　Ｉ　Ｓ　、　　・、’ａｓ、
７ａｓ、■！”＼　　〜へ・　Δ　ｓ　　　、　　　ｒ
）　ｌ　　Ｔｒ、ｌＩ、ａｓ　　　、　　　Ｒｆ”＋１
　　　ｌ　　　Δ　ｓ　　　）　　　１．Ｌ　　、実８
）す又（，１し１面等から求めろことがてさ、予めｌノ
ジスク等に入力してＪｉ　＜ことができる。

画面ｓｉｅ系ＩＪ、スクリーンｔ（″標系の７＠に直交
ゴる型面上で定ｉさ１１でいるため、イのＡ〕〔ツＬ−
４ｒｆ　　（Ｘ　　Δ　ｐ、Ｙ　　Δ　ｐ、ＲＯｌ、ｌ
−△　ｐ　　）　　Ｉｉ　　、　　Ｘ　。

Ｙ７Ｕ向の平行移１１１及び回転だ（夕である。従って
、これらはスケールファクタＫｓＦ　（１＊述する）と
ともに、校正にＪ、って、実ｒｍｌ＋伯を１ｑることが
川面であり、予めレジスタ等に入力して３３　＜ことか
できろ。

本発明＋、１１カメラを介して冑た２次元の物体１゜２
の情報から、ワールド座標での３次元６自由度（Ｘｗ、
Ｙｗ、７ｗ、ＹＡＷｗ、Ｐ　Ｉ　１−ＣＨｗ。

ＲＯｔ−Ｌ　ｗ　）の位置と姿勢を斡出Ｊるものである
。

以下、第１図を用いて、本発明に係る装置の具体的構成
例を説明する。

同図にａｊいて、３は第２図で説明したものと同様なカ
メラである。４１ｔカメラ３からの信号を受（Ｊて、例
えば、Ｃ７１でＴ（図示ゼ−・Ｊ“）写に１１！像寸ろ
ｊ見合の画像メ七りである。このメ七り土にツクリーン
Ｈ″・樗系のＺｓ軸から見た物体の２次元像の画素が格
納されている。叩ら、このｉｉ！ＩＩ像メモリ４土のデ
ータ１１′画面座標系゛′である。６１」小心位置演綽
器Ｔ−アｔ’＋、８１１．　ｉｆ％　４’Ｉ　３軸角＋
ｆｆ　Ｋｑ　ｔ＞　’！２−ｃある。

重心イｌ′Ｉ行演鋒器６（１、画像メモリ４に格納され
ている物体の２次元の像を表わ１デークを導入し、これ
から物体の画面用１ｆ系にＪｉ　ｉｆる重心（Ｏ置（×
１’）Ｑ＋ＹＰΩ）を酔出１ｊる。なお、この重心位貿
演篩器６は、特に新規なものでなく、既に公知の技術で
ある。

慣性主軸角度側神器８は、画像メモリ４に格納されてい
る物体の２次元の像を表わすデータを導入し、これから
物体の長手方向の角度をＩＩるものである。この結果、
第１図の画像メモリ４内に示すように物体の長手方向の
角度θｌ）Ｑが決定される。なお、この慣性生軸角麿演
算器８も、特に新炭なものでなく、既に公知の技術であ
る。

１０、１２はレジスタであり、それぞれ第１図に示すよ
うにＸｐｏ　、Ｙｐｏ　、θｐＯを一時記憶しているも
のである。即ち、このレジスタ１０．１２に（１１画面
座標系での物体の位置と姿勢（２次元３自由度）のデー
タが一時２ｇＡされる。

１４もレジスタであり、゛スクリーン座標系”に対する
゛画面座標系”のオフセット値（ＸΔｐ。

ＹＡｐ、ＲＯＬ−ＬΔｐ）及びスケールファクタＫＳＦ
を導入し、これを一時記憶しておくらのである。この３
つのオフセット値は、既述したように、例えば、キャリ
ブレーション等により測定された値であり、レジスタに
予め入力しておくことができる。ここでＫｓｐはスケー
ルファクタであって、画像メモリ４上のデータを実際の
大き６に換粋する場合の定数である。

１６は後述する演算機能をもつ座標変換器であり、レジ
スタ１０．１２及び１４から４ａ号を導入し、゛スクリ
ーン座標系′°における物体の（Ｑ置と姿勢を求めるも
のである。

１８はレジスタであり、座標変換器１Ｇで演算された°
゛スクリーン座標系”におけるｆひｎとｖ２勢（３次元
６自由痘）のデータを一時記憶しておくものである。

２０もレジスタであり、ワールド座標系に対するスクリ
ーン良標系のオフセット値（ＸＡｓ。

ＹΔｓ、ＺΔｓ　、ＹＡＷΔｓ　、Ｐ　Ｉ　ＴＣＨＡｓ
　。

ＲＯＬＬΔＳ）を導入し、これを一時記憶しておくもの
である。この６つのオフセット値は、既述したように、
例えば、実測又は図面等から求められた値であり、レジ
スタに予め入力しておくことができる。

２２は後述する演算機能をもつ座標変換器であり、レジ
スタ１８と２０から信号を導入し、“ワールド座標系”
における物体の位置と姿勢を求めるものである。

２４はレジスタであり、座標変換器２２で演算された°
“９−ルド庄標系′°における位置と姿！８（３次元６
自由度”・ＸｗＱ　、Ｙｗｏ　、ＺｗＱ　、ＹＡＷｗｏ
　、Ｐ　Ｉ　ＴＣＨｗｃ　、ＲＯＬＬｗｏ　）のデータ
を一時記憶しておくものである。このレジスタ２４の出
力を用いることで、ロボットは目的とする物体をハンド
リング４ろことがて゛きろ。

１ス下、第１１４の）を置の到１イ１を説明づろ。

カメラ３を介して導入した物イ◆、の２次元データは、
画像メモリ４に格納される。そして、公知の技術である
重心位置演詩器６と慣性主軸角度演算器８により、画面
珍櫻系にａｉｌづる物体の位Ｕど姿勢（Ｘｐｏ　、Ｙｐ
ｏ　、θｐｏ）の（１ｒ１が口出される。

一方、第３図に示ηＪ−うな関係」、す、“′画面座標
系パと、”スクリーン座４ｇ、系のＸ−Ｙ軸からなる２
次元直交座標系°°とのＡフセットｌ＋ｉ（ＸΔｐ。

ＹΔｐ、ＲＯＩＬＡｐ）は、校正によって、実測するこ
とが可能であり、スケールファクタＫＳＦとともに予め
レジスタ１４に入力しておくことができる。

座標変換器１Ｇはレジスタ１０．１２．１４からデータ
を導入し、（１）式の演算を行なうことにより、゛スク
リーン座標系′°にＪ３ける「−置と姿！５（３次元６
自由度・・・Ｘｓｏ　、Ｙｓｏ　、Ｚｓｏ　、ＹＡＶ１
’ｓｏ　。

ＰＩＴＣＨｇｏ　、ＲＯＩ−Ｌｓｏ　）の飴を出力する
ことができる。

’　Ｙ　ＡＷｓ　ｏ　　＝　０ ＰＩＴＣＨｓｏ＝Ｏ Ｒｎ　ｌ−、ｌ−ｓ　ｏ　＝　ＲＯｌ−１−Δｐ　＋　
Ｏｐ　ａの関係がある（第３図ｈＩらＩ’Ｊ］　”）　
ｈ蔦）。

また、Ｒｏ　ｉ　７　（ＲＯｌ−ｌ−Δｐ）（ま（２）
式で表ｔ）さなお、 ”　Ｙ　Ａ　Ｗ　”とは、Ｚ軸回りの回転角を表わし、
”　Ｐ　Ｉ　Ｔ　ＣＨ”とは、Ｙ　Ａ　Ｗ回転１斐のＸ
軸回６つの回転角を表わし、 “’　ＲＯＬ　Ｌ　”とは、その後のＺ軸回Ｉ）の回転
角を表わしている。

このベクトル表示を有顔ベクトルと（１う。

このような演算により、レジスタ１８には、“スクリー
ン座標系°”における位ｎと姿勢（Ｘｓｏ。

Ｙｓｏ　、Ｚｓｏ　、ＹＡＷｓｏ　、ＰＩＴＣＨｓｏ　
。

ＲＯＬＬｓｃ）のデータが一時記憶される。

一方、既述したように、ワールドＰＪ！標系に対するス
クリーン座標系のオフセット値（ＸΔｓ、ＹΔｓ、ＺΔ
ｓ、ＹＡＷＡｓ、　　ＰＩＴＣＨΔｓ。

ＲＯｉ　ｌ−ΔＳ）は、実測又は図面などから求めるこ
とが可能であり、予めレジスタ２０に入力されている。

ｓ！！標変換１５２２はレジスタ１８．２０からデータ
を導入し、以下の演算を行なうことにより、“ワールド
座標系°°における情貯と姿勢（３次元６自由度”’Ｘ
ＷＱ　、Ｙｗｏ　、Ｚｗｏ　、ＹＡＷｗｏ’、Ｐ　Ｉ　
ＴＣＨｗｏ　、　ＲＯＬ　ｌ−ｗｏ　＞の蛸を出りする
ことができる。

’／　Ａ　Ｗ　ｗＱ　＝　　ｊ　ａ　ｎ　”　　（ｌ−
１３ｙ”　Ｌ　２３　）Ｐ　Ｉ　ＴＣＨ％ＮΩ　−ｃｏ
ｓ−’（Ｌコ３　）。

ＲＯＬＬｗｏ　＝ｅｔａｎ−’　　（１３＋　／Ｌ３２
　）ここに、 に−ＲｏｔＺ（ＹＡＷｂｑ’）Ｒ姓、Ｘ　（ＰｌτＣヒ
は）亀ｔ７　（ＲＣＬＬａ３　）ＩＬ　□　　Ｆｉｌｏ
ｔ’Ｚ　（ＹＡＷａｓ　）ヒ＄ＬＸ（ＰＩＴＣＨ＄）ｆ
’ｉｃｉビＺ　Ｃくｘ上シＳ）ｘ　ＲｃｔＺ（ＹＡＷｓ
ａ）　％ｔＸ　（ＰＩＴＣ’ｒ”＝ｃＡＲｃＬＺ（Ｋ匝
、’）Ｒ１泊）１１、イ第１了゛れ１侵のΔ５を、、ｏ
ｌ、Ｉかえたものに等しい。　　　　゛ もっとも、トの演ｔ′＞式（，１、イ」顔ベクトルを用
いた場合のものであり、他の表示、例えば、オイラー角
表示によれば、演算式のＩｔ５が巽くＴるの１１明らか
である。

＜＝お、以上の滴粋は、マイクロシーケンス等を用いた
専用バー１−ウェア・アレイプロｔ？−／４１又（Ｊマ
イク１−１７［］セセラ１ノこＪコろ油悼等で実現ｊＬ
ることができる。

Ｊ、Ｉこ、１ズ土では、スケール７戸りタＫＳＦの値を
レジスタ１４に入力して、ＮＧ標変換器１６にて演算す
るＪ：うに７６２明したが、このｌ＋ｒｉは、レジスタ
２０の方に入力して、！［疫換器２２でその＞Ｍ　Ｄ）
をしても良い。また、効率的でないが、両方の座標変換
器１６と２２でその演算を行なって′ｂ良い。

レジスタ２４の内容はワールド座標系（基ＦＩＬ座標系
）にお番ブる位置と姿勢であり、この値を用いて、ロボ
ット番ｊ物体のハンドリングをすることができる。

ハ、［本ｒｔ明のりＪ宋１ 以上述べたＪ、うに、本発明にＪ、れば２次元の画像を
８１測することにＪ−リ、３次元６自由劇のワールド座
標系（基ｔＩＬ座標系）における４；ｌ　ｉ！！７と姿
勢を算出することができる。このため、例えば、ロボッ
ト等で物体を取扱う場合に、本発明に係る駅路の出力を
そのゴま使うことができ、斜面に置かれた物体を容易に
扱うことができる。

【図面の簡単な説明】

第１図は本発明に係る画像計測装置の一構成例を示す図
、第２図はカメラと物体と３゛〕の座標系の関係を示し
た図、第３図は画面座標系とスクリーン座標系との関係
を示し！３図である。 ３・・・カメラ、４・・・画像メモリ、６・・・重心位
８演算器、８・・・慣性主軸角度演斡器、１０．１２．
１４．１８゜２０、２４・・・レジスタ、１６．２２・
・・座標変換器。 −］　も− 第２図 ゛・１、 〜、 竿３図 （Ｄ）ワールド座臂糸 ｗ

Claims (1)

1. 【特許請求の範囲】 ３次元空間内の任意の平面上に置かれた物体をその平面
   と垂直に光軸を設定したカメラで撮像し、その画像デー
   タから物体の位置・姿勢を計測する装置において、 スクリーン座標系と、ワールド座標系とのオフセット値
   を記憶する手段と、 画面座標系と、スクリーン座標系のＸ−Ｙ軸からなる２
   次元直交座標系とのオフセット値を記憶する手段と、 上記２種のオフセット値を用いて、ワールド座標系、ス
   クリーン座標系、画面座標系の３座標系の相互の座標変
   換を行なう手段とを備え、 画面座標系における物体の２次元での位置・姿勢を計測
   することにより、ワールド座標系での３次元６自由度の
   位置・姿勢を算出することを特徴とする画像計測装置。