JP6543742B2 - 画像キャプチャ装置及び操作可能な装置可動アームの制御された動作の間の衝突回避 - Google Patents

Description

関連出願の相互参照
本出願は、２０１２年１２月１０日に出願された、米国仮出願第６１／７３５，１７０号及び２０１３年１２月１０日に出願された、米国非仮出願第１４／１０１，７６９号の優先権を主張し、当該出願はそれらの全体が参照により本出願に援用される。

本発明は概して、ロボットシステム、特に、画像キャプチャ装置及び操作可能な装置ロボットアームの制御された動作の間の衝突回避に関する。

ロボットシステム及びコンピュータ支援装置はしばしば、作業部位で作業を実行するための器具を操作するためのロボット又は可動アーム及び作業部位の画像をキャプチャする画像キャプチャ装置を支持するための少なくとも１つのロボット又は可動アームを含む。ロボットアームが互いに極めて近接して動作しているとき、アームが互いに衝突し、そうすることによって、アームに損傷を与え得るという可能性がある。ロボットアームが共通で操作されるとき、このような衝突を防ぐことは直接的になり得る。しかし、ロボットアームが独立して操作されるとき、衝突回避ははるかに困難になり得る。

ロボットアームは、１又は複数の能動的に制御されるジョイントによって互いに結合される複数のリンクを有する。多くの実施形態では、複数の能動的に制御されるジョイントが設けられ得る。ロボットアームはまた、１又は複数の受動ジョイントを含み、このジョイントは能動的に制御されないが、能動的に制御されるジョイントの動作に従う。このような能動及び受動ジョイントは、回転又は直動ジョイントであり得る。ロボットアームの形態は、次にジョイントの位置並びにリンクの構造及び結合の知識によって決定され得る。

ロボットアーム間の衝突を避けるために、アームの形態の情報及び共通基準座標系におけるそれらのそれぞれの位置の情報を有することが有益である。この情報を用いて、ロボットアームの１つの動作を制御しているコントローラは、他のロボットアームとの衝突を避けるための行動を取ることができる。

衝突を避けるためにコントローラが取り得る１つの行動は、他のロボットアームとの衝突が差し迫っているロボットアームに命令しているオペレータに警告することである。このような警告システムの１つの例として、参照により本出願に援用される、“Ｓｙｎｔｈｅｔｉｃ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ｏｆ ａ Ｓｕｒｇｉｃａｌ Ｒｏｂｏｔ”と題する特許文献１は、そこに複数のロボットアームが取付けられる患者側カートを記載する。このような警告システムの他の例として、参照により本出願に援用される、“Ｍｅｄｉｃａｌ Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍ Ｐｒｏｖｉｄｉｎｇ ａｎ Ａｕｘｉｌｉａｒｙ Ｖｉｅｗ ｏｆ Ａｒｔｉｃｕｌａｔａｂｌｅ Ｉｎｓｔｒｕｍｅｎｔｓ Ｅｘｔｅｎｄｉｎｇ ｏｕｔ ｏｆ ａ Ｄｉｓｔａｌ Ｅｎｄ ｏｆ ａｎ Ｅｎｔｒｙ Ｇｕｉｄｅ”と題する特許文献２は、エントリガイドから延びる複数の関節式器具を有する医療ロボットシステムを記載する。このような警告システムのさらに他の例として、参照により本出願に援用される、“Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｃｏｎｄｕｃｔｉｎｇ ａｎ Ｉｎｔｅｒｖｅｎｔｉｏｎａｌ Ｐｒｏｃｅｄｕｒｅ Ｉｎｖｏｌｖｉｎｇ Ｈｅａｒｔ Ｖａｌｖｅｓ ｕｓｉｎｇ ａ Ｒｏｂｏｔ−ｂａｓｅｄ
Ｘ−ｒａｙ Ｄｅｖｉｃｅ”と題する特許文献３は、患者の解剖学的構造のＸ線画像が、カテーテル制御ロボットを使用する医療処置の実行中にキャプチャされることができるように、Ｘ線源及び検出器がＣアームの反対側の端部に取り付けられる医療ロボットシステムを記載する。

衝突回避はまた、１又は複数のロボットアームの動作を制御するコントローラによって自動的に実行され得る。このような自動衝突回避システムの例として、参照により本出願に援用される、“Ｓｏｆｔｗａｒｅ ｃｅｎｔｅｒ ａｎｄ ｈｉｇｈｌｙ ｃｏｎｆｉｇｕｒａｂｌｅ ｒｏｂｏｔｉｃ ｓｙｓｔｅｍｓ ｆｏｒ ｓｕｒｇｅｒｙ ａｎｄ ｏｔｈｅｒ ｕｓｅｓ”と題する特許文献４は、ロボットアームの間の衝突を避けるように構成される医療ロボットシステムを記載する。ロボットアームは、多数の形態が、保持された器具の所望の位置及び配向を達成するために、各アームに関して可能であるように、冗長性を有する。各コントローラは、他のロボットアームとの衝突をもたらし得る可能なアーム形態を排除することをもたらす第２の制約を条件として関連付けられるロボットアームの動作を指令する。

しかし、複数のロボットアームが複数のコントローラによって制御されるとき、複数のコントローラの１より多くが衝突を回避しようと試みている場合、混乱及び予期せぬ結果が生じ得る。ロボットシステムが独立して作動するロボットアームを用いる場合のように、コントローラ間の情報伝達が無い又は限られているのとき、この問題は悪化する。ロボットアーム衝突問題を回避するため、独立して動作するロボットアームは、順番に、しかし同時ではなく作業部位で使用され得る。しかし、作業部位での処置又は作業の実行中にロボットアームを同時に使用することは有益であり得る。

米国特許出願公開第２００９／０１９２５２４号明細書 米国特許出願公開第２００９／０３２６５５３号明細書 米国特許出願公開第２００９／０２３４４４４号明細書 米国特許第８，００４，２２９号明細書

したがって、本発明の１又は複数の態様の１つの目的は、ロボットアームの衝突回避を自動的に実行することが実装されたロボットシステム及び方法である。

本発明の１又は複数の態様の他の目的は、独立して動作するロボットアームの衝突回避を自動的に実行することが実装されたロボットシステム及び方法である。

本発明の１又は複数の態様の他の目的は、いかなるロボットアームもその意図された作業を実行することを妨げられることなしにロボットアームの衝突回避を自動的に実行することが実装されたロボットシステム及び方法である。

これらの及び追加的な目的は、本発明の様々な態様によって達成され、簡潔に述べると、１つの態様はロボットシステムであり：作業端部を有する操作可能な装置を保持する第１のロボットアーム；及び第１のロボットアームと第２のロボットアームとの間の衝突を回避しながら第１のロボットアーム及び第２のロボットアームの少なくとも一方の動作を制御するように構成されるコントローラであって、第２のロボットアームは操作可能な装置の作業端部の３次元コンピュータモデルが生成可能である操作可能な装置の作業端部の複数の画像をキャプチャするための画像キャプチャ装置を保持する、コントローラ；を含み、コントローラは、操作可能な装置の作業端部の複数の画像の少なくとも１つの画像を使用することにより、画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の位置及び配向を決定することによってであって、画像キャプチャ装置の基準座標系はキャプチャされた画像の透視投影（ｐｅｒｓｐｅｃｔｉｖｅ）に対応する、によって；画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の決定された位置及び配向を使用することにより、共通基準座標系に対する第１及び第２のロボットアームの一方の形態及び位置を決定することによって；第１及び第２のロボットアームの他方に関して受信されるジョイント位置情報を使用することにより、共通基準座標系に対する第１及び第２のロボットアームの他方の形態及び位置を決定することによって；共通基準座標系に対する第１及び第２のロボットアームの決定された形態及び位置を使用して、第１と第２のロボットアームとの間の差し迫った衝突を決定することによって；並びに差し迫った衝突を避けるように第１及び第２のロボットアームの一方によって取られることになる行動を命令することによって；コントローラは第１と第２のロボットアームとの間の衝突を回避するように構成される。

他の態様は、第１と第２のロボットアームとの間の衝突を回避するためにロボットシステムに実装される方法であり、第１のロボットアームは作業端部を有する操作可能な装置を保持し、第２のロボットアームは、操作可能な装置の作業端部の３次元コンピュータモデルが生成可能である操作可能な装置の作業端部の複数の画像をキャプチャするための画像キャプチャ装置を保持し、方法は：操作可能な装置の作業端部の複数の画像の少なくとも１つの画像を使用することにより、画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の位置及び配向を決定するステップであって、画像キャプチャ装置の基準座標系はキャプチャされた画像の透視投影に対応する、ステップ；画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の決定された位置及び配向を使用することにより、共通基準座標系に対する第１及び第２のロボットアームの一方の形態及び位置を決定するステップ；第１及び第２のロボットアームの他方に関して受信されるジョイント位置情報を使用することにより、共通基準座標系に対する第１及び第２のロボットアームの他方の形態及び位置を決定するステップ；共通基準座標系に対する第１及び第２のロボットアームの決定された形態及び位置を使用して、第１と第２のロボットアームとの間の差し迫った衝突を決定するステップ；及び差し迫った衝突を避けるように第１及び第２のロボットアームの一方によって取られることになる行動を命令するステップ；を含む。

他の態様はロボットシステムであり：作業端部を有する操作可能な装置を保持している第１のロボットアーム；及び第１のロボットアームを画像キャプチャ装置を保持している第２のロボットアームに対して位置合わせする（ｒｅｇｉｓｔｅｒ）ようにプログラムされるプロセッサ；を含み、プロセッサは位置合わせ（ｒｅｇｉｓｔｒａｔｉｏｎ）を：第１及び第２のロボットアームの少なくとも一方の外部トラッキングデータ並びに運動学データを使用して、第１及び第２のロボットアームの初期位置で第１及び第２のロボットアームの低精度位置合わせを実行すること；第１のロボットアームの少なくとも一部の画像キャプチャ装置によってキャプチャされた少なくとも１つの画像並びに第１及び第２のロボットアームの少なくとも一方の運動学データを使用して、第１のセットアップ位置に対して第１及び第２のロボットアームの中精度位置合わせを実行することであって、第１のセットアップ位置は低精度位置合わせを示す第１の安全マージンを含む、中精度位置合わせを実行すること；並びに操作可能な装置の作業端部の画像キャプチャ装置によってキャプチャされた少なくとも１つの画像並びに第１及び第２のロボットアームの少なくとも一方の運動学データを使用して、第２のセットアップ位置に対して第１及び第２のロボットアームの高精度位置合わせを実行することであって、第２のセットアップ位置は中精度位置合わせを示す第２の安全マージンを含む、高精度位置合わせを実行すること；によって実行する。

他の態様は、第１と第２のロボットアームを位置合わせするためにプロセッサによって実装される方法である。第１のロボットアームは作業端部を有する操作可能な装置を保持する。第２のロボットアームは画像キャプチャ装置を保持する。方法は、第１及び第２のロボットアームの少なくとも一方の外部トラッキングデータ並びに運動学データを使用して、第１及び第２のロボットアームの初期位置で第１及び第２のロボットアームの低精度位置合わせを実行するステップ；第１のロボットアームの少なくとも一部の画像キャプチャ装置によってキャプチャされた少なくとも１つの画像並びに第１及び第２のロボットアームの少なくとも一方の運動学データを使用して、第１のセットアップ位置に対して第１及び第２のロボットアームの中精度位置合わせを実行するステップであって、第１のセットアップ位置は低精度位置合わせを示す第１の安全マージンを含む、ステップ；及び操作可能な装置の作業端部の画像キャプチャ装置によってキャプチャされた少なくとも１つの画像並びに第１及び第２のロボットアームの少なくとも一方の運動学データを使用して、第２のセットアップ位置に対して第１及び第２のロボットアームの高精度位置合わせを実行するステップであって、第２のセットアップ位置は中精度位置合わせを示す第２の安全マージンを含む、ステップ；を含む。

幾つかの実施形態と整合して、動作制御システムがコントローラを含む。コントローラは、１又は複数のプロセッサ及び１又は複数のプロセッサに結合されたメモリを含む。コントローラは、作業端部を有する操作可能な装置に結合される第１の可動アームを有するコンピュータ支援手術装置に結合される。コントローラはさらに、コンピュータ支援手術装置から分離している画像キャプチャ装置に結合される第２の可動アームに結合される。コントローラは、第１の可動アームに関する１又は複数の第１の形態を受信するように；第２の可動アームに関する１又は複数の第２の形態を受信するように；画像キャプチャ装置から作業端部の第１の複数の画像を受信するように；第１の複数の画像少なくとも１つに基づいて、共通基準座標系における作業端部の位置及び配向を決定するように；第１の形態に基づいて、共通基準座標系における第１の可動アームに関する第１の可動アーム位置及び第１の可動アーム軌道を決定するように；第２の形態に基づいて、共通基準座標系における第２の可動アームに関する第２の可動アーム位置及び第２の可動アーム軌道を決定するように；第１の可動アーム位置、第１の可動アーム軌道、第２の可動アーム位置、及び第２の可動アーム軌道に基づいて、第１の可動アームの動作、第２の可動アームの動作、又は第１及び第２の可動アーム一緒の動作が、第１と第２の可動アームとの間の望ましくない関係をもたらすかどうかを決定するように；及び望ましくない関係を避けるように第１の可動アーム又は第２の可動アームに第１の動作命令を送るように；構成される。

幾つかの例では、共通基準座標系は画像キャプチャ装置の基準座標系であり、コントローラはさらに、共通基準座標系における作業端部の位置及び配向にさらに基づいて共通基準座標系における第１の可動アーム位置を決定するように構成される。幾つかの例では、共通基準座標系はコンピュータ支援手術装置の基準座標系であり、コントローラはさらに、画像キャプチャ装置の基準座標系における第２の可動アーム位置を決定するように、画像キャプチャ装置の基準座標系における作業端部の位置及び配向を決定するように、及び第２の可動アーム位置並びに作業端部の位置及び配向を画像キャプチャ装置の基準座標系から共通基準座標系に変換するように、構成される。

幾つかの例では、第１の複数の画像は画像キャプチャ装置からの複数の２次元画像であり、コントローラはさらに、操作可能な装置の作業端部が画像キャプチャ装置と操作可能な装置の作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、２次元画像から作業端部の位置及び配向を決定するように構成される。幾つかの例では、システムはさらに、操作可能な装置の作業端部の作業空間の第２の複数の画像を表示するように適合されるビューア及びビューアに表示されている画像内のユーザ指定関心領域の情報を受信するように構成される入力ユニットを含む。コントローラはさらに、画像キャプチャ装置がユーザ指定関心領域の画像をキャプチャするように、第２の可動アームに第２の動作命令を送るように構成される。

幾つかの例では、入力ユニットは、ビューアのディスプレイスクリーンへのユーザの視線を追跡するように構成される視線追跡ユニットを含み、視線追跡ユニットは、ディスプレイスクリーンへのユーザの現在の注視ポイントを使用することによって関心領域を示すようにユーザによって操作可能なインジケータを含む。幾つかの例では、入力ユニットは、第２の複数の画像の１つを受信し且つテレストレータのディスプレイスクリーンに受信した第２の複数の画像の１つを表示するように構成されたテレストレータユニットを含み、テレストレータユニットは、表示された第２の複数の画像の１つに関心領域を示すようにユーザによって操作可能であるマーカユニットを含む。

幾つかの例では、システムはさらにカメラを含み、第２の複数の画像はカメラによってキャプチャされる。幾つかの例では、システムはさらに超音波プローブを含み、第２の複数の画像は超音波プローブによってキャプチャされる。幾つかの例では、操作可能な装置の作業端部のそれぞれの制御可能な位置及び配向に関して、第１の複数の可能な位置及び配向が第１の可動アームに対してあるように、第１の可動アームは冗長自由度を有し、画像キャプチャ装置のそれぞれの制御可能な位置及び配向に関して、第２の複数の可能な位置及び配向が第２の可動アームに対してあるように、第２の可動アームは冗長自由度を有し、第１の可動アーム又は第２の可動アームに送信される第１の動作命令は、第１の可動アームに第１の複数の可能な位置及び配向の１つに動くように指示する又は第２の可動アームに望ましくない関係を避ける第２の複数の可能な位置及び配向の１つに動くように指示する。

幾つかの例では、コントローラはさらに、第１の可動アーム及び第２の可動アームのどちらの一方が、第１の可動アーム位置と第１の複数の可能な位置及び配向との間の差並びに第２の可動アーム位置と第２の複数の可能な位置及び配向との間の差に基づいて、第１の動作命令を送られることになるかを決定するように構成され、決定はコスト関数を最小にするように行われる。

幾つかの例では、第１の動作命令は、第１の複数の可能な位置及び配向の第１の選択された１つ及び第２の複数の可能な位置及び配向の第２の選択された１つのどちらがコスト関数を最小化するかに基づいて、第１の可動アームに第１の可動アーム位置から第１の複数の可能な位置及び配向の第１の選択された１つに動くように指示する又は第２の可動アームに第２の可動アーム位置から第２の複数の可能な位置及び配向の第２の選択された１つに動くように指示する。幾つかの例では、望ましくない関係は、第１の可動アームと第２の可動アームとの間の衝突、第１の可動アームと第２の可動アームとの間が近接し過ぎること、及び第１の可動アームによる画像キャプチャ装置の関心領域の妨害からなるグループから選択される。

幾つかの実施形態と整合して、医療システムの動作を制御する方法は、コンピュータ支援手術装置の第１の可動アームに関する１又は複数の第１の形態を受信するステップであって、第１の可動アームは作業端部を有する操作可能な装置に結合される、ステップ；コンピュータ支援手術装置から分離している画像キャプチャ装置に結合される第２の可動アームに関する１又は複数の第２の形態を受信するステップ；画像キャプチャ装置から作業端部の第１の複数の画像を受信するステップ；第１の複数の画像少なくとも１つに基づいて、共通基準座標系における作業端部の位置及び配向を決定するステップ；第１の形態に基づいて、共通基準座標系における第１の可動アームに関する第１の可動アーム位置及び第１の可動アーム軌道を決定するステップ；第２の形態に基づいて、共通基準座標系における第２の可動アームに関する第２の可動アーム位置及び第２の可動アーム軌道を決定するステップ；第１の可動アーム位置、第１の可動アーム軌道、第２の可動アーム位置、及び第２の可動アーム軌道に基づいて、第１の可動アームの動作、第２の可動アームの動作、又は第１及び第２の可動アーム一緒の動作が、第１と第２の可動アームとの間の望ましくない関係をもたらすかどうかを決定するステップ；及び望ましくない関係を避けるように第１の可動アーム又は第２の可動アームに第１の動作命令を送るステップ；を含む。

幾つかの例では、共通基準座標系は画像キャプチャ装置の基準座標系であり、方法はさらに、共通基準座標系における作業端部の位置及び配向にさらに基づいて共通基準座標系における第１の可動アーム位置を決定するステップを含む。幾つかの例では、共通基準座標系はコンピュータ支援手術装置の基準座標系であり、方法はさらに、画像キャプチャ装置の基準座標系における第２の可動アーム位置を決定するステップ、画像キャプチャ装置の基準座標系における作業端部の位置及び配向を決定するステップ、及び第２の可動アーム位置並びに作業端部の位置及び配向を画像キャプチャ装置の基準座標系から共通基準座標系に変換するステップ、を含む。

幾つかの例では、第１の複数の画像は画像キャプチャ装置からの複数の２次元画像であり、方法はさらに、操作可能な装置の作業端部が画像キャプチャ装置と操作可能な装置の作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、２次元画像から作業端部の位置及び配向を決定するステップを含む。幾つかの例では、方法はさらに、コスト関数を最小にするように第１の動作命令を決定するステップを含む。

幾つかの実施形態と整合して、動作制御システムは追跡システム及び追跡システムに結合されるコントローラを含む。コントローラは、１又は複数のプロセッサ及び１又は複数のプロセッサに結合されたメモリを含む。コントローラは、作業端部を有する操作可能な装置に結合される第１の可動アームを有するコンピュータ支援手術装置に結合される。コントローラはさらに、コンピュータ支援手術装置から分離している画像キャプチャ装置に結合される第２の可動アームに結合される。コントローラは、第１の可動アームに関する第１の運動学データを受信するように；第２の可動アームに関する第２の運動学データを受信するように；追跡システムから第１の可動アームに関する第１の追跡データを受信するように；追跡システムから第２の可動アームに関する第２の追跡データを受信するように；第１の運動学データ及び第１の追跡データに基づいて、第１の可動アームの第１の場所を決定するように；第２の運動学データ及び第２の追跡データに基づいて、第２の可動アームの第２の場所を決定するように；第１の可動アームと第２の可動アームとの間の第１の安全マージンを保持しながら操作可能な装置の少なくとも一部の画像をキャプチャするために第１のセットアップ位置に動くよう第２の可動アームに命じる第１の動作命令を第２の可動アームに送信するようにであって、第１の動作命令は第１の場所及び第２の場所に基づいている、ように；第１の可動アームに関して第３の運動学データを受信するように；第２の可動アームに関して第４の運動学データを受信するように；画像キャプチャ装置から１又は複数の第１の画像を受信するようにであって、１又は複数の第１の画像は操作可能な装置の少なくとも一部をキャプチャしている、ように；第３の運動学データ及び１又は複数の第１の画像に基づいて、第１の可動アームの第３の場所を決定するように；第４の運動学データ及び１又は複数の第１の画像に基づいて、第２の可動アームの第４の場所を決定するように；並びに第１の可動アームと第２の可動アームとの間の第２の安全マージンを保持しながら、関心領域の画像をキャプチャするために、第１のセットアップ位置とは異なる、第２のセットアップ位置に動くように第２の可動アームに命じる第２の動作命令を第２の可動アームに送信するようにであって、第２の動作命令は第３の場所及び第４の場所に基づいている、ように；構成される。

幾つかの例では、コントローラはさらに、第１の可動アームに関する第５の運動学データを受信するように；第２の可動アームに関する第６の運動学データを受信するように；画像キャプチャ装置から１又は複数の第２の画像を受信するようにであって、１又は複数の第２の画像は作業端部の少なくとも一部をキャプチャしている、ように；第５の運動学データ及び１又は複数の第２の画像に基づいて、第１の可動アームの第５の場所を決定するように；第６の運動学データ及び１又は複数の第２の画像に基づいて、第２の可動アームの第６の場所を決定するように；並びに第１の可動アームと第２の可動アームとの間の第３の安全マージンを保持しながら、作業端部の画像をキャプチャするために、第１のセットアップ位置及び第２のセットアップ位置とは異なる、第３のセットアップ位置に動くように第２の可動アームに命じる第３の動作命令を第２の可動アームに送信するようにであって、第３の動作命令は第５の場所及び第６の場所に基づいている、ように；構成される。

幾つかの例では、第２の安全マージンは、第１の安全マージンより一桁小さい。幾つかの例では、第１の安全マージンを保持することは、少なくとも１０ｃｍの第１の可動アームと第２の可動アームとの間の間隔を保ち、第２の安全マージンを保持することは、少なくとも１ｃｍの第１の可動アームと第２の可動アームとの間の間隔を保つ。幾つかの例では、第３の安全マージンは、第２の安全マージンより一桁小さい。幾つかの例では、第２の安全マージンを保持することは、少なくとも１ｃｍの第１の可動アームと第２の可動アームとの間の間隔を保ち、第３の安全マージンを保持することは、少なくとも１ｍｍの第１の可動アームと第２の可動アームとの間の間隔を保つ。

幾つかの例では、第１の複数の画像は画像キャプチャ装置からの２次元画像であり、コントローラはさらに、操作可能な装置が画像キャプチャ装置と操作可能な装置の作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、２次元画像から操作可能な装置の位置及び配向を決定するように構成される。幾つかの例では、第２の複数の画像は画像キャプチャ装置からの２次元画像であり、コントローラはさらに、操作可能な装置の作業端部が画像キャプチャ装置と操作可能な装置の作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、２次元画像から作業端部の位置及び配向を決定するように構成される。幾つかの例では、システムはさらに、画像キャプチャ装置から受信される１又は複数の第２の複数の画像を表示するように適合されるビューア及び第２の画像内の関心領域の情報を受信するように構成される入力ユニットを含む。

幾つかの例では、入力ユニットは、ビューアのディスプレイスクリーンへのユーザの視線を追跡するように構成される視線追跡ユニットを含み、視線追跡ユニットは、ディスプレイスクリーンへのユーザの現在の注視ポイントを使用することによって関心領域を示すようにユーザによって操作可能なインジケータを含む。幾つかの例では、入力ユニットは、第２の画像の１つを受信し且つテレストレータのディスプレイスクリーンに受信した第２の画像の１つを表示するように構成されたテレストレータユニットを含み、テレストレータユニットは、表示された第２の画像の１つに関心領域を示すようにユーザによって操作可能であるマーカユニットを含む。幾つかの例では、システムはさらにカメラを含み、第２の複数の画像はカメラによってキャプチャされる。幾つかの例では、システムはさらに超音波プローブを含み、第２の複数の画像は超音波プローブによってキャプチャされる。
幾つかの例では、第１の動作命令はコスト関数を最小にする。

幾つかの例では、画像キャプチャ装置のそれぞれの制御可能な位置及び配向に関して、第２の可動アームに対して第２の複数の可能な位置及び配向があるように、第２の可動アームは冗長自由度を有し、第２の可動アームに送信される第１の動作命令は、第１の安全マージンを保持する複数の可能な位置及び配向の１つに動くように第２の可動アームに指示し、第２の可動アームに送信される第２の動作命令は、第２の安全マージンを保持する複数の可能な位置及び配向の１つに動くように第２の可動アームに指示し、第２の可動アームに送信される第３の動作命令は、第３の安全マージンを保持する複数の可能な位置及び配向の１つに動くように第２の可動アームに指示する。

幾つかの実施形態と整合して、医療システムの動作を制御する方法は、コンピュータ支援手術装置の第１の可動アームに関する第１の運動学データを受信するステップであって、第１の可動アームは作業端部を有する操作可能な装置に結合される、ステップ；コンピュータ支援手術装置から分離している画像キャプチャ装置に結合される第２の可動アームに関する第２の運動学データを受信するステップ；追跡システムから第１の可動アームに関する第１の追跡データを受信するステップ；追跡システムから第２の可動アームに関する第２の追跡データを受信するステップ；第１の運動学データ及び第１の追跡データに基づいて、第１の可動アームの第１の場所を決定するステップ；第２の運動学データ及び第２の追跡データに基づいて、第２の可動アームの第２の場所を決定するステップ；第１の可動アームと第２の可動アームとの間の第１の安全マージンを保持しながら操作可能な装置の少なくとも一部の画像をキャプチャするための第１のセットアップ位置に動くように第２の可動アームに命じる第１の動作命令を第２の可動アームに送信するステップであって、第１の動作命令は第１の場所及び第２の場所に基づいている、ステップ；第１の可動アームに関して第３の運動学データを受信するステップ；第２の可動アームに関して第４の運動学データを受信するステップ；画像キャプチャ装置から１又は複数の第１の画像を受信するステップあって、１又は複数の第１の画像は操作可能な装置の少なくとも一部をキャプチャしている、ステップ；第３の運動学データ及び１又は複数の第１の画像に基づいて、第１の可動アームの第３の場所を決定するステップ；第４の運動学データ及び１又は複数の第１の画像に基づいて、第２の可動アームの第４の場所を決定するステップ；並びに第１の可動アームと第２の可動アームとの間の第２の安全マージンを保持しながら、関心領域の画像をキャプチャするための、第１のセットアップ位置とは異なる、第２のセットアップ位置に動くように第２の可動アームに命じる第２の動作命令を第２の可動アームに送信するステップであって、第２の動作命令は第３の場所及び第４の場所に基づいている、ステップ；を含む。

幾つかの例では、方法はさらに、第１の可動アームに関する第５の運動学データを受信するステップ；第２の可動アームに関する第６の運動学データを受信するステップ；画像キャプチャ装置から１又は複数の第２の画像を受信するステップであって、１又は複数の第２の画像は作業端部の少なくとも一部をキャプチャしている、ステップ；第５の運動学データ及び１又は複数の第２の画像に基づいて、第１の可動アームの第５の場所を決定するステップ；第６の運動学データ及び１又は複数の第２の画像に基づいて、第２の可動アームの第６の場所を決定するステップ；並びに第１の可動アームと第２の可動アームとの間の第３の安全マージンを保持しながら、作業端部の画像をキャプチャするための、第１のセットアップ位置及び第２のセットアップ位置とは異なる、第３のセットアップ位置に動くように第２の可動アームに命じる第３の動作命令を第２の可動アームに送信するステップであって、第３の動作命令は第５の場所及び第６の場所に基づいている、ステップ；を含む。

幾つかの例では、方法はさらに、コスト関数を最小にするように第３の動作命令を決定するステップを含む。幾つかの例では、第１の複数の画像は画像キャプチャ装置からの２次元画像であり、方法はさらに、操作可能な装置が画像キャプチャ装置と操作可能な装置の作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、２次元画像から操作可能な装置の位置及び配向を決定するステップを含む。幾つかの例では、第２の複数の画像は画像キャプチャ装置からの２次元画像であり、方法はさらに、操作可能な装置の作業端部が画像キャプチャ装置と操作可能な装置の作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、２次元画像から作業端部の位置及び配向を決定するステップを含む。

幾つかの実施形態と整合して、ロボットシステムは、作業端部を有する操作可能な装置を保持する第１のロボットアーム並びに第１と第２のロボットアームとの間の衝突を回避しながら第１のロボットアーム及び第２のロボットアームの少なくとも一方の動作を制御するように構成されるコントローラを含む。第２のロボットアームは、そこから操作可能な装置の作業端部の３次元コンピュータモデルが生成可能である操作可能な装置の作業端部の複数の画像をキャプチャするための画像キャプチャ装置を保持する。コントローラは、操作可能な装置の作業端部の複数の画像の少なくとも１つの画像を使用することにより、画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の位置及び配向を決定することによってであって、画像キャプチャ装置の基準座標系はキャプチャされた画像の透視投影に対応する、によって；画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の決定された位置及び配向を使用することにより、共通基準座標系に対する第１及び第２のロボットアームの一方の形態及び位置を決定することによって；第１及び第２のロボットアームの他方に関して受信されるジョイント位置情報を使用することにより、共通基準座標系に対する第１及び第２のロボットアームの他方の形態及び位置を決定することによって；共通基準座標系に対する第１及び第２のロボットアームの決定された形態及び位置を使用して、第１と第２のロボットアームとの間の差し迫った衝突を決定することによって；並びに差し迫った衝突を避けるように第１及び第２のロボットアームの一方によって取られることになる行動を命令することによって；第１と第２のロボットアームとの間の衝突を回避するように構成される。

幾つかの例では、画像キャプチャ装置は、操作可能な装置の作業端部が画像キャプチャ装置と操作可能な装置の作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、操作可能な装置の作業端部が認識できる複数の２次元画像をキャプチャするための断層画像キャプチャ装置を含む。幾つかの例では、コントローラは、第１のロボットアームの構造及びジオメトリの情報並びに画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の決定された位置及び配向を使用することによって画像キャプチャ装置の基準座標系に対する第１のロボットアームの形態及び位置を決定するように構成される。

幾つかの例では、コントローラは、画像キャプチャ装置の基準座標系内のポイントを操作可能な装置の基準座標系に移すための変換を使用することによって、操作可能な装置の基準座標系に対する第２のロボットアームの形態及び位置を決定するように構成される。変換は、画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の決定された位置及び配向を使用することによって決定されている。操作可能な装置の基準座標系は共通基準座標系である。幾つかの例では、システムはさらに、操作可能な装置の作業端部の作業空間のキャプチャされた画像から得られる画像を表示するように適合されるビューア及びビューアに表示されている画像内のユーザ指定関心領域の情報を受信するように構成される入力ユニットを含む。コントローラは、画像キャプチャ装置が操作可能な装置の作業端部の複数の画像の中のユーザ指定関心領域の画像をキャプチャするように、第２の可動アームの動作を命令し且つ制御するように構成される。

幾つかの例では、入力ユニットは、ビューアのディスプレイスクリーンへのユーザの視線を追跡するように構成される視線追跡ユニットを含む。視線追跡ユニットは、ディスプレイスクリーンへのユーザの現在の注視ポイントを使用することによって関心領域を示すようにユーザによって操作可能なインジケータを含む。幾つかの例では、入力ユニットは、ビューアに表示されている画像を受信し且つテレストレータのディスプレイスクリーンに受信した画像を表示するように構成されたテレストレータユニットを含む。テレストレータユニットは、テレストレータユニットのディスプレイスクリーンに表示されている画像に関心領域を示すようにユーザによって操作可能であるマーカユニットを含む。

幾つかの例では、システムはさらにカメラを含み、操作可能な装置の作業端部の作業空間のキャプチャされた画像はカメラによってキャプチャされる。幾つかの例では、システムはさらに超音波プローブを含み、操作可能な装置の作業端部の作業空間のキャプチャされた画像は超音波プローブによってキャプチャされる。幾つかの例では、コントローラは、第２のロボットアームとの衝突を回避しながら第１のロボットアームの動作を制御するように第１のロボットアームと関連づけられ、操作可能な装置の基準座標系は共通基準座標系である。幾つかの例では、コントローラは、第１のロボットアームとの衝突を回避しながら第２のロボットアームの動作を制御するように第２のロボットアームと関連づけられ、画像キャプチャ装置の基準座標系は共通基準座標系である。

幾つかの例では、第１のロボットアームは、操作可能な装置の作業端部のそれぞれの制御可能な位置及び配向に関して、第１のロボットアームに対して複数の可能な形態があるように、第１のロボットアームの冗長自由度運動を提供するように一緒に結合される第１の複数のジョイント及び第１の複数のリンクを含む。コントローラは、操作可能な装置の作業端部の所望の位置及び配向にしたがって並びに第１と第２のロボットアームとの間の衝突を回避するための第２の制約にしたがって、第１のロボットアームに第１のロボットアームに対する複数の可能な形態の１つに構成されるように命令することによって、第１のロボットアームの動作を制御するように構成される。

幾つかの例では、第２のロボットアームは、画像キャプチャ装置のそれぞれの制御可能な位置及び配向に関して、第２のロボットアームに対して複数の可能な形態があるように、第２のロボットアームの冗長自由度運動を提供するように一緒に結合される第２の複数のジョイント及び第２の複数のリンクを含む。コントローラは、画像キャプチャ装置の所望の位置及び配向にしたがって並びに第１と第２のロボットアームとの間の衝突を回避するための第２の制約にしたがって、第２のロボットアームに第２のロボットアームに対する複数の可能な形態の１つに構成されるように命令することによって、第２のロボットアームの動作を制御するように構成される。

幾つかの例では、第１のロボットアームは、操作可能な装置の作業端部のそれぞれの制御可能な位置及び配向に関して、第１のロボットアームに対して複数の可能な形態があるように、第１のロボットアームの冗長自由度運動を提供するように一緒に結合される第１の複数のジョイント及び第１の複数のリンクを含む。第２のロボットアームは、画像キャプチャ装置のそれぞれの制御可能な位置及び配向に関して、第２のロボットアームに対して複数の可能な形態があるように、第２のロボットアームの冗長自由度運動を提供するように一緒に結合される第２の複数のジョイント及び第２の複数のリンクを含む。コントローラは、第１及び第２のロボットアームの一方の動作を、第１及び第２のロボットアームの他方との衝突を回避するための複数の可能な形態の１つに構成されるように、制御するように構成される。

幾つかの例では、コントローラはさらに、第１及び第２のロボットアームのどちらの一方が、第１及び第２のロボットアームの他方との衝突を避けるような複数の可能な形態の１つに構成されるようになるかを、コスト関数を最小にするように第１及び第２のロボットアームの現在の形態と第１及び第２のロボットアームの可能な形態との間の差を処理することによって、決定するように構成される。幾つかの例では、コントローラは、第１及び第２のロボットアームのどちらの一方が、第１及び第２のロボットアームの他方との衝突を避けるような複数の可能な形態の１つに構成されるようになるかを、コスト関数を最小にするようにそれらの現在の形態からそれらのそれぞれの複数の可能な形態の他のものに動くための第１及び第２のロボットシステムの必要なジョイント動作を処理することによって、決定するように構成される。

幾つかの実施形態と整合するのは、第１と第２のロボットアームとの間の衝突を回避するための方法である。第１のロボットアームは、作業端部を有する操作可能な装置を保持する。第２のロボットアームは、そこから操作可能な装置の作業端部の３次元コンピュータモデルが生成可能である操作可能な装置の作業端部の複数の画像をキャプチャするための画像キャプチャ装置を保持する。方法は、操作可能な装置の作業端部の複数の画像の少なくとも１つの画像を使用することにより、画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の位置及び配向を決定するステップであって、画像キャプチャ装置の基準座標系はキャプチャされた画像の透視投影に対応する、ステップ；画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の決定された位置及び配向を使用することにより、共通基準座標系に対する第１及び第２のロボットアームの一方の形態及び位置を決定するステップ；第１及び第２のロボットアームの他方に関して受信されるジョイント位置情報を使用することにより、共通基準座標系に対する第１及び第２のロボットアームの他方の形態及び位置を決定するステップ；共通基準座標系に対する第１及び第２のロボットアームの決定された形態及び位置を使用して、第１と第２のロボットアームとの間の差し迫った衝突を決定するステップ；並びに差し迫った衝突を避けるように第１及び第２のロボットアームの一方によって取られることになる行動を命令するステップ；を含む。

幾つかの実施形態と整合して、ロボットシステムは、作業端部を有する操作可能な装置を保持している第１のロボットアーム及び画像キャプチャ装置を保持している第２のロボットアームに対して第１のロボットアームを位置合わせするようにプログラムされるプロセッサを含む。プロセッサは位置合わせを：第１及び第２のロボットアームの少なくとも一方の外部トラッキングデータ並びに運動学データを使用して、第１及び第２のロボットアームの初期位置で第１及び第２のロボットアームの低精度位置合わせを実行することによって；第１のロボットアームの少なくとも一部の画像キャプチャ装置によってキャプチャされた少なくとも１つの画像並びに第１及び第２のロボットアームの少なくとも一方の運動学データを使用して、第１のセットアップ位置に対して第１及び第２のロボットアームの中精度位置合わせを実行することによってであって、第１のセットアップ位置は低精度位置合わせを示す第１の安全マージンを含む、中精度位置合わせを実行することによって；並びに操作可能な装置の作業端部の画像キャプチャ装置によってキャプチャされた少なくとも１つの画像並びに第１及び第２のロボットアームの少なくとも一方の運動学データを使用して、第２のセットアップ位置に対して第１及び第２のロボットアームの高精度位置合わせを実行することによってであって、第２のセットアップ位置は中精度位置合わせを示す第２の安全マージンを含む、高精度位置合わせを実行することによって；実行する。

幾つかの実施形態と整合するのは、第１及び第２のロボットアームを位置合わせするためにプロセッサによって実装される方法である。第１のロボットアームは、作業端部を有する操作可能な装置を保持する。第２のロボットアームは、画像キャプチャ装置を保持する。方法は、第１及び第２のロボットアームの少なくとも一方の外部トラッキングデータ並びに運動学データを使用して、第１及び第２のロボットアームの初期位置で第１及び第２のロボットアームの低精度位置合わせを実行するステップ；第１のロボットアームの少なくとも一部の画像キャプチャ装置によってキャプチャされた少なくとも１つの画像並びに第１及び第２のロボットアームの少なくとも一方の運動学データを使用して、第１のセットアップ位置に対して第１及び第２のロボットアームの中精度位置合わせを実行するステップであって、第１のセットアップ位置は低精度位置合わせを示す第１の安全マージンを含む、ステップ；並びに操作可能な装置の作業端部の画像キャプチャ装置によってキャプチャされた少なくとも１つの画像並びに第１及び第２のロボットアームの少なくとも一方の運動学データを使用して、第２のセットアップ位置に対して第１及び第２のロボットアームの高精度位置合わせを実行するステップであって、第２のセットアップ位置は中精度位置合わせを示す第２の安全マージンを含む、ステップ；を含む。

本発明の追加的な目的、特徴及び利点は、その説明が添付の図面と併用されるべきである、好適な実施形態の以下の記載から明らかになるであろう。

本発明の態様を利用するロボットシステムのブロック図を示す。 画像キャプチャ装置ロボットアームが操作可能な装置ロボットアームに対して動くとき、画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームのマルチ（多）精度位置合わせを実行するための、本発明の態様を利用するロボットシステムに実行される方法のフロー図を示す。 画像キャプチャ装置基準座標系の透視投影から、独立して操作されるロボットアームの間の衝突を自動的に回避するための、本発明の態様を利用するロボットシステムに実行される方法のフロー図を示す。 操作可能な装置基準座標系の透視投影から、独立して操作されるロボットアームの間の衝突を自動的に回避するための、本発明の態様を利用するロボットシステムに実行される方法のフロー図を示す。 画像キャプチャ装置ロボットアームの画像キャプチャ装置が、他のロボットアームとの衝突を回避しながら、ユーザ選択関心領域の画像をキャプチャするように、画像キャプチャ装置ロボットアームを制御するための、本発明の態様を利用するロボットシステムに実行される方法のフロー図を示す。 画像キャプチャ装置ロボットアーム動作を動作計画にしたがって他のロボットアームとの衝突を回避しながら制御するための、本発明の態様を利用するロボットシステムに実行される方法のフロー図を示す。 結合制御モードで動作する２つのロボットアームの衝突回避のために使用される、本発明の態様を利用するロボットシステムの一部のブロック図を示す。 本発明の態様が使用可能である多開口医療ロボットシステムを用いる手術室の斜視図を示す。 本発明の態様が使用可能である多開口医療ロボットシステムのための患者側カートの正面図を示す。 本発明の態様が使用可能である多開口医療ロボットシステムで使用可能な器具の斜視図を示す。 本発明の態様を使用するロボットシステムのコンソールの正面図を示す。 本発明の態様を使用するロボットシステムで使用可能な画像キャプチャシステムの斜視図を示す。 本発明の態様が使用可能である単一開口医療ロボットシステムのための患者側カートの斜視図を示す。 本発明の態様が使用可能である単一開口医療ロボットシステムで使用される、エントリガイドから延びる関節接続器具を持つエントリガイドの遠位端部の斜視図を示す。 本発明の態様が使用可能である単一開口医療ロボットシステムで使用される、エントリガイドの断面図を示す。

図１は、例として、方法２０００、２５００、及び４０００が２以上のロボット又は可動アームの間の衝突を自動的に回避するために実装される、ロボット又はコンピュータ支援システム１０００の様々な構成要素のブロック図を示す。図２は、ロボット又は可動アームの位置合わせに対する多ステップアプローチを記述する。図３、４は、独立して操作されるロボット又は可動アームに概して適用可能である方法２００、２５００を記載するために提供される。図５−７は、操作可能な装置ロボット又は可動アームを制御しているコントローラを通じて画像キャプチャ装置ロボット又は可動アームの動作を制御するのに概して適用可能である方法４０００を記載するために提供される。方法２０００、２５００、及び４０００が使用され得るロボットシステム１０００の例は、図８−１５を参照して記載される。図８−１２は、作業部位への侵入のための多開口を伴う処置を実行するのに適している多ロボット又は可動アームを持つ患者側カート３０１０を使用するロボット又はコンピュータ支援システム３０００を記載するために提供される。図１３−１５は、ロボットシステム３０００のための代替患者側カート４０１０を記載するために提供され、このロボットシステムでは、患者側カート４０１０は、作業部位への侵入のための単一開口を伴う処置を実行するのに適している単一ロボット又は可動アームを有する。

図１−７に示される方法２０００、２５００、４０００の詳細を記載する前に、ロボット又はコンピュータ支援システム３０００が、ロボット又はコンピュータ支援システム１０００の実装の状況及び追加的な詳細を提供するために最初に記載される。医療ロボット又はコンピュータ支援手術システムがここではロボット又はコンピュータ支援システム１０００の例として記載されているが、本出願において請求項に記載される本発明の様々な態様は、このようなタイプのロボット又はコンピュータ支援システムに限定されるものではないことが理解されるであろう。

図８を参照すると、手術室の斜視図が示され、その中に、医療ロボットシステム３００が患者に医療処置を実行するために外科医に対して提供される。この場合の医療ロボットシステムは、患者側カート３０１０、画像キャプチャシステム３０２０、及びコンソール３０３０を含む低侵襲ロボット手術（ＭＩＲＳ）システムである。

図９を参照して詳細に記載されるように、患者側カート３０１０は、器具及び少なくとも１つの内視鏡のような複数の装置を保持し且つ操作するための複数のロボットアームを有する。患者側カート３０１０を使用するとき、複数のロボット又は可動アームによって保持されている装置のそれぞれは、それ自身の開口を通って患者の中に挿入される。

図１１を参照して詳細に記載されるように、コンソール３０３０は、患者側カート３０１０の複数のロボットアームの関連付けられる１つの運動及びそれらのそれぞれの保持される装置の動作を命令するための入力装置を含む。コンソール３０３０及び患者側カート３０１０は、ケーブル３０３１を通じて通信する。

図１２を参照して詳細に記載されるように、画像キャプチャシステム３０２０は、患者内の作業部位における指定された関心領域内の１又は複数の物体の、一連の２次元画像投影のような、複数の画像をキャプチャする。複数の画像は、次に、コンピュータ断層撮影法で使用されるような従来の方法で、１又は複数の物体の３次元形状の事前知識を必要とすることなしに１又は複数の物体の３次元コンピュータモデルを生成するために使用され得る。

コントロールユニット３０２１が、関節式手術台３０４０の下又は側部に設けられ得るので、助手は、制御ユニット３０２１に設けられたジョイスティック又は他の制御入力部を使用して画像キャプチャシステム３０２０の画像キャプチャ装置の運動を手動で制御し得る。制御ユニット３０２１及び画像キャプチャシステム３０２０は、ケーブル３０２２を通じて又は無線技術を使用して通信する。代替的には、制御ユニット３０２１は、他の場所に設けられ得るとともに、有線又は無線移動エンティティとして画像キャプチャシステム３０２０と通信する。制御ユニット３０２１は、少なくとも１つの処理ユニット及びメモリを含み得る。幾つかの例では、処理ユニットは、制御ユニット３０２１のハードウェア及び／又はソフトウェアの動作及び／又は実行を制御し得る。処理ユニットは、１又は複数の中央処理ユニット（ＣＰＵ）、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、カスタムプロセッサ／特定用途向け集積回路（ＡＳＩＣ）、等を含み得る。メモリは、１又は複数のソフトウェア及び／又はファームウェアアプリケーション並びに制御ユニット３０２１によって使用されることになる様々なデータ構造を格納するために使用され得る。メモリはまた、１又は複数のタイプの機械可読媒体を含み得る。機械可読媒体の幾つかの一般的な形態は、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを持つ任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はそこからプロセッサ又はコンピュータが読み取るように適合される任意の他の媒体を含み得る。

代替的には、画像キャプチャシステム３０２０の画像キャプチャ装置の運動は、本発明の態様にしたがってコンソール３０３０の入力装置の関連付けられた１つを操作する外科医によって制御され得る。代替的には、画像キャプチャシステム３０２０の画像キャプチャ装置の運動は、本発明の態様にしたがって患者側カート３０１０のロボットアームとの衝突を回避しながら、画像キャプチャ装置が作業部位におけるユーザ指定関心領域の複数の画像を自動的にキャプチャするように、コンソール３０３０のプロセッサによって自動的に制御され得る。コンソール３０３０及び画像キャプチャシステム３０２０は、ケーブル３０５０を通じて通信する。

図９は、例として、患者側カート３０１０の正面図を示す。典型的な応用では、ロボットアーム３４、３６は、器具３３、３５を保持し、ロボットアーム３８はステレオ内視鏡３７を保持する。第４のロボットアーム３２は、他の器具３１が器具３３、３５及び内視鏡３７と併せて作業部位に挿入され得るように利用可能である。代替的には、第４のロボットアーム３２は、超音波トランスデューサのような、第２の内視鏡又は他の画像キャプチャ装置を、作業部位に挿入するために使用され得る。

ロボット又は可動アームのそれぞれは、従来、互いに結合されるとともに作動可能なジョイントを通じて操作されるリンクで形成される。ロボットアームのそれぞれは、セットアップアーム及び装置マニピュレータを含む。セットアップアームは、ピボットポイントが、患者への入口開口部に存在するように、その保持される装置を位置決めする。装置マニピュレータは、次に、その保持される装置がピボットポイント周りに枢動されることができ、入口開口の中に挿入及び入口開口から退避される（引っ込められる）ことができ、そのシャフト軸周りに回転されることができるように、その保持される装置を操作し得る。この例では、ロボットアームは、患者側カート３０１０の可動ベース部３０１５に取り付けられる。代替的には、ロボットアームは、手術台の側部のスライダに、壁のスライダに又は手術室の天井のスライダに取り付けられ得る。

図１０は、例として、器具３３、３５又は３１のいずれかのために使用され得る器具１００を示す。器具１００は、インタフェースハウジング１０８、シャフト１０４、作業端部１０２、及び１又は複数の手首ジョイントを含む手首機構１０６を有する。インタフェースハウジング１０８は、取り付けられるロボットアームの器具マニピュレータの（モータのような）アクチュエータに機械的に結合されるように、ロボットアームに取り外し可能に取り付けられる。器具マニピュレータのアクチュエータに結合され且つシャフト１０４を通ってインタフェースハウジング１０８から手首機構１０６の１又は複数の手首ジョイントに及び器具のエンドエフェクタ１０２のジョーに延びる、ケーブル又はロッドは、従来の方法で手首ジョイント及びジョーを動かす。器具マニピュレータはまた、器具を入口開口におけるピボットポイント周りのピッチ及びヨー角回転で操作することができ、器具を器具のシャフト軸周りのロール角回転で操作することができ、プロセッサ４３によって命令されるようにロボットアームのレールに沿って器具を挿入及び退避させることができる。

図１１は、例として、コンソール３０３０の正面図を示す。コンソール３０３０は、好ましくは６自由度（“ＤＯＦ”）で患者側カート３０１０の複数のロボット又は可動アームによって保持されている関連付けられる装置を操作するためにユーザがそれぞれ彼／彼女の左及び右手で把持し得る、左及び右入力装置４１、４２を有する。つま先及び踵制御部を持つフットペダル４４が、ユーザがフットペダルに関連付けられる装置の運動及び／又は作動を制御し得るように、コンソール３０３０に設けられる。プロセッサ４３が、制御及び他の目的のためにコンソールに設けられる。ステレオ視ディスプレイ４５もまたコンソールに設けられるので、ユーザは内視鏡３７のステレオカメラによってキャプチャされた画像からステレオ視で作業部位を見ることができる。左及び右接眼レンズ４６及び４７がステレオ視ディスプレイ４５に設けられるので、ユーザは、ディスプレイ４５内部の左及び右２次元（「２Ｄ」）ディスプレイスクリーンをそれぞれユーザの左及び右目で見ることができる。

プロセッサ４３は、医療ロボットシステムの様々な機能を実行する。それが実行する１つの重要な機能は、外科医が、その時点で入力装置４１、４２と関連づけられている、ツール器具３１、３３、３５及び内視鏡３７のような、装置を効果的に操作できるように、入力装置４１、４２の機械的な運動を、関連付けられる装置マニピュレータのそれぞれのジョイントを作動させるようそれらの関連付けられる装置マニピュレータのアクチュエータへの命令に変換すること及び伝送することである。プロセッサ４３の他の機能は、方法、交差結合制御ロジック、及び本明細書に記載されるコントローラを実装することである。

プロセッサとして記載されているが、プロセッサ４３は、ハードウェア、ソフトウェア及びファームウェアの任意の組み合わせによって実装され得ることが理解されるべきである。また、本明細書に記載されるその機能は、１つのユニットによって実行されることができる又は幾つかのサブユニットの間で分割されることができ、それぞれは、ハードウェア、ソフトウェア及びファームウェアの任意の組み合わせによって実装され得る。さらに、コンソールの一部として又はコンソールに物理的に隣接して示されているが、プロセッサ４３はまた、システム３０００全体に渡るサブユニットとして分散され得る。

本明細書に参照によって援用される、“Ｃｏｏｐｅｒａｔｉｖｅ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｔｅｌｅｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ”と題する米国特許第６，６５９，９３９号明細書は、本明細書に記載されるような多開口医療ロボットシステムの追加的な詳細を提供する。

図１２は、例として、ベース部１１０６に取り付けられるロボット又は可動アーム１１０１を有する画像キャプチャシステム３０２０を示す。ロボットアーム１１０１は、回転台１１０７、第１のリンク１１０２、第２のリンク１１０３、手首部１１０４、及びＣアーム１１０５を有する。回転台１１０７は、回転台ジョイント１１０８を使用してベース部１１０６に対して（矢印“ａ”で示されるように）回転可能である。第１のリンク１１０２は、肩部ジョイント１１０９を使用して回転台１１０７に対して（矢印“ｂ”で示されるように）回転可能である。第２のリンク１１０３は、肘部ジョイント１１１０を使用して第１のリンク１１０２に対して（矢印“ｃ”で示されるように）回転可能である。手首部１１０４は、ロールジョイント１１１１を使用して第２のリンク１１０３に対して（矢印“ｄ”で示されるように）回転可能である。Ｃアーム１１０５は、ピッチジョイント１１１２を使用して手首部１１０４に対して（矢印“ｅ”で示されるように）回転可能であり且つヨージョイント１１２１を使用して手首部１１０４に対して（矢印“ｊ”で示されるように）回転可能である。

Ｃアーム１１０５は、第１の肢１１１３、第２の肢１１１４、及び中央部分１１１５を有する。第１及び第２の肢１１１３、１１１４は、伸長ジョイント１１２０を使用して中央要素１１１５から離れて及び中央要素１１１５に向かって（矢印“ｆ”で示されるように）伸縮可能である。第１の肢１１１３は、その遠位端部に配置されたＸ線検出器１１１６を有し、第２の肢１１１４は、その遠位端部に配置されたＸ線源１１１７を有する。Ｘ線検出器１１１６は、第１の肢１１１３の遠位端部に対して（矢印“ｇ”で示されるように）回転可能である。Ｘ線源１１１７は、第２の肢１１１４の遠位端部に対して（矢印“ｈ”で示されるように）回転可能である。この構成では、Ｘ線源及びＸ線検出器は、画像キャプチャ装置を形成するようにＣアーム１１０５の対向する端部に配置されている。回転台ジョイント１１０８、肩部ジョイント１１０９、肘部ジョイント１１１０、ロールジョイント１１１１、ピッチジョイント１１１２、ヨージョイント１１２１、及び伸長ジョイント１１２０を作動させることによって、Ｃアーム１１０５は、（Ｘ線源１１１７及びＸ線検出器１１１６を有する）画像キャプチャ装置が患者内の作業部位における指定された関心領域内の１又は複数の物体の一連の２次元投影をキャプチャし得るようＣアーム１１０５が動かされ得るように、患者に対して位置決めされ得る。一連の２次元投影はその後、コーンビームコンピュータ断層撮影法のための従来の方法で、１又は複数の物体の３次元コンピュータモデルを生成するために使用され得る。

以前に参照により援用された特許文献３は、このような画像キャプチャシステム及び患者への医療処置の実行の間のその使用に関する追加的な詳細を提供する。

図１３は、例として、複数の関節式器具を作業部位にエントリガイド２００によって患者の単一の入口開口部を通って導入するためにロボットシステム３０００で使用可能である代替の患者側カート４０１０を示す。開口部は、低侵襲切開部又は自然の人体開口部であり得る。エントリガイド２００は、ロボットアーム４０１１によって保持され且つ操作される円筒形構造物であり、このロボットアームは、ベース部４０５１に取り付けられるとともにセットアップアーム４０１２及びエントリガイドマニピュレータ４０１３を含む。セットアップアーム４０１２は、エントリガイド２００を開口部において位置決めするために使用される複数のリンク及びジョイントを有する。図に示されるように、セットアップアーム４０１２は、（矢印“Ａ”によって示されるように）セットアップアーム４０１２の高さを調整するための直動ジョイント及び（矢印“Ｂ”及び“Ｃ”によって示されるように）セットアップアーム４０１２の水平位置を調整するための複数の回転ジョイントを含む。エントリガイドマニピュレータ４０１３は、ロボット式にエントリガイド２００（及びその時点でそれの中に配置される関節式器具）を、矢印Ｄ、Ｅ及びＦによって示されるように、ピボットポイント周りのヨー、ピッチ及びロール角回転でそれぞれ枢動させるために使用される。関節式器具マニピュレータ（図示せず）はハウジング４０１４の中に存在する。

図１４に示されるように、エントリガイド２００は、その遠位端部から延びる関節式手術器具２３１、２４１及び関節式ステレオカメラ器具２１１（又は他の画像キャプチャ装置器具）のような関節式器具を有する。カメラ器具２１１は、その先端に収容される１対のステレオ画像キャプチャ要素３１１、３１２及び（その近位端部で光源に結合される）光ファイバケーブル３１３を有する。手術器具２３１、２４１は、作業端部３３１、３４１を有する。３つの器具２３１、２４１のみが示されているが、エントリガイド２００は、患者内の作業部位で医療処置を実行するために必要に応じて追加的な器具をガイドし得る。例えば、図１５のエントリガイド２００の断面図に示されるように、通路３５１は、他の関節式手術ツールをエントリガイド２００を通って及びその遠位端部を通って外に延ばすために利用可能である。通路４３１、４４１は、それぞれ、関節式手術ツール器具２３１、２４１によって使用され、通路３２１は関節式カメラ器具２１１のために使用される。

患者側カート４０１０がロボットシステム３０００で使用されるとき、コンソール３０３０のステレオ視ディスプレイ４５は、関節式カメラ器具２１１によってキャプチャされたステレオ画像から得られたステレオ画像を表示する。また、コンソール３０３０のプロセッサ４３は、その時点で入力装置４１、４２と関連付けられる、エントリガイド２００、関節式手術器具２３１、２４１、及び関節式カメラ器具２１１のような、装置のジョイントを作動させるために、入力装置４１、４２の機械的な運動を変換し且つ伝送する。

関節式器具のそれぞれは、複数の作動可能なジョイント及びジョイントに結合された複数のリンクを有する。例として、図１４に示されるように、第２の関節式器具２４１は、第１、第２、及び第３のリンク３２２、３２４、３２６、第１及び第２のジョイント３２３、３２５、並びに手首アセンブリ３２７を有する。第１のジョイント３２３は第１及び第２のリンク３２２、３２４を結合し、第２のジョイント３２５は第２お酔い第３のリンク３２４、３２６を結合するので、第１及び第３のリンク３２２、３２６は互いに平行のままでありながら、第２のリンク３２４は第１のジョイント３２３周りにピッチ及びヨーで枢動し得る。第１の関節式器具２３１及びカメラ関節式器具２１１は、同様に構成され且つ操作され得る。

本明細書に参照によって援用される、“Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ”と題する米国特許第７，７２５，２１４号明細書は、本明細書に記載されるような単一開口医療ロボットシステムの追加的な詳細を提供する。

次に図１に戻って参照すると、ロボットシステム１０００の構成要素のブロック図が、本発明の様々な態様を記載するために示される。この例では、ロボットシステム１０００は、第１の操作可能な装置１００１、第１の画像キャプチャ装置１００２、及びカメラ１００３を有する。第１の操作可能な装置１００１は、患者側カート３０１０のロボットアームによって保持され且つ操作される器具３３、３５の１つのような器具であり得る。代替的には、第１の操作可能な装置１００１は、患者側カート４０１０のロボットアームによって保持され且つ操作されるエントリガイド２００のようなそこを通って関節式器具が伸びるエントリガイドであり得る。第２の操作可能な装置１００４もまた示され、これは、第１の操作可能な装置１００１のような他の装置であり得る。第２の画像キャプチャ装置１００５もまた示され、これは、第１の画像キャプチャ装置１００２のものとは異なる画像化モダリティを提供し得る。２つの操作可能な装置及び２つの画像キャプチャ装置が説明用に示されているが、実際には、多かれ少なかれこのような装置のそれぞれは、作業部位での物体への作業又は処置を実行するためにロボットシステム１０００に含まれ得ることが理解されるべきである。追加的なカメラもまた含まれ得る。

装置コントローラ１０２１は、入力ユニット１０３１からの命令に応じて第１の操作可能な装置１００１の作業端部を位置決め及び配向するようにロボットアーム１０１１の動作を制御する。入力ユニット１０３１は、コンソール３０３０の入力装置４１、４２又はフットペダル４４の１つのような、ユーザ操作式入力装置であり得る。代替的には、入力ユニット１０３１は、格納されたプログラム命令を実行する、コンソール３０３０のプロセッサ４３のような、プロセッサであり得る。代替的には、入力ユニット１０３１は、第１の画像キャプチャ装置１００２、カメラ１００３、第２の操作可能な装置１００４、及び第２の画像キャプチャ装置１００５に関連付けられるコントローラ１０２２、１０２３、１０２４、１０２５及び／又は入力ユニット１０３２、１０３３、１０３４、１０３５の１又は複数とバス１０４０を介して通信する、結合制御ロジックであり得る。

同様に、装置コントローラ１０２４は、入力ユニット１０３４からの命令に応じて第２の操作可能な装置１００４の作業端部を位置決め及び配向するようにロボットアーム１０１４の動作を制御する。入力ユニット１０３４は、コンソール３０３０の入力装置４１、４２又はフットペダル４４の１つのような、ユーザ操作式入力装置であり得る。代替的には、入力ユニット１０３４は、格納されたプログラム命令を実行する、コンソール３０３０のプロセッサ４３のような、プロセッサであり得る。代替的には、入力ユニット１０３４は、第１の操作可能な装置１００１、第１の画像キャプチャ装置１００２、カメラ１００３、及び第２の画像キャプチャ装置１００５に関連付けられるコントローラ１０２１、１０２２、１０２３、１０２５及び／又は入力ユニット１０３１、１０３２、１０３３、１０３５の１又は複数とバス１０４０を介して通信する、結合制御ロジックであり得る。

第１の画像キャプチャ装置１００２は、物体の複数の２次元画像スライス又は投影をキャプチャするようにそのロボットアーム１０１２（又は他のモータ式機構）によって操作可能であり、このスライス又は投影から、物体の３次元モデルが、超音波、Ｘ線透視撮影法、コンピュータ断層撮影法（ＣＴ）、及び磁気共鳴イメージング（ＭＲＩ）のような画像化モダリティを使用して物体の形状の事前知識無しにコンピュータ生成され得る。コントローラ１０２２は、入力ユニット１０３２からの命令に応じて第１の画像キャプチャ装置１００２を位置決め及び配向するようにロボットアーム１０１２の動作を制御する。入力ユニット１０３２は、コンソール３０３０の入力装置４１、４２又はフットペダル４４の１つのような、ユーザ操作式入力装置であり得る。代替的には、入力ユニット１０３２は、格納されたプログラム命令を実行する、コンソール３０３０のプロセッサ４３のような、プロセッサであり得る。代替的には、入力ユニット１０３２は、第１の操作可能な装置１００１、カメラ１００３、第２の操作可能な装置１００４、及び第２の画像キャプチャ装置１００５に関連付けられるコントローラ１０２１、１０２３、１０２４、１０２５及び／又は入力ユニット１０３１、１０３３、１０３４、１０３５の１又は複数とバス１０４０を介して通信する、結合制御ロジックであり得る。第１の画像キャプチャ装置１００２及びそのロボットアーム１０１２は、画像キャプチャシステム３０２０のような画像キャプチャシステムを形成するように組み合わされ得る。

第２の画像キャプチャ装置１００５は、作業部位での物体の複数の２次元画像投影をキャプチャするように、第１の画像キャプチャ装置１００２と同様に構成され且つ操作されることができ、この投影から、物体の３次元モデルが、超音波、Ｘ線透視撮影法、コンピュータ断層撮影法（ＣＴ）、及び磁気共鳴イメージング（ＭＲＩ）のような画像化モダリティを使用して物体の形状の事前知識無しにコンピュータ生成され得る。典型的には、異なる画像化モダリティが第１及び第２の画像キャプチャ装置１００２、１００５によって提供される。第１の画像キャプチャ装置１００２と同様に構成されるとき、コントローラ１０２５は、入力ユニット１０３５からの命令に応じて第２の画像キャプチャ装置１００５を位置決め及び配向するようにロボットアーム１０１５の動作を制御する。入力ユニット１０３５は、コンソール３０３０の入力装置４１、４２又はフットペダル４４の１つのような、ユーザ操作式入力装置であり得る。代替的には、入力ユニット１０３５は、格納されたプログラム命令を実行する、コンソール３０３０のプロセッサ４３のような、プロセッサであり得る。代替的には、入力ユニット１０３５は、第１の操作可能な装置１００１、第１の画像キャプチャ装置１００２、カメラ１００３、及び第２の操作可能な装置１００４に関連付けられるコントローラ１０２１、１０２２、１０２３、１０２４、及び／又は入力ユニット１０３１、１０３２、１０３３、１０３４の１又は複数とバス１０４０を介して通信する、結合制御ロジックであり得る。第２の画像キャプチャ装置１００５及びそのロボットアーム１０１５は、画像キャプチャシステム３０２０のような画像キャプチャシステムを形成するように組み合わされ得る。

代替的には、第２の画像キャプチャ装置１００５は、第１の画像キャプチャ装置１００２のものとは異なって構成され得る。例えば、第２の画像キャプチャ装置１００５は、それ自身のロボットアーム、コントローラ、及び入力ユニットを有するのではなく、第１及び第２の操作可能な装置１００１、１００４の一方によって保持され、位置決めされ、及び配向され得る。このような第２の画像キャプチャ装置の例は、ドロップイン（ｄｒｏｐ−ｉｎ）超音波プローブ又は光コヒーレントトモグラフィプローブを含む。このような超音波プローブの詳細に関して、例えば、本明細書に参照によって援用される、“Ｌａｐａｒｏｓｃｏｐｉｃ Ｕｌｔｒａｓｏｕｎｄ Ｒｏｂｏｔｉｃ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ”と題する米国特許出願公開第２００７／００２１７３８号明細書を参照されたい。

図９の内視鏡３７のような、カメラ１００３は、作業部位の立体画像をキャプチャするためにロボットアーム１０３１によって保持され且つ操作され得る。代替例として、カメラ１００３は、図１４の関節式カメラ器具２１１であり得る。コントローラ１０２３は、入力ユニット１０３３からの命令に応じてカメラ１００３の画像キャプチャ要素を位置決め及び配向するようにロボットアーム１０１３（又は関節式カメラ器具２１１のジョイント）の動作を制御する。入力ユニット１０３３は、コンソール３０３０の入力装置４１、４２の１つのような、ユーザ操作式入力装置であり得る。代替的には、入力ユニット１０３３は、格納されたプログラム命令を実行する、コンソール３０３０のプロセッサ４３のような、プロセッサであり得る。代替的には、入力ユニット１０３３は、第１の操作可能な装置１００１、画像キャプチャ装置１００２、第２の操作可能な装置１００４、及び第２の画像キャプチャ装置１００５に関連付けられるコントローラ１０２１、１０２２、１０２４、１０２５及び／又は入力ユニット１０３１、１０３２、１０３４、１０３５の１又は複数とバス１０４０を介して通信する、結合制御ロジックであり得る。

代替的には、カメラ１００３は、それ自身のロボットアーム、コントローラ、及び入力ユニットを有するのではなく、第１及び第２の操作可能な装置１００１、１００４の一方によって保持され、位置決めされ、及び配向され得る。例えば、カメラは、テザー（ｔｅｔｈｅｒ）を引き寄せる操作可能な装置によって配向可能であるテザー（ｔｅｔｈｅｒｅｄ）カメラであり得る。このようなテザーカメラの例は、本明細書に参照によって援用される、“Ｅｓｔｉｍａｔｉｏｎ
ｏｆ ａ Ｐｏｓｉｔｉｏｎ ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ ｏｆ ａ Ｆｒａｍｅ Ｕｓｅｄ ｉｎ Ｃｏｎｔｒｏｌｌｉｎｇ Ｍｏｖｅｍｅｎｔ ｏｆ ａ Ｔｏｏｌ”と題する米国特許出願公開第２０１２／０２９００１３４号明細書に記載されている。

ロボットアーム１０１１、１０１２、１０１３、１０１４、１０１５のそれぞれは、
複数のリンク並びにその位置及び／又は速度が複数のジョイントセンサによって感知される複数の作動可能なジョイントを含む。各ロボットアーム１０１１、１０１２、１０１３、１０１４、１０１５の複数のジョイントセンサからの情報は、このジョイント情報がロボットアーム１０１１、１０１２、１０１３、１０１４、１０１５の形態情報を示しているので、制御目的のためにそれぞれのコントローラ１０２１、１０２２、１０２３、１０２４、１０２５に提供されるとともに、衝突回避目的のためにバス１０４０を通して他のコントローラの１又は複数に提供され得る。

制御ユニット１０２１−１０２５のそれぞれは、少なくとも１つの処理ユニット及びメモリを含み得る。幾つかの例では、処理ユニットは、それぞれの制御ユニット１０２１−１０２５のハードウェア及び／又はソフトウェアの動作及び／又は実行を制御し得る。処理ユニットのそれぞれは、１又は複数の中央処理ユニット（ＣＰＵ）、マルチコアプロセッサ、マイクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、カスタムプロセッサ／特定用途向け集積回路（ＡＳＩＣ）、等を含み得る。メモリは、１又は複数のソフトウェア及び／又はファームウェアアプリケーション並びにそれぞれの制御ユニット１０２１−１０２５によって使用されることになる様々なデータ構造を格納するために使用され得る。メモリはまた、１又は複数のタイプの機械可読媒体を含み得る。機械可読媒体の幾つかの一般的な形態は、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを持つ任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はそこからプロセッサ又はコンピュータが読み取るように適合される任意の他の媒体を含み得る。

ロボットシステム１０００はまた、ステレオカメラ１００３によってキャプチャされた画像から画像プロセッサ１０５０によって生成されているステレオ画像並びに／又は第１の画像キャプチャ装置１００２及び／又は第２の画像キャプチャ装置１００５によってキャプチャされた１又は複数の物体の複数の２次元画像スライスから画像プロセッサ１０５０によって生成されている１又は複数の物体の３次元コンピュータモデルを表示するためのステレオビューア又はディスプレイ１０５１を含む。カメラ１００３並びに第１及び第２の画像キャプチャ装置１００２、１００５の一方又は両方から得られた画像を同時にディスプレイ１０５１に表示する前に、画像プロセッサ１０５０は、１又は複数の物体の３次元コンピュータモデルが、ステレオカメラ１００３によってキャプチャされた画像から得られたステレオ画像の１又は複数の物体の画像に対して適切に重ね合わされ且つ位置決めされるように、画像を位置合わせする。

図３、４はそれぞれ、例として、独立して操作される画像キャプチャ装置と操作可能な装置ロボットアームとの間の衝突を回避するためにロボットシステム１０００に実装され得る方法２０００、２５００のフロー図を示す。説明目的のために２つの異なる方法として示されているが、方法２０００、２５００は、異なる観点から取られた本質的に同じ方法であることが理解されるべきである。特に、方法２０００は、画像キャプチャ装置基準座標系の観点からのものであるとともに、画像キャプチャ装置コントローラによって実行されることができ、方法２５００は、操作可能な装置基準座標系の観点からのものであるとともに、操作可能な装置コントローラによって実行されることができる。

１つの操作可能な装置のみがここでは方法を記載するために述べられているが、１より多い装置の作業端部が、画像キャプチャ装置の視野の中で見ることができるとき、これらの装置のそれぞれは、衝突がそれらのロボットアームと画像キャプチャ装置のロボットアームとの間で回避され得るように、方法にしたがって記載された操作可能な装置として処理されることになることが理解されるべきである。例えば、ロボットシステム１０００が図８の医療ロボットシステム３０００であり、それが図９の患者側カート３０１０を含むとき、両方の方法２０００、２５００の関連するブロックは、画像キャプチャ装置３０２０によってキャプチャされる画像の中で見ることができる操作可能な装置３１、３３、３５、３７のそれぞれに対して実行される。他方、ロボットシステム１０００が図８の医療ロボットシステム３０００であり、それが図１３の患者側カート４０１０を含むとき、両方の方法２０００、２５００の関連するブロックは、エントリガイドマニピュレータ４０１３に対して実行されるが、エントリガイド２００から伸びる関節式器具の作業端部は、エントリガイド２００の作業端部として扱われる。

混乱及び意図しない結果を避けるために、方法２０００、２５００の一方のみが、ロボットアーム間の衝突を回避するために実行される。また、好ましくは装置コントローラの１つのみが衝突回避方法を実行する。このような行動を取るコントローラは、事前に確立され得る、ユーザ選択され得る、又は幾つかの基準によって選択され得る。

ユーザ指定の例として、ロボットシステム１０００が図８の医療ロボットシステム３０００であり、それが図９の患者側カート３０１０を含むとき、外科医は、制御ユニット３０２１が方法２０００を実行すること又はプロセッサ４３が方法２５００を実行することのいずれかを選択するために、ステレオビューア４５に表示されているメニューと情報のやりとりをする。前に説明されたように、制御ユニット３０２１は、画像キャプチャシステム３０２０の画像キャプチャ装置１１１６、１１１７を保持し且つ操作するロボットアーム１１０１の動作を制御する。他方、プロセッサ４３は、器具３３を保持し且つ操作するロボットアーム３４の動作を制御するコントローラを実装し、この器具３３は、この例のための操作可能な装置であり得る。

ロボットシステム１０００が図８の医療ロボットシステム３０００であり、それが図１３の患者側カート４０１０を含むとき、方法２０００、２５００で言及される操作可能な装置は、関節式器具２１１、２３１、２４１の１つではなくエントリガイド２００である。この場合、画像キャプチャシステム３０２０のロボットアーム１１０１と衝突する又は同ロボットアーム１１０１によって打たれる危険性があるのはエントリガイドマニピュレータ４０１３である。関節式器具２１１、２３１、２４１は、患者の体の外側に延びる如何なるロボットアームの重要な部分も有さない。それらは単に、その動作が、図１３に示されるようなエントリガイドマニピュレータ４０１３のハウジング領域４０１４の中にあるように概して閉じ込められる、マニピュレータを有するに過ぎない。特筆すべきは、画像キャプチャシステム３０２０のロボットアーム１１０１とエントリガイドマニピュレータ４０１３との間の衝突回避が、画像キャプチャシステム３０２０のロボットアーム１１０１と患者側カート３０１０のロボットアーム３２、３４、３６、３８との間の衝突回避より単純になり得ることである。これは、衝突する画像キャプチャシステム３０２０のロボットアーム１１０１に対して患者側カート３０１０のより多くのロボットアーム３２、３４、３６、３８があるためだけでなく、患者側カート３０１０のロボットアーム３２、３４、３６、３８が、患者側カート４０１０のエントリガイドマニピュレータ４０１３より頻繁に動き得るためである。

図２は、例として、画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームを位置合わせするための、ロボットシステム１０００に実装される、方法９０００のフロー図を示す。この方法を使用することで、より精度の高い位置合わせが、画像キャプチャ装置ロボットアームが操作可能な装置ロボットアームにより近づくときに、実行される。このマルチステップアプローチは、安全な方法の高精度位置合わせを提供する。

ブロック９００１では、方法は、画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームの初期位置における共通基準座標系に対する画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームの低精度位置合わせ（例えば、数十センチメートルの精度範囲内）をロボットアームに対する外部トラッカ（追跡）システム及び運動学的データを使用して実行する。例として、外部トラッカシステムは、従来の方式で、画像キャプチャ装置及び操作可能な装置のロボットアームの既知の場所に戦略的に配置される、送信機、並びに、送信機の送信距離内に配置される、１又は多数の受信機を用いる、送信機／受信機タイプのものである得る。他の例として、外部トラッカシステムは、従来の方式で、画像キャプチャ装置及び操作可能な装置のロボットアームの既知の場所に戦略的に配置される、光学的に識別できるターゲット、並びに、ターゲットの遮られない眺めを有するように配置される、１又は多数の光学検出器を用いる、光学タイプのものであり得る。運動学的データは、例えば、画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームのジョイント位置を感知するように配置されるエンコーダによって、提供され得る。ジョイント位置はその後、ロボットアームの形態を推定するために、ロボットアームの構造、形状、及びサイズの知識を使用して従来の方法で組み合わされ得る。

ブロック９００２では、画像キャプチャ装置が、画像キャプチャ装置ロボットアームによって保持される画像キャプチャ装置が操作可能な装置ロボットアームの少なくとも一部の画像をキャプチャすることを可能にするほど十分近い一方、画像キャプチャ装置ロボットアームが操作可能な装置ロボットアームと衝突しないことを確実にするよう操作可能な装置ロボットアームから十分離れている低リスクセットアップ位置をとるように、操作可能な装置ロボットアームに向かって動かされる。低リスクセットアップ位置を決定することにおいて、方法はまた、衝突が画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間で生じないことを確実にする第１の安全マージンによる位置合わせの現在の低精度レベルを考慮する。例えば、第１の安全マージンは、画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間に、これらの２つのロボットアームの相対位置を決定するのに現在の低精度を構成するために、少なくとも１０センチメートルの距離を保持し得る。画像キャプチャ装置ロボットアームの動作は、例えば、安全でない動作を禁止するためのロボットアームコントローラからの支援を受けてロボットアームコントローラを通じてこのような動作を命令するオペレータによって、実行され得る。例えば、ロボットアームコントローラは、安全でない動作に対する抵抗を提供するように、ジョイスティックのような、触覚装置を通じたオペレータへの力フィードバックを提供し得る。代替的には、それは、ダイレクトモード又は交差結合モードのいずれかでロボットアームコントローラによって自動的に実行され得る。

ブロック９００３では、方法は、画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームのそれらの現在の位置における共通基準座標系に対する中精度位置合わせ（例えば、センチメートルの範囲精度内）を、操作可能な装置ロボットアームの少なくとも一部の１又は複数のキャプチャされた画像及びロボットアームに関する運動学的データを使用して、実行する
ブロック９００４では、方法は、次に、ユーザ指定関心領域の画像をキャプチャするように画像キャプチャ装置ロボットアームの動作を開始するためのオペレータの命令を待つ。

ブロック９００５では、画像キャプチャ装置が、画像キャプチャ装置ロボットアームによって保持される画像キャプチャ装置がユーザ指定関心領域の画像をキャプチャすることを可能にするほど十分近い一方、画像キャプチャ装置ロボットアームが操作可能な装置ロボットアームと衝突しないことを確実にするように操作可能な装置ロボットアームから十分離れている、画像キャプチャセットアップ位置をとるように操作可能な装置ロボットアームに向かって動かされる。画像キャプチャセットアップ位置を決定することにおいて、方法は、衝突が画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間で生じないことを確実にする第２の安全マージンによる位置合わせの現在の中精度レベルを考慮する。例えば、第２の安全マージンは、画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間に、これらの２つのロボットアームの相対位置を決定するのに現在の中精度を構成するために、少なくとも１センチメートルの距離を保持し得る。画像キャプチャ装置ロボットアームの動作は、例えば、安全でない動作を禁止するためのロボットアームコントローラからの支援を受けてロボットアームコントローラを通じてこのような動作を命令するオペレータによって、実行され得る。例えば、ロボットアームコントローラは、安全でない動作に対する抵抗を提供するように、ジョイスティックのような、触覚装置を通じたオペレータへの力フィードバックを提供し得る。代替的には、動作は、画像キャプチャ装置コントローラによって直接的に又は操作可能な装置コントローラとの結合制御モードを通じて、自動的に実行され得る。

ブロック９００６では、方法は、画像キャプチャ装置ロボットアームに、関心領域に対して動くように命令し且つ、画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームの衝突を回避しながらこのような動作の間に、画像キャプチャ装置ロボットアームに保持されている画像キャプチャ装置に関心領域の画像をキャプチャするように命令する。関心領域の画像をキャプチャすることに加えて、画像キャプチャ装置は、操作可能な装置ロボットアームによって保持されている操作可能な装置の少なくとも作業端部の画像をキャプチャする。この場合、操作可能な装置の作業端部は、画像キャプチャ装置の視野内にあるように関心領域に近接している。画像キャプチャ工程の間、方法は、画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームのそれらの現在の位置での共通基準座標系に対する少なくとも１つの高精度位置合わせ（例えば、ミリメートルの精度範囲内）を、操作可能な装置の作業端部のキャプチャされた画像の１又は複数及びロボットアームに関する運動学的データを使用して、実行する。

ブロック９００６の態様を記載する追加的な詳細が、図３、４を参照して以下に記載され、ブロック９００５、９００６の態様を記載する追加的な詳細は図５を参照して以下に記載される。

次に図３の方法２０００を参照すると、ブロック２００１では、好ましくは画像キャプチャ装置コントローラ１０２２によって実行される、方法は、画像キャプチャ装置を保持し且つ操作するロボットアームの形態の情報を受信する。ロボットアームが複数のジョイントによって互いに結合される複数のリンクを有するとき、ロボットアーム形態は、ジョイントの検知された位置並びにリンク及びロボットアームを作る他の構造の既知のジオメトリから決定できる。図１を参照して先述したように、このようなロボットアーム形態情報は、ジョイントのアクチュエータに結合されたエンコーダのような、画像キャプチャ装置ロボットアームの複数のセンサから提供され得る。代替的には、それは、入力装置１０３２からの命令に応じて画像キャプチャ装置コントローラ１０２２によって命令されているジョイント位置であり得る。

ブロック２００２では、方法は、操作可能な装置に対する画像キャプチャ装置の位置合わせを実行する時であるかどうかを決定する。このような位置合わせは、方法の開始において１回実行され得る又は時間とともに生じ得る任意の位置合わせ誤差を訂正するために周期的に実行され得る。ブロック２００２における決定がイエスである場合、方法は、ブロック２００３、２００４を実行することによって位置合わせを実行する。他方、ブロック２００２における決定がノーである場合、位置合わせは、ブロック２００５にジャンプする方法によってスキップされる。

ブロック２００３では、方法は、操作可能な装置の作業端部の、画像キャプチャ装置によってキャプチャされた、画像を受信する。一般的に、受信された画像は、操作可能な装置の作業端部及び画像キャプチャ装置の画像キャプチャコーン内の任意の他の物体の二次元スライス又は投影である。

ブロック２００４では、方法は、画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の位置及び配向（すなわち、姿勢）を決定し、これは、画像キャプチャコーン又は画像キャプチャ装置の視野の位置及び配向に対応する。これを行うために、方法は、従来方式で、受信された画像の中で識別できる作業端部の人工的な及び／又は自然の特徴を使用する。この場合、人工的な特徴は、それらの姿勢（すなわち、位置及び配向）を決定するのに役立つように作業端部に特に配置されたマーキング又は構造のようなものを含む。自然の特徴は、操作可能な装置の作業端部の構造の形状及び既知のジオメトリのようなものを含む。作業端部の姿勢は、作業端部が部分的に遮蔽され得るとしても決定可能であり得る。例えば、作業端部は、患者の解剖学的構造の部分、操作可能な装置の他の部分、画像キャプチャ装置の部分、他の医療器具、等によって遮蔽され得る。患者の解剖学的構造は、軟組織、骨、歯、等を含み得る。決定を支援するために、方法がブロック２００１−２００９を通ってループするとき画像キャプチャ装置によってキャプチャされ且つ受信される一連の画像が、姿勢の決定をさらに正確にするために使用され得る。また、従来のツール追跡技法が、使用されることができ、これは、操作可能な装置の作業端部の姿勢の決定をさらに正確にすることを支援し且つさらに正確にするように機能する。このような姿勢決定技法及びアーチファクトの追加的な詳細に関しては、本明細書に参照によって援用される、“Ｍｅｔｈｏｄｓ ａｎｄ ｓｙｓｔｅｍｓ ｆｏｒ ｒｏｂｏｔｉｃ ｉｎｓｔｒｕｍｅｎｔ ｔｏｏｌ ｔｒａｃｋｉｎｇ ｗｉｔｈ ａｄａｐｔｉｖｅ ｆｕｓｉｏｎ ｏｆ ｋｉｎｅｍａｔｉｃｓ ｉｎｆｏｒｍａｔｉｏｎ ａｎｄ ｉｍａｇｅ ｉｎｆｏｒｍａｔｉｏｎ”と題する米国特許第８，１０８，０７２号明細書、及び本明細書に参照によって援用される、“Ｃｏｎｆｉｇｕｒａｔｉｏｎ ｍａｒｋｅｒ ｄｅｓｉｇｎ ａｎｄ ｄｅｔｅｃｔｉｏｎ ｆｏｒ ｉｎｓｔｒｕｍｅｎｔ ｔｒａｃｋｉｎｇ”と題する米国特許出願公開第２０１０／０１６８７６３号明細書を参照されたい。

ブロック２００５では、方法は、操作可能な装置を保持し且つ操作するロボットアームの形態の情報を受信する。ロボットアームが複数のジョイントによって互いに結合される複数のリンクを有するとき、ロボットアーム形態は、ジョイントの検知された位置並びにリンク及びロボットアームを作る他の構造の既知のジオメトリから決定できる。図１を参照して先述したように、このようなロボットアーム形態情報は、ジョイントのアクチュエータに結合されたエンコーダのような、画像キャプチャ装置ロボットアームの複数のセンサから提供され得る。代替的には、それは、入力装置１０３１からの命令に応じて操作可能な装置コントローラ１０２１によって命令されているジョイント位置であり得る。代替的には、それは、エンコーダ測定に比べてより良い精度を提供し得る内視鏡画像の中で器具の作業端部を追跡することによって提供される幾つかのジョイント位置であり得る。

操作可能な装置ロボットアームが冗長自由度（ＤＯＦ）アームである場合、ロボットアームの形態の情報は好ましくは、操作可能な装置ロボットアームの検知されたジョイント位置又は命令されたジョイント位置のいずれかを含む。他方、その保持された操作可能な装置の作業端部の姿勢に対応し得る１つのロボットアーム形態しかない場合、ロボットアーム形態は、操作可能な装置の作業端部の決定された姿勢、操作可能な装置及びそのロボットアームの既知の構造及びジオメトリ（例えば、サイズ及び形状）、並びに操作可能な装置ロボットアームのベースの位置から理論的に決定され得る。この場合、ブロック２００５において検知された又は命令されたジョイント位置の情報を受信する必要がない場合があり、操作可能な装置ロボットアームのベース位置のみが必要である。操作可能な装置ロボットアームが動かないベースに取り付けられるとき、ベース位置は、固定され、一度だけ決定されそしてメモリに格納される必要がある。操作可能な装置ロボットアームが可動ベースに取り付けられるとき、ベース位置は、例えば、フロアに戦略的に配置される圧力センサのような外部センサによって、決定され得る。他の例として、ベース位置は、固定位置に配置された１又は複数の受信機とともに１又は複数の送信機がベースに配置されている送信機／受信機システムによって決定され得る。他の例として、ベース位置（並びにロボットアーム形態）は、光学追跡システムによって又は任意の他の良く知られた位置検知手段によって決定され得る。

ブロック２００６では、方法は、画像キャプチャ装置基準座標系内で操作可能な装置ロボットアームの形態及び位置を決定する。画像キャプチャ装置基準座標系に対する操作可能な装置の作業端部の姿勢は既にブロック２００４において決定されているので、画像キャプチャ装置基準座標系におけるそのロボットアームの形態及び位置の決定は、この場合、ブロック２００５において受信された操作可能な装置ロボットアーム形態の情報と併せて操作可能な装置及びそのロボットアームの既知の構造及びジオメトリを使用することによって決定される。

ブロック２００７では、方法は、画像キャプチャ装置基準座標系内で画像キャプチャ装置ロボットアームの形態及び位置を決定する。画像キャプチャ装置基準座標系は、画像キャプチャ装置ロボットアームの遠位端部の姿勢によって定められるので、ブロック２００１で受信された画像キャプチャ装置ロボットアーム形態の情報と併せて画像キャプチャ装置及びそのロボットアームの既知の構造及びジオメトリを使用して画像キャプチャ装置基準座標系内で画像キャプチャ装置ロボットアームの形態及び位置を決定することは簡単なことである。

ブロック２００８では、方法は、差し迫った衝突が画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間に迫っているかどうかを決定する。好ましくは、決定は、現在のプロセスサイクル及び以前のプロセスサイクルに関してブロック２００１−２００７で受信又は決定された情報を使用して行われる。時系列情報を使用することによって、２つのアームの軌道を予測することができるだけでなく、それらが動いている速度も推定され得る。この情報を用いて、衝突予測が行われ得る。予測された衝突が特定の期間内にあるとき、衝突が差し迫っていると見なされ、即時の行動を必要とする。衝突予測は、画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間の最小距離を使用し得る。最小距離を決定することにおいて、方法は、好ましくは、安全目的のために、実際のリンクより寸法的に僅かに大きい幾何学的形状を持つロボットアームのリンクを見積もる。画像キャプチャ装置ロボットアームの幾何学的形状及び操作可能な装置ロボットアームの幾何学的形状は、このポイントにおいて互いに対して既知の位置及び配向にあるので、画像キャプチャ装置ロボットアームを示す幾何学的形状と操作可能な装置ロボットアームを示す幾何学的形状との間の最小距離を計算することは、簡単な計算である。

当業者はまた、ブロック２００８の決定が、差し迫った衝突以外に画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間の追加的な望ましくない関係を検出するために使用され得ることを理解するであろう。幾つかの実施形態では、ブロック２００８は、衝突が差し迫っていないとしても、いつ画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームが互いの近くにあまりに近くなるかを検出するために使用され得る。幾つかの実施形態では、ブロック２００８は、画像キャプチャ装置ロボットアームがそこの画像をキャプチャすることになる関心領域を操作可能な装置ロボットアームが遮っていることを検出するために使用され得る。

ブロック２００８の決定がノーである場合、方法は、次のプロセスサイクルのためのブロック２００１−２００８を実行するために、ブロック２００１にジャンプして戻る。他方、決定がイエスである場合、次にブロック２００９において、方法は、操作可能な装置のロボットアームとの衝突を回避するための行動を取るように画像キャプチャ装置ロボットアームに命令する。命令された行動は、操作可能な装置のロボットアームが衝突安全位置に動くまで、画像キャプチャ装置ロボットアームの動作を一時的に停止させることであり得る。代替的には、画像キャプチャ装置ロボットアームの動作を一時的に停止させるのではなく、その動作の速度が、操作可能な装置のロボットアームとの衝突を回避するために、代わりに調整され得る。代替的には、画像キャプチャ装置ロボットアームが冗長ＤＯＦアームである場合、代替的なアーム形態が、操作可能な装置のロボットアームとの衝突を回避するために、命令され得る。代替的には、画像キャプチャ装置ロボットアームの動作が停止され得るとともに、衝突回避タスクが、図４の方法２５００を実行するために操作可能な装置コントローラに引き渡され得る。

ブロック２００９を実行した後、方法は次に、次のプロセスサイクルのための情報を処理するためにブロック２００１に戻ってループする。

次に図４の方法２５００を参照すると、ブロック２５０１では、好ましくは操作可能な装置コントローラ１０２１によって実行される、方法は、操作可能な装置を保持し且つ操作するロボットアームの形態の情報を受信する。ロボットアームが複数のジョイントによって互いに結合される複数のリンクを有するとき、ロボットアーム形態は、ジョイントの検知された位置並びにリンク及びロボットアームを作る他の構造の既知のジオメトリから決定できる。図１を参照して先述したように、このようなロボットアーム形態情報は、ジョイントのアクチュエータに結合されたエンコーダのような、画像キャプチャ装置ロボットアームの複数のセンサから提供され得る。代替的には、それは、入力装置１０３１からの命令に応じて操作可能な装置コントローラ１０２１によって命令されているジョイント位置であり得る。代替的には、それは、エンコーダ測定に比べてより良い精度を提供し得る内視鏡画像の中で器具の作業端部を追跡することによって提供される幾つかのジョイント位置であり得る。

ブロック２５０２では、方法は、操作可能な装置に対する画像キャプチャ装置の位置合わせを実行する時であるかどうかを決定する。このような位置合わせは、方法の開始において１回実行され得る又は時間とともに生じ得る任意の位置合わせ誤差を訂正するために周期的に実行され得る。ブロック２５０２における決定がイエスである場合、次に方法は、ブロック２５０３、２５０４を実行することによって位置合わせを実行する。他方、ブロック２５０２における決定がノーである場合、次に、位置合わせは、ブロック２５０５にジャンプする方法によってスキップされる。

ブロック２５０３では、方法は、操作可能な装置の作業端部の、画像キャプチャ装置によってキャプチャされた、画像を受信する。一般的に、受信された画像は、操作可能な装置の作業端部及び画像キャプチャ装置の画像キャプチャコーン又は画像キャプチャ装置の視野内の任意の他の物体の二次元スライス又は投影である。例として、画像は、第１の画像キャプチャ装置１００２又は第１の画像キャプチャ装置１００２を含む画像キャプチャシステムのプロセッサから、バス１０４０（又は図８のケーブル３０５０）を介して操作可能な装置コントローラ１０２１によって受信され得る。

ブロック２５０４では、方法は、図３のブロック２００４を参照して記載されたのと同じ方法で、画像キャプチャ装置の基準座標系に対する操作可能な装置の作業端部の位置及び配向（すなわち、姿勢）を決定する。

ブロック２５０５では、方法は、画像キャプチャ装置を保持し且つ操作するロボットアームの形態の情報を受信する。ロボットアームが複数のジョイントによって互いに結合される複数のリンクを有するとき、ロボットアーム形態は、ジョイントの検知された位置並びにリンク及びロボットアームを作る他の構造の既知のジオメトリから決定できる。図１を参照して先述したように、このようなロボットアーム形態情報は、ジョイントのアクチュエータに結合されたエンコーダのような、操作可能な装置ロボットアームの複数のセンサから提供され得る。代替的には、それは、入力装置１０３２からの命令に応じて画像キャプチャ装置コントローラ１０２２によって命令されているジョイント位置であり得る。

ブロック２５０６では、方法は、操作可能な装置基準座標系内で操作可能な装置ロボットアームの形態及び位置を決定する。操作可能な装置基準座標系は、操作可能な装置ロボットアームの遠位端部の姿勢によって定められるので、ブロック２５０１で受信された情報並びに操作可能な装置及びそのロボットアームの既知の構造及びジオメトリを使用して、操作可能な装置基準座標系内で操作可能な装置ロボットアームの形態及び位置を決定することは簡単なことである。

ブロック２５０７では、方法は、操作可能な装置基準座標系内で画像キャプチャ装置ロボットアームの形態及び位置を決定する。これを行う１つの方法は、図３のブロック２００７で決定されるように、画像キャプチャ装置基準座標系ないで画像キャプチャ装置ロボットアームの形態及び位置を最初に決定し、次に、画像キャプチャ装置基準座標系から操作可能な装置基準座標系に画像キャプチャ装置ロボットアームのポイントを変換するための次の変換式を使用することである：

ここで^ＭＰは操作可能な装置基準座標系“Ｍ”内のポイントであり、

は画像キャプチャ装置基準座標系“Ｉ”から操作可能な装置基準座標系“Ｍ”への変換、及び^ＩＰは画像キャプチャ装置基準座標系“Ｉ”内のポイントである。

方法は、ブロック２５０４で決定された作業端部の姿勢の情報を使用して、画像基準座標系内の操作可能な装置の作業端部のポイントを、ブロック２５０１で受信された操作可能な装置ロボットアームの形態の情報並びに、操作可能な装置のサイズ、形状、及び構造の事前に知られた情報を使用して、操作可能な装置基準座標系内の操作可能な装置の作業端部の対応するポイントと、比較することによって、変換

を決定し得る。このような基準座標系変換の追加的な詳細に関しては、先に参照によって援用された、“Ｅｓｔｉｍａｔｉｏｎ ｏｆ ａ Ｐｏｓｉｔｉｏｎ ａｎｄ Ｏｒｉｅｎｔａｔｉｏｎ ｏｆ ａ Ｆｒａｍｅ Ｕｓｅｄ ｉｎ Ｃｏｎｔｒｏｌｌｉｎｇ Ｍｏｖｅｍｅｎｔ ｏｆ ａ Ｔｏｏｌ”と題する米国特許出願公開第２０１２／０２９００１３４号明細書を参照されたい。

ブロック２５０８では、方法は、図３のブロック２００８を参照して記載されるのと同様の方法で、差し迫った衝突が画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間に迫っているかどうかを決定する。当業者は、ブロック２００８の決定と同様に、ブロック２５０８もまた、差し迫った衝突以外に画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間の追加的な望ましくない関係を検出するために使用され得ることを理解するであろう。

ブロック２５０８の決定がノーである場合、方法は、次のプロセスサイクルのためのブロック２５０１−２５０９を実行するために、ブロック２５０１にジャンプして戻る。他方、決定がイエスである場合、次にブロック２５０９では、方法は、操作可能な装置ロボットアーム又は画像キャプチャ装置ロボットアームのいずれかに、画像キャプチャ装置コントローラ１０２２を通じて、衝突回避行動を取るよう命令し得る。衝突回避行動を実行するエンティティ及び取られる特定の衝突回避行動は、システム要因に応じて異なる形態を取り得る。１つの要因は、画像キャプチャ装置及び操作可能な装置によってその時点で実行されるタスクの性質である。他の要因は、ロボットアームのタイプ若しくは構造又は差し迫った衝突が検出された瞬間のそれらの対応する速度及び加速度である。

画像キャプチャ装置及び操作可能な装置によってその時点で実行されるタスクの性質の例としては、ロボットシステム１０００が医療ロボットシステム３０００であり且つ操作可能な装置が患者に難しい手術を実行するためにその時点で使用されている器具３３、３５の一方である場合、器具を保持しているロボットアームを妨害しないことが望ましい。したがって、この場合、衝突を回避するために画像キャプチャ装置ロボットアーム１１０１の軌道を修正することによってその行動を取ることが好ましくなり得る。このような衝突を回避するために、画像キャプチャ装置ロボットアーム１１０１の動作は、操作可能な装置ロボットアームが衝突安全位置に動くまで一時的に停止され得る。代替的には、画像キャプチャ装置ロボットアーム１１０１の全ての動作を停止するのではなく、その速度及び／又は方向が、操作可能な装置ロボットアームとの衝突を回避するために、代わりに調整され得る。

ロボットアームのタイプ若しくは構造の例としては、画像キャプチャ装置及び操作可能な装置ロボットアームのいずれか又は両方が冗長自由度（ＤＯＦ）を有する場合、このような冗長ＤＯＦをもつロボットアームの一方は、その保持された装置の姿勢に影響を及ぼすことなしに代替形態で構成され得る。特に、操作可能な装置ロボットアームが冗長ＤＯＦを有する場合、操作可能な装置ロボットアームは代わりにその保持された操作可能な装置の操作に著しい影響を与えることなしに代替形態に構成され得るので、画像キャプチャ装置の軌道を修正する必要がない。画像キャプチャ装置及び操作可能な装置ロボットアーム両方が冗長ＤＯＦを有するとき、第１及び第２のロボットアームの一方が、コスト関数を最小化するように第１及び第２のロボットアームの現在の形態とそれらのそれぞれの複数の可能な形態との間の差を処理することによって、差し迫った衝突を回避するための代替形態を使用するように選択される。代替的には、選択は、コスト関数を最小化するように第１及び第２のロボットシステムの現在の形態からそれらのそれぞれの複数の可能な形態の他のものに動かすための第１及び第２のロボットシステムの必要なジョイント動作を処理することによって、行われ得る。

幾つかの可能なコスト関数のいずれかは代替形態の選択によって最小化され得る。１つの可能なコスト関数は、第１と第２のロボットアームとの間の最小距離の逆二乗に基づき得る。第２の可能なコスト関数は、それぞれのリンクが受動又は能動自由度と関連付けられている、第１及び第２のロボットアームのリンクの間の距離の逆二乗の重み付き平均に基づき得る。第３の可能なコスト関数は、第２のコスト関数に基づき得るが、所望の安全マージンの桁内の閾値のような、ある閾値より低い距離のみを考慮し得る。第４の可能なコスト関数は、距離が仮想的な物体又は第１及び第２のロボットアームのリンクを囲むバッファ領域の間で測定される第２のコスト関数の修正版に基づき得る。第５の可能なコスト関数は、第４のコスト関数のバッファ領域及び第３のコスト関数の距離閾値を含み得る。第６の可能なコスト関数は、操作可能性指標が第１又は第２のロボットアームの代替形態の周りの任意の方向に動く能力を評価する、第１及び第２のロボットアームに関する制約付き操作可能性指標に基づき得る。第７の可能なコスト関数は、第１及び第２のロボットアームのリンク及び／又はジョイントに適用される仮想ポテンシャル場に基づき得る。例としては、第１及び第２のロボットアームの各リンク及び／又はジョイントがそれに割り当てられた仮想電荷を有し得るとともに誘起仮想反発力が第７のコスト関数を決定するように第１と第２のロボットアームとの間で積分され得る。

ブロック２００９を実行した後、方法は次に、次のプロセスサイクルのための情報を処理するためにブロック２５０１に戻ってループする。

方法２０００、２５００の実行の間又は後、作業部位物体のための初期位置合わせ変換の更新又は再較正が実行され得る。例えば、ロボットシステム１０００が医療ロボットシステム３０００である場合、作業部位物体のそれぞれをワールド基準座標系に位置合わせすることが一般的な方法である。この場合、作業部位物体は、器具３１、３３、３５、内視鏡３７、画像キャプチャシステム３０２０の画像キャプチャ装置１１１６、１１１７、及び患者の解剖学的構造を含む。しかし、処置の実行の間に、位置合わせ誤差が、何らかの方法で、蓄積またはそうでなければ発生し得る。したがって、画像キャプチャシステム３０２０によってキャプチャされた器具３１、３３、３５及び内視鏡３７の作業端部の画像を使用して、固定基準座標系に対するそれらの初期位置合わせ変換を更新することは有益であり得る。

図２、３の方法２０００、２５００では、画像キャプチャ装置及び操作可能な装置は、典型的には異なる人によって独立して操作される。例えば、ロボットシステム１０００が医療ロボットシステム３０００である場合、手術台３０４０の隣に立っている助手は、画像キャプチャシステム３０２０の動作を制御するために制御ユニット３０２１を操作し得るとともに、外科医は、操作可能な装置３３、３５の動作を制御するためにコンソール３０３０の入力装置４１、４２を操作し得る。しかし、時々、医療処置の実行の間に、外科医が画像キャプチャシステム３０２０の動作も制御することが望ましい場合がある。例えば、解剖学的構造の外側視の内視鏡画像がコンソール３０３０のステレオビューア４５に表示されているとき、外科医は、解剖学的構造の内側視の３次元Ｘ線画像をこれらの画像に補うことを望む場合がある。しかし、外科医は医療処置の実行に専念しているので、関心領域の外科医の所望の視界を提供するために画像キャプチャシステム３０２０を自動的に制御するための方法は有用である。

図５は、例として、画像キャプチャ装置の動作を、そのロボットアームと他のロボットアームとの間の衝突を回避しながらユーザ指定関心領域の画像をキャプチャするように、自動的に制御するためのロボットシステム１０００に実装される方法を示す。

ブロック４００１では、方法は、作業部位におけるユーザ指定関心領域の情報を受信する。ユーザがディスプレイ１０５１上で作業部位を見ているとき、関心領域は、その時点でディスプレイ１０５１に表示されている作業部位の画像に対して特定される。ディスプレイ１０５１に表示されている画像は、立体内視鏡のようなカメラ１００３によってキャプチャされた画像から得られ得る。代替的には、それらは、超音波プローブのような第２の画像キャプチャ装置１００５によってキャプチャされた第２の画像から得られ得る。代替的には、ディスプレイ１０５１に表示されている画像は、画像を位置合わせし且つ重ね合わせることによる、カメラ１００３によってキャプチャされたものから得られる画像及び第２の画像キャプチャ装置１００５によってキャプチャされたものから得られる画像の両方を含み得る。

例としては、その時点で表示されている画像に対してユーザが関心領域を特定するための１つの方法は、ディスプレイ１０５１にその時点で表示されている同じ画像を表示するテレストレーションスクリーン上で関心領域の周りに閉曲線を描くようにテレストレータを使用することである。このようなテレストレータの詳細に関しては、本明細書に参照によって援用される、“Ｍｅｄｉｃａｌ ｒｏｂｏｔｉｃ ｓｙｓｔｅｍ ｐｒｏｖｉｄｉｎｇ ｔｈｒｅｅ-ｄｉｍｅｎｓｉｏｎａｌ ｔｅｌｅｓｔｒａｔｉｏｎ”と題する米国特許出願公開第２００７／０１６７７０２号明細書を参照されたい。他の例として、ユーザは、単純に、カーソルの経路が関心領域を定めるようにディスプレイ１０５１上のカーソルの動きを制御するためのマウスのような入力装置を使用することによって、関心領域を特定し得る。ユーザが関心領域を特定するための方法の他の例として、ユーザは、視線トラッカ及びどんな時にディスプレイ１０５１へのユーザの現在の視線ポイントが関心領域の中心を特定していることになるかを示すためのユーザ制御されるスイッチを使用し得る。この場合、関心領域の形状は、予め定められ得る、又は、ユーザが現在凝視している物体の形状によって決定され得る。ユーザが関心領域を特定するための方法のさらに他の例として、ユーザは、関心領域が触れられている物体であるべきことを示すために作業端部が作業部位において物体に触れるように、操作可能な装置の作業端部の動作を遠隔ロボット式に制御し得る。

ブロック４００２では、方法は、画像キャプチャ装置ロボットアーム及び操作可能な装置ロボットアームの初期アーム形態並びにベース位置の情報を受信する。初期アーム形態の情報は、それらの構造の情報及びロボットアームの複数のセンサから受信されるそれらのジョイント位置の情報によって提供され得る。ワールド基準座標系でのベース位置の情報は、このような情報を提供する外部センサによって提供され得る。このような外部センサの１つの例は、光学追跡システムで使用される光学センサである。他の例は、作業部位のフロアの既知の位置に戦略的に配置された圧力トランスデューサのアレイの１つである圧力トランスデューサである。

ブロック４００３では、方法は、画像キャプチャ装置のためのセットアップ位置を、画像キャプチャ装置がユーザ指定関心領域の要求された画像をキャプチャするために適切に位置決めされるように、決定する。これを行うために、方法は最初に、関心領域をディスプレイ基準座標系から画像キャプチャ装置基準座標系に以前に決定された変換及びブロック４００２で受信した情報を使用して変換する。次に、関心領域を画像キャプチャ装置基準座標系からワールド基準座標系に以前に決定された変換及びブロック４００２で受信した情報を使用して変換する。ワールド基準座標系で知られている関心領域を用いて、方法は次に、そこから画像キャプチャ装置が、操作可能な装置ロボットアームのワールド基準座標系での初期位置と衝突することなしに、ユーザ指定関心領域の要求された画像をキャプチャし得る、セットアップ位置を決定する。

ブロック４００４では、方法は、ユーザ指定関心領域の要求された画像をキャプチャするように画像キャプチャ装置のための動作計画を決定する。画像キャプチャ装置が図１２の画像キャプチャ装置３０２０であるとき、動作計画は、リンク１１０２、１１０３、手首部１１０４及びＣアーム１１０５の計画された動作を含み得る。

ブロック４００５では、方法は、画像キャプチャ装置のそのセットアップ位置への動作を、ユーザからのそのようにする命令を受信した後に、命令する。画像キャプチャ装置が図１２の画像キャプチャ装置３０２０であるとき、命令された動作は、ロボットアーム１１０１が関心領域を向いているように回転台ジョイント１１０８を回転させること並びに、Ｘ線源１１１７及びＸ線検出器１１１６（すなわち、画像キャプチャ装置）がユーザ指定関心領域の要求された画像をキャプチャすることを開始するために適切に位置決めされるように、肩部ジョイント１１０９、肘部ジョイント１１１０、ロールジョイント１１１１、ピッチジョイント１１１２、及びヨージョイント１１２１を回転させることを伴う。

ブロック４００６では、方法は、画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間の衝突を回避しながら、動作計画にしたがって画像キャプチャ装置の増分動作を命令する。ブロック４００６の方法によって実行されるタスクの追加的な詳細は図６を参照して記載される。

ブロック４００７では、方法は、動作計画が完了したかどうかを決定する。ブロック４００７の決定がノーである場合、次に方法は、画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間の衝突を回避しながら、動作計画にしたがって画像キャプチャ装置の他の増分動作を命令するために、ブロック４００６にジャンプして戻る。

他方、ブロック４００７での決定がイエスである場合、次にブロック４００８で、方法は、画像キャプチャ装置に、その初期位置に又は予め定められたパーキング位置に動いて戻るように、ユーザからのそのようにするための命令を受信した後、命令するので、画像キャプチャ装置は邪魔にならないところにあり且つ操作可能な装置ロボットアームとの衝突のさらなるリスクな存在しない。

図６は、例として、方法４０００のブロック４００６を実行する方法のフロー図を示す。記載を補足するために、図７は、２つの独立して操作されるロボットアームの間の衝突回避のために使用されるロボットシステムの一部のブロック図を示す。図７によって示される例では、操作可能な装置ロボットアームシミュレータ６００３、差し迫った衝突検出器６０２１、画像キャプチャ装置ロボットアームシミュレータ６０１３、及び増分動作発生器６００４は、好ましくは、プログラムコードを実行するプロセッサによって従来の方法で実装される。

ブロック４２０１では、方法は、操作可能な装置ロボットアームのための動作命令を受信する。例えば、図７を参照すると、操作可能な装置コントローラ６０１１の出力は、操作可能な装置ロボットアームアクチュエータ６０１２のためのジョイント命令を提供する。

ブロック４２０２では、方法は、操作可能な装置ロボットアームの位置及び形態を決定する。例えば、図７を参照すると、操作可能な装置ロボットアームシミュレータユニット６００３は、操作可能な装置コントローラ６０１１からのジョイント命令及び操作可能な装置ロボットアームの構造の事前知識を使用して操作可能な装置ロボットアームの位置及び形態の情報を生成する。

ブロック４２０３では、方法は、画像キャプチャ装置の所望の増分動作を決定する。例えば、図７を参照すると、増分動作発生器６００４が、図５のブロック４００４で決定された動作計画及びメモリ６００５に格納された情報を使用して画像キャプチャ装置の所望の増分動作を生成する。この場合の所望の増分動作は、画像キャプチャ装置の動作の所望の速度及び図５のブロック４００６−４００７をループするためのプロセスサイクル期間に依存する。

ブロック４２０４では、方法は、画像キャプチャ装置ロボットアームの位置及び形態を決定する。例えば、図７を参照すると、画像キャプチャ装置ロボットアームシミュレータユニット６０１３は、増分動作発生器６００４によって提供される所望の増分動作命令、画像キャプチャ装置ロボットアームの現在の位置及び形態の知識、並びに画像キャプチャ装置ロボットアームの構造の事前知識を使用して画像キャプチャ装置ロボットアームの位置及び形態の情報を生成する。

ブロック４２０５では、方法は、差し迫った衝突が、画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間に迫っているかどうかを、図３のブロック２００８７で実行されるのと同様な方法で、決定する。例えば、図７を参照すると、差し迫った衝突検出器６０２１は、２つのアームの間の衝突が差し迫っているかどうかを、現在のプロセスサイクル及び以前のプロセスサイクルに関してロボットアームシミュレータ６００３、６０１３によって提供される情報を使用して、決定する。時系列情報を使用することによって、２つのロボットアームの軌道が予測されることができるだけでなく、それらが動いている速度も推定され得る。この情報を用いて、衝突予測が行われ得る。予測された衝突が指定された期間内であるとき、衝突は差し迫っているとみなされ、即時の行動を必要とする。

ブロック４２０５の決定がノーである場合、次にブロック４２０６で、方法は、画像キャプチャ装置ロボットアームに、所望の増分動作にしたがって動くように命令する。他方、ブロック４２０５の決定がイエスである場合、次にブロック４２０７で、方法は、例として、図３のブロック２００９を参照して記載された行動の１つを使用して、差し迫った衝突を回避するように、増分動作命令を修正する。例えば、差し迫った衝突検出器６０２１が、画像キャプチャ装置ロボットアームと操作可能な装置ロボットアームとの間の衝突が差し迫っていることを決定した後、それはそのようなことの指示（インディケーション）を操作可能な装置コントローラ６０１１に送信し、この操作可能な装置コントローラは次に、この指示を画像キャプチャ装置コントローラ６０１１に、それが衝突を回避するための修正行動を取ることができるように、中継する。

制御ユニット１０２１−１０２５及び／又は３０２１の幾つかの実施形態は、１又は複数のプロセッサによって実行されるとき、１又は複数のプロセッサ（例えば、制御ユニット１０２１−１０２５及び／又は３０２１の処理ユニット）に、上述の方法２０００、２５００、４０００、及び／又は９０００の処理を実行させ得る実行可能なコードを含む、一時的ではなく、有形の、機械可読媒体を含み得る。方法２０００、２５００、４０００、及び／又は９０００の処理を含み得る機械可読媒体の幾つかの一般的な形態は、フロッピディスク、フレキシブルディスク、ハードディスク、磁気テープ、任意の他の磁気媒体、ＣＤ−ＲＯＭ、任意の他の光学媒体、パンチカード、紙テープ、孔のパターンを持つ任意の他の物理媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、任意の他のメモリチップ又はカートリッジ、及び／又はそこからプロセッサ又はコンピュータが読み取るように適合される任意の他の媒体を含み得る。

本発明の様々な態様が好適な実施形態に関して記載されているが、本発明は添付の請求項の完全な範囲内で完全な保護を受ける権利があることが理解されるであろう。

Claims (14)

1. コンピュータ支援システムであって：
   １又は複数のプロセッサ；及び
   前記１又は複数のプロセッサに結合されるメモリ；を有する、
   コントローラ、を有し；
   前記コントローラは、第１の可動アーム及び第２の可動アームに結合されるように構成され、前記第１の可動アームは作業端部を有する操作可能な装置に結合されるように構成され、前記第２の可動アームは画像キャプチャ装置に結合されるように構成され、前記第２の可動アームは、前記第１の可動アームを有するコンピュータ支援装置から分離しており；
   前記コントローラは：
   前記画像キャプチャ装置から受信される前記作業端部の少なくとも１つの画像に基づいて、共通基準座標系における前記作業端部の姿勢を決定するように構成され、前記共通基準座標系は前記画像キャプチャ装置の基準座標系であり；
   前記作業端部の姿勢に基づいて前記共通基準座標系における第１の可動アーム位置を決定するように構成され；
   前記共通基準座標系における前記第１の可動アームに関する第１の可動アーム軌道を決定するように構成され；
   前記共通基準座標系における前記第２の可動アームに関する第２の可動アーム位置及び第２の可動アーム軌道を決定するように構成され；
   前記第１の可動アーム位置、前記第１の可動アーム軌道、前記第２の可動アーム位置、及び前記第２の可動アーム軌道に基づいて、前記第１の可動アームの動作、前記第２の可動アームの動作、又は前記第１の可動アーム及び前記第２の可動アームの一緒の動作が、前記第１の可動アームと前記第２の可動アームとの間の望ましくない関係をもたらすかどうかを決定するように構成され；且つ
   前記望ましくない関係を避けるように前記第１の可動アーム又は前記第２の可動アームに第１の動作命令を送るように構成され；
   前記コントローラは、前記第１の可動アームのジョイントの検知された位置、並びに前記第１の可動アームの前記ジョイント及び前記第１の可動アームのリンクの既知のジオメトリに基づいて、前記第１の可動アーム位置及び前記第１の可動アーム軌道を決定し、
   前記コントローラは、前記第２の可動アームのジョイントの検知された位置、並びに前記第２の可動アームの前記ジョイント及び前記第２の可動アームのリンクの既知のジオメトリに基づいて、前記第２の可動アーム位置及び前記第２の可動アーム軌道を決定する、
   コンピュータ支援システム。
2. コンピュータ支援システムであって：
   １又は複数のプロセッサ；及び
   前記１又は複数のプロセッサに結合されるメモリ；を有する、
   コントローラ、を有し；
   前記コントローラは、第１の可動アーム及び第２の可動アームに結合されるように構成され、前記第１の可動アームは作業端部を有する操作可能な装置に結合されるように構成され、前記第２の可動アームは、前記第１の可動アームを有するコンピュータ支援装置から分離している画像キャプチャ装置に結合されるように構成され；
   前記コントローラは：
   前記画像キャプチャ装置から受信される前記作業端部の少なくとも１つの画像に基づいて、前記画像キャプチャ装置の基準座標系における前記作業端部の姿勢を決定するように構成され；
   前記作業端部の姿勢を前記画像キャプチャ装置の基準座標系から共通基準座標系に変換するように構成され、前記共通基準座標系は前記コンピュータ支援装置の基準座標系であり；
   前記作業端部の姿勢に基づいて前記共通基準座標系における第１の可動アーム位置を決定するように構成され；
   前記共通基準座標系における前記第１の可動アームに関する第１の可動アーム軌道を決定するように構成され；
   前記画像キャプチャ装置の基準座標系における第２の可動アーム位置及び第２の可動アーム軌道を決定するように構成され；
   前記第２の可動アーム位置を前記画像キャプチャ装置の基準座標系から前記共通基準座標系に変換するように構成され；
   前記第１の可動アーム位置、前記第１の可動アーム軌道、前記第２の可動アーム位置、及び前記第２の可動アーム軌道に基づいて、前記第１の可動アームの動作、前記第２の可動アームの動作、又は前記第１の可動アーム及び前記第２の可動アームの一緒の動作が、前記第１の可動アームと前記第２の可動アームとの間の望ましくない関係をもたらすかどうかを決定するように構成され；且つ
   前記望ましくない関係を避けるように前記第１の可動アーム又は前記第２の可動アームに第１の動作命令を送るように構成され；
   前記コントローラは、前記第１の可動アームのジョイントの検知された位置、並びに前記第１の可動アームの前記ジョイント及び前記第１の可動アームのリンクの既知のジオメトリに基づいて、前記第１の可動アーム位置及び前記第１の可動アーム軌道を決定し、
   前記コントローラは、前記第２の可動アームのジョイントの検知された位置、並びに前記第２の可動アームの前記ジョイント及び前記第２の可動アームのリンクの既知のジオメトリに基づいて、前記第２の可動アーム位置及び前記第２の可動アーム軌道を決定する、
   コンピュータ支援システム。
3. 前記作業端部の少なくとも１つの画像は前記画像キャプチャ装置からの複数の２次元画像を含み；
   前記コントローラはさらに、前記操作可能な装置の前記作業端部が前記画像キャプチャ装置と前記操作可能な装置の前記作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、前記２次元画像から前記作業端部の前記姿勢を決定するように構成される、
   請求項１又は２に記載のシステム。
4. 前記操作可能な装置の前記作業端部の作業空間の第２の画像を表示するように適合されるビューア；及び
   前記ビューアに表示されている前記第２の画像内のユーザ指定関心領域の情報を受信するように構成される入力ユニット；をさらに有し、
   前記コントローラはさらに、前記画像キャプチャ装置が前記ユーザ指定関心領域の画像をキャプチャするように、前記第２の可動アームに第２の動作命令を送るように構成される、
   請求項１又は２に記載のシステム。
5. 前記システムはコンピュータ支援医療システムであり、前記システムはさらに前記コンピュータ支援装置を有する、
   請求項１又は２に記載のシステム。
6. 前記第１の可動アームは、前記第１の可動アームの第１の複数の可能な位置及び配向が前記作業端部の同じ第１の制御可能な姿勢を提供するように、冗長自由度を有し、
   前記第２の可動アームは、前記第２の可動アームの第２の複数の可能な位置及び配向が前記画像キャプチャ装置の同じ第２の制御可能な位置及び配向を提供するように、冗長自由度を有し、
   前記第１の可動アーム又は前記第２の可動アームに送られる前記第１の動作命令は、前記第１の複数の可能な位置及び配向の１つに動くように前記第１の可動アームに指示する、或いは前記望ましくない関係を避ける前記第２の複数の可能な位置及び配向の１つに動くように前記第２の可動アームに指示する、
   請求項１又は２に記載のシステム。
7. 前記コントローラはさらに：
   前記第１の可動アーム位置と前記第１の複数の可能な位置及び配向との間の第１の差と、前記第２の可動アーム位置と前記第２の複数の可能な位置及び配向との間の差と、コスト関数とに基づいて；前記第１の可動アーム及び前記第２の可動アームのどちらのアームが前記第１の動作命令を送られることになるかを決定するように構成される
   請求項６に記載のシステム。
8. 前記コスト関数は、前記第１の可動アームと前記第２の可動アームとの間の最小距離の逆二乗に基づく、前記第１の可動アームのリンクと前記第２の可動アームのリンクとの間の距離の逆二乗の平均に基づく、又は前記第１の可動アームの第１のリンク及び第１のジョイント並びに前記第２の可動アームの第２のリンク及び第２のジョイントに適用される仮想ポテンシャル場に基づく、
   請求項７に記載のシステム。
9. 前記望ましくない関係は、前記第１の可動アームと前記第２の可動アームとの間の衝突、前記第１の可動アームと前記第２の可動アームとの間が近接し過ぎること、及び前記第１の可動アームによる前記画像キャプチャ装置の関心領域の妨害からなるグループから選択される、
   請求項１又は２に記載のシステム。
10. システムの作動方法であって、前記方法は：
    １又は複数のプロセッサが、コンピュータ支援装置の第１の可動アームに結合される操作可能な装置の作業端部の少なくとも１つの画像に基づいて、共通基準座標系における前記作業端部の姿勢を決定するステップであって、前記共通基準座標系は、画像キャプチャ装置の基準座標系又は前記コンピュータ支援装置の基準座標系である、ステップ；
    前記１又は複数のプロセッサが、前記第１の可動アームの第１の形態及び前記作業端部の前記姿勢に基づいて、前記共通基準座標系における前記第１の可動アームに関する第１の可動アーム位置を決定するステップ；
    前記１又は複数のプロセッサが、前記第１の可動アームの第１の形態に基づいて、前記共通基準座標系における前記第１の可動アームに関する第１の可動アーム軌道を決定するステップ；
    前記１又は複数のプロセッサが、前記コンピュータ支援装置から分離している画像キャプチャ装置の第２の可動アームの第２の形態に基づいて、前記共通基準座標系における前記第２の可動アームに関する第２の可動アーム位置及び第２の可動アーム軌道を決定するステップ；
    前記第１の可動アーム位置、前記第１の可動アーム軌道、前記第２の可動アーム位置、及び前記第２の可動アーム軌道に基づいて、前記１又は複数のプロセッサが、前記第１の可動アームの動作、前記第２の可動アームの動作、又は前記第１の可動アーム及び前記第２の可動アームの一緒の動作が、前記第１の可動アームと前記第２の可動アームとの間の望ましくない関係をもたらすかどうかを決定するステップ；並びに
    前記１又は複数のプロセッサが、前記望ましくない関係を避けるように前記第１の可動アーム又は前記第２の可動アームに第１の動作命令を送るステップ；を含み、
    前記１又は複数のプロセッサは、前記第１の可動アームのジョイントの検知された位置、並びに前記第１の可動アームの前記ジョイント及び前記第１の可動アームのリンクの既知のジオメトリに基づいて、前記第１の可動アーム位置及び前記第１の可動アーム軌道を決定し、
    前記１又は複数のプロセッサは、前記第２の可動アームのジョイントの検知された位置、並びに前記第２の可動アームの前記ジョイント及び前記第２の可動アームのリンクの既知のジオメトリに基づいて、前記第２の可動アーム位置及び前記第２の可動アーム軌道を決定する、
    方法。
11. システムの作動方法であって、前記方法は：
    １又は複数のプロセッサが、コンピュータ支援装置の第１の可動アームに結合される操作可能な装置の作業端部の少なくとも１つの画像に基づいて、画像キャプチャ装置の基準座標系における前記作業端部の姿勢を決定するステップであって、前記画像キャプチャ装置は、前記コンピュータ支援装置から分離している第２の可動アームに結合される、ステップ；
    前記１又は複数のプロセッサが、前記作業端部の姿勢を前記画像キャプチャ装置の基準座標系から共通基準座標系に変換するステップであって、前記共通基準座標系は前記コンピュータ支援装置の基準座標系である、ステップ；
    前記１又は複数のプロセッサが、前記共通基準座標系における前記第１の可動アームに関する第１の可動アーム位置及び第１の可動アーム軌道を決定するステップ；
    前記１又は複数のプロセッサが、前記画像キャプチャ装置の基準座標系における前記第２の可動アームに関する第２の可動アーム位置及び第２の可動アーム軌道を決定するステップ；
    前記１又は複数のプロセッサが、前記第２の可動アーム位置を前記画像キャプチャ装置の基準座標系から前記共通基準座標系に変換するステップ；
    前記１又は複数のプロセッサが、前記第１の可動アーム位置、前記第１の可動アーム軌道、前記第２の可動アーム位置、及び前記第２の可動アーム軌道に基づいて、前記第１の可動アームの動作、前記第２の可動アームの動作、又は前記第１の可動アーム及び前記第２の可動アームの一緒の動作が、前記第１の可動アームと前記第２の可動アームとの間の望ましくない関係をもたらすかどうかを決定するステップ；並びに
    前記１又は複数のプロセッサが、前記望ましくない関係を避けるように前記第１の可動アーム又は前記第２の可動アームに第１の動作命令を送るステップ；を含み、
    前記１又は複数のプロセッサは、前記第１の可動アームのジョイントの検知された位置、並びに前記第１の可動アームの前記ジョイント及び前記第１の可動アームのリンクの既知のジオメトリに基づいて、前記第１の可動アーム位置及び前記第１の可動アーム軌道を決定し、
    前記１又は複数のプロセッサは、前記第２の可動アームのジョイントの検知された位置、並びに前記第２の可動アームの前記ジョイント及び前記第２の可動アームのリンクの既知のジオメトリに基づいて、前記第２の可動アーム位置及び前記第２の可動アーム軌道を決定する、
    方法。
12. 前記作業端部の少なくとも１つの画像は前記画像キャプチャ装置からの複数の２次元画像を含み；
    前記方法はさらに、前記作業端部が前記画像キャプチャ装置と前記作業端部との間に配置された１又は複数の物体によって遮蔽されるときでさえ、前記１又は複数のプロセッサが、前記２次元画像から前記作業端部の前記姿勢を決定するステップを含む、
    請求項１０又は１１に記載の方法。
13. 前記１又は複数のプロセッサが、コスト関数を最小にするように前記第１の動作命令を決定するステップをさらに含む、
    請求項１０又は１１に記載の方法。
14. 前記コスト関数は、前記第１の可動アームと前記第２の可動アームとの間の最小距離の逆二乗に基づく、前記第１の可動アームのリンクと前記第２の可動アームのリンクとの間の距離の逆二乗の平均に基づく、又は前記第１の可動アームの第１のリンク及び第１のジョイント並びに前記第２の可動アームの第２のリンク及び第２のジョイントに適用される仮想ポテンシャル場に基づく、
    請求項１３に記載の方法。

Images