JP4493383B2

JP4493383B2 - 手技支援システム

Info

Publication number: JP4493383B2
Application number: JP2004109175A
Authority: JP
Inventors: 明伸内久保; 孝史尾崎; 浩一田代; 剛明中村
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2004-04-01
Filing date: 2004-04-01
Publication date: 2010-06-30
Anticipated expiration: 2024-04-01
Also published as: JP2005287893A; US20050234326A1

Description

本発明は、被検体に関するバーチャル画像データを生成し、該バーチャル画像データに基づき手技の支援を行う手技支援システムに関する。

近年、画像による診断が広く行われるようになっており、例えばＸ線ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）装置等により被検体の断層像を撮像することにより被検体内の３次元的なバーチャル画像データを得、このバーチャル画像データを用いて患部の診断が行われるようになってきた。

ＣＴ装置では、Ｘ線照射・検出を連続的に回転させつつ被検体を体軸方向に連続送りすることにより、被検体の３次元領域について螺旋状の連続スキャン（ヘリカルスキャン：ｈｅｌｉｃａｌｓｃａｎ）を行い、３次元領域の連続するスライスの断層像から、３次元的なバーチャル画像を作成することが行われる。

そのような３次元画像の１つに、肺の気管支の３次元像がある。気管支の３次元像は、例えば肺癌等が疑われる異常部の位置を３次元的に把握するのに利用される。そして、異常部を生検によって確認するために、気管支内視鏡を挿入して先端部から生検針や生検鉗子等を出して組織のサンプル（ｓａｍｐｌｅ）を採取することが行われる。

気管支のような多段階の分岐を有する体内の管路では、異常部の所在が分岐の末梢に近いとき、内視鏡の先端を短時間で正しく目的部位に到達させることが難しいために、例えば特開２０００−１３５２１５号公報等では、被検体の３次元領域の画像データに基づいて前記被検体内の管路の３次元像を作成し、前記３次元像上で前記管路に沿って目的点までの経路を求め、前記経路に沿った前記管路の仮想的な内視像（以下、バーチャル画像と称す）を前記画像データに基づいて作成し、前記バーチャル画像を表示することで、気管支内視鏡を目的部位にナビゲーションする装置が提案されている。

また、腹部領域の体内の臓器を被検体とする診断においては、従来より、上記同様に主に腹部領域内の被検体の３次元的なバーチャル画像を作成し、これを表示しながら診断するための画像解析ソフトが実用化されている。
この種の画像解析ソフトを用いた画像システムは、医師が術前に予め患者の腹部領域内等の被検体の病変部の変化をそのバーチャル画像を見ながら把握するための診断に用いられており、通常、カンファレンス室等の手術室外で行われているのが一般的である。
特開２０００−１３５２１５号公報

従来より、内視鏡観察下で腹部領域の体内の被検体に対する手術等を行う場合にも、内視鏡観察画像の観察領域の被検体の生体画像情報（臓器等により見えない動脈、静脈の配置の画像情報や関心部位の位置の画像情報等）を、必要に応じて術者に対して迅速に提供することが望まれている。
しかしながら、上述した画像解析ソフトを用いた画像システムは、あくまでも腹部領域の被検体のバーチャル画像を見ながら行う術前診断に用いるものであり、実際の手術における内視鏡システムと併用して使用することはできず、術者に対して必要な被検体の生体情報を術中に提供することはできない。

また、例えば実際に手術を行う内視鏡システムに前記画像システムからバーチャル画像を提供して手技を支援する手技支援システムを構築することが考えられるが、リアルな内視鏡画像に支援可能なバーチャル画像を提供する形態が確立できていないために、効果的な手技支援を行うことが困難な状況にある。

本発明は、上記事情に鑑みてなされたものであり、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することのできる手技支援システムを提供することを目的としている。

本発明の手術支援システムは、被検体の体腔内を撮像する撮像手段を有する内視鏡と、前記撮像手段からの撮像信号により内視鏡画像を生成する内視鏡画像生成手段と、前記内視鏡画像生成手段により生成された前記内視鏡画像を第１のモニタ部に表示させるための画像信号を生成する内視鏡画像信号生成手段と、予め取得した当該被写体の断層像データを格納する断層像データ記憶部と、前記断層像データに基づいて生成された当該被検体に係る複数のバーチャル画像データを格納するバーチャル画像データ記憶部と、前記バーチャル画像データから選択された、所定の手技の手順に対応した複数の手技バーチャル画像データを登録する手技バーチャル画像データ登録部と、前記手技バーチャル画像データ登録部に登録された複数の手技バーチャル画像データのうち、当該所定の手技の手順に対応した手技バーチャル画像データに係る手技バーチャル画像を選択的に読み出すよう指示する手技バーチャル画像選択指示手段と、前記手技バーチャル画像選択指示手段により選択された手技バーチャル画像を、前記第１のモニタ部に表示される前記内視鏡画像とは重畳しないように当該第１のモニタ部とは異なる第２のモニタ部に表示させるための画像信号を生成するバーチャル画像信号生成手段と、を具備したことを特徴とする。

本発明によれば、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することができるという効果がある。

以下、図面を参照しながら本発明の実施例について述べる。

図１ないし図１９は本発明の実施例１に係わり、図１は手技支援システムの構成を示す構成図、図２は図１の内視鏡の構成を示す図、図３は図１の手技支援システムの要部構成を示すブロック図、図４は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第１の図、図５は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第２の図、図６は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第３の図、図７は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第４の図、図８は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第５の図、図９は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第６の図、図１０は図５の手技バーチャル画像を格納するデータベース部の構成を示す図、図１１は図１の手技支援システムの手技中の作用を説明するフローチャート、図１２は図１１の処理を説明する第１の図、図１３は図１１の処理を説明する第２の図、図１４は図１１の処理を説明する第３の図、図１５は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第１の図、図１６は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第２の図、図１７は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第３の図、図１８は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第４の図、図１９は図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第５の図である。

図１に示すように、本実施例の手技支援システム１は、内視鏡システムと組み合わせて構成され、具体的には、被検体の体腔内を観察可能な観察手段としての内視鏡２、内視鏡画像生成手段としてのＣＣＵ４、光源５、電気メス装置６、気腹装置７、超音波駆動電源８、ＶＴＲ９、システムコントローラ１０、バーチャル画像生成部１１、リモコン１２Ａ、音声入力マイク１２Ｂ、マウス１５、キーボード１６、バーチャル画像表示用のモニタ１７及び、手術室に配された内視鏡画像用モニタ１３及びバーチャル画像用モニタ１７ａを有して構成されている。

本実施例では内視鏡２として、図２に示すような腹腔鏡を用いている。この内視鏡（腹腔鏡）２は、被検体の腹腔内に挿入するための挿入部２ｂと、挿入部２ｂの基端側に設けられた把持部２ａとを有して構成される。挿入部２ｂの内部には照明光学系及び観察光学系が設けられており、被検体の腹腔内の観察部位を照明し、被検体の腹腔内の観察像を得ることが可能となっている。

把持部２ａにはライトガイドコネクタ２ｃが設けられ、該ライトガイドコネクタ２ｃには、一端が光源装置５に接続されたライトガイドケーブル２ｆ（図１参照）の他端に接続され、これにより、挿入部２ｂ内の照明光学系を介して光源装置５からの照明光を観察部位に照射できるようになっている。

把持部２ａに設けられた図示しない接眼部には、ＣＣＤ等の撮像手段を有するカメラヘッド２ｄが接続され、このカメラヘッド２ｄには観察像のズームイン／アウトなどの操作を行うためのリモートスイッチ２ｇが設けられている。また、このカメラヘッド２ｄの基端側にはカメラケーブル２ｅが延設されており、カメラケーブル２ｅの他端にはＣＣＵ４に電気的に接続するための接続コネクタ（図示せず）が設けられている。

図１に戻り、内視鏡２は、手術時、トラカール３７に挿通された状態のまま、このトラカール３７によって患者体内の腹部に保持されながら前記挿入部を腹部領域に挿入して、ＣＣＤ等の撮像部により腹部領域を撮像し、撮像した撮像信号をカメラヘッド２ｄを介してＣＣＵ４に供給する。

ＣＣＵ４は、内視鏡２からの撮像信号に信号処理を施し、撮像信号に基づく画像データ（例えば内視鏡ライブ画像データ）を、手術室内に配されたシステムコントローラ１０に供給する。また、システムコントローラ１０からの制御により、内視鏡のライブ画像の静止画あるいは動画に基づく画像データがＣＣＵ４からＶＴＲ９に選択的に出力される。なお、システムコントローラ１０の詳細な構成ついては後述する。

ＶＴＲ９は、システムコントローラ１０の制御により、前記ＣＣＵ４からの内視鏡ライブ画像データを記録し、あるいは再生可能である。再生時の場合には、再生された内視鏡ライブ画像データをシステムコントローラ１０に出力する。

光源装置５は、ライトガイドを介して前記内視鏡２に照明光を供給するための光源装置である。
電気メス装置６は、例えば患者の腹部領域内の異常部を電気メスプローブ（図示せず）による電気熱を用いて切断したりする手術処置装置であり、超音波駆動電源８は、超音波プローブ（図示せず）で前記異常部を切断あるいは凝固したりする手術処置装置である。

また気腹装置７は、図示はしないが送気、吸気手段を備え、接続される前記トラカール３７を介して患者体内の例えば腹部領域に炭酸ガスを送気するものである。

これらの光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８は、前記システムコントローラ１０と電気的に接続されており、このシステムコントローラ１０によってその駆動が制御されるようになっている。

また、手術室内には、上述したＣＣＵ４、ＶＴＲ９、光源装置５，電気メス装置６，気腹装置７及び超音波駆動電源８等の各種機器の他にシステムコントローラ１０及び内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが配されている。
本実施例では、例えば患者３０の腹部内にトラカール３７を介して挿入部を挿入して被検体を撮像する術者３１が、患者３０に対して図１に示すような位置で処置を行うものとすると、この術者３１の位置に対応した見やすい位置（視野方向）に、内視鏡画像用モニタ１３、バーチャル画像用モニタ１７ａが設置されるようになっている。

システムコントローラ１０は、内視鏡システム全体の各種動作（例えば表示制御や調光制御等）を制御するもので、図３に示すように、通信インターフェイス（以下、通信Ｉ／Ｆと称す）１８、メモリ１９、制御手段としてのＣＰＵ２０及び表示インターフェイス（以下、表示Ｉ／Ｆと称す）２１とを有している。

通信Ｉ／Ｆ１８は、前記ＣＣＵ４、光源装置５，電気メス装置６，気腹装置７、超音波駆動電源８、ＶＴＲ９及び後述するバーチャル画像生成部１１に電気的に接続されており、これらの駆動制御信号の送受信、または内視鏡画像データの送受信をＣＰＵ２０によって制御される。なお、この通信Ｉ／Ｆ１８には、遠隔操作手段としての術者用のリモコン１２Ａ及び指定手段としての音声入力マイク１２Ｂが電気的に接続されており、リモコン１２Ａの操作指示信号あるいは音声入力マイク１２Ｂの音声指示信号を取り込み、前記ＣＰＵ２０に供給するようになっている。

このリモコン１２Ａは、図示はしないが例えば内視鏡ライブ画像用の内視鏡画像用モニタ１３やバーチャル画像表示用のモニタ１７、あるいはバーチャル（仮想）画像用モニタ１７ａに表示される表示画像に対応したホワイトバランスボタン、気腹装置７を実行するための気腹ボタンと、気腹実行の際の圧力を上下に調整するための圧力ボタン、ＶＴＲ９に内視鏡ライブ画像を録画実行するための録画ボタン、その録画実行の際のフリーズボタン及びレリーズボタン、内視鏡ライブ画像あるいはバーチャル画像表示を実行するための表示ボタン、バーチャル画像を生成する際に２次元表示（２Ｄ表示）を実行するための操作ボタン（各種２Ｄ表示モードに応じたアキシャルボタン、コロナルボタン、サジタルボタン等）、バーチャル画像を表示する際の３次元表示（３Ｄ表示）を実行するための操作ボタンで、各種３Ｄ表示モードを実行した際のバーチャル画像の視野方向を示す挿入点ボタン（内視鏡２の腹部領域に対する挿入情報で、例えば内視鏡２を挿入する腹部領域のＸ方向、Ｙ方向、Ｚ方向の数値を表示するためのボタン）、注目点ボタン（内視鏡２を腹部領域に挿入した際の内視鏡２の軸方向（角度）の数値を表示するためのボタン）、３Ｄ表示する際の表示倍率変更を指示するためのボタン（表示倍率を縮小する縮小ボタン、表示倍率を拡大する拡大ボタン等）、表示色を変更するための表示色ボタン、トラッキングを実行するためのトラッキングボタン、各ボタンの押下により決定した操作設定モードに対して設定入力情報の切換や決定等を行う操作ボタンや数値等を入力するためのテンキー等を有している。

したがって、これらの各ボタンを備えたリモコン１２Ａ（またはスイッチ）を用いることによって、術者は所望する情報が迅速に得られるように操作することが可能である。

メモリ１９は、例えば内視鏡静止画像の画像データや機器設定情報等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２０によって制御がなされるようになっている。

表示Ｉ／Ｆ２１は、前記ＣＣＵ４、ＶＴＲ９及び内視鏡画像用モニタ１３に電気的に接続されており、ＣＣＵ４からの内視鏡ライブ画像データあるいはＶＴＲ９の再生された内視鏡画像データを送受信し、例えば受信した内視鏡ライブ画像データを内視鏡画像用モニタ１３に出力する。これにより、内視鏡画像用モニタ１３は供給された内視鏡ライブ画像データに基づく内視鏡ライブ画像を表示する。

また、内視鏡画像用モニタ１３は、内視鏡ライブ画像の表示の他に、該ＣＰＵ２０の表示制御により、該内視鏡システムの各種機器設定状態やパラメータ等の設定情報を表示することも可能である。

ＣＰＵ２０は、システムコントローラ１０内の各種動作、すなわち、通信Ｉ／Ｆ１８、表示Ｉ／Ｆ２１による各種信号の送受信制御、メモリ１９の画像データの書き込みや読み出し制御、内視鏡画像用モニタ１３の表示制御、さらにはリモコン１２Ａ（またはスイッチ）の操作信号に基づく各種動作制御等を行う。

一方、前記システムコントローラ１０には、バーチャル画像生成部１１が電気的に接続されている。
バーチャル画像生成部１１は、図３に示すように、記憶手段としてのＣＴ画像等を格納するデータベース部２３、メモリ２４、画像読み出し手段としてのＣＰＵ２５、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７、切替え部２７Ａを有している。

データベース部２３は、患者のＸ線断層像を撮像する図示しない公知のＣＴ装置で生成された３次元画像データを、例えばＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌｄｉｓｋ）装置やＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）装置等、可搬型の記憶媒体を介して取り込むＣＴ画像データ取り込み部（図示せず）を備え、取り込んだ３次元画像データ（ＣＴ画像データ）を格納するものである。この３次元画像データの読み出しや書き込みは、ＣＰＵ２５によって制御される。また、データベース部２３にはＣＴ画像データの他に該ＣＴ画像データより生成した生体の各部のレンダリング画像であるバーチャル画像も格納される。

メモリ２４は、例えば前記３次元画像データやＣＰＵ２５によりこの３次元画像データに基づき生成されたバーチャル画像データ等のデータを記憶するもので、これらのデータの記憶、及び読み出しは前記ＣＰＵ２５によって制御がなされるようになっている。

通信Ｉ／Ｆ２６は、前記システムコントローラ１０の通信Ｉ／Ｆ１８に接続されており、バーチャル画像生成部１１と前記システムコントローラ１０とが連動して各種動作するのに必要な制御信号の送受信を行うもので、ＣＰＵ２５によって制御され、ＣＰＵ２５内に取り込まれるようになっている。

表示Ｉ／Ｆ２７は、前記ＣＰＵ２５の制御により生成されたバーチャル画像を切替部２７Ａを介してバーチャル画像用のモニタ１７，１７ａに出力する。これにより、バーチャル画像用のモニタ１７，１７ａは供給されたバーチャル画像を表示する。この場合、前記切替部２７Ａは、ＣＰＵ２５による切替え制御によって、バーチャル画像の出力を切替えて、指定されたバーチャル画像用のモニタ１７，１７ａに対し出力することが可能である。なお、バーチャル画像の表示を切替える必要がない場合には、前記切替部２７Ａを設けなくても良く、前記バーチャル画像用のモニタ１７，１７ａの双方に同じバーチャル画像を表示させても良い。

前記ＣＰＵ２５には、マウス１５及びキーボード１６が電気的に接続されている。これらマウス１５及びキーボード１６は、このバーチャル画像表示装置によるバーチャル画像表示動作を実行するのに必要な各種設定情報等を入力したり設定したりするための操作手段である。

ＣＰＵ２５は、前記バーチャル画像生成部１１内の各種動作、すなわち、通信Ｉ／Ｆ２６、表示Ｉ／Ｆ２７による各種信号の送受信制御、メモリ２４の画像データの書き込みや読み出し制御、モニタ１７、１７ａの表示制御、切替部２７Ａの切替え制御、さらにはマウス１５やキーボード１６の操作信号に基づく各種動作制御等を行う。

なお、本実施例では、前記バーチャル画像生成部１１を、例えば遠隔地に配されたバーチャル画像生成部に通信手段を介して接続するように構成すれば遠隔手術支援システムとして構築することも可能である。

次にこのように構成された本実施例の作用について説明する。本実施例では、バーチャル画像生成部１１において、手技前に被検体のバーチャル画像を元に、例えば臓器切除を行う場合、図４に示すように手技の進行に応じた手技バーチャル画像１１０を生成し、該手技バーチャル画像をデータベース部２３に登録する。

なお、図５ないし図９に各手技バーチャル画像の一例を示す。例えば図５は内視鏡２での観察下での関心臓器１００を含む各臓器の配置を確認するための手技1バーチャル画像１１０（１）を示し、図６は図５において脂肪組織１０１を除去した手技2バーチャル画像１１０（２）を示し、図７は図６において関心臓器１００を覆う他臓器１０２を移動した状態の手技3バーチャル画像１１０（３）を示し、図８は図７において関心臓器１００の血管１０３をクリッピングした状態の手技4バーチャル画像１１０（４）を示し、図９は図８において関心臓器１００の患部組織１０４を除去した状態の手技5バーチャル画像１１０（５）を示している。

これにより、データベース部２３には、図１０に示すように、３次元画像データ（ＣＴ画像データ）からなるＣＴ画像データベース２３ａ，手技バーチャル画像１１０からなるレンダリング画像データベース２３ｂが構築されることになる。

このように、レンダリング画像データベース２３ｂを構築した後に、術者による手技が開始され、カメラヘッド２ｄにより被検体内の観察像が撮像されると、図１１に示すように、ステップＳ１１にて内視鏡画像用モニタ１３に図１２に示すような内視鏡画像２００が表示される。ステップＳ１２ではｉに１を設定する。

そして、ステップＳ１３にて手技の進行に応じて術者が例えば「バーチャル表示」等の音声を発すると、ステップＳ１４にて該音声を例えば音声入力マイク１２Ｂが検知し、ＣＰＵ２０が音声認識処理により術者の指示を認識し、前記バーチャル画像生成部１１内のＣＰＵ２５に対して、図１２に示すように、モニタ１７ａに図５に示した手技1バーチャル画像１１０（１）を表示するように指示する。

そして、ステップＳ１５にて、この手技1バーチャル画像１１０（１）をモニタ１７ａで参照しながら、モニタ１３の内視鏡画像を観察しながら手技を進行させる。

次に、ステップＳ１６にて、手技の進行に応じて術者が例えば「バーチャル進行」等の音声を発し手技バーチャル画像の遷移指示を行うと、ステップＳ１７にて該音声を例えば音声入力マイク１２Ｂが検知し、ＣＰＵ２０が音声認識処理により術者の指示を認識しｉをインクリメントし、ステップＳ１４に戻り、前記バーチャル画像生成部１１内のＣＰＵ２５に対して、図１３に示すように、モニタ１７ａに手技iバーチャル画像１１０（ｉ）を表示するように指示する。なお、図１３では図６に示した手技2バーチャル画像１１０（２）が表示された状態を示している。

なお、モニタ１３に内視鏡画像を表示すると共に、モニタ１７ａにバーチャル画像を表示するとしたが、図１４に示すように、モニタ１７ａに内視鏡画像及びバーチャル画像を表示するようにしてもよい。

上記のステップＳ１４〜Ｓ１７をくり返すことで、図５の手技1バーチャル画像１１０（１）→図６の手技2バーチャル画像１１０（２）→図７の手技3バーチャル画像１１０（３）→図８の手技4バーチャル画像１１０（４）→図９の手技5バーチャル画像１１０（５）→手技nバーチャル画像１１０（ｎ）という各手技バーチャル画像１１０が術者の音声指示に基づいて順次、手技の進行に応じてモニタ１７ａに表示される。

このように本実施例では、モニタ１３での内視鏡画像の観察下で手技を実施中に、手技進行（手順）に応じて、術者が音声指示を行うだけで、手技に参照するのに最適な各手技バーチャル画像１１０を順次モニタ１７ａに表示することができるので、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することが可能となる。

なお、図１５ないし図１９に示すように、各手技バーチャル画像１１０に各手技進行に応じた手技内容を文字データとして重畳してよい。図１５は手技1バーチャル画像１１０（１）に手技1の内容を示す「臓器配置確認」という文字データを重畳した状態を示し、図１６は手技2バーチャル画像１１０（２）に手技2の内容を示す「脂肪除去」という文字データを重畳した状態を示し、図１７は手技3バーチャル画像１１０（３）に手技3の内容を示す「処置対象外臓器移動」という文字データを重畳した状態を示し、図１８は手技4バーチャル画像１１０（４）に手技1の内容を示す「血管クリッピング」という文字データを重畳した状態を示し、図１９は手技1バーチャル画像１１０（５）に手技5の内容を示す「患部除去」という文字データを重畳した状態を示している。

図２０は本発明の実施例２に係る手技支援システムの手技中の作用を説明するフローチャートである。

実施例２は、実施例１とほとんど同じであるので、異なる点のみ説明し、同一の構成には同じ符号をつけ説明は省略する。

実施例１では特定のアプローチ方向のみの手技を支援するための手技バーチャル画像を提供可能であったが、一般に、関心臓器内の患部位置によって鉗子等の処置具の患部へのアプローチ方向を内視鏡観察下での手技開始時に決定することがある。

そこで、本実施例では、手技前に患部への複数のアプローチ方向を想定し、想定したアプローチ方向毎に手技進行に応じた手技バーチャル画像を生成し、データベース部２３のレンダリング画像データベース２３ｂに格納する。レンダリング画像データベース２３ｂに格納されたアプローチ方向毎に手技進行に応じた手技バーチャル画像は、アプローチ方向毎の例えば表１ないし表３に示すアプローチ1テーブル、アプローチ2テーブル、アプローチ3テーブルによってＣＰＵ２０により管理される。

このようにアプローチ方向毎に手技進行に応じた手技バーチャル画像をデータベース部２３のレンダリング画像データベース２３ｂに格納した後、術者による手技が開始され、カメラヘッド２ｄにより被検体内の観察像が撮像されると、図２０に示すように、ステップＳ３１にて内視鏡画像用モニタ１３に内視鏡画像２００が表示される。

そして、ステップＳ３２にて手技の進行に応じて術者が例えば「バーチャル表示」等の音声を発すると、ステップＳ３３にて該音声を例えば音声入力マイク１２Ｂが検知し、ＣＰＵ２０が音声認識処理により術者の指示を認識し、前記バーチャル画像生成部１１内のＣＰＵ２５に対して、モニタ１７ａに図５に示した手技1バーチャル画像１１０（１）を表示する。

なおこの手技1バーチャル画像１１０（１）はデフォルトでは、アプローチ1テーブルを参照して選択される。

次に、ステップＳ３４にて術者が例えば「アプローチ１」等の音声を発しアプローチ方向を指定すると、指定したアプローチ方向の番号「ｉ」のアプローチiテーブルを参照してアプローチiの手技1バーチャル画像１１０（１）をモニタ１７ａに表示する。

その後は、実施例１で説明したように、手技の進行に応じて術者が例えば「バーチャル進行」等の音声を発し手技バーチャル画像の遷移指示を行うことで、各手技バーチャル画像１１０が術者の音声指示に基づいて順次、手技の進行に応じてモニタ１７ａに表示される。

このように本実施例では、実施例１の効果に加え、関心臓器内の患部位置によって鉗子等の処置具の患部へのアプローチ方向を内視鏡観察下での手技開始時に決定した場合でも、手技支援に適したバーチャル画像をリアルタイムに手技中に提供することが可能となる。

本発明は、上述した実施例に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

本発明の実施例１に係る手技支援システムの構成を示す構成図図１の内視鏡の構成を示す図図１の手技支援システムの要部構成を示すブロック図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第１の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第２の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第３の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第４の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第５の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像を説明する第６の図図５の手技バーチャル画像を格納するデータベース部の構成を示す図図１の手技支援システムの手技中の作用を説明するフローチャート図１１の処理を説明する第１の図図１１の処理を説明する第２の図図１１の処理を説明する第３の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第１の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第２の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第３の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第４の図図１のバーチャル画像生成部で生成される手技の進行に応じた手技バーチャル画像の変形例を説明する第５の図本発明の実施例１に係る手技支援システムの手技中の作用を説明するフローチャート

符号の説明

１…手技支援システム
２…内視鏡、
４…ＣＣＵ
５…光源装置
６…電気メス装置
７…気腹装置
８…超音波駆動電源
９…ＶＴＲ
１０…システムコントローラ
１１…バーチャル画像生成部
代理人弁理士伊藤進

Claims

被検体の体腔内を撮像する撮像手段を有する内視鏡と、
前記撮像手段からの撮像信号により内視鏡画像を生成する内視鏡画像生成手段と、
前記内視鏡画像生成手段により生成された前記内視鏡画像を第１のモニタ部に表示させるための画像信号を生成する内視鏡画像信号生成手段と、
予め取得した当該被写体の断層像データを格納する断層像データ記憶部と、
前記断層像データに基づいて生成された当該被検体に係る複数のバーチャル画像データを格納するバーチャル画像データ記憶部と、
前記バーチャル画像データから選択された、所定の手技の手順に対応した複数の手技バーチャル画像データを登録する手技バーチャル画像データ登録部と、
前記手技バーチャル画像データ登録部に登録された複数の手技バーチャル画像データのうち、当該所定の手技の手順に対応した手技バーチャル画像データに係る手技バーチャル画像を選択的に読み出すよう指示する手技バーチャル画像選択指示手段と、
前記手技バーチャル画像選択指示手段により選択された手技バーチャル画像を、前記第１のモニタ部に表示される前記内視鏡画像とは重畳しないように当該第１のモニタ部とは異なる第２のモニタ部に表示させるための画像信号を生成するバーチャル画像信号生成手段と、
を具備したことを特徴とする手術支援システム。
複数の特定のアプローチ方向に係る手技それぞれの手順にそれぞれ対応した複数の手技バーチャル画像データ群を、予め前記バーチャル画像データから選択して構成し、前記手技バーチャル画像データ登録部に登録せしめる制御手段と、
前記複数のアプローチ方向に係る手技のうち位置の手技を選択するアプローチ方向選択手段と、
を具備し、
前記手技バーチャル画像選択指示手段は、前記アプローチ方向選択手段により選択されたアプローチ方向に係る手技の手順に対応した複数の手技バーチャル画像データに係る手技バーチャル画像を前記手技バーチャル画像データ登録部から選択的に読み出すよう指示することを特徴とする請求項１に記載の手術支援システム。
前記複数のバーチャル画像データは、所定の関心臓器を含む複数の臓器の配置を確認するためのバーチャル画像に係るデータであり、
前記手技バーチャル画像データ登録部に登録される、所定の手技の手順に対応した複数の手技バーチャル画像データは、前記所定の関心臓器以外の臓器に係る画像が手技の進行に応じて臓器単位で除去される順番で構成されたことを特徴とする請求項１または２に記載の手術支援システム。