JP2008500643A - 三次元仮想スライドを生成しかつ可視化するためのシステム及び方法 - Google Patents

Abstract

三次元仮想スライドを生成しかつ可視化するためのシステム及び方法を提供する。１つ以上の顕微鏡スライドは、スライド上の試料を走査して中解像度又は高解像度で二次元画像を生成する画像捕捉デバイス内に配置される。この二次元画像は、操作者がこれらの画像を可視化する画像可視化ワークステーションに提供され、操作者は二次元画像をパン及びズームし、複数の深度レベル（Ｚ平面）で走査するための関心のあるエリアを選択する。画像捕捉デバイスは、複数の深度レベル走査のための、位置及び深度を含むパラメータのセットを受信する。画像捕捉デバイスは次に、各Ｚ平面画像が上記深度パラメータ内の試料の深度レベル部分に対応する一連のＺ平面画像内の位置において上記試料を走査する。

Description

本発明は、概して仮想顕微鏡スライド画像を生成しかつ可視化することに関し、より具体的には、三次元仮想顕微鏡スライド画像を生成しかつ可視化することに関する。

十分な品質の機械的合焦機構を使用する従来の顕微鏡は、観察者によって容易に合焦され得る。目／脳と指との間のフィードバックループは、非常に高速かつ正確である。しかしながら、フィードバックループの何れかの部分が損なわれれば、完全な焦点を得るプロセスは極めて困難で時間が掛かり、不正確にもなる。これらの障害は、低い光学的品質、不十分な、若しくは不適当な照明、合焦機構の不正確さから、若しくは操作者の低い視力からも発生するかもしれない。

より最近では、従来のコンピュータにより実行される顕微鏡システムは、何年にも渡って顕微鏡スライドの高解像度画像に遠隔からアクセスする能力を提供している。このような画像を生成する能力のあるデバイスは、大きく分けて（１）遠隔操作式（又は、ロボット式）顕微鏡、及び（２）試料の幾分か又は全ての何らかのタイプの電子画像又は写真画像を生成する撮像装置の２つのカテゴリーに分類される。各タイプはその優位点及び欠点を有し、その多くは特定の用途に固有である。

米国特許第６，７１１，２８３号（Ｓｏｅｎｋｓｅｎ）の明細書。

本質的に操作者の目を電子カメラに置換する遠隔操作式顕微鏡は、操作者がカメラの焦点面を制御することを可能にする。この能力は、厚い試料を可視化する場合に特に効果的である。しかしながら、中解像度又は高解像度における光学視野は、カメラ画素数が限定されることから極めて小さい。このため、中程度の倍率であっても、顕微鏡スライド上の試料全体を可視化することは極めて困難で、かつ時間が掛かる。

従来の画像システムは、試料全体を中程度の倍率又は高い倍率で捕捉するに足る大きさの画像を生成する能力を有する。これらの画像は、仮想顕微鏡スライド又は仮想スライドと呼ばれる。仮想スライドのサイズが非常に大きいことにより、仮想スライドは通常、単一の焦点レベル（「Ｚ平面」）に限定される。顕微鏡試料のタイプの多くは、極めて薄く、よって、単一のＺ平面仮想スライドで十分である。しかしながら、他のタイプの顕微鏡試料は対物レンズの被写界深度より厚い。

加えて、遠隔操作式顕微鏡は、さらに品質を下げる効果、即ちタイムラグによっても損なわれる。遠隔で操作される顕微鏡は、試料を配置しかつ合焦されるための電動式の台と、画像を離れたユーザに送信するカメラとを有する顕微鏡でしかないため、ユーザに表示されている画像が１秒のほんの僅かでも遅れると、フィードバックループは、使用がほぼ不可能というわけはないにしても、うまく機能しなくなるであろう。遠隔モニタで電子画像を視ているユーザは、最適に合焦された画像を集めようと試みるであろうが、結局のところ、画像は、ユーザが最良焦点で停止しようと試みた後もズームを続ける結果となる。よってプロセスは、次第に小さくなっていくばかりの反復を、最終的に満足のいく焦点が得られるまで、速度をだんだん遅くしながら繰り返されなければならない。従来システムにおけるタイムラグには、特にそれがインターネット接続を利用するネットワーク化された付属デバイスに適用される場合のように、幾つかの原因がある。１つの原因は、デバイスの設計自体にまで辿ることができる。低質のシステム設計及び非効率なデータ処理方法は、従来システムに認められる遅滞をさらに大きくする可能性がある。

２つの他の要素は、必ずしも設計者によって制御され得ない、という点でさらに深刻である。その１つ目は帯域幅である。帯域幅とは、データを伝送するネットワークの容量、もしくはロボット顕微鏡の場合は、操作者に表示されている像、及びデバイスに返送されてその位置及び焦点に影響を与える制御信号をいう。低いネットワーク帯域幅はビデオディスプレイ上の画像の更新速度を制限する。幸いなことに、より多くの費用をかければ、増大された帯域幅を購入することができ、この問題は効果的に解決される。待ち時間と称する２つ目の問題点は、これほど簡単には解決されない。待ち時間は、単に、ネットワークノード間の遅延時間である。高速ネットワークであっても、ある程度の待ち時間を有する。約数秒の遅延は、インターネット上において珍しいことではない。待ち時間は、リアルタイムフィードバック制御システムにとってのアキレス腱である。

従って、ユーザにとって、非常に応答性に優れ、広帯域で、待ち時間が少なく、従来システムにおける上述の制約に害されることのない遠隔操作式顕微鏡と思える遠隔デバイスが必要とされている。

従って、本明細書では、応答性に優れ、帯域幅が高く、待ち時間の少ない画像捕捉、及び複数のＺ平面における仮想スライド画像を可視化することのために、ユーザが顕微鏡スライド画像捕捉デバイス又は画像データサーバデバイスとローカルに又はリモートに相互作用できるようにするシステム及び方法を提供する所定の実施形態について記載する。本明細書に記載されているシステム及び方法は、遠隔操作式顕微鏡及び顕微鏡結像システムの優位点を組み合わせ、かつ顕微鏡スライド上の試料の広い領域を高解像度で走査する能力、及び操作者が、選択された関心のあるエリアを迅速に可視化して厚い試料内の焦点深度を制御する能力を提供する。

本発明の１つの態様は、三次元仮想顕微鏡スライドを生成しかつ可視化するためのコンピュータにより実行される方法である。顕微鏡スライドは、スライドを走査してスライド上の試料のデジタル画像を生成することのできる画像捕捉デバイス内に配置される。次に試料は、中解像度又は高解像度で二次元画像に走査される。この二次元画像は、操作者によって再精査され得る画像可視化ワークステーションに提供される。画像可視化ワークステーションにおいて、操作者は、二次元画像をパン及びズームし、複数の深度レベル（Ｚ平面）で走査するための関心のあるエリアを選択することができる。画像捕捉デバイスは、位置及び深度を含むＺスタックパラメータのセットを受信し、次に、それぞれが上記深度パラメータ内で試料の一部分に対応する一連のＺ平面画像を走査する。

本発明の構造及び動作の双方に関する詳細な内容は、部分的に、添付の図面を検討することによって探ることができる。諸図を通じて、類似の参照番号は類似の部分を指す。

本明細書に開示されているような所定の実施形態は、三次元仮想スライドを生成しかつ可視化するためのシステム及び方法を提供する。例えば、本明細書に開示する１つの方法は、１つ以上の顕微鏡スライドが、スライド上の試料を走査して中解像度又は高解像度で二次元画像を生成する画像捕捉デバイス内に配置されることを考慮している。若しくは、試料全体が一度に低解像度の「マクロ」画像に捕捉され得る。これらの高解像度又は低解像度の二次元画像は、操作者がこれらの二次元画像を可視化する画像可視化ワークステーションに提供され、操作者はこれらの二次元画像をパン及びズームし、複数の深度レベル（Ｚ平面）で走査するための関心のあるエリアを選択する。画像捕捉デバイスは、位置及び深度を含む複数の深度レベル走査のためのパラメータのセットを受信する。画像捕捉デバイスは次に、それぞれが上記深度パラメータ内の試料の深度レベル部分に対応する一連のＺ平面画像におけるその位置で試料を走査する。

本明細書本文を読めば、当業者には、本発明を様々な代替実施形態及び代替用途に実装する方法が明らかとなるであろう。しかしながら、本明細書では本発明の様々な実施形態が記載されるが、これらの実施形態は限定ではなく単なる例示として提示される点は理解される。従って、様々な代替実施形態のこの詳細な説明は、添付の請求の範囲に記載されている本発明の範囲及び幅を限定するものとして解釈されるべきではない。

図１は、本発明の一実施形態に係る一例のネットワーク化されたシステム１０を例示するブロック図である。例示した実施形態では、システム１０は、画像捕捉デバイス（「ＩＡＤ：Image Acquisition Device」）２０と、画像データサーバ（「ＩＤＳ：Image Data Server」）３０と、画像可視化ワークステーション（「ＩＶＷ：Image Viewing Workstation」）４０とを備える。これらの各デバイスは、個々のデータ格納エリア２５、３５及び４５に関連づけられ、かつこれらのデバイスのそれぞれは、ネットワーク５０を介して他のデバイスに通信で接続される。若しくは、これらのデバイスは互いに直接接続されてもよく、別々のネットワークを介して互いに接続されてもよい。一実施形態では、２つ以上のデバイスが同じ物理的デバイスにモジュール的に統合されてもよく、この場合、機能モジュール間の通信はプロセス間通信、共有メモリ、共通ファイル等を介して行われてもよい。

ＩＡＤ２０は、顕微鏡スライドから二次元画像を捕捉することのできるハードウェア及びソフトウェアを備える。ＩＡＤ２０は、スライドから画像を、スライド内の任意の位置（Ｘ，Ｙ）において、任意の焦点深度（Ｚ）で捕捉してもよい。

ＩＡＤ２０は、典型的には、顕微鏡スライド上の試料を病理学者による医学的診断に必要な解像度にまで拡大する光学素子を提供する。最も低い解像度は、典型的には１ピクセル当たり１．０ミクロン（しばしば「１０Ｘ」と呼ばれる。）であり、最も高い解像度は、１ピクセル当たり０．１ミクロン（「１００Ｘ」）であってもよい。典型的な解像度は通常、１ピクセル当たり０．５ミクロン（「２０Ｘ」）又は１ピクセル当たり０．２５ミクロン（「４０Ｘ」）である。光学素子の開口数（「ＮＡ」）は、典型的には０．５又は０．７５であり、１ミクロン乃至０．５ミクロンの焦点深度をもたらす。

顕微鏡スライド上の標本は通常、一側面が１０乃至３０ｍｍの全体の寸法を有する。例えば、ある典型的な試料は、２０×１５ｍｍの範囲をカバーすることができる。このような標本が１ピクセル当たり０．２５ミクロンの解像度（すなわち４０Ｘ）で完全に画像化されるとき、８０，０００×６０，０００ピクセルを有する画像が生み出される。完全なスライド画像を正確に得ることは技術的に困難ではあるが、本参照によりその全体が本明細書に組み込まれる特許文献１に詳述されているＡｐｅｒｉｏ ＳｃａｎＳｃｏｐｅ（登録商標）等の機器を使用して達成されてもよい。

ＩＤＳ３０は、ＩＡＤによって捕捉される二次元及び三次元画像を格納しかつアクセスを有効化するサーバコンピュータ及びソフトウェアを備える。ＩＤＳは、ローカルネットワーク上のＩＡＤ２０の近傍に配置することができる。ある代替実施形態では、ＩＤＳ３０は、ＩＡＤ２０から遠隔に存在していてワイドネットワークを介して接続されることが望ましい。

ＩＶＷ４０は、ＩＡＤ２０によって捕捉されかつＩＤＳ３０から検索される二次元及び三次元画像を表示することのできるパーソナルコンピュータ及びソフトウェアを備える。ＩＶＷ４０は、ＴＣＰ／ＩＰ等の標準コンピュータネットワーク技術を用いて、ＩＡＤ２０及びＩＤＳ３０からローカルネットワーク又はワイドネットワークを横断して配置されてもよい。ＩＶＷ４０は、ＩＡＤ２０を方向付けて顕微鏡スライド上の試料の画像データを捕捉し、それをインタラクティブに可視化する。捕捉される画像データはＩＤＳ３０に格納され、これらのデータは、後にこのＩＤＳ３０からＩＶＷ４０を使用して可視化することができる。

ネットワーク５０は、ローカルネットワーク、ワイドネットワーク、有線又は無線ネットワークであっても、複数のネットワークの任意の組合わせであってもよい。このようなネットワークの組み合わせは、通常インターネットと呼ばれる。ネットワーク５０はインターネットである場合もあれば、インターネットを含むネットワークの任意のサブコンビネーションである場合もある。またネットワーク５０は、私的ネットワーク又は公的ネットワーク、若しくは複数のネットワークの任意の組み合わせであってもよい。

図２は、本発明の一実施形態に係る、試料を伴う一例の顕微鏡スライドを示す側面図である。図示した実施形態では、スライド１１０は組織１００の標本（本明細書では、試料とも称する）を支持している。組織１００は、血液又は他の物質等の任意のタイプの顕微鏡スライド試料であってもよい。

顕微鏡スライド上の組織１００等の組織標本は平坦であるように見えるが、ミクロン及びサブミクロンの解像度レベルでは、事実上、厚さにかなりの量の変化がある。標本の厚さは、０．５ミクロン乃至１０ミクロンの範囲で変わる可能性がある。場合によっては、試料の中を通って焦点深度０．５／１．０ミクロンを合焦することにより、例えば、標本の厚さ１０ミクロンのエリアを、三次元的に標本を可視化することが医学的に重要である。これは、典型的には、試料上の同じ位置で複数の画像を、変化する焦点深度で捕捉することによって達成される。試料上の１つの位置から異なる焦点深度で捕捉される画像のセットは「Ｚスタック」と呼ばれ、Ｚスタックにおける個々の画像は「Ｚ平面」と呼ばれる。

図３は、本発明の一実施形態に係る、一例の三次元Ｚスタック２００を例示するブロック図である。例示した実施形態では、Ｚスタック２００は、厚さが１０ミクロンである試料上の位置（図２における対応するエリアを参照されたい）から得られるものである。例示したこの実施形態では、Ｚスタック２００は１０枚のＺ平面２１０を含む。この特定の実施形態では、隣接する１０枚のＺ平面が捕捉されて厚さ１０ミクロンの試料全体を集合的にカバーするように、対物レンズの焦点深度は１ミクロンである。

ある代替実施形態では、単一のＺ平面の深度は１ミクロンより大きくても小さくてもよく、様々なＺ平面が隣接せず離隔されていてもよい。

Ｚスタックにおける各Ｚ平面画像の横方向（Ｘ，Ｙ）寸法は、典型的には、カメラのＣＣＤアレイのサイズ等の捕捉用ハードウェアによって決定される。一実施形態では、ＣＣＤアレイの寸法は２０４８×１５３６ピクセルであってもよい。Ｚ平面の像はまた、幾つかの視野を組み合わせたものであってもよい。Ｚスタック内の像の数及び間隔は設定可能であり、かつ医療用途の標本タイプ及び特性に依存する。一実施形態では、典型的なＺスタックは０．２５乃至１．０ミクロン間隔の５乃至１０枚の画像を含む。

図４は、本発明の一実施形態に係る、三次元仮想顕微鏡スライドを生成するための一例の高レベルプロセスを例示するフロー図である。この手順は、図１に関連して示されかつ記載されたシステムによって実行されてもよい。まず、ステップ２５０において、ＩＡＤは、顕微鏡スライド上の試料の二次元画像を捕捉する。次に、ステップ２５５において、この画像がＩＶＷのユーザに提示される。ＩＶＷに向かう画像データは、ＩＤＳを介して経路を定めてもよく、ＩＤＳにおいて画像データはまず仮想スライド又は仮想スライドの一部として格納され、次いでユーザに提示される。

ユーザは、ＩＶＷを介して１つ又は複数の二次元画像をパン及びズームし、そうでなければ精査して三次元画像の捕捉に関心のあるエリアを識別する。ステップ２６０において、ＩＡＤは三次元画像の捕捉のためにリビジットされるべき位置を受信する。一実施形態では、ＩＶＷは位置情報を直接ＩＡＤに送る。この時点で、ステップ２６５において、任意選択によりＩＡＤは識別された位置をより高い解像度で再走査してもよく、次いでこのより高い解像度のエリアを精査するためにユーザに提示してもよい。例えば、一実施形態では、最初の二次元走査は、その位置でＺスタックを捕捉すべきかどうかの決定を下す前に、より高い解像度での精査を必要とする低解像度の走査であってもよい。或いは、最初の走査は、その決定を下すに足る高解像度（例えば、２０Ｘ）であってもよい。このような代替実施形態では、任意選択のステップ２６５をスキップすることができる。

次に、ＩＡＤは、ステップ２７０に例示するように、三次元走査パラメータを受信する。これらのパラメータは、顕微鏡スライドが座するＩＡＤの台に関連する座標による試料の領域を一意に記載する長さ及び幅の識別子を含んでもよい。他のパラメータは、Ｚスタック内の所望されるＺ平面の数を含んでもよい。さらに、上記パラメータは、Ｚスタック内のＺ平面間の所望される間隔を含んでもよい。また追加の情報として、所望される走査解像度（例えば、２０Ｘ、４０Ｘ、１００Ｘ）が含まれてもよい。また、他のパラメータが提供されてもよい。

最後に、ステップ２７５において、ＩＡＤは、Ｚスタック内の様々なＺ平面を捕捉する。次には、これらのＺ平面を、二次元画像と共に、同じ仮想スライドの一部として格納するためにＩＤＳに送ることができる。一実施形態では、Ｚスタックの捕捉は、図３に示すように、Ｚ平面レベルを下方へと進行させる。例えば、ＩＡＤはまずＺ平面１を捕捉し、次いで対物レンズを台に対して相対的に移動させて（又はその逆）、Ｚ平面２を捕捉し、Ｚスタック内の全てのＺ平面が捕捉されるまでこれが続けられる。

図５は、本発明の一実施形態に係る、三次元仮想顕微鏡スライドを生成するための一例のプロセスを例示するフロー図である。この手順は、図１に関連して示しかつ記載されたシステムによって実行されてもよい。まず、ステップ３０５において、ＩＶＷは、三次元走査への「リビジット」を開始する指示を受信する。ＩＶＷは次に、ステップ３１０において、被写体である仮想スライドのコンテンツを取得してそれをユーザに提示する。これは、ＩＡＤとの直接的な相互作用によって行われる場合もあれば、ＩＤＳとの相互作用を介して達成させる場合もあり、若しくは双方であってもよい。可視化のための仮想スライドをユーザに提供した後、ＩＶＷは次に、ステップ３１５において、ユーザが仮想スライドにおける試料を可視化するに伴って、ＩＤＳと協働してパン／ズーム要求に応答する。次に、ステップ３２０において、ＩＶＷは三次元走査パラメータを受信し、そのパラメータをＩＡＤに送る。三次元走査パラメータは、数例を挙げるだけでも、Ｚスタック捕捉のためにリビジットされるべきエリアの位置、そのエリアの長さ及び幅、Ｚスタック内の捕捉されるべきＺ平面の数、Ｚスタック内のＺ平面間の間隔、Ｚ平面画像の解像度及びＺスタックに含まれるべき組織の合計深度を含んでもよい。走査されるべきＺスタックの精度及び十分さを高める追加のパラメータもまた提供されてもよい。

次に、ステップ３２０において、ＩＡＤはＺスタック内のＺ平面画像を捕捉し、仮想顕微鏡スライドの一部として格納するためにＺスタック内のこれらの画像をＩＤＳに送る。次いで、ＩＤＳはＺスタック画像データをＩＶＷに送ってもよく、これらのデータは、ステップ３３０に示すように、ＩＶＷにおいてＺスタックとしてユーザに提示される。

図６は、本発明の一実施形態に係る、三次元仮想スライドを生成するための一例のユーザインタフェースを例示するブロック図である。図示された実施形態では、三次元画像捕捉のためにリビジットされるべき顕微鏡試料のエリアを含む矩形エリア３５０が示されている。この矩形エリアは長さ３６０、幅３５５であって、Ｚスタックへと走査されるべき領域の中心の位置を識別する十字３６５を有する。一実施形態では、ユーザは、関心のあるエリアを特定するために、マウスを使用してＩＶＷの画面上に矩形をドラッグしてもよい。ユーザによって矩形が生成された後、ＩＶＷは、Ｚスタック内へ走査されるべきエリアの実際の長さ、幅及び位置を計算してもよい。次に、これらのパラメータは、Ｚスタックの画像捕捉を促進するためにＩＡＤに送られてもよい。

さらに、図示された実施形態では、矩形領域３５０のサイズを選択し、Ｚスタックへと走査されるべき領域の深度を選択し、かつＺスタック内の個々のＺ平面間の間隔を選択するために使用されるために、ユーザにアイコン３７０、３７５及び３８０の選択が提示される。効果的には、ユーザによるこれらの選択もまた、Ｚスタックの画像捕捉を促進するためのパラメータとしてＩＡＤに送ることができる。Ｚスタック内を走査する関心のあるエリアを識別するためにユーザ相互作用機能を実行する代替ユーザインタフェースもまた、使用されてもよい。

図７は、本発明の一実施形態に係る、変化する厚さを有する試料上の画像捕捉デバイスの一例の走査経路を例示するブロック図である。図示された実施形態では、対物レンズ４００が顕微鏡スライド１１０上の組織標本１００の上に示されている。組織１００を走査するとき、対物レンズは走査経路４１０に沿って移動し、組織１００上を通過する。組織１００は大きな凹凸形状を有する場合があり（例えば、４０Ｘの対物レンズを介してミクロンレベルで見れば分るように）、幾つかの厚い領域４２０、４３０及び４４０を含む。本例の目的に沿って、厚い領域４２０は１０ミクロンであり、厚い領域４３０は５ミクロンであり、厚い領域４４０は６ミクロンである。これらの厚い領域は、厚くない、例えば厚さ０．５ミクロン及び１ミクロンである組織内の谷間によって分離される。

組織１００の最初の走査の間に、二次元画像が生成される。この二次元画像を、図８において画像４５０として示す。図８は、本発明の一実施形態に係る、図７に示す組織１００の三次元走査の結果として得られる一例の三次元仮想スライドを例示するブロック図である。また図８には、それぞれがＺ平面４６０等の複数のＺ平面を有する、最終的なＺスタック４２５、４３５及び４４５も示されている。

Ｚスタック４２５は厚い領域４２０に対応し、１０枚のＺ平面を含む。本例では、対物レンズ４００は、１０枚の隣接するＺ平面４６０が領域４２０の全体厚さをカバーするように、１ミクロンの焦点深度を有する。Ｚスタック４３５は厚い領域４３０に対応し、同じく５枚のＺ平面を含む。Ｚスタック４４５は厚い領域４４０に対応し、やはり５枚のＺ平面を含む。

図８に図示された実施形態では、二次元画像４５０に対応するＺ平面は、Ｚスタックのそれぞれの中間に位置づけられる。これは、一例の複数のＺスタックが捕捉された場合、Ｚスタックの中間深度は、最初の二次元画像４５０が捕捉された深度と同じ深度に設定されるためである。従って、図８に示す仮想スライドに到達するためには、最初の二次元画像４５０がＩＡＤによって捕捉され、ユーザがＺスタックの捕捉のための厚い領域４２０、４３０及び４４０を識別し、ＩＡＤがこれらのＺスタックを捕捉するとき、Ｚスタックの中間におけるＺ平面の深度レベルが二次元画像を捕捉したときと同じレベルに設定される。

代替実施形態では、Ｚスタックの様々なＺ平面は全て、元の二次元画像の深度レベルより下位に設定されてもよい。若しくは、Ｚスタックの様々なＺ平面は全て、元の二次元画像の深度レベルより上位に設定されてもよい。また、実際の組織の画像データの捕捉を最適化して仮想スライド画像に包含するために、Ｚスタック内の複数の平面に対して様々な異なる較正が使用されてもよい。

図９は、本発明の一実施形態に係る、三次元仮想スライドを可視化するための一例のプロセスを例示するフロー図である。この手順は、図１に関連して示しかつ記載されたシステムによって実行されてもよく、一実施形態では、ＩＤＳ及びＩＶＷデバイスを必要とするだけであってもよい。まず、ステップ５００において、ＩＤＳはＩＶＷから可視化指示を受信する。これに応答して、ＩＤＳは、データストレージエリア（ローカルデータストレージエリアであっても、リモートデータストレージエリアであってもよい）から要求された仮想スライドを取得し、その仮想スライドをＩＶＷに提供する。次に、ステップ５０５において、ＩＶＷはユーザに仮想スライド画像データを提示する。仮想スライドはＩＶＷを介してユーザに提示されるが、仮想スライド画像データ全体のサブセットのみが任意の時間に提示されることに留意されたい。例えば、仮想スライド全体のサムネイル画像は、画像データの１つ又は２つの追加の可視化画像と同時に、異なる解像度で提示されてもよい。

仮想スライドがユーザに提示されると、ＩＶＷとＩＤＳは、ステップ５１０に示すように、一斉に動作してユーザからのパン及びズームによるコマンドに応答する。これにより、ユーザは、試料の全エリアを低倍率及び高倍率で、かつ重要なことには診断用の解像度で可視化することができるようになる。ユーザとのパン及びズーム相互作用の間、ＩＶＷ及びＩＤＳは、ユーザに可視化される試料のエリアを監視する。ステップ５１５において決定されるように、Ｚスタックを含む試料エリアが可視化されているとき、ＩＶＷは、ステップ５２０に示すように、ユーザにＺスタックのＺ平面画像へのアクセスを提供する。

一実施形態では、ユーザに、視覚的な合図によってＺスタックの存在が通知されてもよい。例えば、画像データはＺスタックを識別するオーバーレイを追加されてもよく、若しくは新しいメニュが現れてもよく、若しくは情報ウィンドウがポップアップしてユーザにＺスタックが存在することを知らせてもよい。他の多くの通知方法が用いられてもよい。

効果的には、ユーザがＺスタックに遭遇すると、ＩＶＷはユーザに、個々の可視化についてＺスタック内の各Ｚ平面を選択する能力を与える。さらに、ＩＶＷにより、中間の焦点深度レベルが補間されることによって、ユーザにＺスタックのそのエリアにおける試料全体に対する連続する画像データを提供してもよい。従って、Ｚスタックの一部として捕捉されるＺ平面画像は有限数であるが、ユーザは、ほぼ無限数の焦点深度によってズームを行うことができる。この能力は、ユーザに、試料を従来の顕微鏡を使用しているかのようにして調べる完璧な能力を提供する。

図１０は、本明細書に記載されている様々な実施形態に関連して使用され得る一例としてのコンピュータシステム５５０を例示するブロック図である。例えば、コンピュータシステム５５０は、画像捕捉デバイス、画像データサーバ又は画像可視化ワークステーションと併せて使用されてもよい。但し、当業者には明白であるように、他のコンピュータシステム及び／又はアーキテクチャが使用されてもよい。

コンピュータシステム５５０は、好適には、プロセッサ５５２等の１つ以上のプロセッサを含む。さらに、入／出力を管理する補助プロセッサ、浮動小数点数学演算を実行する補助プロセッサ、信号処理アルゴリズムの高速実行に適したアーキテクチャを有する専用マイクロプロセッサ（例えば、デジタル信号プロセッサ）、主処理システムに従属するスレーブプロセッサ（例えば、バックエンドプロセッサ）、デュアル又はマルチプロセッサシステム用の追加のマイクロプロセッサ又はコントローラ、若しくはコプロセッサ等の追加のプロセッサが提供されてもよい。このような補助プロセッサは、離散プロセッサであっても、プロセッサ５５２と統合されてもよい。

プロセッサ５５２は、好適には、通信バス５５４に接続される。通信バス５５４は、コンピュータシステム５５０のストレージと他の周辺コンポーネントとの間の情報転送を促進するためのデータチャネルを含んでもよい。通信バス５５４はさらに、データバス、アドレスバス及び制御バス（図示されていない）を含む、プロセッサ５５２との連絡に使用される信号のセットを提供してもよい。通信バス５５４は、例えば業界標準アーキテクチャ（「ＩＳＡ：Industry Standard Architecture」）、拡張業界標準アーキテクチャ（「ＥＩＳＡ：Extended Industry Standard Architecture」）、マイクロチャネルアーキテクチャ（「ＭＣＡ」）、周辺コンポーネント相互接続（「ＰＣＩ：Peripheral Component Interconnect」）ローカルバス、又は電気電子学会（「ＩＥＥＥ：Institute of Electrical and Electronics Engineers」）が普及している、ＩＥＥＥ４８８汎用インタフェースバス（「ＧＰＩＢ：General-Purpose Interface Bus」）、ＩＥＥＥ６９６／Ｓ−１００及び等を含む規格に準拠するバスアーキテクチャ等である任意の標準又は非標準バスアーキテクチャを備えてもよい。

コンピュータシステム５５０は、好適には、主メモリ５５６を含み、かつ二次メモリ５５８を含んでもよい。主メモリ５５６は、プロセッサ５５２上で実行するプログラムのための命令及びデータのストレージを供給する。主メモリ５５６は、典型的には、ダイナミックランダムアクセスメモリ（「ＤＲＡＭ」）及び／又はスタティックランダムアクセスメモリ（「ＳＲＡＭ」）等の半導体ベースのメモリである。他の半導体ベースのメモリのタイプとしては、例えば、読取り専用メモリ（「ＲＯＭ：Read Only Memory」）を含む、同期ダイナミックランダムアクセスメモリ（「ＳＤＲＡＭ：Synchronous Dynamic Random Access Memory」）、ラムバスダイナミックランダムアクセスメモリ（「ＲＤＲＡＭ：Rambus Dynamic Random Access Memory」）、強誘電ランダムアクセスメモリ（「ＦＲＡＭ：Ferroelectric Random Access Memory」）等が含まれる。

二次メモリ５５８は、任意選択として、ハードディスクドライブ５６０及び／又は、例えばフロッピー（登録商標）ディスクドライブ、磁気テープドライブ、コンパクトディスク（「ＣＤ」）ドライブ、デジタルバーサタイルディスク（「ＤＶＤ」）ドライブ等のリムーバブルストレージドライブ５６２を含んでもよい。リムーバブルストレージドライブ５６２は、リムーバブルストレージメディア５６４との間で周知方法により読取り及び／又は書込みを行なう。リムーバブルストレージメディア５６４は、例えば、フロッピー（登録商標）ディスク、磁気テープ、ＣＤ、ＤＶＤ等であってもよい。

リムーバブルストレージメディア５６４は、好適には、コンピュータ実行可能コード（即ち、ソフトウェア）及び／又はデータを格納しているコンピュータ読取り可能メディアである。リムーバブルストレージメディア５６４に格納されたコンピュータソフトウェア又はデータは、電気通信信号５７８としてコンピュータシステム５５０に読み込まれる。

代替実施形態では、二次メモリ５５８は、コンピュータプログラム又は他のデータ又は命令をコンピュータシステム５５０にロードできるようにする他の類似手段を含んでもよい。このような手段としては、例えば、外部ストレージメディア５７２及びインタフェース５７０が含まれてもよい。外部ストレージメディア５７２の例としては、外部ハードディスクドライブ又は外部光ドライブ及び／又は外部磁気光学ドライブが含まれてもよい。

二次メモリ５５８の他の例としては、プログラム可能読取り専用メモリ（「ＰＲＯＭ：Programmable Read-Only Memory」）、消去可能なプログラム可能読取り専用メモリ（「ＥＰＲＯＭ：Erasable Programmable Read-Only Memory」）、電気的に消去可能な読取り専用メモリ（「ＥＥＰＲＯＭ：Electrically Erasable Read-Only Memory」）又はフラッシュメモリ（ＥＥＰＲＯＭに類似するブロック指向のメモリ）等の半導体ベースのメモリが含まれてもよい。また、ソフトウェア及びデータをリムーバブルストレージユニット５７２からコンピュータシステム５５０に転送できるようにする他の任意のリムーバブルストレージユニット５７２及びインタフェース５７０も含まれる。

またコンピュータシステム５５０は、通信インタフェース５７４を含んでもよい。通信インタフェース５７４は、ソフトウェア及びデータがコンピュータシステム５５０と、外部デバイス（例えば、プリンタ）、ネットワーク又は情報ソースとの間で転送できるようにする。例えば、コンピュータソフトウェア又は実行可能コードは、ネットワークサーバから通信インタフェース５７４を介してコンピュータシステム５５０に転送されてもよい。通信インタフェース５７４の例としては、数例を挙げるだけでも、モデム、ネットワークインタフェースカード（「ＮＩＣ」）、通信ポート、ＰＣＭＣＩＡスロット及びカード、赤外線インタフェース及びＩＥＥＥ１３９４ファイアワイヤが含まれる。

通信インタフェース５７４は、好適には、イーサネット（登録商標）ＩＥＥＥ８０２規格、ファイバチャネル、デジタル加入者線（「ＤＳＬ：Digital Subscriber Line」）、非同期デジタル加入者線（「ＡＤＳＬ：Asynchronous Digital Subscriber Line」）、フレームリレー、非同期転送モード（「ＡＴＭ：Asynchronous Transfer Mode」）、統合デジタルサービス網（「ＩＳＤＮ：Integrated Digital Services Network」）、パーソナル通信サービス（「ＰＣＳ：Personal Communications Services」）、通信制御プロトコル／インターネットプロトコル（「ＴＣＰ／ＩＰ：Transmission Control Protocol/Internet Protocol」）、シリアルラインインターネットプロトコル／ポイントツーポイントプロトコル（「ＳＬＩＰ／ＰＰＰ」）等々のような業界が公布するプロトコル標準を実装するが、カスタマイズされた、若しくは非標準インタフェースプロトコルも同様に実装されてもよい。

通信インタフェース５７４を介して転送されるソフトウェア及びデータは、概して、電気通信信号５７８の形式である。これらの信号５７８は、好適には、通信チャネル５７６を介して通信インタフェース５７４に供給される。通信チャネル５７６は信号５７８を伝送し、かつ、数例を挙げるだけでも電信線又はケーブル、光ファイバ、従来の電話線、携帯電話リンク、無線データ通信リンク、高周波（ＲＦ）リンク又は赤外線リンクを含む様々な有線、又は無線通信手段を使用して実装されてもよい。

コンピュータ実行可能コード（即ち、コンピュータプログラム又はソフトウェア）は、主メモリ５５６及び／又は二次メモリ５５８に格納される。コンピュータプログラムは、また通信インタフェース５７４を介して受信され、主メモリ５５６及び／又は二次メモリ５５８に格納されることもできる。このようなコンピュータプログラムは、実行されると、コンピュータシステム５５０が先に述べたような本発明の様々な機能を実行することを可能にする。

この明細書本文における「コンピュータ読取り可能メディア」という表現は、コンピュータ実行可能コード（例えば、ソフトウェア及びコンピュータプログラム）をコンピュータシステム５５０に提供するために使用される任意のメディアを指して使用される。これらのメディアの例としては、主メモリ５５６、二次メモリ５５８（ハードディスクドライブ５６０、リムーバブルストレージメディア５６４及び外部ストレージメディア５７２を含む）、及び通信インタフェース５７４と通信により接続される任意の周辺デバイス（ネットワーク情報サーバ又は他のネットワークデバイスを含む）が含まれる。これらのコンピュータ読取り可能メディアは、コンピュータシステム５５０に実行可能コード、プログラミング命令及びソフトウェアを提供するための手段である。

ソフトウェアを使用して実装される一実施形態では、ソフトウェアはコンピュータ読取り可能メディア上に格納され、かつリムーバブルストレージドライブ５６２、インタフェース５７０又は通信インタフェース５７４によってコンピュータシステム５５０にロードされてもよい。このような実施形態では、ソフトウェアは、コンピュータシステム５５０に電気通信信号５７８の形式でロードされる。ソフトウェアは、プロセッサ５５２によって実行されると、好適には、プロセッサ５５２に本明細書で先に述べた発明的特徴及び機能を実行させる。

また主としてハードウェアにおいては、例えば特定用途向け集積回路（「ＡＳＩＣ：Application Specific Integrated Circuit」）又はフィールドプログラマブルゲートアレイ（「ＦＰＧＡ」）等のコンポーネントを使用して、様々な実施形態が実装されてもよい。本明細書に記載された機能を実行することのできるハードウェア状態マシンの実装も、当業者には明らかであろう。また様々な実施形態は、ハードウェア及びソフトウェア双方の組み合わせを使用して実装されてもよい。

さらに、当業者は、上述の諸図面及び本明細書に開示されている実施形態に関連して記載された例示的な様々な論理ブロック、モジュール、回路及び方法ステップが、しばしば電子ハードウェア、コンピュータソフトウェア又は両者の組み合わせとして実装され得ることを評価するであろう。以上、ハードウェアとソフトウェアのこの互換性を明確に例示するために、様々な例示的コンポーネント、ブロック、モジュール、回路及びステップを概してその機能性に関連して記載した。このような機能性がハードウェア又はソフトウェアとして実装されるかどうかは、全体システムに課される特定の用途及び設計上の制約に依存する。当業者は、記載された機能性を特定の各用途に合わせて様々に実装することができるが、このような実装の決定は、本発明の範囲からの逸脱を招くものとして解釈されるべきではない。さらに、機能をモジュール、ブロック、回路又はステップにまとめることは、説明を簡便にするためのものである。特定の機能又はステップは、本発明から逸脱することなく１つのモジュール、ブロック又は回路からもう１つのものへ移動させることができる。

さらに、本明細書に開示されている実施形態に関連して記載された様々な例示的な論理ブロック、モジュール及び方法は、汎用プロセッサ、デジタル信号プロセッサ（「ＤＳＰ：Digital Signal Processor」）、ＡＳＩＣ、ＦＰＧＡ又は他のプログラム可能論理デバイス、離散ゲート又はトランジスタ論理、離散型ハードウェアコンポーネント又は本明細書に記載されている機能を実行するように設計されるこれらの任意の組み合わせによって実装又は実行されてもよい。汎用プロセッサはマイクロプロセッサであってもよいが、代替例では、プロセッサは任意のプロセッサ、コントローラ、マイクロコントローラ又は状態マシンであってもよい。プロセッサは計算デバイスの組み合わせとして、例えば、ＤＳＰとマイクロプロセッサの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと併用する１つ以上のマイクロプロセッサ又は他の任意のこのような構成として実装されてもよい。

さらに、本明細書に開示されている実施形態に関連して述べた方法のステップ又はアルゴリズムは、ハードウェア、プロセッサにより直接実行されるソフトウェアモジュール又は両者の組み合わせの形で具現され得る。ソフトウェアモジュールは、ＲＡＭメモリ、フラッシュメモリ、ＲＯＭメモリ、ＥＰＲＯＭメモリ、ＥＥＰＲＯＭメモリ、レジスタ、ハードディスク、リムーバブルディスク、ＣＤ−ＲＯＭ又はネットワークストレージメディアを含む他の任意の形式のストレージメディア内に存在し得る。一例としてのストレージメディアは、プロセッサがストレージメディアとの間で情報の読取り及び書込みを行えるようにプロセッサに接続され得る。上記代替例では、ストレージメディアはプロセッサに統合され得る。また、プロセッサ及びストレージメディアは、また、ＡＳＩＣ内に存在し得る。

開示した実施形態に関する上述の説明は、任意の当業者が本発明を利用できるように提供される。当業者には、これらの実施形態に対する様々な修正が直ちに明らかとなり、本明細書に記載された一般原理は、本発明の精神及び範囲を逸脱することなく他の実施形態に適用できる。従って、本明細書に提示されている説明及び図面は、本発明の現時点での好適な実施形態を表し、よって、本発明により広範に企図されている発明対象を表すものである点は理解されるべきである。さらに、本発明の範囲は、当業者にとって自明となる可能性のある他の実施形態を完全に包含すること、よって、本発明の範囲は唯一、添付の請求の範囲によってのみ限定されることも理解される。

本発明の一実施形態に係る一例のネットワーク化されたシステムを例示するブロック図である。 本発明の一実施形態に係る、試料を伴う一例の顕微鏡スライドの側面図である。 本発明の一実施形態に係る、一例の三次元Ｚスタックを例示するブロック図である。 本発明の一実施形態に係る、三次元仮想顕微鏡スライドを生成するための一例の高レベルプロセスを例示するフロー図である。 本発明の一実施形態に係る、三次元仮想顕微鏡スライドを生成するための一例のプロセスを例示するフロー図である。 本発明の一実施形態に係る、三次元仮想スライドを生成するための一例のユーザインタフェースを例示するブロック図である。 本発明の一実施形態に係る、変化する厚さを有する試料に渡る画像捕捉デバイスの一例の走査経路を例示するブロック図である。 本発明の一実施形態に係る、図７に示す試料の三次元走査の結果として得られる一例の三次元仮想スライドを例示するブロック図である。 本発明の一実施形態に係る、三次元仮想スライドを可視化するための一例のプロセスを例示するフロー図である。 本明細書に記載されている様々な実施形態に関連して使用されてもよい一例としてのコンピュータシステムを例示するブロック図である。

Claims (12)

1. 三次元仮想顕微鏡スライドを生成しかつ可視化するためのシステムであって、
   顕微鏡スライドを走査しかつ上記顕微鏡スライド上の試料のデジタル画像を生成するように構成される画像捕捉デバイスと、
   上記画像捕捉デバイスに通信で接続され、上記画像捕捉デバイスから仮想顕微鏡スライド画像を受信し、上記仮想顕微鏡スライド画像を格納しかつ要求に応じて上記仮想顕微鏡スライド画像を提供するように構成された画像データサーバと、
   上記画像捕捉デバイス及び上記画像データサーバに通信で接続され、上記画像捕捉デバイスにおいて顕微鏡スライド上の試料の二次元画像を表示し、操作者からコマンドを受信し、上記コマンドに応答して、上記画像捕捉デバイスに上記顕微鏡スライド上の試料から画像のＺスタックを捕捉することを指示するように構成された画像可視化ワークステーションとを備え、
   上記画像データサーバはさらに、上記画像のＺスタックを上記二次元画像と共に格納することによって三次元仮想顕微鏡スライドを生成するように構成されるシステム。
2. 上記画像可視化ワークステーションはさらに、上記三次元仮想顕微鏡スライドを表示するように構成される請求項１記載のシステム。
3. 上記画像可視化ワークステーションは、ユーザからの１つ以上のＺ平面画像に対する要求に応答して、ユーザに上記Ｚスタックの１つ以上のＺ平面画像を提示するように構成されるＺ平面アクセスモジュールをさらに備える請求項１記載のシステム。
4. 上記画像可視化ワークステーションは、上記１つ以上のＺ平面画像の表示をスライド全体の二次元可視化表示に統合する請求項３記載のシステム。
5. 三次元仮想顕微鏡スライドを生成しかつ可視化するためのコンピュータにより実行される方法であって、
   上記顕微鏡スライドを走査しかつ上記顕微鏡スライド上の試料のデジタル画像を生成するように構成される画像捕捉デバイスの台の上の顕微鏡スライドを方向づけることと、
   上記試料の二次元画像を高解像度で走査することと、
   上記二次元画像を画像可視化デバイスに提供することと、
   上記画像可視化デバイスから、位置と深度とを含むリビジットパラメータのセットを受信することと、
   上記位置において三次元Ｚスタックを走査することを含み、上記Ｚスタックは複数のＺ平面画像を含み、各Ｚ平面画像は上記深度における上記試料の一部に対応し、
   上記方法は、
   上記二次元画像及び上記三次元Ｚスタックを三次元仮想顕微鏡スライドとして共に格納することを含む方法。
6. 上記位置パラメータは、それぞれ上記画像捕捉デバイスの台に関連する長さ寸法と幅寸法とを含む請求項５記載の方法。
7. 三次元仮想顕微鏡スライドを生成しかつ可視化するためのコンピュータにより実行される方法であって、
   上記顕微鏡スライドを走査しかつ上記顕微鏡スライド上の試料のデジタル画像を生成するように構成される画像捕捉デバイスの台の上の顕微鏡スライドを方向づけることと、
   上記試料の二次元画像を高解像度で走査することと、
   上記二次元画像を画像可視化デバイスに提供することと、
   上記画像可視化デバイスから、位置と深度とを含むリビジットパラメータのセットを受信することと、
   上記位置において三次元Ｚスタックを走査することを含み、上記Ｚスタックは複数のＺ平面画像を含み、各Ｚ平面画像は上記深度における上記試料の一部に対応し、
   上記方法は、
   上記二次元画像及び上記三次元Ｚスタックを三次元仮想顕微鏡スライドとして共に格納することを含む方法。
8. 上記三次元仮想顕微鏡スライドを画像可視化ワークステーションのディスプレイに提示することをさらに含む請求項７記載の方法。
9. １つ以上のＺ平面画像に対する要求に応答して、上記Ｚスタックの１つ以上のＺ平面画像を上記画像可視化ワークステーションのディスプレイに提示することをさらに含む請求項８記載の方法。
10. 上記Ｚスタックの１つ以上のＺ平面画像の提示を上記スライド全体の二次元可視化画像の提示に統合することをさらに含む請求項９記載の方法。
11. 上記位置パラメータは、長さ寸法と幅寸法とを含む請求項７記載の方法。
12. 上記長さ寸法及び上記幅寸法は、それぞれ上記画像捕捉デバイスの台に関連する請求項１１記載の方法。

Images