JP7458328B2 - マルチ分解能登録を介したマルチサンプル全体スライド画像処理 - Google Patents

Description

関連出願の相互参照

本願は、２０１８年５月２１日に出願された米国仮特許出願第６２／６７４，３６８号の利益を主張する。上記の出願の全教示が参照により本明細書に組み込まれる。

デジタルパソロジー組織検体を精査する際、薄く連続的な組織切片から複数のスライドが作成されることがある。これらの切片は、その後、様々な染料で調整及びデジタル化されて全体スライド画像（ＷＳＩ）が生成されることがある。いくつかの画像間の均質性が欠如しているため、複数のＷＳＩを精査するのは難しい。

いくつかの実施形態では、精査を容易にするために、いくつかのＷＳＩがマルチ分解能登録アルゴリズムでアラインメントされ、処理の向上のために正規化され、専門家ユーザーによって注釈付けされ、画像パッチに分割される。当該画像パッチは、画像における関心領域（ＲＯＩ）の検出及び分類に有用な特徴を特定するために機械学習（ＭＬ）アルゴリズムを訓練するために用いられることがある。当該訓練されたＭＬモデルは他の画像に適用されて、当該他の画像におけるＲＯＩを検出して分類してもよく、これにより、ＷＳＩのナビゲートを支援できる。その結果得られるＲＯＩがユーザーに提示されると、当該ユーザーは表示層を通じてフィードバックを簡単にナビゲートして提供すると考えられる。

一例示的実施形態では、組織検体のＷＳＩを分析するためのシステムが提供される。当該システムはコンピュータ処理システムを備えてもよい。コンピュータ処理システムは、組織検体のＷＳＩを分析するよう構成されてメモリと通信可能に接続された、少なくとも１つのプロセッサを有する。

複数の染料が付いたスライドの組におけるＷＳＩに対し、ＷＳＩ用の染料タイプが当該システムによって指定されてもよい。前記染料タイプは、他のシステムからのメタデータ、病理学者若しくは他の特定分野の専門家による手動ラベル付け、又は自動染料検出器のうち１つを通じて当該システムにより指定されてもよい。前記ＷＳＩは前処理されて、途中段階のデータが形成されてもよい。これにより、背景から前景組織が分離され、ＭＬモデルのパラメータに基づいて前記ＷＳＩデータが正規化される。前記パラメータは、可能な染料並びに解像度又は他のパラメータを含む。

前記ＷＳＩは、注釈付け用に提示されてもよい。前記注釈付けは、病理学者又は他の特定分野の専門家によりユーザーインターフェースを介して前記ＷＳＩデータの領域に非デフォルト分類ラベルを適用することを伴ってもよい。前記注釈付き領域から画像パッチが作成されてもよく、それぞれの画像パッチが１つのクラスに対応している。分類に有用な特徴を動的に生成するパラメータ適切ＭＬモデルが訓練されてもよい。前記訓練されたＭＬモデル分類子は注釈付けされていないＷＳＩデータに適用されて、前記染料用の区分の組とパッチパラメータとが生成されてもよい。

前記染料の組からの前記前処理されたＷＳＩは、マルチ分解能登録アルゴリズムを介して登録されてもよい。前記マルチ分解能登録アルゴリズムは、（１）粗い登録アルゴリズムを適用して一般的なアフィン変換行列を生成することと、（２）連続的に小さくなるいくつかのサブセクションにおいて反復登録をして疎らな階層的マルチ分解能ＡＴＭピラミッドを生成し、その後前記階層的マルチ分解能ＡＴＭピラミッドを、組織及び撮像のばらつきに基づいて最も高い可能な程度に画像間の対応する領域がアラインメントされるように、処理して疎らではないアフィン変換行列フィールド（ｆＡＴＭ）を生成することと、を含んでもよい。

複数の染料の組からの前記生成された非デフォルト区分の組は、それぞれの区分の組が染料特異的な訓練されたＭＬモデルを前記正規化されたＷＳＩデータに適用することで生成されるように、集合させられてもよく、前記集合は前記個々のＷＳＩ用に生成された前記ｆＡＴＭを用いて前記非デフォルト区分の置き換えを通じて達成される。

前記染料の組における前記複数のＷＳＩのそれぞれからの前記集合させられたいくつかの非デフォルト区分が相関されてもよい。前記個々のいくつかの区分は、真区分を向上させて偽区分を除外することで相関されてもよく、この結果、所定の染料の組用の１つ以上の非デフォルト分類領域と、前記所定の染料の組の前記１つ以上の非デフォルト分類領域用のメタデータと、が得られる。

ある例示的実施形態では、登録ＷＳＩの染料の組と注釈とを提示するためのシステムが提供されてもよい。コンピュータ処理システムは、メモリと通信可能に接続された少なくとも１つのプロセッサを備えてもよい。前記プロセッサは、前記染料の組のそれぞれの画像を複数のビューイングパネルのうち別のビューイングパネルにおいて提示するよう構成されてもよい。前記プロセッサは、体系づけられた表形式の表示において、画像の注釈付き領域の組と対応するメタデータとを前記複数のビューイングパネルと共に表示するよう構成されてもよい。前記プロセッサは、（ｉ）前記体系づけられた表形式の表示における前記注釈付き領域の組のうち１つをクリックすることと、（ｉｉ）前記画像の前回算出された登録情報を活用して前記複数のビューイングパネルの全てを同一箇所にナビゲートすることと、をユーザーにとって可能にするよう構成されてもよい。前記プロセッサは、（ｉ）ドラッグとズームとパンニングとを含む、前記複数のビューイングパネルのうち１つ以上におけるナビゲーションイベントを適用することと、（ｉｉ）続いて、前記画像の前記前回算出された登録情報を活用して前記登録されたビューイングパネルの全てを同一箇所に移動させることと、をユーザーにとって可能にするよう構成されてもよい。

前記プロセッサは、前記同一箇所への前記複数のビューイングパネルのナビゲーションをできないようにすること、をユーザーにとって可能にするよう構成されてもよい。前記プロセッサは、追加的な注釈付き領域を提供することをユーザーにとって可能にし、前記追加的な注釈付き領域のうち少なくとも１つが、欠落した注釈又は誤分類された注釈を含む不適切に注釈付けられた画像領域のラベル付けに対応している、よう構成されてもよい。

上述の内容は、添付の図面にて図示するように、以下に示す例示的実施形態のより特定の説明から明らかとなるであろう。また、図面においては、同様の参照符号は異なる図面の全体にわたって同一の部分を指すものとする。図面は必ずしも正確な縮尺ではなく、実施形態を説明することに強調が置かれている。
本発明のいくつかの実施形態における例示的システム／方法の実施を示す。 本発明のいくつかの実施形態における例示的システム／方法の前処理ステップの実施を示す。 本発明のいくつかの実施形態における例示的システム／方法の登録ステップの実施を示す。 本発明のいくつかの実施形態における例示的システム／方法のＣＮＮ訓練ステップの実施を示す。 本発明のいくつかの実施形態における例示的システム／方法のＣＮＮ検証ステップの実施を示す。 本発明のいくつかの実施形態における例示的システム／方法の評価ステップの実施を示す。 本発明のいくつかの実施形態における例示的システム／方法のユーザーインターフェース処理の実施を示す。 本発明のいくつかの実施形態における例示的システム／方法の、ＣＮＮのインクリメンタルトレーニングを伴うフィードバック処理の実施を示す。 本発明のいくつかの実施形態における分類結果表示用のユーザーインターフェースを示す。 本発明のいくつかの実施形態を実現可能な例示的デジタル処理環境を示す。 図１０におけるコンピュータ／演算ノードの内部構造のブロック図を示す。

いくつかの例示的実施形態を以下に説明する。

全ての特許、公開された出願、及び本願明細書における引例の教示は、それらの全体が参照により組み込まれる。

多くの医用撮像の利用、特に病理学分野における利用において、現状の技術水準では特定の検体の複数のデータサンプルを観察することが求められる。データサンプルはアナログ又はデジタルドメインのいずれで観察してもよい。観察されるサンプルは、１つの検体から複数のガラススライドを生成することで作成される。これらのスライドは当該１つの検体からの薄い連続的な組織切片である。これらの切片は典型的には連続的に生成されるため、一連のスライド内に含まれる形態及び構造は似ているが同一ではない。それぞれのスライド内の組織片及び構造は、木の幹の断面にように不規則なものであり、構造及び組織全体の形状は、あるスライドから次のスライドにかけて変化する。切片は、その後、異なる染料を用いて調整される。異なる染料により、組織内の様々な種類の構造をより良く観察できる。

これらのサンプルをアナログドメインで観察するには、病理学者は精査を行うために、顕微鏡下で異なる光源及び光フィルター（可視光、蛍光、偏光等）を用いてスライドを観察する。

これらのサンプルをデジタルドメインで観察するには、病理学者は全体スライド画像（ＷＳＩ）を生成する全体スライド撮像装置（デジタライザ）又は顕微鏡搭載カメラのいずれかを用いてスライドを観察する。いずれの場合でも、撮影された画像はコンピュータモニター上に表示される。

アナログ及びデジタルドメインの両方において、現状の技術水準では病理学者がそれぞれのサンプル（スライド又はＷＳＩ）を連続で観察することが求められる。病理学者が一方のスライド又は画像上で関心領域を見ている際、病理学者は他のスライド上の対応する領域を手動で突き止めて対応する情報を見なければならない。更には、機械学習（ＭＬ）を適用する際又はコンピュータビジョン（ＣＶ）アルゴリズムを利用する際等、人間による観察の範囲を越えたタスクにデジタル全体スライド画像（ＷＳＩ）を用いることは難しい。なぜなら、異なるスライドの画像間で、不規則性があり、直接的な相関性が欠如しているためである。

本発明のいくつかの実施形態では、デジタルパソロジーにおいて検体を効果的に精査するためのワークフロー（方法又は工程）を説明する。また、本発明は、モデルを訓練するために又は訓練されたモデルに対して現状のＷＳＩを推定するためにデータを用いることを可能にすることで、現状のＷＳＩと類似の今後のＷＳＩとの両方に対して追加的な有用性を提供する。これにより、アナログドメインにおいて現状利用可能な又は利用される情報よりも多くの情報をＷＳＩから利用して、プレスクリーニング、ケースレビュー、又は品質検査を支援する。当該ワークフローでは、（サンプルのばらつきと染料及び光源との両方に基づく）漸次異なる構造を含む検体用の画像の組は、前処理され（色及び解像度が正規化され）、所望の特徴について評価され、染料間でアラインメントされ（登録され）、後処理され（相関され）、ユーザーに対して表示されてもよい。前処理は色の正規化を含んでもよい。色の正規化は、異なる機関、スキャナー、及び技術者による染料のばらつきを説明づける。評価（推定とも呼ぶ）は、１つ以上の機械学習（ＭＬ）アルゴリズムを介して行われてもよい。染料間での画像アラインメントはマルチ分解能登録アルゴリズムを介して達成されてもよい。後処理は、複数の染料セクションからのＭＬ出力を用いて強い検出を向上させて弱い検出を除外することを含んでもよい。これにより、よりきれいでより感知し得る表示がユーザーに対して生成される。追加的ないくつかの実施形態では、ＭＬアルゴリズムを訓練するためのグラウンドトルースを専門家が作成できる工程を説明する。また、専門家は、ＭＬアルゴリズムを再訓練し又は増強させて精度を向上するために、初期評価の結果に対するフィードバックを提供してもよい。

本発明の実施形態において実現される機械学習アルゴリズムの形態は、深層学習、即ち、畳み込みニューラルネットワーク（ＣＮＮ）又は領域ベースＣＮＮ（Ｒ－ＣＮＮ）、サポートベクターマシン（ＳＶＭ）、オートエンコーダ（ＡＥ）、又は浅いニューラルネットワーク（ＳＮＮ）を含む。

システムの実施

図１は本発明のいくつかの実施形態における一例示的システム／方法の実施を示す。少なくとも２つの全体スライド画像（ＷＳＩ又はＷＳＩデータ）（１０１）が当該システムに入力される。

染料タグ付けステージ（１１０）において、当該システム／方法では、染料タイプを含むメタデータがそれぞれのＷＳＩと関連付けられる。この処理は、ユーザー入力を介して、外部から供給されたメタデータを介して、又は自動染料検出アルゴリズムを用いて行われ、ＷＳＩデータの染料タイプを決定できる。３つの全ての方法の結果、ＷＳＩデータが当該特定された染料タイプでタグ付け（即ち、ラベル付け）されて、タグ付き画像（１１９）が生成される。当該システム／方法では、専門家ユーザーによる使用のためのユーザーインターフェース処理ステージ（１８０）と前処理ステージ（１２０）との両方に当該タグ付き画像が入力される。

前処理ステージ（図１及び２の１２０）は、当該システム／方法により、背景除去（１２３）、色の正規化（１２５）、及び解像度の正規化（１２７）、という形で実施され、異なる機関間での染料、技術、手順、及びＷＳＩ撮像装置におけるばらつきが説明づけられる。前処理ステージの出力は前処理データ（１２９）である。当該システム／方法では、前処理データ（１２９）は、登録ステージ（１６０）とパッチ生成ステージ（１３０）若しくは評価ステージ（１７０）のいずれかとに、データの用途（それぞれ、訓練、及び検証若しくは評価）に依存して、入力される。

登録ステージ（図１及び３の１６０）は、当該システム／方法により、２つの前処理データ（１２９）入力を受け取り、まず、サブサンプリングされた画像データを用いて粗いアラインメント（１６２）を行って、キーポイント又は強度を生成し、これらキーポイント又は強度を分析して粗いＡＴＭ（１６３）を生成する、という形で実施される。再帰的でより精細なアラインメントステージ（１６４）において、当該粗いＡＴＭを入力として用いて、当該前処理データの一部分が再帰的にさらに処理されて、次第に精細になるいくつかの精細なサブＡＴＭ（１６５）が生成される。当該システムでは、その後、粗いＡＴＭ（１６３）と精細なサブＡＴＭの組（１６５）とが組み合わされ、ｆＡＴＭ構成ステージ（１６８）中に１つのＡＴＭフィールド（１６９）が生成される。生成されたＡＴＭフィールドは、その後、評価ステージ（１７０）とユーザーインターフェース処理ステージ（１８０）との両方で使用される。

パッチ生成ステージ（図１、４、及び５の１３０）において、当該システム／方法では、前処理データ（１２９）と専門家データ（１８９）とが組み合わされ、ラベル付きパッチ（１３９）が生成される。当該システム／方法では、その後、ラベル付きパッチの組が、ラベル付き訓練データ（１４２）とラベル付き検証データ（１５２）とに分離される。

ラベル付き訓練データ（１４２）は、当該システム／方法により、ＣＮＮ訓練ステージ（図１及び４の１４０）内のＣＮＮの訓練ステージ（１４４）において使用される。ＣＮＮの訓練ステージの結果はＣＮＮモデル（１４９）である。ＣＮＮモデル（１４９）はＣＮＮ検証ステージ（１５０）と評価ステージ（１７０）との両方で使用される。

ラベル付き検証データ（１５２）は、当該システム／方法により、ＣＮＮ検証ステージ（図１及び５の１５０）内の分類ステージ（１７２）においてＣＮＮモデル（１４９）を用いて使用される。分類ステージでは分類結果（１７３）が生成される。分類結果（１７３）は、その後、検証ステージ（１５３）においてラベル付き検証データ（１５２）内の正しい区分と比較される。これにより検証エラー（１５９）が生成される。検証エラー（１５９）は、ＣＮＮモデル（１４９）の有効性を示す。

当該システム／方法では、専門家ユーザーによって精査されていない前処理データ（１２９）に対して評価ステージ（図１及び６の１７０）が行われる。まず、訓練されたモデル（１４９）を用いた分類（１７２）が前処理データに対して行われ、分類結果（１７３）が生成される。分類結果は、関心事象がないこと（「デフォルト」区分と名付ける）又は関心事象があること（「非デフォルト」区分と名付ける）のいずれかを示してもよい。これらの分類結果は、染料間の相関ステージ（１７４）において、同一の染料の組からの他の分類結果と組み合わされ、画像内の局所性に基づいて強い検出が向上し弱い検出がフィルターされる。当該局所性はＡＴＭフィールド（１６９）を用いて決定される。染料間の相関の結果は検出されたＲＯＩの組（１７９）である。ＲＯＩの組（１７９）は、その後、ユーザーインターフェース処理ステージ（１８０）において用いられる。

ユーザーインターフェース処理ステージ（図１及び７の１８０）において、当該システム／方法では、ユーザーインターフェース（ＵＩ）（１８２）を通じてタグ付き画像（１１９）が表示され、ユーザーインターフェース（１８２）を通じてユーザー入力（１８５）を注釈（１８７）という形で受け付ける用意ができる。注釈（１８７）は、関心事象があるかないか並びに（いくつかの実施形態では）事象のタイプを示す。ＵＩにおける複数のタグ付き画像のナビゲーションは、ＡＴＭフィールド（１６９）を用いて容易になる。これにより、１つの画像上のユーザーの動きに基づく、画像の自動相互ナビゲーションが可能になる。当該注釈の集合は、当該システムの残りに対する専門家入力（１８９）となる。

また、ユーザーインターフェース処理ステージ（図１及び７の１８０）において、検出されたＲＯＩ（１７９）が表示でき、ＡＴＭフィールド（１６９）を用いた全ての画像上のユーザー選択ＲＯＩとの間の同期ナビゲーションが可能になる。これにより、図８に示すように、さらに専門の注釈付けが可能になる。

図８は本発明のいくつかの実施形態における一例示的システム／方法の、ＣＮＮのインクリメンタルトレーニングを伴うフィードバック処理の実施を示す。図８においては、当該システム／方法では、検出されたＲＯＩ（図１の１７９）が表示ＵＩ（１８２）において表示される。ユーザー入力（１８５）は追加的な注釈（１８７）という形をとってもよい。追加的な注釈（１８７）は、不正確に分類された画像パッチに印を付け、追加的な専門家データ（２８９）が生成される。当該システム／方法では、修正された注釈を有する画像パッチからなるこの追加的な専門家データ（２８９）が最初の訓練データ（１４２）と組み合わされて、より大きな訓練データセット（２４２）が形成されてもよい。当該システム／方法では、その後、ＣＮＮが再訓練（２４４）されて、新ＣＮＮモデル（２４９）が形成されてもよい。当該システム／方法では、その後、ＣＮＮ評価ステージ（１７０）において新ＣＮＮモデルが前処理データ（１２９）に適用され、追加的な新しい又は既存の分類結果を受け取って、ＡＴＭフィールド（１６９）を用いてこれらを相関させてもよい。出力は新しい組の検出されたＲＯＩ（１７９）である。この組は、ユーザーインターフェース処理ステージ（１８０）中に再度表示されてもよい。

染料のタグ付け

本発明のいくつかの実施形態では、図１のステージ１１０等において、染料検出がＷＳＩデータに対して行われる。いくつかの物理的組織切片は異なる着色剤で染色することができる。これにより、組織における核や膜等の異なる構造要素が、特徴的に着色されたエリアとして視認可能になる。広く用いられる染料（例えば、Ｈ＆Ｅ、トリクローム、ＰＡＳ、基底膜等）の大半はいくつかの染色剤からなるため、特定の色調範囲を有するＷＳＩが生成される。しかし、同一の染料タイプでも、組織のＷＳＩは、染色工程の詳細と用いられる染色薬品とに依存して研究室間で又は研究室内で大幅に異なることがある。特定のＷＳＩの染色タイプを知っておくことが重要である。なぜなら、染料は組織における異なる構造及び特徴を強調することから、いくつかの分類アルゴリズムは染料特異的であるからである。

いくつかの実施形態では、染料タイプは、外部から供給されたメタデータにより指定されるか、専門家によって判断される。

他の実施形態では、染料タイプが指定されない場合、自動染料検出が用いられて、ＷＳＩ画像全体から最も可能性の高い染料タイプが決定される。自動染料検出の一実施形態では、ＳＶＭ（サポートベクターマシン）ＭＬモデルが、専門家によって特定された既知の染料タイプのＷＳＩの組からのカラーヒストグラムデータにおいて訓練される。モデル訓練に用いられる２次元カラーヒストグラムは、背景エリアを除くＷＳＩ全体の色相及び彩度情報を特徴づける。この処理は、色相－彩度－明度（ＨＳＶ）の色空間、赤－緑－青（ＲＧＢ）の色空間、又は輝度－色差（例えば、ＹＵＶ）の色空間等の正しい色空間と所望の解像度との両方になるようにＷＳＩを変換することを要求してもよい。事前訓練されたＳＶＭは、その後、当該ヒストグラムデータを用いて未知の染色タイプの新しいＷＳＩを分類する。

前処理

本発明のいくつかの実施形態では、図１及び２のステップ１２０等において、前処理が画像に対して行われる。前処理により、画像処理及び機械学習での利用のために、複数の機関からの画像を共通のフォーマット、解像度、又は色プロファイルにアラインメントすることができる。個々の機関は、染料、技術、手順、及びＷＳＩ撮像装置のばらつきを含む、サンプル処理用の独自のプロトコルを有する。同一のアルゴリズム及び処理パイプラインを通じてこれらの潜在的に異なる画像を処理するために、画像は正規化されてもよい。

正規化は多くの形態をとり得るが、典型的には、色の正規化（所定の染料用の最適な色特性の定義）及び解像度の正規化（画像間の画素毎のミクロン［ｍｐｐ］単位での不一致の修正）を含んでもよい。

色の正規化は、ＷＳＩを前景（組織）と背景とに分割することと、変換を適用して前景を目標の染料色によりぴったりと適合させ且つ背景を白くすることと、を伴う。前景と背景との分離はいくつかの手法で行うことができる。一実施形態では、そのようなアルゴリズムが、画像をグレースケールに変換して一定の閾値より低い又は高い大きなエリア（即ち、ほぼ白色又はほぼ黒色のエリア）を完全な白背景に置き換えることで、明度ベースの分割を介してオフホワイト又はオフブラックの背景を検出する。本ステップはあらゆる背景アーティファクトを除外するのに役立つ。この明るさ閾値処理は、より暗く混みあった背景では常に上手くいくわけではない。他の実施形態では、分割が彩度（ｓａｔｕｒａｔｉｏｎ）ベースである。前景は、背景が常に組織よりも色の浸透度合いが低いという前提に基づいて分割される。従って、ＷＳＩは色相－彩度－明度の色空間に変換され、その後、彩度ヒストグラムの２次導関数の最大値を求めることで彩度の閾値が演算される。その後、それぞれの画素の彩度値を当該閾値と比較することでＷＳＩが処理され、背景／前景マスクが作成される。

一旦背景が標準化されると、吸光度値による画像内の異なる染料成分の分類及び分離或いは色の逆畳み込みを行うことができる。一実施形態では、成分の分類は、ＳＶＭ、ｋ最近傍（ＫＮＮ）アルゴリズム、又はいくつかの他の類似ＭＬ分類子を用いて実施されてもよい。他の実施形態では、分類は、吸光度値に行列変換を用いて行うことができる［Ruifrok & Johnston，「Quantification of histochemical staining by color deconvolution」（色の逆畳み込みによる組織化学染色の定量化）、Anal Quant Cytol Histol，２３：２９１－２９９，２００１，http://ww.aqch.com/toc/auto_abstract.php?id=15581］。ＷＳＩの染料成分が分離された後、所定の色空間（例えば、ＲＧＢ、ＨＳＶ等）におけるこれら染料成分の色値が、逆畳み込みされた目標の色成分の色値と一致するように調整される。目標の色は、専門家によって、又は既知の染料タイプの訓練用ＷＳＩからの色成分を平均することによって、決定されてもよい。

更なるいくつかの実施形態では、正規化の精度を向上すべく色成分を逆畳み込みするために、色彩情報に加えて、空間情報及び光学密度情報のうち少なくとも１つを含んでもよい。

解像度の正規化は、全ての入力ＷＳＩの処理であって、ＣＮＮによって要求されるものに基づく許容値の範囲内にある画素毎のミクロン（ｍｐｐ）単位での解像度を特定する又は生成する処理である。ＣＮＮによってその処理及び分類に利用されるいくつかの構造及び特徴は特定の解像度において最も見え易い。そのため、正規化ステップでは、最良の可能な程度に、そのデータを全てのＷＳＩが確実に提供する。

一実施形態では、ＷＳＩが複数の解像度を含みこれらの解像度のうち１つがＣＮＮにとって許容できる範囲にある場合、当該解像度が処理に利用される。許容範囲が最高キャプチャ解像度よりも高い解像度のものである場合、最も高いキャプチャ解像度が、ＣＮＮ用の入力データを生成すべくスケーリングアルゴリズムを用いてスケーリングされて平滑化される。好ましい実施形態では、スケーリングアルゴリズムは共一次内挿法である。許容範囲がＷＳＩの解像度間にある又はキャプチャ解像度よりも低い場合、目標の解像度を超過した次の最も高い解像度が選択されて、データはスケーリングされて平滑化され、ＣＮＮ用の入力データが生成される。

注釈付け

本発明のいくつかの実施形態では、図１及び７のステップ１８０等において、図９で指定されたようなインターフェースを用いて注釈付けが画像に対して行われる。機械学習（ＭＬ）アルゴリズム用の訓練用の組のデータの作成は多くの手法で達成することができる。訓練用の組を生成する目的のために、外部システムを通じて（即ち、第３者から注釈をインポートして）、自動化された工程（即ち、自動化された組織分割アルゴリズム）を通じて、又は専門家ユーザーによって、１つ以上の注釈が指定される。注釈付けは２つの形態のうち１つ（ＷＳＩベース又は領域ベース）をとってもよい。

ＷＳＩベースの注釈付けでは、注釈（即ち、ラベル）が画像全体（妥当な場合、背景を除く）に適用される。領域ベースの注釈付けでは、ＷＳＩの１つ以上の（楕円又は多角形などの）画定領域と当該領域用の適切な注釈との両方が（どちらの工程が用いられても）指定される。多くの実施形態では、区分の割り当ては２進表現（特定の領域が特定の特徴を表すか表さないかのいずれか）である。更なるいくつかの実施形態では、それぞれの領域に、複数の選択肢（ノーマル、グレード１、グレード２等）からクラスが割り当てられてもよい。

一例示的実施形態では、専門家ユーザーが注釈を用いて、分類子の訓練用の所定の特徴を完全に含むエリアを目立たせることによって領域（例えば、楕円、長方形領域、又はフリーハンド領域）を画定してもよい。注釈付けされたエリアには、その後、当該特定された特徴に基づいてクラスが割り当てられる。専門的に注釈付けされた区分を含まない組織（背景ではない）を含むＷＳＩの任意のサブセクションにはデフォルト区分が割り当てられて、これにより、当該サブセクションが、訓練中に当該システムにより用いられ得る。

他の実施形態では、コンピュータビジョン（ＣＶ）アルゴリズムが、（自動化された細胞若しくは核検出、逆畳み込み、又は色フィルタリングなどの）画像分割を容易にするために採用されてもよい。一旦分割が成されると、専門家は、より簡単に、前述のツールのうち１つを用いて領域に印を付け、特定のクラスに属していることを示すことができる。また、専門家は、注釈を手動で調整して、当該領域内にあるクラスに属していない片を除外してもよいし、又は、当該領域のわずか外にあるクラスに属している片を含めてもよい。

他の実施形態では、専門家による注釈は「組織の真中」や「組織の境界線」等のより厳密なカテゴリーに自動的に分類することができ、これにより、今後の訓練の微調整が可能になる。これは、ＷＳＩの注釈付けされた部分のカラーヒストグラムを分析することで成されてもよい。例えば、有意な背景色のピークをヒストグラム上で見つけるということは、注釈が「組織の境界線」カテゴリーに属することを意味する。

ＭＬモデルの作成

本発明のいくつかの実施形態では、図１及び４のステップ１４０等において、訓練を通してＭＬモデルが作成される。一旦訓練されると、図１及び５のステップ１５０等において、検証データセットにおいて、ＭＬモデルを検証してその性能を測ることができる。上記で生成された注釈付けされた画像を用いて、次のステップでは今後の分類タスク用のモデルが訓練される。いくつかの実施形態では、当該システムは注釈付けされた画像から一連の画像パッチ（ＭＬアルゴリズムによってより容易に処理可能な、それぞれの画像のより小さな重複するセグメント）を生成し、その後それぞれのパッチに区分を割り当てる。より正確に注釈付けされた画像については、（専門家ユーザーによって特定されたような）特有のクラスの特定の領域が、正確な訓練用パッチを生成するマスクとして用いられ得る。訓練用パッチは、正規化されたソース画像のサブセットを表し得る、又は訓練用画像の全体をカバーしてもよい。

ある例示的実施形態では、訓練用パッチの組をさらに豊富にして拡張するために、訓練用パッチは回転、フリッピング、スケーリング、ノイズ追加、ぼかし等によって改変されて、ＭＬ訓練に用いられるデータセットの全体サイズ及び多様性を増加させることもできる。注釈付けされたパッチの組は、その後、訓練データとしてＭＬアルゴリズムに提供され、モデルが生成される。他の実施形態では、上記で生成された注釈付けされた画像は、一定の基準により「組織の真中」や「組織の境界線」などのグループに分割され得る。それぞれのグループは別のモデルを訓練するために用いられる。

一実施形態では、モデルは、生画像データにおいて動作する畳み込みニューラルネットワーク（ＣＮＮ）等のＭＬアルゴリズムを訓練することで生成されてもよい。他のいくつかの実施形態は、サポートベクターマシン（ＳＶＭ）又は「浅い」ニューラルネットワーク等のＭＬアルゴリズムを採用する前に前処理ステップを含んでもよい。いくつかの実施形態では、前処理ステップは、画像処理（エッジ検出、鮮鋭化、ぼかし、色操作／逆畳み込み）、コンピュータビジョン、又は特徴検出（ＳＵＲＦ、ＳＩＦＴ、ＢＲＩＳＫ、ＦＲＥＡＫ、ＯＲＢ等）アルゴリズムを含んでもよい。

ある例示的実施形態では、ＣＮＮは、２つ以上の畳み込み層と、データの次元数を減らして過剰適合を防ぐプーリング層と、ネットワークの非直線性特性を増加させる非直線性層（例えば、正規化線形ユニット［ＲｅＬＵ］層）と、過剰適合を防ぐドロップアウト層と、１つ以上の全結合層と、出力分類層とからなってもよい。ある実施形態では、当該分類層は交差エントロピー損失関数付きのソフトマックス分類子である。一実施形態では、訓練用のＣＮＮ最適化アルゴリズムはモーメンタム項付き確率的勾配降下法（ＳＧＤＭ）である。代替の実施形態では、ＣＮＮ最適化アルゴリズムは適応モーメント推定（ＡＤＡＭ）である。

ＣＮＮは、ＣＮＮが２つ以上の隠れ層（入力層と出力層との間の層）を含む「深層」ニューラルネットワークであるという点で、基本的な逆伝播ニューラルネットワーク（多層パーセプトロン［ＭＬＰ］としても知られる）とは異なる。よって、ＣＮＮは、訓練の間に分類のための特徴を動的に生成する（即ち、「オンザフライ」）。これは、分類に有用な特徴が明示的に計算される特徴抽出ステップを別途必要とする、特徴ベースの分類子及び基本的な逆伝播ニューラルネットワークを用いる分類子とは区別される。

ある実施形態では、ＣＮＮは、上記のように生成されたＷＳＩベースの画像パッチを用いて最初から訓練されてもよい。他の実施形態では、類似又は非類似の画像データにおいて事前訓練されたＣＮＮが転移学習を介してインポートされてもよい。転移学習では、事前訓練されたＣＮＮの層のほとんどが維持され、出力分類層のみがＷＳＩ画像パッチデータにおいて再訓練される。

ある実施形態では、注釈（即ち、区分又はラベル）は所望の出力ラベルの組にマッピングされる。この処理中は、異なる注釈ラベル（事前に確立した組の人間読取可能な文字列又は数値のいずれか）が所望の出力ラベルにマッピングされる。一例では、それぞれの異なる入力ラベルが出力ラベルにマッピングされる。他の例では、全ての領域ベースの注釈が「ポジティブ検出」にマッピングされ、注釈付けされていないエリアが「ネガティブ検出」とみなされる。更なる例では、入力ラベルのサブセットがクラスＡにマッピングされ、他の組がクラスＢにマッピングされ、注釈付けされていないエリアがクラスＣにマッピングされてもよい。

ある例示的実施形態では、２つ以上のモデルが、特定のキャプチャ特徴（染料、照明、撮像条件、解像度）、検体特徴（例えば、形状、質感等）、又はマッピングされた出力ラベルに対応して訓練されてもよい。更なる実施形態では、前処理ステップを利用して、別々のモデルが異なる訓練データセットにおいて訓練され得るように、そのような特徴により訓練データを複数の訓練データセットに分割してもよい。この結果、これらの特定の特徴を有する画像パッチに「適合」して当該画像パッチをより正確に分類できるモデルが得られる。

複数のモデルを有する一実施形態では、当該モデルの全てが同時に用いられて、個々のモデルからの結果に基づいて最終ラベルを決定すべく、それぞれのモデルからの最高信頼度スコアを選択する等の後処理ステップを利用して、所定のＷＳＩ又はエリアが推定されてもよい。

複数のモデルを有する更なる実施形態では、機械学習モデル、コンピュータビジョン処理、又は特徴検出器を活用する前処理ステップを用いて、特定の領域を推定するための又はＷＳＩ全体のための複数のモデルから適切なモデルを選択してもよい。

一旦訓練されると、１つ以上のＭＬモデルは、続いて、ラベル付けされたデータのサンプルに対してアルゴリズムを試験することで検証することができ、その検証エラー又は訓練精度が決定される。

モデルに対する新しいサンプルの評価（分類）

本発明のいくつかの実施形態では、図１及び６のステップ１７０等において、新しいサンプルの評価が行われる。分類は、モデルによる新しい画像（訓練に用いられない画像）の評価である。分類ステップの結果、信頼度スコアを有するクラスが当該モデルの訓練中に割り当てられたクラスに基づいて割り当てられる。一般性を保つため、これらのクラスは関心事象がないことを示す「デフォルト」区分及び関心事象があることを示す「非デフォルト」区分（又は「検出」）と呼ばれてもよい。いくつかの例示的実施形態では、非デフォルト区分は、異なるタイプの関心事象を示すサブクラスにさらに分割されてもよい。

一実施形態では、一旦分類モデルがＣＮＮ用の訓練データにおいて演算されると、当該分類モデルは「試験」データに適用されて当該試験データが分類されてもよい。訓練工程と同様、正規化されるなどして予め処理された画像パッチが当該モデルに供給されてもよい。分類子用に選択されたパイプラインは所定のサイズのパッチを入力として受け付け、その結果、訓練中に特定されたクラス（２値検出［デフォルト又は非デフォルト区分］又はｎ－クラス分類子［デフォルト区分又はサブクラスを有する非デフォルト区分］のいずれか）に基づいてそれぞれのパッチが分類されてスコア付与される。

他の実施形態では、試験データは前回注釈付けされたものであってもよく、分類処理の結果は試験データ注釈と比較されて、モデルがどのくらい正確なのかが判定されてもよい。ある実施形態では、２値分類（即ち、検出）の問題において、事象（特徴）がある（ポジティブ又は非デフォルト区分）又はない（ネガティブ又はデフォルト区分）ことが示されてもよい。当該問題は、感度（正しい正のパーセンテージ）、特定性（正しい負のパーセンテージ）、又はＦ１スコア等の標準メトリックを介して評価されてもよい。

更なる実施形態では、不正確に分類された画像パッチが、集められてその後当該システム内にフィードバックされ、インクリメンタルトレーニングを介してより正確なモデルが作成されてもよい。追加の不正確に分類された画像パッチは最初の訓練用の組に追加されて、より大きな組み合わされた訓練用の組が形成されてもよい。一例示的実施形態では、ＣＮＮは組み合わされた訓練用の組において最初から再訓練される。他の例示的実施形態では、最初のＣＮＮの層のほとんどが維持され、出力分類層が転移学習を介して組み合わされた訓練用の組において増加的に訓練される。代替の実施形態では、「新しい」訓練データ（不正確に分類された画像パッチ）においてのみ出力分類層を再訓練することで、転移学習が最初のＣＮＮに適用される。

登録

本発明のいくつかの実施形態では、図１及び３のステップ１６０等において、前処理されたＷＳＩに対して登録が行われる。ＷＳＩの対を登録する目的は、一方の登録ＷＳＩ上の任意のポイントを他方の登録ＷＳＩ上の対応するポイントに置き換ることを可能にするためである。この文脈における「対応する」は、最初の３Ｄ組織サンプル内の同一の（又はほぼ同一の）物理的な位置に属していることを意味する。これは、ＷＳＩ全体をカバーする、空間的に分散されたアフィン変換の組を用いて達成される。アフィン変換行列（ＡＴＭ）は、第１画像上の任意のポイントを第２画像上のポイントに相関させる簡単な数学的手法を提供する。

最低でも、全体画像間のアラインメントを記述する１つの粗いＡＴＭを計算できる。これは、比較されたＷＳＩにおける不規則性の高い組織を相関させるのに特に有用である。粗いＡＴＭは、主に、組織をアラインメントしてオフセット（スライド上の組織の水平及び鉛直配置）、回転（組織の時計回り又は反時計回りの回転、＋／－１８０度）、及び反転（１つの検体がスライド上に配置される際にひっくり返された場合）を説明づける。

ＡＴＭの生成は、少なくとも３つの一致するキーポイント対を特定してその後特定されたキーポイント対を用いて等式の線形系を解くことを介して達成できる。キーポイントは画像内の異なる位置であり、通常はＷＳＩにおける組織の隅又は汚れ等の視認可能な特徴に依拠する。それぞれのキーポイント対において、一方のキーポイントは第１ＷＳＩに属し、第２キーポイントは第２ＷＳＩ上の一致する位置を言う。例えば、第１染色画像内の細胞の特徴（組織の縁又は赤血球の集塊等）におけるキーポイントは第２画像内の同一の細胞の特徴に対応するべきである。実世界のＷＳＩでは、通常は４つ以上の特定された一致するキーポイント対が存在するため、特有の数学的方法が用いられて、全てのキーポイントの一致を最も良く満たすＡＴＭが見つけられる。

通常は、これらのキーポイントは特徴検出アルゴリズムを用いて特定される。一実施形態では、ＯＲＢ（方向付きＦＡＳＴと回転ＢＲＩＥＦ）アルゴリズムが用いられてキーポイントが検出される。当該キーポイントは典型的には画像内の隅又は縁である。キーポイント同士を、評価基準付きマッチングアルゴリズムを用いて一致させてもよい。一実施形態では、このアルゴリズムはブルートフォースマッチャー（Ｂｒｕｔｅ－Ｆｏｒｃｅ Ｍａｔｃｈｅｒ）であり、評価距離はハミング距離である。ハミング距離は２つの文字列間の差の指標である。次に、キーポイントの一致は一貫性について分析され、その後不適当な又は不十分に相関した一致は除外される。残りの一致のＡＴＭ候補が見つけられ、一貫性についてさらにフィルターされ、その後平均されることで、その領域用の単一の改良されたＡＴＭを得てもよい。

最も相関する一致を平均して見つける処理は平均化アルゴリズムを介して行われる。一実施形態では、平均化アルゴリズムは、動的に構成されたパラメータを用いて反復的に適用されて目標の相関を達成する平均シフトクラスタリングアルゴリズムである。このクラスタリングアルゴリズムは、相関されたキーポイントの集塊を見つけるべく変化する集塊サイズパラメータを用いて数回実行される。当該集塊は、キーポイントの一致のほとんどを特徴づけるのに十分な大きさであり、同時に、誤った一致キーポイントを除外するのに十分なコンパクトさである。

粗いＡＴＭからの情報であってＷＳＩの一般的な置き換え及び回転についての情報を用いて、次第に精細になるいくつかのＡＴＭが、画像のより小さなサブセクションについて算出されて精度を向上できる。その際、ＷＳＩがエリアの「グリッド」によって分割されるようにする。それぞれのエリアには異なるＡＴＭがある。精細なＡＴＭは、粗いＡＴＭよりもアラインメントの精度が高いが、全体画像のより小さなサブセクションの中でしか有効でない。より精細なＡＴＭが見つけられる。なぜなら、登録されている画像が生体由来のものであり、関係する物理的組織が技術者によって切断、染色、及び設定されるからである。よって、粗いＷＳＩ全体のＡＴＭにとって良好な精度を維持しながらキャプチャすることが困難であると思われる画像間で、様々な不一致が存在し得る。画像上には、位置ずれ、しわ、及び他の処理におけるアーティファクトが存在する可能性がある。また、組織のセクションが３次元組織の２次元切片であるため、サイズ、向き、及びいくつかの特徴の存在において差が生じ得る。ＷＳＩ間で比較される小さな組織のサブセクションにより、それらの間の良好な一致の可能性が増加するため、一致の精度が向上する。

好ましい実施形態では、マルチ分解能登録アルゴリズムが用いられて異なるステージで精細なＡＴＭが提供される。画像は、追加的な精度が計算できなくなるまで又は最大量の細区分が達成されるまで、より小さなサイズの追加的なサブセクションに再帰的に分割でき、前回算出されたＡＴＭに基づいてそれぞれのサブセクション用に次第に精細になるいくつかのＡＴＭが生成される。一旦決定されると、これらの局所的ＡＴＭは漸次正確且つ疎らになるピラミッド状のＡＴＭ階層を有する。ピラミッド状のＡＴＭ階層では、より高い精度の精細なＡＴＭが画像のより小さなサブセクションを表す。

ＷＳＩのいくつかのエリアについて、当該エリアが検出可能な特徴（例えば、白背景、組織の足りない箇所）を何も含まない可能性がある。これらのエリアでは、キーポイントを見つけることはできないため、ＡＴＭを計算することはできない。一実施形態では、ＷＳＩのそのような特徴のないサブセクションについて、局所的ＡＴＭが前回演算された付近のＡＴＭからの近似により演算される。他の実施形態では、これらのエリア用のＡＴＭは、より大きなエリア用に算出されたより精度の低いＡＴＭから又は粗いＷＳＩ全体のＡＴＭから取り出される。

任意の領域用の最も正確なＡＴＭを１つの構造に組み合わせることで、ＡＴＭフィールド（ｆＡＴＭ）が作成される。

ｆＡＴＭを作成する一実施形態では、全体画像を表しているが図３のステップ１６２等において多くの要素によってサブサンプリングされた低解像度画像を用いて、粗いＡＴＭが最初に生成される。一旦粗いＡＴＭが生成されると、当該ＡＴＭの領域は小領域に分割され、図３のステップ１６４のように粗いＡＴＭ内のそれぞれの小領域に対して精細なＡＴＭが演算される。領域用の精細なＡＴＭは評価基準に基づいて評価されて、当該精細なＡＴＭが当該領域に対して粗いＡＴＭを置き換えるのに十分な質のものかどうかが判定される。評価基準に基づいて当該精細なＡＴＭがより正確であると判断された場合、図３のステップ１６８のように、当該精細なＡＴＭがｆＡＴＭ内に挿入され、その後、当該領域の小領域用のより精細なＡＴＭを生成するための基準として用いることができる。

ｆＡＴＭを作成する他の実施形態では、２つのＷＳＩの基本的なアラインメントを提供すべく、第１ステップとしてキーポイントベースの方法を介してより粗いＡＴＭが算出される。その後、パラメトリックな強度ベースの登録アルゴリズムが適用されて粗い登録精度を高める。このアルゴリズムはキーポイントを見つける代わりに２つの画像の画素を比較し、定義された類似度メトリックに基づいて比較できるエリアをマッチアップして反復性確率的最適化処理で画像における差を評価する。このアルゴリズムは、比較されたエリアの初期配置がかなり良好であることを要求し、ひいては、キーポイントＷＳＩ登録を第１ステップとして要求する。

キーポイントベースの登録と強度ベースの登録との両方がＷＳＩの漸次より小さくなるいくつかのエリアにおいてより高い解像度で繰り返されてもよい。当該繰り返しは最適な登録を行うために必要である。登録の質の測定はいくつかの手法で行うことができる。評価基準の一実施形態では、キーポイントベースの登録は標準偏差と検出されたキーポイントの数とによって評価されてもよい。強度ベースの登録では、第２画像は歪曲されて登録において第１画像を適合させ、新しい結果画像が生成される。当該結果画像は第１画像上に重ねて、登録の質を評価できる。非重複エリアが大きいほど質の低い登録であることが示唆される。

相関（後処理）

本発明のいくつかの実施形態では、図６のステップ１７２等において、相関が分類結果に対して行われる。ある実施形態では、様々な分類子からの出力が、多数の相関技術を用いて組み合わされて評価されてもよい。複数の入力セット及び複数のモデルからの出力も組み合わされて、特徴検出を向上させて誤検出を減らしてもよい。

相関ステップの出力はＲＯＩの組であり、そのそれぞれが区分及び関連付けられた信頼性メトリック（又はスコア）を有してもよい。

そのような相関の一実施形態では、分類及び得点結果が組織ＷＳＩの数個（例えば、４個）の染料とは別に得られてもよい。染色毎に検出される特徴結果が、特徴位置を揃えるために、信頼度スコアによって閾値処理されて、ＷＳＩ間登録を用いて共に組み合わされてもよい。結果は、要求された数の染料ＷＳＩよりも少ない染料ＷＳＩにおけるポジティブ検出を伴う空間的位置の除外により、さらにフィルター除去されてもよい。残りのポジティブ分類データ及びスコアはスコアヒートマップに合流させてもよい。スコアヒートマップから、局所的組み合わせスコアの最高値が見つかり、当該最高値は新しく見つかったＲＯＩの中心になる。分類データは、さらに、追加的なフィルタリング後に用いられて、見つかった局所的最高値の周囲に集まり、当該新しく見つかったＲＯＩのサイズを定義する集塊が作成されてもよい。

ポジティブに分類されたエリアの局所性を相関するのに利用されるＷＳＩ対の登録が向上した分類モデル及び／又は可能性として複数である染色されたＷＳＩからの組み合わされた分類結果を用いた結果、１つの画像を用いる場合と比較して検出特徴が有意に向上する。

結果表示とフィードバックループ

本発明のいくつかの実施形態では、図１及び７のステップ１８０等において、図９で指定されたインターフェース等のインターフェースを用いて上記のステップの結果がユーザーに対して表示される。このユーザーインターフェース表示の基本的な例が図９に示されている。本項の参照番号は図９を参照する。ある実施形態では、ＣＮＮ評価アルゴリズムの結果及びＷＳＩを精査するためのソフトウェアアプリケーションがユーザーに対して提示される。ツールは一連のビューポート（３００）とサイドバー（３２０）とからなる。ビューポートはそれぞれ、異なって染色された登録ＷＳＩのビューを表示する（即ち、ビューポートはそれぞれのＷＳＩ上の類似の位置を表示する）。サイドバーは、様々なツールを提供できるが、結果の精査中は、サイドバーは、検出されて分類されたＲＯＩを表す一連のサムネイル（３２１）を提示する。それぞれの結果はまた、更なる詳細（位置以外）をメタデータ（例えば、スコア、区分）（３２３）として含んでもよい。この結果はまた、スライド自身に重ねられた注釈としてユーザーに視認可能に提示されてもよい。一実施形態では、結果は、分類スコア、最も強い区分付きのＭＬアルゴリズム、又はｎ－クラス分類の場合の分類カテゴリー（即ち、出力ラベル）等の結果特性に基づいて異なって着色され又はラベル付けられてもよい。さらに、ｎ－クラス分類では、それぞれの個々のクラスは、当該クラスがユーザーによって視認可能かどうかについて別々に制御されてもよい。これにより、１つの出力区分、全ての出力区分、又は所望の組み合わせを、ユーザーの目に見えるようにしてもよい。

ある例示的実施形態では、結果サムネイルは、クリックされると、対応するビューポートを選択されサムネイルによって示された位置にナビゲートしてもよい。登録されたマルチサンプルＷＳＩの場合は、インターフェースも、ＷＳＩ登録によって生成された最も良く利用できるＡＴＭに基づいて、それぞれのビューポートを対応する染色されたスライド上の同一の又は類似の位置にナビゲートしてもよい。パンニング又はズームされる際、スライドビューアのいずれかをクリックすると、登録により生成された最も良く利用できるＡＴＭの適用によって、全ての他のスライドビューアが同一の位置にナビゲートされる。これにより、全てのＷＳＩ間での組織の同一のセクションがユーザーによって確実に同時に視認可能になる。

好ましい実施形態では、モデルによって生成された結果の区分にユーザーが同意しない場合、ユーザーは結果サムネイル（例えば、偽陽性、誤った分類）の隣のボタンをクリックすることで区分を修正できる。修正された区分及び結果のサブ画像は、その後、モデルを向上すべく今後の訓練データとして用いられてもよい。ユーザーはまた、スライドの領域を追加で注釈付けて分類してもよい。当該領域は、モデルによって特定されなかったモデルの区分に属する。修正された結果及び追加された区分は、その後、再訓練を介してモデルを向上するべく当該システムによって用いることができる。

デジタル処理環境

図１０は本発明のある実施形態に係るＷＳＩ処理システムの例示的実施を示す。ＷＳＩ処理システムは、複数のＷＳＩの精査を可能にし、ソフトウェア、ファームウェア、又はハードウェア環境において実施されてもよい。図１０は、本発明のいくつかの実施形態を実現可能な、１つのそのような例示的デジタル処理環境を示す。クライアントコンピュータ／装置５０及びサーバコンピュータ／装置６０（又はクラウドネットワーク７０）は、アプリケーションプログラム等を実行する処理、記憶、及び入力／出力装置を提供する。他のいくつかの実施形態では、クライアントコンピュータ／装置５０は、サーバコンピュータ／装置６０に入力を伝達するために、物理的な境界を横切ってサーバコンピュータ／装置６０のプロセッサに（例えば、ＵＳＢ接続を介して）ローカル接続される。

クライアントコンピュータ（複数可）／装置５０は（例えば、インターフェース１０７を介して）通信ネットワーク７０によっても、他のクライアント装置／処理５０とサーバコンピュータ（複数可）６０とを含む他の演算装置にリンクできる。通信ネットワーク７０は、現在各プロトコル（ＴＣＰ／ＩＰ、Ｂｌｕｅｔｏｏｔｈ等）を用いて互いに通信するリモートアクセスネットワーク、グローバルネットワーク（例えば、インターネット）、クラウド演算サーバ又はサービス、世界規模のコンピュータの集合、ローカルエリア又は広域ネットワーク、及びゲートウェイの一部であり得る。他の電子装置／コンピュータネットワークアーキテクチャは好適である。

クライアントコンピュータ／装置５０は、ＷＳＩデータ（例えば、サンプルのばらつきと染料及び光源との両方に基づく漸次異なる構造を含む検体用の画像の組）を入力する特徴を備えてもよい。クライアントコンピュータ／装置５０はまた、ユーザーインターフェースツールを提示してもよい。ユーザーインターフェースツールは、異なって染色された登録ＷＳＩのビューを表示する一連のビューポートと、様々なツールを提供して、検出されて分類されたＲＯＩを表す一連のサムネイル提示できるサイドバーと、からなる。サーバコンピュータ６０はユーザーコンピュータ装置であってもよい。当該ユーザーコンピュータ装置は、クライアントコンピュータ／装置５０から入力ＷＳＩデータを受信して、当該ＷＳＩデータに対して染料検出及び画像のタグ付けを行ってもよい。その後、図１～９に示すように、サーバコンピュータ６０によってタグ付き画像は前処理され（色及び解像度が正規化され）、ＣＮＮ訓練され、所望の特徴について評価され、染料間でアラインメントされ（登録され）、後処理され（相関され）、ユーザーインターフェースツールを介してユーザーに表示されてもよい。これらサーバコンピュータは異なるサーバコンピュータでなくてもよく、クラウドネットワークの一部であってもよい。

図１１は、図１０の処理環境におけるコンピュータ／演算ノード（例えば、クライアントプロセッサ／装置５０又はサーバコンピュータ６０）の内部構造のブロック図である。当該コンピュータ／演算ノードは、音声、画像、動画、又はデータ信号情報の処理を容易にするのに用いられてもよい。図１１のそれぞれのコンピュータ５０、６０はシステムバス７９を含む。システムバス７９において、バスは、コンピュータ又は処理システムの構成要素間でのデータ転送に用いられるハードウェア回線の集合である。システムバス７９は、本質的に、コンピュータシステムの異なる要素（例えば、プロセッサ、ディスク記憶装置、メモリ、入力／出力ポート、ネットワークポート等）を接続する、当該要素間で情報の転送を可能にする共有のコンジットである。

システムバス７９には、様々な入力及び出力装置（例えば、キーボード、マウス、ホイール、ボタン、タッチ画面、ディスプレイ、プリンタ、スピーカ、音声制御等）をコンピュータ５０、６０に接続するためのＩ／Ｏデバイスインターフェース８２が取り付けられる。ネットワークインターフェース８６により、コンピュータは、ネットワーク（例えば、図１０のネットワーク７０）に取り付けられる、センサ、カメラ、レーザ、磁力計等の様々な他の装置に接続できる。メモリ９０は、本発明の実施形態を実現するために用いられるコンピュータソフトウェア指示９２及びデータ９４（例えば、上述のコード）のための揮発性記憶を提供する。本明細書に記載されるＷＳＩ処理システムのソフトウェア構成要素９２、９４は、任意の高次オブジェクト指向プログラミング言語を含む任意のプログラミング言語を用いて構成されてもよい。

ある例示的モバイル実施では、本発明のモバイルエージェントの実施が提供されてもよい。クライアント－サーバ環境が、スライド画像のナビゲーションのキャプチャリングのモバイル構成を可能にするのに用いられ得る。当該クライアント－サーバ環境は、例えば、ＷＳＩデータをテザリングするためのＸＭＰＰプロトコルを用い得る。サーバ６０は、要求があり次第、移動電話機を介してコマンドを発し得る。ＷＳＩ処理システムの一定の構成要素にアクセスするためのモバイルユーザーインターフェースフレームワークはＸＨＰ、Ｊａｖｅｌｉｎ、及びＷＵＲＦＬに基づいていてもよい。ＯＳ Ｘ、ｉＯＳ、及びアンドロイド（登録商標）オペレーティングシステムとそれらの各々のＡＰＩとのための別の例示的モバイル実施では、Ｃｏｃｏａ及びＣｏｃｏａ Ｔｏｕｃｈが、Ｓｍａｌｌｔａｌｋ型のメッセージングをＣプログラミング言語に追加するオブジェクティブＣ又は任意の他の高次プログラミング言語を利用して、クライアント側の構成要素１１５を実現するために用いられてもよい。

ディスク記憶装置９５は、スライドナビゲーションシステムのある実施形態を実現するために用いられるコンピュータソフトウェア指示９２及びデータ９４用の非揮発性記憶を提供する。当該システムは、サーバコンピュータ６０にアクセス可能なディスク記憶装置を備えてもよい。サーバコンピュータ（例えば、ユーザー演算装置）又はクライアントコンピュータ（例えば、センサ）は、画像の精査による、画像及びモデル等の情報を記憶してもよい。中央演算処理装置８４もシステムバス７９に取り付けられ、コンピュータ指示の実行を可能にする。

一実施形態では、プロセッサルーチン９２及びデータ９４は、ＷＳＩ処理システムのためのソフトウェア指示の少なくとも一部を提供するコンピュータ読み取り可能な媒体（例えば、１つ以上のＤＶＤ－ＲＯＭ、ＣＤ－ＲＯＭ、ディスケット、テープ等の取り外し可能な記憶媒体）を含む、コンピュータプログラムプロダクト（総じて９２で参照する）である。ＷＳＩ処理システムの各々のソフトウェア構成要素の実行インスタンスが、当該分野で周知のように、コンピュータプログラムプロダクト９２として実施されてもよく、任意の好適なソフトウェアインストール手順によってインストールできる。他の実施形態では、ソフトウェア指示の少なくとも一部が、例えば、（モバイル機器又は他の演算装置から実行される）アプリを通じて又はブラウザＳＳＬセッションを介して、ケーブル、通信、及び／又はワイヤレス接続によりダウンロードされてもよい。他のいくつかの実施形態では、本発明のプログラムは、伝播媒体（例えば、無線波、赤外線波、レーザ波、音波、又はインターネット等のグローバルネットワーク若しくは他のネットワーク（複数可）を伝わる電波）上の伝播信号において具現化されるコンピュータプログラム伝播信号プロダクト１０７である。このようなキャリア媒体又は信号は、スライドナビゲーションシステムのルーチン／プログラム９２のためのソフトウェア指示の少なくとも一部を提供する。

代替のいくつかの実施形態では、伝播信号は、伝播媒体を伝播されるデジタル信号又はアナログ搬送波である。例えば、伝播信号は、グローバルネットワーク（例えば、インターネット）、電気通信ネットワーク、又は他のネットワーク上を伝播するデジタル化信号であってもよい。一実施形態では、伝播信号は、数ミリ秒、数秒、数分、又はこれより長い期間にわたってネットワーク上をパケットで送信されるソフトウェアアプリケーションのための指示等の、ある期間にわたって伝播媒体上を送信される信号である。他の実施形態では、コンピュータプログラムプロダクト９２のコンピュータ読み取り可能な媒体は、コンピュータプログラム伝播信号プロダクトについて上述したように、伝播媒体を受信し伝播媒体で具現化された伝播信号を識別する等によってコンピュータシステム５０が受信及び読み取りできる伝播媒体である。

一般的に言えば、用語「キャリア媒体」又は一時的なキャリアは、前述の一時的な信号、伝播信号、伝播媒体、記憶媒体等を包含する。

他のいくつかの実施形態では、プログラムプロダクト９２は、いわゆるＳｏｆｔｗａｒｅ ａｓ ａ Ｓｅｒｖｉｃｅ（ＳａａＳ）又はエンドユーザーをサポートする他のインストール又は通信として実施されてもよい。

いくつかの例示的実施形態が具体的に示されて説明されたが、添付の請求の範囲に包含される実施形態の範囲を逸脱することなく、さまざまな形および詳細の変更がなされ得ることが、当業者によって理解されるであろう。

尚、本明細書に示される図は例示的データ／実行経路及び構成要素を示しているが、当業者であれば、動作、配置、及びこれらの各々の構成要素への／からのデータの流れは処理中の医用画像データの実施とタイプとに依存して変化し得る、と理解するであろう。従って、データモジュール／データ経路の任意の配置が用いられ得る。

本発明はそのいくつかの例示的実施形態を参照して具体的に示されて説明されたが、添付の請求の範囲に包含される本発明の範囲を逸脱することなく、さまざまな形および詳細の変更がなされ得ることが、当業者によって理解されるであろう。

一例示的実施では、ブロックチェーンシステムが用いられて、マルチ分解能登録アルゴリズムの染料の組からの前処理されたＷＳＩの登録の記録を容易にしてもよい。注釈付けは非デフォルト分類ラベルをＷＳＩデータの領域に適用することを伴い、例えば、さらにブロックチェーン実施でのデータブロックにおいて記録されてもよい。このように、前処理されたＷＳＩの登録及び注釈付けはブロックチェーン分散型台帳に記録されてもよく、これによりデータ保全性の維持を容易にし得る。さらに、スマートコントラクトが用いられて、それぞれのＷＳＩへのアクセスを制御し潜在的に異なるユーザー間のアクセスを容易にし得る。
なお、本発明は、態様として以下の内容を含む。
〔態様１〕
組織検体の全体スライド画像（ＷＳＩ）を分析するためのシステムであって、
メモリと通信可能に接続された少なくとも１つのプロセッサであって、
複数の染料が付いたスライドの組におけるそれぞれのＷＳＩに対し、
他のシステムからのメタデータ、病理学者若しくは他の特定分野の専門家による手動ラベル付け、又は自動染料検出器のうち１つを通じてＷＳＩ用の染料タイプを指定して、
前記ＷＳＩを前処理して、背景から前景組織を分離して機械学習（ＭＬ）モデルのパラメータに基づいて前記ＷＳＩデータを正規化し、前記パラメータは、可能な染料並びに解像度又は他のパラメータを含んでおり、
病理学者又は他の特定分野の専門家によりユーザーインターフェースを介して前記ＷＳＩデータの領域に非デフォルト分類ラベルを適用することを伴う注釈付け用に、前記ＷＳＩデータを提示し、
前記注釈付き領域から画像パッチを作成し、それぞれの画像パッチが１つのクラスに対応しており、
分類に有用な特徴を動的に生成するパラメータ適切ＭＬモデルを訓練し、
前記訓練されたＭＬモデル分類子を注釈付けされていないＷＳＩデータに適用して、前記染料用の区分の組とパッチパラメータとを生成し、
マルチ分解能登録アルゴリズムを介して前記染料の組からの前記前処理されたＷＳＩを登録し、前記マルチ分解能登録アルゴリズムは、（１）粗い登録アルゴリズムを適用して一般的なアフィン変換行列を生成することと、（２）連続的に小さくなるいくつかのサブセクションにおいて反復登録をして疎らな階層的マルチ分解能ＡＴＭピラミッドを生成し、その後前記階層的マルチ分解能ＡＴＭピラミッドを、組織及び撮像のばらつきに基づいて最も高い可能な程度に画像間の対応する領域がアラインメントされるように、処理して疎らではないアフィン変換行列フィールド（ｆＡＴＭ）を生成することと、を含んでおり、
複数の染料の組からの前記生成された非デフォルト区分の組を集合させ、それぞれの区分の組が染料特異的な訓練されたＭＬモデルを前記正規化されたＷＳＩデータに適用することで生成され、前記集合は前記個々のＷＳＩ用に生成された前記ｆＡＴＭを用いて前記非デフォルト区分の置き換えを通じて達成され、
前記染料の組における前記複数のＷＳＩのそれぞれからの前記集合させられたいくつかの非デフォルト区分を相関させ、その後真区分を向上させて偽区分を除外することで前記個々のいくつかの区分を相関させ、この結果、所定の染料の組用の１つ以上の非デフォルト分類領域と、前記所定の染料の組の前記１つ以上の非デフォルト分類領域用のメタデータと、が得られる、
よう構成された少なくとも１つのプロセッサ、
を備えるシステム。
〔態様２〕
登録ＷＳＩの染料の組と注釈とを提示するためのシステムであって、
メモリと通信可能に接続された少なくとも１つのプロセッサであって、
前記染料の組のそれぞれの画像を複数のビューイングパネルのうち別のビューイングパネルにおいて提示し、
体系づけられた表形式の表示において、画像の注釈付き領域の組と対応するメタデータとを前記複数のビューイングパネルと共に表示し、
（ｉ）前記体系づけられた表形式の表示における前記注釈付き領域の組のうち１つをクリックすることと、（ｉｉ）前記画像の前回算出された登録情報を活用して前記複数のビューイングパネルの全てを同一箇所にナビゲートすることと、をユーザーにとって可能にし、
（ｉ）ドラッグとズームとパンニングとを含む、前記複数のビューイングパネルのうち１つ以上におけるナビゲーションイベントを適用することと、（ｉｉ）続いて、前記画像の前記前回算出された登録情報を活用して前記登録されたビューイングパネルの全てを同一箇所に移動させることと、をユーザーにとって可能にし、
前記同一箇所への前記複数のビューイングパネルのナビゲーションをできないようにすること、をユーザーにとって可能にし、
追加的な注釈付き領域を提供することをユーザーにとって可能にし、前記追加的な注釈付き領域のうち少なくとも１つが、欠落した注釈又は誤分類された注釈を含む不適切に注釈付けられた画像領域のラベル付けに対応している、
よう構成された少なくとも１つのプロセッサ、
を備えるシステム。
〔態様３〕
態様１に記載のシステムにおいて、本発明の実施形態において実現される機械学習アルゴリズムは、深層学習、即ち、畳み込みニューラルネットワーク（ＣＮＮ）又は領域ベースＣＮＮ（Ｒ－ＣＮＮ）、サポートベクターマシン（ＳＶＭ）、オートエンコーダ（ＡＥ）、又は浅いニューラルネットワーク（ＳＮＮ）を含む、システム。
〔態様４〕
態様１に記載のシステムにおいて、前記入力ＷＳＩは、色プロファイル、色ヒストグラム、又は他の区別特徴に基づき機械学習アルゴリズムであるＳＶＭを用いて染料に関して分離又は分類される、システム。
〔態様５〕
態様１に記載のシステムにおいて、前記背景は前処理ステップとして前記ＷＳＩ及び対応するパッチから除外され、明度ベースの比較又は彩度ベースの比較のうち１つ以上を用いて前景と背景とが区別される、システム。
〔態様６〕
態様１に記載のシステムにおいて、前記注釈は、前記システムにおいて専門の注釈者によって作成される代わりに、前記モデルの訓練又は評価のために、前記システム内にインポートされて機械学習モデルによる使用のための適切なフォーマットに変換される、システム。
〔態様７〕
態様１に記載のシステムにおいて、前記注釈は専門の注釈者によってインポート又は指定され、前記注釈ラベルが、前記ＷＳＩ全体に対して、ひいては前記ＷＳＩにおける前記組織の全てに対して、全てのラベルが適用されるＷＳＩベース、又は、指定の前記領域及び前記ラベルを含む１つ又は複数の注釈付けされたセクションが前記ＷＳＩにおける特定の特徴を区別するために適用される領域ベース、である、システム。
〔態様８〕
態様１に記載のシステムにおいて、前記ＷＳＩは、専門の注釈者による注釈の拡張を目的として又は訓練用の注釈ソースとして、アルゴリズムを用いて前処理され、前記画像を分割、事前注釈付け、又は注釈付けできる、システム。
〔態様９〕
態様１に記載のシステムにおいて、ＣＮＮの訓練を意図した、ＷＳＩからのパッチ又は領域のコホートがスケーリング、回転、フリッピング、ノイズ追加、ぼかし、伸張、又はスキューイングを含む少なくとも１つの処理技術を用いて増強され、訓練に用いられるデータセットの全体サイズ及び多様性が増加する、システム。
〔態様１０〕
態様１に記載のシステムにおいて、ＣＮＮが前記システムの外部の画像データの組において事前訓練されて転移学習を介して前記システム内にインポートされ、前記転移学習では、前記事前訓練されたＣＮＮの層の大部分が維持され、出力分類層のみが前記システムのＷＳＩ画像パッチデータにおいて再訓練される、システム。
〔態様１１〕
態様１に記載のシステムにおいて、モデル用の訓練工程への入力として提供されるいくつかの前記注釈ラベルが前処理されて、前記複数の入力がユーザー指定の出力ラベルの組にマッピングされ、１つ以上の入力ラベルが１つの出力ラベルにマッピングされる、システム。
〔態様１２〕
態様１に記載のシステムにおいて、２つ以上のＣＮＮモデルが訓練されてもよく、それぞれのモデルが特定のデータ特徴に対応しており、この結果、これらの特定の特徴を有する画像パッチにモデルが適合し、この結果、前記２つ以上のＣＮＮモデルを用いて前記画像パッチがより正確に分類され、
モデルのコホートが新しいＷＳＩ画像における推定のために用いられ、その結果得られるスコアは、その後、後処理を通じて評価されて最終区分が決定される、システム。
〔態様１３〕
態様１に記載のシステムにおいて、２つ以上のＣＮＮモデルが訓練されてもよく、それぞれのモデルが特定のデータ特徴に対応しており、この結果、これらの特定の特徴を有する画像パッチにモデルが適合し、この結果、前記２つ以上のＣＮＮモデルを用いて前記画像パッチがより正確に分類され、
前処理が用いられて、どのモデルを推定に用いるかが、前記ＷＳＩ全体に対して又は領域ごとに決定され、最終結果が前記選択されたモデルによる推定を介して返される、システム。
〔態様１４〕
態様１に記載のシステムにおいて、前記ＷＳＩのうち不正確に分類された画像パッチとして識別された選択領域が、前記不正確に分類された画像パッチを最初の訓練用の組に追加してより大きな組み合わされた訓練用の組を形成することにより、又は、修正された画像パッチに有利なデータの組における再訓練により、集められて前記システム内にフィードバックされ、インクリメンタルトレーニングを介してより正確なモデルが作成される、システム。
〔態様１５〕
態様１に記載のシステムにおいて、前記粗い及び／又は精細な登録アルゴリズムはキーポイントの一致、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）の特徴、又は強度ベースの一致から前記ユーザー又はシステム処理によって指定される、システム。
〔態様１６〕
態様１５に記載のシステムにおいて、漸次高くなる解像度（増加するディテール）の登録が、既存の登録領域のサブセクションへの分割と前記サブセクションにおける登録アルゴリズムの処理と、によって算出され、
大きなセクションの登録は多数の前記サブセクションからなり、前記大きなセクションの登録は前記漸次高くなる解像度（増加するディテール）の登録用の初期ガイドとして用いられる、システム。
〔態様１７〕
態様１に記載のシステムにおいて、ＣＮＮからの出力は、信頼度スコアの閾値処理を含む少なくとも１つのアルゴリズムを適用することで後処理され、染料間登録とフィルタリングとスコアヒートマップの作成とにより検出が組み合わされる、システム。
〔態様１８〕
態様２に記載のシステムにおいて、インターフェースにより、前記ユーザーは、選択的表示用の前記出力ラベル（又は注釈）のうち少なくとも１つを選択できる、システム。
〔態様１９〕
態様２に記載のシステムにおいて、インターフェースにより、前記ユーザーは、前記ユーザーインターフェースにおいて誤検出又は欠落した検出を注釈付けできる、システム。
〔態様２０〕
態様１９に記載のシステムにおいて、前記インターフェースにより、前記ユーザーは、ＣＮＮの追加的な訓練を生じさせ、前記追加的な訓練中に注釈の組の使用が強いられて、前記ユーザーによって修正された注釈を含めることができる、システム。

Claims (16)

1. 組織検体の全体スライド画像を分析するためのシステムであって、
   メモリと通信可能に接続された少なくとも１つのプロセッサであって、
   複数の染料が付いたスライドの集合におけるそれぞれの全体スライド画像に対し、
   他のシステムからのメタデータ、病理学者若しくは他の特定分野の専門家による手動ラベル付け、又は自動染料検出器のうち１つを通じて全体スライド画像用の染料タイプを指定して、
   前記全体スライド画像を前処理して、背景から前景組織を分離して機械学習（ＭＬ）モデルのパラメータに基づいて前記全体スライド画像のデータを正規化し、前記パラメータは、可能な染料並びに解像度又は他のパラメータを含んでおり、
   病理学者又は他の特定分野の専門家によりユーザーインターフェースを介して前記全体スライド画像のデータの領域に非デフォルト分類ラベルを適用することを伴う注釈付け用に、前記全体スライド画像のデータを提示し、
   注釈付けられた前記全体スライド画像のデータの領域から画像パッチを作成し、それぞれの画像パッチが１つのクラスに対応しており、
   分類に有用な特徴を動的に生成する前記機械学習モデルを訓練し、
   前記訓練された機械学習モデルの分類器を注釈付けされていない全体スライド画像データに適用して、前記染料に対するデフォルト分類および非デフォルト分類の集合とパッチパラメータとを生成し、
   マルチ分解能登録アルゴリズムを介して、前記前処理された全体スライド画像を登録し、前記マルチ分解能登録アルゴリズムは、（１）粗い登録アルゴリズムを適用して一般的なアフィン変換行列を生成することと、（２）連続的に小さくなるいくつかのサブセクションにおいて反復登録をして疎らな階層的マルチ分解能アフィン変換行列ピラミッドを生成し、その後前記階層的マルチ分解能アフィン変換行列ピラミッドを、組織及び撮像のばらつきに基づいて、画像間の対応する領域が、可能なアラインメントのうち最も精度良くアラインメントされるように、処理して、アフィン変換行列を１つの構造に組み合わせたアフィン変換行列フィールドであって、疎らではないアフィン変換行列フィールドを生成することと、を含んでおり、
   前記非デフォルト分類の集合を集団化することであって、前記非デフォルト分類の集合のそれぞれは、前記正規化された全体スライド画像データに前記訓練された機械学習モデルの分類器を適用することで生成され、当該集団化することは、個々の前記全体スライド画像に対して生成された前記アフィン変換行列フィールドを用いて前記非デフォルト分類の置き換えを通じて達成される、集団化することを実施し、
   前記染料の集合における前記複数の全体スライド画像のそれぞれからの前記集団化されたいくつかの非デフォルト分類を相関させ、それにより、関心領域の検出を強化して誤検出を減少させることで個々のいくつかの前記非デフォルト分類を相関させ、この結果、所定の染料の集合に対する１つ以上の非デフォルト分類の領域と、前記所定の染料の集合の前記１つ以上の非デフォルト分類の領域用のメタデータと、が得られる、
   よう構成された少なくとも１つのプロセッサ、
   を備えるシステム。
2. 請求項１に記載のシステムにおいて、前記機械学習モデルに用いられる機械学習アルゴリズムは、深層学習、即ち、畳み込みニューラルネットワーク又は領域ベース畳み込みニューラルネットワーク、サポートベクターマシン、オートエンコーダ、又は浅いニューラルネットワークを含む、システム。
3. 請求項１に記載のシステムにおいて、前記全体スライド画像は、色プロファイル、色ヒストグラム、又は他の区別特徴に基づき機械学習アルゴリズムであるサポートベクターマシンを用いて染料に関して分離又は分類される、システム。
4. 請求項１に記載のシステムにおいて、前記背景は前処理ステップとして前記全体スライド画像及び対応するパッチから除外され、明度ベースの比較又は彩度ベースの比較のうち１つ以上を用いて前景と背景とが区別される、システム。
5. 請求項１に記載のシステムにおいて、前記注釈は、前記システムにおいて専門の注釈者によって作成される代わりに、前記機械学習モデルの訓練又は評価のために、前記システム内にインポートされて前記機械学習モデルによる使用のための適切なフォーマットに変換される、システム。
6. 請求項１に記載のシステムにおいて、前記注釈は専門の注釈者によってインポート又は指定され、前記非デフォルト分類ラベルが、前記全体スライド画像の全体に対して、ひいては前記全体スライド画像における前記組織の全てに対して、全てのラベルが適用される全体スライド画像ベース、又は、指定の前記領域及び前記ラベルを含む１つ又は複数の注釈付けされたセクションが前記全体スライド画像における特定の特徴を区別するために適用される領域ベース、である、システム。
7. 請求項１に記載のシステムにおいて、前記全体スライド画像は、専門の注釈者による注釈の拡張を目的として又は訓練用の注釈ソースとして、アルゴリズムを用いて前処理され、前記画像を分割、事前注釈付け、又は注釈付けできる、システム。
8. 請求項２に記載のシステムにおいて、畳み込みニューラルネットワークの訓練を意図した、全体スライド画像からのパッチ又は領域のコホートがスケーリング、回転、フリッピング、ノイズ追加、ぼかし、伸張、又はスキューイングを含む少なくとも１つの処理技術を用いて増強され、訓練に用いられるデータセットの全体サイズ及び多様性が増加する、システム。
9. 請求項２に記載のシステムにおいて、前記畳み込みニューラルネットワークが前記システムの外部の画像データの集合において事前訓練されて転移学習を介して前記システム内にインポートされ、前記転移学習では、前記事前訓練された畳み込みニューラルネットワークの層の大部分が維持され、出力分類層のみが前記システムの全体スライド画像のパッチデータにおいて再訓練される、システム。
10. 請求項１に記載のシステムにおいて、いくつかの前記非デフォルト分類ラベルであるラベルが前処理されて、前記ラベルがユーザー指定の出力ラベルの集合にマッピングされ、１つ以上の入力ラベルが１つの出力ラベルにマッピングされる、システム。
11. 請求項２に記載のシステムにおいて、２つ以上の畳み込みニューラルネットワークモデルが訓練されてもよく、前記２つ以上の畳み込みニューラルネットワークモデルのそれぞれが特定のデータ特徴に対応しており、この結果、これらの特定の特徴を有する画像パッチに前記２つ以上の畳み込みニューラルネットワークモデルが適合し、この結果、前記２つ以上の畳み込みニューラルネットワークモデルを用いて前記画像パッチがより正確に分類され、
    モデルのコホートが新しい全体スライド画像における推定のために用いられ、その結果得られるスコアは、その後、後処理を通じて評価されて最終的な分類が決定される、システム。
12. 請求項２に記載のシステムにおいて、２つ以上の畳み込みニューラルネットワークモデルが訓練されてもよく、前記２つ以上の畳み込みニューラルネットワークモデルのそれぞれが特定のデータ特徴に対応しており、この結果、これらの特定の特徴を有する画像パッチに前記２つ以上の畳み込みニューラルネットワークモデルが適合し、この結果、前記２つ以上の畳み込みニューラルネットワークモデルを用いて前記画像パッチがより正確に分類され、
    前処理が用いられて、推定に用いるためにどの畳み込みニューラルネットワークモデルモデルを選択するかが、前記全体スライド画像全体に対して又は領域ごとに決定され、最終結果が前記選択された畳み込みニューラルネットワークモデルモデルによる推定を介して返される、システム。
13. 請求項１に記載のシステムにおいて、前記全体スライド画像のうち不正確に分類された画像パッチとして識別された選択領域が、前記不正確に分類された画像パッチを最初の訓練用の集合に追加してより大きな組み合わされた訓練用の集合を形成することにより、又は、修正された画像パッチに有利なデータの集合における再訓練により、集められて前記システム内にフィードバックされ、インクリメンタルトレーニングを介してより正確なモデルが作成される、システム。
14. 請求項１に記載のシステムにおいて、前記粗い及び／又は精細な登録アルゴリズムはキーポイントの一致、ＯＲＢ（Ｏｒｉｅｎｔｅｄ ＦＡＳＴ ａｎｄ Ｒｏｔａｔｅｄ ＢＲＩＥＦ）の特徴、又は強度ベースの一致からユーザー又はシステム処理によって指定される、システム。
15. 請求項１４に記載のシステムにおいて、漸次高くなる解像度の登録が、既存の登録領域のサブセクションへの分割と前記サブセクションにおける登録アルゴリズムの処理と、によって算出され、
    大きなセクションの登録は多数の前記サブセクションからなり、前記大きなセクションの登録は前記漸次高くなる解像度の登録用の初期ガイドとして用いられる、システム。
16. 請求項２に記載のシステムにおいて、前記畳み込みニューラルネットワークからの出力は、信頼度スコアの閾値処理を含む少なくとも１つのアルゴリズムを適用することで後処理され、染料間登録とフィルタリングとスコアヒートマップの作成とにより検出が組み合わされる、システム。
    

Images