WO2018198327A1

WO2018198327A1 - 内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法

Info

Publication number: WO2018198327A1
Application number: PCT/JP2017/016961
Authority: WO
Inventors: 北村　誠; 勝義谷口; 大和合渡; 隆志河野; 都士也上山; 大和神田
Original assignee: オリンパス株式会社
Priority date: 2017-04-28
Filing date: 2017-04-28
Publication date: 2018-11-01
Also published as: JPWO2018198327A1; US12419491B2; CN110868907A; US20200126223A1; CN110868907B; JP6751815B2

Abstract

内視鏡診断支援システム（１）は、撮像部（２４）によって被検体内を撮像して取得された内視鏡画像（Ａ）から異常候補領域（Ｌ）の検出を行い、検出結果を出力する異常検出部（３３）と、メイン領域（Ｂ１）と、メイン領域（Ｂ１）よりも小さなサブ領域（Ｂ２）とに分割され、内視鏡画像（Ａ１）がメイン領域（Ｂ１）に配置され、前記検出結果に応じ、異常候補領域（Ｌ）を検出したことを示す異常検出画像（Ｍａ）がメイン領域（Ｂ１）の周縁部に配置された、表示画像（Ｂ）を生成する画像生成部（３４）と、を備える。

Description

内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法

　本発明は、内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法に関する。

　従来、医用画像の画像処理を行い、予め指定された条件に合致する部分にマークを付けて表示する技術がある。例えば、日本国特開２００４－１５９７３９号公報には、診断支援を行うことができるように、Ｘ線ＣＴ装置、磁気共鳴撮影装置、超音波診断装置、Ｘ線撮影装置等によって取得した医用画像の画像処理を行い、病変の疑いのある部分にマークを付けて表示する画像処理装置が開示される。

　しかし、従来の画像処理装置では、ユーザが医用画像に表れた病変を発見する前に、病変の疑いのある部分にマークが表示され、医用画像に対するユーザの注意を妨げることがある。

　そこで、本発明は、内視鏡画像に対するユーザの注意を妨げないように、病変等の異常の候補となる領域である異常候補を示すことができ、内視鏡による診断を支援することができる内視鏡診断支援システム、内視鏡診断支援プログラム及び内視鏡診断支援方法を提供することを目的とする。

　実施形態の内視鏡診断支援システムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する画像生成部と、を備える。

　実施形態の内視鏡診断支援プログラムは、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成するコードと、をコンピュータに実行させる。

　実施形態の内視鏡診断支援方法は、異常検出部により、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、画像生成部により、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する。

本発明の第１の実施形態に係わる、内視鏡診断支援システムの構成例を示すブロック図である。本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第１の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第１の実施形態の変形例２に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第１の実施形態の変形例３に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第１の実施形態の変形例４に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。本発明の第２の実施形態に係わる、内視鏡診断支援システムの表示画像生成処理の一例を示すフローチャートである。本発明の第２の実施形態に係わる、内視鏡診断支援システムの表示部の表示画像の構成例を示す図である。

　以下、図面を参照しながら、本発明の実施形態を説明する。

　（第１の実施形態）
　（構成）
　図１は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の構成例を示すブロック図である。図１では、観察モードを設定するための、操作部Ｘと制御部３２を結ぶ信号線の図示は省略する。

　内視鏡診断支援システム１は、光源駆動部１１と、内視鏡２１と、ビデオプロセッサ３１と、表示部４１と、操作部Ｘと、を有する。光源駆動部１１は、内視鏡２１と、ビデオプロセッサ３１と接続される。内視鏡２１及び操作部Ｘは、ビデオプロセッサ３１と接続される。ビデオプロセッサ３１は、表示部４１と接続される。

　光源駆動部１１は、内視鏡２１の挿入部２２の先端部に設けられた照明部２３を駆動する回路である。光源駆動部１１は、ビデオプロセッサ３１内の制御部３２と、内視鏡２１内の照明部２３とに接続される。光源駆動部１１は、制御部３２の制御の下、照明部２３から被検体に照明光を照射させる。光源駆動部１１は、観察モードに応じ、通常光及び狭帯域光を照明部２３から照射させる。より具体的には、光源駆動部１１は、観察モードが、通常光モードであるとき、照明部２３から通常光を照射させ、また、狭帯域光観察モードであるとき、照明部２３から狭帯域光を照射させる。

　内視鏡２１は、被検体内を撮像できるように構成される。内視鏡２１は、挿入部２２と、照明部２３と、撮像部２４と、を有する。

　挿入部２２は、被検体内に挿入できるように、細長状に形成される。挿入部２２は、図示しない処置具挿通管路等の管路を有する。挿入部２２は、処置具挿通管路に挿通された図示しない処置具を先端部から突出させることが可能である。

　照明部２３は、挿入部２２の先端部に設けられ、光源駆動部１１の制御下において、被検体に照明光を照射する。

　撮像部２４は、挿入部２２の先端部に設けられ、照明光が照射された被検体を撮像し、
撮像信号をビデオプロセッサ３１に出力する。

　ビデオプロセッサ３１は、内視鏡２１の制御を行い、内視鏡２１から入力された撮像信号に基づいて、内視鏡画像Ａを生成し、内視鏡画像Ａに基づいて、表示画像Ｂを生成する。ビデオプロセッサ３１は、制御部３２と、異常検出部３３と、画像生成部３４と、を有する。

　制御部３２は、内視鏡診断支援システム１内の各部の制御を行う回路である。制御部３２は、内視鏡２１から入力された撮像信号に基づいて、例えば、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行って内視鏡画像Ａを生成し、内視鏡画像Ａを異常検出部３３と画像生成部３４に出力する。制御部３２は、光源駆動部１１に制御信号を送信し、観察モードに応じて照明部２３を駆動する。観察モードは、操作部Ｘを介したユーザの指示入力によって設定される。制御部３２は、内視鏡画像Ａの明るさに応じ、照明部２３の発光量を調整しても構わない。内視鏡画像Ａは、動画像又は静止画像のいずれであっても構わない。

　異常検出部３３は、内視鏡画像Ａに基づいて、病変等の異常の候補となる領域である異常候補領域Ｌの検出を行う回路である。異常検出部３３は、画像生成部３４と接続される。異常候補領域Ｌが検出されないとき、画像生成部３４は、異常候補領域Ｌが非検出であることを示す検出結果を画像生成部３４に出力する。異常候補領域Ｌが検出されたとき、異常検出部３３は、異常候補領域Ｌの検出位置及び大きさを示す検出結果を画像生成部３４に出力する。すなわち、異常検出部３３は、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行い、検出結果を出力する。異常候補領域Ｌは、病変候補領域である。

　例えば、異常検出部３３は、機械学習等の人工知能技術を用いた演算装置によって構成される。より具体的には、異常検出部３３は、深層学習技術（ディープラーニング）により、特徴量の抽出を学習した演算装置によって構成される。異常検出部３３は、撮像部２４から入力された内視鏡画像Ａに対して、学習によって調整された所定の演算を行い、検出結果として、異常候補領域Ｌが非検出であることを示す特徴量、又は、異常候補領域Ｌの検出位置及び大きさを示す特徴量を画像生成部３４に出力する。

　なお、異常検出部３３は、人工知能技術を用いた演算装置によって構成されるが、人工知能技術を用いない演算装置によって構成されても構わない。例えば、異常検出部３３は、互いに隣り合う画素との変化量から輪郭の抽出を行い、輪郭と、制御部３２内に予め記憶された異常候補領域Ｌのモデル情報とのマッチングによって抽出を行うように構成しても構わない。

　画像生成部３４は、表示画像Ｂの生成を行う回路である。画像生成部３４は、制御部３２から入力された内視鏡画像Ａと、異常検出部３３から入力された検出結果と、操作部Ｘから入力された指示信号と、に基づいて表示画像Ｂの生成を行う。画像生成部３４は、指示信号に応じ、メイン領域Ｂ１の検出位置画像Ｄ１を非表示状態から表示状態に切り替える。

　表示部４１は、画像生成部３４から入力された表示画像Ｂを表示画面上に表示できるように構成される。表示部４１は、例えば、長方形状の表示画面を有するモニタである。

　操作部Ｘは、ユーザの操作によって指示入力できるように構成される。操作部Ｘは、画像生成部３４と接続される。操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅを有する。以下、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの全て、又は、一部を示すとき、操作部Ｘという。

　フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ及び音声入力装置Ｘｄは、ビデオプロセッサ３１と有線又は無線によって接続される。フットスイッチＸａは、ユーザの足によるペダルの踏み込み操作が可能である。キーボードＸｂは、ユーザの手指による所定キーの押下操作が可能である。タブレットＸｃは、ユーザの手指によるタッチパネルのタッチ操作が可能である。音声入力装置Ｘｄは、ユーザの音声による操作が可能である。音声入力装置Ｘｄでは、ユーザの音声が入力され、入力された音声の中から表示状態及び非表示状態を指示する所定の音声を検出する。スコープスイッチＸｅは、内視鏡２１に取り付けられ、ユーザの手指による操作が可能である。

　ユーザの手指、足又は音声によって表示状態を指示する指示入力が行われると、操作部Ｘは、表示状態を指示する指示信号を画像生成部３４に出力する。一方、ユーザの手指、足又は音声によって非表示状態を指示する指示入力が行われると、操作部Ｘは、非表示状態を指示する指示信号を画像生成部３４に出力する。すなわち、操作部Ｘは、ユーザの操作に応じて指示信号を出力する。

　（表示画像Ｂの構成）
　表示画像Ｂの構成について説明をする。

　図２は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。図２の例では、内視鏡画像Ａ１、Ａ２は、全体が八角形であり、生体内管腔が曲線によって模式的に表される。

　表示画像Ｂは、長方形の画像であり、長手方向に分割されたメイン領域Ｂ１とサブ領域Ｂ２を有する。図２の１点鎖線は、メイン領域Ｂ１とサブ領域Ｂ２の境界を示す仮想の線である。

　メイン領域Ｂ１は、内視鏡画像Ａ１を表示する領域である。メイン領域Ｂ１は、内視鏡画像Ａ１の視認性を向上できるように、サブ領域Ｂ２よりも広くなるように設定される。内視鏡画像Ａ１は、メイン領域Ｂ１内に、内視鏡画像Ａ２よりも大きく表示される。

　サブ領域Ｂ２は、異常候補領域Ｌの検出位置を表示する領域である。サブ領域Ｂ２は、メイン領域Ｂ１と隣り合うように配置される。サブ領域Ｂ２には、検出位置を示すための検出位置画像Ｄ２を重畳するための内視鏡画像Ａ２が配置される（図４）。

　（作用）
　続いて、画像生成部３４の表示画像生成処理について説明をする。

　図３は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図４と図５は、本発明の第１の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。

　挿入部２２を挿入して被検体を撮像すると、撮像部２４は、撮像信号を制御部３２に出力する。制御部３２は、撮像信号に基づいて、ゲイン調整、ホワイトバランス調整、ガンマ補正、輪郭強調補正、拡大縮小調整等の画像処理を行い、異常検出部３３と画像生成部３４に内視鏡画像Ａを出力する。

　異常検出部３３は、所定の演算を行い、検出結果を画像生成部３４に出力する。

　画像生成部３４は、制御部３２から入力された内視鏡画像Ａの大きさを調整し、メイン領域Ｂ１に内視鏡画像Ａ１を配置し、サブ領域Ｂ２に内視鏡画像Ａ２を配置する。

　異常候補領域Ｌが検出されたか否かを判定する（Ｓ１１）。異常候補領域Ｌが非検出であることを示す検出結果が異常検出部３３から入力されたと、画像生成部３４が判定すると（Ｓ１１：ＮＯ）、処理は、Ｓ１１を繰り返す。一方、図４に示すように、異常候補領域Ｌの検出位置及び大きさを示す検出結果が入力されたと、画像生成部３４が判定すると（Ｓ１１：ＹＥＳ）、処理はＳ１２に進む。

　メイン領域Ｂ１の検出マークＭａと、サブ領域Ｂ２の検出位置画像Ｄ２とを表示状態にする（Ｓ１２）。画像生成部３４は、メイン領域Ｂ１の右下部、かつ内視鏡画像Ａ１の外方において、異常候補領域Ｌを検出したことを示す異常検出画像である検出マークＭａを表示状態にする。すなわち、検出マークＭａは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の近傍に配置される。図４の例では、検出マークＭａは、旗を模した画像であるが、他の画像であっても構わない。

　また、画像生成部３４は、検出結果に基づき、サブ領域Ｂ２の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置画像Ｄ２を表示状態にする。図４の例では、検出位置画像Ｄ２は、矩形枠画像であるが、他の画像であっても構わない。

　指示信号の入力があるか否かを判定する（Ｓ１３）。表示状態を指示する指示信号の入力がないと、画像生成部３４が判定すると、処理は、Ｓ１１に戻る。一方、表示状態を指示する指示信号の入力があると、画像生成部３４が判定すると、処理は、Ｓ１４に進む。

　メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする（Ｓ１４）。図５に示すように、画像生成部３４は、メイン領域Ｂ１の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置を示すための検出位置画像Ｄ１を表示状態にする。図５の例では、検出位置画像Ｄ１は、矩形枠画像であるが、他の画像であっても構わない。すなわち、メイン領域Ｂ１に配置される検出位置画像Ｄ１は、矩形枠画像である。

　操作部Ｘによって非表示状態を指示する指示入力があり、又は、異常候補領域Ｌが非検出になると、画像生成部３４は、検出位置画像Ｄ１を非表示状態にする。

　Ｓ１１～Ｓ１４の処理が第１の実施形態に係わる表示画像生成処理を構成する。

　すなわち、画像生成部３４は、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成する。画像生成部３４は、検出結果に応じ、サブ領域Ｂ２の異常候補領域Ｌの検出位置に対応する位置を示すように、検出位置を示すための検出位置画像Ｄ２を配置する。画像生成部３４は、異常検出画像がメイン領域Ｂ１に配置された表示画像Ｂを生成した後、メイン領域Ｂ１の検出位置に対応する位置を示すように、検出位置画像Ｄ１を配置する。

　すなわち、内視鏡診断支援方法は、異常検出部３３により、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行って検出結果を出力し、画像生成部３４により、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成する。

　これにより、内視鏡診断支援システム１では、メイン領域Ｂ１における異常候補領域Ｌの検出位置画像Ｄ１は、ユーザが指示入力をするまで非表示状態にされ、内視鏡画像Ａ１に対するユーザの注意を妨げない。

　上述の第１の実施形態によれば、内視鏡診断支援システム１は、内視鏡画像Ａ１に対するユーザの注意を妨げないように、病変等の異常の候補である異常候補領域Ｌを示すことができ、内視鏡２１による診断を支援することができる。

　（第１の実施形態の変形例１）
　第１の実施形態では、検出マークＭａは、メイン領域Ｂ１の右下部に表示されたが、検出マークＭｂは、内視鏡画像Ａ１の四隅に表示されても構わない。

　図６及び図７は、本発明の第１の実施形態の変形例１に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　図６に示すように、異常検出部３３から異常候補領域Ｌの検出位置及び大きさを示す検出結果が入力されると、画像生成部３４は、メイン領域Ｂ１の検出マークＭｂを表示状態にし、サブ領域Ｂ２の検出位置画像Ｄ２を表示状態にする。

　図６の例では、検出マークＭｂは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の外方に、内視鏡画像Ａ１の四隅のテーパ部に沿うように配置される。検出マークＭｂは、所定の太さを有する帯状画像である。なお、図６の例では、検出マークＭｂは、内視鏡画像Ａ１の四隅の全てに配置されるが、四隅の全てではなく、四隅のうち少なくとも一部に配置されるように構成しても構わない。

　図７に示すように、ユーザが、操作部Ｘによって表示状態を指示入力すると、メイン領域Ｂ１の検出位置画像Ｄ１は、表示状態にされる。

　すなわち、画像生成部３４は、検出マークＭｂを内視鏡画像Ａ１の四隅に配置する。

　これにより、内視鏡診断支援システム１は、ユーザがより気付きやすいように、検出マークＭｂを表示することができる。

　（第１の実施形態の変形例２）
　第１の実施形態の変形例１では、帯状画像の検出マークＭｂが表示されるが、三角形画像の検出マークＭｃが表示されても構わない。

　図８は、本発明の第１の実施形態の変形例２に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　図８の例では、検出マークＭｃは、メイン領域Ｂ１の周縁部、かつ内視鏡画像Ａ１の外方に、内視鏡画像Ａ１の四隅のテーパ部に沿うように配置される。検出マークＭｃは、所定の色で塗り潰した三角形画像である。なお、図８の例では、検出マークＭｃは、内視鏡画像Ａ１の四隅の全てに配置されるが、四隅の全てではなく、四隅のうち少なくとも一部に配置されるように構成しても構わない。

　これにより、内視鏡診断支援システム１は、ユーザがより気付きやすいように、検出マークＭｃを表示することができる。

　（第１の実施形態の変形例３）
　第１の実施形態と、第１の実施形態の変形例１と２では、内視鏡画像Ａ１、Ａ２は、全体が八角形であるが、八角形でなくても構わない。

　図９は、本発明の第１の実施形態の変形例３に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　メイン領域Ｂ１には、全体が四角形である内視鏡画像Ａ１ｄが配置され、また、サブ領域Ｂ２には、内視鏡画像Ａ１ｄを縮小した内視鏡画像Ａ２ｄが配置される。

　図９の例では、検出マークＭｄは、内視鏡画像Ａ１ｄの四隅に配置され、四隅に沿って屈曲したＬ字状画像である。なお、検出マークＭｄは、目立つように、点滅表示にしても構わない。

　これにより、内視鏡診断支援システム１は、全体が四角形である内視鏡画像Ａ１ｄの四隅に、ユーザがより気付きやすいように、検出マークＭｄを表示することができる。

　（第１の実施形態の変形例４）
　第１の実施形態の変形例３では、内視鏡画像Ａ１ｄ、Ａ２ｄは、全体が四角形であるが、互いに対向する辺が湾曲状であっても構わない。

　図１０は、本発明の第１の実施形態の変形例４に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本変形例では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　メイン領域Ｂ１には、上下部が直線状、かつ左右両側部が湾曲状である内視鏡画像Ａ１ｅが配置され、また、サブ領域Ｂ２には、内視鏡画像Ａ１ｅを縮小した内視鏡画像Ａ２ｅが配置される。

　図１０の例では、検出マークＭｅは、内視鏡画像Ａ１ｅの四隅に配置された、１辺を湾曲させた三角形画像である。

　これにより、内視鏡診断支援システム１は、互いに対向する辺が湾曲状である内視鏡画像Ａ１ｅの四隅に、ユーザがより気付きやすいように、検出マークＭｅを表示することができる。

　（第１の実施形態の変形例５）
　第１の実施形態及び第１の実施形態の変形例１から４では、操作部Ｘの操作によって検出位置画像Ｄ１を表示状態にする指示入力が行われるが、ユーザの目の動きを検出して検出位置画像Ｄ１を表示状態にしても構わない。

　図１１は、本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図１２は、本発明の第１の実施形態の変形例５に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。

　本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　本変形例では、内視鏡診断支援システム１は、カメラＺを有する（図１の２点鎖線）。

　カメラＺは、例えば、内視鏡画像Ａ１を観察するユーザの目の動きを検出できるように、表示部４１の縁等に取り付けられる。カメラＺは、画像生成部３４と接続される。カメラＺは、ユーザの目を撮像し、画像生成部３４にユーザの目の画像を出力する。

　続いて、本変形例の動作について説明をする。

　Ｓ２１、Ｓ２２は、Ｓ１１、Ｓ１２と同じであるため、説明を省略する。

　ユーザの目が所定の動きをしているか否かを判定する（Ｓ２３）。ユーザの目が所定の動きをしていないと、画像生成部３４が判定するとき、処理は２１に戻る。一方、ユーザの目が所定の動きをしていると、画像生成部３４が判定するとき、処理はＳ２４に進む。

　所定の動きは、例えば、ユーザが目視によって内視鏡画像Ａ内の異常を発見し、ユーザの視線が、異常候補領域Ｌの検出位置に、所定時間向けられた動きであっても構わない。また、所定の動きは、ユーザが検出マークＭａに気付き、ユーザの視線が、メイン領域Ｂ１から表示画像Ｂの全体に移った動きであっても構わない。また、所定の動きは、予め設定された表示画像Ｂ内の所定位置に、ユーザの視線が向けられた動きであっても構わない。

　メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする（Ｓ２４）。検出位置画像Ｄ１は、メイン領域Ｂ１内の異常候補領域Ｌの近傍に表示される矢印画像である。メイン領域Ｂ１に配置される検出位置画像Ｄ１は、矢印画像である。

　画像生成部３４は、操作部Ｘによる指示入力、カメラＺによる目の所定の動きの検出、又は、異常候補領域Ｌの非検出により、検出位置画像Ｄ１を非表示状態にする。

　画像生成部３４は、観察モードが通常観察モードから狭帯域光モードに切り替えられたとき、ユーザの内視鏡画像Ａ１に対する注意を妨げないように、メイン領域Ｂ１の検出位置画像Ｄ１を非表示にする。

　異常検出部３３内に、内視鏡画像Ａから所定の処置具を検出する処置具検出部Ｔ１（図１の２点鎖線）を有し、内視鏡画像Ａから所定の処置具が検出されたとき、ユーザの注意を妨げないように、メイン領域Ｂ１の検出位置画像Ｄ１を非表示にする。

　すなわち、画像生成部３４は、所定の表示切替条件を満たすと判定するとき、メイン領域Ｂ１の検出位置画像Ｄ１を表示状態又は非表示状態のいずれかに切り替える。所定の表示切替条件は、カメラＺから入力されたユーザの目の画像が所定の動きをしているか否かである。また、所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである。また、所定の表示切替条件は、処置具検出部Ｔ１によって所定の処置具が検出されたか否かである。

　Ｓ２１からＳ２４の処理が、第１の実施形態の変形例５に係わる、表示画像生成処理を構成する。

　これにより、内視鏡診断支援システム１は、所定の表示切替条件によって検出位置画像Ｄ１を表示状態又は非表示状態のいずれかに切り替えることができ、ユーザに操作部Ｘを操作する手間をかけさせない。

　（第２の実施形態）
　第１の実施形態及び第１の実施形態の変形例１から５では、サブ領域Ｂ２は、異常候補領域Ｌの検出位置を表示するが、異常候補領域Ｌの拡大画像Ｅを表示しても構わない。

　図１３は、本発明の第２の実施形態に係わる、内視鏡診断支援システム１の表示画像生成処理の一例を示すフローチャートである。図１４は、本発明の第２の実施形態に係わる、内視鏡診断支援システム１の表示部４１の表示画像Ｂの構成例を示す図である。本実施形態では、他の実施形態及び変形例と同じ構成については、説明を省略する。

　第２の実施形態の内視鏡診断支援システム１の動作について、説明をする。

　Ｓ３１からＳ３３は、Ｓ１１からＳ１３と同じであるため、説明を省略する。

　メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にし、サブ領域Ｂ２に拡大画像Ｅを表示する（Ｓ３４）。図１４に示すように、画像生成部３４は、メイン領域Ｂ１の検出位置画像Ｄ１を表示状態にする。また、画像生成部３４は、サブ領域Ｂ２に、所定の拡大率の拡大画像Ｅを表示する。

　すなわち、画像生成部３４は、サブ領域Ｂ２に、異常候補領域Ｌを拡大した拡大画像Ｅを配置する。

　Ｓ３１からＳ３４の処理が、第２の実施形態に係わる、表示画像生成処理を構成する。

　これにより、内視鏡診断支援システム１では、ユーザの指示入力により、サブ領域Ｂ２に拡大画像Ｅを表示することができ、異常候補領域Ｌの視認性が向上する。

　上述の第２の実施形態によれば、内視鏡診断支援システム１は、内視鏡画像Ａ１に対するユーザの注意を妨げないように、病変等の異常の候補である異常候補領域Ｌを示すことができ、内視鏡２１による診断を支援することができる。

　なお、実施形態及び変形例では、検出マークＭａ、Ｍｂ、Ｍｃ、Ｍｄ、Ｍｅと検出位置画像Ｄ１、Ｄ２は、ユーザが見やすいように、互いに同じ色であっても構わない。

　なお、実施形態及び変形例では、画像生成部３４は、内視鏡画像Ａ１、Ａ１ｄ、Ａ１ｅ、Ａ２、Ａ２ｄ、Ａ２ｅの外方に検出位置画像Ｄ１、Ｄ２が配置されないように、表示画像Ｂを生成しても構わない。

　なお、実施形態及び変形例では、画像生成部３４は、メイン領域Ｂ１に検出位置画像Ｄ１を配置するとき、サブ領域Ｂ２にも検出位置画像Ｄ２を配置するが、メイン領域Ｂ１に検出位置画像Ｄ１を配置するとき、サブ領域Ｂ２に検出位置画像Ｄ２を配置しないように、表示画像Ｂを生成しても構わない。

　なお、実施形態及び変形例では、操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの全てによって構成されるが、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの一部によって構成されても構わない。すなわち、操作部Ｘは、フットスイッチＸａ、キーボードＸｂ、タブレットＸｃ、音声入力装置Ｘｄ及びスコープスイッチＸｅの少なくともいずれか１つ以上を備える。

　なお、第１の実施形態では、検出マークＭａは、メイン領域Ｂ１の右下部に表示されたが、メイン領域Ｂ１の右上部、左上部又は左下部のいずれに表示されても構わない。

　なお、第１の実施形態の変形例５では、所定の表示切替条件は、ユーザの目の画像が所定の動きをしているか否かであるが、タイマＴ２を有し（図１の２点鎖線）、異常検出部３３は、異常候補領域Ｌにおける異常の種類を検出可能であり、タイマＴ２は、異常候補領域Ｌが検出された後、異常の種類に応じた所定時間を計測可能であり、所定の表示切替条件は、異常候補領域Ｌが検出された後、所定時間が経過したか否かであっても構わない。

　なお、第２の実施形態における所定の拡大率は、予め設定されるが、異常候補領域Ｌの大きさに応じて変化するように構成しても構わない。

　本明細書における各「部」は、実施形態の各機能に対応する概念的なもので、必ずしも特定のハードウェアやソフトウェア・ルーチンに１対１には対応しない。したがって、本明細書では、実施形態の各機能を有する仮想的回路ブロック（部）を想定して実施形態を説明した。また、本実施形態における各手順の各ステップは、その性質に反しない限り、実行順序を変更し、複数同時に実行し、あるいは実行毎に異なった順序で実行してもよい。さらに、本実施形態における各手順の各ステップの全てあるいは一部をハードウェアにより実現してもよい。

　例えば、ビデオプロセッサ３１がＣＰＵ５１及びメモリ５２を有し、メモリ５２に記憶された内視鏡診断支援プログラム５３を実行することにより、異常検出部３３及び画像生成部３４の機能が実現されても構わない（図１の２点鎖線）。すなわち、内視鏡診断支援プログラム５３は、撮像部２４によって被検体内を撮像して取得された内視鏡画像Ａから異常候補領域Ｌの検出を行い、検出結果を出力するコードと、メイン領域Ｂ１と、メイン領域Ｂ１よりも小さなサブ領域Ｂ２とに分割され、内視鏡画像Ａ１がメイン領域Ｂ１に配置され、前記検出結果に応じ、異常候補領域Ｌを検出したことを示す異常検出画像がメイン領域Ｂ１の周縁部に配置された、表示画像Ｂを生成するコードと、をコンピュータに実行させる。

　本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。

Claims

　撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力する異常検出部と、
　メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する画像生成部と、
　を備えることを特徴とする内視鏡診断支援システム。
　前記内視鏡画像は、動画像であり、
　前記画像生成部は、前記検出結果に応じ、前記サブ領域の前記異常候補領域の検出位置に対応する位置に、前記検出位置を示すための検出位置画像を配置する、
　ことを特徴とする請求項１に記載の内視鏡診断支援システム。
　前記画像生成部は、前記異常検出画像が前記メイン領域に配置された前記表示画像を生成した後、前記メイン領域の前記検出位置に対応する位置を示すように、前記検出位置画像を配置する、ことを特徴とする請求項２に記載の内視鏡診断支援システム。
　前記画像生成部は、前記サブ領域に、前記異常候補領域を拡大した拡大画像を配置する、ことを特徴とする請求項１に記載の内視鏡診断支援システム。
　前記異常検出画像と前記検出位置画像は、互いに同じ色である、ことを特徴とする請求項２に記載の内視鏡診断支援システム。
　前記異常検出画像は、検出マークである、ことを特徴とする請求項１に記載の内視鏡診断支援システム。
　前記画像生成部は、前記異常検出画像を前記内視鏡画像の四隅に配置する、ことを特徴とする請求項１に記載の内視鏡診断支援システム。
　前記画像生成部は、前記内視鏡画像の外方に前記検出位置画像が配置されないように、前記表示画像を生成する、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
　前記メイン領域に配置される前記検出位置画像は、矩形枠画像である、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
　前記メイン領域に配置される前記検出位置画像は、矢印画像である、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
　ユーザの操作に応じて指示信号を出力する操作部を有し、
　前記画像生成部は、前記指示信号に応じ、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
　前記操作部は、フットスイッチ、キーボード、タブレット、音声入力装置及びスコープスイッチの少なくともいずれか１つ以上を備える、ことを特徴とする請求項１１に記載の内視鏡診断支援システム。
　前記画像生成部は、所定の表示切替条件を満たすと判定するとき、前記メイン領域の前記検出位置画像を表示状態又は非表示状態のいずれかに切り替える、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
　カメラを有し、
　前記所定の表示切替条件は、前記カメラから入力されたユーザの目の画像が所定の動きをしているか否かである、ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
　タイマを有し、
　前記異常検出部は、前記異常候補領域における異常の種類を検出可能であり、
　前記タイマは、前記異常候補領域が検出された後、前記異常の種類に応じた所定時間を計測可能であり、
　前記所定の表示切替条件は、前記異常候補領域が検出された後、前記所定時間が経過したか否かである、ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
　前記所定の表示切替条件は、観察モードが狭帯域光観察モードであるか否かである、ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
　処置具検出部を有し、
　前記処置具検出部は、前記内視鏡画像から所定の処置具の検出を行い、
　前記所定の表示切替条件は、前記処置具検出部によって前記所定の処置具が検出されたか否かである、ことを特徴とする請求項１３に記載の内視鏡診断支援システム。
　前記画像生成部は、前記メイン領域に前記検出位置画像を配置するとき、前記サブ領域に前記検出位置画像を配置しないように、前記表示画像を生成する、ことを特徴とする請求項３に記載の内視鏡診断支援システム。
　撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行い、検出結果を出力するコードと、
　メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成するコードと、
　をコンピュータに実行させるための内視鏡診断支援プログラム。
　異常検出部により、撮像部によって被検体内を撮像して取得された内視鏡画像から異常候補領域の検出を行って検出結果を出力し、
　画像生成部により、メイン領域と、前記メイン領域よりも小さなサブ領域とに分割され、前記内視鏡画像が前記メイン領域に配置され、前記検出結果に応じ、前記異常候補領域を検出したことを示す異常検出画像が前記メイン領域の周縁部に配置された、表示画像を生成する、
　ことを特徴とする内視鏡診断支援方法。