[go: up one dir, main page]

CN106464849B - 图像处理装置、内窥镜系统以及图像处理方法 - Google Patents

图像处理装置、内窥镜系统以及图像处理方法 Download PDF

Info

Publication number
CN106464849B
CN106464849B CN201580033672.5A CN201580033672A CN106464849B CN 106464849 B CN106464849 B CN 106464849B CN 201580033672 A CN201580033672 A CN 201580033672A CN 106464849 B CN106464849 B CN 106464849B
Authority
CN
China
Prior art keywords
image
judgement
position candidate
processing apparatus
study
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CN201580033672.5A
Other languages
English (en)
Other versions
CN106464849A (zh
Inventor
白谷文行
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Publication of CN106464849A publication Critical patent/CN106464849A/zh
Application granted granted Critical
Publication of CN106464849B publication Critical patent/CN106464849B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000096—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope using artificial intelligence
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A61B1/041—Capsule endoscopes for imaging
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/97—Determining parameters from multiple pictures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/758—Involving statistics of pixels or of feature values, e.g. histogram matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/555—Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10068—Endoscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/192—Recognition using electronic means using simultaneous comparisons or correlations of the image signals with a plurality of references
    • G06V30/194—References adjustable by an adaptive method, e.g. learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Signal Processing (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Image Analysis (AREA)
  • Endoscopes (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)

Abstract

图像处理装置包含图像获取部(100)和处理部(200)，该图像获取部(100)获取按时间序列拍摄的时间序列图像，该处理部(200)检测切换位置，该切换位置是在时间序列图像中拍到的对象物从第一对象物切换为第二对象物的位置。处理部(200)从时间序列图像的各图像中提取特征量，并根据特征量进行在各图像中拍到的对象物是第一对象物还是第二对象物的判断，根据判断的结果来提取切换位置的候选位置，并根据判断的结果进行候选位置的比较来确定切换位置。

Description

图像处理装置、内窥镜系统以及图像处理方法
技术领域
本发明涉及图像处理装置、内窥镜系统以及图像处理方法
背景技术
需要从时间序列图像中提取特征量进行场景分类，并求出场景分类的切换位置。在该场景分类中，有时场景的切换以从某状态成为另一状态作为前提条件。例如，相当于根据胶囊型内窥镜的图像来估计对象物(例如脏器)的切换位置的情况等。作为该以往技术，例如存在专利文献1和专利文献2中所记载的方法。
在专利文献1的方法中，对图像的红色电平和蓝色电平进行计算，并分别对红色电平和蓝色电平实施时间轴方向的低通滤波处理而生成红色电平和蓝色电平的图表，对该各图表的变色边缘进行检测，根据变色边缘的时间位置自动判别脏器范围。
在专利文献2的方法中，作为对特征量的时间轴方向的平滑化处理，进行使用了规定尺寸的滤波器的平滑化处理，对从胃到小肠的变化进行检测。作为规定尺寸的滤波器，例如使用尺寸20的(即在时间轴方向上对应于20张图像的)滤波器。
现有技术文献
专利文献
专利文献1：日本特开2004-321603号公报
专利文献2：日本特开2007-175432号公报
发明内容
发明要解决的课题
然而，在以往的方法中，为了降低噪声而进行时间轴方向的平滑化，从而存在为了该平滑化而对象物的切换位置的估计误差变大的课题。
例如在专利文献1的方法中，使用下式(1)的高斯滤波器作为时间轴方向的低通滤波器。在这种情况下，由于依赖于标准偏差σ的设定值而改变了平滑化的程度，因此红色电平和蓝色电平的图表的变化量为最大的位置发生变化。因此，改变了根据图表的变化边缘而估计出的脏器的切换位置。
【公式1】
并且，在专利文献2的方法中，使用固定尺寸的滤波器。然而，噪声量等根据适用的病例(每个患者的图像序列)而不同，因而滤波器的最佳尺寸不同(例如在噪声量多的情况下增大了滤波器尺寸)。因此，根据病例而改变平滑化的程度，因而脏器的切换位置的估计误差变大。
根据本发明的几个方式，能够提供能够提高对象物的切换位置的估计精度的图像处理装置、内窥镜系统以及图像处理方法等。
用于解决课题的手段
本发明的一个方式涉及图像处理装置，该图像处理装置包含图像获取部和处理部，该图像获取部获取按时间序列拍摄的时间序列图像，该处理部检测切换位置，该切换位置是在所述时间序列图像中拍到的对象物从第一对象物切换为第二对象物的位置，所述处理部从所述时间序列图像的各图像中提取特征量，并根据所述特征量进行在所述各图像中拍到的所述对象物是所述第一对象物还是所述第二对象物的判断，且根据所述判断的结果来提取所述切换位置的候选位置，并根据所述判断的结果进行所述候选位置的比较来确定所述切换位置。
根据本发明的一个方式，根据从时间序列图像中提取的特征量进行对象物的判断，根据该时间序列的判断结果提取对象物的切换候选位置，通过该候选位置的比较从候选位置中确定对象物的切换位置。由此，能够提高对象物的切换位置的估计精度。
并且，本发明的另一方式涉及内窥镜系统，该内窥镜系统包含上述所记载的图像处理装置和拍摄所述时间序列图像的胶囊型内窥镜。
并且，本发明的再一方式涉及图像处理方法，该图像处理方法如下：获取按时间序列拍摄的时间序列图像，从所述时间序列图像的各图像中提取特征量，根据所述特征量进行在所述各图像中拍到的对象物是第一对象物还是第二对象物的判断，根据所述判断的结果来提取切换位置的候选位置，该切换位置是在所述时间序列图像中拍到的所述对象物从所述第一对象物切换为所述第二对象物的位置，根据所述判断的结果进行所述候选位置的比较来确定所述切换位置。
附图说明
图1是图像处理装置的基本结构例。
图2是处理部的详细的结构例。
图3是本实施方式所进行的处理的流程图。
图4是第一学习处理的流程图。
图5是第二学习处理的流程图。
图6是切换位置确定处理的流程图。
图7是局部特征量的说明图。
图8是有关颜色的局部特征量的说明图。
图9是判断结果的一例。
图10是阶梯函数的说明图。
图11是一边改变窗口宽度L一边进行的卷积运算的说明图。
图12是一边改变窗口宽度L一边进行的卷积运算的最小值的例子。
图13是切换位置确定处理的说明图。
图14是切换位置确定处理的说明图。
图15是切换位置确定处理的说明图。
图16是内窥镜系统的结构例。
具体实施方式
下面，对本实施方式进行说明。另外，下面说明的本实施方式并不对权利要求书中记载的本发明的内容进行不当限定。并且，在本实施方式中说明的所有结构并不一定是本发明的必要结构要件。
1.基本结构例
下面，以对胶囊型内窥镜所拍摄的图像的脏器切换位置进行判断的情况为例进行了说明，但本实施方式并不限定于此。例如，本实施方式也可以应用于由观测器(scope)型的内窥镜装置等拍摄的图像。并且，关于判断切换位置的对象物，只要是预先确定了在摄像路径的中途切换的对象物即可。例如，不是像场景变化那样不确定地频繁发生，而是像脏器那样切换位置是固定的且是必须存在的。
那么，在医生对胶囊型内窥镜所拍摄的图像进行诊断时，能够通过快速提示想要观察的脏器的图像来辅助诊断。例如具有像上述的专利文献1、2那样根据图像来估计脏器的切换位置，对图像属于哪个脏器进行分类的方法。
然而，存在切换位置的估计不准确时会误诊的课题。例如，在医生检查大肠的病变的情况下，当存在虽然实际上属于大肠但判断为属于小肠的图像时，该部分的图像不提示给医生。在病变存在于该部分的情况下，会漏看该病变。
并且，由于胶囊型内窥镜是小型的，因此电源的容量不富余，有时仅集中地对特定的脏器进行拍摄来抑制电力消耗。例如，到小肠为止抑制摄像频度，当判断为进入了大肠时提高摄像频度。在这种情况下，存在如下课题：若将从小肠到大肠的切换位置判断为比实际位置靠前则消耗电力，若判断为比实际位置靠后则会漏拍摄大肠的图像。
图1示出能够解决上述那样的课题的本实施方式的图像处理装置的基本结构例。图像处理装置包含图像获取部100和处理部200，该图像获取部100获取按时间序列拍摄的时间序列图像，该处理部200检测切换位置，该切换位置是在该时间序列图像中拍到的对象物从第一对象物切换为第二对象物的位置。
而且，处理部200从时间序列图像的各图像中提取特征量，并根据该特征量进行在各图像中拍到的对象物是第一对象物还是第二对象物的判断。处理部200根据该判断的结果来提取切换位置的候选位置，并根据该判断的结果进行候选位置的比较来确定切换位置。
例如，像利用图3～图6等后述的那样，使用标签已知的学习用图像预先通过SVM(Support Vector Machine：支持向量机)来进行学习，使用该学习完毕的SVM来对时间序列图像的对象物是胃还是小肠进行判断(分类)。像利用图7～图9等后述的那样，根据时间序列的判断结果与阶梯函数的相似度来提取胃和小肠的切换位置的候选。像利用图10～图12等后述的那样，通过根据判断结果对候选位置进行比较来选择适当的候选位置并将候选位置筛选为1个，输出该候选位置作为最终的切换位置。
这里，时间序列图像是按拍摄的时间顺序排列的标签未知的图像，例如动态图像或是按规定的间隔连续拍摄的图像。或者，也可以是按不定的间隔拍摄的图像。例如，在胶囊型内窥镜中，有时使摄像间隔变化或者根据图像的要点等使时间序列的间隔变化。并且，位置(切换位置、候选位置)与按时间序列排列的图像的编号(帧编号)或是第几张图像对应。例如在图9中，排列有10000张图像img 00001～img 10000，从时间序列的初始图像img00001开始数是第几张图像与位置x对应。
根据本实施方式，通过根据脏器的判断结果来提取切换位置的候选，并从该候选中确定切换位置，从而能够确定相对于实际的变化点不提前或滞后的准确的切换位置。即，在专利文献1、2那样的进行时间轴方向的低通滤波处理的情况下，因平滑化参数σ等的影响(窗口宽度或半值宽度依赖性)而导致判断结果的变化边缘偏移。在这一点上，由于在本实施方式的方法中不会发生那样的变化边缘的偏移，因此能够高精度地检测切换位置而不受平滑化参数σ等的影响。
并且，在本实施方式中，像利用下式(2)、(3)后述的那样，处理部200通过时间序列的判断的结果S(x)与阶梯函数H(x)的卷积运算来求出评价值(MIN Conv(x)或MAX Conv(x))。而且，根据评价值Conv(x)来提取候选位置Pcan。
例如，像图9所示那样对判断为小肠的图像分配“1”，对判断为胃的图像分配“-1”，作为时间序列的判断的结果S(x)。在这种情况下，在从胃变化为小肠的位置x中设想判断结果S(x)呈阶梯状变化。能够通过进行该判断结果S(x)与阶梯函数H(x)的卷积运算(卷积)来评价相似度，从而能够提取阶梯状的变化点作为候选位置。
并且，在本实施方式中，像下式(2)、(3)中后述的那样，处理部200以各图像为中心通过一边使窗口尺寸L(窗口宽度)变化一边进行针对时间序列的判断结果S(x)的卷积运算，来针对各图像求出评价值，并根据该评价值来提取候选位置Pcan。
如图9所示，由于时间序列的判断结果S(x)进行复杂的变化，因此有时在不是正解的切换位置的位置上一眼看去正在进行阶梯状的变化。窗口尺寸L是阶梯函数H(x)所定义的位置x的宽度，在固定该窗口尺寸L对各位置x进行卷积运算的情况下，出现了与阶梯函数H(x)的相似度偶然变高的位置x。在本实施方式中，通过在各位置x上一边使窗口尺寸L变化一边进行卷积运算，从而能够避免上述那样的偶然的一致，并提取准确的切换位置的候选。
并且，在本实施方式中，处理部200求出一边使窗口尺寸L变化一边进行的卷积运算的结果的最小值(MIN Conv(x))或最大值(MAX Conv(x))作为评价值。而且，处理部200对评价值与评价值的阈值进行比较来提取候选位置Pcan。
在作为评价值而使用最小值的情况下，成为使用在使窗口尺寸L变化的过程中与阶梯函数最不相似时的卷积运算的结果。这相当于寻找与阶梯函数不相似的位置，尽管如此，在存在与阶梯函数相似(即最小值较大)的位置的情况下，也能够提取该位置作为候选。由此，能够准确地提取实际上发生脏器的切换的可能性高的候选。
并且，在作为评价值而使用最大值的情况下，成为使用在使窗口尺寸L变化的过程中与阶梯函数最相似时的卷积运算的结果。这相当于寻找哪怕一点与阶梯函数相似的位置，能够抑制切换位置的候选的遗漏。
2.处理部
下面，对本实施方式的详细内容进行说明。图2示出处理部200的详细的结构例。处理部200包含区域设定部210、局部特征量计算部220、局部特征量存储部230、聚类部240、直方图生成部250、图像特征量生成部260、学习/判断部270(学习/分类部)、候选位置提取部280、切换位置确定部290。
使用图3～图6所示的流程图对本实施方式所进行的处理进行说明。这里对处理步骤的概要进行说明，各处理的详细内容在后面说明。
如图3所示，处理部200进行从学习用图像中提取代表向量的无监督的第一学习处理(步骤S1)，接下来，使用代表向量进行通过从学习用图像中提取的特征量和正解标签来进行有监督学习的第二学习处理(步骤S2)。接下来，学习完毕的处理部200进行根据拍摄有诊断对象的患者的体内的时间序列图像来确定脏器的切换位置的处理(步骤S3)。
图4示出在步骤S1中执行的第一学习处理的流程图。首先，图像获取部100获取多个学习用图像(步骤S11)。接下来，区域设定部210对各学习用图像设定多个局部区域(步骤S12)。接下来，局部特征量计算部220根据各局部区域来计算局部特征量(步骤S13)。局部特征量存储部230存储针对在多个学习用图像中设定的多个局部区域而计算出的局部特征量(步骤S14)。接下来，聚类部240对所存储的局部特征量进行聚类，并提取代表向量(视觉词(Visual Words))(步骤S15)。接下来，将代表向量存储于未图示的存储部(步骤S16)。存储代表向量的存储部例如可以是内置于处理部200的存储器，也可以是处理部200的外部的存储装置。
图5示出在步骤S2中执行的第二学习处理的流程图。首先，图像获取部100获取多个学习用图像和与该各图像对应的标签(步骤S21)。标签是表示在图像中拍到的脏器的种类的信息。接下来，区域设定部210对各学习用图像设定多个局部区域(步骤S22)，局部特征量计算部220根据各局部区域来计算局部特征量(步骤S23)。接下来，直方图生成部250求出与各局部特征量最接近的代表向量，分配该代表向量的编号，对分配给各编号的局部特征量的数量进行计数而生成直方图。而且，图像特征量生成部260生成以直方图的各区间(bin)为成分的特征向量(步骤S25)。针对各图像生成直方图或特征向量。即，特征向量是按每个图像提取的特征量。接下来，根据特征向量和标签进行学习(步骤S26)。接下来，将学习结果存储于未图示的存储部(步骤S27)。存储学习结果的存储部例如可以是内置于处理部200的存储器，也可以是处理部200的外部的存储装置。
图6示出在步骤S3中执行的切换位置确定处理的流程图。首先，图像获取部100获取时间序列图像(步骤S31)。接下来，区域设定部210对时间序列图像的各图像设定多个局部区域(步骤S32)，局部特征量计算部220根据各局部区域来计算局部特征量(步骤S33)。接下来，直方图生成部250求出与各局部特征量最接近的代表向量，分配该代表向量的编号，对分配给各编号的局部特征量的数量进行计数而生成直方图。而且，图像特征量生成部260生成以直方图的各区间为成分的特征向量(步骤S35)。针对各图像生成直方图或特征向量。接下来，学习/判断部270根据学习结果对特征向量进行分类(步骤S36)。即，对在各图像中拍到的脏器的种类进行判断。接下来，候选位置提取部280使用判断结果的时间序列来提取脏器的切换位置的候选位置(S37)。接下来，切换位置确定部290对候选位置彼此进行比较，确定脏器的切换位置(步骤S38)。
3.学习处理
接下来，具体地对各个处理进行说明。首先对第一学习处理、第二学习处理进行说明。
图像获取部100获取到的学习用图像是预先判明图像与脏器(对象物)的种类的对应的图像。例如使用对与诊断对象的患者不同的患者预先拍摄的图像。多个学习用图像并不需要是时间序列的图像。图像获取部100例如与接收摄像部所拍摄的图像的接口部或读取图像处理装置的内部或外部的存储装置所存储的图像的控制器等对应。
如图7所示，区域设定部210对图像IM(1张学习用图像)设定规定尺寸的局部区域LA。具体而言，设定为允许多个局部区域LA1、LA2、LA3、···彼此重叠。例如在图像IM的尺寸为288像素×288像素的情况下，将局部区域的尺寸设定为30像素×30像素，但也可以根据图像IM的尺寸来改变局部区域的尺寸。
局部特征量计算部220对各局部区域LA的图像例如应用LBP(Local BinaryPattern：局部二进制模式)。根据以局部区域LA的各像素为中心的3×3像素求出LBP值。若3×3像素的中心的像素设为P0，其周围的8个像素设为P1～P9，则对P1～P9的各像素的像素值与P0的像素值进行比较，在P0的像素值以上的情况下分配“1”，在比P0的像素值小的情况下分配“0”。按P1～P9的顺序排列该比特而得到八比特的值。对局部区域LA的所有像素进行该处理，从而每一个局部区域LA得到30×30＝900个LBP值。将该900个LBP值分配给0～255的LBP值，并对各值的个数进行计数，从而针对局部区域LA得到256维的局部特征直方图。将该256维的局部特征直方图看作256维的特征向量(局部特征量)，针对各个局部区域LA1、LA2、···求出该特征向量，而生成与局部区域的个数对应的特征向量。
对多个图像进行根据该局部区域来计算局部特征量的处理，将多个向量存储于局部特征量存储部230。例如若学习用图像设为100张，每一张图像设定100个局部区域，则将10000个特征向量存储于局部特征量存储部230。
聚类部240对这些存储的特征向量例如利用K均值法等来进行聚类，并提取代表向量。K均值法是如下方法：将分割类数设为k个，在初始状态设定k个代表向量而将特征向量分割为k个类，求出各类的平均位置并移动代表向量而再次进行类的分割，反复进行该过程来确定最终的类的分割。例如，在本实施方式中代表向量的数量设为k＝100个。另外，将相当于代表向量的逆像的局部区域的图像在视觉上按字典的意思称作视觉词(VisualWords)。
直方图生成部250从100个代表向量中找到局部特征量与代表向量的欧几里德距离为最短的代表向量。在每个局部区域对各图像进行该处理。对100个代表向量赋予1～100的编号，对相对于各编号的代表向量欧几里德距离最短的局部区域是几个进行计数，而生成100维的直方图。按每一张学习用图像生成该直方图。将该直方图看作100维的向量，并称作图像的BoF(Bag of Features：特征包)特征向量。
图像特征量生成部260按学习用图像的张数生成上述的BoF特征向量，并与正解标签(例如胃、小肠、大肠等脏器的种类)一起生成学习数据集。
学习/判断部270使用上述的学习数据集例如通过SVM(Support Vector Machine：支持向量机)来进行学习。SVM是根据所给予的学习数据集来确定特征向量的向量空间中的标签的分离面(例如分离胃和小肠的特征向量的面)的学习器。例如，在特征向量的向量空间中线性地进行分离而确定分离平面。或者，也可以在比特征向量高维度的向量空间中线性地进行分离而以特征向量的维度观察到时确定非线性的分离面。
另外，以上对将一个种类的LBP局部特征量应用于各局部区域的情况进行了说明，但本实施方式并不限定于此。例如，除了LBP以外，可以使用SIFT(Scale-InvariantFeature Transform：尺度不变特征变换)作为梯度的局部特征量，也可以使用颜色(HueSaturation Value：色调饱和值)的局部特征量。或者，也可以生成应用了这些多个种类的局部特征量的特征向量。
关于颜色、梯度、纹理的组合方法，大致分为在处理的早期阶段进行组合的早期融合(early fusion)和在处理的后期阶段进行组合的后期融合(late fusion)。
作为早期融合的一例，具有利用纹理特征量的ULBP(Uniform LBP：均匀局部二进制模式)特征量与中心像素的HSV颜色特征的组合来表达各局部区域中的3×3像素的图案的方法。HSV颜色特征例如像图8所示那样，在色调方向上将HSV颜色空间分割成12个，在饱和度方向上将HSV颜色空间分割成3个，并将无彩色的亮度分割成4个。在这种情况下，合计是40维的特征量，由于ULBP特征量是10维，因此其结果是，生成的早期融合的特征量的维度是40×10＝400维。
作为后期融合的一例，具有将排列HSV颜色特征量的BoF直方图和LBP直方图而得的组合直方图作为图像的特征向量的方法。并且，作为后期融合的另外一例，具有如下方法：分别单独地用后述的SVM等判别器来学习颜色单独、纹理单独、或那些上述的早期融合或后期融合的组合，对分类时的分类分数进行相加，用某一阈值对该分类分数进行判断。
通过组合以上那样的方法能够构建更高精度的学习/分类器。
4.切换位置确定处理
接下来，对切换位置确定处理进行说明。
到求出BoF特征向量为止的处理基本上与第二学习处理相同。即，图像获取部100获取胶囊型内窥镜所拍摄的时间序列图像(标签未知的图像)，区域设定部210对时间序列图像的各图像以彼此重叠的方式设定多个30×30像素的局部区域，局部特征量计算部220对各局部区域的图像例如应用LBP而求出256维的特征向量。直方图生成部250将特征向量分配给在学习中求出的代表向量，而按每个图像生成100维的BoF特征向量。
另外，由于在切换位置确定处理中使用了在学习中求出的代表向量，因此不进行聚类。因此，局部特征量存储部230只要存储至少1张图像的局部特征量即可，并不一定需要存储多个图像的局部特征量。
学习/判断部270用学习完毕的SVM来判断标签未知的BoF特征向量，并对在各图像中拍到的脏器的种类进行分类。由于输入图像是时间序列图像，因此可以得到与其对应地按时间序列排列的判断结果。
下面，作为图像的2分类问题而以对胃和小肠的图像进行自动分类的情况为例，对根据判断结果序列来提取脏器的切换候选位置的处理进行说明。
图9示出对胃和小肠的时间序列图像进行自动分类的判断结果的例子。判断结果S(x)＝-1表示胃，S(x)＝+1表示小肠。按时间序列的顺序对图像赋予img00001～img10000的名称(编号)，并按该时间序列的顺序排列判断结果S(x)。位置x是时间序列图像的编号。XR是从胃向小肠切换的正解位置(幽门)。
候选位置提取部280通过下式(2)进行判断结果S(x)与图10所示的阶梯函数H(x)的卷积运算，通过下式(3)求出脏器的切换候选位置。
【公式2】
【公式3】
阶梯函数H(x)是在x＝-L～+L的范围内定义的函数，该窗口宽度L是可变的。在上式(2)中，任意固定窗口宽度L，在除以2L而将值归一化的过程中计算卷积的值Conv(x)。
在上式(3)的{}内，任意固定位置x，计算将窗口宽度L从L0移动到L1的过程中的Conv(x)的最小值。例如L0＝10，L1＝MIN【x-M0，M1-x】。M0是图像的搜索开始位置，例如M0＝1。M1是图像的搜索结束位置，例如M1＝10000。
例如判断结果S(x)的时间序列呈图11所示的形状。在位置x0进行卷积的情况下，由于在窗口宽度L≤(x1-x0)区间S(x)是阶梯函数，因此卷积的值Conv(x)＝1。由于在窗口宽度L＞(x1-x0)区间S(x)的形状从阶梯函数不断脱离，因此卷积的值Conv(x)不断比1小。即，使用Conv(x)的最小值的情况是如下情况：在使窗口宽度L变化时选择与阶梯函数最不相似时的Conv(x)。
候选位置提取部280在搜索開始位置M0至搜索结束位置M1的各位置x求出该最小值。图12示出该最小值的例子。在上式(3)的【】内，通过Th(阈值)函数用规定的阈值来进行判断。而且，通过Arg函数提取最小值为阈值以上的位置x作为候选位置Pcan。在作为阈值而例如使用0的情况下，在图12的例子中选择位置A～D作为候选位置Pcan。
另外，以上说明中使用了卷积的最小值，但本实施方式并不限定于此。例如也可以将上式(3)的{}内设为MAX Conv(x)，使用在将窗口宽度L从L0移动到L1的过程中的Conv(x)的最大值。在图11的例子中，卷积的值Conv(x)的最大值为1。使用Conv(x)的最大值的情况是如下情况：在使窗口宽度L变化时选择与阶梯函数最相似时的Conv(x)。
接下来，对根据切换候选位置A～D来确定最终的估计位置的处理进行说明。
切换位置确定部290从提取的切换候选位置A～D中例如关注夹在相邻的两个点之间的区间【A，B】，对区间内的1(小肠)和-1(胃)的数量进行比较。即在+1(小肠)的数量＞-1(胃)的数量的情况下将左侧的点A作为候选点，在+1(小肠)的数量≤-1(胃)的数量的情况下将右侧的点B作为候选点，
继续进行该比较直到候选位置的数量为一个为止。
图13是根据上述的判断方法在夹在候选位置A、B之间的区间【A，B】中对-1、+1的数量进行比较的情况的图。在区间【A，B】中，由于-1的数量比+1的数量多，因此保留B作为候选位置而不是A。接下来，如图14所示，对候选位置B和C进行比较。在区间【B，C】中，由于+1的数量比-1的数量多，因此保留B作为候选位置而不是C。接下来，如图15所示，对候选位置B和D进行比较。在区间【B，D】中，由于+1的数量比-1的数量多，因此选择B作为最终的估计位置而不是D。
所选择的位置B位于与图9所示的正解位置XR几乎相同的位置，从而能够得到良好的估计结果。
根据上述的实施方式，处理部200在提取第一～第n候选位置(n为2以上的自然数)作为候选位置的情况下，根据所述第一～第n候选位置中的第i候选位置与第j候选位置(i、j为i＜j≤n的自然数)之间的判断的结果来选择第i候选位置和第j候选位置中的任意一个。
例如，像图12中说明的那样提取第一～第四候选位置A～D，像图13中说明的那样根据第一候选位置A与第二候选位置B之间的判断结果S(x)来选择第一候选位置A和第二候选位置B中的任意一个。
候选位置是通过上式(2)、(3)而判断为接近正解的切换位置(即S(x)接近阶梯函数)的位置，且是不受低通滤波器等的影响而提取的位置。这样，通过从不会因低通滤波器等而引起位置偏移的候选位置中选择切换位置，能够进行高精度的估计。并且，两个候选位置间的判断结果应该反映出真实的切换位置，通过利用该切换位置能够选择更接近正解的候选位置。
并且，在本实施方式中，处理部200在对象物从第一对象物变化为第二对象物的情况下，在第i候选位置与第j候选位置之间对象物是第一对象物的判断结果的数量比对象物是第二对象物的判断结果的数量多时，选择第j候选位置，另一方面，在对象物是第二对象物的判断结果的数量比对象物是所述第一对象物的判断结果的数量多时，选择第i候选位置。
例如，像图13中说明的那样在从胃(第一对象物)变化为小肠(第二对象物)的情况下，在第一候选位置A与第二候选位置B之间是胃的判断结果(-1)的数量比是小肠的判断结果(+1)的数量多。在该情况下，选择第二候选位置B。
这样，取第i候选位置与第j候选位置之间某种判断结果的数量多的一方，根据该结果而能够估计出哪个候选位置接近真实的切换位置。通过依次反复进行该选择而能够估计出第一～第n候选位置中最接近正解的候选位置。
并且，在本实施方式中，特征量是基于有关纹理的局部特征量、有关颜色的局部特征量、有关梯度的局部特征量中的至少一个的特征量。更具体地说，特征量是基于有关纹理的局部特征量与有关颜色的局部特征量或有关梯度的局部特征量的组合的特征量。
例如，在本实施方式中，利用LBP求出有关纹理的局部特征量，利用HSV空间的分割求出有关颜色的局部特征量，利用SIFT求出有关梯度的局部特征量。而且，根据这些局部特征量求出BoF特征向量(图像的特征量)。
这样，能够根据脏器的图像的纹理、颜色、梯度等特征对图像是哪个脏器的图像进行分类。并且，能够通过组合多个特征量来提高分类精度。例如，在存在因脏器的种类而容易出现差异的特征的组合的情况下，通过使用该组合而可以进行准确的判断。
并且，在本实施方式中，处理部200对各图像设定多个局部区域，针对多个局部区域的各区域求出局部特征量，生成将局部特征量分配给多个代表向量中的局部特征量所属的代表向量而得到的直方图作为特征量，根据直方图和预先进行的学习的结果进行对象物是第一对象物还是第二对象物的判断。
例如，在本实施方式中，将LBP等局部特征量分配给在第一学习处理中求出的代表向量而按每个图像生成直方图，将该直方图作为每个图像的BoF特征向量(特征量)。而且，利用学习完毕的SVM将BoF特征向量分类为胃和小肠。
这样，可以使用通过预先明确了正解标签的图像来学习的学习器而得到离散值(例如胃和小肠的二值)的判断结果。可以通过得到离散值的判断结果而对每个脏器的判断结果的个数进行计数，从而可以进行上述那样的候选位置的比较。
并且，在本实施方式中，图像获取部100获取赋予了对象物是第一对象物还是第二对象物的标签的多个学习用图像。作为第一学习处理，处理部200根据多个学习用图像求出局部特征量，并对根据该多个学习用图像而求出的局部特征量进行聚类而生成多个代表向量。而且，作为第二学习处理，处理部200根据多个代表向量而针对多个学习用图像的各学习用图像求出直方图，并根据附加在该各学习用图像的标签和直方图来进行学习。
例如，在本实施方式中，脏器的种类作为标签与各图像对应。在第一学习处理中，针对LBP等局部特征量通过K均值法进行聚类。在第二学习处理中，根据BoF特征向量和与该学习用图像对应的脏器标签通过SVM进行学习，其中，该BoF特征向量根据学习用图像求出。
这样，通过无监督学习进行聚类而提取代表向量，能够通过使用了该代表向量所生成的BoF特征向量和正解标签的有监督学习来进行学习。而且，能够通过该学习完毕的学习器对拍摄有患者的消化道的未知标签的图像进行分类。
5.内窥镜系统
图16示出能够应用本实施方式的图像处理装置的内窥镜系统的结构例。内窥镜系统包含胶囊型内窥镜300、通信装置400、图像处理装置500。
胶囊型内窥镜300是在患者吞入从而在患者的消化道中移动时依次拍摄消化道的内部的内窥镜。胶囊型内窥镜300包含产生照明光的光源330、将该照明光照射到消化道内的透镜310、对消化道的像进行成像的透镜320、对该成像进行摄影的摄像元件340。由透镜320和摄像元件340构成了摄像部。并且，胶囊型内窥镜300包含进行各部的控制等(例如摄像处理等)的处理部380、进行与通信装置400的无线通信的通信部360。摄像图像经由通信部360而传送给通信装置400。
通信装置400包含通信部410、处理部440、存储部430、I/F部420，该通信部410经由粘贴于患者的腹部等的天线而进行与胶囊型内窥镜300的通信，该处理部440进行各部的控制和图像处理等，该存储部430例如保存图像或作为处理部440的工作存储器而发挥作用，该I/F部420进行与图像处理装置500等外部装置的接口处理。摄像图像经由I/F部420而传送给图像处理装置500。传送可以在所有的摄像结束后一起进行，也可以在摄影中随时进行。
图像处理装置500进行上述的确定脏器的切换位置的处理。图像处理装置500例如可以由PC等通用的信息处理装置构成，或者也可以由专用的处理装置构成。图像处理装置500包含I/F部510、处理部200、存储部520、显示部540、操作部550，该I/F部510进行与通信装置400的接口处理，该处理部200进行各部的处理和图像处理、学习处理、切换位置确定处理等，该存储部520例如保存图像或作为处理部200的工作存储器而发挥作用，该显示部540显示摄像图像等，该操作部550接受用户的操作。
另外，以上说明的本实施方式的图像处理装置等也可以包含处理器和存储器在内。这里的处理器例如可以是CPU(Central Processing Unit：中央处理器)。但是处理器并不限定于CPU，也可以使用GPU(Graphics Processing Unit：图形处理器)或DSP(DigitalSignal Processor：数字信号处理器)等各种处理器。并且，处理器也可以是基于ASIC的硬件电路。并且，存储器保存能够通过计算机来读取的指令，通过处理器来执行该指令从而实现了本实施方式的图像处理装置等的各部。这里的存储器可以是SRAM、DRAM等半导体存储器，也可以是寄存器或硬盘等。并且，这里的指令可以是构成程序的指令集的指令，也可以是对处理器的硬件电路指示动作的指令。
以上，对应用了本发明的实施方式及其变形例进行了说明，但本发明不直接限定于各实施方式及其变形例，可以在实施阶段中在不脱离发明的主旨的范围内对构成要素进行变形来具体化。并且，通过对上述各实施方式和变形例公开的多个构成要素进行适当组合，可以形成各种发明。例如，可以从各实施方式和变形例所记载的全部构成要素中删除几个构成要素。并且，可以对在不同的实施方式和变形例中说明的构成要素进行适当组合。这样，可以在不脱离发明主旨的范围内进行各种变形和应用。并且，在说明书或附图中，至少一次与更广义或同义的不同用语一起被记载的用语在说明书或附图的任何位置都能置换为该不同的用语。
标号说明
100：图像获取部；200：处理部；210：区域设定部；220：局部特征量计算部；230：局部特征量存储部；240：聚类部；250：直方图生成部；260：图像特征量生成部；270：判断部；280：候选位置提取部；290：切换位置确定部；300：胶囊型内窥镜；310：透镜；320：透镜；330：光源；340：摄像元件；360：通信部；380：处理部；400：通信装置；410：通信部；420：I/F部；430：存储部；440：处理部；500：图像处理装置；510：I/F部；520：存储部；540：显示部；550：操作部；A～D：候选位置；H(x)：阶梯函数；L：窗口宽度；LA、LA1～LA3：局部区域；S(x)：判断结果；x：位置；XR：正解位置；img00001～img10000：时间序列图像。

Claims (13)

1.一种图像处理装置，其特征在于，
该图像处理装置包含图像获取部和处理部，该图像获取部获取按时间序列拍摄的时间序列图像，该处理部检测切换位置，该切换位置是在所述时间序列图像中拍到的对象物从第一对象物切换为第二对象物的位置，
所述处理部从所述时间序列图像的各图像中提取特征量，并根据所述特征量进行在所述各图像中拍到的所述对象物是所述第一对象物还是所述第二对象物的判断，根据所述判断的结果来提取所述切换位置的候选位置，并根据所述判断的结果进行所述候选位置的比较来确定所述切换位置。
2.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部通过时间序列的所述判断的结果与阶梯函数的卷积运算来求出评价值，并根据所述评价值来提取所述候选位置。
3.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部一边以所述各图像为中心改变窗口尺寸一边进行针对时间序列的所述判断的结果的卷积运算，由此针对所述各图像求出评价值，并根据所述评价值来提取所述候选位置。
4.根据权利要求3所述的图像处理装置，其特征在于，
所述处理部求出一边改变所述窗口尺寸一边进行的所述卷积运算的结果的最小值或最大值作为所述评价值，并对所述评价值与所述评价值的阈值进行比较来提取所述候选位置。
5.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部在提取了第一～第n候选位置(n为2以上的自然数)作为所述候选位置的情况下，根据所述第一～第n候选位置中的第i候选位置与第j候选位置(i、j为i＜j≤n的自然数)之间的所述判断的结果，来选择所述第i候选位置和所述第j候选位置中的任意一个。
6.根据权利要求5所述的图像处理装置，其特征在于，
所述处理部在所述对象物从所述第一对象物变化为所述第二对象物的情况下，在所述第i候选位置与所述第j候选位置之间所述对象物是所述第一对象物的所述判断的结果的数量比所述对象物是所述第二对象物的所述判断的结果的数量多时，选择所述第j候选位置，在所述对象物是所述第二对象物的所述判断的结果的数量比所述对象物是所述第一对象物的所述判断的结果的数量多时，选择所述第i候选位置。
7.根据权利要求1所述的图像处理装置，其特征在于，
所述特征量是基于有关纹理的局部特征量、有关颜色的局部特征量以及有关梯度的局部特征量中的至少一个的特征量。
8.根据权利要求7所述的图像处理装置，其特征在于，
所述特征量是基于所述有关纹理的局部特征量与所述有关颜色的局部特征量或所述有关梯度的局部特征量的组合的特征量。
9.根据权利要求1所述的图像处理装置，其特征在于，
所述处理部对所述各图像设定多个局部区域，并针对所述多个局部区域中的各区域求出局部特征量，将所述局部特征量分配给多个代表向量中的所述局部特征量所属的代表向量而生成直方图，将所述直方图作为所述特征量，并根据所述直方图和预先进行的学习的结果进行所述对象物是所述第一对象物还是所述第二对象物的所述判断。
10.根据权利要求9所述的图像处理装置，其特征在于，
所述图像获取部获取赋予了所述对象物是所述第一对象物还是所述第二对象物的标签的多个学习用图像，
作为第一学习处理，所述处理部根据所述多个学习用图像求出所述局部特征量，并对根据所述多个学习用图像求出的所述局部特征量进行聚类而生成所述多个代表向量，
作为第二学习处理，所述处理部根据所述多个代表向量而针对所述多个学习用图像中的各学习用图像求出所述直方图，并根据附加在所述各学习用图像上的所述标签和所述直方图来进行学习。
11.根据权利要求1所述的图像处理装置，其特征在于，
所述图像获取部获取胶囊型内窥镜所拍摄的所述时间序列图像。
12.一种内窥镜系统，其特征在于，
该内窥镜系统包含权利要求1所述的图像处理装置；和
拍摄所述时间序列图像的胶囊型内窥镜。
13.一种图像处理方法，其特征在于，
获取按时间序列拍摄的时间序列图像，
从所述时间序列图像的各图像中提取特征量，
根据所述特征量进行在所述各图像中拍到的对象物是第一对象物还是第二对象物的判断，
根据所述判断的结果来提取切换位置的候选位置，该切换位置是在所述时间序列图像中拍到的所述对象物从所述第一对象物切换为所述第二对象物的位置，
根据所述判断的结果进行所述候选位置的比较来确定所述切换位置。
CN201580033672.5A 2014-06-24 2015-05-20 图像处理装置、内窥镜系统以及图像处理方法 Expired - Fee Related CN106464849B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014-129068 2014-06-24
JP2014129068A JP6339872B2 (ja) 2014-06-24 2014-06-24 画像処理装置、内視鏡システム及び画像処理方法
PCT/JP2015/064450 WO2015198757A1 (ja) 2014-06-24 2015-05-20 画像処理装置、内視鏡システム及び画像処理方法

Publications (2)

Publication Number Publication Date
CN106464849A CN106464849A (zh) 2017-02-22
CN106464849B true CN106464849B (zh) 2019-06-25

Family

ID=54937855

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580033672.5A Expired - Fee Related CN106464849B (zh) 2014-06-24 2015-05-20 图像处理装置、内窥镜系统以及图像处理方法

Country Status (5)

Country Link
US (1) US10360474B2 (zh)
JP (1) JP6339872B2 (zh)
CN (1) CN106464849B (zh)
DE (1) DE112015002583T5 (zh)
WO (1) WO2015198757A1 (zh)

Families Citing this family (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6656357B2 (ja) * 2016-04-04 2020-03-04 オリンパス株式会社 学習方法、画像認識装置およびプログラム
CN110536629B (zh) * 2017-03-31 2022-04-15 索尼公司 手术图像处理设备、图像处理方法和手术系统
WO2018193936A1 (ja) * 2017-04-21 2018-10-25 株式会社モリタ製作所 医療用診療装置
JP6970553B2 (ja) * 2017-08-17 2021-11-24 キヤノン株式会社 画像処理装置、画像処理方法
JP6517298B2 (ja) * 2017-10-10 2019-05-22 株式会社Ｃｙｇａｍｅｓ 対象物取得確認のためのシステム、サーバ、プログラム及び方法
CN107820010B (zh) * 2017-11-17 2020-11-06 英业达科技有限公司 摄影计数装置
JP2019109709A (ja) * 2017-12-18 2019-07-04 株式会社東芝 画像処理装置、画像処理方法およびプログラム
JP6933164B2 (ja) * 2018-03-08 2021-09-08 株式会社Ｊｖｃケンウッド 学習用データ作成装置、学習用モデル作成システム、学習用データ作成方法、及びプログラム
US11238070B1 (en) * 2018-07-17 2022-02-01 A9.Com, Inc. Dense cluster filtering
WO2020026349A1 (ja) 2018-07-31 2020-02-06 オリンパス株式会社 画像診断支援システムおよび画像診断支援装置
KR102037303B1 (ko) 2018-10-24 2019-10-28 아주대학교 산학협력단 캡슐 내시경의 위치를 추정하는 방법 및 장치
JP7138869B2 (ja) * 2019-06-19 2022-09-20 国立大学法人信州大学 特徴量抽出装置、特徴量抽出方法、識別装置、識別方法及びプログラム
WO2021166749A1 (ja) * 2020-02-18 2021-08-26 ソニー・オリンパスメディカルソリューションズ株式会社 学習装置及び医療用画像処理装置
CN115049637B (zh) * 2022-07-12 2023-03-31 北京奥乘智能技术有限公司 胶囊接缝图像获取方法、装置、存储介质和计算设备
CN117557587B (zh) * 2024-01-12 2024-03-19 南京晨新医疗科技有限公司 一种内窥镜冷光源亮度自动调节系统
CN118918349B (zh) * 2024-08-28 2025-07-01 济南冠泽医疗器材有限公司 基于模型分析的内窥镜图像处理系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006223377A (ja) * 2005-02-15 2006-08-31 Olympus Corp 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム
WO2008139812A1 (ja) * 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
CN101909510A (zh) * 2008-01-08 2010-12-08 奥林巴斯株式会社 图像处理装置以及图像处理程序
CN101947114A (zh) * 2005-12-28 2011-01-19 奥林巴斯医疗株式会社 图像处理装置和该图像处理装置中的图像处理方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1199127A (ja) * 1997-09-29 1999-04-13 Olympus Optical Co Ltd 内視鏡光源装置
JP2002032751A (ja) * 2000-07-18 2002-01-31 Olympus Optical Co Ltd 学習型画像分類装置及び方法並びにその処理プログラムを記録した記録媒体
JP3810381B2 (ja) 2003-04-25 2006-08-16 オリンパス株式会社 画像表示装置、画像表示方法および画像表示プログラム
JP2005348902A (ja) * 2004-06-09 2005-12-22 Olympus Corp 内視鏡装置
US8055033B2 (en) 2005-02-15 2011-11-08 Olympus Corporation Medical image processing apparatus, luminal image processing apparatus, luminal image processing method, and programs for the same
JP4512834B2 (ja) * 2005-03-22 2010-07-28 国立大学法人大阪大学 カプセル内視鏡画像表示制御装置
JP4472631B2 (ja) 2005-12-28 2010-06-02 オリンパスメディカルシステムズ株式会社 画像処理装置および当該画像処理装置における画像処理方法
CN101448461B (zh) * 2006-05-19 2011-04-06 株式会社日立医药 超声波诊断装置及边界提取方法
JP2009005152A (ja) * 2007-06-22 2009-01-08 Olympus Corp 画像処理装置
JP4959445B2 (ja) * 2007-07-04 2012-06-20 オリンパス株式会社 画像処理装置および画像処理プログラム
JP5191240B2 (ja) * 2008-01-09 2013-05-08 オリンパス株式会社 シーン変化検出装置およびシーン変化検出プログラム
US8665326B2 (en) * 2009-01-30 2014-03-04 Olympus Corporation Scene-change detecting device, computer readable storage medium storing scene-change detection program, and scene-change detecting method
JP2010187756A (ja) * 2009-02-16 2010-09-02 Olympus Corp 画像処理装置、画像処理方法および画像処理プログラム
US20120316421A1 (en) * 2009-07-07 2012-12-13 The Johns Hopkins University System and method for automated disease assessment in capsule endoscopy
EP2662016A4 (en) * 2011-01-28 2017-04-12 Olympus Corporation Capsule endoscope system
JP5197892B2 (ja) * 2011-03-30 2013-05-15 オリンパスメディカルシステムズ株式会社 画像管理装置、画像管理装置の作動方法、画像管理プログラム、及びカプセル型内視鏡システム
EP3005232A4 (en) * 2013-05-29 2017-03-15 Kang-Huai Wang Reconstruction of images from an in vivo multi-camera capsule
EP3005934A4 (en) * 2013-05-31 2017-03-15 Olympus Corporation Medical device
JP6196922B2 (ja) * 2014-03-17 2017-09-13 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JP6351323B2 (ja) * 2014-03-20 2018-07-04 オリンパス株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
EP3155971A4 (en) * 2014-06-11 2018-03-07 Olympus Corporation Medical diagnostic device, medical diagnostic device operation method, and medical diagnostic device operation program
GB201501157D0 (en) * 2015-01-23 2015-03-11 Scopis Gmbh Instrument guidance system for sinus surgery
CN107624193A (zh) * 2015-04-29 2018-01-23 西门子公司 腹腔镜和内窥镜2d/2.5d图像数据中语义分割的方法和系统
US10181083B2 (en) * 2016-03-21 2019-01-15 Viisights Solutions Ltd. Scene change detection and logging
US10169663B2 (en) * 2016-09-01 2019-01-01 The Boeing Company Scene change detection via multiple sensors

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006223377A (ja) * 2005-02-15 2006-08-31 Olympus Corp 管腔画像処理装置、管腔画像処理方法及びそのためのプログラム
CN101947114A (zh) * 2005-12-28 2011-01-19 奥林巴斯医疗株式会社 图像处理装置和该图像处理装置中的图像处理方法
WO2008139812A1 (ja) * 2007-05-08 2008-11-20 Olympus Corporation 画像処理装置および画像処理プログラム
CN101909510A (zh) * 2008-01-08 2010-12-08 奥林巴斯株式会社 图像处理装置以及图像处理程序

Also Published As

Publication number Publication date
JP2016009984A (ja) 2016-01-18
US10360474B2 (en) 2019-07-23
US20170083791A1 (en) 2017-03-23
DE112015002583T5 (de) 2017-05-24
WO2015198757A1 (ja) 2015-12-30
JP6339872B2 (ja) 2018-06-06
CN106464849A (zh) 2017-02-22

Similar Documents

Publication Publication Date Title
CN106464849B (zh) 图像处理装置、内窥镜系统以及图像处理方法
CN113826143B (zh) 特征点检测
CN100577088C (zh) 图像显示装置
Bertinetto et al. Staple: Complementary learners for real-time tracking
CN108292366B (zh) 在内窥镜手术中检测可疑组织区域的系统和方法
Wu et al. Hierarchical multi-atlas label fusion with multi-scale feature representation and label-specific patch partition
Zhao et al. Saliency driven vasculature segmentation with infinite perimeter active contour model
JP6552613B2 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理プログラム
CN102243762B (zh) 图像处理装置以及图像处理方法
US10687913B2 (en) Image processing device, image processing method, and computer-readable recording medium for detecting abnormality from intraluminal image using integrated feature data
CN110889312A (zh) 活体检测方法和装置、电子设备、计算机可读存储介质
Yu et al. An object-based visual attention model for robotic applications
CN107610153A (zh) 电子设备以及相机
Dhillon et al. Enhanced edge detection using SR-guided threshold maneuvering and window mapping: Handling broken edges and noisy structures in canny edges
Yuan et al. Automatic bleeding frame detection in the wireless capsule endoscopy images
CN110245667A (zh) 物件辨识方法及其装置
Ulucan et al. Multi-scale color constancy based on salient varying local spatial statistics
WO2016117018A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
Sánchez et al. On-line lumen centre detection in gastrointestinal and respiratory endoscopy
Ataer-Cansizoglu et al. Verification of very low-resolution faces using an identity-preserving deep face super-resolution network
Zhang et al. Artifact detection in endoscopic video with deep convolutional neural networks
Rodriguez-Vazquez et al. Zenithal isotropic object counting by localization using adversarial training
Taori et al. Segmentation of macula in retinal images using automated seeding region growing technique
Maghsoudi Superpixels based segmentation and SVM based classification method to distinguish five diseases from normal regions in wireless capsule endoscopy
Wimmer et al. Improving CNN training on endoscopic image data by extracting additionally training data from endoscopic videos

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190625