[go: up one dir, main page]

KR102431217B1 - 화상 해석 장치, 방법 및 프로그램 - Google Patents

화상 해석 장치, 방법 및 프로그램 Download PDF

Info

Publication number
KR102431217B1
KR102431217B1 KR1020207005655A KR20207005655A KR102431217B1 KR 102431217 B1 KR102431217 B1 KR 102431217B1 KR 1020207005655 A KR1020207005655 A KR 1020207005655A KR 20207005655 A KR20207005655 A KR 20207005655A KR 102431217 B1 KR102431217 B1 KR 102431217B1
Authority
KR
South Korea
Prior art keywords
area
outline
image
region
reference point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020207005655A
Other languages
English (en)
Other versions
KR20200031687A (ko
Inventor
슌스케 도미나가
šœ스케 도미나가
Original Assignee
후지필름 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지필름 가부시키가이샤 filed Critical 후지필름 가부시키가이샤
Publication of KR20200031687A publication Critical patent/KR20200031687A/ko
Application granted granted Critical
Publication of KR102431217B1 publication Critical patent/KR102431217B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00—Constructional details, e.g. recesses, hinges
    • C12M23/02—Form or structure of the vessel
    • C12M23/10—Petri dish
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M23/00—Constructional details, e.g. recesses, hinges
    • C12M23/02—Form or structure of the vessel
    • C12M23/12—Well or multiwell plates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/645—Specially adapted constructive features of fluorimeters
    • G01N21/6456—Spatial resolved fluorescence measurements; Imaging
    • G01N21/6458—Fluorescence microscopy
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/16—Microscopes adapted for ultraviolet illumination ; Fluorescence microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/251—Fusion techniques of input or preprocessed data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • C—CHEMISTRY; METALLURGY
    • C12—BIOCHEMISTRY; BEER; SPIRITS; WINE; VINEGAR; MICROBIOLOGY; ENZYMOLOGY; MUTATION OR GENETIC ENGINEERING
    • C12M—APPARATUS FOR ENZYMOLOGY OR MICROBIOLOGY; APPARATUS FOR CULTURING MICROORGANISMS FOR PRODUCING BIOMASS, FOR GROWING CELLS OR FOR OBTAINING FERMENTATION OR METABOLIC PRODUCTS, i.e. BIOREACTORS OR FERMENTERS
    • C12M41/00—Means for regulation, monitoring, measurement or control, e.g. flow regulation
    • C12M41/30—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration
    • C12M41/36—Means for regulation, monitoring, measurement or control, e.g. flow regulation of concentration of biomass, e.g. colony counters or by turbidity measurements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
    • G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
    • G01N21/64—Fluorescence; Phosphorescence
    • G01N21/6428—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes"
    • G01N2021/6439—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks
    • G01N2021/6441—Measuring fluorescence of fluorescent products of reactions or of fluorochrome labelled reactive substances, e.g. measuring quenching effects, using measuring "optrodes" with indicators, stains, dyes, tags, labels, marks with two or more labels
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B2207/00—Coding scheme for general features or characteristics of optical elements and systems of subclass G02B, but not including elements and systems which would be classified in G02B6/00 and subgroups
    • G02B2207/113—Fluorescence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G06T2207/10061—Microscopic image from scanning electron microscope
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10064—Fluorescence image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Biomedical Technology (AREA)
  • Optics & Photonics (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Organic Chemistry (AREA)
  • Biochemistry (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Microbiology (AREA)
  • Biotechnology (AREA)
  • Genetics & Genomics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Sustainable Development (AREA)
  • Clinical Laboratory Science (AREA)
  • Databases & Information Systems (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computing Systems (AREA)
  • Geometry (AREA)

Abstract

화상 해석 장치, 방법 및 프로그램에 있어서, 관찰 대상에 포함되는 세포의 종류를 판별할 수 있도록 한다. 화상 취득부(21)가, 제1 염색에 의하여 제1 영역이 염색된, 복수 종류의 세포를 포함하는 관찰 대상을 나타내는 제1 형광 화상, 및 제1 염색과는 다른 제2 염색에 의하여, 복수 종류의 세포 중의 특정의 세포에 있어서의, 제2 영역이 염색된 관찰 대상을 나타내는 제2 형광 화상을 취득한다. 제1 판정부(22)가, 제1 형광 화상과 제2 형광 화상을 중첩시킨 중첩 화상에 있어서, 제1 영역이 제2 영역에 포함되는지 여부를 판정하여, 제1 영역의 각각에 대한 제1 판정 결과를 취득한다. 제2 판정부(23)가, 제1 판정 결과에 근거하여, 관찰 대상에 포함되는 세포의 종류를 판정한다.

Description

화상 해석 장치, 방법 및 프로그램
본 발명은, 복수 종류의 세포를 포함하는 관찰 대상에 대한 형광 화상을 해석하는 화상 해석 장치, 방법 및 프로그램에 관한 것이다.
종래, ES(Embryonic Stem) 세포 및 iPS(Induced Pluripotent Stem) 세포 등의 다능성 줄기 세포, 또는 분화 유도된 세포 등을 현미경 등으로 촬상하고, 촬상한 화상의 특징을 파악함으로써 세포의 분화 상태 등을 판정하는 방법이 제안되고 있다. ES 세포 및 iPS 세포 등의 다능성 줄기 세포는, 다양한 조직의 세포로 분화하는 능력을 구비한 것이며, 재생 의료, 약의 개발, 및 병의 해명 등에 있어서 응용이 가능한 것으로서 주목받고 있다.
이와 같은 재생 의료 및 약의 개발 등의 분야에 있어서는, 형광 물질을 이용하여 염색한 세포를 촬영하고, 촬영에 의하여 취득한 형광 화상에 근거하여, 세포의 검사가 행해지고 있다. 여기에서, 세포의 검사로서는, 미분화성 등의 특정의 성질을 갖는 세포의 수를 세거나, 세포의 형태학적 특징의 평가 등을 들 수 있다. 세포의 검사는, 관찰자의 육안 판정에 의하여 행해지고 있다. 그러나, 육안 검사에서는, 관찰자 사이에 있어서의 평가 기준의 편차가 있으며, 또한 검사의 효율이 나쁘다. 이로 인하여, 화상 해석 장치를 이용한 자동 평가가 행해지고 있다.
예를 들면, 특허문헌 1에 있어서는, 세포막과 세포핵을 다른 염색으로 발색시켜 다른 형광 화상을 취득하고, 각 형광 화상에 있어서 세포막 및 세포핵의 영역을 결정하여, 세포핵의 영역이 세포막의 영역에 포함될 때에, 세포로서 판정하는 수법이 제안되고 있다. 또, 특허문헌 2에 있어서는, 형광 화상에 있어서 세포핵의 윤곽과 세포의 윤곽을 추출하고, 세포의 윤곽 내에 세포핵이 1개만 존재하고 있는지 복수 존재하고 있는지 여부를 판정하고, 세포핵이 복수 존재하고 있는 경우에는 세포의 윤곽을 분할하여, 세포의 윤곽 내에 핵이 1개만 존재하고 있는 세포를 세포로서 식별하는 수법이 제안되고 있다.
일본 공개특허공보 2009-122115호 일본 공개특허공보 2006-018394호
그러나, 특허문헌 1에 기재된 수법은, 세포핵의 영역이 세포막의 영역에 포함될 때에 세포로서 판별할 뿐이며, 세포의 종류를 판별하는 것은 아니다. 또, 특허문헌 2에 기재된 수법은, 세포의 윤곽 내에 있어서의 세포핵의 수를 판별하는 것이며, 세포의 종류를 판별하는 것은 아니다.
본 발명은, 상기 사정을 감안하여 이루어진 것이며, 관찰 대상에 포함되는 세포의 종류를 판별할 수 있도록 하는 것을 목적으로 한다.
본 발명에 의한 화상 해석 장치는, 제1 염색에 의하여 제1 영역이 염색된, 복수 종류의 세포를 포함하는 관찰 대상을 나타내는 제1 형광 화상, 및 제1 염색과는 다른 제2 염색에 의하여, 복수 종류의 세포 중의 특정의 세포에 있어서의 제2 영역이 염색된 관찰 대상을 나타내는 제2 형광 화상을 취득하는 화상 취득부와,
제1 형광 화상과 제2 형광 화상을 중첩시킨 중첩 화상에 있어서, 제1 영역이 제2 영역에 포함되는지 여부를 판정하여, 제1 영역의 각각에 대한 제1 판정 결과를 취득하는 제1 판정부와,
제1 판정 결과에 근거하여, 관찰 대상에 포함되는 세포의 종류를 판정하는 제2 판정부를 구비한다.
"제1 영역"이란, 복수 종류의 세포의 모두에 포함되는 영역이며, 예를 들면 복수 종류의 세포의 세포핵을 제1 영역으로서 이용할 수 있다.
"제2 영역"이란, 복수 종류의 세포 중의 특정의 세포에 있어서의, 예를 들면 세포막 내의 전체 영역을 제2 영역으로서 이용할 수 있다.
"중첩 화상"은, 서로 대응하는 화소가 일치하도록, 제1 형광 화상과 제2 형광 화상을 겹침으로써 취득되는 화상이다.
또한, 본 발명에 의한 화상 해석 장치에 있어서는, 복수 종류의 세포 중, 특정의 세포 이외의 세포는, 제2 염색에 대하여 음성이어도 된다.
"제2 염색에 대하여 음성"이란, 제2 염색에 의해서는 염색되지 않는 것을 의미한다.
또, 본 발명에 의한 화상 해석 장치에 있어서는, 제1 판정부는, 제2 형광 화상으로부터 제2 영역의 윤곽을 추출하고, 중첩 화상에 있어서, 제1 영역의 각각이, 대응하는 제2 영역의 윤곽 내에 위치하는지 여부에 근거하여, 제1 판정 결과를 취득하는 것이어도 된다.
이 경우, 제1 판정부는, 제1 판정 결과를 취득할 수 없는 경우, 중첩 화상에 있어서, 제1 영역의 각각에 대한, 대응하는 제2 영역의 윤곽 내에 위치하는 비율에 근거하여, 제1 판정 결과를 취득하는 것이어도 된다.
또한, 윤곽의 추출은, 중첩 화상을 생성하기 전에 행해도 되고, 중첩 화상을 생성한 후에 행해도 된다.
또, 본 발명에 의한 화상 해석 장치에 있어서는, 제1 판정부는, 제2 형광 화상으로부터 제2 영역의 윤곽을 추출하고, 중첩 화상에 있어서, 제1 영역의 각각에 대한, 대응하는 제2 영역의 윤곽 내에 위치하는 비율에 근거하여, 제1 판정 결과를 취득하는 것이어도 된다.
또, 본 발명에 의한 화상 해석 장치에 있어서는, 제1 판정부는, 제1 형광 화상으로부터 제1 영역의 윤곽을 추출하고, 제2 형광 화상으로부터 제2 영역의 윤곽을 추출하며, 중첩 화상에 있어서의 제1 영역의 윤곽 및 제2 영역의 윤곽에 근거하여, 제1 판정 결과를 취득하는 것이어도 된다.
이 경우, 제1 판정부는, 중첩 화상에 있어서, 제1 영역의 윤곽 및 제2 영역의 윤곽의 각각 대하여, 서로 인접하는 제1 기준점 및 제2 기준점을 설정하고, 제1 기준점에 있어서의 제1 영역의 윤곽의 방향을 나타내는 제1 정보, 제2 기준점에 있어서의 제2 영역의 윤곽의 방향을 나타내는 제2 정보, 및 제1 기준점과 제2 기준점과의 거리를 나타내는 제3 정보에 근거하여, 제1 판정 결과를 취득하는 것이어도 된다.
본 발명에 의한 화상 해석 방법은, 제1 염색에 의하여 제1 영역이 염색된, 복수 종류의 세포를 포함하는 관찰 대상을 나타내는 제1 형광 화상, 및 제1 염색과는 다른 제2 염색에 의하여, 복수 종류의 세포 중의 특정의 세포에 있어서의 제2 영역이 염색된 관찰 대상을 나타내는 제2 형광 화상을 취득하고,
제1 형광 화상과 제2 형광 화상을 중첩시킨 중첩 화상에 있어서, 제1 영역이 제2 영역에 포함되는지 여부를 판정하여, 제1 영역의 각각에 대한 제1 판정 결과를 취득하고,
제1 판정 결과에 근거하여, 관찰 대상에 포함되는 세포의 종류를 판정한다.
또한, 본 발명에 의한 화상 해석 방법을 컴퓨터에 실행시키기 위한 프로그램으로서 제공해도 된다.
본 발명에 의한 다른 화상 해석 장치는, 컴퓨터에 실행시키기 위한 명령을 기억하는 메모리와,
기억된 명령을 실행하도록 구성된 프로세서를 구비하고, 프로세서가,
제1 염색에 의하여 제1 영역이 염색된, 복수 종류의 세포를 포함하는 관찰 대상을 나타내는 제1 형광 화상, 및 제1 염색과는 다른 제2 염색에 의하여, 복수 종류의 세포 중의 특정의 세포에 있어서의 제2 영역이 염색된 관찰 대상을 나타내는 제2 형광 화상을 취득하고,
제1 형광 화상과 제2 형광 화상을 중첩시킨 중첩 화상에 있어서, 제1 영역이 제2 영역에 포함되는지 여부를 판정하여, 제1 영역의 각각에 대한 제1 판정 결과를 취득하며,
제1 판정 결과에 근거하여, 관찰 대상에 포함되는 세포의 종류를 판정하는 처리를 실행한다.
본 발명에 의하면, 제1 염색에 의하여 제1 영역이 염색된 제1 형광 화상과, 제1 염색과는 다른 제2 염색에 의하여, 특정의 세포에 있어서의 제2 영역이 염색된 제2 형광 화상을 중첩시킨 중첩 화상에 있어서, 제1 형광 화상에 있어서의 제1 영역이 제2 형광 화상에 있어서의 제2 영역에 포함되는지 여부가 판정되어 제1 판정 결과가 취득된다. 그리고, 제1 판정 결과에 근거하여 관찰 대상에 포함되는 세포의 종류가 판정된다. 여기에서, 제1 형광 화상에 있어서는, 복수 종류의 세포의 제1 영역이 염색되어 있으며, 제2 형광 화상에 있어서는, 특정의 세포에 있어서의 제2 영역이 염색되어 있다. 이 때문에, 특정의 세포에 대해서는, 중첩 화상에 있어서 제2 영역과 제1 영역이 겹쳐, 제1 영역이 제2 영역에 포함된다. 한편, 특정의 세포 이외의 세포에 대해서는, 제2 염색에 의하여 염색되어 있지 않기 때문에, 중첩 화상에 있어서는, 특정의 세포 이외의 세포의 제1 영역은, 제2 영역에 포함되지 않는다. 따라서, 본 발명에 의하면, 관찰 대상에 포함되는 특정 종류의 세포와 특정 종류의 세포 이외의 세포를 구별할 수 있기 때문에, 관찰 대상에 포함되는 세포의 종류를 판정할 수 있다.
도 1은 본 발명의 실시형태에 의한 화상 해석 장치를 이용한 화상 해석 시스템의 개략 구성을 나타내는 블록도이다.
도 2는 제1 형광 화상을 나타내는 도이다.
도 3은 제2 형광 화상을 나타내는 도이다.
도 4는 중첩 화상을 나타내는 도이다.
도 5는 제1 영역의 제2 영역으로의 포함을 설명하기 위한 도이다.
도 6은 제1 영역이 제2 영역의 윤곽 내에 위치하는 비율의 산출을 설명하기 위한 도이다.
도 7은 마커가 부여된 중첩 화상을 나타내는 도이다.
도 8은 본 실시형태에 있어서 행해지는 처리를 나타내는 플로차트이다.
도 9는 제1 영역이 제2 영역에 포함되지 않는다고 판정되어 버리는 예를 나타내는 도이다.
도 10은 다른 실시형태에 의한 제1 판정 결과의 취득을 설명하기 위한 도이다.
이하, 본 발명의 화상 해석 장치의 일 실시형태를 이용한 화상 해석 시스템에 대하여, 도면을 참조하여 상세하게 설명한다. 도 1은, 본 실시형태의 화상 해석 시스템의 개략 구성을 나타내는 블록도이다. 도 1에 나타내는 바와 같이, 본 실시형태의 화상 해석 시스템은, 촬상 장치(10), 화상 해석 장치(20), 표시 장치(30) 및 입력 장치(40)를 구비한다.
먼저, 본 실시형태의 화상 해석 시스템에 있어서는, 복수 종류의 세포를 포함하는 생체 시료가 관찰 대상으로서 준비된다. 생체 시료로서는, 예를 들면 암세포, iPS 세포 및 ES 세포와 같은 다능성 줄기 세포, 줄기 세포로부터 분화 유도된 신경, 피부, 심근 및 간장의 세포, 그리고 인체로부터 취출된 피부, 망막, 심근, 혈구, 신경 및 장기의 세포 등이 있다.
본 실시형태에 있어서는, 생체 시료로서, 피더 세포를 이용하여 배양된 피부 세포를 준비하여, 피부 세포를 평가하는 예에 대하여 설명한다. 또한, 피부 세포가 특정의 세포가 된다. 평가로서는, 피부 세포의 수의 카운트 및 피부 세포의 형태학적 특징의 평가를 들 수 있다. 또, 피부 세포의 배양은 용기 내에 있어서 행해진다. 용기로서는, 예를 들면 샬레여도 되고, 멀티 웰 플레이트여도 되며, 1개의 멀티 웰 플레이트가 다른 웰을 이용해도 된다. 그리고, 본 실시형태에 있어서는, 생체 시료에 대하여 제1 염색을 행하고 제1 형광 화상을 촬상하며, 그 후에 제2 염색을 행하고 제2 형광 화상을 취득한다.
제1 염색에는 생체 시료에 포함되는 모든 세포의 세포핵을 염색하는 형광 물질이 이용된다. 또, 제2 염색에는, 생체 시료에 포함되는 피부 세포의 케라틴을 염색하는 케라틴 염색을 행하는 형광 물질이 이용된다. 여기에서, 피더 세포는 케라틴 염색(제2 염색)에 대하여 음성이며, 케라틴 염색에 의해서는 염색되지 않는다. 또한, 생체 시료의 작성 및 염색은, 유저가 수동으로 행하도록 해도 되고, 예를 들면 세포를 흡인하는 기구 및 로보트 암 등으로 이루어지는 장치를 이용하여 자동으로 행하도록 해도 된다.
촬상 장치(10)는, 제1 염색이 이루어진 생체 시료를 촬상하여 제1 형광 화상(K1)을 취득하고, 그 후에 제2 염색이 이루어진 생체 시료를 촬상하여 제2 형광 화상(K2)을 취득한다. 구체적으로는, CCD(Charge-Coupled Device) 이미지 센서 및 CMOS(Complementary Metal-Oxide Semiconductor) 이미지 센서 등의 촬상 소자를 구비하고, 생체 시료로부터 발해지는 형광의 강도를 검출하는 형광 현미경 장치를 촬상 장치(10)로서 이용한다. 촬상 소자로서는, RGB(Red Green Blue)의 컬러 필터가 마련된 촬상 소자를 이용해도 되고, 모노크로의 촬상 소자를 이용하도록 해도 된다. 촬상 장치(10)에 의하여 취득된 제1 형광 화상(K1) 및 제2 형광 화상(K2)는, 화상 해석 장치(20)에 입력된다.
화상 해석 장치(20)는, 도 1에 나타내는 바와 같이, 화상 취득부(21), 제1 판정부(22), 제2 판정부(23) 및 표시 제어부(24)를 구비한다. 화상 해석 장치(20)는, 중앙 처리 장치, 반도체 메모리 및 하드 디스크 등을 구비한 컴퓨터로 구성되는 것이며, 하드 디스크에 본 발명의 화상 해석 프로그램의 일 실시형태가 인스톨되어 있다. 그리고, 화상 해석 프로그램이 중앙 처리 장치에 의하여 살행됨으로써, 도 1에 나타내는 화상 취득부(21), 제1 판정부(22), 제2 판정부(23) 및 표시 제어부(24)가 기능한다. 또한, 본 실시형태에 있어서는, 화상 해석 프로그램에 의하여, 각 부의 기능을 실행하도록 했지만, 이에 한정하지 않고, 예를 들면 복수의 IC(Integrated Circuit), 프로세서, ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array), 및 메모리 등을 적절히 조합함으로써 각 부의 기능을 실행하도록 해도 된다.
화상 취득부(21)는, 촬상 장치(10)로부터 출력된 제1 형광 화상(K1) 및 제2 형광 화상(K2)을 취득하고, 도시 생략한 기억부에 기억한다. 도 2는 제1 형광 화상을 나타내는 도이고, 도 3은 제2 형광 화상을 나타내는 도이다. 여기에서, 상술한 제1 염색에 의하여 생체 시료에 포함되는 모든 세포의 세포핵이 염색되어 있기 때문에, 제1 형광 화상(K1)에 있어서는, 생체 시료에 포함되는 모든 세포핵이 염색되어 있다. 제1 형광 화상(K1)에 포함되는 세포핵의 영역이 제1 영역(A1)이 된다.
한편, 상술한 제2 염색에 의하여 생체 시료에 포함되는 피부 세포의 케라틴이 염색되어 있다. 케라틴은 피부 세포의 세포막 내에 존재한다. 이 때문에, 제2 형광 화상(K2)에 있어서는, 생체 시료에 포함되는 피부 세포의 세포막 내의 영역이 염색되어 있다. 제2 형광 화상(K2)에 포함되는 피부 세포의 세포막 내의 영역이 제2 영역(A2)이 된다.
또한, 제1 염색을 행하는 형광 물질과 제2 염색을 행하는 형광 물질과는 다르기 때문에, 제1 형광 화상(K1)에 있어서의 염색된 제1 영역(A1)과 제2 형광 화상(K2)에 있어서의 염색된 제2 영역(A2)과는 다른 형광색을 발한다. 이 상태를 나타내기 위하여, 도 2에 있어서는 제1 형광 화상(K1)에 있어서 염색된 제1 영역(A1)을 검게 전부 칠하고, 도 3에 있어서는 제2 형광 화상(K2)에 있어서 염색된 제2 영역(A2)에 사선을 부여하고 있다.
제1 판정부(22)는, 제1 영역(A1)이 제2 영역(A2)에 포함되는지 여부를 판정하며, 제1 영역(A1)의 각각에 대한 제1 판정 결과를 취득한다. 이 때문에, 제1 판정부(22)는, 제2 형광 화상(K2)으로부터 염색된 제2 영역(A2), 즉 피부 세포의 세포막의 영역의 윤곽을 추출한다. 또한, 윤곽을 추출하는 수법으로서는, 예를 들면 미분(微分) 필터를 이용하는 수법을 이용할 수 있다. 또, 제2 형광 화상(K2)을 2치화 처리하여 2치화 화상을 취득하고, 2치화 화상에 있어서의 영역의 경계선을 추적하는 수법을 이용하여 윤곽을 추출해도 된다. 또한, 2치화 처리로서는, 적응적 2치화 및 오츠의 2치화 등, 임의의 수법을 이용할 수 있다.
제1 판정부(22)는, 제2 영역(A2)의 윤곽이 추출된 제2 형광 화상(K2)과 제1 형광 화상(K1)을 중첩하여 중첩 화상(K0)을 생성한다. 도 4는 본 실시형태에 있어서 생성되는 중첩 화상을 나타내는 도이다. 또한, 도 4에 나타내는 중첩 화상(K0)에 있어서는, 제1 영역(A1)을 전부 칠하고, 및 제2 영역(A2)에의 사선은 생략하고 있다. 제1 판정부(22)는, 중첩 화상(K0)에 포함되는 제1 영역(A1)의 각각에 대하여, 제2 영역(A2)의 윤곽 내에 위치하는지 여부에 근거하여, 제1 영역(A1)이 대응하는 제2 영역(A2)에 포함되어 있는지 여부를 판정하고, 제1 판정 결과를 취득한다.
도 5는 제1 영역의 제2 영역으로의 포함을 설명하기 위한 도이다. 또한, 도 5에 있어서는, 4개의 제1 영역(A11, A12, A13, A14) 및 이들에 대응하는 1개의 제2 영역(A2)이 나타나 있다. 제1 판정부(22)는, 제1 영역(A11, A12, A13, A14)에 있어서의 중심(重心)(G11, G12, G13, G14)을 검출한다. 그리고, 중심(G11, G12, G13, G14)으로부터, 중첩 화상(K0)에 있어서의 미리 정해진 방향으로 반직선(L11, L12, L13, L14)을 그어, 반직선(L11, L12, L13, L14)과 제2 영역(A2)의 윤곽과의 교점의 수를 검출한다. 그리고, 교점의 수가 홀수인 경우, 그 제1 영역(A1)은 제2 영역(A2)의 윤곽 내에 위치하고, 교점의 수가 짝수인 경우, 그 제1 영역(A1)은 제2 영역(A2)의 윤곽 외에 위치한다고 판정한다. 예를 들면, 제1 영역(A11, A13)에 대하여, 반직선(L11, L13)은 제2 영역(A2)과 각각 1개소에서 교차하기 때문에, 제1 영역(A11, A13)은 제2 영역(A2)의 윤곽 내에 위치한다. 이 때문에, 제1 영역(A11, A13)은 제2 영역(A2)에 포함된다고 판정된다. 또, 제1 영역(A12)에 대하여, 반직선(L12)은 제2 영역(A2)과 2개소에서 교차하기 때문에, 제1 영역(A12)은 제2 영역(A2)의 윤곽 외에 위치한다. 이 때문에, 제1 영역(A12)은 제2 영역(A2)에 포함되지 않는다고 판정된다. 또한, 제1 영역(A14)에 대해서는, 반직선(L14)은 제2 영역(A2)과 교차하는지 여부를 명확하게 판정할 수 없다. 그와 같은 제1 영역(A14)에 대해서는, 판정할 수 없는 취지, 즉 판정 불가의 판정을 행한다.
제1 판정부(22)는, 판정 불가로 된 제1 영역(A1)에 대해서는, 제1 영역(A1)이 제2 영역(A2)의 윤곽 내에 위치하는 비율을 산출한다. 도 6은 제1 영역이 제2 영역의 윤곽 내에 위치하는 비율의 산출을 설명하기 위한 도이다. 제1 판정부(22)는, 제1 영역(A1)의 전체 영역의 면적 S11과, 도 6에 사선으로 나타내는, 제1 영역(A1) 중의 제2 영역(A2)의 윤곽 내에 포함되는 영역의 면적 S12를 산출하고, 후자를 전자로 나눈 값, 즉 S12/S11을 산출함으로써, 제1 영역(A1)이 제2 영역(A2)의 윤곽 내에 위치하는 비율을 산출한다. 제1 판정부(22)는, 산출한 비율이 미리 정해진 임계값 Th1 이상인지 여부를 판정하여, 비율이 임계값 Th1 이상인 경우, 그 제1 영역(A1)은 제2 영역(A2)에 포함된다고 판정한다. 또한, 임계값 Th1로서는, 오류 검출을 방지하기 위하여, 비교적 높은 값(예를 들면 80%)을 이용할 수 있다. 한편, 산출한 비율이 임계값 Th1 미만인 경우, 그 제1 영역(A1)은 제2 영역(A2)에 포함되지 않는다고 판정한다.
제2 판정부(23)는, 제1 판정부(22)에 의한 제1 판정 결과에 근거하여, 관찰 대상에 포함되는 세포의 종류를 판정한다. 구체적으로는, 제1 영역(A1)이 제2 영역(A2)에 포함되어 있는 세포를 피부 세포로 판정하며, 제1 영역(A1)이 제2 영역(A2)에 포함되어 있지 않은 세포를 피더 세포로 판정한다. 또한, 제2 판정부(23)는, 중첩 화상(K0)에 있어서, 판정한 세포의 종류마다 다른 마커를 부여해도 된다. 예를 들면, 판정한 세포의 종류마다 다른 색의 마커를 부여해도 된다. 도 7은 마커가 부여된 중첩 화상을 나타내는 도이다. 또한, 도 7에 있어서는, 피부 세포의 세포핵을 전부 칠하고, 피더 세포의 세포핵에 사선을 부여함으로써, 피부 세포의 세포핵 및 피더 세포의 세포핵에 각각 다른 색의 마커를 부여하고 있는 것을 나타내고 있다. 또한, 다른 색의 마커의 부여 대신에, 다른 형상의 마커를 부여해도 된다.
표시 제어부(24)는, 상술한 제1 형광 화상(K1), 제2 형광 화상(K2) 및 중첩 화상(K0) 등을 표시 장치(30)에 표시한다.
표시 장치(30)는, 표시 제어부(24)로부터의 지시에 의하여, 상술한 제1 형광 화상(K1), 제2 형광 화상(K2) 및 중첩 화상(K0) 등을 표시하는 것이며, 예를 들면 액정 디스플레이 등을 구비한 것이다. 또, 표시 장치(30)를 터치 패널에 의하여 구성하여, 입력 장치(40)와 겸용해도 된다.
입력 장치(40)는, 마우스 및 키보드 등을 구비한 것이며, 유저에 의한 다양한 설정 입력을 받아들이는 것이다.
이어서, 본 실시형태에 있어서 행해지는 처리에 대하여 설명한다. 도 8은 본 실시형태에 있어서 행해지는 처리를 나타내는 플로차트이다. 먼저, 화상 취득부(21)가, 촬상 장치(10)가 생체 시료를 촬상함으로써 취득한, 제1 형광 화상(K1) 및 제2 형광 화상(K2)을 취득한다(스텝 ST1). 이어서, 제1 판정부(22)가, 제2 형광 화상(K2)에 포함되는 제2 영역(A2)의 윤곽을 추출하고(스텝 ST2), 윤곽이 추출된 제2 형광 화상(K2)과 제1 형광 화상(K1)을 중첩하여 중첩 화상(K0)을 생성한다(스텝 ST3). 또한 제1 판정부(22)는, 중첩 화상(K0)에 포함되는 제1 영역(A1)의 각각에 대하여, 대응하는 제2 영역(A2)에 포함되는지 여부를 판정하고, 제1 판정 결과를 취득한다(스텝 ST4). 그리고, 제2 판정부(23)가, 제1 판정 결과에 근거하여, 관찰 대상에 포함되는 세포의 종류를 특정한다(스텝 ST5). 또한 표시 제어부(24)가, 세포의 종류에 따른 마커가 부여된 중첩 화상(K0)을 표시 장치(30)에 표시하고(스텝 ST6), 처리를 종료한다.
이와 같이, 본 실시형태에 있어서는, 제1 형광 화상(K1)과 제2 형광 화상(K2)을 중첩시킨 중첩 화상(K0)에 있어서, 제1 형광 화상(K1)에 있어서의 제1 영역(A1)이 제2 형광 화상(K2)에 있어서의 제2 영역(A2)에 포함되는지 여부를 판정하여 제1 판정 결과를 취득하고, 제1 판정 결과에 근거하여, 관찰 대상에 포함되는 세포의 종류를 판정하도록 했다. 여기에서, 제1 형광 화상(K1)에 있어서는, 복수 종류의 세포의 제1 영역(A1), 즉 세포핵이 염색되어 있으며, 제2 형광 화상(K2)에 있어서는, 특정의 세포, 즉 피부 세포에 있어서의 제2 영역(A2)이 염색되어 있다. 이 때문에, 피부 세포에 대해서는, 중첩 화상(K0)에 있어서 제2 영역(A2)과 제1 영역(A1)이 겹쳐, 제1 영역(A1)이 제2 영역(A2)에 포함된다. 한편, 피부 세포 이외의 세포, 즉 피더 세포에 대해서는, 제2 염색에 의하여 염색되어 있지 않기 때문에, 중첩 화상(K0)에 있어서는, 피더 세포의 제1 영역(A1)은, 제2 영역(A2)에 포함되지 않는다. 따라서, 본 발명에 의하면, 관찰 대상에 포함되는 특정 종류의 세포, 즉 피부 세포와 특정 종류의 세포 이외의 세포, 즉 피더 세포를 구별할 수 있기 때문에, 관찰 대상에 포함되는 세포의 종류를 판정할 수 있다.
또한, 상기 실시형태에 있어서는, 제1 판정부(22)에 있어서 제1 영역(A1)이 제2 영역(A2)에 포함되는지 여부를 판정하고 있다. 그러나, 제2 영역(A2)의 윤곽이 명확하게 추출할 수 없는 등의 이유에 의하여, 제1 영역(A1)이 제2 영역(A2)에 포함되는지 여부를 판정하는 것이 곤란한 경우가 있다. 예를 들면, 도 9에 나타내는 바와 같이, 제1 영역(A1)은 제2 영역(A2)에 포함된다고 생각되지만, 제1 영역(A1)의 중심(G1)으로부터 그은 반직선(L1)이 제2 영역(A2)의 윤곽과 교차하는 수가 2가 되기 때문에, 제1 영역(A1)은 제2 영역(A2)에 포함되지 않는다고 판정되어 버린다.
이 때문에, 제1 판정부(22)는, 제1 영역(A1)의 윤곽 및 제2 영역(A2)의 윤곽에 근거하여, 제1 판정 결과를 취득하도록 해도 된다. 이하, 이것을 다른 실시형태로서 설명한다. 도 10은 다른 실시형태에 의한 제1 판정 결과의 취득을 설명하기 위한 도이다. 제1 판정부(22)는, 먼저 제1 영역(A1)의 윤곽 상에 제1 기준점(P1)을 설정하고, 제1 기준점(P1)에 있어서의 외향의 단위 법선 벡터(n1)를 설정한다. 단위 법선 벡터(n1)가, 제1 기준점(P1)에 있어서의 제1 영역(A1)의 윤곽의 방향을 나타내는 제1 정보가 된다. 제1 판정부(22)는, 단위 법선 벡터(n1)의 연장선과 제2 영역(A2)의 윤곽과의 교점을 제2 기준점(P2)으로 설정한다. 또한, 교점이 복수 존재하는 경우에는, 제1 기준점(P1)에 가장 가까운 교점을 제2 기준점(P2)으로 설정한다. 또한 제1 판정부(22)는, 제2 기준점(P2)에 있어서 제1 기준점(P1) 측을 향하는 단위 법선 벡터(n2)를 설정한다. 단위 법선 벡터(n2)가, 제2 기준점(P2)에 있어서의 제2 영역(A2)의 윤곽의 방향을 나타내는 제2 정보가 된다. 또, 제1 판정부(22)는, 제1 기준점(P1)과 제2 기준점(P2)과의 거리 d(예를 들면 유클리드 거리)를 산출한다. 거리 d가 제1 기준점(P1)과 제2 기준점(P2)과의 거리를 나타내는 제3 정보가 된다.
그리고, 제1 판정부(22)는, 제1 영역(A1)의 윤곽의 방향과 제2 영역(A2)의 윤곽의 방향과의 유사도의 평가값, 및 제1 영역(A1)의 윤곽과 제2 영역(A2)의 윤곽과의 거리의 평가값에 근거하여, 제1 영역(A1)의 윤곽과 제2 영역(A2)의 윤곽과의 유사도를 산출한다. 구체적으로는, 단위 법선 벡터(n1, n2)의 내적(內積)의 절댓값을, 제1 영역(A1)의 윤곽의 방향과 제2 영역(A2)의 윤곽의 방향과의 유사도의 평가값으로서 산출한다. 또, 제1 기준점(P1)과 제2 기준점(P2)과의 거리 d에 관하여, 1/(1+d)의 값을, 제1 영역(A1)의 윤곽과 제2 영역(A2)의 윤곽과의 거리의 평가값으로서 산출한다. 또한, 윤곽의 방향의 유사도의 평가값은, 단위 법선 벡터(n1, n2)의 방향이 평행에 가까울수록 큰 값이 된다. 또, 거리의 평가값은 거리 d가 작을수록 큰 값이 된다. 그리고, 제1 판정부(22)는, 유사도의 평가값과 거리의 평가값을 가중값을 부여하여, 제1 영역(A1)의 윤곽과 제2 영역(A2)의 윤곽과의 유사도를 산출한다. 구체적으로는, 하기의 식 (1)에 의하여, 제1 영역(A1)의 윤곽과 제2 영역(A2)의 윤곽과의 유사도 S(P1)를 산출한다.
[수학식 1]
Figure 112020020391821-pct00001
또한, 식 (1)에 있어서, w1, w2는 가중 계수이다. 제1 판정부(22)는, 유사도 S(P1)가 미리 설정된 임계값 Th2 이상인지 여부를 판정한다. 그리고, 유사도 S(P1)가 임계값 Th2 이상인 경우에, 설정한 제1 기준점(P1)에 관하여, 제1 영역(A1)은 제2 영역(A2)에 포함된다고 판정한다. 제1 판정부(22)는, 제1 영역(A1)의 윤곽의 전체 둘레에 걸쳐 제1 기준점(P1)의 위치를 변경하면서 유사도 S(P1)를 산출하고, 설정한 제1 기준점(P1)에 관하여, 제1 영역(A1)이 제2 영역(A2)에 포함되는지 여부를 판정한다. 그리고, 모든 제1 기준점(P1)에 대하여, 제1 영역(A1)이 제2 영역(A2)에 포함된다고 판정된 비율이, 미리 정해진 임계값 Th3 이상인 경우에, 제1 영역(A1)은 제2 영역(A2)에 포함된다고 판정한다.
이와 같이, 제1 영역(A1)의 중심으로부터 그은 반직선과 제2 영역(A2)의 윤곽과의 교점에 근거하는 것에 따라서는, 제1 영역(A1)이 제2 영역(A2)에 포함되는지 여부를 판정하는 것이 곤란한 경우여도, 제1 영역(A1)의 윤곽 및 제2 영역(A2)의 윤곽에 근거함으로써, 제1 영역(A1)이 제2 영역(A2)에 포함되는지 여부를 판정할 수 있다.
또한, 상기 실시형태에 있어서는, 관찰 대상의 생체 시료로서, 피더 세포를 이용하여 배양된 피부 세포를 사용하여, 생체 시료에 포함되는 세포가 피더 세포인지 피부 세포인지를 판정하고 있지만, 이에 한정되는 것은 아니다. 본 실시형태에 있어서는, 제2 염색에 대하여 음성이 되는 세포 및 양성이 되는 세포를 포함하는 생체 시료에 대하여, 세포의 종류를 판별하는 것이 가능하다. 예를 들면, ES 세포 및 iPS 세포 등의 다능성 줄기 세포 또는 분화 유도된 세포 등을 생체 시료로 하여, 세포의 분화 상태 등을 평가하는 경우에도 본 실시형태를 적용할 수 있다. 이 경우, 제1 염색으로서 세포의 세포핵을 염색하는 형광 물자(物資)를 사용하고, 제2 염색으로서 예를 들면 Lin28, TRA-1-60, SSEA-4 및 SSEA-1 등의 분화 마커를 사용하여, 세포질 및/또는 세포막을 염색한다. 이와 같은 제2 염색에 대하여, 미분화 세포는 음성이다. 따라서, 본 실시형태에 있어서, 이와 같은 제1 염색 및 제2 염색을 행함으로써, 분화 세포와 미분화 세포를 구별할 수 있다.
또, 상기 실시형태에 있어서는, 제2 형광 화상(K2)으로부터 제2 영역(A2)의 윤곽을 추출한 후에, 중첩 화상(K0)을 생성하고 있지만, 제1 형광 화상(K1)과 제2 형광 화상(K2)을 중첩시킨 후에, 제2 형광 화상(K2)에 포함되는 제2 영역(A2)의 윤곽을 추출하여 중첩 화상(K0)을 생성해도 된다.
또, 상기 실시형태에 있어서는, 제2 형광 화상(K2)으로부터 제2 영역(A2)의 윤곽을 추출한 후에, 중첩 화상(K0)을 생성하고 있지만, 제2 영역(A2)의 윤곽을 추출하지 않고, 제1 형광 화상(K1)과 제2 형광 화상(K2)을 중첩하여 중첩 화상(K0)을 생성해도 된다.
또, 상기 실시형태에 있어서는, 제1 판정부(22)에 있어서, 제1 영역(A1)이 제2 영역(A2)의 윤곽 내에 위치하는지 여부를 판정하고, 이 판정할 수 없었던 경우, 즉 판정 불가로 된 경우에, 제1 영역(A1)이 제2 영역(A2)의 윤곽 내에 위치하는 비율에 근거하여, 제1 영역(A1)이 제2 영역(A2)에 포함되는지 여부를 판정하고 있다. 그러나, 제1 영역(A1)이 제2 영역(A2)의 윤곽 내에 위치하는지 여부를 판정하지 않고, 제1 영역(A1)이 제2 영역(A2)의 윤곽 내에 위치하는 비율에 근거하여, 제1 영역(A1)이 제2의 영역(A2)에 포함되는지 여부를 판정해도 된다.
10 촬상 장치
20 화상 해석 장치
21 화상 취득부
22 제1 판정부
23 제2 판정부
24 표시 제어부
30 표시 장치
40 입력 장치
A1, A11, A12, A13, A14 제1 영역
A2 제2 영역
d 제1 기준점과 제2 기준점과의 거리
G1, G11, G12, G13, G14 중심
K0 중첩 화상
K1 제1 형광 화상
K2 제2 형광 화상
L1, L11, L12, L13, L14 반직선
n1, n2 단위 법선 벡터
P1 제1 기준점
P2 제2 기준점

Claims (9)

  1. 제1 염색에 의하여 제1 영역이 염색된, 복수 종류의 세포를 포함하는 관찰 대상을 나타내는 제1 형광 화상, 및 상기 제1 염색과는 다른 제2 염색에 의하여, 상기 복수 종류의 세포 중의 특정의 세포에 있어서의 제2 영역이 염색된 상기 관찰 대상을 나타내는 제2 형광 화상을 취득하는 화상 취득부와,
    상기 제1 형광 화상으로부터 상기 제1 영역의 윤곽을 추출하고, 상기 제2 형광 화상으로부터 상기 제2 영역의 윤곽을 추출하며, 상기 제1 형광 화상과 상기 제2 형광 화상을 중첩시킨 중첩 화상에 있어서, 상기 제1 영역의 윤곽 및 상기 제2 영역의 윤곽의 각각 대하여, 서로 인접하는 제1 기준점 및 제2 기준점을 설정하고, 상기 제1 기준점에 있어서의 상기 제1 영역의 윤곽의 방향을 나타내는 제1 정보, 상기 제2 기준점에 있어서의 상기 제2 영역의 윤곽의 방향을 나타내는 제2 정보, 및 상기 제1 기준점과 상기 제2 기준점과의 거리를 나타내는 제3 정보에 근거하여, 상기 제1 영역이 상기 제2 영역에 포함되는지 여부를 판정하고, 상기 제1 영역의 각각에 대한 제1 판정 결과를 취득하는 제1 판정부와,
    상기 제1 판정 결과에 근거하여, 상기 관찰 대상에 포함되는 상기 세포의 종류를 판정하는 제2 판정부를 구비한 화상 해석 장치.
  2. 청구항 1에 있어서,
    상기 복수 종류의 세포 중, 상기 특정의 세포 이외의 세포는, 상기 제2 염색에 대하여 음성인 화상 해석 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 제1 염색에 의하여 제1 영역이 염색된, 복수 종류의 세포를 포함하는 관찰 대상을 나타내는 제1 형광 화상, 및 상기 제1 염색과는 다른 제2 염색에 의하여, 상기 복수 종류의 세포 중의 특정의 세포에 있어서의 제2 영역이 염색된 상기 관찰 대상을 나타내는 제2 형광 화상을 취득하고,
    상기 제1 형광 화상으로부터 상기 제1 영역의 윤곽을 추출하고, 상기 제2 형광 화상으로부터 상기 제2 영역의 윤곽을 추출하며, 상기 제1 형광 화상과 상기 제2 형광 화상을 중첩시킨 중첩 화상에 있어서, 상기 제1 영역의 윤곽 및 상기 제2 영역의 윤곽의 각각 대하여, 서로 인접하는 제1 기준점 및 제2 기준점을 설정하고, 상기 제1 기준점에 있어서의 상기 제1 영역의 윤곽의 방향을 나타내는 제1 정보, 상기 제2 기준점에 있어서의 상기 제2 영역의 윤곽의 방향을 나타내는 제2 정보, 및 상기 제1 기준점과 상기 제2 기준점과의 거리를 나타내는 제3 정보에 근거하여, 상기 제1 영역이 상기 제2 영역에 포함되는지 여부를 판정하고, 상기 제1 영역의 각각에 대한 제1 판정 결과를 취득하며,
    상기 제1 판정 결과에 근거하여, 상기 관찰 대상에 포함되는 상기 세포의 종류를 판정하는 화상 해석 방법.
  9. 제1 염색에 의하여 제1 영역이 염색된, 복수 종류의 세포를 포함하는 관찰 대상을 나타내는 제1 형광 화상, 및 상기 제1 염색과는 다른 제2 염색에 의하여, 상기 복수 종류의 세포 중의 특정의 세포에 있어서의 제2 영역이 염색된 상기 관찰 대상을 나타내는 제2 형광 화상을 취득하는 절차와,
    상기 제1 형광 화상으로부터 상기 제1 영역의 윤곽을 추출하고, 상기 제2 형광 화상으로부터 상기 제2 영역의 윤곽을 추출하며, 상기 제1 형광 화상과 상기 제2 형광 화상을 중첩시킨 중첩 화상에 있어서, 상기 제1 영역의 윤곽 및 상기 제2 영역의 윤곽의 각각 대하여, 서로 인접하는 제1 기준점 및 제2 기준점을 설정하고, 상기 제1 기준점에 있어서의 상기 제1 영역의 윤곽의 방향을 나타내는 제1 정보, 상기 제2 기준점에 있어서의 상기 제2 영역의 윤곽의 방향을 나타내는 제2 정보, 및 상기 제1 기준점과 상기 제2 기준점과의 거리를 나타내는 제3 정보에 근거하여, 상기 제1 영역이 상기 제2 영역에 포함되는지 여부를 판정하고, 상기 제1 영역의 각각에 대한 제1 판정 결과를 취득하는 절차와,
    상기 제1 판정 결과에 근거하여, 상기 관찰 대상에 포함되는 상기 세포의 종류를 판정하는 절차를 컴퓨터에 실행시키는 화상 해석 프로그램을 격납한 비일시적인 컴퓨터 판독 가능한 기록 매체.
KR1020207005655A 2017-09-27 2018-09-03 화상 해석 장치, 방법 및 프로그램 Active KR102431217B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017187086 2017-09-27
JPJP-P-2017-187086 2017-09-27
PCT/JP2018/032613 WO2019065105A1 (ja) 2017-09-27 2018-09-03 画像解析装置、方法およびプログラム

Publications (2)

Publication Number Publication Date
KR20200031687A KR20200031687A (ko) 2020-03-24
KR102431217B1 true KR102431217B1 (ko) 2022-08-09

Family

ID=65903239

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207005655A Active KR102431217B1 (ko) 2017-09-27 2018-09-03 화상 해석 장치, 방법 및 프로그램

Country Status (5)

Country Link
US (1) US11257301B2 (ko)
EP (1) EP3690017B1 (ko)
JP (1) JP7026694B2 (ko)
KR (1) KR102431217B1 (ko)
WO (1) WO2019065105A1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020201126A (ja) * 2019-06-10 2020-12-17 東ソー株式会社 細胞膜結合因子を用いた細胞検出法
CN110853022B (zh) * 2019-11-14 2020-11-06 腾讯科技（深圳）有限公司 病理切片图像的处理方法、装置、系统及存储介质
WO2023043211A1 (ko) 2021-09-16 2023-03-23 한국과학기술원 이미지를 처리하는 장치 및 방법
EP4583049A1 (en) * 2022-08-30 2025-07-09 Korea Advanced Institute of Science and Technology Image processing device and method using artificial neural network model
WO2024136593A1 (ko) * 2022-12-23 2024-06-27 한국과학기술원 신호 분리 알고리즘을 이용하여 자발형광 및 항체의 교차 반응성을 제거하기 위한 이미지 처리 방법 및 시스템
JP2024118806A (ja) * 2023-02-21 2024-09-02 株式会社Ｓｃｒｅｅｎホールディングス 画像表示方法、画像表示装置およびプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227097A (ja) * 2004-02-12 2005-08-25 Olympus Corp 細胞画像解析装置
JP2011027542A (ja) * 2009-07-24 2011-02-10 Olympus Corp 細胞画像解析装置
WO2016104308A1 (ja) * 2014-12-25 2016-06-30 コニカミノルタ株式会社 細胞画像解析方法及び細胞画像解析装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4634304B2 (ja) * 2003-10-10 2011-02-16 浜松ホトニクス株式会社 蛍光色素の濃度を定量する方法およびシステム
JP4496860B2 (ja) 2004-06-30 2010-07-07 株式会社ニコン 細胞識別装置、細胞識別方法、細胞識別用プログラム、および細胞解析装置
JP4997255B2 (ja) 2009-01-05 2012-08-08 オリンパス株式会社 細胞画像解析装置
US9147104B2 (en) * 2012-11-05 2015-09-29 The United States Of America As Represented By The Secretary Of The Air Force Systems and methods for processing low contrast images
US9135694B2 (en) * 2012-12-04 2015-09-15 General Electric Company Systems and methods for using an immunostaining mask to selectively refine ISH analysis results
JP5768948B1 (ja) 2014-03-27 2015-08-26 コニカミノルタ株式会社 画像処理装置および画像処理プログラム
JP6597316B2 (ja) * 2016-01-06 2019-10-30 コニカミノルタ株式会社 画像処理装置及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005227097A (ja) * 2004-02-12 2005-08-25 Olympus Corp 細胞画像解析装置
JP2011027542A (ja) * 2009-07-24 2011-02-10 Olympus Corp 細胞画像解析装置
WO2016104308A1 (ja) * 2014-12-25 2016-06-30 コニカミノルタ株式会社 細胞画像解析方法及び細胞画像解析装置

Also Published As

Publication number Publication date
JPWO2019065105A1 (ja) 2020-11-26
US20200184192A1 (en) 2020-06-11
EP3690017B1 (en) 2024-06-12
EP3690017A1 (en) 2020-08-05
EP3690017A4 (en) 2020-11-18
WO2019065105A1 (ja) 2019-04-04
JP7026694B2 (ja) 2022-02-28
US11257301B2 (en) 2022-02-22
KR20200031687A (ko) 2020-03-24

Similar Documents

Publication Publication Date Title
KR102431217B1 (ko) 화상 해석 장치, 방법 및 프로그램
EP3486836B1 (en) Image analysis method, apparatus, program, and learned deep learning algorithm
Safuan et al. White blood cell (WBC) counting analysis in blood smear images using various color segmentation methods
EP3350644B1 (en) Methods and apparatus for detecting an entity in a bodily sample
Nguyen Quantifying chromogen intensity in immunohistochemistry via reciprocal intensity.
EP3127084B1 (en) Examining device for processing and analyzing an image
JP5508792B2 (ja) 画像処理方法、画像処理装置および画像処理プログラム
EP2983113A1 (en) Multi-nucleated cell classification and micronuclei scoring
US11620751B2 (en) Image analysis algorithms using control slides
US11538261B2 (en) Systems and methods for automated cell segmentation and labeling in immunofluorescence microscopy
US20190178867A1 (en) Method for Identification of Tissue Objects in IHC Without Specific Staining
WO2014192184A1 (ja) 画像処理装置、画像処理方法、プログラム、及び記憶媒体
JP6873231B2 (ja) 細胞画像評価装置および方法並びにプログラム
US20100177942A1 (en) Method and apparatus for analyzing imagery data
WO2012126346A1 (zh) 一种快速测定细胞核内dna含量的方法
JP2016116461A (ja) 細胞判定方法、細胞数計測方法
JPWO2018066039A1 (ja) 解析装置、解析方法、及びプログラム
Gao et al. Evaluation of GAN architectures for visualisation of HPV viruses from microscopic images
TWI324750B (en) Microscopic image analysis method and system of microfluidic cells
Murakami et al. Color processing in pathology image analysis system for liver biopsy
Jonas et al. Nucleus detection on propidium iodide stained digital slides
de Oliveira et al. Segmentation of Cell Nuclei Regions in Epithelium of Prostate Glands.
Harms et al. Elsevier Science Publishers BV (North-Holland), 1986

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

Patent event date: 20200226

Patent event code: PA01051R01D

Comment text: International Patent Application

PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20200226

Comment text: Request for Examination of Application

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20211129

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220610

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220805

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220805

End annual number: 3

Start annual number: 1

PG1601 Publication of registration