[go: up one dir, main page]

KR20160071242A - 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법 - Google Patents

안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법 Download PDF

Info

Publication number
KR20160071242A
KR20160071242A KR1020140178733A KR20140178733A KR20160071242A KR 20160071242 A KR20160071242 A KR 20160071242A KR 1020140178733 A KR1020140178733 A KR 1020140178733A KR 20140178733 A KR20140178733 A KR 20140178733A KR 20160071242 A KR20160071242 A KR 20160071242A
Authority
KR
South Korea
Prior art keywords
region
interest
detection
viewing area
roi
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Abandoned
Application number
KR1020140178733A
Other languages
English (en)
Inventor
이기용
강병곤
권근주
성영경
유승우
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020140178733A priority Critical patent/KR20160071242A/ko
Priority to US14/965,986 priority patent/US9818029B2/en
Publication of KR20160071242A publication Critical patent/KR20160071242A/ko
Abandoned legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/08—Clinical applications
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/10—Eye inspection
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/46—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient
    • A61B8/467—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means
    • A61B8/469—Ultrasonic, sonic or infrasonic diagnostic devices with special arrangements for interfacing with the operator or the patient characterised by special input means for selection of a region of interest
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5215—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data
    • A61B8/5223—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of medical diagnostic data for extracting a diagnostic or physiological parameter from medical diagnostic data
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00—Medical imaging apparatus involving image processing or analysis
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S128/00—Surgery
    • Y10S128/916—Ultrasound 3-D imaging

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Pathology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Signal Processing (AREA)
  • Quality & Reliability (AREA)

Abstract

안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법이 개시된다. 일 양상에 따른 컴퓨터 보조 진단 장치는, 사용자의 안구 움직임을 기반으로 관심 영역의 일차 검출이 완료된 의료 영상에서 사용자가 일정 시간 이상 주시한 주시 영역을 검출하는 주시 영역 검출부와, 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행하는 관심 영역 재검출부를 포함할 수 있다.

Description

안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법{Apparatus and method for computer aided diagnosis based on eye movement}
컴퓨터 보조 진단 기술에 관한 발명으로, 특히, 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법에 관한 것이다.
컴퓨터 보조 진단(CAD: Computer Aided Diagnosis) 시스템이란 초음파 영상과 같은 의료영상을 분석하고 그 분석 결과에 따라 의료영상에 이상 부위를 표시함으로써 의사(doctor)의 진단 업무에 도움을 주는 시스템을 말한다. 이러한 CAD 시스템은 사람의 식별능력의 한계로 인해 불가피하게 발생하던 진단의 불확실성을 줄여주고, 개별적 영상 판독에 따른 의사의 과중한 업무 역시 줄여줄 수 있는 장점이 있다.
한편, CAD 시스템은 각 프레임 영상별로 관심 영역을 검출(detection)하여 그 결과를 화면에 표시한다. 이때, 각 프레임 영상에 대한 관심 영역의 오검출(false positive) 또는 미검출(false negative)은 사용자의 만족도를 떨어뜨리는 요인이 된다.
따라서, 관심 영역의 오검출 또는 미검출에 대한 사용자의 피드백을 편리하게 입력 받음으로서 검출의 정확도를 향상시키는 방법이 필요하다.
관심 영역 검출 정확도를 향상시킬 수 있는 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법을 제공하는 것을 목적으로 한다.
일 양상에 따른 컴퓨터 보조 진단 장치는, 사용자의 안구 움직임을 기반으로 관심 영역의 일차 검출이 완료된 의료 영상에서 사용자가 일정 시간 이상 주시한 주시 영역을 검출하는 주시 영역 검출부와, 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행하는 관심 영역 재검출부를 포함할 수 있다.
관심 영역 재검출부는, 관심 영역의 일차 검출 시에 사용되는 검출 모델과 다른 검출 모델을 이용하여 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행할 수 있다.
컴퓨터 보조 진단 장치는, 의료 영상의 획득에 사용되는 프로브의 파라미터 또는 프레임 레이트(frame rate)를 조정하거나, 검출된 주시 영역 부분의 영상을 변형하여 검출된 주시 영역에 대한 적어도 하나의 추가 영상을 획득하는 추가 영상 획득부를 더 포함하고, 관심 영역 재검출부는, 획득된 적어도 하나의 추가 영상 각각에 대하여 관심 영역의 검출을 수행할 수 있다.
프로브의 파라미터는, 초음파 신호의 주파수, 대역폭, 파워의 세기, 이득, 및 초점 깊이 중 적어도 하나를 포함할 수 있다.
추가 영상 획득부는, 영상 변형을 통하여 상기 주시 영역에 대한 적어도 하나의 추가 영상을 획득하는 경우, Horizontal Flip, Rotation, Cropping, Scaling, Shearing, Jittering, Stretching, Blurring, Sharpening, Histogram Modification, Restoration 및 Noise addition 중 적어도 하나를 이용하여 검출된 주시 영역 부분의 영상을 변형할 수 있다.
컴퓨터 보조 진단 장치는, 주시 영역에서 검출된 관심 영역에 대하여 진단을 수행하는 진단부를 더 포함할 수 있다.
컴퓨터 보조 진단 장치는, 의료 영상에 대하여 관심 영역의 일차 검출을 수행하는 관심 영역 검출부를 더 포함할 수 있다.
컴퓨터 보조 진단 장치는, 관심 영역의 일차 검출 결과를 화면에 출력하는 화면 표시부를 더 포함할 수 있다.
화면 표시부는, 관심 영역 이차 검출 결과에 따라 상기 관심 영역의 일차 검출 결과를 수정할 수 있다.
화면 표시부는, 관심 영역 이차 검출 결과를 기반으로, 주시 영역에 대한 관심 영역의 일차 검출 결과가 오검출(false positive)라고 판단되면 주시 영역에 대해 표시된 관심 영역 식별 표시를 삭제하고, 주시 영역에 대한 관심 영역의 일차 검출 결과가 미검출(false negative)라고 판단되면 주시 영역에 대해 관심 영역 식별 표시를 추가하고, 주시 영역에 대한 관심 영역의 일차 검출 결과가 정상 검출(true positive)라고 판단되면 주시 영역에 대해 표시된 관심 영역 식별 표시를 유지할 수 있다.
다른 양상에 따른 컴퓨터 보조 진단 방법은, 사용자의 안구 움직임을 기반으로 관심 영역의 일차 검출이 완료된 의료 영상에서 사용자가 일정 시간 이상 주시한 주시 영역을 검출하는 단계와, 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행하는 단계를 포함할 수 있다.
수행하는 단계는, 관심 영역의 일차 검출 시에 사용되는 검출 모델과 다른 검출 모델을 이용하여 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행할 수 있다.
컴퓨터 보조 진단 방법은, 의료 영상의 획득에 사용되는 프로브의 파라미터 또는 프레임 레이트(frame rate)를 조정하거나, 검출된 주시 영역 부분의 영상을 변형하여 검출된 주시 영역에 대한 적어도 하나의 추가 영상을 획득하는 단계를 더 포함하고, 수행하는 단계는, 획득된 적어도 하나의 추가 영상 각각에 대하여 관심 영역의 검출을 수행할 수 있다.
프로브의 파라미터는, 초음파 신호의 주파수, 대역폭, 파워의 세기, 이득, 및 초점 깊이 중 적어도 하나를 포함할 수 있다.
획득하는 단계는, 영상 변형을 통하여 상기 주시 영역에 대한 적어도 하나의 추가 영상을 획득하는 경우, Horizontal Flip, Rotation, Cropping, Scaling, Shearing, Jittering, Stretching, Blurring, Sharpening, Histogram Modification, Restoration 및 Noise addition 중 적어도 하나를 이용하여 검출된 주시 영역 부분의 영상을 변형할 수 있다.
컴퓨터 보조 진단 방법은, 주시 영역에서 검출된 관심 영역에 대하여 진단을 수행하는 단계를 더 포함할 수 있다.
컴퓨터 보조 진단 방법은, 의료 영상에 대하여 관심 영역의 일차 검출을 수행하는 단계를 더 포함할 수 있다.
컴퓨터 보조 진단 방법은, 관심 영역의 일차 검출 결과를 화면에 출력하는 단계를 더 포함할 수 있다.
컴퓨터 보조 진단 방법은, 관심 영역 이차 검출 결과에 따라 관심 영역의 일차 검출 결과를 수정하는 단계를 더 포함할 수 있다.
수정하는 단계는, 주시 영역에 대한 관심 영역의 일차 검출 결과가 오검출(false positive)라고 판단되면 주시 영역에 대해 표시된 관심 영역 식별 표시를 삭제하는 단계와, 주시 영역에 대한 관심 영역의 일차 검출 결과가 미검출(false negative)라고 판단되면 주시 영역에 대해 관심 영역 식별 표시를 추가하는 단계와, 주시 영역에 대한 관심 영역의 일차 검출 결과가 정상 검출(true positive)라고 판단되면 주시 영역에 대해 표시된 관심 영역 식별 표시를 유지하는 단계를 포함할 수 있다.
관심 영역의 검출이 완료된 의료 영상에서 사용자의 안구 움직임을 기반으로 사용자의 주시 영역을 검출하여 관심 영역의 추가 검출을 수행함으로써, 관심 영역의 검출 정확도를 향상시킬 수 있다.
도 1은 안구 움직임에 기반한 컴퓨터 보조 진단 장치의 일 실시예를 도시한 도면이다.
도 2는 안구 움직임에 기반한 컴퓨터 보조 진단 장치의 다른 실시예를 도시한 도면이다.
도 3는 관심 영역의 일차 검출 결과가 정상 검출(true positive)인 경우의 예를 도시한 도면이다.
도 4는 관심 영역의 일차 검출 결과가 오검출(false positive)인 경우의 예를 도시한 도면이다.
도 5는 관심 영역의 일차 검출 결과가 미검출(false negative)인 경우의 예를 도시한 도면이다.
도 6은 안구 움직임에 기반한 컴퓨터 보조 진단 방법의 일 실시예를 도시한 흐름도이다.
도 7은 안구 움직임에 기반한 컴퓨터 보조 진단 방법의 다른 실시예를 도시한 흐름도이다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예를 상세하게 설명한다. 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로, 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 안구 움직임에 기반한 컴퓨터 보조 진단 장치의 일 실시예를 도시한 도면이다.
도 1을 참조하면, 일 실시예에 따른 컴퓨터 보조 진단 장치(100)는 주시 영역 검출부(110) 및 관심 영역 재검출부(120)를 포함할 수 있다.
주시 영역 검출부(110)는 사용자의 안구 움직임을 감지하고, 안구 움직임 감지 결과를 기반으로 관심 영역의 일차 검출이 완료된 의료 영상에서 사용자의 주시 영역을 검출할 수 있다. 여기서, 관심 영역은 악성 병변 영역뿐만 아니라 악성/양성 구분이 애매한 병변 영역 또는 특이한 특징을 가지는 영역을 포함할 수 있다. 또한, 의료 영상은 프로브를 통하여 프레임 단위로 실시간으로 획득한 실시간 초음파 영상일 수 있다.
일 실시예에 따르면, 주시 영역 검출부(110)는 사용자의 안구 움직임을 기반으로 사용자의 시선이 관심 영역의 일차 검출이 완료된 의료 영상의 일정 영역에 임계 시간 이상 머물러 있는지를 판단하고, 사용자의 시선이 임계 시간 이상 머무른 의료 영상의 일정 영역을 주시 영역으로 검출할 수 있다.
이때, 임계 시간은 사용자에 의해 설정된 값으로서, 사용자에 따라 다른 값으로 설정될 수도 있으며, 사용자의 구별 없이 고정된 값으로 설정될 수도 있다. 또한, 임계 시간은 학습되어 적응적으로 갱신될 수도 있다.
사용자의 시선이 일정 영역에 머무른 시간은 연속적일 수도 있고, 단속적일 수도 있다.
한편, 주시 영역 검출부(110)가 사용자의 안구 움직임을 감지하는 방법은 다양할 수 있다. 예컨대, 주시 영역 검출부(110)는 사용자의 안구 움직임을 감지하기 위해, 카메라가 탑재된 안경과 같은 보조 장치를 이용하거나, 카메라가 부착된 모니터를 이용할 수 있다. 그러나, 이는 일 예에 불과할 뿐이므로 이에 한정되는 것은 아니다.
관심 영역 재검출부(120)는 주시 영역 검출부(110)에서 검출된 주시 영역에 대하여 이차적으로 관심 영역을 검출할 수 있다.
일 실시예에 따르면, 관심 영역 재검출부(120)는 관심 영역의 일차 검출시에 사용되는 병변 검출 모델과 다른 병변 검출 모델을 이용하여 주시 영역에 대해 이차적으로 관심 영역을 검출할 수 있다. 예를 들면, 관심 영역의 일차 검출시에 병변 검출 모델로서 DPM(deformable Part Models)을 이용하는 경우, 관심 영역 재검출부(120)는 DPM과 다른 타입의 모델인 CNN(Convolutional Neural Network)을 이용하여 주시 영역에 대해 이차적으로 관심 영역을 검출할 수 있다. 다른 예를 들면, 관심 영역의 일차 검출시에 병변 검출 모델로서 CNN을 이용하는 경우, 관심 영역 재검출부(120)는 CNN과 동일 타입의 모델이나 다른 방법으로 학습된 CNN(예컨대, 전체 영상의 크기보다 작은 크기로 학습된 CNN 등)을 이용하여 주시 영역에 대해 이차적으로 관심 영역을 검출할 수 있다.
다른 실시예에 따르면, 관심 영역 재검출부(120)는 관심 영역의 일차 검출시에 사용되는 병변 검출 모델의 파라미터를 조정하고, 파라미터가 조정된 병변 검출 모델을 이용하여 주시 영역에 대해 이차적으로 관심 영역을 검출할 수 있다.
즉, 컴퓨터 보조 진단 장치(100)는 실시간으로 획득되어 관심 영역의 검출이 완료된 의료 영상에서 사용자의 안구 움직임을 기반으로 사용자의 주시 영역을 검출하고, 검출된 주시 영역에 대해 관심 영역의 추가 검출을 수행함으로써, 관심 영역의 검출 정확도를 향상시킬 수 있다.
도 2는 안구 움직임에 기반한 컴퓨터 보조 진단 장치의 다른 실시예를 도시한 도면이다.
도 2를 참조하면, 다른 실시예에 따른 컴퓨터 보조 진단 장치(200)는 도 1의 컴퓨터 보조 진단 장치(100)에서 영상 획득부(210), 관심 영역 검출부(220), 진단부(230), 추가 영상 획득부(240), 화면 표시부(250), 및 모델 갱신부(260)를 선택적으로 더 포함할 수 있다.
영상 획득부(210)는 환자의 의료 영상을 획득할 수 있다. 여기서, 의료 영상은 프로브를 통하여 프레임 단위로 실시간으로 획득한 초음파 영상일 수 있다.
관심 영역 검출부(220)는 영상 획득부(210)를 통하여 실시간으로 획득한 의료 영상을 분석하여 일차적으로 관심 영역을 검출할 수 있다. 여기서 관심 영역은 악성 병변 영역뿐만 아니라 악성/양성 구분이 애매한 병변 영역 또는 특이한 특징을 가지는 영역을 포함할 수 있다.
일 실시예에 따르면, 관심 영역 검출부(220)는 병변 검출 알고리즘을 이용하여 프레임 영상에서 관심 영역을 검출할 수 있다. 여기서, 병변 검출 알고리즘은 AdaBoost, DPM(deformable Part Models), DNN(Deep Neural Network), CNN(Convolutional Neural Network) 및 Sparse Coding 등을 포함할 수 있다. 그러나, 이는 일 예에 불과할 뿐이므로 이에 한정되는 것은 아니다.
진단부(230)는 주시 영역 내의 관심 영역에 대한 진단을 수행할 수 있다.
일 실시예에 따르면, 진단부(230)는 병변 분류 알고리즘을 이용하여 주시 영역 내의 관심 영역에 대한 악성(Malignant)/양성(Benign) 여부를 판단할 수 있다. 여기서, 병변 분류 알고리즘은 SVM(Support Vector Machine), Decision Tree, DBN(Deep Belief Network) 및 CNN(Convolutional Neural Network) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
추가 영상 획득부(240)는 주시 영역에 대한 추가 영상을 획득할 수 있다.
일 실시예에 따르면, 추가 영상 획득부(240)는 의료 영상 획득에 이용되는 프로브의 파라미터를 조정하여 주시 영역에 대한 하나 이상의 추가 영상을 획득할 수 있다. 이때, 프로브의 파라미터는 초음파 신호의 주파수, 대역폭, 파워의 세기, 초점 깊이 및 이득 등을 포함할 수 있다. 그러나, 이는 일 예에 불과할 뿐, 이에 한정되는 것은 아니다.
다른 실시예에 따르면, 추가 영상 획득부(240)는 프레임 레이트(frame rate)를 조정하여 주시 영역에 대한 하나 이상의 영상을 추가로 획득할 수 있다.
또 다른 실시예에 따르면, 추가 영상 획득부(240)는 의료 영상의 주시 영역 부분을 변형하여 주시 영역에 대한 하나 이상의 영상을 추가로 획득할 수 있다. 이때, 추가 영상 획득부(240)는 Horizontal Flip, Rotation, Cropping, Scaling, Shearing, Jittering, Stretching, Blurring, Sharpening, Histogram Modification, Restoration 및 Noise addition 등을 이용하여 의료 영상의 주시 영역 부분을 변형할 수 있다. 그러나, 이는 일 예에 불과할 뿐, 이에 한정되는 것은 아니며 다양한 영상 변형 방법을 이용할 수 있다.
이 경우, 관심 영역 재검출부(120)는 추가 영상 획득부(240)에서 획득된 하나 이상의 추가 영상 각각에 대하여 관심 영역을 검출하고, 진단부(230)는 하나 이상의 추가 영상에서 검출된 각 관심 영역에 대한 진단을 수행하고, 진단 결과들을 종합하여 주시 영역 내의 관심 영역에 대한 진단 결과를 산출할 수 있다. 예를 들어, 진단부(230)는 각각의 진단 결과에 보팅 알고리즘(voting algorithm) 등을 적용하여 주시 영역 내의 관심 영역에 대한 진단 결과를 산출할 수 있다.
화면 표시부(250)는 의료 영상에 관심 영역의 일차 검출 결과를 표시하여 화면에 출력할 수 있다.
일 실시예에 따르면, 화면 표시부(250)는 의료 영상에 관심 영역 검출부(220)에서 검출된 관심 영역을 바운딩 박스(bounding box)로 표시하거나, 검출된 관심 영역의 중심에 점 또는 십자선 등을 표시함으로써 검출된 관심 영역의 위치를 나타낼 수 있다. 그러나, 이에 한정되는 것은 아니며, 관심 영역을 원형, 삼각형 등 다양한 형태의 식별 표시로 표시하거나 다양한 색깔로 컬러 코딩하는 등 다양한 방법으로 관심 영역을 표시하는 것이 가능하다.
화면 표시부(250)는 관심 영역 재검출부(120)의 주시 영역에 대한 관심 영역의 이차 검출 결과 및/또는 진단부(230)의 진단 결과를 기반으로 관심 영역의 일차 검출 결과를 수정할 수 있다.
예를 들면, 관심 영역 재검출부(120)의 주시 영역에 대한 관심 영역 이차 검출 결과 및/또는 진단부(230)의 진단 결과를 기반으로 판단한 결과, 주시 영역에 대한 관심 영역의 일차 검출 결과가 오검출(false positive)이라고 판단되면, 화면 표시부(250)는 주시 영역에 대한 관심 영역 표시를 삭제할 수 있다. 예컨대, 관심 영역 일차 검출시에는 주시 영역에서 관심 영역이 검출되었으나 관심 영역 이차 검출시에는 주시 영역에서 관심 영역이 검출되지 않은 경우, 또는 관심 영역 일차 검출시 및 관심 영역 이차 검출시 모두 주시 영역에서 관심 영역이 검출되었으나 그 진단 결과가 양성(Benign)인 경우, 화면 표시부(250)는 주시 영역에 대한 관심 영역의 일차 검출 결과를 오검출(false positive)이라고 판단하고 주시 영역에 대한 관심 영역 표시를 삭제할 수 있다.
다른 예를 들면, 관심 영역 재검출부(120)의 주시 영역에 대한 관심 영역 이차 검출 결과 및/또는 진단부(230)의 진단 결과를 기반으로 판단한 결과, 주시 영역에 대한 관심 영역의 일차 검출 결과가 미검출(false negative)이라고 판단되면, 화면 표시부(250)는 주시 영역에 대한 관심 영역 표시를 추가할 수 있다. 예컨대, 관심 영역 일차 검출시에는 주시 영역에서 관심 영역이 검출되지 않았으나 관심 영역 이차 검출시에는 주시 영역에서 관심 영역이 검출된 경우, 화면 표시부(250)는 주시 영역에 대한 관심 영역의 일차 검출 결과를 미검출(false negative)이라고 판단하고 주시 영역에 대한 관심 영역 표시를 추가할 수 있다.
또 다른 예를 들면, 관심 영역 재검출부(120)의 주시 영역에 대한 관심 영역 이차 검출 결과 및/또는 진단부(230)의 진단 결과를 기반으로 판단한 결과, 주시 영역에 대한 관심 영역의 일차 검출 결과가 정상 검출(true positive)이라고 판단되면, 화면 표시부(250)는 주시 영역에 대한 관심 영역 표시를 유지할 수 있다. 예컨대, 관심 영역 일차 검출시 및 관심 영역 이차 검출시 모두 주시 영역에서 관심 영역이 검출된 경우, 화면 표시부(250)는 주시 영역에 대한 관심 영역의 일차 검출 결과를 정상 검출(true positive)이라고 판단하고 주시 영역에 대한 관심 영역 표시를 유지할 수 있다.
모델 갱신부(260)는 관심 영역 재검출부(120)의 주시 영역에 대한 관심 영역 이차 검출 결과 및/또는 진단부(230)의 진단 결과를 이용하여 관심 영역 검출부(220)의 병변 검출 모델을 갱신할 수 있다.
이하, 도 3 내지 도 5를 참조하여 일 실시예에 따른 컴퓨터 보조 진단 장치가 적용된 다양한 실시예를 설명한다. 도 3 내지 도 5를 설명함에 있어, 화면에는 실시간으로 획득된 의료 영상이 관심 영역의 일차 검출 결과와 함께 실시간으로 출력되고 있다고 가정한다.
도 3는 관심 영역의 일차 검출 결과가 정상 검출(true positive)인 경우의 예를 도시한 도면이다.
도 3을 참조하면, 관심 영역 검출부(220)가 실시간으로 획득된 의료 영상(310)에서 관심 영역(311)을 일차 검출하고, 화면 표시부(250)는 의료 영상(310)에 관심 영역(311)에 대한 식별 표시(331)를 표시하여 화면에 출력한다.
주시 영역 검출부(110)는 사용자의 안구 움직임(313)을 감지하여 임계 시간 이상 주시한 관심 영역(311)을 주시 영역(320)으로 검출한다.
관심 영역 재검출부(120)는 관심 영역 일차 검출시 이용된 병변 검출 모델과는 다른 병변 검출 모델을 이용하여 주시 영역(320)에 대하여 이차적으로 관심 영역을 검출한다.
진단부(230)는 주시 영역(320) 내의 관심 영역에 대해 진단하고, 진단 결과 주시 영역(320) 내의 관심 영역에 대하여 악성(Malignant)이라고 판단한다.
화면 표시부(250)는 주시 영역(320)에 대한 관심 영역의 일차 검출 결과를 정상 검출(true positive)이라고 판단하고 현재 화면에 표시된 영상(330)에서 주시 영역(320)에 대응하는 관심 영역(311)에 대한 식별 표시(331)를 유지한다.
도 4는 관심 영역의 일차 검출 결과가 오검출(false positive)인 경우의 예를 도시한 도면이다.
도 4를 참조하면, 관심 영역 검출부(220)가 실시간으로 획득된 의료 영상(410)에서 관심 영역1(411) 및 관심 영역2(412)을 일차 검출하고, 화면 표시부(250)는 의료 영상(410)에 관심 영역1(411) 및 관심 영역2(412)에 대한 식별 표시(431, 432)를 표시하여 화면에 출력한다.
주시 영역 검출부(110)는 사용자의 안구 움직임(413)을 감지하여 임계 시간 이상 주시한 관심 영역2(412)을 주시 영역으로 검출한다.
추가 영상 획득부(240)는 프로브 파라미터 또는 프레임 레이트를 조정하여 관심 영역2(412)에 대한 하나 이상의 추가 영상(420)을 획득한다.
관심 영역 재검출부(120)는 획득된 하나 이상의 추가 영상(420) 각각에 대하여 관심 영역을 검출한다. 이때, 관심 영역 재검출부(120)는 관심 영역 일차 검출시 이용된 병변 검출 모델을 이용하거나, 관심 영역 일차 검출시 이용된 병변 검출 모델 다른 병변 검출 모델을 이용할 수 있다.
진단부(230)는 각 추가 영상(420) 내의 관심 영역에 대해 진단하고, 진단 결과를 종합하여 관심 영역2(412)에 대하여 양성(Benign)라고 판단한다.
화면 표시부(250)는 주시 영역에 대한 관심 영역의 일차 검출 결과를 오검출(false positive)이라고 판단하고 현재 표시된 영상(430)에서 주시 영역에 대응하는 관심 영역2(412)에 대한 식별 표시(432)를 삭제한다.
도 5는 관심 영역의 일차 검출 결과가 미검출(false negative)인 경우의 예를 도시한 도면이다.
도 5를 참조하면, 관심 영역 검출부(220)가 실시간으로 획득된 의료 영상(510)에서 관심 영역(511)을 일차 검출하고, 화면 표시부(250)는 의료 영상(510)에 관심 영역(511)에 대한 식별 표시(531)을 표시하여 화면에 출력한다.
주시 영역 검출부(110)는 사용자의 안구 움직임(513)을 감지하여 임계 시간 이상 주시한 특정 영역(512)을 주시 영역으로 검출한다.
추가 영상 획득부(240)는 의료 영상(510)의 특정 영역(512) 부분을 변형하여 특정 영역(512)에 대한 영상(520)을 추가로 획득한다.
관심 영역 재검출부(120)는 획득된 추가 영상(520)에 대하여 관심 영역을 검출한다. 이때, 관심 영역 재검출부(120)는 관심 영역 일차 검출시 이용된 병변 검출 모델을 이용하거나, 관심 영역 일차 검출시 이용된 병변 검출 모델 다른 병변 검출 모델을 이용할 수 있다.
진단부(230)는 추가 영상(520) 내의 관심 영역에 대해 진단하고, 그 결과를 기반으로 특정 영역(512)에 대해 악성(Malignant)이라고 판단한다.
화면 표시부(250)는 주시 영역에 대한 관심 영역의 일차 검출 결과를 미검출(false negative)이라고 판단하고 현재 표시된 영상(530)에서 주시 영역에 대응하는 특정 영역(512)에 대한 관심 영역 식별 표시(532)를 추가한다.
도 6은 안구 움직임에 기반한 컴퓨터 보조 진단 방법의 일 실시예를 도시한 흐름도이다.
도 6을 참조하면, 일 실시예에 따른 컴퓨터 보조 진단 방법은, 먼저, 사용자의 안구 움직임을 기반으로 관심 영역의 일차 검출이 완료된 영상에서 사용자의 주시 영역을 검출한다(610). 예컨대, 컴퓨터 보조 진단 장치(100)는 사용자의 안구 움직임을 감지하고, 안구 움직임 감지 결과를 기반으로 관심 영역의 일차 검출이 완료된 의료 영상에서 사용자의 주시 영역을 검출할 수 있다.
그 후, 검출된 주시 영역에 대하여 이차적으로 관심 영역을 검출한다(620). 예컨대, 컴퓨터 보조 진단 장치(100)는 관심 영역의 일차 검출시에 사용되는 병변 검출 모델의 파라미터를 조정하여 파라미터가 조정된 병변 검출 모델을 이용하거나, 관심 영역의 일차 검출시에 사용되는 병변 검출 모델과 다른 병변 검출 모델을 이용하여 주시 영역에 대해 이차적으로 관심 영역을 검출할 수 있다. 이때, 관심 영역의 일차 검출시에 사용되는 병변 검출 모델과 다른 병변 검출 모델은, 관심 영역의 일차 검출시에 사용되는 병변 검출 모델과 다른 타입의 병변 검출 모델, 또는 관심 영역의 일차 검출시에 사용되는 병변 검출 모델과 동일 타입의 병변 검출 모델로서 관심 영역의 일차 검출시에 사용되는 병변 검출 모델의 학습 방법과 다른 방법으로 학습된 모델일 수 있다.
도 7은 안구 움직임에 기반한 컴퓨터 보조 진단 방법의 다른 실시예를 도시한 흐름도이다.
도 7을 참조하면, 다른 실시예에 따른 컴퓨터 보조 진단 방법은, 먼저, 실시간으로 획득된 의료 영상에서 일차적으로 관심 영역을 검출한다(710). 예컨대, 컴퓨터 보조 진단 장치(200)는 병변 검출 알고리즘을 이용하여 프레임 영상에서 관심 영역을 검출할 수 있다. 여기서, 병변 검출 알고리즘은 AdaBoost, DPM(deformable Part Models), DNN(Deep Neural Network), CNN(Convolutional Neural Network) 및 Sparse Coding 등을 포함할 수 있다. 그러나, 이는 일 예에 불과할 뿐이므로 이에 한정되는 것은 아니다.
그 후, 사용자의 안구 움직임을 기반으로 관심 영역의 일차 검출이 완료된 영상에서 사용자의 주시 영역을 검출하고(720), 주시 영역이 검출되면 주시 영역에 대하여 이차적으로 관심 영역을 검출한다(730).
그 후, 주시 영역 내의 관심 영역에 대하여 진단을 수행한다(740). 예컨대, 컴퓨터 보조 진단 장치(200)는 병변 분류 알고리즘을 이용하여 주시 영역 내의 관심 영역에 대한 악성/양성 여부를 판단할 수 있다. 여기서, 병변 분류 알고리즘은 SVM(Support Vector Machine), Decision Tree, DBN(Deep Belief Network) 및 CNN(Convolutional Neural Network) 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
그 후, 주시 영역에 대한 관심 영역의 이차 검출 결과 및/또는 진단 결과를 기반으로 화면에 표시된 관심 영역 검출 결과를 수정한다(750).
예를 들면, 컴퓨터 보조 진단 장치(200)는 주시 영역에 대한 관심 영역 이차 검출 결과 및/또는 진단 결과를 기반으로 판단한 결과, 주시 영역에 대한 관심 영역의 일차 검출 결과가 오검출(false positive)이라고 판단되면, 화면에 표시된 주시 영역에 대한 관심 영역 식별 표시를 삭제할 수 있다.
다른 예를 들면, 컴퓨터 보조 진단 장치(200)는 주시 영역에 대한 관심 영역 이차 검출 결과 및/또는 진단 결과를 기반으로 판단한 결과, 주시 영역에 대한 관심 영역의 일차 검출 결과가 미검출(false negative)이라고 판단되면, 화면에 주시 영역에 대한 관심 영역 식별 표시를 추가할 수 있다.
또 다른 예를 들면, 컴퓨터 보조 진단 장치(200)는 주시 영역에 대한 관심 영역 이차 검출 결과 및/또는 진단 결과를 기반으로 판단한 결과, 주시 영역에 대한 관심 영역의 일차 검출 결과가 정상 검출(true positive)이라고 판단되면, 화면에 표시된 주시 영역에 대한 관심 영역 식별 표시를 그대로 유지할 수 있다.
그 후, 주시 영역에 대한 관심 영역 이차 검출 결과 및/또는 진단부(230)의 진단 결과를 이용하여 관심 영역 일차 검출시 이용되는 병변 검출 모델을 갱신한다(760).
한편, 단계 720의 판단 결과, 주시 영역이 검출되지 않으면, 관심 영역의 일차 검출 결과를 화면에 표시한다(770).
한편, 추가적 실시예에 따르면, 컴퓨터 보조 진단 방법은, 검출된 주시 영역에 대한 하나 이상의 추가 영상을 획득하는 단계(725)를 더 포함할 수 있다.
예컨대, 컴퓨터 보조 진단 장치(200)는 의료 영상 획득에 이용되는 프로브의 파라미터 또는 프레임 레이트를 조정하거나, 의료 영상의 주시 영역 부분을 변형하여 주시 영역에 대한 하나 이상의 영상을 추가로 획득할 수 있다.
이 경우, 단계 730에서는 획득된 하나 이상의 추가 영상 각각에 대하여 관심 영역을 검출하고, 단계 740에서는 하나 이상의 추가 영상 각각에서 검출된 관심 영역에 대한 진단을 수행한 후, 진단 결과들을 종합하여 주시 영역 내의 관심 영역에 대한 진단 결과를 산출한다.
본 발명의 일 양상은 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있다. 상기의 프로그램을 구현하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함할 수 있다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 디스크 등을 포함할 수 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드로 작성되고 실행될 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 범위는 전술한 실시 예에 한정되지 않고 특허 청구범위에 기재된 내용과 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.
100, 200: 컴퓨터 보조 진단 장치
110: 주시 영역 검출부
120: 관심 영역 재검출부
210: 영상 획득부
220: 관심 영역 검출부
230: 진단부
240: 추가 영상 획득부
250: 화면 표시부
260: 모델 갱신부

Claims (20)

  1. 사용자의 안구 움직임을 기반으로 관심 영역의 일차 검출이 완료된 의료 영상에서 사용자가 일정 시간 이상 주시한 주시 영역을 검출하는 주시 영역 검출부; 및
    상기 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행하는 관심 영역 재검출부; 를 포함하는 컴퓨터 보조 진단 장치.
  2. 제1항에 있어서,
    상기 관심 영역 재검출부는,
    관심 영역의 일차 검출 시에 사용되는 검출 모델과 다른 검출 모델을 이용하여 상기 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행하는 컴퓨터 보조 진단 장치.
  3. 제1항에 있어서,
    의료 영상의 획득에 사용되는 프로브의 파라미터 또는 프레임 레이트(frame rate)를 조정하거나, 검출된 주시 영역 부분의 영상을 변형하여 상기 검출된 주시 영역에 대한 적어도 하나의 추가 영상을 획득하는 추가 영상 획득부; 를 더 포함하고,
    상기 관심 영역 재검출부는, 상기 획득된 적어도 하나의 추가 영상 각각에 대하여 관심 영역의 검출을 수행하는 컴퓨터 보조 진단 장치.
  4. 제3항에 있어서,
    상기 프로브의 파라미터는,
    초음파 신호의 주파수, 대역폭, 파워의 세기, 이득, 및 초점 깊이 중 적어도 하나를 포함하는 컴퓨터 보조 진단 장치.
  5. 제3항에 있어서,
    상기 추가 영상 획득부는,
    영상 변형을 통하여 상기 주시 영역에 대한 적어도 하나의 추가 영상을 획득하는 경우, Horizontal Flip, Rotation, Cropping, Scaling, Shearing, Jittering, Stretching, Blurring, Sharpening, Histogram Modification, Restoration 및 Noise addition 중 적어도 하나를 이용하여 상기 검출된 주시 영역 부분의 영상을 변형하는 컴퓨터 보조 진단 장치.
  6. 제1항에 있어서,
    상기 주시 영역에서 검출된 관심 영역에 대하여 진단을 수행하는 진단부; 를 더 포함하는 컴퓨터 보조 진단 장치.
  7. 제1항에 있어서,
    의료 영상에 대하여 관심 영역의 일차 검출을 수행하는 관심 영역 검출부; 를 더 포함하는 컴퓨터 보조 진단 장치.
  8. 제1항에 있어서,
    상기 관심 영역의 일차 검출 결과를 화면에 출력하는 화면 표시부; 를 더 포함하는 컴퓨터 보조 진단 장치.
  9. 제8항에 있어서,
    상기 화면 표시부는,
    관심 영역 이차 검출 결과에 따라 상기 관심 영역의 일차 검출 결과를 수정하는 컴퓨터 보조 진단 장치.
  10. 제9항에 있어서,
    상기 화면 표시부는,
    상기 관심 영역 이차 검출 결과를 기반으로, 주시 영역에 대한 관심 영역의 일차 검출 결과가 오검출(false positive)라고 판단되면 주시 영역에 대해 표시된 관심 영역 식별 표시를 삭제하고, 주시 영역에 대한 관심 영역의 일차 검출 결과가 미검출(false negative)라고 판단되면 주시 영역에 대해 관심 영역 식별 표시를 추가하고, 주시 영역에 대한 관심 영역의 일차 검출 결과가 정상 검출(true positive)라고 판단되면 주시 영역에 대해 표시된 관심 영역 식별 표시를 유지하는 컴퓨터 보조 진단 장치.
  11. 사용자의 안구 움직임을 기반으로 관심 영역의 일차 검출이 완료된 의료 영상에서 사용자가 일정 시간 이상 주시한 주시 영역을 검출하는 단계; 및
    상기 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
  12. 제11항에 있어서,
    상기 수행하는 단계는,
    관심 영역의 일차 검출 시에 사용되는 검출 모델과 다른 검출 모델을 이용하여 상기 검출된 주시 영역에 대하여 관심 영역의 이차 검출을 수행하는 컴퓨터 보조 진단 방법.
  13. 제11항에 있어서,
    의료 영상의 획득에 사용되는 프로브의 파라미터 또는 프레임 레이트(frame rate)를 조정하거나, 검출된 주시 영역 부분의 영상을 변형하여 상기 검출된 주시 영역에 대한 적어도 하나의 추가 영상을 획득하는 단계; 를 더 포함하고,
    상기 수행하는 단계는, 상기 획득된 적어도 하나의 추가 영상 각각에 대하여 관심 영역의 검출을 수행하는 컴퓨터 보조 진단 방법.
  14. 제13항에 있어서,
    상기 프로브의 파라미터는,
    초음파 신호의 주파수, 대역폭, 파워의 세기, 이득, 및 초점 깊이 중 적어도 하나를 포함하는 컴퓨터 보조 진단 방법.
  15. 제13항에 있어서,
    상기 획득하는 단계는,
    영상 변형을 통하여 상기 주시 영역에 대한 적어도 하나의 추가 영상을 획득하는 경우, Horizontal Flip, Rotation, Cropping, Scaling, Shearing, Jittering, Stretching, Blurring, Sharpening, Histogram Modification, Restoration 및 Noise addition 중 적어도 하나를 이용하여 상기 검출된 주시 영역 부분의 영상을 변형하는 컴퓨터 보조 진단 방법.
  16. 제11항에 있어서,
    상기 주시 영역에서 검출된 관심 영역에 대하여 진단을 수행하는 단계; 를 더 포함하는 컴퓨터 보조 진단 방법.
  17. 제11항에 있어서,
    의료 영상에 대하여 관심 영역의 일차 검출을 수행하는 단계; 를 더 포함하는 컴퓨터 보조 진단 방법.
  18. 제11항에 있어서,
    상기 관심 영역의 일차 검출 결과를 화면에 출력하는 단계; 를 더 포함하는 컴퓨터 보조 진단 방법.
  19. 제18항에 있어서,
    관심 영역 이차 검출 결과에 따라 상기 관심 영역의 일차 검출 결과를 수정하는 단계; 를 더 포함하는 컴퓨터 보조 진단 방법.
  20. 제19항에 있어서,
    상기 수정하는 단계는,
    주시 영역에 대한 관심 영역의 일차 검출 결과가 오검출(false positive)라고 판단되면 주시 영역에 대해 표시된 관심 영역 식별 표시를 삭제하는 단계;
    주시 영역에 대한 관심 영역의 일차 검출 결과가 미검출(false negative)라고 판단되면 주시 영역에 대해 관심 영역 식별 표시를 추가하는 단계; 및
    주시 영역에 대한 관심 영역의 일차 검출 결과가 정상 검출(true positive)라고 판단되면 주시 영역에 대해 표시된 관심 영역 식별 표시를 유지하는 단계; 를 포함하는 컴퓨터 보조 진단 방법.
KR1020140178733A 2014-12-11 2014-12-11 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법 Abandoned KR20160071242A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140178733A KR20160071242A (ko) 2014-12-11 2014-12-11 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
US14/965,986 US9818029B2 (en) 2014-12-11 2015-12-11 Apparatus and method for computer aided diagnosis (CAD) based on eye movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140178733A KR20160071242A (ko) 2014-12-11 2014-12-11 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20160071242A true KR20160071242A (ko) 2016-06-21

Family

ID=56111465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140178733A Abandoned KR20160071242A (ko) 2014-12-11 2014-12-11 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법

Country Status (2)

Country Link
US (1) US9818029B2 (ko)
KR (1) KR20160071242A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023040936A (ja) * 2021-09-10 2023-03-23 富士フイルム株式会社 情報処理装置、学習データ生成装置、及び診断支援システム

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9439621B2 (en) 2009-11-27 2016-09-13 Qview, Medical Inc Reduced image reading time and improved patient flow in automated breast ultrasound using enchanced, whole breast navigator overview images
US10603007B2 (en) 2009-11-27 2020-03-31 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
US10251621B2 (en) 2010-07-19 2019-04-09 Qview Medical, Inc. Automated breast ultrasound equipment and methods using enhanced navigator aids
US9826958B2 (en) 2009-11-27 2017-11-28 QView, INC Automated detection of suspected abnormalities in ultrasound breast images
US11705232B2 (en) * 2021-02-11 2023-07-18 Nuance Communications, Inc. Communication system and method
WO2017051944A1 (ko) * 2015-09-24 2017-03-30 주식회사 뷰노코리아 의료 영상 판독 과정에서 사용자의 시선 정보를 이용한 판독 효율 증대 방법 및 그 장치
WO2018002776A1 (en) * 2016-06-28 2018-01-04 Koninklijke Philips N.V. System and architecture for seamless workflow integration and orchestration of clinical intelligence
US10617396B2 (en) 2016-10-17 2020-04-14 International Business Machines Corporation Detection of valve disease from analysis of doppler waveforms exploiting the echocardiography annotations
JP2018092610A (ja) * 2016-11-28 2018-06-14 キヤノン株式会社 画像認識装置、画像認識方法及びプログラム
CN106646893A (zh) * 2016-12-20 2017-05-10 哈尔滨点网科技发展有限公司 一种医用胶片观片系统和方法
US10885676B2 (en) * 2016-12-27 2021-01-05 Samsung Electronics Co., Ltd. Method and apparatus for modifying display settings in virtual/augmented reality
KR102541559B1 (ko) * 2017-08-04 2023-06-08 삼성전자주식회사 관심 객체를 검출하는 방법 및 장치
CA3100495A1 (en) 2018-05-16 2019-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
US10943115B2 (en) * 2018-07-24 2021-03-09 Apical Ltd. Processing image data to perform object detection
KR102143465B1 (ko) * 2018-11-29 2020-08-11 주식회사 휴런 Aspect 스코어 추정 시스템 및 방법
CN112885435B (zh) * 2019-11-29 2023-04-21 天津拓影科技有限公司 图像目标区域的确定方法、装置和系统
US11490968B2 (en) * 2020-07-29 2022-11-08 Karl Storz Se & Co. Kg Devices, systems, and methods for labeling objects of interest during a medical procedure
KR20220149348A (ko) * 2021-04-30 2022-11-08 삼성전자주식회사 객체의 깊이 정보를 획득하는 증강 현실 디바이스 및 그 동작 방법
JP7555170B2 (ja) * 2021-05-12 2024-09-24 富士フイルム株式会社 超音波診断装置及び診断支援方法
JP7605184B2 (ja) * 2022-06-14 2024-12-24 コニカミノルタ株式会社 プログラム、情報処理装置、情報処理システム及び情報処理方法
CN116616814B (zh) * 2023-05-18 2025-01-24 逸超医疗科技(北京)有限公司 一种实现超声成像控制和显示的装置及方法

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731805A (en) * 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
IT1320956B1 (it) * 2000-03-24 2003-12-18 Univ Bologna Metodo, e relativa apparecchiatura, per la rilevazione automatica dimicrocalcificazioni in segnali digitali di tessuto mammario.
US7072501B2 (en) * 2000-11-22 2006-07-04 R2 Technology, Inc. Graphical user interface for display of anatomical information
US7106366B2 (en) * 2001-12-19 2006-09-12 Eastman Kodak Company Image capture system incorporating metadata to facilitate transcoding
US7324661B2 (en) * 2004-04-30 2008-01-29 Colgate-Palmolive Company Computer-implemented system and method for automated and highly accurate plaque analysis, reporting, and visualization
US8295541B2 (en) * 2004-06-30 2012-10-23 Vision Fire & Security Pty Ltd System and method for detecting a change in an object scene
US7331929B2 (en) * 2004-10-01 2008-02-19 General Electric Company Method and apparatus for surgical operating room information display gaze detection and user prioritization for control
ITFI20040223A1 (it) * 2004-10-29 2005-01-29 Sr Labs S R L Metodo e sistema di visualizzazione,elaborazione ed analisi integrata di immagini mediche
US7396129B2 (en) * 2004-11-22 2008-07-08 Carestream Health, Inc. Diagnostic system having gaze tracking
US8494235B2 (en) * 2007-06-04 2013-07-23 Siemens Medical Solutions Usa, Inc. Automatic detection of lymph nodes
JP5077879B2 (ja) 2007-08-29 2012-11-21 国立大学法人佐賀大学 視線入力装置、視線入力方法、及び、視線入力プログラム
US8098910B2 (en) * 2007-09-11 2012-01-17 Siemens Medical Solutions Usa, Inc. Adaptive motion imaging in medical diagnostic ultrasound imaging
US9239958B2 (en) * 2007-11-09 2016-01-19 The Nielsen Company (Us), Llc Methods and apparatus to measure brand exposure in media streams
US9757083B2 (en) * 2007-12-28 2017-09-12 Koninklijke Philips N.V. Scanning method and system
US8155479B2 (en) * 2008-03-28 2012-04-10 Intuitive Surgical Operations Inc. Automated panning and digital zooming for robotic surgical systems
US9841811B2 (en) * 2008-11-03 2017-12-12 Bruce Reiner Visually directed human-computer interaction for medical applications
US8214756B2 (en) * 2008-11-25 2012-07-03 Vital Images, Inc. User interface for iterative image modification
US8175376B2 (en) * 2009-03-09 2012-05-08 Xerox Corporation Framework for image thumbnailing based on visual similarity
US8290227B2 (en) * 2009-03-27 2012-10-16 Carestream Health, Inc. Method and system for diagnostics support
CN101943982B (zh) * 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
KR101596890B1 (ko) * 2009-07-29 2016-03-07 삼성전자주식회사 사용자의 시선 정보를 이용한 디지털 오브젝트 탐색 장치 및 방법
US9223854B2 (en) * 2009-10-14 2015-12-29 Hewlett-Packard Development Company, L.P. Document relevance determining method and computer program
US8340388B2 (en) * 2009-11-03 2012-12-25 Icad, Inc. Systems, computer-readable media, methods, and medical imaging apparatus for the automated detection of suspicious regions of interest in noise normalized X-ray medical imagery
KR101032446B1 (ko) * 2009-11-26 2011-05-03 광주과학기술원 영상의 정점 검출 장치 및 방법
US8553954B2 (en) * 2010-08-24 2013-10-08 Siemens Medical Solutions Usa, Inc. Automated system for anatomical vessel characteristic determination
US20130272587A1 (en) * 2010-08-25 2013-10-17 Siemens Corporation System and method for interactive segmentation on mobile devices in a cloud computing environment
US20120235064A1 (en) * 2011-03-16 2012-09-20 Intellirad Control, Inc. Radiation control and minimization system and method
US8582811B2 (en) * 2011-09-01 2013-11-12 Xerox Corporation Unsupervised parameter settings for object tracking algorithms
KR20140057594A (ko) * 2011-09-08 2014-05-13 인텔 코오퍼레이션 상호작용 스크린 보기
BR102012028367B1 (pt) * 2012-11-06 2022-03-22 Timpel S.A Método e aparato para gerar e exibir uma representação simplificada de informações obtidas através de tomografia por impedância elétrica
US9996150B2 (en) * 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
KR20140139840A (ko) * 2013-05-28 2014-12-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
JP6309376B2 (ja) * 2013-07-03 2018-04-11 キヤノンメディカルシステムズ株式会社 医用情報処理システム、医用情報処理プログラム及び超音波診断装置
KR20150031091A (ko) * 2013-09-13 2015-03-23 삼성메디슨 주식회사 가이드 라인을 이용한 초음파 정보 제공 방법 및 장치
KR20150120774A (ko) * 2014-04-18 2015-10-28 삼성전자주식회사 관심영역 검출 시스템 및 방법
KR102294194B1 (ko) * 2014-08-05 2021-08-26 삼성전자주식회사 관심영역의 시각화 장치 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023040936A (ja) * 2021-09-10 2023-03-23 富士フイルム株式会社 情報処理装置、学習データ生成装置、及び診断支援システム
US12300386B2 (en) 2021-09-10 2025-05-13 Fujifilm Corporation Information processing apparatus, training data generation device, and diagnosis support system

Also Published As

Publication number Publication date
US20160171299A1 (en) 2016-06-16
US9818029B2 (en) 2017-11-14

Similar Documents

Publication Publication Date Title
KR20160071242A (ko) 안구 움직임에 기반한 컴퓨터 보조 진단 장치 및 방법
EP2505162B1 (en) Method and apparatus for generating medical image of body organ by using 3-D model
US10653381B2 (en) Motion tracking system for real time adaptive motion compensation in biomedical imaging
JP5712774B2 (ja) 物体検知方法及び装置
US20190130565A1 (en) Method of processing medical image, and medical image processing apparatus performing the method
JP2019527448A (ja) 車両の運転者の状態を監視するための方法及びシステム
CN112807025A (zh) 超声扫查引导方法、装置、系统、计算机设备和存储介质
CN113269885B (zh) 医药中根据照相机流的患者模型估计
US20090129679A1 (en) Image processing apparatus, image processing method, and computer-readable medium
JP7454456B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
JP5662962B2 (ja) 画像処理装置、方法及びプログラム
CN106659480B (zh) 超声波诊断图像生成装置以及方法
EP3065072A1 (en) Apparatus and method for providing reliability for computer aided diagnosis
EP3174467A1 (en) Ultrasound imaging apparatus
US20230270500A1 (en) Generating and displaying a rendering of a left atrial appendage
JP4416823B2 (ja) 画像処理装置、画像処理方法、及びコンピュータプログラム
JP4571378B2 (ja) 画像処理方法および装置並びにプログラム
CN115761871B (zh) 基于眼动检测的检测图像生成方法、装置、设备及介质
US20250114149A1 (en) Image processing system, image processing method, and information storage medium
US20240338941A1 (en) Image processing apparatus, and image processing method
KR102518493B1 (ko) 경추를 포함하는 X-ray 이미지에서, 인공 지능 모델을 이용하여 상기 경추에 포함된 적어도 하나의 경추 포인트를 검출하는 전자 장치 및 그의 방법
EP4560645A1 (en) System and methods for monitoring trained machine learning models in a healthcare context
EP4321101A1 (en) Patient motion detection in diagnostic imaging
EP4488928A1 (en) Training program, generation program, training method, and generation method
Su et al. Tongue Segmentation with Geometrically Constrained Snake Model.

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20141211

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20191105

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20141211

Comment text: Patent Application

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20210318

PC1904 Unpaid initial registration fee