[go: up one dir, main page]

KR20190078540A - 의료 시술 동안 내비게이션을 돕기 위한 증강 현실의 용도 - Google Patents

의료 시술 동안 내비게이션을 돕기 위한 증강 현실의 용도 Download PDF

Info

Publication number
KR20190078540A
KR20190078540A KR1020180169367A KR20180169367A KR20190078540A KR 20190078540 A KR20190078540 A KR 20190078540A KR 1020180169367 A KR1020180169367 A KR 1020180169367A KR 20180169367 A KR20180169367 A KR 20180169367A KR 20190078540 A KR20190078540 A KR 20190078540A
Authority
KR
South Korea
Prior art keywords
camera
image
workstation
tool
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020180169367A
Other languages
English (en)
Inventor
안드레스 클라우디오 알트만
아사프 고바리
바딤 글리너
이츠하크 팡
노암 라첼리
요아브 핀스키
이타마르 부스탄
제트미르 팔루시
즈비 데켈
Original Assignee
바이오센스 웹스터 (이스라엘) 리미티드
아클라런트, 인코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 바이오센스 웹스터 (이스라엘) 리미티드, 아클라런트, 인코포레이션 filed Critical 바이오센스 웹스터 (이스라엘) 리미티드
Publication of KR20190078540A publication Critical patent/KR20190078540A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00004—Operational features of endoscopes characterised by electronic signal processing
    • A61B1/00009—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope
    • A61B1/000094—Operational features of endoscopes characterised by electronic signal processing of image signals during a use of endoscope extracting biological structures
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/00002—Operational features of endoscopes
    • A61B1/00043—Operational features of endoscopes provided with output arrangements
    • A61B1/00045—Display arrangement
    • A61B1/0005—Display arrangement combining images e.g. side-by-side, superimposed or tiled
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/04—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor combined with photographic or television appliances
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B1/00—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor
    • A61B1/233—Instruments for performing medical examinations of the interior of cavities or tubes of the body by visual or photographical inspection, e.g. endoscopes; Illuminating arrangements therefor for the nose, i.e. nasoscopes, e.g. testing of patency of Eustachian tubes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods
    • A61B17/24—Surgical instruments, devices or methods for use in the oral cavity, larynx, bronchial passages or nose; Tongue scrapers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/061—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • A61B5/064—Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body using markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; Determining position of diagnostic devices within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/068—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe using impedance sensors
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient; User input means
    • A61B5/742—Details of notification to user or communication with user or patient; User input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2051—Electromagnetic tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/256—User interfaces for surgical systems having a database of accessory information, e.g. including context sensitive help or scientific articles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2505/00—Evaluating, monitoring or diagnosing in the context of a particular type of medical care
    • A61B2505/05—Surgical care
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Robotics (AREA)
  • General Physics & Mathematics (AREA)
  • Otolaryngology (AREA)
  • General Engineering & Computer Science (AREA)
  • Pulmonology (AREA)
  • Dentistry (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Endoscopes (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Manipulator (AREA)

Abstract

침습성 시술을 수행하는 의사들은 수술 도구로 수술할 때 정확도 및 정밀도를 요구한다. 외과 시술은 점점 더 최소 침습성이 되고 있는데, 이때 의사들은 수술 부위를 관찰하기 위해 카메라를 사용하여 수술하고 그들의 도구를 접안경(oculars) 또는 비디오 디스플레이를 통해 유도한다. 이상적으로, 의사는 환자의 실시간 이미지 및 수술 도구의 조작과 다음 수술 단계에 관한 그의 의학적 결정에 중요한 추가 데이터 둘 모두를 동시에 관찰하면서 침습성 시술을 수행할 수 있어야 한다. 본 발명의 증강 현실 내비게이션 시스템은 카메라 상에 그리고/또는 시술 동안 사용되는 도구 상에 포함된 위치 센서의 사용을 통해 침습성 시술에 대한 도구 위치 가시성을 제공한다. 위치 추적 시스템은 센서에 의해 검출된 신호의 특성에 기초하여 도구 및 카메라의 위치를 결정 및 모니터링하고, 카메라로 획득된 이미지 상에 정보 오버레이(overlay)를 디스플레이한다.

Description

의료 시술 동안 내비게이션을 돕기 위한 증강 현실의 용도{USE OF AUGMENTED REALITY TO ASSIST NAVIGATION DURING MEDICAL PROCEDURES}
외과 시술은 흔히 해부학적 구조의 가시성의 문제를 겪는다. 신체 내의 해부학적 구조물을 시각화하는 것을 돕는 시각적 보조기(visual aid)가 존재한다. 그러나, 그러한 시각적 보조기의 유효성은 해부학적 구조물이 불투명하고 그에 따라서 다른 해부학적 구조물에 대한 가시성을 차단한다는 사실로 인해 제한된다. 인체 내로의 하나 이상의 도구의 삽입을 수반하는 것과 같은 외과 시술의 특성은 흔히 그러한 도구에 의해 발생하고 있는 것을 정확하게 볼 수 없게 한다. 시술 동안 가시성을 획득하기 위한 개선된 기술이 지속적으로 개발되고 있다.
대상(subject)의 증강 현실 디스플레이를 제공하기 위한 방법이 제공된다. 본 방법은 카메라로부터 이미지를 획득하는 단계를 포함한다. 본 방법은 또한 카메라의 위치를 검출하는 단계를 포함한다. 본 방법은 카메라의 위치에 기초하여 카메라의 시야(field of view)를 식별하는 단계를 추가로 포함한다. 본 방법은 또한 시야에 대응하는 하나 이상의 오버레이(overlay) 특징부를 생성하는 단계를 포함한다. 본 방법은 하나 이상의 오버레이 특징부를 카메라로부터의 이미지와 합성하여 합성 이미지를 형성하는 단계를 추가로 포함한다. 본 방법은 또한 디스플레이 상에 합성 이미지를 디스플레이하는 단계를 포함한다.
대상의 증강 현실 디스플레이를 제공하기 위한 시스템이 제공된다. 시스템은 워크스테이션 및 카메라를 포함한다. 워크스테이션은 카메라로부터 이미지를 획득하도록, 카메라의 위치를 검출하도록, 그리고 카메라의 위치에 기초하여 카메라의 시야를 식별하도록 구성된다. 워크스테이션은 또한 시야에 대응하는 하나 이상의 오버레이 특징부를 생성하도록 구성된다. 워크스테이션은 하나 이상의 오버레이 특징부를 카메라로부터의 이미지와 합성하여 합성 이미지를 형성하도록 그리고 합성 이미지를 디스플레이 상에 디스플레이하도록 추가로 구성된다.
대상의 증강 현실 디스플레이를 제공하기 위한 시스템이 또한 제공된다. 시스템은 워크스테이션, 디스플레이, 하나 이상의 도구, 카메라, 내시경, 및 내시경 카메라를 포함한다. 워크스테이션은 카메라로부터 이미지를 획득하도록 그리고 카메라의 위치를 검출하도록 구성된다. 워크스테이션은 또한 카메라의 위치에 기초하여 카메라의 시야를 식별하도록 구성된다. 워크스테이션은 대상의 해부학적 구조와 연관되거나 또는 하나 이상의 도구와 연관되는, 카메라의 시야에 대응하는 하나 이상의 오버레이 특징부를 생성하도록 추가로 구성된다. 워크스테이션은 또한 카메라의 시야에 대응하는 하나 이상의 오버레이 특징부를 카메라로부터의 이미지와 합성하여 합성 이미지를 형성하도록 구성된다. 워크스테이션은 디스플레이 상에 합성 이미지를 디스플레이하도록 추가로 구성된다.
첨부 도면과 함께 일례로서 주어진 하기 설명으로부터 더 상세한 이해를 가질 수 있다.
도 1은 본 발명의 일 실시예에 따른 위치 추적 및 내비게이션 시스템의 개략도이다.
도 2는 이비인후과와 관련된 도구를 포함하는 예시적인 위치 추적 및 내비게이션 시스템의 일부분들을 도시한다.
도 3은 일례에 따른, 오버레이 특징부가 존재하는 상황(context)을 예시하기 위한 그리고/또는 오버레이 특징부 중 적어도 일부가 생성되는 방식을 보여주기 위한, 머리의 3D 모델을 도시한다.
도 4a 내지 도 4d는 예시적인 내시경 이미지를 도시한다.
도 5a 및 도 5b는 본 명세서에서 "해부학적 특징부 외형선"으로 지칭되는 오버레이 특징부의 한 가지 유형을 포함하는 예시적인 이미지를 도시한다.
도 6은 일례에 따른, 증강 현실 이미지를 디스플레이하기 위한 방법의 흐름도이다.
침습성 시술을 수행하는 의사들은 수술 도구로 수술할 때 정확도 및 정밀도를 요구한다. 외과 시술은 점점 더 최소 침습성이 되고 있는데, 이때 의사들은 수술 부위를 관찰하기 위해 카메라를 사용하여 수술하고 그들의 도구를 접안경(oculars) 또는 비디오 디스플레이를 통해 유도한다. 이상적으로, 의사는 환자의 실시간 이미지 및 수술 도구의 조작과 다음 수술 단계에 관한 그의 의학적 결정에 중요한 추가 데이터 둘 모두를, 단일 디스플레이 디바이스 상에서, 동시에 관찰하면서 침습성 시술을 수행할 수 있어야 한다.
본 발명의 증강 현실 내비게이션 시스템은 카메라 상에 그리고/또는 시술 동안 사용되는 도구 상에 포함된 위치 센서의 사용을 통해 침습성 시술에 대한 도구 위치 가시성을 제공한다. 위치 추적 시스템은 센서에 의해 검출된 신호의 특성(예컨대, 전자기 센서의 진폭 또는 주파수)에 기초하여 도구 및 카메라의 위치를 결정하고 모니터링한다. 정합 처리는 환자의 3D 모델(예를 들어, 컴퓨터 단층촬영(computed tomography, "CT") 스캔과 같은 의료 스캔을 통해 생성됨)을 그 환자의 실제 위치에 상관시킨다. 따라서, 도구 및 카메라의 위치가 환자의 해부학적 구조의 위치에 대해 추적된다. 이러한 상대 위치 추적은 시술에 관련된 정보가 카메라에 의해 생성된 이미지와 합성되게 한다. 예를 들어, 도구에 대한 카메라의 위치가 알려져 있기 때문에, 도구의 위치는 도구가 환자의 조직에 의해 가려짐으로 인해 인간 조작자에게 가시적이지 않을 때에도 이미지 내에 디스플레이될 수 있다. 이러한 디스플레이는 물체의 이미지를 카메라의 위치에 대해 렌더링하는 표준 3차원("3D") 렌더링 기술을 통해 달성된다. 더 구체적으로, 카메라 및 도구의 위치 및 배향은 추적 시스템의 기능을 통해 환자의 위치에 대해 알려진다. 따라서, 도구의 위치는 카메라의 시야에 대해 알려진다. 표준 3D 렌더링 기술은 카메라에 대한 물체의 위치에 기초하여 3D 물체의 이미지를 디스플레이한다. 그러한 기술은 도구에 대응하는 이미지(예컨대, 도구의 그래픽 표현)를 렌더링하는 데 사용될 수 있고, 추가 합성 기술이 카메라로부터 수신된 환자의 이미지 위에 그러한 렌더링된 이미지를 디스플레이하기 위해 사용될 수 있다. 추가 정보, 예컨대, 도구의 시각화, 동맥 또는 혈관의 네트워크, 신경의 네트워크, 또는 제거하고자 하는 종양의 수술전 식별된 경계와 같은 해부학적 구조의 3차원 구조물의 디스플레이를 포함하는 해부학적 구조의 렌더링, 또는 다른 정보가 그러한 합성 이미지에 추가로 또는 대안으로 보일 수 있다.
본 발명과 관련된 한 가지 이전의 기법은 Biosense Webster, Inc.(미국 캘리포니아주 다이아몬드 바 소재)에 의해 제조된 CARTO™ 시스템이다. CARTO™ 시스템 및 다른 관련 기법의 태양이 미국 특허 제5,391,199호, 제6,690,963호, 제6,484,118호, 제6,239,724호, 제6,618,612호 및 제6,332,089호, PCT 특허 공개 WO 96/05768호, 및 미국 특허 출원 공개 제2002/0065455 A1호, 제2003/0120150 A1호, 및 제2004/0068178 A1호에서 확인될 수 있고, 이들 개시내용은 모두 본 명세서에 참고로 포함된다.
도 1은 본 발명의 일 실시예에 따른 위치 추적 및 내비게이션 시스템(100)의 개략도이다. 도 1에 도시된 바와 같이, 시스템은 하나 이상의 의료 도구(10)(예컨대, 카테터, 가이드와이어, 내시경 등), 카메라(44), 적어도 프로세서(14)를 포함하는 적어도 워크스테이션(12) 및 하나 이상의 디스플레이 디바이스(16)(예컨대, 모니터 또는 가상 현실 디스플레이)를 포함하는 콘솔(38), 카테터 허브(18), 위치 패드(30), 위치 정합 도구(40), 및 위치 패드 드라이버("LP 드라이버")(20)를 포함한다.
워크스테이션(12)은 링크(50)를 통해 LP 드라이버(20)와 통신하여, LP 드라이버(20)가 링크(54)를 통해 통신하여 필드 발생기를 위치 패드(30) 내에서 구동하게 하도록 구성된다. 필드 발생기는 센서(32)에 의해 검출되는 필드 신호(예컨대, 전자기 또는 다른 유형의 필드, 예컨대 음향)를 방출한다. 센서(32)는 필드 신호에 응답하여 응답 신호를 생성한다. 응답 신호는 카테터 허브(18)에 의해 감지된다. 카테터 허브(18)는 도구(들)(10), 카메라(44), 및 위치 정합 도구(40) 상의 센서(32)들과 통신 링크(42)들을 통해 통신한다. 통신 링크(42)는 유선 또는 무선 링크일 수 있다. 카테터 허브(18)는 응답 신호 또는 응답 신호의 처리된 형태를 유선 또는 무선 링크일 수 있는 링크(52)를 통해 워크스테이션(12)으로 송신한다.
워크스테이션(12)은, 응답 신호의 특성에 기초하여, 센서(32), 및 그에 따른, 센서(32)가 내부에 포함되거나 부착되는 물체(예컨대, 카메라(44), 도구(들)(10), 및 위치 정합 도구(40))의 위치 및 물리적 배향을 결정한다. 일례에서, 위치 패드(30) 내의 필드 발생기는 각각 알려진 상대 위치를 갖는다. 센서(32)는 다수의 필드 발생기로부터 신호를 수신한다. 수신된 신호들은 시간에 기초하여 구별될 수 있고(예컨대, 상이한 필드 발생기는 센서(32)가 신호를 수신하는 시간이 상이한 필드 발생기와 상관될 수 있도록 상이한 시간에 구동됨), 주파수에 기초하여 구별될 수 있고(예컨대, 상이한 필드 발생기는 센서(32)에 의해 수신된 신호의 주파수가 개별 필드 발생기를 식별하도록 상이한 주파수의 신호로 구동됨), 또는 필드 발생기에 의해 생성되는 신호의 다른 특성에 기초하여 구별될 수 있다.
전술된 바와 같이, 카테터 허브(18)는 센서(32)로부터 수신된 신호(또는 신호의 처리된 형태)를 처리를 위해 워크스테이션(12)으로 송신한다. 워크스테이션(12)은 신호를 처리하여 위치 패드(30)의 필드 발생기에 대한 센서(32)의 위치를 결정한다. 센서(32)의 위치를 결정하기 위해 수행되는 처리는 필드 발생기에 의해 방출되는 신호의 유형에 의존한다. 일부 예에서, 처리는 필드 발생기의 각각에 응답하여 수신된 신호의 진폭을 결정한다. 더 큰 진폭은 필드 발생기까지의 더 작은 거리를 나타내고, 더 작은 진폭은 필드 발생기까지의 더 큰 거리를 나타낸다. 센서(32)당 다수의 필드 발생기(예컨대, 3개)에 대한 거리 결정에 의해, 필드 발생기에 대한 위치가 삼각측량을 통해 결정될 수 있다. 대안예에서, 위치 패드(30)의 필드 발생기는 센서가 대신하고, 도구 상의 센서는 필드 발생기가 대신한다. 그러한 대안예에서, 위치 패드(30)의 센서는 도구에 의해 방출되는 신호를 검출하고, 워크스테이션(12)은 위치 패드(30)가 필드 발생기를 포함하였고 도구가 센서를 포함하였던 것처럼 유사한 방식으로 이러한 신호를 처리한다. 대안적으로, 신호에 대한 응답에 기초하여 위치를 결정하기 위한 임의의 기술적으로 실현가능한 기술이 사용될 수 있다. 또한, 도구의 위치를 결정하기 위한 특정 시스템이 설명되지만, 도구의 위치를 결정하기 위한 임의의 기술적으로 실현가능한 수단이 사용될 수 있다.
전술된 바와 같이, 시스템(100)은 또한 핸드헬드형 완드(handheld wand)로서 구체화될 수 있는 위치 정합 도구(40)를 포함한다. 위치 정합 도구(40)는 모델 데이터(48)에 저장된 3차원 모델을 정합 절차에서의 위치 패드 내의 필드 발생기의 위치와 상관시키기 위해 사용된다. 일례에서, 모델 데이터(48)의 3D 모델은 수술 대상(예컨대, 환자의 머리(22))의 컴퓨터 데이터 표현이다. 이러한 3D 모델은 의료 이미징 기술, 예컨대, 컴퓨터 단층촬영("CT") 스캔 또는 자기 공명 영상("MRI"), 또는 3D 모델로 변환될 수 있는 데이터를 생성하는 임의의 다른 이미징 기술을 통해 획득될 수 있다. 정합 절차를 수행하기 위해, 위치 정합 도구(40)는 대상(예컨대, 머리(22)) 근처의 특정 위치에 배치된다. 이어서, 워크스테이션(12)은 그 위치를 모델 데이터(48)에 저장된 3D 모델 내의 위치와 연관시켜서, 그에 의해 3D 모델 내의 지점을 현실 내의 지점과 상관시킨다. 이러한 연관은 외과의와 같은 조작자에 의한 특정 표시에 응답하여 이루어질 수 있다. 그러한 시나리오에서, 워크스테이션(12)은 디스플레이(16) 상에 모델 데이터(48)로부터의 3D 모델을 디스플레이한다. 조작자는 위치 정합 도구(40)를 특정 위치로 이동시키고, 이어서 입력 디바이스(36)를 통해 3D 모델의 대응하는 위치를 워크스테이션(12)에 표시한다. 대안적인 시나리오에서, 워크스테이션(12)은 실제 공간 내의 위치를 3D 모델 내의 위치와 자동으로 연관시킨다. 일례에서, 이러한 자동 연관은 하기와 같이 수행된다. 위치 정합 도구(40)는 수술 대상(예컨대, 머리(22)) 근처 둘레로 이동된다. 워크스테이션(12)은 위치 정합 도구(40)로부터 수신된 데이터를 처리하여 3D 모델 내의 대응하는 위치를 식별한다. 일례에서, 위치 정합 도구(40)는 카메라를 포함하고, 워크스테이션(12)은 3D 모델에서 위치 정합 도구(40)의 위치를 식별하기 위해 위치 정합 도구(40)에 의해 수신된 이미지에 대해 이미지 처리를 수행한다. 일부 예에서, 실제 공간과 3D 모델 사이의 다수의 상관 지점이 획득되고 저장되어, 정합의 정확도를 개선하고 회전 및 위치 정합을 달성한다. 위치 정합 도구(40)가 실제 공간과 3D 모델 사이의 위치들의 정합을 달성하는 데 사용되는 도구로서 설명되지만, 다른 목적을 위해 사용되는 도구(예컨대, 카메라(44) 또는 도구(10)들 중 임의의 것)를 포함하는 임의의 다른 도구가 대안적으로 사용될 수 있다.
카메라(44)는 조작자를 위해 디스플레이(16)에 뷰(view)를 제공한다. 이러한 뷰는 (머리(22)에 의해 표현되는) 대상의 실제 이미지 둘 모두를 포함한다. 더 구체적으로, 카메라(44)는 대상(머리(22))의 일련의 이미지를 촬영하고, 그러한 이미지를 디스플레이(16) 상에 디스플레이한다.
더욱이, 워크스테이션(12)은 카메라(44)에 의해 제공되는 이미지 상에 특정 특징부를 오버레이할 수 있다. 더 구체적으로, 카메라(44)는, 위치 패드(30)와 함께(또는 대안적으로 일부 다른 메커니즘과 함께) 카테터 허브(18)와 협력하여 워크스테이션(12)에 카메라(44)의 위치 및 배향이 제공될 수 있게 하는 신호를 제공하는 위치 센서(32)를 포함한다. 이러한 위치 정보는 위치 패드(30), 및 도구(10)와 위치 정합 도구(40) 상의 센서(32)들의 협력과 관련하여 전술된 바와 유사한 방식으로 유도될 수 있다. 카메라(44)의 회전은 임의의 기술적으로 실현가능한 방식으로 검출될 수 있다. 일례에서, 다수의 상이한 마이크로센서가 카메라(44)의 센서(32) 내에 포함되고, 상이한 마이크로센서에 의해 취해진 상대 측정치는 카메라(44)의 회전을 결정하는 데 사용된다.
워크스테이션(12)은 카메라(44)에 대해 획득된 위치 및 회전 정보를 사용하여 디스플레이(16) 상에 하나 이상의 오버레이 특징부를 제공하는데, 오버레이 특징부는 카메라에 의해 생성된 이미지와 합성된다. 더 구체적으로, 카메라(44)의 위치 및 배향에 기초하여, 워크스테이션(12)은 모델 데이터(48)의 3D 모델의 3차원 공간 내에 하나 이상의 가상 물체(예컨대, 해부학적 라벨)를 위치시킬 수 있다. (위치 정합 절차를 통해 이루어진) 현실의 좌표계와 3D 모델의 3D 공간 사이의 링크로 인해, 3D 모델의 3D 공간에 링크된 가상 물체(본 명세서에서 "오버레이 특징부"로 또한 지칭됨)가 카메라로 촬영된 이미지에 디스플레이될 수 있다.
전통적인 3D 이미징 기술은 카메라로 촬영된 이미지에 일부 그러한 오버레이 특징부를 디스플레이하는 데 사용될 수 있다. 간단한 예에서, 워크스테이션(12)은 실제 공간에서의 카메라(44)의 위치를 갖고, 전술된 정합 절차를 통해 3D 모델의 기하학적 형상을 실제 공간과 상관시켰다. 따라서, 워크스테이션(12)은 실제 공간 좌표계 내의 카메라(44) 및 3D 모델의 상대 위치를 안다. 구매가능한 표준 3D 렌더링 그래픽 카드(예를 들어, 미국 캘리포니아주 산타 클라라 소재의 Nvidia corporation으로부터 입수가능한 GeForce 시리즈의 카드 또는 미국 캘리포니아주 서니베일 소재의 Advanced Micro Devices, Inc.로부터 입수가능한 Radeon 시리즈의 카드)에서 구현되는 것과 같은 전통적인 3D 렌더링 기술은, 좌표계 내의 물체의 위치를 고려하고 그 좌표계 내의 카메라 위치를 고려하면, 3차원 물체를 스크린 공간에 그릴 수 있다. 그러한 기술은 디스플레이(16) 상에 디스플레이되는 스크린 공간에서 모델 데이터(48)의 3D 모델을 렌더링하는 데 사용될 수 있다. 일부 작동 모드에서, 워크스테이션(12)은 카메라(44)에 의해 제공된 이미지 위에, 아래에서 논의되는, 모델 데이터(48) 및/또는 다른 오버레이 특징부의 3D 모델을 렌더링한다. 따라서, 그러한 작동 모드에서, 워크스테이션(12)은 카메라(44)-생성 이미지와 합성된, 3D 모델 기반 오버레이를 포함하는 이미지를 생성한다. 일부 작동 모드에서, 워크스테이션(12)은 3D 모델의 어떤 부분도 디스플레이하지 않거나, 3D 모델의 일부 부분 또는 모든 부분을 디스플레이하고, 그리고 어떤 다른 오버레이 특징부도 디스플레이하지 않거나 일부 다른 오버레이 특징부를 디스플레이한다. 오버레이 특징부는 대상(예를 들어, 머리(22))에 대해 수행되는 시술과 관련되고/되거나 대상의 해부학적 구조와 관련되는 정보를 포함한다. 오버레이 특징부는 대상의 3차원 공간 내의 특정 위치를 마킹하기 위한 사용자(예를 들어, 외과의)-생성 태그(tag)를 포함한다. 오버레이 특징부는 대안적으로 또는 추가적으로, 카메라(44)를 통해 획득된 이미지의 분석에 기초하여 생성되는 컴퓨터-생성 특징부를 포함한다. 오버레이 특징부는, 대상에 대해 수행된 시술 또는 시스템(100)의 사용의 임의의 다른 양태에 관련된 정보를 나타내는 디스플레이(16) 상에 디스플레이가능한 임의의 다른 데이터를 포함할 수 있다. 일례에서, 오버레이 특징부는 관심 지점으로서, 해부학적 구조의 식별로서, 구체적으로 정의된 텍스트로서, 또는 임의의 다른 특징부로서 외과의에 의해 미리정의된 마커를 포함한다.
다른 예에서, 오버레이 특징부는 하나 이상의 도구(10)의 그래픽 표현을 포함한다. 더 구체적으로, 워크스테이션(12)은 카메라(44)에 대한 도구 상의 센서(32)의 위치를 갖는다. 워크스테이션(12)은 카메라(44)에 의해 생성된 이미지에 도구의 그래픽 표현을 렌더링하기 위해 위에서 논의된 것과 유사한 기술을 사용할 수 있다. 그래픽 표현이 렌더링되는 방식은 도구(10)의 위치에 더하여 도구(10)의 배향(예컨대, 회전)에 의존할 수 있어서, 의사가 환자의 해부학적 구조에 대한 도구(10)의 기하학적 형상의 위치를 이해하게 한다.
디스플레이(16)는 전통적인 디스플레이일 수 있거나, 가상 현실 안경일 수 있다. 가상 현실 안경은 납에 의해 제공되는 X-선 차폐와 같은 적절한 차폐를, 시술이 그러한 차폐에 적합한 이미징을 수반하는 경우, 가질 수 있다. 디스플레이(16)는 또한 원격으로 제어되는 도구(10)와 함께 원격 수술을 가능하게 할 수 있는 원격 디스플레이(즉, 환자로부터 원격에 위치된 디스플레이)일 수 있다.
시스템(100)의 추가의 상세 사항이 이제 나머지 도면을 참조하여 설명될 것이다. 이러한 추가 도면은 이비인후과 시술의 상황에서의 시스템(100)의 양태를 도시하지만, 설명된 대체적인 원리가 인체의 다른 영역에 사용될 수 있다는 것을 이해하여야 한다.
도 2는 이비인후과와 관련된 도구를 포함하는 예시적인 위치 추적 및 내비게이션 시스템(200)의 일부분들을 도시한다. 시스템(200)은 도구(10)들 중 하나가 내시경(202)인 시스템(100)의 일례이다. 위치 추적 및 내비게이션 시스템(200)은 도 1의 디스플레이(16)와 유사한 디스플레이(16), 및 도 1의 워크스테이션(12)과 유사한 워크스테이션(12)을 포함한다. 위치 추적 및 내비게이션 시스템(200)은 또한 도 1의 시스템(100)의 다른 요소를, 그러한 요소가 도 2에 도시되지 않은 경우에도, 포함한다. 시스템(200)이 내시경(202) 및 카메라(44) 둘 모두를 포함하는 것으로 설명되지만, 카메라(44) 없이 내시경(202)만을 사용하는 것이 가능하다.
도 2의 도구(10)들 중 하나는 내시경(202)으로, 내시경(202)은 원위 단부(208)에서 이미지를 획득하고 그 이미지를 내시경(202)에 연결된 카메라(204)에 제공하는 프로브(206)를 포함한다. 카메라(204)는 이미지를 워크스테이션(12)으로 송신하며, 워크스테이션은 디스플레이를 위해 이미지를 처리한다. 워크스테이션(12)은 내시경(202)과 통합된 카메라(204)로 획득된 이미지를 도 1에 도시된 카메라(44)로 획득된 이미지를 보여주는 것과 동일한 디스플레이에서 (예컨대, 디스플레이(16) 상에) 디스플레이할 수 있거나, 별개의 내시경 디스플레이(205)에서 이미지를 보여줄 수 있다. 디스플레이(16) 상에서 보여주는 경우, 워크스테이션(12)은 디스플레이(16)가 카메라(204)와 카메라(44) 사이에서 공유될 수 있도록 작동을 수행한다. 일례에서, 디스플레이(16)는 조작자로부터의 입력에 응답하여 카메라(44)로부터의 이미지를 보여주는 것과 카메라(204)로부터의 이미지를 보여주는 것 사이에서 스위칭된다. 예를 들어, 카메라(204)가 꺼진 경우에 디스플레이(16)는 카메라(44)로부터의 이미지를 보여줄 수 있고, 카메라(204)가 켜진 경우에 디스플레이(16)는 카메라(204)로부터의 이미지를 보여줄 수 있다. 대안적으로, 카메라(44) 또는 카메라(204)의 선택은 어느 카메라가 이미지를 보여주는 지를 명시적으로 선택하는 명시적인 카메라 선택 입력에 응답하여 발생할 수 있다. 내시경 디스플레이(205)가 내시경(202)의 카메라(204)로부터의 이미지를 보여주는 데 사용되면, 디스플레이들 사이에는 경합(contention)이 없다 - 디스플레이(16)는 카메라(44)로부터의 이미지를 보여주고, 내시경 디스플레이(205)는 내시경(202)의 카메라(204)로부터의 이미지를 보여준다. 오버레이 특징부를 포함하는 도 1의 카메라(44)에 의해 생성된 이미지는 오버뷰 이미지(overview image)(210)(디스플레이(16) 상에 보여짐)이다.
카메라(44)에서와 같이, 워크스테이션(12)은 내시경(202)에 의해 획득된 카메라(204)로부터의 이미지를 획득하고, 그 이미지를 내시경 오버레이 특징부와 함께 디스플레이 상에 디스플레이한다. 내시경 오버레이 특징부는 수행되는 시술 및/또는 대상(예컨대, 머리(22))의 해부학적 구조와 관련된 정보를 포함한다. 또한, 시스템(100)에서와 같이, 하나 이상의 도구(10)(예컨대, 수술 도구)가 대상(예컨대, 머리(22))의 근처에 존재할 수 있다. 도 2는 센서(32)를 갖는 하나의 도구(10)를 도시한다. 또한, 내시경(202)의 프로브(206)의 단부에는 센서(32)가 있다. 워크스테이션(12)은, 위치 패드(30) 및 위치 패드 드라이버(20)와 함께, 센서(32)의 위치 및 배향과, 그에 따른 도구(10) 및 내시경 프로브(206)의 위치 및 배향을 검출한다. 도 2는 예시적인 구현예를 도시하고 센서(32)를 각각 갖는 임의의 개수의 도구(10)가 시술에 사용될 수 있다는 것을 이해하여야 한다. 카메라(204)에 의해 생성되고 내시경 오버레이 특징부를 포함하는 이미지는 내시경 이미지(212)를 포함하고, 이는 다시 디스플레이(16) 상에 또는 내시경 디스플레이(205) 상에 디스플레이될 수 있다.
내시경 오버레이 특징부는 (도시된 도구(10), 또는 다른 도구와 같은) 도구 위치의 표시, 해부학적 구조 위치 또는 자리의 표시, 또는 시술 또는 해부학적 구조와 관련된 다른 표시를 포함한다. 일부 작동 모드에서, 워크스테이션(12)은 센서(32)에 기초하여 생성된 위치 데이터를 처리하고, 그 위치 데이터를 사용하여 내시경 이미지(212)를 위한 오버레이 특징부를 생성한다. 그러한 오버레이 특징부는 도구(10)의 위치 및 배향을 표시하는 시각적 이미지를 포함한다. 도 1과 관련하여 설명된 처리에서와 같이, 워크스테이션(12)은 위치 패드(30)를 사용하여 결정된 센서(32)의 위치, 및 위치 패드(30)를 사용하여 또한 결정된 내시경 프로브(206)의 원위 단부(208)의 위치 및 방향을 사용하여, 내시경 이미지(212) 내의 오버레이 특징부의 위치 및 형상을 결정한다. 도 1에 관하여 설명된 바와 같이, 표준 3차원 렌더링 알고리즘은 카메라의 위치 및 배향과 물체의 위치 및 배향이 주어진 이미지를 생성할 수 있다. 그러한 알고리즘을 사용하는 워크스테이션(12)은 내시경 프로브(206)의 원위 단부(208)에 대한 도구(10)의 위치에 기초하여 상이한 도구에 대응하는 오버레이 특징부에 대한 이미지를 생성할 수 있다. 내시경 프로브(206) 상의 센서(32)는 내시경 프로브(206)의 원위 단부(208)에 대해 알려진 위치에 위치되어, 내시경 프로브(206)의 원위 단부(208)의 위치가 내시경 프로브(206) 상의 센서(32)로부터 취해진 위치 데이터로부터 유도될 수 있도록 한다.
도구의 위치 및 배향에 더하여, 일부 작동 모드에서, 내시경 이미지(212) 내의 워크스테이션(12)에 의해 디스플레이되는 오버레이 특징부는 또한 해부학적 구조와 관련된 텍스트 및 그래픽 마커를 포함한다. 도 3은 일례에 따른, 오버레이 특징부가 존재하는 상황을 예시하기 위한 그리고/또는 오버레이 특징부 중 적어도 일부가 생성되는 방식을 보여주기 위한, 머리의 3D 모델(300)을 도시한다. 3D 모델(300)은 표준 의료 이미징 기술, 예컨대 CT 스캔 또는 MRI, 및 이러한 기술을 통해 획득된 데이터의 3차원 모델로의 공지된 기술을 사용한 변환을 통해 획득될 수 있다. 이러한 스캔은 도 1의 시스템(100) 또는 도 2의 시스템을 사용하는 임의의 시술 전에 수행될 수 있다. 간단함 및 명료함을 위해, 단지 몇몇 해부학적 구조물이 3D 모델(300)로 도시된다. 그러나, 의료 시술에 사용되고 스캔에 기초하여 생성된 3D 모델은 실질적으로 대상의 모든 해부학적 구조물을 반영할 수 있다는 것을 이해하여야 한다.
일부 작동 모드에서, 내시경 이미지(212) 상으로 합성된 오버레이 특징부 중 적어도 일부는 인간 조작자에 의해 입력된 마커(302)들에 기초한다. 더 구체적으로, 시술 전에, 대상의 3D 모델이, 예를 들어 의료 스캔에 기초하여, 생성될 것이다. 이어서, 외과의와 같은 인간 조작자가 3D 모델을 관찰하고 3D 모델의 3차원 좌표계 내에 마커(302)를 입력할 것이다. 인간 조작자가 마커(302)를 입력하게 하기 위해 임의의 사용자 인터페이스가 사용될 수 있다. 이러한 마커(302)의 일부 예가 도 3에 도시되어 있다. 마커(302(1))는 상악동 소공(maxillary sinus ostium)과 연관되고, 마커(302(2))는 접형동 소공과 연관된다. 다른 마커(302)가 또한 3D 모델에 존재할 수 있다.
마커(302)가 3D 모델 내로 입력되는 컴퓨터 시스템이 워크스테이션(12)일 필요는 없다는 것에 유의한다. 다시 말하면, 3D 모델은, 시술 동안 인간 조작자에 의한 관찰을 위해 이미지(오버뷰 이미지(210), 내시경 이미지(212))를 생성하는 컴퓨터 시스템(워크스테이션(12))과는 상이한 컴퓨터 시스템 상에서 인간 조작자에 의해 (추가된 마커(302)를 갖고) 분석되고 조작될 수 있다. 이러한 이유로, 워크스테이션(12)이 3D 모델(300)에 마커(302)를 추가하는 것과 관련된 소정 작업을 수행하거나 또는 오버레이 특징부에 대한 데이터를 추가, 제거, 편집, 또는 달리 조작하는 것과 관련된 다른 작업을 수행하는 것이 때때로 본 명세서에서 언급되지만, 그러한 동작이 대안적으로 상이한 컴퓨터 시스템에 의해 수행될 수 있다는 것을 이해하여야 한다.
일부 작동 모드에서, 워크스테이션(12)은 마커를 자동으로 생성한다. 일부 마커는 3D 모델(300)의 분석에 기초하여 그리고 잘 알려진 해부학적 구조 관련 정보에 기초하여 추가될 수 있다. 예를 들어, 워크스테이션(12)은, 인간 머리의 일반적인 3차원 모델을 포함하는 템플릿 3D 모델(template 3D model)에 기초하여 그리고 템플릿 모델과 수술 중인 인간 대상의 3D 모델의 비교와 같은 추가 분석에 기초하여 하나 이상의 특정 해부학적 구조물에 대한 마커(302)를 생성할 수 있다. 일부 예에서, 마커(302)는 자동으로 그리고 인간 입력에 의해 생성된다. 더 구체적으로, 워크스테이션(12)은 마커를 자동으로 생성하고, 인간은 이러한 마커의 위치를 조정한다. 대안적으로, 워크스테이션(12)은 마커(302)가 워크스테이션(12)에 의해 자동으로 생성될 수 있는 해부학적 랜드마크들의 목록을 제시한다. 이에 응답하여, 인간 조작자는 하나 이상의 이러한 랜드마크를 선택하고, 워크스테이션(12)은 이러한 선택된 랜드마크에 기초하여 마커(302)를 생성한다. 후속하여, 인간 조작자는 대상의 머리의 실제 구조에 기초하여 이러한 마커의 위치를 조정할 수 있다. 그러한 마커(302)를 생성하기 위한 임의의 다른 기술적으로 실현가능한 수단이 또한 가능하다. 마커(302)는 또한 인간 조작자에 의해 입력되는 연관된 텍스트를 포함할 수 있다. 이러한 텍스트 마커는 마커(302) 자체의 입력 동안 생성될 수 있다. 예를 들어, 인간 조작자가 3D 모델 내의 지점을 마커(302)인 것으로서 선택할 때, 인간 조작자는 또한 텍스트 라벨을 입력할 수 있다.
마커(302)의 적어도 일부와 같은 일부 오버레이 특징부는 오버뷰 이미지(210) 또는 내시경 이미지(212) 중 어느 하나 또는 둘 모두에서 시술 동안 디스플레이된다. 전술된 바와 같이, 워크스테이션(12)은 카메라(44)가 어디에 있는지, 내시경 프로브(206)의 원위 단부(208)가 어디에 있는지, 그리고 대상의 해부학적 구조가 어디에 있는지를 알기 때문에, 정합 절차에 기초하여, 워크스테이션(12)은 센서 마커(302)들 중 하나 이상에 대한 표시자를 렌더링할 수 있다.
도 4a 내지 도 4c는 예시적인 내시경 이미지(212)를 도시한다. 이미지(400(1))에서, 내시경 프로브(206)는 상악동 소공을 향하는 비강 내로 삽입되고, 이는 따라서 이미지(400(1))에서 가시적이다. 3D 모델은 상악동 소공에서 마커(302)를 포함한다. 내시경 프로브(206)의 원위 단부(208)의 위치와 비교하여 마커(302)의 위치를 분석함으로써, 워크스테이션(12)은 마커(302(1))가 내시경 카메라(204)의 시야 내에 있다고 결정한다. 이에 응답하여, 워크스테이션(12)은 내시경 이미지(212) 내의 마커(302)와 연관된 오버레이 특징부(404(1))를 디스플레이한다. 이미지(400(1))에서, 오버레이 특징부는 화살표(406(1)) 및 텍스트(408(1))를 포함하지만, 오버레이는 다른 구현예에서 다른 그래픽 특징부를 포함할 수 있다. 오버레이의 그래픽 특징부는 마커(302)의 위치를 표시하도록 구성된다. 이미지(400(1))에서, 이러한 표시는 마커(302)의 대략적인 위치로부터 마커(302)와 연관된 텍스트(408)로 연장되는 화살표(406)를 통해 달성된다. 다른 작동 모드는 상이한 방식으로 마커(302)의 위치를 예시하도록 구성된 상이한 유형의 그래픽을 포함할 수 있다.
마커(302)의 위치가 화살표(406) 및 텍스트(408)로 표시된 구성에서, 워크스테이션(12)은 텍스트(408)를 위한 적절한 위치를 선택하도록 그리고 이어서 마커(302)에 대응하는 위치로부터 텍스트(408)를 위해 선택된 위치로 화살표(406)를 그리도록 구성된다. 이미지를 분석하여 텍스트를 위한 적절한 위치를 결정하기 위한 임의의 기술적으로 실현가능한 수단이 사용될 수 있다. 용어 "적절한"은 대체적으로 텍스트(408)가 판독가능한 것을 의미한다. 일례에서, 대략 균일한 색상을 갖는 이미지(404)의 일부분이 텍스트를 위해 선택된다. 일례에서, 대략 균일한 색상은 영역 내의 픽셀들에 대한 평균 색상 값들의 변동에 기초하여 결정된다. 변동이 클수록, 영역은 더 작아진다. 일례에서, 특정 임계치 미만의 변동을 갖는 영역은 그 영역이 텍스트에 적절하다는 것을 나타낸다. 전술된 기술은 오버레이를 디스플레이하기 위한 기술들의 일부 예를 나타내고, 마커(302)의 위치를 식별하는 특징부를 디스플레이하기 위한 임의의 기술적으로 실현가능한 수단이 사용될 수 있다는 것에 유의하여야 한다.
도 4b 및 도 4c는 다른 위치에 있는 다른 예시적인 이미지(400)를 도시한다. 구체적으로, 이미지(400(2))는 내시경 프로브(206)가 비강 내로 삽입되고 접형동 소공을 향하는 상태로 내시경(202)에 의해 촬영된 뷰를 나타낸다. 마커(302(2))에 기초하여, 워크스테이션(12)은 도 4a와 관련하여 설명된 것과 유사한 방식으로 텍스트(408(2)) 및 화살표(406(2))를 생성한다. 이미지(400(3))는 내시경 프로브(206)가 비강 내로 삽입되고 비용종(nasal polyp)을 향하는 상태로 내시경(202)에 의해 촬영된 뷰를 나타낸다. 이미지(400(1), 400(2))에서와 같이, 워크스테이션(12)은 센서(32)로부터의 위치 데이터에 기초하여, 3D 모델에 기초하여, 그리고 마커(302)에 기초하여 이미지(400(3))를 생성한다.
도 4d는 다른 예시적인 이미지(400(4))를 도시한다. 구체적으로, 이미지(400(4))는 내시경 프로브(206)가 비강 내로 삽입되고 비용종을 향하는 상태로 내시경(202)에 의해 촬영된 뷰를 나타낸다. 마커(302(4))에 기초하여, 워크스테이션(12)은 텍스트(408(4)) 및 화살표(406(4))를 생성한다. 더욱이, 워크스테이션(12)은 혈관(460)의 형상 및 위치를 나타내는 정보를 갖는다. 워크스테이션(12)은 혈관이 내시경(202)에 의해 촬영된 이미지에 대응하는 시야 내에 있는 것으로 결정하고, 그에 따라 이미지(400(4)) 내에 혈관(460)의 그래픽 표현을 디스플레이한다. 이는 의사가 시술 동안 혈관(460)을 피하는 것을 가능하게 한다.
도 5a 및 도 5b는 본 명세서에서 "해부학적 특징부 외형선"으로 지칭되는 오버레이 특징부의 유형을 포함하는 예시적인 이미지(500)를 도시한다. 이러한 해부학적 특징부 외형선(502)은 워크스테이션(12)에 의해 자동적으로 생성되고, 소정 해부학적 특징부의 위치를 표시하는 데 사용된다. 이미지(500(1))는 화살표(406(4)) 및 텍스트(408(4))뿐만 아니라 외형선(502(1))을 도시한다. 외형선(502(1))은, 잠재적으로 센서(32)로부터 수신된 위치 정보와 그리고 모델 데이터(48)에 저장된 3D 모델 정보와 조합하여, 이미지 처리에 의해 워크스테이션(12)에 의해 자동적으로 생성된다.
워크스테이션(12)은 관심 대상의 특정 해부학적 특징부의 기하학적 외형선을 식별하기 위한 임의의 기술적으로 실현가능한 수단을 수행할 수 있다. 일례에서, "이상적인" 또는 "기준" 해부학적 구조의 템플릿 모델이 대상의 실제 스캔으로부터 획득된 3D 모델과 비교된다. 템플릿 모델과 3D 모델의 기하학적 형상 사이의 위치 비교에 기초하여, 알려진 해부학적 특징부가 3D 모델 내에서 식별된다. 다른 예에서, 3D 모델을 생성하기 위한 스캔 후에, 인간 조작자는 마커(302)를 생성하는 것과 유사한 방식으로, 3D 모델을 관찰하고 관심 대상의 해부학적 구조물을 식별한다.
시술 동안, 워크스테이션(12)은 내시경 카메라(204)로 획득된 이미지를 처리하여, 특정한 식별된 해부학적 구조물과 연관된 이미지의 픽셀을 식별한다. 일부 예에서, 상이한 해부학적 구조물이 상이한 이미지 처리 기술에 의해 인식된다. 한 가지 기술에서, 워크스테이션(12)은 달리 밝은 이미지(조명 및/또는 카메라 기반 비네팅(vignetting)을 고려함)에서 어두운 영역을 소공으로서 식별한다. 워크스테이션(12)은 내시경 프로브(206)의 원위 단부(208)의 위치 및 방향에 기초하여 어느 소공이 식별되는지를 결정한다. 예를 들어, 3D 모델 내의 위치에 기초하여, 워크스테이션(12)은 내시경 프로브(206)의 원위 단부(208)가 비강과 같은 특정 영역 내에 있고 식별된 소공이 비강 내의 내시경 프로브(206)의 원위 단부(208)의 위치에 기초하여 상악동 소공인 것을 식별할 수 있다. 이에 응답하여, 워크스테이션(12)은 어둡게 된 영역 둘레에 외형선을 그리고, 외형선을 상악동 소공에 대응하는 것으로서 식별하는 라벨을 제공한다.
다른 기술에서, 워크스테이션(12)은 특정 색상의 영역을 특정 유형의 해부학적 구조물인 것으로서 식별한다. 도 5b에서, 다소 황색을 갖는 구조물이 그의 색상 및 위치에 기초하여 비용종으로서 식별된다. 구체적으로, 워크스테이션(12)은 내시경 프로브(206)의 원위 단부(208)가 센서(32)와의 상호작용을 통해 결정된 위치에 기초하여 비강 내에 있다고 결정하고, 그에 따라서 내시경 카메라(204)에 의해 촬영된 이미지 내의 황색 물체가 비용종이라고 결정한다.
소정 오버레이 특징부들이 본 명세서에 설명되지만, 본 발명은 그러한 특정 오버레이 특징부로 제한되지 않는다는 것에 유의하여야 한다. 그리는 것이 기술적으로 실현가능한 다른 오버레이 특징부가 대안적으로 또는 추가적으로 디스플레이될 수 있다. 오버레이 특징부가 디스플레이되는 방식은 내시경 카메라(204)에 의해 제공되는 이미지의 이미지 분석에 기초하여 위치, 형태, 및/또는 포맷이 조정될 수 있다.
도 6은 일례에 따른, 증강 현실 이미지를 디스플레이하기 위한 방법(600)의 흐름도이다. 도 1 내지 도 5b와 함께 설명된 시스템과 관련하여 설명되지만, 당업자는 임의의 기술적으로 실현가능한 단계들의 순서를 갖는 방법을 수행하도록 구성된 임의의 시스템이 본 발명의 범주 내에 속한다는 것을 이해할 것이다. 예시된 방법(600)은 카메라(44) 또는 내시경 카메라(204) 중 어느 하나 또는 둘 모두에 대해, 또는 시스템(100)에 포함된 임의의 다른 카메라에 대해 수행될 수 있다. 도 6의 논의에서, 도면 부호를 갖지 않는 용어 "카메라"는 이들 카메라 중 임의의 것을 지칭한다.
도시된 바와 같이, 방법(600)은 워크스테이션(12)이 카메라의 이동을 검출하는 단계(602)에서 시작한다. 이러한 이동은, 전술된 바와 같이, 카메라에 부착된 하나 이상의 센서(32)에 의해 수신되는 신호를 방출하는 위치 패드(30)를 통해 검출된다. 이동의 검출은 카메라의 위치가 바로 이전 위치와 상이하다는 검출에 대응한다.
단계(604)에서, 워크스테이션(12)은 카메라의 위치를 결정한다. 또한, 이러한 위치 검출은 위치 패드(30)에 의해 송신된 신호에 응답하여 센서(32)로 수신된 신호에 기초한다. 신호의 양태는 카메라의 위치 및 배향과 관련되고, 그에 따라서 카메라의 위치 및 배향을 결정하는 데 사용될 수 있다. 예를 들어, 위치 패드(30) 내의 다수의 방출기(emitter)는, 상이한 구별되는 특성(예컨대, 주파수)을 각각 갖는 상이한 신호를 방출할 수 있다. 센서(32)는 상이한 주파수의 신호의 진폭을 검출한다. 진폭은 위치 패드(30) 내의 각각의 방출기로부터의 거리와 연관된다. 각각의 방출기는 위치 패드 내에 알려진 위치를 갖는다. 센서(32)에 대한 위치를 삼각측량하기 위해 다수의 거리가 사용된다. 센서(32)는 약간 상이한 신호를 각각 수신하는 개별 마이크로센서들을 가질 수 있다. 마이크로센서들로 수신된 신호들의 차이는 센서들(32)의 배향을 결정하는 데 사용될 수 있다. 이러한 분석을 통해, 위치 패드(30)에 대한 센서(32)의 위치 및 배향이 결정된다. 대상(예컨대, 환자의 머리)에 대한 위치 패드(30)의 위치 및 배향은, 인간 조작자와 같은 조작자가 대상 둘레에 센서(32)를 갖는 도구(10)를 이동시키고, 실질적으로 전술된 바와 같이, 대상 상의 하나 이상의 지점을 대상의 3D 모델 내의 지점과 상관시키는 정합 절차에 기초하여 사전에 확립된다.
단계(606)에서, 워크스테이션(12)은 카메라의 시야를 결정한다. 카메라에 의해 생성된 이미지는 실제 이미지(즉, 카메라에 의해 실제로 생성된 이미지), 및 3D 모델 및 센서(32) 측정에 대응하는 3D 좌표계 둘 모두에서 특정 시야와 연관된다. 임의의 특정 카메라 시스템은 렌즈와 센서의 특성에 기초하여 결정되는, 대체로 도(degree) 단위로 측정되는, 알려진 시야를 갖는다. 시야와 연관된 추가 파라미터는 형상이며, 그의 일부 예는 직사각형 및 원형이다. 카메라 및 센서의 물리적 특징부에 기초하여 시야가 알려지기 때문에, 카메라의 시야를 결정하는 것은 저장된 데이터로부터 카메라의 시야를 찾는 것, 카메라의 다른 알려진 파라미터로부터 시야를 계산하는 것, 또는 다른 공지된 기술을 통해 시야를 식별하는 것 - 임의의 기술적으로 실현가능한 기술이 사용될 수 있음 - 을 수반한다.
단계(608)에서, 워크스테이션(12)은 결정된 시야에 대응하는 오버레이 특징부를 식별한다. 전술된 바와 같이, 오버레이 특징부는 모델 데이터(48)에 저장된 모델의 3D 공간 내의 특정 위치와 연관된 그래픽 요소를 포함한다. 한 가지 유형의 오버레이 특징부는 모델의 3D 공간 내의 특정 지점과 연관된 마커(302)이다. 다른 유형의 오버레이 특징부는 도 5a 및 도 5b의 해부학적 특징부 외형선(502)과 같은, 해부학적 구조에 기초하여 자동으로 생성되는 표시자를 포함한다. 오버레이 특징부의 이러한 목록은 제한적인 것으로 취해져서는 안된다. 시술 및/또는 해부학적 구조와 관련된 임의의 유형의 특징부 또는 양태가 관찰될 이미지(예컨대, 오버뷰 이미지(210) 또는 내시경 이미지(212)) 내로의 합성을 위해 식별될 수 있다.
단계(610)에서, 워크스테이션(12)은 오버레이 특징부를 카메라 이미지와 합성하고, 합성 이미지를 디스플레이한다. 워크스테이션(12)이 확실한 이미지를 디스플레이하는 디스플레이는, 이미지가 어느 카메라로부터 왔는지 그리고 시스템(100)의 다른 카메라가 활성화되어 디스플레이를 위해 워크스테이션(12)에 이미지 데이터를 제공하고 있는지 여부에 의존할 수 있다. 일례에서, 카메라(44) 및 내시경 카메라(204) 둘 모두가 활성화되어 합성을 위해 이미지들을 제공하고 있으면, 워크스테이션(12)은 디스플레이(16) 상에 카메라(44)로부터의 이미지를 오버뷰 이미지(210)로서 디스플레이하고, 내시경 디스플레이(205) 상에 내시경 카메라(204)로부터의 이미지를 내시경 이미지(212)로서 디스플레이한다. 다른 예에서, 카메라(44) 및 내시경 카메라(204) 둘 모두가 활성화되어 합성을 위해 이미지들을 제공하고 있으면, 이미지들 둘 모두가 디스플레이(16) 상에 디스플레이되는데, 이때 이미지들 사이가 시간 기반으로 스위칭되거나, 또는 어느 이미지가 디스플레이되는지의 선택이 인간 조작자에 의해 제어된다. 또 다른 예에서, 이미지들 둘 모두는 디스플레이(16) 또는 내시경 디스플레이(205)와 같은 특정 디스플레이 상에 디스플레이된다. 그러한 상황에서, 도시된 특정 이미지는 인간 조작자에 의해 제어될 수 있다. 대안적으로, 하나의 카메라는 다른 카메라보다 우선순위를 가질 수 있어서, 하나의 카메라가 켜진 경우, 디스플레이는 항상 그 카메라로부터 이미지를 디스플레이하고 다른 카메라로부터의 이미지는 디스플레이하지 않는다.
오버레이 특징부 합성은 단계(608)에서 식별된 오버레이 특징부를 카메라와 연관된 이미지 내에 위치시키는 것 및 카메라로부터 수신된 이미지 내의 그러한 오버레이 특징부를 합성하는 것을 포함한다. 오버레이 특징부들을 합성하는 것은 오버레이 특징부의 그래픽 표현을 생성하는 것 및 카메라로부터의 이미지와 함께 (예컨대, 카메라로부터의 이미지 위에 또는 카메라로부터의 이미지의 픽셀들과 블렌딩된 픽셀들로) 그러한 그래픽 표현을 디스플레이하는 것을 포함한다. 마커(302)의 경우, 그래픽 표현은 도 4a 내지 도 4c에 관하여 설명된 바와 같이 생성된 화살표(406) 및 텍스트(408)를 포함할 수 있다. 다른 오버레이 특징부는 도 5a 및 도 5b에 관하여 설명된 바와 같이 생성된 해부학적 특징부 외형선을 포함할 수 있다. 일부 오버레이 특징부는 도구(10)의 시각적 표시를 포함한다. 구체적으로, 워크스테이션(12)은 모델의 3D 공간 내의 카메라의 위치를 알고, 모델의 3D 공간에서의 도구(10)의 위치를 안다. 도구가 카메라의 시야 내에 있는 경우, 워크스테이션(12)은 카메라에 의해 생성된 이미지로 합성하기 위해 그 도구의 그래픽 표시자를 생성할 수 있다.
단계(610) 후의 결과는, 3D 모델과 관련된 데이터 및/또는 해부학적 구조 또는 수행되는 시술과 관련된 다른 저장된 데이터로부터 유도되는 하나 이상의 그래픽 특징부로 오버레이된, 카메라로부터의 이미지이다. 합성 이미지는 디스플레이(16) 또는 내시경 디스플레이(205) 내에 디스플레이될 수 있다.
제공된 방법은 범용 컴퓨터, 프로세서, 또는 프로세서 코어에서의 구현을 포함한다. 적합한 프로세서는, 예로서, 범용 프로세서, 특수 목적 프로세서, 종래의 프로세서, 디지털 신호 프로세서(DSP), 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서, 제어기, 마이크로제어기, 응용 주문형 집적 회로(Application Specific Integrated Circuit, ASIC), 필드 프로그래밍가능 게이트 어레이(Field Programmable Gate Array, FPGA) 회로, 임의의 다른 유형의 집적 회로(IC), 및/또는 상태 기계를 포함한다. 그러한 프로세서는 처리된 하드웨어 기술 언어(Hardware Description Language, HDL) 명령어 및 네트리스트(netlist)를 포함하는 다른 중개 데이터의 결과를 사용한 제조 공정을 구성함으로써 제조될 수 있다(그러한 명령어는 컴퓨터 판독가능 매체에 저장될 수 있음). 그러한 처리의 결과는, 이후에 본 명세서에서 설명되는 방법을 구현하는 프로세서를 제조하기 위해 반도체 제조 공정에서 사용되는 마스크워크(maskwork)일 수 있다.
본 명세서에서 제공되는 방법 또는 흐름도는 범용 컴퓨터 또는 프로세서에 의한 실행을 위하여 비일시적 컴퓨터 판독가능 저장 매체 내에 포함되는 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 비일시적 컴퓨터 판독가능 저장 매체의 예는 ROM, 랜덤 액세스 메모리(RAM), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 자기 매체, 예컨대, 내부 하드 디스크 및 착탈가능형 디스크, 광자기 매체, 및 광학 매체, 예컨대, CD-ROM 디스크, 및 디지털 다기능 디스크(DVD)를 포함한다.

Claims (21)

  1. 대상의 증강 현실 디스플레이를 제공하기 위한 방법으로서,
    카메라로부터 이미지를 획득하는 단계;
    상기 카메라의 위치를 검출하는 단계;
    상기 카메라의 위치에 기초하여 상기 카메라의 시야(field of view)를 식별하는 단계;
    상기 시야에 대응하는 하나 이상의 오버레이(overlay) 특징부를 생성하는 단계;
    상기 하나 이상의 오버레이 특징부를 상기 카메라로부터의 상기 이미지와 합성하여 합성 이미지를 형성하는 단계; 및
    상기 합성 이미지를 디스플레이 상에 디스플레이하는 단계를 포함하는, 방법.
  2. 제1항에 있어서, 상기 하나 이상의 오버레이 특징부는 상기 대상의 해부학적 구조와 연관되거나 또는 하나 이상의 도구와 연관되는, 방법.
  3. 제1항에 있어서, 상기 카메라의 위치를 검출하는 단계는
    상기 대상의 위치 및 배향과 비교하여 위치 패드의 상대 위치 및 배향을 상관시키기 위해 시술 전 정합(pre-procedure registration)을 수행하는 단계;
    상기 카메라에 커플링된 하나 이상의 필드 발생기(field generator)에 의해 생성되는 하나 이상의 신호를 상기 위치 패드의 센서로 수신하는 단계; 및
    상기 하나 이상의 신호에 기초하여 상기 카메라의 위치를 식별하는 단계를 포함하는, 방법.
  4. 제1항에 있어서, 상기 하나 이상의 오버레이 특징부를 생성하는 단계는
    도구의 그래픽 표현을 생성하는 단계를 포함하는, 방법.
  5. 제4항에 있어서, 상기 도구의 그래픽 표현을 생성하는 단계는
    상기 카메라의 시야 내의 상기 도구의 위치를 결정하는 단계; 및
    상기 카메라의 시야 내의 상기 도구의 위치에 기초하여 상기 도구의 그래픽 표현을 렌더링하는 단계를 포함하는, 방법.
  6. 제2항에 있어서, 상기 하나 이상의 오버레이 특징부를 생성하는 단계는
    해부학적 특징부를 나타내는 오버레이 특징부를 생성하는 단계를 포함하는, 방법.
  7. 제6항에 있어서, 상기 해부학적 특징부를 나타내는 오버레이 특징부를 생성하는 단계는
    상기 카메라의 시야 내의 마커의 위치를, 상기 위치 패드의 상대 위치 및 배향과 상기 대상의 위치 및 배향에 기초하여 그리고 상기 대상의 모델 및 상기 마커의 상대 위치에 기초하여, 결정하는 단계; 및
    상기 카메라의 시야 내의 상기 마커의 위치에 기초하여 상기 마커에 대응하는 그래픽 표현을 렌더링하는 단계를 포함하는, 방법.
  8. 제7항에 있어서, 상기 마커에 대응하는 상기 그래픽 표현은 상기 마커에 의해 표시되는 바와 같은 텍스트 및 화살표를 포함하는, 방법.
  9. 제7항에 있어서,
    상기 이미지의 어둡게 된 부분의 검출에 기초하여 소공(ostium)을 식별하는 단계를 추가로 포함하고,
    상기 마커에 대응하는 상기 그래픽 표현은 상기 소공에 대한 해부학적 특징부 외형선을 포함하는, 방법.
  10. 제7항에 있어서, 상기 마커에 대응하는 상기 그래픽 표현은 상기 이미지의 이미지 분석에 기초하여 위치, 형태, 및/또는 포맷이 조정되는, 방법.
  11. 대상의 증강 현실 디스플레이를 제공하기 위한 시스템으로서,
    워크스테이션; 및
    카메라를 포함하고,
    상기 워크스테이션은
    상기 카메라로부터 이미지를 획득하도록;
    상기 카메라의 위치를 검출하도록;
    상기 카메라의 위치에 기초하여 상기 카메라의 시야를 식별하도록;
    상기 시야에 대응하는 하나 이상의 오버레이 특징부를 생성하도록;
    상기 하나 이상의 오버레이 특징부를 상기 카메라로부터의 상기 이미지와 합성하여 합성 이미지를 형성하도록; 그리고
    상기 합성 이미지를 디스플레이 상에 디스플레이하도록 구성되는, 시스템.
  12. 제11항에 있어서, 상기 하나 이상의 오버레이 특징부는 상기 대상의 해부학적 구조와 연관되거나 또는 하나 이상의 도구와 연관되는, 시스템.
  13. 제11항에 있어서, 위치 패드를 추가로 포함하고,
    상기 워크스테이션은
    상기 대상의 위치 및 배향과 비교하여 상기 위치 패드의 상대 위치 및 배향을 상관시키기 위해 시술 전 정합을 수행함으로써;
    상기 카메라에 커플링된 하나 이상의 필드 발생기에 의해 생성되는 하나 이상의 신호를 상기 위치 패드의 센서로 수신함으로써; 그리고
    상기 하나 이상의 신호에 기초하여 상기 카메라의 위치를 식별함으로써 상기 카메라의 위치를 검출하도록 구성되는, 시스템.
  14. 제11항에 있어서, 상기 워크스테이션은
    도구의 그래픽 표현을 생성함으로써 상기 하나 이상의 오버레이 특징부를 생성하도록 구성되는, 시스템.
  15. 제14항에 있어서, 상기 워크스테이션은
    상기 카메라의 시야 내의 상기 도구의 위치를 결정함으로써; 그리고
    상기 카메라의 시야 내의 상기 도구의 위치에 기초하여 상기 도구의 그래픽 표현을 렌더링함으로써 상기 도구의 그래픽 표현을 생성하도록 구성되는, 시스템.
  16. 제12항에 있어서, 상기 워크스테이션은
    해부학적 특징부를 나타내는 오버레이 특징부를 생성함으로써 상기 하나 이상의 오버레이 특징부를 생성하도록 구성되는, 시스템.
  17. 제16항에 있어서, 상기 워크스테이션은
    상기 카메라의 시야 내의 마커의 위치를, 상기 위치 패드의 상대 위치 및 배향과 상기 대상의 위치 및 배향에 기초하여 그리고 상기 대상의 모델 및 상기 마커의 상대 위치에 기초하여, 결정함으로써; 그리고
    상기 카메라의 시야 내의 상기 마커의 위치에 기초하여 상기 마커에 대응하는 그래픽 표현을 렌더링함으로써 상기 해부학적 특징부를 나타내는 상기 오버레이 특징부를 생성하도록 구성되는, 시스템.
  18. 제17항에 있어서, 상기 마커에 대응하는 상기 그래픽 표현은 상기 마커에 의해 표시되는 바와 같은 텍스트 및 화살표를 포함하는, 시스템.
  19. 제17항에 있어서, 상기 워크스테이션은
    상기 이미지의 어둡게 된 부분의 검출에 기초하여 소공을 식별하도록 추가로 구성되고,
    상기 마커에 대응하는 상기 그래픽 표현은 해부학적 특징부 외형선을 포함하는, 시스템.
  20. 대상의 증강 현실 디스플레이를 제공하기 위한 시스템으로서,
    워크스테이션;
    디스플레이;
    하나 이상의 도구;
    카메라;
    내시경; 및
    내시경 카메라를 포함하고,
    상기 워크스테이션은
    상기 카메라로부터 이미지를 획득하도록;
    상기 카메라의 위치를 검출하도록;
    상기 카메라의 위치에 기초하여 상기 카메라의 시야를 식별하도록;
    상기 대상의 해부학적 구조와 연관되거나 또는 상기 하나 이상의 도구와 연관되는, 상기 카메라의 시야에 대응하는 하나 이상의 오버레이 특징부를 생성하도록;
    상기 카메라의 시야에 대응하는 상기 하나 이상의 오버레이 특징부를 상기 카메라로부터의 상기 이미지와 합성하여 합성 이미지를 형성하도록; 그리고
    상기 합성 이미지를 상기 디스플레이 상에 디스플레이하도록 구성되는, 시스템.
  21. 제20항에 있어서, 상기 워크스테이션은
    상기 내시경 카메라로부터 이미지를 획득하도록;
    상기 내시경 카메라의 위치를 검출하도록;
    상기 내시경 카메라의 위치에 기초하여 상기 내시경 카메라의 시야를 식별하도록;
    상기 대상의 해부학적 구조와 연관되거나 또는 상기 하나 이상의 도구와 연관되는, 상기 내시경 카메라의 시야에 대응하는 하나 이상의 오버레이 특징부를 생성하도록;
    상기 내시경 카메라의 시야에 대응하는 상기 하나 이상의 오버레이 특징부를 상기 내시경 카메라로부터의 상기 이미지와 합성하여 합성 내시경 이미지를 형성하도록; 그리고
    상기 합성 이미지를 상기 디스플레이 상에 또는 내시경 디스플레이 상에 디스플레이하도록 추가로 구성되는, 시스템.
KR1020180169367A 2017-12-26 2018-12-26 의료 시술 동안 내비게이션을 돕기 위한 증강 현실의 용도 Withdrawn KR20190078540A (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201762610449P 2017-12-26 2017-12-26
US62/610,449 2017-12-26
US16/229,629 US11058497B2 (en) 2017-12-26 2018-12-21 Use of augmented reality to assist navigation during medical procedures
US16/229,629 2018-12-21

Publications (1)

Publication Number Publication Date
KR20190078540A true KR20190078540A (ko) 2019-07-04

Family

ID=65030890

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180169367A Withdrawn KR20190078540A (ko) 2017-12-26 2018-12-26 의료 시술 동안 내비게이션을 돕기 위한 증강 현실의 용도

Country Status (11)

Country Link
US (1) US11058497B2 (ko)
EP (1) EP3505133B1 (ko)
JP (1) JP7341660B2 (ko)
KR (1) KR20190078540A (ko)
CN (1) CN109998678B (ko)
AU (1) AU2018286598A1 (ko)
BR (1) BR102018077046A2 (ko)
CA (1) CA3028502A1 (ko)
IL (1) IL263948B (ko)
MX (1) MX2019000145A (ko)
RU (1) RU2018146115A (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10013808B2 (en) 2015-02-03 2018-07-03 Globus Medical, Inc. Surgeon head-mounted display apparatuses
ES2992065T3 (es) 2016-08-16 2024-12-09 Insight Medical Systems Inc Sistemas de aumento sensorial en procedimientos médicos
US20190254753A1 (en) 2018-02-19 2019-08-22 Globus Medical, Inc. Augmented reality navigation systems for use with robotic surgical systems and methods of their use
US10058396B1 (en) * 2018-04-24 2018-08-28 Titan Medical Inc. System and apparatus for insertion of an instrument into a body cavity for performing a surgical procedure
EP3810009B1 (en) 2018-06-19 2025-04-09 Howmedica Osteonics Corp. Visualization of intraoperatively modified surgical plans
US11094221B2 (en) * 2018-06-21 2021-08-17 University Of Utah Research Foundation Visual guidance system and method for posing a physical object in three dimensional space
US11270485B2 (en) * 2019-07-22 2022-03-08 Adobe Inc. Automatic positioning of textual content within digital images
US12096917B2 (en) * 2019-09-27 2024-09-24 Alcon Inc. Tip camera systems and methods for vitreoretinal surgery
US11295495B2 (en) 2019-10-14 2022-04-05 Adobe Inc. Automatic positioning of textual content within digital images
US20210121238A1 (en) * 2019-10-24 2021-04-29 Acclarent, Inc. Visualization system and method for ent procedures
US12133772B2 (en) 2019-12-10 2024-11-05 Globus Medical, Inc. Augmented reality headset for navigated robotic surgery
US11992373B2 (en) 2019-12-10 2024-05-28 Globus Medical, Inc Augmented reality headset with varied opacity for navigated robotic surgery
US12220176B2 (en) 2019-12-10 2025-02-11 Globus Medical, Inc. Extended reality instrument interaction zone for navigated robotic
KR20220122703A (ko) * 2019-12-30 2022-09-02 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 해부학적 경계에 대한 접근을 나타내기 위한 시스템 및 방법
US11464581B2 (en) 2020-01-28 2022-10-11 Globus Medical, Inc. Pose measurement chaining for extended reality surgical navigation in visible and near infrared spectrums
US11382699B2 (en) 2020-02-10 2022-07-12 Globus Medical Inc. Extended reality visualization of optical tool tracking volume for computer assisted navigation in surgery
US11207150B2 (en) 2020-02-19 2021-12-28 Globus Medical, Inc. Displaying a virtual model of a planned instrument attachment to ensure correct selection of physical instrument attachment
US20230200625A1 (en) * 2020-04-13 2023-06-29 Kaliber Labs Inc. Systems and methods of computer-assisted landmark or fiducial placement in videos
US12201266B2 (en) 2020-04-23 2025-01-21 Johnson & Johnson Surgical Vision, Inc. Location pad surrounding at least part of patient eye and having optical tracking elements
US11832883B2 (en) 2020-04-23 2023-12-05 Johnson & Johnson Surgical Vision, Inc. Using real-time images for augmented-reality visualization of an ophthalmology surgical tool
US11607277B2 (en) 2020-04-29 2023-03-21 Globus Medical, Inc. Registration of surgical tool with reference array tracked by cameras of an extended reality headset for assisted navigation during surgery
US11510750B2 (en) 2020-05-08 2022-11-29 Globus Medical, Inc. Leveraging two-dimensional digital imaging and communication in medicine imagery in three-dimensional extended reality applications
US11382700B2 (en) 2020-05-08 2022-07-12 Globus Medical Inc. Extended reality headset tool tracking and control
US11153555B1 (en) 2020-05-08 2021-10-19 Globus Medical Inc. Extended reality headset camera system for computer assisted navigation in surgery
WO2021263174A1 (en) * 2020-06-25 2021-12-30 Kaliber Labs Inc. Probes, systems, and methods for computer-assisted landmark or fiducial placement in medical images
US11737831B2 (en) 2020-09-02 2023-08-29 Globus Medical Inc. Surgical object tracking template generation for computer assisted navigation during surgical procedure
DE102021103411A1 (de) * 2021-02-12 2022-08-18 Aesculap Ag Chirurgisches Assistenzsystem und Darstellungsverfahren
US12004966B2 (en) 2021-04-12 2024-06-11 Kaliber Labs Inc. Systems and methods for using image analysis in superior capsule reconstruction
EP4444156A1 (en) * 2021-12-10 2024-10-16 Covidien LP Image-guided navigation system for a video laryngoscope
JPWO2023199923A1 (ko) * 2022-04-11 2023-10-19
US20240350204A1 (en) * 2023-04-18 2024-10-24 Acclarent, Inc. Apparatus and method to overlay information on endoscopic images

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5391199A (en) 1993-07-20 1995-02-21 Biosense, Inc. Apparatus and method for treating cardiac arrhythmias
CA2197986C (en) 1994-08-19 2008-03-18 Shlomo Ben-Haim Medical diagnosis, treatment and imaging systems
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
JP4166277B2 (ja) 1996-02-15 2008-10-15 バイオセンス・ウェブスター・インコーポレイテッド 体内プローブを用いた医療方法および装置
US6618612B1 (en) 1996-02-15 2003-09-09 Biosense, Inc. Independently positionable transducers for location system
US6239724B1 (en) 1997-12-30 2001-05-29 Remon Medical Technologies, Ltd. System and method for telemetrically providing intrabody spatial position
US6484118B1 (en) 2000-07-20 2002-11-19 Biosense, Inc. Electromagnetic position single axis system
JP2004538538A (ja) 2000-10-05 2004-12-24 シーメンス コーポレイト リサーチ インコーポレイテツド 強化現実可視化付きの、手術中にイメージガイドされる神経外科手術法及び手術用装置
US7729742B2 (en) 2001-12-21 2010-06-01 Biosense, Inc. Wireless position sensor
US20030179308A1 (en) 2002-03-19 2003-09-25 Lucia Zamorano Augmented tracking using video, computed data and/or sensing technologies
US20040068178A1 (en) 2002-09-17 2004-04-08 Assaf Govari High-gradient recursive locating system
US7774044B2 (en) 2004-02-17 2010-08-10 Siemens Medical Solutions Usa, Inc. System and method for augmented reality navigation in a medical intervention procedure
CA2556082A1 (en) 2004-03-12 2005-09-29 Bracco Imaging S.P.A. Accuracy evaluation of video-based augmented reality enhanced surgical navigation systems
US7344307B2 (en) * 2004-11-12 2008-03-18 General Electric Company System and method for integration of a calibration target into a C-arm
US9289267B2 (en) 2005-06-14 2016-03-22 Siemens Medical Solutions Usa, Inc. Method and apparatus for minimally invasive surgery using endoscopes
US20070238981A1 (en) 2006-03-13 2007-10-11 Bracco Imaging Spa Methods and apparatuses for recording and reviewing surgical navigation processes
US7728868B2 (en) * 2006-08-02 2010-06-01 Inneroptic Technology, Inc. System and method of providing real-time dynamic imagery of a medical procedure site using multiple modalities
US20110306986A1 (en) * 2009-03-24 2011-12-15 Min Kyu Lee Surgical robot system using augmented reality, and method for controlling same
JP5535725B2 (ja) * 2010-03-31 2014-07-02 富士フイルム株式会社 内視鏡観察支援システム、並びに、内視鏡観察支援装置、その作動方法およびプログラム
US8724881B2 (en) * 2011-11-09 2014-05-13 Siemens Aktiengesellschaft Method and system for precise segmentation of the left atrium in C-arm computed tomography volumes
JP6233913B2 (ja) 2013-01-07 2017-11-22 晃 竹林 内視鏡向けナビゲーション装置
KR20140112207A (ko) 2013-03-13 2014-09-23 삼성전자주식회사 증강현실 영상 표시 시스템 및 이를 포함하는 수술 로봇 시스템
US10426345B2 (en) * 2013-04-04 2019-10-01 Children's National Medical Center System for generating composite images for endoscopic surgery of moving and deformable anatomy
US11266465B2 (en) * 2014-03-28 2022-03-08 Intuitive Surgical Operations, Inc. Quantitative three-dimensional visualization of instruments in a field of view
US10463242B2 (en) * 2014-07-09 2019-11-05 Acclarent, Inc. Guidewire navigation for sinuplasty
US9700213B2 (en) * 2014-09-12 2017-07-11 Mayo Foundation For Medical Education And Research System and method for automatic polyp detection using global geometric constraints and local intensity variation patterns
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
FR3032282B1 (fr) 2015-02-03 2018-09-14 Francois Duret Dispositif de visualisation de l'interieur d'une bouche
US20160278983A1 (en) * 2015-03-23 2016-09-29 Novartis Ag Systems, apparatuses, and methods for the optimization of laser photocoagulation
US10109092B1 (en) * 2015-03-24 2018-10-23 Imagical LLC Automated text layout, color and other stylization on an image or video, and the tracking and application of user color preferences
US10390890B2 (en) 2015-07-27 2019-08-27 Synaptive Medical (Barbados) Inc. Navigational feedback for intraoperative waypoint
JP2018534011A (ja) 2015-10-14 2018-11-22 サージカル シアター エルエルシー 拡張現実感手術ナビゲーション
US20170296292A1 (en) 2016-04-16 2017-10-19 Eitezaz MAHMOOD Systems and Methods for Surgical Imaging
US20170366773A1 (en) * 2016-06-21 2017-12-21 Siemens Aktiengesellschaft Projection in endoscopic medical imaging
CA3042091A1 (en) * 2016-10-31 2018-05-03 Synaptive Medical (Barbados) Inc. 3d navigation system and methods
US10441365B2 (en) * 2017-01-11 2019-10-15 Synaptive Medical (Barbados) Inc. Patient reference device
US11842456B2 (en) * 2017-01-12 2023-12-12 Navix International Limited Flattened view for intra-lumenal navigation
US11071593B2 (en) * 2017-07-14 2021-07-27 Synaptive Medical Inc. Methods and systems for providing visuospatial information
US20190175059A1 (en) * 2017-12-07 2019-06-13 Medtronic Xomed, Inc. System and Method for Assisting Visualization During a Procedure

Also Published As

Publication number Publication date
EP3505133B1 (en) 2024-03-20
RU2018146115A (ru) 2020-06-25
CN109998678B (zh) 2024-11-01
AU2018286598A1 (en) 2019-07-11
IL263948B (en) 2022-02-01
BR102018077046A2 (pt) 2019-07-16
JP2019115664A (ja) 2019-07-18
JP7341660B2 (ja) 2023-09-11
CN109998678A (zh) 2019-07-12
IL263948A (en) 2019-03-31
MX2019000145A (es) 2019-09-26
EP3505133A1 (en) 2019-07-03
US20190192232A1 (en) 2019-06-27
US11058497B2 (en) 2021-07-13
CA3028502A1 (en) 2019-06-26

Similar Documents

Publication Publication Date Title
EP3505133B1 (en) Use of augmented reality to assist navigation
US11883118B2 (en) Using augmented reality in surgical navigation
JP7505081B2 (ja) 狭い通路における侵襲的手順の内視鏡画像
US10506991B2 (en) Displaying position and optical axis of an endoscope in an anatomical image
JP5410629B1 (ja) 超音波診断システム、画像処理装置およびその制御方法と制御プログラム
US20190043215A1 (en) Endoscope apparatus
JP5486432B2 (ja) 画像処理装置、その作動方法およびプログラム
KR20190058528A (ko) 가이드되는 시술을 위한 시스템
EP2372660A2 (en) Projection image generation apparatus and method, and computer readable recording medium on which is recorded program for the same
WO2008036050A2 (en) Methods and systems for providing accuracy evaluation of image guided surgery
JP2007531553A (ja) 術中ターゲティングのシステムおよび方法
WO2010101117A1 (ja) 手術支援システム
JP2020058779A (ja) ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム
EP3075342B1 (en) Microscope image processing device and medical microscope system
US20250072969A1 (en) Systems and methods for integrating intra-operative image data with minimally invasive medical techniques
JP2017205343A (ja) 内視鏡装置、内視鏡装置の作動方法
US12023208B2 (en) Method for operating a visualization system in a surgical application, and visualization system for a surgical application
JP2009172124A (ja) 手術ナビゲーションシステム、画像表示方法、コンピュータプログラム及び記録媒体

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181226

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination