[go: up one dir, main page]

KR102009558B1 - Goggle system for image guide surgery - Google Patents

Goggle system for image guide surgery Download PDF

Info

Publication number
KR102009558B1
KR102009558B1 KR1020170074874A KR20170074874A KR102009558B1 KR 102009558 B1 KR102009558 B1 KR 102009558B1 KR 1020170074874 A KR1020170074874 A KR 1020170074874A KR 20170074874 A KR20170074874 A KR 20170074874A KR 102009558 B1 KR102009558 B1 KR 102009558B1
Authority
KR
South Korea
Prior art keywords
image
user
optical path
angle
camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170074874A
Other languages
Korean (ko)
Other versions
KR20180136219A (en
Inventor
김법민
김현구
최연호
권기혁
유제원
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020170074874A priority Critical patent/KR102009558B1/en
Publication of KR20180136219A publication Critical patent/KR20180136219A/en
Application granted granted Critical
Publication of KR102009558B1 publication Critical patent/KR102009558B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012Head tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Optics & Photonics (AREA)
  • Endoscopes (AREA)

Abstract

본 발명은 영상유도 수술용 고글 시스템에 관한 것으로, 본 발명에 따른 영상유도 수술용 고글 시스템은 사용자(1)의 머리에 배치되는 카메라(11)를 포함하여, 형광물질이 투여된 생체조직에 광을 조사하여 생성된 형광영상을 촬영하여 획득하는 영상획득부(10), 생체조직을 포함하는 수술부위(3)를 볼 수 있도록, 사용자(1)의 눈(eye) 전방에 배치되는 투명 글라스(20), 형광영상이 글라스(20)를 통해 보이는 현실영상에 실시간으로 겹쳐지도록, 형광영상을 처리하는 영상정합부(30), 및 처리된 형광영상을 글라스(20)에 전송하여 정합 표시하는 영상전송부(40)를 포함한다.The present invention relates to an image-guided surgical goggles system, the image-guided surgical goggles system includes a camera 11 disposed on the head of the user 1, the optical tissue is applied to the biological tissue to which the fluorescent material is administered Transparent glass disposed in front of the eye of the user 1 to view the image acquisition unit 10 obtained by taking a fluorescent image generated by irradiating the surgery, and the surgical site 3 including the biological tissue ( 20), the image matching unit 30 for processing the fluorescence image so that the fluorescence image is superimposed on the real image seen through the glass 20 in real time, and the image display to display the registration by transmitting the processed fluorescent image to the glass 20 The sending unit 40 is included.

Description

영상유도 수술용 고글 시스템{GOGGLE SYSTEM FOR IMAGE GUIDE SURGERY}Goggle System for Image-guided Surgery {GOGGLE SYSTEM FOR IMAGE GUIDE SURGERY}

본 발명은 영상유도 수술용 고글 시스템에 관한 것으로, 보다 상세하게는 집도의가 수술 부위를 형광 영상을 통해 보다 정확하게 확인할 수 있는 수술 지원 영상을 제공하는 수술용 고글 시스템에 관한 것이다.The present invention relates to an image-guided surgical goggles system, and more particularly, to a surgical goggles system that provides a surgical support image that allows the surgeon to more accurately identify the surgical site through a fluorescent image.

외과수술, 특히 정상조직으로부터 암세포가 전이된 주위조직을 떼어내는 암수술의 경우, 주위조직이 일부 남게 되면 수술 이후 암세포 전이가 발생하고, 지나치게 넓은 범위를 제거하면 장기의 기능 저하로 이어지기 때문에 정확한 절제가 매우 중요하다. 이를 위해서는 선행적으로 암의 위치 및 주위조직과 정상조직 사이의 경계를 정확히 확정해야 한다. 그러나 개흉 혹은 개복 하에 이루어지는 종래 암수술에서 외과의사는 자신의 시각과 촉감에 의존해서만 암의 위치와 그 경계를 확인할 수 있다. 이런 경우에, 비록 수술 전에 X-ray, CT, PET 등을 통해 취득한 다양한 영상자료를 분석하지만, 실제 수술 중에 살아 움직이는 인체 장기 내에서 정확하게 암의 위치와 정상조직과의 경계를 확인하기가 쉽지 않았다. 특히, 암 주위에 염증이나 해부학적 변이가 동반된 경우나, 수술 전에 항암 및 방사선 치료가 시행된 경우에는 더욱더 그 확인이 어려웠다.Surgery, especially cancer surgery that removes cancerous metastases from normal tissue, results in cancer cell metastasis after surgery if some of the surrounding tissue remains and leads to deterioration of organ function if too large a range is removed. Temperance is very important. To this end, it is necessary to accurately determine the location of cancer and the boundary between surrounding tissue and normal tissue. However, in conventional cancer surgery under a thoracic or open abdominal surgeon, the surgeon can only determine the location and boundaries of the cancer based on his or her own vision and touch. In this case, although various image data acquired through X-ray, CT, PET, etc. were analyzed before the surgery, it was not easy to accurately identify the location of cancer and the boundary between normal tissues in the living organs. . In particular, it was more difficult to identify an inflammation or anatomical variation around the cancer, or chemo and radiation treatment before surgery.

이러한 문제를 해결하기 위해서, 하기 선행기술문헌의 특허문헌에 개시된 바와 같이, 형광영상 시스템이 개발되었다. 이에 따른 형광영상 시스템은, 도 1과 같이, 다중 필터를 통하여 수술부위에 대한 실사영상과 인체에 투여된 형광물질에 의하여 발광 표시되는 형광영상을 각각 획득한 후에, 실사영상과 형광영상을 하나의 모니터에 출력한다. 따라서, 외과의사는 종양의 위치와 연결상태를 용이하게 확인할 수 있다. 그러나 이러한 형광영상 시스템에 의하면, 의사가 눈으로 실제 수술부위를 보면서 수술하는 것이 아니라 고개를 돌려 모니터를 보면서 수술을 진행해야 하는 문제가 있다. 이때, 의사의 시야와 형광영상간의 불일치가 발생할 수 있고, 이로 인해 수술시간이 길어져 의사의 피로도가 가중된다.In order to solve this problem, as disclosed in the patent document of the following prior art document, a fluorescence imaging system has been developed. According to the fluorescence imaging system, as shown in FIG. 1, after acquiring a photorealistic image of a surgical site and a fluorescence image emitted by a fluorescent substance administered to a human body through multiple filters, a single photometric image and a fluorescence image are obtained. Output to the monitor. Thus, the surgeon can easily confirm the location and connection of the tumor. However, according to such a fluorescence imaging system, the doctor does not operate while looking at the actual surgical site with his eyes but has a problem of performing surgery while looking at the monitor by turning his head. In this case, a discrepancy between the doctor's field of view and the fluorescence image may occur, and thus, the surgeon's fatigue is increased due to a long operation time.

한편, 카메라를 통해 얻은 형광영상과 해부학적 영상을 안경으로 전송해주는 시스템도 개발되었으나, 가상현실 기반의 헤드 마운트 디스플레이를 이용하여 눈을 통한 실제 수술 시야가 확보되지 않고 의사의 거리감각을 오히려 저해하는 불편을 초래한다.Meanwhile, a system for transmitting fluorescence images and anatomical images obtained through cameras to eyeglasses has been developed, but the virtual reality-based head mounted display is used to prevent the physical sense of vision through the eyes and to rather inhibit the doctor's sense of distance. Cause inconvenience.

이에 종래 형광영상 시스템에 대한 문제를 해결하기 위한 방안이 절실히 요구되고 있는 실정이다.Therefore, there is an urgent need for a solution to solve the problem of the conventional fluorescence imaging system.

KRKR 10-163053910-1630539 B1B1

본 발명은 상술한 종래기술의 문제점을 해결하기 위한 것으로, 본 발명의 일 측면은 형광물질에 의해 생체조직에 대한 형광영상을 획득하고, 실시간으로 외과의사의 시야에 그 형광영상을 증강현실로 투영하여 외과수술에 사용되는 영상유도 수술용 고글 시스템을 제공하고자 하는 것이다.The present invention is to solve the above-mentioned problems of the prior art, an aspect of the present invention is to obtain a fluorescent image of the biological tissue by the fluorescent material, and to project the fluorescent image in augmented reality in the field of view of the surgeon in real time To provide an image-guided surgical goggles system used for surgery.

본 발명의 다른 측면은 외과의사의 머리에 배치되어 형광영상을 획득하는 카메라의 광경로와 그 의사의 시선이 불일치함에 따라 발생하는 시야 차이를 실시간으로 보정하여 형광영상을 현실영상에 정합하는 영상유도 수술용 고글 시스템을 제공하는 데 있다.Another aspect of the present invention is an image induction to match the fluorescence image to the real image by correcting in real time difference caused by the disparity of the optical path of the camera is placed on the surgeon's head to obtain the fluorescence image and the doctor's gaze To provide a surgical goggles system.

본 발명에 따른 영상유도 수술용 고글 시스템은 사용자의 머리에 배치되는 카메라를 포함하여, 형광물질이 투여된 생체조직에 광을 조사하여 생성된 형광영상을 촬영하여 획득하는 영상획득부; 상기 생체조직을 포함하는 수술부위를 볼 수 있도록, 상기 사용자의 눈(eye) 전방에 배치되는 투명 글라스; 상기 형광영상이 상기 글라스를 통해 보이는 현실영상에 실시간으로 겹쳐지도록, 상기 형광영상을 처리하는 영상정합부; 및 처리된 상기 형광영상을 상기 글라스에 전송하여 정합 표시하는 영상전송부;를 포함한다.According to an aspect of the present invention, an image guided goggle system includes an image acquisition unit that includes a camera disposed on a user's head and captures a fluorescent image generated by irradiating light onto a biological tissue to which a fluorescent substance is administered; Transparent glass disposed in front of the eye of the user to see the surgical site including the biological tissue; An image matching unit processing the fluorescent image so that the fluorescent image is superimposed in real time on the real image seen through the glass; And an image transmission unit which transmits the processed fluorescent image to the glass and displays the registration.

또한, 본 발명에 따른 영상유도 수술용 고글 시스템에 있어서, 상기 영상획득부는 상기 사용자의 머리에 착용되고, 상기 카메라가 부착되는 헤드기어;를 더 포함한다.In addition, in the image guided surgical goggles system according to the present invention, the image acquisition unit is worn on the head of the user, the head gear to which the camera is attached; further includes.

또한, 본 발명에 따른 영상유도 수술용 고글 시스템에 있어서, 상기 영상정합부는 상기 카메라로부터 상기 수술부위에 이르는 광경로와, 상기 사용자의 눈에서부터 상기 수술부위에 이르는 시선이, 상시 수술부위 상의 임의의 점에서 서로 만나는 상기 사용자의 머리 위치를 기준위치로 정하고, 상기 사용자의 머리 위치가 상기 기준위치를 벗어난 때에, 상기 형광영상을 보정한다.In addition, in the image-guided surgical goggles system according to the present invention, the image registration unit, the optical path from the camera to the surgical site, and the gaze from the eyes of the user to the surgical site, any arbitrary on the surgical site The head position of the user who meets each other at the point is set as a reference position, and when the user's head position is out of the reference position, the fluorescent image is corrected.

또한, 본 발명에 따른 영상유도 수술용 고글 시스템에 있어서, 상기 영상정합부는 상기 카메라에 배치되어, 상기 광경로 거리를 측정하는 거리센서; 상기 글라스에 배치되어, 상기 기준거리에서, 상기 시선과 상기 수술부위가 이루는 시선 각(angle)을 측정하는 시선각도센서; 및 상기 광경로 거리, 및 상기 시선 각을 이용하여 상기 형광영상을 보정하는 처리부;를 포함한다.In addition, in the image guided surgical goggles system according to the present invention, the image registration unit is disposed in the camera, the distance sensor for measuring the optical path distance; An eye angle sensor disposed on the glass to measure an eye angle between the eye and the surgical part at the reference distance; And a processor configured to correct the fluorescence image by using the light path distance and the gaze angle.

또한, 본 발명에 따른 영상유도 수술용 고글 시스템에 있어서, 상기 처리부는 상기 [수학식 1]에 의해, 상기 기준거리에서의 상기 시선과 상기 광경로가 이루는 시야 사잇각(angle)을 산출한다.In addition, in the goggle system for image-guided surgery according to the present invention, the processing unit calculates the viewing angle between the line of sight and the optical path at the reference distance by the formula (1).

[수학식 1][Equation 1]

Figure 112017056764123-pat00001
Figure 112017056764123-pat00001

(b: 시야 사잇각, w: 사용자의 눈과 카메라까지의 거리, l0: 기준위치에서의 광경로 거리)(b: field of view angle, w: distance between user's eyes and camera, l 0 : distance of light path from reference position)

또한, 본 발명에 따른 영상유도 수술용 고글 시스템에 있어서, 상기 영상정합부는 상기 카메라에 배치되어, 상기 기준거리에서, 상기 광경로와 상기 수술부위 사이의 광경로 각(angle)을 측정하는 광경로각도센서;를 더 포함하고, 상기 처리부는, 상기 광경로 각에서 상기 시선 각을 빼서, 상기 기준거리에서의 상기 시선과 상기 광경로가 이루는 시야 사잇각(angle)을 산출한다.In addition, in the image-guided surgical goggles system according to the invention, the image registration unit is disposed in the camera, the optical path for measuring the optical path angle (angle) between the optical path and the surgical site at the reference distance And an angle sensor, wherein the processing unit calculates a viewing angle between the line of sight and the light path at the reference distance by subtracting the line of sight from the light path angle.

또한, 본 발명에 따른 영상유도 수술용 고글 시스템에 있어서, 상기 처리부는 하기 [수학식 2]에 의해, 상기 사용자의 머리 위치에 따른 상기 광경로의 위치변화량을 계산하고, 상기 위치변화량만큼 상기 형광영상의 위치를 조정한다.In addition, in the goggle system for image-guided surgery according to the present invention, the processing unit calculates the position change amount of the optical path according to the position of the user's head by the following [Equation 2], the fluorescence by the position change amount Adjust the position of the image.

[수학식 2][Equation 2]

Figure 112017056764123-pat00002
Figure 112017056764123-pat00002

(x: 광경로의 위치변화량, a: 시선 각, b: 시야 사잇각, l0: 기준위치에서의 광경로 거리, l: 측정위치에서의 광경로 거리)(x: position change of light path, a: line of sight, b: angle of view, l 0 : distance of light path from reference position, l: distance of light path from measurement position)

또한, 본 발명에 따른 영상유도 수술용 고글 시스템에 있어서, 상기 처리부는 하기 [수학식 3]에 의해, 상기 사용자의 머리 위치에 따른 상기 사용자의 시야에 대한 상기 카메라의 시야 크기비율을 계산하고, 상기 크기비율의 역수 값을 배율로 상기 형광영상의 크기를 조정한다.In addition, in the goggle system for image-guided surgery according to the present invention, the processing unit calculates the ratio of the field of view of the camera to the field of view of the user according to the head position of the user by the following [Equation 3], The size of the fluorescent image is adjusted based on the reciprocal of the size ratio.

[수학식 3][Equation 3]

Figure 112017056764123-pat00003
,
Figure 112017056764123-pat00003
,

(M: 크기비율, x: 광경로의 위치변화량, a: 시선 각, b: 시야 사잇각, l0: 기준위치에서의 광경로 거리, l: 측정위치에서의 광경로 거리)(M: size ratio, x: position change of optical path, a: line of sight, b: field of view angle, l 0 : optical path distance from reference position, l: optical path distance from measurement position)

본 발명의 특징 및 이점들은 첨부도면에 의거한 다음의 상세한 설명으로 더욱 명백해질 것이다.The features and advantages of the present invention will become more apparent from the following detailed description based on the accompanying drawings.

이에 앞서 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이고 사전적인 의미로 해석되어서는 아니 되며, 발명자가 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.Prior to this, the terms or words used in this specification and claims are not to be interpreted in a conventional and dictionary sense, and the inventors may appropriately define the concept of terms in order to best explain their invention in the best way possible. It should be interpreted as meaning and concept corresponding to the technical idea of the present invention based on the principle that the present invention.

본 발명에 따르면, 형광물질에 의해 생체조직에 대한 형광영상을 획득하고, 수술부위를 바라보는 외과의사의 현실영상에 그 형광영상을 정합하여 실시간으로 표시함으로써, 의사가 별도의 모니터에 의존하지 않고, 눈으로 직접 수술부위를 바라보면서, 절제하고자 하는 주변조직의 위치 및 정상조직과의 경계를 정확히 확인할 수 있다. 나아가 눈을 통한 수술 시야가 확보되므로, 거리 감각이 방해받지 않아서 의사가 정확한 절제를 할 수 있다.According to the present invention, by obtaining a fluorescent image of the biological tissue by the fluorescent material, by matching the fluorescent image to the real image of the surgeon looking at the surgical site in real time, the doctor does not rely on a separate monitor By looking directly at the surgical site, the position of the surrounding tissue to be resected and the boundary with normal tissue can be accurately identified. Furthermore, since the vision of the surgery is secured through the eyes, the doctor can make accurate resections without disturbing the sense of distance.

또한, 본 발명에 따르면, 형광영상을 획득하는 카메라가 외과의사의 머리에 배치되어 카메라의 광경로와 시선의 불일치로 인한 시야 차이가 발생하는 경우에, 그 차이로 인한 형광영상을 실시간으로 보정하여 현실영상에 정확하게 오버랩될 수 있게 한다.In addition, according to the present invention, when a camera for acquiring a fluorescence image is disposed on the surgeon's head to generate a visual field difference due to a mismatch between the optical path of the camera and the line of sight, the fluorescence image due to the difference is corrected in real time. It can be accurately overlapped with the real image.

도 1은 종래 형광영상 시스템을 이용한 수술 사진이다.
도 2는 본 발명에 따른 영상유도 수술용 고글 시스템의 구성도이다.
도 3은 본 발명에 따른 영상유도 수술용 고글 시스템에 의해 정합된 영상 사진이다.
도 4는 본 발명에 따른 영상유도 수술용 고글 시스템을 사용하는 경우의 시선과 광경로를 도시한 측면도이다.
도 5a 내지 도 5b는 도 2에 도시된 영상정합부의 구성도이다.
도 6a는 사용자의 머리 위치가 기준위치에서 후퇴하는 경우의 광경로를 도시한 측면도이다.
도 6b는 사용자의 머리 위치가 기준위치에서 전진하는 경우의 광경로를 도시한 측면도이다.
1 is a surgical picture using a conventional fluorescence imaging system.
Figure 2 is a block diagram of a goggle system for image induction surgery according to the present invention.
3 is an image photograph matched by the image guided goggles system for surgery according to the present invention.
Figure 4 is a side view showing the line of sight and light path when using the image-guided surgical goggles system according to the present invention.
5A through 5B are diagrams illustrating the image matching unit shown in FIG. 2.
6A is a side view illustrating an optical path when the user's head position retreats from the reference position.
6B is a side view illustrating an optical path when the head position of the user moves forward from the reference position.

본 발명의 목적, 특정한 장점들 및 신규한 특징들은 첨부된 도면들과 연관되어지는 이하의 상세한 설명과 바람직한 실시예들로부터 더욱 명백해질 것이다. 본 명세서에서 각 도면의 구성요소들에 참조번호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 번호를 가지도록 하고 있음에 유의하여야 한다. 또한, "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 상기 용어들에 의해 제한되는 것은 아니다. 이하, 본 발명을 설명함에 있어서, 본 발명의 요지를 불필요하게 흐릴 수 있는 관련된 공지 기술에 대한 상세한 설명은 생략한다.The objects, specific advantages and novel features of the present invention will become more apparent from the following detailed description and the preferred embodiments associated with the accompanying drawings. In the present specification, in adding reference numerals to the components of each drawing, it should be noted that the same components as possible, even if displayed on different drawings have the same number as possible. In addition, terms such as “first” and “second” are used to distinguish one component from another component, and the component is not limited by the terms. In the following description, detailed descriptions of related well-known techniques that may unnecessarily obscure the subject matter of the present invention will be omitted.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시형태를 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 2는 본 발명에 따른 영상유도 수술용 고글 시스템의 구성도이고, 도 3은 본 발명에 따른 영상유도 수술용 고글 시스템에 의해 정합된 영상 사진이다.2 is a block diagram of an image-guided surgical goggles system according to the present invention, Figure 3 is an image photograph matched by the image-guided surgical goggles system according to the present invention.

도 2에 도시된 바와 같이, 본 발명에 따른 영상유도 수술용 고글 시스템은 사용자(1)의 머리에 배치되는 카메라(11)를 포함하여, 형광물질이 투여된 생체조직에 광을 조사하여 생성된 형광영상을 촬영하여 획득하는 영상획득부(10), 생체조직을 포함하는 수술부위(3)를 볼 수 있도록, 사용자(1)의 눈(eye) 전방에 배치되는 투명 글라스(20), 형광영상이 글라스(20)를 통해 보이는 현실영상에 실시간으로 겹쳐지도록, 형광영상을 처리하는 영상정합부(30), 및 처리된 형광영상을 글라스(20)에 전송하여 정합 표시하는 영상전송부(40)를 포함한다.As shown in Figure 2, the image-guided surgical goggles system according to the present invention includes a camera 11 disposed on the head of the user 1, generated by irradiating light to the biological tissue to which the fluorescent material is administered The image acquisition unit 10 obtained by taking a fluorescence image, the transparent glass 20 disposed in front of the eye of the user 1 so that the surgical site 3 including the living tissue is visible, the fluorescence image The image matching unit 30 for processing the fluorescent image, and the image transmitting unit 40 for transmitting the processed fluorescent image to the glass 20 so as to overlap the real image seen through the glass 20 in real time. Include.

본 발명은 영상유도 수술용 고글 시스템에 관한 것으로, 형광물질을 인체 내에 투여하여 절제하고자 하는 생체조직를 발광 표시하고, 이때 얻어지는 형광영상을 외과의사의 시야에 증강현실로 투영하여, 절제하고자 하는 생체조직의 위치 및 정상조직과의 경계를 확인할 수 있게 한다. 외과수술, 특히 정상조직으로부터 암세포가 전이된 주위조직을 떼어내는 암수술의 경우에 수술 이후의 암세포 전이 또는 장기의 기능 저하를 우려하여 정확한 절제가 요구된다. 이에, 수술부위에 대한 실사영상과 형광영상을 각각 획득한 후에, 각각의 영상을 하나의 모니터, 또는 안경에 출력하는 형광영상 시스템이 개발되었다. 그러나 종래 형광영상 시스템은 의사가 눈으로 수술부위를 보면서 수술하는 것이 아니라, 고개를 돌려서 모니터를 보거나, 또는 안경에 전송된 영상을 보면서 수술을 진행하기 때문에 실제 시야와 형광영상이 불일치하고, 의사의 거리감각이 저해되어 정밀한 수술이 이루어지지 않는 문제가 발생한다. 따라서, 종래 형광영상 시스템의 문제점을 해결하기 위한 방안으로서, 본 발명에 따른 영상유도 수술용 고글 시스템이 안출되었다.The present invention relates to an image-guided surgical goggles system, which displays a bioluminescent tissue to be excised by administering a fluorescent substance into the human body, and projects the fluorescent image obtained by augmented reality onto the surgeon's field of vision to remove the biological tissue. Allows you to check the position of and the boundaries of normal tissue. Surgical surgery, in particular in the case of cancer surgery in which cancer cells are metastasized from normal tissues, requires accurate resection due to fear of post-operative cancer cell metastasis or deterioration of organs. Thus, after acquiring a live image and a fluorescence image of the surgical site, a fluorescence imaging system for outputting each image to one monitor or glasses has been developed. However, in the conventional fluorescence imaging system, the surgeon does not operate by looking at the surgical site with his eyes but rather turns the head to look at the monitor, or the image is transmitted to the glasses, so the operation is performed. The sense of distance is hampered by the problem that precise surgery is not performed. Therefore, as a solution to the problem of the conventional fluorescence imaging system, an image-guided surgical goggle system according to the present invention has been devised.

구체적으로, 본 발명에 따른 영상유도 시스템은 영상획득부(10), 글라스(20), 영상정합부(30), 및 영상전송부(40)를 포함한다.In detail, the image induction system according to the present invention includes an image acquisition unit 10, a glass 20, an image matching unit 30, and an image transmission unit 40.

여기서, 영상획득부(10)는 형광물질을 이용하여 생체조직에 발광 표시된 형광영상을 획득한다. 형광물질이 인체 내에 투여되면, 체내의 신진대사에 의한 물질 변환과정에서 특정물질을 생성하여 소정의 생체조직에서 형광발현을 나타낸다. 대표적인 형광물질로서는, 유기염료(orgnic dye), 무기양자점(inorganic quantum dats, QDs)이 있는데, 주로 인도시아닌그린(indocyanin green, ICG)이나, 메틸렌블루(methylene blue)와 같은 유기염료가 사용된다. 다만, 형광물질이 반드시 이에 한정되는 것은 아니다. Here, the image acquisition unit 10 obtains a fluorescent image displayed on the biological tissue by using a fluorescent material. When the fluorescent substance is administered to the human body, a specific substance is generated during the material conversion process by metabolism in the body, thereby showing fluorescence expression in a predetermined biological tissue. Representative fluorescent materials include organic dyes and organic quantum dats (QDs). Organic dyes such as indocyanin green (ICG) and methylene blue are mainly used. . However, the fluorescent material is not necessarily limited thereto.

이러한 형광물질이 생체조직에 주입된 후, 소정의 파장영역을 가지는 광을 조사하게 되면, 형광 빛이 방사되는데, 이때 이를 촬영하여 형광영상을 획득한다. 조사되는 광의 파장은 광원(5)을 통해 제어할 수 있다. 한편, 형광영상은 종양, 혈관 등의 영상으로, 형광물질에 따라 발광 가능한 세포 또는 조직이면 특별한 제한 없이 형광영상을 획득할 수 있다.After the fluorescent material is injected into the biological tissue, when the light having a predetermined wavelength region is irradiated, the fluorescent light is emitted, and at this time, a fluorescent image is obtained by capturing the fluorescent light. The wavelength of the irradiated light can be controlled through the light source 5. On the other hand, the fluorescence image is an image of a tumor, blood vessels, etc., if the cell or tissue capable of emitting light according to the fluorescent material can obtain a fluorescence image without particular limitation.

여기서, 영상획득부(10)는 이러한 형광영상을 획득하기 위해서, 카메라(11)를 포함한다. 이때, 카메라(11)는 근적외선 카메라, 가시광 카메라 등을 사용하는데, 형광영상을 촬영할 수 있는 한 그 종류가 제한되는 것은 아니다. 한편, 카메라(11)는 사용자(1), 즉 외과의사의 머리에 배치된다. 따라서, 사용자(1)가 머리를 돌려서 시선 방향을 바꾸더라도, 그 시선 방향에 대응하여 형광영상을 촬영할 수 있다. 여기서, 카메라(11)는 사용자(1)의 머리에 배치되므로, 초경량 카메라를 사용하는 것이 적합하다. Here, the image acquisition unit 10 includes a camera 11 to obtain such a fluorescent image. At this time, the camera 11 uses a near-infrared camera, a visible light camera, etc., but the type is not limited as long as it can take a fluorescent image. On the other hand, the camera 11 is arranged on the head of the user 1, that is, the surgeon. Therefore, even if the user 1 changes his or her gaze direction by turning his head, the fluorescent image can be taken according to the gaze direction. Here, since the camera 11 is arrange | positioned at the head of the user 1, it is suitable to use an ultralight camera.

또한, 뚜렷한 형광영상을 확보하기 위해서, 렌즈 및 필터와 같은 광학계를 추가적으로 사용할 수 있는데, 경량화 및 수술 조건을 고려하여 이를 선택한다. 일례로, infinity 렌즈, 및 근적외선 필터를 사용할 수 있고, 이때 카메라(11)와 수술대의 거리가 20 ~ 70 ㎝ 정도되므로, 25 ~ 50 mm 사이에서 렌즈를 선택하며, 형광물질의 방출 파장대에 적합한 필터를 선택한다. 다만, 광학계가 반드시 이에 한정되는 것은 아니고, 사용자(1)가 다양한 조건을 고려하여 폭넓게 정할 수 있다.In addition, in order to secure a clear fluorescence image, an optical system such as a lens and a filter may be additionally used, and this is selected in consideration of weight reduction and surgical conditions. For example, an infinity lens and a near-infrared filter may be used, and since the distance between the camera 11 and the operating table is about 20 to 70 cm, a lens is selected between 25 and 50 mm, and a filter suitable for the emission wavelength band of the fluorescent material. Select. However, the optical system is not necessarily limited thereto, and the user 1 may determine a wide range in consideration of various conditions.

카메라(11)가 사용자(1)의 머리에 배치되기 위해서, 영상획득부(10)는 헤드기어(13)를 더 포함할 수 있다. 여기서, 헤드기어(13)는 사용자(1)의 머리에 착용 가능하도록 형성되기만 하면 그 형태가 특별히 제한되지는 않는다. 이러한 헤드기어(13)에는 카메라(11)를 거치할 수 있는 거치대가 형성되어 있어서, 사용자(1)의 머리에 카메라(11)를 고정할 수 있다. 여기서, 거치대는 헤드기어(13)에 일체로 형성되거나, 또는 별도로 제작되어 헤드기어(13)에 부착 배치될 수 있다. In order for the camera 11 to be disposed on the head of the user 1, the image acquisition unit 10 may further include a head gear 13. Here, the head gear 13 is not particularly limited as long as it is formed to be worn on the head of the user 1. The headgear 13 is formed with a cradle for mounting the camera 11, it is possible to fix the camera 11 to the head of the user (1). Here, the holder may be formed integrally with the head gear 13 or may be manufactured separately and attached to the head gear 13.

이렇게 사용자(1) 머리의 카메라(11)에서 촬영된 형광영상은 최종적으로는 글라스(20)에 표시된다.The fluorescent image photographed by the camera 11 of the head of the user 1 is finally displayed on the glass 20.

글라스(20)는 사용자(1)의 눈 전방에 배치되도록 안경이나 고글 형태로 마련되고, 투명한 소재로 이루어진다. 따라서, 사용자(1)는 수술부위(3)의 현실영상을 글라스(20)를 통해 직접 눈으로 인지할 수 있다. 즉, 사용자(1)의 눈에 의한 수술 시야가 확보되는 것이다.Glass 20 is provided in the form of glasses or goggles to be placed in front of the eyes of the user 1, made of a transparent material. Accordingly, the user 1 may directly recognize the reality image of the surgical site 3 through the glass 20. That is, the surgical field of view by the eyes of the user 1 is secured.

한편, 형광영상은 사용자(1)의 시야 내에 배치되도록 글라스(20)에 표시되는데, 이때 도 3과 같이, 형광영상(7)이 현실영상(9)에 실시간으로 겹쳐지면서 정합된다. 이렇게 사용자(1)의 시야에서 형광영상(7)이 증강현실로 투영되면, 사용자(1)는 절제하고자 하는 주변조직의 위치 및 정상조직과의 경계를 정확히 확인할 수 있게 된다. 또한, 눈을 통한 시야 확보로 인해 거리 감각이 저해되지 않으므로, 정확한 위치에 메스와 같은 수술도구를 조준할 수 있다.On the other hand, the fluorescent image is displayed on the glass 20 to be placed within the field of view of the user 1, in this case, as shown in Figure 3, the fluorescent image 7 is superimposed in real time on the real image (9). When the fluorescent image 7 is projected to the augmented reality in the field of view of the user 1, the user 1 can accurately check the position of the surrounding tissue to be excised and the boundary with the normal tissue. In addition, since the sense of distance is not impaired due to securing the vision through the eyes, it is possible to aim a surgical tool such as a scalpel in the correct position.

영상정합부(30)는 현실영상에 대응되는 크기로 정확한 위치에 형광영상이 매칭되도록, 형광영상을 처리한다. 본 발명에서는 카메라(11)가 사용자(1)의 머리에 배치되기 때문에, 사용자(1)의 시선 방향에서 생체조직을 촬영할 수 있는 이점이 있지만, 수술 중 사용자(1)가 머리를 움직이게 되면 카메라(11) 위치 변화에 따라 촬영된 형광영상이 정합되지 않을 수 있다. 이에, 영상정합부(30)가 카메라(11)에 의해 얻어진 형광영상을 분석하여 정합되도록 설정하고, 또한 이를 보정한다. 그 설정 및 보정 처리 방식에 대해서는 후술한다.The image matching unit 30 processes the fluorescence image so that the fluorescence image is matched at an accurate position with a size corresponding to the real image. In the present invention, since the camera 11 is disposed on the head of the user 1, there is an advantage that the biological tissue can be taken in the direction of the user 1's eye, but if the user 1 moves the head during surgery, the camera ( 11) Depending on the position change, the captured fluorescent image may not be matched. Thus, the image matching unit 30 is set to analyze and match the fluorescent image obtained by the camera 11, and also corrects this. The setting and correction processing method will be described later.

영상전송부(40)는 영상정합부(30)에서 처리된 형광영상을 수신하여, 글라스(20)에 전송하므로써 영상을 정합하여 표시한다. 여기서, 영상전송부(40)는 통신모듈, 및 증강현실모듈을 포함한다. 통신모듈은 형광영상 데이터를 송수신할 수 있는 통신장치로서, 유선 또는 무선으로 데이터를 전송할 수 있다. 한편, 증강현실모듈은 증강현실 프로그램을 이용해 글라스(20)에 형광영상을 표시하는데, 현실영상에 상기 형광영상을 정합하여 표시할 수 있는 한, 증강현실 영상을 합성하여 디스플레이하는 모든 공지의 장치를 포함한다.The image transmission unit 40 receives the fluorescent image processed by the image matching unit 30 and transmits the image to the glass 20 to display the image. Here, the image transmitter 40 includes a communication module, and an augmented reality module. The communication module is a communication device capable of transmitting and receiving fluorescent image data, and may transmit data by wire or wirelessly. Meanwhile, the augmented reality module displays a fluorescent image on the glass 20 using an augmented reality program, and all known devices for synthesizing and displaying an augmented reality image as long as the fluorescent image can be displayed and matched with a real image. Include.

종합적으로, 본 발명에 따른 영상유도 수술용 고글 시스템에 의하면, 형광물질에 의해 생체조직에 대한 형광영상을 획득하고, 수술부위를 바라보는 외과의사의 현실영상에 그 형광영상을 정합하여 실시간으로 표시함으로써, 의사가 별도의 모니터에 의존하지 않고, 눈으로 직접 수술부위를 바라보면서, 절제하고자 하는 주변조직의 위치 및 정상조직과의 경계를 정확히 확인할 수 있다. 나아가 눈을 통한 수술 시야가 확보되므로, 거리 감각이 방해받지 않아서 의사가 정확한 절제를 할 수 있다.Overall, according to the image-induced surgical goggles system according to the present invention, a fluorescent image of a living tissue is obtained by a fluorescent material, the fluorescent image is matched to a real image of a surgeon looking at the surgical site, and displayed in real time. By doing this, the doctor can check the position of the surrounding tissue to be resected and the boundary with the normal tissue while looking directly at the surgical site without relying on a separate monitor. Furthermore, since the vision of the surgery is secured through the eyes, the doctor can make accurate resections without disturbing the sense of distance.

이하에서는 영상정합부(30)에 의한 형광영상 처리에 대해서 설명한다.Hereinafter, the fluorescence image processing by the image matching unit 30 will be described.

도 4는 본 발명에 따른 영상유도 수술용 고글 시스템을 사용하는 경우의 시선과 광경로를 도시한 측면도이고, 도 5a 내지 도 5b는 도 2에 도시된 영상정합부의 구성도이며, 도 6a는 사용자의 머리 위치가 기준위치에서 후퇴하는 경우의 광경로를 도시한 측면도이고, 도 6b는 사용자의 머리 위치가 기준위치에서 전진하는 경우의 광경로를 도시한 측면도이다.Figure 4 is a side view showing the line of sight and light path when using the image-guided surgical goggles system according to the present invention, Figures 5a to 5b is a configuration diagram of the image matching unit shown in Figure 2, Figure 6a is a user Is a side view showing an optical path when the head position is retracted from the reference position, Figure 6b is a side view showing an optical path when the user's head position advances from the reference position.

도 4에 도시된 바와 같이, 본 발명에 따른 영상유도 수술용 고글 시스템은 카메라(11)가 사용자(1, 도 2 참조)의 머리에 배치되므로, 시선(e)과 광경로(l)가 서로 일치하지 않는다. 여기서, 시선(e)은 사용자(1)의 눈(2)에서부터 수술부위(3)에 이르는 가상의 일직선이고, 광경로(l)는 수술부위(3)에서 반사된 반사광이 카메라(11)의 렌즈를 투과할 때에 지나는 직선상의 경로를 의미한다. As shown in FIG. 4, in the image guided goggles system according to the present invention, since the camera 11 is disposed at the head of the user 1 (see FIG. 2), the gaze e and the light path l are mutually different. Does not match Here, the gaze (e) is a virtual straight line extending from the eye 2 of the user 1 to the surgical site 3, the optical path (l) is the reflected light reflected from the surgical site (3) of the camera 11 It means a straight path passing through the lens.

이에, 영상정합부(30)는 기준위치에서 형광영상을 획득하여, 현실영상에 정합되도록 그 형광영상을 설정하고, 기준위치를 벗어난 위치에서 형광영상을 획득한 경우에는 그 형광영상의 위치 및 크기를 보정한다. 여기서, 기준위치는 눈(2)의 시야와 카메라(11)의 시야가 서로 일치하는 위치로서, 최초 정합에 사용되는 형광영상을 촬영하는 카메라(11)의 위치, 즉 사용자(1)의 머리 위치이다. 이러한 기준위치는 시선(e)과 광경로(l0)가 수술부위(3) 상(on)의 임의의 점에서 서로 만날 때의 머리 위치로 정할 수 있다. 이때, 임의의 점은 예를 들어, 수술부위(3), 또는 절제되는 생체조직의 중심점일 수 있는데, 어느 한점에서 시선(e)과 광경로(l0)가 만나는 한, 특별히 제한을 둘 필요는 없다. 이러한 기준위치에서 형광영상이 촬영되면, 그 위치에서의 현실영상에 형광영상이 정합되도록, 형광영상의 위치 및 크기를 초기 설정한다.Thus, the image matching unit 30 acquires the fluorescent image at the reference position, sets the fluorescent image to match the real image, and when the fluorescent image is obtained at the position outside the reference position, the position and size of the fluorescent image. Calibrate Here, the reference position is a position where the field of view of the eye 2 and the field of view of the camera 11 coincide with each other, and the position of the camera 11 which photographs the fluorescent image used for the initial registration, that is, the head position of the user 1. to be. This reference position may be determined as the head position when the line of sight e and the optical path l 0 meet with each other at any point on the surgical site 3 on. At this time, the arbitrary point may be, for example, the surgical site (3), or the center point of the biopsy being excised, and at any one point, as long as the line of sight (e) and the optical path (l 0 ) meet each other, there is a need for special limitation. There is no. When the fluorescent image is photographed at the reference position, the position and size of the fluorescent image are initially set so that the fluorescent image is matched with the real image at the position.

한편, 사용자(1)의 머리 위치가 상기 기준위치를 벗어나면, 더 이상 시선(e)과 광경로(l1, l2)가 수술부위(3) 상(on)에서 서로 만나지 않는다. 예를 들어, 기준위치에서의 사용자(1)의 머리가 수술부위(3)에서 멀어지면, 광경로(l1)는 기준위치에서보다 x(x1)만큼 후퇴하고, 수술부위(3) 위(上)에서 시선(e)과 교차한다. 반면, 사용자(1)의 머리가 수술부위(3)에 가까워지면, 광경로(l2)는 기준위치에서보다 x(x2)만큼 전진하게 되고, 시선(e)과 광경로(l2)는 교차하지 않는다 (이때에는 시선(e)과 광경로(l2) 각각의 연장선이 수술부위(3) 아래쪽에서 교차된다). 이러한 각각의 경우에, 눈의 시야와 카메라(11)의 시야도 불일치하게 된다. 따라서, 초기 설정된 위치 및 크기를 적용하면, 영상이 정합되지 않으므로, 영상정합부(30)가 이때의 형광영상을 보정한다.On the other hand, when the head position of the user 1 is out of the reference position, the gaze (e) and the optical path (l 1 , l 2 ) no longer meet each other on the surgical site (on 3). For example, if the head of the user 1 at the reference position moves away from the surgical site 3, the optical path l 1 retreats by x (x 1 ) than at the reference location, and above the surgical site 3. Intersect with line of sight (e) at (up). On the other hand, when the head of the user 1 approaches the surgical site 3, the optical path l 2 is advanced by x (x 2 ) than at the reference position, and the gaze (e) and the optical path (l 2 ) Does not intersect (the extension of each line of sight (e) and light path (l 2 ) is crossed below the surgical site (3)). In each of these cases, the field of view of the eye and the field of view of the camera 11 also become inconsistent. Therefore, when the initial position and size are applied, the image is not matched, and the image matching unit 30 corrects the fluorescent image at this time.

구체적으로, 영상정합부(30)가 형광영상을 처리하기 위해서는, 도 5a에 도시된 바와 같이, 영상정합부(30)는 거리센서(31), 시선각도센서(33), 및 처리부(35)를 포함할 수 있다.Specifically, in order for the image matching unit 30 to process the fluorescent image, as shown in FIG. 5A, the image matching unit 30 includes the distance sensor 31, the eye angle sensor 33, and the processing unit 35. It may include.

여기서, 거리센서(31)는 카메라(11, 도 2 참조)에 배치되어, 광경로(l, 도 4 참조) 거리를 측정한다. 거리센서(31)는 적외선, 자연광, 또는 초음파 등을 피측정물에 반사시켜 수신할 때까지의 시간을 측정하는 방식으로 거리를 산정하는 센서인데, 거리 측정이 가능한 한 측정 방식에 특별한 제한은 없다.Here, the distance sensor 31 is disposed in the camera 11 (see FIG. 2) to measure the distance of the optical path (see FIG. 4). The distance sensor 31 is a sensor that calculates distance by reflecting infrared rays, natural light, or ultrasonic waves to the object to be measured and measuring the time, and there is no particular limitation on the measurement method as long as the distance measurement is possible. .

시선각도센서(33)는 글라스(20, 도 2 참조)에 배치되어, 상기 기준위치에서, 시선(e, 도 4 참조)과 수술부위(3, 도 4 참조)가 이루는 각도(a)를 측정한다. 이하, 이에 의해 측정된 각도(a)를 시선 각(angle)이라고 한다. 여기서, 시선각도센서(33)는 예를 들어, 자이로센서를 사용할 수 있는데, 반드시 이에 한정할 것은 아니고, 모든 공지의 각도센서를 사용할 수 있다.The eye angle sensor 33 is disposed on the glass 20 (see FIG. 2), and measures the angle a between the eye line e (see FIG. 4) and the surgical site (see 3, 4) at the reference position. do. Hereinafter, the angle a measured by this is called eyeball angle. Here, the eye angle sensor 33 may use a gyro sensor, for example, but is not limited thereto, and all known angle sensors may be used.

처리부(35)는 거리센서(31)에 의해 측정된 광경로(l) 거리, 및 시선각도센서(33)에 측정된 시선 각을 이용하여 형광영상을 처리한다. 처리부(35)가 형광영상을 처리하기 위해 요구되는 파라미터는 상기 광경로(l) 거리와 시선 각(a), 그리고 기준위치에서의 시선(e)과 광경로(l)가 이루는 사잇각(angle, b)이다. 이하 상기 사잇각(b)을 시야 사잇각이라고 한다.The processor 35 processes the fluorescence image by using the light path distance measured by the distance sensor 31 and the eye angle measured by the eye angle sensor 33. The parameters required for the processing unit 35 to process the fluorescence image include the optical path (l) distance and the gaze angle (a), and the angle formed by the gaze (e) and the optical path (l) at the reference position. b). Hereinafter, the angle of inclination (b) is referred to as the field of view.

시야 사잇각은 처리부(35)가 하기 [수학식 1]을 적용하여 산출할 수 있다.The viewing angle may be calculated by the processing unit 35 by applying Equation 1 below.

Figure 112017056764123-pat00004
Figure 112017056764123-pat00004

여기서, b는 시야 사잇각, w는 사용자(1)의 눈(2)과 카메라(11)까지의 거리, l0는 기준위치에서의 광경로(l) 거리이다. Here, b is the viewing angle, w is the distance between the eye 2 of the user 1 and the camera 11, l 0 is the distance of the light path (l) at the reference position.

다만, 시야 사잇각은 반드시 상기 [수학식 1]에 의해서만 산출되는 것은 아니다. 일례로, 도 5b와 같이, 영상정합부(30)가 광경로각도센서(34)를 더 포함하여 산정할 수도 있다.However, the viewing angle is not necessarily calculated only by the above Equation 1. For example, as shown in FIG. 5B, the image matching unit 30 may further include the optical path angle sensor 34.

여기서, 광경로각도센서(34)는 카메라(11)에 배치되어, 기준위치에서, 광경로(l)와 수술부위(3) 사이의 각도인 광경로 각(angle, a+b)을 측정한다. 이때, 광경로각도센서(34)로서, 자이로센서를 포함한 모든 공지의 각도센서를 사용할 수 있다. Here, the optical path angle sensor 34 is disposed in the camera 11, and measures the optical path angle (a + b) which is an angle between the optical path l and the surgical site 3 at the reference position. . At this time, as the optical path angle sensor 34, all known angle sensors including a gyro sensor can be used.

이렇게 광경로각도센서(34)에 의해 광경로 각(a+b)이 측정되면, 처리부(35)가 그 광경로 각(a+b)에서 시선 각(a)을 빼서, 시야 사잇각을 산출할 수 있다.When the optical path angle a + b is measured by the optical path angle sensor 34 as described above, the processing unit 35 calculates the visual field angle by subtracting the line of sight angle a from the optical path angle a + b. Can be.

상술한 2가지 방식 중, 어느 하나의 방식으로 시야 사잇각이 산출되면, 처리부(35)가 광경로(l)의 위치변화량을 계산하고, 이를 기반으로 형광영상의 위치를 조정할 수 있다. 광경로(l)의 위치변화량은 사용자(1)의 머리가 위치하는 그 측정위치에서, 광경로(l, l1, l2)가 후퇴하거나 전진한 거리(x, x1, x2)로서, 하기 [수학식 2]에 의해 계산될 수 있다.When the field of view angle is calculated in one of the two methods described above, the processor 35 may calculate the position change amount of the optical path l and adjust the position of the fluorescent image based on this. The position change amount of the optical path l is the distance (x, x 1 , x 2 ) at which the optical paths l, l 1 , l 2 retreat or advanced at the measurement position where the head of the user 1 is located. , May be calculated by Equation 2 below.

Figure 112017056764123-pat00005
Figure 112017056764123-pat00005

여기서, x는 광경로(l)의 위치변화량, a는 시선 각, b는 시야 사잇각, l0는 기준위치에서의 광경로(l) 거리, l은 측정위치에서의 광경로(l) 거리이다.Here, x is the position change amount of the optical path (l), a is the viewing angle, b is the field of view angle, l 0 is the optical path (l) distance from the reference position, l is the optical path (l) distance from the measurement position .

이때, x값은, 사용자(1)의 머리가 수술부위(3)로부터 멀어지면, 즉 광경로(l1)가 후퇴하면, 광경로(l) 거리가 커져서 음(-)의 값(x1)을 갖는다. 반대로, 사용자(1)의 머리가 수술부위(3)로부터 가까워져서 광경로(l2)가 전진하면, 광경로(l) 거리가 작아져서 양(+)의 값(x2)을 갖게 된다.In this case, the x value is a negative value (x 1 ) when the head of the user 1 moves away from the surgical site 3, that is, when the optical path l 1 retreats, the optical path l distance increases. Has On the contrary, when the head of the user 1 is moved closer to the surgical site 3 and the light path l 2 is advanced, the distance of the light path l becomes smaller to have a positive value (x 2 ).

따라서, 처리부(35)는 x값이 음이면, 그 위치에서 촬영된 형광영상을 x만큼 위치를 전진시킴으로써, 현실영상에 형광영상을 정합시킨다. 반면, x값이 양이면, 그 위치에서 촬영된 형광영상을 x만큼 위치를 후퇴시켜, 형광영상을 정합시킨다.Therefore, if the x value is negative, the processing unit 35 advances the position of the fluorescent image photographed at the position by x, thereby matching the fluorescent image to the real image. On the other hand, if the x value is positive, the fluorescent image photographed at the position is retracted by x to match the fluorescent image.

한편, 사용자(1)의 머리 위치 변화는 카메라(11)의 시야 크기에도 영향을 미치는바, 처리부(35)는 형광영상의 크기를 조정할 수 있다. 이때, 처리부(35)는 하기 [수학식 3]에 의해, 사용자(1)의 시야에 대한 카메라(11)의 시야 크기비율을 계산하고, 그 크기비율의 역수 값을 배율로 상기 형광영상의 크기를 조정한다.On the other hand, the change in the position of the head of the user 1 also affects the size of the field of view of the camera 11, the processor 35 may adjust the size of the fluorescent image. At this time, the processor 35 calculates the field size ratio of the camera 11 with respect to the field of view of the user 1 by Equation 3 below, and scales the fluorescence image with the reciprocal of the size ratio. Adjust it.

Figure 112017056764123-pat00006
Figure 112017056764123-pat00006

여기서, M은 크기비율, x는 광경로(l)의 위치변화량, a는 시선 각, b는 시야 사잇각, l0는 기준위치에서의 광경로(l) 거리, l은 측정위치에서의 광경로(l) 거리이다.Where M is the size ratio, x is the positional change of the optical path l, a is the eye angle, b is the viewing angle, l 0 is the optical path l distance from the reference position, and l is the optical path at the measurement position. (l) Distance.

도 6a와 같이 사용자(1)의 머리가 수술부위(3)로부터 멀어지는 경우에, 상기 식에서, 측정위치에서의 광경로 거리(l)에 l1을 대입하여 크기비율(M)을 계산하고, 그 크기비율(M)이 1이 되도록 임의의 정수 K를 구한다. 이때, K는 1/M이 되는데, 그 K를 측정위치에서 촬영한 형광영상의 크기에 곱함으로써, 그 위치에서 정합되는 형광영상의 크기를 조정한다.When the head of the user 1 is away from the surgical site 3 as shown in Fig. 6a, in the above equation, l 1 is substituted for the optical path distance l at the measurement position, and the size ratio M is calculated. An arbitrary integer K is obtained so that the size ratio M is 1. In this case, K becomes 1 / M, and the size of the fluorescent image matched at that position is adjusted by multiplying the K by the size of the fluorescent image photographed at the measurement position.

도 6b은, 사용자(1)의 머리가 수술부위(3)에 가까워지는 경우로서, 측정위치에서의 광경로 거리(l)에 l2을 대입하여 상기 식에 따라, 그 크기비율(M)과 정수 K를 구하고, 상기와 동일한 방식으로 형광영상의 크기를 조정한다. 6B illustrates a case where the head of the user 1 is close to the surgical site 3, and l 2 is substituted for the optical path distance l at the measurement position. According to the above formula, the size ratio M and the constant K are obtained, and the size of the fluorescent image is adjusted in the same manner as described above.

따라서, 본 발명에 따른 영상유도 시스템은 형광영상을 획득하는 카메라(11)가 외과의사의 머리에 배치되어 카메라(11)의 광경로(l)와 시선(e)의 불일치로 인한 시야 차이가 발생하는 경우에, 그 차이로 인한 형광영상을 실시간으로 보정하여 현실영상에 정확하게 오버랩될 수 있게 한다.Therefore, in the image induction system according to the present invention, a camera 11 for acquiring a fluorescence image is disposed on a surgeon's head so that a visual field difference occurs due to a mismatch between the optical path l of the camera 11 and the line of sight e. In this case, the fluorescence image due to the difference is corrected in real time so that it can be accurately overlapped with the real image.

이상 본 발명을 구체적인 실시예를 통하여 상세히 설명하였으나, 이는 본 발명을 구체적으로 설명하기 위한 것으로, 본 발명은 이에 한정되지 않으며, 본 발명의 기술적 사상 내에서 당 분야의 통상의 지식을 가진 자에 의해 그 변형이나 개량이 가능함이 명백하다.Although the present invention has been described in detail through specific examples, it is intended to describe the present invention in detail, and the present invention is not limited thereto, and should be understood by those skilled in the art within the technical spirit of the present invention. It is obvious that modifications and improvements are possible.

본 발명의 단순한 변형 내지 변경은 모두 본 발명의 영역에 속한 것으로 본 발명의 구체적인 보호 범위는 첨부된 특허청구범위에 의하여 명확해질 것이다.All modifications and variations of the present invention fall within the scope of the present invention, and the specific scope of protection of the present invention will be apparent from the appended claims.

1: 사용자 3: 수술부위
5: 광원 7: 형광영상
9: 현실영상 10: 영상획득부
11: 카메라 13: 헤드기어
20: 글라스 30: 영상정합부
31: 거리센서 33: 시선각도센서
34: 광경로각도센서 35: 처리부
40: 영상전송부
1: user 3: surgical site
5: light source 7: fluorescent image
9: reality image 10: image acquisition unit
11: camera 13: headgear
20: glass 30: image registration unit
31: distance sensor 33: eye angle sensor
34: optical path angle sensor 35: processing unit
40: video transmission unit

Claims (8)

사용자의 머리에 배치되는 카메라를 포함하여, 형광물질이 투여된 생체조직에 광을 조사하여 생성된 형광영상을 촬영하여 획득하는 영상획득부;
상기 생체조직을 포함하는 수술부위를 볼 수 있도록, 상기 사용자의 눈(eye) 전방에 배치되는 투명 글라스;
상기 형광영상이 상기 글라스를 통해 보이는 현실영상에 실시간으로 겹쳐지도록, 상기 형광영상을 처리하는 영상정합부; 및
처리된 상기 형광영상을 상기 글라스에 전송하여 정합 표시하는 영상전송부;를 포함하고,
상기 영상정합부는
상기 카메라로부터 상기 수술부위에 이르는 광경로와, 상기 사용자의 눈에서부터 상기 수술부위에 이르는 시선이, 상시 수술부위 상의 임의의 점에서 서로 만나는 상기 사용자의 머리 위치를 기준위치로 정하고, 상기 사용자의 머리 위치가 상기 기준위치를 벗어난 때에, 상기 형광영상을 보정하며,
상기 영상정합부는
상기 카메라에 배치되어, 상기 광경로 거리를 측정하는 거리센서;
상기 글라스에 배치되어, 상기 기준위치에서, 상기 시선과 상기 수술부위가 이루는 시선 각(angle)을 측정하는 시선각도센서; 및
상기 광경로 거리, 및 상기 시선 각을 이용하여 상기 형광영상을 보정하는 처리부;를 포함하는 영상유도 수술용 고글 시스템.
An image acquisition unit including a camera disposed on a user's head, and photographing and obtaining a fluorescent image generated by irradiating light onto biological tissue to which the fluorescent substance is administered;
Transparent glass disposed in front of the eye of the user to see the surgical site including the biological tissue;
An image matching unit processing the fluorescent image so that the fluorescent image is superimposed in real time on the real image seen through the glass; And
And an image transmission unit for transmitting the processed fluorescent image to the glass and displaying the registration image.
The image matching unit
The position of the head of the user where the light path from the camera to the surgical site and the gaze from the eye of the user to the surgical site meet each other at any point on the surgical site is set as a reference position, and the user's head Correcting the fluorescence image when the position is out of the reference position,
The image matching unit
A distance sensor disposed on the camera to measure the optical path distance;
An eye angle sensor disposed on the glass to measure an eye angle between the eye and the surgical part at the reference position; And
And a processor configured to correct the fluorescence image using the light path distance and the gaze angle.
청구항 1에 있어서,
상기 영상획득부는
상기 사용자의 머리에 착용되고, 상기 카메라가 부착되는 헤드기어;
를 더 포함하는 영상유도 수술용 고글 시스템.
The method according to claim 1,
The image acquisition unit
A head gear worn on the head of the user and to which the camera is attached;
Image guided surgical goggles system further comprising.
삭제delete 삭제delete 청구항 1에 있어서,
상기 처리부는
하기 [수학식 1]에 의해, 상기 기준위치에서의 상기 시선과 상기 광경로가 이루는 시야 사잇각(angle)을 산출하는 영상유도 수술용 고글 시스템.
[수학식 1]
Figure 112019049159811-pat00007

(b: 시야 사잇각, w: 사용자의 눈과 카메라까지의 거리, l0: 기준위치에서의 광경로 거리)
The method according to claim 1,
The processing unit
An image-guided surgical goggle system for calculating a field of view angle formed by the line of sight and the optical path at the reference position by Equation 1 below.
[Equation 1]
Figure 112019049159811-pat00007

(b: field of view angle, w: distance between user's eyes and camera, l 0 : distance of light path from reference position)
청구항 1에 있어서,
상기 영상정합부는
상기 카메라에 배치되어, 상기 기준위치에서, 상기 광경로와 상기 수술부위 사이의 광경로 각(angle)을 측정하는 광경로각도센서;
를 더 포함하고,
상기 처리부는, 상기 광경로 각에서 상기 시선 각을 빼서, 상기 기준위치에서의 상기 시선과 상기 광경로가 이루는 시야 사잇각(angle)을 산출하는 영상유도 수술용 고글 시스템.
The method according to claim 1,
The image matching unit
An optical path angle sensor disposed at the camera to measure an optical path angle between the optical path and the surgical site at the reference position;
More,
And the processing unit subtracts the gaze angle from the light path angle to calculate a viewing angle between the line of sight and the light path at the reference position.
청구항 5 또는 청구항 6에 있어서,
상기 처리부는
하기 [수학식 2]에 의해, 상기 사용자의 머리 위치에 따른 상기 광경로의 위치변화량을 계산하고, 상기 위치변화량만큼 상기 형광영상의 위치를 조정하는 영상유도 수술용 고글 시스템.
[수학식 2]
Figure 112017056764123-pat00008

(x: 광경로의 위치변화량, a: 시선 각, b: 시야 사잇각, l0: 기준위치에서의 광경로 거리, l: 측정위치에서의 광경로 거리)
The method according to claim 5 or 6,
The processing unit
According to Equation 2, an image guided goggle system for calculating the position change amount of the optical path according to the position of the user's head and adjusting the position of the fluorescent image by the position change amount.
[Equation 2]
Figure 112017056764123-pat00008

(x: position change of light path, a: line of sight, b: angle of view, l 0 : distance of light path from reference position, l: distance of light path from measurement position)
청구항 7에 있어서,
상기 처리부는
하기 [수학식 3]에 의해, 상기 사용자의 머리 위치에 따른 상기 사용자의 시야에 대한 상기 카메라의 시야 크기비율을 계산하고, 상기 크기비율의 역수 값을 배율로 상기 형광영상의 크기를 조정하는 영상유도 수술용 고글 시스템.
[수학식 3]
Figure 112017056764123-pat00009

(M: 크기비율, x: 광경로의 위치변화량, a: 시선 각, b: 시야 사잇각, l0: 기준위치에서의 광경로 거리, l: 측정위치에서의 광경로 거리)
The method according to claim 7,
The processing unit
According to Equation 3, an image of calculating the field of view ratio of the camera with respect to the field of view of the user according to the position of the user's head, and adjusting the size of the fluorescence image by the reciprocal value of the size ratio Induction Surgical Goggles System.
[Equation 3]
Figure 112017056764123-pat00009

(M: size ratio, x: position change of optical path, a: line of sight, b: field of view angle, l 0 : optical path distance from reference position, l: optical path distance from measurement position)
KR1020170074874A 2017-06-14 2017-06-14 Goggle system for image guide surgery Active KR102009558B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170074874A KR102009558B1 (en) 2017-06-14 2017-06-14 Goggle system for image guide surgery

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170074874A KR102009558B1 (en) 2017-06-14 2017-06-14 Goggle system for image guide surgery

Publications (2)

Publication Number Publication Date
KR20180136219A KR20180136219A (en) 2018-12-24
KR102009558B1 true KR102009558B1 (en) 2019-08-09

Family

ID=65010000

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170074874A Active KR102009558B1 (en) 2017-06-14 2017-06-14 Goggle system for image guide surgery

Country Status (1)

Country Link
KR (1) KR102009558B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102222076B1 (en) * 2019-03-19 2021-03-03 한국광기술원 Optical System for Realizing Augmented Reality and Medical Augmented Reality Apparatus Including the Same
US11550145B2 (en) 2019-01-16 2023-01-10 Korea Photonics Technology Institute Optical system for implementing augmented reality and device including the same
CN110623755A (en) * 2019-09-27 2019-12-31 上海交通大学医学院附属瑞金医院 A novel limited surgical field sharing device
GB2588774B (en) 2019-11-05 2024-05-15 Arspectra Sarl Augmented reality headset for medical imaging
WO2022234156A1 (en) * 2021-05-05 2022-11-10 Arspectra Sàrl Enhanced augmented reality headset for medical imaging

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726028B1 (en) 2005-12-14 2007-06-08 한양대학교 산학협력단 Augmented Reality Image Projection System and Its Method
WO2016149416A1 (en) 2015-03-16 2016-09-22 Magic Leap, Inc. Methods and systems for diagnosing and treating health ailments
KR101667152B1 (en) * 2015-05-22 2016-10-24 고려대학교 산학협력단 Smart glasses system for supplying surgery assist image and method for supplying surgery assist image using smart glasses

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160050529A (en) * 2014-10-30 2016-05-11 주식회사 엔씨테크론 Apparatus for projecting blood vessel using infrared rays
KR101630539B1 (en) 2014-12-31 2016-06-14 국립암센터 Apparatus and method of registering multiple fluorescent images in real time for surgical microscope

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100726028B1 (en) 2005-12-14 2007-06-08 한양대학교 산학협력단 Augmented Reality Image Projection System and Its Method
WO2016149416A1 (en) 2015-03-16 2016-09-22 Magic Leap, Inc. Methods and systems for diagnosing and treating health ailments
KR101667152B1 (en) * 2015-05-22 2016-10-24 고려대학교 산학협력단 Smart glasses system for supplying surgery assist image and method for supplying surgery assist image using smart glasses

Also Published As

Publication number Publication date
KR20180136219A (en) 2018-12-24

Similar Documents

Publication Publication Date Title
US12136176B2 (en) Augmented reality headset for medical imaging
KR102009558B1 (en) Goggle system for image guide surgery
US12383368B2 (en) Imaging and display system for guiding medical interventions
CN113876422B (en) Invisible light visual automatic registration type augmented reality glasses
ES2220574T3 (en) VISION HELP IN THE FORM OF SUNGLASSES-LUPA WITH AUTOMATIC FOCUS DEVICE.
KR102097390B1 (en) Smart glasses display device based on eye tracking
CN108272432A (en) A kind of ophthalmology high speed, high resolution multifunctional optical coherence tomography device based on slit-lamp platform
CN113367638A (en) Method and device for acquiring high-precision three-dimensional fluorescence image, storage medium and terminal
AU2017367254B2 (en) Visualization systems and methods for optimized optical coherence tomography
JP2018060011A (en) Display device
WO2024246144A1 (en) Apparatus with image detector and image projector
CN106943193A (en) Common location operation guiding system and camera head
CN207721883U (en) Active light excites operation guiding system and camera head
CN108836506A (en) A kind of black light for operation shows that equipment and optics instruct system
CN108965856A (en) A kind of naked eye 3D display system and method based on 3D endoscope
WO2022234156A1 (en) Enhanced augmented reality headset for medical imaging
CN117615694A (en) Multi-refractive path imaging system
CN110226974B (en) A near-infrared fluorescence imaging system based on augmented reality
CN209154017U (en) An invisible light display device and optical guidance system for surgery
US20240225776A1 (en) Augmented reality headset and probe for medical imaging
KR102204426B1 (en) Image acquisition system and image acquisition method using the same
CN116269172A (en) Endoscope system with adaptive illumination control

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7