[go: up one dir, main page]

WO2018164361A1 - 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법 - Google Patents

적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법 Download PDF

Info

Publication number
WO2018164361A1
WO2018164361A1 PCT/KR2018/000114 KR2018000114W WO2018164361A1 WO 2018164361 A1 WO2018164361 A1 WO 2018164361A1 KR 2018000114 W KR2018000114 W KR 2018000114W WO 2018164361 A1 WO2018164361 A1 WO 2018164361A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
pupil
infrared
eye
outputting
Prior art date
Application number
PCT/KR2018/000114
Other languages
English (en)
French (fr)
Inventor
남윤영
공영선
Original Assignee
순천향대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 순천향대학교 산학협력단 filed Critical 순천향대학교 산학협력단
Priority to CN201880009670.6A priority Critical patent/CN110325104B/zh
Publication of WO2018164361A1 publication Critical patent/WO2018164361A1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4863—Measuring or inducing nystagmus
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Definitions

  • the present invention relates to a video nystagmus testing apparatus and method, and more particularly, to rotate the patient from side to side to affect the vestibular organ of the patient and analyze the infrared pupil image taken by the infrared camera based on the rotation conditions of the patient.
  • the present invention relates to a video nystagmus test apparatus and method using an infrared camera to perform a nystagmus test on a patient.
  • Dizziness is so common that there are statistics that one in five adults experienced more than once a year.
  • Dizziness usually occurs when an abnormality occurs in the ear (peripheral), brain (central), heart, eyes, and the like.
  • VOR Vestibular-Ocular Reflex
  • Vestibular reflection helps to fix the eye by moving the eye in the opposite direction of the head's rotation.
  • Compensatory Eye Movement is induced by sensing angular acceleration in the semicircular vestibular system and called nystagmus.
  • Vestibular dysfunction or nystagmus, is a disorder in which the target escapes from the center and causes shaking of the field of vision.
  • ENG electro-nystagmography
  • SSCS sclera search coil system
  • electrostable recording method is sensitive to changes in electrode attachment state or changes in skin resistance due to sweat, etc. according to the movement of the patient, and thus requires frequent calibration of the device. There was a problem that the difficulty in the examination in patients not good.
  • the sclera search coil system is a method of three-dimensionally graphing the intensity change of the magnetic field of the muscle generated during eye movement after contacting the sclera with a contact lens-type device with a wire embedded therein.
  • the sclera search coil system has the advantage of receiving more accurate signals and capturing minute eye movements compared to electrospinography.
  • an object of the present invention is to rotate the patient from side to side affects the vestibular organ of the patient and based on the rotation conditions of the infrared camera to analyze the infrared pupil images taken by the infrared camera to perform a nystagmus test for the patient
  • An apparatus and method for testing video nystagmus are provided.
  • the nystagmus inspection unit the rotation control unit for controlling the rotation of the rotary chair according to the rotation control information preset for the nystagmus test;
  • An infrared image acquisition unit configured to control and drive the infrared image capture unit, and to acquire and output the infrared eye image through the infrared image capture unit;
  • An image processor configured to detect the pupil after binarizing the obtained infrared eye image and output image data of the detected pupil;
  • a pupil motion detector for receiving and analyzing the image data and outputting pupil motion characteristic information on pupil movement;
  • an nystagmus determination unit that performs an nystagmus test and analyzes nystagmus by analyzing the detected pupil movement characteristic information based on the rotation control information.
  • the image processing step may include: an ROI designation step of outputting an infrared front eye part image including only the front eye part from the infrared eye image; An image conversion step of binarizing the infrared eyepiece image and outputting a binarized eyeball image; An edge detection step of detecting an outline of an anterior eye part from the binarized anterior eye part image and outputting an anterior eye image; And a circle detection step of detecting a pupil from the frontal image of the front part, detecting a center point of the pupil, and outputting image data of the pupil according to the movement to the detected center point.
  • the circle detection step may be input from an anterior eye region outline image detection unit for at least two or more binarized anterior eye segment images converted based on a plurality of changed reference values, and detect a circle from each anterior eye segment outline image.
  • An optimal circle detection step of selecting and outputting an image of an anterior part of the eye where the circle corresponds to the pupil; And calculating a center point of the circle for the selected anterior eyelid image, and outputting the pupil image data by estimating the distance and angle of the actual pupil movement in pixel units in consideration of the three-dimensional structure and curve of the pupil.
  • an image calibration step may be input from an anterior eye region outline image detection unit for at least two or more binarized anterior eye segment images converted based on a plurality of changed reference values, and detect a circle from each anterior eye segment outline image.
  • the pupil motion detecting step may include: a first interpolation step of receiving the image data and applying a linear spline algorithm to interpolate a signal missing due to blinking to output a first interpolated image signal; A derivative step of obtaining a slope from the first interpolated image signal and outputting a differential image signal obtained by squaring the slope; A fast phase removing step of applying a differential video signal to the first interpolated video signal and outputting a slow phase signal from which a fast phase signal is removed from the first interpolated video signal; A second interpolation step of interpolating and outputting the slow phase signal by applying a linear spline algorithm; A filtering step of filtering and outputting the interpolated slow phase signal; And extracting gain, asymmetry and phase characteristics from the slow phase signal to output the pupil motion characteristic information.
  • FIG. 7 is a diagram illustrating a horizontal pupil signal for horizontal pupil data according to an embodiment of the present invention.
  • FIG. 9 is a view illustrating a signal processing process of a slow phase signal in the pupil motion detector according to the present invention.
  • Rotating chair 300 is configured in the form of a chair that the patient can sit and rotates the chair by adjusting the direction and speed under the control of the nystagmus test unit 400.
  • FIG. 2 is a diagram illustrating a detailed configuration of a nystagmus testing unit of a video nystagmus test apparatus according to the present invention.
  • the nystagmus checker 400 includes a rotation controller 410, an infrared image acquisition unit 420, an image processor 430, a pupil motion detector 440, and an nystagmus determination unit 450.
  • the rotation controller 410 controls the rotation direction and the rotation speed of the swivel chair 300 according to the rotation control information preset for the nystagmus test.
  • the pupil motion detector 440 receives the image data and analyzes the image data, and outputs pupil movement characteristic information on the movement of the pupil to the nystagmus determination unit 450.
  • the nystagmus determination unit 450 receives the rotation control information from the rotation control unit 410, analyzes the pupil movement characteristic information detected based on the rotation control information, performs an nystagmus test, and determines whether or not nystagmus is determined. It is displayed through the display unit 100.
  • FIG. 3 is a view showing the detailed configuration of the image processing unit of the nystagmus test unit according to the present invention
  • Figure 4 is a view showing the eye image step-by-step processed by the image processing unit according to the present invention
  • Figure 5 is an image applied according to the present invention
  • the detailed configuration and operation of the image processor 430 will be described with reference to FIGS. 3 to 5.
  • the ROI designator 431 outputs to the image converting unit 432 the infrared front eye region image 502 obtained by extracting only the front eye portion from the infrared eye image 501 of FIG. 4 input from the infrared image acquisition unit 420.
  • the eyepiece portion may be selected by an administrator through the input unit 500 or may be configured to be automatically detected by eye pattern detection.
  • the image converter 432 binarizes the infrared ray eyepiece image obtained through the ROI designator 431 and outputs the binarized eyeball image 503.
  • the binarization is performed by converting a pixel value of a gray front eye image converted into a gray channel exceeding a preset reference value to 255, and converting the following values to zero.
  • the preset reference value may be one, or may be two or more.
  • the second image converter 434 performs binarization corresponding to each reference value and binarization pre-image part 504 for each reference value.
  • the filtering unit 435 transmits the binarized eyeball image 504 from which the noise included in the binarized eyepiece image 503 input from the second image converter 434 is removed to the outline detector 436.
  • the outline detector 436 detects the outline of the anterior eye part from the binarized anterior eye part image 504 filtered by the filtering part 435, and transmits the front eye part outline image 505 to the original detector 437.
  • the circle detector 437 detects a circle corresponding to the pupil from the voltage portion outline image 505 input from the outline detector 436, and outputs the detected circle, that is, the image data of the pupil according to the movement of the pupil.
  • the original detector 437 may convert at least two or more binarization conversions based on a plurality of changed reference values.
  • An anterior eye image (505) for the ocular image (503) is received from the outline detector (436), a circle (506) is detected from each anterior eye image (505), and the detected circle (506) is applied to the pupil.
  • An optimal circle detector 438 that selects and outputs a matching anterior eye image 505 and calculates a center point of a circle for the selected anterior eye image, and considers the calculated center point in consideration of the three-dimensional structure and curve of the pupil.
  • the image calibrator 439 may output an image data of the pupil by estimating the distance and angle of the actual pupil in pixels.
  • the optimal circle detector 438 acquires binarized frontal eye contour images 505-1, 505-2, 505-3, and 505-4 by applying different reference values as shown in FIG. 5.
  • the circle 506 is detected from the eyeball outline images, the circle will be detected as shown in FIGS. 511-1 to 511-4 of FIG. 5.
  • 505-1 is a case where 262 is applied as a reference value
  • 505-2 is a case where 270 is applied as a reference value
  • 505-3 is a case where 275 is applied as a reference value
  • 505-4 is a case where 285 is applied as a reference value. It is shown.
  • the optimal circle detector 438 selects and outputs an anterior eye region outline image 505-3 for 511-3 in which the pupil and the detected circle 506 coincide among the 511-1 to 511-4.
  • the image calibration unit 439 needs to convert an eye movement unit to an angle in an image.
  • the angle is 0.49 ms per pixel.
  • FIG. 6 is a view showing a detailed configuration of the pupil motion detection unit of the nystagmus test unit according to the present invention
  • Figure 7 is a view showing a horizontal pupil signal for the horizontal pupil data according to an embodiment of the present invention
  • Figure 8 is a present invention 9 is a view illustrating a signal waveform for each step of image processing in a pupil motion detector according to an embodiment of the present invention
  • FIG. 9 is a view for explaining a signal processing process of a slow phase signal in a pupil motion detector according to the present invention
  • FIG. FIG. 11 is a diagram illustrating a gain curve according to a stimulus frequency
  • FIG. 11 is a diagram illustrating a phase curve according to a rotational stimulation frequency of the present invention.
  • the pupil motion detector 440 includes a first interpolator 441, a differentiator 442, a fast phase remover 443, a second interpolator 444, a filter 445, a slow phase signal detector 446, and Feature extraction unit 447 is included.
  • the first interpolator 441 receives the image data from the image processor 430 and applies a linear spline algorithm to interpolate the missing signal due to blinking to output the first interpolated image signal.
  • a frame in which no pupil is detected due to blinking may be set to a negative value.
  • the fast phase remover 443 applies the differential image signal to the first interpolated image signal, and thus, a fast phase signal corresponding to the dotted rectangle as shown at 804 of FIG. 8 in the first interpolated image signal illustrated at 801 of FIG. 8. Outputs a slow phase signal such as 901 of FIG.
  • Phase is the time relationship between the onset of head movement and the reflex eye reaction. If the head and eyes move in opposite directions at exactly the same speed, the phase is assumed to be 180 Hz. A phase lead appears when the movement of the head causes an eye response reflection, and a phase lag appears when the correction eye movement proceeds. Abnormally long leads and short leads can be considered peripheral and cerebellar lesions, respectively.
  • f represents the frequency of the eye movement signal
  • ⁇ t represents the time difference between the maximum velocity of slow phase eye movement and head (chair) movement.
  • the pupil motion detector 440 interpolates in a second order by applying a linear spline algorithm and outputs the second interpolated signal (S317).
  • the second interpolated slow phase signal is filtered using a low pass filter (S319), and motion feature information including gain, asymmetry, and phase information is extracted from the low pass filtered slow phase signal and output to the nystagmus determination unit 450. do.

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Eye Examination Apparatus (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

본 발명은 비디오 안진 검사 장치 및 방법에 관한 것으로, 더욱 상세하게는 환자를 좌우로 회전시켜 환자의 전정기관에 영향을 주고 상기 환자의 회전조건에 근거하여 적외선 카메라에 의해 촬영된 적외선 눈동자 영상을 분석하여 환자에 대한 안진 검사를 수행하는 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법에 관한 것이다.

Description

적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법
본 발명은 비디오 안진 검사 장치 및 방법에 관한 것으로, 더욱 상세하게는 환자를 좌우로 회전시켜 환자의 전정기관에 영향을 주고 상기 환자의 회전조건에 근거하여 적외선 카메라에 의해 촬영된 적외선 눈동자 영상을 분석하여 환자에 대한 안진 검사를 수행하는 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법에 관한 것이다.
어지럼증은 성인 다섯 명 중 한 명이 1년에 한 번 이상 경험했다는 통계가 있을 정도로 흔한 증상이다.
통상 어지럼증은 귀(말초성), 뇌(중추성), 심장, 눈 등에 이상이 생겼을 때 발생한다.
사람의 능력 중 하나는 머리에 동요가 발생하는 경우 머리의 동요에 따라 시야가 변화하는 능력이다. 우리 몸에서는 머리의 동요에 따라 시야가 변화하는 것을 방지하기 위해 전정반사(Vestibular-Ocular Reflex: VOR)를 일으킨다.
전정반사는 머리가 회전하는 반대 방향으로 눈을 움직여 눈을 고정시키는데 도움을 준다.
보상 안구 운동(Compensatory Eye Movement)은 반고리관의 전정 시스템에서 각가속도를 감지함으로써 유도되고 그것을 안진이라 한다.
전정기능장애, 즉 안진증은 표적이 중심으로부터 빠져 나와 시야의 흔들림이 일어나는 장애로 전정반사에 이상이 있는 경우 발생된다.
종래 이러한 안진증을 진단하기 위한 안구 운동 신호를 검출하기 위해 전기안진기록법(Electro-nystagmography: ENG), 공막 탐색 코일 시스템(Sclera Search Coil System: SSCS) 등이 이용되고 있다.
전기안진기록법은 눈 주위 피부에 전극을 부착한 후 눈 운동 시 발생하는 탈분극을 전기적 신호로 증폭하여 눈 운동의 진폭을 시간대별로 그래프화 하는 방식으로 이루어진다.
하지만 전기안진기록법은 직접적으로 외안근에서 나오는 신호를 포착하는 방식이 아니기 때문에 정확한 안구 위치에 관한 정보를 제공한다고 할 수 없으며, 수직 눈 운동을 측정하는 경우에는 상ㅇ하안 검거근에서 나오는 전기신호와 상ㅇ하 직근에서 나오는 전기신호가 중복되어 두 가지 눈 운동을 구분할 수 없는 문제점 있었다.
또한, 전기안진기록법은 환자의 움직임에 따른 전극부착 상태의 변화나 땀 등에 의한 피부저항의 변화에 민감하여 기기를 자주 교정해야 하는 문제점이 있고, 여러 가닥의 전극을 얼굴에 부착시켜야 하므로 소아나 협조가 잘 되지 않는 환자에 있어서 검사에 어려움이 따르는 문제점이 있었다.
그리고 공막 탐색 코일 시스템은 안에 전선이 내장된 콘택트렌즈 형태의 기구를 공막에 접촉시킨 후 눈 운동 시 발생되는 근육의 자기장의 세기 변화를 3차원적으로 그래프화하는 방식이다.
공막 탐색 코일 시스템은 전기안진기록법에 대비하여 보다 정확한 신호를 받을 수 있고 미세한 안구 움직임도 포착이 가능하다는 장점이 있다.
그러나 공막 탐색 코일 시스템은 콘택트렌즈를 사용하므로 보다 관혈적이어서 협조가 잘 안 되는 소아에 있어서 사용이 제한되는 문제점이 있었다.
따라서 본 발명의 목적은 환자를 좌우로 회전시켜 환자의 전정기관에 영향을 주고 상기 환자의 회전조건에 근거하여 적외선 카메라에 의해 촬영된 적외선 눈동자 영상을 분석하여 환자에 대한 안진 검사를 수행하는 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법을 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 적외선 카메라를 이용한 비디오 안진 검사 장치는: 환자가 앉는 의자형태로 구성되어 제어를 받아 좌우로 회전하는 회전의자; 상기 환자의 두 눈 중 적어도 하나를 포함하는 눈 영역을 적외선 촬영하여 적외선 눈 영상을 출력하는 적외선 영상촬영부; 및 안진 검사를 위해 미리 설정된 회전 제어정보에 따라 상기 회전의자의 회전을 제어하고, 상기 적외선 눈 영상을 이진화하여 동공을 검출한 후, 동공의 움직임 특성을 검출하고, 상기 회전 제어정보에 근거하여 검출된 동공 움직임 특성을 분석하여 안진 검사 수행하고 그 결과를 출력하는 안진 검사부를 포함하는 것을 특징으로 한다.
상기 안진 검사부는, 안진 검사를 위해 미리 설정된 회전 제어정보에 따라 상기 회전의자의 회전을 제어하는 회전 제어부; 상기 적외선 영상촬영부를 제어하여 구동한 후, 상기 적외선 영상촬영부를 통해 상기 적외선 눈 영상을 획득하여 출력하는 적외선 영상획득부; 상기 획득된 적외선 눈 영상을 이진화한 후 동공을 검출하고, 검출된 동공의 영상데이터를 출력하는 영상 처리부; 상기 영상데이터를 입력받아 분석하여 동공의 움직임에 대한 동공 움직임 특성 정보를 출력하는 동공 움직임 검출부; 및 상기 회전 제어정보에 근거하여 검출된 동공 움직임 특성정보를 분석하여 안진 검사를 수행하고 안진증 여부를 판단하는 안진증 판단부를 포함하는 것을 특징으로 한다.
상기 영상 처리부는, 상기 적외선 눈 영상으로부터 전안부 부위만을 포함하는 적외선 전안부 영상을 출력하는 관심영역 지정부; 상기 적외선 전안부 영상을 이진화하여 이진화 전안부 영상을 출력하는 영상 변환부; 상기 이진화 전안부 영상으로부터 전안부의 외곽선을 검출하여 전안부 외곽선 영상을 출력하는 외곽선 검출부; 및 상기 전안부 외곽선 영상으로부터 동공을 검출하고 동공의 중심점을 검출하며, 검출된 중심점에 움직임에 따른 동공의 영상데이터를 출력하는 원 검출부를 포함하는 것을 특징으로 한다.
상기 영상변환부는, 상기 적외선 전안부 영상을 회색 채널의 회색 전안부 영상으로 변환하여 출력하는 제1영상 변환부; 및 상기 회색 전안부 영상을 미리 설정된 기준치를 기준으로 이진화하여 상기 이진화 전안부 영상을 출력하는 제2영상 변환부를 포함하는 것을 특징으로 한다.
상기 영상 처리부는, 상기 영상변환부로부터 출력되는 상기 이진화 전안부 영상을 모프(Morphology) 연산을 수행하여 침식과 팽창을 적용하여 노이지를 제거하는 필터링부를 더 포함하는 것을 특징으로 한다.
상기 원 검출부는, 변경되는 서로 다른 복수의 기준치에 근거하여 변환된 적어도 둘 이상의 이진화 전안부 영상에 대한 전안부 외곽선 영상을 외곽선 검출부로부터 입력받고, 각 전안부 외곽선 영상으로부터 원을 검출하고, 검출된 원이 동공에 일치하는 전안부 외곽선 영상을 선택하여 출력하는 최적 원 검출부; 및 상기 선택된 전안부 외곽선 영상에 대한 원의 중심점을 계산하고, 계산된 중심점을 동공의 3차원 구조 및 곡선을 고려하여 실제 동공이 움직이는 거리, 각도를 픽셀 단위로 추정하여 동공의 영상데이터를 출력하는 영상 캘리브레이션부를 포함하는 것을 특징으로 한다.
상기 동공 움직임 검출부는, 상기 영상데이터를 입력받아 선형 스플라인 알고리즘을 적용하여 눈 깜빡임으로 인해 누락된 신호를 보간하여 제1보간 영상신호를 출력하는 제1보간부; 상기 제1보간 영상신호로부터 기울기를 구하고, 기울기를 제곱한 미분 영상신호를 출력하는 미분기; 상기 제1보간 영상신호에 상기 미분 영상신호를 적용하여 상기 제1보간 영상신호에서 빠른 위상 신호를 제거한 느린 위상 신호를 출력하는 빠른 위상 제거부; 상기 느린 위상 신호를 선형 스플라인 알고리즘을 적용하여 보간한 후 출력하는 제2보간부; 상기 보간된 느린 위상 신호를 필터링하여 출력하는 필터링부; 및 상기 느린 위상 신호로부터 이득, 비대칭 및 위상 특성을 추출하여 상기 동공 움직임 특성 정보를 출력하는 특성추출부를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 적외선 카메라를 이용한 비디오 안진 검사 방법은: 안진 검사를 위해 미리 설정된 회전 제어정보에 따라 회전의자의 회전을 제어하는 회전 제어 단계; 적외선 영상촬영부를 제어하여 구동 후, 상기 적외선 촬영부를 통해 적외선 눈 영상을 획득하여 출력하는 적외선 영상획득 단계; 상기 획득된 적외선 눈 영상을 이진화한 후 동공을 검출하고, 검출된 동공의 영상데이터를 출력하는 영상 처리 단계; 상기 영상데이터를 입력받아 분석하여 동공의 움직임에 대한 동공 움직임 특성 정보를 출력하는 동공 움직임 검출 단계; 및 상기 회전 제어정보에 근거하여 검출된 동공 움직임 특성정보를 분석하여 안진 검사 수행하고 안진증 여부를 판단하여 출력하는 안진증 판단 단계를 포함하는 것을 특징으로 한다.
상기 영상 처리 단계는, 상기 적외선 눈 영상으로부터 전안부 부위만을 포함하는 적외선 전안부 영상을 출력하는 관심영역 지정 단계; 상기 적외선 전안부 영상을 이진화하여 이진화 전안부 영상을 출력하는 영상 변환 단계; 상기 이진화 전안부 영상으로부터 전안부의 외곽선을 검출하여 전안부 외곽선 영상을 출력하는 외곽선 검출 단계; 및 상기 전안부 외곽선 영상으로부터 동공을 검출하고 동공의 중심점을 검출하며, 검출된 중심점에 움직임에 따른 동공의 영상데이터를 출력하는 원 검출 단계를 포함하는 것을 특징으로 한다.
상기 영상변환 단계는, 상기 적외선 전안부 영상을 회색 채널의 회색 전안부 영상으로 변환하여 출력하는 제1영상 변환 단계; 및 상기 회색 전안부 영상을 미리 설정된 기준치를 기준으로 이진화하여 상기 이진화 전안부 영상을 출력하는 제2영상 변환 단계를 포함하는 것을 특징으로 한다.
상기 영상 처리 단계는, 영상변환부로부터 출력되는 상기 이진화 전안부 영상을 모프(Morphology) 연산을 수행하여 침식과 팽창을 적용하여 노이지를 제거하는 필터링 단계를 더 포함하는 것을 특징으로 한다.
상기 원 검출 단계는, 변경되는 서로 다른 복수의 기준치에 근거하여 변환된 적어도 둘 이상의 이진화 전안부 영상에 대한 전안부 외곽선 영상 외곽선 검출부로부터 입력받고, 각 전안부 외곽선 영상으로부터 원을 검출하고, 검출된 원이 동공에 일치하는 전안부 외곽선 영상을 선택하여 출력하는 최적 원 검출 단계; 및 상기 선택된 전안부 외곽선 영상에 대한 원의 중심점을 계산하고, 계산된 중심점을 동공의 3차원 구조 및 곡선을 고려하여 실제 동공이 움직이는 거리, 각도를 픽셀 단위로 추정하여 동공의 영상데이터를 출력하는 영상 캘리브레이션 단계를 포함하는 것을 특징으로 한다.
상기 동공 움직임 검출 단계는, 상기 영상데이터를 입력받아 선형 스플라인 알고리즘을 적용하여 눈 깜빡임으로 인해 누락된 신호를 보간하여 제1보간 영상신호를 출력하는 제1보간 단계; 상기 제1보간 영상신호로부터 기울기를 구하고, 기울기를 제곱한 미분 영상신호를 출력하는 미분 단계; 상기 제1보간 영상신호에 상기 미분 영상신호를 적용하여 상기 제1보간 영상신호에서 빠른 위상 신호를 제거한 느린 위상 신호를 출력하는 빠른 위상 제거 단계; 상기 느린 위상 신호를 선형 스플라인 알고리즘을 적용하여 보간한 후 출력하는 제2보간 단계; 상기 보간된 느린 위상 신호를 필터링하여 출력하는 필터링 단계; 및 상기 느린 위상 신호로부터 이득, 비대칭 및 위상 특성을 추출하여 상기 동공 움직임 특성 정보를 출력하는 특성추출 단계를 포함하는 것을 특징으로 한다.
본 발명은 적외선을 조사하여 동공의 움직임을 촬영하고, 촬영된 화상 프레임에서 동공과 홍채의 명암 차이를 이용하여 동공 영역을 분리하고 경계 검출과 동공의 타원체 근사화를 적용하여 동공의 중심 좌표를 설정하여 시간대 별로 나타낼 수 있으므로, 눈의 3차원적 운동(수평, 수직, 회선)을 실시간으로 시간대 별로 기록할 수 있는 효과를 갖는다.
또한, 본 발명은 눈의 움직임을 실시간으로 시간대 별로 상세하게 기록할 수 있으므로 보다 정확한 안진 검사를 수행할 수 있는 효과를 갖는다.
도 1은 본 발명에 따른 적외선 카메라를 이용한 비디오 안진 검사 장치의 구성을 나타낸 도면이다.
도 2는 본 발명에 따른 비디오 안진 검사 장치의 안진 검사부의 상세 구성을 나타낸 도면이다.
도 3은 본 발명에 따른 안진 검사부의 영상 처리부의 상세 구성을 나타낸 도면이다.
도 4는 본 발명에 따른 영상 처리부에서 처리되는 단계별 눈 영상을 나타낸 도면이다.
도 5는 본 발명에 따라 적용되는 영상 이진화 시의 서로 다른 기준치에 따른 이진화 영상 및 원 검출 영상을 나타낸 도면이다.
도 6은 본 발명에 따른 안진 검사부의 동공 움직임 검출부의 상세 구성을 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 수평 동공 데이터에 대한 수평 동공 신호를 나타낸 도면이다.
도 8은 본 발명에 따른 동공 움직임 검출부에서의 영상 처리 단계별 신호 파형을 나타낸 도면이다.
도 9는 본 발명에 따른 동공 움직임 검출부에서의 느린 위상 신호의 신호 처리 과정을 설명하기 위한 도면이다.
도 10은 본 발명의 회전자극 주파수에 따른 이득 곡선을 나타낸 도면이다.
도 11은 본 발명의 회전자극 주파수에 따른 위상곡선을 나타낸 도면이다.
도 12은 본 발명에 따른 적외선 카메라를 이용한 비디오 안진 검사 방법을 나타낸 흐름도이다.
도 13은 본 발명에 따른 비디오 안진 검사 방법 중 영상 처리 방법을 나타낸 흐름도이다.
도 14는 본 발명에 따른 비디오 안진 검사 방법 중 동공 움직임 특성 검출 방법을 나타낸 흐름도이다.
이하 첨부된 도면을 참조하여 본 발명에 따른 적외선 카메라를 이용한 안진 검사 장치의 구성 및 동작을 설명하고, 상기 장치에서의 안진 검사 방법을 설명한다.
도 1은 본 발명에 따른 적외선 카메라를 이용한 비디오 안진 검사 장치의 구성을 나타낸 도면이다.
도 1을 참조하면, 본 발명의 적외선 카메라를 이용한 비디오 안진 검사 장치는 디스플레이부(100), 적외선 영상촬영부(200), 회전의자(300) 및 안진 검사부(400)를 포함하고 실시예에 따라 입력부(500)를 더 포함할 수 있을 것이다.
디스플레이부(100)는 안진 검사부(400)의 제어를 받아 안진 검사 진행 중에 발생되는 정보, 검사한 안진 검사 결과 등을 텍스트, 그래픽, 정지영상, 동영상 등으로 디스플레이한다.
적외선 영상촬영부(200)는 적외선을 조사하는 적외선 LED(미도시) 및 상기 적외선 LED를 통해 적외선이 조사된 상태에서 안진 검사 대상인 환자의 두 눈 중 적어도 하나 이상의 눈 영역을 촬영하여 적외선 눈 영상을 출력하는 적외선 카메라(미도시)를 포함할 수 있을 것이다.
상기 적외선 영상 촬영부(200)는 환자의 눈앞에 놓이도록 카메라 형태로 구성될 수도 있고, 환자의 머리에 착용할 수 있도록 디스플레이부(100)와 결합된 가상현실(Virtual Reality: VR) 안경 형태로 구성될 수도 있을 것이다.
또한 상기 적외선 영상촬영부(200)는 머리에 착용할 수 있는 형태로 구성되는 경우 환자 및 환자의 머리 중 적어도 하나 이상의 좌우 회전에 따른 가속도를 측정하여 출력하는 가속도 센서(미도시)를 더 포함할 수도 있을 것이다.
회전의자(300)는 환자가 앉을 수 있는 의자형태로 구성되며 안진 검사부(400)의 제어에 따라 방향 및 속도를 조절하여 의자를 회전시킨다.
안진 검사부(400)는 안진 검사를 위해 미리 설정된 회전 제어정보에 따라 상기 회전의자(300)의 회전을 제어하고, 상기 적외선 영상촬영부(200)로부터 입력되는 적외선 눈 영상을 이진화하여 동공을 검출하며, 검출된 동공의 움직임 특성을 검출하고, 상기 회전 제어정보에 근거하여 검출된 동공 움직임 특성을 분석하여 안진 검사 수행하고 그 결과를 출력한다.
입력부(500)는 안진 검사 장치의 동작을 제어하기 위한 적어도 하나 이상의 키, 버튼 또는 스위치를 포함할 수 있으며, 조작된 키, 버튼 또는 스위치에 대응하는 입력 신호를 안진 검사부(400)로 출력한다.
상기 입력부(500)는 키보드, 마우스, 터치패드 등이 될 수 있으며, 본 발명에 따라 관리자(또는 "진료자"라 함)로부터 영상의 이진화를 위한 임계치를 직접 입력 또는 선택받을 수 있도록 한다.
도 2는 본 발명에 따른 비디오 안진 검사 장치의 안진 검사부의 상세 구성을 나타낸 도면이다.
도 2를 참조하면, 안진 검사부(400)는 회전 제어부(410), 적외선 영상획득부(420), 영상 처리부(430), 동공 움직임 검출부(440) 및 안진증 판단부(450)를 포함한다.
회전 제어부(410)는 안진 검사를 위해 미리 설정된 회전 제어정보에 따라 상기 회전의자(300)의 회전 방향 및 회전 속도를 제어한다.
회전 제어부(410)는 정현파 속도로 0.01, 0.02, 0.04, 0.08, 0.16, 0.32 그리고 0.64Hz 주파수 중 하나, 또는 상기 주파수들 중 둘 이상을 순차적 또는 랜덤하게 선택하여 회전의자(300)의 회전 속도를 제어할 수 있을 것이다.
또한, 회전 제어부(410)는 현재 제어중인 방향 및 속도에 대한 정보를 안진증 판단부(450)로 제공한다.
적외선 영상 획득부(420)는 적외선 영상촬영부(200)를 구동하여 적외선 영상촬영부(200)를 통해 적외선 눈 영상을 획득하여 안진 검사부(400)로 출력한다.
영상처리부(430)는 상기 적외선 영상 획득부(420)를 통해 획득된 적외선 눈 영상을 이진화한 후 동공을 검출하고, 검출된 동공의 영상데이터를 동공 움직임 검출부(440)로 출력한다.
동공 움직임 검출부(440)는 상기 영상데이터를 입력받아 분석하여 동공의 움직임에 대한 동공 움직임 특성 정보를 안진증 판단부(450)로 출력한다.
안진증 판단부(450)는 상기 회전 제어정보를 회전 제어부(410)로부터 입력받고, 상기 회전 제어정보에 근거하여 검출된 동공 움직임 특성정보를 분석하여 안진 검사를 수행하고, 안진증 여부를 판단하여 디스플레이부(100)를 통해 표시한다.
도 3은 본 발명에 따른 안진 검사부의 영상 처리부의 상세 구성을 나타낸 도면이고, 도 4는 본 발명에 따른 영상 처리부에서 처리되는 단계별 눈 영상을 나타낸 도면이며, 도 5는 본 발명에 따라 적용되는 영상 이진화 시의 서로 다른 기준치에 따른 이진화 영상 및 원 검출 영상을 나타낸 도면이다. 이하 도 3 내지 도 5를 참조하여 영상처리부(430)의 상세 구성 및 동작을 설명한다.
영상처리부(430)는 관심 영역 지정부(431), 영상변환부(432), 필터링부(435), 외곽선 검출부(436) 및 원 검출부(437)를 포함한다.
관심 영역 지정부(431)는 적외선영상 획득부(420)로부터 입력되는 도 4의 적외선 눈 영상(501)으로부터 전안부 부분만을 추출한 적외선 전안부 영상(502)을 영상변환부(432)로 출력한다. 상기 전안부 부분은 입력부(500)를 통해 관리자로부터 선택받을 수도 있고, 눈 패턴 검출에 의해 자동으로 검출되도록 구성될 수도 있을 것이다.
영상변환부(432)는 상기 관심 영역 지정부(431)를 통해 획득된 적외선 전안부 영상을 이진화하여 이진화 전안부 영상(503)을 출력한다.
상기 영상변환부(432)는 상기 적외선 전안부 영상을 회색 채널의 회색 전안부 영상으로 변환하여 출력하는 제1영상 변환부(433) 및 상기 회색 전안부 영상을 미리 설정된 기준치를 기준으로 이진화하여 상기 이진화 전안부 영상(503)을 출력하는 제2영상 변환부(434)를 포함한다.
상기 이진화는 미리 설정된 기준치를 기준으로 초과되는 회색채널로 변환된 회색 전안부 영상의 픽셀값은 255로 변환하고, 이하의 값은 0으로 변환하여 이루어진다. 상기 미리 설정된 기준치는 하나일 수도 있고, 둘 이상이 될 수도 있으며, 둘 이상인 경우에 상기 제2영상 변환부(434)는 각 기준치에 대응하는 이진화를 수행하고 각 기준치에 대한 이진화 전안부 영상(504)을 출력할 것이다.
필터링부(435)는 상기 제2영상 변환부(434)로부터 입력되는 이진화 전안부 영상(503)에 포함된 노이즈를 제거한 이진화 전안부 영상(504)을 외곽선 검출부(436)로 전송한다.
필터링부(435)는 모폴로지(Morphology: 또는 "모프"라 함) 연산으로 침식(Erode)과 팽창(Dilate)을 적용하여 잡음을 제거한다. 침식은 이웃한 화소들 중 최소 화소값을 현재 화소값으로 대체하는 것이며, 작은 노이즈(작은 덩어리)의 객체를 사라지게 할 수 있다. 그리고 팽창은 이웃한 화소들 중 최대 화소값을 현재 화소값으로 대체하는 것이며, 객체 내부에 있는 작은 구멍들을 사라지게 할 수 있는 역할을 한다. 즉, 침식 연산을 통해 노이즈를 제거하고, 팽창연산을 통해 객체 내의 빈 공간을 제거해주며 줄어든 객체의 크기를 복구한다.
외곽선 검출부(436)는 상기 필터링부(435)에서 필터링된 이진화 전안부 영상(504)으로부터 전안부의 외곽선을 검출하여 전안부 외곽선 영상(505)을 원 검출부(437)로 전송한다.
원 검출부(437)는 외곽선 검출부(436)로부터 입력되는 전압부 외곽선 영상(505)으로부터 동공에 대응하는 원을 검출하고, 검출된 원, 즉 동공의 움직임에 따른 동공의 영상데이터를 출력한다.
상기 제2영상변환부(434)에서 복수의 기준치에 대한 이진화 전안부 영상(504)이 출력되는 경우, 원 검출부(437)는 변경되는 서로 다른 복수의 기준치에 근거하여 변환된 적어도 둘 이상의 이진화 전안부 영상(503)에 대한 전안부 외곽선 영상(505)을 외곽선 검출부(436)로부터 입력받고, 각 전안부 외곽선 영상(505)으로부터 원(506)을 검출하고, 검출된 원(506)이 동공에 일치하는 전안부 외곽선 영상(505)을 선택하여 출력하는 최적 원 검출부(438) 및 상기 선택된 전안부 외곽선 영상에 대한 원의 중심점을 계산하고, 계산된 중심점을 동공의 3차원 구조 및 곡선을 고려하여 실제 동공이 움직이는 거리, 각도를 픽셀 단위로 추정하여 동공의 영상데이터를 출력하는 영상 캘리브레이션부(439)를 포함할 수 있을 것이다.
즉, 최적 원 검출부(438)는 도 5와 같이 서로 다른 기준치를 적용하여 이진화된 전안부 외곽선 영상들(505-1, 505-2, 505-3, 505-4)을 획득하고, 획득한 전안부 외곽선 영상들로부터 원(506)을 검출하면 도 5의 511-1 내지 511-4와 같이 원이 검출될 것이다. 도 5에서 505-1은 기준치로 262가 적용된 경우이고, 505-2는 기준치로 270이 적용된 경우이며, 505-3은 기준치로 275가 적용된 경우이며, 505-4는 기준치로 285가 적용된 경우를 나타낸 것이다.
따라서 최적 원 검출부(438)는 511-1 내지 511-4 중 동공과 검출된 원(506)이 일치하는 511-3에 대한 전안부 외곽선 영상(505-3)을 선택하여 출력할 것이다.
그리고 영상 캘리브레이션부(439)는 수평 안구 운동의 속도를 얻기 위해 픽셀 값당 각도가 필요하기 때문에 영상에서 눈의 움직임 단위를 각도로 변환을 하여야 한다. 상기 각도는 픽셀 당 0.49ㅀ가 적용되는 것이 바람직할 것이다.
도 6은 본 발명에 따른 안진 검사부의 동공 움직임 검출부의 상세 구성을 나타낸 도면이고, 도 7은 본 발명의 일실시예에 따른 수평 동공 데이터에 대한 수평 동공 신호를 나타낸 도면이며, 도 8은 본 발명에 따른 동공 움직임 검출부에서의 영상 처리 단계별 신호 파형을 나타낸 도면이고, 도 9는 본 발명에 따른 동공 움직임 검출부에서의 느린 위상 신호의 신호 처리 과정을 설명하기 위한 도면이며, 도 10은 본 발명의 회전자극 주파수에 따른 이득 곡선을 나타낸 도면이고, 도 11은 본 발명의 회전자극 주파수에 따른 위상곡선을 나타낸 도면이다. 이하 도 6 내지 도 11을 참조하여 설명한다.
동공 움직임 검출부(440)는 제1보간부(441), 미분기(442), 빠른 위상 제거부(443), 제2보간부(444), 필터링부(445), 느린 위상 신호 검출부(446) 및 특성추출부(447)를 포함한다.
제1보간부(441)는 영상처리부(430)로부터 영상데이터를 입력받아 선형 스플라인 알고리즘을 적용하여 눈 깜빡임으로 인해 누락된 신호를 보간하여 제1보간 영상신호를 출력한다.
도 7을 예를 들면, 영상데이터 중 수평 동공 이동 데이터에 대한 수평 동공 신호에는 눈 깜빡임으로 인해 동공을 검출하지 못한 프레임이 음수값으로 설정되어 있을 것이다.
제1보간부(441)는 음수값으로 설정된 프레임을 보완하기 위해 선형 스플라인 알고리즘을 적용한다.
또한, 제1보간부(441)는 불규칙한 샘플링 속도(27-29 프레임/초)를 보간법인 3차 스플라인 알고리즘을 적용하여 30Hz의 신호로 변환한다.
결론적으로, 제1보간부(441)는 영상데이터에 대응하는 도 7의 701과 같은 수평 동공 신호를 포함하는 동공 이동 신호를 도 7의 702의 보간된 수평 동공 신호를 포함하는 동공 이동 신호를 보간 영상데이터로서 출력한다.
미분기(442)는 도 8의 (801)와 같이 보간된 상기 제1보간 영상신호를 미분하여 기울기를 구하여 도 8의 (802)와 같은 신호를 출력하고, 상기 기울기를 제곱하여 도 8의 (803)와 같은 미분 영상신호를 출력한다.
빠른 위상 제거부(443)는 상기 제1보간 영상신호에 상기 미분 영상신호를 적용하여 도 8의 801에서 나타낸 제1보간 영상신호에서 도 8의 804에서 나타낸 바와 같이 점선 사각형에 대응하는 빠른 위상 신호가 제거된 도 9의 901과 같은 느린 위상 신호를 출력한다.
제2보간부(444)는 상기 느린 위상 신호에 선형 스플라인 알고리즘을 적용하여 보간한 후 도 9의 902와 같은 느린 위상 신호를 출력한다.
필터링부(445)는 상기 보간된 느린 위상 신호를 필터링하여 도 9의 903과 같은 느린 위상 신호를 출력한다. 상기 필터링부(445)는 저역 통과필터(Lowpass Filter)가 적용되는 것이 바람직하며, 저역 통과필터의 컷오프(Cutoff) 주파수는 하기 수학식 1에 의해 설정되는 것이 바람직할 것이다.
[수학식 1]
Figure PCTKR2018000114-appb-I000001
여기서 k는 일정한 상수를 의미하고, n은 각각의 사이클 수(주기)를 나타낸다.
특성추출부(446)는 상기 느린 위상 신호로부터 이득, 비대칭 및 위상 특성을 추출하여 상기 동공 움직임 특성 정보를 출력한다.
이득(Gain)은 안구 운동의 진폭 대 머리 자극의 진폭의 비율이다. 이는 느린 위상 안구 운동의 최대 속도를 머리(의자)의 최대 속도로 나누어 계산된다. 이건은 하기 수학식 2에 의해 나타낼 수 있을 것이다.
[수학식 2]
Figure PCTKR2018000114-appb-I000002
예를 들면, 양측 전정이 약한 환자는 낮은 주파수의 회전에서 이득값이 감소할 것이다.
이득은 도 10에서 보이는 바와 같이 회전자극 주파수에 따른 이론적인 로그 이득 곡선으로 나타낼 수 있으며, 0.05Hz 미만에서의 회전에서 주파수가 증가함에 따라 선형적으로 비례증가하며, 약 1에서 100Hz까지는 일정하며, 그 이상의 회전 주파수에서는 주파수가 증가함에 따라 감소함을 알 수 있다. 이득의 감소는 모든 주파수 자극에서도 나타날 수 있으나, 일정자극 주파수에서만 나타날 수도 있다. 부분적인 전정기능저하인 경우 이득은 대개 낮은 주파수(<0.1Hz)에서 비정상적으로 감소되어 있고, 높은 주파수(>0.1Hz)에서는 정상적으로 나타나며, 회전주파수를 고정하고 최대속도를 주는 경우의 낮은 속도자극에서는 정상적이나 높은 속도자극에서는 감소함을 보인다.
비대칭(Symmetry/Asymmetry)은 각 주파수에 대해 좌우로 회전할 때 왼쪽과 오른쪽의 동등한 느린 위상 요소를 비교하여 나타낸다. 비대칭은 하기 수학식 3에 의해 계산될 수 있을 것이다.
[수학식 3]
Figure PCTKR2018000114-appb-I000003
여기서, b1과 b2는 각각 왼쪽과 오른쪽으로 회전할 때 느린 위상 안구 운동의 최대 속도를 나타낸다.
일반적으로 정상적인 대칭 범위는 15~20%이다.
위상(Phase)은 머리 움직임의 시작과 반사적인 안구 반응 사이의 시간 관계이다. 만약, 머리와 눈이 정확히 같은 속도로 반대 방향으로 움직이는 경우, 위상은 180ㅀ로 간주된다. 머리의 움직임이 눈 반응 반사를 일으킬 때 위상 리드(Lead)가 나타나고, 보정 안구 운동이 진행될 때 위상 래그(Lag)가 나타난다. 비정상적으로 긴 리드(Lead)와 짧은 리드는 각각 주변 병변 및 소뇌 병변으로 간주될 수 있다.
위상 각인 θ는 하기 수학식 4에 의해 계산된다.
[수학식 4]
Figure PCTKR2018000114-appb-I000004
여기서 f는 안구 운동 신호의 주파수를 나타내고, Δt는 느린 위상 안구 운동의 최대속도와 머리(의자) 움직임 사이의 시간차를 나타낸다.
위상은 그림 11과 같이 회전자극 주파수에 따른 위상 곡선으로 나타낼 수 있다. 완벽한 정전안반사가 일어나는 경우 위상은 0ㅀ이다.
도 12는 본 발명에 따른 적외선 카메라를 이용한 비디오 안진 검사 방법을 나타낸 흐름도이다.
도 12를 참조하면, 안진 검사부(400)는 안진 검사 개시 이벤트가 발생되면 미리 설정된 회전 제어정보에 따라 회전의자(300)의 회전방향, 속도를 제어한다(S111). 안진 검사 개시 이벤트는 입력부(500)를 통해 안진 검사 개시 명령에 대응하는 입력신호가 입력되는 경우 발생될 수 있을 것이다. 상기 회전 제어정보는 회전의자(300)를 회전시킬 방향, 속도, 시간 등의 정보를 포함할 수 있을 것이다.
회전의자(300)의 제어가 수행되면 안진 검사부(400)는 적외선 영상촬영부(200)를 구동하여 환자의 눈을 촬영하여 적외선 눈 영상을 획득하기 시작한다(S113).
적외선 눈 영상이 획득되기 시작하면 안진 검사부(400)는 입력되는 적외선 눈 영상을 이진화하여 동공을 검출하는 영상 처리를 수행하여 동공의 움직임 정보를 포함하는 영상데이터를 생성한다(S115).
영상데이터가 생성되면 안진 검사부(400)는 영상데이터로부터 동공 움직임 정보를 추정하고(S117), 회전 제어정보에 근거하여 동공 움직임 정보를 분석하여 안진증을 판단한다(S119).
도 13은 본 발명에 따른 비디오 안진 검사 방법 중 영상 처리 방법을 나타낸 흐름도이다.
도 13을 참조하여 영상 처리 방법을 설명하면 상기 영상 처리부(430)는, 적외선 눈 영상으로부터 관심 영역인 전안부 부위만을 검출하고, 검출된 전안부 부위만을 포함하는 적외선 전안부 영상을 출력한다(S211).
영상처리부(430)는 상기 적외선 전안부 영상을 회색채널의 영상인 회색 전안부 영상으로 변환한다(S213).
회색 전안부 영상으로 변환되면 영상처리부(430)는 상기 회색 전안부 영상을 미리 설정된 기준치와 비교하여 기준치보다 큰 픽셀값을 255로 변환하고, 기준치보다 작은 픽셀값을 0으로 변환하는 이진화 변환 과정을 수행하여 이진화 전안부 영상을 출력한다(S215).
이진화 전안부 영상이 생성되면 영상처리부(430)는 상기 이진화 전안부 영상을 필터링하여 출력하고(S217). 상기 필터링된 이진화 전안부 영상으로부터 전안부의 외곽선을 검출하여 전안부 외곽선 영상을 출력한다(S219).
전안부 외곽선이 검출되면 영상처리부(430)는 상기 전안부 외곽선 영상으로부터 동공에 대응하는 원을 검출하고 원의 중심점을 검출하며(S221), 검출된 중심점에 움직임에 따른 동공의 영상데이터 생성하여 출력한다(S223).
도 14는 본 발명에 따른 비디오 안진 검사 방법 중 동공 움직임 특성 검출 방법을 나타낸 흐름도이다.
도 14를 참조하면, 상기 동공 움직임 검출부(440)는 영상처리부(430)로부터 출력되는 상기 영상데이터를 입력받아 선형 스플라인 알고리즘을 적용하여 눈 깜빡임으로 인해 누락된 신호를 보간하여 제1보간 영상신호를 출력한다(S311).
제1보간이 수행되면 동공 움직임 검출부(440)는 상기 제1보간 영상신호로부터 기울기를 구하고, 기울기를 제곱한 미분 영상신호를 출력한다(S313).
미분 영상신호가 생성되면 동공 움직임 검출부(440)는 상기 제1보간 영상신호에 상기 미분 영상신호를 적용하여 상기 제1보간 영상신호에서 빠른 위상 신호를 제거하고, 빠른 위상 신호가 제거된 제1보간 영상신호인 느린 위상 신호를 출력한다(S315).
동공 움직임 검출부(440)는 보간된 상기 느린 위상 신호가 입력되면 선형 스플라인 알고리즘을 적용하여 2차로 보간한 후 출력한다(S317).
2차 보간된 느린 위상 신호를 로우패스필터로 필터링하고(S319), 로우 패스 필터링된 느린 위상 신호로부터 이득, 비대칭 및 위상 정보를 포함하는 움직임 특징 정보를 추출하여 안진증 판단부(450)로 출력한다.
한편, 본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에서 통상의 지식을 가진 자라면 용이하게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.
[부호의 설명]
100: 디스플레이부 200: 영상촬영부
300: 회전의자 400: 안진 검사부
410: 회전 제어부 420: 적외선영상 획득부
430: 영상 처리부 431: 관심 영역 지정부
432: 영상변환부 433: 제1영상 변환부
434: 제2영상 변환부 435: 필터링부
436: 외곽선 검출부 437: 원 검출부
438: 최적 원 검출부 439: 영상 캘리브레이션부
440: 동공 움직임 검출부 441: 제1보간부
442: 미분기 443: 빠른 위상 제어부
444: 제2보간부 445: 필터링부
446: 특성추출부
450: 안진증 판단부

Claims (13)

  1. 환자가 앉는 의자형태로 구성되어 제어를 받아 좌우로 회전하는 회전의자;
    상기 환자의 두 눈 중 적어도 하나를 포함하는 눈 영역을 적외선 촬영하여 적외선 눈 영상을 출력하는 적외선 영상촬영부; 및
    안진 검사를 위해 미리 설정된 회전 제어정보에 따라 상기 회전의자의 회전을 제어하고, 상기 적외선 눈 영상을 이진화하여 동공을 검출한 후, 동공의 움직임 특성을 검출하고, 상기 회전 제어정보에 근거하여 검출된 동공 움직임 특성을 분석하여 안진 검사 수행하고 그 결과를 출력하는 안진 검사부를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 장치.
  2. 제1항에 있어서,
    상기 안진 검사부는,
    안진 검사를 위해 미리 설정된 회전 제어정보에 따라 상기 회전의자의 회전을 제어하는 회전 제어부;
    상기 적외선 영상촬영부를 제어하여 구동한 후, 상기 적외선 영상촬영부를 통해 상기 적외선 눈 영상을 획득하여 출력하는 적외선 영상획득부;
    상기 획득된 적외선 눈 영상을 이진화한 후 동공을 검출하고, 검출된 동공의 영상데이터를 출력하는 영상 처리부;
    상기 영상데이터를 입력받아 분석하여 동공의 움직임에 대한 동공 움직임 특성 정보를 출력하는 동공 움직임 검출부; 및
    상기 회전 제어정보에 근거하여 검출된 동공 움직임 특성정보를 분석하여 안진 검사를 수행하고 안진증 여부를 판단하는 안진증 판단부를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 장치.
  3. 제2항에 있어서,
    상기 영상 처리부는,
    상기 적외선 눈 영상으로부터 전안부 부위만을 포함하는 적외선 전안부 영상을 출력하는 관심영역 지정부;
    상기 적외선 전안부 영상을 이진화하여 이진화 전안부 영상을 출력하는 영상 변환부;
    상기 이진화 전안부 영상으로부터 전안부의 외곽선을 검출하여 전안부 외곽선 영상을 출력하는 외곽선 검출부; 및
    상기 전안부 외곽선 영상으로부터 동공을 검출하고 동공의 중심점을 검출하며, 검출된 중심점에 움직임에 따른 동공의 영상데이터를 출력하는 원 검출부를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 장치.
  4. 제3항에 있어서,
    상기 영상변환부는,
    상기 적외선 전안부 영상을 회색 채널의 회색 전안부 영상으로 변환하여 출력하는 제1영상 변환부; 및
    상기 회색 전안부 영상을 미리 설정된 기준치를 기준으로 이진화하여 상기 이진화 전안부 영상을 출력하는 제2영상 변환부를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 장치.
  5. 제3항에 있어서,
    상기 영상 처리부는,
    상기 영상변환부로부터 출력되는 상기 이진화 전안부 영상을 모프(Morphology) 연산을 수행하여 침식과 팽창을 적용하여 노이지를 제거하는 필터링부를 더 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 장치.
  6. 제3항에 있어서,
    상기 원 검출부는,
    변경되는 서로 다른 복수의 기준치에 근거하여 변환된 적어도 둘 이상의 이진화 전안부 영상에 대한 전안부 외곽선 영상을 외곽선 검출부로부터 입력받고, 각 전안부 외곽선 영상으로부터 원을 검출하고, 검출된 원이 동공에 일치하는 전안부 외곽선 영상을 선택하여 출력하는 최적 원 검출부; 및
    상기 선택된 전안부 외곽선 영상에 대한 원의 중심점을 계산하고, 계산된 중심점을 동공의 3차원 구조 및 곡선을 고려하여 실제 동공이 움직이는 거리, 각도를 픽셀 단위로 추정하여 동공의 영상데이터를 출력하는 영상 캘리브레이션부를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 장치.
  7. 제2항에 있어서,
    상기 동공 움직임 검출부는,
    상기 영상데이터를 입력받아 선형 스플라인 알고리즘을 적용하여 눈 깜빡임으로 인해 누락된 신호를 보간하여 제1보간 영상신호를 출력하는 제1보간부;
    상기 제1보간 영상신호로부터 기울기를 구하고, 기울기를 제곱한 미분 영상신호를 출력하는 미분기;
    상기 제1보간 영상신호에 상기 미분 영상신호를 적용하여 상기 제1보간 영상신호에서 빠른 위상 신호를 제거한 느린 위상 신호를 출력하는 빠른 위상 제거부;
    상기 느린 위상 신호를 선형 스플라인 알고리즘을 적용하여 보간한 후 출력하는 제2보간부;
    상기 보간된 느린 위상 신호를 필터링하여 출력하는 필터링부; 및
    상기 느린 위상 신호로부터 이득, 비대칭 및 위상 특성을 추출하여 상기 동공 움직임 특성 정보를 출력하는 특성추출부를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 장치.
  8. 안진 검사를 위해 미리 설정된 회전 제어정보에 따라 회전의자의 회전을 제어하는 회전 제어 단계;
    적외선 영상촬영부를 제어하여 구동 후, 상기 적외선 촬영부를 통해 적외선 눈 영상을 획득하여 출력하는 적외선 영상획득 단계;
    상기 획득된 적외선 눈 영상을 이진화한 후 동공을 검출하고, 검출된 동공의 영상데이터를 출력하는 영상 처리 단계;
    상기 영상데이터를 입력받아 분석하여 동공의 움직임에 대한 동공 움직임 특성 정보를 출력하는 동공 움직임 검출 단계; 및
    상기 회전 제어정보에 근거하여 검출된 동공 움직임 특성정보를 분석하여 안진 검사 수행하고 안진증 여부를 판단하여 출력하는 안진증 판단 단계를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 방법.
  9. 제8항에 있어서,
    상기 영상 처리 단계는,
    상기 적외선 눈 영상으로부터 전안부 부위만을 포함하는 적외선 전안부 영상을 출력하는 관심영역 지정 단계;
    상기 적외선 전안부 영상을 이진화하여 이진화 전안부 영상을 출력하는 영상 변환 단계;
    상기 이진화 전안부 영상으로부터 전안부의 외곽선을 검출하여 전안부 외곽선 영상을 출력하는 외곽선 검출 단계; 및
    상기 전안부 외곽선 영상으로부터 동공을 검출하고 동공의 중심점을 검출하며, 검출된 중심점에 움직임에 따른 동공의 영상데이터를 출력하는 원 검출 단계를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 방법.
  10. 제9항에 있어서,
    상기 영상변환 단계는,
    상기 적외선 전안부 영상을 회색 채널의 회색 전안부 영상으로 변환하여 출력하는 제1영상 변환 단계; 및
    상기 회색 전안부 영상을 미리 설정된 기준치를 기준으로 이진화하여 상기 이진화 전안부 영상을 출력하는 제2영상 변환 단계를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 방법.
  11. 제9항에 있어서,
    상기 영상 처리 단계는,
    영상변환부로부터 출력되는 상기 이진화 전안부 영상을 모프(Morphology) 연산을 수행하여 침식과 팽창을 적용하여 노이지를 제거하는 필터링 단계를 더 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 방법.
  12. 제9항에 있어서,
    상기 원 검출 단계는,
    변경되는 서로 다른 복수의 기준치에 근거하여 변환된 적어도 둘 이상의 이진화 전안부 영상에 대한 전안부 외곽선 영상 외곽선 검출부로부터 입력받고, 각 전안부 외곽선 영상으로부터 원을 검출하고, 검출된 원이 동공에 일치하는 전안부 외곽선 영상을 선택하여 출력하는 최적 원 검출 단계; 및
    상기 선택된 전안부 외곽선 영상에 대한 원의 중심점을 계산하고, 계산된 중심점을 동공의 3차원 구조 및 곡선을 고려하여 실제 동공이 움직이는 거리, 각도를 픽셀 단위로 추정하여 동공의 영상데이터를 출력하는 영상 캘리브레이션 단계를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 방법.
  13. 제8항에 있어서,
    상기 동공 움직임 검출 단계는,
    상기 영상데이터를 입력받아 선형 스플라인 알고리즘을 적용하여 눈 깜빡임으로 인해 누락된 신호를 보간하여 제1보간 영상신호를 출력하는 제1보간 단계;
    상기 제1보간 영상신호로부터 기울기를 구하고, 기울기를 제곱한 미분 영상신호를 출력하는 미분 단계;
    상기 제1보간 영상신호에 상기 미분 영상신호를 적용하여 상기 제1보간 영상신호에서 빠른 위상 신호를 제거한 느린 위상 신호를 출력하는 빠른 위상 제거 단계;
    상기 느린 위상 신호를 선형 스플라인 알고리즘을 적용하여 보간한 후 출력하는 제2보간 단계;
    상기 보간된 느린 위상 신호를 필터링하여 출력하는 필터링 단계; 및
    상기 느린 위상 신호로부터 이득, 비대칭 및 위상 특성을 추출하여 상기 동공 움직임 특성 정보를 출력하는 특성추출 단계를 포함하는 것을 특징으로 하는 적외선 카메라를 이용한 비디오 안진 검사 방법.
PCT/KR2018/000114 2017-03-06 2018-01-03 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법 WO2018164361A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201880009670.6A CN110325104B (zh) 2017-03-06 2018-01-03 利用红外摄像机的影像眼震颤检查装置及方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2017-0028235 2017-03-06
KR1020170028235A KR101905716B1 (ko) 2017-03-06 2017-03-06 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2018164361A1 true WO2018164361A1 (ko) 2018-09-13

Family

ID=63448273

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/000114 WO2018164361A1 (ko) 2017-03-06 2018-01-03 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법

Country Status (3)

Country Link
KR (1) KR101905716B1 (ko)
CN (1) CN110325104B (ko)
WO (1) WO2018164361A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114170192A (zh) * 2021-12-10 2022-03-11 武汉工程大学 星载光学相机焦面震颤精细检测方法
CN114617529A (zh) * 2022-05-12 2022-06-14 上海志听医疗科技有限公司 一种用于眼罩设备的眼球眩晕数据识别方法及系统
EP3991705A4 (en) * 2019-06-25 2023-07-05 Korea University Research and Business Foundation DEVICE FOR ASSESSMENT AND REHABILITATION OF VESTIBULAR-OCULAR REFLEX BASED ON VIRTUAL REALITY GAME AND BIOSIGNAL SENSOR

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102198356B1 (ko) * 2018-11-28 2021-01-04 연세대학교 원주산학협력단 휴대용 안진기 및 이의 캘리브레이션 방법
KR102293430B1 (ko) * 2019-09-23 2021-08-27 고려대학교 산학협력단 가상현실 및 생체신호 센서 기반의 전정-안반사 기능 평가 장치
KR102305387B1 (ko) * 2019-07-05 2021-09-27 순천향대학교 산학협력단 양성돌발성 두위 현훈 진단을 위한 안진 검사 장치 및 검사 방법
KR102349805B1 (ko) * 2019-12-20 2022-01-11 순천향대학교 산학협력단 뇌졸중 진단 시스템 및 방법
CN113065398B (zh) * 2021-03-04 2022-10-11 武汉大学 一种眼球震颤监测方法及系统
KR20240172006A (ko) 2023-05-30 2024-12-09 연세대학교 원주산학협력단 비디오 안진 검사를 위한 동공 트래킹 방법 및 장치
KR102748232B1 (ko) * 2023-08-29 2024-12-31 주식회사 뉴로이어즈 비디오 영상의 안구 및 두위 변화를 추적하는 초고속 경량 딥러닝 모델을 이용한 어지럼증 진단 장치, 방법, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 기록매체에 저장된 컴퓨터 프로그램

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010018719A (ko) * 1999-08-21 2001-03-15 김윤종 전정기관이상 진단 및 치료 통합시스템
KR20040107677A (ko) * 2003-06-09 2004-12-23 김덕원 영상 안진기와 전기 안진기를 결합한 안구 운동 측정 시스템
KR20070077973A (ko) * 2006-01-25 2007-07-30 한국인식산업(주) 생체 얼굴 인식 장치 및 그 방법
KR101501165B1 (ko) * 2013-12-02 2015-03-11 한국산업기술대학교산학협력단 눈동자 추적을 이용한 안구 마우스
JP2015515289A (ja) * 2012-02-28 2015-05-28 マリア ソサ，アナ 気分障害の診断および治療の方法、装置、およびシステム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040100677A (ko) 2003-05-23 2004-12-02 두산중공업 주식회사 스팀 터빈에서의 스팀 배관 클리닝 방법
EP1811890A4 (en) * 2004-11-01 2009-09-09 Eye Diagnostics Pty Ltd DEVICE AND METHOD FOR SEARCHING FOR CHANGES IN THE EYE
WO2008091759A1 (en) 2007-01-26 2008-07-31 University Of Florida Research Foundation, Inc. Apparatus and methods for assessment of vestibulo-ocular reflexes
CN102824160B (zh) * 2011-06-17 2015-01-21 北京爱生科贸有限公司 眼球运动监测方法及其设备
CN103324908A (zh) * 2012-03-23 2013-09-25 桂林电子科技大学 用于虹膜识别的快速虹膜采集判断控制方法
JP2014151025A (ja) * 2013-02-08 2014-08-25 Scalar Corp 眼球撮像装置
CN105095840B (zh) * 2014-05-22 2019-05-07 兰州大学 基于眼震影像的多方向上眼震信号提取方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010018719A (ko) * 1999-08-21 2001-03-15 김윤종 전정기관이상 진단 및 치료 통합시스템
KR20040107677A (ko) * 2003-06-09 2004-12-23 김덕원 영상 안진기와 전기 안진기를 결합한 안구 운동 측정 시스템
KR20070077973A (ko) * 2006-01-25 2007-07-30 한국인식산업(주) 생체 얼굴 인식 장치 및 그 방법
JP2015515289A (ja) * 2012-02-28 2015-05-28 マリア ソサ，アナ 気分障害の診断および治療の方法、装置、およびシステム
KR101501165B1 (ko) * 2013-12-02 2015-03-11 한국산업기술대학교산학협력단 눈동자 추적을 이용한 안구 마우스

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3991705A4 (en) * 2019-06-25 2023-07-05 Korea University Research and Business Foundation DEVICE FOR ASSESSMENT AND REHABILITATION OF VESTIBULAR-OCULAR REFLEX BASED ON VIRTUAL REALITY GAME AND BIOSIGNAL SENSOR
CN114170192A (zh) * 2021-12-10 2022-03-11 武汉工程大学 星载光学相机焦面震颤精细检测方法
CN114617529A (zh) * 2022-05-12 2022-06-14 上海志听医疗科技有限公司 一种用于眼罩设备的眼球眩晕数据识别方法及系统
CN114617529B (zh) * 2022-05-12 2022-08-26 上海志听医疗科技有限公司 一种用于眼罩设备的眼球眩晕数据识别方法及系统

Also Published As

Publication number Publication date
KR101905716B1 (ko) 2018-10-11
KR20180101816A (ko) 2018-09-14
CN110325104A (zh) 2019-10-11
CN110325104B (zh) 2022-06-03

Similar Documents

Publication Publication Date Title
WO2018164361A1 (ko) 적외선 카메라를 이용한 비디오 안진 검사 장치 및 방법
WO2017192020A1 (ko) 치과용 3차원 데이터 처리장치 및 그 방법
JP7213492B2 (ja) 視覚検査装置及び視覚検査方法
US5920375A (en) Process for measuring the visual field recognizable by the eye of a patient
JP2004337348A (ja) 眼球運動解析システム
JP3563459B2 (ja) 瞬き検出システム
US6835179B2 (en) Optical stimulation of the human eye
JP3914090B2 (ja) 眼球運動解析システム及び眼球撮像装置
WO2022034955A1 (ko) 영상 처리를 기반으로 하는 각막궤양 검출 장치 및 그 방법
KR20210004637A (ko) 양성돌발성 두위 현훈 진단을 위한 안진 검사 장치 및 검사 방법
JP7333359B2 (ja) 撮像装置、眼球運動データ処理システム、および制御方法
WO2018182173A1 (ko) 2차원 피부 이미지 분석 시스템 및 분석 방법
JP2012085691A (ja) 瞬目計測装置及び瞬目計測方法
KR102204112B1 (ko) 동공과 홍채를 이용한 이석증 질병예측정보를 제공하는 방법
JP2964132B2 (ja) 眼球運動解析装置
CN117530654A (zh) 一种实时的双眼瞳孔检查系统及检测方法
WO2023075560A1 (ko) 두부충동검사의 평가 방법 및 장치
WO2023120834A1 (ko) 가상현실 기반 안구운동 측정을 통한 어지럼증 진단방법, 장치, 이를 구현하기 위한 프로그램이 저장된 기록매체 및 기록매체에 저장된 컴퓨터 프로그램
CN111260635B (zh) 一种全自动眼底照片获取、眼病预警及个性化管理系统
Bidaki et al. A novel computational thermal-visual imaging system for automatic cornea temperature measurement and tracking
JPH04279143A (ja) 眼球運動検査装置
JP2022173721A (ja) 撮像装置、眼球運動データ処理システム、および制御方法
Kolar et al. Retinal image registration for eye movement estimation
KR100627929B1 (ko) 안구 운동 측정장치 및 방법
RU2723598C1 (ru) Устройство для определения остроты зрения

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18763425

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205 DATED 21.01.2020)

122 Ep: pct application non-entry in european phase

Ref document number: 18763425

Country of ref document: EP

Kind code of ref document: A1