KR100311605B1 - Computer Vision Based Eye Tracking Method - Google Patents
Computer Vision Based Eye Tracking Method Download PDFInfo
- Publication number
- KR100311605B1 KR100311605B1 KR1019980044034A KR19980044034A KR100311605B1 KR 100311605 B1 KR100311605 B1 KR 100311605B1 KR 1019980044034 A KR1019980044034 A KR 1019980044034A KR 19980044034 A KR19980044034 A KR 19980044034A KR 100311605 B1 KR100311605 B1 KR 100311605B1
- Authority
- KR
- South Korea
- Prior art keywords
- iris
- center
- face
- gaze
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
- G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
Landscapes
- Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 컴퓨터 비전 기반의 시선 추적 방법에 관한 것으로서, 본 발명은 사용자의 얼굴 및 눈에 대한 특성값을 측정하여 미리 룩업테이블을 구성해 두고, 사용자의 얼굴부분의 영상을 입력받아 얼굴방향 및 홍채의 중심점을 측정한 후, 상기 특성값과 상기 측정값을 비교하여, 측정값이 타당한 경우, 상기 측정된 얼굴 방향 좌표계 및 홍채 중심 좌표계를 합성하여 시선 방향을 계산한다. 얼굴 방향 측정은 T자 스틱형 참조모델을 착용하여 정확한 각도를 찾아내고, 홍채의 중심점은 홍채의 색깔 분포 분석에 의한 홍채색깔의 무게중심을 구하여, 그 무게중심을 시작으로 업/다운 스캐닝함으로써, 타원형 홍채 에지내의 가장 긴 수평라인을 찾고, 그 그 수평라인의 중심점을 홍채의 중심점으로 결정한다.The present invention relates to a computer vision-based line-of-sight tracking method, in which a look-up table is constructed in advance by measuring characteristic values of a user's face and eyes, And compares the measured value with the measured value, and calculates the gaze direction by synthesizing the measured face direction coordinate system and iris center coordinate system when the measured value is valid. The direction of the face is measured by finding a correct angle by wearing a T-stick type reference model. The center of the iris is obtained by finding the center of gravity of the iris color by analyzing the color distribution of the iris, Finds the longest horizontal line in the elliptical iris edge, and determines the center point of the horizontal line as the center point of the iris.
Description
본 발명은 컴퓨터 비전 시스템에 관한 것으로, 특히 카메라를 통해 획득한 사용자의 영상으로부터 얼굴 방향 및 홍채 위치를 정확하게 검출해 내는 컴퓨터비전 기반의 시선 추적 방법에 관한 것이다.The present invention relates to a computer vision system, and more particularly, to a computer vision-based gaze tracking method for accurately detecting a face direction and an iris position from a user's image acquired through a camera.
일반적으로 눈의 움직임과 시선 추적에 대한 기술은 인간의 내부 메커니즘을 연구하기 위한 의학, 심리학뿐만 아니라, 전기/전자/컴퓨터 과학 분야에서도 다양한 응용분야에 적용하기 위해 연구되고 있다. 그 응용분야로서 예컨대, 컴퓨터 인터페이스, 가상현실, 손을 사용할 수 없는 장애자를 위한 인터페이스, 의료, 우주항공 분야를 들 수 있다.In general, the techniques of eye movement and eye tracking are being studied not only in medicine and psychology to study human internal mechanisms but also in various applications in electric / electronic / computer science fields. Examples of applications include computer interfaces, virtual reality, interfaces for handicapped persons, medical and aerospace fields.
이러한, 종래의 시선 추적 방법에 있어서, 다양한 방법이 제시되는 바, 예를 들어, 콘택트렌즈를 이용한 눈의 각막의 반사점과 동공과의 상대적 거리를 측정하는 방법, 적외선 센서를 이용해서 반사된 빛을 이용하는 방법, 눈동자나 동공 이미지를 추적하는 방법, 뉴럴 네트워크를 이용해서 분석하는 방법, 눈 주위에 조그마한 전극봉을 설치해서 눈의 움직임을 파악하는 방법 등이 있다. 그러나, 이러한 방법을 구현하는 기술은 무거운 장비를 착용하거나, 혹은 인체에 해로운 적외선을 사용하거나, 혹은 특수한 고가의 장비를 이용해야하는 등의 문제점이 있다. 또한 시선 추적의 정확도가 만족할 만한 수준에 있지 않은 것도 있다.For example, a method of measuring a relative distance between a cornea's reflex point and a pupil using a contact lens, a method of measuring a reflected light using an infrared sensor, How to use it, how to track pupil or pupil images, how to analyze using neural network, and how to detect eye movements by installing a small electrode around the eye. However, the technique of implementing this method has problems such as wearing heavy equipment, using infrared rays harmful to human body, or using expensive expensive equipment. Also, the accuracy of eye tracking is not satisfactory.
이에 반해, 외부에서 카메라를 이용한 컴퓨터비전 기반의 시선 추적 방식은 사용자에게 거추장스러운 장비의 착용을 요구하지 않는 장점을 갖는다. 컴퓨터비전 기반 기술은, 도 1에서 보여주는 바와 같이, 컴퓨터와 사용자간의 능동적인 정보전달 수단으로 사용할 수 있다. 도 1에서, 컴퓨터 모니터(10)의 상단부에 장착된 카메라(12)를 통해 사용자(11)가 응시하는 응시지점(15)을 추적한다. 이렇게 눈의 시선은 커서를 위치시키는 것과 같은 역할을 하여 컴퓨터와 통신이 가능할 수 있다.On the other hand, the computer vision-based gaze tracking method using a camera from the outside has an advantage that the user is not required to wear cumbersome equipment. The computer vision-based technology can be used as an active means of communicating information between a computer and a user, as shown in FIG. In FIG. 1, a tracking point 15 at which the user 11 is gazing is tracked through a camera 12 mounted on the upper end of the computer monitor 10. This eye-gaze can act as a cursor and can communicate with the computer.
그러나, 종래의 컴퓨터비전 기반의 시선 추적 기술은 정확도나 처리 속도의 성능 면에서 만족할 만한 수준에 미치지 못하는 문제점이 있다. 예컨대, 시선 추적을 위해서는 시선 각도는 0.1(degree) 정도로, 속도는 적어도 5~10(frame/sec)을 유지할 수 있어야 한다.However, the conventional computer vision-based gaze tracking technology has a problem in that it can not be satisfied with respect to the performance of the accuracy or the processing speed. For example, for eye tracking, the eye angle should be about 0.1 (degree) and the speed should be at least 5 to 10 (frame / sec).
따라서, 시선의 각도를 정확히 구별함은 물론, 영상 프레임을 실시간 적으로 빠르게 처리할 수 있는 시선 추적 알고리즘에 대한 개발이 요구된다.Therefore, it is required to develop a gaze tracking algorithm that not only accurately distinguishes the angle of the line of sight, but also can quickly process the image frame in real time.
이에, 본 발명은 상기와 같은 문제점을 해결하고자 안출된 것으로서, 본 발명은 고안된 마크(mark) 참조모델을 이용해서 사용자의 얼굴 움직임을 측정하고, 홍채의 색깔 및 에지를 기준으로 홍채 중심을 검출하여, 미리 저장된 사용자의 고유 특성값과의 비교를 통해 정확한 눈동자 위치를 추적하는, 컴퓨터비전 기반의 시선 추적 방법을 제공하는 데 그 목적이 있다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above-mentioned problems, and it is an object of the present invention to provide a method and apparatus for measuring a user's facial motion using a devised mark reference model and detecting iris center based on iris color and edge The present invention provides a computer vision-based gaze tracking method for tracking an exact pupil position through comparison with a pre-stored characteristic value of a user.
상기 목적을 달성하기 위한 본 방법은, 사용자의 얼굴색과 구별이 잘 되는 마크 참조모델을 상기 사용자의 얼굴에 착용하고, 하나이상의 사용자 특성치 저장 테이블과 하나이상의 영상처리 보드를 구비하여, 카메라로부터 사용자 얼굴 영상을 입력받아 처리하는 컴퓨터비전 기반의 시스템에서의 시선 추적 방법에 있어서, (a) 사용자의 얼굴 및 눈에 대한 특성값을 측정하여 상기 테이블에 저장하는 초기화 단계; (b) 상기 카메라를 통해 얼굴부분의 영상을 입력받아 상기 영상처리 보드의 프레임 메모리로 로딩하는 단계; (c) 상기 프레임 메모리의 영상 프레임을 잡음제거필터링 하고, 홍채 에지를 검출하는 단계; (d) 상기 (c)의 영상으로부터 상기 마크 참조모델을 착용한 얼굴 움직임을 측정하고, 홍채의 중심점을 검출하는 단계; (e) 상기 (a)의 특성값과 상기 (d)의 측정값을 비교하여 타당한 값인지를 판단하는 단계; (f) 상기 (e)의 판단결과, 부정인 경우, 상기 (b)~(e)단계를 순서대로 반복 수행하고, 긍정인 경우, 상기 (d)의 측정된 얼굴 움직임 좌표계 및 홍채 중심 좌표계를 합성하여 시선 방향을 계산하는 단계를 포함하는 것을 특징으로 한다.In order to achieve the above object, a method of the present invention includes: wearing a mark reference model that is distinguishable from a face color of a user on the face of the user, and having at least one user characteristic value storage table and at least one image processing board, A method of tracking a line of sight in a computer vision-based system for receiving and processing an image, the method comprising the steps of: (a) measuring a characteristic value of a user's face and eyes and storing the characteristic value in the table; (b) receiving an image of a face part through the camera and loading the image into a frame memory of the image processing board; (c) noise-filtering and filtering an image frame of the frame memory and detecting an iris edge; (d) measuring a face motion wearing the mark reference model from the image of (c), and detecting a center point of the iris; (e) comparing the characteristic value of (a) with the measured value of (d) and determining whether the characteristic value is a valid value; (f) repeating the steps (b) to (e) in the order of (e) if the determination is negative, and if the determination is affirmative, the measured face motion coordinate system and iris center coordinate system And calculating the line-of-sight direction by synthesizing the line-of-sight direction.
도 1은 일반적인 컴퓨터비전 기반의 시선 추적에 의한 컴퓨터-사용자간의 인터페이스를 보여주는 도면,FIG. 1 is a diagram showing a computer-user interface by eye-tracking based on a general computer vision,
도 2는 본 발명에 따른 얼굴 및 시선 정보를 추적하는 방법에 대한 흐름도,FIG. 2 is a flow chart of a method for tracking face and gaze information according to the present invention;
도 3a 내지 도 3d는 도 2의 얼굴 방향을 위한 참조모델의 모양 및 적용 방법을 설명하기 위한 도면,FIGS. 3A to 3D are diagrams for explaining a shape and an application method of a reference model for the face direction of FIG. 2;
도 4는 안구의 동공 및 홍채의 명암 분포도,FIG. 4 is a diagram showing a dark and light distribution of the pupil and iris of the eyeball,
도 5는 도 2의 홍채 중심점을 검출하는 방식을 설명하기 위한 도면이다.FIG. 5 is a diagram for explaining a method of detecting the iris center point in FIG. 2. FIG.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 설명한다.Hereinafter, preferred embodiments of the present invention will be described with reference to the accompanying drawings.
본 실시예를 위한 시스템은, 하나이상의 카메라와, 하나이상의 사용자 특성치 저장 테이블 및 하나이상의 영상처리 보드를 구비한 컴퓨터 시스템을 포함한다. 상기 테이블에는 사용자마다의 개인의 고유 특성 예컨대, 눈의 크기, 눈의 움직임 정도, 색깔 등의 데이터를 미리 측정하여 저장해둔다. 카메라를 통해 획득한 사용자의 얼굴 영상은 영상처리 보드의 프레임 메모리로 로딩된다. 프레임 메모리로부터 전달된 프레임 단위의 영상은 상기 영상처리 보드의 프로세서를 통하거나 컴퓨터의 프로세서를 통해, 현재 얼굴 위치 및 눈(홍채)의 위치를 측정하고, 그 측정값과 미리 저장된 테이블값과 비교하면서 얼굴 움직임 및 시선 방향을 추적해 낸다.The system for this embodiment includes a computer system having one or more cameras, one or more user-specific value storage tables, and one or more image processing boards. In the table, data such as an individual characteristic of each user such as an eye size, an eye movement degree, and a color are previously measured and stored. The face image of the user acquired through the camera is loaded into the frame memory of the image processing board. The frame-by-frame image transmitted from the frame memory measures the current face position and the position of the eye (iris) through the processor of the image processing board or through the processor of the computer, and compares the measured value with the previously stored table value Track face movements and gaze direction.
본 실시예에서는 얼굴 움직임을 추적하기 위해 고안된 마크 참조모델을 이용하고, 눈동자의 정확한 위치를 추적하기 위해 홍채의 색깔 및 에지를 기준으로 홍채의 중심점을 검출한다.In this embodiment, a mark reference model designed to track facial motion is used and a center point of the iris is detected based on the color and edge of the iris to track the exact position of the pupil.
이어서, 도 2는 본 발명에 따른 얼굴 및 시선 정보를 추적하는 방법에 대한 흐름도이다.2 is a flow chart of a method for tracking face and gaze information according to the present invention.
단계20에서는 사용자 개인의 특성치를 측정하고, 이를 초기값으로 설정하여 상기 테이블에 저장한다. 개인의 특성치로는 예컨대, 얼굴의 움직임, 눈의 크기, 눈의 움직임 정도, 홍채의 색깔 등의 데이터 일 수 있다. 또한, 이 특성치는 수회의 시스템 학습을 통해서 좌표 및 벡터값을 보정(calibration)하여 테이블을 구성할 수 도 있다.In step 20, the characteristic value of the user is measured, and the characteristic value is set as an initial value and stored in the table. The characteristic value of the individual may be, for example, data on the movement of the face, the size of the eyes, the degree of movement of the eyes, and the color of the iris. In addition, the characteristic value may be configured by calibrating coordinate values and vector values through system learning several times.
단계21에서는 얼굴 부분에 대한 영상을 상기 카메라로부터 입력받아 프레임 단위로 처리하여 상기 프레임 메모리로 로딩한다.In step 21, an image of the face part is received from the camera, processed in units of frames, and loaded into the frame memory.
단계22에서는 상기 프레임 메모리의 프레임 영상에서 잡음을 제거하기 위해 저역통과 필터 및 모폴로지연산(morphological operation)을 통해 전처리한 다음, 양쪽 눈동자 부분의 에지를 검출해낸다. 이 때, 홍채의 에지를 보다 정확히 검출하기 위해 canny operator 나 vertical sobel operator를 사용할 수 있다.In step 22, pre-processing is performed through a low-pass filter and a morphological operation to remove noise from the frame image of the frame memory, and edges of both pupils are detected. At this time, canny operator or vertical sobel operator can be used to more accurately detect the edge of iris.
단계23에서는 얼굴 움직임을 측정하기 위해서, 마크 참조모델을 이용한다. 얼굴의 움직임과 동시에 눈동자의 움직임이 동시에 발생할 수 있기 때문에, 마크 참조모델은 또한 눈동자의 움직임 변위 측정을 위한 고정된 좌표기준의 역할도 한다. 얼굴 움직임 측정은, 도 3에 도시된 바와 같이, 얼굴색과 구별이 잘되는 마크 참조모델(30)을 두 눈(31)사이에 착용해서 얼굴의 움직임에 따라 결정되는 마크 참조모델(30)의 위치를 측정한다. 본 실시예에서는 안경의 두 렌즈 사이에 있는 안경테에 마크 참조모델(30)을 착용하였지만 안경을 이용해야만 하는 필요성은 없고, 얼굴에 고정된 마크 참조모델(30)을 부착하여 측정가능하다. 상기 마크 참조모델(30)이 얼굴색과 구별이 잘 되면, 영상처리(image processing)상 색깔의 검색(detect)이 매우 쉽고, 처리가 용이하다. 그러므로, 영상처리상 얼굴색과 구별이 잘 되고, 사용하기에 편리하기만 하면 어떤 매체가 되더라도 상관이 없다.In step 23, a mark reference model is used to measure facial motion. Since the movement of the pupil simultaneously with the movement of the face can occur simultaneously, the mark reference model also serves as a fixed coordinate reference for measuring the displacement of the pupil. 3, the mark reference model 30, which is distinguished from the face color, is worn between the two eyes 31 to measure the position of the mark reference model 30 determined according to the motion of the face . In this embodiment, the mark reference model 30 is worn on the spectacle frame between the two lenses of the spectacle, but there is no need to use glasses, and measurement is possible by attaching the mark reference model 30 fixed on the face. If the mark reference model 30 is distinguishable from the face color, it is very easy to detect the color on the image processing and is easy to process. Therefore, it does not matter what kind of medium it is as long as it is distinguishable from facial color in image processing and is convenient to use.
그리고, 상기 마크 참조모델(30)은 두 눈(31) 사이의 중심에 부착하는 것이 바람직하다.It is preferable that the mark reference model 30 is attached to the center between the two eyes 31.
단계24에서는 홍채의 색깔 및 에지를 이용하여 홍채의 중심점을 검출한다. 안구의 명암분포는, 도 4a에서 보는 바와 같이, 가운데 중앙의 동공(40)이 가장 어둡고, 동공을 싸고 있는 홍채(41)는 밝은 어두운 색을 갖고, 홍채(41)를 둘러싼 주변영역은 가장 밝은 색을 갖는다. 이러한 안구의 홍채의 색깔분포 분석을 통해 알아낸 RGB값으로 얼굴이미지내의 적절한 크기의 서치 윈도우(search window)내에서의 홍채색깔의 무게 중심을 구한다. 상기 무게 중심으로부터 홍채의 중심점을 검출하는 방법은 두 가지가 있는데 그 첫 번째 방법으로 도 4b에서 보는 바와 같이, 그 무게 중심점(51)에 의해 타원형의 홍채 에지(50) 내부의 가장 긴 수평라인을 추적하는 데, 무게 중심점(51)을 시작으로 위 방향으로 업스캔(52)하거나 아래 방향으로 다운스캔(53)하면서, 가장 긴 수평라인을 추적하는 것이다. 이 때 얻은 가장 긴 라인의 중심점을 찾아서 그 점을 홍채중심(55)으로 결정한다. 두 번째 방법으로는 도 4c에서 보는 바와 같이, 후보점(candidate points)(48)을 중심으로 구성된 서치 윈도우(46)내에서 원의 중점을 변화시켜 가면서 각각의 원의 테두리(47)를 눈썹에 가려져 부분(45)만 드러난 홍채 에지(40)와 정합(matching)시키는 부분 원형 에지 템플릿정합(circular edge template matching) 방법이다. 후보점들로는 홍채 색깔 픽셀들의 무게 중심 또는 프로젝션(projection)의 중심, 혹은 단계 24의 홍채중심검출의 첫 번째 방법의 결과점이 될 수 있고, 단계25에서는 상기 단계23에서 획득한 참조 모델의 측정값과 상기 단계24에서 획득한 홍채 중심의 측정값을, 상기 단계20에서의 테이블의 설정값과 비교하여 타당한 값인지를 판단한다. 만일, 판단 결과 타당하지 않을 경우에는 상기 단계21로 진입하여 단계22,23,24,25를 순서대로 반복 수행한다.In step 24, the center of the iris is detected using the color and the edge of the iris. 4A, the pupil 40 at the center of the center is darkest, the iris 41 surrounding the pupil has a bright dark color, and the peripheral region surrounding the iris 41 is the brightest Color. The center of gravity of the iris color in the search window of the appropriate size in the face image is obtained from the RGB values obtained through the analysis of the color distribution of the iris of such eyes. There are two methods of detecting the center point of the iris from the center of gravity. In the first method, as shown in FIG. 4B, the longest horizontal line inside the elliptical iris edge 50 is detected by the center- (52) in the upward direction starting from the center of gravity (51), or down-scanning (53) in the downward direction to track the longest horizontal line. The center point of the longest line obtained at this time is found and the point is determined as the iris center 55. In the second method, as shown in FIG. 4C, the center 47 of each circle is changed to the eyebrows while changing the center of the circle in the search window 46 constructed around the candidate points 48 Is a circular edge template matching method that matches the iris edge 40 exposed only with the shaded portion 45. Candidate points may be the center of gravity of the iris color pixels or the center of the projection or the result point of the first method of iris center detection in step 24 and in step 25 the measured values of the reference model obtained in step 23 and The measured value of the iris center obtained in the step 24 is compared with the set value of the table in the step 20 to judge whether it is a valid value. If the determination result is not valid, the process proceeds to step 21, and steps 22, 23, 24, and 25 are repeated in order.
단계25의 판단 결과 타당할 경우에는, 단계26으로 진입하여, 상기 단계23의 얼굴 움직임의 좌표계와 상기 단계24의 홍채의 중심의 좌표계를 하나의 좌표계로 합성하여 시선 방향 및 응시점을 계산해 낸다.If it is judged as a result of the judgment in Step 25, the process goes to Step 26, and the eye direction and the gazing point are calculated by synthesizing the coordinate system of the face motion of the step 23 and the coordinate system of the center of the iris of the step 24 into one coordinate system.
도 5는 시선 방향 및 응시점을 계산하는 첫 번째 방법으로서, 홍채 중심점과 컴퓨터스크린과의 기하학적 해석을 위한 도면이다. 여기서는, 얼굴의 움직임이 없다는 가정하에 x축에 대한 해석을 설명하였으며, y축도 동일한 방법으로 유도할 수 있다. 도 5에서 보는 바와 같이, 홍채 중심점(50)과 컴퓨터스크린(55)과의 기하학적 관계에서 안구중심(51)으로부터 하나의 홍채 중심점(50)을 통과하는 벡터(52)가 컴퓨터 스크린 상에 착점하는 지점이 시선의 응시점이 된다. 기준벡터(53)과 또 다른 하나의 벡터(54)를 포함하여 수식을 유도하면,를 얻을 수 있다. 여기서 α를 0이라고 가정하였는데, 이는 g1, g2를 홍채 중심점의 변위에 대한 선형식으로 나타내기 위함이다. α에 대한 가정은, 컴퓨터스크린(55)을 바라볼 때 눈동자의 회전 각도가 한정되어 있는 사실과, 실제 실험을 통해서 그 타당함이 입증되었다.FIG. 5 is a diagram for geometric analysis of the iris center point and the computer screen as a first method for calculating the gaze direction and the gaze point. Here, the analysis for the x-axis is explained on the assumption that there is no movement of the face, and the y-axis can be derived in the same way. 5, in the geometric relationship between the iris center point 50 and the computer screen 55, a vector 52 passing through one iris center point 50 from the eye center 51 is focused on a computer screen The point becomes the gaze point of the gaze. Deriving the equation including the reference vector 53 and another vector 54, Can be obtained. Here, we assume that α is 0, which is to represent g 1 , g 2 as a linear form of the displacement of the iris center point. The assumption for? has proven to be valid through actual experiments and the fact that the angle of rotation of the pupil is limited when the computer screen 55 is viewed.
각각의 변수에 대한 설명은 다음과 같다.The description of each variable is as follows.
d 는 안구와 컴퓨터스크린(55) 사이의 거리이고, rball은 안구의 반지름이다.d is the distance between the eyeball and the computer screen 55, and r ball is the radius of the eyeball.
사람의 눈동자가 벡터(52) 방향으로 컴퓨터스크린(55)의 왼쪽을 바라볼 때, 컴퓨터스크린 중심에 대한 눈동자 변위가 x1이다. 사람의 눈동자가 벡터(54) 방향으로 컴퓨터스크린(55)의 오른쪽을 바라볼 때, 스크린 중심에 대한 눈동자 변위가 x2이다. 그리고, 사람의 눈동자가 컴퓨터스크린(55) 중심을 볼 때, 위치에 따라 어느 정도의 각도를 가지고 응시하게 되므로, 컴퓨터스크린(55) 중심에 대한 눈동자의 변위가 xc이다.When the eyes of person vector 52 is viewed from the left of the computer screen (55) in a direction, and the pupil center displacement with respect to a computer screen x 1. When the eyes of person vector 54 look at the right side of the computer screen (55) in a direction, and the displacement of the pupil center of the screen x 2. The pupil displacement of the pupil with respect to the center of the computer screen 55 is x c since the pupil of the person looks at the center of the computer screen 55 and strikes with a certain angle depending on the position.
따라서, 사람의 눈동자가 컴퓨터스크린(55) 왼쪽을 볼 때의 눈동자의 실제 변위 Δ1은 x1에서 xc를 뺀 값이고, 컴퓨터스크린(55) 오른쪽을 볼 때의 눈동자의 실제 변위 Δ2는 x2에 xc를 더한 값이다.Thus, the actual displacement Δ 1 of the pupil when the pupil of the person to see the left side of the computer screen (55) is a value obtained by subtracting the x c in the x 1, the actual displacement of the eye as seen the right side of the computer screen 55, Δ 2 is x 2 plus x c .
S1은 사람이 벡터(52) 방향으로 컴퓨터스크린(55)에 응시한 점과 컴퓨터스크린(55) 중심과의 변위이고, S2는 사람이 또 다른 벡터(54) 방향으로 컴퓨터스크린(55)에 응시한 점과 컴퓨터스크린(55) 중심과의 변위이다. 그리고, Sc는 사람의 눈동자가 컴퓨터스크린(55) 중심을 볼 때, 컴퓨터스크린(55) 중심과 응시점과의 변위이다.S 1 is the displacement of the person with respect to the computer screen 55 in the direction of the vector 52 and the displacement of the center of the computer screen 55 and S 2 is the displacement of the person in the direction of another vector 54, And the displacement of the center of the computer screen 55 with respect to the center. And S c is the displacement between the center of the computer screen 55 and the gaze point when the human eye is centered on the computer screen 55.
사람의 눈동자가 벡터(52)를 따라서 컴퓨터스크린 왼쪽을 볼 때 컴퓨터스크린(55)상의 실제 변위가 g1이고, 컴퓨터스크린 오른쪽을 볼 때의 컴퓨터스크린(55)상의 실제 변위가 g2이다.The actual displacement on the computer screen 55 is g 1 and the actual displacement on the computer screen 55 when viewing the right side of the computer screen is g 2 when the human pupil is viewing the computer screen left along the vector 52.
도 6은 홍채 중심점과 얼굴 움직임의 변화를 동시에 고려해서 컴퓨터스크린상의 시선의 응시점을 찾기 위한 기하학적 해석을 위한 도면이다. 도 6에서 보는 바와 같이, 얼굴의 움직임을 반영하는 마크 참조모델(66)의 움직임을 고려하여 기하학적으로 해석하여 시선의 응시점을 구해보는데, 컴퓨터스크린(60)의 중앙점(61)을 응시하다가 오른쪽 끝점(62)을 응시한 상황을 기하학적으로 해석해보면, 스크린의 중앙점을 볼때의 왼쪽 안구(67)의 안구중심(64)과 홍채 중심점(63)을 잇는 벡터가 얼굴이 오른쪽으로 이동하여(65), 스크린의 오른쪽 끝을 볼 때의 이동된 벡터를 형성하게 된다. 수식을 유도하면,이 된다. 여기서, Δref는 얼굴의 움직임을 반영하기 위한 변위이다. 사람의 얼굴이 x 축상에서 이동했을 때, 눈동자도 그만큼 이동하기 때문이다.FIG. 6 is a diagram for geometric analysis for finding a gaze point of a line of sight on a computer screen simultaneously considering changes in iris center point and facial motion. As shown in FIG. 6, a gaze point of the gaze is obtained by geometrically analyzing the movement of the mark reference model 66 reflecting the movement of the face. The user gazes at the central point 61 of the computer screen 60 A geometric interpretation of the situation where the right end point 62 is viewed is that the vector connecting the eye center 64 and the iris center point 63 of the left eye 67 when viewing the center point of the screen is shifted to the right 65) to form a shifted vector when viewing the right end of the screen. By deriving the formula, . Here, Δ ref is a displacement for reflecting the motion of the face. When a person's face moves on the x-axis, the pupil moves as well.
S는 컴퓨터스크린(55)의 중앙점과 오른쪽 끝점 사이의 변위이며, 중앙점을 바라볼 때 홍채 중심점(63)과 마크 참조모델과의 변위가 Δ1, 오른쪽 끝점을 바라볼 때 홍채 중심점(63)과 마크 참조모델과의 변위가 Δ2이다.S is the displacement between the center point and the right end point of the computer screen 55. When the center point is viewed, the displacement between the iris center point 63 and the mark reference model is Δ 1 , ) And the mark reference model is? 2 .
도 7은 시선 방향 및 응시점을 계산하는 두 번째 방법으로서, 이미지 상의 홍채 중심점과 얼굴 움직임의 변화만을 적응적으로 적용한 시선의 응시벡터를 구하는 방법을 설명하기 위한 도면이다. 도 7에 도시된 바와 같이, 스크린의 아홉 개의 정해진 점을 응시할 때 홍채의 중심점(71)의 이미지 상의 변화를 벡터로 해석해서 응시점을 에측한다. 스크린 중앙을 볼때의 마크 참조모델(70)에서 중앙점까지의 기준벡터(73)를 υinit, 현재 홍채 중심점에 대한 시선에 대한 벡터(72)를 υcurrent, 스크린 중앙점에 대한 시선의 변위 벡터(74)를 υg라고 할 때 수식 유도하면 υg=(υcurrent-υinit)+kcυref이 성립한다. 여기서 υref는 참조모델의 변위 벡터이고, 적응적으로 결정되는 kc는 보정 상수(calibrating constant)이다. 이렇게 하여 최종적으로 사용자의 시선의 응시점을 정확히 추적해 낸다.7 is a diagram for explaining a method of calculating a gaze vector of a line of sight applying adaptively only a change in iris center point and facial motion on an image, as a second method of calculating gaze direction and gaze point. As shown in Fig. 7, when gazing at nine predetermined points on the screen, the change in the image of the iris center point 71 is interpreted as a vector, and the gaze point is observed. The reference vector 73 from the mark reference model 70 to the center point when viewing the screen center is defined as v init , the vector 72 for the line of sight to the current iris center point is defined as v current , (74) is υ g , then υ g = (υ current - υ init ) + k c υ ref is established. Where υ ref is the displacement vector of the reference model and k c, which is adaptively determined, is a calibrating constant. In this way, the gaze points of the user's eyes are finally tracked.
본 발명의 실시예로서, 상기 단계26에서 시선 벡터와 컴퓨터 스크린과의 교차점을 구하여 스크린상의 포인터(일종의 마우스의 커서 역할)를 제어할 수도 있다.As an embodiment of the present invention, the intersection point of the gaze vector and the computer screen may be obtained in step 26 to control a pointer (a kind of a cursor of a mouse) on the screen.
본 발명은 상기에 기술된 실시예에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.The present invention is not limited to the above-described embodiments, and various changes and modifications may be made by those skilled in the art, which is included in the spirit and scope of the present invention as defined in the appended claims.
이상에서 살펴본 바와 같이, 본 발명은 스틱형 참조모델을 이용해서 사용자의 얼굴 방향을 예측하고, 홍채의 색깔을 기준으로 홍채 중심을 검출하여, 상기 얼굴 좌표계와 홍채 중심 좌표계를 합성함으로써, 보다 정확한 시선 추적이 가능하다.As described above, according to the present invention, a face direction of a user is predicted using a stick-shaped reference model, an iris center is detected based on the color of the iris, and the face coordinate system and the iris center coordinate system are synthesized, Tracking is possible.
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980044034A KR100311605B1 (en) | 1998-10-20 | 1998-10-20 | Computer Vision Based Eye Tracking Method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019980044034A KR100311605B1 (en) | 1998-10-20 | 1998-10-20 | Computer Vision Based Eye Tracking Method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20000026497A KR20000026497A (en) | 2000-05-15 |
| KR100311605B1 true KR100311605B1 (en) | 2001-12-28 |
Family
ID=19554794
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1019980044034A Expired - Fee Related KR100311605B1 (en) | 1998-10-20 | 1998-10-20 | Computer Vision Based Eye Tracking Method |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100311605B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101037710B1 (en) * | 2009-06-08 | 2011-05-30 | 삼육대학교산학협력단 | Automatic production system of photographed video |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114889526B (en) * | 2022-04-13 | 2024-05-07 | 广州优创电子有限公司 | Vehicle-mounted intelligent electronic exterior rearview mirror with built-in left and right display screens |
-
1998
- 1998-10-20 KR KR1019980044034A patent/KR100311605B1/en not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101037710B1 (en) * | 2009-06-08 | 2011-05-30 | 삼육대학교산학협력단 | Automatic production system of photographed video |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20000026497A (en) | 2000-05-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6659611B2 (en) | System and method for eye gaze tracking using corneal image mapping | |
| Noureddin et al. | A non-contact device for tracking gaze in a human computer interface | |
| US8457352B2 (en) | Methods and apparatus for estimating point-of-gaze in three dimensions | |
| US20240385688A1 (en) | Eye tracking device and a method thereof | |
| Sigut et al. | Iris center corneal reflection method for gaze tracking using visible light | |
| US9733703B2 (en) | System and method for on-axis eye gaze tracking | |
| Morimoto et al. | Eye gaze tracking techniques for interactive applications | |
| JP5578603B2 (en) | Gaze control device, gaze control method, and program thereof | |
| WO2018000020A1 (en) | Systems and methods for performing eye gaze tracking | |
| JP2022538669A (en) | Improved eye tracking latency | |
| JP7030317B2 (en) | Pupil detection device and pupil detection method | |
| Mimica et al. | A computer vision framework for eye gaze tracking | |
| KR100311605B1 (en) | Computer Vision Based Eye Tracking Method | |
| WO2023043442A1 (en) | Correcting raw coordinates of facial feature point | |
| Chaudhary et al. | $ pi_t $-Enhancing the Precision of Eye Tracking using Iris Feature Motion Vectors | |
| US12346497B1 (en) | Filtering of gaze tracking information to trigger reading control mode | |
| Park | Gaze detection by wide and narrow view stereo camera | |
| Park | Real-time gaze detection via neural network | |
| Uramune et al. | Fixation-based Self-calibration for Eye Tracking in VR Headsets | |
| García-Dopico et al. | Precise Non-Intrusive Real-Time Gaze Tracking System for Embedded Setups. | |
| Park et al. | Practical gaze point detecting system | |
| Park et al. | A study on non-intrusive facial and eye gaze detection | |
| Park | Vision-based facial and eye gaze tracking system | |
| Park | Practical gaze point computing method by 3D position estimation of facial and eye features | |
| Reschke | A Model-Based Approach for the Measurement of Eye Movements Using Image Processing |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| R17-X000 | Change to representative recorded |
St.27 status event code: A-3-3-R10-R17-oth-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| N231 | Notification of change of applicant | ||
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| R18-X000 | Changes to party contact information recorded |
St.27 status event code: A-5-5-R10-R18-oth-X000 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20040927 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20040927 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |