KR20190118965A

KR20190118965A - 시선 추적 시스템 및 방법

Info

Publication number: KR20190118965A
Application number: KR1020190040684A
Authority: KR
Inventors: 석윤찬; 이태희; 최성동
Original assignee: 주식회사 비주얼캠프
Priority date: 2018-04-11
Filing date: 2019-04-08
Publication date: 2019-10-21
Also published as: CN110582781A; US20210019520A1; US11436866B2

Abstract

시선 추적 시스템 및 방법이 제공된다. 본 발명의 일 실시예에 따른 시선 추적 시스템은 3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보 및 상기 사용자의 위치 정보를 획득하는 데이터 수집부; 및 상기 얼굴 정보 및 상기 위치 정보로부터 상기 3차원 공간 상에서 상기 사용자가 응시하는 영역의 위치를 추정하고, 상기 영역의 위치에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시키는 시선 추적부를 포함한다.

Description

시선 추적 시스템 및 방법{SYSTEM AND METHOD FOR EYE-TRACKING}

본 발명의 실시예들은 시선 추적 기술과 관련된다.

시선 추적(Eye Tracking)은 사용자의 안구 움직임을 감지하여 시선의 위치를 추적하는 기술로서, 영상 분석 방식, 콘택트렌즈 방식, 센서 부착 방식 등의 방법이 사용될 수 있다. 영상 분석 방식은 실시간 카메라 이미지의 분석을 통해 동공의 움직임을 검출하고, 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산한다. 콘택트렌즈 방식은 거울 내장 콘택트렌즈의 반사된 빛이나, 코일 내장 콘택트렌즈의 자기장 등을 이용하며, 편리성이 떨어지는 반면 정확도가 높다. 센서 부착 방식은 눈 주위에 센서를 부착하여 눈의 움직임에 따른 전기장의 변화를 이용하여 안구의 움직임을 감지하며, 눈을 감고 있는 경우(수면 등)에도 안구 움직임의 검출이 가능하다.

최근, 시선 추적 기술의 적용 대상 기기 및 적용 분야가 점차 확대되고 있으며, 이에 따라 사람들의 시선을 추적하여 선호하는 상품 또는 서비스와 같은 데이터를 수집하는데 있어 상기 시선 추적 기술을 활용하는 시도가 증가하고 있다.

그러나, 종래의 시선 추적 기술은 2차원 화면 상에서 사용자의 시선을 추적하는 데 그쳤으며, 이에 따라 3차원 공간 상에서 사용자의 시선 추적을 통한 다양한 서비스를 제공하는 데 한계가 있었다.

한국등록특허 제10-1479471호 (2015.01.13)

본 발명의 실시예들은 3차원 공간 상에서 사용자의 시선을 보다 정확하게 추적하기 위한 것이다.

본 발명의 실시예들은 사용자의 시선 분석을 통해 다양한 서비스를 제공하기 위한 것이다.

본 발명의 예시적인 실시예에 따르면, 3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보 및 상기 사용자의 위치 정보를 획득하는 데이터 수집부; 및 상기 얼굴 정보 및 상기 위치 정보로부터 상기 3차원 공간 상에서 상기 사용자가 응시하는 영역의 위치를 추정하고, 상기 영역의 위치에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시키는 시선 추적부를 포함하는, 시선 추적 시스템이 제공된다.

상기 데이터 수집부는, 상기 촬영 장치의 위치 좌표, 상기 영상 내 상기 사용자의 위치 또는 크기, 및 상기 촬영 장치와 상기 사용자가 소지하는 단말 간의 거리 중 하나 이상을 이용하여 상기 사용자의 위치 정보를 획득할 수 있다.

상기 얼굴 정보는, 상기 사용자의 얼굴 위치, 눈동자 위치, 얼굴 벡터 및 눈동자 벡터 중 하나 이상을 포함할 수 있다.

상기 시선 추적부는, 상기 3차원 공간 상에서 상기 위치 정보에 대응되는 영역의 위치를 결정하고, 결정된 상기 영역의 위치 상에서 상기 얼굴 위치 또는 상기 눈동자 위치에 대응되는 지점을 파악하고, 파악된 상기 지점에서 상기 얼굴 벡터 또는 상기 눈동자 벡터가 향하는 방향에 배치된 오브젝트의 위치를 상기 사용자가 응시하는 영역의 위치로 예측할 수 있다.

상기 촬영 장치 각각은, 상기 3차원 공간 내 서로 다른 지점에 각각 설치되어 상기 영상을 촬영할 수 있다.

상기 데이터 수집부는, 각 영상으로부터 획득된 상기 얼굴 정보 및 상기 위치 정보로부터 상기 사용자의 이동 궤적을 예측하고, 상기 시선 추적부는, 상기 이동 궤적, 상기 각 영상으로부터 획득된 상기 얼굴 정보 및 상기 위치 정보로부터 상기 사용자의 시선 궤적을 예측하고, 상기 시선 궤적에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시킬 수 있다.

본 발명의 다른 실시예에 따르면, 3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보, 사용자의 위치 정보, 사용자 인원수 정보, 및 사용자의 인체 정보 중 하나 이상을 획득하는 데이터 수집부; 상기 사용자의 얼굴 정보 및 상기 사용자의 위치 정보로부터 상기 3차원 공간 상에서 해당 사용자의 응시 위치를 추정하는 시선 추적부; 및 상기 사용자 인원수 정보, 상기 사용자의 인체 정보, 및 상기 사용자의 응시 위치 정보 중 하나 이상을 기반으로 상기 사용자의 시선 관련 내용을 분석하는 시선 관련 분석부를 포함한다.

상기 사용자의 인체 정보는, 상기 사용자의 성별, 나이, 인종, 및 감정 중 하나 이상을 포함하고, 상기 시선 관련 분석부는, 상기 사용자의 인체 정보 및 상기 사용자의 응시 위치 정보를 기반으로 3차원 공간 상의 소정 오브젝트에 대해 사용자의 나이, 성, 인종, 및 감정 중 하나 이상 별로 시선 체류 시간을 분석할 수 있다.

상기 시선 관련 분석부는, 상기 사용자 인원수 정보 및 상기 사용자 응시 위치 정보를 기반으로 3차원 공간 상의 소정 오브젝트에 대해 유동 인구 대비 상기 오브젝트를 바라본 사람의 비율을 분석할 수 있다.

상기 시선 관련 분석부는, 상기 오브젝트에 대해 유동 인구 대비 상기 오브젝트를 바라본 사람의 비율이 기 설정된 비율 이하인 경우, 상기 오브젝트를 다른 오브젝트로 변경하거나 상기 오브젝트의 3차원 공간 상의 위치를 변경하는 것으로 결정할 수 있다.

상기 시선 관련 분석부는, 상기 사용자 인원수 정보 및 상기 사용자 응시 위치 정보를 기반으로 3차원 공간 상의 각 오브젝트에 대한 시선 분포도를 분석할 수 있다.

상기 사용자 인체 정보는, 상기 사용자의 성별, 나이, 인종, 및 감정 중 하나 이상을 포함하고, 상기 시선 관련 분석부는, 상기 사용자 인체 정보 중 하나 이상을 기준으로 해당 사용자가 응시하는 위치에 대응하는 지점에 유해 오브젝트가 있거나 상기 지점이 기 설정된 금지 구역 또는 위험 구역인지 여부를 판단할 수 있다.

상기 사용자 인체 정보는, 상기 사용자의 성별, 나이, 인종, 및 감정 중 하나 이상을 포함하고, 상기 시선 관련 분석부는, 상기 사용자 응시 위치 정보를 기반으로 해당 사용자의 기 설정된 오브젝트 또는 기 설정된 구역에 대한 시선 체류 시간 및 시선 응시 횟수 중 하나 이상을 추출하고, 상기 사용자 인체 정보와 상기 시선 체류 시간 및 상기 시선 응시 횟수 중 하나 이상을 기반으로 해당 사용자의 위험 지수를 판단할 수 있다.

본 발명의 예시적인 실시예에 따르면, 3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보 및 상기 사용자의 위치 정보를 획득하는 단계; 상기 얼굴 정보 및 상기 위치 정보로부터 상기 3차원 공간 상에서 상기 사용자가 응시하는 영역의 위치를 추정하는 단계; 및 상기 영역의 위치에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시키는 단계를 포함하는, 시선 추적 방법이 제공된다.

상기 획득하는 단계는, 상기 촬영 장치의 위치 좌표, 상기 영상 내 상기 사용자의 위치 또는 크기, 및 상기 촬영 장치와 상기 사용자가 소지하는 단말 간의 거리 중 하나 이상을 이용하여 상기 사용자의 위치 정보를 획득할 수 있다.

상기 추정하는 단계는, 상기 3차원 공간 상에서 상기 위치 정보에 대응되는 영역의 위치를 결정하는 단계; 결정된 상기 영역의 위치 상에서 상기 얼굴 위치 또는 상기 눈동자 위치에 대응되는 지점을 파악하는 단계; 및 파악된 상기 지점에서 상기 얼굴 벡터 또는 상기 눈동자 벡터가 향하는 방향에 배치된 오브젝트의 위치를 상기 사용자가 응시하는 영역의 위치로 추정하는 단계를 포함할 수 있다.

상기 획득하는 단계는, 각 영상으로부터 획득된 상기 얼굴 정보 및 상기 위치 정보로부터 상기 사용자의 이동 궤적을 예측하고, 상기 추정하는 단계는, 상기 이동 궤적, 상기 각 영상으로부터 획득된 상기 얼굴 정보 및 상기 위치 정보로부터 상기 사용자의 시선 궤적을 예측하며, 상기 맵핑시키는 단계는, 상기 시선 궤적에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시킬 수 있다.

본 발명의 실시예들에 따르면, 하나 이상의 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보 및 사용자의 위치 정보를 획득하고 이로부터 상기 3차원 공간 상에서 상기 사용자가 응시하는 영역의 위치를 예측함으로써, 3차원 공간 상에서 상기 사용자의 시선을 보다 정확히 추적할 수 있다.

또한, 본 발명의 실시예에 따르면, 하나 이상의 촬영 장치에서 촬영된 사용자의 얼굴 정보 및 사용자의 위치 정보를 획득하고 이로부터 상기 사용자의 이동 궤적 및 시선 궤적을 예측함으로써, 3차원 공간 상에서 상기 사용자의 시선 움직임을 보다 정확히 파악할 수 있다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 시스템의 상세 구성을 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 데이터 수집부에서 사용자의 위치 정보를 획득하는 과정을 설명하기 위한 예시
도 3은 본 발명의 일 실시예에 따른 데이터 수집부에서 사용자의 위치 정보를 획득하는 과정을 설명하기 위한 예시
도 4는 본 발명의 일 실시예에 따른 사용자가 응시하는 영역의 위치를 예측하는 과정을 설명하기 위한 예시
도 5는 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도
도 6은 본 발명의 다른 실시예에 따른 시선 추적 시스템(100)의 구성을 나타낸 도면
도 7은 예시적인 실시예들에서 사용되기 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경을 예시하여 설명하기 위한 블록도

이하, 도면을 참조하여 본 발명의 구체적인 실시형태를 설명하기로 한다. 이하의 상세한 설명은 본 명세서에서 기술된 방법, 장치 및/또는 시스템에 대한 포괄적인 이해를 돕기 위해 제공된다. 그러나 이는 예시에 불과하며 본 발명은 이에 제한되지 않는다.

본 발명의 실시예들을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 상세한 설명에서 사용되는 용어는 단지 본 발명의 실시예들을 기술하기 위한 것이며, 결코 제한적이어서는 안 된다. 명확하게 달리 사용되지 않는 한, 단수 형태의 표현은 복수 형태의 의미를 포함한다. 본 설명에서, "포함" 또는 "구비"와 같은 표현은 어떤 특성들, 숫자들, 단계들, 동작들, 요소들, 이들의 일부 또는 조합을 가리키기 위한 것이며, 기술된 것 이외에 하나 또는 그 이상의 다른 특성, 숫자, 단계, 동작, 요소, 이들의 일부 또는 조합의 존재 또는 가능성을 배제하도록 해석되어서는 안 된다.

도 1은 본 발명의 일 실시예에 따른 시선 추적 시스템(100)의 상세 구성을 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 시선 추적 시스템(100)은 시선 추적 장치(102) 및 촬영 장치(104)를 포함한다.

시선 추적 장치(102)는 통신 네트워크를 통해 촬영 장치(104)와 통신 가능하게 연결된다. 몇몇 실시예들에서, 통신 네트워크(150)는 인터넷, 하나 이상의 로컬 영역 네트워크(local area networks), 광역 네트워크(wide area networks), 셀룰러 네트워크, 모바일 네트워크, 그 밖에 다른 종류의 네트워크들, 또는 이러한 네트워크들의 조합을 포함할 수 있다.

시선 추적 장치(102)는 촬영 장치(104)의 촬영 영상으로부터 사용자의 얼굴 정보, 사용자의 위치 정보, 사용자 인원수 정보, 및 사용자의 인체 정보 중 하나 이상을 획득할 수 있다. 여기서, 촬영 장치(104)는 3차원 공간 내 설정된 하나 이상의 지점 각각에 설치될 수 있다.

촬영 장치(104)는 예를 들어, 카메라, 캠코더, CCTV(Closed Circuit Television) 등이 될 수 있다. 예시적인 실시예에서, 촬영 장치(104)는 적외선 카메라가 사용될 수 있으나, 이에 한정되는 것은 아니다. 촬영 장치(104)는 예를 들어, 건물 내 천장 또는 구조물, 키오스크의 상단부, 엘리베이터 내부, 차량 내부, 진열대, 콘서트, 강연장, 대형 마트, 쇼핑몰, 상가, 식당, 공항, 지하철, 어린이 집, 카지노, 노인정, 공장 등에 설치될 수 있다. 또한, 각 촬영 장치(104)는 상기 3차원 공간 내 서로 다른 지점에 각각 설치될 수 있으며, 이들의 설치 각도 또한 상이할 수 있다. 일 예시로서, 촬영 장치(104)는 대형 마트 내 설정된 하나 이상의 지점 각각에 설치되어 대형 마트의 사용자들을 각각 촬영하고, 촬영된 영상을 시선 추적 장치(102)로 송신할 수 있다.

시선 추적 장치(102)는 데이터 수집부(110), 시선 추적부(120), 및 시선 관련 분석부(130)를 포함할 수 있다. 일 실시예에서, 데이터 수집부(110), 시선 추적부(120), 및 시선 관련 분석부(130)는 물리적으로 구분된 하나 이상의 장치를 이용하여 구현되거나, 하나 이상의 프로세서 또는 하나 이상의 프로세서 및 소프트웨어의 결합에 의해 구현될 수 있으며, 도시된 예와 달리 구체적인 동작에 있어 명확히 구분되지 않을 수 있다.

데이터 수집부(110)는 촬영 장치(104)에서 촬영된 영상으로부터 사용자의 얼굴 정보, 사용자의 위치 정보, 사용자 인원수 정보, 및 사용자의 인체 정보 중 하나 이상을 획득할 수 있다.

구체적으로, 데이터 수집부(110)는 각종 룰 기반(rule-based) 알고리즘 또는 딥러닝(deep learning) 모델을 이용하여 상기 영상으로부터 사용자의 얼굴 영역 및 눈 영역을 추출하고, 추출한 얼굴 영역 및 눈 영역으로부터 사용자의 얼굴 정보를 획득할 수 있다.

여기서, 사용자의 얼굴 정보는 해당 사용자의 얼굴 위치, 얼굴 크기, 눈동자 위치, 얼굴 벡터 및 눈동자 벡터 중 하나 이상을 포함할 수 있다. 여기서, 룰 기반 알고리즘은 미리 정해진 영상 처리 기법, 이미지 처리 기법, 수학식 등을 이용하여 시선 추적을 위한 각종 데이터를 획득하는 데 사용되는 알고리즘으로서, 예를 들어 얼굴 인식 알고리즘(예를 들어, 주성분 분석(PCA : Principal Component Analysis), 선형판별 분석(LDA : Linear Discriminant Analysis) 등), 얼굴의 특징점 검출 알고리즘(예를 들어, SVM : Support Vector Machine, SURF: Speeded Up Robust Features 등), 이미지 기반의 헤드-추적(head-tracking) 알고리즘, 눈동자 추출 및 눈동자 위치좌표 계산 알고리즘 등이 될 수 있다. 또한, 딥러닝 모델은 예를 들어, 합성곱 신경망(CNN : Convolutional Neural Network) 모델일 수 있다. 데이터 수집부(110)는 각종 룰 기반 알고리즘, 딥러닝 모델 등을 이용하여 촬영된 영상으로부터 사용자의 얼굴 위치, 눈동자 위치, 얼굴 벡터 및 눈동자 벡터 등과 같은 사용자의 얼굴 정보를 획득할 수 있다.

예시적인 실시예에서, 데이터 수집부(110)는 촬영 영상에서 사람을 인식할 수 있다. 즉, 데이터 수집부(110)는 촬영 영상에서 사람을 인식하여 사람이 위치하는 영역을 검출할 수 있다. 예를 들어, 데이터 수집부(110)는 Fast RCNN(Region Convolutional Neural Network) 또는 Mask RCNN 기법 등을 이용하여 촬영 영상에서 사람을 인식하고, 사람이 위치하는 영역을 검출할 수 있다.

다음으로, 데이터 수집부(110)는 사람이 위치하는 영역에서 사람수(인원수)를 확인할 수 있다. 데이터 수집부(110)는 촬영 장치(104)로부터 주기적 또는 실시간으로 촬영 영상을 수신하고, 각 촬영 영상으로부터 사람수를 확인하여 해당 장소(촬영 장치(104)가 설치되는 장소)의 시간별 유동 인구를 분석할 수 있다. 사용자 인원수 정보에는 각 촬영 영상에 포함되는 사람수 및 해당 장소의 시간별 유동 인구가 포함될 수 있다.

또한, 데이터 수집부(110)는 사람이 위치하는 영역에서 사람의 얼굴 영역을 인식할 수 있다. 데이터 수집부(110)는 사람의 얼굴 영역을 기반으로 해당 사용자의 성별, 나이, 인종, 및 감정 중 하나 이상을 포함하는 사용자 인체 정보를 획득할 수 있다. 예를 들어, 데이터 수집부(110)는 각종 룰 기반 알고리즘 또는 딥러닝 모델 등을 이용하여 사람의 얼굴 영역을 기반으로 해당 사용자의 성별, 나이, 인종, 및 감정 중 하나 이상을 포함하는 사용자 인체 정보를 획득할 수 있다.

또한, 데이터 수집부(110)는 사람의 얼굴 영역 안에서 얼굴 내 주요 지점(즉, 랜드마크)(예를 들어, 눈, 코, 입)의 위치를 인식할 수 있다. 데이터 수집부(110)는 촬영 영상 중 사람의 얼굴 영역 이미지를 기반으로 해당 사용자의 얼굴 크기 및 얼굴 벡터를 추출할 수 있다.

또한, 데이터 수집부(110)는 얼굴 내 눈 지점의 위치를 기반으로 눈 영역을 검출할 수 있다. 데이터 수집부(110)는 눈 영역 이미지를 기반으로 사용자의 눈동자 벡터(시선 벡터)를 검출할 수 있다.

또한, 데이터 수집부(110)는 촬영 장치(104)의 위치 좌표, 촬영 영상 내 사용자의 위치, 촬영 영상 내 사용자의 크기(또는 얼굴 크기), 및 촬영 장치(104)와 사용자가 소지하는 단말 간의 거리 중 하나 이상을 이용하여 상기 사용자의 위치 정보를 획득할 수 있다.

도 2 및 3은 본 발명의 일 실시예에 따른 데이터 수집부(110)에서 사용자의 위치 정보를 획득하는 과정을 설명하기 위한 예시이다.

일 예시로서, 도 2를 참조하면, 사용자가 X 지점(a, b)에 위치하고 촬영 장치(104)가 Y 지점(c, d)에 위치하는 것으로 가정하는 경우, 데이터 수집부(110)는 촬영된 영상 내 사용자의 위치 및 크기를 파악하고 이로부터 상기 사용자의 위치 정보(즉, X 지점의 위치 좌표 (a, b))를 획득할 수 있다. 데이터 수집부(110)는 촬영 장치(104)의 설치 위치 및 설치 각도와 촬영 영상 내 사용자의 위치 및 크기를 기반으로 사용자의 위치 정보를 획득할 수 있다. 이때, 촬영 장치(104)의 설치 위치 및 각도는 고정되어 있으므로, 데이터 수집부(110)는 영상 내 각 지점별 위치 좌표를 미리 구비하고 있을 수 있다. 또한, 데이터 수집부(110)는 영상 내 각 지점에서의 사용자 크기에 따라 촬영 장치(104)와 사용자 간의 거리(R)를 예측하고, 이로부터 상기 사용자의 위치 정보를 보정할 수 있다.

다른 예시로서, 도 3을 참조하면, 사용자는 3차원 공간 상에서 스마트폰 등과 같은 단말(301)을 소지한 채로 돌아다닐 수 있다. 이때, 단말(301)과 촬영 장치(104)는 신호 송수신을 위한 무선 통신 모듈, 예를 들어 블루투스 모듈, 와이파이 모듈 등을 구비할 수 있으며, 상기 통신 모듈을 통해 신호를 송수신할 수 있다. 데이터 수집부(110)는 촬영 장치(104)와 단말(301) 간에 주고받은 신호를 통해 촬영 장치(104)와 단말(301) 간의 거리(R')를 계산할 수 있다. 또한, 데이터 수집부(110)는 촬영 영상 내 사용자의 위치에 대응되는 하나 이상의 후보 지점을 파악하고, 상기 후보 지점 중 촬영 장치(104)의 위치 좌표로부터 상기 거리(R')만큼 떨어진 후보 지점의 위치를 사용자의 위치로 결정할 수 있다.

또 다른 예시로서, 데이터 수집부(110)는 사용자가 소지하는 단말(301)의 GPS 모듈을 통해 획득된 상기 단말(301)의 위치 좌표를 수신함으로써 상기 사용자의 위치 정보를 획득할 수도 있다. 이와 같이, 데이터 수집부(110)는 다양한 방법으로 사용자의 위치 정보를 획득할 수 있다.

다시 도 1로 돌아오면, 시선 추적부(120)는 데이터 수집부(110)에 의해 획득된 사용자의 얼굴 정보 및 위치 정보로부터 3차원 공간 상에서 사용자가 응시하는 영역의 위치를 추적한다.

구체적으로, 시선 추적부(120)는 3차원 공간 상에서 사용자의 위치 정보에 대응되는 위치(즉, 사용자의 위치)를 결정하고, 사용자의 위치 상에서 사용자의 얼굴 위치 또는 눈동자 위치를 파악할 수 있다. 다음으로, 시선 추적부(120)는 사용자의 얼굴 위치 또는 눈동자 위치에서 사용자의 얼굴 벡터 또는 눈동자 벡터가 향하는 방향에 배치된 오브젝트의 위치를 사용자가 응시하는 영역의 위치로 추정할 수 있다.

도 4는 본 발명의 일 실시예에 따른 사용자가 응시하는 영역의 위치를 추정하는 과정을 설명하기 위한 예시이다.

일 예시로서, 도 4를 참조하면, 시선 추적부(120)는 데이터 수집부(110)에서 획득된 사용자의 위치 정보, 즉 위치 좌표 (a, b)에 대응되는 지점 X를 사용자가 위치한 영역으로 결정하고, X 지점 상에서 상기 사용자의 얼굴 위치 또는 눈동자 위치에 대응되는 지점 Z, 즉 3차원 공간 좌표 (a, b, p)를 파악할 수 있다.

또한, 시선 추적부(120)는 파악된 Z 지점에서 상기 사용자의 얼굴 벡터 또는 눈동자 벡터가 향하는 방향에 배치된 오브젝트 A의 위치, 즉 3차원 공간 좌표 (l, m, n)을 사용자가 응시하는 영역의 위치로 추정할 수 있다. 여기서, 시선 추적부(120)는 3차원 공간 내에 배치되는 각 오브젝트의 3차원 공간 좌표를 미리 구비하고 있는 것으로 가정한다.

또한, 상술한 데이터 수집부(110)는 3차원 공간 내 서로 다른 지점에 각각 설치된 촬영 장치(104)에서 촬영된 각 영상으로부터 획득된 사용자의 얼굴 정보 및 위치 정보로부터 사용자의 이동 궤적을 획득 할 수 있다. 일 예시로서, 사용자가 A 지점 및 B 지점에서 순차적으로 촬영된 경우, 데이터 수집부(110)는 A 지점에서 촬영된 영상으로부터 획득된 사용자의 얼굴 정보 및 위치 정보와 B 지점에서 촬영된 영상으로부터 획득된 사용자의 얼굴 정보 및 위치 정보를 이용하여 사용자가 A 지점에서 B 지점으로 이동한 것으로 추정할 수 있다.

또한, 시선 추적부(120)는 데이터 수집부(110)에 의해 획득된 사용자의 이동 궤적, 복수의 촬영 장치(104)에서 촬영된 각 영상으로부터 획득된 사용자의 얼굴 정보 및 사용자의 위치 정보로부터 사용자의 시선 궤적을 추적할 수 있다. 구체적으로, 사용자가 이동할 때 마다 사용자의 얼굴 위치, 눈동자 위치, 얼굴 벡터, 눈동자 벡터, 및 사용자의 위치 정보가 달라지게 되므로, 상기 사용자의 이동 궤적에 따른 각 위치에서의 상기 얼굴 정보 및 상기 위치 정보로부터 사용자의 시선 궤적을 추적함으로써 사용자가 응시하는 영역의 위치(사용자 응시 위치)를 추정할 수 있다.

또한, 시선 추적부(120)는 3차원 공간에서 사용자가 응시하는 곳으로 추정된 위치에 대응되는 공간 좌표를 해당 3차원 공간에 대응되는 3차원 맵 상에 맵핑시킨다. 여기서, 3차원 맵은 상기 3차원 공간을 모델링한 지도로서, 각 지점 별로 3차원 공간 좌표를 구비할 수 있다.

또한, 시선 추적부(120)는 사용자의 시선 궤적에 대응되는 공간 좌표를 3차원 공간에 대응되는 3차원 맵 상에 맵핑시킬 수 있다. 구체적으로, 시선 추적부(120)는 3차원 공간 상에서 사용자가 응시하는 영역의 위치에 대응되는 공간 좌표를 가상의 3차원 맵 상에 순차적으로 맵핑시킴으로써 사용자의 시선 궤적을 추적하고, 이에 따라 사용자로부터 시선 추적에 따른 다양한 데이터를 획득하여 축적할 수 있다. 이때, 복수의 사용자의 시선 추적으로 획득한 데이터를 축적하는 경우 빅데이터가 형성될 수 있고, 상기 빅데이터는 다양한 서비스에서 활용할 수 있다.

일 예시로서, 시선 추적부(120)는 대형 마트에 방문한 복수의 사용자의 시선을 추적하여 사용자 각각에 대한 데이터를 획득할 수 있다. 이때, 상기 사용자 각각에 대한 데이터가 축적되어 대형 마트 방문자들이 선호하는 상품과 관련된 빅데이터가 형성될 수 있고, 상기 빅데이터는 선호하는 상품에 대한 재고를 늘리거나 선호하는 상품을 사람들의 시선에 잘 보이는 곳에 배치하는 등 마케팅 정보로 활용될 수 있다. 다른 예시로서, 시선 추적부(120)는 강의을 진행하는 동안 강의실에 있는 복수의 학생의 시선을 추적하여 각 학생 각각에 대한 데이터를 획득할 수 있다. 이때, 상기 학생 각각에 대한 데이터가 축적되어 강의를 듣는 학생들의 강의 집중도와 관련된 빅데이터가 형성될 수 있고, 상기 빅데이터는 수업 집중도를 높이기 위한 강의 자료 등으로 활용될 수 있다.

시선 관련 분석부(130)는 데이터 수집부(110) 및 시선 추적부(120)에 의해 획득된 데이터들을 기반으로 사용자의 시선과 관련된 내용을 분석할 수 있다. 예시적인 실시예에서, 시선 관련 분석부(130)는 3차원 공간 상에 배치된 오브젝트에 대한 사용자의 시선 체류 시간을 분석할 수 있다. 즉, 시선 관련 분석부(130)는 시선 추적부(120)에서 추적한 사용자의 얼굴 벡터 또는 눈동자 벡터가 향하는 방향에 배치된 오브젝트 위치(즉, 사용자가 응시하는 영역의 위치)에 대한 정보를 기반으로 상기 오브젝트에 대한 사용자의 시선 체류 시간을 분석할 수 있다. 이때, 시선 관련 분석부(130)는 사용자 별로 오브젝트 중 어느 부분을 얼마나 바라보았는지 등에 대해서도 분석할 수 있다.

또한, 시선 관련 분석부(130)는 사용자의 인체 정보 및 사용자 응시 위치 정보를 기반으로 3차원 공간 상의 소정 오브젝트에 대해 나이, 성, 인종, 및 감정 중 하나 이상 별로 시선 체류 시간을 분석할 수 있다.

또한, 시선 관련 분석부(130)는 사용자 인원수 정보 및 사용자 응시 위치 정보를 기반으로 3차원 공간 상의 소정 오브젝트에 대해 유동 인구 대비 해당 오브젝트를 바라본 사람의 비율을 분석할 수 있다.

예를 들어, 오브젝트가 진열대 상품, 엘리베이터 광고, 택시 광고, 옥외 스크린 광고 등인 경우, 시선 관련 분석부(130)는 각 사용자 별(사용자 나이별, 성별, 인종별, 감정별 등을 포함) 오브젝트에 대한 시선 체류 시간을 분석할 수 있고, 유동 인구 대비 오브젝트를 바라본 사람의 비율 등을 분석할 수 있게 된다.

이때, 시선 분석부(130)는 상기 오브젝트에 대해 유동 인구 대비 상기 오브젝트를 바라본 사람의 비율이 기 설정된 비율 이하인 경우, 상기 오브젝트를 다른 오브젝트로 변경하거나 상기 오브젝트의 3차원 공간 상의 위치를 변경하는 것으로 결정할 수 있다.

또한, 시선 관련 분석부(130)는 사용자 인원수 정보 및 사용자 응시 위치 정보를 기반으로 3차원 공간 상의 오브젝트에 대한 시선 분포도를 분석할 수 있다. 즉, 시선 관련 분석부(130)는 3차원 공간 상에 존재하는 사람들 중 어떤 비율로 각 오브젝트들을 바라보고 있는지에 대한 정보를 분석할 수 있다. 이러한 정보를 이용하면, 예를 들어, 진열대 상품들의 배치를 사람들의 관심도가 높은 상품을 우선으로 하여 재배치할 수 있게 된다. 또한, 광고(즉, 오브젝트) 위치 별로 사람들의 시선 분포도를 확인할 수 있으므로, 광고 위치를 재조정할 수도 있게 된다. 시선 관련 분석부(130)에 의해 분석된 정보는 이정표 또는 경고문의 위치를 조정하는데도 사용될 수 있다.

또한, 시선 관련 분석부(130)는 3차원 공간 상의 오브젝트에 대한 시선 분포도를 기반으로 시선 분포도가 가장 높은 오브젝트를 추출할 수 있다. 이러한 정보를 이용하면, 예를 들어, 강의 또는 공연 등에서 시선 분포도가 가장 높은 오브젝트에 대해 하이라이트 등의 효과를 줄 수 있게 된다.

또한, 시선 관련 분석부(130)는 사용자 인체 정보 및 사용자 응시 위치 정보를 기반으로 사용자 나이, 성별, 및 인종 등을 기준으로 해당 사용자가 응시하는 위치에 대응하는 지점이 유해 오브젝트(또는 금지 구역 또는 위험 구역)인지 여부를 판단할 수 있다. 예를 들어, 시선 관련 분석부(130)는 사용자가 7세 미만의 어린이이고, 사용자가 바라보는 오브젝트가 칼 등과 같은 유해 오브젝트인지를 판단할 수 있다. 그리고, 시선 관련 분석부(130)는 해당 사용자의 시선을 다른 곳으로 유도하거나 경고를 주기 위한 조치(예를 들어, 경고음 발생 등)를 취할 수 있다.

또한, 시선 관련 분석부(130)는 사용자 인체 정보 및 사용자 응시 위치 정보를 기반으로 해당 사용자의 위험 지수를 분석할 수 있다. 예시적인 실시예에서, 시선 관련 분석부(130)는 사용자 응시 위치 정보가 촬영 장치(104)의 설치 위치(또는 접근 제한 구역 등)와 대응되는 경우, 사용자의 시선 체류 시간 및 사용자의 시선 응시 횟수 중 하나 이상을 확인하여 사용자의 위험 지수를 산출할 수 있다. 예를 들어, 성인 남성의 사용자가 촬영 장치(104)를 기 설정된 시간 이상 응시하거나 기 설정된 횟수 이상 지속적으로 주시하는 경우, 시선 관련 분석부(130)는 해당 사용자의 위험 지수가 높은 것으로 판단할 수 있다.

여기서, 시선 관련 분석부(130)는 사용자 인체 정보에서 나이, 성별, 인종, 및 감정 별로 사용자 위험 지수 점수를 각각 부여할 수 있다. 또한, 시선 관련 분석부(130)는 기 설정된 오브젝트(예를 들어, 촬영 장치 등) 또는 기 설정된 구역(예를 들어, 접근 제한 구역 등)에 대한 사용자의 시선 체류 시간 및 시선 응시 횟수가 많을수록 사용자의 위험 지수 점수를 높게 부여할 수 있다. 이 경우, 공항이나 지하철 등과 같은 공공 장소에서 테러 위험성이 높은 사람을 추출하여 테러를 미연에 방지할 수 있다.

도 5는 본 발명의 일 실시예에 따른 시선 추적 방법을 설명하기 위한 흐름도이다. 도 5에 도시된 방법은 예를 들어, 도 1에 도시된 시선 추적 시스템(100)에 의해 수행될 수 있다.

먼저, 데이터 수집부(110)는 3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보 및 상기 사용자의 위치 정보를 획득한다(S510). 이때, 사용자의 얼굴 정보는 사용자의 얼굴 위치, 눈동자 위치, 얼굴 벡터 및 눈동자 벡터 중 하나 이상을 포함할 수 있다. 또한, 촬영 장치 각각은 3차원 공간 내 서로 다른 지점에 각각 설치되어 영상을 촬영할 수 있다.

다음으로, 시선 추적부(120)는 상기 얼굴 정보 및 위치 정보로부터 3차원 공간 상에서 사용자가 응시하는 영역의 위치를 예측한다(S520).

다음으로, 시선 추적부(120)는 영역의 위치에 대응되는 공간 좌표를 3차원 공간에 대응되는 3차원 맵 상에 맵핑시킨다(S530).

한편, 도 5에 도시된 순서도에서는 상기 방법을 복수 개의 단계로 나누어 기재하였으나, 적어도 일부의 단계들은 순서를 바꾸어 수행되거나, 다른 단계와 결합되어 함께 수행되거나, 생략되거나, 세부 단계들로 나뉘어 수행되거나, 또는 도시되지 않은 하나 이상의 단계가 부가되어 수행될 수 있다.

도 6은 본 발명의 다른 실시예에 따른 시선 추적 시스템(100)의 구성을 나타낸 도면이다. 여기서는, 도 1에 도시된 실시예와 차이가 나는 부분을 중점적으로 설명하기로 한다.

도 6을 참조하면, 시선 추적 장치(102)는 촬영 장치(104)와 동일한 장소에 일체형으로 설치될 수 있다. 예시적인 실시예에서, 시선 추적 장치(102)와 촬영 장치(104)는 기능적으로 구분될 수 있으나, 실제 물리적으로는 서로 통합되어 구현될 수 있다.

각 시선 추적 장치(102)는 시선 추적 장치(102)에서 처리된 데이터(예를 들어, 사용자의 얼굴 정보, 사용자의 위치 정보, 사용자 인원수 정보, 및 사용자의 인체 정보, 사용자가 응시하는 영역의 위치, 사용자가 응시하는 지점의 공간 좌표, 및 시선 관련 분석 정보 등)을 서버(140)로 송신할 수 있다. 그러나, 이에 한정되는 것은 아니며 시선 추적 장치(102)의 일부 구성(예를 들어, 시선 관련 분석부(130)의 구성)이 서버(140)에 구현되어 있을 수도 있다.

도 7은 예시적인 실시예들에서 사용되기에 적합한 컴퓨팅 장치를 포함하는 컴퓨팅 환경(10)을 예시하여 설명하기 위한 블록도이다. 도시된 실시예에서, 각 컴포넌트들은 이하에 기술된 것 이외에 상이한 기능 및 능력을 가질 수 있고, 이하에 기술되지 것 이외에도 추가적인 컴포넌트를 포함할 수 있다.

도시된 컴퓨팅 환경(10)은 컴퓨팅 장치(12)를 포함한다. 일 실시예에서, 컴퓨팅 장치(12)는 시선 추적 시스템(100), 또는 시선 추적 시스템(100)에 포함되는 하나 이상의 컴포넌트일 수 있다.

컴퓨팅 장치(12)는 적어도 하나의 프로세서(14), 컴퓨터 판독 가능 저장 매체(16) 및 통신 버스(18)를 포함한다. 프로세서(14)는 컴퓨팅 장치(12)로 하여금 앞서 언급된 예시적인 실시예에 따라 동작하도록 할 수 있다. 예컨대, 프로세서(14)는 컴퓨터 판독 가능 저장 매체(16)에 저장된 하나 이상의 프로그램들을 실행할 수 있다. 상기 하나 이상의 프로그램들은 하나 이상의 컴퓨터 실행 가능 명령어를 포함할 수 있으며, 상기 컴퓨터 실행 가능 명령어는 프로세서(14)에 의해 실행되는 경우 컴퓨팅 장치(12)로 하여금 예시적인 실시예에 따른 동작들을 수행하도록 구성될 수 있다.

컴퓨터 판독 가능 저장 매체(16)는 컴퓨터 실행 가능 명령어 내지 프로그램 코드, 프로그램 데이터 및/또는 다른 적합한 형태의 정보를 저장하도록 구성된다. 컴퓨터 판독 가능 저장 매체(16)에 저장된 프로그램(20)은 프로세서(14)에 의해 실행 가능한 명령어의 집합을 포함한다. 일 실시예에서, 컴퓨터 판독 가능 저장 매체(16)는 메모리(랜덤 액세스 메모리와 같은 휘발성 메모리, 비휘발성 메모리, 또는 이들의 적절한 조합), 하나 이상의 자기 디스크 저장 디바이스들, 광학 디스크 저장 디바이스들, 플래시 메모리 디바이스들, 그 밖에 컴퓨팅 장치(12)에 의해 액세스되고 원하는 정보를 저장할 수 있는 다른 형태의 저장 매체, 또는 이들의 적합한 조합일 수 있다.

통신 버스(18)는 프로세서(14), 컴퓨터 판독 가능 저장 매체(16)를 포함하여 컴퓨팅 장치(12)의 다른 다양한 컴포넌트들을 상호 연결한다.

컴퓨팅 장치(12)는 또한 하나 이상의 입출력 장치(24)를 위한 인터페이스를 제공하는 하나 이상의 입출력 인터페이스(22) 및 하나 이상의 네트워크 통신 인터페이스(26)를 포함할 수 있다. 입출력 인터페이스(22)는 스크롤 화면, 입력 인터페이스, 입력 화면 등을 포함할 수 있다. 입출력 인터페이스(22) 및 네트워크 통신 인터페이스(26)는 통신 버스(18)에 연결된다. 입출력 장치(24)는 입출력 인터페이스(22)를 통해 컴퓨팅 장치(12)의 다른 컴포넌트들에 연결될 수 있다. 예시적인 입출력 장치(24)는 포인팅 장치(마우스 또는 트랙패드 등), 키보드, 터치 입력 장치(터치패드 또는 터치스크린 등), 음성 또는 소리 입력 장치, 다양한 종류의 센서 장치 및/또는 촬영 장치와 같은 입력 장치, 및/또는 디스플레이 장치, 프린터, 스피커 및/또는 네트워크 카드와 같은 출력 장치를 포함할 수 있다. 예시적인 입출력 장치(24)는 컴퓨팅 장치(12)를 구성하는 일 컴포넌트로서 컴퓨팅 장치(12)의 내부에 포함될 수도 있고, 컴퓨팅 장치(12)와는 구별되는 별개의 장치로 컴퓨팅 장치(12)와 연결될 수도 있다.

이상에서 본 발명의 대표적인 실시예들을 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 시선 추적 시스템
110: 데이터 수집부
120: 시선 추적부
130 : 시선 관련 분석부

Claims

3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보 및 상기 사용자의 위치 정보를 획득하는 데이터 수집부; 및
상기 얼굴 정보 및 상기 위치 정보로부터 상기 3차원 공간 상에서 상기 사용자가 응시하는 영역의 위치를 추정하고, 상기 영역의 위치에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시키는 시선 추적부를 포함하는, 시선 추적 시스템.
청구항 1에 있어서,
상기 데이터 수집부는, 상기 촬영 장치의 위치 좌표, 상기 영상 내 상기 사용자의 위치 또는 크기, 및 상기 촬영 장치와 상기 사용자가 소지하는 단말 간의 거리 중 하나 이상을 이용하여 상기 사용자의 위치 정보를 획득하는, 시선 추적 시스템.
청구항 1에 있어서,
상기 얼굴 정보는, 상기 사용자의 얼굴 위치, 눈동자 위치, 얼굴 벡터, 및 눈동자 벡터 중 하나 이상을 포함하는, 시선 추적 시스템.
청구항 3에 있어서,
상기 시선 추적부는, 상기 3차원 공간 상에서 상기 위치 정보에 대응되는 영역의 위치를 결정하고, 결정된 상기 영역의 위치 상에서 상기 얼굴 위치 또는 상기 눈동자 위치에 대응되는 지점을 파악하고, 파악된 상기 지점에서 상기 얼굴 벡터 또는 상기 눈동자 벡터가 향하는 방향에 배치된 오브젝트의 위치를 상기 사용자가 응시하는 영역의 위치로 예측하는, 시선 추적 시스템.
청구항 1에 있어서,
상기 촬영 장치 각각은, 상기 3차원 공간 내 서로 다른 지점에 각각 설치되어 상기 영상을 촬영하는, 시선 추적 시스템.
청구항 5에 있어서,
상기 데이터 수집부는, 각 영상으로부터 획득된 상기 얼굴 정보 및 상기 위치 정보로부터 상기 사용자의 이동 궤적을 예측하고,
상기 시선 추적부는, 상기 이동 궤적, 상기 각 영상으로부터 획득된 상기 얼굴 정보 및 상기 위치 정보로부터 상기 사용자의 시선 궤적을 예측하고, 상기 시선 궤적에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시키는, 시선 추적 시스템.
3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보, 사용자의 위치 정보, 사용자 인원수 정보, 및 사용자의 인체 정보 중 하나 이상을 획득하는 데이터 수집부;
상기 사용자의 얼굴 정보 및 상기 사용자의 위치 정보로부터 상기 3차원 공간 상에서 해당 사용자의 응시 위치를 추정하는 시선 추적부; 및
상기 사용자 인원수 정보, 상기 사용자의 인체 정보, 및 상기 사용자의 응시 위치 정보 중 하나 이상을 기반으로 상기 사용자의 시선 관련 내용을 분석하는 시선 관련 분석부를 포함하는, 시선 추적 시스템.
청구항 7에 있어서,
상기 사용자의 인체 정보는, 상기 사용자의 성별, 나이, 인종, 및 감정 중 하나 이상을 포함하고,
상기 시선 관련 분석부는, 상기 사용자의 인체 정보 및 상기 사용자의 응시 위치 정보를 기반으로 3차원 공간 상의 소정 오브젝트에 대해 사용자의 나이, 성, 인종, 및 감정 중 하나 이상 별로 시선 체류 시간을 분석하는, 시선 추적 시스템.
청구항 7에 있어서,
상기 시선 관련 분석부는,
상기 사용자 인원수 정보 및 상기 사용자 응시 위치 정보를 기반으로 3차원 공간 상의 소정 오브젝트에 대해 유동 인구 대비 상기 오브젝트를 바라본 사람의 비율을 분석하는, 시선 추적 시스템.
청구항 9에 있어서,
상기 시선 관련 분석부는,
상기 오브젝트에 대해 유동 인구 대비 상기 오브젝트를 바라본 사람의 비율이 기 설정된 비율 이하인 경우, 상기 오브젝트를 다른 오브젝트로 변경하거나 상기 오브젝트의 3차원 공간 상의 위치를 변경하는 것으로 결정하는, 시선 추적 시스템.
청구항 7에 있어서,
상기 시선 관련 분석부는,
상기 사용자 인원수 정보 및 상기 사용자 응시 위치 정보를 기반으로 3차원 공간 상의 각 오브젝트에 대한 시선 분포도를 분석하는, 시선 추적 시스템.
청구항 7에 있어서,
상기 사용자 인체 정보는, 상기 사용자의 성별, 나이, 인종, 및 감정 중 하나 이상을 포함하고,
상기 시선 관련 분석부는,
상기 사용자 인체 정보 중 하나 이상을 기준으로 해당 사용자가 응시하는 위치에 대응하는 지점에 유해 오브젝트가 있거나 상기 지점이 기 설정된 금지 구역 또는 위험 구역인지 여부를 판단하는, 시선 추적 시스템.
청구항 7에 있어서,
상기 사용자 인체 정보는, 상기 사용자의 성별, 나이, 인종, 및 감정 중 하나 이상을 포함하고,
상기 시선 관련 분석부는,
상기 사용자 응시 위치 정보를 기반으로 해당 사용자의 기 설정된 오브젝트 또는 기 설정된 구역에 대한 시선 체류 시간 및 시선 응시 횟수 중 하나 이상을 추출하고, 상기 사용자 인체 정보와 상기 시선 체류 시간 및 상기 시선 응시 횟수 중 하나 이상을 기반으로 해당 사용자의 위험 지수를 판단하는, 시선 추적 시스템.
3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보 및 상기 사용자의 위치 정보를 획득하는 단계;
상기 얼굴 정보 및 상기 위치 정보로부터 상기 3차원 공간 상에서 상기 사용자가 응시하는 영역의 위치를 추정하는 단계; 및
상기 영역의 위치에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시키는 단계를 포함하는, 시선 추적 방법.
청구항 14에 있어서,
상기 획득하는 단계는, 상기 촬영 장치의 위치 좌표, 상기 영상 내 상기 사용자의 위치 또는 크기, 및 상기 촬영 장치와 상기 사용자가 소지하는 단말 간의 거리 중 하나 이상을 이용하여 상기 사용자의 위치 정보를 획득하는, 시선 추적 방법.
청구항 14에 있어서,
상기 얼굴 정보는, 상기 사용자의 얼굴 위치, 눈동자 위치, 얼굴 벡터 및 눈동자 벡터 중 하나 이상을 포함하는, 시선 추적 방법.
청구항 16에 있어서,
상기 추정하는 단계는, 상기 3차원 공간 상에서 상기 위치 정보에 대응되는 영역의 위치를 결정하는 단계;
결정된 상기 영역의 위치 상에서 상기 얼굴 위치 또는 상기 눈동자 위치에 대응되는 지점을 파악하는 단계; 및
파악된 상기 지점에서 상기 얼굴 벡터 또는 상기 눈동자 벡터가 향하는 방향에 배치된 오브젝트의 위치를 상기 사용자가 응시하는 영역의 위치로 추정하는 단계를 포함하는, 시선 추적 방법.
청구항 14에 있어서,
상기 촬영 장치 각각은, 상기 3차원 공간 내 서로 다른 지점에 각각 설치되어 상기 영상을 촬영하는, 시선 추적 방법.
청구항 18에 있어서,
상기 획득하는 단계는, 각 영상으로부터 획득된 상기 얼굴 정보 및 상기 위치 정보로부터 상기 사용자의 이동 궤적을 예측하고,
상기 추정하는 단계는, 상기 이동 궤적, 상기 각 영상으로부터 획득된 상기 얼굴 정보 및 상기 위치 정보로부터 상기 사용자의 시선 궤적을 예측하며,
상기 맵핑시키는 단계는, 상기 시선 궤적에 대응되는 공간 좌표를 상기 3차원 공간에 대응되는 3차원 맵 상에 맵핑시키는, 시선 추적 방법.
3차원 공간 내 설정된 하나 이상의 지점 각각에 설치되는 촬영 장치에서 촬영된 영상으로부터 사용자의 얼굴 정보, 사용자의 위치 정보, 사용자 인원수 정보, 및 사용자의 인체 정보 중 하나 이상을 획득하는 단계;
상기 사용자의 얼굴 정보 및 상기 사용자의 위치 정보로부터 상기 3차원 공간 상에서 해당 사용자의 응시 위치를 추정하는 단계; 및
상기 사용자 인원수 정보, 상기 사용자의 인체 정보, 및 상기 사용자의 응시 위치 정보 중 하나 이상을 기반으로 상기 사용자의 시선 관련 내용을 분석하는 단계를 포함하는, 시선 추적 방법.