KR20250073933A

KR20250073933A - 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법

Info

Publication number: KR20250073933A
Application number: KR1020230160441A
Authority: KR
Inventors: 한영선; 이상현; 킴링 키아
Original assignee: 국립부경대학교 산학협력단
Priority date: 2023-11-20
Filing date: 2023-11-20
Publication date: 2025-05-27

Abstract

본 발명은 입력 이미지에 시선 추적 카메라의 기능을 결합하여 사용자와의 상호작용 특성 및 응답 특성을 개선할 수 있도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법에 관한 것으로, 포비티드 이미지 렌더링을 위하여 적어도 하나의 프로세서를 포함하는 전자 장치가, 아이웨어 기기 착용자의 머리 움직임을 감지하기 위한 센서(6DoF) 및 아이웨어 기기 착용자의 시선을 추적하기 위한 카메라 센서(Eye Tracker)를 포함하는 아이웨어 장치;입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하는 포비티드 이미지 렌더링 제어부;를 포함하는 것이다.

Description

객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법{Foveated Image Rendering Apparatus and Method for Improving Object Detection Performance}

본 발명은 객체 감지에 관한 것으로, 구체적으로 입력 이미지에 시선 추적 카메라의 기능을 결합하여 사용자와의 상호작용 특성 및 응답 특성을 개선할 수 있도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법에 관한 것이다.

일반적으로 넓은 시야(FOV) 및 고해상도를 갖춘 HMD(Head-Mounted Display) 장치의 개발은 가상 현실(Virtual Reality: VR)을 통한 사용자 경험의 기회를 획기적으로 증가 시켜왔다.

HMD를 기반으로 하는 많은 VR 어플리케이션이 상용화되어 서비스되고 있으며, 더욱 다양한 분야, 다양한 컨텐츠의 형태로 사용이 증가하고 있다.

기본적으로 VR 어플리케이션에서는 어지러움을 피하기 위해 높은 프레임 속도와 낮은 대기 시간을 요구한다. 또한 오늘날의 HMD는 높은 해상도 또는 스테레오 디스플레이로 구성되며, 추가적으로 모니터 등의 다양한 디스플레이 장치는 4K를 넘어 더욱 높은 해상도로 고품질의 영상을 제공하고 있다.

그러나 이러한 고품질의 영상은 뛰어난 시각적 경험을 제공하지만, 높은 해상도로 인해 렌더링에 소요되는 계산비용 또한 비례하여 증가한다.

실시간을 보장하기 위해 전통적으로 래스터화 기반의 렌더링(Legacy Rendering) 기술이 발전되어왔지만 최근에는 GPU의 발전과 더불어 물리기반 렌더링(Physically Based Rendering: PBR)이 개발되었다.

그러나 PBR은 여전히 고성능을 요구하기 때문에 인간 시각 시스템과 유사한 포비티드 렌더링 기술을 접목하면 이를 개선할 수 있다.

따라서 적응적인 해상도를 생성하는 포비티드 렌더링 기술은 계산 비용과 전력 소비를 줄일 수 있는 장점으로 인해 많은 연구가 진행되고 있다.

인간 시각 시스템을 모방한 포비티드 렌더링에 대해 많은 연구가 진행되어 적응적인 해상도로 렌더링하는 방법을 통해 계산 비용을 줄이게 되었다.

포비티드 렌더링(Foveated Rendering)는 인간의 눈 고유의 특징을 활용하여 렌더링을 가속화하고 인지된 시각적 품질을 희생하지 않고 다른 품질로 다른 영역을 렌더링하는 기술로, 그래픽 장면을 렌더링하는 데 필요한 리소스를 줄이는 것이 가능하다.

그러나 이러한 장점과 더불어 Patney는 사용자 연구에 의해 따르면 주변시 지역이 지나치게 대략적으로 렌더링할 경우 갈수록 시야가 좁아지는 터널시야 현상이 발생한다는 시각적 이슈를 확인하였다.

이러한 문제에도 불구하고 포비티드 렌더링으로 인한 적응적인 해상도는 샘플링 확률에 따라 비례적으로 성능향상을 기대할 수 있다.

그러나 샘플링 확률에 따른 해상도의 감소와 더불어, GPU의 작동원리에 따른 추가적인 최적화 가능성이 있다.

한편, 객체 감지(Object Detection)는 이미지나 동영상 내에서 객체를 식별하고 레이블을 지정하는 컴퓨터 비전 기술로, 주요 목표는 감지 속도와 정확도 간의 균형을 고려하면서 개체 인스턴스를 탐색하는 것이다.

특히, YOLO와 같은 객체 감지 모델들은 이미지 처리를 위해 deep convolution neural network를 사용한다.

YOLO의 가장 중요한 기능은 이미지를 SxS의 그리드로 나누어 객체를 담고 있는 그리드의 인식을 쉽게 하는 것이며 탐지된 객체에 대한 바운딩 박스(Bounding box)의 정확한 예측을 가능하게 한다.

이와 같은 객체탐지를 유용하게 하는 새로운 포비티드 이미지 렌더링 기술의 개발이 요구되고 있다.

대한민국 공개특허 제10-2023-0056067호 대한민국 공개특허 제10-2023-0084652호 대한민국 공개특허 제10-2022-0020899호

본 발명은 종래 기술의 객체 감지 기술의 문제점을 해결하기 위한 것으로, 입력 이미지에 시선 추적 카메라의 기능을 결합하여 사용자와의 상호작용 특성 및 응답 특성을 개선할 수 있도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 입력 이미지에 시선 추적 카메라의 기능을 결합하여 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하여 객체 감지 성능을 향상시킬 수 있도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 이미지를 고해상도로 분석하기 위해 사용되는 zoom-in 기법에서 중요한 역할을 하는 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞춤으로써 정확도를 유지하면서 물체 감지와 관련된 계산 비용을 줄일 수 있도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞춤으로써 정확도를 유지하면서 물체 감지와 관련된 계산 비용을 줄여 고해상도에서 정확한 분석 및 감지가 가능하도록 하여 다양한 크기의 개체가 있는 시나리오에서 유용하게 적용할 수 있도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 반복적으로 사용자의 시선을 포착하여 이미지의 지속적인 분석 및 렌더링을 가능하게 하고, 확대, 물체 감지, 감지된 물체들을 원본 이미지에 다시 통합하는 과정을 계속해서 반복하여 시스템 응답성을 유지하고 사용자의 시선에 동적으로 적응하여, 사용자와 상호작용하며 몰입감있는 경험 제공을 보장할 수 있도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 이미지의 특정 부분에 대해서만 객체 감지(Object Detection)를 실행하기 때문에 감지 속도를 높일 수가 있고, 관측하지 못했던 작은 물체들에 대한 인식률을 높여서 감지 가능한 물체들의 수를 높일 수 있도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명은 입력 이미지에 존재하는 학습된 물체들에 한해서 모두 동시에 인식이 가능한 특성을 갖도록 한 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법을 제공하는데 그 목적이 있다.

본 발명의 다른 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치는 포비티드 이미지 렌더링을 위하여 적어도 하나의 프로세서를 포함하는 전자 장치가, 아이웨어 기기 착용자의 머리 움직임을 감지하기 위한 센서(6DoF) 및 아이웨어 기기 착용자의 시선을 추적하기 위한 카메라 센서(Eye Tracker)를 포함하는 아이웨어 장치;입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하는 포비티드 이미지 렌더링 제어부;를 포함하는 것을 특징으로 한다.

여기서, 포비티드 이미지 렌더링 제어부는, 이미지를 고해상도로 분석하기 위해 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞추는 제어를 수행하는 것을 특징으로 한다.

그리고 포비티드 이미지 렌더링 제어부는, 반복적으로 사용자의 시선을 포착하여 이미지의 지속적인 분석 및 렌더링을 가능하게 하고, 확대, 물체 감지, 감지된 물체들을 원본 이미지에 다시 통합하는 과정을 계속해서 반복하는 제어를 수행하는 것을 특징으로 한다.

그리고 아이웨어 장치는, 아이웨어 기기 착용자와 피사체 간의 거리 데이터를 수집하기 위한 센서(ToF)를 더 포함하는 것을 특징으로 한다.

그리고 포비티드 이미지 렌더링 제어부는, 이미지를 입력하는 이미지 입력부와, 시선 추적 카메라를 통하여 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하는 눈동자 움직임 검출부와, 응시점 위치를 추적하는 응시점 추적부와, 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 응시하고 있는 물체와의 거리를 추정하는 거리 추정부와, 물체와의 거리를 이용하여 주어진 이미지의 영역을 나누는 그리드의 개수를 결정하는 그리드 개수 결정부와, 응시점이 특정한 그리드 셀에 위치했을 때의 특정 그리드 셀 위치를 결정하는 특정 그리드 셀 위치 결정부와, 응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀을 고해상도로 렌더링하고 주변 셀들은 순차적으로 저해상도로 렌더링하는 랜더링부를 포함하는 것을 특징으로 한다.

그리고 랜더링부에서 랜더링되어 이미지의 확대된 영역을 객체 감지 모델의 입력으로 사용하고, 물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역을 출력에 포함시키는 것을 특징으로 한다.

그리고 더 높은 해상도의 관심 영역을 포함하는 확대된 영역을 원본 이미지에 다시 통합하고, 감지된 물체들을 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링하는 것을 특징으로 한다.

그리고 응시점 추적부는, 입력 이미지에서 물체들 간의 거리와의 상관관계를 이용하여 응시점 위치를 추적하는 것을 특징으로 한다.

그리고 그리드 개수 결정부는 시선 추적을 하여 그리드를 나누는 기준이, 사용자의 머리 움직임에 따라 이미지의 입력이 달라지는 것과는 상관없이 응시점을 기준으로 그리드를 구분하는 것을 특징으로 한다.

그리고 특정 그리드 셀 위치 결정부은 특정한 그리드 셀의 위치를 결정하기 위하여,

으로 정의되는 알고리즘을 사용하고, 여기서, 좌표평면 상의 응시점 좌표는(x, y), m 과 n 은 각각 그리드의 열의 개수와 행의 개수, width와 height 변수는 이미지의 해상도, 출력은 i와 j로 표시되는 것을 특징으로 한다.

다른 목적을 달성하기 위한 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법은 적어도 하나의 프로세서를 포함하는 전자 장치에서 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 동작이 수행되고, 시선 추적 카메라가 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하는 단계;응시점 위치를 추적하는 단계;객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하는 단계;거리 추정 및 그리드 개수 결정을 하는 단계;응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀은 고해상도로 렌더링하고 주변 셀들은 순차적으로 저해상도로 렌더링하는 단계;이미지의 확대된 영역을 객체 감지 모델의 입력으로 사용하고, 물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역을 출력에 포함시키는 단계;를 포함하는 것을 특징으로 한다.

그리고 더 높은 해상도의 관심 영역을 포함하는 확대된 영역을 원본 이미지에 다시 통합하고, 감지된 물체들을 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링하는 단계를 더 포함하는 것을 특징으로 한다.

이상에서 설명한 바와 같은 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법은 다음과 같은 효과가 있다.

첫째, 입력 이미지에 시선 추적 카메라의 기능을 결합하여 사용자와의 상호작용 특성 및 응답 특성을 개선할 수 있도록 한다.

둘째, 입력 이미지에 시선 추적 카메라의 기능을 결합하여 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하여 객체 감지 성능을 향상시킬 수 있도록 한다.

셋째, 이미지를 고해상도로 분석하기 위해 사용되는 zoom-in 기법에서 중요한 역할을 하는 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞춤으로써 정확도를 유지하면서 물체 감지와 관련된 계산 비용을 줄일 수 있도록 한다.

넷째, 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞춤으로써 정확도를 유지하면서 물체 감지와 관련된 계산 비용을 줄여 고해상도에서 정확한 분석 및 감지가 가능하도록 하여 다양한 크기의 개체가 있는 시나리오에서 유용하게 적용할 수 있도록 한다.

다섯째, 반복적으로 사용자의 시선을 포착하여 이미지의 지속적인 분석 및 렌더링을 가능하게 하고, 확대, 물체 감지, 감지된 물체들을 원본 이미지에 다시 통합하는 과정을 계속해서 반복하여 시스템 응답성을 유지하고 사용자의 시선에 동적으로 적응하여, 사용자와 상호작용하며 몰입감있는 경험 제공을 보장할 수 있도록 한다.

여섯째, 아이웨어 장치를 포함한 모든 헤드 마운티드 디스플레이(Head Mounted Display, HMD)가 저전력 및 적은 컴퓨팅 타임 만으로도 실시간 포비티드 렌더링을 효과적으로 수행할 수 있도록 한다.

일곱째, 이미지의 특정 부분에 대해서만 객체 감지(Object Detection)를 실행하기 때문에 감지 속도를 높일 수가 있고, 관측하지 못했던 작은 물체들에 대한 인식률을 높여서 감지 가능한 물체들의 수를 높일 수 있도록 한다,

여덟째, 입력 이미지에 존재하는 학습된 물체들에 한해서 모두 동시에 인식이 가능한 특성을 갖도록 한다.

도 1은 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 개념을 나타낸 플로우 차트
도 2는 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치의 구성도
도 3은 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링에서의 그리드 구성의 일 예를 나타낸 구성도
도 4는 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법을 나타낸 플로우 차트

이하, 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법의 바람직한 실시 예에 관하여 상세히 설명하면 다음과 같다.

본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법의 특징 및 이점들은 이하에서의 각 실시 예에 대한 상세한 설명을 통해 명백해질 것이다.

도 1은 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 개념을 나타낸 플로우 차트이다.

본 개시에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

특히, 적어도 하나의 기능이나 동작을 처리하는 단위들은 적어도 하나의 프로세서를 포함하는 전자 장치로 구현될 수 있고, 기능이나 동작을 처리하는 방식에 따라 전자 장치에 적어도 하나의 주변 장치가 연결될 수 있다. 주변 장치들은 데이터 입력 장치, 데이터 출력 장치, 데이터 저장 장치를 포함할 수 있다.

본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법은 입력 이미지에 시선 추적 카메라의 기능을 결합하여 사용자와의 상호작용 특성 및 응답 특성을 개선할 수 있도록 한 것이다.

이를 위하여, 본 발명은 입력 이미지에 시선 추적 카메라의 기능을 결합하여 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하여 객체 감지 성능을 향상시킬 수 있도록 하는 구성을 포함할 수 있다.

본 발명은 정확도를 유지하면서 물체 감지와 관련된 계산 비용을 줄일 수 있도록 하기 위하여, 이미지를 고해상도로 분석하기 위해 사용되는 zoom-in 기법에서 중요한 역할을 하는 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞추는 구성을 포함할 수 있다.

본 발명은 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞춤으로써 정확도를 유지하면서 물체 감지와 관련된 계산 비용을 줄여 고해상도에서 정확한 분석 및 감지가 가능하도록 하여 다양한 크기의 개체가 있는 시나리오에서 유용하게 적용할 수 있도록 하는 구성을 포함할 수 있다.

본 발명은 사용자와 상호작용하며 몰입감있는 경험 제공을 보장하기 위하여, 반복적으로 사용자의 시선을 포착하여 이미지의 지속적인 분석 및 렌더링을 가능하게 하고, 확대, 물체 감지, 감지된 물체들을 원본 이미지에 다시 통합하는 과정을 계속해서 반복하여 시스템 응답성을 유지하고 사용자의 시선에 동적으로 적응하도록 하는 구성을 포함할 수 있다.

본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법에서는 이미지의 특정 부분에 대해서만 객체 감지(Object Detection)를 실행하기 때문에 감지 속도를 높일 수가 있고, 기존의 기법으로 관측하지 못한 작은 물체들에 대한 인식률을 높여서 감지 가능한 물체들의 수를 높일 수 있다.

또한, 도 1에서는 차량만을 예시로 들었으나, 실제 기술은 차량을 포함하여 입력 이미지에 존재하는 학습된 물체들에 한해서 모두 동시에 인식이 가능한 특성을 갖는다.

도 2는 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치의 구성도이다.

본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치는 도 2에서와 같이, 아이웨어 기기 착용자의 머리 움직임을 감지하기 위한 센서(6DoF) 및 아이웨어 기기 착용자의 시선을 추적하기 위한 카메라 센서(Eye Tracker)를 포함하는 아이웨어 장치(100)와, 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하는 포비티드 이미지 렌더링 제어부(200)를 포함한다.

여기서, 아이웨어 장치(100)는 아이웨어 기기 착용자와 피사체 간의 거리 데이터를 수집하기 위한 센서(ToF)를 더 포함할 수 있다.

그리고 포비티드 이미지 렌더링 제어부(200)는 이미지를 고해상도로 분석하기 위해 응시점에 해당하는 포비티드 셀을 이용하여, 이미지의 작은 영역에 초점을 맞추는 제어를 수행한다.

그리고 포비티드 이미지 렌더링 제어부(200)는 반복적으로 사용자의 시선을 포착하여 이미지의 지속적인 분석 및 렌더링을 가능하게 하고, 확대, 물체 감지, 감지된 물체들을 원본 이미지에 다시 통합하는 과정을 계속해서 반복하는 제어를 수행한다.

포비티드 이미지 렌더링 제어부(200)는 이미지를 입력하는 이미지 입력부(10)와, 시선 추적 카메라를 통하여 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하는 눈동자 움직임 검출부(20)와, 응시점 위치를 추적하는 응시점 추적부(30)와, 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 응시하고 있는 물체와의 거리를 추정하는 거리 추정부(30)와, 물체와의 거리를 이용하여 주어진 이미지의 영역을 나누는 그리드의 개수를 결정하는 그리드 개수 결정부(50)와, 응시점이 특정한 그리드 셀에 위치했을 때의 특정 그리드 셀 위치를 결정하는 특정 그리드 셀 위치 결정부(60)와, 응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀을 고해상도로 렌더링하고 주변 셀들은 순차적으로 저해상도로 렌더링하는 랜더링부(70)를 포함한다.

여기서, 랜더링부(70)에서 랜더링되어 이미지의 확대된 영역을 객체 감지 모델의 입력으로 사용하고, 물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역을 출력에 포함시킨다.

그리고 더 높은 해상도의 관심 영역을 포함하는 확대된 영역을 원본 이미지에 다시 통합하고, 감지된 물체들을 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링한다.

그리고 응시점 추적부(30)는 입력 이미지에서 물체들 간의 거리와의 상관관계를 이용하여 응시점 위치를 추적하는 것이다.

그리고 그리드 개수 결정부(50)는 시선 추적을 하여 그리드를 나누는 기준이, 사용자의 머리 움직임에 따라 이미지의 입력이 달라지는 것과는 상관없이 응시점을 기준으로 그리드를 구분한다.

이와 같은 구성을 갖는 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치에서의 동작 특성을 다음과 같다.

시선 추적 카메라는 입력 이미지의 한 장면에서 눈동자의 움직임을 포착한다.

이를 통해, 응시점 위치를 추적하며 시스템은 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집한다. 이때, 응시점 위치는 입력 이미지에서 물체들 간의 거리와 상관관계가 있다.

그리고 실행을 위한 입력 값들은 이미지와 응시점 추적 위치가 있다. 응시점의 좌표는 (x, y) 좌표평면 상에 표시된다.

착용자가 응시하고 있는 물체와의 거리를 결정하기 위해, 거리 추정 기술이 사용된다. 이 기법은 이미지 속의 물체의 거리를 계산하는 기술이다.

또한, 물체와의 거리는 주어진 이미지의 영역을 나누는 그리드의 개수를 결정하는데 사용된다.

응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀은 고해상도로 렌더링 되며, 이는 셀에 있는 물체의 선명도와 퀄리티 유지를 보장한다. 고해상도로 렌더링 된 셀 주변을 감싸는 셀들은 약간 흐리게 렌더링 되며, ‘blended cell’이라 한다. ‘blended cell’을 감싸고 있는 그리드들은 이보다 더 흐릿하게 렌더링 된다.

특정 그리드 셀 위치 결정부(60)에서의 특정한 그리드 셀의 위치를 결정하기 위한 알고리즘은 아래의 수식과 같다.

좌표평면 상의 응시점 좌표는(x, y), 그리고 m 과 n 은 각각 그리드의 열의 개수와 행의 개수를 의미한다.

width와 height 변수는 이미지의 해상도를, 출력은 i와 j로 표시되며 고해상도 렌더링을 위한 특정 그리드 셀의 위치를 나타낸다.

예를 들어, i=j=1인 경우의 그리드는 도 3에서와 같다.

도 3은 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링에서의 그리드 구성의 일 예를 나타낸 구성도이다.

응시점에 해당하는 포비티드 셀은 이미지를 고해상도로 분석하기 위해 사용되는 zoom-in 기법에서 중요한 역할을 한다.

이미지의 작은 영역에 초점을 맞춤으로써 이 기술은 정확도를 유지하면서 물체 감지와 관련된 계산 비용을 줄인다. 이 접근 법은 고해상도에서 정확한 분석 및 감지가 가능하므로 다양한 크기의 개체가 있는 시나리오에서 유용하다.

그리고 이미지의 확대된 영역은 객체 감지 모델의 입력 역할을 한다.

물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역이 출력에 포함된다.

더 높은 해상도의 관심 영역을 포함하는 확대된 영역이 원본 이미지에 다시 통합된다. 감지된 물체들은 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링 된다.

이 프로세스는 반복적으로 사용자의 시선을 포착하여 이미지의 지속적인 분석 및 렌더링을 가능하게 한다. 이는 앞서 언급한, 확대, 물체 감지, 감지된 물체들을 원본 이미지에 다시 통합하는 과정을 계속해서 반복한다고 할 수 있다.

이 프로세스는 시스템이 응답성을 유지하고 사용자의 시선에 동적으로 적응하여, 사용자와 상호작용하며 몰입감있는 경험 제공을 보장한다.

본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법을 구체적으로 설명하면 다음과 같다.

도 4는 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법을 나타낸 플로우 차트이다.

본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법은 도 4에서와 같이, 시선 추적 카메라가 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하는 단계(S401)와, 응시점 위치를 추적하는 단계(S402)와, 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하는 단계(S403)와, 거리 추정 및 그리드 개수 결정을 하는 단계(S404)와, 응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀은 고해상도로 렌더링하고 주변 셀들은 순차적으로 저해상도로 렌더링하는 단계(S405)와, 이미지의 확대된 영역을 객체 감지 모델의 입력으로 사용하는 단계(S406)와, 물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역을 출력에 포함시키는 단계(S407)와, 더 높은 해상도의 관심 영역을 포함하는 확대된 영역을 원본 이미지에 다시 통합하고, 감지된 물체들을 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링하는 단계(S408)를 포함한다.

이와 같은 실시 예에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다.

이때, 매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크상에 분산 존재하는 것일 수도 있다.

이상에서 설명한 본 발명에 따른 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치 및 방법은 입력 이미지에 시선 추적 카메라의 기능을 결합하여 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하여 객체 감지 성능을 향상시킬 수 있도록 한 것이다.

이상에서의 설명에서와 같이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명이 구현되어 있음을 이해할 수 있을 것이다.

그러므로 명시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 하고, 본 발명의 범위는 전술한 설명이 아니라 특허청구 범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100. 아이웨어 장치
200. 포비티드 이미지 렌더링 제어부

Claims

포비티드 이미지 렌더링을 위하여 적어도 하나의 프로세서를 포함하는 전자 장치가,
아이웨어 기기 착용자의 머리 움직임을 감지하기 위한 센서(6DoF) 및 아이웨어 기기 착용자의 시선을 추적하기 위한 카메라 센서(Eye Tracker)를 포함하는 아이웨어 장치;
입력 이미지의 한 장면에서 눈동자의 움직임을 포착하여, 응시점 위치를 추적하며 객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 영역별로 다른 해상도로 랜더링하는 포비티드 이미지 렌더링 제어부;를 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 1 항에 있어서, 포비티드 이미지 렌더링 제어부는,
이미지를 고해상도로 분석하기 위해 응시점에 해당하는 포비티드 셀을 이용하여,
이미지의 작은 영역에 초점을 맞추는 제어를 수행하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 1 항에 있어서, 포비티드 이미지 렌더링 제어부는,
반복적으로 사용자의 시선을 포착하여 이미지의 지속적인 분석 및 렌더링을 가능하게 하고, 확대, 물체 감지, 감지된 물체들을 원본 이미지에 다시 통합하는 과정을 계속해서 반복하는 제어를 수행하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 1 항에 있어서, 아이웨어 장치는,
아이웨어 기기 착용자와 피사체 간의 거리 데이터를 수집하기 위한 센서(ToF)를 더 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 1 항에 있어서, 포비티드 이미지 렌더링 제어부는,
이미지를 입력하는 이미지 입력부와,
시선 추적 카메라를 통하여 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하는 눈동자 움직임 검출부와,
응시점 위치를 추적하는 응시점 추적부와,
객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하여 응시하고 있는 물체와의 거리를 추정하는 거리 추정부와,
물체와의 거리를 이용하여 주어진 이미지의 영역을 나누는 그리드의 개수를 결정하는 그리드 개수 결정부와,
응시점이 특정한 그리드 셀에 위치했을 때의 특정 그리드 셀 위치를 결정하는 특정 그리드 셀 위치 결정부와,
응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀을 고해상도로 렌더링하고 주변 셀들은 순차적으로 저해상도로 렌더링하는 랜더링부를 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 5 항에 있어서, 랜더링부에서 랜더링되어 이미지의 확대된 영역을 객체 감지 모델의 입력으로 사용하고,
물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역을 출력에 포함시키는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 6 항에 있어서, 더 높은 해상도의 관심 영역을 포함하는 확대된 영역을 원본 이미지에 다시 통합하고,
감지된 물체들을 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 5 항에 있어서, 응시점 추적부는,
입력 이미지에서 물체들 간의 거리와의 상관관계를 이용하여 응시점 위치를 추적하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 5 항에 있어서, 그리드 개수 결정부는 시선 추적을 하여 그리드를 나누는 기준이,
사용자의 머리 움직임에 따라 이미지의 입력이 달라지는 것과는 상관없이 응시점을 기준으로 그리드를 구분하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
제 5 항에 있어서, 특정 그리드 셀 위치 결정부은 특정한 그리드 셀의 위치를 결정하기 위하여,
으로 정의되는 알고리즘을 사용하고,
여기서, 좌표평면 상의 응시점 좌표는(x, y), m 과 n 은 각각 그리드의 열의 개수와 행의 개수, width와 height 변수는 이미지의 해상도, 출력은 i와 j로 표시되는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 장치.
적어도 하나의 프로세서를 포함하는 전자 장치에서 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 동작이 수행되고,
시선 추적 카메라가 입력 이미지의 한 장면에서 눈동자의 움직임을 포착하는 단계;
응시점 위치를 추적하는 단계;
객체들 간의 공간적 측면의 관계성에 관한 정보를 수집하는 단계;
거리 추정 및 그리드 개수 결정을 하는 단계;
응시점이 특정한 그리드 셀에 위치했을 때, 해당 셀은 고해상도로 렌더링하고 주변 셀들은 순차적으로 저해상도로 렌더링하는 단계;
이미지의 확대된 영역을 객체 감지 모델의 입력으로 사용하고, 물체 감지가 완료되면 해당 개체의 레이블과 함께 이미지의 확대된 출력 영역을 출력에 포함시키는 단계;를 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법.
제 11 항에 있어서, 더 높은 해상도의 관심 영역을 포함하는 확대된 영역을 원본 이미지에 다시 통합하고,
감지된 물체들을 바운딩 박스(Bounding box) 및 클래스 레이블과 같은 추가적인 시각적 정보와 함께 이미지에 렌더링하는 단계를 더 포함하는 것을 특징으로 하는 객체 감지 성능 향상을 위한 포비티드 이미지 렌더링 방법.