KR20170134147A - 디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치 - Google Patents

Abstract

본 발명의 실시예에 따른 디스플레이 컨트롤러는, 제1 초당 프레임 수를 갖는 제1 기준 영상에 기초하여, 상기 제1 초당 프레임 수보다 높은 제2 초당 프레임 수를 갖는 제2 기준 영상을 생성하는 프레임 레이트 컨버터, 상기 제2 기준 영상을 저장하는 버퍼, 및 상기 제2 기준 영상의 적어도 일부 영역을 선택하여 사용자에게 가상 현실 서비스를 제공하기 위한 출력 영상을 생성하는 영상 처리기를 포함한다.

Description

디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치{DISPLAY CONTROLLER, ELECTRONIC DEVICE, AND VIRTUAL REALITY DEVICE}

본 발명은 디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치에 관한 것이다.

가상 현실 장치가 널리 보급되면서 사용자에게 좀 더 현실적이고 생동감있는 가상 현실을 제공하기 위한 기술이 연구되는 추세이다. 가상 현실 장치는 사용자의 머리에 장착되는 헤드 마운트 디스플레이(Head Mount Display) 장치 등을 포함할 수 있다. 가상 현실 장치는 화면을 출력하는 디스플레이 장치로서의 기능을 기본적으로 포함하는데, 기존의 디스플레이 장치와 달리 사용자의 눈과 매우 가까운 거리에서 화면을 표시한다. 따라서 사용자가 느낄 수 있는 피로감 또는 어지러움 등을 최소화하기 위한 기술이 필요하다.

본 발명의 기술적 사상이 이루고자 하는 과제 중 하나는, 사용자가 느낄 수 있는 피로감, 어지러움 등을 줄일 수 있는 디스플레이 컨트롤러, 전자 기기, 및 가상 현실 장치를 제공하고자 하는 데에 있다.

본 발명의 실시 형태에 따른 디스플레이 컨트롤러는, 제1 초당 프레임 수를 갖는 제1 기준 영상에 기초하여, 상기 제1 초당 프레임 수보다 높은 제2 초당 프레임 수를 갖는 제2 기준 영상을 생성하는 프레임 레이트 컨버터, 상기 제2 기준 영상을 저장하는 버퍼, 및 상기 제2 기준 영상의 적어도 일부 영역을 선택하여 사용자에게 가상 현실 서비스를 제공하기 위한 출력 영상을 생성하는 영상 처리기를 포함한다.

본 발명의 실시 형태에 따른 전자 기기는, 애플리케이션 프로세서, 사용자의 움직임을 감지하여 움직임 정보를 생성하는 센서, 상기 사용자에게 가상 현실 서비스를 제공하기 위한 원본 영상의 초당 프레임 수를 증가시킨 기준 영상을 저장하는 버퍼를 포함하며, 상기 움직임 정보에 기초하여 상기 기준 영상의 적어도 일부 영역을 선택하여 출력 영상을 생성하는 디스플레이 컨트롤러, 및 디스플레이 패널과, 상기 디스플레이 패널을 통해 상기 출력 영상을 표시하는 디스플레이 구동 장치를 갖는 디스플레이 장치를 포함한다.

본 발명의 실시 형태에 따른 가상 현실 장치는, 사용자의 머리에 장착되는 헤드 마운트 장치, 상기 사용자의 움직임을 감지하여 움직임 정보를 생성하는 센서, 원본 영상의 초당 프레임 수를 증가시킨 기준 영상을 저장하는 버퍼를 포함하며, 상기 움직임 정보에 기초하여 상기 기준 영상으로부터 적어도 일부 영상을 선택하여 출력 영상을 생성하는 디스플레이 컨트롤러, 및 상기 헤드 마운트 장치에 장착되며, 상기 출력 영상을 표시하는 디스플레이 장치를 포함한다.

본 발명의 실시예 에 따른 디스플레이 컨트롤러는, 낮은 프레임 레이트의 영상 데이터를 상대적으로 높은 프레임 레이트의 영상 데이터로 변환할 수 있다. 특히, 영상 데이터의 프레임 레이트를 높이는 과정에서 가상 현실 장치 또는 디스플레이 장치를 이용하는 사용자의 움직임 또는 전후 프레임을 반영함으로써, 자연스러운 영상을 사용자에게 제공할 수 있다. 또한, 높은 프레임 레이트의 영상을 버퍼에 미리 저장한 후, 버퍼에 저장된 영상과 사용자의 움직임을 참조하여 사용자에게 출력하는 영상을 생성함으로써, 지연 속도(latency)를 최소화하여 사용자가 느끼는 피로감 또는 어지러움을 줄이고 화면 끊김 현상을 최소화할 수 있다.

본 발명의 다양하면서도 유익한 장점과 효과는 상술한 내용에 한정되지 않으며, 본 발명의 구체적인 실시 형태를 설명하는 과정에서 보다 쉽게 이해될 수 있을 것이다.

도 1 및 도 2는 본 발명의 실시예에 따른 가상 현실 장치를 나타낸 도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 디스플레이 컨트롤러를 나타낸 블록도이다.
도 5는 본 발명의 실시예에 따른 전자 기기를 나타낸 블록도이다.
도 6 및 도 7은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다.
도 8은 본 발명의 실시예에 따른 가상 현실 장치와 연동되어 동작할 수 있는 영상 촬영 장치를 나타낸 도이다.
도 9 내지 도 17은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 형태들을 다음과 같이 설명한다.

도 1 및 도 2는 본 발명의 실시예에 따른 가상 현실 장치를 나타낸 도이다.

우선 도 1을 참조하면, 본 발명의 실시예에 따른 가상 현실 장치(10)는 사용자가 머리에 장착하고 이용하는 헤드 마운트 디스플레이(Head Mount Display, HMD) 장치일 수 있다. 가상 현실 장치(10)에는 사용자에게 영상을 출력하기 위한 전자 기기(18)가 장착될 수 있다. 전자 기기(18)는 가상 현실 장치(10)에 마련된 수납 공간 내에 장착될 수 있다. 전자 기기(18)가 가상 현실 장치(10)에 착탈 가능한 장치인 경우, 스마트 폰 등과 같은 스마트 기기가 전자 기기(18)로 채용될 수 있다.

가상 현실 장치(10)는, 고정부(11), 프레임(12), 조작부(13, 14), 커넥터(15), 커버(16), 및 광학부(17) 등을 포함할 수 있다. 고정부(11)는 가상 현실 장치(10)를 사용자의 머리에 장착하기 위해 제공되며, 스트랩과 같이 탄성 소재로 제작된 밴드, 안경 다리 또는 헬멧 등과 같은 고정 부재를 포함할 수 있다. 사용자는 고정부(11)에 머리를 끼움으로써 가상 현실 장치(10)를 고정시킬 수 있으며, 프레임(12)의 일부 영역이 사용자의 눈 주변 영역과 밀착될 수 있다. 사용자의 피로도를 줄이기 위해, 프레임(12)은 사용자의 눈 주변 영역과 밀착되는 영역에서 탄성 소재를 포함할 수 있다.

프레임(12)은 전자 기기(18)를 수납하기 위한 공간을 포함할 수 있다. 전자 기기(18)는 앞서 설명한 바와 같이 프레임(12)으로부터 탈착 가능한 별도의 장치일 수 있다. 프레임(12)은 전자 기기(18)와 사용자의 눈 사이에 배치되는 광학부(17)를 포함할 수 있으며, 광학부(17)는 렌즈를 포함할 수 있다. 전자 기기(18)는 광학부(17)의 전면에 마련되며, 전자 기기(18)의 후면에는 커버(16)가 배치될 수 있다.

커넥터(15)는 전자 기기(18)와 전기적으로 연결되어 제어 신호를 송수신할 수 있다. 특히, 전자 기기(18)가 프레임(12)으로부터 탈착 가능한 별도의 장치인 경우, 커넥터(15)는 전자 기기(18)에 마련된 커넥터와 연결될 수 있다. 일 실시예로, 전자 기기(18)가 스마트 기기인 경우, 커넥터(15)는 스마트 기기에 포함된 USB, micro-USB, Lighting 단자 등의 다양한 규격에 따른 커넥터(15)와 연결될 수 있다.

조작부(13, 14)는 터치 패널 또는 기계식 휠 등을 포함할 수 있다. 사용자는 조작부(13, 14)를 통해 전자 기기(18)의 영상 재생, 일시정지, 영상 시점 이동, 볼륨 조절 등의 조작을 실행할 수 있다. 휠(14)은 터치 패널(13)과 다른 기능을 입력하기 위해 구비될 수 있으며, 예를 들어 광학부(17)의 초점을 조절하기 위한 목적으로 구비될 수 있다. 가상 현실 장치(10)는 터치 패널(13)과 휠(14) 외에 다른 다양한 조작 장치를 더 포함할 수도 있다.

한편, 도 2를 참조하면, 본 발명의 실시예에 따른 가상 현실 장치(20)는 별도의 전자 기기(18)와 결합할 필요 없이 가상 현실 서비스를 사용자에게 제공할 수 있는 단독형(stand-alone) 장치일 수 있다. 도 2에 도시한 실시예에 따른 가상 현실 장치(20)는, 도 1에 도시한 실시예와 유사하게 고정부(21), 프레임(22), 조작부(23, 24) 등을 포함할 수 있다. 다만, 가상 현실 장치(20)의 내부에 별도의 전자 기기가 수납되지 않으므로, 커넥터(25), 커버(26) 등의 구성은 생략될 수 있다. 사용자의 시선이 닿는 프레임(22) 내부의 공간에 영상을 출력하는 디스플레이 장치와, 광학부가 마련될 수 있다.

한편, 본 발명의 일 실시예에서, 단독형으로 제공되는 가상 현실 장치(20)는 데스크톱 컴퓨터, 랩톱 컴퓨터 등과 같은 외부 호스트(HOST)와 연결되어 전원 혹은 가상 현실을 위한 데이터 등을 제공받을 수 있다. 도 2에 도시한 실시예에서는 가상 현실 장치(20)가 유선으로 호스트(HOST)와 연결되는 것을 도시하였으나, 이와 달리 무선으로 연결되어 가상 현실을 위한 데이터를 제공받을 수도 있다.

가상 현실 장치(10, 20)를 통해 사용자가 보는 화면은 정지 영상 또는 동영상일 수 있다. 가상 현실 서비스가 제공되는 동안, 가상 현실 장치(10, 20)를 장착한 사용자의 움직임에 따라 사용자가 보는 화면이 바뀔 수 있다. 따라서 사용자의 급격한 움직임에도 자연스럽게 화면이 표시될 수 있도록, 원본 영상에서 사용자가 보고자 하는 영역을 짧은 지연 시간 내에 불러올 수 있는 방법이 필요할 수 있다.

동영상의 경우, 1초에 수십 개의 정지 영상이 연속적으로 표시되어 사용자에게 동영상으로 인식될 수 있다. 즉, 사용자가 보는 화면이 1초에 수십번 바뀌게 된다. 가상 현실 장치(10, 20)를 통해 사용자가 보는 화면은 사용자의 눈에서 매우 가깝게 위치하므로, 1초에 표시되는 정지 영상의 개수를 나타내는 프레임 레이트(frame rate) 또는 초당 프레임 수(frame per second, fps)가 낮을 경우 사용자가 화면의 끊김을 인식할 수 있다. 또한, 동영상에서도 정지 영상과 마찬가지로, 사용자의 움직이는 경우에 짧은 지연 시간 동안 원본 영상에서 실제로 표시되어야 하는 영역을 불러오기 위한 방법이 필요할 수 있다.

상기와 같은 문제를 해결하기 위해 동영상의 경우 초당 프레임 수를 의도적으로 높이는 방법을 이용할 수 있으나, 이 경우 프로세서에서 많은 연산량을 감당해야 하므로 전력 소모량 증가 및 프로세서 제조를 위한 비용 증가 등으로 이어질 수 있다. 특히, 가상 현실 장치(10, 20)는 모바일 환경에서 제공되는 경우가 많으므로, 프로세서의 전력 소모량 증가는 가상 현실 장치(10, 20)의 이용시간 단축으로 이어져 사용자의 불편을 초래할 수 있다.

본 발명의 다양한 실시예에서 제안하는 디스플레이 컨트롤러를 통해 상기와 같은 문제를 해결할 수 있다. 본 발명의 실시예에 따른 디스플레이 컨트롤러는, 원본 영상으로부터 소정의 영역을 선택하여 기준 영상을 생성하고, 기준 영상의 초당 프레임수를 높여 버퍼에 저장할 수 있다. 기준 영상은 가상 현실 장치(10, 20)를 착용한 사용자가 보는 화면에 표시되는 출력 영상을 포함할 수 있다. 즉, 기준 영상은 출력 영상과 같거나, 또는 그보다 큰 크기를 가질 수 있다. 사용자가 움직이는 경우, 디스플레이 컨트롤러는 버퍼에 저장된 기준 영상으로부터 일부 영역을 선택하여 출력할 수 있다. 따라서, 높은 초당 프레임수로 부드러운 동영상을 제공할 수 있을 뿐 아니라, 짧은 지연 시간 내에 출력 영상을 변경할 수 있어 사용자가 움직이는 경우에도 화면을 부드럽게 이동시켜 표시할 수 있다. 따라서, 사용자에게 좀 더 편안하고 생동감있는 가상 현실 서비스를 제공할 수 있다.

도 3 및 도 4는 본 발명의 실시예에 따른 디스플레이 컨트롤러를 나타낸 블록도이다.

우선 도 3을 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)는, 프레임 레이트 컨버터(Frame Rate Converter, FRC)(110), 버퍼(120), 및 영상 처리기(130) 등을 포함할 수 있다. 디스플레이 컨트롤러(100)는 원본 영상 처리기(210)로부터 기준 영상을 수신하고, 이로부터 출력 영상을 생성할 수 있다. 출력 영상은 디스플레이 구동 장치(DDI)(220)로 전송될 수 있다. 디스플레이 구동 장치(220)는 타이밍 컨트롤러, 게이트 드라이버, 소스 드라이버 등을 포함할 수 있다.또한 실시예에 따라 입력 영상은 프레임 레이트 컨버터(110)를 바이패스해서 버퍼(120)에 직접 전달될 7수도 있다.

가상 현실 장치(10)가 탈착 가능한 전자 기기(18)에 의해 가상 현실 서비스를 제공하는 경우, 원본 영상 처리기(210)와 디스플레이 구동 장치(220), 및 디스플레이 컨트롤러(100) 중 적어도 일부는 전자 기기(18) 내에 포함될 수 있다. 일 실시예로, 원본 영상 처리기(210)와 디스플레이 컨트롤러(100) 중 적어도 하나는, 전자 기기(18)를 제어하는 연산 처리 장치, 예를 들어 애플리케이션 프로세서 등과 단일의(single) 모듈로서 제공될 수 있다. 한편, 단독형 가상 현실 장치(20)의 경우, 디스플레이 컨트롤러(100)와 원본 영상 처리기(210) 및 디스플레이 구동 장치(220)가 가상 현실 장치(20) 내에 구비될 수 있다. 이때, 디스플레이 컨트롤러(100)와 원본 영상 처리기(210) 및 디스플레이 구동 장치(220) 중 적어도 일부는, 단일의(single) 모듈로 구현될 수 있다.

원본 영상 처리기(210)는 외부로부터 원본 영상을 수신하며, 원본 영상으로부터 제1 기준 영상을 생성할 수 있다. 원본 영상 처리기(210)는 외부의 촬영 장치 등으로부터 원본 영상을 수신하거나, 또는 메모리 등에 저장된 영상 데이터를 원본 영상으로서 가져올 수 있다. 원본 영상 처리기(210)는 전자 기기(18)의 애플리케이션 프로세서, 또는 단독형 가상 현실 장치(20)의 메인 프로세서 등과 단일의 모듈로 구현될 수 있다. 일 실시예에서, 원본 영상 처리기(210)가 동영상 형태의 원본 영상을 수신하는 경우, 원본 영상은 30 fps (frames per second, 초당 프레임수) 이하의 초당 프레임 수를 갖는 동영상일 수 있다.

가상 현실 장치(10, 20)는 사용자의 눈과 매우 가까운 거리에서 출력 영상을 표시할 수 있다. 따라서 원거리 시청 목적으로 제공되는 스마트 기기, 텔레비전, 프로젝터 등과 달리 사용자가 출력 영상의 품질에 따라 사용자가 피로도를 쉽게 느낄 수 있다. 원본 영상이 낮은 초당 프레임 수를 갖는 경우, 원본 영상을 그대로 출력하면 사용자의 피로도가 높아질 수 있다. 이에 일반적인 경우, 메인 프로세서, 또는 애플리케이션 프로세서 등에 포함되는 원본 영상 처리기(210)가 원본 영상의 초당 프레임 수를 높여 출력함으로써, 사용자의 피로도를 줄이는 방법을 채택할 수 있다.

원본 영상 처리기(210)가 원본 영상의 초당 프레임 수를 높이는 경우, 메인 프로세서 또는 애플리케이션 프로세서 등에서 소모하는 전력이 증가하여 가상 현실 장치(10, 20)의 이용 시간이 짧아질 수 있다. 또한, 원본 영상의 해상도가 높은 경우, 원본 영상 처리기(210)가 처리해야 하는 연산량이 증가함에 따라 원본 영상 처리기(210)의 요구 성능이 높아질 수 밖에 없으며, 이는 결국 제조 비용 상승 등의 문제로 이어질 수 있다.

본 발명에서는 이러한 문제를 해결하기 위해 디스플레이 컨트롤러(100)를 제공한다. 디스플레이 컨트롤러(100)는 원본 영상 처리기(210)가 출력하는 제1 기준 영상의 초당 프레임 수를 조절함과 동시에, 다양한 영상 처리 방법을 이용하여 가상 현실 서비스에서 발생할 수 있는 저더(judder) 문제 등을 해결할 수 있다.

한편, 가상 현실 장치(10, 20)는 사용자의 움직임을 감지하여 사용자가 보는 화면을 전환시킬 수 있다. 일 실시예로, 가상 현실 장치(10, 20)를 착용한 사용자가 머리 또는 시선을 상하좌우로 움직이는 경우, 센서(230)가 사용자의 움직임을 감지하여 움직임 정보를 생성할 수 있다. 가상 현실 장치(10, 20)는 상기 움직임 정보에 기초하여 사용자가 보는 화면을 전환시킬 수 있다. 사용자의 움직임에 따른 화면 이동이 부드럽게 이루어지지 않는 경우, 사용자가 화면 끊김을 인식하게 되어 어지러움 또는 피로감 등을 쉽게 느낄 수 있다.

본 발명의 실시예에 따르면, 디스플레이 컨트롤러(100)에서 상기와 같은 문제를 해결할 수 있다. 디스플레이 컨트롤러(100)는 사용자가 실제로 보는 화면보다 큰 영역을 포함하는 기준 영상을 버퍼(120)에 미리 저장할 수 있다. 사용자의 움직임이 감지되면, 영상 처리기(130)가 버퍼(120)에 저장된 기준 영상으로부터 사용자의 움직임에 따라 표시되어야 하는 화면을 선택하여 출력할 수 있다. 따라서, 사용자의 움직임에 따라 화면을 전환하는 데에 필요한 지연 시간을 단축시켜 사용자에게 부드러운 화면 이동을 제공하고, 좀 더 편안하고 생생한 가상 현실 서비스를 제공할 수 있다.

다음으로 도 4를 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100A)에서, 영상 처리기(130A)는 영역 계산기(131)와 해상도 컨버터(132)를 포함할 수 있으며, 그 외에 화상 왜곡기를 더 포함할 수도 있다. 영역 계산기(131)는 버퍼(120)에 저장된 제2 기준 영상에서 적어도 일부 영역을 선택하며, 도 3의 실시예에 따른 영상 처리기(130)와 유사하게 동작할 수 있다. 해상도 컨버터(132) 및/또는 화상 왜곡기는 영역 계산기(131)가 출력하는 영상의 특징, 예를 들어 해상도를 왜곡시켜 광학부(17)를 통해서 왜곡되는 영상과 역상의 영상을 생성할 수 있다. 또한 영역 계산기(131)가 출력하는 영상의 해상도를 높일 수 있다.

원본 영상 처리기(210)에 전달되는 원본 영상의 해상도가 높은 경우, 프레임 레이트 컨버터(110)가 제1 기준 영상의 초당 프레임 수를 높이는 데에 필요한 연산량이 증가할 수 있다. 또한, 프레임 레이트 컨버터(110)가 출력하는 제2 기준 영상의 용량이 크기 때문에, 버퍼(120)의 용량 역시 커질 수 밖에 없다. 본 발명의 실시예에서는 프레임 레이트 컨버터(110)의 연산 부담을 줄이고, 버퍼(120)의 용량을 줄이기 위해 원본 영상 처리기(210)가 원본 영상의 해상도를 낮춰서 제1 기준 영상을 생성할 수 있다.

가상 현실 장치(10, 20)가 출력하는 영상은 사용자의 눈으로부터 매우 가까운 위치에서 표시되므로, 출력 영상의 해상도가 낮을 경우 픽셀 깨짐 현상 등이 사용자에게 인식될 수 있다. 따라서, 원본 영상의 해상도를 낮춰 제1 기준 영상을 생성하되, 영역 계산기(131)의 출력단에 해상도 컨버터(132)를 배치하여 원본 영상과 비슷하거나 그보다 높은 해상도를 갖는 출력 영상을 디스플레이 구동 장치(220)에 전달할 수 있다. 제1 기준 영상의 해상도가 낮아지므로, 버퍼(120)의 용량과 프레임 레이트 컨버터(110)의 연산 부담을 줄일 수 있으며, 출력 영상은 다시 해상도를 높여 디스플레이 구동 장치(220)에 전달되므로, 사용자에게는 고해상도의 출력 영상을 제공할 수 있다.

도 5는 본 발명의 실시예에 따른 전자 기기를 나타낸 블록도이다.

도 5를 참조하면, 본 발명의 실시예에 따른 전자 기기(300)는, 애플리케이션 프로세서(310), 센서 모듈(320), 디스플레이 컨트롤러(330), 디스플레이 장치(340), 메모리(350), 통신 모듈(360) 등을 포함할 수 있다. 전자 기기(300)에 포함되는 각 구성 요소들은 실시예에 따라 더 추가될 수도 있으며, 데이터 버스(370)를 통해 서로 데이터를 주고받을 수 있다.

애플리케이션 프로세서(310)는 전자 기기(300)의 전반적인 동작을 제어하기 위한 연산 처리 장치일 수 있다. 전자 기기(300)가 가상 현실 장치(10)에 장착되어 가상 현실 서비스를 제공하기 위한 목적으로 이용되는 경우, 애플리케이션 프로세서(310)는 통신 모듈(360)을 통해 외부의 영상 촬영 장치로부터 원본 영상을 수신하거나, 또는 메모리(350)에 저장된 영상 데이터를 인출하여 원본 영상으로 이용할 수 있다. 일 실시예에서, 애플리케이션 프로세서(310)는 도 3 및 도 4를 참조하여 설명한 원본 영상 처리기(210)를 포함할 수 있다.

센서 모듈(320)은 하나 이상의 센서를 가질 수 있으며, 특히 사용자의 움직임을 감지하기 위한 모션 감지 센서를 포함할 수 있다. 전자 기기(300)가 가상 현실 장치(10)에 장착되는 경우, 가상 현실 장치(10)를 착용한 사용자의 머리 또는 시선 등의 움직임이 센서 모듈(320)에 의해 감지될 수 있다. 센서 모듈(320)이 감지한 사용자의 움직임에 기초하여, 사용자에게 표시되는 가상 현실 서비스의 영상이 바뀔 수 있다.

디스플레이 컨트롤러(330)는 사용자에게 좀 더 자연스럽고 편안한 가상 현실 서비스를 제공하기 위해 제공될 수 있다. 일 실시예로, 디스플레이 컨트롤러(330)는 프레임 레이트 컨버터, 버퍼, 영상 처리기 등을 포함할 수 있다. 디스플레이 컨트롤러(330)는 사용자에게 가상 현실 서비스를 제공하기 위한 원본 영상의 초당 프레임 수를 증가시켜 버퍼에 저장할 수 있다. 또한 디스플레이 컨트롤러(330)는 센서 모듈(320)이 감지하는 사용자의 움직임에 기초하여 버퍼에 저장된 영상의 적어도 일부 영역을 선택함으로써 출력 영상을 생성할 수 있다.

디스플레이 컨트롤러(330)가 생성한 출력 영상은 디스플레이 장치(340)를 통해 사용자에게 표시될 수 있다. 디스플레이 장치(340)는 디스플레이 패널과 디스플레이 구동 장치를 포함할 수 있다. 디스플레이 구동 장치는 타이밍 컨트롤러, 게이트 드라이버, 데이터 드라이버 등을 포함할 수 있다. 한편, 일 실시예에서, 디스플레이 컨트롤러(330)는 디스플레이 구동 장치 또는 애플리케이션 프로세서(310) 등과 단일의 모듈로 구현될 수 있다.

도 6 및 도 7은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다. 이하, 설명의 편의를 위해 도 3을 함께 참조하여 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기로 한다.

우선 도 6을 참조하면, 원본 영상(400)은 제1 초당 프레임 수를 갖는 동영상일 수 있다. 제1 초당 프레임 수가 24 fps인 경우를 가정하면, 원본 영상(400)에서 연속적으로 표시되는 제1 및 제2 프레임(411, 412) 사이에는 1/24초, 약 41.7 msec의 시간이 존재할 수 있다. 사람의 눈에 보여지는 화면이 시신경을 거쳐 뇌까지 전달되어 인식하는 데에 걸리는 시간이 매우 짧기 때문에, 24 fps의 원본 영상(400)을 그대로 출력할 경우 사용자가 화면의 끊김을 인식할 수 있다. 이는, 제1 및 제2 프레임(411, 412) 사이에 약 33.3msec의 시간이 존재하는 30 fps의 원본 영상(400)의 경우에도 마찬가지일 수 있다.

본 발명의 실시예에서는, 디스플레이 컨트롤러(100)가 초당 프레임 수를 높여 출력 영상을 생성함으로써 상기와 같은 문제를 해결할 수 있다. 도 3 및 도 6을 참조하면, 원본 영상 처리기(210)는 원본 영상(400)을 영상 처리하여 제1 기준 영상(420)을 생성할 수 있다. 제1 기준 영상(420)에 포함되는 제1 및 제2 프레임(421, 422)은, 원본 영상(410)에 포함되는 제1 및 제2 프레임(411, 412)에서 선택된 일부 영역일 수 있다. 한편, 제1 기준 영상(420)은 원본 영상(410)과 같은 초당 프레임 수를 가질 수 있다.

제1 기준 영상(420)은 디스플레이 컨트롤러(100)로 전송될 수 있다. 프레임 레이트 컨버터(110)는 제1 기준 영상(420)을 받아 제2 기준 영상(430)을 생성할 수 있다. 제2 기준 영상(430)은, 제1 프레임(431)과 제2 프레임(432), 및 그 사이에 삽입되는 복수의 추가 프레임(433, 434, 435)을 포함할 수 있다. 제1 및 제2 프레임(431, 432) 각각은 제1 기준 영상(420)의 제1 및 제2 프레임(421, 422)과 동일할 수 있다.

제1 내지 제3 추가 프레임(433-435)은 프레임 레이트 컨버터(110)에 의해 삽입되는 프레임일 수 있다. 일 실시예에서, 제1 내지 제3 추가 프레임(433-435)은 제1 프레임(431) 또는 제2 프레임(432)과 동일할 수 있다. 원본 영상(410)이 30 fps의 초당 프레임 수를 갖는 경우, 제1 내지 제3 추가 프레임(433-435)을 삽입함으로써 제2 기준 영상(430)은 120 fps의 초당 프레임 수를 가질 수 있다. 제2 기준 영상(430)은 버퍼(120)에 저장될 수 있다.

영상 처리기(130)는 버퍼(120)에 저장된 제2 기준 영상(430)에 포함된 영상 프레임들(431-435)에서 적어도 일부 영역을 선택하여 출력 영상(440)을 생성할 수 있다. 도 6을 참조하면, 출력 영상(440)은 제2 기준 영상(430)과 같은 초당 프레임 수를 가질 수 있다. 출력 영상(440)에 포함되는 각 영상 프레임들(441-445)은, 제2 기준 영상(430)에 포함되는 영상 프레임들(431-435) 보다 작은 크기를 가질 수 있다.

출력 영상(440)에 포함되는 각 영상 프레임들(441-445)은 가상 현실 장치(10, 20)를 착용한 사용자의 눈에 실제로 보여지는 화면일 수 있다. 출력 영상(440)의 각 영상 프레임들(441-445)은 제2 기준 영상(430)의 영상 프레임들(431-435)에서 선택되는 일부의 영역일 수 있다. 일 실시예에서, 출력 영상(440)의 영상 프레임들(441-445)은 사용자의 시선 또는 머리의 움직임을 감지하여 제2 기준 영상(430)의 영상 프레임들(431-435)에서 일부 영역을 선택함으로써 생성될 수 있다.

도 7을 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)를 거치지 않은 일반적인 출력 영상(450)은, 제1 프레임(451) 이후 바로 제2 프레임(452)을 표시할 수 있다. 제1 및 제2 프레임(451, 452) 사이에는 1/30초의 시간 차가 존재하며, 제1 및 제2 프레임(451, 452) 사이의 변위 차이가 사용자에게 인식될 수 있다. 따라서, 사용자가 가상 현실 장치(10, 20)를 통해 일반적인 출력 영상(450)을 보는 경우, 화면 끊김을 인식하거나 화면 내에서 특정 영역이 순간적으로 이동하는 것을 인식하게 되어 피로감 또는 어지러움 등을 느낄 수 있다.

본 발명의 실시예에 따른 디스플레이 컨트롤러(100)는 상기와 같은 문제를 해결할 수 있다. 도 7을 참조하면, 일반적인 출력 영상(450)과 달리, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)가 생성한 출력 영상(440)은 제1 및 제2 프레임(441, 442) 사이에 삽입되는 추가 프레임들(443-445)을 포함할 수 있다. 따라서, 초당 프레임 수가 120 fps로 높아지므로, 사용자가 화면의 끊김을 인식할 수 없게 되어 피로감 또는 어지러움 등이 발생하지 않을 수 있다.

또한, 추가 프레임들(443-445)은 사용자의 시선 이동 또는 머리의 움직임에 기초하여 생성될 수 있다. 출력 영상(440)의 추가 프레임들(443-445)은 제1 프레임(441)과 제2 프레임(442) 사이의 시간 동안 사용자의 시선 이동 또는 머리의 움직임을 따라가는 영역으로 정의될 수 있다. 즉, 추가 프레임들(443-445)은 제1 및 제2 프레임(441, 442) 사이에 존재하는 영역일 수 있다. 따라서, 가상 현실 장치(10, 20)는 제1 프레임(441) - 제1 추가 프레임(443) - 제2 추가 프레임(444) - 제3 추가 프레임(445) - 제2 프레임(442)을 연속적으로 표시하게 되며, 사용자는 끊김없이 자연스럽게 이동하는 출력 영상(440)을 제공받을 수 있다.

한편, 앞서 설명한 바와 같이, 제2 기준 영상(430)은 버퍼(120)에 저장되며, 영상 처리기(130)는 사용자의 시선이나 머리의 움직임을 고려하여 버퍼(120)에 저장된 제2 기준 영상(430)으로부터 일부 영역을 선택하는 것만으로 추가 프레임들(443-445)을 생성할 수 있다. 따라서, 추가 프레임들(443-445)을 생성하는 데에 필요한 지연 시간(latency)을 단축할 수 있으며, 사용자의 움직임에 대한 가상 현실 장치(10, 20)의 반응 속도를 개선할 수 있다.

도 8은 본 발명의 실시예에 따른 가상 현실 장치와 연동되어 동작할 수 있는 영상 촬영 장치를 나타낸 도이다.

도 8을 참조하면, 본 발명의 실시예에 따른 영상 촬영 장치(30)는, 카메라부(31), 케이스(32), 지지부(33) 등을 포함할 수 있다. 카메라부(31)는 하나 이상의 렌즈와 이미지 센서, 및 이미지 센서가 생성한 신호로부터 영상을 생성하는 이미지 프로세서 등을 포함할 수 있다. 일 실시예에서, 영상 촬영 장치(30)는 영상 촬영 장치(30)를 기준으로 주변 360도를 한 번에 촬영할 수 있으며, 이때 카메라부(31)에 포함되는 렌즈는 넓은 화각을 한 번에 촬영할 수 있는 어안 렌즈일 수 있다. 주변 360도를 한 번에 촬영하기 위해, 카메라부(31)는 서로 다른 위치에 배치된 복수의 어안 렌즈를 포함할 수 있으며, 이미지 센서 역시 복수 개일 수 있다.

영상 촬영 장치(30)가 생성하는 영상은 원본 영상으로서 가상 현실 장치(10, 20)로 전송될 수 있다. 가상 현실 장치(10, 20)와 영상 촬영 장치(30)는 유무선 통신 프로토콜에 의해 서로 연결될 수 있으며, 사용자는 가상 현실 장치(10, 20)를 장착하여 영상 촬영 장치(30)가 전송하는 원본 영상을 실시간으로 볼 수 있다. 단독형이 아닌 가상 현실 장치(10)의 경우, 전자 기기(18)가 영상 촬영 장치(30)가 전송하는 원본 영상을 출력함으로써 사용자에게 가상 현실 서비스를 제공할 수 있다.

도 9 내지 도 16은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다. 우선, 도 9 내지 도 11을 참조하여 원본 영상이 360도 영상인 경우, 본 발명의 실시에에 따른 디스플레이 컨트롤러의 동작을 설명하기로 한다.

도 9를 참조하면, 원본 영상(500)은 도 8에 도시한 실시예에 따른 영상 촬영 장치(30)를 기준으로 주변 360도를 모두 촬영한 영상일 수 있다. 원본 영상 처리기(210)는 센서(230)가 감지하는 사용자의 움직임, 시선의 이동 등을 고려하여 원본 영상(500)에서 일부 영역을 선택함으로써 제1 기준 영상(510)을 생성할 수 있다. 제1 기준 영상(510)은 원본 영상(500)과 같은 초당 프레임 수를 가질 수 있다. 도 9에 도시한 바와 같이 제1 기준 영상(510)은 원본 영상에서 선택되는 일부 영역이며, 사용자에게 실제로 표시되는 출력 영상보다는 큰 영역일 수 있다.

앞서 도 3을 참조하여 설명한 바와 같이, 디스플레이 컨트롤러(100)는 프레임 레이트 컨버터(110), 버퍼(120) 및 영상 처리기(130)를 포함할 수 있다. 프레임 레이트 컨버터(110)는 원본 영상 처리기(210)가 생성한 제1 기준 영상(510)의 초당 프레임 수를 증가시킬 수 있다. 제1 기준 영상(510)은 원본 영상(500)과 동일한 초당 프레임수를 가질 수 있는데, 일 실시예로 제1 기준 영상(510)의 초당 프레임수가 30 fps인 경우, 프레임 레이트 컨버터(110)는 이를 120 fps으로 높여 제2 기준 영상(520)을 생성하고, 이를 버퍼(120)에 저장할 수 있다. 제2 기준 영상(520)은 제1 기준 영상(510)과 같은 크기를 가질 수 있다.

본 발명의 실시예에 따른 디스플레이 컨트롤러(100)가 채용되지 않는 경우, 도 10에 도시한 바와 같이 출력 영상(530)은 제1 및 제2 프레임(531, 532)이 연속적으로 표시될 수 있다. 출력 영상(530)은 원본 영상(500) 및 제1 기준 영상(510)과 동일한 초당 프레임 수를 가질 수 있으며, 일 실시예로 제1 및 제2 프레임(531, 532) 사이에는 1/30초의 시간이 존재할 수 있다. 따라서, 사용자의 시선 또는 머리의 움직임에 따라 제1 프레임(531) 이후 제2 프레임(532)이 표시됨에 따라, 사용자가 출력 영상(530)의 끊김 및 늦은 화면 전환 등을 인식할 수 있다.

도 11을 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)에 포함되는 영상 처리기(130)는, 버퍼(120)에 저장된 제2 기준 영상(520)으로부터 사용자에게 실제로 표시되는 출력 영상(530)을 생성할 수 있다. 출력 영상(530)은 도 10에 도시한 실시예와 달리, 제1 및 제2 프레임(531, 532) 사이에 삽입되어 순차적으로 표시되는 복수의 추가 프레임들(533-535)을 포함할 수 있다. 따라서, 사용자에게 도 11에 도시한 바와 같이 1/30초 동안 3개의 추가 프레임(533-535)이 더 표시되므로, 사용자가 출력 영상(530)의 끊김 또는 늦은 화면 전환을 인식하는 것을 방지하고, 사용자의 피로도와 어지러움 등을 줄일 수 있다.

일 실시예로, 영상 처리기(130)는 센서(230)가 감지하는 사용자 머리의 움직임 또는 시선 이동을 참조하여 추가 프레임들(533-535)을 생성할 수 있다. 즉, 본 발명의 실시예에서는, 영상 처리기(130)가 센서(230)로부터 정보를 수신하고, 버퍼(120)에 저장된 제2 기준 영상(520)의 영상 프레임들에서 일부 영역을 선택하는 것만으로 추가 프레임들(533-535)이 생성될 수 있다. 따라서, 출력 영상(530)의 초당 프레임 수를 증가에 필요한 추가 프레임들(533-535) 생성에 필요한 시간을 최소화하여 저더(judder) 현상 발생을 억제할 수 있다. 추가 프레임들(533-535)의 개수는 목표로 하는 출력 영상의 초당 프레임 수, 사용자의 움직임이나 시선 이동의 속도 등을 고려하여 적절히 결정될 수 있다.

다음으로 도 12 내지 도 14를 참조하여 원본 영상이 게임 영상인 경우, 본 발명의 실시에에 따른 디스플레이 컨트롤러의 동작을 설명하기로 한다. 즉, 도 12 내지 도 14에 도시한 실시예에서, 가상 현실 장치(10, 20)는 사용자에게 가상 현실 서비스에 기반한 게임 기능을 제공할 수 있다. 도 12 내지 도 14에서는 레이싱 게임을 예시로 도시하였으나, 이와 다른 다양한 장르의 게임 기능이 제공될 수 있음은 물론이다.

우선 도 12를 참조하면, 디스플레이 컨트롤러(100)의 프레임 레이트 컨버터(110)는, 게이머에게 실제로 표시되는 출력 영상의 영상 프레임들(610, 620)보다 큰 제2 기준 영상(600)을 생성하여 버퍼(120)에 저장할 수 있다. 제2 기준 영상(600)은 원본 영상 처리기(210)가 전달하는 제1 기준 영상과 실질적으로 동일한 크기를 가질 수 있으며, 게임 프로그램에서 제공하는 원본 영상보다 높은 초당 프레임 수를 가질 수 있다. 프레임 레이트 컨버터(110)는, 원본 영상 처리기(210)가 전달하는 제1 기준 영상의 초당 프레임 수를 높여 제2 기준 영상(600)을 생성하고, 버퍼(120)에 저장할 수 있다.

즉, 게임이 실행되는 동안, 디스플레이 컨트롤러(100)의 프레임 레이트 컨버터(110)는 원본 영상보다 높은 초당 프레임 수를 갖는 제2 기준 영상(600)을 버퍼(120)에 저장할 수 있다. 한편 게이머는, 제2 기준 영상(600)의 일부 영역인 출력 영상의 영상 프레임들(610, 620)을 실제로 보면서 게임을 플레이할 수 있다.

가상 현실 서비스에 기반한 게임은, 게임을 플레이하는 게이머의 1인칭 시점에서 진행될 수 있다. 빠른 응답 속도로 자연스러운 1인칭 시점의 게임 영상을 제공하기 위해, 출력 영상의 영상 프레임들(610, 620)에서 적어도 일부 영역은 게임이 플레이되는 동안 상대적으로 적은 변화량을 가질 수 있다. 도 12 내지 도 14에 도시한 실시예에 따른 레이싱 게임의 경우, 게이머가 탑승한 것으로 가정되는 차량을 표시하는 전경 영상(610A)은, 게이머가 게임을 플레이하는 동안 핸들과 바퀴가 움직이거나, 사이드 미러에 비치는 이미지가 바뀌는 정도의 변화만을 포함할 수 있다.

도 13을 참조하면, 출력 영상에서 제1 및 제2 프레임(610, 620)은 순차적으로 표시되며, 제1 및 제2 프레임(610, 620)은 레이싱 게임에서 게이머의 운전 방향에 따라 결정될 수 있다. 제2 프레임(620)은 제1 프레임(610)을 기준으로 우측 상단에 위치하는데, 핸들 및 가속 페달 등을 조작하여 게이머가 전방 우측으로 이동하는 경우 제1 프레임(610)에 이어 제2 프레임(620)이 표시될 수 있다. 일반적으로 게임 영상은 대개 30 fps의 초당 프레임수를 가지며, 제1 프레임(610)과 제2 프레임(620) 사이의 시간 차는 약 1/30초일 수 있다. 따라서, 게이머가 제1 및 제2 프레임(610, 620) 사이의 이동 및 시간 차 등을 감지할 수 있으며, 이는 게이머가 느끼는 어지러움, 피로도 등의 원인이 될 수 있다.

본 발명의 실시예에서는, 도 14에 도시한 바와 같이 제1 및 제2 프레임(610, 620) 사이에 복수의 추가 프레임들(611, 612, 613)을 삽입하여 상기와 같은 문제를 해결할 수 있다. 추가 프레임들(611, 612, 613)은 제1 및 제2 프레임들(610, 620) 사이에서 선택되는 일부의 영역일 수 있다. 디스플레이 컨트롤러(100)의 영상 처리기(130)는, 버퍼(120)에 저장된 제2 기준 영상(600)에 포함되는 영상 프레임들에서 일부 영역을 선택하여 추가 프레임들(611, 612, 613)을 생성할 수 있다. 일 실시예로 영상 처리기(130)는 게이머가 입력하는 조작 명령, 게이머의 시선 이동 방향과 속도 등을 고려하여 추가 프레임들(611, 612, 613)을 생성할 수 있다.

앞서 설명한 바와 같이 버퍼(120)에 저장된 제2 기준 영상(600)은, 게임 프로그램이 제공하는 원본 영상보다 높은 프레임 수를 가질 수 있다. 일 실시예로, 게임 프로그램이 제공하는 원본 영상이 30 fps의 초당 프레임 수를 갖는 경우, 버퍼(120)에 저장된 기준 영상(600)은 120 fps의 초당 프레임 수를 가질 수 있다. 즉, 버퍼(120)에 저장된 제2 기준 영상(600)의 영상 프레임들은 1/120초마다 표시될 수 있다.

본 발명의 실시예에서 제1 및 제2 프레임(610, 620) 사이에 삽입되는 추가 프레임들(611, 612, 613)은 제2 기준 영상(600)에 포함되는 영상 프레임들에서 선택되는 일부 영역이므로, 출력 영상 역시 제2 기준 영상(600)과 마찬가지로 120 fps의 초당 프레임 수를 가질 수 있다. 따라서, 게이머가 느끼는 피로도와 저더(judder) 현상 등을 줄일 수 있다. 또한, 원본 영상 처리기(210)의 영상 처리 과정 없이, 버퍼(120)에 저장된 제2 기준 영상(600)의 일부 영역을 선택하는 것만으로 추가 프레임들(611, 612, 613)을 생성할 수 있으므로, 추가 프레임들(611, 612, 613)을 생성하는 데에 필요한 시간을 단축할 수 있다. 따라서, 추가 프레임들(611, 612, 613)을 원본 영상 처리기(210)에서 직접 생성함으로써 발생할 수 있는 응답 속도 저하의 문제를 해결할 수 있다.

한편, 앞서 설명한 바와 같이, 게이머의 1인칭 시점에서 진행되는 게임의 경우, 출력 영상에 포함되는 프레임들(610, 611, 612, 613, 620)의 일부 영역인 전경 영상(610A)은 상대적으로 적은 변화만을 포함할 수 있다. 레이싱 게임의 경우, 전경 영상(610A)에는 게이머가 운전하는 것으로 가정되는 차량 이미지가 포함될 수 있으며, 게임의 진행 정도에 따라 차량의 핸들이나 바퀴가 움직이고, 사이드 미러에 비치는 이미지가 바뀌는 정도의 변화만이 발생할 수 있다.

일 실시예에서, 영상 처리기(130)는 연산의 효율성을 높이기 위해 전경 영상(610A), 및 이를 제외한 후경 영상을 별도로 처리할 수 있다. 상대적으로 적은 변화를 보이는 전경 영상(610A)과, 상대적으로 큰 변화를 보이는 후경 영상을 별도로 분리하여 처리함으로써, 연산량을 줄이고 연산 속도를 높여 출력 영상의 프레임들(610, 611, 612, 613, 620)을 생성하는 데에 필요한 시간을 단축시킬 수 있다. 일 실시예에서, 전경 영상(610A), 및 이를 제외한 후경 영상은, 매 프레임마다 원본 영상 처리기(210)에 의해 분리되어 디스플레이 컨트롤러(100)에 전달되고, 서로 분리되어 버퍼(120)에 별도로 저장될 수 있다.

다음으로 도 15 및 도 16을 참조하여 사용자가 가상 현실 장치(10, 20)를 이용하여 영화, 드라마 등의 동영상을 감상하는 경우, 본 발명의 실시에에 따른 디스플레이 컨트롤러의 동작을 설명하기로 한다.

영화의 원본 영상은 일반적으로 24 fps의 초당 프레임 수를 가질 수 있다. 따라서, 사용자의 눈 바로 앞에서 영상이 표시되는 가상 현실 장치(10)를 이용하여 영화를 감상할 경우, 사용자는 화면의 끊김을 쉽게 느낄 수 있고 이는 어지러움이나 피로도를 높이는 주요 원인으로 작용할 수 있다. 본 발명의 실시예에서는, 영화의 원본 영상에서 1/24초마다 제공되는 영상 프레임들 사이에 적절한 추가 프레임들을 삽입하여 초당 프레임 수를 높임으로써, 사용자가 느끼는 피로도 및 어지러움 등을 줄일 수 있다.

도 15를 참조하면, 영화의 원본 영상은 1/24초마다 하나의 영상을 표시할 수 있다. 도 15에 도시한 원본 영상의 제1 및 제2 프레임(710, 720)은 순서대로 표시될 수 있다. 이때, 제1 및 제2 프레임(710, 720)의 차이점이 사용자에게 끊기는 현상으로 인식될 수 있다. 도 15를 참조하면, 인물의 위치가 제1 위치(M1)에서 제2 위치(M2)로 이동하게 되는데, 제1 위치(M1)에서 제2 위치(M2)로 이동하는 동안 1/24초, 약 42ms의 시간이 발생할 수 있다. 이는 자연스러운 이동이 아닌 순간적으로 건너뛰는 이동처럼 사용자에게 인식되어 편안한 영화 감상을 저해하는 요인이 발생할 수 있다.

도 16에 도시한 실시예를 참조하면, 본 발명의 실시예에 따른 디스플레이 컨트롤러(100)는 제1 및 제2 프레임(710, 720) 사이에 적절한 추가 프레임들(711-714)을 삽입하여 상기와 같은 문제를 해결할 수 있다. 추가 프레임들(711-714)의 개수는 사용자에게 출력되는 영상의 목표 초당 프레임 수에 따라 적절히 변경될 수 있다. 추가 프레임들(711-714)은 프레임 레이트 컨버터(110)에 의해 생성될 수 있으며, 프레임 레이트 컨버터(110)는 움직임 평가(Motion Estimation, ME) 또는 움직임 보상(Motion Compensation, MC) 기법 등을 이용하여 추가 프레임들(711-714)을 생성할 수 있다. 도 16를 참조하면, 추가 프레임들(711-714) 각각에서 인물의 위치(M1-1, M1-2, M1-3, M1-4)는 제1 및 제2 위치(M1, M2) 사이의 위치일 수 있으며, 따라서 사용자가 영상 내에서 발생하는 사람의 움직임을 끊김없이 자연스럽게 인식할 수 있다.

이상 도 9 내지 도 16을 참조하여 설명한 다양한 실시예들은, 도 3에 도시한 디스플레이 컨트롤러(100)는 물론, 도 4에 도시한 디스플레이 컨트롤러(100A)에도 적용될 수 있다.

도 17은 본 발명의 실시예에 따른 디스플레이 컨트롤러의 동작을 설명하기 위해 제공되는 도이다. 이하, 설명의 편의를 위해 도 4에 도시한 실시예에 따른 디스플레이 컨트롤러(100A)를 함께 참조하여 설명하기로 한다.

도 17에서 제2 기준 영상(800)은, 원본 영상 처리기(210)에 의해 원본 영상으로부터 생성되는 영상일 수 있다. 제2 기준 영상(800)은 사용자에게 실제로 표시되는 출력 영상보다 큰 크기를 가질 수 있다. 한편, 제2 기준 영상(800)은 사용자에게 실제로 표시되는 출력 영상보다 낮은 해상도를 가질 수 있다. 제2 기준 영상(800)은 버퍼(120)에 저장되어 있을 수 있다.

제2 기준 영상(800)에서 선택되는 제1 영역(810)은 제1 프레임으로서 사용자에게 표시되는 출력 영상일 수 있다. 센서(230)가 감지하는 사용자의 움직임 정보에 따라, 영상 처리기(130A)의 영역 계산기(131)는 제1 프레임에 이어서 표시되어야 하는 제2 프레임을 결정할 수 있다. 센서(230)는 사용자의 시선 또는 머리의 움직임을 감지하여 움직임 정보를 생성할 수 있다.

우선 사용자의 움직임 정도가 가장 적은 경우, 영역 계산기(131)는 제2 영역(820)을 제2 프레임으로 결정할 수 있다. 영역 계산기(131)는 버퍼(120)에 저장된 제2 기준 영상(800)으로부터 제2 영역(820)을 선택하여 제2 프레임으로 출력할 수 있다.

사용자의 움직임 정도가 좀 더 큰 경우, 영역 계산기(131)는 제3 영역(830)을 제2 프레임으로 출력할 수 있다. 한편, 사용자의 움직임에 따라 그 이후 프레임에서는 제2 기준 영상(800)에 포함되지 않는 영역이 출력 영상으로 표시되어야 할 수 있다. 이 경우, 원본 영상 처리기(210)는 원본 영상으로부터 새로운 제2 기준 영상을 생성하여 버퍼(120)에 저장할 수 있다. 즉, 사용자의 움직임에 따라 원본 영역 처리기(210)가 원본 영상에서 새로운 제2 기준 영상을 생성하고, 이를 버퍼(120)에 저장할 수 있다.

사용자의 움직임 정도가 매우 커서 제4 영역(840)이 제2 프레임으로 결정된 경우, 제2 프레임으로 결정된 제4 영역(840)은 제2 기준 영상(800)에 포함되지 않을 수 있다. 상기와 같은 경우에는, 원본 영상 처리기(210)가 원본 영상으로부터 제4 영역(840)을 바로 선택하여 디스플레이 구동 장치(220)로 직접 전송함으로써 화면 전환 시에 발생하는 지연 현상을 최소화할 수 있다. 제4 영역(840)이 제2 프레임으로 표시되면, 원본 영상 처리기(210)는 원본 영상에서 새로운 제2 기준 영상을 선택하고, 이를 프레임 레이트 컨버터(110)에 전달할 수 있다. 한편, 도 17을 참조하여 설명한 상기 실시예는, 도 3의 실시예에 따른 디스플레이 컨트롤러(100)에도 적용될 수 있다.

본 발명은 상술한 실시형태 및 첨부된 도면에 의해 한정되는 것이 아니며 첨부된 청구범위에 의해 한정하고자 한다. 따라서, 본 발명의 기본적인 기술적 사상을 벗어나지 않는 범위 내에서 당 기술분야의 통상의 지식을 가진 자에 의해 다양한 형태의 치환, 변형 및 변경이 가능할 것이며, 이 또한 본 발명의 범위에 속한다고 할 것이다.

10. 20: 가상 현실 장치
30: 영상 촬영 장치
100, 100A: 디스플레이 컨트롤러
110: 프레임 레이트 컨버터
120: 버퍼
130, 130A: 영상 처리기

Claims (20)

1. 제1 초당 프레임 수를 갖는 제1 기준 영상에 기초하여, 상기 제1 초당 프레임 수보다 높은 제2 초당 프레임 수를 갖는 제2 기준 영상을 생성하는 프레임 레이트 컨버터;
   상기 제2 기준 영상을 저장하는 버퍼; 및
   상기 제2 기준 영상의 적어도 일부 영역을 선택하여 사용자에게 가상 현실 서비스를 제공하기 위한 출력 영상을 생성하는 영상 처리기; 를 포함하는 디스플레이 컨트롤러.
   
2. 제1항에 있어서,
   상기 프레임 레이트 컨버터는, 상기 제1 기준 영상에서 연속으로 표시되는 제1 및 제2 프레임 사이에, 복수의 추가 프레임을 삽입하여 상기 제2 기준 영상을 생성하는 디스플레이 컨트롤러.
   
3. 제2항에 있어서,
   상기 제1 기준 영상은, 상기 가상 현실 서비스를 제공하기 위한 원본 영상의 일부 영역을 선택하여 생성되는 영상인 디스플레이 컨트롤러.
   
4. 제3항에 있어서,
   상기 영상 처리기는, 상기 사용자의 움직임에 기초하여 상기 제1 프레임, 상기 제2 프레임 및 상기 복수의 추가 프레임 각각에서 적어도 일부 영역을 선택하여 상기 출력 영상을 생성하는 디스플레이 컨트롤러.
   
5. 제3항에 있어서,
   상기 제1 기준 영상은, 상기 사용자의 움직임에 기초하여 상기 원본 영상의 일부 영역을 선택함으로써 생성되는 영상인 디스플레이 컨트롤러.
   
6. 제3항에 있어서,
   상기 원본 영상은 360도 카메라가 촬영한 영상이며, 상기 제1 및 제2 기준 영상은 상기 원본 영상보다 작은 크기를 갖는 디스플레이 컨트롤러.
   
7. 제3항에 있어서,
   상기 원본 영상은 게임 영상이며, 상기 제1 및 제2 기준 영상은 상기 원본 영상보다 작은 크기를 갖는 디스플레이 컨트롤러.
   
8. 제7항에 있어서,
   상기 버퍼는 상기 제2 기준 영상을 제1 영역 및 상기 제1 영역보다 큰 제2 영역으로 구분하여 저장하는 디스플레이 컨트롤러.
   
9. 제8항에 있어서,
   상기 영상 처리기는, 상기 사용자의 움직임에 기초하여 상기 제1 프레임, 상기 제2 프레임 및 상기 복수의 추가 프레임 각각에서 적어도 일부 영역을 선택하여 상기 제2 영역을 결정하는 디스플레이 컨트롤러.
   
10. 제9항에 있어서,
    상기 영상 처리기는, 상기 제1 영역과 상기 제2 영역을 결합하여 상기 출력 영상을 생성하는 디스플레이 컨트롤러.
    
11. 제2항에 있어서,
    상기 제1 기준 영상은, 상기 가상 현실 서비스를 제공하기 위한 원본 영상과 같은 크기를 갖는 영상인 디스플레이 컨트롤러.
    
12. 제11항에 있어서,
    상기 프레임 레이트 컨버터는, 움직임 예측(Motion Estimation) 및 움직임 보정(Motion Compensation) 기법 중 적어도 하나를 이용하여 상기 복수의 추가 프레임을 생성하는 디스플레이 컨트롤러.
    
13. 제1항에 있어서,
    상기 제1 기준 영상 및 상기 제2 기준 영상은 상기 가상 현실 서비스를 제공하기 위한 원본 영상보다 낮은 해상도를 갖는 디스플레이 컨트롤러.
    
14. 제13항에 있어서,
    상기 영상 처리기는, 상기 제2 기준 영상으로부터 선택한 상기 적어도 일부 영역의 해상도를 증가시켜 상기 출력 영상을 생성하는 디스플레이 컨트롤러.
    
15. 애플리케이션 프로세서;
    사용자의 움직임을 감지하여 움직임 정보를 생성하는 센서;
    상기 사용자에게 가상 현실 서비스를 제공하기 위한 원본 영상의 초당 프레임 수를 증가시킨 기준 영상을 저장하는 버퍼를 포함하며, 상기 움직임 정보에 기초하여 상기 기준 영상의 적어도 일부 영역을 선택하여 출력 영상을 생성하는 디스플레이 컨트롤러; 및
    디스플레이 패널과, 상기 디스플레이 패널을 통해 상기 출력 영상을 표시하는 디스플레이 구동 장치를 갖는 디스플레이 장치; 를 포함하는 전자 기기.
    
16. 제15항에 있어서,
    상기 애플리케이션 프로세서는, 상기 원본 영상으로부터 제1 초당 프레임 수를 갖는 제1 기준 영상을 생성하여 상기 디스플레이 컨트롤러에 제공하는 원본 영상 처리기를 포함하는 전자 기기.
    
17. 제15항에 있어서,
    상기 디스플레이 컨트롤러는 상기 애플리케이션 프로세서 및 상기 디스플레이 구동 장치 중 적어도 하나와 단일의 모듈로 제공되는 모바일 전자 기기.
    
18. 제15항에 있어서,
    상기 디스플레이 컨트롤러는 상기 애플리케이션 프로세서 및 상기 디스플레이 구동 장치와 별도의 모듈로 제공되는 모바일 전자 기기.
    
19. 사용자의 머리에 장착되는 헤드 마운트 장치;
    상기 사용자의 움직임을 감지하여 움직임 정보를 생성하는 센서;
    원본 영상의 초당 프레임 수를 증가시킨 기준 영상을 저장하는 버퍼를 포함하며, 상기 움직임 정보에 기초하여 상기 기준 영상으로부터 적어도 일부 영상을 선택하여 출력 영상을 생성하는 디스플레이 컨트롤러; 및
    상기 헤드 마운트 장치에 장착되며, 상기 출력 영상을 표시하는 디스플레이 장치; 를 포함하는 가상 현실 장치.
    
20. 제19항에 있어서,
    상기 디스플레이 장치는, 상기 헤드 마운트 장치로부터 분리될 수 있는 모바일 전자 기기에 의해 제공되는 가상 현실 장치.
    

Images