KR101547151B1

KR101547151B1 - 영상 처리 방법 및 장치

Info

Publication number: KR101547151B1
Application number: KR1020080134951A
Authority: KR
Inventors: 정길수; 이대종; 정현권; 전혜영
Original assignee: 삼성전자주식회사
Priority date: 2008-12-26
Filing date: 2008-12-26
Publication date: 2015-08-25
Anticipated expiration: 2028-12-26
Also published as: CN101771892B; EP2202992A3; JP5543191B2; KR20100076783A; JP2010158009A; CN101771892A; US8767048B2; EP2202992A2; US20100165081A1

Abstract

2차원 영상을 소정 단위로 구분하기 위한 샷 정보를 메타데이터로부터 추출하고, 샷 정보에 포함된 샷 타입 정보를 이용하여, 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있다고 판단되면, 메타데이터로부터 소정 샷에 포함된 프레임들의 배경에 대한 배경용 뎁쓰 정보를 추출하고, 배경용 뎁쓰 정보를 이용하여 프레임들의 배경에 대한 뎁쓰 맵을 생성하고, 소정 샷에 포함된 프레임들에 오브젝트가 포함되어 있는 경우, 메타데이터로부터 오브젝트에 대한 오브젝트용 뎁쓰 정보를 추출하고, 오브젝트용 뎁쓰 정보를 이용하여 오브젝트에 대한 뎁쓰 맵을 생성하는 영상 처리 방법이 개시된다.

3차원, 영상 변환, 메타데이터, 뎁쓰 맵

Description

영상 처리 방법 및 장치{Image processing method and apparatus}

본 발명은 영상 처리 방법 및 그 장치에 대한 것으로, 보다 구체적으로 메타데이터로부터 추출된 뎁쓰 정보를 이용하여 프레임에 대한 뎁쓰 맵을 생성하는 영상 처리 방법 및 장치에 대한 것이다.

디지털 기술의 발달로 3차원 영상 기술이 널리 보급되고 있다. 3차원 영상 기술은 2차원 영상에 깊이에 대한 정보를 부여하여 보다 사실적인 영상을 표현하는 기술이다.

사람의 눈은 가로 방향으로 소정 거리만큼 떨어져 있으므로 좌안과 우안이 보는 2차원 영상이 서로 다른데 이를 양안시차라고 한다. 뇌는 서로 다른 두 개의 2차원 영상을 융합하여 원근감과 실재감이 있는 3차원 영상을 생성한다.

3차원 영상 기술은 처음부터 비디오 데이터를 3차원으로 영상으로 생성하는 기술과, 2차원 영상으로 생성된 비디오 데이터를 3차원 영상으로 변환하는 기술이 있으며, 두 기술에 대한 연구가 함께 이루어지고 있다.

본 발명은 배경용 뎁쓰 정보를 이용하여 오브젝트에 대한 뎁쓰 맵을 생성하는 영상 처리 방법 및 장치를 제공하기 위한 것이다.

본 발명의 일 측면에 따르면, 2차원 영상을 소정 단위로 구분하기 위한 샷 정보를 메타데이터로부터 추출하는 단계, 상기 샷 정보에 포함된 샷 타입 정보를 이용하여, 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있다고 판단되면, 상기 메타데이터로부터 상기 소정 샷에 포함된 프레임들의 배경에 대한 배경용 뎁쓰 정보를 추출하는 단계, 상기 배경용 뎁쓰 정보를 이용하여 상기 프레임들의 배경에 대한 뎁쓰 맵을 생성하는 단계, 상기 소정 샷에 포함된 프레임들에 오브젝트가 포함되어 있는 경우, 상기 메타데이터로부터 상기 오브젝트에 대한 오브젝트용 뎁쓰 정보를 추출하는 단계 및 상기 오브젝트용 뎁쓰 정보를 이용하여 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 영상 처리 방법을 제공할 수 있다.

바람직한 실시 예에 의하면, 상기 샷 정보를 이용하여 상기 소정 샷에 포함된 프레임들이 출력되어야 하는 시각을 구하는 단계를 더 포함할 수 있다. 또한, 상기 배경에 대한 뎁쓰 맵을 생성하는 단계는 상기 배경용 뎁쓰 정보로부터 배경의 기본 구조를 나타내는 배경 타입 정보, 상기 배경에 포함된 곡면에 뎁쓰 값을 적용하기 위한 곡면 정보, 상기 배경의 좌표점 및 상기 배경의 좌표점에서의 상기 배경의 뎁쓰 값, 화면의 뎁쓰 값을 나타내는 패널 포지션 값을 추출하여 상기 배경에 대한 뎁쓰 맵을 생성하는 단계를 포함할 수 있다.

또한, 상기 배경에 대한 뎁쓰 맵을 생성하는 단계는 상기 배경 타입 정보에 따른 상기 배경의 기본 구조의 뎁쓰 값 및 상기 곡면 정보에 따른 상기 곡면의 뎁쓰 값을 이용하여 상기 배경에 대한 뎁쓰 맵을 생성하는 단계를 포함할 수 있다.

또한, 상기 프레임에 포함된 배경이 동일한 뎁쓰 값을 갖는 경우, 상기 배경에 대한 뎁쓰 맵을 필터링하는 단계를 더 포함하고, 상기 배경에 대한 뎁쓰 맵을 필터링하는 단계는 상기 배경에 대한 뎁쓰 맵이 원구의 중심을 지나는 평면이 되도록 상기 배경에 대한 뎁쓰 맵에 반구 필터를 적용하거나, 상기 배경에 대한 뎁쓰 맵이 원기둥을 세로로 반으로 나누는 평면이 되도록 상기 배경에 대한 뎁쓰 맵에 반원기둥 필터를 적용하거나, 상기 배경에 대한 뎁쓰 맵이 삼각기둥의 사각형 옆면이 되도록 상기 배경에 대한 뎁쓰 맵에 삼각기둥 필터를 적용하여 상기 배경에 대한 뎁쓰 맵을 변형하는 단계를 포함할 수 있다. 또한, 상기 오브젝트용 뎁쓰 정보에는 상기 오브젝트의 유형이 2차원 오브젝트, 노말 오브젝트, 하이라이트 오브젝트 중 무엇인지를 나타내는 오브젝트 타입 정보가 포함될 수 있다.

또한, 상기 오브젝트용 뎁쓰 정보는 동일한 프레임에 포함되는 오브젝트가 복수인 경우, 상기 복수의 오브젝트의 뎁쓰 맵 생성 순서를 나타내는 우선 순위 정보를 포함하고, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는 상기 오브젝트의 뎁쓰 맵 생성 순서에 따라 상기 복수의 오브젝트들에 대한 뎁쓰 맵을 차례대로 생성하는 단계를 포함할 수 있다. 또한, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는 상기 오브젝트용 뎁쓰 정보로부터 상기 오브젝트가 포함된 프레임이 출력되어야 하는 시각을 구하는 단계를 포함할 수 있다.

또한, 상기 오브젝트용 뎁쓰 정보로부터 상기 오브젝트의 영역을 식별하기 위한 영역 식별 정보를 추출하는 단계를 더 포함하고, 상기 영역 식별 정보는 상기 오브젝트의 영역을 좌표점으로 표시한 정보이거나 상기 오브젝트의 형상이 표시된 마스크에 대한 정보일 수 있다. 또한, 상기 오브젝트가 2차원 오브젝트인 경우, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는 상기 배경용 뎁쓰 정보에 포함된 패널 포지션 값을 상기 식별된 오브젝트 영역의 뎁쓰 값으로 하여 상기 2차원 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함할 수 있다.

또한, 상기 오브젝트가 노말 오브젝트이고, 상기 영역 식별 정보가 상기 오브젝트의 형상이 표시된 마스크에 대한 정보인 경우, 상기 오브젝트용 뎁쓰 정보는 상기 배경용 뎁쓰 정보에 포함된 배경의 좌표점 중, 상기 노말 오브젝트의 영역을 나타내는 좌표점과 동일한 좌표점에 대한 정보를 더 포함하고, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는 상기 동일한 좌표점에 대한 배경의 뎁쓰 값을 상기 식별된 노말 오브젝트 영역의 뎁쓰 값으로 하여 상기 노말 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함할 수 있다.

또한, 상기 오브젝트가 노말 오브젝트인 경우, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는 상기 배경용 뎁쓰 정보에 포함된 배경의 좌표점 중, 상기 노말 오브젝트의 영역을 나타내는 좌표점과 동일한 좌표점을 구하는 단계 및 상기 구한 좌표점에 대한 배경의 뎁쓰 값을 상기 식별된 노말 오브젝트 영역의 뎁쓰 값으로 하여 상기 노말 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함할 수 있다. 또한, 상기 오브젝트가 하이라이트 오브젝트인 경우, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는 상기 배경용 뎁쓰 정보에 포함된 패널 포지션 값과 상기 오브젝트용 뎁쓰 정보에 포함된 오프셋 값을 이용하여 구해진 값을 상기 식별된 하이라이트 오브젝트 영역의 뎁쓰 값으로 하여 상기 하이라이트 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함할 수 있다.

또한, 상기 오브젝트에 대한 뎁쓰 맵을 필터링하는 단계를 더 포함하고, 상기 필터링하는 단계는 상기 오브젝트에 대한 뎁쓰 맵이 원구의 중심을 지나는 평면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 반구 필터를 적용하거나, 상기 오브젝트에 대한 뎁쓰 맵이 원기둥을 세로로 반으로 나누는 평면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 반원기둥 필터를 적용하거나, 상기 오브젝트에 대한 뎁쓰 맵이 삼각기둥의 사각형 옆면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 삼각기둥 필터를 적용하여 상기 오브젝트에 대한 뎁쓰 맵을 변형하는 단계를 포함할 수 있다.

또한, 상기 메타데이터로부터 상기 프레임들이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보를 추출하여, 상기 메타데이터가 어떤 타이틀에 대한 정보인지를 식별하는 단계를 더 포함할 수 있다. 또한, 상기 뎁쓰 맵을 이용하여 2차원 영상에 대한 좌안 영상 및 우안 영상을 생성하는 단계, 상기 좌안 영상 및 우안 영상의 홀을 보정하는 단계 및 상기 홀이 보정된 좌안 영상 및 우안 영상을 이용하여 3차원 포맷 영상을 생성하는 단계를 더 포함할 수 있다.

본 발명의 다른 측면에 의하면, 2차원 영상을 소정 단위로 구분하기 위한 샷 정보를 메타데이터로부터 추출하고, 상기 샷 정보에 포함된 샷 타입 정보를 이용하여, 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있다고 판단되면, 상기 메타데이터로부터 상기 소정 샷에 포함된 프레임들의 배경에 대한 배경용 뎁쓰 정보를 추출하고, 상기 소정 샷에 포함된 프레임들에 오브젝트가 포함되어 있는 경우, 상기 메타데이터로부터 상기 오브젝트에 대한 오브젝트용 뎁쓰 정보를 추출하여 해석하는 메타데이터 해석부 및 상기 배경용 뎁쓰 정보를 이용하여 상기 프레임들의 배경에 대한 뎁쓰 맵을 생성하고, 상기 오브젝트용 뎁쓰 정보를 이용하여 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부를 포함하는 영상 처리 장치를 제공할 수 있다.

본 발명의 또 다른 측면에 의하면, 2차원 영상을 소정 단위로 구분하기 위한 샷 정보를 메타데이터로부터 추출하는 단계, 상기 샷 정보에 포함된 샷 타입 정보를 이용하여, 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있다고 판단되면, 상기 메타데이터로부터 상기 소정 샷에 포함된 프레임들의 배경에 대한 배경용 뎁쓰 정보를 추출하는 단계, 상기 배경용 뎁쓰 정보를 이용하여 상기 프레임들의 배경에 대한 뎁쓰 맵을 생성하는 단계, 상기 소정 샷에 포함된 프레임들에 오브젝트가 포함되어 있는 경우, 상기 메타데이터로부터 상기 오브젝트에 대한 오브젝트용 뎁쓰 정보를 추출하는 단계 및 상기 오브젝트용 뎁쓰 정보를 이용하여 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 영상 처리 방법을 실행하기 위한 컴퓨터로 판독 가능한 프로그램을 저장하는 기록 매체를 제공할 수 있다.

본 발명의 일 실시 예에 의하면 배경용 뎁쓰 정보를 이용하여 오브젝트에 대 한 뎁쓰 맵을 생성하는 영상 처리 방법 및 장치를 제공할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예들을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시 예에 따른, 비디오 데이터에 대한 메타데이터(100)를 도시한 도면이다. 본 발명의 일 실시 예에 따른 메타데이터(100)에는 비디오 데이터에 대한 정보가 포함되어 있다. 메타데이터(100)가 어떤 비디오 데이터에 대한 정보인지를 표시하기 위해, 메타데이터(100)에는 비디오 데이터가 포함된 타이틀을 식별하기 위한 타이틀 식별 정보가 포함된다.

비디오 데이터는 일련의 프레임들으로 이루어져 있으므로, 메타데이터(100)에는 프레임들에 대한 정보가 포함되어 있다. 프레임들에 대한 정보는 프레임들을 소정의 기준에 따라 구분하기 위한 정보를 포함한다. 유사성이 있는 일련의 프레임들의 묶음을 하나의 유닛(unit)이라고 할 때, 비디오 데이터의 프레임들은 복수의 유닛들로 구분될 수 있다. 본 발명에서 메타데이터(100)는 비디오 데이터의 프레임들을 소정의 유닛들로 구분하기 위한 정보를 포함한다.

본 발명에서는 프레임의 구도가 유사하여 이전 프레임을 이용하여 현재 프레임의 구도를 예측할 수 있는 경우, 구도가 유사한 일련의 프레임들을 하나의 샷(shot)으로 부르기로 한다. 메타데이터(100)에는 2차원 비디오 데이터의 프레임들을 소정 단위, 즉, 샷 단위로 구분하기 위한 샷 정보가 저장되어 있다. 이하, 메타데이터(100)에 포함되어 있는, 샷에 대한 정보를 샷 정보라 부르기로 한다. 메타데이터(100)에는 하나 이상의 샷 정보가 포함되어 있다. 프레임들의 구도가 현저하게 바뀌어서 현재 프레임의 구도가 이전 프레임의 구도와 다른 경우, 현재 프레임과 이전 프레임은 서로 다른 샷으로 구분된다.

샷 정보는 샷 타입 정보를 포함한다. 샷 타입 정보는 각 샷별로, 그 샷으로 구분되는 프레임들이 2차원 영상으로 출력되어야 하는지 또는 3차원 영상으로 출력되어야 하는지를 나타내는 정보이다. 샷 타입 정보가 그 샷에 포함된 프레임들이 2차원 영상으로 출력되어야 함을 표시하면, 영상 처리 장치(미도시)는 그 샷으로 구분되는 프레임들을 2차원 영상을 디코딩하여 그대로를 화면에 출력한다. 샷 타입 정보가 그 샷에 포함된 프레임들이 3차원 영상으로 출력되어야 함을 표시하는 경우, 영상 처리 장치는 메타데이터(100)에 포함된 뎁쓰 정보를 이용하여 그 샷에 포함된 프레임들을 3차원 영상으로 출력한다.

샷 정보에는 2차원의 비디오 데이터와 2차원의 비디오 데이터를 3차원 영상으로 출력하기 위한 뎁쓰 정보를 동기화시키기 위한 정보가 포함된다. 샷 정보에는 샷 시작 시각 및 샷 종료 시각이 포함된다. 샷 시작 시각은 소정의 샷으로 구분되는 프레임들 중 최초로 출력되는 프레임의 출력 시각을 의미하고 샷 종료 시각은 소정의 샷으로 구분되는 프레임들 중 최후로 출력되는 프레임의 출력 시각을 의미한다. 비디오 데이터 또는 하나 이상의 비디오 데이터의 묶음인 타이틀이 단일 시간 축에 따라 연속으로 재생될 때, 비디오 데이터 또는 타이틀이 재생되는 연속적인 시간 축을 글로벌 타임 축(global time axis)이라 한다. 샷 시작 시각 및 샷 종료 시각으로 비디오 데이터나 타이틀의 글로벌 타임 축 상에서의 출력 시 간(presentation time)이 할당된다.

샷 정보는 그 샷에 포함된 프레임들의 개수가 몇개인지를 나타내는 정보를 포함한다. 샷 정보에는 샷 시작 시각 및 샷 종료 시각이 포함되어 있고, 샷에 포함된 프레임들이 몇개인지에 대한 정보도 포함되어 있으므로, 영상 처리 장치는 샷 종료 시각에서 샷 시작 시각을 뺀 시간동안 샷에 포함된 프레임들을 동일 간격으로 출력하게 된다. 따라서, 샷에 포함된 모든 프레임들에 대한 출력 시각이 구해진다.

샷 타입 정보가, 소정 샷으로 구분되는 프레임들이 3차원 영상으로 출력되어야 함을 나타내는 경우, 메타데이터(100)에는 그 소정 샷으로 구분되는 프레임들을 3차원 영상으로 변환하기 위한 뎁쓰 정보가 더 포함된다.

2차원 영상에 입체감을 주기 위해서는 2차원 영상에 깊이감을 부여해야 한다. 사람이 화면을 볼 때, 화면에 투사된 영상이 두 눈에 맺히는데, 눈에 맺힌 영상의 두 점 사이의 거리를 시차라고 한다. 시차는 양의 시차(positive parallax), 영의 시차(zero parallax), 음의 시차(negative parallax)로 구분된다. 양의 시차는 영상이 화면 안쪽에 맺히는 경우의 시차를 말하며 시차가 눈 사이의 거리와 같거나 그보다 작을 때를 말한다. 시차 값이 커질수록 영상이 화면보다 더 깊게 위치한 듯한 입체감을 준다.

영상이 화면 평면에 2차원으로 맺힌 경우의 시차는 0이 된다. 시차가 0인 경우, 영상이 화면 평면에 맺히므로 사용자는 입체감을 느끼지 못하게 된다. 음의 시차는 영상이 화면보다 앞쪽에 있는 경우의 시차를 말하고 시선이 교차할 때 발생하여 마치 물체가 튀어나와있는 듯한 입체감을 준다.

2차원 영상에 깊이감을 주어 3차원 영상을 생성하기 위해 본 발명에서는 프레임에 대한 뎁쓰 맵을 생성하여 프레임에 깊이감을 부여하는 방법을 이용한다. 뎁쓰 정보는 프레임에 깊이감을 부여하여, 2차원 영상이 3차원 영상으로 변환되도록 하기 위한 정보로 배경용 뎁쓰 정보와 오브젝트용 뎁쓰 정보로 나뉜다.

하나의 프레임의 영상은 배경을 이루는 영상과, 배경을 제외한 오브젝트에 대한 영상으로 구성된다. 배경용 뎁쓰 정보는 배경을 이루는 영상에 깊이감을 주기 위한 정보이다. 배경을 이루는 영상에 깊이감을 준다는 것은 배경의 위치나 모양의 짜임새 등의 구도에 깊이감을 주어 배경이 입체감을 갖도록 하는 것을 의미한다.

프레임의 배경은 프레임별로 다양한 형태의 구도를 가질수 있다. 메타데이터(100)에는 다양한 형태의 구도들이 몇 개의 정형화된 형태로 분류되어 포함되어 있고 소정 샷에 포함되는 프레임들의 배경이 정형화된 구도들 중 어떠한 형태의 구도를 갖는지를 나타내는 배경 타입 정보가 포함되어 있다. 본 발명에서 샷은 프레임들간에 구도가 바뀌어서 현재 프레임의 구도가 이전 프레임의 구도와 다른 경우를 구별하는데 사용되므로, 하나의 샷으로 구분되는 프레임들은 일반적으로 동일한 구도를 갖게 된다. 따라서 하나의 샷으로 구분되는 프레임들의 배경에 대한 뎁쓰 정보 또한 동일하게 된다.

배경용 뎁쓰 정보에는 배경 타입 정보에 의해 식별된 기본 구도에 더하여, 배경에 포함되어 있는 곡면(surface)에 뎁쓰 값을 부여하기 위한 곡면 정보를 더 포함할 수 있다. 배경 타입 정보와 곡면 정보에 대해서는 도 3의 (f)를 참조하여 살펴보기로 한다.

배경용 뎁쓰 정보에는 배경의 좌표점 및 배경의 좌표점에 적용되는 뎁쓰 값, 그리고 패널 포지션 값이 포함될 수 있다. 배경의 좌표점 값은 2차원 영상 프레임을 기준으로 했을 때의 배경의 좌표값을 말한다. 뎁쓰 값은 2차원 영상의 소정 픽셀에 부여될 깊이의 정도를 말하며, 패널 포지션은 영상이 맺히는 화면의 위치를 말한다. 배경용 뎁쓰 정보는 샷 타입 정보가 샷에 포함된 프레임들을 3차원 영상으로 출력해야 함을 표시하는 경우, 그 샷에 포함되는 프레임들의 배경에 대해 뎁쓰 맵을 생성하기 위해 반드시 필요한 정보이다.

오브젝트(object)는 프레임에서 배경을 제외한, 수직으로 서 있는 사람이나 건물 등의 개체를 말한다. 오브젝트용 뎁쓰 정보는 오브젝트에 대해 뎁쓰 맵을 생성하기 위해 사용되는 정보이다. 샷에 포함된 프레임들을 3차원 영상으로 출력해야 하는 경우 배경용 뎁쓰 정보는 반드시 필요하지만, 그 프레임에 오브젝트가 포함되어 있지 않을 수도 있으므로 모든 프레임에 대해서 오브젝트에 대한 뎁쓰 정보가 필요한 것은 아니다.

오브젝트용 뎁쓰 정보는 오브젝트 타입 정보를 포함한다. 오브젝트 타입 정보는 오브젝트에 뎁쓰 값을 어떻게 부여할 것인가를 기준으로 2차원 오브젝트, 노말(normal) 오브젝트, 하이라이트(highlight) 오브젝트로 나뉜다. 2차원 오브젝트는 2차원으로 출력되어야 하는 영역을 식별하기 위한 오브젝트이다. 2차원 오브젝트의 뎁쓰 값은 화면의 뎁쓰 값, 즉, 패널 포지션 값과 동일하다. 노말 오브젝트는 배경에 맞닿아 서있는 오브젝트를 뜻한다. 따라서 노말 오브젝트는 배경의 좌표점들 중, 노말 오브젝트와 배경이 맞닿은 좌표점의 뎁쓰 값을 오브젝트의 뎁쓰 값으 로 갖는다. 하이라이트 오브젝트는 2차원 오브젝트와 노말 오브젝트가 아닌 오브젝트를 말하며 하이라이트 오브젝트는 패널 포지션의 뎁쓰 값을 기준으로 소정치만큼 화면 안쪽으로 또는 화면 바깥쪽으로 떨어진 값을 뎁쓰 값으로 갖는다.

오브젝트용 뎁쓰 정보는 우선 순위 정보를 포함한다. 우선 순위 정보란 동일한 프레임에 복수의 오브젝트가 포함되어 있는 경우, 오브젝트에 대한 뎁쓰 맵 생성 순위를 나타낸다. 오브젝트가 복수인 경우 우선 순위가 높은 오브젝트부터 먼저 뎁쓰 맵이 생성된다. 우선 순위가 높은 오브젝트는 시청자에게 보다 가까이 있는 오브젝트를 말한다.

오브젝트용 뎁쓰 정보는 프레임이 출력되는 시간에 대한 정보를 포함한다. 프레임이 출력되는 시간은 소정 샷으로 구분되는 프레임들 중에 소정 오브젝트가 등장하는 프레임 출력 시간을 의미한다. 프레임 출력 시간은 프레임 시작 시각 및 프레임 종료 시각을 포함하고, 프레임 시작 시각은 오브젝트가 포함된 프레임이 출력되기 시작하는 시각을 의미하고 프레임 종료 시각을 그 오브젝트가 포함된 프레임의 출력이 종료되는 시각을 의미한다.

오브젝트용 뎁쓰 정보는 영역 식별 정보를 포함한다. 영역 식별 정보는 오브젝트의 영역을 표시하기 위한 정보로 좌표점들이 될 수 있다. 경우에 따라서는 영역 식별 정보로 오브젝트의 영역이 표시된 마스크가 이용될 수도 있으며, 이 경우 오브젝트의 영역을 식별하기 위해 오브젝트별로 한 장의 마스크가 소요되게 된다.

오브젝트가 노말 오브젝트이고, 영역 식별 정보가 마스크를 이용하여 표현된 경우, 오브젝트용 뎁쓰 정보는 참조 정보를 더 포함한다. 참조 정보는 배경용 뎁쓰 정보에 포함된 배경의 좌표점 중, 노말 오브젝트의 영역을 나타내는 좌표점과 동일한 좌표점에 대한 정보를 말한다. 전술한 바와 같이 노말 오브젝트는 배경과 맞닿아 있는 오브젝트이므로 배경과 맞닿은 좌표점에서의 배경의 뎁쓰 값을 오브젝트의 뎁쓰 값으로 갖는다. 그러나 영역 식별 정보가 좌표점으로 주어지지 않고 마스크로 주어지는 경우, 오브젝트의 어느 지점이 배경과 맞닿는지를 알 수가 없으므로 오브젝트가 배경과 맞닿는 지점을 알려주기 위한 정보가 필요하게 된다.

오브젝트가 하이라이트 오브젝트인 경우, 하이라이트 오브젝트의 뎁쓰 값이 패널 포지션 값과 오프셋 값의 합 또는 차로 주어지므로, 오브젝트용 뎁쓰 정보는 오프셋 값에 대한 정보를 더 포함해야 한다.

오브젝트용 뎁쓰 정보는 필터 정보를 더 포함할 수 있다. 오브젝트는 수직으로 서 있거나 떠 있는 물체라는 점에서 오브젝트의 뎁쓰 값은 수직으로 동일한 값을 갖게 된다. 경우에 따라서는 오브젝트 전체가 동일한 뎁쓰 값을 갖을 수도 있다. 예컨대 하이라이트 오브젝트의 뎁쓰 값은 패널 포지션 값과 오프셋 값의 합 또는 차로 주어지므로 하이라이트 오브젝트 전체에 대해 동일한 뎁쓰 값을 갖게 된다. 이 경우, 오브젝트의 뎁쓰 값에 추가적인 뎁쓰 값을 더 부여하여 오브젝트를 입체적으로 만들어 주기 위한 정보가 필터 정보이다. 영상 처리 장치는 필터 정보를 이용하여 오브젝트를 필터링할 수 있다.

경우에 따라서는 배경용 뎁쓰 정보에도 필터 정보가 포함될 수 있다. 예컨대 배경 전체가 동일한 뎁쓰 값을 갖는 경우, 배경에 입체감을 주기 위해 필터 정보를 이용하여 배경에 대한 뎁쓰 맵을 필터링할 수 있다. 필터 정보에 대해서는 도 5를 참조하여 보다 구체적으로 살펴보기로 한다.

이와 같이, 본 발명의 일 실시 예에 의하면, 2차원 영상의 비디오 데이터를 3차원 영상으로 변환하기 위한 정보가 메타데이터(100)에 포함되어 있으며, 메타데이터(100)에는 배경용 뎁쓰 정보와 오브젝트용 뎁쓰 정보가 포함되어 있다.

도 2는 본 발명에서 사용되는 뎁쓰 정보를 설명하기 위한 도면이다. 본 발명에서는 뎁쓰 정보를 이용하여 2차원 평면의 프레임에 깊이감을 부여한다. 도 2를 참조하면, 사용자가 화면을 시청하는 방향과 평행한 방향인 X축 방향은 프레임의 깊이 정도를 나타낸다. 뎁쓰 값은 영상의 깊이 정도를 뜻하며, 본 발명에서 뎁쓰 값은 0부터 255까지 256개 중 하나의 값을 갖을 수 있다. 뎁쓰 값이 작아져 0에 가까워질수록 영상이 깊어져, 영상이 시청자에게 멀어지고, 뎁쓰 값이 커져 255에 가까워질수록 영상이 시청자에게 가까워지게 된다.

패널 포지션은 영상이 맺히는 화면의 위치를 말하며, 패널 포지션 값은 시차가 0인 경우, 즉, 영상이 화면 표면에 맺힐 때의 영상의 뎁쓰 값을 뜻한다. 도 2에서와 같이, 패널 포지션 값은 0부터 255 중 하나의 뎁쓰 값을 갖을 수 있다. 패널 포지션 값이 255인 경우, 프레임에 포함된 영상은 모두 화면과 같은 뎁쓰를 갖거나 또는 화면보다 작은 뎁쓰 값을 갖게 되므로 영상이 시청자에게 멀어지는 방향, 즉, 화면 안쪽에 맺힌다. 이는 프레임에 포함된 영상이 0 또는 양의 시차를 갖게 됨을 의미한다. 패널 포지션 값이 0인 경우, 프레임에 포함된 영상은 모두 화면과 같은 뎁쓰 값을 갖거나 또는 화면보다 큰 뎁쓰 값을 갖게 되므로 영상이 화면 밖으로 튀어나와 맺히게 된다. 이는 프레임에 포함된 모든 영상이 0 또는 음의 시차를 갖게 됨을 의미한다.

도 3은 배경용 뎁쓰 정보에 포함된 배경 타입 정보 및 곡면 정보를 이용하여 배경에 뎁쓰 값을 부여하는 것을 설명하기 위한 도면이다. 전술한 바와 같이 배경 타입 정보는 프레임에 포함된 배경의 기본적인 구도 정보가 무엇인지를 알려주는 정보이다.

배경 타입은 크게 여섯 가지로 나눌 수 있다. 아래 표 1은 배경의 타입을 표로 나타낸 것이고, 도 3의 (a)부터 (e)는 배경 타입별로 배경의 기본적인 구도를 도시한다. 전술한 바와 같이 배경용 뎁쓰 정보에는 배경의 기본 구도가 무엇인지를 나타내는 배경 타입 정보가 포함되어 있다.

[표 1]

0x00	Reserved
0x01	Plain
0x02	Basic baseline
0x03	2 points baseline
0x04	5 points box
0x05	6 points box
0x06	8 points box
0x07~0xFF	Reserved

도 3에는 도시하지 않았으나, 배경 타입 중 플레인(plain) 구도를 고려할 수 있다. 플레인 구도는 배경 전체가 동일한 뎁쓰 값을 갖는 배경의 구도 타입을 말한다.

도 3의 (a)는 배경 타입이 베이직 베이스라인(basic baseline)인 경우의 프레임의 배경을 도시한 것이다. 베이직 베이스라인의 구도는 지평선과 같이 전체 배경 내 윗변 혹은 밑변과 평행한 하나의 선을 기준으로 상하 영역에 수직 방향으로만 뎁쓰 변화가 있는 경우 사용된다. 도 3의 (a)에서 프레임의 최좌측의 최상단의 좌표를 (0, 0)이라고 할 때, p1과 p2의 좌표점이 x축 값만 다르고 y축 값은 동일한 값을 갖는다. 또한 두 점 p1과 p2를 연결한 직선은 동일한 뎁쓰 값을 갖게 된다. 배경 타입이 베이직 베이스라인인 경우, 뎁쓰 정보에는 p1과 p2의 좌표점 및 두 점을 연결하는 직선에 부여할 뎁쓰 값과, 윗변, 밑변의 뎁쓰 값이 포함된다.

도 3의 (b)는 배경 타입이 2 포인트 베이스라인인(two point baseline)인 경우의 프레임의 배경을 도시한 것이다. 2 포인트 베이스라인의 구도는 전체 배경 내 윗변 및 밑변과 평행하지 않는 하나의 선을 기준으로 상하 영역에 수직/수평 방향으로 뎁쓰 변화가 있는 경우 사용된다. 도 3의 (b)에서 p3, p4의 좌표값은 x축 방향으로나 y방향으로 모두 다르고, 두 점에서의 뎁쓰 값도 다르다. p3과 p4를 연결하는 직선 또한 픽셀별로 다른 뎁쓰 값을 갖게 된다. 배경 타입이 2 포인트 베이스라인인 경우, 뎁쓰 정보에는 p3과 p4의 좌표점 및 두 점에서의 뎁쓰 값과, 다른 모서리의 꼭지점들 p1, p2, p5, p6에 대한 뎁쓰 값이 포함된다.

도 3의 (c)는 배경 타입이 5 포인트 박스(8 point box)인 경우의 프레임의 배경을 도시한 것이다. 5 포인트 박스의 구도는 전체 배경 내부에 평면 형태(직사각형)의 동일한 뎁쓰 영역이 존재하고 이를 기준으로 외부의 네 점을 향해 뎁쓰 변화가 있는 경우 사용된다. 도 3의 (c)에서 직사각형 영역으로 하나의 좌표점 p3과 가로 및 세로의 길이(x, y)가 주어짐을 알 수 있다. 배경 타입이 5 포인트 박스인 경우 뎁쓰 정보로 p1~p5의 좌표점과 각 좌표점에서의 뎁쓰 값, 그리고 직사각형의 가로 및 세로 길이가 포함된다.

도 3의 (d)는 배경 타입이 6 포인트 박스(6 point box)인 경우의 프레임의 배경을 도시한 것이다. 6 포인트 박스의 구도는 전체 배경 내부에 세로 방향으로 다른 뎁쓰 값을 할당할 수 있는 특징적인 두 점을 정의하고 이를 기준으로 외부의 네 점을 향해 뎁쓰 변화가 있는 경우 사용된다. 배경 타입이 6 포인트 박스인 경우, 뎁쓰 정보에는 p1~p6의 좌표점 및 각 좌표점에서의 뎁쓰 값이 포함된다.

도 3의 (e)는 배경 타입이 8 포인트 박스(8 point box)인 경우의 프레임의 배경을 도시한 것이다. 8 포인트 박스의 구도는 전체 배경 내부에 평면 형태(사각형)로 네 꼭지점에 각각 다른 뎁쓰 값이 할당 가능한 영역이 존재하고 이를 기준으로 외부의 네 점을 향해 뎁쓰 변화가 있는 경우 사용된다. 배경 타입이 8 포인트 박스인 경우, 뎁쓰 정보에는 p1~p8의 좌표점 및 각 좌표점에서의 뎁쓰 값이 포함된다.

도 3의 (f)는 곡면 정보에 따라 배경의 기본적인 구도에 부가적으로 뎁쓰 값이 부여되는 경우를 설명하기 위한 도면이다. 도 3의 (f)를 참조하면, 도 3의 (f)는 2 포인트 베이스라인의 배경 구도를 갖는 배경에 부가적으로 배경에 뎁쓰 값을 부여하기 위한 좌표점이 표시되어 있다. 곡면 정보는 부가적으로 배경에 뎁쓰 값을 부여하기 위한 좌표점의 값 및 그 좌표점에서의 뎁쓰 값을 포함한다. 뎁쓰 정보에는 곡면 정보로 p1~p10에 대한 좌표점 및 각 좌표점에서의 뎁쓰 값이 포함되게 된다.

도 4는 화면의 측면에서 관찰할 때, 영상에 부여되는 깊이감을 설명하기 위한 도면이다. 도 4에는 2차원 오브젝트, 노말 오브젝트, 하이라이트 오브젝트가 도시되어 있다. 도 4의 오브젝트는 필터링이 적용되지 않은 상태를 도시한 것으로 오 브젝트는 Z축 방향, 즉, 패널 포지션에 평행한 방향으로 동일한 뎁쓰 값을 갖음을 알 수 있다.

2차원 오브젝트는 화면의 측면에서 바라봤을 때 화면 상에 위치하여 화면과 동일한 뎁쓰 값을 갖음을 알 수 있다. 화면에 맺힌 통 노말 오브젝트는 배경에 맞닿아 서있는 오브젝트이므로 도 4에서와 같이, 노말 오브젝트의 뎁쓰 값은 배경과 오브젝트가 맞닿은 지점에서 배경이 갖는 뎁쓰 값과 동일한 뎁쓰 값이 된다. 도 4에서 하이라이트 오브젝트는 패널 포지션 값과 오프셋 값을 합한 만큼의 뎁쓰 값을 갖고 있음을 알 수 있다. 하이라이트 오브젝트는 패널 포지션 값보다 큰 뎁쓰 값을 갖으므로 시청자는 하이라이트 오브젝트가 화면보다 밖으로 튀어나와 있는 것처럼 인식하게 된다.

도 5는 영상 처리 장치가 오브젝트에 대한 뎁쓰 맵이나 배경에 대한 뎁쓰 맵을 필터링할 때 필터링된 영상의 입체감을 설명하기 위한 도면이다. 오브젝트가 하이라이트 오브젝트와 같이 오브젝트 전체에 대해 동일한 뎁쓰 값을 갖는 경우, 오브젝트를 보다 입체적으로 나타내기 위해 오브젝트에 대한 뎁쓰 맵을 필터링할 수 있다. 또한 배경이 동일한 뎁쓰 값을 갖는 경우에도 밋밋한 배경을 보다 입체적으로 나타내기 위해 배경에 대한 뎁쓰 맵을 필터링할 수 있다.

편의상 도 5는 오브젝트나 평면이 동일한 뎁쓰 값을 갖는다고 가정할 때, 그러한 오브젝트 또는 배경을 필터링한 경우 측면에서 관찰되는 뎁쓰를 나타내고 있으나, 필터링이 반드시 이러한 경우에만 적용되는 것은 아니며, 오브젝트나 배경이 동일한 뎁쓰 값을 갖지 않는 경우에도 필터링이 적용될수는 있다.

도 5의 (a) 및 (b)는 필터가 반구 모양일 때, 반구 모양의 필터에 의해 필터링된 뎁쓰 맵의 뎁쓰를 도시한다. 도 5의 (a) 및 (b)는 오브젝트에 대한 뎁쓰 맵 또는 배경에 대한 뎁쓰 맵이 구의 중심을 지나는 평면이 되도록 뎁쓰 맵에 반구 필터를 적용한 것이다. 예컨대, 오브젝트가 하이라이트 오브젝트이고 하이라이트 오브젝트가 축구공인 경우, 축구공에 보다 입체감을 부여하기 위해 축구공에 대한 뎁쓰 맵을 필터링할 수 있다. 또한, 프레임에 사람 얼굴이 클로즈업 되어 있는 경우, 사람 얼굴을 별도의 오브젝트로 볼 수도 있지만 편의상 사람이 얼굴이 포함된 화면 전체가 동일한 뎁쓰 값을 갖는 하나의 배경이라고 고려할 경우, 사람의 얼굴에 입체감을 주기 위해 사람의 얼굴에 대한 뎁쓰 맵에 반구 필터를 적용할 수 있다.

도 5의 (c)및 (d)는 필터가 반원기둥 모양일 때, 반원기둥 모양의 필터에 의해 필터링된 뎁쓰 맵의 뎁쓰를 도시한다. 도 5의 (c) 및 (d)는 오브젝트에 대한 뎁쓰 맵 또는 배경에 대한 뎁쓰 맵이 원기둥을 세로로 반으로 나누는 평면이 되도록 반원기둥 필터를 적용한 것이다. 예컨대 오브젝트가 노말 오브젝트이고 오브젝트의 모양이 전봇대 형상인 경우, 전봇대에 보다 입체감을 부여하기 위해 반원기둥 모양의 필터를 적용할 수 있다.

도 5의 (e), (f)는 뎁쓰 맵에 삼각기둥이 옆으로 누운 형태의 필터를 적용한 경우를 도시한 것이다. 도 5의 (e), (f)와 같이, 삼각기둥의 사각형 옆면이 뎁쓰 맵과 평행하게 되도록 뎁쓰 맵에 삼각기둥 필터를 적용하여 뎁쓰 맵을 변형할 수 있다.

도 6은 도 1의 메타데이터(100)를 이용하여 뎁쓰 맵이 생성되는 것을 설명하 기 위한 도면이다. 도 6의 (a)는 2차원 영상을 도시한 것이고, 도 6의 (b)는 도 6의 (a)의 화면에 뎁쓰 값이 부여된 경우를 설명하기 위한 도면이다.

본 발명에서, 영상 처리 장치(미도시)는 프레임을 배경과 오브젝트로 나누고, 각각에 대해 배경용 뎁쓰 정보와 오브젝트용 뎁쓰 정보를 생성한다.

도 6의 (a)를 참조하면, 2차원 영상의 프레임에는 땅과 하늘로 구성된 배경과, 나무 두 그루와 사람으로 구성된 오브젝트가 포함되어 있다. 영상 처리 장치는 메타데이터(100)로부터 배경용 뎁쓰 정보를 추출한다. 도 6의 (a)의 프레임은 땅과 하늘이 맞닿는 부분, 즉, 지평선 부분이 가장 깊은 깊이감을 갖는 구도임을 알 수 있다. 영상 처리 장치는 메타데이터(100)에 포함된 배경용 뎁쓰 정보로부터 배경 타입 정보를 추출하고 이를 이용하여 도 6의 (a)의 프레임이 도 3의 (a)와 같은 베이직 베이스라인 배경 구도를 갖음을 알 수 있다. 영상 처리 장치는 구도의 유형에 대한 정보, 배경의 좌표점 값 및 뎁쓰 값 정보를 이용하여 배경에 뎁쓰 값을 부여하여, 도 6의 (b)와 같이 배경용 뎁쓰 맵을 생성한다.

도 6의 (b)에서 패널 포지션의 뎁쓰 값은 255임을 알 수 있다. 패널 포지션의 뎁쓰 값이 가장 큰 값을 가지므로, 프레임의 영상은 모두 화면보다 안쪽으로 들어가 있는 듯한 입체감을 형성한다. 도 3의 (b)에서 하늘과 땅이 맞닿는 수평선 지점은 0의 뎁쓰 값을 갖고 있으므로, 수평선 지점이 시청자로부터 가장 멀리 위치하게 된다. 땅의 맨 밑 부분은 255의 뎁쓰 값을 갖음을 알 수 있고, 이는, 이 지점의 영상이 시청자와 가장 가까운 위치에 맺힌다는 것을 의미한다.

영상 처리 장치는 영역 식별 정보에서 오브젝트 영역을 식별하기 위한 좌표 점 정보를 추출하고, 이를 이용하여 이용하여 프레임에서 오브젝트를 식별한다. 영역 식별 정보로는 오브젝트의 형상이 표시된 마스크를 이용할 수도 있으며, 이 경우, 마스크를 이용하여 오브젝트의 영역을 식별할 수 있다.

영상 처리 장치는 오브젝트용 뎁쓰 정보에 포함된 오브젝트 타입 정보를 이용하여 복수의 오브젝트들별로 각 오브젝트의 타입이 무엇인지를 식별한다. 도 6 (a)의 프레임에서 오브젝트는 두 그루의 나무와 사람, NBC라는 로고, 그리고 풍선이다. 두 그루의 나무와 사람은 모두 땅에 맞닿아 있으므로 노말 오브젝트임을 알 수 있다. NBC라는 로고는 2차원 화면에 표시되어야 하므로 2차원 오브젝트이고, 풍선은 공중에 떠 있는 오브젝트이므로 하이라이트 오브젝트임을 알 수 있다. 영상 처리 장치는 영역 식별 정보를 이용하여 각 오브젝트들의 영역을 식별한다.

영상 처리 장치는 2차원 오브젝트에 대해서 배경용 뎁쓰 정보에 포함된 패널 포지션 값을 2차원 오브젝트의 뎁쓰 값으로 하여 도 6의 (b)와 같이 2차원 오브젝트에 대한 뎁쓰 맵을 생성한다. 영상 처리 장치는 노말 오브젝트에 대해서, 오브젝트와 배경이 맞닿은 지점이 어디인지를 판단하고, 오브젝트와 배경이 맞닿은 지점의 좌표점 값에 대응하는 배경의 뎁쓰 값을 추출한다. 영상 생성 장치는 추출된 뎁쓰 값을 노말 오브젝트에 대한 뎁쓰 값으로 부여하여 노말 오브젝트에 대한 뎁쓰 맵을 생성한다. 영상 처리 장치는 하이라이트 오브젝트에 대해서 패널 포지션 값과 오프셋 정보를 이용하여 구해진 값을 뎁쓰 값으로 하여 하이라이트 오브젝트에 대한 뎁쓰 맵을 생성한다.

영상 처리 장치는 오브젝트에 대한 뎁쓰 맵을 생성한 후 뎁쓰 맵을 필터링할 수도 있다. 예컨대 도 6의 (b)에서 영상 처리 장치는 풍선에 반구 필터를 적용하여 풍선에 보다 입체감을 부여할 수도 있다.

이와 같이 본 발명의 일 실시 예에 의하면, 오브젝트의 유형별로 오브젝트에 다양한 방법으로 뎁쓰 값을 부여하여 오브젝트에 대한 뎁쓰 맵을 생성할 수 있다.

도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 영상 처리 장치를 나타낸 도면이다. 도 7를 참조하면, 영상 처리 장치(700)는 비디오 데이터 디코딩부(710), 메타데이터 해석부(720), 마스크 버퍼(730), 뎁쓰 맵 생성부(740), 스테레오 렌더링부(750)를 포함한다. 경우에 따라, 영상 처리 장치(700)는 3차원 포맷으로 생성된 3차원 영상을 화면에 출력하는 출력부(760)를 더 포함할 수 있다.

비디오 데이터 디코딩부(710)는 디스크 또는 로컬 스토리지(미도시)로부터 비디오 데이터를 독출하고 이를 디코딩한다. 메타데이터 해석부(720)는 디스크 또는 로컬 스토리지로부터 비디오 데이터에 대한 메타데이터(100)를 독출하고 이를 해석한다.

비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터(100)는 다중화된 상태로 또는 독립적으로 서버(미도시)에 저장되어 있거나 디스크에 기록되어 있을 수 있다.

영상 처리 장치(700)는 서버로부터 비디오 데이터를 다운로드하고, 비디오 데이터에 대한 메타데이터를 디스크로부터 독출하여 이용하거나, 디스크로부터 비디오 데이터를 독출하고 서버로부터 비디오 데이터에 대한 메타데이터를 다운로드 받아 이용할 수도 있다.

비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터(100)가 서버에 저장되어 있는 경우, 영상 처리 장치(700)는 통신망을 통해 서버로부터 비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터(100)를 다운로드하여 이를 이용할 수 있다.

서버는 방송국이나 일반 콘텐츠 생성 업체 등의 콘텐츠 제공자가 운영하는 것으로, 비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터(100)를 저장하고 있다. 서버는 사용자가 요청한 콘텐츠를 추출하여 이를 사용자에게 제공한다.

영상 처리 장치(700)가 통신망을 통해 서버로부터 정보를 다운로드하는 경우, 영상 처리 장치(700)는 통신부(미도시) 및 로컬 스토리지(미도시)를 더 포함할 수 있다. 통신부는 유선 또는 무선 통신망을 이용하여 서버에 사용자가 원하는 비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터(100)를 요청하고, 서버로부터 비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터(100)를 수신한다.

로컬 스토리지(local storage)는 통신부가 서버로부터 다운로드 한 정보를 저장한다. 본 발명에서 로컬 스토리지는 통신부를 통해 서버로부터 전송된 비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터를 저장한다.

비디오 데이터 및/또는 비디오 데이터에 대한 메타데이터(100)가 다중화된 상태로 또는 독립적으로 디스크에 기록되어 있는 경우, 비디오 데이터 및/또는 메타데이터(100)가 기록되어 있는 디스크가 영상 처리 장치(700)에 로딩되면, 비디오 데이터 디코딩부(710)와 메타데이터 해석부(720)는 로딩된 디스크로부터 비디오 데 이터와 메타데이터(100)를 각 각 독출한다. 메타데이터(100)는 디스크의 리드인 영역, 사용자 데이터 영역, 리드 아웃 영역 중 하나 이상의 영역에 기록되어 있을 수 있다.

비디오 데이터가 디스크에 기록되어 있는 경우, 메타데이터 해석부(720)는 메타데이터(100)로부터 비디오 데이터가 기록되어 있는 디스크를 식별하기 위한 디스크 식별자 및 비디오 데이터가 디스크 내에서 몇 번째 타이틀인지를 나타내는 타이틀 식별자를 추출하고 이를 이용하여 메타데이터(100)가 어느 비디오 데이터에 대한 메타데이터(100)인지를 판단한다.

메타데이터 해석부(720)는 메타데이터(100)로부터 오브젝트가 포함된 프레임의 출력 시간을 추출하고, 현재 프레임의 출력 시각이 오브젝트가 포함된 프레임의 출력 시간에 포함되는 경우, 메타데이터(100)로부터 현재 프레임에 대한 배경용 뎁쓰 정보와 오브젝트용 뎁쓰 정보를 파싱하고 이를 뎁쓰 맵 생성부(740)로 보낸다.

마스크 버퍼(730)는 현재 출력되는 프레임에 포함된 오브젝트에 대해, 영역 식별 정보로 마스크에 대한 정보가 정의되어 있는 경우, 해당 프레임에 적용될 마스크를 일시적으로 저장한다. 마스크는 오브젝트의 형태만 색상이 다르고 나머지 영역은 동일한 색상을 가지거나, 오브젝트의 형태를 따라서 구멍이 뚫린 마스크 등이 될 수 있으며, 하나의 오브젝트에 대해 한 장의 마스크가 사용된다.

뎁쓰 맵 생성부(740)는 메타데이터 해석부(720)로부터 받은 배경용 뎁쓰 정보, 오브젝트용 뎁쓰 정보, 그리고 마스크 버퍼(730)로부터 받은 마스크를 이용하여 프레임에 대한 뎁쓰 맵을 생성한다. 뎁쓰 맵 생성부(740)는 메타데이터(100)를 이용하여 배경에 대한 뎁쓰 맵과 오브젝트에 대한 뎁쓰 맵을 각각 생성하고 배경에 대한 뎁쓰 맵과 오브젝트에 대한 뎁쓰 맵을 합하여 하나의 프레임에 대한 뎁쓰 맵을 생성한다.

뎁쓰 맵 생성부(740)는 오브젝트용 뎁쓰 정보에 포함된 영역 식별 정보를 이용하여 오브젝트의 영역을 식별한다. 전술한 바와 같이 영역 식별 정보로는 오브젝트 영역을 나타내는 좌표점 값이 될 수 있다. 경우에 따라, 영역 식별 정보는 오브젝트 형상이 표시된 마스크가 될 수 있다. 뎁쓰 맵 생성부(740)는 좌표점 정보 또는 마스크를 이용하여 오브젝트의 형상을 파악하고, 파악된 오브젝트에 뎁쓰 값을 부여한다.

뎁쓰 맵 생성부(740)는 오브젝트가 노말 오브젝트인 경우, 오브젝트의 영역의 좌표점들 중 배경과 맞닿은 부분의 좌표점들을 추출하고, 추출된 좌표점들에 대응하는 뎁쓰 값들을 오브젝트에 대한 뎁쓰 값으로 하여 오브젝트에 대한 뎁쓰 맵을 생성한다. 뎁쓰 맵 생성부(740)는 오브젝트가 2차원 오브젝트인 경우, 패널 포지션 값을 이용하여 2차원 오브젝트에 대한 뎁쓰 맵을 생성하고, 오브젝트가 하이라이트 오브젝트인 경우, 오프셋 값과 패널 포지션 값을 이용하여 하이라이트 오브젝트에 대한 뎁쓰 맵을 생성한다.

뎁쓰 맵 생성부(740)는 배경에 대한 뎁쓰 맵과 오브젝트에 대한 뎁쓰 맵을 이용하여, 하나의 프레임에 대한 뎁쓰 맵을 생성한다. 뎁쓰 맵 생성부(740)는 생성된 뎁쓰 맵을 스테레오 렌더링부(750)로 보낸다.

스테레오 렌더링부(750)는 비디오 데이터 디코딩부(710)로부터 받은 비디오 영상과 뎁쓰 맵 생성부(740)로부터 받은 뎁쓰 맵을 이용하여 좌안 영상 및 우안 영상을 생성하고 좌안 및 우안 영상을 모두 포함하는 3차원 포맷의 영상을 생성한다.

경우에 따라, 출력 장치는 영상 처리 장치(700)에 포함될 수도 있다. 이하, 출력 장치가 영상 처리 장치(700)에 출력부(760)로 포함된 경우를 설명한다. 출력부(760)는 좌안 영상과 우안 영상을 순차적으로 화면에 출력한다. 시청자는 한쪽 눈을 기준으로 최소 60Hz의 frame rate로 영상이 출력되어야 이미지가 끊기지 않고 순차적으로 재생된다고 인지하므로 좌/우 양안을 통해 입력된 이미지가 합쳐져서 3차원 영상으로 인지되기 위해서는 디스플레이 장치가 최소한 120Hz의 frame rate로 화면을 출력해야 한다. 출력부(760)는 1/120초 단위로 프레임에 포함된 좌, 우 영상을 순차적으로 표시한다.

도 8은 도 의 뎁쓰 맵 생성부(740)를 보다 구체적으로 도시한 도면이다. 도 5를 참조하면, 뎁쓰 맵 생성부(740)는 백그라운드 뎁쓰맵 생성부(810), 오브젝트 뎁쓰 맵 생성부(820), 필터링부(830) 및 뎁쓰 맵 버퍼부(840)를 포함한다.

백그라운드 뎁쓰 맵 생성부(810)는 메타데이터 해석부(720)로부터 배경용 뎁쓰 정보에 포함된, 배경 타입 정보, 배경의 좌표점, 좌표점에 대응하는 배경의 뎁쓰 값 및 패널 포지션 값을 받고, 이를 이용하여 배경에 대한 뎁쓰 맵을 생성한다. 백그라운드 뎁쓰 맵 생성부(810)는 생성된 배경에 대한 뎁쓰 맵을 필터링부(830)로 보낸다.

오브젝트 뎁쓰 맵 생성부(820)는 메타데이터 해석부(720)로부터 오브젝트용 뎁쓰 정보에 포함된, 영역 식별 정보와 오브젝트 타입 정보를 받고, 이를 이용하여 오브젝트에 대한 뎁쓰 맵을 생성한다. 영역 식별 정보가 마스크에 대한 정보인 경우, 오브젝트 뎁쓰 맵 생성부(820)는 마스크 버퍼(730)로부터 해당 프레임에 적용할 마스크를 받고 이를 이용하여 오브젝트에 대한 뎁쓰 맵을 생성한다.

오브젝트 뎁쓰 맵 생성부(820)는 오브젝트가 노말 오브젝트인 경우, 백그라운드 뎁쓰 맵 생성부(810)에 오브젝트와 배경이 맞닿은 지점의 좌표점에 대응하는 배경의 뎁쓰 값을 요청한다. 오브젝트 뎁쓰 맵 생성부(820)는 백그라운드 뎁쓰 맵 생성부(810)로부터 배경과 오브젝트가 맞닿은 지점의 배경에 대한 뎁쓰 값을 받아 이를 오브젝트에 대한 뎁쓰 맵으로 하여, 오브젝트에 대한 뎁쓰 맵을 생성한다.

오브젝트 뎁쓰 맵 생성부(820)는 오브젝트가 2차원 오브젝트인 경우, 백그라은드 뎁쓰 맵 생성부(810)에 패널 포지션 값을 요청하고 이를 이용하여 2차원 오브젝트에 대한 뎁쓰 맵을 생성한다. 오브젝트 뎁쓰 맵 생성부(820)는 오브젝트가 하이라이트 오브젝트인 경우, 백그라운드 뎁쓰 맵 생성부(810)로부터 받은 패널 포지션 값에, 오브젝트용 뎁쓰 정보에 포함된 오프셋 정보를 이용하여 하이라이트 오브젝트에 대한 뎁쓰 맵을 생성한다. 오브젝트 뎁쓰 맵 생성부(820)는 오브젝트에 대한 뎁쓰 맵을 필터링부(830)로 보낸다. 오브젝트 뎁쓰 맵 생성부(820)는 오브젝트가 복수개인 경우, 우선 순위 정보에 따라 순서적으로 오브젝트를 생성한다.

필터링부(830)는 배경에 대한 뎁쓰 맵 및 오브젝트에 대한 뎁쓰 맵을 필터링한다. 오브젝트에 대한 뎁쓰 맵이 동일한 뎁쓰 값을 갖는 경우, 필터링부(830)는 동일한 뎁쓰 값을 갖는 오브젝트에 입체감을 주기 위해 오브젝트에 필터를 적용할 수 있다. 배경에 대한 뎁쓰 맵이 평면인 경우, 즉, 배경의 뎁쓰 값이 동일한 값인 경우에도, 배경에 입체감을 주기 위해서 필터를 적용할 수도 있다.

뎁쓰 맵 버퍼부(840)는 필터링부(830)를 거친 배경에 대한 뎁쓰 맵을 일시적으로 저장하고 있다가, 오브젝트에 대한 뎁쓰 맵이 생성되면, 배경에 대한 뎁쓰 맵에 오브젝트에 대한 뎁쓰 맵을 더하여 프레임에 대한 뎁쓰 맵을 갱신한다. 오브젝트가 복수인 경우, 뎁쓰 맵 버퍼부(840)는 복수의 오브젝트에 대한 뎁쓰 맵을 차례로 덮어씌워 뎁쓰 맵을 갱신한다. 뎁쓰 맵 버퍼부(840)는 뎁쓰 맵이 완성되면, 완성된 뎁쓰 맵을 스테레오 렌더링부(750)로 보낸다.

도 9는 스테레오 렌더링부(750)를 보다 구체적으로 도시한 블록도이다. 도 9를 참조하면, 스테레오 렌더링부(750)는 스테레오 영상 생성부(910), 홀 보정부(920), 좌안 영상 버퍼(930), 우안 영상 버퍼(940), 및 3차원 포맷 영상 생성부(950)를 포함한다.

스테레오 영상 생성부(910)는 비디오 데이터 디코딩부(710)로부터 받은 비디오 영상과 뎁쓰 맵 생성부(740)로부터 받은 뎁쓰 맵을 이용하여 좌안 영상 및 우안 영상을 생성한다. 스테레오 영상 생성부(910)는 뎁쓰 맵을 이용하여, 2차원 영상의 모든 픽셀에 대해 각 픽셀이 좌, 우 얼만큼씩 이동할 것인지를 계산하고, 계산된 값만큼 좌, 우로 픽셀이 이동되어 매핑된 좌안 영상과 우안 영상을 생성한다.

홀 보정부(920)는 좌안 영상과 우안 영상에 생성된 홀(hole)을 보정해준다. 하나의 2차원 영상을 이용하여 좌안 영상과 우안 영상을 생성할 경우, 좌안 영상과 우안 영상의 어느 지점에는 2차원 영상의 픽셀들이 중복하여 매핑되는 반면, 어느 지점에는 2차원 영상의 픽셀들이 매핑되지 않는 지점이 있다. 이러한 빈 지점을 홀 이라고 한다. 홀 보정부(920)는 좌안 영상과 우안 영상의 홀을 각각 보정해 준 후, 좌안 영상은 좌안 영상 버퍼(930)로 보내고 우안 영상은 우안 영상 버퍼(940)로 보낸다.

좌안 영상 버퍼(930)와 우안 영상 버퍼(940)는 좌안 영상과 우안 영상을 각 각 가지고 있다가 영상이 출력되어야 하는 시점이 되면, 좌안 영상과 우안 영상을 3차원 포맷 영상 생성부(950)에 보낸다. 3차원 포맷 영상 생성부(950)는 하나의 영상에 좌안 영상과 우안 영상이 모두 포함되도록 하연 3차원 포맷의 영상을 생성한다. 3차원 포맷 영상으로는 탑-다운(Top and down) 포맷, 사이드-바이-사이드(Side by Side) 포맷, 그리고 인터레이스드(interlaced) 포맷 등이 있다. 3차원 포맷 영상 생성부(950)는 3차원 포맷으로 생성된 영상을 출력 장치(미도시)로 보낸다.

이제까지 본 발명에 대하여 그 바람직한 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

도 1은 본 발명의 일 실시 예에 따른, 비디오 데이터에 대한 메타데이터를 도시한 도면이다.

도 2는 본 발명에서 사용되는 뎁쓰 정보를 설명하기 위한 도면이다.

도 3은 배경용 뎁쓰 정보에 포함된 배경 타입 정보 및 곡면 정보를 이용하여 배경에 뎁쓰 값을 부여하는 것을 설명하기 위한 도면이다.

도 4는 화면의 측면에서 관찰할 때, 영상에 부여되는 깊이감을 설명하기 위한 도면이다.

도 5는 영상 처리 장치가 오브젝트에 대한 뎁쓰 맵이나 배경에 대한 뎁쓰 맵을 필터링할 때 필터링된 영상의 입체감을 설명하기 위한 도면이다.

도 6은 도 1의 메타데이터(100)를 이용하여 뎁쓰 맵이 생성되는 것을 설명하기 위한 도면이다.

도 7은 본 발명의 일 실시 예에 따른 영상 처리 방법을 수행하기 위한 영상 처리 장치를 나타낸 도면이다.

도 8은 도 의 뎁쓰 맵 생성부(740)를 보다 구체적으로 도시한 도면이다.

도 9는 스테레오 렌더링부(750)를 보다 구체적으로 도시한 블록도이다.

Claims

2차원 영상을 소정 단위로 구분하기 위한 샷 정보를 메타데이터로부터 추출하는 단계;

상기 샷 정보로부터, 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있는지 여부를 나타내는 샷 타입 정보를 추출하는 단계;

상기 샷 정보에 포함된 상기 샷 타입 정보를 이용하여, 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있다고 판단되면, 상기 메타데이터로부터 상기 소정 샷에 포함된 프레임들의 배경에 대한 배경용 뎁쓰 정보를 추출하는 단계;

상기 배경용 뎁쓰 정보를 이용하여 상기 프레임들의 배경에 대한 뎁쓰 맵을 생성하는 단계;

상기 소정 샷에 포함된 프레임들에 오브젝트가 포함되어 있는 경우, 상기 메타데이터로부터 상기 오브젝트에 대한 오브젝트용 뎁쓰 정보를 추출하는 단계; 및

상기 오브젝트용 뎁쓰 정보를 이용하여 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 샷 정보를 이용하여 상기 소정 샷에 포함된 프레임들이 출력되어야 하는 시각을 구하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 배경에 대한 뎁쓰 맵을 생성하는 단계는

상기 배경용 뎁쓰 정보로부터 배경의 기본 구조를 나타내는 배경 타입 정보, 상기 배경에 포함된 곡면에 뎁쓰 값을 적용하기 위한 곡면 정보, 상기 배경의 좌표점 및 상기 배경의 좌표점에서의 상기 배경의 뎁쓰 값, 화면의 뎁쓰 값을 나타내는 패널 포지션 값을 추출하여 상기 배경에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제3 항에 있어서, 상기 배경에 대한 뎁쓰 맵을 생성하는 단계는

상기 배경 타입 정보에 따른 상기 배경의 기본 구조의 뎁쓰 값 및 상기 곡면 정보에 따른 상기 곡면의 뎁쓰 값을 이용하여 상기 배경에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제3항에 있어서, 상기 프레임에 포함된 배경이 동일한 뎁쓰 값을 갖는 경우, 상기 배경에 대한 뎁쓰 맵을 필터링하는 단계를 더 포함하고,

상기 배경에 대한 뎁쓰 맵을 필터링하는 단계는

상기 배경에 대한 뎁쓰 맵이 원구의 중심을 지나는 평면이 되도록 상기 배경에 대한 뎁쓰 맵에 반구 필터를 적용하거나, 상기 배경에 대한 뎁쓰 맵이 원기둥을 세로로 반으로 나누는 평면이 되도록 상기 배경에 대한 뎁쓰 맵에 반원기둥 필터를 적용하거나, 상기 배경에 대한 뎁쓰 맵이 삼각기둥의 사각형 옆면이 되도록 상기 배경에 대한 뎁쓰 맵에 삼각기둥 필터를 적용하여 상기 배경에 대한 뎁쓰 맵을 변형하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 오브젝트용 뎁쓰 정보에는 상기 오브젝트의 유형이 2차원 오브젝트, 노말 오브젝트, 하이라이트 오브젝트 중 무엇인지를 나타내는 오브젝트 타입 정보가 포함되어 있는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 오브젝트용 뎁쓰 정보는 동일한 프레임에 포함되는 오브젝트가 복수인 경우, 상기 복수의 오브젝트의 뎁쓰 맵 생성 순서를 나타내는 우선 순위 정보를 포함하고,

상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는 상기 오브젝트의 뎁쓰 맵 생성 순서에 따라 상기 복수의 오브젝트들에 대한 뎁쓰 맵을 차례대로 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는

상기 오브젝트용 뎁쓰 정보로부터 상기 오브젝트가 포함된 프레임이 출력되어야 하는 시각을 구하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 오브젝트용 뎁쓰 정보로부터 상기 오브젝트의 영역을 식별하기 위한 영역 식별 정보를 추출하는 단계를 더 포함하고,

상기 영역 식별 정보는 상기 오브젝트의 영역을 좌표점으로 표시한 정보이거나 상기 오브젝트의 형상이 표시된 마스크에 대한 정보인 것을 특징으로 하는 영상 처리 방법.
제9 항에 있어서, 상기 오브젝트가 2차원 오브젝트인 경우, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는

상기 배경용 뎁쓰 정보에 포함된 패널 포지션 값을 상기 식별된 오브젝트 영역의 뎁쓰 값으로 하여 상기 2차원 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제9 항에 있어서, 상기 오브젝트가 노말 오브젝트이고, 상기 영역 식별 정보가 상기 오브젝트의 형상이 표시된 마스크에 대한 정보인 경우, 상기 오브젝트용 뎁쓰 정보는 상기 배경용 뎁쓰 정보에 포함된 배경의 좌표점 중, 상기 노말 오브젝트의 영역을 나타내는 좌표점과 동일한 좌표점에 대한 정보를 더 포함하고,

상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는 상기 동일한 좌표점에 대한 배경의 뎁쓰 값을 상기 식별된 노말 오브젝트 영역의 뎁쓰 값으로 하여 상기 노말 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제9 항에 있어서, 상기 오브젝트가 노말 오브젝트인 경우, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는

상기 배경용 뎁쓰 정보에 포함된 배경의 좌표점 중, 상기 노말 오브젝트의 영역을 나타내는 좌표점과 동일한 좌표점을 구하는 단계; 및

상기 구한 좌표점에 대한 배경의 뎁쓰 값을 상기 식별된 노말 오브젝트 영역의 뎁쓰 값으로 하여 상기 노말 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제9 항에 있어서, 상기 오브젝트가 하이라이트 오브젝트인 경우, 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계는

상기 배경용 뎁쓰 정보에 포함된 패널 포지션 값과 상기 오브젝트용 뎁쓰 정보에 포함된 오프셋 값을 이용하여 구해진 값을 상기 식별된 하이라이트 오브젝트 영역의 뎁쓰 값으로 하여 상기 하이라이트 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법.
제13 항에 있어서, 상기 오브젝트에 대한 뎁쓰 맵을 필터링하는 단계를 더 포함하고, 상기 필터링하는 단계는

상기 오브젝트에 대한 뎁쓰 맵이 원구의 중심을 지나는 평면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 반구 필터를 적용하거나, 상기 오브젝트에 대한 뎁쓰 맵이 원기둥을 세로로 반으로 나누는 평면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 반원기둥 필터를 적용하거나, 상기 오브젝트에 대한 뎁쓰 맵이 삼각기둥의 사각형 옆면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 삼각기둥 필터를 적용하여 상기 오브젝트에 대한 뎁쓰 맵을 변형하는 단계를 포함하는 것을 특징으로 하는 영상 처 리 방법.
제1 항에 있어서, 상기 메타데이터로부터 상기 프레임들이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보를 추출하여, 상기 메타데이터가 어떤 타이틀에 대한 정보인지를 식별하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
제1 항에 있어서, 상기 뎁쓰 맵을 이용하여 2차원 영상에 대한 좌안 영상 및 우안 영상을 생성하는 단계;

상기 좌안 영상 및 우안 영상의 홀을 보정하는 단계; 및

상기 홀이 보정된 좌안 영상 및 우안 영상을 이용하여 3차원 포맷 영상을 생성하는 단계를 더 포함하는 것을 특징으로 하는 영상 처리 방법.
2차원 영상을 소정 단위로 구분하기 위한 샷 정보를 메타데이터로부터 추출하고, 상기 샷 정보로부터 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있는지 여부를 나타내는 샷 타입 정보를 추출하고, 상기 샷 정보에 포함된 상기 샷 타입 정보를 이용하여, 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있다고 판단되면, 상기 메타데이터로부터 상기 소정 샷에 포함된 프레임들의 배경에 대한 배경용 뎁쓰 정보를 추출하고, 상기 소정 샷에 포함된 프레임들에 오브젝트가 포함되어 있는 경우, 상기 메타데이터로부터 상기 오브젝트에 대한 오브젝트용 뎁쓰 정보를 추출하여 해석하는 메타데이터 해석부; 및

상기 배경용 뎁쓰 정보를 이용하여 상기 프레임들의 배경에 대한 뎁쓰 맵을 생성하고, 상기 오브젝트용 뎁쓰 정보를 이용하여 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 뎁쓰 맵 생성부를 포함하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 메타데이터 해석부는 상기 샷 정보를 이용하여 상기 소정 샷에 포함된 프레임들이 출력되어야 하는 시각을 구하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 뎁쓰 맵 생성부는 상기 배경용 뎁쓰 정보로부터 배경의 기본 구조를 나타내는 배경 타입 정보, 상기 배경에 포함된 곡면에 뎁쓰 값을 적용하기 위한 곡면 정보, 상기 배경의 좌표점 및 상기 배경의 좌표점에서의 상기 배경의 뎁쓰 값, 화면의 뎁쓰 값을 나타내는 패널 포지션 값을 추출하여 상기 배경에 대한 뎁쓰 맵을 생성하는 것을 특징으로 하는 영상 처리 장치.
제19 항에 있어서, 상기 뎁쓰 맵 생성부는

상기 배경 타입 정보에 따른 상기 배경의 기본 구조의 뎁쓰 값 및 상기 곡면 정보에 따른 상기 곡면의 뎁쓰 값을 이용하여 상기 배경에 대한 뎁쓰 맵을 생성하는 것을 특징으로 하는 영상 처리 장치.
제19 항에 있어서, 생성된 뎁쓰 맵을 필터링하는 필터링부를 더 포함하고,

상기 필터링부는 상기 프레임에 포함된 배경이 동일한 뎁쓰 값을 갖는 경우, 상기 배경에 대한 뎁쓰 맵이 원구의 중심을 지나는 평면이 되도록 상기 배경에 대한 뎁쓰 맵에 반구 필터를 적용하거나, 상기 배경에 대한 뎁쓰 맵이 원기둥을 세로로 반으로 나누는 평면이 되도록 상기 배경에 대한 뎁쓰 맵에 반원기둥 필터를 적용하거나, 상기 배경에 대한 뎁쓰 맵이 삼각기둥의 사각형 옆면이 되도록 상기 배경에 대한 뎁쓰 맵에 삼각기둥 필터를 적용하여 상기 배경에 대한 뎁쓰 맵을 필터링하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 오브젝트용 뎁쓰 정보에는 상기 오브젝트의 유형이 2차원 오브젝트, 노말 오브젝트, 하이라이트 오브젝트 중 무엇인지를 나타내는 오브젝트 타입 정보가 포함되어 있는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 오브젝트용 뎁쓰 정보는 동일한 프레임에 포함되는 오브젝트가 복수인 경우, 상기 복수의 오브젝트의 뎁쓰 맵 생성 순서를 나타내는 우선 순위 정보를 포함하고,

상기 뎁쓰 맵 생성부는 상기 오브젝트의 뎁쓰 맵 생성 순서에 따라 상기 복수의 오브젝트들에 대한 뎁쓰 맵을 차례대로 생성하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 뎁쓰 맵 생성부는 상기 오브젝트용 뎁쓰 정보로부터 상기 오브젝트가 포함된 프레임이 출력되어야 하는 시각을 구하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 뎁쓰 맵 생성부는 상기 오브젝트용 뎁쓰 정보로부터 상기 오브젝트의 영역을 식별하기 위한 영역 식별 정보를 추출하고, 상기 영역 식별 정보는 상기 오브젝트의 영역을 좌표점으로 표시한 정보이거나 상기 오브젝트의 형상이 표시된 마스크에 대한 정보인 것을 특징으로 하는 영상 처리 장치.
제25 항에 있어서, 상기 뎁쓰 맵 생성부는 상기 오브젝트가 2차원 오브젝트인 경우, 상기 배경용 뎁쓰 정보에 포함된 패널 포지션 값을 상기 식별된 오브젝트 영역의 뎁쓰 값으로 하여 상기 2차원 오브젝트에 대한 뎁쓰 맵을 생성하는 것을 특징으로 하는 영상 처리 장치.
제25 항에 있어서, 상기 오브젝트가 노말 오브젝트이고, 상기 영역 식별 정보가 상기 오브젝트의 형상이 표시된 마스크에 대한 정보인 경우, 상기 오브젝트용 뎁쓰 정보는 상기 배경용 뎁쓰 정보에 포함된 배경의 좌표점 중, 상기 노말 오브젝트의 영역을 나타내는 좌표점과 동일한 좌표점에 대한 정보를 더 포함하고,

상기 뎁쓰 맵 생성부는 상기 동일한 좌표점에 대한 배경의 뎁쓰 값을 상기 식별된 노말 오브젝트 영역의 뎁쓰 값으로 하여 상기 노말 오브젝트에 대한 뎁쓰 맵을 생성하는 것을 특징으로 하는 영상 처리 장치.
제25 항에 있어서, 상기 오브젝트가 노말 오브젝트인 경우, 상기 뎁쓰 맵 생성부는

상기 배경용 뎁쓰 정보에 포함된 배경의 좌표점 중, 상기 노말 오브젝트의 영역을 나타내는 좌표점과 동일한 좌표점을 구하고, 상기 구한 좌표점에 대한 배경의 뎁쓰 값을 상기 식별된 노말 오브젝트 영역의 뎁쓰 값으로 하여 상기 노말 오브젝트에 대한 뎁쓰 맵을 생성하는 것을 특징으로 하는 영상 처리 장치.
제25 항에 있어서, 상기 오브젝트가 하이라이트 오브젝트인 경우, 상기 뎁쓰 맵 생성부는

상기 배경용 뎁쓰 정보에 포함된 패널 포지션 값과 상기 오브젝트용 뎁쓰 정보에 포함된 오프셋 값을 이용하여 구해진 값을 상기 식별된 하이라이트 오브젝트 영역의 뎁쓰 값으로 하여 상기 하이라이트 오브젝트에 대한 뎁쓰 맵을 생성하는 것을 특징으로 하는 영상 처리 장치.
제29 항에 있어서, 생성된 뎁쓰 맵을 필터링하는 필터링부를 더 포함하고,

상기 필터링부는 상기 오브젝트에 대한 뎁쓰 맵이 원구의 중심을 지나는 평면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 반구 필터를 적용하거나, 상기 오브젝트에 대한 뎁쓰 맵이 원기둥을 세로로 반으로 나누는 평면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 반원기둥 필터를 적용하거나, 상기 오브젝트에 대한 뎁쓰 맵 이 삼각기둥의 사각형 옆면이 되도록 상기 오브젝트에 대한 뎁쓰 맵에 삼각기둥 필터를 적용하여 상기 오브젝트에 대한 뎁쓰 맵을 필터링하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 메타데이터 해석부는 상기 메타데이터로부터 상기 프레임들이 포함된 타이틀을 식별하기 위한 타이틀 식별 정보를 추출하여, 상기 메타데이터가 어떤 타이틀에 대한 정보인지를 식별하는 것을 특징으로 하는 영상 처리 장치.
제17 항에 있어서, 상기 뎁쓰 맵을 이용하여 2차원 영상에 대한 좌안 영상 및 우안 영상을 생성하는 스테레오 영상 생성부;

상기 좌안 영상 및 우안 영상의 홀을 보정하는 홀 보정부; 및

상기 홀이 보정된 좌안 영상 및 우안 영상을 이용하여 3차원 포맷 영상을 생성하는 3차원 포맷 영상 생성부 더 포함하는 것을 특징으로 하는 영상 처리 장치.
2차원 영상을 소정 단위로 구분하기 위한 샷 정보를 메타데이터로부터 추출하는 단계;

상기 샷 정보로부터 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있는지 여부를 나타내는 샷 타입 정보를 추출하는 단계;

상기 샷 정보에 포함된 상기 샷 타입 정보를 이용하여, 소정 샷에 포함된 프레임들이 3차원 영상으로 재생될 수 있다고 판단되면, 상기 메타데이터로부터 상기 소정 샷에 포함된 프레임들의 배경에 대한 배경용 뎁쓰 정보를 추출하는 단계;

상기 배경용 뎁쓰 정보를 이용하여 상기 프레임들의 배경에 대한 뎁쓰 맵을 생성하는 단계;

상기 소정 샷에 포함된 프레임들에 오브젝트가 포함되어 있는 경우, 상기 메타데이터로부터 상기 오브젝트에 대한 오브젝트용 뎁쓰 정보를 추출하는 단계; 및

상기 오브젝트용 뎁쓰 정보를 이용하여 상기 오브젝트에 대한 뎁쓰 맵을 생성하는 단계를 포함하는 것을 특징으로 하는 영상 처리 방법을 실행하기 위한 컴퓨터로 판독 가능한 프로그램을 저장하는 기록 매체.