KR102068251B1

KR102068251B1 - 3차원 볼륨 데이터 생성 방법

Info

Publication number: KR102068251B1
Application number: KR1020130033739A
Authority: KR
Inventors: 이창교; 유병인; 최창규; 한재준
Original assignee: 삼성전자주식회사
Priority date: 2012-04-17
Filing date: 2013-03-28
Publication date: 2020-01-20
Anticipated expiration: 2033-03-28
Also published as: KR20130117668A

Abstract

본 발명은 3차원 볼륨 데이터 생성 방법에 관한 것으로서, 멀티레이어 영상을 생성하는 단계, 상기 생성된 멀티레이어 영상에 기초하여, 오브젝트의 보이는 부분의 종류 및 볼륨 정보를 생성하는 단계, 및 상기 생성된 멀티레이어 영상에 기초하여, 상기 오브젝트의 보이지 않는 부분의 종류 및 볼륨 정보를 생성하는 단계를 포함할 수 있다.

Description

3차원 볼륨 데이터 생성 방법{METHOD OF GENERATING 3D VOLUMETRIC DATA}

본 발명은 오브젝트(object)의 볼륨 재구성을 위한 인식기 학습의 입력 데이터로 활용될 수 있는 오브젝트의 3차원 볼륨 데이터를 생성하기 위한 기술적 사상을 개시한다.

일상 생활에서 인간은 두 눈을 이용하기 때문에, 원거리의 해상도가 낮은 인체 몸 자세(human body pose)일지라도 잘 인지할 수 있다. 그러나, 컴퓨터 비젼 시스템에서 인체 몸 자세(human body pose)를 인지하는 방법은 다양한 분야에서 요구되지만 잘 풀리지 않는 어려운 문제이다.

최근 사용자의 몸 동작을 센싱하여 사용자 인터페이스를 제어하는 기술에 대한 연구 및 개발이 가속화되고 있다.

그러나 현재의 동작 센싱 기술은 오브젝트의 보이는 부분만 인식해서 어클루젼(Occlusion) 등에 의해 발생하는 가려진 부분을 인식하는 것이 불가능할 뿐만 아니라, 적용 범위가 Human Object(Virtual Body Parts)와 깊이 영상(Depth Image)에 제한되어 있다.

종래에는 신체의 모션을 캡쳐하여 3차원 모델에 리타게팅을 해서 3차원 객체 모델의 몸 자세 데이터를 생성하였다. 하지만 사용자 체형을 반영한 3차원 볼륨데이터는 생성하지 못하였다.

본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 멀티레이어 영상을 생성하는 단계, 상기 생성된 멀티레이어 영상에 기초하여, 오브젝트의 보이는 부분의 종류 및 볼륨 정보를 생성하는 단계, 및 상기 생성된 멀티레이어 영상에 기초하여, 상기 오브젝트의 보이지 않는 부분의 종류 및 볼륨 정보를 생성하는 단계를 포함할 수 있다.

본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 멀티레이어 영상을 읽어들이는 단계, 상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트(Object) 파트 식별정보에 대한 세그먼트화를 수행하는 단계, 상기 수행한 세그먼트화에 따라서, 동일한 오브젝트(Object) 파트 식별정보에 해당하는 위치를 추정하는 단계, 및 상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정하는 단계를 포함한다.

도 1은 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법을 설명하는 메인 플로우챠트이다.
도 2는 비저블 데이터와 인비저블 데이터를 설명하는 도면이다.
도 3은 깊이 카메라(depth camera)로 오브젝트의 자세를 캡쳐한 영상으로서 비저블 레이어의 깊이 영상을 나타내는 도면이다.
도 4는 비저블 레이어의 오브젝트(Object) 파트 식별정보의 이미지에 대한 실시예를 설명하는 도면이다.
도 5는 멀티레이어 바디 파트 식별정보 이미지/멀티레이어 깊이 이미지의 실시예를 설명하는 도면이다.
도 6은 레이 캐스팅 기반의 멀티레이어 영상의 생성 방법을 설명하는 도면이다.
도 7은 멀티레이어 영상을 생성하는 첫 번째 실시 예로서, 레이 캐스팅 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 8은 첫 번째 실시예 중에서 Ray-Casting Based Training Data Synthesis 블록을 설명하는 도면이다.
도 9는 멀티레이어 영상을 생성하는 첫 번째 실시 예의 변형예로서, 슬라이싱(Slicing) 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 10은 슬라이싱 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 11은 Actor가 컬러 패치로 구성된 수트(Color Patch Suit)를 실제 착용한 예(1100)를 설명하는 도면이다.
도 12는 Ray-Triangle Intersection Method를 설명하기 위한 도면이다.
도 13은 멀티레이어 영상을 생성하는 두 번째 실시 예로서, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 14는 크로마 키 스크린 기반 멀티레이어 영상 생성방법 중에서 오브젝트(Object) 파트 식별정보-RGB 룩업 테이블의 예를 설명하는 도면이다.
도 15는 2개의 크로마 키 스크린 설치 예를 설명하는 도면이다.
도 16은 멀티레이어 영상을 생성하는 세 번째 실시 예로서, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.
도 17은 초기 템플레이트에 따른 오브젝트(Object) 파트 룩업 테이블을 설명하는 도면이다.
도 18은 오브젝트(Object) 의 각 오브젝트(Object) 파트 프로퍼티를 실측하는 예를 설명하는 도면이다.
도 19는 오브젝트(Object) 의 각 오브젝트(Object) 파트 프로퍼티를 결정하는 실시예를 설명하는 도면이다.
도 20은 2차원 오브젝트(Object) 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예를 도시하는 도면이다.
도 21은 3차원 오브젝트(Object) 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예를 도시하는 도면이다.
도 22는 도 17에서 깊이 카메라 입력이 있을 경우 깊이 범위 안에서 영상을 생성하는 예를 도시한 도면이다.
도 23은 멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법을 개시한 흐름도이다.
도 24는 멀티레이어 영상을 바탕으로 스켈레톤 모델을 추정한 실시예를 설명한 도면이다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 사용자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.

도 1은 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법을 설명하는 메인 플로우챠트이다.

본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 오브젝트(Object) 의 볼륨 재구성을 위한 인식기 학습 입력 데이터를 생성하기 위한 것으로서, 단계 101을 통해서 비저블 데이터를 생성하고, 단계 102에서 인비저블 데이터를 생성한다.

구체적으로, 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 오브젝트의 보이는 부분(비저블 데이터)의 종류 및 볼륨 정보를 생성하고, 상기 오브젝트의 보이지 않는 부분(인비저블 데이터)의 종류 및 볼륨 정보를 생성한다.

이를 위해서, 본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 레이 캐스팅 기반의 멀티레이어 영상, 크로마 키 스크린 기반의 멀티레이어 영상, 및 초기 템플레이트 기반의 멀티레이어 영상 중에서 적어도 하나의 멀티레이어 영상을 생성하고, 상기 생성된 멀티레이어 영상을 이용하여 상기 오브젝트의 보이는 부분과 보이지 않는 부분 각각에 대한 종류 및 볼륨 정보를 생성할 수 있다.

도 2는 비저블 데이터와 인비저블 데이터를 설명하는 도면이다.

본 발명에서는 이미지 센서(201)가 촬영하는 오브젝트의 보이는 부분을 비져블 오브젝트 파트(202)로 정의하고, 상기 비저블 데이터는 상기 비져블 오브젝트 파트(202)를 촬영하여 생성되는 데이터이다.

또한, 이미지 센서(201)가 촬영하는 오브젝트의 뒤나 안에 가려 보이지 않는 부분을 히든 오브젝트 파트(203)로 정의하고, 상기 인비저블 데이터는 상기 비저블 데이터로부터 추정되는 데이터이다.

이미지 센서(201)에서 오브젝트를 캡쳐링할 때, 센서 플랜에 상이 맺히는 부분을 비져블 오브젝트 파트로 정의하고, 오브젝트의 셀프 어클루젼(Self Occlusion)이나, 다른 오브젝트에 의해서 어클루젼(Occlusion)이 발생하는 오브젝트 영역을 히든 오브젝트 파트로 정의할 수 있다.

예를 들어 정육면체의 Front View(202)에서 보이는 3면은 3개의 비져블 오브젝트 파트로 정의할 수 있고, 정육면체의 Rear View(203)에서 보이는 3면은 3개의 히든 오브젝트 파트로 정의할 수 있다.

도 3은 오브젝트(Object) 의 자세를 캡쳐한 영상(300)을 설명하는 도면으로서, 깊이 카메라(depth camera)로 오브젝트(Object) 의 자세를 캡쳐한 영상(300)으로서 비저블 레이어의 깊이 영상을 도시한다.

도 4는 비저블 레이어의 오브젝트(Object) 파트 식별정보의 이미지에 대한 실시예를 설명하는 도면이다.

도 4는 깊이 카메라(depth camera)로 오브젝트(Object) 의 자세를 캡쳐한 영상인 깊이 데이터(Depth Data)에 존재하는 객체(Object)의 오브젝트 파트 식별정보(Object parts ID)를 갖고 있는 Labeled Data의 예를 표시한다.

다시 말해, 도 4에서는 비저블 레이어(Visible Layer)의 오브젝트(Object) 파트 식별정보(Object part ID) 이미지로서, 각각의 오브젝트(Object) 파트 마다 다른 식별정보(ID)를 부여하여 모든 오브젝트(Object) 파트들을 구분한다.

도 5는 멀티레이어 바디 파트 식별정보 이미지/멀티레이어 깊이 이미지의 실시예를 설명하는 도면이다.

구체적으로, 도 5의 첫 번째 이미지(510)는 비저블 레이어(Visible Layer)의 오브젝트 파트 식별정보(Object part ID)와 깊이(Depth) 이미지를 도시한다.

두 번째부터 다섯 번째까지의 이미지(520)는 인비저블 레이어(Invisible Layer)의 오브젝트 파트 식별정보와 깊이 이미지를 도시한다.

도 6은 레이 캐스팅 기반의 멀티레이어 영상의 생성 방법을 설명하는 도면이다.

구체적으로, 도 6은 레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법의 개념 도면을 나타낸다.

레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법이란 카메라(601) 위치로부터 3차원 오브젝트(602) 방향으로 가상의 Ray(603)를 생성하여, Ray(603)가 3차원 오브젝트(602)의 표면을 관통하여 지나갈 때 마다 닿는 표면의 픽셀을 영상에 저장하는 방법이다.

이때 Ray(603)가 최초로 만나는 표면은 비저블 레이어(604)로 저장하고, 3차원 오브젝트(602)를 관통하면서 만나게 되는 뒷부분의 표면은 각각의 인비저블 레이어(605)로 저장한다. 따라서, 레이 캐스팅(Ray-Casting) 기반 멀티레이어(Multi-Layer) 이미지 생성 방법으로써 비저블 오브젝트 파트뿐만 아니라, 인비저블 오브젝트 파트를 생성할 수 있다.

도 7은 멀티레이어 영상을 생성하는 첫 번째 실시 예로서, 레이 캐스팅 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.

도 7은 레이 캐스팅 기반 멀티레이어 영상 생성 방법의 첫 번째 실시 예이다.

레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 오브젝트의 모션을 캡쳐 한 후 획득한 데이터를 IK(Inverse Kinematics) 처리(701)하여 모션 데이터(703)를 생성한다.

또한, 레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 IK(Inverse Kinematics) 처리(701)와 별도로 오브젝트의 실제 체형을 반영하여 3차원 메시(3D Mesh)의 조합으로 구성된 3차원 오브젝트 모델을 생성한다(702).

다음으로, 레이 캐스팅 기반 멀티레이어를 생성하기 위해서는 생성된 모션 데이터와 생성된 3차원 오브젝트 모델을 머지(Merge)하여, 모션(Motion)이 결합된 3차원 오브젝트 모델(Motion Augmented 3D Human Model)을 생성한다.

이때, 레이 캐스팅 기반 멀티레이어를 생성하기 위해 모션 데이터를 다른 체형을 가진 3차원 오브젝트 모델에 정합하기 위해 상기 생성된 3차원 오브젝트 모델에 대해서 리타게팅(Retargeting)을 수행할 수 있다(704).

마지막으로 도 6에서 설명한 레이 캐스팅 기반 멀티레이어 영상 생성 방법으로서 멀티레이어 영상을 생성할 수 있다(705).

도 8은 첫 번째 실시예 중에서 레이 캐스팅 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.

레이 캐스팅 기반 멀티레이어 영상 생성 방법, 즉 Ray-Casting Based Training Data Synthesis 방법은 우선, 레이 캐스팅 기반의 레이 맵을 생성할 수 있다(단계 801).

다음으로, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 상기 생성한 레이 맵으로부터 한 점을 선택하고(단계 802), 상기 생성된 3차원 오브젝트 모델(Human Model)로부터 복수개의 버텍스, 예를 들어 3개의 버텍스를 선택할 수 있다(단계 803).

다음으로, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 레이의 한 점이 복수개의 버텍스, 예를 들어 3개의 버텍스 안쪽에 위치하는지 여부를 판단할 수 있다(단계 804).

즉, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 상기 선택된 한 점과 상기 복수개의 버텍스와의 상대적인 위치를 확인할 수 있다.

다시 말해, 레이 캐스팅 기반 멀티레이어 영상 생성 방법은 하나의 레이를 선택하고, 3차원 오브젝트 모델을 구성하는 다수의 메쉬, 예를 들어 Polygon의 형태로 형성된 다수의 메쉬 중에서 하나를 선택한다. 그리고 하나의 메쉬를 구성하는 복수개의 버텍스와 레이가 교차하는지 여부를 판단하여 레이의 한 점이 복수개의 버텍스, 예를 들어 3개의 버텍스로 형성되는 삼각형 안쪽에 위치하는지 여부를 판단할 수 있다.

이 방법을 이용해서 레이맵으로부터 선정한 하나의 점과 복수개의 버텍스가 교차하면, 즉 상기 선택된 레이의 한 점이 상기 3개의 버텍스 안쪽에 위치하는 경우에 상기 멀티레이어 영상을 저장할 수 있다(단계 805).

또한, 단계 804의 판단결과, 안쪽에 위치하지 않으면 버텍스의 조합이 마지막인지 여부를 확인하여(단계 806), 마지막인 경우에 단계 807로 분기하여 레이맵의 모든 점을 검사했는지 여부를 더 판단할 수 있다(단계 807). 단계 807의 판단결과, 레이맵의 모든 점을 검사했다면 멀티레이어 영상 생성을 종료할 수 있다(단계 808).

만약, 단계 806의 판단 결과, 상기 버텍스의 조합이 마지막이 아닌 경우, 단계 803으로 분기하여 3차원 오브젝트 모델(Human Model)로부터 새로운 복수개의 버텍스를 선택할 수 있다.

만약, 단계 807의 판단 결과, 상기 레이맵의 모든 점을 검사하지 않았다면, 단계 802로 분기하여 레이맵으로부터 새로운 한 점을 선택할 수 있다.

교차 여부를 판단하기 위해서는, Ray-triangle Intersection Method를 이용할 수 있는데, 이러한 Ray-Triangle Intersection Method는 추후 도 12에서 상세히 설명한다.

도 9는 멀티레이어 영상을 생성하는 첫 번째 실시 예의 변형 예로서, 슬라이싱 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.

상기 슬라이싱 기반의 멀티레이어 영상 생성 방법은 오브젝트의 모션을 캡쳐 한 후 획득한 데이터를 IK(Inverse Kinematics) 처리(901)하여 모션 데이터(903)를 생성한다.

또한, 슬라이싱 기반 멀티레이어를 생성하기 위해서는 IK(Inverse Kinematics) 처리(901)와 별도로 오브젝트의 실제 체형을 반영하여 3차원 메시(3D Mesh)의 조합으로 구성된 3차원 오브젝트 모델을 생성한다(902).

이때, 레이 캐스팅 기반 멀티레이어를 생성하기 위해 모션 데이터를 다른 체형을 가진 3차원 오브젝트 모델에 정합하기 위해 상기 생성된 3차원 오브젝트 모델에 대해서 리타게팅(Retargeting)을 수행할 수 있다(904).

마지막으로, 슬라이싱 기반 멀티레이어 영상 생성 방법으로서 멀티레이어 영상을 생성할 수 있다(905). 상기 슬라이싱 기반 멀티레이어 영상 생성 방법은 도 10을 통해서 설명한다.

도 10은 슬라이싱 기반 멀티레이어 영상 생성 방법을 설명하는 도면이다.

도 10에서 보는 바와 같이, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 Motion Augmented 3D Human Model을 생성하거나(단계 1001), 또는 Primitive Template 3D Human Model을 생성한다(단계 1002).

이후, 상기 생성된 Motion Augmented 3D Human Model 또는 상기 생성된 Primitive Template 3D Human Model을 이용하여, 현재 깊이 값(Z)에 해당하는 모델의 모든 픽셀(또는 복셀(voxel))을 검색한다(단계 1003).

다음으로, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 상기 검색된 모든 픽셀 중에서 현재 깊이 값(Z)에 해당하는 픽셀이 있을 경우 레이블드(Labeled) 영상을 생성하고(단계 1004), 상기 레이블드 영상과 함께 깊이(Depth) 영상을 생성한다(단계 1005).

다음으로, 본 발명의 일실시예에 따른 슬라이싱 기반 멀티레이어 영상 생성 방법은 Z값을 1 증가 시킨(단계 1006) 후 위의 검색과 영상 생성 과정을 Z가 마지막인지 여부를 판단(단계 1007)하고, 마지막일 때까지 반복 수행한 후 영상 생성을 종료한다(단계 1008).

도 11은 오브젝트가 컬러 패치로 구성된 수트(Color Patch Suit)를 실제 착용한 예(1100)를 설명하는 도면이다.

크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 크로마 키 스크린 및 피사체가 착용하고 오브젝트 파트 별로 다른 색이 적용된 수트로부터 컬러카메라 영상을 생성할 수 있다. 수트를 구성하는 컬러 패치의 개수는 오브젝트 파트(Object part)에 따라 변경 가능하다.

교차 여부를 판단하기 위해서는, Ray-triangle Intersection Method를 이용할 수 있다.

먼저 도 12의 도면부호 1210 같이 3개의 Vertex (p0, p1, p2)와 Normal Vector n을 [수학식1]과 같이 정의한다.

[수학식 1]

n: normal of the plane

n = (p₁-p₀)*(p₂-p₀)

n은 p₀, p₁, p₂ Vertex로 이루어진 평면의 노멀 벡터(normal vector)이다.

참고로, 노멀벡터 n은 3차원 공간 상에서 벡터 p₂-p₀와 수직이고, p₁-p₀과도 수직으로 해석될 수 있다.

그 다음 도면부호 1220 또는 1230과 같이 ray vector x가 3개의 Vertex (p0, p1, p2)로 구성된 plane을 지나가는지 여부를 판별할 수 있다. 이때 해당 평면의 Normal Vector n도 [수학식 2]와 같이 이용된다.

[수학식 2]

(p₁-p₀)×(x-p₀)ㆍn≥0

(p₂-p₁)×(x-p₁)ㆍn≥0

(p₀-p₂)×(x-p₂)ㆍn≥0

참고로, 도면부호 1220은 ray vector인 x가 Vertex 안에 위치하는 실시예이고, 도면부호 1230은 x가 Vertex 밖에 위치하는 실시예로서, ray vector가 Vertex 안에 있는지 또는 밖에 있는지를 판별하기 위한 실시예들이다.

CCW는 방향을 나타내는 것인데, 이 중에서 CCW₀, CCW₁, 및 CCW₂는 Vertex 안의 x로 향하는 방향으로서, 반시계 방향을 나타낸다. 또한, CCW₃ 및 CCW₅는 Vertex가 밖의 x로 향하는 것으로서, 역시 반시계 방향을 나타내며 CCW₄는 시계 방향을 나타낸다.

도 13은 멀티레이어 영상을 생성하는 두 번째 실시 예로서, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.

크로마 키 스크린 기반의 멀티레이어 영상 생성 방법을 위해서는, 크로마 키 스크린 및 카메라를 설치하고(단계 1301), 액터는 오브젝트 파트 별로 다른 색을 적용한 수트를 착용할 수 있다(단계 1302).

이후, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 상기 수트의 컬러 패치 정보와 오브젝트 파트 식별정보가 기록된 RGB 룩업 테이블을 생성하고(단계 1303), 컬러 카메라 영상을 생성할 수 있다(단계 1304).

RGB 룩업 테이블은 도 14을 참조할 수 있다.

도 14에서 보는 바와 같이, RGB 룩업 테이블(1400)은 2개의 Chroma-Key Screen 설치 예이다.

크로마 키 스크린 기반의 멀티레이어 영상 생성 방법에서 오브젝트 파트 식별정보와 관련되는 RGB의 룩업 테이블(1400)은 Color Patch 픽셀(x, y)의 Color 정보(red, green, blue)를 저장하고, 해당하는 Object part ID(Color Patch)를 저장한다.

룩업 테이블(1400)의 입력은 컬러 카메라의 특정 픽셀에 대한 색 정보(RGB)이며, 출력은 오브젝트 파트 식별정보이다.

다시 도 13을 참고하면, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 크로마 키 스크린 및 피사체가 착용하고 오브젝트 파트 별로 다른 색이 적용된 수트(1100)으로부터 컬러카메라 영상을 생성할 수 있다.

다음으로, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 상기 생성된 컬러카메라 영상의 현재 위치에 대한 색상 정보를 확인하고, 상기 확인된 색상 정보와 상기 RGB 룩업 테이블을 비교하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색할 수 있다.

구체적으로, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 컬러 영상의 현재 위치의 R, G, B의 값을 읽고(단계 1305), 크로마 키 스크린과 같은 색인지 여부를 판단한다(단계 1306).

상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인 경우, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 Labeled image의 현재 위치에 "배경"으로 저장한다.

이후, 크로마 키 스크린 기반의 멀티레이어 영상 생성 방법은 컬러 카메라 영상의 마지막 픽셀인지 여부를 판단하여(단계 1310), 마지막 픽셀인 경우에 멀티레이어 레이블 영상을 생성할 수 있다(단계 1311).

만약, 상기 확인된 색상 정보가 크로마 키 스크린과 다른 색인 경우, 상기 RGB 룩업 테이블에 기초하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하고(단계 1308), 저장한다(단계 1309).

만약, 단계 1310의 판단 결과, 마지막 픽셀이 아닌 경우라면 컬러 영상의 다음위치를 선정하고(단계 1312), 단계 1305로 이동할 수 있다.

멀티레이어 영상 생성 환경은 도 15와 같이 복수개의 크로마 키 스크린과 깊이 카메라, 컬러 카메라를 설치해서 구성할 수 있다. 도 15와 같은 환경에서 도 13의 방법을 이용하여, 멀티레이어 영상을 생성 한다.

도 15에서는 2개의 깊이 카메라(1501), 2개의 컬러 카메라(1502)를 각각 설치하였지만, 복수개의 크로마 키 스크린과 깊이 카메라, 컬러 카메라가 설치될 수도 있다.

자세히 설명하면, 먼저 도 13에서 사용 되는 룩업 테이블은 컬러 카메라로 촬영한 영상에서 액터가 입고 있는 의상의 컬러 패치 정보로부터 생성될 수 있다.

액터가 컬러 패치 의상을 입고, 멀티레이어 데이터 생성을 위해 도 15의 환경에 진입하면, 컬러 영상의 현재 위치(x, y) 픽셀의 Red, Green, Blue 값을 읽는다. 이때 픽셀이 크로마 키 스크린과 같은 컬러 정보인지 확인한다. Yes면 Labeled Image 현재 픽셀 위치에 "배경"으로 저장한다. No면 룩업 테이블에서 RGB에 해당하는 오브젝트 파트 식별정보를 검색한다. Labeled Image 현재 위치에 오브젝트 파트 식별정보를 저장한다.

오브젝트의 수트에서 컬러 패치의 개수는 한정되지 않는다.

그리고 현재 픽셀이 입력된 이미지의 마지막 픽셀인지 확인하고, Yes면 Labeled Image의 생성을 완료하고, No면 컬러 영상의 다음 픽셀로 옮겨서, Labeled Image 생성을 계속한다. 이때 부가적으로 컬러 패치 수트 위에 Retro-Reflective Marker등을 부착하여 상세한 모션 데이터를 생성할 수도 있다.

도 16은 멀티레이어 영상을 생성하는 세 번째 실시 예로서, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법을 설명하는 도면이다.

초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 성별, 연령, 체형에 따른 오브젝트 파트들 각각의 속성 값을 측정한다(단계 1601).

다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 측정된 각각의 속성 값으로 초기 템플레이트를 정의하고(단계 1602), 상기 정의된 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성한다(단계 1603).

예를 들어 성별, 연령, 체형의 평균값을 속성으로, 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성할 수 있다.

초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 오브젝트 파트 룩업 테이블을 생성과 병행하여, 모션 캡쳐 시스템을 준비하고(단계 1604), 상기 준비된 모션 캡쳐 시스템을 이용하여, 모션 캡쳐 데이터를 생성한다(단계 1605).

예를 들어 복수개의 IR 카메라와 Retro-Reflective Marker 등을 이용하여 모션 데이터를 생성할 수도 있다. 이때 모션 데이터를 생성하는 시스템은 특정 종류에 한정되지 않는다.

초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 오브젝트 파트 룩업 테이블을 생성 및 모션 캡쳐 데이터의 생성과 병행하여, 깊이 카메라로부터 깊이 영상을 입력 받을 수 있다(단계 1606).

다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 정합된 영역의 크기나 볼륨 등을 상기 생성된 오브젝트 파트 룩업 테이블에 기초하여 상기 생성된 모션 캡쳐 데이터의 각 조인트에 상기 정의된 초기 템플레이트를 정합한다(단계 1607).

다음으로, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 깊이 영상을 입력 받고, 상기 입력된 깊이 영상에 기초하여 선정된 깊이 범위 내에서 영상을 생성한다(단계 1608).

예를 들어, 상기 깊이 영상은 상기 룩업 테이블에 기록된 깊이 정보로부터 생성할 수 있다.

또 다른 예로 상기 깊이 영상은 깊이 카메라와 모션 데이터 생성 시스템을 동시에 이용하여 깊이 데이터와 모션 데이터를 획득한 경우, 초기 템플레이트를 이용하여 정합된 영역의 크기나 볼륨을 깊이 영상 범위를 참고하여 좀 더 정확하게 생성 할 수 있다.

이후, 초기 템플레이트 기반의 멀티레이어 영상 생성 방법은 상기 선정된 깊이 범위 내에서 생성된 영상으로부터 멀티레이어 깊이 영상을 생성하고(단계 1609), 멀티레이어 레이블드 영상을 생성할 수 있다(단계 1610).

도 17은 초기 템플레이트에 따른 오브젝트 파트 룩업 테이블(1700)을 설명하는 도면이다.

오브젝트 파트 룩업 테이블(1700)은 성별, 연령, 체형에 따른 오브젝트 파트들에 대해서 측정된 속성 값을 저장하는데, 각 오브젝트 파트별 속성 값의 평균과 표준편차를 계산하여 저장할 수 있다.

도 18은 사람(1800)의 각 오브젝트 파트 프로퍼티를 실측하는 예를 설명하는 도면이다.

도 18에서 보는 바와 같이, 각 오브젝트 파트 프로퍼티는 성별, 연령, 체형에 따라 각 오브젝트 파트의 속성 값을 측정하여 평균과 표준편차를 구하여 산출할 수 있다.

도 19는 사람(1900)의 각 오브젝트 파트 프로퍼티를 결정하는 실시예를 설명하는 도면으로서, 도 19에서 보는 바와 같이 각 오브젝트 파트 별 측정한 속성 값을 오브젝트 비율을 고려하여 결정할 수 있다.

도 20은 2차원 오브젝트 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예(2000)를 도시하는 도면이다.

도 20에서 보는 바와 같이 머리는 원, 어깨는 사다리꼴, 팔과 몸통, 다리는 직사각형, 손은 반원, 발은 호인 ID가 다른 도형으로 세팅한다. 도형의 종류는 위에 기술한 5가지 종류에 한정되지 않는다.

도 21은 3차원 오브젝트 파트의 초기 템플레이트를 모션 캡쳐 데이터 위에 정합한 실시예(2100)를 도시하는 도면으로서, 각 오브젝트 파트를 3차원 오브젝트 모양(3D Body Shape)으로 만들어 초기 템플레이트로 정의한다.

도 22는 도 17에서 깊이 카메라 입력이 있을 경우 깊이 범위 안에서 영상을 생성하는 예를 도시한 도면으로서, Real Depth Data의 범위 안에서 초기 오브젝트 파트 템플레이트(Primitive Object part Template)를 이용하여 Labeled 영상(2200)을 생성하는 예이다.

도 23은 멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법을 개시한 흐름도이다.

멀티레이어 영상에서 스켈레톤 데이터를 생성하는 방법은 멀티레이어 영상을 읽어들이고 (단계 2301), 상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트 파트 식별정보에 대한 세그먼트화를 수행한다(단계 2302).

상기 수행한 세그먼트화에 따라서, 동일한 오브젝트 파트 식별정보에 해당하는 위치를 추정하고(단계 2303), 상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정한다(단계 2304).

도 24는 멀티레이어 영상을 바탕으로 스켈레톤 모델(2400)을 추정한 실시예를 설명한 도면이다.

도 23 및 21에 따라서 스켈레톤 모델을 생성하는 방법은 별도의 Retro-Reflective Marker 없이 모션 데이터 캡쳐 시스템으로도 활용할 수 있는 실시 예이다.

결국 본 발명에 따르면, 본 발명에 의해 생성한 산출물을 통해 오브젝트 의 볼륨 재구성을 위한 인식기 학습의 입력데이터로 활용되어 오브젝트 의 볼륨 및 자세를 인식할 수 있는 데이터로 활용할 수 있다. 또한, 본 발명에 따른 비저블 레이어 및 인비저블 레이어로 구성된 오브젝트의 3차원 볼륨 데이터를 생성 할 수 있다.

본 발명의 일실시예에 따른 3차원 볼륨 데이터 생성 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

101: 비저블 데이터 생성 단계
102: 인비저블 데이터 생성 단계

Claims

멀티레이어 영상을 생성하는 단계;
상기 생성된 멀티레이어 영상에 기초하여, 오브젝트의 보이는 부분의 종류 및 볼륨 정보를 생성하는 단계; 및
상기 생성된 멀티레이어 영상에 기초하여, 상기 오브젝트의 보이지 않는 부분의 종류 및 볼륨 정보를 생성하는 단계
를 포함하고,
상기 멀티레이어 영상을 생성하는 단계는,
피사체의 모션 캡쳐를 수행하여 모션 데이터를 생성하는 단계;
오브젝트의 실제 체형을 반영하여 3차원 메시(3D mesh)의 조합으로 구성된 3차원 오브젝트 모델(Object Model)을 생성하는 단계;
상기 생성된 모션 데이터를 상기 생성된 3차원 오브젝트 모델에 정합하기 위한 리타게팅을 수행하는 단계; 및
상기 리타게팅 결과에 따라 슬라이싱 기반의 멀티레이어 영상을 생성하는 단계를 포함하고,
상기 슬라이싱 기반의 멀티레이어 영상을 생성하는 단계는,
상기 모션 데이터와 상기 3차원 오브젝트 모델에 기반하는 모션 증진 3차원 오브젝트 모델(Motion Augmented 3D Human Model) 또는 초기 템플레이트 3차원 오브젝트 모델(Primitive Template 3D Human Model)을 생성하는 단계;
상기 생성된 모션 증진 3차원 오브젝트 모델 또는 상기 초기 템플레이트 3차원 오브젝트 모델에 현재 깊이 값에 해당하는 픽셀이 있는 경우에 레이블드 영상 및 깊이 영상을 생성하는 단계; 및
상기 생성된 레이블드 영상 및 깊이 영상을 이용하여 상기 멀티레이어 영상을 생성하는 단계를 포함하는
3차원 볼륨 데이터 생성 방법.
제1항에 있어서,
상기 멀티레이어 영상을 생성하는 단계는,
피사체의 모션 캡쳐를 수행하여 모션 데이터를 생성하는 단계;
오브젝트 의 실제 체형을 반영하여 3차원 메시(3D mesh)의 조합으로 구성된 3차원 오브젝트 모델(Object Model)을 생성하는 단계;
상기 생성된 모션 데이터를 상기 생성된 3차원 오브젝트 모델에 정합하기 위한 리타게팅을 수행하는 단계; 및
상기 리타게팅 결과에 따라 레이 캐스팅 기반의 멀티레이어 영상을 생성하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.
제2항에 있어서,
상기 레이 캐스팅 기반의 멀티레이어 영상을 생성하는 상기 단계는,
레이 캐스팅 기반의 레이 맵을 생성하는 단계;
상기 생성한 레이 맵으로부터 한 점을 선택하고, 상기 생성된 3차원 오브젝트 모델(Human Model)로부터 복수개의 버텍스를 선택하는 단계; 및
상기 선택된 한 점과 상기 복수개의 버텍스와의 위치에 기초하여 상기 멀티레이어 영상의 저장 여부를 결정하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.
제3항에 있어서,
상기 선택된 한 점과 상기 복수개의 버텍스와의 위치에 기초하여 상기 멀티레이어 영상의 저장 여부를 결정하는 상기 단계는,
상기 선택된 한 점이 상기 복수개의 버텍스가 생성하는 범위 내에 위치하는지 여부를 확인하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.
삭제
삭제
제1항에 있어서,
상기 멀티레이어 영상을 생성하는 단계는,
크로마 키 스크린 및 피사체가 착용하고 바디 파트 별로 다른 색이 적용된 수트로부터, 컬러카메라 영상을 생성하는 단계;
상기 수트의 컬러 패치 정보와 오브젝트파트 식별정보가 기록된 RGB 룩업 테이블을 생성하는 단계;
상기 생성된 컬러카메라 영상의 현재 위치에 대한 색상 정보를 확인하고, 상기 확인된 색상 정보와 상기 RGB 룩업 테이블을 비교하여, 상기 색상 정보에 해당하는 오브젝트파트 식별 정보를 검색하는 단계; 및
상기 검색된 오브젝트파트 식별 정보를 이용하여 멀티레이어 영상을 생성하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.
제7항에 있어서,
상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하는 상기 단계는,
상기 생성된 컬러카메라 영상의 현재 위치에 대한 R, G, B 값을 읽어들어 상기 색상 정보를 확인하는 단계;
상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인지 여부를 판단하는 단계;
상기 확인된 색상 정보가 크로마 키 스크린과 다른 색인 경우, 상기 RGB 룩업 테이블에 기초하여, 상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하고 저장하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.
제8항에 있어서,
상기 색상 정보에 해당하는 오브젝트 파트 식별 정보를 검색하는 상기 단계는,
상기 확인된 색상 정보가 크로마 키 스크린과 같은 색인 경우, 상기 확인된 색상 정보를 배경색으로 결정하는 단계
를 더 포함하는 3차원 볼륨 데이터 생성 방법.
제1항에 있어서,
상기 멀티레이어 영상을 생성하는 단계는,
오브젝트 파트들 각각의 속성 값을 측정하는 단계;
상기 측정된 각각의 속성 값으로 초기 템플레이트를 정의하고, 상기 정의된 초기 템플레이트에 기초하여 오브젝트 파트 룩업 테이블을 생성하는 단계;
모션 캡쳐 시스템을 이용하여, 모션 캡쳐 데이터를 생성하는 단계;
상기 생성된 모션 캡쳐 데이터의 각 조인트에 상기 정의된 초기 템플레이트를 정합하는 단계; 및
깊이 카메라 영상을 입력 받고, 상기 입력된 깊이 카메라 영상에 기초하여 선정된 깊이 범위 내의 영상을 생성하는 단계
를 포함하는 3차원 볼륨 데이터 생성 방법.
제10항에 있어서,
상기 선정된 깊이 범위 내의 영상으로부터 멀티레이어 깊이 영상 및 멀티레이어 레이블드 영상을 생성하는 단계
를 더 포함하는 3차원 볼륨 데이터 생성 방법.
멀티레이어 영상을 생성하는 단계;
상기 멀티레이어 영상을 읽어들이는 단계;
상기 읽어들인 멀티미디어 영상으로부터 동일한 오브젝트 파트 식별정보에 대한 세그먼트화를 수행하는 단계;
상기 수행한 세그먼트화에 따라서, 동일한 오브젝트 파트 식별정보에 해당하는 위치를 추정하는 단계; 및
상기 추정된 위치를 이용하여 스켈레톤(skeleton) 모델을 추정하는 단계
를 포함하고,
상기 멀티레이어 영상을 생성하는 단계는,
모션 데이터와 3차원 오브젝트 모델에 기반하는 모션 증진 3차원 오브젝트 모델(Motion Augmented 3D Human Model) 또는 초기 템플레이트 3차원 오브젝트 모델(Primitive Template 3D Human Model)을 생성하는 단계;
상기 생성된 모션 증진 3차원 오브젝트 모델 또는 상기 초기 템플레이트 3차원 오브젝트 모델에 현재 깊이 값에 해당하는 픽셀이 있는 경우에 레이블드 영상 및 깊이 영상을 생성하는 단계; 및
상기 생성된 레이블드 영상 및 깊이 영상을 이용하여 상기 멀티레이어 영상을 생성하는 단계를 포함하는
3차원 볼륨 데이터 생성 방법.
제1항 내지 제4항 및 제7항 내지 제12항 중에서 어느 한 항의 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 판독 가능한 기록 매체.