KR101955334B1

KR101955334B1 - 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법

Info

Publication number: KR101955334B1
Application number: KR1020120012526A
Authority: KR
Inventors: 박용화; 유장우; 윤희선
Original assignee: 삼성전자주식회사
Priority date: 2012-02-07
Filing date: 2012-02-07
Publication date: 2019-03-07
Anticipated expiration: 2032-02-07
Also published as: US20130201183A1; US9123164B2; KR20130091194A

Abstract

수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 피사체의 깊이 정보를 추출하는 동시에 광원, 광변조기, 촬상소자 등에서 발생할 수 있는 불규칙 잡음(random noise)에 의한 오차를 효율적으로 제거할 수 있는 깊이 정보 추출 방법을 제공한다. 개시된 깊이 정보 추출 방법은 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 고려하여 거리 정보를 추출하고, 촬영된 영상들에 대해 단순한 곱셈 및 덧셈 연산과 1회의 룩업 테이블 검색을 수행하여 불규칙 잡음을 제거할 수 있다. 따라서, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있으며, 불규칙 잡음을 제거하는 데 필요한 메모리 사용량 및 연산량을 감소시킬 수 있다.

Description

3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법 {3D image acquisition apparatus and method of extractig depth information in the 3D image acquisition apparatus}

개시된 실시예들은 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 관한 것으로, 더욱 상세하게는 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 피사체의 깊이 정보를 추출하는 동시에 광원, 광변조기, 촬상소자 등에서 발생할 수 있는 불규칙 잡음(random noise)에 의한 오차를 효율적으로 제거할 수 있는 깊이 정보 추출 방법에 관한 것이다.

최근, 깊이감 있는 영상을 표시할 수 있는 3D 디스플레이 장치의 발전 및 수요 증가와 함께 3D 컨텐츠의 중요성이 부각되고 있다. 이에 따라, 일반 사용자가 3D 컨텐츠를 직접 제작할 수 있는 3D 카메라와 같은 3차원 영상 획득 장치가 연구되고 있다. 이러한 3D 카메라는 한번의 촬영으로 기존의 2차원 컬러 영상 정보와 함께 깊이(depth) 정보도 얻을 수 있어야 한다.

피사체의 표면들과 3D 카메라 사이의 거리에 관한 깊이 정보는, 두 대의 카메라를 이용한 양안 입체시(Stereo Vision) 방법이나 구조광(Structured Light)과 카메라를 이용한 삼각 측량법(Triangulation)을 이용하여 얻을 수 있다. 그러나 이러한 방법은 피사체의 거리가 멀어질수록 깊이 정보에 대한 정확도가 급격히 저하되고 피사체의 표면 상태에 의존적이어서 정밀한 깊이 정보를 얻기 어렵다.

이러한 문제를 개선하기 위하여 광시간비행법(Time-of-Flight; TOF)이 도입되었다. TOF 기술은 조명광을 피사체에 조사한 후, 피사체로부터 반사되는 광이 수광부에서 수광되기까지의 광 비행시간을 측정하는 방법이다. TOF 기술에 따르면, 발광 다이오드(LED) 또는 레이저 다이오드(LD)를 포함하는 조명 광학계를 이용하여 특정 파장의 빛(예컨대, 850nm의 근적외선)을 피사체에 투사하고, 피사체로부터 반사된 동일한 파장의 빛을 수광부에서 수광한 후, 기지의 이득 파형을 갖는 변조기로 상기 수광된 빛을 변조하는 등 깊이 정보를 추출하기 위한 일련의 처리 과정을 거치게 된다. 이러한 일련의 광 처리 과정에 따라 다양한 TOF 기술이 소개되어 있다.

또한, TOF 기술의 깊이 정보 추출을 위한 광처리 과정에서, 광원과 광변조 소자를 펄스 구동하는 방법, 삼각형파(예컨대, 램프(ramp) 파형) 등의 특별한 파형을 이용하는 방법, 또는 사인파를 사용하는 방법 등이 소개되었다. 또한 각각의 사용 파형에 따라 광원과 광변조 소자의 다양한 구동 방법이 소개되어 있으며, 촬영된 세기 값으로부터 깊이 정보를 추출하기 위한 다양한 알고리즘이 소개되어 있다.

그런데, 상술한 TOF 방법의 경우, 다음의 2가지 요인에 의해 깊이 정보에 오차가 발생할 수 있다. 먼저, 광의 파형의 구조적인 왜곡(structural distortion)에 의한 오차이다. 통상적으로, 광의 파형은 펄스, 삼각형파, 사인파 등과 같은 이상적인 파형을 갖는 것으로 가정하고 깊이 정보를 추출한다. 그러나 실제로는, 광원 또는 광변조 소자의 작동 오차 및 비선형성 등으로 인하여 정확한 이상적인 파형의 구현이 어려울 수 있다. 이상적인 파형과 실제 사용된 파형 사이의 차이는 깊이 정보를 계산하는데 있어서 오차의 요인으로 작용한다. 또한, 실제의 광원, 광변조기, CCD와 같은 촬상소자 등에서는 전원의 불안정, 열, 외부의 전자기파 등과 같은 다양한 원인으로 인해 불규칙 잡음(random noise)이 항상 존재한다. 이러한 불규칙 잡음은 깊이 정보를 추출하는 과정에서 오차를 발생시키는 원인이 된다. 불규칙 잡음을 제거하기 위하여, 한 프레임의 시간 주기 내에서 다수의 영상들을 얻고, 상기 다수의 영상들을 평균하여 하나의 영상을 만드는 것이 통상적이다. 그러나 CCD와 같은 촬상소자는 수십만에서 수천만의 매우 많은 화소를 갖기 때문에 통상적인 평균화 방법의 경우, 메모리의 사용량 및 연산량이 기하급수적으로 증가할 수 있다.

수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 이용하여 피사체의 깊이 정보를 추출하는 방법을 제공한다.

또한, 3차원 영상 획득 장치에서 사용되는 광원, 광변조기, 촬상소자 등에서 발생할 수 있는 불규칙 잡음(random noise)에 의한 오차를 효율적으로 제거할 수 있는 깊이 정보 추출 방법이 제공된다.

또한, 상기 방법을 채용하여 거리 정보를 추출할 수 있는 3차원 영상 획득 장치를 제공한다.

일 실시예에 따른 깊이 정보 추출 방법은, N개(여기서, N은 3 이상의 자연수)의 상이한 투사광을 피사체에 순차적으로 투사하는 단계; 피사체에서 반사된 N개의 반사광을 광변조 신호로 변조하는 단계; 상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계; 상기 N개의 영상들에 각각 제 1 가중치를 곱한 후 가중된 각각의 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성하고, 상기 N개의 영상들에 상기 제 1 가중치와 다른 제 2 가중치를 각각 곱한 후 가중된 각각의 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성하는 단계; 및 N개의 상이한 투사광과 광변조 신호를 미리 실측하여 구성한 룩업 테이블을 참조하여, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)를 기초로 피사체까지의 거리를 계산하는 단계;를 포함할 수 있다.

상기 N개의 상이한 투사광은 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파일 수 있다.

또한, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파일 수 있다.

예를 들어, 상기 투사광과 광변조 신호의 파형은 다수의 사인 및 코사인의 고차항의 합으로 나타낼 수 있는 사인파, 삼각파, 사각파, 구형파 및 이들을 조합한 일반적인 파형 중에서 적어도 하나를 가질 수 있다.

또한, 상기 제 1 가중 영상은 상기 N개의 영상들의 각각에 그에 각각 대응하는 제 1 가중치(A₁~A_N)를 곱한 후 가중된 각각의 영상들을 합산하여 생성되며, 상기 제 2 가중 영상은 상기 N개의 영상들의 각각에 그에 각각 대응하는 제 2 가중치(B₁~B_N)를 곱한 후 가중된 각각의 영상들을 합산하여 생성될 수 있다.

상기 제 1 및 제 2 가중치들은 N개의 상이한 투사광과 광변조 신호를 실측하여 미리 계산될 수 있다.

상기 N개의 투사광과 광변조 신호의 다수의 상이한 조합별로 각각 별도의 룩업 테이블이 존재할 수 있으며, 상기 피사체까지의 거리를 계산하는 단계는 상기 N개의 투사광과 광변조 신호의 실제 사용한 조합에 해당하는 룩업 테이블을 참조하는 것을 포함할 수 있다.

예를 들어, 상기 룩업 테이블은, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)에 대한 아크탄젠트 값과 위상 지연 사이의 관계를 정의하는 제 1 룩업 테이블; 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)에 대한 아크탄젠트 값과 상기 피사체까지의 거리 사이의 관계를 정의하는 제 2 룩업 테이블; 및 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)와 상기 피사체까지의 거리 사이의 관계를 정의하는 제 3 룩업 테이블; 중에서 적어도 하나를 포함할 수 있다.

일 실시예에서, 상기 룩업 테이블은, 상기 N개의 상이한 투사광과 상기 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계; 상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식을 이용하여 상기 N개의 영상에 관한 다항식을 구하는 단계; 상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계; 상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계; 상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계; 상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및 상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계;를 포함하는 방식으로 구성될 수 있다.

상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식은 실측 결과를 기초로 푸리에 분석을 통해 다수의 사인과 코사인의 고차항의 합으로 나타낼 수 있다.

또한, 상기 N개의 영상에 관한 다항식을 구하는 단계는, 상기 N개의 상이한 투사광이 피사체에서 반사된 후의 반사광에 관한 N개의 다항식을 상기 N개의 상이한 투사광에 관한 다항식으로부터 유도하는 단계; 상기 반사광에 관한 N개의 다항식과 상기 광변조 신호에 관한 다항식을 곱하여 광변조된 광에 대한 N개의 다항식을 구하는 단계; 및 상기 광변조된 광에 대한 N개의 다항식을 적분하여 상기 N개의 상이한 투사광에 각각 대응하는 N개의 영상에 관한 다항식을 구하는 단계;를 포함할 수 있다.

예를 들어, 상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계는, 상기 N개의 영상에 관한 다항식에 존재하는 직류 항만을 고려할 수 있다.

예를 들어, 상기 위상 벡터 함수는

로 정의되며, 여기서

이고(i, j = 1, 2, ..., N, i≠j),

F⁽ⁱ⁾(Φ_TOF)는 i번째 투사광에 대한 위상 함수를 나타낼 수 있다.

또한, 상기 제 1 기준 벡터는

로 정의되며 여기서

이고,

상기 제 2 기준 벡터는

로 정의되며, 여기서

일 수 있다.

예를 들어, 상기 제 1 가중치는 상기 N개의 영상들에 각각 곱해지는 N개의 상이한 가중치 성분 A₁~A_N을 포함하며, 여기서

이고,

상기 제 2 가중치는 상기 N개의 영상들에 각각 곱해지는 N개의 상이한 가중치 성분 B₁~B_N을 포함하며, 여기서

일 수 있다.

또한, 상기 깊이 정보 추출 방법은, N개 미만의 상이한 투사광을 피사체에 더 투사하여 N개 미만의 신규 영상을 추가적으로 생성하는 단계; 가장 먼저 생성된 N개 미만의 기존 영상을 제거하는 단계; 남아 있는 N개의 영상들에 각각 제 1 및 제 2 가중치들을 곱하여 새로운 제 1 및 제 2 가중 영상을 생성하는 단계; 상기 새로운 제 1 가중 영상과 제 2 가중 영상의 비를 계산하는 단계; 및 상기 룩업 테이블을 참조하여, 상기 새로운 제 1 가중 영상과 제 2 가중 영상의 비를 기초로 피사체까지의 거리를 추가적으로 계산하는 단계;를 더 포함할 수 있다.

한편, 다른 실시예에 따른 깊이 정보 추출 방법은, N개(여기서, N은 3 이상의 자연수)의 동일한 투사광을 피사체에 순차적으로 투사하는 단계; N개의 상이한 광변조 신호로 상기 피사체에서 반사된 N개의 반사광을 각각 변조하는 단계; 상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계; 상기 N개의 영상들에 각각 제 1 가중치를 곱한 후 가중된 각각의 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성하고, 상기 N개의 영상들에 상기 제 1 가중치와 다른 제 2 가중치를 각각 곱한 후 가중된 각각의 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성하는 단계; 및 상기 투사광과 상기 N개의 상이한 광변조 신호를 미리 실측하여 구성한 룩업 테이블을 참조하여, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)를 기초로 피사체까지의 거리를 계산하는 단계;를 포함할 수 있다.

이 경우, 상기 룩업 테이블은, 상기 투사광과 상기 N개의 상이한 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계; 상기 투사광과 상기 N개의 상이한 광변조 신호의 파형에 관한 다항식을 이용하여 상기 N개의 영상에 관한 다항식을 구하는 단계; 상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계; 상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계; 상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계; 상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및 상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계를 포함하는 방식으로 구성될 수 있다.

또한, 상기 투사광과 상기 N개의 상이한 광변조 신호의 다수의 상이한 조합별로 각각 별도의 룩업 테이블이 존재할 수 있으며, 상기 피사체까지의 거리를 계산하는 단계는 상기 투사광과 상기 N개의 상이한 광변조 신호의 실제 사용한 조합에 해당하는 룩업 테이블을 참조하는 것을 포함할 수 있다.

또한, 본 발명의 일 유형에 따른 저장 매체는 상술한 방법으로 구성된 룩업 테이블을 저장할 수 있다.

또한, 본 발명의 일 유형에 따르면, 피사체를 향해 투사광을 투사하는 광원; 피사체로부터 반사된 반사광을 광변조 신호로 변조하는 광변조기; 상기 광변조기에 의해 변조된 광을 촬영하여 영상을 생성하는 촬상소자; 및 상기 촬상소자에서 생성된 영상을 이용하여 피사체와의 거리를 계산하기 위한 깊이 정보 영상 처리부;를 포함하는 3차원 영상 획득 장치가 제공될 수 있으며, 여기서 상기 깊이 정보 영상 처리부는 상술한 방법으로 깊이 정보를 추출할 수 있다.

상기 3차원 영상 획득 장치는, 상기 광원을 구동시켜 투사광의 파형을 제어하는 광원 구동부; 상기 광변조기를 구동시켜 광변조 신호의 이득 파형을 제어하는 광변조기 구동부; 및 상기 광원 구동부, 광변조기 구동부 및 촬상소자의 동작을 제어하기 위한 제어부;를 더 포함할 수 있다.

예를 들어, 상기 촬상소자는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토다이오드 어레이를 사용하거나 또는 단일 지점의 거리 측정을 위한 1개의 포토다이오드를 사용할 수도 있다.

또한, 상기 3차원 영상 획득 장치는, 상기 투사광과 광변조 신호를 미리 실측하여 구성한 상기 룩업 테이블 및 상기 투사광과 광변조 신호를 미리 실측하여 미리 계산되어 있는 상기 제 1 및 제 2 가중치들이 저장되어 있는 메모리를 더 포함할 수 있다.

개시된 깊이 정보 추출 방법에 따르면, 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 고려하여 거리 정보를 추출하기 때문에, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있다. 또한, 촬영된 영상들에 대해 단순 곱셈 및 덧셈 연산과 1회의 룩업 테이블 검색만으로 불규칙 잡음을 제거할 수 있기 때문에, 불규칙 잡음을 제거하는 데 필요한 메모리 사용량 및 연산량을 크게 감소시킬 수 있다. 따라서, 깊이 정보를 갖는 영상을 실시간으로 촬영하는 것이 가능하다. 또한, 파형의 왜곡이나 불규칙 잡음이 극도로 억제된 고가의 장비를 사용할 필요 없이, 기존의 광원, 광변조기, 촬상장치 등을 사용할 수 있으므로 추가 비용이 소요되지 않아서, 정밀한 3차원 영상 획득 장치를 비교적 저렴하게 제작할 수 있다.

도 1은 광시간비행법(TOF)을 이용하여 깊이 정보를 추출할 수 있는 3차원 영상 획득 장치의 예시적인 구조를 개략적으로 도시한다.
도 2는 광원에서 실제로 출력되는 출력광의 파형을 예시적으로 도시한다.
도 3은 광변조기의 실제 이득 파형을 예시적으로 도시한다.
도 4는 N개의 상이한 반사광을 변조한 후 촬상소자에서 N개의 상이한 영상을 생성하는 과정을 도시한다.
도 5는 하나의 동일한 투사광과 N개의 상이한 광변조 신호로 N개의 상이한 영상을 생성하는 과정을 도시한다.
도 6은 일 실시예에 따라 N개의 상이한 영상으로부터 깊이 정보를 추출하는 과정을 개략적으로 보인다.
도 7은 다른 실시예에 따라 N개의 상이한 영상으로부터 깊이 정보를 추출하는 과정을 개략적으로 보인다.
도 8은 4개의 투사광을 사용하는 경우에 위상 지연에 관한 이론적인 벡터 함수를 3차원 공간 상에 표시한 예를 도시한다.
도 9는 벡터 함수의 경사 각도와 깊이 사이의 관계에 관한 룩업 테이블을 예시적으로 도시하는 그래프이다.
도 10은 일 실시예에 따라 거리 정보를 추출하기 위한 방법을 설명하는 흐름도이다.

이하, 첨부된 도면들을 참조하여, 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 대해 상세하게 설명한다. 이하의 도면들에서 동일한 참조부호는 동일한 구성요소를 지칭하며, 도면상에서 각 구성요소의 크기는 설명의 명료성과 편의상 과장되어 있을 수 있다.

도 1은 광시간비행법(TOF)을 이용하여 깊이 정보를 추출할 수 있는 일 실시예에 따른 3차원 영상 획득 장치(100)의 예시적인 구조를 개략적으로 도시하고 있다. 도 1을 참조하면, 일 실시예에 따른 3차원 영상 획득 장치(100)는 소정의 파장을 갖는 광을 발생시키는 광원(101), 상기 광원(101)을 구동시키기 위한 광원 구동부(102), 피사체(200)로부터 반사된 광을 광변조하기 위한 광변조기(103), 상기 광변조기(103)를 구동시키기 위한 광변조기 구동부(104), 광변조기(103)에 의해 광변조된 광으로부터 세기 영상(intensity image)을 생성하는 촬상소자(105), 촬상소자(105)에서 출력된 세기 영상을 기초로 깊이 정보를 계산하기 위한 깊이 정보 영상 처리부(depth image processor)(107), 및 상기 광원 구동부(102), 광변조기 구동부(104), 촬상소자(105), 깊이 정보 영상 처리부(107)의 동작을 제어하기 위한 제어부(106)를 포함할 수 있다. 또한, 광변조기(103)의 광입사면에는 반사광을 광변조기(103)의 영역 내에 집광하기 위한 제 1 렌즈(108)와 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 더 배치될 수 있다. 그리고, 광변조기(103)와 촬상소자(105) 사이에는 광변조된 영상을 촬상소자(105)의 영역 내에 집광하기 위한 제 2 렌즈(110)가 더 배치될 수 있다.

광원(101)은, 예를 들어, 안전을 위해 인간의 눈에는 보이지 않는 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출시킬 수 있는 발광 다이오드(LED) 또는 레이저 다이오드(LD)일 수 있지만, 파장의 대역과 광원의 종류는 제한을 받지 않는다. 광원 구동부(102)는 제어부(106)로부터 수신된 제어 신호에 따라 광원(101)을 예를 들어 크기(amplitude) 변조 또는 위상(phase) 변조 방식으로 구동할 수 있다. 광원 구동부(102)의 구동 신호에 따라, 광원(101)으로부터 피사체(200)로 투사되는 투사광은 소정의 주기를 갖는 주기적인 연속 함수의 형태를 가질 수 있다. 예를 들어, 투사광은 사인파, 삼각파, 사각파, 구형파 등과 같이 특수하게 정의된 파형을 가질 수도 있지만, 이들 조합한 정의되지 않은 일반적인 형태의 파형을 가질 수도 있다. 이러한 투사광의 파형은 후술할 푸리에 분석을 위하여 예를 들어 다수의 사인 및 코사인의 고차항의 합으로 나타낼 수 있는 것을 사용할 수 있다.

그런데, 통상적으로 광원(101)은 그 자체의 동작 비선형성 및 신호 왜곡 등에 의해, 이상적인 파형을 구동신호로 입력하는 경우에도 이상적인 파형을 그대로 출력하지 않는다. 이는 깊이 정보를 추출하는데 있어서 오차의 요소로서 작용한다. 도 2는 광원(101)에서 실제로 출력되는 출력광의 파형을 예시하고 있다. 도 2에 도시된 바와 같이, 실제 출력광의 파형은 이상적인 사인파에 비하여 일그러져 있거나 약간의 DC 오프셋도 가질 수 있다. 본 실시예에 따른 3차원 영상 획득 장치(100)의 경우, 후술하는 바와 같이 실제의 출력 파형을 측정하고 그 측정 결과를 깊이 정보 계산에 적용한다. 따라서, 3차원 영상 획득 장치(100)는 왜곡이 있는 출력광을 그대로 이용할 수 있으므로, 고가의 파형 발생기나 고가의 광원을 사용하지 않는다. 또한, 3차원 영상 획득 장치(100)의 광원(101)은 단일한 파형이 아닌 사인파, 삼각파, 사각파, 구형파 등을 조합한 일반적인 파형을 갖는 광을 투사광으로서 출력할 수도 있다.

광변조기(103)는 피사체(200)로부터 반사된 광을 광변조기 구동부(104)의 제어에 따라 광변조한다. 광변조기 구동부(104)는 제어부(106)로부터 수신된 제어 신호에 따라 광변조기(103)를 구동시킨다. 예를 들어, 광변조기(103)는 광변조기 구동부(104)에 의해 제공된 소정의 파형을 갖는 광변조 신호에 따라 이득을 변화시켜 반사광의 크기를 변조시킬 수 있다. 이를 위해, 광변조기(103)는 가변 이득을 갖는다. 광변조기(103)는 거리에 따른 빛의 위상차 또는 이동 시간을 식별하기 위해 수십~수백 MHz의 높은 광변조 속도로 동작할 수 있다. 이에 부합하는 광변조기(103)로서, 예를 들어 MCP(Multi-Channel Plate)를 구비한 영상증배관, GaAs 계열의 고체 변조기 소자, 전광(Electro-Optic) 물질을 이용한 박형의 변조기 소자 등이 사용될 수 있다. 도 1에는 광변조기(103)가 투과형인 것으로 도시되어 있지만, 반사형 광변조기를 사용하는 것도 가능하다.

도 3은 광변조기(103)의 실제 광변조 신호의 파형, 즉 투과율의 시간축 파형을 예시적으로 도시하고 있다. 광변조기(103)의 동작 주파수는 광원(101)의 동작 주파수와 같도록 구성될 수 있다. 도 3에 예시적으로 도시된 바와 같이, 광원(101)과 마찬가지로 광변조기(103)도 역시 비선형성과 DC-오프셋을 가질 수 있다. 따라서, 광변조기(103)의 실제 이득 파형에는 이상적인 광변조기의 이득 파형과 달리 왜곡이 존재하게 된다. 이러한 광변조기(103)의 이득 파형의 왜곡도 역시 오차의 원인이 된다. 본 실시예에 따른 3차원 영상 획득 장치(100)의 경우, 후술하는 바와 같이 광변조기(103)의 실제 이득 파형을 측정하고, 그 측정 결과를 깊이 정보 계산에 반영한다. 따라서, 본 실시예에 따른 3차원 영상 획득 장치(100)는 왜곡이 존재하는 일반적인 광변조기를 그대로 이용할 수 있다. 또한, 광변조기(103)의 이득 파형은 사인파 형태뿐만 아니라 다양한 형태의 일반적인 다른 파형을 가질 수도 있다. 이러한 광변조 신호의 이득 파형도 역시, 후술할 푸리에 분석을 위하여 다수의 사인 및 코사인의 고차항의 합으로 나타낼 수 있는 것을 사용할 수 있다.

촬상소자(105)는 광변조기(103)에 의해 광변조된 반사광을 제어부(106)의 제어에 따라 검출하여 세기 영상을 생성하는 역할을 한다. 만약 피사체(200)의 어느 한 점까지의 거리만을 측정하고자 하는 경우, 촬상소자(105)는 예를 들어 포토다이오드나 적분기와 같은 하나의 단일한 광센서를 사용할 수도 있다. 그러나 피사체(200) 상의 다수의 점들까지의 거리들을 동시에 측정하고자 하는 경우, 촬상소자(105)는 다수의 포토다이오드 또는 다른 광검출기들의 2차원 또는 1차원 어레이를 가질 수도 있다. 예를 들어, 상기 촬상소자(105)는 2차원 어레이를 갖는 CCD 이미지 센서 또는 CMOS 이미지 센서일 수도 있다. 깊이 정보 영상 처리부(107)는 촬상소자(105)의 출력을 기초로, 후술할 깊이 정보 추출 알고리즘에 따라 깊이 정보를 계산하는 역할을 한다. 깊이 정보 영상 처리부(107)는 예를 들어 전용의 집적회로(IC)로 구현될 수도 있으며, 또는 3차원 영상 획득 장치(100) 내에 설치된 소프트웨어로도 구현될 수 있다. 소프트웨어로 구현되는 경우, 깊이 정보 영상 처리부(107)는 별도의 이동 가능한 저장 매체에 저장될 수도 있다.

이하에서는, 상술한 구조를 갖는 3차원 영상 획득 장치(100)의 동작을 개략적으로 설명한다.

먼저, 광원(101)은 제어부(106) 및 광원 구동부(102)의 제어에 따라 소정의 주기 및 파형을 갖는 N개의 상이한 투사광을 차례로 피사체(200)에 투사한다. 여기서 N은 3 이상의 자연수일 수 있다. 예를 들어, 4개의 상이한 투사광을 사용하는 경우, 시간 T1 동안 투사광1을 발생시켜 피사체(200)에 투사하고, 다음의 시간 T2 동안 투사광2를 발생시켜 피사체(200)에 투사하고, 시간 T3 동안 투사광3을 발생시켜 피사체(200)에 투사하고, 이어서 시간 T4 동안 투사광4를 피사체(200)에 투사할 수 있다. 이렇게 피사체(200)에 순차적으로 투사되는 투사광들은 사인파와 같은 특정 주기를 갖는 파형을 가질 수 있다. 예를 들어, 투사광1-4는 동일한 주기를 가지면서 파형, 크기 또는 위상만이 서로 다른 주기파(periodic wave)일 수 있다. 본 실시예의 경우, 실제 투사되는 투사광의 파형을 실측하여 깊이 정보를 계산하기 때문에, 투사광의 파형의 형태 및 주기와 위상의 크기에는 특별한 제한이 없다. 다만, 모든 투사광들은 동일한 주기를 가질 수 있다.

피사체(200)에 투사된 투사광은 피사체(200)의 표면에서 반사된 후, 제 1 렌즈(108)로 입사한다. 일반적으로 피사체(200)는 3차원 영상 획득 장치(100)로부터의 거리, 즉 깊이(depth)가 서로 다른 다수의 표면들을 갖는다. 도 1에는 설명의 단순화를 위하여 깊이가 서로 다른 5개의 표면(P1~P5)을 갖는 피사체(200)가 예시적으로 도시되어 있다. 깊이가 상이한 5개의 표면(P1~P5)에서 각각 투사광이 반사되면서, 상이하게 시간 지연된(즉, 위상이 상이한) 5개의 반사광이 각각 발생한다. 예를 들어, 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광1이 발생하며, 투사광2가 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광2가 발생하고, 마찬가지로 투사광N도 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되면서 위상이 상이한 5개의 반사광N이 발생한다. 3차원 영상 획득 장치(100)로부터의 거리가 가장 먼 표면(P1)에서 반사된 반사광은 3차원 영상 획득 장치(100)로부터의 거리가 가장 가까운 표면(P5)에서 반사된 반사광보다 긴 시간 지연 후 제 1 렌즈(108)에 도달할 것이다.

제 1 렌즈(108)는 반사광을 광변조기(103)의 영역 내에 포커싱한다. 제 1 렌즈(108)와 광변조기(103) 사이에는 사용 파장 이외의 배경광이나 잡광을 제거하기 위하여 소정의 파장을 갖는 광만을 투과시키는 필터(109)가 배치될 수 있다. 예를 들어, 광원(101)이 약 850nm의 근적외선(NIR) 파장을 갖는 광을 방출하는 경우, 상기 필터(109)는 약 850nm의 근적외선 파장 대역을 통과시키는 근적외선 대역 통과 필터(IR band pass Filter)일 수 있다. 따라서, 광변조기(103)에 입사하는 광은 광원(101)으로부터 방출되어 피사체(200)에서 반사된 광이 지배적일 수 있다. 도 1에는 제 1 렌즈(108)와 광변조기(103) 사이에 필터(109)가 배치된 것으로 도시되어 있지만, 제 1 렌즈(108)와 필터(109)의 위치는 서로 바뀔 수도 있다. 예를 들어, 필터(109)를 먼저 통과한 근적외선광이 제 1 렌즈(108)에 의해 광변조기(103)로 포커싱될 수도 있다.

그러면, 광변조기(103)는 소정의 파형을 갖는 광변조 신호로 반사광을 변조한다. 광변조기(103)에서의 이득 파형의 주기는 투사광의 파형 주기와 동일할 수 있다. 본 실시예의 경우, 광변조기(103)의 실제 이득 파형을 실측하여 깊이 정보를 계산하기 때문에, 광변조기(103)의 파형의 형태에는 특별한 제한이 없다. 도 1에 도시된 예에서, 광변조기(103)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 5개의 반사광1을 광변조하여 촬상소자(105)에 제공하고, 이어서 5개의 반사광2 내지 5개의 반사광N을 차례로 광변조하여 촬상소자(105)에 제공할 수 있다.

광변조기(103)에 의해 크기가 변조된 변조된 광은 제 2 렌즈(110)를 통과하면서 배율 조정 및 재포커싱된 후 촬상소자(105)에 도달한다. 따라서, 변조된 광은 제 2 렌즈(110)에 의해 촬상소자(105)의 영역 내에 집광된다. 촬상소자(105)는 상기 변조된 광을 소정의 노출 시간 동안 수광하여 세기 영상을 생성한다. 예를 들어 촬상소자(105)는, 도 4에서 (A)로 표시된 바와 같이, 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광1을 소정의 노출 시간 동안 수광하여 세기 영상1을 생성한다. 이러한 세기 영상1은 예를 들어 흑백(BW)으로만 표현된 영상일 수 있다. 이어서, 도 4에서 (B)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광2를 소정의 노출 시간 동안 수광하여 세기 영상2를 생성한다. 이와 같은 과정을 반복하면서 마지막으로, 도 4에서 (C)로 표시된 바와 같이, 촬상소자(105)는 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사된 후 변조된 5개의 반사광N을 소정의 노출 시간 동안 수광하여 세기 영상N을 생성한다. 이러한 방식으로, 도 4에서 (D)로 표시된 바와 같이, N 개의 상이한 세기 영상들을 순차적으로 얻을 수 있다. 이렇게 얻은 각각의 세기 영상1~N은 깊이 정보를 갖는 한 프레임의 영상을 만들기 위한 서브 프레임(sub-frame) 영상일 수 있다. 예를 들어, 한 프레임의 주기를 Td라고 한다면, N개의 세기 영상1~N의 각각을 얻기 위한 촬상소자(105)에서의 노출 시간은 대략적으로 Td/N일 수 있다.

다시 도 4의 (A)를 참조하면, 첫번째 서브 프레임에서, 광원(101)으로부터 피사체(200)에 투사된 투사광1이 피사체(200)의 5개의 표면(P1~P5)에서 각각 반사되어 5개의 반사광1이 생성된다. 5개의 반사광1은 광변조기(103)에 의해 변조된 후 촬상소자(105)에 도달한다. 도 4에는, 설명의 용이함을 위해 촬상소자(105)가 5개의 표면(P1~P5)에 각각 대응하는 5개의 화소만을 갖는 것으로 도시되어 있다. 그러나 실제의 촬상소자(105)는 매우 많은 수의 화소들이 2차원 배열될 수 있다. 도 4에 예에서, 5개의 반사광1은 대응하는 5개의 화소에 각각 입사할 수 있다. 도 4의 (A)에 도시된 바와 같이, 각각의 표면(P1~P5)에서 반사된 5개의 반사광1은 3차원 영상 획득 장치(100)로부터 표면(P1~P5)까지의 거리에 따라 상이한 위상 지연(Φ_P1~Φ_P5)을 각각 갖는다. 촬상소자(105)는 예컨대 대략 Td/N의 노출 시간 동안 반사광1을 촬영하여 세기 영상1을 생성할 수 있다. 위와 동일한 방식으로, 두 번째 서브 프레임부터 N번째 서브 프레임까지 세기 영상2 내지 세기 영상N이 생성될 수 있다. 도 4의 (B) 및 (C)에 도시된 바와 같이, 2~N번째 서브 프레임에서도 깊이가 다른 5개의 표면(P1~P5)으로부터 상이한 위상 지연(Φ_P1~Φ_P5)이 발생한다.

도 4에서는 N개의 상이한 투사광과 반사광을 사용하여 서로 다른 N개의 세기 영상을 생성하는 경우에 대해 설명하였다. 그러나, 모든 서브 프레임에서 동일한 투사광을 사용하고, 각각의 서브 프레임마다 광변조기(103)가 상이한 이득 파형으로 반사광을 변조하는 것도 가능하다. 도 5는 하나의 동일한 투사광과 N개의 상이한 이득 파형으로 N개의 상이한 세기 영상을 생성하는 과정을 도시하고 있다. 도 5를 참조하면, 피사체(200)로부터 반사된 반사광은 모든 서브 프레임에서 동일한 파형과 위상을 갖는다. 각 서브 프레임의 반사광에는 앞서 설명한 바와 같이 피사체(200)의 표면(P1~P5)에 따라 상이한 위상 지연(Φ_P1~Φ_P5)들이 존재한다. 도 5의 (A)~(C)에 각각 도시된 바와 같이, 첫 번째 서브 프레임에서 광변조기(103)는 광변조 신호1로 반사광을 변조하며, 두 번째 서브 프레임에서 광변조기(103)는 광변조 신호1과 다른 광변조 신호2로 반사광을 변조하고, N 번째 서브 프레임에서 광변조기(103)는 또 다른 광변조 신호N으로 반사광을 변조한다. 여기서, 광변조 신호1~N은 완전히 서로 다른 파형의 신호일 수도 있지만, 주기와 파형은 동일하고 단지 위상만이 다른 신호일 수도 있다. 그러면, 도 5의 (D)에 각각 도시된 바와 같이, 서로 다른 N개의 세기 영상1~N을 얻을 수 있다.

상술한 방식으로 얻은 N개의 세기 영상들은 깊이 정보 영상 처리부(107)로 전달된다. 깊이 정보 영상 처리부(107)는 상기 N개의 세기 영상들을 이용하여 후술할 알고리즘에 따라 깊이 정보를 추출할 수 있다. 도 6은 N개의 세기 영상으로 깊이 정보를 추출하는 과정을 개략적으로 도시하고 있다. 예를 들어, 도 6에 도시된 바와 같이, N개의 세기 영상들에 각각 가중치 A₁~A_N을 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성한다. 그리고, 동일한 N개의 세기 영상들에 또 다른 가중치 B₁~B_N을 각각 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성한다. 그런후, 제 1 가중 영상(U)과 제 2 가중 영상(V)과의 비율(V/U)에 대한 아크탄젠트 θ = tan^-1(V/U) 값을 구한다.

깊이 정보 영상 처리부(107)는, θ와 실제 깊이 사이의 관계에 관한 정보를 미리 담고 있는 룩업 테이블을 참조하여, 이렇게 구해진 θ 값으로부터 깊이 정보를 추출할 수 있다. 다른 실시예에서는, θ 값을 구하지 않고, 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비율(V/U)과 실제 깊이 사이의 관계에 관한 정보를 미리 담고 있는 룩업 테이블로부터 깊이 정보를 추출하는 것도 가능하다. 후술하는 바와 같이, 최적의 가중치 A₁~A_N과 B₁~B_N의 값은 사용된 투사광 및 광변조 신호의 파형과 세기 영상의 개수 N에 따라 미리 계산되어 정해질 수 있다. 따라서, 본 실시예에 따르면, 복잡한 평균화 알고리즘을 수행하지 않고도, 간단한 곱셈 및 덧셈 연산과 룩업 테이블의 참조만으로도 불규칙 잡음이 제거된 정확한 깊이 정보를 구하는 것이 가능하다. 가중치를 구하는 방법과 룩업 테이블을 생성하기 위한 알고리즘에 대해서는 이후에 보다 상세하게 설명한다.

도 6에 도시된 실시예는, N개의 서브 프레임 영상들을 모두 얻은 후 한 프레임의 영상에 대한 깊이 정보를 추출하고, 그 다음에 다시 N개의 새로운 서브 프레임 영상들을 모두 얻은 후 다음 프레임의 영상에 대한 깊이 정보를 추출하는 방식이다. 그러나, 다른 실시예에 따르면, 매 서브 프레임마다 깊이 정보를 새로 갱신하는 것도 가능하다. 예를 들어, 도 7을 참조하면, 최초 N개의 서브 프레임에서 얻은 N개의 세기 영상으로부터 깊이 정보를 추출하는 방식은 도 6에 도시된 방식과 같다. 그런 후, N+1 번째 서브 프레임에서 세기 영상N+1을 얻게 되면, 첫번째 세기 영상1을 제거하고 세기 영상2 내지 세기 영상N+1을 이용하여 상술한 가중 방식으로 깊이 정보를 새로 추출할 수 있다. 마찬가지로, N+2 번째 서브 프레임에서 세기 영상N+2를 얻게 되면, 세기 영상2를 제거하고 세기 영상3 내지 세기 영상N+2를 이용하여 깊이 정보를 새로 추출할 수 있다. 도 7에 도시된 바와 같이, 이렇게 선입 선출(FIFO) 방식으로 메모리 내에 N개의 세기 영상들을 유지하면서, 매 서브 프레임마다 새로운 깊이 정보를 추출하는 것도 가능하다. 도 7에서는 새로운 세기 영상을 하나씩 추가하는 동시에 기존의 세기 영상을 하나씩 제거하는 예가 도시되어 있으나, 다수의 새로운 세기 영상을 추가하는 동시에 같은 수의 기존 세기 영상을 제거하는 것도 가능하다. 예를 들어, N개 미만의 신규 세기 영상을 추가하고, 동일한 수의 가장 오래된 세기 영상을 제거하면서 전체적으로 N개의 세기 영상을 유지할 수도 있다.

이하에서는, N개의 세기 영상들을 이용하여 깊이 정보 영상 처리부(107)가 깊이 정보를 추출하는 구체적인 알고리즘에 대해 상세하게 설명한다.

이하에서 설명하는 깊이 정보 추출 알고리즘의 개요는, 광원(101)에서 방출된 투사광의 실제 파형과 광변조기(103)의 실제 이득 파형을 측정 및 분석하여 푸리에 급수로 나타내고, 이러한 푸리에 급수를 이용하여 수학적 모델을 세운 다음, 이를 기초로 상술한 제 1 및 제 2 가중 영상과 깊이 사이의 이론적인 관계를 결정하여 룩업 테이블을 구성하고, 실제 촬영하여 얻은 세기 영상을 룩업 테이블과 비교하여 깊이 정보를 실시간으로 추출하는 것이다.

이하의 이론적인 설명은, 도 4에 도시된 바와 같이, 광원(101)이 N개의 상이한 투사광을 피사체(200)에 투사하고 및 광변조기(103)은 하나의 동일한 광변조 신호를 사용하는 실시예를 위주로 기술된다. 그러나 하나의 동일한 투사광과 N개의 상이한 광변조 신호를 사용하는 경우에도 이하의 이론적인 설명은 동일하게 적용될 수 있다. 또한, 촬상소자(105)의 출력이 2차원 어레이 영상인 경우라도, 각각의 화소에 적용되는 깊이 정보 추출 방법은 동일하므로, 하나의 화소에 적용되는 방법만을 설명한다. 다만, 2차원 어레이 영상에서 다수의 화소로부터 깊이 정보를 동시에 추출하는 경우에, 데이터 관리 및 메모리 할당 등을 효율적으로 처리하여 중복 처리되는 부분을 생략함으로써 계산양을 줄일 수도 있을 것이다.

먼저, 주기 T_mod를 갖는 일반적인 투사광의 파형을 분석하여 다항식으로 나타낼 수 있다. 예를 들어, 아래의 수학식(1)과 같이, 푸리에 분석을 통해 다수의 사인과 코사인의 고차항의 합으로 투사광의 파형을 나타낼 수도 있으며, 또는 체비셰프 다항식(Chebyshev polynomial)과 같은 일반적인 다항식으로 나타낼 수도 있다. 이하에서는 투사광의 파형을 푸리에 급수로 나타내는 경우를 중심으로 설명한다.

여기서, s는 서로 다른 투사광1 내지 투사광N을 구분하는 식별자이다. 예를 들어, N개의 투사광을 사용하는 경우에 s = 1,2,...,N이다. ω는 투사광의 파형의 각주파수로서 ω=2π/T_mod의 관계를 갖는다. 또한, a_k ^(s)는 투사광 (s)의 k차 고조파의 사인항의 계수이며, b_k ^(s)는 투사광 (s)의 k차 고조파의 코사인항의 계수이다. 상기 계수 a_k ^(s)와 b_k ^(s)는 광원(101)의 광출력을 직접 계측하여 얻을 수 있다. 예를 들어, 광원(101)에서 방출된 투사광의 파형을 측정하고, 측정된 파형에 대한 고속 푸리에 변환(FFT) 등과 같은 푸리에 변환을 통해 주파수 성분을 파악하여 상기 계수들을 구할 수 있다. 그리고, Φ^(s)는 투사광 (s)의 위상이며 P_DC는 투사광에 존재할 수 있는 DC 오프셋 값이다. 최고차항의 차수 m은 광원(101)에서 출력된 투사광의 파형 계측치를 적절히 표현할 수 있도록 충분히 크게 잡을 수 있다. 실제 깊이 정보를 추출하는 과정에서는 미리 계산된 룩업 테이블을 사용하기 때문에, 차수 m의 크기와 상관 없이 깊이 정보의 계산 속도는 동일할 수 있다.

예컨대, 도 2에 도시된 4개의 투사광의 경우, T_mod = 50ns, m = 5, P_DC = 0.5W이며, 각 차수의 계수는 아래와 같을 수 있다.

(a1, a2, a3, a4, a5) = (0.4600, -0.0460, 0.0460, 0.0230, 0.0046)

(b1, b2, b3, b4, b5) = (0.0920, -0.0092, 0.0092, 0.0046, 0.0009)

투사광의 파형으로는 상기 수학식(1)로 표현 가능한 모든 형태의 파형이 제한 없이 사용될 수 있다. 예를 들어, 사인파, 삼각형파, 사각파 또는 이들의 조합, 그리고 왜곡이 존재하는 경우까지 모두 사용 가능하다.

위와 같은 투사광이 피사체(200)에서 반사된 후, 위상 지연 Φ_TOF를 갖고 3차원 영상 획득 장치(100)로 되돌아오는 반사광의 파형 P_r은 다음의 수학식(2)와 같이 표현될 수 있다.

위의 수학식(2)에서, r은 반사도이며, P_a는 투사광과 관계 없이 3차원 영상 획득 장치(100)에 유입되는 외광(ambient light) 성분이다. 반사도 r은 투사광이 피사체(200)에서 반사된 후 3차원 영상 획득 장치(100)로 입사되는 비율로 정의될 수 있으며, 피사체(200)와의 거리, 피사체(200)의 표면의 재질 및 기울기, 제 1 렌즈(108)의 크기 등 다양한 요소와 연관되어 있는 변수이다. 위상지연 Φ_TOF는 피사체(200)와 3차원 영상 획득 장치(100) 사이의 거리에 따라 달라지게 된다. 위의 수학식(2)에서, 반사도 r, 외광 성분 P_a, 위상지연 Φ_TOF가 미지의 값이며, 나머지는 측정을 통해 이미 알고 있는 값이다.

한편, 광변조기(103)의 일반적인 이득 파형도 역시, 아래의 수학식(3)과 같이, 푸리에 급수와 같은 일반적인 다항식으로 나타낼 수 있다. 여기서, 광변조 신호의 각주파수가 투사광과 동일한 각주파수 ω를 갖는 것으로 가정한다.

수학식(3)에서, c_k는 이득 파형의 k차 고조파의 사인항의 계수이며, d_k는 이득 파형의 k차 고조파의 코사인항의 계수이다. 상기 계수 c_k와 d_k는 광변조기(103)의 이득 파형을 직접 계측하고, 계측된 이득 파형에 대한 고속 푸리에 변환(FFT) 등과 같은 푸리에 변환을 통해 실험적으로 구한 값을 사용할 수 있다. 이때, 최고차항의 차수 n은 계측치를 적절히 표현할 수 있도록 충분히 크게 잡을 수 있으며, 투사광에 대한 최고차항의 차수 m과 같을 수도 있다. 그리고, G_DC는 이득 파형에 존재할 수 있는 DC 오프셋 값이다.

예컨대, 도 3에 도시된 이득 파형의 경우, T_mod = 50ns, n = 5, G_DC = 0.35W이며, 각 차수의 계수는 아래와 같을 수 있다.

(c1, c2, c3, c4, c5) = (0.2500, -0.0500, 0.0125, 0.0025, 0.0003)

(d1, d2, d3, d4, d5) = (-0.0500, 0.0100, 0.0025, 0.0005, 0.0003)

광변조기(103)를 통과하여 촬상소자(105)에 도달하는 광의 파형은 수학식(2)의 반사광과 수학식(3)의 광변조 신호를 곱함으로써 얻을 수 있다. 따라서, 촬상소자(105)에 도달하는 광의 순시적인 파형 I_inst.는 다음의 수학식(4)와 같이 표현될 수 있다.

촬상소자(105)는 소정의 노출 시간(T) 동안 입사광을 수광하여 세기 영상을 생성할 수 있다. 따라서, 촬상소자(105)의 각 화소에서 생성된 세기 영상은 수학식(4)에 표현된 순시적인 파형을 시간 T 동안 적분한 것과 같다. 여기서, 노출 시간 T는 서브 프레임의 주기와 같을 수 있다. 예를 들어, 초당 30프레임의 속도로 촬영하고, 각 프레임 당 N개의 서브 프레임이 존재하는 경우, 노출 시간 T는 약 0.033/N초가 될 수 있다. 촬상소자(105)의 감도에 따라, 촬상소자(105)에 도달하는 광량과 촬상소자(105)의 출력값 사이에 소정의 변환 비율이 존재할 수 있지만, 편의상 이를 단순화하여 촬상소자(105)의 출력 세기 영상 I_CIS를 아래의 수학식(5)로 정의할 수 있다.

위의 수학식(5)에서 세기 영상을 정의할 때, 촬상소자(105)로의 입력광 세기와 촬상소자(105)로부터의 출력값 사이의 스케일 계수(scale factor)를 1로 가정하였다. 따라서, 실제 계산시에는 촬상소자(105)에 대한 보정(calibration)을 통해 스케일 계수를 결정하여 수학식(5)에 적용할 필요가 있을 것이다. 그러나, 스케일 계수의 실제 값이 이하의 수식 전개의 일반성을 해치는 것은 아니므로, 수학식(5)에서는 편의상 1로 가정하였다.

일반적으로, 투사광의 주기 T_mod(예컨대, 50ns)는 촬상소자(105)의 노출 시간 T(예컨대, 0.033/N)에 비해서 매우 작다. 따라서, 수학식(5)의 적분시, 수학식(4) 내의 직류 항(DC term)이 주요한 기여를 하며, 교류 항(AC term)은 음수와 양수로 서로 상쇄되므로 그 적분 결과에 기여하는 양이 매우 작다. 따라서, 수학식(4)를 수학식(5)에 대입하여 그 직류 항만을 고려하면, 아래와 같은 관계의 수학식(6)을 얻을 수 있다. 이에 대한 상세한 유도 과정은 생략한다.

위의 수학식(6)에서, 오른쪽 항의 첫 번째 항인 F^(S)(Φ_TOF)는 미지수인 위상 지연 Φ_TOF의 함수(이하, 위상 함수)이며, 두 번째 항인 B는 위상 지연과 관련 없는 미지수들의 상수항이다. F^(S)(Φ_TOF)와 B는 다음의 수학식(7)과 수학식(8)로 나타낼 수 있다.

수학식(7)에서 차수 l은 차수 m과 차수 n중 작은 값이다. 따라서, 수학식(6) 내지 수학식(8)로부터 알 수 있듯이, 세기 영상 I_CIS는 미지수인 위상 지연에 관한 항과 위상 지연과 관련 없는 상수항의 합으로 정리될 수 있다.

N회의 촬영을 통해 깊이 정보를 추출하고자 하는 경우 N개의 세기 영상 I_CIS을 얻을 수 있으며, N개의 세기 영상 I_CIS으로부터 깊이 정보를 추출하기 위한 문제는 아래와 같이 정의될 수 있다.

ㆍ 풀이할 대상인 미지수: Φ_TOF r P_a

ㆍ 측정으로부터 구할 수 있는 기지의 파라미터

: 광출력을 측정하여 구함

: 광변조기(103)의 이득을 측정하여 구함

: 광원 구동부(102)의 위상 시프트 제어 신호로부터 구함

: 촬상소자(105)의 측정 결과

풀어야 할 미지수가 3개이므로 적어도 3개의 독립적인 방정식이 필요하다. 또한, 독립적인 방정식이 4개 이상이면 불규칙 잡음의 제거도 가능하다. 이를 위하여, N(N ≥ 3)개의 세기 영상을 순차적으로 촬영한 후, 수학식(6)을 이용하여 아래의 수학식(9)와 같이 위상 지연 Φ_TOF에 대한 N개의 독립적인 방정식을 포함하는 비선형 연립 방정식을 얻을 수 있다.

위의 수학식(9)는 상수항 rB를 소거하기 위하여 아래의 수학식(10) 및 (11)과 같이 정리될 수 있다.

여기서, i, j = 1, 2, ..., N 이며, i≠j 이다.

또한, r을 소거하기 위하여 수학식(10)의 각각의 독립적인 방정식을 서로 나누면, 수학식(10)은 아래의 수학식(12)과 같이 정리될 수 있다.

위의 수학식(12)는 미지수인 위상 지연 Φ_TOF에 대해서 비선형 함수이므로, 수치해석을 통해 직접 미지수를 추출하는 것이 가능하다. 그러나, 수치해석을 통해 직접 미지수를 추출하는 것은 많은 계산 시간이 소요되기 때문에, 깊이 정보 영상 처리부(107)가 실시간으로 깊이 정보를 추출하는 것이 어려울 수 있다. 따라서, 수학식(12)의 연립방정식을 푸는데 있어서, 벡터 공간의 해법을 활용하여 룩업 테이블(Look-up Table)을 구성하는 방법을 제안한다.

먼저, 아래의 수학식(13) 및 수학식(14)와 같이 N-1개의 원소(entry)로 구성된 다차원(예컨대, N-1 차원) 공간 상의 벡터를 정의할 수 있다.

수학식(13)을 통해 알 수 있듯이, 세기 영상에 관한 다차원 공간 상의 벡터(이하, 세기 영상 벡터라 한다)

는 N개의 투사광과 각각 관련된 세기 영상들의 크기들 사이의 차들의 조합으로 구성될 수 있다. 마찬가지로, 수학식(14)를 통해 알 수 있듯이, 위상 지연에 관한 다차원 공간 상의 위상 벡터 함수

는 N개의 투사광과 각각 관련된 위상 지연에 관한 이론적인 위상 함수들 사이의 차들의 조합으로 구성될 수 있다.

수학식(12)의 관계식을 수학식(13)과 수학식(14)의 벡터를 사용하여 나타내면 다음의 수학식(15)와 같다.

즉, 세기 영상 벡터

와 이론적인 위상 벡터 함수

가 평행인 조건이 해(solution)가 된다. 여기서, 세기 영상 벡터

는 측정을 통해 결정되는 벡터이며, 위상 벡터 함수

는 수학식(7), (11) 및 (14)를 통해 수학적으로 이미 알고 있는 위상 지연에 관한 이론적인 함수이다. 따라서, 이론적인 위상 벡터 함수

의 방향을 위상 지연 Φ_TOF에 대해 미리 계산하여 놓으면, 측정을 통해 결정되는 세기 영상 벡터

의 방향과 평행한 위상 벡터 함수

의 방향으로부터 위상 지연 Φ_TOF을 쉽게 구할 수 있다.

이를 위해, 벡터의 방향을 정의하기 위하여 아래의 수학식(16) 및 (17)과 같은 2개의 직교기준 벡터를 정의할 수 있다.

여기서,

이다.

여기서,

이다. 즉, 직교기준 벡터

는 위상 지연이 0도일 때 위상 벡터 함수

의 방향이며, 직교기준 벡터

는 위상 지연이 90도일 때 위상 벡터 함수

의 방향이 된다. 따라서, 두 직교기준 벡터는 아래의 수학식(18)과 같은 성질을 갖는다.

여기서, 위 첨자 T는 행렬의 변환(예를 들어, N×M 행렬이 M×N 행렬로)을 의미한다.

따라서, 이론적인 위상 벡터 함수

의 위상 지연 Φ_TOF에 따른 방향은, 아래의 수학식(19)와 같이 직교기준 벡터

로부터 기울어진 각도 θ_analy로 나타낼 수 있다.

수학식(19)에서, 함수 U(Φ_TOF)는 위상 벡터 함수

의

방향 성분이고 V(Φ_TOF)는 위상 벡터 함수

의

방향 성분으로서, 다음의 수학식(20) 및 (21)로 표시될 수 있다.

예컨대, 4개의 투사광을 사용하는 경우(N = 4)에 위상 지연에 관한 이론적인 위상 벡터 함수를, 도 8에 도시된 바와 같이, 3차원 공간 상에 표시할 수 있다.

그러면, 수학식(19) 내지 (21)에 대한 수치해석을 통해 각도 θ_analy와 위상 지연 Φ_TOF 사이의 관계를 룩업 테이블 Φ_TOF = LUT(θ_analy)로 구성할 수 있다. 예를 들어, 1000개의 데이터 포인트를 갖는 룩업 테이블을 아래와 같이 표시할 수 있다.

한편, 피사체(200)와 3차원 영상 획득 장치(100)의 거리, 즉 깊이 d는 위상 지연 Φ_TOF와 다음과 같은 관계를 갖는다.

여기서, c는 빛의 속도이다. 따라서, 수학식(22)의 관계를 이용하면 위상 지연 대신에 깊이 d와 각도 θ_analy 사이의 관계를 직접 룩업 테이블 d = LUT(θ_analy)로 구성할 수도 있다. 예를 들어, 깊이 d와 각도 θ_analy 사이의 관계에 대해 1000개의 데이터 포인트를 갖는 룩업 테이블을 아래와 같이 표시할 수 있다.

또한, 수학식(19)의 아크탄젠트를 계산하지 않고 함수 U(Φ_TOF)와 V(Φ_TOF)의 비를 이용하여 룩업 테이블 d = LUT(V/U)을 구성하는 것도 가능하다. 예를 들어, 깊이 d와 V/U 사이의 관계에 대해 1000개의 데이터 포인트를 갖는 룩업 테이블을 아래와 같이 표시할 수 있다.

이와 같은 방식으로, 위상 지연에 관한 이론적인 위상 벡터 함수

를 수치적으로 해석함으로써, 위상 벡터 함수

가 직교기준 벡터

로부터 기울어진 각도 θ_analy 또는 위상 벡터 함수

의 직교하는 두 기준 벡터 방향에 대한 성분비(V/U)와 위상 지연 Φ_TOF 또는 깊이 d의 관계에 대한 룩업 테이블을 구성할 수 있다.

한편, 수학식(15)로 표시된 바와 같이, 세기 영상 벡터

와 위상 지연에 관한 이론적인 위상 벡터 함수

가 평행하므로, 세기 영상 벡터

가 직교기준 벡터

로부터 기울어진 각도 θ_CIS는 θ_analy와 같다. 따라서, 실제 측정을 통해 얻어지는 세기 영상 벡터

가 직교기준 벡터

로부터 기울어진 각도 θ_CIS를 상술한 룩업 테이블에 적용하거나 또는 세기 영상 벡터

의 직교하는 두 기준 벡터 방향에 대한 성분비를 룩업 테이블에 적용하면, 최종적으로 구하고자 하는 깊이 정보를 추출할 수 있다. 룩업 테이블은 수치해석을 통해 이미 구성되어 있으므로, 3차원 영상 획득 장치(100)의 깊이 정보 영상 처리부(107)는 단지 세기 영상 벡터

가 직교기준 벡터

로부터 기울어진 각도 θ_CIS 또는 세기 영상 벡터

의 직교하는 두 기준 벡터 방향에 대한 성분비만을 계산한 후 룩업 테이블을 검색하면 된다.

예를 들어, 도 2에 도시된 4개의 투사광과 도 3에 도시된 이득 파형을 사용하는 경우에, 위상 벡터 함수의 경사 각도 θ_analy와 깊이 d 사이의 관계에 관한 룩업 테이블은 도 9의 그래프와 같이 표현될 수 있다. 도 9의 예에서, 세기 영상 벡터

가 직교기준 벡터

로부터 기울어진 각도 θ_CIS가 약 250도라면, 깊이 정보 영상 처리부(107)는 도 9에 도시된 것과 같은 룩업 테이블을 조회하여 깊이 d가 5m라는 결과를 얻을 수 있다.

수학식(19)에 표시된 각도 θ_analy와 마찬가지로, 세기 영상 벡터

가 기울어진 각도 θ_CIS는 아래의 수학식(23)으로 나타낼 수 있다.

위의 수학식(23)에서, 세기 영상 벡터

의 직교기준 벡터

방향의 성분은 아래의 수학식(24)와 같이 전개될 수 있다.

위의 수학식(24)로부터, 세기 영상 벡터

의 직교기준 벡터

방향 성분은 아래의 수학식(25)과 같이 정리될 수 있다.

따라서, 세기 영상 벡터

의 직교기준 벡터

방향 성분은 N개의 세기 영상들에 각각 가중치 A₁~A_N을 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 얻은 하나의 제 1 가중 영상(U)이라고 볼 수 있다. 여기서, 각각의 가중치 A₁~A_N은 수학식(16)에서 정의된 직교기준 벡터

의 N-1개의 성분들로부터 수학식(25)에 표시된 것처럼 유도될 수 있다. 또한, 직교기준 벡터

의 N-1개의 성분들의 구체적인 값은 위상 벡터 함수

의 값으로부터 얻을 수 있다. 예컨대, x₁ 내지 x_N-1은

와 같이 계산될 수 있다.

위와 유사한 방식으로, 세기 영상 벡터

의 직교기준 벡터

방향 성분은 아래의 수학식(26)과 같이 정리될 수 있다.

따라서, 세기 영상 벡터

의 직교기준 벡터

방향 성분은 위와 동일한 N개의 세기 영상들에 또 다른 가중치 B₁~B_N을 각각 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 얻은 제 2 가중 영상(V)이라고 볼 수 있다. 여기서, 각각의 가중치 B₁~B_N은 수학식(17)에서 정의된 직교기준 벡터

의 N-1개의 성분들로부터 유도될 수 있다. 이러한 가중치 A₁~A_N 및 B₁~B_N의 값들도 미리 계산되어 3차원 영상 획득 장치(100)의 메모리 내에 저장될 수 있다.

결과적으로, 세기 영상 벡터

가 기울어진 각도 θ_CIS는 아래의 수학식(27)로 나타낼 수 있다.

상술한 바와 같이, U는 세기 영상 벡터

의

방향 성분이고 V는 세기 영상 벡터

의

방향 성분이다. 위상 지연의 함수인 수학식(19)의 함수 U(Φ_TOF) 및 V(Φ_TOF)와 달리, 수학식(27)에서 U와 V는 함수가 아니라 측정을 통해 구해진 값이다. 이렇게 구한 각도 θ_CIS를 깊이 d와 각도 θ_analy 사이의 관계에 대해 미리 구성된 룩업 테이블에 적용하여 깊이 d를 구할 수 있다. 또는, 아크탄젠트를 계산하지 않고, 깊이 d와 V/U 사이의 관계에 대해 미리 구성된 룩업 테이블로부터 깊이 d를 구할 수도 있다.

지금까지 설명한 바와 같이, 해석적으로 미리 계산된 깊이 d와 각도 θ_analy 사이의 관계 또는 깊이 d와 V/U 사이의 관계에 대한 룩업 테이블들 및 미리 계산된 가중치 A₁~A_N 및 B₁~B_N의 값들이 3차원 영상 획득 장치(100)의 메모리 내에 저장되어 있으면, 깊이 정보 영상 처리부(107)는 깊이 정보를 추출할 때마다 복잡한 연산을 수행할 필요가 없다. 단지 촬상 소자(105)로부터 받은 세기 영상들에 각각 대응하는 가중치들을 곱하고 가중된 각각의 세기 영상들을 더하는 연산만이 요구된다. 따라서, 깊이 정보를 실시간으로 빠르게 추출할 수 있다. 특히, 불규칙 잡음을 제거하기 위하여 4개의 이상의 투사광(N > 4)을 사용하는 경우에도 연산량이 크게 증가하지 않는다. 따라서, 불규칙 잡음이 제거된 평균 위상 지연도 역시 간단하고 빠르게 구할 수 있다. 또한, 메모리 사용량 및 연산량을 크게 감소시킬 수 있으므로, 3차원 영상 획득 장치(100)의 크기 및 제조 비용을 감소시킬 수 있다. 더욱이, 수학적으로 이상적인 파형이 아닌 실제의 비선형적 파형을 고려하여 거리 정보를 추출하기 때문에, 사용 파형에 제한을 받지 않고 정확한 거리 정보를 추출할 수 있다.

룩업 테이블과 가중치 A₁~A_N 및 B₁~B_N의 구체적인 값들은 광원(101)에서 방출되는 투사광의 파형이나 광변조기(103)의 이득 파형에 따라 달라질 수 있다. 따라서, 3차원 영상 획득 장치(100)가 다수의 상이한 투사광과 다수의 상이한 이득 파형들의 다수의 조합들을 선택적으로 사용하는 경우, 그 각각의 조합에 대한 룩업 테이블과 가중치 A₁~A_N 및 B₁~B_N를 미리 계산하여 3차원 영상 획득 장치(100)의 메모리 내에 저장할 수 있다. 그러면, 깊이 정보의 추출시에는, 선택된 특정한 조합에 대응하는 룩업 테이블과 가중치 A₁~A_N 및 B₁~B_N를 사용할 수 있다. 여기서, 메모리는 제어부(106) 내에 또는 깊이 정보 영상 처리부(107) 내에 배치되어 있거나, 또는 이들과 분리된 별도의 이동 가능한 저장 매체일 수도 있다.

도 10은 지금까지 설명한 깊이 정보 추출 방법을 정리하여 설명하는 흐름도이다. 도 10을 참조하면, 본 실시예에 따른 깊이 정보 추출 방법은 가중치와 룩업 테이블을 미리 계산하여 저장하기 위한 전처리 과정 및 세기 영상을 촬영하고 미리 계산된 가중치와 룩업 테이블을 이용하여 깊이 정보를 추출하는 실시간 처리 과정을 포함한다.

먼저, 도 10의 좌측에 도시된 전처리 과정을 살펴보면, 단계(S11)에서는 광원(101)에서 방출되는 투사광의 실제 파형 및 광변조기(103)의 실제 이득 파형을 측정한다. 예를 들어, 광원 구동부(102)는 광원(101)을 제어하여 T_mod의 주기를 갖는 특정 파형의 다수의 투사광을 방출하게 할 수 있다. 투사광의 파형은 사인파, 삼각파, 구형파 또는 이들의 조합이거나 정의되지 않은 일반적인 파형일 수도 있다. 다수의 투사광들은 서로 다른 파형을 가질 수도 있으며, 또는 파형이 동일하고 위상만이 다를 수도 있다. 다만 다수의 투사광들의 주기는 모두 동일할 수 있다. 또한, 광변조기 구동부(104)는 광변조기(103)를 제어하여 T_mod의 주기를 갖는 특정 파형의 광변조 신호로 구동시킬 수 있다. 도 5에 도시된 바와 같이, 한 종류의 투사광에 대해 서로 다른 파형의 광변조 신호를 사용하는 경우, 다수의 광변조 신호의 파형을 측정할 수 있다. 광변조 신호의 파형도 역시 사인파, 삼각파, 구형파 또는 이들의 조합이거나 정의되지 않은 일반적인 파형일 수도 있다.

그런 후 단계(S12)에서는, 단계(S11)에서 측정된 다수의 투사광과 다수의 광변조 신호에 대한 푸리에 분석을 수행하여, 그 각각의 투사광과 광변조 신호에 대한 수학식(1) 및 (3)에 나타낸 사인항의 계수와 코사인항의 계수 및 DC 오프셋을 결정한다. 예를 들어, 투사광의 k차 고조파의 사인항의 계수 a_k ^(s), 투사광의 k차 고조파의 코사인항의 계수 b_k ^(s), 투사광의 위상 Φ^(s), 및 투사광에 존재하는 DC 오프셋 값 P_DC를 결정할 수 있다. 마찬가지로, 광변조 신호의 k차 고조파의 사인항의 계수 c_k, k차 고조파의 코사인항의 계수 d_k 및 DC 오프셋 값 G_DC를 결정할 수 있다. 수학식(3)에는 나타내지 않았지만, 만약 위상이 다른 다수의 광변조 신호를 사용하는 경우에는 광변조 신호의 위상도 결정할 수 있다.

이어서 단계(S13)에서, 수학식(7) 및 (14)로 정의된 위상 지연에 관한 다차원 공간 상의 위상 벡터 함수

에 대한 수치해석을 수행한다. 그리고, 수치해석의 결과로부터 가중치 A_k 및 B_k를 계산하여 메모리에 저장하고(단계(S14)), 룩업 테이블을 구성하여 메모리에 저장할 수 있다(단계(S15)). 예를 들어, 위상 벡터 함수

의

방향 성분인 U(Φ_TOF)와

방향 성분인 V(Φ_TOF)를 구한 후, 수학식(19)를 이용하여 위상 지연 Φ_TOF와 위상 벡터 함수

의 기울기 θ_analy 사이의 관계를 결정하여 룩업 테이블을 구성할 수 있다. 또한, 수학식(22)로부터 깊이 d와 위상 벡터 함수

의 기울기 θ_analy 사이의 관계를 결정하여 룩업 테이블을 구성할 수 있다. 또는, 함수 U(Φ_TOF)와 V(Φ_TOF)의 비(V/U)와 깊이 d 사이의 관계를 결정하여 룩업 테이블을 구성할 수 있다. 가중치 A_k 및 B_k는 수학식(16), (17), (25) 및 (26)을 통해 계산될 수 있다.

이러한 방식으로 얻은 룩업 테이블과 가중치들은 사용된 투사광과 광변조 신호의 조합에 따라 달라지게 된다. 따라서, 다수의 투사광과 광변조 신호들 중에서 어느 하나의 위상 또는 파형 종류가 바뀐다면 그에 대응하는 새로운 룩업 테이블과 가중치를 구성하여 둘 수 있다. 예를 들어, 3차원 영상 획득 장치(100)에서 사용할 수 있는 투사광과 광변조 신호의 다양한 조합별로 각각 별도의 룩업 테이블과 가중치를 구성할 수 있다. 그러면, 3차원 영상 획득 장치(100)의 동작시, 사용된 투사광과 광변조 신호의 특정한 조합에 따라 그에 해당하는 룩업 테이블을 참조하는 것이 가능하다. 이러한 투사광과 광변조 신호의 다양한 조합은 3개의 투사광들과 1개의 광변조 신호의 조합뿐만 아니라, 4개 이상의 투사광과 1개의 광변조 신호의 조합, 1개의 투사광과 3개 이상의 광변조 신호의 조합도 포함할 수 있다. 어느 경우이든, 상술한 룩업 테이블과 가중치의 구성 방법은 동일하게 적용될 수 있다. 이러한 룩업 테이블과 가중치들은, 예를 들어 3차원 영상 획득 장치(100)의 메모리 내에 저장될 수도 있으며, 도시되지 않은 별도의 이동식 저장 매체에 저장되어 있을 수 있다.

다음으로, 도 10의 우측에 도시된 깊이 정보를 추출하는 실시간 처리 과정을 살펴보면, 단계(S21)에서 광원(101)은 N(N≥3)개의 상이한 투사광을 시간 순서에 따라 차례로 발생시켜 피사체(200)에 투사한다. 앞서 설명한 바와 같이, N개 이상의 투사광은 동일한 주기 T_mod를 가지며, 단지 위상만이 서로 다를 수도 있고 또는 파형 자체가 서로 다를 수도 있다. 투사광은 예를 들어 약 850nm의 파장을 갖는 근적외선 광일 수 있다.

그런 후, N개의 투사광은 피사체(200)에서 반사되어 차례로 3차원 영상 획득 장치(100)로 되돌아온다. 이때, 필터(109)를 이용하여 반사광 중에서 예를 들어 약 850nm의 근적외선 광만을 투과시킨다. 그러면 광변조기(103)는 피사체(200)에서 반사된 N개의 반사광을 소정의 광변조 신호로 광변조하여 변조된 광을 촬상소자(105)에 제공한다. 광변조기(103)의 광변조 신호의 파형은 어떠한 것이라도 사용될 수 있지만, 그 주기는 투사광의 주기 T_mod와 동일할 수 있다. 다른 실시예에서, 하나의 동일한 투사광만을 사용하는 대신, N개의 광변조 신호로 반사광을 변조할 수도 있다.

이어서 단계(S22)에서, 촬상소자(105)는 상기 광변조기(103)에서 변조된 반사광을 소정의 노출 시간 동안 촬영하여 세기 영상을 출력한다. 그러면, N개의 투사광에 각각 대응하는 N개의 세기 영상을 얻을 수 있다. 이렇게 얻은 N개의 세기 영상은 깊이 정보 영상 처리부(107)에 제공될 수 있다.

단계(S23)에서, 깊이 정보 영상 처리부(107)는 메모리에 저장된 가중치 A_k 및 B_k를 읽어들인다. 여기서, 가중치 A_k 및 B_k는 특정한 투사광과 광변조 신호의 조합에 따라 값이 달라질 수 있으므로, 깊이 정보 영상 처리부(107)는 3차원 영상 획득 장치(100)가 현재 사용하고 있는 투사광과 광변조 신호의 조합에 대응하는 가중치를 검색하여 읽어들일 수 있다. 그리고, 깊이 정보 영상 처리부(107)는 가중치를 이용하여 세기 영상 벡터

의 직교기준 벡터

방향 성분(U)과

방향 성분(V)을 각각 계산하고 그 비(V/U)를 구한다. 예를 들어, N개의 세기 영상들에 각각 가중치 A₁~A_N을 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여

방향 성분인 하나의 제 1 가중 영상(U)을 얻는다. 또한, 동일한 N개의 세기 영상들에 또 다른 가중치 B₁~B_N을 각각 곱한 후, 이들 가중된 각각의 세기 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른

방향 성분인 제 2 가중 영상(V)을 얻는다. 그러면, 상기 두 가중 영상의 비(V/U)를 계산할 수 있다.

이러한 방식으로 두 개의 가중 영상의 비(V/U)를 얻었으면, 단계(S24)에서 깊이 정보 영상 처리부(107)는 룩업 테이블을 참조하여 깊이 d를 구할 수 있다. 룩업 테이블도 역시 특정한 투사광과 광변조 신호의 조합에 따라 달라질 수 있으므로, 깊이 정보 영상 처리부(107)는 3차원 영상 획득 장치(100)가 현재 사용하고 있는 투사광과 광변조 신호의 조합에 대응하는 룩업 테이블을 검색하여 읽어들일 수 있다. 만약 단계(S15)에서 구성된 룩업 테이블이 위상 지연 Φ_TOF와 기울기 θ_analy 사이의 관계를 정의하고 있다면, 깊이 정보 영상 처리부(107)는 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비율(V/U)에 대한 아크탄젠트 θ = tan^-1(V/U) 값을 구하고, 이를 기초로 룩업 테이블을 참조하여 위상 지연을 구한 후, 위상 지연 값으로부터 깊이 d를 계산할 수 있다. 만약 단계(S15)에서 구성된 룩업 테이블이 깊이 d와 기울기 θ_analy 사이의 관계를 정의하고 있다면, 깊이 정보 영상 처리부(107)는 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비율(V/U)에 대한 아크탄젠트 θ = tan^-1(V/U) 값을 구하고, 이를 기초로 룩업 테이블을 참조하여 깊이 d를 구할 수 있다. 또한, 만약 단계(S15)에서 구성된 룩업 테이블이 함수 U(Φ_TOF)와 V(Φ_TOF)의 비와 깊이 d 사이의 관계를 정의하고 있다면, 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비율(V/U)을 기초로 룩업 테이블을 참조하여 직접 깊이 d를 구할 수 있다.

마지막으로, 단계(S25)에서는 상술한 방식으로 추출된 피사체(200)에 대한 깊이 정보에 대해 적절한 후처리를 한 후 디스플레이를 통해 3차원 영상을 표시할 수 있다. 예를 들어, 깊이 정보 영상 처리부(107)는 촬상소자(105)의 다수의 화소들에 대해 각각 별도로 깊이 정보를 추출하고, 도시되지 않은 다른 촬상소자를 통해 촬영된 일반적인 컬러 영상에 상기 추출된 깊이 정보를 추가하여 3차원 영상을 생성할 수 있다.

지금까지, 본 발명의 이해를 돕기 위하여 3차원 영상 획득 장치 및 상기 3차원 영상 획득 장치에서 깊이 정보를 추출하는 방법에 대한 예시적인 실시예가 설명되고 첨부된 도면에 도시되었다. 그러나, 이러한 실시예는 단지 본 발명을 예시하기 위한 것이고 이를 제한하지 않는다는 점이 이해되어야 할 것이다. 그리고 본 발명은 도시되고 설명된 설명에 국한되지 않는다는 점이 이해되어야 할 것이다. 이는 다양한 다른 변형이 본 기술분야에서 통상의 지식을 가진 자에게 일어날 수 있기 때문이다.

100....3차원 영상 획득 장치 101....광원
102....광원 구동부 103....광변조기
104....광변조기 구동부 105....촬상소자
106....제어부 107....깊이 정보 영상 처리부
108....제 1 렌즈 109....필터
110....제 2 렌즈 200....피사체

Claims

N개(여기서, N은 3 이상의 자연수)의 상이한 투사광을 피사체에 순차적으로 투사하는 단계;
피사체에서 반사된 N개의 반사광을 광변조 신호로 변조하는 단계;
상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계;
상기 N개의 영상들에 각각 제 1 가중치를 곱한 후 가중된 각각의 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성하고, 상기 N개의 영상들에 상기 제 1 가중치와 다른 제 2 가중치를 각각 곱한 후 가중된 각각의 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성하는 단계; 및
N개의 상이한 투사광과 광변조 신호를 미리 실측하여 구성한 룩업 테이블을 참조하여, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)를 기초로 피사체까지의 거리를 계산하는 단계;를 포함하며,
상기 N개의 상이한 투사광은 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파이고, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파이며,
상기 N개의 영상들의 각각은 상기 투사광의 주기보다 긴 시간 동안 촬상소자를 노출시켜 얻고,
상기 제 1 및 제 2 가중치는 실측된 투사광의 파형, 실측된 광변조 신호의 파형, 및 상기 N개의 영상의 개수에 따라 미리 계산된 값을 갖는 깊이 정보 추출 방법.
삭제
삭제
제 1 항에 있어서,
상기 투사광과 광변조 신호의 파형은 다수의 사인 및 코사인의 고차항의 합으로 나타낼 수 있는 사인파, 삼각파, 사각파, 구형파 및 이들을 조합한 일반적인 파형 중에서 적어도 하나를 갖는 깊이 정보 추출 방법.
제 1 항에 있어서,
상기 제 1 가중 영상은 상기 N개의 영상들의 각각에 그에 각각 대응하는 제 1 가중치(A₁~A_N)를 곱한 후 가중된 각각의 영상들을 합산하여 생성되며, 상기 제 2 가중 영상은 상기 N개의 영상들의 각각에 그에 각각 대응하는 제 2 가중치(B₁~B_N)를 곱한 후 가중된 각각의 영상들을 합산하여 생성되는 깊이 정보 추출 방법.
제 5 항에 있어서,
상기 제 1 및 제 2 가중치들은 N개의 상이한 투사광과 광변조 신호를 실측하여 미리 계산되어 있는 깊이 정보 추출 방법.
제 1 항에 있어서,
상기 N개의 투사광과 광변조 신호의 다수의 상이한 조합별로 각각 별도의 룩업 테이블이 존재하며, 상기 피사체까지의 거리를 계산하는 단계는 상기 N개의 투사광과 광변조 신호의 실제 사용한 조합에 해당하는 룩업 테이블을 참조하는 것을 포함하는 깊이 정보 추출 방법.
제 1 항에 있어서,
상기 룩업 테이블은:
상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)에 대한 아크탄젠트 값과 위상 지연 사이의 관계를 정의하는 제 1 룩업 테이블;
상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)에 대한 아크탄젠트 값과 상기 피사체까지의 거리 사이의 관계를 정의하는 제 2 룩업 테이블; 및
상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)와 상기 피사체까지의 거리 사이의 관계를 정의하는 제 3 룩업 테이블; 중에서 적어도 하나를 포함하는 깊이 정보 추출 방법.
제 1 항에 있어서,
상기 룩업 테이블은:
상기 N개의 상이한 투사광과 상기 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계;
상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식을 이용하여 상기 N개의 영상에 관한 다항식을 구하는 단계;
상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계;
상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계;
상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계를 포함하는 방식으로 구성되는 깊이 정보 추출 방법.
제 9 항에 있어서,
상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식은 실측 결과를 기초로 푸리에 분석을 통해 다수의 사인과 코사인의 고차항의 합으로 나타내는 깊이 정보 추출 방법.
제 9 항에 있어서,
상기 N개의 영상에 관한 다항식을 구하는 단계는:
상기 N개의 상이한 투사광이 피사체에서 반사된 후의 반사광에 관한 N개의 다항식을 상기 N개의 상이한 투사광에 관한 다항식으로부터 유도하는 단계;
상기 반사광에 관한 N개의 다항식과 상기 광변조 신호에 관한 다항식을 곱하여 광변조된 광에 대한 N개의 다항식을 구하는 단계; 및
상기 광변조된 광에 대한 N개의 다항식을 적분하여 상기 N개의 상이한 투사광에 각각 대응하는 N개의 영상에 관한 다항식을 구하는 단계;를 포함하는 깊이 정보 추출 방법.
제 9 항에 있어서,
상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계는, 상기 N개의 영상에 관한 다항식에 존재하는 직류 항만을 고려하는 깊이 정보 추출 방법.
제 9 항에 있어서,
상기 위상 벡터 함수는

로 정의되며, 여기서

이고(i, j = 1, 2, ..., N, i≠j),
F⁽ⁱ⁾(Φ_TOF)는 i번째 투사광에 대한 위상 함수를 나타내는 깊이 정보 추출 방법.
제 13 항에 있어서,
상기 제 1 기준 벡터는
로 정의되며 여기서
이고,
상기 제 2 기준 벡터는
로 정의되며, 여기서
인 깊이 정보 추출 방법.
제 14 항에 있어서,
상기 제 1 가중치는 상기 N개의 영상들에 각각 곱해지는 N개의 상이한 가중치 성분 A₁~A_N을 포함하며, 여기서

이고,
상기 제 2 가중치는 상기 N개의 영상들에 각각 곱해지는 N개의 상이한 가중치 성분 B₁~B_N을 포함하며, 여기서

인 깊이 정보 추출 방법.
제 1 항에 있어서,
N개 미만의 상이한 투사광을 피사체에 더 투사하여 N개 미만의 신규 영상을 추가적으로 생성하는 단계;
가장 먼저 생성된 N개 미만의 기존 영상을 제거하는 단계;
남아 있는 N개의 영상들에 각각 제 1 및 제 2 가중치들을 곱하여 새로운 제 1 및 제 2 가중 영상을 생성하는 단계;
상기 새로운 제 1 가중 영상과 제 2 가중 영상의 비를 계산하는 단계; 및
상기 룩업 테이블을 참조하여, 상기 새로운 제 1 가중 영상과 제 2 가중 영상의 비를 기초로 피사체까지의 거리를 추가적으로 계산하는 단계;를 더 포함하는 깊이 정보 추출 방법.
N개(여기서, N은 3 이상의 자연수)의 동일한 투사광을 피사체에 순차적으로 투사하는 단계;
N개의 상이한 광변조 신호로 상기 피사체에서 반사된 N개의 반사광을 각각 변조하는 단계;
상기 N개의 변조된 반사광을 각각 촬영하여 N개의 영상을 생성하는 단계;
상기 N개의 영상들에 각각 제 1 가중치를 곱한 후 가중된 각각의 영상들을 합산하여 하나의 제 1 가중 영상(U)을 생성하고, 상기 N개의 영상들에 상기 제 1 가중치와 다른 제 2 가중치를 각각 곱한 후 가중된 각각의 영상들을 합산하여 상기 제 1 가중 영상(U)과는 다른 제 2 가중 영상(V)을 생성하는 단계; 및
상기 투사광과 상기 N개의 상이한 광변조 신호를 미리 실측하여 구성한 룩업 테이블을 참조하여, 상기 제 1 가중 영상(U)과 제 2 가중 영상(V)의 비(V/U)를 기초로 피사체까지의 거리를 계산하는 단계;를 포함하며,
상기 N개의 상이한 광변조 신호는 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파이고, 상기 투사광은 상기 광변조 신호와 동일한 주기를 갖는 주기파이며,
상기 N개의 영상들의 각각은 상기 투사광의 주기보다 긴 시간 동안 촬상소자를 노출시켜 얻고,
상기 제 1 및 제 2 가중치는 실측된 투사광의 파형, 실측된 광변조 신호의 파형, 및 상기 N개의 영상의 개수에 따라 미리 계산된 값을 갖는 깊이 정보 추출 방법.
제 17 항에 있어서,
상기 룩업 테이블은:
상기 투사광과 상기 N개의 상이한 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계;
상기 투사광과 상기 N개의 상이한 광변조 신호의 파형에 관한 다항식을 이용하여 상기 N개의 영상에 관한 다항식을 구하는 단계;
상기 N개의 영상에 관한 다항식을 각각 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계;
상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계;
상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계를 포함하는 방식으로 구성되는 깊이 정보 추출 방법.
제 17 항에 있어서,
상기 투사광과 상기 N개의 상이한 광변조 신호의 다수의 상이한 조합별로 각각 별도의 룩업 테이블이 존재하며, 상기 피사체까지의 거리를 계산하는 단계는 상기 투사광과 상기 N개의 상이한 광변조 신호의 실제 사용한 조합에 해당하는 룩업 테이블을 참조하는 것을 포함하는 깊이 정보 추출 방법.
N개(여기서, N은 3 이상의 자연수)의 상이한 투사광 및 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계;
상기 N개의 상이한 투사광이 피사체에서 반사되어 형성된 N개의 상이한 반사광의 파형을 나타내는 다항식과 상기 광변조 신호의 파형에 관한 다항식과의 곱을 상기 투사광의 주기보다 긴 시간으로 적분함으로써, 상기 N개의 상이한 투사광이 피사체로부터 반사된 후에 상기 광변조 신호에 의해 변조된 다음 촬영된 N개의 영상에 관한 다항식을 구하는 단계;
상기 N개의 영상에 관한 다항식을 각각 상기 투사광에 대한 상기 반사광의 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계;
상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계;
상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계;를 포함하며,
상기 N개의 상이한 투사광은 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파이고, 상기 광변조 신호는 투사광과 동일한 주기를 갖는 주기파이며,
상기 제 1 기준 벡터는 상기 위상 지연이 0도일 때 상기 위상 벡터 함수의 방향으로 정의되며, 상기 제 2 기준 벡터는 상기 위상 지연이 90도일 때 상기 위상 벡터 함수의 방향으로 정의되는, 깊이 정보 추출용 룩업 테이블을 구성하는 방법.
제 20 항에 있어서,
상기 룩업 테이블은:
상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비에 대한 아크탄젠트 값과 위상 지연 사이의 관계를 정의하는 제 1 룩업 테이블;
상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비에 대한 아크탄젠트 값과 상기 피사체까지의 거리 사이의 관계를 정의하는 제 2 룩업 테이블; 및
상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 상기 피사체까지의 거리 사이의 관계를 정의하는 제 3 룩업 테이블; 중에서 적어도 하나를 포함하는 룩업 테이블을 구성하는 방법.
제 20 항에 있어서,
상기 N개의 상이한 투사광과 상기 광변조 신호의 파형에 관한 다항식은 실측 결과를 기초로 푸리에 분석을 통해 다수의 사인과 코사인의 고차항의 합으로 나타내는 룩업 테이블을 구성하는 방법.
제 20 항에 있어서,
상기 위상 벡터 함수는

로 정의되며, 여기서

이고(i, j = 1, 2, ..., N, i≠j),
F⁽ⁱ⁾(Φ_TOF)는 i번째 투사광에 대한 위상 함수를 나타내는 룩업 테이블을 구성하는 방법.
제 23 항에 있어서,
상기 제 1 기준 벡터는
로 정의되며 여기서
이고,
상기 제 2 기준 벡터는
로 정의되며, 여기서
인 룩업 테이블을 구성하는 방법.
하나의 투사광 및 N개(여기서, N은 3 이상의 자연수)의 상이한 광변조 신호를 실측하여 각각의 투사광과 광변조 신호의 파형을 나타내는 다항식을 각각 구하는 단계;
상기 투사광이 피사체에서 반사되어 형성된 반사광의 파형을 나타내는 다항식과 상기 N개의 상이한 광변조 신호의 파형에 관한 다항식과의 곱을 상기 투사광의 주기보다 긴 시간으로 적분함으로써, 상기 투사광이 피사체로부터 반사된 후에 상기 N개의 상이한 광변조 신호에 의해 변조된 다음 촬영된 N개의 영상에 관한 다항식을 구하는 단계;
상기 N개의 영상에 관한 다항식을 각각 상기 투사광에 대한 상기 반사광의 위상 지연에 관한 위상 함수와 위상 지연과 관련 없는 상수항의 합으로 정리하는 단계;
상기 N개의 위상 함수들 사이의 차들의 조합을 이용하여 다차원 공간 상에 위상 지연에 관한 위상 벡터 함수를 정의하는 단계;
상기 다차원 공간 상에서 서로 직교하는 제 1 기준 벡터와 제 2 기준 벡터를 정의하는 단계;
상기 위상 벡터 함수의 제 1 기준 벡터 방향의 성분과 제 2 기준 벡터 방향의 성분의 비와 위상 지연 사이의 관계를 해석적으로 결정하는 단계; 및
상기 해석적으로 결정된 관계를 나타내는 룩업 테이블을 생성하는 단계;를 포함하며,
상기 N개의 상이한 광변조 신호의 파형은 주기가 서로 같고, 파형, 크기 및 위상 중에서 적어도 하나가 서로 다른 주기파이고, 상기 투사광은 상기 광변조 신호와 동일한 주기를 갖는 주기파이며,
상기 제 1 기준 벡터는 상기 위상 지연이 0도일 때 상기 위상 벡터 함수의 방향으로 정의되며, 상기 제 2 기준 벡터는 상기 위상 지연이 90도일 때 상기 위상 벡터 함수의 방향으로 정의되는, 깊이 정보 추출용 룩업 테이블을 구성하는 방법.
제 20 항 또는 제 25 항에 따른 방법으로 구성된 룩업 테이블을 저장하고 있는 저장 매체.
피사체를 향해 투사광을 투사하는 광원;
피사체로부터 반사된 반사광을 광변조 신호로 변조하는 광변조기;
상기 광변조기에 의해 변조된 광을 촬영하여 영상을 생성하는 촬상소자; 및
상기 촬상소자에서 생성된 영상을 이용하여 피사체와의 거리를 계산하기 위한 깊이 정보 영상 처리부;를 포함하며,
상기 깊이 정보 영상 처리부는 제 1 항, 제 4 항 내지 제 19 항 중 어느 한 항에 따른 방법으로 깊이 정보를 추출하는 3차원 영상 획득 장치.
제 27 항에 있어서,
상기 광원을 구동시켜 투사광의 파형을 제어하는 광원 구동부;
상기 광변조기를 구동시켜 광변조 신호의 이득 파형을 제어하는 광변조기 구동부; 및
상기 광원 구동부, 광변조기 구동부 및 촬상소자의 동작을 제어하기 위한 제어부;를 더 포함하는 3차원 영상 획득 장치.
제 27 항에 있어서,
상기 촬상소자는 2차원 또는 1차원 어레이를 갖는 CCD 이미지 센서, CMOS 이미지 센서, 포토다이오드 어레이를 사용하거나 또는 단일 지점의 거리 측정을 위한 1개의 포토다이오드를 사용하는 3차원 영상 획득 장치.
제 27 항에 있어서,
상기 투사광과 광변조 신호를 미리 실측하여 구성한 상기 룩업 테이블 및 상기 투사광과 광변조 신호를 미리 실측하여 미리 계산되어 있는 상기 제 1 및 제 2 가중치들이 저장되어 있는 메모리를 더 포함하는 3차원 영상 획득 장치.