KR101909137B1

KR101909137B1 - Apparatus for correcting information of hologram and method using the same

Info

Publication number: KR101909137B1
Application number: KR1020160091759A
Authority: KR
Inventors: 김현의; 추현곤; 임용준; 홍기훈
Original assignee: 한국전자통신연구원
Priority date: 2015-12-16
Filing date: 2016-07-20
Publication date: 2018-10-17
Anticipated expiration: 2036-07-20
Also published as: KR20170072116A

Abstract

홀로그램 정보 보정 장치 및 방법이 개시된다. 본 발명의 일실시예에 따른 홀로그램 정보 보정 장치는 360도 전방위 각도에 상응하는 범위에서 사용자의 영상을 촬영하는 촬영부; 상기 사용자의 영상에서 하르(Haar) 기반 동공 추적 접근 기법을 이용하여 상기 사용자의 동공의 위치에 기반하여 3차원 정보를 생성하는 정보 생성부 및 상기 3차원 정보에 기반하여 수평 시차 유일(Horizontal Parallax Only, HPO)방식으로 생성된 컴퓨터 홀로그램(Computer-generated holography, CGH) 정보를 홀로그램 디스플레이 장치에 입력하여 홀로그램의 수직 및 수평 방향 정보 중 어느 하나를 보정하는 보정부를 포함 한다.A hologram information correction apparatus and method are disclosed. An apparatus for correcting hologram information according to an embodiment of the present invention includes: a photographing unit for photographing a user's image in a range corresponding to 360 degrees omnidirectional angle; An information generating unit for generating three-dimensional information based on a position of the pupil of the user by using a Haar-based pupil tracking approach in the user's image; and a horizontal parallax only , And a correction unit for inputting computer-generated holography (CGH) information generated by the HPO method to the holographic display device to correct any one of the vertical and horizontal direction information of the hologram.

Description

TECHNICAL FIELD [0001] The present invention relates to a hologram information correcting apparatus and a hologram information correcting apparatus.

본 발명은 테이블탑형 디지털 홀로그램 디스플레이 기술에 관한 것이다.The present invention relates to a table top digital hologram display technology.

디지털 홀로그래피 디스플레이 기술은 광변조기(Spatial Light Modulator, SLM)를 기반으로 레이저와 같은 빛의 회절 현상을 이용하여 3차원 공간에 입체 영상을 출력하는 기술이다. 테이블탑형 홀로그래픽 디스플레이 장치는 홀로그래피 디스플레이 기술을 이용하여 평면의 테이블 위의 공간 상에 영상을 출력하여, 360도 어느 각도에서나 입체 영상을 볼 수 있도록 하는 디스플레이 장치에 상응한다.Digital holography display technology is based on a spatial light modulator (SLM) to output a stereoscopic image to a three-dimensional space using a diffraction phenomenon of light such as a laser. The table-top holographic display device corresponds to a display device that outputs an image on a space on a table on a plane by using a holographic display technology so that a stereoscopic image can be viewed from any angle of 360 degrees.

테이블탑형 홀로그래픽 디스플레이 장치는 일반적인 홀로그래픽 디스플레이장치와 마찬가지로 공간광변조기와 가간섭성 광원을 기반으로 한다. 이 때, 광변조기 회절각 크기로 인한 홀로그램 관찰 범위에 제약을 가지게 된다. 즉, 테이블탑형 홀로그래픽 디스플레이 장치는 360도 방향에서 시청이 가능하도록 시점은 형성이 가능하지만, 관찰이 가능한 범위는 매우 한정적이 될 수 밖에 없다.The table top holographic display device is based on a spatial light modulator and a coherent light source like a typical holographic display device. At this time, the hologram observation range due to the optical modulator diffraction angle size is restricted. That is, the table-top holographic display device can form a viewpoint so that viewing can be performed in a 360-degree direction, but the range in which observation can be performed is very limited.

이러한 문제를 해결하기 위해 홀로그램이 형성되는 공간(회전 스크린, Rotating Screen)에 비등방성 확산기(asymmetric diffuser)를 설치하여 홀로그램의 관찰 범위를 확장할 수 있다. 일반 확산기의 경우, 홀로그램을 쉽게 관찰할 수 있으나, 홀로그램의 3D 정보를 없애는 문제점을 가지고 있다. 이 때, 비등방성 확산기를 이용하는 경우, 수평(또는 수직) 방향으로의 홀로그램 위상 정보를 유지한 채, 수직 방향으로의 관찰 범위를 확장할 수 있다. 이를 이용하면 홀로그램이 출력되는 스크린이 회전하는 경우, 수평으로 연속 투사가 가능하므로 360도 전체에서 관찰 범위를 확장하는 효과를 가져오게 된다. 그러나, 이러한 방법의 경우, 변조된 빔이 한 쪽 축방향에 대한 간섭성을 잃게 되므로, 관찰범위를 확장하는 방향에서 홀로그램의 3D 수직 정보(또는 수평 정보)가 사라지는 문제점이 존재한다.In order to solve this problem, an asymmetric diffuser can be installed in a space where a hologram is formed (a rotating screen) to extend the observation range of the hologram. In the case of a general diffuser, the hologram can be easily observed, but it has a problem of eliminating hologram 3D information. At this time, when the anisotropic diffuser is used, the observation range in the vertical direction can be extended while maintaining the hologram phase information in the horizontal (or vertical) direction. When the screen is rotated, the hologram can be continuously projected horizontally, so that the observation range can be extended over 360 degrees. However, in this method, there is a problem that the 3D vertical information (or horizontal information) of the hologram disappears in the direction of expanding the observation range because the modulated beam loses coherence with respect to one axial direction.

한편, 한국공개특허 제 10-2013-0096872 호"홀로그래픽 디스플레이 장치 및 홀로그램을 생성하기 위한 방법"는 서브 홀로그램을 중첩하여 홀로그램을 생성하는 홀로그래픽 디스플레이 장치 및 홀로그램을 생성하기 위한 방법에 관하여 개시되어 있다.Korean Patent Laid-Open No. 10-2013-0096872 "Holographic Display Device and Method for Generating Hologram" discloses a holographic display device for generating a hologram by superimposing a sub hologram, and a method for generating a hologram have.

그러나, 한국공개특허 제 10-2015-0079393 호는 홀로그램의 관찰 범위 확장에 따른 수평 또는 수직 정보를 보정하는 것에 관하여는 개시되어 있지 않다.However, Korean Patent Laid-Open No. 10-2015-0079393 does not disclose the correction of horizontal or vertical information due to the expansion of the viewing range of the hologram.

본 발명은 테이블탑형 홀로그래픽 디스플레이 장치의 관찰 범위를 확장하여 입체시차 홀로그램을 제공하는 것을 목적으로 한다.It is an object of the present invention to provide a stereoscopic parallax hologram by extending the observation range of a table-top holographic display device.

또한, 본 발명은 사용자의 동공을 추적하여 테이블탑형 홀로그래픽 디스플레이 장치에서 홀로그램의 관찰 범위 확장 시 홀로그램의 수직 또는 수평 방향 정보가 보정된 홀로그램을 제공하는 것을 목적으로 한다.It is another object of the present invention to provide a hologram in which the vertical or horizontal direction information of the hologram is corrected when the observation range of the hologram is expanded in the table top holographic display device by tracking the pupil of the user.

또한, 본 발명은 테이블탑형 홀로그램 디스플레이 장치의 홀로그램 정보를 고속으로 보정하는 것을 목적으로 한다.It is another object of the present invention to correct hologram information of a table top type hologram display device at a high speed.

상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 홀로그램 보정 장치는 360도 전방위 각도에 상응하는 범위에서 사용자의 영상을 촬영하는 촬영부; 상기 사용자의 영상에서 하르(Haar) 기반 동공 추적 접근 기법을 이용하여 상기 사용자의 동공의 위치에 기반하여 3차원 정보를 생성하는 정보 생성부 및 상기 3차원 정보에 기반하여 수평 시차 유일(Horizontal Parallax Only, HPO)방식으로 생성된 컴퓨터 홀로그램(Computer-generated holography, CGH) 정보를 홀로그램 디스플레이 장치에 입력하여 홀로그램의 수직 및 수평 방향 정보 중 어느 하나를 보정하는 보정부를 포함 한다.According to an aspect of the present invention, there is provided an apparatus for correcting a hologram, comprising: a photographing unit for photographing a user's image in a range corresponding to 360 degrees omni-directional angle; An information generating unit for generating three-dimensional information based on a position of the pupil of the user by using a Haar-based pupil tracking approach in the user's image; and a horizontal parallax only , And a correction unit for inputting computer-generated holography (CGH) information generated by the HPO method to the holographic display device to correct any one of the vertical and horizontal direction information of the hologram.

이 때, 상기 정보 생성부는 상기 사용자의 영상에서 얼굴을 먼저 탐색하고, 상기 얼굴에서 탐색된 눈의 위치를 중심으로 상기 동공을 추적하여 상기 동공의 위치를 판단할 수 있다.At this time, the information generating unit may search for a face in the user's image first, and may determine the position of the pupil by tracking the pupil centered on the position of the eye detected in the face.

이 때, 상기 정보 생성부는 상기 눈의 위치의 화소 값, 상기 눈의 중심 좌표 및 상기 눈의 반지름 중 어느 하나 이상을 이용하여, 상기 눈의 중심 좌표와 상기 눈의 반지름에 기반하여 산출된 눈의 둘레에 상응하는 화소 값들을 합산하고, 상기 눈의 중심 좌표 방향에 상응하는 상기 눈의 안쪽 영역과, 상기 눈의 중심 좌표 반대 방향에 상응하는 상기 눈의 바깥쪽 영역과의 화소 값의 차이에 기반하여 상기 동공의 위치를 판단할 수 있다.At this time, the information generating unit may use at least one of a pixel value of the position of the eye, a center coordinate of the eye, and a radius of the eye to calculate a distance between the center of the eye and the radius of the eye, Based on a difference between pixel values of an inner area of the eye corresponding to the center coordinate direction of the eye and an outer area of the eye corresponding to a direction opposite to the center coordinate of the eye, The position of the pupil can be determined.

이 때, 상기 정보 생성부는 상기 눈의 안쪽 영역과, 상기 눈의 바깥쪽 영역의 상기 화소 값의 차이가 최대가 되는 영역에 기반하여 상기 동공의 위치를 판단할 수 있다.At this time, the information generating unit may determine the position of the pupil based on a region where the difference between the inner area of the eye and the pixel value of the outer area of the eye becomes maximum.

이 때, 상기 정보 생성부는 상기 동공의 위치를 판단하기 위하여, 상기 반지름의 방향으로 가우시안 함수를 이용하여 상기 동공의 영역의 노이즈를 제거할 수 있다.In this case, the information generating unit may remove the noise of the pupil region using the Gaussian function in the direction of the radius in order to determine the position of the pupil.

이 때, 상기 정보 생성부는 판단된 상기 사용자의 좌, 우 동공의 위치에 기반하여, 상기 좌, 우 동공의 위치의 차이(disparity)를 이용하여 상기 좌, 우 동공의 3차원 위치 좌표를 산출하여 상기 3차원 정보를 생성할 수 있다.At this time, the information generation unit calculates three-dimensional position coordinates of the left and right pupils using the disparity of the positions of the left and right pupils based on the determined positions of the left and right pupils of the user The three-dimensional information can be generated.

또한, 상기한 목적을 달성하기 위한 본 발명의 일실시예에 따른 홀로그램 보정 방법은 홀로그램 정보 보정 장치를 이용하는 방법에 있어서, 360도 전방위 각도에 상응하는 범위에서 사용자의 영상을 촬영하는 단계; 상기 사용자의 영상에서 하르(Haar) 기반 동공 추적 접근 기법을 이용하여 상기 사용자의 동공의 위치에 기반하여 3차원 정보를 생성하는 단계 및 상기 3차원 정보에 기반하여 수평 시차 유일(Horizontal Parallax Only, HPO)방식으로 생성된 컴퓨터 홀로그램(Computer-generated holography, CGH) 정보를 홀로그램 디스플레이 장치에 입력하여 홀로그램의 수직 및 수평 방향 정보 중 어느 하나를 보정하는 단계를 포함한다.According to another aspect of the present invention, there is provided a method of using a hologram information correcting apparatus, comprising the steps of: capturing an image of a user in a range corresponding to 360 degrees omnidirectional angle; Generating three-dimensional information based on a position of the pupil of the user using a Haar-based pupil tracking approach in the user's image, and generating horizontal parallax only (HPO) information based on the three- ) Method to a hologram display device to correct any one of the vertical and horizontal direction information of the hologram.

이 때, 상기 3차원 정보를 생성하는 단계는 상기 사용자의 영상에서 얼굴을 먼저 탐색하고, 상기 얼굴에서 탐색된 눈의 위치를 중심으로 상기 동공을 추적하여 상기 동공의 위치를 판단할 수 있다.In this case, the step of generating the three-dimensional information may search for a face in the user's image first and then determine the position of the pupil by tracking the pupil centered on the position of the eye detected in the face.

이 때, 상기 3차원 정보를 생성하는 단계는 상기 눈의 위치의 화소 값, 상기 눈의 중심 좌표 및 상기 눈의 반지름 중 어느 하나 이상을 이용하여, 상기 눈의 중심 좌표와 상기 눈의 반지름에 기반하여 산출된 눈의 둘레에 상응하는 화소 값들을 합산하고, 상기 눈의 중심 좌표 방향에 상응하는 상기 눈의 안쪽 영역과, 상기 눈의 중심 좌표 반대 방향에 상응하는 상기 눈의 바깥쪽 영역과의 화소 값의 차이에 기반하여 상기 동공의 위치를 판단할 수 있다.At this time, the step of generating the three-dimensional information may be based on the center coordinates of the eye and the radius of the eye using at least one of the pixel value of the eye position, the center coordinates of the eye, And calculates a sum of pixel values corresponding to the center of the eye corresponding to the center coordinate direction of the eye and the area outside the eye corresponding to the direction opposite to the center coordinate of the eye, The position of the pupil can be determined based on the difference of the values.

이 때, 상기 3차원 정보를 생성하는 단계는 판단된 상기 사용자의 좌, 우 동공의 위치에 기반하여, 상기 좌, 우 동공의 위치의 차이(disparity)를 이용하여 상기 좌, 우 동공의 3차원 위치를 산출하여 상기 3차원 정보를 생성할 수 있다.At this time, the generating of the three-dimensional information may include generating the three-dimensional information using the disparity of the positions of the left and right pupils based on the determined positions of the left and right pupils of the user, And the position information may be generated to generate the three-dimensional information.

본 발명은 테이블탑형 홀로그래픽 디스플레이 장치의 관찰 범위를 확장하여 입체시차 홀로그램을 제공할 수 있다.The present invention can extend the observation range of the table top holographic display device to provide a stereoscopic parallax hologram.

또한, 본 발명은 사용자의 동공을 추적하여 테이블탑형 홀로그래픽 디스플레이 장치에서 홀로그램의 관찰 범위 확장 시 홀로그램의 수직 또는 수평 방향 정보가 보정된 홀로그램을 제공할 수 있다.In addition, the present invention can provide a hologram in which the vertical or horizontal direction information of the hologram is corrected when the observation range of the hologram is expanded in the table top holographic display device by tracking the pupil of the user.

또한, 본 발명은 테이블탑형 홀로그램 디스플레이 장치의 홀로그램 정보를 고속으로 보정할 수 있다.Further, the present invention can correct the hologram information of the table top type hologram display device at a high speed.

도 1은 본 발명의 일실시예에 따른 홀로그램 정보 보정 장치를 나타낸 블록도이다.
도 2는 본 발명의 일실시예에 따른 하르(Haar) 기반 동공 추적 접근 기법의 필터 셋을 나타낸 도면이다.
도 3은 본 발명의 일실시예에 따른 하르(Haar) 기반 동공 추적 접근 기법의 분류기를 나타낸 도면이다.
도 4는 본 발명의 일실시예에 따른 테이블탑형 홀로그램 디스플레이 장치를 나타낸 도면이다.
도 5 및 도 6은 도 4 에 도시된 카메라 어레이 배치의 일 예를 나타낸 도면이다.
도 7은 본 발명의 일실시예에 따른 홀로그램 정보 보정 방법을 나타낸 동작흐름도이다.
도 8은 도 7에 도시된 사용자 동공 위치 기반 3차원 정보 생성 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.
도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.1 is a block diagram illustrating a hologram information correction apparatus according to an embodiment of the present invention.
2 is a diagram illustrating a set of filters of a Haar-based pupil tracking approach according to an embodiment of the present invention.
3 is a diagram illustrating a classifier of a Haar-based pupil tracking approach according to an embodiment of the present invention.
4 is a view illustrating a table top type hologram display apparatus according to an embodiment of the present invention.
5 and 6 are views showing an example of the camera array arrangement shown in FIG.
7 is a flowchart illustrating a method of correcting hologram information according to an embodiment of the present invention.
FIG. 8 is an operation flowchart illustrating an example of the user pupil location-based three-dimensional information generation step shown in FIG. 7 in detail.
9 is a block diagram illustrating a computer system in accordance with an embodiment of the present invention.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, preferred embodiments according to the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일실시예에 따른 홀로그램 정보 보정 장치를 나타낸 블록도이다. 도 2는 본 발명의 일실시예에 따른 하르(Haar) 기반 동공 추적 접근 기법의 필터 셋을 나타낸 도면이다. 도 3은 본 발명의 일실시예에 따른 하르(Haar) 기반 동공 추적 접근 기법의 분류기를 나타낸 도면이다.1 is a block diagram illustrating a hologram information correction apparatus according to an embodiment of the present invention. 2 is a diagram illustrating a set of filters of a Haar-based pupil tracking approach according to an embodiment of the present invention. 3 is a diagram illustrating a classifier of a Haar-based pupil tracking approach according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일실시예에 따른 홀로그램 정보 보정 장치는 촬영부(110), 정보 생성부(120) 및 보정부(130)을 포함한다.Referring to FIG. 1, the apparatus for correcting hologram information according to an exemplary embodiment of the present invention includes a photographing unit 110, an information generating unit 120, and a correcting unit 130.

촬영부(110)는 360도 전방위 각도에 상응하는 범위에서 사용자의 영상을 촬영하는 카메라(210)에 상응할 수 있다. 이 때, 카메라(210)는 360도 또는 이에 상응하는 범위를 촬영할 수 있도록, 복수개의 카메라들이 어레이(Array) 방식으로 설치될 수 있다. 이 때, 카메라(210)는 광각을 지원하는 렌즈가 장착될 수도 있다. 이 때, 카메라(210)는 스테레오 카메라에 상응할 수도 있다.The photographing unit 110 may correspond to the camera 210 that photographs the user's image in a range corresponding to the 360 degree omnidirectional angle. In this case, a plurality of cameras may be installed in an array manner so that the camera 210 can photograph 360 degrees or a range corresponding thereto. At this time, the camera 210 may be equipped with a lens supporting a wide angle. At this time, the camera 210 may correspond to a stereo camera.

이 때, 카메라(210)는 사용자의 홀로그램 관찰에 방해가 되지 않으면서 사용자의 동공을 추적할 수 있는 위치에 설치 될 수 있다. 즉, 카메라(210)는 사용자의 홀로그램 관찰에 방해되지 않도록 테이블탑형 홀로그램 디스플레이 장치의 회전 스크린(240)의 위 또는 아래에 설치될 수도 있다.At this time, the camera 210 can be installed at a position where it can track the pupil of the user without interfering with the hologram observation of the user. That is, the camera 210 may be installed above or below the rotating screen 240 of the tabletop holographic display device so as not to interfere with the hologram observation of the user.

정보 생성부(120)는 사용자의 영상에서 하르(Haar) 기반 동공 추적 접근 기법을 이용하여 사용자의 동공의 위치에 기반하여 3차원 정보를 생성할 수 있다. 이 때, 정보 생성부(120)는 사용자의 영상에서 얼굴을 먼저 탐색하고, 얼굴에서 탐색된 눈의 위치를 중심으로 사용자의 동공을 추적하여 사용자의 동공의 위치를 판단할 수 있다.The information generating unit 120 may generate three-dimensional information based on the position of the user's pupil using a Haar-based pupil tracking approach in the user's image. At this time, the information generating unit 120 may search for a face in the user's image first, and may determine the position of the user's pupil by tracking the pupil of the user around the position of the eye detected in the face.

도 2를 참조하면, 하르(Haar) 기반 동공 추적 접근 기법의 필터 셋을 나타낸 것을 것 수 있다. Referring to FIG. 2, it can be shown that the filter set of the Haar-based pupil tracking approach is shown.

이 때, 하르(Haar) 기반 동공 추적 접근 기법은 특징자들을 하나의 필터 셋으로 구성할 수 있다.At this time, the Haar-based pupil tracking approach can construct the feature set into one filter set.

도 3을 참조하면, 따른 하르(Haar) 기반 동공 추적 접근 기법의 분류기를 나타낸 것을 알 수 있다.Referring to FIG. 3, it can be seen that the classifier of the Haar-based pupil tracking approach is shown.

이 때, 하르(Haar) 기반 동공 추적 접근 기법은 도 2에 도시된 하르(Haar) 필터 셋을 얼굴 데이터 베이스에 적용하여 각각의 필터에 대한 응답을 하르(Haar) 분류기로 구성할 수 있다.In this case, the Haar-based pupillary tracing approach technique can apply the Haar filter set shown in FIG. 2 to the face database and construct a Haar classifier for each filter response.

하르(Haar) 분류기는 영상이 입력되면 여러 크기 단위로 얼굴 및 눈의 후보 영역을 검출하고, 검출된 영역에서 가장 큰 출력의 값을 얼굴 및 눈의 영역으로 판단할 수 있다.The Haar classifier detects face and eye candidate areas in units of sizes when an image is input, and determines the largest output value in the detected area as a face and an eye area.

정보 생성부(120)는 하르(Haar) 동공 추적 접근 기법을 이용하여 사용자의 영상에서 눈의 위치의 화소 값, 상기 눈의 중심 좌표 및 상기 눈의 반지름 중 어느 하나 이상을 이용하여, 상기 눈의 중심 좌표와 상기 눈의 반지름에 기반하여 눈의 둘레를 산출할 수 있다.The information generating unit 120 may use the Haar pupil tracking approach to calculate the eye position of the eye using the pixel value of the eye position, the center coordinates of the eye, and the radius of the eye in the user's image. The perimeter of the eye can be calculated based on the center coordinates and the radius of the eye.

이 때, 정보 생성부(120)는 눈의 둘레에 상응하는 화소 값들을 합산하고, 상기 눈의 중심 좌표 방향에 상응하는 눈의 안쪽 영역과, 상기 눈의 중심 좌표 반대 방향에 상응하는 눈의 바깥쪽 영역의 화소 값과의 차이에 기반하여 동공의 위치를 판단할 수 있다.At this time, the information generating unit 120 sums the pixel values corresponding to the perimeter of the eye, and calculates the sum of the pixel values corresponding to the inner area of the eye corresponding to the center coordinate direction of the eye and the outer area of the eye corresponding to the direction opposite to the center coordinate of the eye The position of the pupil can be determined based on the difference between the pixel value of the first region and the pixel value of the second region.

이 때, 정보 생성부(120)는 눈의 안쪽 영역과 눈의 바깥쪽 영역의 화소 값의 차이가 최대가 되는 영역에 기반하여 동공의 위치를 판단할 수 있다. At this time, the information generation unit 120 can determine the position of the pupil based on the area where the difference between the pixel values of the inner area of the eye and the outer area of the eye is the maximum.

이 때, 정보 생성부(120)는 동공의 위치를 판단하기 위하여, 반지름의 방향으로 가우시안 함수를 이용하여 동공의 영역의 노이즈를 제거할 수 있다.At this time, the information generating unit 120 may remove the noise in the pupil region using the Gaussian function in the direction of the radius in order to determine the position of the pupil.

즉, 정보 생성부(120)는 아래 수학식 1을 이용하여 사용자의 동공의 영역을 판단할 수 있다.That is, the information generating unit 120 can determine the region of the user's pupil using Equation (1) below.

수학식 1에서, I(x, y)는 (x, y)위치에서의 화소 값, (x₀, y₀)은 상기 눈의 중심 좌표, r은 눈의 반지름에 상응할 수 있다. 수학식 1은 상기 눈의 중심 좌표인(x₀, y₀) 로부터 반지름 r에 의해 2πr로 정규화 된 눈의 둘레에 존재하는 모든 화소 값을 합산할 수 있다. 눈의 안쪽 영역과 눈의 바깥쪽 영역 각각의 화소 값의 차가 최대가 되는 영역을 동공의 영역으로 판단할 수 있다. 이 때, 수학식 1은 동공의 위치를 판단하기 위하여, 반지름 r의 방향으로 가우시안 함수 G(r)를 수행하여 동공의 영역의 노이즈를 제거할 수 있다.In Equation 1, I (x, y) is the pixel value at the (x, y) position, (x ₀ , y ₀ ) is the center coordinate of the eye, and r is the radius of the eye. Equation (1) can sum up all the pixel values existing around the eye normalized by 2 r by radius r from (x ₀ , y ₀ ), which is the center coordinate of the eye. The area where the difference between the pixel values of the inner area of the eye and the outer area of the eye becomes the maximum can be determined as the area of the pupil. In this case, Equation (1) can remove the noise in the pupil region by performing the Gaussian function G (r) in the direction of the radius r to determine the position of the pupil.

이 때, 정보 생성부(120)는 판단된 사용자의 좌, 우 동공의 위치에 기반하여, 좌, 우 동공의 위치의 차이(disparity)를 이용하여 좌, 우 동공의 3차원 위치 좌표를 산출하여 3차원 정보를 생성할 수 있다.At this time, based on the positions of the left and right pupils of the determined user, the information generation unit 120 calculates the three-dimensional position coordinates of the left and right pupils using the disparity of the positions of the left and right pupils Three-dimensional information can be generated.

보정부(130)는 3차원 정보에 기반하여 수평 시차 유일(Horizontal Parallax Only, HPO)방식으로 생성된 컴퓨터 홀로그램(Computer-generated holography, CGH) 정보를 홀로그램 디스플레이 장치에 입력하여 홀로그램의 수직 및 수평 방향 정보 중 어느 하나를 보정할 수 있다.The correction unit 130 inputs the computer generated holography (CGH) information generated by the Horizontal Parallax Only (HPO) method on the basis of the three-dimensional information into the hologram display device, Any one of the information can be corrected.

이 때, 보정부(130)는 입력된 3차원 정보의 좌, 우 동공의 위치 좌표에 기반하여 실제 3차원 위치를 산출할 수 있다. 카메라(210)가 스테레오 구성인 경우, 두 대의 카메라(210)가 연속하는 동공의 위치의 차이(disparity)를 이용하여 동공의 거리 및 위치를 산출할 수 있다.At this time, the correcting unit 130 can calculate the actual three-dimensional position based on the coordinates of the left and right pupils of the input three-dimensional information. When the camera 210 has a stereo configuration, the distance between two cameras 210 can be calculated using the disparity of continuous pupil positions.

이 때, 보정부(130)는 동공의 3차원 위치 좌표를 관찰 시점으로 하여 홀로그램 정보를 수정할 수 있다. 이 때, 보정부(130)는 테이블탑형 홀로그램 디스플레이 장치에서 기존에 생성된 홀로그램의 위상 정보를 이용하여 홀로그램의 수직 또는 수평 방향 정보를 수정할 수 있다. 이 때, 보정부(130)는 홀로그램 정보를 생성하기 위한 3D 모델의 정보를 수정하여 홀로그램의 수직 또는 수평 방향 정보를 수정할 수도 있다.At this time, the correcting unit 130 can correct the hologram information with the three-dimensional position coordinates of the pupil as an observation time. At this time, the corrector 130 can correct the vertical or horizontal direction information of the hologram using the phase information of the hologram generated in the table top holographic display device. At this time, the correcting unit 130 may correct the vertical or horizontal direction information of the hologram by modifying the information of the 3D model for generating the hologram information.

이 때, 보정부(130)는 수학식 2를 이용하여 HPO 방식을 이용하여 홀로그램 수직 또는 수평 방향 정보를 고속으로 생성할 수 있다.At this time, the correcting unit 130 can generate hologram vertical or horizontal direction information at high speed using the HPO method using Equation (2).

이 때, 보정부(130)는 생성된 홀로그램 수직 또는 수평 방향 정보를 테이블탑형 홀로그램 디스플레이 장치의 광변조기(Spatial Light Modulator, SLM)(220)에 전달하여 홀로그램의 수직 또는 수평 방향을 보정하여 입체 시차의 홀로그램을 제공할 수 있다.At this time, the corrector 130 transmits the generated hologram vertical or horizontal direction information to a spatial light modulator (SLM) 220 of the table top type hologram display device to correct the vertical or horizontal direction of the hologram, Can be provided.

도 4는 본 발명의 일실시예에 따른 테이블탑형 홀로그램 디스플레이 장치를 나타낸 도면이다. 도 5 및 도 6은 도 4 에 도시된 카메라 어레이 배치의 일 예를 나타낸 도면이다.4 is a view illustrating a table top type hologram display apparatus according to an embodiment of the present invention. 5 and 6 are views showing an example of the camera array arrangement shown in FIG.

도 4를 참조하면, 본 발명의 일실시예에 따른 테이블탑형 홀로그램 디스플레이 장치는 홀로그램 정보 보정 장치(100), 카메라(210), 광변조기(220), 확산기(230), 회전 스크린(240) 및 축소 시역(250)으로 구성되는 것을 알 수 있다.4, the table top type holographic display apparatus according to an embodiment of the present invention includes a hologram information correction apparatus 100, a camera 210, an optical modulator 220, a spreader 230, a rotating screen 240, And a reduced viewing area 250. [

홀로그램 정보 보정 장치(100)는 카메라(210)로부터 촬영된 사용자의 영상에서 동공의 위치를 판단할 수 있다. The hologram information correcting apparatus 100 can determine the position of the pupil in the image of the user photographed from the camera 210. [

이 때, 홀로그램 정보 보정 장치(100)는 사용자의 영상에서 하르(Haar) 기반 동공 추적 접근 기법을 이용하여 사용자의 동공의 위치에 기반하여 3차원 정보를 생성할 수 있다.At this time, the hologram information correcting apparatus 100 can generate three-dimensional information based on the position of the user's pupil using a Haar-based pupil tracking approach in the user's image.

이 때, 홀로그램 정보 보정 장치(100)는 3차원 정보에 기반하여 수평 시차 유일(Horizontal Parallax Only, HPO)방식으로 생성된 컴퓨터 홀로그램(Computer-generated holography, CGH) 정보를 홀로그램 디스플레이 장치에 입력하여 홀로그램의 수직 및 수평 방향 정보 중 어느 하나를 보정할 수 있다.At this time, the hologram information correcting apparatus 100 inputs the computer-generated holography (CGH) information generated by the Horizontal Parallax Only (HPO) method based on the three-dimensional information to the hologram display device, The vertical direction information and the horizontal direction direction information of the image can be corrected.

카메라(210)는 360도 전방위 각도에 상응하는 범위에서 사용자의 영상을 촬영할 수 있다.The camera 210 can take an image of the user in a range corresponding to the 360 degree omnidirectional angle.

카메라(210)는 360도 또는 이에 상응하는 범위를 촬영할 수 있도록, 복수개의 카메라들이 어레이(Array) 방식으로 설치될 수 있다. 이 때, 카메라(210)는 광각을 지원하는 렌즈가 장착될 수도 있다. 이 때, 카메라(210)는 스테레오 카메라에 상응할 수도 있다.A plurality of cameras may be installed in an array manner so that the camera 210 can photograph 360 degrees or a corresponding range. At this time, the camera 210 may be equipped with a lens supporting a wide angle. At this time, the camera 210 may correspond to a stereo camera.

광변조기(MEMS SLM)(220)는 홀로그램 정보에 기반하여 레이저에 상응하는 빛의 회절 현상을 이용하여 회전 스크린(240)에 홀로그램을 출력할 수 있다. 홀로그램은 3차원 공간에 출력된 입체 영상에 상응할 수 있다. 이 때 홀로그램(300)은 360도 어느 각도에서나 관찰될 수 있다.The optical modulator (MEMS SLM) 220 may output a hologram to the rotating screen 240 using the diffraction phenomenon of light corresponding to the laser based on the hologram information. The hologram may correspond to a stereoscopic image output in a three-dimensional space. At this time, the hologram 300 can be observed at any angle of 360 degrees.

이 때, 광변조기(220)는 홀로그램 정보 보정 장치(100)로부터 홀로그램 수직 또는 수평 정보를 입력 받아 홀로그램 정보를 보정하여 출력할 수 있다.At this time, the optical modulator 220 receives the hologram vertical or horizontal information from the hologram information correcting apparatus 100, and can correct and output the hologram information.

확산기(Magnifying imaging system)(230)는 홀로그램의 관찰 범위를 확장할 수 있다. 이 때, 확산기(230)는 디퓨저(diffuser)에 상응할 수 있다. 이 때, 확산기(230)는 회전 스크린(240)에 설치될 수 있다.The magnifying imaging system 230 may extend the viewing range of the hologram. At this time, the diffuser 230 may correspond to a diffuser. At this time, the diffuser 230 may be installed on the rotating screen 240.

회전 스크린(240)는 확산기(230)에 의해 관찰 범위가 확장된 확장 스크린(Enlarged screen)에 상응할 수 있다.The rotating screen 240 may correspond to an extended screen with an expanded viewing range by the spreader 230.

이 때, 회전 스크린(Rotating screen)(240)은 회전 축(Rotation axis)에 기반하여 스크린을 회전(Rotation)하여 회전 스크린(240) 위에 홀로그램(300)을 360도 전방위로 출력하여 사용자가 홀로그램을 관찰할 수 있다.At this time, the rotating screen 240 rotates the screen on the basis of the rotation axis to output the hologram 300 all the way around the rotating screen 240 so that the user can see the hologram Can be observed.

도 5를 참조하면, 테이블탑형 홀로그램 디스플레이 장치는 회전 스크린(240)위에 홀로그램(300)이 출력하고, 카메라(210)는 사용자의 동공(310)을 추적하는 것을 알 수 있다.Referring to FIG. 5, the table top type hologram display device outputs holograms 300 on the rotating screen 240, and the camera 210 tracks the user's pupil 310.

이 때, 카메라(210)는 어레이 형태로 설치될 수 있고, 사용자의 홀로그램 관찰을 방해하지 않도록 회전 스크린(240)의 위 또는 아래에 설치될 수 있다.At this time, the camera 210 may be installed in an array form and may be installed above or below the rotating screen 240 so as not to interfere with the hologram observation of the user.

도 6을 참조하면, 테이블탑형 홀로그램 디스플레이 장치는 회전 스크린(240)위에 홀로그램(300)이 출력되고, 카메라(210)는 스테레오 카메라로 설치되어 1인 이상의 사용자들의 동공(310)을 추적하는 것을 알 수 있다.Referring to FIG. 6, the table top type hologram display device displays holograms 300 on a rotating screen 240, and the camera 210 is installed as a stereo camera to track pupils 310 of one or more users. .

이 때, 사용자는 축소 시역(Reduced viewing zone)(250)을 통해 테이블탑형 홀로그램 디스플레이 장치가 출력하는 홀로그램을 관찰할 수 있다.At this time, the user can observe the hologram output from the table-top holographic display device through the reduced viewing zone 250.

즉, 테이블탑형 홀로그램 디스플레이 장치는 홀로그램이 출력되는 회전 스크린(240)을 회전시켜 360도 전방위의 축소 시역(250)에 홀로그램을 제공할 수 있다.That is, the table top type hologram display device can rotate the rotating screen 240 on which the hologram is output to provide a hologram to the scaled view field 250 of 360 degrees.

이 때, 테이블탑형 홀로그램 디스플레이 장치는 확산기(230)를 이용하여 관찰 범위를 확장하는 경우, 홀로그램 정보 보정 장치(100)가 사용자의 동공을 추적하여 홀로그램 수직 또는 수평 방향 정보를 생성하고, 홀로그램 수직 또는 수평 방향 정보를 광변조기(220)에 입력하여 홀로그램(300)을 보정할 수 있다.At this time, when the table top type hologram display device expands the observation range using the diffuser 230, the hologram information correction device 100 tracks the user's pupil to generate hologram vertical or horizontal direction information, The hologram 300 can be corrected by inputting the horizontal direction information to the optical modulator 220. [

도 7은 본 발명의 일실시예에 따른 홀로그램 정보 보정 방법을 나타낸 동작흐름도이다.7 is a flowchart illustrating a method of correcting hologram information according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일실시예에 따른 홀로그램 정보 보정 방법은 먼저 360도 전방위 각도에 상응하는 범위에서 사용자의 영상을 촬영할 수 있다(S410).Referring to FIG. 7, a hologram information correction method according to an embodiment of the present invention may first capture an image of a user in a range corresponding to 360 degrees omnidirectional angle (S410).

즉, 단계(S410)는 카메라(210)를 이용하여 360도 또는 이에 상응하는 범위를 촬영할 수 있다. 이 때, 카메라(210)는 복수개의 카메라들이 어레이(Array) 방식으로 설치될 수 있다. 이 때, 카메라(210)는 광각을 지원하는 렌즈가 장착될 수도 있다. 이 때, 카메라(210)는 스테레오 카메라에 상응할 수도 있다.That is, step S410 may take 360 degrees or a corresponding range using the camera 210. [ In this case, a plurality of cameras may be installed in the camera 210 in an array manner. At this time, the camera 210 may be equipped with a lens supporting a wide angle. At this time, the camera 210 may correspond to a stereo camera.

또한, 본 발명의 일실시예에 따른 홀로그램 정보 보정 방법은 사용자의 영상에서 하르(Haar) 기반 동공 추적 접근 기법을 이용하여 사용자의 동공의 위치에 기반하여 3차원 정보를 생성할 수 있다(S420).In addition, the hologram information correction method according to an embodiment of the present invention may generate three-dimensional information based on the position of the user's pupil using a Haar-based pupil tracking approach in the user's image (S420) .

이 때, 단계(S420)는 먼저 사용자의 영상에서 사용자의 얼굴을 탐색할 수 있다(S421).In this case, in operation S420, the user's face may be searched for in the user's image (S421).

즉, 단계(S421)는 사용자의 영상에서 하르(Haar) 기반 동공 추적 접근 기법을 이용하여 사용자의 영상에서 얼굴을 먼저 탐색할 수 있다.That is, the step S421 may search the face of the user's image first using Haar-based pupil tracking approach in the user's image.

또한, 단계(S420)는 탐색된 사용자의 얼굴 및 눈의 영역에서 사용자의 동공의 위치를 판단할 수 있다(S422).In addition, step S420 may determine the position of the user's pupil in the area of the face and eyes of the searched user (S422).

즉, 단계(S422)는 하르(Haar) 동공 추적 접근 기법을 이용하여 사용자의 영상에서 눈의 위치의 화소 값, 상기 눈의 중심 좌표 및 상기 눈의 반지름 중 어느 하나 이상을 이용하여, 상기 눈의 중심 좌표와 상기 눈의 반지름에 기반하여 눈의 둘레를 산출할 수 있다.That is, in step S422, a Haar pupil tracking approach technique is used to calculate the eye position of the eye using the pixel value of the eye position, the center coordinates of the eye, and the radius of the eye in the user's image. The perimeter of the eye can be calculated based on the center coordinates and the radius of the eye.

이 때, 단계(S422)는 눈의 둘레에 상응하는 화소 값들을 합산하고, 상기 눈의 중심 좌표 방향에 상응하는 눈의 안쪽 영역과, 상기 눈의 중심 좌표 반대 방향에 상응하는 눈의 바깥쪽 영역과의 화소 값의 차이에 기반하여 동공의 위치를 판단할 수 있다.At this time, the step S422 sums the pixel values corresponding to the perimeter of the eye, and adds the pixel values corresponding to the inner area of the eye corresponding to the central coordinate direction of the eye and the outer area of the eye corresponding to the direction opposite to the center coordinate of the eye The position of the pupil can be determined based on the difference of the pixel values of the pupil.

이 때, 단계(S422)는 눈의 안쪽 영역과 눈의 바깥쪽 영역의 화소 값의 차이가 최대가 되는 영역에 기반하여 동공의 위치를 판단할 수 있다.At this time, the position of the pupil can be determined based on the region where the difference between the pixel values of the inner area of the eye and the pixel value of the outer area of the eye becomes the maximum in step S422.

이 때, 단계(S422)는 동공의 위치를 판단하기 위하여, 반지름의 방향으로 가우시안 함수를 이용하여 동공의 영역의 노이즈를 제거할 수 있다.In this case, in order to determine the position of the pupil, step S422 may remove noise in the pupil region using a Gaussian function in the direction of the radius.

즉, 단계(S422)는 상기 수학식 1을 이용하여 사용자의 동공의 영역을 판단할 수 있다.That is, in step S422, the pupil area of the user can be determined using Equation (1).

수학식 1에서, I(x, y)는 (x, y)위치에서의 화소 값, (x₀, y₀)은 상기 눈의 중심 좌표, r은 눈의 반지름에 상응할 수 있다. 수학식 1은 상기 눈의 중심 좌표인(x₀, y₀) 로부터 반지름 r에 의해 2πr로 정규화 된 눈의 둘레에 존재하는 모든 화소 값을 합산할 수 있다. 눈의 안쪽 영역과 눈의 바깥쪽 영역 각각의 화소 값의 차이가 최대가 되는 영역에 기반하여 동공의 위치를 판단할 수 있다. 이 때, 수학식 1은 동공의 위치를 판단하기 위하여, 반지름 r의 방향으로 가우시안 함수 G(r)를 수행하여 동공의 영역의 노이즈를 제거할 수 있다.In Equation 1, I (x, y) is the pixel value at the (x, y) position, (x ₀ , y ₀ ) is the center coordinate of the eye, and r is the radius of the eye. Equation (1) can sum up all the pixel values existing around the eye normalized by 2 r by radius r from (x ₀ , y ₀ ), which is the center coordinate of the eye. It is possible to determine the position of the pupil based on the region where the difference between the pixel values of the inner region of the eye and the outer region of the eye is the maximum. In this case, Equation (1) can remove the noise in the pupil region by performing the Gaussian function G (r) in the direction of the radius r to determine the position of the pupil.

또한, 단계(S420)는 사용자의 동공의 위치에 기반하여 3차원 정보를 생성할 수 있다(S423).In addition, the step S420 may generate three-dimensional information based on the position of the user's pupil (S423).

즉, 단계(S423)는 판단된 사용자의 좌, 우 동공의 위치에 기반하여, 좌, 우 동공의 위치의 차이(disparity)를 이용하여 좌, 우 동공의 3차원 위치 좌표를 산출하여 3차원 정보를 생성할 수 있다.That is, in step S423, based on the positions of the left and right pupils of the determined user, the three-dimensional position coordinates of the left and right pupils are calculated using the disparity of the positions of the left and right pupils, Lt; / RTI >

또한, 또한, 본 발명의 일실시예에 따른 홀로그램 정보 보정 방법은 홀로그램 정보를 보정할 수 있다(S430).In addition, the hologram information correcting method according to an embodiment of the present invention may correct the hologram information (S430).

즉, 단계(S430)는 3차원 정보에 기반하여 수평 시차 유일(Horizontal Parallax Only, HPO)방식으로 생성된 컴퓨터 홀로그램(Computer-generated holography, CGH) 정보를 홀로그램 디스플레이 장치에 입력하여 홀로그램의 수직 및 수평 방향 정보 중 어느 하나를 보정할 수 있다.That is, in step S430, computer-generated holography (CGH) information generated by the Horizontal Parallax Only (HPO) method is input to the hologram display device based on the three-dimensional information, Direction information can be corrected.

이 때, 단계(S430)는 입력된 3차원 정보의 좌, 우 동공의 위치 좌표에 기반하여 실제 3차원 위치를 산출할 수 있다. 카메라(210)가 스테레오 구성인 경우, 두 대의 카메라(210)가 연속하는 동공의 위치의 차이(disparity)를 이용하여 동공의 거리 및 위치를 산출할 수 있다.At this time, the step (S430) may calculate the actual three-dimensional position based on the coordinates of the left and right pupils of the input three-dimensional information. When the camera 210 has a stereo configuration, the distance between two cameras 210 can be calculated using the disparity of continuous pupil positions.

이 때, 단계(S430)는 동공의 3차원 위치 좌표를 관찰 시점으로 하여 홀로그램 정보를 수정할 수 있다. 이 때, 단계(S430)는 테이블탑형 홀로그램 디스플레이 장치에서 기존에 생성된 홀로그램의 위상 정보를 이용하여 홀로그램의 수직 또는 수평 방향 정보를 수정할 수 있다. 이 때, 단계(S430)는 홀로그램 정보를 생성하기 위한 3D 모델의 정보를 수정하여 홀로그램의 수직 또는 수평 방향 정보를 수정할 수도 있다.At this time, the step (S430) can modify the hologram information by using the three-dimensional position coordinates of the pupil as an observation time. In this case, in step S430, the vertical or horizontal direction information of the hologram can be corrected using the phase information of the hologram that has been generated in the table top type hologram display device. At this time, the step S430 may modify the information of the 3D model for generating the hologram information to modify the vertical or horizontal direction information of the hologram.

이 때, 단계(S430)는 상기 수학식 2를 이용하여 HPO 방식을 이용하여 홀로그램 수직 또는 수평 방향 정보를 고속으로 생성할 수 있다.In this case, in step S430, the hologram vertical or horizontal direction information can be generated at high speed using the HPO method using Equation (2).

이 때, 단계(S430)는 생성된 홀로그램 수직 또는 수평 방향 정보를 테이블탑형 홀로그램 디스플레이 장치의 광변조기(Spatial Light Modulator, SLM)(220)에 전달하여 홀로그램의 수직 또는 수평 방향을 보정하여 입체 시차의 홀로그램을 제공할 수 있다.At this time, the step S430 transmits the generated hologram vertical or horizontal direction information to the spatial light modulator (SLM) 220 of the table top type hologram display device to correct the vertical or horizontal direction of the hologram, A hologram can be provided.

도 8은 도 7에 도시된 사용자 동공 위치 기반 3차원 정보 생성 단계의 일 예를 세부적으로 나타낸 동작흐름도이다.FIG. 8 is an operation flowchart illustrating an example of the user pupil location-based three-dimensional information generation step shown in FIG. 7 in detail.

도 8을 참조하면, 단계(S420)는 먼저 사용자의 영상에서 사용자의 얼굴을 탐색할 수 있다(S421).Referring to FIG. 8, in operation S420, the user's face may be searched for in the user's image (S421).

도 9는 본 발명의 일실시예에 따른 컴퓨터 시스템을 나타낸 블록도이다.9 is a block diagram illustrating a computer system in accordance with an embodiment of the present invention.

도 9를 참조하면, 본 발명의 실시예는 컴퓨터로 읽을 수 있는 기록매체와 같은 컴퓨터 시스템(1100)에서 구현될 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 시스템(1100)은 버스(1120)를 통하여 서로 통신하는 하나 이상의 프로세서(1110), 메모리(1130), 사용자 입력 장치(1140), 사용자 출력 장치(1150) 및 스토리지(1160)를 포함할 수 있다. 또한, 컴퓨터 시스템(1100)은 네트워크(1180)에 연결되는 네트워크 인터페이스(1170)를 더 포함할 수 있다. 프로세서(1110)는 중앙 처리 장치 또는 메모리(1130)나 스토리지(1160)에 저장된 프로세싱 인스트럭션들을 실행하는 반도체 장치일 수 있다. 메모리(1130) 및 스토리지(1160)는 다양한 형태의 휘발성 또는 비휘발성 저장 매체일 수 있다. 예를 들어, 메모리는 ROM(1131)이나 RAM(1132)을 포함할 수 있다.Referring to FIG. 9, embodiments of the present invention may be implemented in a computer system 1100, such as a computer readable recording medium. 9, the computer system 1100 includes one or more processors 1110, a memory 1130, a user input device 1140, a user output device 1150, and a storage 1150 that communicate with one another via a bus 1120. [ (1160). In addition, the computer system 1100 may further include a network interface 1170 connected to the network 1180. The processor 1110 may be a central processing unit or a semiconductor device that executes the processing instructions stored in the memory 1130 or the storage 1160. Memory 1130 and storage 1160 can be various types of volatile or non-volatile storage media. For example, the memory may include ROM 1131 or RAM 1132.

이상에서와 같이 본 발명에 따른 홀로그램 정보 보정 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.As described above, the apparatus and method of hologram information correction according to the present invention are not limited to the configuration and method of the embodiments described above, but the embodiments may be modified in various ways, All or some of them may be selectively combined.

100: 홀로그램 정보 보정 장치
110: 촬영부
120: 정보 생성부
130: 보정부
210: 카메라
220: 광변조기(MEMS SLM)
230: 확산기(Magnifying imaging system)
240: 회전 스크린(Rotating screen)
250: 축소 시역(Reduced viewing zone)
300: 홀로그램
310: 사용자의 동공
1100: 컴퓨터 시스템 1110: 프로세서
1120: 버스 1130: 메모리
1131: 롬 1132: 램
1140: 사용자 입력 장치 1150: 사용자 출력 장치
1160: 스토리지 1170: 네트워크 인터페이스
1180: 네트워크100: holographic information correction device
110:
120: Information generating unit
130:
210: camera
220: optical modulator (MEMS SLM)
230: Magnifying imaging system
240: Rotating screen
250: Reduced viewing zone
300: Hologram
310: pupil of the user
1100: Computer system 1110: Processor
1120: bus 1130: memory
1131: ROM 1132: RAM
1140: User input device 1150: User output device
1160: Storage 1170: Network Interface
1180: Network

Claims

A photographing unit for photographing a user's image in a range corresponding to 360 degrees omni-directional angle;
An information generating unit for generating three-dimensional information based on the pupil position of the user using a Haar-based pupil tracking approach in the user's image; And
Based on the 3D information, computer generated holography (CGH) information generated by the Horizontal Parallax Only (HPO) method is input to the hologram display device, and one of the vertical and horizontal direction information of the hologram A correcting unit for correcting;
Lt; / RTI >
The correction unit
Generating the CGH information in the HPO scheme using the three-dimensional coordinates corresponding to the position of the user's pupil in the three-dimensional information, and transmitting the CGH information to a spatial light modulator (SLM) of the hologram display device Corrects either the vertical or horizontal direction information of the hologram phase information for generating a hologram,
The hologram display device
And outputs the hologram to a rotating screen,
Wherein the diffuser of the hologram display device expands the output range of the hologram output to the rotating screen by using any one of vertical and horizontal direction information of hologram phase information corrected using the CGH information. Correction device.

The method according to claim 1,
The information generating unit
Wherein the position of the pupil of the user is determined by first searching for a face in the image of the user and tracking the pupil of the user around the position of the eye detected in the face.

The method of claim 2,
The information generating unit
A pixel value corresponding to the periphery of the eye calculated based on the center coordinates of the eye and the radius of the eye using at least one of a pixel value of the eye position, a center coordinate of the eye, And determines the position of the pupil based on the difference between the inner area of the eye corresponding to the center coordinate direction of the eye and the outer area of the eye corresponding to the direction opposite to the center coordinate of the eye Wherein the hologram information correcting unit corrects the hologram information.

The method of claim 3,
The information generating unit
Wherein the position of the pupil is determined based on an area where the difference between the inner area of the eye and the pixel value of the outer area of the eye becomes maximum.

The method of claim 4,
The information generating unit
Wherein a noise of the pupil region is removed using a Gaussian function in the direction of the radius to determine the position of the pupil.

The method of claim 5,
The information generating unit
Dimensional position coordinates of the left and right pupils using the disparity of the positions of the left and right pupils based on the determined positions of the left and right pupils of the user to generate the three- And the hologram information is corrected.

In the method using the hologram information correction apparatus,
Capturing an image of a user in a range corresponding to 360 degrees omni-directional angle;
Generating three-dimensional information based on a pupil position of the user using a Haar-based pupil tracking approach in the user's image; And
Based on the 3D information, computer generated holography (CGH) information generated by the Horizontal Parallax Only (HPO) method is input to the hologram display device, and one of the vertical and horizontal direction information of the hologram Correcting;
Lt; / RTI >
The step of correcting
Generating the CGH information in the HPO scheme using the three-dimensional coordinates corresponding to the position of the user's pupil in the three-dimensional information, and transmitting the CGH information to a spatial light modulator (SLM) of the hologram display device Corrects either the vertical or horizontal direction information of the hologram phase information for generating a hologram,
The hologram display device
And outputs the hologram to a rotating screen,
Wherein the diffuser of the hologram display device expands the output range of the hologram output to the rotating screen by using any one of vertical and horizontal direction information of hologram phase information corrected using the CGH information. Correction method.

The method of claim 7,
The step of generating the three-dimensional information
Wherein the position of the pupil is determined by first searching for a face in the user's image and tracking the pupil centering on the position of the eye detected in the face.

The method of claim 8,
The step of generating the three-dimensional information
A pixel value corresponding to the periphery of the eye calculated based on the center coordinates of the eye and the radius of the eye using at least one of a pixel value of the eye position, a center coordinate of the eye, And determines the position of the pupil based on the difference between the inner area of the eye corresponding to the center coordinate direction of the eye and the outer area of the eye corresponding to the direction opposite to the center coordinate of the eye And the hologram information is corrected.

The method of claim 9,
The step of generating the three-dimensional information
Dimensional position coordinates of the left and right pupils using the disparity of the positions of the left and right pupils based on the determined positions of the left and right pupils of the user to generate the three- And the hologram information is corrected.