KR102147133B1

KR102147133B1 - Stereo Camera

Info

Publication number: KR102147133B1
Application number: KR1020130055620A
Authority: KR
Inventors: 이세규
Original assignee: 엘지이노텍 주식회사
Priority date: 2013-05-16
Filing date: 2013-05-16
Publication date: 2020-08-24
Anticipated expiration: 2033-05-16
Also published as: KR20140135416A

Abstract

본 실시예에 의한 카메라 모듈은 좌안 및 우안 카메라; 상기 좌안 및 우안 카메라 각각의 이미지 센서에 분할 형성되는 광각 영역과 협각 영역; 상기 이미지 센서의 광각 및 협각 영역과 대응되는 위치에 배치되는 광각 및 협각 렌즈모듈; 및 상기 이미지 센서의 광각 및 협각 이미지 정보를 처리하는 이미지 시그널 프로세서(ISP, Image Signal Processor)를 포함하는 제어모듈;을 포함하는 것을 특징으로 한다.The camera module according to this embodiment includes left and right eye cameras; A wide-angle area and a narrow-angle area divided into image sensors of each of the left-eye and right-eye cameras; Wide-angle and narrow-angle lens modules disposed at positions corresponding to the wide-angle and narrow-angle regions of the image sensor; And a control module including an image signal processor (ISP) for processing wide-angle and narrow-angle image information of the image sensor.

Description

Stereo Camera

본 실시예는 스테레오 카메라에 관한 것이다.
This embodiment relates to a stereo camera.

최근, 입체영상 시스템에 대한 관심이 증대되고 있으며, 입체 영상의 획득 장치인 입체 영상을 획득하는 스테레오 카메라(Stereo camera)의 중요성이 부각되고 있다.Recently, interest in a stereoscopic image system is increasing, and the importance of a stereo camera that acquires a stereoscopic image, which is a device for obtaining a stereoscopic image, has been highlighted.

스테레오 카메라는 좌, 우 두 대의 카메라로 좌안용 영상과 우안용 영상을 획득하기 때문에, 좌안 카메라(110)와 우안 카메라(120)의 위치 차이에 따른 양안 시차가 발생하게 되며, 이러한 양안 시차가 커질수록 입체 영상을 시청하는 사람이 쉽게 피로를 느낀다. 따라서 이러한 양안 시차는 각각의 카메라의 주시각을 조절하여 최소화할 수 있다.Since the stereo camera acquires a left-eye image and a right-eye image with two cameras, the binocular parallax occurs according to the position difference between the left-eye camera 110 and the right-eye camera 120, and this binocular parallax increases. People who watch 3D images easily feel tired. Therefore, this binocular parallax can be minimized by adjusting the angle of view of each camera.

그런데, 이와 같은 스테레오 카메라는 물론 일반 카메라에서는 측정 거리가 멀어질수록 측정 정밀도가 떨어지는 문제가 있다. 즉, 측정거리가 멀어지면 해상도는 높아지지만, 단위 픽셀당의 정밀도는 낮아지기 때문이다. However, in such a stereo camera as well as a general camera, as the measurement distance increases, the measurement accuracy decreases. That is, as the measurement distance increases, the resolution increases, but the precision per unit pixel decreases.

이와 같이 측정거리에 따른 원거리 정밀도를 확보하는 대표적인 방법은 광학줌을 적용하거나 4개 이상의 카메라 모듈을 이용하는 것이지만, 이와 같은 구성은 카메라 모듈의 크기와 재료비 증가는 물론 시스템 복잡도가 증가한다는 문제점이 있다.
As such, a typical method of securing long-distance precision according to the measurement distance is to apply an optical zoom or use four or more camera modules, but such a configuration has a problem in that the size and material cost of the camera module increases as well as the system complexity.

본 실시예는 스테레오 카메라의 원거리 측정 정밀도를 향상시키는데 그 목적이 있다.
An object of the present embodiment is to improve the precision of distance measurement of a stereo camera.

상기 제어모듈은 광각용과 협각용 이미지 시그널 프로세서를 개별적으로 포함할 수 있다.The control module may individually include an image signal processor for a wide angle and a narrow angle.

상기 제어모듈은 하나의 이미지 시그널 프로세서를 이용하여 광각용 이미지 프로세싱 작업과 협각용 이미지 프로세싱 작업을 수행할 수 있다.The control module may perform wide-angle image processing and narrow-angle image processing using one image signal processor.

상기 제어모듈은 상기 이미지 센서에서 획득된 영상을 이용하여 광각용 뎁스 매칭과 협각용 뎁스 매칭을 수행할 수 있다.The control module may perform depth matching for a wide angle and a depth matching for a narrow angle by using the image acquired from the image sensor.

상기 광각 영역은 좌안 카메라에 설치된 이미지 센서의 우측(R) 영역과 우안 카메라에 설치된 이미지 센서의 좌측(L)영역이고, 상기 협각 영역은 좌안 카메라에 설치된 이미지 센서의 좌측(L) 영역과 우안 카메라에 설치된 이미지 센서의 우측(R)영역일 수도 있고, 그 반대로, 상기 협각 영역은 좌안 카메라에 설치된 이미지 센서의 우측(R) 영역과 우안 카메라에 설치된 이미지 센서의 좌측(L)영역이고, 상기 광각 영역은 좌안 카메라에 설치된 이미지 센서의 좌측(L) 영역과 우안 카메라에 설치된 이미지 센서의 우측(R)영역일 수도 있다.The wide-angle area is the right (R) area of the image sensor installed on the left-eye camera and the left (L) area of the image sensor installed on the right-eye camera, and the narrow-angle area is the left (L) area and the right-eye camera of the image sensor installed on the left-eye camera. The narrow-angle area may be the right (R) area of the image sensor installed in, and vice versa, the narrow-angle area is the right (R) area of the image sensor installed in the left-eye camera and the left (L) area of the image sensor installed in the right-eye camera. The area may be a left (L) area of an image sensor installed on the left-eye camera and a right (R) area of an image sensor installed on the right-eye camera.

또는, 상기 광각 영역은 좌안 카메라에 설치된 이미지 센서의 상측 영역과 우안 카메라에 설치된 이미지 센서의 하측 영역이고, 상기 협각 영역은 좌안 카메라에 설치된 이미지 센서의 하측 영역과 우안 카메라에 설치된 이미지 센서의 상측 영역이거나, 그 반대로, 상기 협각 영역은 좌안 카메라에 설치된 이미지 센서의 상측 영역과 우안 카메라에 설치된 이미지 센서의 하측 영역이고, 상기 광각 영역은 좌안 카메라에 설치된 이미지 센서의 하측 영역과 우안 카메라에 설치된 이미지 센서의 상측 영역일 수도 있다.Alternatively, the wide-angle area is an upper area of the image sensor installed in the left-eye camera and a lower area of the image sensor installed in the right-eye camera, and the narrow-angle area is a lower area of the image sensor installed in the left-eye camera and an upper area of the image sensor installed in the right-eye camera. Or, vice versa, the narrow-angle area is an upper area of the image sensor installed in the left-eye camera and a lower area of the image sensor installed in the right-eye camera, and the wide-angle area is the lower area of the image sensor installed in the left-eye camera and the image sensor installed in the right-eye camera. It may also be the upper region of.

상기 좌안 및 우안 카메라의 광각 영역은 근거리 이미지를 촬영하고, 협각 영역은 원거리 이미지를 촬영할 수 있다. 이때, 상기 좌안 및 우안 카메라의 협각 영역의 시야각은 촬영 거리가 멀어질수록 좁아질 수 있다.
The wide-angle area of the left-eye and right-eye cameras may take a short-range image, and the narrow-angle area may take a long-range image. In this case, the viewing angle of the narrow-angle region of the left-eye and right-eye cameras may decrease as the photographing distance increases.

본 실시예는 스테레오 카메라를 구성하는 우안 및 좌안 카메라의 시야각(FOV, Field of View)을 가변 하여 원거리 측정 정밀도를 일정하게 유지하는 것이 가능하다. In this embodiment, it is possible to maintain a constant distance measurement accuracy by varying the field of view (FOV) of the right-eye and left-eye cameras constituting the stereo camera.

또한 별도의 광학 줌 모듈을 필요로 하지 않기 때문에 카메라 소형화에 유리하다.In addition, since it does not require a separate optical zoom module, it is advantageous for miniaturization of the camera.

또한 측정 이미지의 종횡비 조절이 용이하다.Also, it is easy to adjust the aspect ratio of the measured image.

또한 측정 이미지의 초점을 자유롭게 조절하는 리-포커스(Re-Focus) 기능을 구현할 수 있다.
In addition, it is possible to implement a re-focus function that freely adjusts the focus of the measured image.

도 1은 본 실시예에 따른 가변 시야각을 가지는 스테레오 카메라의 원리를 개략적으로 도시한 도면,
도 2는 도 1의 스테레오 카메라의 이미지 센서를 광각 구역과 협각 구역으로 구분한 상태를 개략적으로 도시한 도면,
도 3 및 도 4는 본 실시예에 따른 스테레오 카메라의 제어 블록도, 그리고,
도 5는 본 실시예에 따른 스테레오 카메라로 획득한 이미지를 이용하여 리-포커스(Re-Focus) 기능을 수행한 예시를 도시한 이미지 이다.1 is a diagram schematically showing the principle of a stereo camera having a variable viewing angle according to the present embodiment;
FIG. 2 is a diagram schematically illustrating a state in which the image sensor of the stereo camera of FIG. 1 is divided into a wide-angle area and a narrow-angle area;
3 and 4 are a control block diagram of a stereo camera according to the present embodiment, and,
5 is an image showing an example of performing a re-focus function using an image acquired by a stereo camera according to the present embodiment.

이하, 본 실시예를 도면을 참고하여 설명한다.Hereinafter, this embodiment will be described with reference to the drawings.

도 1은 본 실시예에 따른 가변 시야각을 가지는 스테레오 카메라의 원리를 개략적으로 도시한 도면, 도 2는 도 1의 스테레오 카메라의 이미지 센서를 광각 구역과 협각 구역으로 구분한 상태를 개략적으로 도시한 도면, 도 3 및 도 4는 본 실시예에 따른 스테레오 카메라의 제어 블록도, 그리고, 도 5는 본 실시예에 따른 스테레오 카메라로 획득한 이미지를 이용하여 리-포커스(Re-Focus) 기능을 수행한 예시를 도시한 이미지 이다.1 is a diagram schematically showing the principle of a stereo camera having a variable viewing angle according to the present embodiment, and FIG. 2 is a diagram schematically showing a state in which the image sensor of the stereo camera of FIG. 1 is divided into a wide-angle zone and a narrow-angle zone. 3 and 4 are a control block diagram of a stereo camera according to the present embodiment, and FIG. 5 is a re-focus function performed by using an image acquired by the stereo camera according to the present embodiment. This is an image showing an example.

3차원 영상 처리 시스템은 좌안 카메라와 우안 카메라를 포함하는 스테레오 카메라를 이용하여, 상기 좌안 및 우안 카메라가 촬영한 영상을 주시하는 각도인 주시각(Convergence angle)을 이미지 센서의 액티브 픽셀 영역(Active Pixel Area)내에서 이동시켜 시야각(field of view, FOV) 및 영상 크기 손실을 방지할 수 있다.The 3D image processing system uses a stereo camera including a left-eye camera and a right-eye camera to determine the convergence angle, which is the angle at which the image captured by the left and right-eye cameras, is determined by the active pixel area of the image sensor. Area) to prevent loss of field of view (FOV) and image size.

도 1에 도시된 바와 같이, 본 실시예는 스테레오 카메라(100)의 이미지 촬영 거리 변화에 대응하여, 좌안 및 우안 카메라(110)(120)의 시야각을 거리에 대응하여 가변적으로 형성할 경우를 도시한 도면이다.As shown in FIG. 1, the present embodiment shows a case in which the viewing angles of the left and right cameras 110 and 120 are variably formed according to the distance in response to a change in the image capturing distance of the stereo camera 100. It is a drawing.

스테레오 카메라(100)는 사람은 양안으로 물체의 입체감 및 원근감을 판단할 수 있는 원리로 만들어진 것으로, 양안의 간격은 대략 6∼7cm 정도이며, 스테레오 카메라의 좌안 카메라(110)와 우안 카메라(120)의 간격도 6∼7cm 정도로 설계된다.The stereo camera 100 is made on the principle that a person can determine the three-dimensional effect and perspective of an object with both eyes, and the distance between both eyes is approximately 6 to 7 cm, and the left-eye camera 110 and the right-eye camera 120 of the stereo camera The spacing is also designed to be about 6-7cm.

도시된 바와 같이 제 1 거리(d1)에서의 시야각을 α, 제 2 거리(d2)에서의 시야각을 β라고 할 때, 제 2 거리(d2)에서의 시야각 β는 제 1 거리(d1)에서의 시야각 α 보다 작게 형성될 수 있다. 이때, 제 2 거리(d2)의 거리가 증가할수록 상기 제 2 거리(d2)에서의 시야각 β의 값은 점점 작아질 수 있다.As shown, when α is the viewing angle at the first distance d1 and β is the viewing angle at the second distance d2, the viewing angle β at the second distance d2 is at the first distance d1. It can be formed smaller than the viewing angle α. In this case, as the distance of the second distance d2 increases, the value of the viewing angle β at the second distance d2 may gradually decrease.

이때, 상기 제 1 거리(d1)에서의 좌안 카메라(110)의 이미지 촬영면을 S1, 제 2 거리(d2)에서의 좌안 카메라(110)의 이미지 촬영면을 S2라고 한다면, 상기 S1과 S2의 면적은 동일하게 형성되어 이미지 센서에서의 단위 픽셀당 해상도는 동일하게 유지될 수 있다. At this time, if the image photographing surface of the left-eye camera 110 at the first distance d1 is S1, and the image photographing surface of the left-eye camera 110 at the second distance d2 is S2, S1 and S2 are Since the area is formed the same, the resolution per unit pixel in the image sensor can be kept the same.

이와 같이 좌안 카메라(110) 에서의 시야각을 광각과 협각으로 형성하기 위해, 본 실시예에 따르면 상기 좌안 카메라(110)에 마련되는 이미지 센서를 도 2에 도시된 바와 같이 좌우로 분할 제어하여, 도 2의 우측인 R 영역은 광각 이미지를 L 영역은 협각 이미지를 획득할 수 있도록 렌즈 유닛을 형성할 수 있다. 이에 따르면 상기 렌즈 유닛을 도 1의 A 지점과 B 지점에서 포커싱 가능하도록 기본 설정하여 필요에 따라 촬영된 이미지에서 최적의 해상도 및 정밀도를 가지는 이미지를 획득하는 것이 가능하다. 이러한 이미지 획득 방법에 대해서는 뒤에 다시 설명한다.In this way, in order to form the viewing angle of the left-eye camera 110 into a wide angle and a narrow angle, according to the present embodiment, the image sensor provided in the left-eye camera 110 is divided and controlled to the left and right as shown in FIG. A lens unit may be formed to obtain a wide-angle image in the R area to the right of 2 and a narrow-angle image in the L area. According to this, it is possible to obtain an image having an optimum resolution and precision from a photographed image as necessary by setting the lens unit to be able to focus at points A and B of FIG. 1. This image acquisition method will be described later.

한편, 우안 카메라(120) 역시 좌안 카메라(110)와 동일하게 시야각을 거리 증가에 대응하여 점차 줄어들도록 가변 제어하여, 촬영 위치에서의 이미지 촬영면의 면적이 일정하게 유지되도록 한다.On the other hand, the right-eye camera 120 also variably controls the viewing angle to gradually decrease in response to an increase in distance, similar to the left-eye camera 110, so that the area of the image photographing surface at the photographing position is kept constant.

도 2는 본 실시예에 따른 스테레오 카메라(100)를 구성하는 좌안 카메라(110) 및 우안 카메라(120)의 이미지 센서에 결상 된 이미지를 광각 이미지 영역과 협각 이미지 영역으로 구분한 상태를 개략적으로 도시한 도면이다.FIG. 2 schematically shows a state in which images formed by the image sensors of the left-eye camera 110 and the right-eye camera 120 constituting the stereo camera 100 according to the present embodiment are divided into a wide-angle image area and a narrow-angle image area. It is a drawing.

도시된 바와 같이, 좌안 및 우안 카메라(110)(120) 각각에 마련된 이미지 센서를 각각 절반씩 분할하여, 음영으로 처리한 좌안 카메라(110)의 L 영역과, 우안 카메라(120)의 R 영역은 협각 영역(N)으로 이미지 처리하고 좌안 카메라(110)의 R 영역과, 우안 카메라(120)의 L 영역은 광각 영역(W)으로 이미지 처리할 수 있다. 이와 같이 각각의 이미지 센서의 협각 및 광각 이미지 획득을 위해, 상기 이미지 센서의 설정 영역과 대응되는 위치의 렌즈 모듈은 협각 및 광각이 되도록 설정될 수 있다. 한편, 도시하지는 않았으나, 광각 영역(W)과 협각 영역(N)은 반대로 형성되는 것도 가능하며, 도 4에 도시된 바와 같이, 이미지 센서의 좌우 대신 상하로 분할 형성하여 이들 각각을 광각 영역(W)과 협각 영역(N)으로 형성하는 것도 가능하다. As shown, the L area of the left-eye camera 110 and the R area of the right-eye camera 120 by dividing the image sensor provided in each of the left-eye and right-eye cameras 110 and 120 by half, respectively, and shaded The image may be processed as the narrow-angle area N, and the R area of the left-eye camera 110 and the L area of the right-eye camera 120 may be image-processed as a wide-angle area W. In order to obtain narrow-angle and wide-angle images of each image sensor as described above, the lens module at a position corresponding to the setting area of the image sensor may be set to have a narrow angle and a wide angle. On the other hand, although not shown, the wide-angle area W and the narrow-angle area N may be formed in the opposite direction, and as shown in FIG. 4, the image sensor is divided up and down instead of left and right to separate each of them into a wide-angle area (W). ) And the narrow angle region (N).

상기 렌즈 모듈은 상기 L 및 R 영역의 센터와 대응되는 지점에 광 초점이 형성될 수 있도록 마련되는 것이 좋은데, 이는 이미지 센서 하나를 광각 영역과 협각 영역으로 분할하여 사용하기 때문에, 각각의 영역에서 광각 및 협각 이미지를 광각용 ISP(210)와 협각용 ISP(310)로 출력할 수 있도록 하기 위함이다. 상기 렌즈 모듈의 형상은 원통형상으로 마련될 수 있으나, 이를 한정하는 것은 아니며 사각형, 다각형 등 이미지 센서의 유효 화상영역을 최대한 사용할 수 있는 설계상 필요한 형상은 어떠한 것이든 사용 가능하다. 협각 및 광각 렌즈모듈을 통해 획득된 이미지는 이미지 시그널 프로세서(ISP)에 의해 협각 이미지와 광각 이미지로 처리될 수 있다.The lens module is preferably provided so that an optical focus can be formed at a point corresponding to the center of the L and R areas. This is because one image sensor is divided into a wide-angle area and a narrow-angle area. And the narrow-angle image to be output to the wide-angle ISP 210 and the narrow-angle ISP 310. The shape of the lens module may be provided in a cylindrical shape, but is not limited thereto, and any shape necessary for design that can maximize the effective image area of the image sensor, such as a square or polygon, may be used. Images acquired through the narrow-angle and wide-angle lens modules may be processed into narrow-angle and wide-angle images by an image signal processor (ISP).

도 3은 본 실시예에 따른 스테레오 카메라의 개략적인 제어 블록도 이다.3 is a schematic control block diagram of a stereo camera according to the present embodiment.

도시된 바와 같이, 제어모듈(C)은 내부에 광각용 ISP(210)와 협각용 ISP(310)를 구비하여, 이들에서 상기 좌안 및 우안 카메라(110)(120)의 이미지 센서에서 획득된 광각 및 협각 이미지를 처리하여 광각용 뎁스 매칭(220)과 협각용 뎁스 매칭(320)을 수행한다. As shown, the control module C has a wide-angle ISP 210 and a narrow-angle ISP 310 therein, and the wide-angle obtained from the image sensors of the left-eye and right-eye cameras 110 and 120 And processing the narrow-angle image to perform a wide-angle depth matching 220 and a narrow-angle depth matching 320.

이때, 상기 제어모듈(C)은 스테레오 카메라(100)의 후단에 결합되는 제어기판에 마련될 수 있으며, 상기 광각용 ISP(210) 및 협각용 ISP(310)는 서로 다른 칩셋으로 마련될 수도 있고, 하나의 칩셋을 이용하여 광각 및 협각 이미지를 번갈아 가면서 이미지 처리하는 것도 가능하다. 본 실시예에 따르면, 상기 광각용 ISP(210)와 협각용 ISP(310)는 하나의 칩셋 내부에 별도의 제어 모듈로 마련될 수 있다.At this time, the control module (C) may be provided on the control board coupled to the rear end of the stereo camera 100, the wide-angle ISP 210 and narrow-angle ISP 310 may be provided with different chipsets. In addition, it is possible to process images alternately between wide-angle and narrow-angle images using a single chipset. According to this embodiment, the wide-angle ISP 210 and the narrow-angle ISP 310 may be provided as separate control modules inside one chipset.

한편, 하나의 칩셋으로 구성되는 상기 광각용 ISP(210) 및 협각용 ISP(310)와 이곳에서 후처리된 이미지를 뎁스 매칭하여 마련된 광각(근거리) 뎁스 맵(230)과 협각(원거리) 뎁스 맵(330)은 본 실시예에 따른 스테레오 카메라(100)의 제어모듈(C)과 연결되는 회로부에서 용도에 맞게 처리될 수 있다.Meanwhile, the wide-angle (near-range) depth map 230 and the narrow-angle (far-range) depth map prepared by depth matching the wide-angle ISP 210 and the narrow-angle ISP 310 composed of one chipset and the post-processed image therein 330 may be processed according to a purpose in a circuit portion connected to the control module C of the stereo camera 100 according to the present embodiment.

한편, 본 실시예에 따른 스테레오 카메라(100)는 좌안 카메라(110)와 우안 카메라(120)를 포함하기 때문에, 주시각 제어 장치를 구비할 경우, 3차원 영상 촬영 또한 가능하다. Meanwhile, since the stereo camera 100 according to the present embodiment includes the left-eye camera 110 and the right-eye camera 120, it is possible to capture a 3D image when a vergence control device is provided.

즉, 스테레오 카메라(100)의 주시각 제어장치는 상기 좌안 카메라(110)(110) 및 상기 우안 카메라(120)(120)에서 촬영된 좌안용 영상과 우안용 영상 각각의 윤곽선을 상기 에지 필터를 통해 검출할 수 있다. 그리고, 상기 영상 비교부는 상기 에지 필터에서 검출된 상기 좌안용 영상의 윤곽선과 상기 우안용 영상의 윤곽선 사이의 거리를 계산한다. 또, 상기 영상 위치 제어부는 상기 영상 비교부에서 계산된 상기 좌안용 영상의 윤곽선과 상기 우안용 영상의 윤곽선 사이의 거리로 상기 좌안용 영상과 상기 우안용 영상의 위치를 이동시켜 주시각을 제어한다.That is, the vergence control device of the stereo camera 100 uses the edge filter to determine the contours of each of the left-eye image and the right-eye image captured by the left-eye camera 110, 110 and the right-eye camera 120, 120. Can be detected through. In addition, the image comparison unit calculates a distance between the contour of the left-eye image and the contour of the right-eye image detected by the edge filter. In addition, the image position controller controls the viewing angle by moving the positions of the left-eye image and the right-eye image by a distance between the contour of the left-eye image and the contour of the right-eye image calculated by the image comparison unit. .

이때, 상기 좌안 카메라(110)(110)와 상기 우안 카메라(120)(120) 각각이 피사체를 촬영하는 이미지 센서를 구비하고 있는 경우, 상기 영상 위치 제어부는 상기 이미지 센서의 액티브 픽셀 영역(Active Pixel Area) 내에서 상기 좌안용 영상과 상기 우안용 영상의 위치를 이동시킨다.In this case, when each of the left-eye cameras 110 and 110 and the right-eye cameras 120 and 120 are provided with an image sensor for photographing a subject, the image position control unit may be configured to display an active pixel area of the image sensor. Area), the positions of the left-eye image and the right-eye image are moved.

상기 주시각 제어 장치에서 에지 필터는 좌안 카메라(110)에서 촬영된 좌안용 영상과 우안 카메라(120)에서 촬영된 우안용 영상 각각의 윤곽선을 검출한다. 그리고, 스테레오 카메라(100)의 주시각 제어 장치에서 영상 비교부는 상기 에지 필터에서 검출된 상기 좌안용 영상의 윤곽선과 상기 우안용 영상의 윤곽선 사이의 거리를 계산한다. 상기 영상 비교부는 우안용 영상의 윤곽선과 좌안용 영상의 윤곽선의 사이의 거리를 계산한다. In the vergence control apparatus, the edge filter detects the contours of the left-eye image captured by the left-eye camera 110 and the right-eye image captured by the right-eye camera 120. In addition, in the vergence control apparatus of the stereo camera 100, the image comparison unit calculates a distance between the contour of the left-eye image detected by the edge filter and the contour of the right-eye image. The image comparison unit calculates a distance between the outline of the image for the right eye and the outline of the image for the left eye.

스테레오 카메라(100)의 좌안 카메라(110)와 우안 카메라(120)는 소정 간격으로 이격 되어 있으므로, 상기 좌안 카메라(110)와 상기 우안 카메라(120)에서 촬영된 좌안용 영상과 우안용 영상은 피사체가 소정 간격으로 이격 되어 있다. 이러한 좌안용 영상과 우안용 영상을, 스테레오 카메라의 주시각 제어 장치의 영상 위치 제어부는 영상 비교부에서 계산된 상기 좌안용 영상의 윤곽선과 상기 우안용 영상의 윤곽선 사이의 거리로 상기 좌안용 영상과 상기 우안용 영상의 위치를 이동시켜 주시각을 제어한다. 이에 따라, 상기 좌안용 영상과 우안용 영상은 일치되면서 입체감이 나타나게 된다.Since the left-eye camera 110 and the right-eye camera 120 of the stereo camera 100 are spaced apart at predetermined intervals, the left-eye image and the right-eye image captured by the left-eye camera 110 and the right-eye camera 120 are Are spaced at predetermined intervals. The left-eye image and the right-eye image, the image position control unit of the vergence control device of the stereo camera, the left-eye image and the left-eye image as a distance between the contour of the left-eye image and the contour of the right-eye image calculated by the image comparator. The vergence angle is controlled by moving the position of the right eye image. Accordingly, the left-eye image and the right-eye image coincide, and a three-dimensional effect appears.

이와 같은 본 발명에 따르면, 다음과 같은 장점을 획득할 수 있다.According to the present invention, the following advantages can be obtained.

우선, 별도의 오토 포커싱 기능을 수행하는 액츄에이터를 포함하는 카메라 모듈을 구비하지 않고, 렌즈 배럴에서 설치되는 렌즈를 각각 광각 및 협각 렌즈로 시야각(FOV)을 가변 할 수 있도록 스테레오 카메라(100)의 렌즈모듈을 광각용 렌즈와 협각용 렌즈를 포함하도록 구성하여, 광각용 렌즈와 협각용 렌즈와 대응되는 이미지 센서에서 획득된 이미지를 광각 및 협각으로 처리하는 것에 본 실시예의 특징이 있다. First, the lens of the stereo camera 100 is not provided with a camera module including an actuator that performs a separate auto-focusing function, and can change the field of view (FOV) with a wide-angle and narrow-angle lens, respectively. A feature of this embodiment is that the module is configured to include a wide-angle lens and a narrow-angle lens, so that images obtained from an image sensor corresponding to the wide-angle lens and the narrow-angle lens are processed at a wide angle and a narrow angle.

이에 따르면, 근거리에서 촬영된 이미지는 광각 이미지 프로세싱을 통해 충분한 해상도로 정밀하게 획득할 수 있으며, 원거리에서 촬영된 이미지는 협각 이미지 프로세싱을 통해 근거리 촬영 이미지와 비교하여 차이가 없는 해상도를 가지는 이미지를 획득할 수 있다.According to this, an image shot at a close range can be accurately acquired with sufficient resolution through wide-angle image processing, and an image shot at a distance is compared with a close-up image through narrow-angle image processing to obtain an image with no difference in resolution. can do.

따라서 오토 포커싱 없이 다양한 각도에서 이미지를 획득하여 우선 영상처리를 통해 획득된 이미지를 저장해 둔 상태로 사용자의 필요에 따라 포커싱이 필요한 위치를 자유롭게 변경하여 저장하는 이른바 리-포커스(Re-Focus) 기능을 구현하는 것이 가능하다. 이와 같은 리-포커스 기능에 따르면 도 4에 도시된 동그라미 표시된 바와 같이 한 장의 이미지에서 사용자가 원하는 위치를 초점으로 한 다양한 형태의 이미지를 획득할 수 있다.Therefore, the so-called Re-Focus function, which acquires images from various angles without auto-focusing and stores the images acquired through image processing first, freely changes and stores the position where focusing is required according to the user's needs. It is possible to implement. According to such a re-focus function, as shown in a circle shown in FIG. 4, various types of images can be obtained in which a user's desired position is the focus from a single image.

극히 원거리 이미지 획득을 위하여, 스테레오 카메라(100)의 좌안 및 우안 카메라(110)(120) 각각의 렌즈를 광각과 협각렌즈를 함께 구성하여 한번의 촬영을 통해 다양한 시야각(FOV)의 이미지를 획득하므로, 별도의 광학 줌 기구물을 구비하지 않더라도, 멀리 있는 이미지 또한 근거리 이미지의 해상도와 동일하게 획득하는 것이 가능하다.In order to acquire an extremely long-range image, the left and right eye cameras 110 and 120 of the stereo camera 100 are configured with a wide-angle lens and a narrow-angle lens to obtain images of various field of view (FOV) through one shooting. In addition, even if a separate optical zoom mechanism is not provided, it is possible to obtain an image at a distance equal to the resolution of a near image.

앞에서 설명되고, 도면에 도시된 본 실시예는, 본 실시예의 기술적 사상을 한정하는 것으로 해석되어서는 안 된다. 본 실시예의 보호범위는 청구범위에 기재된 사항에 의하여만 제한되고, 본 실시예의 기술분야에서 통상의 지식을 가진 자는 본 실시예의 기술적 사상을 다양한 형태로 개량 변경하는 것이 가능하다. 따라서 이러한 개량 및 변경은 통상의 지식을 가진 자에게 자명한 것인 한 본 실시예의 보호범위에 속하게 될 것이다.
The present embodiment described above and illustrated in the drawings should not be construed as limiting the technical idea of the present embodiment. The protection scope of this embodiment is limited only by the matters described in the claims, and those of ordinary skill in the technical field of the present embodiment can improve and change the technical idea of the present embodiment in various forms. Therefore, such improvements and changes will fall within the scope of protection of this embodiment as long as it is obvious to those of ordinary skill in the art.

100; 스테레오 카메라 110; 좌안 카메라
120; 우안 카메라 210; 광각용 ISP
220; 광각용 깊이 매칭 230; 광각용 깊이 맵
310; 협각용 ISP 320; 협각용 깊이 매칭
330; 협각용 깊이 맵 C; 제어모듈100; Stereo camera 110; Left eye camera
120; Right eye camera 210; Wide-angle ISP
220; Wide-angle depth matching 230; Depth map for wide angle
310; Narrow angle ISP 320; Depth matching for narrow angle
330; Narrow angle depth map C; Control module

Claims

Left and right eye cameras;
An image sensor for each of the left and right eye cameras;
A wide-angle area and a narrow-angle area formed by being divided up and down or left and right on the image sensor;
A wide-angle and narrow-angle lens module arranged to form an optical focus at a location corresponding to the center of the wide-angle and narrow-angle regions of the image sensor; And
Includes; a control module including an image signal processor (ISP) for processing wide-angle and narrow-angle image information of the image sensor,
The area ratio of the wide-angle area and the narrow-angle area formed in each of the image sensors is the same,
The wide-angle area and the narrow-angle area are formed at positions opposite to each other in each of the image sensors.

The method of claim 1, wherein the control module,
Stereo camera with separate wide-angle and narrow-angle image signal processors.

The method of claim 1, wherein the control module,
A stereo camera that performs wide-angle image processing and narrow-angle image processing using one image signal processor.

The method of claim 1, wherein the control module,
A stereo camera that performs depth matching for a wide angle and a depth matching for a narrow angle using the image acquired from the image sensor.

The method of claim 1,
The wide-angle area is a right (R) area of an image sensor installed in the left-eye camera and a left (L) area of an image sensor installed in the right-eye camera,
The narrow angle area is a stereo camera that is a left (L) area of an image sensor installed in a left-eye camera and a right (R) area of an image sensor installed in a right-eye camera.

The method of claim 1,
The narrow angle area is a right (R) area of an image sensor installed in the left-eye camera and a left (L) area of an image sensor installed in the right-eye camera,
The wide-angle area is a stereo camera that is a left (L) area of an image sensor installed in a left-eye camera and a right (R) area of an image sensor installed in a right-eye camera.

The method of claim 1,
The wide-angle area is an upper area of the image sensor installed in the left-eye camera and a lower area of the image sensor installed in the right-eye camera,
The narrow angle area is a stereo camera which is a lower area of an image sensor installed in the left eye camera and an upper area of an image sensor installed in the right eye camera.

The method of claim 1,
The narrow angle area is an upper area of the image sensor installed in the left-eye camera and a lower area of the image sensor installed in the right-eye camera,
The wide-angle area is a stereo camera that is a lower area of an image sensor installed in a left-eye camera and an upper area of an image sensor installed in a right-eye camera.

The method of claim 1,
A stereo camera for photographing a short-range image in a wide-angle region of the left and right-eye cameras, and a long-range image in a narrow-angle region.

The method of claim 9,
A stereo camera that narrows the viewing angle of the narrow-angle area of the left-eye and right-eye cameras as the shooting distance increases.

The method of claim 1,
Each of the image sensors is divided into four areas,
The wide-angle region is formed to be adjacent to each other in the upper and lower or left and right in the four regions
The narrow angle area is a stereo camera formed to be adjacent to each other vertically or horizontally in the four areas.

The method of claim 1,
Each lens of the left and right eye cameras is composed of a wide-angle lens and a narrow-angle lens,
Stereo camera that allows you to acquire more than two viewing angles in a single shot.