KR100430528B1 - Vergence control apparatus using oversampling and variable addressing technique and method thereof, and parallel-axis stereo camera system using the same apparatus - Google Patents
Vergence control apparatus using oversampling and variable addressing technique and method thereof, and parallel-axis stereo camera system using the same apparatus Download PDFInfo
- Publication number
- KR100430528B1 KR100430528B1 KR10-2002-0039740A KR20020039740A KR100430528B1 KR 100430528 B1 KR100430528 B1 KR 100430528B1 KR 20020039740 A KR20020039740 A KR 20020039740A KR 100430528 B1 KR100430528 B1 KR 100430528B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- vergence
- controlled
- oversampling
- vertical
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명은 오버샘플링 및 가변 어드레싱에 의한 주시각 제어 장치 및 그 방법과 그를 이용한 평행축 입체 카메라 시스템에 관한 것으로, 특히 평행축 입체 카메라 시스템은 적어도 두 개의 고정된 영상 센서를 이용하여 영상을 촬영하기 위한 평행축 입체 영상 촬영 장치; 및 평행축 입체 영상 촬영 장치에서 촬영된 영상을 입력받아 수평 방향으로 오버샘플링을 수행하고, 오버샘플링된 영상으로부터 주시각 제어된 영역의 영상을 취득하여 수직 방향의 신호처리를 수행한 후 평행축 입체 영상 촬영 장치에 의해 촬영된 영상의 크기로 보간하여 주시각 제어된 영상을 출력하는 주시각 제어 장치를 포함한다. 본 발명에 따르면, 평행축 입체 카메라의 단점인 주시각 제어의 문제를 간단한 하드웨어를 사용하여 화질의 열화가 거의 없이 실시간으로 가능케 함으로써, 입체 카메라 중에 구현이 가장 간단한 평행축 입체 카메라를 사용하여 수평 이동축 입체 카메라와 같이 주시각 제어된 영상을 얻을 수 있는 효과가 있다.The present invention relates to an apparatus for controlling a viewing angle by oversampling and variable addressing, and a method thereof, and a parallel axis stereoscopic camera system using the same. In particular, a parallel axis stereoscopic camera system is used to capture an image using at least two fixed image sensors. Parallel axis stereoscopic imaging device for; And performing oversampling in the horizontal direction by receiving the image captured by the parallel-axis stereoscopic image capturing apparatus, and obtaining an image of a gaze-controlled region from the oversampled image to perform signal processing in the vertical direction. And a vergence control device for outputting a vergence controlled image by interpolating the size of an image photographed by the image photographing device. According to the present invention, the problem of the control of the viewing angle, which is a disadvantage of the parallel axis stereoscopic camera, can be realized in real time with almost no deterioration of image quality by using simple hardware, thereby moving horizontally using the parallel axis stereoscopic camera, which is the simplest implementation among stereoscopic cameras Like an axial stereoscopic camera, a perspective controlled image can be obtained.
Description
본 발명은 평행축 입체 카메라 시스템에 관한 것으로, 더욱 상세하게는 주시각 제어가 불가능한 평행축 입체 카메라에서 획득한 영상에 대한 간단한 신호처리 기법에 의해 수평 이동축 카메라에서와 같은 주시각 제어의 효과가 나타나도록 하는 오버샘플링 및 가변 어드레싱에 의한 주시각 제어 장치 및 그 방법과, 그를 이용한 평행축 입체 카메라 시스템에 관한 것이다.The present invention relates to a parallel axis stereoscopic camera system, and more particularly, by the simple signal processing technique for an image obtained from a parallel axis stereoscopic camera which cannot be controlled, The present invention relates to a viewing angle control device by oversampling and variable addressing, and a method thereof, and a parallel axis stereoscopic camera system using the same.
일반적으로 입체 카메라는 사람의 눈과 같이 2대의 카메라를 사용하여 좌, 우의 영상을 얻고 그 두 영상의 시차에 의해 관측자로 하여금 입체감을 느끼게 한다.In general, a stereoscopic camera obtains images of left and right by using two cameras like the human eye, and makes the viewer feel three-dimensional by the parallax of the two images.
시차(parallax)란, 동일점을 2개의 관측점에서 보았을 때의 방향의 차를 말하며, 이러한 시차로 인하여 입체 카메라에서 피사체의 영상이 두 카메라의 CCD(Charge Coupled Device)의 촬상면에서 서로 다른 위치에 맺히게 된다. 그러한 위치의 차를 시차량이라고 하며, 이것은 관측자에게 관측 물체들에 대한 거리 정보를 제공하며 입체감을 느끼게 해 준다.A parallax is a difference in the direction when the same point is seen from two viewpoints, and this parallax causes an image of a subject in a stereoscopic camera to be formed at different positions on the imaging planes of the CCD (Charge Coupled Device) of the two cameras. do. The difference in such locations is called parallax, which gives the viewer the distance information about the objects and gives a sense of depth.
사람의 눈은 관측하고자 하는 물체의 시차량을 0이 되도록 좌, 우 눈동자를 움직여 편안하게 입체감을 느끼면서 물체를 관측할 수 있도록 한다. 이렇게 시차량을 조절하는 것을 주시각 제어(vergence control)라 하며, 관측하고자 하는 물체의 시차량이 0이 되었을 때 가장 편안하게 영상을 볼 수 있다.The human eye moves the left and right eyes so that the parallax of the object to be observed is zero, so that the object can be observed while feeling three-dimensional comfort. Adjusting the amount of parallax is called vergence control, and when the amount of parallax of an object to be observed becomes zero, the image can be viewed most comfortably.
주시각 제어가 되지 않은 카메라로부터 얻은 입체 영상을 관측자가 보게 될 경우에는 시차량이 매우 크게 나타나 심한 피로감을 느끼게 된다. 이러한 관측 피로를 줄이기 위해서는 피사체의 위치 변화에 상관없이 일정한 시차가 유지되도록 좌, 우 카메라의 관측 방향을 제어하는 주시각 제어 기능이 필수적이다.When the observer sees a stereoscopic image obtained from a camera that is not controlled by the angle of view, the parallax amount is very large, resulting in severe fatigue. In order to reduce such observation fatigue, it is essential to control the viewing angle of the left and right cameras so that a constant parallax is maintained regardless of a change in the position of the subject.
입체 영상을 얻기 위해 사용되는 입체 카메라는 좌, 우 영상 센서의 배열방법에 따라 크게 평행축, 교차축, 그리고 수평 이동축의 세가지로 구분된다.Stereo cameras used to obtain stereoscopic images are classified into three types: parallel axis, cross axis, and horizontal moving axis according to the arrangement of left and right image sensors.
먼저, 평행축 입체 카메라는 양안식 입체 영상 카메라 중 가장 단순한 형태로서, 두 대의 영상 센서를 사람의 눈 간격과 비슷한 거리로 평행하게 고정시켜 두고 영상을 획득할 수 있게 설계되어 있다. 그러나, 평행축 방식은 주시각 제어 기능이 없어 피사체의 거리 변화에 따른 시차량을 조절할 수 없다는 문제점이 있다.First of all, the parallel axis stereoscopic camera is the simplest type of binocular stereoscopic camera, and is designed to acquire two images by fixing two image sensors in parallel at a distance similar to a human eye distance. However, the parallel axis method has a problem that the parallax amount cannot be adjusted according to the distance change of the subject because there is no vergence control function.
한편, 교차축 입체 카메라는 폭주식 입체 카메라라고도 하며, 물체의 거리 변화에 따라 주시각 제어가 가능하도록 설계되어 있다. 이 교차축 입체 카메라는 물체의 거리 변화에 따라 영상 센서의 광축을 회전시켜 항상 물체의 상이 좌, 우 영상 센서의 중심에 맺히도록 주시각을 제어한다. 이는 가까운 물체를 볼 때 안쪽으로 모이고 멀리있는 물체를 볼 때 벌어지는 사람의 눈동자 움직임을 모방한 것이다.On the other hand, the cross-axis stereoscopic camera is also called a congested stereoscopic camera, it is designed to be able to control the viewing angle in accordance with the distance change of the object. The cross-axis three-dimensional camera rotates the optical axis of the image sensor according to the distance change of the object to control the viewing angle so that the image of the object is always in the center of the left and right image sensors. It mimics the eye movements of a person when gathering inward when seeing a close object and when seeing a distant object.
그러나, 교차축 방식의 경우 영상 센서를 교차시켜 주시각을 맞추기 때문에 주시각 제어에 따른 영상 센서간의 간격 변화가 심하여 입체 영상 재생 시 왜곡이 심하며, 카메라 광축의 회전으로 주시각 제어를 해야 하기 때문에 소형화가 어렵다는 문제점이 있다.However, in the case of the cross-axis method, the image sensor is intersected to adjust the viewing angle, so the gap between the image sensors due to the control of the viewing angle is severe, and distortion is severe when the stereoscopic image is reproduced. There is a problem that is difficult.
한편, 수평 이동축 입체 카메라는 교차축 방식과 같이 관측물체의 거리 변화에 따라 카메라의 주시각 제어가 가능한 카메라이다. 그러나, 교차축 방식과는 달리 렌즈를 영상 센서로부터 분리시킨 후, 렌즈에 대해서 영상 센서가 평행하게 수평으로 움직이게 하여 주시각을 조절하도록 설계되어 있다. 이러한 영상 센서의 평행 이동에 의한 주시각 제어 방식은 좌, 우 영상 센서 사이의 간격 변화량이 작아 교차축 방식에 비해 상대적인 영상 왜곡이 작다는 장점이 있지만, 렌즈와 영상 센서를 분리시키고 영상 센서를 이동하면서 주시각 제어를 해야 하므로 실제 입체 카메라 제작에 많은 어려움이 있다는 문제점이 있다.On the other hand, the horizontal moving axis stereoscopic camera is a camera capable of controlling the viewing angle of the camera according to the change in the distance of the observation object, such as the cross-axis method. However, unlike the cross-axis method, after separating the lens from the image sensor, it is designed to adjust the viewing angle by moving the image sensor in parallel and horizontally with respect to the lens. Although the visual angle control method by the parallel movement of the image sensor has the advantage that the amount of change in the distance between the left and right image sensors is small, relative image distortion is smaller than that of the cross-axis method, but the lens and the image sensor are separated and the image sensor is moved. There is a problem that there is a lot of difficulty in producing a real three-dimensional camera, because you need to control the viewing angle.
이하, 수평 이동축 입체 카메라에서 영상 센서인 CCD의 이동과 관측물의 영상에서의 위치 변화를 설명한다.Hereinafter, the movement of the CCD, which is an image sensor, and the change of position in the image of the observation object in the horizontal moving axis stereoscopic camera will be described.
도 1은 일반적인 수평 이동축 입체 카메라에서의 CCD의 이동에 따른 영상 변화 과정의 일예시도로, 도 1의 (a)는 CCD(10, 11)의 수평 이동 전 영상에서의 관측물의 위치를 나타낸 것이고, 도 1의 (b)는 CCD(10, 11)의 수평 이동 후 영상에서의 관측물의 위치를 나타낸 것이다.1 is an example of an image change process according to the movement of the CCD in a general horizontal moving axis stereoscopic camera, Figure 1 (a) shows the position of the observation object in the image before the horizontal movement of the CCD (10, 11) , FIG. 1B illustrates the position of an object in the image after the horizontal movement of the CCDs 10 and 11.
도 1의 (a)는 시차가 0인 경우를 가정한 것으로 좌우 영상에서의 점의 위치가 일치하고 있으며, 도 1의 (b)는 CCD(10, 11)의 간격이 넓어지도록 수평 이동된 후의 좌우 영상에서의 위치 관계를 나타내는 것으로 시차가 커짐을 알 수 있다.(A) of FIG. 1 assumes a parallax of 0, and the positions of the points in the left and right images coincide, and FIG. 1 (b) shows that after the horizontal movement of the CCDs 10 and 11 is widened. It can be seen that the parallax increases by indicating the positional relationship in the left and right images.
즉, 영상 센서인 CCD(10, 11)를 수평 이동시켜 간격을 넓히는 것은 교차축 방식에서 카메라의 뒤를 넓히거나 앞을 좁히는 것과 같은 효과가 있음을 알 수 있다. 이 경우에 주시거리는 짧아지고 관측물은 음의 수평시차(disparity)를 가지게 된다. CCD(10, 11)의 간격을 좁히는 것은 넓히는 경우와 반대의 효과가 있다.In other words, it can be seen that widening the interval by horizontally moving the CCDs 10 and 11, which are image sensors, has the same effect as widening the rear of the camera or narrowing the front of the camera in the cross-axis method. In this case, the viewing distance is shortened and the observation has a negative horizontal disparity. Narrowing the intervals of the CCDs 10 and 11 has the opposite effect as widening the case.
이 경우, 입체 영상을 보기 위해서는 CCD(10, 11)의 간격을 렌즈(20, 21)의 광축과 CCD(10, 11)의 중앙축이 일치하는 지점까지만 좁혀야 하며, 이 때가 주시거리가 무한대가 되는 카메라 간격이다. 주시거리는 좌우 렌즈(20, 21)의 광축과 CCD(10, 11)의 중앙축을 연결하여 두 직선이 만나는 점에서 결정되는데, 렌즈(20, 21)의 광축과 CCD(10, 11)의 중앙축이 일치하는 경우는 두 직선이 평행하게 되므로 주시거리가 무한대가 되는 것이다.In this case, in order to view a stereoscopic image, the distance between the CCDs 10 and 11 should be narrowed only to the point where the optical axis of the lenses 20 and 21 coincides with the central axis of the CCDs 10 and 11, and the viewing distance is infinite. Camera interval. The viewing distance is determined at the point where two straight lines meet by connecting the optical axes of the left and right lenses 20 and 21 and the central axes of the CCDs 10 and 11, and the optical axes of the lenses 20 and 21 and the central axes of the CCDs 10 and 11. In this case, since the two straight lines are parallel, the viewing distance is infinite.
한편, 평행축 입체 카메라에서는 영상 센서가 고정되어 있어 상기한 수평 이동축 입체 카메라에서와 같은 영상 센서의 이동이 불가능하여 주시거리를 조정할 수 있는 기능이 없다. 따라서 평행축 입체 카메라에서 고정된 영상 센서를 통해촬상면에 맺히는 영상에 대한 신호 처리를 통해 관측물의 위치를 이동시켜 영상 센서의 이동 효과를 얻음으로써 주시각 제어를 가능하게 하는 방법들이 개시되어 있다.On the other hand, in the parallel axis stereoscopic camera, the image sensor is fixed, and thus the image sensor cannot be moved as in the horizontal moving axis stereoscopic camera, and thus there is no function to adjust the viewing distance. Therefore, a method of enabling a viewing angle control by obtaining a moving effect of an image sensor by moving a position of an object through a signal processing for an image formed on an image plane through a fixed image sensor in a parallel axis stereoscopic camera is disclosed.
상기한 바와 같이 평행축 입체 카메라에서 신호 처리를 통해 주시각 제어를 수행하는 기술로는 대한민국 공개특허공보 제2000-37097호가 있으며, 이 특허에 개시된 내용은 평행축 입체 카메라로부터 제공되는 영상에 대해 영상 센서의 수평 이동에 의해 나타나지 않게 될 영상의 영역을 계산하여 제거하고, 제거된 영상 영역이 전체 영상에서 차지하는 비율에 따라 수직방향 영상의 영역을 계산하여 제거한 후, 축소된 영상에 대해 최초 영상의 크기에 맞춰 일정 비율로 보간함으로써, 평행축 입체 카메라에서 수평 이동축 입체 카메라에서와 같은 주시각 제어 효과가 나타나도록 한 것을 특징으로 한다.As described above, there is a technology for performing a vergence control through signal processing in a parallel axis stereoscopic camera, and Korean Unexamined Patent Publication No. 2000-37097, and the contents disclosed in this patent are related to images provided from a parallel axis stereoscopic camera. After calculating and removing the area of the image that will not appear due to the horizontal movement of the sensor, calculating and removing the area of the vertical image according to the ratio of the removed image area to the total image, and then removing the size of the original image for the reduced image. By interpolating at a fixed ratio in accordance with the above, it is characterized in that the same angle control effect as in the horizontal moving axis stereoscopic camera is obtained in the parallel axis stereoscopic camera.
그러나, 상기한 방법에 따르면 최종 생성된 영상이 저대역 필터링을 통해 생성됨으로써 화질의 열화가 발생하고, 또한 주시각 제어 효과를 위해 수평·수직 처리 및 보간을 할 때 복잡한 연산을 수행해야 하므로 실시간으로 구현 시 하드웨어 구성이 복잡해진다는 문제점이 있다.However, according to the above method, since the final generated image is generated through low-band filtering, deterioration of the image quality occurs, and complex computation must be performed when performing horizontal / vertical processing and interpolation for a visual control effect in real time. The implementation has a problem that the hardware configuration is complicated.
따라서, 본 발명은 상기 문제점을 보완하기 위하여 안출된 것으로, 본 발명의 목적은 입력 영상 신호에 대해 오버샘플링을 한 후 가변 어드레싱을 통해 주시각이 제어된 효과를 얻음으로써 정보 손실을 줄이고 간단한 하드웨어 구현으로 실시간으로 처리가 가능한 주시각 제어 장치 및 그 방법을 제공하는데 있다.Accordingly, the present invention has been made to solve the above problems, and an object of the present invention is to reduce information loss and achieve simple hardware by obtaining a controlled view angle through variable addressing after oversampling an input video signal. The present invention provides a vergence control device capable of processing in real time and a method thereof.
또한, 본 발명의 다른 목적은 오버샘플링 및 가변 어드레싱에 의한 주시각 제어 장치를 이용한 평행축 입체 카메라 시스템을 제공하는데 있다.Another object of the present invention is to provide a parallel axis stereoscopic camera system using a vergence control device by oversampling and variable addressing.
도 1은 일반적인 수평 이동축 입체 카메라에서의 CCD의 이동에 따른 영상 변화 과정의 일예시도로, 도 1의 (a)는 CCD의 수평 이동 전 영상에서의 관측물의 위치를 나타낸 것이고, 도 1의 (b)는 CCD의 수평 이동 후 영상에서의 관측물의 위치를 나타낸 것이다.1 is a diagram illustrating an image change process according to a CCD movement in a general horizontal moving axis stereoscopic camera, and FIG. 1A illustrates a position of an object in an image before horizontal movement of the CCD. b) shows the position of the observation in the image after the horizontal movement of the CCD.
도 2는 본 발명의 제1 실시예에 따른 오버샘플링 및 가변 어드레싱에 의한 주시각 제어 장치를 이용한 평행축 입체 카메라 시스템의 블록도이다.FIG. 2 is a block diagram of a parallel axis stereoscopic camera system using a vergence control device by oversampling and variable addressing according to a first embodiment of the present invention.
도 3은 도 2에 도시된 평행축 입체 카메라 시스템의 주시각 제어 과정의 설명도이다.FIG. 3 is an explanatory diagram of a vergence control process of the parallel axis stereoscopic camera system shown in FIG. 2.
도 4는 본 발명의 제1 실시예에 따른 평행축 입체 카메라에서의 주시각 제어 방법의 흐름도이다.4 is a flowchart of a vergence control method in a parallel axis stereoscopic camera according to a first exemplary embodiment of the present invention.
도 5는 본 발명의 제2 실시예에 따른 오버샘플링 및 가변 어드레싱에 의한 주시각 제어 장치 및 그를 이용한 평행축 입체 카메라 시스템의 블록도이다.FIG. 5 is a block diagram of an apparatus for controlling a viewing angle by oversampling and variable addressing according to a second exemplary embodiment of the present invention, and a parallel axis stereoscopic camera system using the apparatus.
도 6 는 도 5에 도시된 평행축 입체 카메라에서 수직 와이드 렌즈에 의해 피사체가 수직 방향으로 확대되어 취득되는 영상을 도시한 도면이다.FIG. 6 is a diagram illustrating an image obtained by expanding a subject in a vertical direction by a vertical wide lens in the parallel-axis stereoscopic camera illustrated in FIG. 5.
도 7은 도 5에 도시된 평행축 입체 카메라 시스템의 주시각 제어 과정의 설명도이다.FIG. 7 is an explanatory diagram illustrating a vergence control process of the parallel axis stereoscopic camera system illustrated in FIG. 5.
**** 도면의 주요부분에 대한 부호의 설명 ******** Explanation of symbols for the main parts of the drawing ****
10, 11 : CCD 20, 21 : 렌즈10, 11: CCD 20, 21: lens
300, 700 : 평행축 입체 카메라 310, 710 : 주시각 제어 장치300, 700: parallel axis stereoscopic camera 310, 710: angle control device
302, 703 : 좌측 카메라 301, 704 : 우측 카메라302, 703: left camera 301, 704: right camera
311, 711 : AD 변환기 312, 712 : 메모리311, 711: AD converter 312, 712: memory
313, 713 : 가변 주소 발생 장치 314 : 수직 방향 처리수단313, 713: variable address generator 314: vertical direction processing means
315 : 수직 방향 보간수단 701, 702 : 수직 와이드 렌즈315: vertical interpolation means 701, 702: vertical wide lens
상기 목적을 달성하기 위한 본 발명의 주시각 제어 장치는,Viewing angle control apparatus of the present invention for achieving the above object,
외부의 카메라에 의해 촬영된 영상에 대한 주시각 제어를 수행하는 장치로서,An apparatus for performing vergence control on an image photographed by an external camera,
상기 촬영된 영상에 대해 수평 방향으로 오버샘플링을 수행하는 아날로그/디지털(AD) 변환기; 상기 AD 변환기에 의해 오버샘플링된 영상을 저장하기 위한 저장부; 상기 저장부에 저장된 영상에서 주시각 제어된 영상을 출력하기 위한 가변 주소 발생부; 상기 메모리에서 출력되는 주시각 제어된 영상을 입력받아 수직 방향 신호처리를 수행하기 위한 수직 방향 처리부; 및 상기 수직 방향 처리부에서 수직 방향 신호처리된 영상을 입력받아 상기 촬영된 영상의 크기로 보간하기 위한 수직 방향 보간부를 포함한다.An analog / digital (AD) converter for oversampling the captured image in a horizontal direction; A storage unit for storing the oversampled image by the AD converter; A variable address generator for outputting a vergence controlled image from the image stored in the storage unit; A vertical direction processor configured to receive a vergence-controlled image output from the memory and perform vertical signal processing; And a vertical interpolation unit configured to receive an image processed by the vertical signal from the vertical processing unit and interpolate to the size of the captured image.
또한, 상기 AD 변환기는 상기 주시각 제어되어 나타나지 않게 될 수평 방향 영상의 영역에 해당되는 양만큼 오버샘플링을 수행하는 것을 특징으로 한다.The AD converter may perform oversampling by an amount corresponding to an area of a horizontal image that will not be controlled and displayed.
또한, 상기 AD 변환기는 특정의 오버클럭신호-여기서 특정의 오버클럭신호는 원래의 클럭신호와의 주파수 비가 주시각 제어되어 최대 이동할 수 있는 영상의 크기와 원래 영상의 비에 일치함-를 사용하여 오버샘플링을 수행하는 것을 특징으로 한다.In addition, the AD converter uses a specific overclock signal, wherein the specific overclock signal corresponds to the ratio of the original image and the size of the maximum movable image by the frequency control with respect to the original clock signal. It is characterized by performing oversampling.
또한, 상기 가변 주소 발생 장치는 특정 주시각 제어신호에 따라 상기 메모리에서 출력되는 주시각 제어된 영상의 영역을 결정하는 것을 특징으로 한다.The apparatus for generating a variable address may determine an area of a vergence controlled image output from the memory according to a specific vergence control signal.
또한, 상기 수직 방향 처리부는 상기 메모리에 저장된 영상 중 상기 메모리에서 출력되는 주시각 제어된 영상의 영역을 제외한 수평 방향의 영상의 영역이 차지하는 비율만큼 상기 주시각 제어된 영상에 대해 수직 방향 영상의 영역을 계산하여 제거하는 것을 특징으로 한다.In addition, the vertical processing unit is an area of the vertical direction image with respect to the angle-controlled image by the ratio of the area of the image in the horizontal direction except for the area of the angle-controlled image output from the memory of the image stored in the memory. It is characterized in that to remove by calculating.
또한, 상기 수직 방향 보간부는 상기 수직 방향 처리부에 의해 수직 방향 신호처리되어 출력되는 영상을 상기 촬영된 영상의 크기에 맞춰 일정 비율로 확대하는 것을 특징으로 한다.The vertical interpolation unit may enlarge an image output by being processed in a vertical direction by the vertical processing unit at a predetermined ratio in accordance with the size of the captured image.
또한, 본 발명의 주시각 제어 방법은,In addition, the vergence control method of the present invention,
외부의 카메라에 의해 촬영된 영상에 대한 주시각 제어를 수행하는 방법으로서,As a method of performing a vergence control on an image photographed by an external camera,
상기 촬영된 영상에 대해 수평 방향으로 오버샘플링을 수행하는 제1 단계; 상기 오버샘플링된 영상을 저장하는 제2 단계; 상기 저장된 영상에서 주시각 제어된 영역의 영상을 선택하는 제3 단계; 상기 선택된 주시각 제어 영상을 제공받아 수직 방향 신호처리를 수행하는 제4 단계; 및 상기 수직 방향 신호처리된 영상을 입력받아 상기 촬영된 영상의 크기로 보간하는 제5 단계를 포함한다.A first step of performing oversampling in the horizontal direction on the captured image; A second step of storing the oversampled image; Selecting an image of a gaze-controlled region from the stored image; A fourth step of receiving the selected vergence control image and performing vertical signal processing; And a fifth step of receiving the vertically processed image and interpolating the captured image to the size of the captured image.
또한, 상기 목적을 달성하기 위한 본 발명의 평행축 입체 카메라 시스템은,In addition, the parallel axis stereoscopic camera system of the present invention for achieving the above object,
주시각 제어 기능을 갖는 평행축 입체 카메라 시스템으로서,A parallel axis stereoscopic camera system having a vergence control function,
적어도 두 개의 고정된 영상 센서를 이용하여 영상을 촬영하기 위한 평행축 입체 영상 촬영 장치; 및 상기 평행축 입체 영상 촬영 장치에서 촬영된 영상을 입력받아 수평 방향으로 오버샘플링을 수행하고, 상기 오버샘플링된 영상으로부터 주시각 제어된 영역의 영상을 취득하여 수직 방향의 신호처리를 수행한 후 상기 평행축 입체 영상 촬영 장치에 의해 촬영된 영상의 크기로 보간하여 주시각 제어된 영상을 출력하는 주시각 제어 장치를 포함한다.A parallel axis stereoscopic imaging apparatus for capturing an image using at least two fixed image sensors; And performing oversampling in a horizontal direction by receiving an image captured by the parallel axis stereoscopic image capturing apparatus, acquiring an image of a gaze-controlled region from the oversampled image, and performing signal processing in a vertical direction. And a vergence control device for outputting a vergence controlled image by interpolating the size of the image photographed by the parallel axis stereoscopic image photographing device.
또한, 본 발명은 외부의 카메라에 의해 촬영된 영상에 대한 주시각 제어를 수행하는 방법의 단계들을 수행하도록 컴퓨터에 의해 실행 가능한 명령으로 구성되는 프로그램을 유형적으로 구체화한 컴퓨터 판독 가능 기록 매체로서,In addition, the present invention provides a computer-readable recording medium in which a program consisting of instructions executable by a computer is tangibly embodied to perform the steps of a method of performing gaze control on an image captured by an external camera.
상기 방법 단계가 상기 촬영된 영상에 대해 수평 방향으로 오버샘플링을 수행하는 제1 단계; 상기 오버샘플링된 영상을 저장하는 제2 단계; 상기 저장된 영상에서 주시각 제어된 영역의 영상을 선택하는 제3 단계; 상기 선택된 주시각 제어 영상을 제공받아 수직 방향 신호처리를 수행하는 제4 단계; 및 상기 수직 방향 신호처리된 영상을 입력받아 상기 촬영된 영상의 크기로 보간하는 제5 단계를 포함하는 컴퓨터 판독 가능 기록 매체를 제공한다.A first step of performing, by the method step, oversampling in the horizontal direction with respect to the captured image; A second step of storing the oversampled image; Selecting an image of a gaze-controlled region from the stored image; A fourth step of receiving the selected vergence control image and performing vertical signal processing; And a fifth step of receiving the vertical signal-processed image and interpolating the size of the captured image.
또한, 본 발명의 다른 주시각 제어 장치는,In addition, another vergence control device of the present invention,
외부의 카메라에 의해 원래의 영상에 비해 수직으로 확대되어 촬영되는 영상에 대한 주시각 제어를 수행하는 장치로서,An apparatus for performing vergence control on an image that is vertically enlarged and photographed by an external camera,
상기 수직으로 확대되어 촬영되는 영상에 대해 수평 방향으로 오버샘플링을 수행하는 아날로그/디지털(AD) 변환기; 상기 AD 변환기에 의해 오버샘플링된 영상을 저장하기 위한 저장부; 및 상기 저장부에 저장된 영상에서 주시각 제어된 영상을 출력하기 위한 가변 주소 발생부를 포함한다.An analog / digital (AD) converter for performing oversampling in a horizontal direction with respect to the vertically magnified image; A storage unit for storing the oversampled image by the AD converter; And a variable address generator for outputting a visually controlled image from the image stored in the storage.
또한, 본 발명의 다른 평행축 입체 카메라 시스템은,In addition, another parallel axis stereoscopic camera system of the present invention,
주시각 제어 기능을 갖는 평행축 입체 카메라 시스템으로서,A parallel axis stereoscopic camera system having a vergence control function,
적어도 두 개의 고정된 영상 센서 및 상기 영상 센서의 앞에 각각 부착되는 수직 와이드 렌즈를 이용하여 원래의 영상에 비해 수직으로 확대된 영상을 촬영하기 위한 평행축 입체 영상 촬영 장치; 및 상기 평행축 입체 영상 촬영 장치에서 출력되는 수직으로 확대된 영상을 입력받아 수평 방향으로 오버샘플링을 수행하고, 상기 오버샘플링된 영상으로부터 주시각 제어된 영역의 영상을 취득하여 출력하는 주시각 제어 장치를 포함한다.A parallel-axis stereoscopic imaging apparatus for capturing an image enlarged vertically compared to an original image by using at least two fixed image sensors and a vertical wide lens attached to the front of the image sensor; And a vertical angle control device that receives the vertically enlarged image output from the parallel axis stereoscopic image capturing apparatus and performs oversampling in a horizontal direction, and obtains and outputs an image of a viewing angle controlled area from the oversampled image. It includes.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 실시예를 상세히 설명한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명의 제1 실시예에 따른 오버샘플링 및 가변 어드레싱에 의한 주시각 제어 장치를 이용한 평행축 입체 카메라 시스템의 블록도이다.FIG. 2 is a block diagram of a parallel axis stereoscopic camera system using a vergence control device by oversampling and variable addressing according to a first embodiment of the present invention.
도 2에 도시된 바와 같이, 본 발명의 제1 실시예에 따른 평행축 입체 카메라 시스템은 평행축 입체 카메라(300) 및 주시각 제어 장치(310)를 포함한다.As shown in FIG. 2, the parallel axis stereoscopic camera system according to the first embodiment of the present invention includes a parallel axis stereoscopic camera 300 and a viewing angle control device 310.
평행축 입체 카메라(300)는 영상을 촬영하여 해당 영상신호를 출력하는 영상 센서, 예를 들어 CCD를 각각 포함하는 좌측 카메라(301) 및 우측 카메라(302)를 가지며, 이들 좌우측 카메라(301, 302)로부터 촬영된 영상이 주시각 제어 장치(310)로 제공된다.The parallel axis stereoscopic camera 300 has an image sensor for capturing an image and outputting a corresponding image signal, for example, a left camera 301 and a right camera 302 each including a CCD, and these left and right cameras 301 and 302. The captured image is provided to the vergence control device 310.
주시각 제어 장치(310)는 평행축 입체 카메라(300)에서 출력되는 영상신호에대해 오버샘플링 및 가변 어드레싱을 수행하여 주시각 제어된 영상을 출력한다.The vergence controller 310 outputs a vergence controlled image by performing oversampling and variable addressing on the image signal output from the parallel axis stereoscopic camera 300.
이러한 주시각 제어 장치(310)는 평행축 입체 카메라(300)로부터 제공되는 좌우측 영상을 오버샘플링하기 위한 AD 변환기(311), AD 변환기(311)에 의해 오버샘플링된 영상을 저장하기 위한 메모리(312), 가변 어드레싱에 따라 메모리(312)에 저장된 영상에서 주시각 제어된 영상을 읽기 위한 가변 주소 발생 장치(313), 메모리(312)에서 주시각 제어되어 출력되는 영상에서 수직방향 신호를 처리하기 위한 수직방향 처리수단(314) 및 수직방향 처리수단(314)에서 수직방향 신호 처리된 영상을 입력받아 원래의 크기로 보간하기 위한 수직방향 보간수단(315)을 포함한다.The vergence control device 310 includes an AD converter 311 for oversampling the left and right images provided from the parallel-axis stereoscopic camera 300, and a memory 312 for storing the image oversampled by the AD converter 311. ), A variable address generator 313 for reading a vergence-controlled image from an image stored in the memory 312 according to variable addressing, and for processing a vertical signal in an image that is controlled by the vergence in the memory 312. And a vertical interpolation means 315 for receiving the image processed by the vertical signal from the vertical processing means 314 and the vertical processing means 314 and interpolating to the original size.
이하, 주시각 제어 장치(310)의 동작에 대해 상세히 살펴보면 다음과 같다.Hereinafter, the operation of the gaze control device 310 will be described in detail.
평행축 입체 카메라(300)로부터 발생된 영상신호는 주시각 제어에 의해 이동될 영역만큼 더 많은 영상 데이터를 취득하기 위해 AD 변환기(311)에서 오버클럭신호를 사용하여 수평 방향으로 오버샘플링된 후 메모리(312)에 저장된다. 수평방향으로 오버샘플링을 함으로써 영상의 수평크기는 원래보다 주시각 제어되어 최대 이동될 양만큼 더 많아진다. 이때 오버샘플링할 오버클럭신호와 원래의 클럭신호와의 주파수의 비는 주시각 제어되어 최대 이동할 수 있는 영상의 크기와 원래 영상의 비에 일치하도록 한다.The video signal generated from the parallel axis stereoscopic camera 300 is oversampled in the horizontal direction using the overclock signal in the AD converter 311 to acquire more image data as much as the area to be moved by the vergence control, and then memory. Stored at 312. By oversampling in the horizontal direction, the horizontal size of the image is controlled more than the original, and the amount of the image to be moved is increased. At this time, the ratio of the frequency of the overclock signal to be oversampled and the original clock signal is controlled at a time so that the size of the maximum movable image and the ratio of the original image are adjusted.
특정 주시각 제어신호에 따라 가변 주소 발생 장치(313)에서는 주시각 제어신호 입력에 의해 제어된 영역에 해당되는 주소 데이터를 발생시킴으로써 메모리(312)에서 주시각 제어되어 이동된 영상을 출력하게 된다. 이때 주시각 제어신호는 평행축 입체 카메라 시스템 사용자에 의한 수동 입력 또는 평행축 입체카메라 시스템의 전체 제어를 수행하는 프로세서(도시되지 않음)에 의한 자동 입력이 될 수 있다.The variable address generator 313 generates the address data corresponding to the area controlled by the input of the control angle of the vergence in accordance with a specific control angle of the control signal, thereby outputting an image which is controlled by the angle of view in the memory 312. At this time, the vergence control signal may be a manual input by a user of the parallel stereoscopic camera system or an automatic input by a processor (not shown) that performs overall control of the parallel stereoscopic camera system.
결과적으로 평행축 입체 카메라(300)에서 출력되는 영상신호로부터 오버샘플링하여 수평 방향으로 더 많이 생성된 데이터에서 주시각 제어되어 이동될 시 필요 없는 영역을 잘라내게 되는 것이므로 정보 손실은 거의 없다. 따라서 화질은 큰 영향을 받지 않으며, 수평 방향의 영상처리를 위한 프로세서가 필요없이 간단한 하드웨어로만으로 구현이 가능해진다.As a result, since information is over-sampled from the image signal output from the parallel-axis stereoscopic camera 300 and cut out from the data generated more in the horizontal direction, the unnecessary area is cut out so that there is almost no information loss. Therefore, image quality is not significantly affected, and it can be implemented with simple hardware without the need for a horizontal image processing processor.
한편, 가변 주소 발생 장치(313)에 의해 메모리(312)에서 출력되는 영상은 사물의 수평/수직 비율에 다소 왜곡이 발생한다. 즉 다시 말하면 영상의 사물들이 수평방향으로 약간 확대된 효과를 가져온다. 필요 시 이를 보정하기 위한 수직 방향 처리수단(314)은 주시각 제어에 의해 수평 방향으로 제거된 비율만큼 수직 방향의 라인을 제거한다. 이때 제거되어야 할 수직 방향 영상 영역은 상측과 하측에서 각각 1/2씩 제거되게 된다.Meanwhile, the image output from the memory 312 by the variable address generator 313 slightly distorts the horizontal / vertical ratio of the object. In other words, the objects in the image are slightly enlarged in the horizontal direction. The vertical direction processing means 314 for correcting this, if necessary, removes the lines in the vertical direction by the ratio removed in the horizontal direction by the vergence control. At this time, the vertical image area to be removed is removed 1/2 each from the upper side and the lower side.
수직 방향 처리수단(314)에 의해 축소된 영상은 수직 방향 보간수단(315)을 거치면서 최초 영상의 크기에 맞춰 일정 비율로 확대되며, 여기서 얻어진 영상은 최초 영상에 비해 피사체의 크기는 확대되었으나, CCD의 이동에 의해 피사체가 이동한 것과 같은 영상, 즉 주시각이 제어된 것과 같은 영상이 된다.The image reduced by the vertical direction processing means 314 is enlarged at a constant rate in accordance with the size of the original image while passing through the vertical interpolation means 315. The obtained image is enlarged in size of the subject compared with the original image. The movement of the CCD results in an image in which the subject is moved, that is, an image in which the viewing angle is controlled.
도 3은 도 2에 도시된 평행축 입체 카메라 시스템의 주시각 제어 과정의 설명도이다.FIG. 3 is an explanatory diagram of a vergence control process of the parallel axis stereoscopic camera system shown in FIG. 2.
도 3의 (a)는 평행축 입체 카메라(300)에서 촬영되어 출력되는 영상이고, 도3의 (b)는 AD 변환기(311)에 의해 수평방향으로 오버샘플링되어 메모리(312)에 저장되는 영상을 나타내고 있다.3A is an image captured and output by the parallel axis stereoscopic camera 300, and FIG. 3B is an image that is oversampled in the horizontal direction by the AD converter 311 and stored in the memory 312. Indicates.
도 3의 (c)는 가변 주소 발생 장치(313)의 가변 어드레싱에 따라 메모리(312)에서 판독되는 데이터를 나타내고 있다. 여기서 빗금친 부분(A)은 메모리(312)에서 읽혀지지 않음으로써 실질적으로 제거되어 도 3의 (d)에서와 같은 영상이 메모리(312)에서 출력된다. 이 때, 좌우 영상의 가운데에 위치하고 있던 물체의 위치가 안으로 모아진 형태, 즉 상대적으로 좌측과 우측으로 이동된 것처럼 보인다.FIG. 3C shows data read from the memory 312 according to the variable addressing of the variable address generator 313. The hatched portion A is not substantially read from the memory 312 so that the image A is output from the memory 312 as shown in FIG. At this time, the position of the object located in the center of the left and right images appears to have been moved inward, that is, relatively left and right.
한편, AD 변환기(311)에 의해 수평 방향으로만 오버샘플링됨으로써 도 3의 (d)의 영상에서 사물들의 수직/수평의 비율이 맞지 않아 왜곡이 다소 발생한다. 이를 보완하기 위해, 도 3 의 (e)는 수평 방향으로 제거된 영역이 확대되기 전의 영역만큼 수직 방향 처리수단(314)에 의해 수직 방향으로 제거되는 과정을 나타낸다. 여기서 빗금친 부분(B, C)이 수직 방향 처리수단(314)에 의해 상하로 제거되는 영상을 나타낸다.On the other hand, by oversampling only in the horizontal direction by the AD converter 311, distortion occurs slightly because the vertical / horizontal ratio of objects in the image of FIG. To compensate for this, FIG. 3E illustrates a process in which the region removed in the horizontal direction is removed in the vertical direction by the vertical direction processing means 314 as much as the region before the region is enlarged. Here, the hatched portions B and C show an image in which the vertical processing means 314 is removed up and down.
이와 같이 수직 방향의 영상이 제거된 영상을 수직 방향 보간수단(315)이 다시 수평/수직 비율이 같도록 보간하여 확대하면 도 3의 (f)에서와 같이 피사체에 대해서는 약간의 영상 확대 효과는 나타나지만 영상의 수평/수직 비율이 원래 영상과 같이 유지되며, 결과적으로 수평 이동축 입체 카메라와 같이 주시각이 제어되는 결과가 된다.As such, when the vertical interpolation means 315 is interpolated and enlarged so that the horizontal / vertical ratio is the same, a slight image magnification effect is displayed on the subject as shown in FIG. The horizontal / vertical ratio of the image is maintained as the original image, and as a result, the viewing angle is controlled like a horizontal moving stereoscopic camera.
이와 같이, 본 발명의 제1 실시예에 따르면 수평 방향으로는 오버샘플링을함으로써 화질의 열화가 거의 발생되지 않으며, 수직라인 보간에서는 저대역 필터링으로 인한 화질의 열화는 다소 발생하나, 실제로 수평 이동축 카메라에서의 CCD의 이동량은 크지 않고 수직방향은 인간의 눈의 변화에 덜 민감함으로 화질의 열화는 거의 느끼지 못한다.As described above, according to the first embodiment of the present invention, deterioration of image quality is hardly caused by oversampling in the horizontal direction, and deterioration of image quality due to low band filtering occurs somewhat in vertical line interpolation. The amount of CCD movement in the camera is not large and the vertical direction is less sensitive to changes in the human eye, so there is almost no deterioration in image quality.
도 4는 본 발명의 제1 실시예에 따른 평행축 입체 카메라에서의 주시각 제어 방법의 흐름도이다.4 is a flowchart of a vergence control method in a parallel axis stereoscopic camera according to a first exemplary embodiment of the present invention.
도 4를 참조하면, 먼저 AD 변환기(311)가 평행축 입체 카메라(300)에 의해 촬영된 영상을 입력받아 수평 방향으로 오버샘플링하여 메모리(312)에 저장한다(S510). 이후, 가변 주소 발생 장치(313)가 주시각 제어신호에 따라 상기 메모리(312)에 저장된 영상에 대하여 주시각 제어된 주소를 발생시킴으로써 주시각 제어된 영상을 메모리(312)로부터 출력한다(S511).Referring to FIG. 4, first, the AD converter 311 receives an image photographed by the parallel axis stereoscopic camera 300 and oversamples the image photographed in the horizontal direction to store it in the memory 312 (S510). Thereafter, the variable address generator 313 generates a gaze-controlled address with respect to an image stored in the memory 312 according to the gaze-control signal, and outputs a gaze-controlled image from the memory 312 (S511). .
다음, 수직 방향 처리수단(314)이 수평방향으로 주시각 제어된 영상에 대하여 수직방향 신호처리를 수행한다(S512). 그 후, 수직 방향 보간수단(315)이 수직 방향 처리수단(314)에서 출력되는 영상에 대해 사물의 수평/수직의 비율이 원래 영상과 동일하도록 수직 방향으로 보간한다(S513).Next, the vertical direction processing means 314 performs vertical signal processing on the horizontally controlled image in the horizontal direction (S512). Thereafter, the vertical interpolation means 315 interpolates in the vertical direction so that the horizontal / vertical ratio of the object is the same as the original image with respect to the image output from the vertical direction processing means 314 (S513).
한편, 상기한 바와 같은 본 발명의 제1 실시예에 따른 주시각 제어 방법은 프로그램으로 구현되어 컴퓨터로 판독 가능한 형태로 기록 매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.On the other hand, the vergence control method according to the first embodiment of the present invention as described above is implemented as a program in a computer-readable form of a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) Can be stored in.
다음, 본 발명의 제2 실시예에 대해 설명한다.Next, a second embodiment of the present invention will be described.
도 5는 본 발명의 제2 실시예에 따른 오버샘플링 및 가변 어드레싱에 의한주시각 제어 장치 및 그를 이용한 평행축 입체 카메라 시스템의 블록도이다.FIG. 5 is a block diagram of an apparatus for controlling visual angle by oversampling and variable addressing and a parallel axis stereoscopic camera system using the apparatus according to the second exemplary embodiment of the present invention.
도 5에 도시된 바와 같이, 본 발명의 제2 실시예에 따른 평행축 입체 카메라는 평행축 입체 카메라(700) 및 주시각 제어 장치(710)를 포함한다.As shown in FIG. 5, the parallel axis stereoscopic camera according to the second embodiment of the present invention includes a parallel axis stereoscopic camera 700 and a viewing angle control device 710.
평행축 입체 카메라(300)는 영상을 촬영하여 해당 영상신호를 출력하는 영상 센서, 예를 들어 CCD를 각각 포함하는 좌측 카메라(703) 및 우측 카메라(704)와, 좌우측 카메라(703, 704)의 앞에 각각 부착되어 수직으로 확대된 영상이 취득되도록 하는 수직 와이드 렌즈(701, 702)를 포함한다.The parallel axis stereoscopic camera 300 captures an image and outputs a corresponding image signal, for example, a left camera 703 and a right camera 704 each including a CCD and left and right cameras 703 and 704. Vertical wide lenses 701 and 702 attached to the front and vertically enlarged images are acquired.
수직 와이드 렌즈(701, 702)가 부착된 좌우측 카메라(301, 302)로부터 촬영된 영상은 피사체를 수직 방향으로 확대한 영상으로서 주시각 제어 장치(710)로 제공된다.The images captured by the left and right cameras 301 and 302 to which the vertical wide lenses 701 and 702 are attached are provided to the vergence controller 710 as an image in which the subject is enlarged in the vertical direction.
주시각 제어 장치(710)는 평행축 입체 카메라(700)로부터 제공되는 영상을 오버샘플링하기 위한 AD 변환기(711), AD 변환기(711)에 의해 오버샘플링된 영상을 저장하기 위한 메모리(712), 가변 어드레싱에 따라 메모리(712)에 저장된 영상에서 주시각 제어된 영상을 읽기 위한 가변 주소 발생 장치(713)를 포함한다.The vergence control device 710 includes an AD converter 711 for oversampling an image provided from the parallel axis stereoscopic camera 700, a memory 712 for storing an image that is oversampled by the AD converter 711, And a variable address generator 713 for reading a vergence controlled image from an image stored in the memory 712 according to variable addressing.
이하, 주시각 제어 장치(710)의 동작에 대해 상세히 살펴보면 다음과 같다.Hereinafter, the operation of the gaze control device 710 will be described in detail.
먼저, 평행축 입체 카메라(700)는 수직 와이드 렌즈(701)를 부착함으로써 첨부한 도 6에 도시된 바와 같이 피사체가 수직방향으로 확대된 영상을 출력한다.First, the parallel axis stereoscopic camera 700 outputs an image in which a subject is enlarged in the vertical direction as shown in FIG. 6 by attaching a vertical wide lens 701.
평행축 입체 카메라(700)로부터 발생된 영상신호는 주시각 제어에 의해 최대 이동될 영역만큼 더 많은 영상 데이터를 취득하기 위해 AD변환기(711)에서 오버클럭신호를 사용하여 수평 방향으로 오버샘플링 된 후 메모리(712)에 저장된다.After the image signal generated from the parallel axis stereoscopic camera 700 is oversampled in the horizontal direction by using the overclock signal in the AD converter 711 in order to acquire more image data as much as the area to be moved maximum by the vergence control. Stored in memory 712.
수평방향으로 오버샘플링을 함으로써 영상의 수평크기는 원래보다 주시각 제어 되어 최대 이동될 양만큼 더 많아진다. 이때 오버샘플링할 오버클럭신호와 원래의 클럭신호와의 주파수 비는 주시각 제어되어 최대 이동할 수 있는 영상의 크기와 원래 영상의 비에 일치하도록 한다.By oversampling in the horizontal direction, the horizontal size of the image is controlled more than the original, so that the maximum amount of movement is increased. At this time, the frequency ratio between the overclock signal to be oversampled and the original clock signal is controlled at a time so that the size of the maximum movable image and the ratio of the original image are adjusted.
가변 주소발생장치(713)에서는 주시각 제어신호 입력에 의해 제어된 영역에 해당되는 주소 데이터를 발생시킴으로써 메모리(712)에서 주시각 제어되어 이동된 영상을 출력하게 된다. 이때 주시각 제어신호는 평행축 입체 카메라 시스템 사용자에 의한 수동 입력 또는 평행축 입체 카메라 시스템의 전체 제어를 수행하는 프로세서(도시되지 않음)에 의한 자동 입력이 될 수 있다.The variable address generator 713 generates the address data corresponding to the area controlled by the vergence control signal input to output the vergence controlled and moved image in the memory 712. At this time, the vergence control signal may be a manual input by a user of the parallel axis stereoscopic camera system or an automatic input by a processor (not shown) that performs overall control of the parallel axis stereoscopic camera system.
결과적으로 평행축 입체 카메라(700)에서 출력되는 영상신호로부터 오버샘플링하여 수평 방향으로 더 많이 생성된 데이터에서 주시각 제어되어 이동될 시 필요 없는 영역을 잘라내게 되는 것이므로 정보 손실은 거의 없다. 따라서 화질은 큰 영향을 받지 않으며, 수평 방향의 영상처리를 위한 프로세서가 필요없이 간단한 하드웨어로만으로 구현이 가능해진다.As a result, since information is over-sampled from the image signal output from the parallel-axis stereoscopic camera 700 and cut out from the data generated in the horizontal direction, the unnecessary area is cut out so that there is almost no information loss. Therefore, image quality is not significantly affected, and it can be implemented with simple hardware without the need for a horizontal image processing processor.
한편 가변 주소 발생 장치(713)에 의해 메모리(712)에서 출력되는 영상은 오버샘플링에 의해 수평 방향으로 확대되는 효과를 가져오지만, 본 발명의 제2 실시예에서는 평행축 입체 카메라(700)에서 수직 와이드 렌즈(701, 702)에 의해 미리 수직 방향으로 확대된 영상을 취득하였으므로 사물의 수평/수직에 대한 왜곡은 없게 된다. 따라서, 도 2에 도시된 본 발명의 제1 실시예에서와 같이, 오버샘플링에 의해 수평/수직 왜곡된 영상에 대한 수직 방향 처리를 위한 부분, 즉 하드웨어/소프트웨어가 필요없게 된다.On the other hand, the image output from the memory 712 by the variable address generator 713 has the effect of being enlarged in the horizontal direction by oversampling, but in the second embodiment of the present invention, the vertical axis in the parallel axis stereoscopic camera 700 Since the images enlarged in the vertical direction in advance by the wide lenses 701 and 702 are obtained, there is no distortion in the horizontal / vertical of the object. Thus, as in the first embodiment of the present invention shown in FIG. 2, there is no need for a portion, ie hardware / software, for vertical direction processing on horizontally / vertically distorted images by oversampling.
도 7은 도 5에 도시된 평행축 입체 카메라 시스템의 주시각 제어 과정의 설명도이다.FIG. 7 is an explanatory diagram illustrating a vergence control process of the parallel axis stereoscopic camera system illustrated in FIG. 5.
도 7의 (a)는 수직 와이드 렌즈(701, 702)를 부착한 평행축 입체 카메라(700)에서 촬영되어 출력되는 영상이고, 도 7의 (b)는 AD 변환기(711)에 의해 수평 방향으로 오버샘플링되어 메모리(712)에 저장되는 영상을 나타내고 있다.FIG. 7A is an image captured and output by the parallel axis stereoscopic camera 700 having the vertical wide lenses 701 and 702, and FIG. 7B is a horizontal direction by the AD converter 711. FIG. The image is oversampled and stored in the memory 712.
도 7의 (c)는 가변 주소 발생 장치(713)의 가변 어드레싱에 따라 메모리(712)에서 판독되는 데이터를 나타내고 있다. 여기서 빗금친 부분(D)은 메모리(712)에서 읽혀지지 않음으로써 실질적으로 제거되어 도 7의 (d)에서와 같은 영상이 메모리(712)에서 출력된다. 이 때, 좌우 영상의 가운데에 위치하고 있던 물체의 위치가 안으로 모아진 형태, 즉 상대적으로 좌측과 우측으로 이동된 것처럼 보인다. 또한, 약간의 영상 확대 효과는 나타나지만 영상의 수평/수직 비율이 원래 영상과 같이 유지되며, 결과적으로 수평 이동축 입체 카메라와 같이 주시각이 제어되는 결과가 된다.FIG. 7C shows data read from the memory 712 in accordance with variable addressing of the variable address generator 713. Here, the hatched portion D is not substantially read from the memory 712 so that the image is output from the memory 712 as shown in FIG. At this time, the position of the object located in the center of the left and right images appears to have been moved inward, that is, relatively left and right. In addition, there is a slight image magnification effect, but the horizontal / vertical ratio of the image is maintained as the original image, and as a result, the viewing angle is controlled like the horizontal moving axis stereoscopic camera.
이와 같이, 본 발명의 제2 실시예에 따르면 수평 방향으로는 오버샘플링을 함으로써 화질의 열화가 거의 발생되지 않으며, 수직 방향으로는 저대역 필터링 등과 같은 신호처리를 하지 않음으로써 또한 화질의 열화가 발생하지 않는다.As described above, according to the second embodiment of the present invention, deterioration of image quality is hardly caused by oversampling in the horizontal direction, and deterioration of image quality occurs by not performing signal processing such as low band filtering in the vertical direction. I never do that.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.The present invention described above is not limited to the above-described embodiments and the accompanying drawings, and various substitutions, modifications, and changes are possible in the art without departing from the technical spirit of the present invention. It will be clear to those of ordinary knowledge.
본 발명에 따르면, 평행축 입체 카메라의 단점인 주시각 제어의 문제를 간단한 하드웨어를 사용하여 화질의 열화가 거의 없이 실시간으로 가능케 함으로써, 입체 카메라 중에 구현이 가장 간단한 평행축 입체 카메라를 사용하여 수평 이동축 입체 카메라와 같이 주시각 제어된 영상을 얻을 수 있는 효과가 있다.According to the present invention, the problem of the control of the viewing angle, which is a disadvantage of the parallel axis stereoscopic camera, can be realized in real time with almost no deterioration of image quality by using simple hardware, thereby moving horizontally using the parallel axis stereoscopic camera, which is the simplest implementation among the stereoscopic cameras. Like an axial stereoscopic camera, a perspective controlled image can be obtained.
Claims (18)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0039740A KR100430528B1 (en) | 2002-07-09 | 2002-07-09 | Vergence control apparatus using oversampling and variable addressing technique and method thereof, and parallel-axis stereo camera system using the same apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0039740A KR100430528B1 (en) | 2002-07-09 | 2002-07-09 | Vergence control apparatus using oversampling and variable addressing technique and method thereof, and parallel-axis stereo camera system using the same apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20040005252A KR20040005252A (en) | 2004-01-16 |
| KR100430528B1 true KR100430528B1 (en) | 2004-05-10 |
Family
ID=37315598
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0039740A Expired - Fee Related KR100430528B1 (en) | 2002-07-09 | 2002-07-09 | Vergence control apparatus using oversampling and variable addressing technique and method thereof, and parallel-axis stereo camera system using the same apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100430528B1 (en) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100818155B1 (en) * | 2005-09-13 | 2008-03-31 | (주)브이쓰리아이 | Stereo Stereoscopic Camera System and Angle Adjustment Method for Mobile Devices |
| KR100726933B1 (en) * | 2006-02-15 | 2007-06-14 | 주식회사 이시티 | Image Signal Processing Method for Automatic Vergence Control of Fixed Binocular Camera |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09322199A (en) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | Stereoscopic video display device |
| JPH10178658A (en) * | 1996-12-19 | 1998-06-30 | Olympus Optical Co Ltd | Stereoscopic image display device |
| JP2000244946A (en) * | 1999-02-24 | 2000-09-08 | Sanyo Electric Co Ltd | Converter for stereoscopic video signal |
| KR20000067890A (en) * | 1996-07-18 | 2000-11-25 | 다카노 야스아키 | Device and method for converting two-dimensional video into three-dimensional video |
| KR20020037097A (en) * | 2000-11-13 | 2002-05-18 | 오길록 | The apparatus and Method for Vergence Control of a Parallel-Axis Camera using Signal Processing |
-
2002
- 2002-07-09 KR KR10-2002-0039740A patent/KR100430528B1/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09322199A (en) * | 1996-05-29 | 1997-12-12 | Olympus Optical Co Ltd | Stereoscopic video display device |
| KR20000067890A (en) * | 1996-07-18 | 2000-11-25 | 다카노 야스아키 | Device and method for converting two-dimensional video into three-dimensional video |
| JPH10178658A (en) * | 1996-12-19 | 1998-06-30 | Olympus Optical Co Ltd | Stereoscopic image display device |
| JP2000244946A (en) * | 1999-02-24 | 2000-09-08 | Sanyo Electric Co Ltd | Converter for stereoscopic video signal |
| KR20020037097A (en) * | 2000-11-13 | 2002-05-18 | 오길록 | The apparatus and Method for Vergence Control of a Parallel-Axis Camera using Signal Processing |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20040005252A (en) | 2004-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5963422B2 (en) | Imaging apparatus, display apparatus, computer program, and stereoscopic image display system | |
| JP3653790B2 (en) | 3D electronic zoom device and 3D image quality control device | |
| EP2357841B1 (en) | Method and apparatus for processing three-dimensional images | |
| JP5346266B2 (en) | Image processing apparatus, camera, and image processing method | |
| JP5414947B2 (en) | Stereo camera | |
| JP5742179B2 (en) | Imaging apparatus, image processing apparatus, image processing method, and program | |
| JP3089306B2 (en) | Stereoscopic imaging and display device | |
| JP5204350B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
| JP5204349B2 (en) | Imaging apparatus, playback apparatus, and image processing method | |
| CN107209949B (en) | Method and system for generating magnified 3D images | |
| JP2000354257A (en) | Image processor, image processing method and program provision medium | |
| US20130083169A1 (en) | Image capturing apparatus, image processing apparatus, image processing method and program | |
| JP6155471B2 (en) | Image generating apparatus, imaging apparatus, and image generating method | |
| JPH07129792A (en) | Image processing method and image processing apparatus | |
| KR100392381B1 (en) | Method and apparatus controlling the disparity of objects in images and a parallel-axis stereo camera system using the apparatus | |
| JP6278668B2 (en) | Compound eye imaging device | |
| JP2005020606A (en) | Digital camera | |
| JP2014154907A (en) | Stereoscopic imaging apparatus | |
| KR20040018859A (en) | Depth of field adjustment apparatus and method of stereo image for reduction of visual fatigue | |
| KR100430528B1 (en) | Vergence control apparatus using oversampling and variable addressing technique and method thereof, and parallel-axis stereo camera system using the same apparatus | |
| KR100597587B1 (en) | Vergence Control Device Using Corrected Image Signal Processing and Its Method and Parallel-Axis Stereoscopic Camera System Using the Same | |
| JPH0937302A (en) | Stereoscopic image pickup device | |
| JP5741353B2 (en) | Image processing system, image processing method, and image processing program | |
| JPH08116556A (en) | Image processing method and apparatus | |
| JP2017028606A (en) | Imaging device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-3-3-R10-R13-asn-PN2301 St.27 status event code: A-3-3-R10-R11-asn-PN2301 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| L13-X000 | Limitation or reissue of ip right requested |
St.27 status event code: A-2-3-L10-L13-lim-X000 |
|
| U15-X000 | Partial renewal or maintenance fee paid modifying the ip right scope |
St.27 status event code: A-4-4-U10-U15-oth-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20110411 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20120427 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20120427 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| P22-X000 | Classification modified |
St.27 status event code: A-4-4-P10-P22-nap-X000 |