[go: up one dir, main page]

KR100942765B1 - Apparatus and Method for Stereoscopic Image Editing - Google Patents

Apparatus and Method for Stereoscopic Image Editing Download PDF

Info

Publication number
KR100942765B1
KR100942765B1 KR1020080025093A KR20080025093A KR100942765B1 KR 100942765 B1 KR100942765 B1 KR 100942765B1 KR 1020080025093 A KR1020080025093 A KR 1020080025093A KR 20080025093 A KR20080025093 A KR 20080025093A KR 100942765 B1 KR100942765 B1 KR 100942765B1
Authority
KR
South Korea
Prior art keywords
stereoscopic image
synchronization
editing
image
stereoscopic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020080025093A
Other languages
Korean (ko)
Other versions
KR20090099860A (en
Inventor
이원경
이동식
Original Assignee
(주)블루비스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)블루비스 filed Critical (주)블루비스
Priority to KR1020080025093A priority Critical patent/KR100942765B1/en
Publication of KR20090099860A publication Critical patent/KR20090099860A/en
Application granted granted Critical
Publication of KR100942765B1 publication Critical patent/KR100942765B1/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01DMEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D1/00Measuring arrangements giving results other than momentary value of variable, of general application
    • G01D1/02Measuring arrangements giving results other than momentary value of variable, of general application giving mean values, e.g. root means square values
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/139Format conversion, e.g. of frame-rate or size
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/167Synchronising or controlling image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 하드웨어 수단 없이도 영상 동기화와 먹싱 및 용이한 입체 영상 편집이 가능하도록 한 입체 영상 편집을 위한 장치 및 방법에 관한 것으로, 좌우 영상에서 오디오 정보를 RMS(Root-Mean-Square:RMS) 방식으로 처리하여 생성된 RMS 신호를 근거로 좌우 영상의 동기화를 소프트웨어만으로 실시하도록 하고, 상기 동기화된 좌우 영상을 소프트웨어 방식으로 입체 영상 포맷으로 변경하고, 상기 좌우 영상 및 오디오 정보를 전용 편집 프로그램을 통해 원하는 깊이감 조절 또는 픽셀 구간을 편집하여 입체 영상 포맷을 생성할 수 있도록 함으로써, 실사 입체 영상 포맷의 동영상을 제작하기 위한 비용을 줄이고 편집 기능을 강화하며, 그 과정의 용이성을 극대화함으로써 다양한 사용자층이 입체 영상 포맷의 동영상을 용이하게 제작할 수 있는 효과가 있다.

Figure R1020080025093

입체 영상, 편집, 소프트웨어

The present invention relates to an apparatus and method for stereoscopic image editing that enables image synchronization, muxing, and easy stereoscopic image editing without hardware means, and provides audio information in a root-mean-square (RMS) method in left and right images. Based on the RMS signal generated and processed, synchronization of the left and right images is performed by software only, the synchronized left and right images are changed into a stereoscopic image format by a software method, and the left and right images and audio information are provided through a dedicated editing program. By creating a stereoscopic video format by adjusting the sensation or by editing pixel sections, various user bases can be used to reduce the cost of producing a realistic stereoscopic video format, enhance the editing function, and maximize the ease of the process. The video can be easily produced.

Figure R1020080025093

Stereoscopic video, editing, software

Description

입체 영상 편집을 위한 장치 및 방법{Apparatus and Method for editing 3D image}Apparatus and Method for editing 3D image}

본 발명은 입체 영상 생성을 위한 편집 장치 및 방법에 관한 것으로서, 특히 카메라로부터 획득된 영상을 부가적인 하드웨어 수단 없이 영상 동기화와 멀티플렉싱의 전처리 과정을 실시할 뿐만 아니라 선명한 영상을 획득하기 위하여 자체 편집기능을 제공하는 장치 및 방법에 관한 것이다.The present invention relates to an editing apparatus and method for generating a stereoscopic image, and in particular, to perform a preprocessing process of image synchronization and multiplexing of an image obtained from a camera without additional hardware means, and to provide a self-editing function to obtain a clear image. It relates to an apparatus and a method for providing.

근래 디스플레이 기술은 인체 연구 기술과 접목되어 사용자의 시각을 효과적으로 자극하여 보다 사실적이고 자극적인 영상을 제공하는 방향으로 기술이 발전되고 있다. 따라서, 사용자의 양안에 빛이 전달되어 사용자가 사물을 입체적으로 판단하는 과정을 분석함으로써 종전의 2D로 제공되던 영상들에 시차를 이용한 깊이감 요소를 부가하여 입체 영상 제작을 위한 방식이 활발히 연구되고 있다.Recently, the display technology is combined with the human body research technology to effectively stimulate the user's vision to provide a more realistic and stimulating image technology. Therefore, a method for producing stereoscopic images is actively researched by adding depth elements using parallax to images previously provided in 2D by analyzing a process in which light is transmitted to both eyes of the user and stereoscopically judging an object. have.

상술한 바와 같은 시차를 이용하여 입체 영상을 제공하기 위한 일반적인 원리는 사용자의 좌우 눈의 위치에 대응하도록 배치된 두 대의 카메라로 영상을 촬영하여, 상기 촬영된 영상을 각기 대응하는 눈에 비쳐지도록 한다. 이때, 각 카메라 의 영상을 해당하는 눈에 대응시키는 방법은 좌/우 눈의 분극(Polarization), 색상(Color, 주로 적색과 청색), 밝기를 달리해 주거나 시간적으로 교대로 영상을 개폐시켜 주는 것이다. 이에 따라, 색상이나 밝기의 차이에 의한 입체감의 인식은 어두울수록 우리 눈에 생기는 잔상(Latent Image)의 지속 시간이 길어지기 때문에 좌우 눈에 인식되는 영상에 시차가 발생하는 것으로부터 기인한다.The general principle for providing a stereoscopic image using the parallax as described above is to take an image with two cameras arranged to correspond to the positions of the left and right eyes of the user, so that the captured image is reflected on the corresponding eyes, respectively. . At this time, the method of mapping the image of each camera to the corresponding eye is to change the polarization, color (mainly red and blue), brightness of the left and right eyes, or open and close the images alternately in time. . As a result, the darker the perception of the three-dimensional effect due to the difference in color or brightness, the longer the duration of the latent image generated in our eyes is caused by the disparity in the image recognized by the left and right eyes.

상기한 바와 같은 영상 처리로 얻어진 입체영상에서의 입체감은 두 눈에 투영되는 물체의 좌, 우측 영상의 차이로 인해 나타나며, 두뇌의 합성과정을 통해 3차원 입체영상으로 인식하게 된다.The stereoscopic feeling in the stereoscopic image obtained by the image processing as described above appears due to the difference between the left and right images of the object projected to the two eyes, and is recognized as the three-dimensional stereoscopic image through the brain synthesis process.

상기 입체 영상을 디스플레이로 제공하기 위한 실사 입체 콘텐츠 제작에 있어서, 일반적으로 입체 카메라로부터 두 개의 좌/우 영상신호를 입력받은 후 동기화하고 입체 영상 포맷으로 변환해주는 전처리 작업과 입체 콘텐츠로 변환하기 위한 편집 작업을 거쳐 생성된다. 상기 입체 영상은 스테레오 영상이라 칭해지기도 한다.In the production of live stereoscopic contents for providing the stereoscopic image to a display, a preprocessing operation for receiving two left and right image signals from a stereoscopic camera and synchronizing them and converting them into a stereoscopic image format and editing to convert the stereoscopic contents into a stereoscopic image format It is created through work. The stereoscopic image may also be referred to as a stereo image.

상기 입체 콘텐츠 제작의 전처리 과정은 현재 대부분 프레임 동기화기(Frame Synchronizer)라 불리는 하드웨어 동기 제어 컨트롤러와 하드웨어 멀티플렉서(Multiplexer)를 사용하여 이루어지는데, 상기 프레임 동기화기는 좌측과 우측으로 나뉘어 촬영되는 영상들을 정확하게 동기화시켜 어긋난 프레임들을 이용한 입체 영상 형성시 발생하는 어색함을 방지하기 위한 것이다. 그리고 상기 하드웨어 멀티플렉서는 상기 동기화된 좌측 영상과 우측 영상을 표시할 입체 디스플레이의 종류에 적절한 입체 영상 포맷으로 실시간 변환하거나 그 결과를 저장하기 위한 것이 다.The preprocessing process of the three-dimensional content production is mostly performed using a hardware synchronous control controller called a frame synchronizer and a hardware multiplexer. The frame synchronizer accurately synchronizes images captured by dividing the left and right sides. This is to prevent awkwardness that occurs when stereoscopic images are formed by using misaligned frames. The hardware multiplexer is for real-time conversion into a stereoscopic image format suitable for the type of stereoscopic display to display the synchronized left image and the right image or to store the result.

도 1은 기본적인 좌우 영상 촬영을 위한 촬영부 구성도로서, 도시한 바와 같이 좌측 카메라(10a)와 우측 카메라(10b) 및 이들의 영상을 동기화 시키는 프레임 동기화부(20), 그리고, 상기 프레임 동기화부(20)가 제공하는 동기화된 좌우 영상을 적절한 입체 영상으로 생성하는 멀티플렉서부(이하, 간단히 '먹싱부'라 칭함), 즉 먹싱부(30)로 이루어진다. 간혹, 동시 촬영시 프레임 동기화를 위한 수단(Gen-lock)이 구비된 카메라들이나 입체 영상 촬영을 위해 전용으로 제작된 카메라의 경우에는 상기 프레임 동기화부가 필요하지 않은 경우가 있으나, 일반적인 카메라의 경우 시간을 기반으로 하는 프레임 동기화부(20)가 필수적이다. 그리고, 상기 먹싱부(30)는 촬영된 영상을 실시간으로 입체영상 포맷으로 변환하여 입체 영상 디스플레이 수단으로 확인하기 위한 것으로, 상기 프레임 동기화부(20)와 먹싱부(30)는 하드웨어 장치를 이용하고 있다. FIG. 1 is a diagram illustrating a photographing unit for basic left and right image capturing, as shown in FIG. 1, a frame synchronizer 20 for synchronizing a left camera 10a and a right camera 10b and images thereof, and the frame synchronizer 20. It consists of a multiplexer unit (hereinafter, simply referred to as a 'muxing unit'), that is, a muxing unit 30, which generates the synchronized left and right images provided by the 20 as an appropriate stereoscopic image. Sometimes, the frame synchronization unit may not be necessary in case of cameras equipped with a means for synchronizing frames (gen-lock) or a camera made exclusively for capturing stereoscopic images during simultaneous shooting. Based on the frame synchronization unit 20 is essential. The muxing unit 30 converts the captured image into a stereoscopic image format in real time and checks the stereoscopic image display means. The frame synchronization unit 20 and the muxing unit 30 use a hardware device. have.

도 2는 상기 도 1과 같은 촬영부를 통해 도 1의 대상체(40)를 촬영한 경우의 영상을 보인 것으로, 도 2a는 좌측 카메라(10a)를 통해 얻어진 영상과 우측 카메라(10b)를 통해 얻어진 영상을 각각 보인 것이며, 도 2b는 이들을 먹싱부(30)에서 사이드 바이 사이드(Side by Side) 형태의 입체 영상으로 변환한 경우의 출력 영상을 보인 것이다. FIG. 2 illustrates an image obtained by photographing the object 40 of FIG. 1 through the photographing unit as shown in FIG. 1. FIG. 2A illustrates an image obtained through the left camera 10a and an image obtained through the right camera 10b. 2b shows output images when the muxing unit 30 converts them to a stereoscopic image in the form of side by side.

일반적으로 사용되는 입체 영상은 상기와 같은 사이드 바이 사이드 포맷을 비롯하여, 탑 바이 바텀(Top by Bottom), 인터레이스(Interlace), 라운드(Round), 프레임 시퀀셜(Frame-sequential) 포맷등이며, 이들은 입체 영상을 구현하는 입체 영상 표시 수단의 종류에 따라 결정된다.Commonly used stereoscopic images include the above side by side format, top by bottom, interlace, round, frame sequential formats, and the like. It is determined according to the type of the stereoscopic image display means for implementing.

도 3은 상기 도 1과 같은 촬영부를 통해 얻은 좌우측 영상을 입체 영상으로 편집하기 위한 소프트웨어의 편집 화면(50)의 예를 보인 것으로, 입체 영상 제작을 위한 전용 소프트웨어가 아직 개발된 것이 없기 때문에 일반적인 동영상 편집 소프트웨어를 활용하여 프레임별로 수작업으로 진행되고 있다. 도시된 편집 화면(50)은 대표적인 동영상 편집 소프트웨어인 "에프터 이펙트"를 이용한 예를 보인 것으로, 수평 인터레이스 포맷의 입체 영상을 생성하기 위해서, 좌측 영상(52)과 우측 영상(53) 각각에 대해 적용할 마스크(51)를 설정하고, 깊이감 조절을 위해 각 영상들의 위치 이동 정도를 좌우측 영상별로 지정하며, 이들 각각을 마스크 처리한 후 합성하여 수평 인터레이스된 입체 영상(54)을 만들도록 합성 과정을 설정한 것을 확인할 수 있다.3 shows an example of an editing screen 50 of software for editing left and right images obtained through the photographing unit as shown in FIG. 1 into a stereoscopic image, and since there is no dedicated software for producing a stereoscopic image, a general moving image is shown. The editing software is used to perform the manual work frame by frame. The illustrated edit screen 50 shows an example using a representative video editing software "After Effect", which is applied to each of the left image 52 and the right image 53 to generate a stereoscopic image in a horizontal interlaced format. A mask 51 is set, and a degree of positional movement of each image is specified for each of the left and right images for depth control, and each of them is masked and synthesized to create a horizontal interlaced stereoscopic image 54. You can confirm the setting.

상술한 바와 같은 과정을 통해 획득된 입체 영상은 단순히 입체적인 영상을 제공하는데 주안을 두어, 좌우 영상 간의 화질 보정을 동일하게 적용하는데 치중하기 때문에 사용자가 상기 입체 영상을 장시간 동안 시청하는데 있어서 쉽게 피로함을 느낄 수 있다는 것을 간과하고 있다. 즉, 실제에서 사람의 양안이 사물을 입체적으로 받아들이는데 있어서, 사물에 반사된 빛이 양안에서 초점을 맺는 정도에 차이가 있어 상대적으로 선명도가 떨어지는 부분도 있는데 반하여, 종래의 입체 영상 제작 방식은 이와 같은 원리를 무시하고 좌우 영상을 일치시키거나 깊이감을 조절하는데 치중하여 상기한 바와 같이 선명도가 떨어지는 부분에 대하여도 실제 사물을 관찰하는 것에 비하여 높은 선명도가 설정됨으로써 사용자의 양안에 대한 피로 감을 가중시킴으로써 장시간 입체 영상을 시청하지 못하는 문제가 있었다.The stereoscopic image obtained through the above-described process is focused on simply providing a stereoscopic image, and is focused on applying the same image quality correction between the left and right images, so that a user may easily feel tired when watching the stereoscopic image for a long time. I overlook that it can. In other words, in reality, both eyes of a person receive a three-dimensional object, there is a difference in the degree to which the light reflected on the object is focused in both eyes, while there is a relatively less sharp part, the conventional three-dimensional image production method is Ignoring the same principle and focusing on matching the left and right images or adjusting the depth, the sharpness is set higher than that of observing a real object even in the case of the lack of sharpness as described above, thereby increasing the feeling of fatigue on both eyes of the user. There was a problem that you can not watch stereoscopic images.

또한, 상기한 바와 같이 입체 영상을 제작하기 위한 과정을 모두 수작업으로 실시해주어야 하기 때문에 제작 시간이 오래 걸리고, 일정 구간에 대한 깊이를 조절하는 작업이 요구되는 경우에는 상기 수작업을 반복해야 한다. 예를 들어, 동일한 컨텐츠의 입체 영상이라 할지라도 대형 화면에 표시되기 위한 입체 영상과 소형 화면에 표시되기 위한 입체 영상은 입체감의 깊이를 달리해야 하므로 비록 동일한 좌우측 동영상 소스를 이용한다 할지라도 다양한 입체 영상 디스플레이에 제공할 컨텐츠들은 각각 달리 편집하여 제작되어야만 한다. 따라서, 이러한 수작업에 의한 제작 시간과 비용이 커질 수밖에 없다. 특히, 고가이며 부피가 큰 프레임 동기화기나 멀티플렉서가 필요하기 때문에 입체 컨텐츠의 대중화가 어려워 결과적으로는 입체 디스플레이의 보급도 늦어지는 결과를 가져오고 있다.In addition, since all the processes for producing a stereoscopic image as described above must be performed manually, if the production takes a long time, and the operation to adjust the depth for a certain section is required to repeat the manual operation. For example, a stereoscopic image for displaying on a large screen and a stereoscopic image for displaying on a small screen, even if the stereoscopic image of the same content has to be different in depth of stereoscopic images, even if the same left and right video sources are used, The contents to be provided to the user must be edited and produced differently. Therefore, manufacturing time and cost by this manual operation will inevitably increase. In particular, since an expensive and bulky frame synchronizer or multiplexer is required, it is difficult to popularize stereoscopic contents, resulting in a delay in the spread of stereoscopic displays.

상기와 같이 고가의 하드웨어 장비나 복잡한 편집 작업이 필요한 입체 영상을 저렴하고 간단하게 제작할 수 있도록 새롭게 제안하는 본 발명 실시예의 목적은 좌우 영상을 특정한 오디오 신호와 함께 촬영한 후 상기 오디오 정보를 근거로 좌우 영상의 동기화를 실시하도록 함으로써, 별도의 하드웨어 동기화기 없이도 소프트웨어 모듈만으로 좌우 영상을 동기화시킬 수 있도록 한 입체 영상 편집을 위한 장치 및 방법을 제공하는 것이다.The purpose of the present invention is to newly produce a three-dimensional image that requires expensive hardware equipment or complicated editing operation as described above, at a low cost and simply. By synchronizing images, an apparatus and method for stereoscopic image editing are provided so that left and right images can be synchronized using only a software module without a separate hardware synchronizer.

본 발명 실시예의 다른 목적은 프레임 동기화 과정에서 검증하는 과정을 복수로 제공하여 동기화 과정에서 발생하는 오차를 최소화하여 프레임의 시간차에 따른 입체 영상 제작과정에서의 오류를 방지하며, 일반적인 하드웨어를 통한 동기화 과정과의 격차를 보상할 수 있는 입체 영상 편집을 위한 장치 및 방법을 제공하는 것이다.Another object of the embodiment of the present invention is to provide a plurality of verification process in the frame synchronization process to minimize the error occurring in the synchronization process to prevent errors in the three-dimensional image production process according to the time difference of the frame, synchronization process through the general hardware The present invention provides an apparatus and method for editing a stereoscopic image that can compensate for a gap between the video data.

본 발명 실시예의 또 다른 목적은 동기화된 좌우 영상을 받아들여 프레임 단위로 함께 표시하면서 입체감 깊이 정도를 프레임 단위, 픽셀 구간 단위로 조절할 수 있도록 하는 전용 편집 수단을 제공함으로써, 용이한 사용자 인터페이스를 통해 간단한 조작만으로 원하는 입체 영상 포맷의 동영상을 생성할 수 있도록 한 입체 영상 편집을 위한 장치 및 방법을 제공하는 것이다. Another object of the embodiment of the present invention is to provide a simple editing through the user interface by providing a dedicated editing means for receiving the synchronized left and right images and display them together in units of frames, and adjust the depth of the three-dimensional depth in units of frames and pixels. The present invention provides an apparatus and method for stereoscopic image editing that can generate a moving image in a desired stereoscopic image format only by manipulation.

본 발명 실시예의 또 다른 목적은 동기화된 좌우 영상을 받아들여 프레임에서 표시되는 사물에 대한 색차 차별성을 부여하여, 사용자가 실제 사물을 관찰하는 것과의 차이를 보상하여 사용자가 입체 영상을 장시간 동안 시청할 수 있도록 한 입체 영상 편집을 위한 장치 및 방법을 제공하는 것이다.Another object of the embodiment of the present invention is to accept the synchronized left and right image to give a color difference to the object displayed in the frame, to compensate for the difference between the user observes the actual object, the user can watch the stereoscopic image for a long time The present invention provides an apparatus and method for stereoscopic image editing.

상기한 목적을 달성하기 위하여 본 발명에 따른 입체 영상 편집을 위한 장치는 카메라로부터 획득한 좌우측 영상 및 오디오 신호를 디지털 처리하고, 상기 좌우측 영상의 화질을 동일하게 처리하여 제공하는 영상 처리부와, 상기 영상 처리부로부터 좌우측 영상 및 오디오 신호를 획득하고, 상기 오디오 신호를 근거로 설정된 신호의 최대값을 비교하여 일치하는 부분을 동기화한 후 기 설정된 입체 영상 포맷으로 변환하는 입체영상 전처리부와, 상기 입체영상 전처리부가 제공하는 입체 영상 포맷을 프레임 단위로 표시하고 특정 입체 영상 포맷으로 합성할 수 있도록 한 입체 영상 편집부를 포함한다.In order to achieve the above object, an apparatus for editing a stereoscopic image according to the present invention includes an image processor for digitally processing left and right images and audio signals obtained from a camera, and processing the same quality of the left and right images, and providing the same. A stereoscopic image preprocessing unit for acquiring left and right images and audio signals from a processor, comparing a maximum value of a set signal based on the audio signal, synchronizing a corresponding portion, and converting the same to a preset stereoscopic image format; And a stereoscopic image editing unit configured to display an additionally provided stereoscopic image format on a frame basis and to synthesize the stereoscopic image format.

이때, 상기 입체영상 전처리부와 입체 영상 편집부는 상기 좌우측 영상 및 오디오 신호를 획득할 수 있는 컴퓨터용 소프트웨어인 것을 특징으로 할 수 있다.In this case, the stereoscopic image preprocessing unit and the stereoscopic image editing unit may be computer software capable of acquiring the left and right image and audio signals.

또한, 상기 신호의 최대값은 상기 오디오 신호를 근거로 RMS(Root-Mean-Square:RMS) 방식으로 처리하여 생성된 좌우 영상에 대응하는 RMS 신호들의 최대값인 것을 특징으로 할 수 있다.The maximum value of the signal may be a maximum value of RMS signals corresponding to left and right images generated by processing by a root-mean-square (RMS) method based on the audio signal.

더불어, 상기 입체영상 전처리부는 상기 좌우측 영상 간에 상기 신호의 최대값이 일치하는 특정 인접 부분의 시간 차이를 근거로, 상기 좌우측 영상에 대응하는 신호 중 어느 하나를 시간 지연시키거나 연장시켜 동기화하며, 상기 입체영상 전처리부는 상기 신호의 최대값이 일치하는 특정 인접 부분에 대한 시간 차이가 기설정된 시간 범위에 포함될 경우 동기화하는 것을 특징으로 할 수 있다. In addition, the stereoscopic image preprocessing unit synchronizes by delaying or extending any one of the signals corresponding to the left and right images based on a time difference between a specific adjacent portion where the maximum value of the signal coincides between the left and right images. The stereoscopic image preprocessing unit may synchronize when a time difference of a specific adjacent portion where the maximum value of the signal coincides with a preset time range.

또한, 상기 입체영상 전처리부가 동기화한 신호에 대하여 기설정된 시간 범위 내에서 시간별로 비교하여 일치되는 시간별 최대값이 기설정된 횟수 이상인 경우 동기화 완료 여부를 출력하거나, 기설정된 시간 범위 내에서 적분을 실시하여 생성된 적분값을 비교함으로써 동기화 완료 여부를 출력하는 검증부를 더 포함할 수 있다. 이때, 상기 검증부는 동기화 완료가 이루어지지 않은 경우 동기화 과정을 초기화하여 최초 좌우측 영상의 오디오 신호로 복귀시키는 것을 특징으로 할 수 있다.In addition, the 3D image preprocessing unit compares the synchronized signals by time within a preset time range and outputs whether the synchronization is completed when the maximum time-matched value is equal to or greater than a preset number of times, or performs integration within a preset time range. The apparatus may further include a verification unit configured to output whether the synchronization is completed by comparing the generated integral values. In this case, when the synchronization is not completed, the verification unit may initialize the synchronization process and return to the audio signal of the first left and right images.

더하여, 상기 입체 영상 편집부는 특정 프레임을 구성하는 일정 범위의 픽셀 집합을 선택하여 색차 조절을 실시함으로써 좌우 시차를 보상할 수 있으며, 상기 색차 조절이 실시된 프레임과 인접한 프레임에 대하여 상기 픽셀 집합과 동일한 픽셀 범위를 파악하고, 상기 색차 조절과 동일한 조건으로 상기 픽셀 범위에 대한 색차 조절을 실시하는 것을 특징으로 할 수 있다. 이때, 상기 색차 조절은 채도, 휘도, 선명도 중 어느 하나에 대한 조절일 수 있다.In addition, the stereoscopic image editing unit compensates for left and right parallaxes by selecting a predetermined range of pixel sets constituting a specific frame to adjust color difference, and the same pixel as the pixel set for a frame adjacent to the color difference controlled frame. The range may be determined and color difference adjustment may be performed on the pixel range under the same conditions as the color difference adjustment. In this case, the color difference adjustment may be an adjustment for any one of saturation, brightness, and sharpness.

또한, 상기한 목적을 달성하기 위한 본 발명의 또 다른 실시예는 좌우측 영상 정보와 오디오 정보를 동시에 촬영하는 단계와, 상기 좌우측 영상 및 오디오 정보를 입력받아 상기 각 영상에 대한 오디오 신호를 검출하는 단계와, 상기 오디오 신호를 근거로 설정된 신호의 최대값을 비교하여 일치하는 부분을 동기화함으로써 영상의 동기화를 실시하는 단계와, 상기 동기화된 좌우 영상을 입체 영상 포맷으로 변환하는 단계를 포함하는 것을 특징으로 한다.In addition, another embodiment of the present invention for achieving the above object is the step of photographing the left and right image information and audio information at the same time, and receiving the left and right image and audio information to detect the audio signal for each image And synchronizing an image by comparing a maximum value of a signal set based on the audio signal and synchronizing a corresponding portion, and converting the synchronized left and right images into a stereoscopic image format. do.

이때, 상기 동기화를 실시하는 단계에서 상기 신호의 최대값은 상기 오디오 신호를 RMS 방식으로 변환하여 생성된 RMS 신호의 최대값인 것을 특징으로 할 수 있다.At this time, the maximum value of the signal in the step of performing synchronization may be characterized in that the maximum value of the RMS signal generated by converting the audio signal to the RMS method.

또한, 상기 동기화를 실시하는 단계에서 동기화된 신호를 검증하여 동기화 완료 여부를 출력함으로써 검증하는 단계를 더 포함할 수 있으며, 상기 검증하는 단계는 상기 동기화된 신호를 근거로 기설정된 시간 범위 내에서 일치되는 시간별 최대값이 기설정된 횟수 이상인 경우 동기화 완료 여부를 출력하거나, 상기 동기화된 신호를 근거로 기설정된 시간 범위 내에서 적분을 실시하여 생성된 적분값을 비교함으로써 동기화 완료 여부를 출력하는 것을 특징으로 할 수 있다.The method may further include verifying by synchronizing the synchronized signal and outputting whether or not the synchronization is completed in the performing of the synchronization, wherein the verifying is performed within a preset time range based on the synchronized signal. If the maximum time value for each time is more than a predetermined number of times, whether or not the synchronization is completed, or based on the synchronized signal by performing the integration within a predetermined time range by comparing the integral value generated and outputs whether the synchronization is completed or not; can do.

이상에서 상술한 바와 같이, 본 발명의 실시예에 따른 입체 영상 편집을 위한 장치 및 방법은 좌우 영상을 촬영한 후 획득된 오디오 정보를 근거로 좌우 영상의 동기화를 실시하도록 함으로써, 별도의 하드웨어 동기화기 없이도 소프트웨어 모듈만으로 좌우 영상을 동기화시킬 수 있어 비용을 줄이고 사용자 접근성을 높일 수 있는 효과가 있다.As described above, the apparatus and method for editing a stereoscopic image according to an exemplary embodiment of the present invention may perform synchronization of left and right images based on audio information obtained after capturing left and right images, thereby providing a separate hardware synchronizer. Without the software module alone, the left and right images can be synchronized, reducing costs and increasing user accessibility.

본 발명의 실시예에 따른 입체 영상 편집을 위한 장치 및 방법은 동기화된 상기 오디오 정보에 대한 다양한 검증을 통해 좌우 영상의 동기화의 정확도를 높여 선명한 입체 영상 제공이 이루어지도록 하는 효과가 있다.Apparatus and method for stereoscopic image editing according to an embodiment of the present invention has an effect of providing a clear stereoscopic image by increasing the accuracy of synchronization of left and right images through various verification of the synchronized audio information.

본 발명의 실시예에 따른 입체 영상 편집을 위한 장치 및 방법은 동기화된 좌우 영상을 받아들여 프레임 단위로 함께 표시하면서 입체감 깊이 정도를 프레임 단위, 구간 단위 및 픽셀 단위로 조절할 수 있도록 하는 전용 편집 수단을 제공함으로써, 용이한 사용자 인터페이스를 통해 간단하게 원하는 입체 영상 포맷의 동영상을 생성할 수 있는 효과가 있다.An apparatus and method for stereoscopic image editing according to an embodiment of the present invention includes a dedicated editing means for receiving the synchronized left and right images and displaying them together in units of frames while controlling the depth of stereoscopic depth in units of frames, sections, and pixels. By providing a video, an image of a desired stereoscopic video format can be simply generated through an easy user interface.

본 발명의 실시예에 따른 입체 영상 편집을 위한 장치 및 방법은 실제 사물에서 관찰되는 것과 같은 수준으로 보정된 입체 영상을 제공하여, 시차를 보상하고 사용자가 장시간 입체 영상을 시청할 수 있는 효과가 있다.Apparatus and method for stereoscopic image editing according to an embodiment of the present invention provide a stereoscopic image corrected to the same level as observed in a real object, thereby compensating parallax and allowing a user to watch a stereoscopic image for a long time.

상기한 바와 같은 본 발명의 실시예들을 첨부된 도면들을 통해 상세히 설명하면 다음과 같다. Embodiments of the present invention as described above will be described in detail with reference to the accompanying drawings.

도 4는 본 발명 일 실시예의 동작 과정을 보인 개념도로서, 이를 통해 본원 발명의 전체적인 동작 방식을 설명하도록 한다. 상기 도 4의 상단부(a)에 도시된 개념적 순서도와 하단부(b)에 도시된 예시적 정보들은 각 순서에서 따라 정렬된 것이다. 4 is a conceptual diagram showing an operation of an embodiment of the present invention, through which the overall operation of the present invention will be described. The conceptual flow chart shown in the upper part (a) of FIG. 4 and the exemplary information shown in the lower part (b) are arranged in each order.

도시된 실사 입체 영상 포맷의 컨텐츠를 얻기 위한 상단부의 개념적 순서도를 통해 본원 발명의 개략적인 흐름을 보면, 우선 촬영 수단을 이용하여 좌우 동영상(영상과 오디오 신호의 통칭)을 획득하고, 이를 직접(직접 연결) 혹은 간접(데이터만 전달) 적으로 컴퓨터상에서 동작하는 어플리케이션 프로그램에 제공한다(S1).Looking at the schematic flow of the present invention through the conceptual flowchart of the upper part for obtaining the content of the real-life stereoscopic image shown in the drawing, first, the left and right moving images (collectively referred to as the image and audio signal) are obtained by using a photographing means, and directly (directly) Connection) or indirectly (data transfer only) to an application program running on a computer (S1).

이때, 상기 제공되는 좌우 동영상은 디지털 신호 처리되어 전달될 수 있으며, 상기 좌우 동영상의 화질 불일치로 인한 영상 조절의 어려움을 해소코자, 상기 어플리케이션 프로그램은 기설정된 보정 설정대로 상기 동영상의 화질을 일치시킬 수 있다. 즉, 상기 좌우 동영상 중 하나의 동영상에 대한 화질 정보를 분석하여, 상기 화질 정보를 보정 설정의 기준으로 설정하고, 나머지 하나를 상기 화질 정보에 대응하여 보정할 수 있도록 할 수도 있다.(S2)In this case, the provided left and right videos may be processed by digital signals and transmitted, and in order to solve the difficulty of controlling an image due to the quality mismatch of the left and right videos, the application program may match the picture quality of the video according to a preset correction setting. have. In other words, by analyzing the image quality information of one of the left and right videos, it is possible to set the image quality information as a reference of the correction setting, and to correct the other one corresponding to the image quality information (S2).

이때, 상기 화질 정보나 보정 설정은 영상의 채도, 휘도, 선명도 등에 관한 설정일 수 있다.In this case, the image quality information or the correction setting may be a setting regarding saturation, luminance, sharpness, etc. of an image.

상술한 바와 같은 과정을 거친 후, 획득되는 상기 좌우 동영상에 대한 예로 하단부에 도시된 바와 같이 상이한 시점을 가지는 동일 대상의 영상들이 제시되고 있다. 상기 어플리케이션 프로그램은 상기 도시된 후속되는 각 기능 블록들(S3~S7)을 수행하게 되며, 이는 단일 소프트웨어이거나 프로그램 모듈(DLL, OCX, ActiveX등) 및 이를 관리하는 통합 소프트웨어의 형태를 가질 수 있고, 실질적으로 하드웨어가 아닌 소프트웨어적으로 실시될 수 있는 모든 형태를 포괄한다. 본 실시예에서는 단순히 개인용 컴퓨터상에서 동작하는 어플리케이션 프로그램을 예로 들지만, 예로든 개인용 컴퓨터가 아닌 전용 장치에서 동작할 수도 있고, 원격 서버에서 동작할 수도 있으며, 가상적인 컴퓨팅 환경에서 동작할 수도 있는 등, 실질적으로 상기 어플리케이션 프로그램이 실행될 수 있는 어떠한 환경이라도 무관하다. 하지만, 범용적으로 널리 사용되는 개인용 컴퓨터에서 일반적인 운영체제 하에서 동작하는 일반적인 프로그램인 것이 범용성 측면에서 유리하다.After the above process, images of the same object having different viewpoints are presented as shown in the lower portion of the left and right moving images. The application program executes each of the following functional blocks S3 to S7, which may be a single software or a program module (DLL, OCX, ActiveX, etc.) and integrated software for managing the same. It encompasses virtually any form that can be implemented in software rather than hardware. In the present embodiment, an application program running on a personal computer is merely an example. However, the application program may operate on a dedicated device, a remote server, or a virtual computing environment. This is irrelevant to any environment in which the application program can be executed. However, it is advantageous in terms of general versatility to be a general program that runs under a general operating system in a general-purpose widely used personal computer.

상기 소프트웨어적으로 동작하는 기능 블록들(S3~S7)의 동작을 살펴보면, 우선 제공받은 좌우 동영상의 오디오 신호를 각각 추출한다(S3). 그리고 상기 각 오디오 신호들을 필터링하여 잡음을 제거한다(S4). 이때의 예시적인 파형이 하단부에 제시되고 있으며, 도시된 바와 같이 좌우측 오디오 신호들이 어긋나 있음을 확인할 수 있다. 이는 특별한 장치(예를 들어, Gen-Lock)가 없는 촬영 수단을 이용할 경우 실질적인 촬영 타이밍이 상이하기 때문에 발생되는 것으로 이를 그대로 입체 영상 포맷으로 변환할 경우 입체 영상의 품질이 저하되게 된다.Looking at the operation of the functional blocks (S3 ~ S7) that operate in software, first to extract the audio signal of the left and right video provided (S3). The audio signals are filtered to remove noise (S4). An exemplary waveform at this time is shown in the lower portion, and as shown, it can be seen that the left and right audio signals are shifted. This is caused by the fact that the actual shooting timing is different when using a photographing means without a special device (eg, Gen-Lock). When this is converted into a stereoscopic image format, the quality of the stereoscopic image is deteriorated.

따라서, 상기 단계들(S3, S4)을 통해 추출된 잡음없는 좌우 오디오 신호로부터 RMS(Root-Mean-Sqaure:RMS) 방식을 이용하여 RMS 신호를 생성시키고(S5), 시간별 상기 좌우 오디오 신호에 대한 RMS 신호의 최대값을 기준으로 비교하고 시간 차이를 조절하여 상기 최대값을 일치시킴으로써 동기화 과정을 수행할 수 있다(S6). 이때, 상기 최대값은 상기 좌우 오디오 신호에 대한 RMS 신호들 중 어느 하나의 RMS 신호의 최대값을 기준으로 나머지 RMS 신호와의 차이가 기설정된 오차범위 내에 있는 경우 동일 신호로 간주하여 동기화할 수도 있다.Accordingly, the RMS signal is generated from the noise-free left and right audio signals extracted through the steps S3 and S4 by using a root-mean-square (RMS) scheme (S5), and for the left and right audio signals over time. The synchronization process may be performed by comparing the maximum value of the RMS signal with reference and adjusting the time difference to match the maximum value (S6). In this case, the maximum value may be synchronized with the same signal when the difference with the other RMS signal is within a preset error range based on the maximum value of the RMS signal of the left and right audio signals. .

즉, 기설정된 시간 범위 내에서 상기 RMS 신호의 일부분만을 이용하여 용이하게 동기화시킬 수 있으며, 더 상세히 설명하면 특정 구간을 설정하거나 기설정된 시간 범위 내에서 좌우 오디오 신호에 대한 RMS 신호들 중 어느 하나의 최대값을 기준으로 하여 나머지 하나의 RMS 신호의 최대값이 일치하는 부분을 시간별로 비교하여 시간 차이를 측정하고, 상기 RMS 신호들 중 어느 하나의 시간을 지연시키거나 연장시켜 상기 RMS 신호들 간의 시간 차이를 보상하여 일치시킴으로써 동기화가 이 루어질 수 있다.That is, it can be easily synchronized using only a portion of the RMS signal within a predetermined time range, and more specifically, to set a specific section or one of the RMS signals for the left and right audio signals within a predetermined time range. The time difference is measured by comparing parts of the maximum value of the other one RMS signal with respect to the maximum value based on the maximum value, and delaying or extending the time of any one of the RMS signals. Synchronization can be achieved by compensating for and matching the differences.

이때, 상기 RMS 신호들 간의 시간 차이는 기설정된 임계치 내에서 이루어지는 것이 바람직하다. 그 이유는, 상기 RMS 신호의 최대값이 일치하지만 시간 간격에 상당한 차이가 있을 경우 최대값이 일치되는 부분에 대응되는 좌우 영상의 프레임이 동일하지 않을 소지가 높으므로, 프레임간의 시간 차이에 대한 일정 기준을 마련하여 상기 RMS 신호의 최대값이 일치하지만 프레임이 동일하지 않은 경우를 방지하기 위함이다.In this case, the time difference between the RMS signals is preferably made within a predetermined threshold. The reason is that if the maximum value of the RMS signal coincides but there is a significant difference in time interval, there is a high possibility that the frames of the left and right images corresponding to the portion where the maximum value coincides are not the same, so that the time difference between the frames is constant. This is to prevent a case where the maximum value of the RMS signal coincides but the frames are not identical by providing a reference.

따라서, 상기 시간 차이가 기설정된 임계치를 벗어난 경우 서로 다른 프레임으로 간주하여 오류 발생을 방지할 수 있으며 정밀한 동기화가 이루어지도록 할 수 있다. 따라서, 상기 RMS 신호들 간의 시간 차이가 상기 임계치 내에 있는 경우 동기화를 실시하여 상기 RMS 신호들간의 최대값을 일치시킴으로써 동기화가 이루어진다.Therefore, when the time difference is out of the predetermined threshold value, it may be regarded as different frames to prevent the occurrence of an error and precise synchronization may be performed. Therefore, if the time difference between the RMS signals is within the threshold, synchronization is performed by matching the maximum value between the RMS signals.

또한, 상기한 바와 같이 RMS 신호의 최대값을 이용하여 동기화한 후 상기 동기화가 정확히 이루어졌는지에 대하여 검증하는 단계를 거칠 수도 있는데, 이는 다음과 같은 방식을 따를 수 있다.In addition, after synchronizing using the maximum value of the RMS signal as described above, the step of verifying whether the synchronization is performed correctly may be performed, which may be followed.

첫번째로, 상기 RMS 신호의 최대값을 이용하여 동기화된 상기 RMS 신호들에 대하여 기설정된 시간 범위나 사용자 임의로 특정한 시간 범위를 재설정하여 상기 시간 범위 내에서 상기 RMS 신호들의 최대값이 일치하는 부분이 기설정된 횟수 이상인 경우 동기화가 정상적으로 이루어졌다고 판단하여 동기화 완료 여부를 출력토록 할 수 있다. 두번째는, 동기화된 상기 RMS 신호들에 대하여 기설정된 시간 범위 나 사용자 임의로 특정한 시간 범위를 재설정하여 상기 시간 범위 내에서 적분을 실시하여 적분값이 일치하는 경우 동기화가 정상적으로 이루어졌다고 판단하여 동기화 완료 여부를 출력토록 할 수도 있다. 특히, 상기 적분값 비교시 오차범위를 허용할 수 있음은 물론이다.Firstly, a predetermined time range or a user-specified time range is reset for the synchronized RMS signals using the maximum value of the RMS signal, so that the maximum value of the RMS signals within the time range matches. In case of more than the set number of times, it may be determined that the synchronization is normally performed and may output whether the synchronization is completed. Second, it is determined whether the synchronization is completed by determining that the synchronization is normally performed when the integration value is matched by resetting the preset time range or a user-specified time range with respect to the synchronized RMS signals. You can also output it. In particular, it is a matter of course that the error range can be allowed when comparing the integral values.

만일, 상기한 바와 같은 검증을 통해 기설정된 횟수보다 작거나, 적분값이 일치하지 않는 경우 동기화 실패를 출력하고 동기화 과정 이전의 오디오 신호로 초기화하여 상기 동기화 과정을 다시 거치도록 할 수도 있다. If it is less than a predetermined number of times through the verification as described above, or if the integral value does not match, the synchronization may be outputted and initialized with an audio signal before the synchronization process to perform the synchronization again.

상술한 바와 같이 RMS 신호를 기반으로 설명하였지만 이는 본 발명의 일실시예로서 설명한 것에 불과하며, 다른 방식으로도 오디오 신호를 근거로 기준값을 설정하고 비교하여 동기화할 수 있다.Although described based on the RMS signal as described above, this is merely described as an embodiment of the present invention, and can also be synchronized by setting and comparing reference values based on the audio signal in other ways.

상기 동기화 과정은 프레임 동기화기와 같은 하드웨어 장비를 이용하던 것을 소프트웨어 방식으로 처리할 수 있도록 구성한 것이며, 이를 통해 저렴한 비용과 간편한 방식을 통해 좌우 동영상을 동기화할 수 있게 된다. The synchronization process is configured to process a hardware device such as a frame synchronizer in a software manner, and thus it is possible to synchronize left and right videos through a low cost and a simple method.

그리고 상기 과정을 통해 동기화된 좌우 영상을 후술 되는 전용 편집 프로그램에 적용하거나 다른 종류의 프로그램이나 입체 영상 디스플레이에 직접 제공하기 위해 동기된 좌우 동영상을 입체 영상 포맷으로 저장한다. 상기 입체 영상 포맷은 입체 디스플레이 방식에 따라 다양한 종류가 혼재되어 존재하므로 다양한 포맷들을 지원하여 이들 중 하나를 선택하여 저장할 수 있도록 하는 것이 바람직하다. 하지만, 후술되는 전용 편집 프로그램에 적용하기 위한 목적이라면 가장 간단한 입체 영상 포맷인 시퀀셜 프레임 방식(하단에 도시된 방식)이나 사이드-바이-사이드 혹 은 탑-바이-바텀 방식을 이용할 수 있다.In addition, the left and right videos synchronized through the above process are applied to a dedicated editing program to be described later or directly provided to another type of program or a 3D video display. Since the stereoscopic image formats are mixed according to the stereoscopic display method, it is preferable to support various formats so that one of them can be selected and stored. However, if the purpose is to be applied to a dedicated editing program to be described later, the sequential frame method (the method shown below), the side-by-side, or the top-by-bottom method, which is the simplest stereoscopic video format, may be used.

상기 동기화된 좌우 영상을 입체 영상 포맷으로 생성하는 과정 역시 소프트웨어 방식이며, 이는 고가의 하드웨어 멀티플렉서를 효과적으로 대체할 수 있게 된다. 즉, 기존의 하드웨어 멀티플렉서는 영상 촬영시 그 결과를 입체 디스플레이에 적용하여 촬영되는 입체 영상의 내용과 상태를 모니터링하기 위해 필수적으로 사용되는 장비이다. 하지만, 상기 하드웨어 멀티플렉서는 상당히 고가이며 부피가 크기 때문에 입체 영상 컨텐츠 제작이 보편화되지 못한 주요 원인 중 하나로 간주되고 있다. 그러나 소프트웨어적으로 먹싱을 실시하는 상기 도시된 과정(S7)은 동기화된 좌우 동영상을 고가의 하드웨어 장비가 없이도 단일 입체 영상 포맷으로 생성할 수 있다.The process of generating the synchronized left and right images in the stereoscopic image format is also a software method, which can effectively replace an expensive hardware multiplexer. That is, the existing hardware multiplexer is an essential equipment used to monitor the content and state of the stereoscopic image to be taken by applying the result to the stereoscopic display when the image is taken. However, the hardware multiplexer is considered to be one of the main reasons that stereoscopic image content production has not been universalized because it is very expensive and bulky. However, the illustrated process of performing muxing in software (S7) can generate synchronized left and right moving images in a single stereoscopic image format without expensive hardware equipment.

또한, 상기 입체 영상 포맷이 후술되는 전용 편집 프로그램에 적용될 경우, 해당 편집 프로그램이 제공하는 입체의 깊이감 조절이 자유롭고, 원할 경우 입체감 깊이가 조절된 결과물을 입체 디스플레이를 통해 확인할 수 있으므로 경우에 따라서는 상기 먹싱 과정(S7)이 생략되고 동기화된 좌우측 동영상 정보를 후속되는 전용 편집 프로그램이 직접 이용할 수도 있다.In addition, when the stereoscopic image format is applied to a dedicated editing program to be described later, the stereoscopic depth control provided by the editing program is free, and if desired, the result of adjusting the stereoscopic depth may be checked through the stereoscopic display. The muxing process S7 may be omitted, and the dedicated dedicated editing program may directly use the synchronized left and right moving picture information.

도 5는 상기 과정을 통해 얻어진 입체 영상 포맷을 읽어들여 원하는 프레임 구간을 원하는 수준의 깊이감으로 설정한 후 이를 목표 입체 영상 디스플레이에 적합한 해상도와 입체 영상 포맷으로 변환할 수 있도록 하는 전용 입체 편집 프로그램의 화면 구성 예를 보인 것이다. 5 is a diagram of a dedicated stereoscopic editing program that reads a stereoscopic image format obtained through the above process, sets a desired frame section to a desired level of depth, and then converts the stereoscopic image format into a resolution and stereoscopic image format suitable for a target stereoscopic image display. The screen configuration example is shown.

도시한 바와 같이 제공되는 화면(100)은 좌측 영상을 표시하는 좌영상 디스 플레이 영역(101)과 우측 영상을 표시하는 우영상 디스플레이 영역(102)를 포함하며, 상기 좌우영상의 입체 깊이감을 조절하기 위한 깊이감 조절 윈도우와 색차 보정을 통해 상기 좌우영상의 화질 차이를 보상하기 위한 색차 보정 윈도우를 포함하는 좌우 영상 조절 윈도우(110)가 제공된다.The screen 100 provided as illustrated includes a left image display area 101 displaying a left image and a right image display region 102 displaying a right image, and adjusting a stereoscopic depth of the left and right images. There is provided a left and right image adjustment window 110 including a color difference correction window for compensating a difference in image quality of the left and right images through a depth adjustment window and color difference correction.

또한, 복수의 프레임들 중 원하는 프레임을 선택하기 용이하고 원하는 프레임 구간을 설정하기 용이하도록 복수 프레임들을 나열식으로 제공하는 프레임 편집 윈도우(130)와 상기 제공되는 복수 프레임들에 대응되는 좌우 오디오 신호들을 나타내는 오디오 편집 윈도우(140)가 제공된다.In addition, the frame editing window 130 provides a plurality of frames in a row so that it is easy to select a desired frame among a plurality of frames and to easily set a desired frame section, and the left and right audio signals corresponding to the provided plurality of frames. Indicative audio editing window 140 is provided.

이때, 상기 오디오 편집 윈도우(140)는 좌우영상 오디오 신호를 동기화시키기 위한 신호레벨 조절 스크롤바가 상기 좌우 오디오 신호에 대응하여 각각 구비됨으로써 좌우 영상의 시간 차이를 수동으로 조절하여 일치시킴으로써 동기화를 진행할 수 있다. 또한, 우측에 구비된 입력 버튼을 클릭하여 제공되는 입력창을 통해 상기 좌우영상의 오디오 신호레벨 중 어느 하나의 신호값이 위치하는 시간을 기준으로 하여, 나머지 하나의 신호값이 위치하는 시간과의 차이에 대한 값을 입력하여 신호를 지연시키거나 연장시킴으로써 기준이 되는 신호값이 위치하는 시간에 일치시켜 동기화를 수행할 수도 있다. 더불어, 상기 좌우영상 오디오 신호의 신호 조절에 따라 상기 좌우영상 오디오 신호에 대응하는 프레임들이 상기 프레임 편집 윈도우(130)에 나타나도록 할 수 있다.In this case, the audio editing window 140 may be synchronized by manually adjusting and matching the time difference between the left and right images by respectively providing signal level control scroll bars for synchronizing the left and right image audio signals in response to the left and right audio signals. . In addition, based on the time at which one signal value of the audio signal level of the left and right images is positioned through an input window provided by clicking an input button provided on the right side, By inputting a value for the difference to delay or extend the signal, synchronization may be performed by matching the time at which the reference signal value is located. In addition, the frames corresponding to the left and right video audio signals may be displayed in the frame editing window 130 according to the control of the left and right video audio signals.

또한, 상기와 같은 수동조절 이외에도 상기 좌우영상의 신호값을 일치시키는 과정이 소정의 알고리즘을 통해 자동으로 수행될 수 있도록 할 수 있음은 자명하 다.In addition, it is obvious that the process of matching signal values of the left and right images may be automatically performed through a predetermined algorithm in addition to the manual adjustment as described above.

상기한 동기화 과정을 수행한 후 상기 오디오 편집 윈도우(140)의 우측 끝단에 위치한 검증 버튼을 클릭하여 상기 동기화 결과에 대하여 상술한 바와 같이 일치되는 신호값의 기설정된 임계치 충족 여부 또는 적분값 일치 여부를 판단함으로써 검증을 실시하는 과정을 통해 동기화 완료 여부를 출력토록 할 수 있으며, 이는 별도의 표시창을 통해 알려줄 수 있다.After performing the above synchronization process, click the verify button located at the right end of the audio editing window 140 to check whether the matching signal value meets a predetermined threshold or integral value as described above with respect to the synchronization result. By judging, verification can be performed to output the completion of synchronization, and this can be informed through a separate display window.

이때, 상기 검증 결과 동기화 실패로 판명되면, 상기 좌우영상 오디오 신호에 대한 변환과정 이전 단계로 초기화하여 상기 과정을 다시 진행토록 할 수 있다. 상기 변환과정 이전 단계는 RMS 신호 생성 이전 단계인 것으로 하는 것이 바람직하다.In this case, if it is determined that the synchronization has failed, it may be initialized to a previous step of the conversion process for the left and right video audio signals and may be performed again. Preferably, the step before the conversion process is a step before generating the RMS signal.

더하여, 프레임 기준으로 원하는 편집 지점으로 고속 이동할 수 있도록 편집 위치를 설정하기 위한 프레임 진행 스크롤바(150)와 현재 상태를 표시하기 위한 상태 출력 윈도우(160) 및 각종 메뉴들을 표시하는 메뉴바(120)가 구성되어 있다. 이때, 상기 프레임 진행 스크롤바(150)는 우측에 입력 버튼을 마련하여 상기 오디오 편집 윈도우(140)의 입력 버튼 기능과 마찬가지로 원하는 프레임 지점으로 이동할 수 있도록 할 수도 있다.In addition, a frame progress scroll bar 150 for setting an edit position to move quickly to a desired edit point on a frame basis, a status output window 160 for displaying a current state, and a menu bar 120 for displaying various menus are provided. Consists of. In this case, the frame progress scroll bar 150 may be provided with an input button on the right side to move to a desired frame point like the input button function of the audio editing window 140.

상기 하나의 화면상에 표시되는 각 정보들은 반드시 단일 화면에 모두 표시되어야 하는 것은 아니며, 이들 중 일부는 특정 메뉴를 선택할 경우에만 나타나도록 할 수 있고, 화면의 구성 역시 다양하게 변경될 수 있다.Each information displayed on the single screen does not necessarily need to be displayed on a single screen. Some of them may be displayed only when a specific menu is selected, and the configuration of the screen may be variously changed.

비록, 도시되지는 않았지만, 입체 영상 디스플레이를 통해 프레임 편집과 동 시에 입체 내용을 확인할 수 있도록 하는 입체 영상 디스플레이 영역이 더 추가되거나, 현재 프레임에 대한 입체 영상을 전체 화면으로 제공하는 메뉴가 제공되어 빠르게 현재의 프레임(혹은 프레임 구간)의 입체감 상태를 확인할 수 있도록 구성될 수도 있다.Although not shown, an additional stereoscopic image display area for displaying stereoscopic contents at the same time as frame editing through stereoscopic image display is added, or a menu for providing a stereoscopic image of the current frame in full screen is provided. It may be configured to quickly check the three-dimensional state of the current frame (or frame section).

상기 화면(100)을 구성하는 각 요소들로 이루어진 사용자 인터페이스는 당연히 다양한 입력 수단에 의해 조절될 수 있는데, 이러한 입력수단은 일반적인 키보드, 마우스, 타블렛, 터치패드, 음성 등을 포괄할 수 있으며, 이는 자명한 내용이므로 별도로 도시하지는 않는다.The user interface composed of the elements constituting the screen 100 may naturally be controlled by various input means, which may include a general keyboard, a mouse, a tablet, a touch pad, a voice, and the like. It is self explanatory and is not shown separately.

상기 화면(100)에 제공되는 사용자 인터페이스를 통해 해당 인터페이스로 제공되는 각 기능들을 살펴보면, 우선 상기 화면(100)과 같이 제공되는 입체 영상 편집 프로그램은 도 4를 통해 설명한 방식이나 그 외의 다양한 방식으로 생성된 입체 영상 포맷을 불러들여 좌우 영상을 분리한 후 프레임 단위로 사용자에게 제공할 수 있다. 그리고 프레임 단위로 입체감의 깊이를 조절(필요한 경우 실시간 확인)할 수 있으며, 구간 설정을 통해 일괄적으로 입체감을 조절할 수도 있다. 또한, 이러한 과정을 완료한 후 다시 원하는 해상도와 입체 영상 포맷으로 좌우 영상과 오디오 신호를 변환하여 저장하는 기능을 포함한다. Looking at the functions provided by the interface through the user interface provided on the screen 100, first, the stereoscopic image editing program provided with the screen 100 is generated by the method described with reference to FIG. 4 or other various methods. The stereoscopic image format may be called to separate left and right images and provided to the user in units of frames. In addition, the depth of the three-dimensional effect can be adjusted (in real time, if necessary) in units of frames, and the three-dimensional effect can be collectively adjusted through the section setting. In addition, after completing this process, and converts the left and right images and audio signals to the desired resolution and stereoscopic image format again.

즉, 사용자가 상기 편집 프로그램을 실행시키고 원하는 입체 영상 포맷을 선택하면 해당 좌우 동영상에 대한 시각적 정보가 프레임 단위로 제공되며, 이때 사용자는 전체적으로 입체감을 선택할 수 있고, 원하는 부분은 구간 혹은 프레임 단위로 입체감을 달리 조절할 수 있으며, 이를 원하는 해상도 및 입체 영상 포맷으로 변환하도록 함으로써, 원하는 입체 영상 디스플레이에 적합한 컨텐츠를 용이하게 생성할 수 있게 되는 것이다. In other words, when the user executes the editing program and selects a desired 3D image format, visual information on the left and right videos is provided in units of frames, and the user can select a 3D effect as a whole, and a desired part is 3D in units of sections or frames. It can be adjusted differently, and by converting it to the desired resolution and stereoscopic image format, it is possible to easily generate content suitable for the desired stereoscopic image display.

또한, 상기 편집 프로그램을 이용하여 상기 프레임의 특정 픽셀 구간(101a, 102a)을 설정할 수 있는 픽셀 구간 설정 기능과 상기 픽셀 구간에 대한 색차를 보정하는 색차 보정을 좌우 영상 조절 윈도우(110)에 포함된 색차 보정 윈도우를 통해 실시할 수 있어, 설정된 상기 픽셀 구간에 대한 채도, 휘도, 선명도 등을 보정할 수 있다.In addition, the left and right image adjustment window 110 includes a pixel section setting function for setting specific pixel sections 101a and 102a of the frame using the editing program, and color difference correction for correcting color differences for the pixel sections. The color difference correction window may be used to correct saturation, luminance, sharpness, etc. of the pixel section.

이때, 상기 좌우영상 중 어느 하나의 특정 프레임에 제1픽셀 구간(101a)을 지정하여 상기와 같은 색차 조절을 실시함으로써 생성된 설정정보는 상기 특정 프레임에 대응되는 나머지 하나의 프레임에서 상기 제1픽셀 구간(101a)에 대응되는 제2픽셀 구간(102a)이 자동 지정되도록 할 수 있으며, 상기 설정정보와 동일한 내용을 상기 제 2픽셀 구간(102a)에 자동으로 적용시킬 수 있다.In this case, the setting information generated by designating the first pixel section 101a in any one of the left and right images and adjusting the color difference is used in the first pixel in the other one frame corresponding to the specific frame. The second pixel section 102a corresponding to the section 101a may be automatically designated, and the same content as the setting information may be automatically applied to the second pixel section 102a.

더불어, 상기 편집 프로그램은 상기와 같은 방식으로 설정된 픽셀 구간의 설정 정보를 저장하고, 상기 설정된 픽셀 구간을 포함하는 프레임을 기준으로 하여 상기 프레임 전후로 인접한 적어도 하나 이상의 프레임 구간을 설정하여 상기 픽셀 구간의 움직임을 추적함으로써, 인접한 프레임에 포함된 상기 픽셀 구간에 대하여 상기 설정 내용을 적용할 수도 있다.In addition, the editing program stores the setting information of the pixel section set in the same manner as described above, and sets at least one adjacent frame section before and after the frame based on a frame including the set pixel section to move the pixel section. By tracing, the setting content may be applied to the pixel section included in an adjacent frame.

이를 통해, 실제에서 사용자가 사물을 볼 때 흐릿하게 보이는 부분이 입체 영상 제공 과정에서 선명하게 보여 사용자의 눈의 피로를 가중시키는 것을 방지하고자, 상기 흐릿하게 보이는 부분에 대응하는 상기 픽셀 구간을 설정하여 색차 보 정을 실시함으로써 좌우 시차를 보상하도록 할 수도 있다.By doing this, in order to prevent the user from seeing the blurry part of the object in the stereoscopic image providing process to increase the fatigue of the user's eyes, by setting the pixel section corresponding to the blurry part It is also possible to compensate for left and right parallax by performing color difference correction.

상기 편집 프로그램은 도 4를 통해 설명한 동기화 및 먹싱 프로그램과 일체형으로 구성될 수 있고, 각각 상이한 프로그램으로 나누어질 수 있으며, 모듈 상태로 분리 구성된 후 통합적인 관리 프로그램에 의해 선별 호출되어 관리될 수도 있다.The editing program may be integrated with the synchronization and muxing program described with reference to FIG. 4, may be divided into different programs, and may be divided and configured into a module state, and then may be selectively called and managed by an integrated management program.

상기와 같이 특정한 오디오 동기화 정보가 포함된 좌우측 동영상 소스가 준비되면 후속되는 '동기화', '먹싱', '입체감 편집', '영상 편집', '해상도 변환', '입체 영상 포맷 변환' 과정이 모두 소프트웨어를 통해 실시될 수 있어 실사 입체 영상 컨텐츠의 생성이 대단히 용이해지며, 이를 위한 하드웨어적인 부담이나 비용 발생 역시 크게 줄어들 수 있게 된다.When the left and right video sources including specific audio synchronization information are prepared as described above, the following processes of 'synchronization', 'muxing', 'stereoscopic editing', 'video editing', 'resolution conversion' and 'stereoscopic video format conversion' are all performed. Since it can be implemented through software, it is very easy to generate real-time stereoscopic image contents, and the hardware burden and cost for this can be greatly reduced.

그러면, 상기 여러가지 가능성들을 함께 설명한 상기 소프트웨어적인 과정들을 도 6에 도시된 전체적인 동작 순서의 예를 통해 정리하여 설명하도록 한다. Then, the software processes described together with the various possibilities are collectively described through an example of the overall operation sequence illustrated in FIG. 6.

먼저, 목표 입체 영상 디스플레이를 결정한 후 적절한 해상도의 입체 영상 포맷을 생성하기 위해 소스 동영상을 입력받는다. 이는 하드웨어 연결을 통해 직접 실시간 입력받을 수도 있고, 파일 형태로 입력받을 수도 있으며, 경우에 따라서는 네트워크를 통해 스트리밍 방식으로 입력받을 수도 있다. 이때, 상기 소스 동영상을 하드웨어 연결을 통해 받을 경우 상기 소스 동영상을 디지털 신호 처리한다.First, after determining a target stereoscopic image display, a source video is input to generate a stereoscopic image format having an appropriate resolution. It can be input in real time directly through a hardware connection, in the form of a file, or in some cases by streaming over the network. In this case, when the source video is received through a hardware connection, the source video is digitally processed.

상기 소스 동영상에 대하여 좌우측 동영상을 추출하고, 상기 좌우측 동영상의 프레임간 화질 차이를 보상하기 위하여 기설정된 색차 정보를 이용하거나 좌우측 동영상 중 어느 하나의 화질을 기준으로 나머지 동영상의 화질을 보정하여 좌우 측 동영상 간의 화질 차이를 통일시킨다.The left and right videos are extracted from the source video and the left and right videos are corrected by using predetermined color difference information or by compensating for the quality of the remaining videos based on the quality of any one of the left and right videos to compensate for the difference in picture quality between the left and right videos. Unify the quality difference between the two.

이후, 상기 소스 동영상에 포함된 좌우측 오디오 신호를 상기 RMS 방식을 통해 생한 RMS 신호의 최대값을 근거로 프레임 동기화를 실시한 다음, 검증 기능을 통해 상기 동기화가 제대로 이루어졌는지 판단하여 동기화 완료 여부를 출력하여 편집 기능을 실행하거나 초기화시킨다.Subsequently, frame synchronization is performed on the left and right audio signals included in the source video based on the maximum value of the RMS signal generated by the RMS method. Then, the verification function determines whether the synchronization is properly performed and outputs whether the synchronization is completed. Executes or initializes the editing function.

상기한 바와 같이 검증과정을 거친 후, 먹싱 기능을 이용하여 입체 영상 포맷 생성을 위한 과정을 수행하거나 이러한 먹싱 과정 없이 상기 동기화된 좌우 동영상을 편집하기 위한 편집기를 실행한다.After the verification process as described above, a process for generating a stereoscopic image format using a muxing function or an editor for editing the synchronized left and right videos without the muxing process is executed.

상기 편집기를 실행한 후 편집을 위한 구간을 설정하여 입체감을 조절하거나 프레임별 편집을 실시하는데, 상기 편집 구간 설정은 사용자가 지정한 일부 구간이거나 전체 구간 혹은 단일 프레임을 설정하는 것이며, 입체감 조절은 좌우 시차를 각각, 혹은 동시에 조절하는 것이다. 이때, 입체감 조절은 2차원 곡선 변환 방식으로 실시될 수 있고, 홀 보상을 위한 해상도 조절이 실시될 수도 있다. 그리고 프레임별 편집 기능을 통해 일반적인 동영상 편집과 유사하게 특정한 프레임을 삽입하거나 삭제하고, 특정 효과 등을 적용할 수 있다. After executing the editor, a section for editing is set to adjust a three-dimensional effect or frame-by-frame editing, wherein the editing section is set to a partial section or a whole section or a single frame designated by a user, and the three-dimensional adjustment is left and right parallax. Are adjusted individually or simultaneously. At this time, the three-dimensional adjustment may be performed by a two-dimensional curve conversion method, the resolution adjustment for the hole compensation may be performed. Frame-by-frame editing allows you to insert or delete specific frames and apply specific effects, similar to general video editing.

도 1은 좌우 영상 획득을 위한 구성을 보인 블록도.1 is a block diagram showing a configuration for acquiring left and right images.

도 2는 상기 도 1의 좌우 영상 획득에 의해 얻어지는 입체 영상의 예.2 is an example of a stereoscopic image obtained by the left and right image acquisition of FIG.

도 3은 좌우 영상을 이용한 입체 영상 프레임 편집 방식의 예.3 is an example of a stereoscopic image frame editing method using left and right images.

도 4는 본 발명 일 실시예의 동작 개념을 설명하는 개념도.4 is a conceptual diagram illustrating an operation concept of an embodiment of the present invention.

도 5는 본 발명 일 실시예의 편집 화면.5 is an edit screen of one embodiment of the present invention;

도 6은 본 발명 일 실시예의 동작 과정을 보인 순서도.6 is a flow chart showing an operation process of an embodiment of the present invention.

***도면의 주요 부분에 대한 부호의 설명****** Description of the symbols for the main parts of the drawings ***

100: 편집 화면 101: 좌영상 디스플레이 영역100: Edit screen 101: Left image display area

101a: 제1픽셀 구간 102: 우영상 디스플레이 영역101a: first pixel section 102: right image display area

102a: 제2픽셀 구간 110: 좌우 영상 조절 윈도우102a: second pixel section 110: left and right image adjustment window

120: 메뉴바 130: 프레임 편집 윈도우120: menu bar 130: frame edit window

140: 오디오 편집 윈도우 150: 프레임 진행 스크롤바140: Audio Edit Window 150: Frame Progress Scroll Bar

160: 상태 출력 윈도우 160: status output window

Claims (16)

카메라로부터 획득한 좌우측 영상 및 오디오 신호를 디지털 처리하고, 상기 좌우측 영상의 화질을 동일하게 처리하여 제공하는 영상 처리부와;An image processor configured to digitally process left and right images and audio signals obtained from a camera, and provide the same image quality of the left and right images; 상기 영상 처리부로부터 좌우측 영상 및 오디오 신호를 획득하고, 상기 오디오 신호를 근거로 RMS(Root-Mean-Square:RMS) 방식으로 처리하여 생성된 좌우 영상에 대응하는 RMS 신호의 최대값을 비교하여 일치하는 부분을 동기화한 후 기 설정된 입체 영상 포맷으로 변환하는 입체영상 전처리부와;Acquire the left and right images and audio signals from the image processor, and compare the maximum values of the RMS signals corresponding to the left and right images generated by processing in a root-mean-square (RMS) method based on the audio signals. A stereoscopic image preprocessor for synchronizing the portions and converting the portions to a preset stereoscopic image format; 상기 입체영상 전처리부가 제공하는 입체 영상 포맷을 프레임 단위로 표시하고 특정 입체 영상 포맷으로 합성할 수 있도록 한 입체 영상 편집부Stereoscopic image editing unit for displaying the stereoscopic image format provided by the stereoscopic image preprocessing unit in units of frames and synthesizing it into a specific stereoscopic image format 를 포함하는 입체 영상 편집을 위한 장치.Device for stereoscopic image editing, including. 청구항 1에 있어서, 상기 입체영상 전처리부와 입체 영상 편집부는 상기 좌우측 영상 및 오디오 신호를 획득할 수 있는 컴퓨터용 소프트웨어인 것을 특징으로 하는 입체 영상 편집을 위한 장치.The apparatus of claim 1, wherein the stereoscopic image preprocessing unit and the stereoscopic image editing unit are computer software capable of acquiring the left and right image and audio signals. 삭제delete 청구항 1에 있어서, 상기 입체영상 전처리부는 상기 좌우측 영상 간에 상기 RMS 신호의 최대값이 일치하는 특정 인접 부분의 시간 차이를 근거로, 상기 좌우측 영상에 대응하는 신호 중 어느 하나를 시간 지연시키거나 연장시켜 동기화하는 것을 특징으로 하는 입체 영상 편집을 위한 장치.The method according to claim 1, wherein the stereoscopic image preprocessing unit delays or extends any one of the signals corresponding to the left and right images based on a time difference between a specific adjacent portion where the maximum value of the RMS signal coincides between the left and right images. Device for stereoscopic video editing, characterized in that the synchronization. 청구항 4에 있어서, 상기 입체영상 전처리부는 상기 RMS 신호의 최대값이 일치하는 특정 인접 부분에 대한 시간 차이가 기설정된 시간 범위에 포함될 경우 동기화하는 것을 특징으로 하는 것을 특징으로 하는 입체 영상 편집을 위한 장치.The apparatus of claim 4, wherein the stereoscopic image preprocessing unit synchronizes when a time difference with respect to a specific adjacent portion where the maximum value of the RMS signal coincides within a preset time range. 6. . 청구항 1에 있어서, 상기 입체영상 전처리부가 동기화한 신호에 대하여 기설정된 시간 범위 내에서 시간별로 비교하여 일치되는 시간별 최대값이 기설정된 횟수 이상인 경우 동기화 완료 여부를 출력하는 검증부를 더 포함하는 것을 특징으로 하는 입체 영상 편집을 위한 장치.The apparatus of claim 1, further comprising a verification unit configured to output whether or not the synchronization is completed when the maximum time-matched value of the three-dimensional image preprocessing unit compares by time within a preset time range with respect to the synchronized signal. Device for stereoscopic video editing. 청구항 1에 있어서, 상기 입체영상 전처리부가 동기화한 신호에 대하여 기설 정된 시간 범위 내에서 적분을 실시하여 생성된 적분값을 비교함으로써 동기화 완료 여부를 출력하는 검증부를 더 포함하는 것을 특징으로 하는 입체 영상 편집을 위한 장치.The stereoscopic image editing apparatus of claim 1, further comprising a verification unit configured to output whether or not synchronization is completed by comparing the integral values generated by integrating the signals synchronized with the stereoscopic image preprocessor within a preset time range. Device for. 청구항 6 또는 7에 있어서, 상기 검증부는 동기화 완료가 이루어지지 않은 경우 동기화 과정을 초기화하여 최초 좌우측 영상의 오디오 신호로 복귀시키는 것을 특징으로 하는 입체 영상 편집을 위한 장치.The apparatus of claim 6 or 7, wherein the verification unit initializes the synchronization process and returns to the audio signal of the first left and right images when the synchronization is not completed. 청구항 1에 있어서, 상기 입체 영상 편집부는 특정 프레임을 구성하는 일정 범위의 픽셀 집합을 선택하여 색차 조절을 실시함으로써 좌우 시차를 보상하는 것을 특징으로 하는 입체 영상 편집을 위한 장치.The apparatus of claim 1, wherein the stereoscopic image editing unit compensates for left and right parallax by adjusting a color difference by selecting a predetermined set of pixels constituting a specific frame. 청구항 9에 있어서, 상기 입체 영상 편집부는 상기 색차 조절이 실시된 프레임과 인접한 프레임에 대하여 상기 픽셀 집합과 동일한 픽셀 범위를 파악하고, 상기 색차 조절과 동일한 조건으로 상기 동일한 픽셀 범위에 대한 색차 조절을 실시하는 것을 특징으로 하는 입체 영상 편집을 위한 장치.The method of claim 9, wherein the stereoscopic image editing unit detects the same pixel range as the pixel set for the frame adjacent to the color difference adjustment frame, and performs the color difference adjustment for the same pixel range under the same conditions as the color difference adjustment Device for stereoscopic image editing, characterized in that. 청구항 10에 있어서, 상기 색차 조절은 채도, 휘도, 선명도 중 어느 하나에 대한 조절인 것을 특징으로 하는 입체 영상 편집을 위한 장치.The apparatus of claim 10, wherein the color difference adjustment is an adjustment for any one of saturation, luminance, and sharpness. 좌우측 영상 정보와 오디오 정보를 동시에 촬영하는 단계와; Photographing left and right image information and audio information at the same time; 상기 좌우측 영상 및 오디오 정보를 입력받아 상기 각 영상에 대한 오디오 신호를 검출하는 단계와;Receiving the left and right image and audio information and detecting an audio signal for each image; 상기 오디오 신호를 RMS 방식으로 변환하여 생성된 상기 각 영상에 대한 RMS 신호의 최대값을 비교하여 일치하는 부분을 동기화함으로써 영상의 동기화를 실시하는 단계와;Synchronizing the images by comparing the maximum values of the RMS signals for the respective images generated by converting the audio signals by the RMS method and synchronizing the corresponding portions; 상기 동기화된 좌우 영상을 입체 영상 포맷으로 변환하는 단계를 포함하는 것을 특징으로 하는 입체 영상 편집을 위한 방법.And converting the synchronized left and right images into a stereoscopic image format. 삭제delete 청구항 12에 있어서, 상기 동기화를 실시하는 단계에서 동기화된 신호를 검 증하여 동기화 완료 여부를 출력함으로써 검증하는 단계를 더 포함하는 것을 특징으로 하는 입체 영상 편집을 위한 방법.The method of claim 12, further comprising verifying the synchronized signal by outputting whether or not the synchronization is completed in the performing of the synchronization. 청구항 14에 있어서, 상기 검증하는 단계는 상기 동기화된 신호를 근거로 기설정된 시간 범위 내에서 일치되는 시간별 최대값이 기설정된 횟수 이상인 경우 동기화 완료 여부를 출력하는 것을 특징으로 하는 입체 영상 편집을 위한 방법.The method of claim 14, wherein the verifying of the synchronization comprises outputting whether or not synchronization is completed when a maximum time-matched value within a preset time range is greater than or equal to a predetermined number of times based on the synchronized signal. . 청구항 14에 있어서, 상기 검증하는 단계는 상기 동기화된 신호를 근거로 기설정된 시간 범위 내에서 적분을 실시하여 생성된 적분값을 비교함으로써 동기화 완료 여부를 출력하는 것을 특징으로 하는 입체 영상 편집을 위한 방법.The method of claim 14, wherein the verifying comprises outputting whether or not synchronization is completed by comparing an integral value generated by performing an integration within a preset time range based on the synchronized signal. .
KR1020080025093A 2008-03-18 2008-03-18 Apparatus and Method for Stereoscopic Image Editing Active KR100942765B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080025093A KR100942765B1 (en) 2008-03-18 2008-03-18 Apparatus and Method for Stereoscopic Image Editing

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080025093A KR100942765B1 (en) 2008-03-18 2008-03-18 Apparatus and Method for Stereoscopic Image Editing

Publications (2)

Publication Number Publication Date
KR20090099860A KR20090099860A (en) 2009-09-23
KR100942765B1 true KR100942765B1 (en) 2010-02-18

Family

ID=41358305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080025093A Active KR100942765B1 (en) 2008-03-18 2008-03-18 Apparatus and Method for Stereoscopic Image Editing

Country Status (1)

Country Link
KR (1) KR100942765B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101012758B1 (en) 2010-09-06 2011-02-08 (주) 미니미드림 3D human measurement system and method
KR20160014288A (en) 2014-07-29 2016-02-11 주식회사 삼우소프트 Method for rendering three dimensional image of circle type display

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101719980B1 (en) * 2010-06-22 2017-03-27 엘지전자 주식회사 Method for processing image of display system outputting 3 dimensional contents and display system enabling of the method
KR101518814B1 (en) * 2013-09-11 2015-05-28 (주) 메리제이콘텐츠 Method of authoring broadcasting contents using 360 degree surround view movie data

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252585A (en) 1998-03-05 1999-09-17 Nippon Hoso Kyokai <Nhk> Parallax estimation device
KR20050111379A (en) * 2004-05-21 2005-11-24 한국전자통신연구원 The three dimensional video digital broadcasting transmitter- receiver and its method using information for three dimensional video
KR100713220B1 (en) 2006-07-28 2007-05-02 (주)블루비스 Stereoscopic image editing device and method
KR20070055882A (en) * 2005-11-28 2007-05-31 삼성전자주식회사 Stereo image signal processing apparatus and method

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11252585A (en) 1998-03-05 1999-09-17 Nippon Hoso Kyokai <Nhk> Parallax estimation device
KR20050111379A (en) * 2004-05-21 2005-11-24 한국전자통신연구원 The three dimensional video digital broadcasting transmitter- receiver and its method using information for three dimensional video
KR20070055882A (en) * 2005-11-28 2007-05-31 삼성전자주식회사 Stereo image signal processing apparatus and method
KR100713220B1 (en) 2006-07-28 2007-05-02 (주)블루비스 Stereoscopic image editing device and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101012758B1 (en) 2010-09-06 2011-02-08 (주) 미니미드림 3D human measurement system and method
KR20160014288A (en) 2014-07-29 2016-02-11 주식회사 삼우소프트 Method for rendering three dimensional image of circle type display

Also Published As

Publication number Publication date
KR20090099860A (en) 2009-09-23

Similar Documents

Publication Publication Date Title
KR100713220B1 (en) Stereoscopic image editing device and method
CA2177051C (en) Synthesized stereoscopic imaging system and method
KR101237945B1 (en) Critical Alignment Of Parallax Images For Autostereoscopic Display
JP4925354B2 (en) Image processing apparatus, image display apparatus, imaging apparatus, and image processing method
US11962746B2 (en) Wide-angle stereoscopic vision with cameras having different parameters
US8514219B2 (en) 3D image special effects apparatus and a method for creating 3D image special effects
CN107209949B (en) Method and system for generating magnified 3D images
JP7542940B2 (en) Information processing device, information processing method, image processing system, and program
US8675042B2 (en) Image processing apparatus, multi-eye digital camera, and program
WO2014191990A1 (en) Method and system for low cost television production
US20120194905A1 (en) Image display apparatus and image display method
GB2478157A (en) Method and apparatus for cutting between a first and second image sequence in a stereoscopic video
KR102149003B1 (en) Method and apparatus for displaying a strike zone
KR100942765B1 (en) Apparatus and Method for Stereoscopic Image Editing
HK1243260A1 (en) Video display method and system for realistic scenes
KR20140112485A (en) Video processing apparatus and method for detecting a temporal synchronization mismatch
US20120087571A1 (en) Method and apparatus for synchronizing 3-dimensional image
JP2012130008A (en) Three-dimensional video display device and method
CN103248910B (en) Three-dimensional imaging system and image reproducing method thereof
US20170257614A1 (en) Three-dimensional auto-focusing display method and system thereof
KR101451236B1 (en) Method for converting three dimensional image and apparatus thereof
JP2004102526A (en) Stereoscopic image display device, display processing method and processing program
KR20180099756A (en) Stereoscopic imaging display device of two-dimensional image
JP4522307B2 (en) Image capturing apparatus and image capturing method
CN103314597A (en) Stereoscopic image processing apparatus, stereoscopic image processing method, and program

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20080318

A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20080326

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20080318

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20090825

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20100205

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20100209

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20100210

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20130204

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20130204

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20140207

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20140207

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20150204

Year of fee payment: 6

PR1001 Payment of annual fee

Payment date: 20150204

Start annual number: 6

End annual number: 6

FPAY Annual fee payment

Payment date: 20151231

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20151231

Start annual number: 7

End annual number: 7

FPAY Annual fee payment

Payment date: 20170209

Year of fee payment: 8

PR1001 Payment of annual fee

Payment date: 20170209

Start annual number: 8

End annual number: 8

FPAY Annual fee payment

Payment date: 20180209

Year of fee payment: 9

PR1001 Payment of annual fee

Payment date: 20180209

Start annual number: 9

End annual number: 9

FPAY Annual fee payment

Payment date: 20200121

Year of fee payment: 11

PR1001 Payment of annual fee

Payment date: 20200121

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20210201

Start annual number: 12

End annual number: 12

PR1001 Payment of annual fee

Payment date: 20220207

Start annual number: 13

End annual number: 13

PR1001 Payment of annual fee

Payment date: 20230208

Start annual number: 14

End annual number: 14

PR1001 Payment of annual fee

Payment date: 20240213

Start annual number: 15

End annual number: 15