[go: up one dir, main page]

KR20130051709A - 스테레오 카메라 모듈 - Google Patents

스테레오 카메라 모듈 Download PDF

Info

Publication number
KR20130051709A
KR20130051709A KR1020110117019A KR20110117019A KR20130051709A KR 20130051709 A KR20130051709 A KR 20130051709A KR 1020110117019 A KR1020110117019 A KR 1020110117019A KR 20110117019 A KR20110117019 A KR 20110117019A KR 20130051709 A KR20130051709 A KR 20130051709A
Authority
KR
South Korea
Prior art keywords
sensor
unit
lens
stored
camera module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020110117019A
Other languages
English (en)
Inventor
신선미
김주현
강순석
Original Assignee
삼성전기주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전기주식회사 filed Critical 삼성전기주식회사
Priority to KR1020110117019A priority Critical patent/KR20130051709A/ko
Priority to US13/402,809 priority patent/US20130120538A1/en
Publication of KR20130051709A publication Critical patent/KR20130051709A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/25—Image signal generators using stereoscopic image cameras using two or more image sensors with different characteristics other than in their location or field of view, e.g. having different resolutions or colour pickup characteristics; using image signals from one sensor to control the characteristics of another sensor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

본 발명은 스테레오 카메라 모듈에 관한 것으로, 본 발명의 실시예에 따른 스테레오 카메라 모듈은 화소수가 서로 상이한 이종 센서들을 갖는 센서부 및 센서부의 화각을 조정하는 렌즈부를 포함한다.

Description

스테레오 카메라 모듈{STEREO CAMERA MODULE}
본 발명은 스테레오 카메라 모듈에 관한 것으로, 보다 상세하게는 삼차원 입체 영상 효과를 높이고, 사용자의 피로도가 적은 스테레오 카메라 모듈에 관한 것이다.
일반적으로 스테레오 카메라는 두 개의 동일한 센서들을 사용하여, 상기 센서들 간의 위치 차이로 인해 발생되는 시점 차이를 이용하여 삼차원 입체 영상을 구현한다. 상기 센서들 간의 시점 차이가 커질수록 입체 영상 효과는 증대되지만, 영상을 보는 사용자로 하여금 피로도가 증가된다. 삼차원 입체 영상 효과 및 사용자 피로도 등을 고려하였을 때, 같은 화소수를 갖는 동종 센서들을 구비한 스테레오 카메라의 제작이 더 용이할 수 있으나, 하나의 센서를 사용하는 것에 비해 그 만큼의 제조 단가가 증가한다.
1.일본공개특허번호:JP2006-093859 2.한국공개특허번호:KR2008-0073073
본 발명이 해결하고자 하는 과제는 삼차원 입체 영상 효과를 향상시킨 스테레오 카메라 모듈을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제는 제작 단가를 절감할 수 있는 스테레오 카메라 모듈을 제공하는 것에 있다.
본 발명이 해결하고자 하는 과제는 하드웨어 크기를 줄일 수 있는 스테레오 카메라 모듈을 제공하는 것에 있다.
본 발명에 따른 스테레오 카메라 모듈은 화소수가 서로 상이한 이종 센서들을 갖는 센서부 및 상기 센서부의 화각을 조정하는 렌즈부를 포함한다.
본 발명의 실시예에 따르면, 상기 센서부는 제1 센서 및 상기 제1 센서에 비해 상대적으로 화소수가 적은 제2 센서를 포함하고, 상기 렌즈부는 상기 제1 센서에 대해 화각을 감소시키는 협각 렌즈 및 상기 제2 센서에 대해 화각을 증가시키는 광각 렌즈를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 렌즈부의 렌즈 왜곡을 보상하는 렌즈 왜곡 보상부를 더 포함하되, 상기 렌즈 왜곡 보상부는 렌즈 왜곡 보상에 필요한 가중치 참조표가 저장된 라인 버퍼 메모리를 구비하여, 상기 라인 버퍼 메모리에 저장된 가중치 참조표를 실시간으로 리드(read)할 수 있다.
본 발명의 실시예에 따르면, 상기 이종 센서들 간의 입력 영상의 스케일을 조정하는 스케일 조정부를 더 포함하되, 상기 스케일 조정부는 이종 센서들 간의 스케일 조정에 필요한 가중치 참조표가 저장된 라인 버퍼 메모리를 구비하여, 상기 라인 버퍼 메모리에 저장된 가중치 참조표를 실시간으로 리드할 수 있다.
본 발명의 실시예에 따르면, 상기 이종 센서들의 팬(pan) 및 틸트(tilt) 오류를 조정하는 팬틸트 조정부를 더 포함하되, 상기 팬틸트 조정부는 새로운 좌표 산출에 필요한 파라미터가 저장된 라인 버퍼 메모리를 구비하여, 상기 라인 버퍼 메모리에 저장된 파라미터를 실시간으로 리드할 수 있다.
본 발명에 따른 스테레오 카메라 모듈은 화소수가 상이한 이종 센서들을 이용하여 영상을 촬영한 후, 상기 영상 데이터에 대해 렌즈 왜곡, 스케일, 그리고 팬틸트를 보정하여 삼차원 입체 영상을 표시할 수 있다.
본 발명에 따른 스테레오 카메라 모듈은 버퍼라인 메모리만을 사용하여 실시간으로 파라미터를 연산할 수 있어, 프레임 메모리를 구비하는 경우에 비해, 하드웨어 크기를 줄이고 제작 단가를 절감할 수 있다.
도 1은 본 발명의 실시예에 따른 스테레오 카메라 모듈을 보여주는 블럭도이다.
도 2는 양안식 삼차원 입체 영상 카메라의 에러 발생 X,Y,Z축들을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 스테레오 카메라 모듈의 팬틸트 오류를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 렌즈 왜곡 보상부의 렌즈 왜곡 보정 과정을 보여주는 순서도이다.
도 5는 본 발명의 실시예에 따른 스케일 조정부의 스케일 보정 과정을 보여주는 순서도이다.
도 6은 본 발명의 실시예에 따른 팬틸트 조정부의 팬틸트 보정 과정을 보여주는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면들과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공될 수 있다. 명세서 전문에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 명세서에서 사용된 용어들은 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprise)' 및/또는 '포함하는(comprising)'은 언급된 구성요소, 단계, 동작 및/또는 소자는 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
이하, 첨부한 도면들을 참조하여 본 발명의 실시예에 따른 스테레오 카메라 모듈에 대해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 스테레오 카메라 모듈을 보여주는 블럭도이다. 그리고, 도 2는 양안식 삼차원 입체 영상 카메라의 에러 발생 X,Y,Z축들을 설명하기 위한 도면이고, 도 3은 본 발명의 실시예에 따른 스테레오 카메라 모듈의 팬틸트 오류를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 실시예에 따른 스테레오 카메라 모듈(100)은 센서부(110), 렌즈부(120), 그리고 보정부(130)를 포함할 수 있다.
상기 센서부(110)는 화소수가 상이한 복수의 센서들을 포함할 수 있다. 일 예로서, 상기 센서부(110)는 제1 센서(112) 및 상기 제1 센서(112)에 비해 상대적으로 화소수가 많은 제2 센서(114)를 구비할 수 있다. 즉, 상기 제1 센서(112)는 저화소 센서를 구비하고, 상기 제2 센서(114)는 고화소 센서를 구비할 수 있다.
상기 렌즈부(120)는 상기 센서부(110)의 화각(angle of view)을 조정할 수 있다. 예컨대, 상기 렌즈부(120)는 상기 제1 센서(112)의 전면에 배치된 제1 렌즈(122) 및 상기 제2 센서(114)의 전면에 배치된 제2 렌즈(124)를 포함할 수 있다. 상기 제1 렌즈(122)는 상기 제1 센서(112)에 대해 화각을 감소시키고, 상기 제2 렌즈(124)는 상기 제2 센서(114)에 대해 화각을 증가시킬 수 있다. 즉, 상기 제1 렌즈(122)는 협각 렌즈를 포함하고, 상기 제2 렌즈(124)는 광각 렌즈를 포함할 수 있다. 이에 따라, 만약 상기 제1 및 제2 센서들(112, 114)에 사용된 렌즈가 60°인 경우, 상기 제1 렌즈(122)는 대략 55°로 변경하여 화각을 좁혀주도록 제공되고, 상기 제2 렌즈(124)는 대략 80°로 넓혀주도록 제공되어, 상기 제1 및 제2 센서들(112, 114)의 화각들 각각이 서로 동일 및 유사해지도록, 상기 화각을 조정할 수 있다.
여기서, 상기와 같이 이종 센서들을 사용하지 않고, 동종 렌즈들을 사용하는 경우, 화각이 좁은 저화소 영상을 기준으로 상기 화각을 조정해야 한다. 이 경우, 상대적으로 저화소의 화각을 벗어나는 고화소 영상은 손실되므로, 스케일을 맞추기 위해 스케일러 로직이 필요하게 된다. 이를 위해, 프레임 메모리가 구비되어야 하나, 이러한 프레임 메모리와 이를 이용한 스케일러 로직들은 하드웨어 크기를 증가시키고, 제조 단가가 증가시키는 단점으로 작용된다. 따라서, 상기와 같이 이종 센서들을 구비하는 센서부(110)는 동종 센서들을 사용하는 경우에 비해, 하드웨어 크기를 줄이고, 단가를 감소시킬 수 있다.
상기 보정부(130)는 상기와 같이 화소수가 서로 상이한 제1 및 제2 센서들(112, 114)을 사용할 때 발생되는 랜즈 왜곡, 스케일차, 그리고 팬틸트 오류 등을 보정할 수 있다. 이를 위해, 상기 보정부(130)는 렌즈 왜곡 보상부(132), 스케일 조정부(134), 그리고 팬틸트 조정부(136)를 포함할 수 있다. 상기 렌즈 왜곡 보상부(132)는 상이한 화소수를 갖는 상기 제1 및 제2 렌즈들(122, 124)로 인한 렌즈 왜곡을 보상할 수 있다. 상기 스케일 조정부(134)는 상기 제1 및 제2 센서들(112, 114) 간의 스케일 차를 보정할 수 있다. 그리고, 상기 팬틸트 조정부(136)는 상기 제1 및 제2 센서들(112, 114)에서 입력된 영상을 새로운 좌표로 이동시켜, 상기 제1 및 제2 센서들(112, 114) 간의 오차를 감소시킬 수 있다.
계속해서, 도 2 및 도 3을 참조하여, 상기 팬틸트 조정부(136)에 대해 구체적으로 설명한다. 양안식의 스테레오 카메라는 X축(10)으로 일정한 간격을 둔 두 개의 제1 및 제2 센서들(112, 114)의 영상 신호를 조합하여, 삼차원 입체 영상을 구현할 수 있다. 여기서, 상기 제1 및 제2 센서들(112, 114)이 3축(X, Y, Z축)을 기준으로 서로 틀어져 있으면, 생성된 삼차원 입체 영상의 가시성이 떨어질 수 있다.
틸트(tilt) 오류는 상기 X축(10)의 회전에 의해 발생되는 것으로, 상기 틸트 오류가 발생되면 도 3에 도시된 바와 같이, 동일 높이에서 촬영된 영상의 상하부 길이가 서로 다르게 촬영되는 현상이 발생될 수 있다.
팬(pan) 오류는 Y축(20)의 회전에 의해 발생되는 것으로, 상기 팬 오류가 발생되면 도 3에 도시된 바와 같이, 동일한 위치에서 촬영된 영상의 좌우측부 길이가 서로 다르게 촬영될 수 있다.
또한, 로테이션(Rotation) 오류는 Z(30)축의 회전에 의해 발생되는 것으로, 촬영된 영상의 수평이 서로 다르게 촬영될 수 있다.
이와 같이 양안식 카메라 모듈의 센서가 3축(X, Y, Z축)을 기준으로 서로 틀어져 있으면 영상 촬영시에 제1 및 제2 센서들(112, 114) 각각에 의해 촬영된 영상에 차이가 발생되어, 삼차원 입체 영상에 왜곡을 발생시킬 수 있다. 상기 팬틸트 조정부(136)는 상기와 같은 틸트 오류 및 팬 오류를 보정시키기 위한 것일 수 있다.
한편, 상기와 같은 보정부(130)를 적용하기 위해서는 상기 구성들(132, 134, 136) 각각마다 필요한 파라미터가 필요할 수 있다. 따라서, 상기 파라미터를 추출하기 위한 작업이 추가될 수 있다. 이러한 파라미터의 추출은 상기 스테레오 카메라 모듈(100)의 제작이 완료된 후, 상기 스테레오 카메라 모듈(100)을 특정 패턴 영상을 촬영한 복수의 영상들을 소정의 알고리즘에 적용시켜 생성시킬 수 있다. 상기 알고리즘으로는 Annika Kuhl의 "Comparison of stereo Matching algorithms for Mobile Robots" 알고리즘 및 ZhengyouZhang의 "Flexible New Technique for Camera Calibration" 알고리즘 등이 사용될 수 있다.
상기와 같이 추출된 파라미터는 상기 보정부(130) 내에 구비된 메모리(138)에 각각 저장될 수 있다. 상기 메모리(138)는 제1 라인버퍼 메모리(138a), 제2 라인버퍼 메모리(138b), 그리고 제3 라인버퍼 메모리(138c)를 포함할 수 있다. 상기 제1 라인버퍼 메모리(138a)는 상기와 같이 추출되어 저장된 파라미터를 상기 렌즈 왜곡 보상부(132)에 전달하여, 상기 렌즈 왜곡 보상부(132)가 렌즈 왜곡 보상을 하도록 할 수 있다. 상기 제2 라인버퍼 메모리(138b)는 상기와 같이 추출되어 저장된 파라미터를 상기 스케일 조정부(134)에 전달하여, 상기 스케일 조정부(134)가 스케일을 조정하도록 할 수 있다. 그리고, 상기 제3 라인버퍼 메모리(138c)는 상기와 같이 추출되어 저장된 파라미터를 상기 팬틸트 조정부(136)에 전달하여, 상기 팬틸트 조정부(136)가 팬틸트 보상을 하도록 할 수 있다.
상술한 바와 같이, 본 발명의 실시예에 따른 스테레오 카메라 모듈(100)은 화소수가 상이한 제1 및 제2 센서들(112, 114)에 의해 각각 촬영된 영상 데이터를 상기 보정부(130)에 의해 보정하여, 소정의 표시부(140)를 통해, 외부에 삼차원 입체 영상을 표시할 수 있다. 상기 표시부(140)는 삼차원 입체 영상 디스플레이 장치가 사용될 수 있다. 이에 따라, 본 발명에 따른 스테레오 카메라 모듈은 화소수가 상이한 이종 센서들을 이용하여 영상을 촬영한 후, 상기 영상 데이터에 대해 렌즈 왜곡, 스케일, 그리고 팬틸트를 보정하여 삼차원 입체 영상을 표시할 수 있다.
또한, 본 발명의 실시예에 따른 스테레오 카메라 모듈(100)은 라인버퍼 메모리(138)를 구비하여, 렌즈 왜곡, 스케일, 그리고 팬틸트의 보정을 위한 파라미터값들을 실시간으로 연산할 수 있는 구조를 가질 수 있다. 이에 따라, 본 발명에 따른 스테레오 카메라 모듈은 버퍼라인 메모리만을 사용하여 실시간으로 파라미터를 연산할 수 있어, 프레임 메모리를 구비하는 경우에 비해, 하드웨어 크기를 줄이고 제작 단가를 절감할 수 있다.
계속해서, 본 발명의 실시예에 따른 스테레오 카메라 모듈(100)의 보정부(130)의 보정 과정을 상세히 설명한다. 여기서, 상술하였거나 후술될 보정부에 대해 서로 중복되는 내용은 생략하거나 간소화될 수 있다.
도 4는 본 발명의 실시예에 따른 렌즈 왜곡 보상부의 렌즈 왜곡 보정 과정을 보여주는 순서도이다. 도 1 및 도 4를 참조하면, 렌즈 왜곡 보상에 필요한 각각의 픽셀들의 가중치를 계산할 수 있다(S110). 렌즈 왜곡 보상부(132)의 입력 인자는 왜곡 보정 파라미터 및 제1 및 제2 센서들(112, 114)에 입력된 영상 신호일 수 있다. 상기 렌즈 왜곡 보정 파라미터는 소정의 알고리즘에 의해 연산될 수 있다. 상기 알고리즘으로는 Annika Kuhl의 "Comparison of stereo Matching algorithms for Mobile Robots" 알고리즘 및 ZhengyouZhang의 "Flexible New Technique for Camera Calibration" 알고리즘 등이 사용될 수 있다. 연산된 가중치 파라미터 참조표(Look Up Table:LUT)를 스테레오 카메라 모듈(100)의 메모리(138)에 저장할 수 있다(S120). 일 예로서, 상기와 같이 연산된 결과는 카메라 모듈의 제1 라인버퍼 메모리(138a)에 저장될 수 있다. 상기 카메라 모듈의 메모리(138)에 연산 결과를 저장하는 단계는 스테레오 카메라 모듈(100)의 제작이 완료된 이후에, 별도로 수행될 수 있다.
한편, 순차적으로 입력되는 영상 데이터를 라인 단위로 저장하고(S130), 저장된 가중치 파라미터 참조표를 리드할 수 있다(S140). 상기 참조표를 리드하는 단계는 상기 카메라 모듈 메모리(116)에 저장된 연산 결과를 리드하여 이루어질 수 있다. 그리고, 소정의 선택 신호를 통해 저장된 가중치 참조표와 영상 데이터를 각각 선택할 수 있다(S150). 상기 저장된 가중치 참조표(Look Up Table:LUT)와 상기 영상 데이터를 선택하기 위해, 내부 컨트롤 신호를 생성할 수 있다. 생성된 신호를 통해, 영상의 각 픽셀에 적용될 파라미터 값과 연산에 필요한 픽셀 신호 등과 같이 선택된 데이터를 리드(read)할 수 있다(S160).
소정의 알고리즘을 이용하여, 상기와 같이 선택된 데이터를 연산할 수 있다(S170). 일 예로서, 상기 리드 신호값들의 연산은 Barrel Distortion Correction 알고리즘을 통해 연산될 수 있다. 여기서, 상기 영상 신호를 라인 단위로 저장하였으므로, 상기와 같은 렌즈 왜곡 보정은 실시간으로 이루어질 수 있다. 그 후, 상기와 같이 선택된 데이터를 출력할 수 있다(S180).
도 5는 본 발명의 실시예에 따른 스케일 조정부의 스케일 보정 과정을 보여주는 순서도이다. 도 1 및 도 5를 참조하면, 스케일 조정에 필요한 가중치를 계산하고(S210), 계산된 가중치를 카메라 모듈의 메모리(138)에 저장할 수 있다(S220). 입력으로는 상기와 같은 스케일 가중치와 제1 및 제2 센서들(112, 114)에 입력된 영상 신호가 필요할 수 있다. 상기 제1 및 제2 센서들(112, 114)의 스케일 가중치는 파라미너 추출 알고리즘을 통해 결정될 수 있다. 결정된 스케일 가중치는 카메라 모듈의 메모리(138)에 저장될 수 있다. 일 예로서, 상기 카메라 모듈의 메모리(138)는 상기 스케일 조정부(134)에 대응되는 제2 라인 버퍼 메모리(138b)일 수 있다. 상기 카메라 모듈의 메모리(138)에 연산 결과를 저장하는 단계는 스테레오 카메라 모듈(100)의 제작이 완료된 이후에, 별도로 수행될 수 있다.
한편, 순차적으로 입력되는 영상 데이터를 라인 단위로 저장하고(S230), 상기 메모리(138)에 저장된 가중치를 리드할 수 있다(S240). 소정의 선택 신호를 통해 저장된 가중치 및 영상 데이터를 선택하고(S250), 선택된 데이터를 리드할 수 있다(S260). 그리고, 선택된 데이터를 연산한 후(S270), 선택된 데이터를 출력할 수 있다(S280). 여기서, 가중치가 적용될 영상 신호도 라인 단위로 저장해 두어, 컨트롤 신호에 따라 리드할 수 있다. 또한, 프레임 메모리를 사용하지 않고, 상기 제2 라인 버퍼 메모리(138b)만을 사용하여, 실시간 연산이 가능하도록 할 수 있다.
도 6은 본 발명의 실시예에 따른 팬틸트 조정부의 팬틸트 보정 과정을 보여주는 순서도이다. 도 1 및 도 6을 참조하면, 새로운 좌표 산출에 필요한 파라미터를 연산한 후(S310), 연산된 파라미터를 스테레오 카메라 모듈의 메모리(130)에 저장할 수 있다(S320). 여기서, 상기 카메라 모듈의 메모리(130)는 팬틸트 조정부(136)에 대응되는 제3 라인 버퍼 메모리(138c)일 수 있다. 상기 카메라 모듈의 메모리(138)에 연산 결과를 저장하는 단계는 스테레오 카메라 모듈(100)의 제작이 완료된 이후에, 별도로 수행될 수 있다.
그리고, 제1 및 제2 센서들(112, 114)에 순차적으로 입력되는 영상 데이터를 라인 단위로 저장하고(S330), 상기 메모리(138)에 저장된 파라미터를 리드할 수 있다(S340). 한편, 팬틸트 조정부(136)는 제1 및 제2 센서들(112, 114) 각각에 입력된 영상을 새로운 좌표로 이동시켜, 상기 제1 및 제2 센서들(112, 114) 간의 오차를 줄일 수 있다. 예컨대, 새로운 좌표를 산출하기 위한 파라미터값이 필요할 수 있다. 일 예로서, ZhengyouZhang 알고리즘을 이용하여 새로운 좌표를 산출하기 위한 파라미터값을 산출할 수 있다.
상기와 같이 선택된 데이터 연산을 통해, 새로운 좌표값을 산출할 수 있다(S350). 산출된 좌표값에 따라 저장된 영상 데이터를 리드하고(S350), 상기 선택된 데이터를 출력할 수 있다(S360). 여기서, 상기 저장된 영상 데이터의 리드는 라인 단위로 저장된 영상 신호를 산출된 좌표에 따라 리드하는 것이므로, 새로운 좌표 산출은 실시간 처리가 가능할 수 있다. 또한, 라인 단위로 저장된 메모리를 이용하여 적용하므로, 실시간 연산이 가능할 수 있다.
상기와 같이, 팬틸트 조정부(136)는 입력된 파라미터에 따라 각각의 영상의 상하 좌우를 조정하는 회로로서, 입력된 두 영상의 위치를 조정하여 삼차원 입체 영상의 화질을 높일 수 있는 입력 영상을 생성할 수 있다.
이상의 상세한 설명은 본 발명을 예시하는 것이다. 또한 전술한 내용은 본 발명의 바람직한 실시 형태를 나타내고 설명하는 것에 불과하며, 본 발명은 다양한 다른 조합, 변경 및 환경에서 사용할 수 있다. 즉, 본 명세서에 개시된 발명의 개념의 범위, 저술한 개시 내용과 균등한 범위 및/또는 당업계의 기술 또는 지식의 범위 내에서 변경 또는 수정이 가능하다. 전술한 실시예들은 본 발명을 실시하는데 있어 최선의 상태를 설명하기 위한 것이며, 본 발명과 같은 다른 발명을 이용하는데 당업계에 알려진 다른 상태로의 실시, 그리고 발명의 구체적인 적용 분야 및 용도에서 요구되는 다양한 변경도 가능하다. 따라서, 이상의 발명의 상세한 설명은 개시된 실시 상태로 본 발명을 제한하려는 의도가 아니다. 또한 첨부된 청구범위는 다른 실시 상태도 포함하는 것으로 해석되어야 한다.
100 : 스테레오 카메라 모듈
110 : 센서부
112 : 제1 센서
114 : 제2 센서
120 : 렌즈부
122 : 제1 렌즈
124 : 제2 렌즈
130 : 보정부
132 : 렌즈 왜곡 보상부
134 : 스케일 조정부
136 : 팬틸트 조정부
138 : 메모리부
140 : 표시부

Claims (5)

  1. 화소수가 서로 상이한 이종 센서들을 갖는 센서부; 및
    상기 센서부의 화각을 조정하는 렌즈부를 포함하는 스테레오 카메라 모듈.
  2. 제 1 항에 있어서,
    상기 센서부는 제1 센서 및 상기 제1 센서에 비해 상대적으로 화소수가 적은 제2 센서를 포함하고,
    상기 렌즈부는:
    상기 제1 센서에 대해 화각을 감소시키는 협각 렌즈; 및
    상기 제2 센서에 대해 화각을 증가시키는 광각 렌즈를 포함하는 스테레오 카메라 모듈.
  3. 제 1 항에 있어서,
    상기 렌즈부의 렌즈 왜곡을 보상하는 렌즈 왜곡 보상부를 더 포함하되,
    상기 렌즈 왜곡 보상부는 렌즈 왜곡 보상에 필요한 가중치 참조표가 저장된 라인 버퍼 메모리를 구비하여, 상기 라인 버퍼 메모리에 저장된 가중치 참조표를 실시간으로 리드(read)하는 스테레오 카메라 모듈.
  4. 제 1 항에 있어서,
    상기 이종 센서들 간의 입력 영상의 스케일을 조정하는 스케일 조정부를 더 포함하되,
    상기 스케일 조정부는 이종 센서들 간의 스케일 조정에 필요한 가중치 참조표가 저장된 라인 버퍼 메모리를 구비하여, 상기 라인 버퍼 메모리에 저장된 가중치 참조표를 실시간으로 리드하는 스테레오 카메라 모듈.
  5. 제 1 항에 있어서,
    상기 이종 센서들의 팬(pan) 및 틸트(tilt) 오류를 조정하는 팬틸트 조정부를 더 포함하되,
    상기 팬틸트 조정부는 새로운 좌표 산출에 필요한 파라미터가 저장된 라인 버퍼 메모리를 구비하여, 상기 라인 버퍼 메모리에 저장된 파라미터를 실시간으로 리드하는 스테레오 카메라 모듈.
KR1020110117019A 2011-11-10 2011-11-10 스테레오 카메라 모듈 Withdrawn KR20130051709A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110117019A KR20130051709A (ko) 2011-11-10 2011-11-10 스테레오 카메라 모듈
US13/402,809 US20130120538A1 (en) 2011-11-10 2012-02-22 Stereo camera module

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110117019A KR20130051709A (ko) 2011-11-10 2011-11-10 스테레오 카메라 모듈

Publications (1)

Publication Number Publication Date
KR20130051709A true KR20130051709A (ko) 2013-05-21

Family

ID=48280248

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110117019A Withdrawn KR20130051709A (ko) 2011-11-10 2011-11-10 스테레오 카메라 모듈

Country Status (2)

Country Link
US (1) US20130120538A1 (ko)
KR (1) KR20130051709A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10410061B2 (en) 2015-07-07 2019-09-10 Samsung Electronics Co., Ltd. Image capturing apparatus and method of operating the same
DE102014006675B4 (de) 2013-05-08 2021-12-09 Mando Corporation Vorrichtung und Verfahren zur Fahrzeug-Fahrsteuerung
CN114667729A (zh) * 2020-01-08 2022-06-24 核心光电有限公司 多孔变焦数码摄像头及其使用方法

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014220585A1 (de) 2014-10-10 2016-04-14 Conti Temic Microelectronic Gmbh Stereokamera für Fahrzeuge
US10523854B2 (en) 2015-06-25 2019-12-31 Intel Corporation Array imaging system having discrete camera modules and method for manufacturing the same
CN110139580A (zh) * 2016-12-18 2019-08-16 I-镊子公司 具有成像功能的设备
KR20240082886A (ko) * 2022-12-02 2024-06-11 한국전자통신연구원 듀얼 챠르코보드를 통한 광각-협각 렌즈간 캘리브레이션 장치 및 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3608458A (en) * 1968-12-10 1971-09-28 Jetru Inc Wide-angle,stereoscopic,and fisheye-type camera for substantially distortion-free stereoscopy
US6271876B1 (en) * 1997-05-06 2001-08-07 Eastman Kodak Company Using two different capture media to make stereo images of a scene
JP4540322B2 (ja) * 2003-09-29 2010-09-08 Ｈｏｙａ株式会社 画像間対応点検出装置および画像間対応点検出方法
KR20050041640A (ko) * 2003-10-31 2005-05-04 삼성전자주식회사 영상 촬영 장치 및 방법
US8139045B2 (en) * 2006-12-15 2012-03-20 Lg Display Co., Ltd. Display device having multi-touch recognizing function and driving method thereof
JP4636346B2 (ja) * 2009-03-31 2011-02-23 アイシン精機株式会社 車載カメラの校正装置、方法、及びプログラム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014006675B4 (de) 2013-05-08 2021-12-09 Mando Corporation Vorrichtung und Verfahren zur Fahrzeug-Fahrsteuerung
US10410061B2 (en) 2015-07-07 2019-09-10 Samsung Electronics Co., Ltd. Image capturing apparatus and method of operating the same
CN114667729A (zh) * 2020-01-08 2022-06-24 核心光电有限公司 多孔变焦数码摄像头及其使用方法
CN114667729B (zh) * 2020-01-08 2024-04-19 核心光电有限公司 多孔变焦数码摄像头及其使用方法

Also Published As

Publication number Publication date
US20130120538A1 (en) 2013-05-16

Similar Documents

Publication Publication Date Title
KR20130051709A (ko) 스테레오 카메라 모듈
US8648917B2 (en) Imaging apparatus, image processing apparatus, and image processing method, and program
JP7033865B2 (ja) 画像生成装置、画像生成方法、及びプログラム
CN111225201B (zh) 视差校正方法及装置、存储介质
US9313411B2 (en) Camera, distortion correction device and distortion correction method
TW201301202A (zh) 影像處理方法以及影像處理裝置
JP6694281B2 (ja) ステレオカメラおよび撮像システム
JP2014501086A (ja) 立体画像取得システム及び方法
CN117939291A (zh) 内窥镜系统的摄像参数确定方法、装置、设备和存储介质
US20130050427A1 (en) Method and apparatus for capturing three-dimensional image and apparatus for displaying three-dimensional image
WO2014141653A1 (ja) 画像生成装置、撮像装置および画像生成方法
TW201428687A (zh) 影像校正方法及影像校正電路
JP4821704B2 (ja) 画像歪み補正方法
US10075639B2 (en) Image acquiring device and portable terminal comprising same and image acquiring method of the device
JP5627498B2 (ja) 立体画像生成装置及び方法
KR101634225B1 (ko) 다시점 입체 영상 보정 장치 및 방법
CN104811688A (zh) 图像获取装置及其图像形变检测方法
JP6362473B2 (ja) 画像処理装置、撮像装置、画像処理方法、プログラム、記憶媒体
CN102857772B (zh) 影像处理方法以及影像处理装置
JPWO2016158184A1 (ja) 医療用観察装置、レンズ駆動制御装置、レンズ駆動制御方法、プログラム、及びビデオ顕微鏡装置
US20210397005A1 (en) Image processing apparatus, head-mounted display, and image displaying method
JP5582101B2 (ja) 画像処理装置、そのプログラム、および画像処理方法
JP6045280B2 (ja) 撮像装置
US20150092022A1 (en) Method for generating translation image and portable electronic apparatus thereof
JP5351200B2 (ja) 画像処理装置、画像処理システムおよび画像処理方法

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20111110

PG1501 Laying open of application
PC1203 Withdrawal of no request for examination
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid