[go: up one dir, main page]

KR101356286B1 - 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치 - Google Patents

화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치 Download PDF

Info

Publication number
KR101356286B1
KR101356286B1 KR1020107001700A KR20107001700A KR101356286B1 KR 101356286 B1 KR101356286 B1 KR 101356286B1 KR 1020107001700 A KR1020107001700 A KR 1020107001700A KR 20107001700 A KR20107001700 A KR 20107001700A KR 101356286 B1 KR101356286 B1 KR 101356286B1
Authority
KR
South Korea
Prior art keywords
color
image
pixel
sampling
plane
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020107001700A
Other languages
English (en)
Other versions
KR20100051056A (ko
Inventor
야스히로 사와다
시안지 장
다카시 마쓰다
Original Assignee
실리콘 하이브 비.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from JP2007166106A external-priority patent/JP5036421B2/ja
Priority claimed from JP2007335065A external-priority patent/JP5036524B2/ja
Application filed by 실리콘 하이브 비.브이. filed Critical 실리콘 하이브 비.브이.
Publication of KR20100051056A publication Critical patent/KR20100051056A/ko
Application granted granted Critical
Publication of KR101356286B1 publication Critical patent/KR101356286B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Processing (AREA)

Abstract

화상 처리 장치는 컬러 화상의 화소 위치로부터 변형 처리가 실시된 경우, 컬러 화상의 화소 위치에 대응하는 색 모자이크 화상 상의 해당 샘플링 좌표를 산출하는 좌표 변화부(142), 색 모자이크 화상을 분해하여 복수의 색 플레인마다 샘플링 좌표에서의 화소값을 보간 생성하는 샘플링부(143), 각 색 플레인의 보간값을 합성하는 것으로써 컬러 화상을 생성하는 색생성부(144)를 포함한다. 변형 처리가 실시된 컬러 화상의 각 화소값은 보간 연산에 의해 색 모자이크 화상으로부터 샘플링 좌표의 화소값으로 얻어지는 것으로, 그것에 의해 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리와 컬러 화상의 변형 처리를 한 번의 보간 연산으로 구현될 수 있도록 한다.

Description

화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치 {IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, PROGRAM, AND IMAGING DEVICE}
본 발명은 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치에 관한 것으로, 특히, 단판식 컬러 촬상 소자를 포함하며, 단판식 컬러 촬상 소자로부터 얻어진 색 모자이크 화상의 전체 화소에 대한 복수의 컬러 휘도 정보를 보간하여 컬러 화상을 생성하는 디모자이크 처리를 실시하는 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치에 관한 것이다.
최근 소비자들 사이에서 디지털 카메라의 인기는 착실하게 진행되고 있다. 그 이유 중 하나로, 디지털 카메라의 비용이 계속 떨어져, 가격이 많은 소비자들에게 도달하는 범위가 되고 있는 것을 들 수 있다. 비용 하락을 유지하기 위하여, 많은 디지털 카메라들은 이른바 단판식 촬상 소자를 채용하고 있다. 단판식 디지털 카메라에서는 컬러 화상 내의 각 화소에 대한 단색 정보를 얻기 위하여, 오직 1개의 촬상 소자가 사용된다.
단판식 촬상 소자에서, 각 화소의 화상은 단지 단색의 컬러 정보만을 포함한다. 하지만, 컬러 화상은 3개의 다른 단색 화상을 조합하는 것에 의해 표현된다. 즉, 컬러 화상을 표시하기 위해서, 각 화소에 대한 적색, 녹색, 청색(RGB) 값이 필요하다. 이 때문에 단판식 디지털 카메라에서는, R, G, B 성분 중 하나를 갖는 색 모자이크 화상을 이용하여 각 화소에 대한 디모자이크 처리(또한, 색 보간 처리라고도 함)를 실시하고 있다(예를 들어, 특허 문헌 1 및 2 참조). 디모자이크 처리는 대응하는 색 모자이크 화상 화소의 주변 화소로부터 수집된 부족한 컬러 휘도 정보상에 보간 연산을 이용하여 각 화소가 R, G, B 성분을 모두 갖는 컬러 화상을 생성하는 처리이다.
또한, 보정 처리의 예로써, 가끔 색수차 보정을 실시한다. 디지털 카메라에서 결상 광학계는 굴절률은 촬상광의 파장에 따라 다르다. 이 때문에, RGB 각각에 대한 화상 배율이 다르게 나타난다. 이로 인해, 촬상 소자 상에 형성된 화상의 크기가 각 컬러마다 다르게 나타난다. 도 20에 나타낸 것과 같이, 촬상 소자 상에 형성된 화상은 각 컬러 성분에 대하여 결상 엇갈림이 발생되는 것으로 알려져 있다. 이것을 렌즈의 배율 색수차(수평 변형:Horizontal Distortion)라고 한다. 백색 광원을 촬영했을 때, 배율 색수차가 나타나면, 특히, 화상(프레임)의 양 모서리 주변 영역이 무지개 색으로 물이 든 것처럼 보여 방사 방향으로 연장되는 것처럼 보일 수 있다. 또한, 결상 엇갈림과 함께, 화상(프레임)의 엣지 부분에서 색 엇갈림이 나타나 화질의 품질을 손상시키는 문제점이 있었다.
이러한 색 엇갈림의 발생을 억제하기 위한 촬상 장치는 색 엇갈림이 발생하는 경우, 촬상에 의해 얻어진 컬러 화상 신호에 따라 컬러 화상의 기준 위치로부터색수차 양을 검출하고, 검출된 색수차 양에 따라 컬러 화상 신호에 왜곡 보정이 더해지도록 하는 촬상 장치가 제공되고 있다.
또한, 촬상 장치는 컬러 화상 내에서 유효한 엣지 및 기준 위치로부터 거리를 검출함으로써 색수차 양을 검출한다.
뿐만 아니라, 색수차 보정된 RGB 화상 신호를 합성하여 출력하도록 하는 디지털 카메라도 제안되고 있다. 우선, 촬상 광학 렌즈로부터 출력된 RGB 신호를 얻어 광학 렌즈의 특정 초점 거리값을 이용하여 각각 색수차 보정(G를 기준으로 하고, R, B에 대하여 확대 또는 축소를 실시하는 보정)을 실시할 수 있다. (예를 들어, 특허 문헌 3 참조).
특허 문헌 1: 특표 2004-534429호 공보
특허 문헌 2: 특개 2000-270294호 공보
특허 문헌 3: 특개평6-113309호 공보
하지만, 상기 종래의 기술에서 색 모자이크 화상으로부터 컬러 화상을 생성하는 경우, 보간 처리를 실시하는 것 이외에, 그 다음에 컬러 화상의 변형을 위하여 별도의 보간 처리가 요구된다. 즉, 화소 보간이 이중으로 실시된다. 이 때문에, 처리 부하가 커진다고 하는 문제점이 있었다. 또한, 보간에 의해 생성된 화상에 대하여 다른 보간이 수행됨으로써, 생성된 화상의 화질 열화가 증가하는 문제점이 있었다.
또한, 상기 종래의 기술에서는, 컬러 화상 내에서의 엣지 위치에 따라 색수차 양을 검출하는 경우, 정확한 RGB의 관련성을 얻을 수 없어 때때로 엣지 위치가 검출될 수 없다. 즉, 배율 색수차를 갖는 색 모자이크 화상에 대해서는, 도 21에 나타내는 바와 같이, RGB의 색 성분에 따라 샘플링 위치에 대한 휘도 정보 값이 다르기 때문에, 각 색 성분의 엣지 위치가 일치하지 않게 되어 높은 해상도를 얻을 수 없다.
그 때문에, 본래의 엣지 위치가 엣지로서 인식되지 못하여 엣지 위치를 이용하여 디모자이크를 정확하게 수행할 수 없다는 문제점이 있었다.
게다가, 특허 문헌 3에 기재된 디지털 카메라는 단판식이 아니고, 이른바 3 판식의 디지털 카메라이다. 3 판식의 디지털 카메라는, RGB 컬러 각각에 대한 단일 촬상 소자를 갖추어 각각의 촬상 소자로부터 출력되는 RGB 출력 신호를 합성하여 컬러 화상을 얻도록 이루어져 있다. 3 판식의 경우, RGB의 화소수 모두는 출력 화상의 화소수와 일치하기 때문에, 비교적 단순한 화상 합성으로 컬러 화상을 얻을 수 있다. 즉, 출력 화상의 화소수에 비해 RGB 화소수가 모두 적은 단판식 이미지 센서 카메라와 비교할 때, 3판식 디지털 카메라는 디모자이크 처리(색 보간 처리)를 필요로 하지 않는다.
이와 달리, 단판식 디지털 카메라의 경우는, 색 모자이크 화상으로부터 컬러 화상이 생성되는 경우, 보간 처리 외에, 배율 색수차를 보정하기 위한 별도의 보간 처리가 요구된다. 즉, 화소 보간이 이중으로 실시된다. 이 때문에, 처리 부하가 커진다는 문제점이 있었다. 또한, 보간에 의해 생성된 화상에 대하여 또 다른 보간이 실시되므로, 생성된 화상의 화질 열화가 커진다는 문제점도 있었다.
본 발명은 이러한 문제를 해결하기 위해서 이루어진 것으로, 색 모자이크 화상으로부터 변형 처리가 실시된 컬러 화상이 생성되는 경우, 보다 적은 처리 부하 및 적은 화질 열화를 구현할 수 있도록 하는 것을 목적으로 한다.
상기의 과제를 해결하기 위해서, 본 발명에서는 색 모자이크 화상을 동일한 색상의 화소값만을 포함하는 복수의 색 플레인(plane)으로 분해하는 색 플레인 분해부, 컬러 화상의 화소 위치로부터 색 모자이크 화상에 대응하는 샘플링 좌표를 산출하는 좌표 변환부, 복수의 색 플레인의 샘플링 좌표 내에서 화소를 보간하는 샘플링부 및 각 색 플레인의 보간값 합성을 통해 컬러 화상을 생성하는 색생성부를 포함한다.
컬러 화상의 변형 처리 후에 얻어진 색 모자이크 화상의 화소 위치에 대응하는 샘플링 좌표에 대한 산출은 좌표 변환부에서 이루어진다.
이와 같이 구성한 본 발명에 따르면, 색 모자이크 화상으로부터 변형 컬러 화상을 생성하는 이전 단계로써, 출력된 변형 컬러 화상의 화소 위치에 대응하는 색 모자이크 화상의 샘플링 좌표가 산출된다. 이후, 변형 컬러 화상의 화소값은 상술한 샘플링 좌표 내에서의 색 모자이크 화상의 화소값을 보간 연산하여 생성된다. 이렇게 함으로써, 색 모자이크 화상으로부터, 샘플링 좌표의 화소값으로써 변형 처리된 컬러 화상을 구할 수 있다.
이에 의해, 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리와, 상술한 컬러 화상의 변형 처리는 한 번의 보간 연산으로 동시에 구현할 수 있게 된다. 이 때문에, 색 모자이크 화상으로부터 변형 컬러 화상을 생성하는 경우, 처리 부하를 감소시킬 수 있으며, 종래 방법에서 요구되는 이중 보간에 의해 발생하는 화질 열화를 억제시킬 수 있다.
또한, 본 발명의 다른 형태에서, 본 발명은 색 모자이크 화상을 동일한 색의 화소값만을 포함하는 복수의 색 플레인으로 분해하는 색 플레인 분해부, 컬러 화상의 화소 위치로부터 색 모자이크 화상에 대응하는 샘플링 좌표를 산출하는 좌표 변환부, 복수의 색 플레인의 샘플링 좌표 내의 화소를 보간하는 샘플링부 및 각 색 플레인의 보간값을 합성하여 컬러 화상을 생성하는 색생성부를 포함한다. 좌표 변환부에서, 복수의 색 플레인 각각에 대하여 각 색 플레인에 따라 값이 다른 계수를 이용하여 컬러 화상의 화소 위치로부터 각 색 플레인마다 다른 샘플링 좌표가 산출된다.
이와 같이 구성한 본 발명에 다르면, 색 모자이크 화상으로부터 변형 컬러 화상을 생성하는 이전 단계로써, 배율 색수차로 인해 각 컬러 성분의 엇갈림이 조정된 각 색 플레인에서 화소 위치는 출력된 변형 컬러 화상의 화소 위치에 대응하는 색 모자이크 화상의 샘플링 좌표를 이용하여 산출된다. 이후, 변형 컬러 화상의 화소값은 상술한 샘플링 좌표 내에서 색 모자이크 화상의 화소값의 보간 연산을 이용하여 생성될 수 있다. 이렇게 함으로써, 색 모자이크 화상으로부터, 샘플링 좌표의 화소값으로써 배율 색수차가 보정된 각 컬러 화상을 구할 수 있다.
또한, 본 발명의 다른 형태에서, 좌표 변환부는 색 플레인에 따라서 값이 달라지는 색수차 계수 외에, 컬러 화상에 대한 변형을 나타내는 화상 변형 계수, 촬상 장치의 손 흔들림 보정 계수, 촬상광을 유도하는 결상 광학계의 초점 거리 및 피사체 거리에 따라서 정해지는 왜곡 수차 계수 중 적어도 하나를 이용하여 컬러 화상의 화소 위치로부터 색 플레인마다 다른 샘플링 좌표를 산출하도록 하고 있다.
이렇게 하는 것으로, 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리(디모자이크 처리) 및 상술한 결상 광학계의 배율 색수차 보정은 한 번의 보간 연산에 의해서 구현될 수 있다. 이 때문에, 색 모자이크 화상으로부터 변형 컬러 화상을 생성하는 경우, 처리 부하를 감소시킬 수 있으며, 종래 방법에서 요구되는 이중 보간에 의해 발생하는 화질 열화를 억제시킬 수 있다.
이와 같이 구성한 본 발명에 따르면, 색 모자이크 화상으로부터 변형 컬러 화상을 생성하기 위한 이전 단계로써, 배율 색수차로 인한 색 엇갈림 보정 외에, 화상 변형, 손 흔들림 보정, 색 모자이크 화상 상에 대응하는 컬러 화상의 화소 위치에 대한 렌즈 스테이트 왜곡 보정값은 샘플링 좌표 연산에 이용된다.
이에 의해, 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리와 상술한 결상 광학계의 배율 색수차 보정 및 손 흔들림 보정, 왜곡 보정 등의 처리는 한번의 보간 연산으로 동시에 구현될 수 있다. 이 때문에, 컬러 모자이크 화상으로부터 변형 컬러 화상을 생성하는 경우, 처리 부하를 감소시킬 수 있으며, 다수의 보간이 요구되는 것에 의해 발생하는 화질의 열화도 억제할 수 있다.
또한, 본 발명의 다른 형태에서는, 소정의 화상을 촬영하는 것을 통해 상술한 색수차 계수를 산출하는 수차 계수부를 포함하며, 이 색수차 계수를 이용하여 컬러 화상의 화소 위치로부터 각 색 플레인마다 다른 샘플링 좌표를 산출한다.
이와 같이 구성한 본 발명에 따르면, 촬영된 소정의 화상에 대한 색수차 계수를 산출하는 수차 계수부를 포함함으로써, 이 산출된 색수차 계수를 한 번의 보간 연산으로, 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리(디모자이크 처리) 및 상술한 결상 광학계의 배율 색수차 보정에 이용할 수 있다.
또한, 본 발명의 다른 형태에서는, 출력을 수신하는 외부 장치에 접속된 화상 출력부 및 상술한 색수차 계수에 대한 계수 입력 수단을 포함하며, 입력된 색수차 계수를 이용하여 컬러 화상의 화소 위치로부터 색 플레인마다 다른 샘플링 좌표가 산출될 수 있다.
이와 같이 구성한 본 발명에 따르면, 출력을 수신하는 외부 장치에 접속된 화상 출력부 및 상술한 색수차 계수에 대한 계수 입력 수단을 포함하며, 색수차 계수를 이용하여 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리(디모자이크 처리) 및 상술한 촬상 광학계의 배율 색수차 보정을 모두 한 번의 보간 연산에 의해서 구현할 수 있다.
도 1은 본 발명의 화상 처리 장치의 제1 실시 형태에 따른 컬러 촬상 장치의 구성 예를 나타내는 도면이다.
도 2는 본 발명의 제1 내지 제5 실시 형태에 따른 주요 컬러 필터들의 베이어(Bayer) 배열을 나타내는 도면이다.
도 3은 제1 실시 형태에 따른 디모자이크부(demosaic unit)의 구성을 나타내는 블록도이다.
도 4는 제1 실시 형태에 따른 디모자이킹(demosaicing)의 화상 처리의 동작 예를 나타내는 흐름도이다.
도 5는 제1 실시 형태에 따른 디모자이크부의 다른 화상 처리 예를 구체적으로 도시 및 설명하기 위한 이미지 도면이다.
도 6은 제1 실시 형태에 따른 바이리니어(bilinear) 보간을 설명하기 위한 이미지 도면이다.
도 7은 제1 실시 형태에 따른 디모자이크부에 의해 실시되는 화상 처리의 예를 구체적으로 설명하기 위한 이미지 도면이다.
도 8은 본 발명의 화상 처리 장치를 실시한 제2 실시 형태 및 제3 실시 형태에 따른 컬러 촬상 장치의 구성을 나타내는 도면이다.
도 9는 제2 실시 형태 및 제3 실시 형태에 따른 디모자이크부의 구성을 나타내는 블록도이다.
도 10은 제2 내지 제5 실시 형태에 따른 디모자이킹의 화상 처리 예를 구체적으로 도시 및 설명하기 위한 흐름도이다.
도 11은 제2 실시 형태 및 제3 실시 형태에 따른 디모자이크부의 화상 처리 동작 예를 추체적으로 도시 및 설명하기 위한 이미지 도면이다.
도 12는 제2 내지 제5 실시 형태에 따른 디모자이크부의 다른 화상 처리 예를 도시 및 설명하기 위한 이미지 도면이다.
도 13은 본 발명의 제4 실시 형태에 따른 컬러 촬상 장치의 구성을 나타내는 도면이다.
도 14는 제4 실시 형태에 따른 수차 계수 테이블의 예를 나타내는 도면이다.
도 15는 제4 실시 형태에 따른 디모자이크부의 구성을 나타내는 블록도이다.
도 16은 제5 실시 형태에 따른 컬러 촬상 장치의 구성을 나타내는 도면이다.
도 17은 제5 실시 형태에 따른 색수차 양 검출을 설명하는 도면으로, 도 17(a)는 차트의 형태를 나타내며, 도 17(b)는 촬상 소자에 대한 차트 배열을 나타낸다.
도 18은 제5 실시 형태에 따른 색수차 양 검출을 설명하는 도면으로, 도 18(a), (b)는 교점 검출을 설명하기 위한 것이며, 도 18(c)는 각 교점에서의 엣지 검출을 설명하기 위한 것이며, 도 18(d)는 화소열을 설정하는 것을 나타낸다.
도 19는 제5 실시 형태에 있어서 엣지 검출을 설명하기 위한 도면이다.
도 20은 렌즈의 배율 색수차를 설명하기 위한 도면이다.
도 21은 배율 색수차에 의한 색 엇갈림을 설명하기 위한 도면이다.
도 22는 (가색상 억제를 고려하여) RGB의 컬러 정보를 YUV의 컬러 정보로 변환하는 경우 이용되는 수학식을 나타내는 도면이다.
도 23은 xy 좌표와 uv 좌표와의 관계를 나타내는 도면이다.
도 24는 흔들림 보정에 이용되는 수학식을 나타내는 도면이다.
도 25는 색 플레인 간에 좌표를 변환하는 경우 이용되는 수학식을 나타내는 도면이다.
도 26은 각 색 플레인 상의 xy 좌표에 대한 색 모자이크 화상의 화소 좌표에 대한 관계식을 나타내는 도면이다.
도 27은 색수차 행렬을 구하는 경우 이용되는 수학식을 나타내는 도면이다.
(제1의 실시 형태)
본 발명의 제1 실시 형태는 첨부된 도면에 근거하여 구체적으로 설명한다.
도 1은 본 발명의 제1 실시 형태에 따른 컬러 촬상 장치(100)의 구성을 나타내는 도면이다. 본 실시 형태의 컬러 촬상 장치(100)는 결상 광학계(110), 단판 컬러 이미지 센서(120), A/D 변환부(130), 디모자이크부(140), 시각 보정부(150), 압축부(160) 및 기록부(170)로 구성된다. 이 중, 디모자이크부(140)는 본 발명의 화상 처리 장치에 상응한다.
단판 컬러 이미지 센서(120)는 결상 광학계(110)로부터 출력된 화상 신호를 소정의 컬러 성분으로 분해하는 컬러 필터 어레이(121)로 출력하고, 컬러 필터 어레이(121)를 통과한 후에 광전 변환하여 화상 신호를 생성하는 촬상 소자(122)를 구비하고 있다. 촬상 소자(122)는, 예를 들어, CCD(Charge Coupled Device), 또는 CM0S(Complementary Metal Oxide Semiconductor) 센서 등으로 구성된다.
결상 광학계(110)는 물체의 촬상광을 단판 컬러 이미지 센서(120)로 유도하는 역할을 한다. 예를 들어, 결상 광학계(110)는 광학적 저역 통과 필터(lowpass filter)를 포함하는 촬영 렌즈나, 적외선 제거 필터 등으로부터 구성되고 있다. 또한, 적외선 제거 필터는 단판 컬러 이미지 센서(120)에 입사하는 적외선을 차단하기 위한 것으로, 광학적 저역 통과 필터(lowpass filter)의 전방에 배치되는 1 매의 유리 블록으로서 구성된다.
단판 컬러 이미지 센서(120)의 컬러 필터 어레이(121)는 촬상 소자(122)의 각 화소의 수광면 상에 소정 패턴으로, 규칙적으로 배치되어 촬상광을 소정의 색 성분으로 필터링하는 역할을 한다. 본 실시 형태에서는, 색 성분으로 3색(R, G 및 B)을 이용한 원색(原色) 베이어(Bayer) 배열의 컬러 필터 어레이(121)를 사용하고 있다.
원색 베이어(Bayer) 배열은 도 2에 나타낸 것과 같이, 체커보드(checker board) 패턴으로 배치되는 G 컬러 필터 외에, 서로 교대열로 배치된 R 색필터 및 B 색필터를 갖는다. 또한, G 색필터에 있어서 수평 방향으로 R 색필터 사이에 있는 것을 Gr 색필터, 수평 방향으로 B 색필터 사이에 있는 것을 Gb 색필터라 일컫는다.
촬상 소자(122)는 수신된 촬상광을 화소 정보로 광전 변환하며, 그것을 전하(electric charge)로 저장하고 이 전하를 AD 변환부(130)로 출력하는 역할을 한다. 촬상 소자(122)는 소정 패턴으로 배열된 복수의 화소(포토 다이오드)를 가지며, 이 각 화소의 수광면 상에 상술한 원색 베이어 배열의 컬러 필터 어레이(121)가 규칙적으로 배치되고 있다.
이상의 구성에서, 피사체상은 결상 광학계(110)를 거쳐 단판 컬러 이미지 센서(120)의 촬상 소자(122) 상에 화상을 형성한다. 이때, 결상 광학계(110)가 갖는 각종의 수차로 인해 피사체로 형성된 화상은 열화하게 된다. 예를 들어, 피사체 상에서의 직선이 왜곡 수차에 의해 화상 상에서 곡선이 된다.
단판 컬러 이미지 센서(120)는 촬상 소자(122) 상에서 결상된 화상을 아날로그 신호인 색 모자이크 화상으로 변환한다.
즉, 컬러 필터 어레이(121)는 도 2에 나타낸 바와 같이 원색 컬러 베이어 배열이며, RGB (각) 컬러 필터는 각 화소의 촬상 소자(122)의 각 화소 상에 늘어 놓아 진다. 이 때문에, 피사체의 촬상광은 촬상 소자(122)로 통과되는 화소에 대한 컬러 성분만을 색 모자이크 화상으로써 각 화소에 통과된다. 그리소 나서, 촬상 소자(122)는 수신된 광을 광전 변환하고, 색 모자이크 화상의 전기 신호로써 A/D 변환부(130)에 출력한다.
A/D 변환부(130)는 촬상 소자(122)로부터 광전 변환된 아날로그 색 모자이크 신호를 디지털 출력 신호로 변환한다. 또한, A/D 변환부(130)에서 A/D 변환된 직후의 색 모자이크 데이터는 RAW 데이터라고도 불린다. 디모자이크부(140)는 색 모자이크 화상을 컬러 화상으로 변환한다. 본 실시 형태에서는, 이때 동시에 화상 변형 처리를 실시함으로써, 결상 광학계(110)의 왜곡 수차에 의한 상술한 화상 열화가 보정된다. 이 디모자이크부(140)의 화상 처리 방법은 후에 구체적으로 설명된다.
시각 보정부(150)는 화상을 보기 좋게 하기 위하여 주로 디모자이크부(140)에 의해 생성된 컬러 화상을 처리한다. 예를 들어, 톤 커브(curve)(감마) 보정, 채도 강조, 엣지 강조 등과 같은 화상 보정 처리가 시각 보정부(150)에 의해 실시된다. 압축부(160)는 시각 보정부(150)에서 보정된 컬러 화상을 JPEG(Joint Photographic Experts Group) 등과 같은 방법으로 압축하여 기록시, 사이즈를 작게 한다. 기록부(170)는 압축된 디지털 화상 신호를 플래시 메모리 또는 다른 기록 매체(도시하지 않음)에 기록한다.
또한, 디모자이크부(140)에서 기록부(170)까지의 각 구성은, 별도의 디바이스로서 구성될 수 있으며, 단일의 마이크로 프로세서로 구성될 수도 있다. 후자의 경우는, 단일의 마이크로 프로세서가 디모자이크부(140)로부터 기록부(170)까지의 각 구성과 관련되는 처리를 실시한다.
도 3은 디모자이크부(140)의 기능 구성 예를 나타내는 블록도이다. 도 4는 디모자이크부(140)에 의해 실시되는 화상 처리 동작의 예를 나타내는 흐름도이다. 도 5는 디모자이크부(140)에 의해 실시되는 화상 처리의 내용을 구체적으로 설명하기 위한 이미지 도면이다. 도 3에 나타낸 바와 같이, 디모자이크부(140)는 기능적 구성으로써, 색 플레인(plane) 분해부(141), 좌표 변환부(142), 샘플링부(143) 및 색생성부(144)가 설치되어 있다.
색 플레인 분해부(141)는 AD 변환부(130)에서 출력된 색 모자이크 화상을 동일한 색광의 화소값을 포함한 복수의 색 플레인으로 분해한다(도 4의 스텝 S1). 본 실시 형태에서는, 도 5에 나타낸 바와 같이, 색 플레인은 R 성분의 화소만을 갖는 R 플레인, G 성분의 화소만을 갖는 G 플레인, B 성분의 화소만을 갖는 B 플레인의 전체 3개의 색 플레인으로 분해된다. 분해된 각 색 플레인은 샘플링부(143)의 처리에 이용된다.
좌표 변환부(142)는 컬러 화상에 대한 화상 변형을 나타내는 계수를 이용하여 컬러 화상에 대한 변형 처리(이하, '변형 컬러 화상'이라고 칭한다)가 실시된 경우, 색 모자이크 화상에서 생성된 컬러 화상의 화소 위치로부터, 색 모자이크 화상의 샘플링 좌표를 산출한다(도 4의 스텝 S2).
예를 들어, 결상 광학계(110)의 수차에 의해 왜곡된 컬러 화상을 보정하기 위하여, 색 모자이크 화상으로부터 생성된 변형 컬러 화상에 대해서 비선형의 좌표 변환을 실시한다. 이 좌표 변환 방법은 종래 알려진 것이며, 변형 컬러 화상 상의 화소 위치 및 색 모자이크 화상 상에서 그것의 위치(샘플링 좌표)는 연산에 의해 구할 수 있다.
이하에, 샘플링 좌표의 산출 순서를 자세히 설명한다. 우선, xy 좌표계에 있어서, 원점을 화상 중심, 최대 화상 높이(원점으로부터의 최대 거리)를 1로 하고, 원점에서 화면 오른쪽 방향으로 양의 x 좌표를 취하고, 원점에서 화면 아래 방향으로 양의 y 좌표를 취하는 것으로 한다. 이 경우, 640×480의 정방 화소의 컬러 화상에 대하여, uv 좌표계의 화소 좌표(ud, vd)가 도 2와 같이, 화면의 상부 왼쪽으로부터 우방향으로 (0, 0), (1, 0), (2, 0) …, 다음의 행이 (1, 0), (1, 1), (2, 1), …와 같이 할당되면, uv 좌표계의 화소 좌표(319.5, 239.5)가 xy 좌표계의 원점이 된다. 또, 화소 좌표계 시스템의 대각(deflection angle)의 절반의 길이 400=(6402+4802)1/2/2가 대응하는 xy 좌표계 시스템의 최대 화상 높이에 대응하므로, xy 좌표(xd, yd)는 화소 좌표(ud, vd)는 대하여 아래의 관계식으로 나타난다.
Figure 112010004971545-pct00001
Figure 112010004971545-pct00002
아래의 수학식은 결상 광학계(110)의 왜곡 수차 보정을 고려한 좌표 변환에 대응하는 xy 좌표(xd, yd)에 이용된다.
Figure 112010004971545-pct00003
Figure 112010004971545-pct00004
(단,
Figure 112010004971545-pct00005
)
또한, {k1, k2}는 결상 광학계(110)의 왜곡 수차를 나타내는 계수이며, k1은 3차 수차 계수, k2는 5차 수차 계수를 나타낸다. 위에서 설명한 바와 같이, 왜곡 수차를 포함한 컬러 화상의 비선형 좌표 변환 방법은 종래에 알려진 것이며, 왜곡 수차 계수{k1, k2}는 시뮬레이션 등에 의해 얻는 것이 가능하다. 이 왜곡 수차 계수{kl, k2}가 본 발명의 화상 변형 계수에 상응한다.
한편, 색 모자이크 화상이 1600×1200 정방 화소로부터 만들어지는 것으로 하고, uv 좌표계의 화소 좌표(us, vs)가 상술한 컬러 화상과 동일한 방식으로 할당되어 있다면, uv 좌표계의 화소 좌표(799.5, 5995)가 xy 좌표계의 원점이 되며, 화소 좌표계의 대각선(deflection angle)의 절반의 길이 1000=(16002+12002)1/2/2가 xy 좌표계의 최대 화상 높이에 대응한다. 이 때문에, 변형 컬러 화상의 xy 좌표(x, y)에 대응하는 색 모자이크 화상 상의 화소 좌표(us, vs)는 아래와 나타낸 것과 같다.
Figure 112010004971545-pct00006
Figure 112010004971545-pct00007
상술한 계산의 결과, 화소 좌표(us, vs)는 정수값으로 한정되지는 않으며, 일반적으로는 비정수가 된다. 이 색 모자이크 화상의 화소 좌표(us, vs)는 샘플링 좌표이다. 도 5에서는 이 샘플링 좌표 중 하나를 부호 200으로 나타내고 있다. 위에서 설명한 바와 같이, 색 모자이크 화상은 3개의 색 플레인으로 분해된다. 도 5에서는 각각의 색 플레인 상에 샘플링 좌표(200)를 도시하고 있다. 위에서 설명한 바와 같이, 샘플링 좌표의 값은 비정수가 되므로, 샘플링 좌표(200)의 위치는 화소 중심으로부터 어긋난다.
색 플레인 분해부(141)에 의해 분해된 복수의 색 플레인 각각에 대하여, 샘플링부(143)는 좌표 변환부(142)에 의해 산출된 샘플링 좌표(200)에 대한 색 플레인 내에서 동일한 색의 화소값(샘플링 값)으로부터 보간을 생성한다(도 4의 스텝 S3). 즉, 샘플링부(143)는 보간 연산을 통해 R 플레인, G 플레인 및 B 플레인 각각에 대한 샘플링 좌표(200)의 화소값을 출력한다.
위에서 설명한 바와 같이, 샘플링 좌표(200)의 값(us, vs)은 항상, 반드시 정수값으로 한정되지 않기 때문에, 상술한 샘플링 좌표(200)를 둘러싸는 4개의 화소 내용(content)(각 색 플레인이 원래 가지고 있는 동일한 색광의 화소값)을 선형 보간한다.
이 선형 보간은, 바람직하게는 바이리니어(bilinear) 보간에 의해 실시된다.
도 5에 나타나 있듯, R 플레인 및 B 플레인은 화소 내용에 대한 종횡의 격자 점 형상을 가지며, 상술한 샘플링 좌표(200)를 둘러싸는 4개의 화소 위치는 한 변의 길이가 2인 정방형의 각 정점에 있다. 예를 들어, 샘플링 좌표(200)가 (us, vs)=(100.8, 101.4)이면, R 플레인에서 이것을 둘러싸는 4개의 화소(ud, vd)=(100, 100), (100, 102), (102, 100), (102, 102)가 R 플레인의 화소 내용이 된다.
상술한 화소 내용의 각 화소값을 R(100, 100), R(100, 102), R(102, 100), R(102, 102)로 나타낸다고 하면, 도 6과 같은 바이리니어 보간에 의해 생성된 R 플레인 상의 샘플링 좌표(200)의 보간 화소값 R(100.8, 101.4)은 아래의 식에서 나타내어진다.
Figure 112010004971545-pct00008
또, B 플레인에서 샘플링 좌표(200)의 위치(us, vs)=(100.8, 101.4)를 둘러싸는 4개의 화소(ud, vd)=(99, 101), (99, 103), (101, 101), (101, 103)가 B 플레인의 화소 내용이 된다. 상술한 화소 내용의 각 화소값을 B(99, 101), B(99, 103), B(101, 101), B(101, 103)로 나타내는 경우, B 플레인 상에서 샘플링 좌표(200)의 보간 화소 내용 값 B(100.8, 101.4)은 아래에 나타낸 수학식으로 표현된다.
Figure 112010004971545-pct00009
한편, G 플레인은 체커 보드(checker board)에 화소 내용을 갖기 위하여, 샘플링 좌표(200)를 둘러싸는 4개의 화소 내용은 상술한 샘플링 좌표(200)을 둘러싸는 한 변의 길이가
Figure 112010004971545-pct00010
의 45도 경사진 정방형 측면의 각 정점에 위치한다. 이 경우, G 플레인에서 샘플링 좌표(200)의 위치는 (us, vs)=(100.8, 101.4)이며, 이것을 둘러싸는 4개의 화소(ud, vd)=(100, 101), (101, 100), (101, 102), (102, 101)가 G 플레인의 화소 내용이다.
상술한 화소 내용의 각 화소값을 G(100, 101), G(101, 100), G(101, 102), G(102, 101)로 나타내는 경우, G 플레인 상에서의 샘플링 좌표(200)의 보간 화소 내용값 G(100.8, 101.4)은, 아래의 식으로 나타내어진다.
Figure 112010004971545-pct00011
샘플링부(143)의 각 색 플레인에 대하여 보간 생성된 색 플레인 화소값의 합성을 갖는 색생성부(144)는 각 화소값이 각각 복수 색의 화소값의 휘도 정보를 갖는 컬러 화상을 생성한다(도 4의 스텝 S4). 예를 들어, 1개의 샘플링 좌표(us, vs)에 대한 보간값이 샘플링부(143)에 의해 각 색 플레인에 대하여 각각 R(us, vs)), G(us, vs), B(us, vs)로 구해지면, 색생성부(144)에 의해서 이 3개의 보간값을 합성하는 것으로 샘플링 좌표(us, vs)의 컬러 정보를 생성한다.
게다가, 색생성부(144)는 이렇게 하여 얻어진 RGB의 컬러 정보를 YUV의 컬러 정보로 변환하고(Y는 휘도 정보, U, V는 색정보), U, V의 색정보에 대해서 저주파 필터를 실시한다. 또한, RGB에서 YUV로의 변환 처리 및 U, V에 대한 저주파 필터의 처리는, 공지된 처리를 적용할 수 있다.
색생성부(144)는 상술한 처리를 변형 컬러 화상의 모든 화소(모든 샘플링 좌표)에 대하여 실시하고, 변형 컬러 화상으로부터 얻어진 것을 시각 보정부(150)로 출력한다. 시각 보정부(150) 이후의 처리는 상술한 것과 같다.
이상 자세하게 설명한 것처럼, 제1 실시 형태에서는 색 모자이크 화상으로부터 변형 컬러 화상을 생성하기 위한 이전 단계로서, 출력된 변형 컬러 화상의 화소 위치에 대응하는 색 모자이크 화상의 샘플링 좌표(200)가 산출된다. 그리고, 변형 컬러 화상의 화소값은 상술한 샘플링 좌표(200)에서 색 모자이크 화상의 화소값의 보간 연산을 이용하여 생성된다.
이에 의해, 색 모자이크 화상으로부터 컬러 화상을 생성하는 컬러 보간 처리와, 상술한 컬러 화상의 변형 처리는 한 번의 보간 연산에 의해 동시에 실현될 수 있다. 이 때문에, 색 모자이크 화상으로부터 변형 컬러 화상을 생성할 때의 처리 부하를 감소시킬 수 있으며, 종래 방법에서 요구되는 이중 보간에 의해 발생되는 화질 열화를 감소시킬 수 있다.
또, 제1 실시 형태에서는 색 모자이크 화상이 R, G, B의 복수의 색 플레인으로 분해되어 샘플링 좌표(200)의 보간 화소값이 각 색 플레인에 대하여 구해짐으로써, 하나의 화소에 3색이 합성된 휘도값은 컬러 정보를 생성한다. 이와 같이 하는 것에 의해, 각 색 플레인 내에서 동일한 컬러 화소값으로부터 단순한 선형 보간에 의해 샘플링 좌표(200)의 보간 화소값을 구할 수 있어 처리 부하를 감소시킬 수 있다.
또한, 상기 제1 실시 형태에서, 색 플레인 분해부(141)는 색 모자이크 화상을 R 플레인, G 플레인, B 플레인의 3개의 색 플레인으로 분해하는 예에 대해 설명하였지만, 이에 한정되지 않는다.
예를 들어, 도 7에 나타낸 것과 같이, 2종류의 녹색 화소(Gr 및 Gb)를 각각 다른 색 플레인으로 분해할 수 있다. 즉, 색 플레인 분해부(141)는 A/D 변환부(130)에서 출력되는 색 모자이크 화상을, R 성분의 화소만을 갖는 R 플레인, Gr 성분의 화소만을 갖는 Gr 플레인, Gb 성분의 화소만을 갖는 Gb 플레인, B 성분의 화소만을 갖는 B 플레인의 4개의 색 플레인으로 분해한다.
이 경우에 색생성부(144)는 Gr 플레인 및 Gb 플레인에서 각각 샘플링부(143)에 의해 생성된 샘플링 좌표(200)의 화소값(샘플링 값)을 가산하고, 1 화소 내에서 R, G, B 각 색 성분의 휘도 정보가 포함되는 컬러 정보를 생성한다. 예를 들어, R 성분이나 B 성분은 샘플링 값을 그대로 이용하고, G 성분은 Gr와 Gb와의 평균값을 이용한다.
또한, G 성분을 Gr 플레인과 Gb 플레인으로 분해하여 샘플링 좌표(200)의 화소값이 산출된 경우, 디모자이크부(140)는 샘플링부(143)에서 얻어진 Gr 플레인과 Gb 플레인 보간값의 차분을 산출하고, 상술한 보간 화소값의 차분에 근거하여 가색상 유무를 판정하는 가색상 판정부를 더욱 갖출 수도 있다.
베이어 배열의 단판 컬러 이미지 센서(120)는 나이퀴스트(Nyquist) 주파수 근방의 흑백의 줄무늬(stripe) 패턴에 대하여, 빨강이나 파랑의 가색상이 발생하는 문제가 있다. 이에 대해, Gr 플레인의 샘플링 좌표(200)의 보간 화소값과, Gb 플레인의 샘플링 좌표(200)의 보간 화소값 간의 차분을 구함으로써, 줄무늬 패턴 상에서의 가색상 유무를 검출할 수 있어 가색상이 있는 경우에는 이것을 억제할 수 있다.
즉, Gr, Gb의 필터는 보통은 동일한 G 컬러 필터이므로, Gr 플레인 및 Gb 플레인의 보간 화소값은 양쪽 모두 같은 값이 될 것이다.
그러나, 가색이 발생하면, Gr 플레인 및 Gb 플레인의 보간 화소값에 차분이 생긴다. 따라서, 보간 화소값의 차분을 확인하는 것에 의해 가색의 발생의 유무를 검출할 수 있다. 가색이 존재한다고 판정된 경우, 색생성부(144)는 RGB의 컬러 정보를 YUV의 컬러 정보로 변환할 때, 가색 억제를 고려한 도 22의 수학식을 이용하여 변환 처리를 실시한다.
또한, 상기 제1 실시 형태에서는, 컬러 화상에 대한 변형 처리의 예로서 왜곡 보정을 설명했지만, 이에 한정되지 않는다. 예를 들어, 상기 왜곡 보정을 위한 화상 변형 외에 확대, 축소, 회전의 처리 중 적어도 하나가 컬러 화상 처리로 실시되는 경우에도, 본 실시 형태의 디모자이크부(140)를 적용하는 것이 가능하다. 이 경우, 확대, 축소, 회전은 예를 들어, 아핀 변환(affine transformation)으로 나타내는 것이 가능하고, 그 아핀 변환을 나타내는 계수를 화상 변형 계수로서 이용한다.
(제2 실시 형태)
이하, 본 발명의 제2 실시 형태를 도면에 근거하여 설명한다. 도 8은 본 발명과 관련된 화상 처리 장치를 실시한 제2 실시 형태에 따른 컬러 촬상 장치(100')의 구성 예를 나타내는 도면이다. 도 8에 나타낸 것과 같이, 제2 실시 형태의 컬러 촬상 장치(100')는 결상 광학계(110), 단판 컬러 이미지 센서(120), AD 변환부(130), 디모자이크부 (140'), 시각 보정부(150), 압축부(160) 및 기록부(170)을 갖추어 구성되고 있다. 이 중, 디모자이크부(140')는 본 발명의 화상 처리 장치에 상응한다. 또한, 도 8에 있어서, 도 1에 나타낸 부호와 동일한 부호를 교부한 것은 동일한 기능을 가지는 것이므로, 여기에서는 중복하는 설명을 생략한다.
제2 실시 형태에 있어서, 촬영된 피사체는 결상 광학계(110)를 거쳐 단판 컬러 이미지 센서(120)의 촬상 소자(122) 상에 형성된다.
이때, 결상 광학계(110)의 배율 색수차에 의해, 촬상 소자(122) 상에서 각 R, G, B의 결상 어긋남(색 어긋남)이 발생한다. 디모자이크부(140')는 색 모자이크 화상을 컬러 화상으로 변환한다. 본 실시 형태에서는, 이때 동시에 배율 색수차의 보정 처리하는 것을 통해 상술한 결상 광학계(110)의 배율 색수차에 의한 색 어긋남을 보정한다.
도 9는 디모자이크부(140')의 기능 구성 예를 나타내는 블록도이다.
도 10은 디모자이크부(140')에 의해 실시되는 화상 처리의 동작 예를 나타내는 흐름도이다. 도 11은 디모자이크부(140')에 의해 실시되는 화상 처리의 내용을 구체적으로 설명하기 위한 이미지 도면이다.
도 9에 나타낸 바와 같이, 디모자이크부(140')는 기능적 구성으로써, 색 플레인(plane) 분해부(141), 좌표 변환부(142'), 샘플링부(143') 및 색생성부(144)를 구비하고 있다. 또한, 도 9에 있어서, 도 3에 나타낸 부호와 동일한 부호를 교부한 것은 동일한 기능을 가지는 것이므로, 여기에서는 다른 부분을 중점적으로 설명한다.
색 플레인 분해부(141)는 도 11에 나타낸 바와 같이, AD 변환부(130)에서 출력되는 색 모자이크 화상을, R 성분의 화소만을 갖는 R 플레인, G 성분의 화소만을 갖는 G 플레인, B 성분의 화소만을 갖는 B 플레인의 3개의 색 플레인으로 분해한다(도 10의 스텝 S11).
좌표 변환부(142')는 컬러 화상에 대한 변형 처리가 실시되는 경우, 컬러 화상의 화상 변형을 나타내는 계수를 이용하여 색 모자이크 화상으로부터 생성된 화소 위치로부터 색 모자이크 화상의 샘플링 좌표를 산출한다(도 10의 스텝 S12). 본 실시 형태에서, 특히, 좌표 변환부(142')는 색 플레인 분해부(141)에 의해 분해된 복수의 색 플레인 각각에 대해 색 플레인에 따라서 값이 다른 색수차 계수를 이용하여 색 플레인마다 다른 샘플링 좌표를 산출한다. 즉, 결상 광학계(110)의 배율 색수차의 영향이 있지만, 컬러 화상에는 그 영향이 나타나지 않도록 하기 위하여, 샘플링 좌표는 다른 색광에 대응하는 색 플레인에 대해서 다른 값을 주도록 한다.
이하에서, 제2 실시 형태에 의한 샘플링 좌표의 산출 순서를 자세하게 설명한다. 또한, 여기서 고려하는 xy 좌표계는 제1 실시 형태와 같고, 화소 좌표(ud, vd)에 대응하는 xy 좌표(xd, yd)는 아래의 관계식으로 표현된다.
Figure 112010004971545-pct00012
Figure 112010004971545-pct00013
이 xy 좌표(xd, yd)에 대하여, 결상 광학계(110)의 배율 색수차의 보정을 고려한 좌표 변환을 아래의 식과 같이 실시한다. 여기에서는, R 플레인, G 플레인, B 플레인의 3개의 각 색 플레인마다 좌표 변환을 따로따로 실시하고 있다.
Figure 112010004971545-pct00014
Figure 112010004971545-pct00015
Figure 112010004971545-pct00016
또한, {kR, kB}는 결상 광학계(110)의 배율 색수차를 나타내는 계수로, kR은 G 성분에 대한 R 성분의 배율, kB는 G 성분에 대한 B 성분의 배율을 나타내고 있다. 이러한 색수차 계수{kR, kB}는 광학 시뮬레이션 등에 의해 구해지는 것이 가능하다.
한편, 색 모자이크 화상이 1600×1200의 정방 화소로 만들어지며 uv 좌표계의 화소 좌표(us, vs)가 상술한 컬러 화상과 동일하게 할당된다고 하면, uv 좌표계의 화소 좌표(799.5, 5995)가 xy 좌표계의 원점이 되어, 대각선의 절반의 길이 1000=(16002+12002)1/2/2가 xy 좌표계의 최대 화상 높이에 대응한다. 이 때문에, 색수차 보정된 컬러 화상의 각 색 플레인 상의 xy 좌표(xR, yR), (xG, yG), (xB, yB)에 대응하는 색 모자이크 화상의 화소 좌표(usR, vsR), (usG, vsG), (usB, vsB)는 아래에 나타낸 것과 같다.
Figure 112010004971545-pct00017
Figure 112010004971545-pct00018
Figure 112010004971545-pct00019
Figure 112010004971545-pct00020
Figure 112010004971545-pct00021
Figure 112010004971545-pct00022
상술한 계산의 결과, 화소 좌표(usR, vsR), (usG, vsG), (usB, vsB)는 정수값으로 한정되지 않으며, 일반적으로는 비정수가 된다. 이 색 모자이크 화상 상의 화소 좌표 (usR, vsR), (usG, vsG), (usB, vsB)는 색 플레인마다의 샘플링 좌표이다. 도 11에서는 R 플레인 상의 샘플링 좌표를 부호 301로 나타내고, G 플레인 상의 샘플링 좌표를 부호 302로 나타내며, B 플레인 상의 샘플링 좌표를 부호 303으로 나타내고 있다. 위에서 설명한 바와 같이, 샘플링 좌표의 값은 비정수이므로, 화소 중심으로부터 어긋난 위치에 각 색 플레인의 샘플링 좌표(301, 302, 303)가 위치한다.
샘플링부(143')는 색 플레인 분해부(141)에 의해 분해된 복수의 색 플레인 각각에 대하여, 좌표 변환부(142')에 의해 산출된 샘플링 좌표(301, 302, 303) 내에 포함되는 동일한 컬러의 화소값(샘플링 값)으로부터 보간 생성한다(도 10의 스텝 S13). 즉, 샘플링부(143')는 보간 연산으로부터 R 플레인, G 플레인 및 B 플레인 각각의 샘플링 좌표(301, 302, 303)의 화소값을 출력한다.
위에서 설명한 바와 같이, 샘플링 좌표(301, 302, 303)에 대한 값(usR, vsR), (usG, vsG), (usB, vsB)은 반드시 정수값이 되지 않으므로, 샘플링 좌표(301, 302, 303)를 둘러싸는 4개의 화소 내용(각 색 플레인이 원래 갖고 있는 동일 색광의 화소값)로부터 선형 보간을 실시한다.
도 11에 나타낸 바와 같이, R 플레인 및 B 플레인이 화소 내용(pixel content)에 대하여 종횡의 격자 점 형상을 가짐으로써, 샘플링 좌표(301, 303)를 둘러싸는 4개의 화소 위치는 한 변의 길이가 2인 정방형의 정점이 된다. 예를 들어, 샘플링 좌표(301, 303)가 (usR, vsR)=(10O.8, 101.4)이면, R 플레인에서 이것을 둘러싸는 4개의 화소(ud, vd)=(100, 100), (100, 102), (102, 100), (102, 102)가 R 플레인의 화소 내용이 된다.
상술한 화소 내용의 각 화소값이 R(100, 100), R(100, 102), R(102, 100), R(102, 102)로 표현되면, 도 6과 같은 바이리니어 보간에 의해서 생성된 R 플레인 상에서의 샘플링 좌표(301)의 보간 화소값 R(100.8, 101.4)은 다음의 식으로 표현된다.
Figure 112010004971545-pct00023
한편, G 플레인이 화소 내용에 대하여 체크 보드 패턴을 갖도록 하기 위하여, 샘플링 좌표(302)를 둘러싸는 4개 화소의 위치는, 한 변의 길이가
Figure 112010004971545-pct00024
의 45도로 경사진 정방형의 각 정점이 된다. 이 경우, G 플레인에서 샘플링 좌표(302)가 (usG, vsG)=(101.0, 101.4)이면, 이것을 둘러싸는 4개의 화소(ud, vd)=(100, 101), (101, 100), (101, 102), (102, 101)가 G 플레인의 화소 내용이 된다.
상술한 화소 내용의 각 화소값이 G(100, 101), G(101, 100), G(101, 102), G(102, 101)로 표현된다고 하면, 보간에 의해 생성된 G 플레인 상에서의 샘플링 좌표(302)의 보간 화소값 G(101.0, 1001.4)는 다음의 식으로 표현된다.
Figure 112010004971545-pct00025
샘플링부(143')에 의해 보간 생성된 각 색 플레인의 화소값을 합성하는 색생성부(144)는 복수의 각 화소값의 휘도 정보를 갖는 컬러 화상을 생성한다(도 10의 스텝 S14). 게다가, 색생성부(144)에 의해 구해진 RGB의 컬러 정보는 YUV의 컬러 정보로 변환되며(Y 휘도 정보, U, V는 컬러 정보), U, V의 컬러 정보를 저주파 필터에 통과시킨다. 또한, RGB에서 YUV로의 변환 처리 및 U, V에 대한 저주파 필터의 처리는, 공지된 처리를 적용할 수 있다. 색생성부(144)는 컬러 화상의 모든 화소(모든 샘플링 좌표)에 대하여 상술한 처리를 실시하고, 그 결과 얻어진 변형 컬러 화상을 시각 보정부(150)로 출력한다. 시각 보정부(150)으로부터의 처리는 상술한 것과 같다.
색생성부(144)의 처리에 이용하는 샘플링 좌표(301, 302, 303)의 보간 화소값 R(usR, vsR), G(usG, vsG), B(usB, vsB)는 배율 색수차의 색엇갈림이 고려되어, 피사체 상의 동일 부분을 나타낸다. 이 때문에, 피사체 상에 흑백의 경계가 있는 부분에서 R, G, B는 동시에 변환된다. 이것에 의해, 선명하고 샤프한 R, G, B 합성 컬러 화상을 갖는 신호가 얻어질 수 있다. 즉, 배율 색수차가 없는 결상 광학계로 촬영되는 것과 동일한 컬러 화상을 얻을 수 있다.
이상 자세하게 설명한 바와 같이, 제2 실시 형태에서는 색 모자이크 화상으로부터 변형 컬러 화상을 생성하는 이전 단계로써, 출력 변형 컬러 화상의 화소 위치에 대응하는 색 모자이크 화상의 샘플링 좌표(301, 302, 303)를 산출한다. 이후, 상술한 샘플링 좌표(301, 302, 303) 내에서의 색 모자이크 화상 화소값의 보간 연산을 이용하여 변형 컬러 화상의 화소값을 생성한다.
이에 의해, 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리와 상술한 컬러 화상의 배율 색수차 보정 처리를 한 번의 보간 연산에 의해서 실현할 수 있다. 이 때문에, 색 모자이크 화상으로부터 변형 컬러 화상을 생성하는 경우, 처리 부하를 경감할 수 있는 것과 동시에, 종래 방법에서 요구되는 이중 보간 처리에 의해 발생된 화질 열화도 억제할 수 있다.
또, 제2 실시 형태에서는, 색 모자이크 화상을 R, G, B의 복수의 색 플레인으로 분해하고, 각 색 플레인에 샘플링 좌표(301, 302, 303)의 보간 화소값을 구하고 나서, 1 화소에 3색의 휘도 정보에 대한 합성된 값을 포함하는 컬러 정보를 생성하도록 하고 있다. 이 같이 하는 것에 의해, 색 플레인 내에 포함된 동일한 색광의 화소값으로부터 단순한 선형 보간에 의해 샘플링 좌표(301, 302, 303)의 보간 화소값을 구할 수 있게 되어 처리 부하를 경감할 수 있다.
또한, 상기 제2 실시 형태에서, 색 플레인 분해부(141)는 색 모자이크 화상을 R 플레인, G 플레인, B 플레인의 3개의 색 플레인으로 분해하는 예에 대해 설명했지만, 이에 한정되지 않는다.
예를 들어, 도 12에 나타낸 바와 같이, 2종류의 녹색 화소(Gr, Gb)를 각각 다른 색 플레인으로 분해할 수 있다. 즉, 색 플레인 분해부(141)는 A/D 변환부(130)에서 출력되는 색 모자이크 화상을, R 성분의 화소만을 갖는 R 플레인, Gr 성분의 화소만을 갖는 Gr 플레인, Gb 성분의 화소만을 갖는 Gb 플레인, B 성분의 화소만을 갖는ㄷ B 플레인의 4개의 색 플레인으로 분해한다.
이 경우, 색생성부(144)는 각각 샘플링부(143')에 의해 생성된 Gr 플레인 및 Gb 플레인에서의 샘플링 좌표(302)의 화소값(샘플링 값)를 가산하고, 1 화소 내에 R, G, B의 각 색 성분의 휘도 정보가 포함되는 컬러 정보를 생성한다. 예를 들어, R 성분이나 B 성분은 샘플링 값을 그대로 이용하고, G 성분은 Gr와 Gb와의 평균치를 이용한다.
또, G 성분을 Gr 플레인과 Gb 플레인으로 분해하여 샘플링 좌표(302)의 화소값을 산출하는 경우, 디모자이크부(140')는 샘플링부(143')에서 생성된 Gr 플레인과 Gb 플레인의 보간값의 차분을 산출하고, 상술한 보간 화소값의 차분에 근거하여 가색 유무를 판정하는 가색 판정부를 더 구비할 수 있다.
베이어 배열의 단판 컬러 이미지 센서(120)는 나이퀴스트(Nyquist) 주파수 근방의 흑백의 줄무늬(stripe) 패턴에 대하여, 빨강이나 파랑의 가색을 발생하는 문제가 있다. 이에 대해, Gr 플레인의 샘플링 좌표(302)의 보간 화소값과, Gb 플레인의 샘플링 좌표(302)의 보간 화소값 간의 차분을 구함으로써, 줄무늬 패턴 상에서의 가색 유무를 검출할 수 있어 가색이 있는 경우에는 이것을 억제할 수 있다.
즉, Gr, Gb의 필터도 보통은 동일한 G 색필터이므로, Gr 플레인 및 Gb 플레인에 대한 보간 화소값은 양쪽 모두 같은 값이 될 것이다.
그러나, 가색이 생기면, Gr 플레인 및 Gb 플레인에 대하여 얻어진 보간 화소값에 차분이 생긴다. 따라서, 보간 화소값의 차분을 확인하는 것에 의해 가색의 발생의 유무를 검출할 수 있다. 또, 색생성부(144)는 RGB의 컬러 정보를 YUV의 컬러 정보로 변환할 때, 도 22에 도시된 식을 이용하여 변환 처리를 실시한다.
(제3 실시 형태)
다음에, 본 발명의 제3의 실시 형태를 도면에 근거하여 설명한다. 본 발명과 관련되는 화상 처리 장치를 실시한 제3 실시 형태에 따른 컬러 촬상 장치의 구성은, 도 8과 같다. 또, 디모자이크부(140')의 기능적 구성은, 도 9와 같다. 다만, 디모자이크부(140')에 포함된 좌표 변환부(142')에 의해 수행되는 처리 내용이 제2의 실시 형태와 다르다. 이하에서는, 제2 실시 형태와 다른 부분을 중심으로 하여 설명한다.
제3 실시 형태에 있어서, 좌표 변환부(142')는 색 플레인 분해부(141)에 의해 분해된 복수의 색 플레인마다 각각 값이 다른 색수차 계수와 컬러 화상의 화상 변형에 대한 화상 변형 계수를 이용하고, 색수차 보정 및 화상 변형이 실시되어 컬러 화상의 화소 위치로부터 컬러 화상의 화소 위치에 대응하는 각 색 모자이크 화상의 샘플링 좌표에 대하여 각 색 플레인마다 다른 샘플링 좌표를 산출한다.
여기에서는 화상 변형의 예로써, 결상 광학계(110)의 왜곡 수차를 보정하기 위한 변형 처리를 예로 들어 설명한다. 결상 광학계(110)에 왜곡 수차가 있으면, 피사체상이 결상 광학계(110)를 거쳐 단판 컬러 이미지 센서(120)의 촬상 소자(122) 상에 형성되는 경우, 화상 열화가 발생한다. 즉, 피사체 상에서 직선인 것이 왜곡 수차에 의해 곡선이 된다. 제3 실시 형태에서는, 배율 색수차에 의한 화질 열화 외에, 왜곡 수차에 의한 화질 열화도 동시에 보정한다.
그 때문에 좌표 변화부(142')는, 색 모자이크 화상으로부터 생성된 컬러 화상의 화소 위치로부터 배율 색수차 및 왜곡 수차의 보정을 고려한 색 모자이크 화상 상의 샘플링 좌표를 각 색 플레인마다 산출한다. 구체적으로는, 좌표 변환부(142)는 xy 좌표(xd, yd)에 대해서, 결상 광학계(110)의 배율 색수차와 왜곡 수차의 보정을 고려한 좌표 변환을 이하의 식과 같이 실시한다(단, r2=xd 2+yd 2).
Figure 112010004971545-pct00026
Figure 112010004971545-pct00027
Figure 112010004971545-pct00028
Figure 112010004971545-pct00029
Figure 112010004971545-pct00030
Figure 112010004971545-pct00031
여기서, {kl, k2}는 결상 광학계(110)의 왜곡 수차를 나타내는 계수이며, k1은 3차 수차 계수, k2는 5차 수차 계수를 나타내고 있다.
또한, 결상 광학계(110)의 수차에 의해 왜곡된 컬러 화상을 보정하기 위하여, 색 모자이크 화상으로부터 생성된 변형 컬러 화상에 대해서 비선형의 좌표 변환을 실시한다. 왜곡 수차를 포함한 컬러 화상의 비선형 좌표 변환을 실시하는 방법은 공지된 기술이며, 상술한 왜곡 수차 계수{k1, k2}는 시뮬레이션 등에 의해 구해질 수 있다. 이 왜곡 수차 계수{k1, k2}는 본 발명의 화상 변형 계수에 상응한다.
이러한 색 모자이크 화상 상에서 xy 좌표 (xR, yR), (xG, yG), (xB, yB)의 화소 좌표(usR, vsR)(usG, vsG)(usB, vsB)를 구하는 연산은, 제2 실시 형태에 있어서, 색 모자이크 화상 상에서 xy 좌표(x, y)의 화소 좌표(us, vs)를 구하는 연산과 같고, 이하의 식을 이용하여 구할 수 있다.
Figure 112010004971545-pct00032
Figure 112010004971545-pct00033
Figure 112010004971545-pct00034
Figure 112010004971545-pct00035
Figure 112010004971545-pct00036
Figure 112010004971545-pct00037
다음, 샘플링부(143')는 이상과 같이, 좌표 변환부(142')에 의해 산출된 동일한 컬러 휘도값(luminance)(샘플링 값)을 색 플레인 내에 포함되는 화소값으로부터 보간하여 생성한다. 또한, 색생성부(144)는 샘플링부(143')에 의해 보간 생성된 각 색 플레인의 보간 화소값을 합성함으로써, 복수 색의 휘도 정보를 갖는 컬러 화상을 생성한다.
이상 자세히 설명한 것처럼, 제3 실시 형태에서 색 모자이크 화상으로부터 컬러 화상의 색 보간 처리와, 결상 광학계(110)의 배율 색수차를 보정(이미지 변형 처리)하는 것은 한 번의 보간 연산에 의해서 동시에 실현할 수 있다. 이 때문에, 배율 색수차가 보정되며, 색 모자이크 화상으로부터 변형 컬러 화상을 생성할 때의 처리 부하를 감소시킬 수 있음과 동시에, 복수의 보간 처리에 의해 발생하는 화질 열화를 억제할 수 있다.
또한, 상기 제 3 실시 형태에서는, 결상 광학계(110)의 왜곡 수차를 보정하기 위한 변형 처리를 예로 들어 설명했지만, 이에 한정되지 않는다. 예를 들어, 화상 변형은 디지털 줌 확대 또는 축소 처리 또는 손 흔들림 보정 처리에 의한 컬러 화상의 회전 등이 될 수도 있다. 이 경우, 확대, 축소, 회전은, 예를 들어, 아핀 변환(affine transformation)으로 나타내는 것이 가능하고, 그 아핀 변환을 나타내는 계수를 화상 변형 계수로써 이용한다.
(제4 실시 형태)
다음, 본 발명의 제4 실시 형태를 첨부된 도면에 근거하여 설명한다. 도 13은 본 발명과 관련된 화상 처리 장치를 실시한 제4 실시 형태에 따른 컬러 촬상 장치(100)의 구성 예를 나타내는 도면이다. 또한, 도 13에 있어서 도 8에 나타낸 부호와 동일한 부호를 교부한 것은 동일한 기능을 가지는 것이므로, 여기에서는 중복하는 설명을 생략한다.
도 13에 나타낸 바와 같이, 제4 실시 형태의 컬러 촬상 장치(100")는 결상 광학계(110"), 단판 컬러 이미지 센서(120), A/D 변환부(130), 디모자이크부(140"), 시각 보정부(150), 압축부(160), 기록부(170), 흔들림 검출부(180), 수차 계수 설정부(190), 캘리브레이션부(200) 및 수차 계수 테이블 기억부(210)를 구비하여 구성된다. 이 중, 디모자이크부(140") 및 수차 계수 설정부(190)는 본 발명의 화상 처리 장치에 상응한다.
도 13에 있어서, 촬영된 피사체상은 결상 광학계(110")를 거쳐 단판 컬러 이미지 센서(120)의 촬상 소자(122) 상에 형성된다. 이때, 결상 광학계(110")가 갖는 다양한 왜곡 수차에 의해 결상한 피사체상의 열화가 발생한다. 예를 들어, 왜곡 수차에 의해 피사체 상에서는 직선이 곡선이 되며, 배율 색수차에 의해 촬상 소자(122) 상에 형성된 화상에는 각 컬러 성분에 대한 결상 어긋남(색 어긋남)이 생성된다. 또한, 제4 실시 형태에 있어서 결상 광학계(110")는 초점 거리(줌) 또는 피사체 거리(포커스) 등과 같은 렌즈 스테이트(lens state)를 변경할 수 있다.
흔들림 검출부(180)는 컬러 촬상 장치(100")의 흔들림을 검출하여 흔들림을 보정하기 위한 흔들림 보정 계수{z, θ, dx, dy}를 디모자이크부(140")로 설정한다. 흔들림의 검출에는 자이로 센서를 이용하는 방식이나, 복수 매 촬영한 화상 간의 특징점의 변화 양 등을 측정하는 방식이 있지만, 본 발명은 흔들림의 검출법을 한정하지 않는다. 여기서, 컬러 촬상 장치(100")의 전후 방향에서 피사체에 대한 흔들림 크기 보정값을 z, 피사체의 롤축 흔들림에 대한 회전 보정값을 O, 피사체의 좌우 방향 혹은 요에서의 흔들림에 대한 보정값을 dx, 상하 방향 혹은 피사체의 피치에서의 흔들림에 대한 보정값을 dy로 한다. 또한, 계수 z에는 디지털 줌의 배율을 포함할 수도 있다.
수차 계수 설정부(190)는 본 발명의 계수 설정부에 상응한다. 수차 계수 설정부(190)는 결상 광학계(110")의 렌즈 스테이트를 검출하고, 검출한 렌즈 스테이트에 대하여 적절한 수차 계수{k1, k2, P1, P2, kR, kB}를 수차 계수 테이블 기억부(210)로부터 독출하여 디모자이크부(140")에 대한 계수를 설정한다. 여기서, {kl, k2, P1, P2}는 결상 광학계(110")의 왜곡 수차를 나타내는 계수이며, {k1, k2}는 방사선 방향의 일그러짐, {P1, P2}는 직선 방향의 일그러짐을 나타내고 있다. {kR, kB}는 결상 광학계(110")의 배율 색수차를 나타내는 계수이며, kR은 G 성분에 대한 R 성분의 배율, kB는 G 성분에 대한 B 성분의 배율을 나타내고 있다.
또한, 렌즈 스테이트가 변화하는 경우, 수차 계수 설정부(190)는 변화를 검출하고, 변화된 렌즈 스테이드에 적합한 수차 계수를 수차 계수 테이블 기억부(210)로부터 독출하여 디모자이크부(140")에 대한 계수로 설정한다. 렌즈 스테이트의 검출은, 예를 들어, 렌즈 스테이트의 제어를 실시하고 있는 컬러 촬상 장치(100")의 콘트롤러(도시하지 않음)로부터 결상 광학계(110")의 렌즈 스테이트 설정 정보를 수신하는 것에 의해서 실시 가능하다.
그런데, 모든 렌즈 스테이트에 대한 수차 계수를 테이블에 기록해 두는 것은 비현실적이다. 그래서 본 실시 형태에서는, 수차 계수 테이블 기억부(210)에는 한정된 수의 렌즈 스테이트에 대한 수차 계수만을 기록한다. 예를 들어, 초점 거리 및 피사체 거리에 대하여 각각의 3 패턴, 전체 9개의 렌즈 스테이트를 기록하고, 그것에 대응하는 수차 계수값을 기록한다. 도 14는 이 수차 계수 테이블의 수차 계수(k1)에 관련되는 부분을 도시한다.
도 14에 있어서, 예를 들어, 결상 광학계(110")로 설정되어 있는 렌즈 스테이트가 피사체 거리 2.0m, 초점 거리 35mm라고 하면, 도 14의 수차 계수 테이블에 적합한 값은 없다. 그래서, 수차 계수 설정부(190)는 수차 계수 테이블에서 피사체 거리가 Mid:l.Om, 초점 거리가 Wide:28mm의 수차 계수 O.08과, 피사체 거리가 Far:Inf, 초점 거리가 Wide:28mm의 수차 계수 O.05와, 피사체 거리가 Mid:l.Om, 초점 거리가 Mid:50mm의 수차 계수 0.02와, 피사체 거리가 Far:lnf, 초점 거리가 Mid:50mm의 수차 계수 O.00을 독출하여 4개의 수차 계수를 보간한다.
여기서, 초점 거리 및 피사체 거리에 대해서 보간하는 것이 바람직한다
Figure 112010004971545-pct00038
상기 도시된 바와 같이 산출된 보간값은 디모자이크부(140")로 설정된다. 다른 수차 계수{k2, P1, P2, kR, kB}에 대해서도, 동일하게 보간값을 계산하여 디모자이크부(140")로 설정한다.
캘리브레이션부(200)는 A/D 변환부(130")에서 출력되는 디지털 화상 신호에 근거하여 수차 계수 테이블 기억부(210)에 기록하기 위한 값을 생성한다. 캘리브레이션부(200)는 복수의 렌즈 스테이트에 대해서 각각 수차 계수{k1, k2, P1, P2, kR, kB}를 구하고 얻고, 이것들을 수차 계수 테이블 기억부(210)에 기록한다.
또한, 캘리브레이션부(200)는 컬러 촬상 장치(100")의 일부로써 내부에 구비될 수도 있으나, 컬러 촬상 장치(100")와 별도의 캘리브레이션 장치로서 구성하는 경우, 컬러 촬상 장치(100")는 촬영 화상(A/D 변환부(130)에서 출력되는 디지털 화상 신호)을 캘리브레이션 장치에 출력하거나 캘리브레이션 장치로부터 수신된 수차 계수를 입력하는 통신 수단을 구비한다.
디모자이크부(140")는 흔들림 검출부(180)에 의해 설정된 흔들림 보정 계수{z, θ, dx, dy}와, 수차 계수 설정부(190)에 의해 설정되는 수차 계수{k1, k2, P1, P2, kR, kB}에 근거하는 보정을 실시하면서, 색 모자이크 화상에서 컬러 화상으로 변환을 실시한다.
도 15는 디모자이크부(140")의 기능적 구성 예를 나타내는 블록도이다. 도 15에 나타낸 바와 같이, 디모자이크부(140")는 기능적 구성으로써, 색 플레인(plane) 분해부(141"), 좌표 변환부(142"), 샘플링부(143") 및 색생성부(144")로 구성되어 있다.
색 플레인 분해부(141")는 A/D 변환부(130)로부터 출력되는 색 모자이크 화상을 받고, 동일한 컬러의 화소값만을 포함하는 복수의 색 플레인으로 분해한다. 예를 들어, 색 플레인 분해부(141")는 도 12에 나타낸 바와 같이, R 성분의 화소만을 갖는 R 플레인, Gr 성분의 화소만을 갖는 Gr 플레인, Gb 성분의 화소만을 갖는 Gb 플레인, B 성분의 화소만을 갖는 B 플레인의 4개의 색 플레인으로 분해한다.
상술한 흔들림 보정 계수{z, θ, dx, dy} 및 수차 계수{k1, k2, P1, P2, kR, kB}를 이용하는 좌표 변환부(142")는 색 모자이크로부터 생성된 컬러 화상의 화소 위치를 이용하여 색수차 보정, 왜곡 수차 보정 및 흔들림 보정을 실시하는 경우, 컬러 화상의 화소 위치에 대응하는 색 모자이크 화상의 샘플링 좌표를 산출한다. 이하에, 샘플링 좌표의 산출 순서를 자세하게 설명한다.
우선, xy 좌표계로서 원점을 화상 중심, 최대 화상 높이(원점으로부터의 최대 거리)를 1로 하고, 원점에서 화면 오른쪽 방향으로부터 양의 x 좌표를 취하고, 원점에서 화면 아래 방향으로부터 양의 y 좌표를 취하는 것으로 한다. 또, 출력된 컬러 화상은 1600×1200의 정방 화소로 이루어진 것이다. 이 경우, 컬러 화상의 uv 좌표계에 대한 화소 좌표(ud, vd)를 도 2와 같이 화면의 왼쪽 상측에서부터 오른쪽 방향으로 (0, 0), (1, 0), (2, 0)…, 다음의 행을 (1, 0), (1, 1), (2, 1)…으로 나타내면, 화소 좌표(ud, vd)에 대응하는 xy 좌표(xd, yd)는, 도 23에 도시된 관계식으로 나타난다.
좌표 변환부(142")는 이 xy 좌표(xd, yd)에 대해서, 우선, 상술한 흔들림 보정 계수{z, θ, dx, dy}를 도 24에 나타낸 수학식과 같이 적용하여 흔들림 보정한 후, xy 좌표(x', y')를 얻는다.
게다가, 좌표 변환부(142")는 왜곡 수차와 관련된 계수{k1, k2, P1, P2}를 아래의 식과 같이 적용하여 Gr 플레인 및 Gb 플레인에서의 xy 좌표(xG, YG)를 구한다.
Figure 112010004971545-pct00039
Figure 112010004971545-pct00040
(단, r'2=x'2+y'2)
또한, 좌표 변환부(142")는 결상 광학계(110")의 배율 색수차와 관련된 계수{kR, kB}를 고려한 색 플레인들 간의 좌표의 변환을 도 25에 나타내는 식과 같이 실시하는 것으로, R 플레인 및 B 플레인에 대한 xy 좌표 (xR, yR), (xB, yB)를 각각 구한다. 여기서, 로케이터(locator)로써 G 플레인을 갖는 경우, dRx, dRy는 B 플레인의 평행 엇갈림량을 나타내는 계수이다.
한편, 색 모자이크 화상을 1600×1200의 정방 화소로 하고, uv 좌표계의 화소 좌표(us, vs)가 상술한 컬러 화상과 동일하게 할당된다고 하면, 각 색 플레인의 xy 좌표 (xR, yR), (xG, yG), (xB, yB)에 대응하는 색 모자이크 화상의 화소 좌표 (usR, vsR), (usG, vsG), (usB, vsB)는, 도 26의 수학식에 나타나 있다.
상술한 연산의 결과, 이러한 화소 좌표 (usR, vsR), (usG, vsG), (usB, vsB)는 정수값으로 한정되지 않으며, 일반적으로는 비정수가 된다. 이 색 모자이크 화상의 화소 좌표 (usR, vsR), (usG, vsG), (usB, vsB)는 각 색 플레인에 대한 샘플링 좌표이다.
샘플링부(143")는 색 플레인 분해부(141")에 의해 분해된 복수의 색 플레인 각각에 대하여, 좌표 변환부(142")에 의해 산출된 샘플링 좌표에 대한 색 플레인 내에 포함된 동일한 컬러의 화소값(샘플링 값)으로부터 보간을 생성한다. 색생성부(144")는 샘플링부(143")에 의해 보간 생성된 각 색 플레인의 보간 화소값을 합성함으로써, 각 복수 색의 휘도 정보를 가진 컬러 화상을 생성한다. 이 샘플링부(143") 및 색생성부(144")의 처리 내용은, 제2 실시 형태 또는 제3 실시 형태와 동일하다.
이상 자세히 설명한 바와 같이, 제4 실시 형태에 따르면 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리와 결상 광학계(110")의 배율 색수차를 보정하는 처리, 결상 광학계(110")의 왜곡 수차를 보정하기 위한 컬러 화상의 변형 처리(화상 왜곡 처리), 결상 광학계(110")의 렌즈 스테이트에 따라 수차를 보정하기 위한 처리 및 컬러 촬상 장치(100")의 화상 안전성 처리 보정은 한 번의 보간 연산에 의해서 동시에 실현할 수 있다. 이 때문에, 배율 색수차가 보정되며, 색 모자이크 화상으로부터 변형 색수차를 갖는 변형 컬러 화상 및 화상 안전성 처리 보정된 화상을 생성하는 경우, 부하를 경감시킬 수 있다. 또한, 복수의 보간 처리에 의해 발생하는 화상 품질 열화를 억제시킬 수 있다.
또한, 상기 제4 실시 형태에서는, 좌표 변환부(142")가 샘플링 좌표를 산출할 때 사용하는 계수로서 흔들림 보정 계수{z, θ, dx, dy} 및 수차 계수{kl, k2, P1, P2, kR, kB}를 이용하는 예에 대해 설명했지만, 이것들을 모두 이용하지 않을 수도 있다. 즉, 색수차 계수{kR, kB}를 이용하는 것은 필수이며, 나머지의 계수는 임의로 조합하여 이용하는 것이 가능하다.
또, 상기 제4 실시 형태에서는 캘리브레이션부(200)를 마련하여 수차 계수 테이블의 값을 가변하는 예에 대해 설명했지만, 이에 한정되지 않는다. 예를 들어, 캘리브레이션부(200)를 마련하지 않고, 수차 계수 테이블의 값을 고정시킬 수도 있다.
(제5 실시 형태)
다음, 본 발명의 제5 실시 형태를 첨부된 도면에 근거하여 설명한다. 도 16은 제5 실시 형태에 따른 컬러 촬상 장치(100A)의 구성 예를 나타내는 도면이다. 또한, 도 16에서, 도 8에 나타낸 부호와 동일한 부호를 교부한 것은 동일한 기능을 가지는 것이므로, 여기에서는 중복하는 설명을 생략한다.
제5 실시 형태는 소정의 차트(CH)를 촬영한 화상으로부터 색수차 계수를 검출하는 색수차 양 검출 장치(2OOA)를 구비하며, 색수차 양 검출 장치(200A)에 의해서 검출된 색수차 계수는 제2 및 제3 실시 형태에서의 좌표 변환부(142')나, 제4 실시 형태에서의 수차 계수 설정부(190)에 격납되는 것으로, 제2 내지 제4 실시 형태와 같으며, 디모자이크부(140', 140")에서 컬러 화상의 화소 위치로부터 색수차가 보정된 각 색 플레인에 대하여 샘플링 좌표를 색 플레인마다 산출하도록 구성되고 있다. 또한 차트(CH)가 본 발명의 특허 청구 범위 제23항 및 제24항에서의 '소정의 화상'에 상응한다.
이하, 색수차 양 검출 장치(200A)의 구성과 작용을, 도 16 내지 도 19에 근거하여 설명한다. 도 17은 같은 실시 형태에서의 색수차 양 검출의 도 17(a)는 차트의 형태를 나타내며, 도 17(b)는 촬상 소자에 대한 차트 배열을 나타낸다.
또한, 도 18은 같은 실시 형태에 따른 따른 색수차 양 검출을 설명하는 도면으로, 도 18(a), (b)는 교점 검출을 설명하기 위한 것이며, 도 18(c)는 각 교점에서의 엣지 검출을 설명하기 위한 것이며, 도 18(d)는 화소열을 설정하는 것을 나타낸다.
우선, 도 16에 나타낸 바와 같이, 본 실시 형태의 색수차 양 검출 장치(200A)는 차트(CH)를 촬영하여 얻어진 디지털 화상 신호를 이용하여 결상 광학계(110)의 색수차 계수를 산출한다.
차트(CH)는 도 17(a), (b)에 나타낸 바와 같이, 단판 컬러 이미지 센서(120)의 촬상 소자(122)의 화소 배열에 대해서, 제1 촬상 패턴(P1)와 제2 촬상 패턴(P2)의 배열이 경사각(α)만큼 경사되어 있다. 또, 본 실시 형태에서 촬상 소자(122)에 의해 읽혀지는 하나의 촬상 패턴의 영역은 약 100 화소(화소)에 상당한다.
다음, 색수차 양 검출 장치(200A)는 도 16에 나타낸 것처럼, AD 변환부(130)로부터 입력된 디지털 화상 신호(소위, 화소의 휘도를 나타내는 화소 신호이다) 얻으며, 상술한 색수차 양 검출 장치(200A)에 의해 실시되는 모든 처리를 제어하는 CPU(230)에 의해 ROM(231)에 저장된 프로그램을 이용하여, 각 RGB 색에 대한 화소 신호가 기록된 필드 메모리(221, 222), 제1 촬상 패턴(P1)의 교점 및 제2 촬상 패턴(P2)의 교점을 검출하는 교점 검출 처리부(225), 교점 검출 처리부(225)에 의해 검출된 교점 주위의 제1 촬상 패턴(P1)과 제2 촬상 패턴(P2)의 RGB 엣지 위치를 검출하는 RGB 엣지 검출 처리부(226), RGB 엣지 검출 처리부(226)에 의해 검출된 엣지 위치를 기억하는 엣지 위치 기억부(228), 엣지 위치 기억부(228)에 기억된 엣지 위치로부터 색수차 계수를 이용하는 수차 계수 산출부(229), CPU(Central Processing Unit)(230) 및 ROM(Read Only Memory)(231) 등에 의해서 구성된다.
베이어(Bayer) 배열을 갖는 필드 메모리(221)는 빨강(R)의 화소 신호를 기억하는 R 필드 메모리(222), 녹색(G)의 화소 신호를 기억하는 G 필드 메모리(223), 청색(B)의 화소 신호를 기억하는 B 필드 메모리(224)로 구성된다.
교점 검출 처리부(225)는 도 18(a), (b)에 나타낸 바와 같이, 주목 화소를 중심으로 한 소정의 범위 내에서의 화소값을 이용하여 휘도 구배를 산출하고, 그 휘도 구배가 최대한 커지는 주목 화소의 위치를 교점(Int)으로써 검출한다. 여기에서는, 도 18(b)에 나타낸 바와 같이, 주목 화소를 중심으로 하여 5 화소를 종횡으로 설정하고, 화소 위치에 따라 가중치를 부가하여 교점 위치를 검출하고 있다. 즉, 주목 화소를 중심으로 하여 상하 좌우의 화소값에 대해서 도 18(b)에 나타내는 계수를 곱셈하여 그 결과를 집계한다. 집계 결과의 절대값을 주목 화소의 평가값으로 하여 평가값이 소정의 역치를 넘었을 때의 주목 화소의 위치를 교점(Int)로 하여 도 18(a)에 나타낸 것과 같이, 복수의 교점(Int)를 매트릭스로 검출하고 있다.
또, 본 실시 형태에서는 교점(Int)이 등간격의 매트릭스로 나타나도록 제1 촬상 패턴(P1) 및 제2 촬상 패턴(P2)을 배치하고 있다.
RGB 엣지 검출 처리부(226)는 도 18(c)에 나타낸 바와 같이, RGB 색 마다 교점(Int)을 통해 상/하/좌/우에 위치하는 복수의 화소열(Hs, Vs)을 소정의 샘플링 라인 길이로 주사하여, 화소값을 획득하는 것과 동시에 인접하는 샘플링 위치에 대해서 가장 화소값의 변화 양이 큰 샘플링 위치를 엣지로서 검출한다.
자세하게는, 도 19의 곡선(In)에 나타낸 것처럼 각 화소의 휘도(화소값)은 각 샘플링으로 구해지고, 곡선(SL)에 나타낸 것처럼 샘플링에 의해 구할 수 있는 화소값에 따라 화소값의 변화 양(구배(SL))을 산출하고, 가장 변화 양(구배(SL))이 크게 나타나는 위치(EP)를 엣지로써 검출한다.
또, 엣지(EP)를 요구할 때, 도 18(c)에 나타낸 바와 같이, 교점(Int)을 통해 상하의 화소 범위에서, 복수 열 각각의 샘플링(Hs)을 실시하여 열 마다 엣지를 검출하고, 그 다음, 상부에서 검출된 엣지 위치의 평균값과 하부에서 검출된 엣지 위치의 평균값의 평균을 산출하여 교점(Int) 내에서 좌우 방향의 엣지 위치로 설정한다.
또, 교점(Int)을 통해 좌우의 화소 범위에 대해서, 복수 열 각각의 샘플링(Vs)을 실시하여 열 마다 엣지를 검출하고, 그 다음, 왼쪽 부분에서 검출된 엣지 위치의 평균값과 오른쪽 부분에서 검출된 엣지 위치의 평균값의 평균을 산출하여, 교점(Int) 내에서 상하 방향의 엣지 위치로 설정한다.
또, 샘플링은 같은 색의 화소마다 실시되며 좌우 방향에 따라서 샘플링(Hs)을 실시할 때, 도 17(b)에 나타낸 것처럼, 좌우 방향의 샘플링 길이(SL)(11)와 샘플링의 상하 방향의 열의 수를 나타내는 샘플링 수(SN)(4)가, 필요한 검출 정밀도에 따라 미리 정해져 있다. 또한, 상하 방향에 따라서 샘플링(Vs)을 실시할 때에도, 상하 방향의 샘플링 길이와 샘플링 수가 미리 정해져 있다.
또, 도 18(d)에 나타낸 바와 같이, 교점(Int)을 통해 위쪽으로 연장되는 엣지의 좌우 방향의 엣지 위치를 검출할 때, 샘플링(Hs1)의 위치가 교점(Int)에 너무 근접하면, 엣지(EH)가 경사하고 있으므로 교점(Int)으로부터 왼쪽 방향에 위치하는 촬상 패턴(P1-2)의 영향을 받아 엣지 검출이 어렵다. 따라서, 샘플링 라인(Hs1)과 교점(Int) 간에 적절한 간격(S)을 갖게 하는 것이 바람직하다.
간격(S)은, 예를 들어, 도 18(d)에 나타낸 바와 같이, 기하학적으로 요구될 수 있다. 즉, 교점(Int)로부터의 간격(S)은 미리 주어진 엣지 흐림(blur) 양(E), 경사각도(α), 샘플링 라인 길이(SL)로 L=SL/2, S=(W+L)×tanα의 계산식에 의해서 구해질 수 있다. 즉, 샘플링(Hs1)의 개시 위치가 도 18(d) 중의 촬상 패턴(P1-2) 내에 들어가는 것 없이 P1-2로부터 엣지 흐림 양(E)이 분리되도록 간격 S를 구할 수 있다.
다음, 엣지 위치 기억부(228)는 각 교점 Intj(j는 각 교점에 부여한 연속된 번호 1, 2...이다)에 있어서, RGB 엣지 검출 처리부(226)에서 검출한 각 컬러의 엣지 위치에 근거하여 G(초록), R(빨강), B(파랑)의 엣지 위치를 각각 좌우 방향(u 방향) 및 상하 방향(v 방향)에 대응하여, (uGj, vGj), (uRj, vRj), (uBj, vBj)로서 기록한다.
다음, 수차 계수 산출부(229)는 엣지 위치 기억부(228)에 기억된 엣지 위치(uGj, vGj), (uRj, vRj), (uBj, vBj)를 이용하여 색수차 계수(kR, kB)를 산출한다.
구체적으로, 제2 실시 형태와 동일한 방식으로, xy 좌표계에 있어서 원점이 화상 중심이고, 최대 화상 높이(원점으로부터의 최대 거리)를 1로 하고, 원점에서 화면 오른쪽 방향으로 양의 x 좌표를 취하고, 원점에서 화면 아래 방향으로 양의 y 좌표를 취하는 것으로 한다. 그리고 나서, 제2 실시 형태와 동일한 방식으로, 640×480의 정방 화소의 컬러 화상에 대하여, uv 좌표계의 화소 좌표(ud, vd)가 도 2와 같이, 화면의 상부 왼쪽으로부터 오른쪽 방향으로 (0, 0), (1, 0), (2, 0) …, 다음의 행이 (1, 0), (1, 1), (2, 1), …와 같이 할당되면, uv 좌표계의 화소 좌표(319.5, 239.5)가 xy 좌표계의 원점이 되어, 화소 좌표(ud, vd)에 대응하는 xy 좌표(xd, yd)가 각 컬러에 대하여 산출된다. 여기서, 제2 실시 형태의 xd=(ud-319.5)/400, yd=(vd-239.5)/400의 계산 표현에서, xd 및 yd를 xGj 및 yGj, xRj 및 yRj, xBj 및 yBj로 교체하고, ud 및 vd를 uGj 및 vGj, uRj 및 vRj, uBj 및 vBj로 교체하며, 각 RGB xy 좌표는 다음의 계산식을 이용하여 산출된다.
Figure 112010004971545-pct00041
Figure 112010004971545-pct00042
Figure 112010004971545-pct00043
Figure 112010004971545-pct00044
Figure 112010004971545-pct00045
Figure 112010004971545-pct00046
그 다음에, R 색수차 계수(kR)를 kR=Σj(xRj 2+yRj 2)/Σj(xRjxGj+yRjyGj)의 계산식으로 산출하고, B 색수차 계수(kB)를 kB=Σj(xBj 2+yBj 2)/Σj(xBjxGj+yBjyGj)의 계산식으로 산출한다.
여기서 산출된 색수차 계수(kR 및 kB)를 디모자이크부(140', 140")의 좌표 변환부(142', 142")에 격납하고, 이하, 제2 내지 제4 실시 형태에서와 같이, 촬상 화상에 대하여 색수차의 보정을 고려한 샘플링 좌표가 좌표 변환부(142', 142")로 산출된다.
또, 도 27에 나타낸 수학식과 같이, 도 25에 나타낸 수학식에서 수차 계수 산출부(229)에서 산출한 xy 좌표 및 수차 계수를 대입하여 색수차 행렬을 구할 수 있다. 또한, 도 27의 수학식에서 최우변에 위치하는 행렬은 의사 역행렬을 나타내고 있다.
이상과 같이, 제5 실시 형태의 컬러 촬상 장치(100A)는 매트릭스의 교점 위치에 대응하여 각 컬러의 엣지 위치를 검출할 수 있고, 검출된 컬러의 엣지 위치에 따라 색수차 계수(kR, kB)를 산출할 수 있으며 이 산출된 색수차 계수를 이용하여, 색 모자이크 화상으로부터 컬러 화상을 생성하는 색 보간 처리(디모자이크 처리)와 결상 광학계의 배율 색수차를 보정하는 처리를 한 번의 보간 연산에 의해서 실현할 수 있다.
이상, 본 발명의 일 실시 형태에 관하여 설명했지만, 본 발명은 상기 실시 형태로 한정되지 않고, 다양한 형태를 가질 수 있다.
예를 들어, 상기 제1 내지 제5 실시 형태에서는, 컬러 필터 어레이(121)가 원색 베이어 배열을 이용하는 것으로 설명했지만, 이에 한정되지 않는다. 예를 들어, 보색 배열의 컬러 필터 어레이를 이용할 수도 있다.
또, 제5 실시 형태에서는 촬상 장치(100A)에 색수차 양 검출 장치(200)를 구비하였으나, 색수차 양 검출 장치(200A)를 촬상 장치(100A)와 일체로 구성하지 않고 외부 기기로서 구비할 수 있다. 촬영 화상을 출력하고 색수차 계수를 입력하는 수단을 구비하여, 입력한 색수차 계수를 좌표 변환부(142', 142") 또는 수차 계수 설정부(190)에 저장하도록 구성할 수도 있다.
또, 이상에서 설명한 제1 내지 제5 실시 형태에 따른 디모자이크 처리의 방법은, 하드웨어 구성, DSP(Digital Signal Processor), 소프트웨어 중 어느 것에 의해 실현할 수 있다. 예를 들어, 소프트웨어에 의해서 실현하는 경우, 상기 제 1 내지 제5 실시 형태에 따른 디모자이크부(140, 140', 140")(화상 처리 장치)는 실제로 컴퓨터의 CPU 혹은 MPU, RAM, ROM 등을 구비하여 구성되어 RAM나 ROM에 기록된 프로그램으로부터 동작할 수 있다.
그 외, 상기 제 1 내지 제5 실시 형태는, 본 발명을 실시함에 있어서 구체화의 일 예를 나타낸 것에 지나지 않으며, 이것들에 의해서 본 발명의 기술 목표 범위가 한정적으로 해석되어서는 안 된다. 즉, 본 발명은 정신 또는 주요한 특징으로부터 벗어나는 것 없이 여러 가지의 형태로 실시할 수 있다.
본 발명은 단판식의 컬러 촬상 소자를 이용하여 얻어진 색 모자이크 화상으로부터 전체 화소의 복수 색의 휘도 정보를 보간하여 컬러 화상을 생성하는 디모자이크 처리를 실시하는 화상 처리 장치에 이용하는데 매우 적합하다.

Claims (26)

  1. 복수의 광전 변환된 화소로, 단판식(single-chip) 촬상 소자에 의해서 얻어진 각 화소의 단색 휘도 정보를 갖는 색 모자이크 화상을 이용하여 각 화소가 복수 색의 휘도 정보를 갖는 컬러 화상을 생성하는 화상 처리 장치에 있어서,
    상기 색 모자이크 화상을, 상기 단판식 촬상 소자에 의해서 휘도 정보가 얻어지는 각 색에 대한 각각의 색 플레인으로 분해하는 색 플레인 분해부;
    상기 컬러 화상에 대한 화상 처리를 실시하는 동안, 상기 컬러 화상의 상기 화상 처리를 나타내는 계수를 이용하여 상기 색 모자이크 화상에서 생성되는 상기 컬러 화상에서의 화소 위치로부터, 상기 색 모자이크 화상에 대한 샘플링 좌표를 산출하는 좌표 변환부;
    상기 좌표 변환부에 의해 산출된 상기 샘플링 좌표에서의 상기 색 플레인의 상기 색에 대한 보간된(interpolated) 색 휘도값을 상기 색 플레인 각각에 대해 보간함으로써 생성하는 샘플링부; 및
    상기 샘플링부에 의해 제공된 상기 각 색 플레인의 상기 보간된 색 휘도값의 합성을 통해 상기 컬러 화상을 생성하는 색생성부
    를 포함하는 화상 처리 장치.
  2. 제1항에 있어서,
    상기 좌표 변환부는,
    상기 화상 처리를 나타내는 계수를 이용하며,
    상기 컬러 화상의 화소 위치에 따라 변형 처리가 실시되는 경우, 상기 컬러 화상의 화소 위치에 대응하는 상기 색 모자이크 화상 상에 대응하는 샘플링 좌표를 산출하는 화상 처리 장치.
  3. 제1항에 있어서,
    상기 색 모자이크 화상은,
    상기 촬상 소자와 함께, 각 화소의 화상 위치에 대응하는 적색(R), 녹색(Gr, Gb), 청색(B)의 베이어(Bayer) 배열 컬러 필터로부터 얻어진 화상이며,
    상기 색 플레인 분해부는,
    모서리가 서로 접하는 2 종류의 녹색 화소(Gr, Gb)를 각각 다른 색 플레인으로 분해하는 화상 처리 장치.
  4. 제3항에 있어서,
    상기 색생성부는,
    상기 2 종류의 녹색 화소(Gr, Gb)를 구하고, 상기 샘플링부로부터 생성된 화소값을 가산하여 각기 다른 색 플레인으로 상기 컬러 화상을 생성하는 화상 처리 장치.
  5. 제3항에 있어서,
    상기 샘플링부에 의해 생성된 각 색 플레인 상에서 분해된 상기 2 종류의 녹색 화소(Gr, Gb) 각각의 색 플레인에서 상기 보간된 색 휘도값들을 차연산함으로써 화소값의 차분(difference)을 산출하고, 상기 화소값의 차분에 근거하여 가색 존재를 판정하는 가색 판정부
    를 더 포함하는 화상 처리 장치.
  6. 제1항에 있어서,
    상기 샘플링부는,
    상기 샘플링 좌표 내에서의 화소값을 상기 색 플레인 내의 주변 화소값으로부터 보간-생성하는 화상 처리 장치.
  7. 제2항에 있어서,
    상기 화상 변형은,
    확대, 축소, 회전 및 왜곡 보정 처리 중 적어도 하나를 포함하는 화상 처리 장치.
  8. 제1항에 있어서,
    상기 좌표 변환부는,
    상기 화상 변형을 나타내는 계수로써, 상기 색 플레인 분해부에 의해 분해된 상기 복수의 색 플레인마다 다른 상기 색 플레인 계수를 이용하고, 색수차 보정을 실시하는 경우, 상기 색 모자이크 화상에 의해 생성된 상기 컬러 화상의 화소 위치에 대한 상기 화상 변형은 상기 컬러 화상의 화소 위치에 대응하는 상기 색 모자이크 샘플링 좌표를 이용하며, 다른 샘플링 좌표의 산출은 각 색 플레인에 대한 것인 화상 처리 장치.
  9. 제1항에 있어서,
    상기 좌표 변환부는,
    상기 화상 가공을 나타내는 계수로서 상기 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 다른 색 플레인 계수를 이용하며, 색수차 보정 및 상기 색 모자이크 화상에 의해 생성된 상기 컬러 화상의 화소 위치의 상기 화상 변형을 실시하는 경우, 상기 컬러 화상의 화소 위치에 대응하는 상기 색 모자이크 샘플링 좌표를 이용하며 다른 샘플링 좌표의 산출은 각 색 플레인에 대한 것인 화상 처리 장치.
  10. 제1항에 있어서,
    상기 좌표 변환부는,
    상기 화상 가공을 나타내는 계수로서 상기 색 플레인 분해부에 의해 분해된 복수의 색 플레인마다 다른 색 플레인 계수를 이용하며, 색수차 보정을 실시하는 경우, 촬상광을 유도하는 결상 광학계로 설정된 초점 거리 및 피사체 거리에 따라 정해지는 왜곡 수차 계수를 이용하고, 상기 색 모자이크 화상에 의해 생성된 상기 컬러 화상의 화소 위치의 상기 화상 변형은 상기 컬러 화상의 화소 위치에 대응하는 상기 색 모자이크 샘플링 좌표를 이용하며, 다른 샘플링 좌표의 산출은 각 색 플레인에 대한 것인 화상 처리 장치.
  11. 제8항에 있어서,
    결상 광학계로 설정된 초점 거리 및 피사체 거리에 대응하는 왜곡 수차 계수를 설정하는 계수 설정부
    를 더 포함하는 화상 처리 장치.
  12. 복수의 광전 변환된 화소로, 단판식 촬상 소자에 의해서 얻어진 각 화소의 단색 화소 정보를 포함하는 색 모자이크 화상을 이용하여 각 화소가 복수의 색 정보를 갖는 컬러 화상을 생성하는 컬러 화상 처리 방법에 있어서,
    상기 색 모자이크 화상을 상기 단판식 촬상 소자에 의해서 휘도 정보가 얻어지는 각 색에 대한 각각의 색 플레인으로 분해하는 제1 단계;
    상기 컬러 화상에 대한 상기 컬러 화상 처리를 실시하는 동안, 상기 컬러 화상의 화상 처리를 나타내는 계수를 이용하여 상기 색 화상으로부터 생성되는 상기 컬러 화상에서의 화소 위치로부터 상기 색 모자이크 화상에 대한 샘플링 좌표를 산출하는 제2 단계;
    상기 좌표 변환 단계에서 산출된 상기 샘플링 좌표에서의 상기 색 플레인에 대한 보간된 색 휘도값을 상기 색플레인 각각에 대해 보간함으로써 생성하는 보간 생성 샘플링 단계; 및
    상기 샘플링 단계에 의해 제공된 상기 각 색 플레인의 보간된 색 휘도값의 합성을 통해 상기 컬러 화상을 생성하는 색생성 단계
    를 포함하는 것을 컬러 화상 처리 방법.
  13. 제12항에 있어서,
    상기 좌표 변환 단계는,
    상기 화상 변형을 나타내는 계수로써, 상기 색 모자이크 화상으로부터 생성된 상기 컬러 화상에 대한 화상 변형 계수를 이용하고, 상기 컬러 화상의 화소 위치로부터 상기 화상 변형이 실시되는 경우, 상기 컬러 화상의 화소 위치에 대응하는 상기 색 모자이크 화상 상의 상기 샘플링 좌표가 산출되는 컬러 화상 처리 방법.
  14. 제12항에 있어서,
    상기 좌표 변환 단계는,
    상기 화상 변형을 나타내는 계수로써, 상기 색 모자이크 화상에 의해 생성된 상기 컬러 화상에 대한 계수로 상기 색 플레인 분해 단계에서 분해된 상기 각 색 플레인의 다른 값을 이용하고, 상기 컬러 화상의 화소 위치로부터 색수차 보정이 실시된 경우, 각 색 플레인마다 다른 샘플링 좌표가 산출되는 컬러 화상 처리 방법.
  15. 컴퓨터에 의해 판독되어, 상기 컴퓨터가 복수의 광전 변환된 화소로 단판식 촬상 소자에 의해 얻어진 각 화소의 단색 휘도 정보를 포함하는 색 모자이크 화상을 이용하여 각 화소가 복수의 색 휘도 정보를 포함하는 컬러 화상을 생성하는 색 화상 처리 방법을 수행하도록 하는 컴퓨터 판독 가능 프로그램을 포함하는 컴퓨터 판독 가능 저장 매체에 있어서, 상기 색 화상 처리 방법은:
    상기 색 모자이크 화상을 상기 단판식 촬상 소자에 의해서 휘도 정보가 얻어지는 각 색에 대한 각각의 색 플레인으로 분해하는 색플레인 분해 단계;
    상기 컬러 화상의 화소 위치로부터 상기 화소 위치의 화상 처리가 실시되는 경우, 상기 색 모자이크 화상으로부터 생성된 상기 컬러 화상을 나타내는 계수를 이용하여 생성되는 상기 컬러 화상에서의 화소 위치로부터 상기 색 모자이크 화상에 대한 샘플링 좌표를 산출하기 위한 색 모자이크 화상 샘플링 좌표 변환 단계;
    상기 좌표 변환 단계에서 산출된 상기 샘플링 좌표에서 상기 색 플레인의 상기 색에 대한 보간된 색 휘도값을 상기 색 플레인 분해 단계에 의해 분해된 상기 색 플레인 각각에 대해 보간함으로써 생성하는 보간 생성 샘플링 단계; 및
    상기 샘플링 단계로 얻어진 각 색 플레인의 상기 보간된 색 휘도값의 합성을 통해 상기 컬러 화상을 생성하기 위한 색생성 단계
    를 포함하는 컴퓨터 판독 가능 저장 매체.
  16. 제15항에 있어서,
    상기 색 모자이크 화상에 대한 상기 샘플링 좌표는,
    상기 컬러 화상의 화소 위치로부터 상기 화소 위치의 화상 변형 처리가 실시되는 경우, 상기 색 모자이크 화상으로부터 생성된 상기 컬러 화상을 나타내는 화상 변형 계수를 이용하는 상기 색 모자이크 화상의 샘플링 좌표 변환 수단에 의해 산출되는
    컴퓨터 판독 가능 저장 매체.
  17. 제15항에 있어서,
    상기 색 플레인에 대한 상기 샘플링 좌표는,
    상기 컬러 모자이크 화상으로부터 생성된 상기 컬러 화상의 화소 위치로부터 상기 화소 위치의 색수차 보정 처리가 실시되는 경우, 상기 색 플레인 분해 수단에 의해 분해된 상기 복수의 색 플레인의 다른 계수값을 이용하여 상기 색 플레인의 샘플링 좌표 변환을 위해 상기 좌표 변환 수단에 의해 산출되는
    컴퓨터 판독 가능 저장 매체.
  18. 다른 복수의 색이 광전 변환된 화소를 갖는 단판식(single-chip) 촬상 소자를 포함하는 촬상 장치에 있어서,
    상기 단판식 촬상 소자;
    상기 촬상소자에 의해 아날로그 광전 변환이 이루어진 상기 색 모자이크 화상의 아날로그 신호를 디지털 신호로 변환하는 A/D 변환기; 및
    상기 디지털 신호는 상기 A/D 변환부로부터 출력되며, 각 화소의 단일 색 휘도 정보를 포함하는 색 모자이크 화상을 이용하여 각 화소의 복수 색 화소 정보를 포함하는 컬러 화상을 생성하는 제1항에 기재된 화상 처리 장치를 포함하는 촬상 장치.
  19. 제18항에 있어서,
    제1항에 기재된 화상 처리 장치를 대신하여 제2항에 기재된 화상 처리 장치를 구비하는 촬상 장치.
  20. 제18항에 있어서,
    제1항에 기재된 화상 처리 장치를 대신하여 제8항에 기재된 화상 처리 장치를 구비하는 촬상 장치.
  21. 제18항에 있어서,
    상기 촬상 소자 이외에, 피사체의 촬상광을 유도하기 위한 결상 광학계를 더 포함하며,
    제1항에 기재된 화상 처리 장치를 대신하여 제9항 또는 제10항에 기재된 화상 처리 장치를 구비하는 촬상 장치.
  22. 제18항에 있어서,
    상기 촬상 소자 이외에, 피사체의 촬상광을 유도하기 위한 결상 광학계를 더 포함하며,
    제1항에 기재된 화상 처리 장치를 대신하여 제11항에 기재된 화상 처리 장치를 구비하는 촬상 장치.
  23. 제20항에 있어서,
    소정의 화상을 촬영하는 것에 의해서 색수차 계수를 산출하는 수차 산출부를 더 포함하며,
    입력된 상기 색수차 계수는 상기 좌표 변환부에 저장되는 촬상 장치.
  24. 제22항에 있어서,
    색수차 계수를 산출하는 수차 산출부를 더 포함하며,
    상기 수차 산출부에 의해 산출된 상기 색수차 계수는 상기 계수 설정부에 저장되는 촬상 장치.
  25. 제20항에 있어서,
    외부에 접속된 외부 기기에 화상을 출력하기 위한 화상 출력부; 및
    상기 외부 기기로부터 상기 색수차 계수를 입력받는 계수 입력 수단을 더 포함하며,
    입력된 상기 색수차 계수는 상기 좌표 변환부에 저장되는 촬상 장치.
  26. 제22항에 있어서,
    외부에 접속된 외부 기기에 촬영 화상을 출력하는 화상 출력부; 및
    상기 외부 기기로부터 상기 색수차 계수를 입력하는 계수 입력 수단을 더 포함하며,
    상기 계수 입력 수단에 의해 입력된 상기 색수차 계수는 상기 계수 설정부에 저장되는 촬상 장치.
KR1020107001700A 2007-06-25 2008-06-24 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치 Expired - Fee Related KR101356286B1 (ko)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2007166106A JP5036421B2 (ja) 2007-06-25 2007-06-25 画像処理装置、画像処理方法、プログラムおよび撮像装置
JPJP-P-2007-166106 2007-06-25
JP2007166190 2007-06-25
JPJP-P-2007-166190 2007-06-25
JPJP-P-2007-335065 2007-12-26
JP2007335065A JP5036524B2 (ja) 2007-06-25 2007-12-26 画像処理装置、画像処理方法、プログラムおよび撮像装置
PCT/JP2008/061806 WO2009001956A1 (ja) 2007-06-25 2008-06-24 画像処理装置、画像処理方法、プログラムおよび撮像装置

Publications (2)

Publication Number Publication Date
KR20100051056A KR20100051056A (ko) 2010-05-14
KR101356286B1 true KR101356286B1 (ko) 2014-01-28

Family

ID=41819271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107001700A Expired - Fee Related KR101356286B1 (ko) 2007-06-25 2008-06-24 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치

Country Status (5)

Country Link
US (1) US8494260B2 (ko)
EP (1) EP2175656A1 (ko)
KR (1) KR101356286B1 (ko)
TW (1) TW200901747A (ko)
WO (1) WO2009001956A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134173B2 (en) 2015-10-12 2018-11-20 Samsung Electronics Co., Ltd. Texture processing method and unit

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5757099B2 (ja) 2010-02-15 2015-07-29 株式会社ニコン 焦点調節装置、及び焦点調節プログラム
JP5868046B2 (ja) * 2010-07-13 2016-02-24 キヤノン株式会社 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体
JP5867669B2 (ja) * 2011-02-22 2016-02-24 富士ゼロックス株式会社 色処理装置および色処理プログラム
KR20130057327A (ko) * 2011-11-23 2013-05-31 엘지이노텍 주식회사 스테레오 매칭 시스템의 전처리 장치
WO2013099792A1 (ja) 2011-12-28 2013-07-04 富士フイルム株式会社 画像処理装置及び方法並びに撮像装置
JP2013192023A (ja) * 2012-03-14 2013-09-26 Sony Corp 色距離測定装置、色距離測定方法およびプログラム
EP2847998B1 (en) * 2012-05-11 2017-11-15 Intel Corporation Systems, methods, and computer program products for compound image demosaicing and warping
GB2585050A (en) * 2019-06-26 2020-12-30 Light Blue Optics Ltd Image demosaicing
US11367166B1 (en) * 2019-09-09 2022-06-21 Apple Inc. Method and device for correcting chromatic aberration using chromatic characteristic values
KR102431479B1 (ko) * 2020-09-18 2022-08-11 그린스펙(주) 이미지의 밝기정보와 색깔정보의 보정기능을 갖춘 내시경기기
KR102462804B1 (ko) * 2021-06-28 2022-11-04 주식회사 아이닉스 베이어 패턴 이미지에 기반한 렌즈 왜곡 보정 장치 및 그 보정 방법
CN114051125B (zh) * 2021-11-11 2023-07-04 锐芯微电子股份有限公司 图像处理方法及系统
CN115829867A (zh) * 2022-11-25 2023-03-21 广州城建职业学院 基于标定的广角图像畸变和色差处理方法、装置和介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
JP2004241991A (ja) 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
US20040240726A1 (en) 2003-05-27 2004-12-02 Stavely Donald J. Systems and methods for providing spatially-varied demosaicing
KR20070026288A (ko) * 2004-05-27 2007-03-08 소니 가부시끼 가이샤 화상 처리 장치 및 화상 처리 방법과 컴퓨터 프로그램

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06113309A (ja) 1992-09-28 1994-04-22 Sony Corp ディジタルビデオカメラ
JP3223972B2 (ja) 1998-10-01 2001-10-29 セイコーエプソン株式会社 デジタルカメラおよび画像データ処理方法
JP4402230B2 (ja) 1999-12-22 2010-01-20 オリンパス株式会社 画像処理装置
JP2002199410A (ja) 2000-12-25 2002-07-12 Canon Inc 撮像装置、画像劣化補正処理方法及び記憶媒体
US20020167602A1 (en) 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
US6919892B1 (en) * 2002-08-14 2005-07-19 Avaworks, Incorporated Photo realistic talking head creation system and method
US6928194B2 (en) * 2002-09-19 2005-08-09 M7 Visual Intelligence, Lp System for mosaicing digital ortho-images
US20070250197A1 (en) * 2006-04-21 2007-10-25 Mosaic4U Ltd. Method and apparatus for generating mosaic from an image
US8724895B2 (en) * 2007-07-23 2014-05-13 Nvidia Corporation Techniques for reducing color artifacts in digital images

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030059399A (ko) * 2001-12-29 2003-07-10 엘지전자 주식회사 모자이크 영상 생성장치 및 방법과 모자이크 영상 기반동영상 재생방법
JP2004241991A (ja) 2003-02-05 2004-08-26 Minolta Co Ltd 撮像装置、画像処理装置及び画像処理プログラム
US20040240726A1 (en) 2003-05-27 2004-12-02 Stavely Donald J. Systems and methods for providing spatially-varied demosaicing
KR20070026288A (ko) * 2004-05-27 2007-03-08 소니 가부시끼 가이샤 화상 처리 장치 및 화상 처리 방법과 컴퓨터 프로그램

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10134173B2 (en) 2015-10-12 2018-11-20 Samsung Electronics Co., Ltd. Texture processing method and unit

Also Published As

Publication number Publication date
KR20100051056A (ko) 2010-05-14
WO2009001956A1 (ja) 2008-12-31
US8494260B2 (en) 2013-07-23
EP2175656A1 (en) 2010-04-14
TW200901747A (en) 2009-01-01
US20100208106A1 (en) 2010-08-19

Similar Documents

Publication Publication Date Title
KR101356286B1 (ko) 화상 처리 장치, 화상 처리 방법, 프로그램 및 촬상 장치
JP5036421B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP5036482B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
US9055181B2 (en) Solid-state imaging device, image processing apparatus, and a camera module having an image synthesizer configured to synthesize color information
CN101006731B (zh) 图像处理装置及图像处理方法、摄像装置
US8934713B2 (en) Image processing device, image processing method, program, and imaging device
JP2004241991A (ja) 撮像装置、画像処理装置及び画像処理プログラム
CN101378446A (zh) 图像处理装置及图像处理方法、图像处理程序
JP2013017142A (ja) 画像処理装置、撮像装置、画像処理方法及びプログラム
CN101448169B (zh) 图像处理装置和图像处理方法
JP4548390B2 (ja) 撮像装置及び信号処理方法
JP5268321B2 (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JP4084402B2 (ja) 撮像装置
JP5036524B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像装置
JP4962293B2 (ja) 画像処理装置、画像処理方法、プログラム
JP2010074826A (ja) 撮像装置および画像処理プログラム
JP3406674B2 (ja) ２板式撮像装置
JP2006211631A (ja) 固体撮像装置および撮像装置
JP3515585B2 (ja) ２板式撮像装置
CN116668657A (zh) 固体摄像元件、照相机模块、图像处理装置及拍摄方法
JP2013066214A (ja) 画像処理装置及び画像処理方法、画像処理プログラム
JPH0694906A (ja) 光分岐プリズム光学装置

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20180103

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20190103

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20200122

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20200122

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000