[go: up one dir, main page]

KR0169376B1 - 멀티미디어 대응 가능한 씨씨디 카메라 시스템 - Google Patents

멀티미디어 대응 가능한 씨씨디 카메라 시스템 Download PDF

Info

Publication number
KR0169376B1
KR0169376B1 KR1019950034695A KR19950034695A KR0169376B1 KR 0169376 B1 KR0169376 B1 KR 0169376B1 KR 1019950034695 A KR1019950034695 A KR 1019950034695A KR 19950034695 A KR19950034695 A KR 19950034695A KR 0169376 B1 KR0169376 B1 KR 0169376B1
Authority
KR
South Korea
Prior art keywords
signal
ccd
camera system
color
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019950034695A
Other languages
English (en)
Other versions
KR970024930A (ko
Inventor
장지훈
Original Assignee
김광호
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김광호, 삼성전자주식회사 filed Critical 김광호
Priority to KR1019950034695A priority Critical patent/KR0169376B1/ko
Priority to US08/712,270 priority patent/US6373523B1/en
Priority to GB9619026A priority patent/GB2306074B/en
Priority to JP25179296A priority patent/JP3759655B2/ja
Priority to DE19641617A priority patent/DE19641617B4/de
Publication of KR970024930A publication Critical patent/KR970024930A/ko
Application granted granted Critical
Publication of KR0169376B1 publication Critical patent/KR0169376B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/85—Camera processing pipelines; Components thereof for processing colour signals for matrixing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616—Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

본 발명은 멀티미디어 대응 가능한 CCD 카메라 시스템에 관한 것으로, 피사체의 광학 신호를 집광하는 렌즈부와, 상기 렌즈부에 의해 집광된 광학 신호를 주파수에 따라 분산시켜 출력하는 분광수단과, 상기 분광수단을 통해 분산된 각 광학 신호가 결상되면 결상된 광학 신호를 전기적인 신호로 변환시키는 기능을 갖으며 국제 표준 규격에 맞는 유효 화소수와 보색 스트라이프 패턴의 서로 다른 컬러 필터 어레이를 갖는 제1, 제2CCD와, 상기 제1, 제2CCD로부터 출력된 각 영상 신호에서 노이즈등 불필요한 신호를 제거하기 위한 샘플링 및 호울딩(sampling/holding)기능을 수행하는 제1, 제2샘플링/호울딩 수단과, 상기 제1, 제2샘플링/호울딩 수단으로부터 출력되는 각 아날로그 영상 신호를 디지탈 신호 처리를 위한 디지탈 영상신호로 변환시키는 제1, 제2아날로그-디지탈 변환 수단과, 상기 제1, 제2아날로그-디지탈 변환 수단의 각 출력 신호를 입력받아, 입력된 두 신호의 합과 차를 구하여 휘도 신호와 색 신호를 생성시켜 출력하는 CCD 영상 신호 처리 수단으로 구성되었으며, 디지탈 신호 처리와의 인터페이스시 필요한 주파수 변환 작업 없이도 시스템 구성이 가능하도록 하기 위해 CCD의 종횡비(Aspect Ratio)를 국제 규격에 맞게 정하고, 보색의 스트라이프 패턴(Stripe Pattern)의 2개의 씨씨디로 바꾸어 구성함으로써 휘도 신호의 수평 해상도 및 색 신호의 수직 해상도를 향상시킨 멀티미디어 대응 가능한 CCD 카메라 시스템에 관한 것이다.

Description

멀티미디어 대응 가능한 씨씨디 카메라 시스템
제1도는 종래 씨씨디(CCD; Charge Coupled Device) 카메라 시스템의 블럭도이고,
제2도는 본 발명의 실시예에 따른 멀티미디어 대응 가능한 씨씨디 카메라 시스템의 블럭도이고,
제3도는 본 발명에서 제안하는 씨씨디 유효 화소의 규격 예시도이고,
제4도의 (a), (b)는 본 발명에서 제안하는 씨씨디 컬러 필터 어레이(Color Filter Array)를 나타낸 예시도이고,
제5도는 본 발명의 실시예에 따른 멀티미디어 대응 가능한 씨씨디 카메라 시스템의 응용 예를 나타낸 도면이다.
본 발명은 멀티미디어 대응 가능한 씨씨디 카메라 시스템에 관한 것으로서, 더 상세히 말하자면 디지탈 신호 처리와의 인터페이스시 필요한 주파수 변환 작업 없이도 시스템 구성이 가능하도록 하기 위해 CCD의 종횡비(Aspect Ratio)를 국제 규격에 맞게 정하고, 보색의 스트라이프 패턴(Stripe Pattern)의 2개의 씨씨디로 바꾸어 구성함으로써 휘도 신호의 수평 해상도 및 색 신호의 수직 해상도를 향상시킨 멀티미디어 대응 가능한 CCD 카메라 시스템에 관한 것이다.
이하, 첨부된 도면을 참조로 하여 종래의 씨씨디 카메라 시스템에 대하여 설명하기로 한다.
제1도는 종래 씨씨디(이하 CCD라 한다) 카메라 시스템의 블럭도이다.
제1도에 도시되어 있듯이, 종래의 CCD 카메라 시스템의 구성은, 피사체의 광학 신호를 집광하는 렌즈부(10)와; 상기 렌즈부로부터 집광된 광학 신호가 결상되면, 결상된 광학 신호를 전기적인 신호로 변환시키는 CCD(11)와; 상기 CCD(11)로부터 출력된 영상 신호에서 노이즈등 불필요한 신호를 제거하기 위한 샘플링 및 호울딩(sampling/holding) 기능을 수행하는 샘플링/호울딩기(12)와; 상기 샘플링/호울딩기(12)로부터 출력되는 아날로그 영상 신호를 디지탈 신호 처리를 위한 디지탈 영상신호로 변환시키는 아날로그-디지탈 변환기(13)와; 상기 아날로그-디지탈 변환기(13)의 출력 신호의 한 주기(1H) 지연된 신호를 저장하는 제1라인 메모리(14)와; 상기 제1라인 메모리(14)에 저장된 신호의 한 주기(1H) 지연된 신호를 저장하는 제2라인 메모리(15)와; 상기 제1라인 메모리(14)에 저장된 신호를 이용하여 휘도 신호(Y)를 생성하는 휘도 신호 생성기(16)와; 상기 아날로그-디지탈 변환기(13)의 출력 신호, 제1라인 메모리(14) 및 제2라인 메모리(15)에 저장된 신호를 입력받아, 내부의 색차 신호 매트릭스를 이용하여 색 신호(Cr, Cb)를 생성하는 색 신호 생성기(17)로 이루어져 있다.
상기와 같이 구성되어 있는 종래 CCD 카메라 시스템의 동작은 다음과 같다.
단판식 CCD를 이용한 색 신호 처리에 있어서 색을 복원하기 위해서는 하나의 화소만이 아니라 서로 독립된 색 성분을 포함하는 화소를 갖지 않으면 안되며, 최근에는 이 중에서도 분광 감도 특성이 가장 좋은 보색 필터 방식(마젠타(Mg), 시안(Cy), 옐로우(Ye), 그린(G)의 색 성분을 이용한 필터 방식)을 사용하고 있다.
여기서, 단판식 CCD의 컬러 필터 어레이(Color Filter Array) 패턴을 보면 수평적으로는 '마젠타+시안', '그린+시안' 성분을 갖는 라인(S1)과, '그린+예로우', '마젠타+예로우' 성분을 갖는 라인(S2)이 반복되어 있다. 여기서 수직적으로 상기 '마젠타+시안', 그린+옐로우' 성분이 N번째 라인 화소라 하면 '그린+시안', '마젠타+옐로우' 성분은(N-1)번째 또는 (N+1)번째 화소라 할 수 있다.
또, 수직적으로 기수 필드(odd field)와 우수 필드(even field)로 구분되어 있어 각 필드에 따라 라인(S1, S2)의 화소 성분이 달라지게 된다.
상기한 바와 같이 CCD의 컬러 필터 어레이는 수평, 수직적으로 하나의 화소 혹은 하나의 라인마다 순차적인 구조를 가지고 있으므로, 레드(R), 그린(G), 블루(B)의 색 신호를 생성하기 위해서는 상기 컬러 필터 어레이에 있는 서로 인접한 화소들을 이용하여 수평, 수직적 보간(Interpolation) 처리가 필요하게 되며, 특히 수직적인 보간 처리를 위해서는 제1도에 도시된 두 개의 라인 메모리(14, 15)를 사용하여 현재 입력되는 영상 신호의 한 주기(1H) 지연된 신호와 두 주기(2H) 지연된 신호를 각각 저장하고, 한 주기(1H) 지연된 신호를 중심으로 하여 현재 입력되는 영상신호와 두 주기(2H) 지연된 신호를 가지고 보간 처리를 하게 된다.
다시 말하면 제1도에 도시된 바와 같이 CCD(11)의 출력 신호는 샘플링/호울딩기(12)을 거쳐 아날로그-디지탈 변환기(13)를 통해 양자화되어진다. 양자화되어진 CCD(11) 신호는 2개의 라인 메모리(14,15)를 통해서 3라인이 동시화되어져 수평 및 수직 보간에 의한 색 신호 생성이 가능해진다.
이와 같은 단판식 CCD의 신호 처리 방식은 경제적으로는 코스트 다운(Cost Down)의 효과를 거둘 수 있으나, 단판식으로 휘도 및 색 신호의 정보를 모두 담고 있기 위해서는 하나의 화소 독립으로는 아무 정보도 될 수 없고 주위의 인접한 각기 다른 색의 정보를 갖고 있는 화소들의 정보를 수평, 수직적으로 보간함으로써 얻을 수 있기 때문에 휘도 신호의 해상도 저하는 물론이고 색 신호의 화질 열화등의 문제점이 있다. 앞에서 설명하였듯이, 현재의 카메라 시스템에서는 보색 시송 패턴의 단판식 CCD를 이용하여 신호 처리를 하고 있으나, 이는 해상도 측면에서 국제 규격으로 정해진 CCIR 601 포맷(가로× 세로: 720×480)의 해상도를 만족시키지 못하게 된다.
또한, 지금까지의 CCD 카메라 시스템은 기존의 아날로그 신호 처리 시스템에 적용될 수 있도록 설계되었기 때문에, CCD의 종횡비(Aspect Ratio)를 노멀(Normal)용 혹은 하이 밴드(HI8)용으로 사용하여 왔다. 여기서 상기 노멀용은 유효 화소수가 25만개, 샘플링 주파수(fs)가 9.545MHz이며, 하이밴드용은 유효 화소수가 38만개, 샘플링 주파수(fs)가 14.3MHz인 CCD를 가리킨다.
상기 샘플링 주파수(fs)가 아날로그 시스템에서는 별로 중요한 의미를 갖지는 않지만, 최근의 영상 신호 처리 기술이 디지탈 신호 처리로 바뀌어 감에 따라 모든 영상 신호 처리에 관련된 영상의 가로, 세로 크기들이 국제 규격(가로:세로=4:3)으로 정해진 이 시점에서 영상 신호의 샘플링 주파수의 결정은 매우 중요한 의미를 갖게 된다. 즉, 종래 CCD의 주파수가 현재 기 확정되어져 있는 디지탈 영상 신호의 국제 표준 규격(fs:13.5MHz)에 부적합하기 때문에 디지탈 신호 처리와의 인터페이스(Interface)시 반드시 주파수 변환 작업이 필요하다는 불편함이 있다.
따라서, 본 발명에서는 상기와 같은 불편함을 해결하기 위한 것으로서, 신호 처리 국제 규격에 맞는 종횡비 즉 유효 화소 영역이 정해진 CCD를 이용하여 구성함으로써 디지탈 신호 처리와의 인터페이스(Interface)시 반드시 필요한 주파수 변환 작업없이도 영상 처리가 가능하도록 한 멀티미디어 대응 가능한 CCD 카메라 시스템을 제공하는 데에 첫 번째 목적이 있다.
또한, 본 발명은 종래 보색 시송 패턴의 단판식 CCD를 사용함으로써 갖게 되는 휘도 신호의 해상도 저하 및 색 신호의 화질 열화등의 문제점을 해결하기 위한 것으로, 스트라이프 패턴의 CCD 즉 서로 다른 색 정보를 가지고 있기 때문에 서로 인접한 화소들을 이용한 수평, 수직적 보간 처리가 필요 없는 CCD 2개로 바꾸어 구성함으로써 2개의 라인 메모리를 사용하지 않고도 신호 처리가 가능하게 하고 휘도 신호의 수평 해상도를 국제규격(CCIR 601 포맷)수준으로 높이며 색 신호의 수직 해상도 및 색 재현성을 향상시킨 멀티미디어 대응 가능한 CCD 카메라 시스템을 제공하는 데에 두 번째 목적이 있다.
상기의 목적을 달성하기 위한 본 발명의 구성은, 피사체의 광학 신호를 집광하는 렌즈부와, 상기 렌즈부에 의해 집광된 광학 신호를 주파수에 따라 분산시켜 출력하는 분광수단과; 상기 분광수단을 통해 분산된 각 광학 신호가 결상되면, 결상된 광학 신호를 전기적인 신호로 변환시키는 기능을 갖으며 국제 표준 규격에 맞는 유효 화소수와 보색 스트라이프 패턴(Stripe Pattern)의 서로 다른 컬러 필터 어레이를 갖는 제1, 제2CCD와; 상기 제1, 제2CCD로부터 출력된 각 영상 신호에서 노이즈등 불필요한 신호를 제거하기 위한 샘플링 및 호울딩(sampling/holding)기능을 수행하는 제1, 제2샘플링/호울딩 수단과, 상기 제1, 제2샘플링/호울딩 수단으로부터 출력되는 각 아날로그 영상 신호를 디지탈 신호 처리를 위한 디지탈 영상신호로 변환시키는 제1, 제2아날로그-디지탈 변환 수단과; 상기 제1, 제2아날로그-디지탈 변환 수단의 각 출력 신호를 3입력받아, 입력된 두 신호의 합과 차를 구하여 휘도 신호와 색 신호를 생성시켜 출력하는 CCD 영상 신호 처리 수단으로 이루어져 있다.
상기 CCD 영상 신호 처리 수단의 구성은, 상기 제1, 제2아날로그-디지탈 변환 수단의 각 출력 신호를 가산하여 출력하는 제1연산 수단과; 상기 제1, 제2아날로그-디지탈 변환 수단의 각 출력 신호를 감산하여 출력하는 제2연산 수단과; 상기 제1연산 수단으로부터 출력되는 신호를 입력받아 휘도 신호를 생성하는 휘도 신호 생성 수단과; 상기 제1, 제2연산 수단으로부터 출력되는 신호를 입력받아 내부의 색차 신호 매트릭스를 이용하여 색 신호를 생성하는 색 신호 생성수단으로 이루어져 있다.
상기 제1 및 제2CCD의 유효 화소 규격은, 국제 규격(CCIR 601)으로 정해진 포맷(가로×세로 : 720×480 픽셀)으로 구성되어 있다.
상기 제1CCD의 컬러 필터 어레이(CFA) 패턴의 구성은, 수평적으로는 '마젠타+시안' 성분의 화소를 갖는 라인(S1)과, '그린+시안' 성분의 화소를 갖는 라인(S2)이 반복되어 있다.
상기 제2CCD의 컬러 필터 어레이 패턴의 구성은, 수평적으로는 '그린+옐로우' 성분의 화소를 갖는 라인(S1)과, '마젠타+옐로우' 성분의 화소를 갖는 라인(S2)이 반복되어 있다.
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위해 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조로 상세히 설명하기로 한다.
제2도는 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템의 블럭도이고, 제3도는 본 발명에서 제안하는 씨씨디 유효 화소의 규격 예시도이고, 제4도의 (a), (b)는 본 발명에서 제안하는 씨씨디 컬러 필터 어레이(Color Filter Array)를 나타낸 예시도이다.
제2도에 도시되어 있듯이, 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템의 구성은, 피사체의 광학 신호를 집광하는 렌즈부(10)와; 상기 렌즈부(10)에 의해 집광된 광학 신호를 주파수에 따라 분산시켜 출력하는 양방향 프리즘(20)과; 상기 양방향 프리즘(20)을 통해 분산된 각 광학 신호가 결상되면, 결상된 광학 신호를 전기적인 신호로 변환시키는 기능을 갖으며 국제 표준 규격에 맞는 유효 화소수와 보색 스트라이프 패턴(Stripe Pattern)의 서로 다른 컬러 필터 어레이를 갖는 CCD(30, 31)와; 상기 CCD(30, 31)로부터 출력된 각 영상 신호에서 노이즈등 불필요한 신호를 제거하기 위한 샘플링 및 호울딩(sampling/holding) 기능을 수행하는 샘플링/호울딩기(40, 41)와; 상기 샘플링/호울딩기(40,41)로부터 출력되는 각 아날로그 영상 신호를 디지탈 신호 처리를 위한 디지탈 영상 신호로 변환시키는 아날로그-디지탈 변환기(50,51)와; 상기 아날로그-디지탈 변환기(50,51)의 각 출력 신호를 입력받아, 입력된 두 신호의 합과 차를 구하여 휘도 신호와 색 신호를 생성시켜 출력하는 CCD 영상 신호 처리기(60)로 이루어져 있다.
상기 CCD 영상 신호 처리기(60)의 구성은, 상기 아날로그-디지탈 변환기(50,51)의 각 출력 신호를 가산하여 출력하는 가산기(61)와; 상기 아날로그-디지탈 변환기(50,51)의 각 출력 신호를 감산하여 출력하는 감산기(62)와; 상기 가산기(61)로부터 출력되는 신호를 입력받아, 휘도 신호를 생성하는 휘도 신호 생성기(63)와; 상기 가산기 및 감산기(61, 62)로부터 출력되는 신호를 입력받아, 내부의 색차신호 매트릭스를 이용하여 색 신호를 생성하는 색 신호 생성기(64)로 이루어져 있다.
상기 CCD(30, 31)의 유효 화소의 규격은, 국제 규격(CCIR 601)으로 정해진 포맷(가로×세로: 720×480 픽셀)으로 구성되어 있다.
상기 CCD(30)의 컬러 필터 어레이 패턴의 구성은, 수평적으로는 '마젠타+시안(Mg+Cy)' 성분의 화소를 갖는 라인(S1)과, '그린+시안(G+Cy)' 성분의 화소를 갖는 라인(S2)이 반복되어 있다.
상기 CCD(31)의 컬러 필터 어레이 패턴의 구성은, 수평적으로는 '그린+옐로우(G+Ye)' 성분의 화소를 갖는 라인(S1)과, '마젠타+옐로우(Mg+Ye)' 성분의 화소를 갖는 라인(S2)이 반복되어 있다.
상기와 같이 이루어져 있는 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템의 동작은 다음과 같다.
제2도에 도시되어 있는 바와 같이, 렌즈부(10)를 통해 입력되는 피사체의 빛은 양방향 프리즘(20)을 통해 굴절되어져 각기 다른 컬러 필터 어레이를 갖는 2개의 CCD(30, 31)에 투영되어 진다. 상기 2개 CCD(30, 31)의 컬러 필터 어레이 패턴이 제4도의 (a), (b)에 각각 도시되어 있다. 제4도의 (a), (b)에 도시된 것처럼 2개 CCD(30, 31)의 컬러 필터 어레이 패턴은 같은 위치에 있는 2개 화소, 예를 들어(Mg+Cy) 성분의 화소와 (G+Ye) 성분의 화소의 합이 휘도 신호가 되도록 구성되어 지며, 상기 2개 화소의 합과 차를 이용하여 색 신호(R, G, B)를 생성할 수 있도록 구성되어져 있다.
다음으로, 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템에서의 휘도 신호와 색 신호의 생성 원리에 대해서 상세히 설명하기로 한다.
먼저, 첫 번째 화소의 합은 CCD(30)의 (Mg+Cy)와 CCD(31)의 (G+Ye)의 합이므로 이를 계산하여 보면(2R+3G+2B)로서 휘도 신호로 사용할 수 있는 성분이 됨을 알 수 있다. 같은 방법으로 수평적으로 두 번째 화소의 합도 (G+Cy)와 (Mg+Ye)의 합이므로 계산해보면(2R+3G+2B)이 되어 상기와 같은 결과가 됨을 알 수 있다. 여기에서 알 수 있는 바와 같이, 종래의 신호 처리에서 휘도 신호 생성을 위해 수평적으로 인접한 화소의 평균값을 사용하는 것과는 달리 각 화소별로 독립적으로 휘도 신호의 생성이 가능해진다는 것을 알 수 있다.
다음에, 첫 번째 화소의 차성분을 보면 (G+Ye)-(Mg+Cy)=(2R-G)가 되며, 같은 방법으로 수평 두 번째 화소의 차를 계산하면(Mg+Ye)-(G+Cy)=(G-2B)가 된다. 그러므로, 이러한 각 화소의 합, 차성분을 이용한 적절한 색차 신호 매트릭스를 통하여 색의 3원색인 레드(RED), 그린(GREEN), 블루(BLUE)의 신호를 생성할 수 있다. 또, 다음 라인의 화소도 같은 성분의 화소이므로 차성분은 동일한 결과가 나오게 된다. 이러한 과정은 단판식 CCD 사용할 때 색 신호를 생성시키기 위해 반드시 필요했던 3라인 보간 처리를 하지 않고 각 라인별로 레드, 블루의 정보를 동시에 얻을 수 있게 된다는 것을 의미한다.
여기서, CCD 신호 처리 방식의 이해를 돕기 위해서 레드(RED), 그린(GREEN), 블루(BLUE)를 생성하는 매트릭스의 하나의 예를 들어 설명하기로 한다.
GREEN = (2R + 3G + 2B) - {(2R - G) - (G - 2B)}
= 5G
RED = (2R - G) + 0.2 × GREEN = 2R
BLUE = (G - 2B) + 0.2 × GREEN = 2B
또, 제3도는 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템에서 사용되는 CCD 유효 화소의 규격을 보여주고 있다.
제3도에 도시된 것처럼, CCD의 가로, 세로의 화면 크기는 국제 표준 규격에 맞는 유효 화소 720×480의 크기(CCIR 601 국제 표준 규격)가 되도록 가로, 세로의 종횡비를 정함으로써 다른 디지탈 영상 신호 처리 기기 및 여러 응용 분양의 인터페이스를 용이하도록 한다. 이 때 CCD의 샘플링 주파수 또는 수평 구동 신호의 주파수는 13.5MHz로 된다.
이와 같이 13.5MHz의 샘플링 주파수를 통해 출력되는 2개 CCD(30, 31)의 출력 신호를 각기 다른 2개의 샘플링/호울딩기(40, 41)를 거치고 아날로그-디지탈 변환기기(50, 51)를 통해서 CCD 영상 신호 처리기(60)로 입력되어진다. 그리고 앞에서도 언급한 바와 같이 휘도 신호와 색 신호의 생성을 위해서 CCD 영상 신호 처리기(60)로 입력된 2개의 양자화된 신호의 합과 차를 구하여 휘도 신호 생성기(63) 및 색 신호 생성기(64)에 입력되어 진다.
이 후의 신호 처리는 종래의 신호 처리와 동일하지만 신호 처리에 사용되는 시스템 주파수는 국제 표준 규격에 맞는 13.5MHz를 사용한다는 차이가 있다.
여기서 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템을 휘도 신호 생성기 및 색 신호 생성기만을 놓고 보았을 때는 단순히 주파수만을 변경한 것으로 생각할 수 있으나, 이를 위해 CCD의 규격을 변경하고 향후 전개될 멀티 미디어용 특히 CCIR 601 포맷의 대응 측면에서 생각한다면 매우 커다란 의미를 지닌다고 할 수 있다.
다음으로, 제5도는 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템의 응용 예를 보여 주고 있다.
제5도에 도시되어 있는 것처럼, 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템의 출력은 휘도 신호(Y)와 색차 신호(Cr/Cb)가 되며 이 신호는 뒷단의 영상 압축/복원 시스템을 통한 영상 압축 과정을 거쳐 여러 기억장치 또는 전송 채널에 기록 또는 전송되고, 상기 기억 장치 또는 전송 채널에 기록 또는 전송되는 신호는 다시 영상 압축/복원 시스템을 통한 영상 복원 과정을 거쳐 CCIR 601 4:2:2(=Y:Cr:Cb) 포맷으로 변환되고 엔코딩 과정을 통하여 영상 신호 규격에 상응하는 복합 영상 신호로 변환된 후 화면에 디스플레이 된다. 이와 같은 응용예는 향후 전개되어질 멀티미디어 시대의 CCD 카메라를 이용한 모든 시스템에 적용되어질 것으로 예상된다.
따라서, 상기와 같이 동작하는 본 발명의 실시예에 따른 멀티미디어 대응 가능한 CCD 카메라 시스템의 효과는, 디지탈 신호 처리와의 인터페이스시 필요한 주파수 변환 작업없이도 시스템 구성이 가능하도록 하기 위해 CCD의 종횡비(Aspect Ratio)를 국제규격에 맞게 정하고, 보색의 스트라이프 패턴(Stripe Pattern)의 2개의 씨씨디로 바꾸어 구성함으로써 휘도 신호의 수평 해상도 및 색 신호의 수직 해상도를 향상시킨 멀티미디어에 대응 가능하도록 한 것이다.

Claims (8)

  1. 피사체의 광학 신호를 집광하는 렌즈부와; 상기 렌즈부에 의해 집광된 광학 신호를 주파수에 따라 분산시켜 출력하는 분광수단과; 상기 분광수단을 통해 분산된 각 광학 신호가 결상되면,결상된 광학 신호를 전기적인 신호로 변환시키는 기능을 갖으며 국제 표준 규격에 맞는 유효 화소수와 보색 스트라이프 패턴의 서로 다른 컬러 필터 어레이를 갖는 제1, 제2CCD와; 상기 제1, 제2CCD로부터 출력된 각 영상 신호에서 노이즈등 불필요한 신호를 제거하기 위한 샘플링 및 호울딩(sampling/holding)기능을 수행하는 제1, 제2샘플링/호울딩 수단과; 상기 제1, 제2샘플링/호울딩 수단으로부터 출력되는 각 아날로그 영상 신호를 디지탈 신호 처리를 위한 디지탈 영상 호로 변환시키는 제1, 제2아날로그-디지탈 변환 수단과; 상기 제1, 제2아날로그-디지탈 변환 수단의 각 출력 신호를 입력받아, 입력된 두 신호의 합과 차를 구하여 휘도 신호와 색 신호를 생성시켜 출력하는 CCD 영상 신호 처리 수단으로 이루어져 있는 것을 특징으로 하는 멀티미디어 대응 가능한 CCD 카메라 시스템.
  2. 제1항에 있어서, 상기 CCD 영상 신호 처리 수단은, 상기 제1, 제2아날로그-디지탈 변환 수단의 각 출력 신호를 가산하여 출력하는 제1연산 수단과; 상기 제1, 제2아날로그-디지탈 변환 수단의 각 출력 신호를 감산하여 출력하는 제2연산 수단과; 상기 제1연산 수단으로부터 출력되는 신호를 입력받아 휘도 신호를 생성하는 휘도 신호 생성 수단과; 상기 제1, 제2연산 수단으로부터 출력되는 신호를 입력받아 내부의 색차 신호 매트릭스를 이용하여 색 신호를 생성하는 색 신호 생성수단으로 이루어져 있는 것을 특징으로 하는 멀티미디어 대응 가능한 CCD 카메라 시스템.
  3. 제1항에 있어서, 상기 제1 및 제2CCD의 유효 화소 규격은 국제 규격(CCIR 601)으로 정해진 포맷(가로:세로=4:3)으로 구성되어 있는 것을 특징으로 하는 멀티미디어 대응 가능한 CCD 카메라 시스템.
  4. 제1항에 있어서, 상기 제1 및 제2CCD의 컬러 필터 어레이 패턴은 같은 위치에 있는 2개 화소의 합이 휘도 신호가 되도록 구성되어지며, 상기 2개 화소의 합과 차를 이용하여 색 신호(R, G, B)를 생성할 수 있도록 구성되어져 있는 것을 특징으로 하는 멀티미디어 대응 가능한 CCD 카메라 시스템.
  5. 제1항에 있어서, 상기 제1CCD의 컬러 필터 어레이 패턴은 수평적으로는 '마젠타+시안' 성분의 화소를 갖는 라인(S1)과, '그린+시안' 성분의 화소를 갖는 라인(S2)이 반복되어 있는 것을 특징으로 하는 멀티미디어 대응 가능한 CCD 카메라 시스템.
  6. 제1항에 있어서, 상기 제2CCD의 컬러 필터 어레이 패턴은 수평적으로는 '그린+옐로우' 성분의 화소를 갖는 라인(S1)과, '마젠타+옐로우' 성분의 화소를 갖는 라인(S2)이 반복되어 있는 것을 특징으로 하는 멀티미디어 대응 가능한 CCD 카메라 시스템.
  7. 제1항에 있어서, 상기 제1, 제2CCD의 샘플링 주파수는 국제 표준 규격에 맞는 13.5MHz인 것을 특징으로 하는 멀티미디어 대응 가능한 CCD 카메라 시스템.
  8. 제1항에 있어서, 상기 분광 수단은 양방향 프리즘으로 이루어져 있는 것을 특징으로 하는 멀티미디어 대응 가능한 CCD 카메라 시스템.
KR1019950034695A 1995-10-10 1995-10-10 멀티미디어 대응 가능한 씨씨디 카메라 시스템 Expired - Fee Related KR0169376B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1019950034695A KR0169376B1 (ko) 1995-10-10 1995-10-10 멀티미디어 대응 가능한 씨씨디 카메라 시스템
US08/712,270 US6373523B1 (en) 1995-10-10 1996-09-11 CCD camera with two CCDs having mutually different color filter arrays
GB9619026A GB2306074B (en) 1995-10-10 1996-09-12 CCD camera with two CCDs having mutually different colour filter arrays
JP25179296A JP3759655B2 (ja) 1995-10-10 1996-09-24 マルチメディア対応可能なｃｃｄカメラシステム
DE19641617A DE19641617B4 (de) 1995-10-10 1996-10-09 CCD-Kamera mit zwei CCD-Elementen, welche wechselseitig unterschiedliche Farbfilteranordnungen aufweisen

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950034695A KR0169376B1 (ko) 1995-10-10 1995-10-10 멀티미디어 대응 가능한 씨씨디 카메라 시스템

Publications (2)

Publication Number Publication Date
KR970024930A KR970024930A (ko) 1997-05-30
KR0169376B1 true KR0169376B1 (ko) 1999-03-20

Family

ID=19429725

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950034695A Expired - Fee Related KR0169376B1 (ko) 1995-10-10 1995-10-10 멀티미디어 대응 가능한 씨씨디 카메라 시스템

Country Status (5)

Country Link
US (1) US6373523B1 (ko)
JP (1) JP3759655B2 (ko)
KR (1) KR0169376B1 (ko)
DE (1) DE19641617B4 (ko)
GB (1) GB2306074B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985003B1 (ko) * 2008-03-10 2010-10-04 (주)세미솔루션 멀티 ｃｃｄ 센서의 영상처리 장치 및 그 영상처리 방법

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020137890A1 (en) * 1997-03-31 2002-09-26 Genentech, Inc. Secreted and transmembrane polypeptides and nucleic acids encoding the same
US6714192B1 (en) * 1999-02-16 2004-03-30 Antonio Agustin Checa Torres Combined still camera and video camera device utilizing optics to simultaneously provide the same view to both cameras
US6721345B2 (en) * 2000-07-14 2004-04-13 Lambda Physik Ag Electrostatic precipitator corona discharge ignition voltage probe for gas status detection and control system for gas discharge lasers
JP2002335435A (ja) * 2001-05-11 2002-11-22 Fujitsu Ltd 映像撮影装置
JP2003037847A (ja) * 2001-07-26 2003-02-07 Matsushita Electric Ind Co Ltd 画像処理システム及び撮像装置並びに画像処理装置
US7170677B1 (en) * 2002-01-25 2007-01-30 Everest Vit Stereo-measurement borescope with 3-D viewing
US7057654B2 (en) * 2002-02-26 2006-06-06 Eastman Kodak Company Four color image sensing apparatus
DE10210327B4 (de) * 2002-03-08 2012-07-05 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Laufbildkamera
US6747738B2 (en) * 2002-07-01 2004-06-08 Raytheon Company Optical system with variable dispersion
JP3673845B2 (ja) * 2002-11-19 2005-07-20 コニカミノルタホールディングス株式会社 撮像装置
US8553113B2 (en) * 2003-08-20 2013-10-08 At&T Intellectual Property I, L.P. Digital image capturing system and method
US20050219659A1 (en) * 2004-03-31 2005-10-06 Shuxue Quan Reproduction of alternative forms of light from an object using digital imaging system
US7466256B2 (en) * 2006-03-31 2008-12-16 Siemens Medical Solutions Usa, Inc. Universal ultrasound sigma-delta receiver path
US7583214B2 (en) * 2006-03-31 2009-09-01 Siemens Medical Solutions Usa, Inc. Dynamic receive beamformer with oversampling for medical diagnostic ultrasound
US7667762B2 (en) * 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera
US8213676B2 (en) 2006-12-20 2012-07-03 Ge Inspection Technologies Lp Inspection apparatus method and apparatus comprising motion responsive control
US9633426B2 (en) 2014-05-30 2017-04-25 General Electric Company Remote visual inspection image capture system and method
US8810636B2 (en) 2006-12-20 2014-08-19 Ge Inspection Technologies, Lp Inspection apparatus method and apparatus comprising selective frame output
DE102007026337B4 (de) * 2007-06-06 2016-11-03 Arnold & Richter Cine Technik Gmbh & Co. Betriebs Kg Digitale Kamera
TW201108717A (en) * 2009-08-17 2011-03-01 Silicon Motion Inc Image processing system and image processing method
US20110292258A1 (en) * 2010-05-28 2011-12-01 C2Cure, Inc. Two sensor imaging systems
US20120105584A1 (en) 2010-10-28 2012-05-03 Gallagher Andrew C Camera with sensors having different color patterns
US20120188409A1 (en) 2011-01-24 2012-07-26 Andrew Charles Gallagher Camera with multiple color sensors
JP6152646B2 (ja) * 2012-03-21 2017-06-28 株式会社リコー 複眼カメラ装置、及びそれを備えた車両
US10531067B2 (en) 2017-03-26 2020-01-07 Apple Inc. Enhancing spatial resolution in a stereo camera imaging system
KR102362447B1 (ko) 2017-05-23 2022-02-14 삼성전자 주식회사 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치
JP7225876B2 (ja) * 2019-02-08 2023-02-21 富士通株式会社 情報処理装置、演算処理装置および情報処理装置の制御方法
DE102021120588A1 (de) 2021-08-09 2023-02-09 Schölly Fiberoptic GmbH Bildaufnahmevorrichtung, Bildaufnahmeverfahren, korrespondierendes Verfahren zur Einrichtung und Endoskop

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4016598A (en) * 1974-03-29 1977-04-05 Sony Corporation Solid state camera having plural image sensors
DE3482366D1 (de) * 1983-07-21 1990-06-28 Victor Company Of Japan Farbfernsehkamera mit zwei oder mehr festkoerper-bildaufnahme-einrichtungen.
US4907074A (en) * 1985-10-31 1990-03-06 Canon Kabushiki Kaisha Image pickup apparatus having color separation filters and forming line-sequential luminance and color-difference signals
KR920006601Y1 (ko) * 1989-12-31 1992-09-21 삼성전자 주식회사 보색 필터 ccd를 이용한 원색 신호 출력회로
US5323233A (en) * 1990-07-31 1994-06-21 Canon Kabushiki Kaisha Image signal processing apparatus having a color filter with offset luminance filter elements
US5285271A (en) * 1991-05-14 1994-02-08 Hewlett-Packard Company Digital color matrixing circuit
DE69316408T2 (de) * 1992-02-28 1998-05-14 Sony Corp Videokamera
JP3392886B2 (ja) * 1992-06-18 2003-03-31 ペンタックス株式会社 スチルビデオカメラ
US5418564A (en) * 1992-09-04 1995-05-23 Asashi Kogaku Kogyo Kabushiki Kaisha Dual-type imaging device having multiple light sensitive elements
JP3302423B2 (ja) * 1992-12-28 2002-07-15 キヤノン株式会社 撮像装置
JPH07107497A (ja) * 1993-10-06 1995-04-21 Konica Corp 画像処理装置
US5640206A (en) * 1994-05-31 1997-06-17 Victor Company Of Japan, Ltd. Imaging apparatus including offset pixels for generating vertical high frequency component
US5583569A (en) * 1994-08-19 1996-12-10 Intel Corporation Video camera having asynchronous digital output including header data
US6078685A (en) * 1994-08-22 2000-06-20 Canon Kabushiki Kaisha Image reading apparatus for reading a color image by irradiating light onto an object and photoelectrically converting light from the object
JP3164481B2 (ja) * 1994-12-20 2001-05-08 シャープ株式会社 撮像装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100985003B1 (ko) * 2008-03-10 2010-10-04 (주)세미솔루션 멀티 ｃｃｄ 센서의 영상처리 장치 및 그 영상처리 방법

Also Published As

Publication number Publication date
DE19641617A1 (de) 1997-04-17
JPH09130813A (ja) 1997-05-16
JP3759655B2 (ja) 2006-03-29
GB2306074B (en) 2000-03-15
GB2306074A (en) 1997-04-23
KR970024930A (ko) 1997-05-30
GB9619026D0 (en) 1996-10-23
US6373523B1 (en) 2002-04-16
DE19641617B4 (de) 2006-08-31

Similar Documents

Publication Publication Date Title
KR0169376B1 (ko) 멀티미디어 대응 가능한 씨씨디 카메라 시스템
US5414465A (en) Luminance signal generator with interpolation
JP2849813B2 (ja) 映像信号の形成装置
KR100247371B1 (ko) 칼라텔레비젼카메라장치및그신호발생방법
KR0146260B1 (ko) 고체촬상장치
US4404585A (en) Video sequential color system
KR100217221B1 (ko) 고체 칼라 카메라용 신호처리 회로
EP0731616B1 (en) Image pickup device
KR100195129B1 (ko) 가정용 hdtv 카메라를 위한 수직라인 배속 변환방법 및 그 회로
JPH02268089A (ja) 記録再生装置
JP3422027B2 (ja) カラーカメラ及びその信号処理回路における輝度バランス回路
JP4515546B2 (ja) 画像信号処理装置およびこの装置を備えた電子スチルカメラ
JP3658430B2 (ja) 画像信号処理装置
JP2507220B2 (ja) 固体撮像装置
JPS60263592A (ja) 固体撮像装置
JP2791888B2 (ja) カラー・コーディング回路
JP2668444B2 (ja) 撮像装置
JP2770479B2 (ja) 固体撮像装置の信号処理回路及びカラーテレビジョンカメラ装置
JP3035988B2 (ja) カラーテレビジョンカメラ装置
JP3832689B2 (ja) 映像信号処理方法及び映像信号処理装置
JP2000261817A (ja) 撮像装置
JP3232576B2 (ja) カラーテレビジョンカメラ装置
Centen et al. A Multi-Format HDTV Camera Head
JPH10336685A (ja) カラー撮像装置
JPH04154294A (ja) カラー固体撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R17-X000 Change to representative recorded

St.27 status event code: A-5-5-R10-R17-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

FPAY Annual fee payment

Payment date: 20110930

Year of fee payment: 14

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 14

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

FPAY Annual fee payment

Payment date: 20120925

Year of fee payment: 15

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 15

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20131011

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20131011

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000