[go: up one dir, main page]

KR100204468B1 - 영상 부호기 및 복호기 - Google Patents

영상 부호기 및 복호기 Download PDF

Info

Publication number
KR100204468B1
KR100204468B1 KR1019950028320A KR19950028320A KR100204468B1 KR 100204468 B1 KR100204468 B1 KR 100204468B1 KR 1019950028320 A KR1019950028320 A KR 1019950028320A KR 19950028320 A KR19950028320 A KR 19950028320A KR 100204468 B1 KR100204468 B1 KR 100204468B1
Authority
KR
South Korea
Prior art keywords
vector
quantizer
inverse
discrete cosine
scalar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019950028320A
Other languages
English (en)
Other versions
KR970014373A (ko
Inventor
윤성욱
Original Assignee
전주범
대우전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주범, 대우전자주식회사 filed Critical 전주범
Priority to KR1019950028320A priority Critical patent/KR100204468B1/ko
Publication of KR970014373A publication Critical patent/KR970014373A/ko
Application granted granted Critical
Publication of KR100204468B1 publication Critical patent/KR100204468B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/94—Vector quantisation
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03K—PULSE TECHNIQUE
    • H03K19/00—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits
    • H03K19/02—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components
    • H03K19/173—Logic circuits, i.e. having at least two inputs acting on one output; Inverting circuits using specified components using elementary logic circuits as components
    • H03K19/1733—Controllable logic circuits
    • H03K19/1737—Controllable logic circuits using multiplexers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/625—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding using discrete cosine transform [DCT]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명은 이산여현 변환된 데이타를 벡터 양자화기및 스칼라 양자화 하여 왜곡치가 가장 적은 양자화 방식으로 부호화및 복호화하는 기술에 관한 것이다.
본 발명의 부호기는 이산여현 변환기(22), 다수개의 벡터양자화기(23-25), 스칼라 양자화기(26), 판단부(28), 멀티플랙서(27)로 구성되어 부호화된 영상시퀀스와 양자화기 선택정보를 전송한다. 그리고 본 발명의 복호기는 분류기(31), 다수개의 역벡터 양자화기(32-34), 역스칼라 양자화기(35), 멀티플랙서(36), 역이산여현변환기(37)로 구성되어 수신된 영상시퀀스를 양자화기 선택정보에 따라 선택된 역양자화기로 복호한다.
따라서, 본 발명은 입력 영상 데이타를 다양한 양자화 방식으로 양자화한 후 왜곡치를 비교하여 가장 적합한 양자화 방식을 선택하므로써 재생된 화질이 향상되는 효과가 있다.

Description

영상 부호기 및 복호기
제1도는 일반적인 벡터양자화 부호기 및 복호기를 도시한 개략도.
제2도는 본 발명에 따른 영상 부호기를 도시한 블럭도.
제3도는 본 발명에 따른 영상 복호기를 도시한 블럭도.
* 도면의 주요부분에 대한 부호의 설명
1 : 엔코더 2 : 엔코더 코드북
3 : 디코더 4 : 디코더 코드북
21 : 프레임 메모리 22 : 이산여현 변환기 (DCT)
23 : 제1벡터 양자화기 24 : 제2벡터 양자화기
25 : 제3벡터 양자화기 26 : 제4벡터 양자화 부호기
27 : 멀티플랙서 28 : 판단부
31 : 분류기 32 : 제1벡터 양자화 복호기
33 : 제2벡터 양자화 복호기 34 : 제3벡터 양자화 복호기
35 : 제4벡터 양자화 복호기 37 : 역이산여현 변환기
38 : 프레임 메모리
본 발명은 영상부호기 및 복호기에 관한 것으로 특히, 이산여현 변환(DCT)된 DCT계수를 복수개의 양자화 부호기로 부호화하고, 상기 복수개의 양자화 부호기에 의해 부호화된 데이타를 입력받아 해당 양자화 복호기에서 복호하는 영상 부호기 및 복호기에 관한 것이다.
일반적으로, 벡터양자화(VQ : Vector Quantization)는 K공간의 벡터를 유한개의 코드북(codebook)에 매핑(mapping)시키는 방식으로서, 영상신호의 압축에 효율적인 방법중의 하나로 HDTV, MPEG등에 대한 관심의 고조와 함께 많이 연구되고 있고, 특히 복호기(Decoder)의 구조가 간단하고 1bpp(bit per pixel)이하의 낮은 비트율에서 성능이 뛰어나다는 평가를 받고 있다.
이러한 벡터양자화(VQ)는 K공간의 벡터를 유한개의 코드북으로 매핑시키는 것이므로, 다음식1과 같이 표현된다.
Q(X) = min-1ｄ(X,Xk) ---식1
상기 식1에서 k =1...N이고, min-1은 왜곡치를 최소화하는 코드북(codebook)상의 Xk나타내며, d는 왜곡계수(distortion measure)를 나타낸다.
이와같은 벡터 양자화를 구현하는 개념적인 예는 제1도에 도시된 바와 같이 엔코더 코드북(2); 입력벡터(X)와 상기 코드북(2)에 있는 코드벡터를 비교하여 왜곡치가 가장 적은 코드벡터에 대한 인덱스(Index)를 찾아 출력하는 엔코더(1); 상기 엔코더 코드북(2)과 동일한 코드벡터를 갖는 디코더 코드북(4); 상기 인덱스를 수신한 후 상기 디코더 코드북(4)으로부터 해당 코드벡터를 찾아 출력벡터()로서 출력하는 디코더(3)로 구성되어 벡터양자화를 구현한다.
여기서, 상기 엔코더(1)는 상기 식1과 같이 입력벡터 X에 대해 엔코더 코드북(2)으로부터 왜곡치가 최소인 부호벡터 Xk를 찾아(search)입력벡터 X나 부호벡터 Xk대신에 부호벡터 Xk를 표시하는 인덱스(INDEX)를 송신하여 고도의 압축을 이룩하게 되고, 수신측의 디코더(3)에서는 수신된 인덱스(INDEX)로부터 룩업테이블을 사용하여 송신측과 동일한 디코더 코드북(4)으로부터 해당 부호벡터 Xk를 찾아 원래의 정보를 복원하게 된다.
이때, 엔코더(1)은 입력벡터 X로부터 왜곡치가 최소인 부호벡터 Xk를 찾기 위한 과정이 복잡하나 디코더(3)는 인덱스(INDEX)로부터 해당부호를 꺼내기만 하므로 간단하게 구현될 수 있다.
한편, 상기 식1로 주어지는 벡터양자화(VQ)의 코드북(codebook)을 만드는 일반적인 방법으로는 LBG(Linde, Buzo 및 Gray : 인명임)알고리즘이 널리 사용되는데 LBG알고리즘의 개요는 부호벡터는 입력벡터에 가장 가까운(distortion 측면에서)부호벡터이어야 한다는 조건(nearest neighbor condition)과 같은 부호벡터로 부호화되는 벡터들의 중심점(distortion 측면에서)이 부호벡터이어야 한다는 조건(centroid condition)의 두가지 제한 조건에 따라 반복적으로 코드북을 만들어 나가는 것이다.
이와같이 만들어지는 코드북은 입력벡터의 모든 조건을 충족시키기 위해서는 코드벡터의 양이 너무 많아지게 되고, 이에 따라 서치하는데 시간이 많이 걸리므로 통상 적당한 크기를 갖도록 코드북을 제한한다.
그런데 이와같이 제한된 하나의 코드북에 의해 벡터 양자화를 수행할 경우 입력벡터와의 왜곡치가 증가하여 화질이 저하되는 문제점이 있다.
이러한 문제점을 해결하기 위하여 적당한 코드벡터가 없을 경우에는 입력벡터를 코드벡터로 이용하는 적응벡터양자화(AVQ)방법이 이용되기도 하나 이러한 적응벡터양자화 방법을 구현하기 위해서는 하드웨어 및 처리 알고리즘이 복잡해지는 문제점이 있고, 입력벡터에 따른 다수의 코드북을 준비하여 입력벡터에 따라 적당한 코드북을 이용하여 벡터양자화하는 분류벡터양자화(CVQ : classified vector quantization)방법은 벡터 양자화보다 스칼라 양자화가 더 적합한 입력 데이타에 대해 비효율적이라는 문제점이 있다.
이에 본 발명은 상기와 같은 종래의 문제점을 해소하기 위하여 안출된 것으로 이산여현 변환된 계수를 복수개의 벡터 양자화기를 이용하여 벡터 양자화하고, 스칼라 양자화기를 이용하여 스칼라 양자화한 후 이들 결과를 비교하여 가장 양호한 양자화기의 출력을 선택하는 부호기를 제공하는데 그 목적이 있다.
본 발명의 다른 목적은 상기 부호기에 의해 부호화된 영상 시퀀스를 수신한 후 선택된 양자화방식에 따라 복호하는 복호기를 제공하는데 있다.
상기와 같은 목적을 달성하기 위하여 본 발명은 영상데이타를 입력받아 이산여현 변환하는 이산여현 변환기; 상기 이산여현 변환기의 출력을 벡터양자화하는 적어도 하나 이상의 벡터양자화기; 상기 이산여현 변환기의 출력을 스칼라 양자화하는 스칼라 양자화기; 상기 벡터 양자화기로부터 왜곡치를 비교하여 최적의 양자화방식을 선택하기 위한 선택신호를 발생하는 판단부; 상기 벡터 양자화기 및 스칼라 양자화기의 출력을 입력받아 상기 판단기의 출력에 따라 하나를 선택하여 압축 부호화된 영상을 출력하는 선택수단으로 구성된 것을 특징으로 한다.
상기와 같은 다른 목적을 달성하기 위하여 본 발명은 이산여현 변환된 영상 데이타를 적어도 하나 이상의 벡터 양자화기 및 스칼라 양자화기에 의해 부호화된 영상 시퀀스를 수신한 후 복호하는 영상 복호기에 있어서, 상기 수신된 영상 시퀀스에서 영상신호와 제어신호를 분리하는 분류기; 상기 분류기로부터 영상 시퀀스를 입력받아 역벡터 양자화하는 적어도 하나 이상의 역벡터 양자화기; 상기 분류기로부터 영상 시퀀스를 입력받아 역스칼라 양자화하는 역스칼라 양자화기; 및 상기 분류기로부터 선택신호를 입력받아 상기 벡터 양자화기및 스칼라 양자화기의 출력중 하나를 선택하는 선택수단 ; 및 상기 선택수단의 출력을 입력받아 역 이산여현 변환하는 역이산여현 변환기를 구비한 것을 특징으로 한다.
즉, 본 발명은 이산여현 변환된 데이타를 복수개의 벡터 양자화기를 이용하여 벡터 양자화함과 동시에 스칼라 양자화한후 왜곡치가 가장 적은 양자화방식으로 부호화된 영상 시퀀스를 송신하고, 수신측에서는 상기 영상 시퀀스를 수신한후 복수개의 벡터 양자화 복호기와 스칼라 양자화 복호기에서 복호하고 송신시 선택된 해당 부호기에 해당하는 복호기의 출력을 선택하여 역이산여현 변환하여 출력하도록 되어 있는 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 자세히 설명하기로 한다.
본 발명에 따른 영상부호기는 제2도에 도시된 바와 같이, 프레임메모리(21)로부터 영상데이타를 입력받아 이산여현 변환하는 이산여현 변환기(DCT : 22); 상기 이산여현 변환기(22)의 출력을 벡터 양자화하는 적어도 하나 이상의 벡터 양자화기(23~25 : VQ1-VQ3); 상기 이산여현 변환기(22)의 출력을 스칼라 양자화하는 스칼라 양자화기(26 : SQ); 상기 각 양자화기들로부터 왜곡치를 입력받아 비교한 후 최적의 양자화 방식을 선택하기 위한 선택제어신호를 발생하는 판단부(28); 상기 벡터 양자화기 및 스칼라 양자화기의 츨력을 입력받아 상기 판단부(28)의 출력에 따라 선택하여 압축부호화된 영상을 출력하는 선택기로 구성되어 있다. 여기서, 상기 선택기는 멀티플랙서(27 : MUX)로 구현되고, 각 벡터 양자화기는 서로 다른 코드북을 가지고 있다.
또한 본 발명에 따른 영상 복호기는 제3도에 도시된 바와 같이, 상기 수신된 영상 시퀀스에서 영상신호와 선택제어신호(SEL)를 분리하는 분류기(31); 상기 분류기(31)로부터 영상 시퀀스를 입력받아 역벡터 양자화하는 적어도 하나 이상의 역벡터 양자화기(32~34 : IVQ1~IVQ3); 상기 분류기(31)로부터 영상 시퀀스를 입력받아 역스칼라 양자화하는 역스칼라 양자화기(35 : ISQ) 및 사기 분류기(31)로부터 선택제어신호(SEL)를 입력받아 상기 역벡터 양자화기 및 역스칼라 양자화기의 출력중 하나를 선택하는 선택기; 및 상기 선택기의 출력의 입력받아 역 이산여현 변환하는 역이산여현 변환기(37 : IDCT)가 구비되어 있다.
여기서, 상기 선택기는 멀티플랙서(36 : MUX)로 구현되며, 역이산여현 변환된 데이타는 프레임 메모리(38)에 저장된다.
이어서, 상기와 같이 구성되는 본 발명의 장치가 동작하는 것을 살펴본다.
영상 데이타가 프레임 메모리(21)로 입력되면 소정의 DCT블럭(예를 들면, 8x8)으로 나누어져 이산여현 변환기(22)로 입력되고, 이산여현 변환기(22)에서 이산여현 변환되어 DCT계수가 출력된다. 이러한 DCT계수는 제1벡터 양자화기 내지 제3벡터 양자화기(23~35)와 스칼라 양자화기(26)에서 각각 양자화되고, 상기 양자화된 영상데이타는 판단부(28)로 입력된다. 상기 판단부(28)는 이산여현 변환된 영상데이타를 부호화하는 가장 적합한 양자화방식을 선택하기 위한 선택제어신호를 발생하여 멀티플랙서(27)로 출력하고, 멀티플랙서(27)는 상기 선택 제어 신호에 따라 해당 양자화기의 출력을 선택하여 압축부호화된 영상 시퀀스를 출력한다.
여기서, 상기 판단부(28)는 벡터 양자화기로부터 왜곡치를 입력받아 가장 왜곡치가 작은 벡터 양자화기를 선택하도록 제어신호를 발생하는데, 이때 가장 작은 왜곡치가 소정의 기준치를 벗어날 경우에는 스칼라 양자화기를 선택하도록 선택제어신호를 발생한다.
이와같이 압축부호화된 영상시퀀스는 복호기측에서 수신되어 분류기(31)로 입력된다. 상기 분류기(31)는 입력된 영상 시퀀스로부터 선택제어신호(SEL)를 추출한후 멀티플랙서(36)로 출력하고, 제1 내지 제3역벡터 양자화기(32~34)는 분류기(31)의 출력을 각각의 코드북에 따라 복호한 후 복호된 데이타를 출력하고, 역스칼라 양자화기(35)는 분류기(31)의 출력을 역 스칼라 양자화하여 멀티플랙서(36)로 출력한다. 멀티플랙서(36)는 상기 역양자화기들의 출력중 선택 제어신호에 따라 해당 역양자화기를 선택하고, 역이산여현 변환기(37)는 상기 멀티플랙서(36)의 출력을 역이산여현 변환하여 프레임 메모리(38)에 저장한다. 이와같이 프레임 메모리(38)에 저장된 영상 데이타는 프레임 단위로 출력된다.
이상에서 살펴본 바와같이, 본 발명은 입력 영상 데이타를 다양한 양자화 방식으로 양자화한 후 왜곡치를 비교하여 가장 적합한 양자화 방식을 선택하므로써 재생된 화질이 향상되는 효과가 있다.

Claims (3)

  1. 프레임메모리(21)로부터 영상데이타를 입력받아 이산여현 변환하는 이산여현 변환기(22); 상기 이산여현 변환기(22)의 출력을 벡터 양자화하는 적어도 하나 이상의 벡터 양자화기(23~25); 상기 이산여현 변환기(22)의 출력을 스칼라 양자화하는 스칼라 양자화기(26); 상기 벡터 양자화기들로부터 왜곡치를 입력받아 비교한 후 최적의 양자화 방식을 선택하기 위한 선택제어신호를 발생하는 판단부(28); 및 상기 벡터 양자화및 스칼라 양자화기의 츨력을 입력받아 상기 판단부(28)의 출력에 따라 하나를 선택하여 압축부호화된 영상을 출력하는 선택기로 구성되는것을 특징으로 하는 영상 부호기.
  2. 제1항에 있어서, 상기 선택기는 멀티플랙서(27)로 구현되는 것을 특징으로 하는 영상 부호기.
  3. 이산여현 변환된 영상 데이타를 적어도 하나 이상의 벡터 양자화기 및 스칼라 양자화기에 의해 부호화된 영상 시퀀스를 수신한 후 복호하는 영상 복호기에 있어서, 상기 수신된 영상 시퀀스에서 영상신호와 선택제어신호를 분리하는 분류기(31); 상기 분류기(31)로부터 영상 시퀀스를 입력받아 역벡터 양자화하는 적어도 하나 이상의 역벡터 양자화기(32~34); 상기 분류기(31)로부터 영상 시퀀스를 입력받아 역스칼라 양자화하는 역스칼라 양자화기(35); 및 상기 분류기(31)로부터 선택제어신호(SEL)를 입력받아 상기 역벡터 양자화기 및 역스칼라 양자화기의 출력중 하나를 선택하는 선택기; 및 상기 선택기의 출력을 입력받아 역 이산여현 변환하는 역이산여현 변환기(37)가 구비되는 영상 복호기.
KR1019950028320A 1995-08-31 1995-08-31 영상 부호기 및 복호기 Expired - Fee Related KR100204468B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019950028320A KR100204468B1 (ko) 1995-08-31 1995-08-31 영상 부호기 및 복호기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019950028320A KR100204468B1 (ko) 1995-08-31 1995-08-31 영상 부호기 및 복호기

Publications (2)

Publication Number Publication Date
KR970014373A KR970014373A (ko) 1997-03-29
KR100204468B1 true KR100204468B1 (ko) 1999-06-15

Family

ID=19425681

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019950028320A Expired - Fee Related KR100204468B1 (ko) 1995-08-31 1995-08-31 영상 부호기 및 복호기

Country Status (1)

Country Link
KR (1) KR100204468B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101902933B1 (ko) 2009-12-16 2018-10-01 한국전자통신연구원 영상 부호화/복호화 장치 및 방법

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101902933B1 (ko) 2009-12-16 2018-10-01 한국전자통신연구원 영상 부호화/복호화 장치 및 방법
KR20180107067A (ko) * 2009-12-16 2018-10-01 한국전자통신연구원 영상 부호화/복호화 장치 및 방법
KR20190109373A (ko) * 2009-12-16 2019-09-25 한국전자통신연구원 영상 부호화/복호화 장치 및 방법
KR102025576B1 (ko) 2009-12-16 2019-09-27 한국전자통신연구원 영상 부호화/복호화 장치 및 방법
KR102115201B1 (ko) 2009-12-16 2020-05-26 한국전자통신연구원 영상 부호화/복호화 장치 및 방법

Also Published As

Publication number Publication date
KR970014373A (ko) 1997-03-29

Similar Documents

Publication Publication Date Title
US10045034B2 (en) System and method for using pattern vectors for video and image coding and decoding
US5398069A (en) Adaptive multi-stage vector quantization
US4851906A (en) Data compression using orthogonal transform and vector quantization
KR0162197B1 (ko) 영상데이타의 가변장부호와/복호화방법 및 장치
WO1996015620A1 (en) Context-based, adaptive, lossless image codec
JPH09261078A (ja) データ復号化方法及びその装置
KR102400514B1 (ko) 디지털 데이터 압축을 위한 방법 및 디바이스
US6205254B1 (en) Image coding apparatus and method, and image decoding apparatus and method
KR100204468B1 (ko) 영상 부호기 및 복호기
Tseng et al. A very low bit rate image compressor using transformed classified vector quantization
KR0185846B1 (ko) 분류 벡터 양자화기
KR100204470B1 (ko) 탈출 피티에스 벡터 양자화기
JPH08316846A (ja) 画像符号化装置、画像復号化装置、画像符号化方法および画像復号化方法
Liang et al. Comparison between adaptive search and bit allocation algorithms for image compression using vector quantization
KR100216600B1 (ko) 영상 신호 벡터 양자화기를 위한 다중 부호어 전송 방법
KR970009387A (ko) 적응 벡터 양자화를 이용한 영상 부호화 시스템
KR0134358B1 (ko) 가변 스캔방법을 이용한 부호화 및 복호화시스템
KR0134359B1 (ko) 가변 스캔영역을 이용한 부호화 및 복호화시스템
KR0171750B1 (ko) 피티에스 벡터양자화를 이용한 호환 부호기
KR100212327B1 (ko) 디지탈 영상신호 양자화 방법 및 그 장치
Lo et al. Dynamic addressing scheme for vector quantization of images
Mehrotra et al. Predictive hierarchical table-lookup vector quantization with quadtree encoding
JPS63103583A (ja) 画像信号の符号化復号化方法とその装置
Miura et al. A color image compression scheme based on the adaptive orthogonalized transform: Accelerated by product code technique
Deutermann et al. Compression techniques for video telemetry

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 12

FPAY Annual fee payment

Payment date: 20110302

Year of fee payment: 13

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 13

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20120330

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20120330

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000