[go: up one dir, main page]

KR100500196B1 - 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법 - Google Patents

멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법 Download PDF

Info

Publication number
KR100500196B1
KR100500196B1 KR10-2002-0042730A KR20020042730A KR100500196B1 KR 100500196 B1 KR100500196 B1 KR 100500196B1 KR 20020042730 A KR20020042730 A KR 20020042730A KR 100500196 B1 KR100500196 B1 KR 100500196B1
Authority
KR
South Korea
Prior art keywords
metadata
error
bitstream
path information
divided
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR10-2002-0042730A
Other languages
English (en)
Other versions
KR20020070199A (ko
Inventor
김문철
임정연
Original Assignee
학교법인 한국정보통신학원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 학교법인 한국정보통신학원 filed Critical 학교법인 한국정보통신학원
Priority to KR10-2002-0042730A priority Critical patent/KR100500196B1/ko
Publication of KR20020070199A publication Critical patent/KR20020070199A/ko
Application granted granted Critical
Publication of KR100500196B1 publication Critical patent/KR100500196B1/ko
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/68—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving the insertion of resynchronisation markers into the bitstream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

본 발명은 메타데이터를 부호화 함에 있어서 에러에 강건한 부호화 방식을 이용하여, 메타데이터의 전송 및 저장 시에 발생하는 에러로 인한 메타데이터 정보의 손실을 최소화하는 방법 및 장치에 관한 것이다. 본 발명은 메타데이터를 읽어 들이는 메타데이터 입력부, 메타데이터의 유효성을 검증하는 메타데이터 유효성 검증부, 검증된 메타데이터를 전송 및 저장하기 위해 메타데이터를 더 작은 단위로 분할하는 메타데이터 분할부, 상기 분할된 세부 메타데이터를 오류에 강건한 방식으로 부호화하는 메타데이터 오류내성 부호화부, 부호화된 메타데이터를 전송 또는 저장하는 전송/저장부, 메타데이터를 수신하는 메타데이터 수신부, 메타데이터를 복호화하는 메타데이터 오류 내성 복호화부, 그리고 메타데이터를 응용하는 메타데이터 응용부를 포함하는 메타데이터 오류내성 부호화/복호화 방법 및 장치를 제공한다.

Description

멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치 및 방법{APPARATUS AND METHOD FOR ENCODING/DECODING MULTIMEDIA META-DATA IN ERROR-RESILIENT MANNER}
본 발명은 메타데이터를 부호화/복호화할 때, 에러에 강건한 부호화 방식을 이용하여 메타데이터의 전송 및 저장시 발생하는 에러로 인한 메타데이터 정보의 손실을 최소화하는 방법 및 장치에 관한 것이다.
최근들어, 영상 압축기술과 전송기술의 발달로 수많은 양의 이미지, 오디오, 비디오 정보가 통신망을 통해 각 단말기로 공급되고 있고, 특히 인터넷 상에서 이러한 형태의 정보 제공이 급속히 증가하고 있다. 이러한 인터넷 환경에서, 사용자가 동영상 등의 멀티미디어 정보를 효율적으로 검색하려면 멀티미디어 정보자체를 분석하고 색인(indexing)하는 기술이 필요하다. 그러나, 기존의 검색방법을 사용하는 검색엔진은 단순히 문자 정보만 분석, 색인하기 때문에, 기존의 문자기반의 정보 검색방법으로는 다양한 형태의 멀티미디어 정보를 쉽고, 빠르게 액세스하기가 어렵다. 이러한 문제를 극복하기 위하여, 내용기반 검색이라는 방법이 제안되었고 이의 표준화의 필요성이 제기되어 개발되고 있다. MPEG-7은 멀티미디어 콘텐츠의 검색을 위한 내용기반 검색에 필요한 요소기술들을 제공하는 것을 목적으로 개발되고 있는 표준이다.
특히, 멀티미디어 콘텐츠 검색을 위해서는 메타데이터의 사용이 필요한데, 메타데이터는 데이터에 대한 정보를 제공하는 데이터를 말한다. 일반적인 메타데이터는 DBMS의 한 구성요소인 데이터 사전(Data-Dictionary)에 저장되는데, 데이터 사전은 데이터의 특성과 데이터간의 관계뿐만이 아니라 데이터 정의를 포함한다. 여기에는 또한 DBMS 외부에 존재하는 데이터가 포함될 수도 있다. 멀티미디어 메타데이터에는 데이터의 표현 방식과 상태, 그리고 데이터의 위치에 관한 정보가 포함될 수 있는데, 예를 들어, 웹 상에서의 데이터 위치에 대한 메타데이터는 그 데이터가 위치한 URL 주소를 포함할 수 있다.
한편, 오디오, 이미지, 그리고 비디오와 같은 미디어 개체는 이진화된 데이터로 표현되며 그 패턴이 비정형적이다. 따라서 데이터의 내용을 정의하거나 설명하는 것은 매우 어려운 작업이다. 멀티미디어 데이터베이스는 미디어 개체의 내용을 근거로 그에 대한 설명을 유출하고 그 설명을 저장해야 한다. 이러한 데이터에 대한 설명들이 메타데이터가 되는 것이다. 다시 말해서, 한 개체를 설명하는 속성들을 말한다. 이러한 메타데이터는 미디어 정보로부터 자동으로 또는 반자동으로 (때로는 인위적으로) 만들어질 수 있다.
MPEG-7 표준에서 사용되는 메타데이터는 트리(tree) 구조로 표현될 수 있으며, 그 트리는 여러 개의 서브 트리(sub-tree)로 구성된다. 상기와 같은 구조의 메타데이터를 부호화할 때는, 트리를 구성하는 각각의 서브 트리를 하나의 접근 단위(access unit)로 부호화한다. 예를 들어, 시간에 따라 그 내용이 변하는 멀티미디어 컨텐츠를 저장하고 있는 서버 시스템이 다수의 클라이언트 시트템의 사용자에게 그 컨텐츠를 제공하고자 한다면, 서버 시스템은 시간에 따라 전송할 컨텐츠 내용의 부분 기술 (partial description)을 접근 단위로 패킷화하고, 그 컨텐츠가 제공될 시간에 동기화하여 패킷화된 접근 단위를 각 클라이언트 시스템에 전달할 수 있다. 이 때, 해당 접근 단위, 즉, 서브 트리의 위치 정보(path) 및 내용 정보(payload)가 부호화되며, 부호화된 데이터는 멀티미디어 메타데이터의 비트 스트림(bit stream)을 구성한다.
MPEG-7 표준에서는 접근단위(AU : access unit)인 서브 트리를 프래그먼트 유닛(FU : fragment unit)으로 나타낸다. 만약 에러가 자주 발생하는 채널을 통하여 FU를 전송할 때에는, FU에 대한 에러의 영향을 줄이기 위해 전체 트리를 작은 단위의 서브 트리 즉, 작은 단위의 FU로 나누어 전송하는 것을 고려할 수 있다. 이 경우에, 전송할 패킷 내에 포함된 패이로드의 길이가 짧아지게 되고, 패이로드가 짧아질수록 패킷 내에 포함된 헤더와 경로에 대한 정보가 패이로드에 비해 상대적으로 큰 비중을 차지하게 된다. 따라서, 전송되는 비트스트림 중에서 실제의 데이터가 차지하는 비율이 낮아져서, 전체적인 전송 효율이 감소하게 된다.
또한, 이렇게 이진 데이터로 표현된 메타데이터 중간에 에러가 발생할 경우, 발생된 에러의 정확한 위치를 파악하기 어렵기 때문에, 에러가 발생한 부분 이후에 존재하는 데이터를 복구하기가 어려워지는 문제점이 있다. 특히, 이러한 종래의 방법은 리턴 채널이 없는 단방향 멀티미디어 응용 서비스 채널 환경 하에서, 데이터의 부호화에 있어서 데이터 전송시 발생할 수도 있는 정보 손실에 대한 복구 방법이 고려되지 않아, 안정적으로 정보를 전달하는데 많은 문제점이 있다.
따라서 크기가 큰 메타데이터의 경우, 전송될 비트스트림 길이를 미리 조절해주거나 메타데이터 전체에 대해 에러 내성을 갖는 부호화 방법을 적용할 필요가 있다.
따라서, 본 발명은 상기의 문제점을 개선하기 위한 것으로, 메타데이터를 부호화함에 있어서 에러에 강건한 부호화 방식을 이용하여 메타데이터의 전송 및 저장 시에 에러 발생으로부터 메타데이터 정보의 손실을 최소화하는 방법 및 장치를 제공하는 데 그 목적이 있다.
상술한 목적을 달성하기 위한 본 발명의 일 관점에 따른 메타데이터 오류 강건 부호화 장치는, 메타데이터를 수신하는 메타데이터 입력부, 상기 메타데이터의 유효성을 검증하는 메타데이터 유효성 검증부, 상기 검증된 메타데이터를 더 작은 단위의 메타데이터로 분할하는 메타데이터 분할부, 상기 분할된 메타데이터를 오류에 강건한 방식으로 부호화하는 메타데이터 오류내성 부호화부, 상기 부호화된 메타데이터를 전송 또는 저장하는 메타데이터 전송/저장부를 포함한다.
본 발명의 다른 관점에 따른 메타데이터 오류 강건 복호화 장치는, 부호화된 메타데이터를 수신하는 메타데이터 수신부, 상기 부호화된 메타데이터를 오류에 강건하게 복호화하는 메타데이터 오류 내성 복호화부, 상기 복호화된 메타데이터를 응용하는 메타데이터 응용부를 포함한다.
또한, 본 발명의 또 다른 관점에 따른 메타데이터 오류 강건 부호화 방법은, (a) 메타데이터를 수신하는 단계, (b) 상기 메타데이터의 유효성을 검증하는 단계, (c) 상기 검증된 메타데이터를 더 작은 단위의 메타데이터로 분할하는 단계, (d) 상기 분할된 메타데이터를 오류에 강건한 방식으로 부호화하는 단계, (e) 상기 부호화된 메타데이터를 전송 또는 저장하는 단계를 포함한다.
또한, 본 발명의 또 다른 관점에 따른 메타데이터 오류 강건 복호화 방법은, (a) 부호화된 분할 메타데이터를 수신하는 단계, (b) 상기 부호화된 분할 메타데이터를 오류에 강건하게 복호화하는 단계, (c) 상기 복호화된 분할 메타데이터를 디스플레이하는 단계를 포함한다.
이하, 본 발명의 장치 및 방법의 실시예를 첨부된 도면을 참조하여 상세히 설명한다.
도 1은 멀티미디어 메타데이터를 표현하는 트리 구조의 예를 도시하고 있다. 도 1에 도시된 트리 구조에는 각각 특정 시각에 사용자의 단말 시스템에서 복호화될 두 개의 프레그먼트 단위(FU1, FU2)가 포함되어 있다. 여기서, 두 개의 분할된 메타데이터인 프레그먼트 단위(FU1, FU2)는 하나의 접근단위(AU: Access Unit)로써 패킷화되어 사용자의 단말 시스템에 전송된다. 이렇게 전송된 접근단위에 포함된 두 개의 프레그먼트 단위(FU1, FU2)는 단말 시스템에서 복화화되어 각각 특정 시각에 사용자의 어플리게이션에서 표시될 수 있도록 단말 시스템의 버퍼에 저장될 수 있다.
도 2는 프래그먼트 단위를 전송할 때 사용되는 일반적인 비트스트림(패킷)의 구조를 도시한다. 접근 단위에서 각각 다른 위치를 차지하는 다수의 프래그먼트 단위를 전송하는 경우에는, 다수의 프래그먼트 단위에 대응하여 도 2에 도시된 패킷이 여러 개 함께 보내지게 된다.
이와 같이, 다수의 프래그먼트 단위가 전송되는 경우, 즉, 다수의 패킷의 함께 전송되는 경우에는, 도 3에 도시된 바와 같이, 패킷들간에 재동기 마커를 삽입할 수 있다. 이러한 재동기 마커는 오류 발생의 확률이 큰 통신 채널 상에서 패킷들을 전송할 때 패킷들간의 독립성을 보장하여, 오류가 발생된 패킷 이후의 데이터의 복구를 용이하게 한다. 즉, 하나의 FU에 에러가 발생하면, 재동기 마커에 의해 분리된 그 이후의 다른 FU에 대해서는 정상적으로 복화화 처리를 수행할 수 있다.
전송되는 패킷에 포함되는 패이로드는 메타데이터의 특징에 따라 단일 패이로드와 다중 패이로드로 나뉠 수 있다. 단일 패이로드에서 패이로드의 크기가 큰 경우에는, 수행명령어를 추가(add) 연산자로 설정하고 그 뒤에 여러 개의 작은 패이로드를 연결하여 패킷을 구성할 수 있다. 또는, 단순히 긴 단일의 패이로드를 이용하여 패킷을 구성할 수도 있다. 하나의 패이로드에 전체 서브 트리의 내용이 포함되는 단일 패이로드와 달리, 다중 패이로드는 서로 같은 타입을 가지고 있고 경로의 위치코드(position code)를 제외한 다른 경로 코드가 동일한 여러 개의 패이로드를 하나의 패킷에 포함할 수 있다.
예를 들어, 도 4에 도시된 바와 같이, 도 1에 도시된 트리 구조에서의 프래그먼트 단위(FU1)는 그 크기가 매우 큰 경우에는 더 작은 크기의 프래그먼트 단위들(FU1-1, FU1-2, FU1-3)로 분할될 수 있다. 이 경우에는 세분화된 프래그먼트 단위들(FU1-1, FU1-2, FU1-3) 각각을 하나의 패이로드에 할당하여, 이들 패이로드들을 하나의 패킷 내에 포함할 수 있다. 도 4의 아래 부분에는 이러한 구성을 갖는 다중 패이로드를 포함하는 패킷의 구조를 보여주고 있다.
하지만, 도 5에 도시된 바와 같이, 패킷이 전송되는 중에 한 패킷 내에 포함된 패이로드들 중의 하나에 에러가 발생되면, 에러가 발생된 패이로드에 후속하는 패이로드에 대해서는 그 시작 위치를 알 수 없으므로 후속하는 패이로드들을 잃어버리게 된다.
이러한 에러에 의한 패이로드의 손실을 막기위해서, 도 6에 도시된 바와 같이, 한 패킷 내에 포함된 패이로드들 사이에 상대경로 정보를 삽입하는 방법을 사용할 수 있다. 상대경로 정보는 상대경로 정보에 선행하는 패이로드에 대응하는 프래그먼트 단위의 상대 경로(relative path) 정보를 나타낸다. 즉, 상대경로 정보는 그 프래그먼트 단위가 속한 트리 구조 내에서 프래그먼트 단위의 위치를 나타낸다.
도 6에 도시된 패킷 구조에서는, 에러 내성을 더욱 증진시키기 위한 새로운 필드를 패킷 내에 삽입하기가 용이해진다. 예를 들어, 도 7에 도시된 바와 같이, 패이로드 외에 경로 정보에 대한 에러가 발생했을 경우의 후속 데이터의 복구를 위해 각각의 상대 경로 필드 앞에 재동기 마커를 삽입할 수 있다. 다중 패이로드 형태로 패이로드를 포함하는 패킷의 구성에서는, 각 패이로드의 크기는 서로 다를 수 있지만, 각각의 패이로드가 서로 같은 경로 정보와 타입을 가지므로 각 패이로드를 서로 구분하기 위한 마커만을 삽입할 수도 있다.
한편, 경로 필드는 일반적으로 메타데이터를 나타내는 트리 구조 내에서의 단말 노드의 위치를 기술하며, 이 경로 정보는 절대경로 또는 상대경로 중 한가지의 형태가 될 수 있다. 상대경로는 절대경로에 기초한 경로 정보를 제공하기 때문에, 패킷 내에 포함된 절대경로 정보에 대해 에러가 발생된 경우에는, 상대경로 정보를 이용하여 그 위치가 지정된 데이터(패이로드)에 대한 복구가 불가능하게 된다. 따라서 절대경로의 이용빈도 수를 고려하여 패킷을 구성할 필요가 있다.
예를 들어, 도 7의 패킷 구성에서 헤더 필드 다음에 위치한 절대경로 필드에 대해 에러가 발생된 경우에는, 다음과 같은 방법을 이용하여 절대경로에 대한 에러를 은닉할 수 있다. 즉, 패킷의 중간에 삽입된 상대 경로 필드에 후속하는 패이로드 중에서 중요한 패이로드 혹은 미리 지정된 패이로드 내에 절대경로 정보를 반복적으로 표시함으로써 절대경로에 에러가 발생되는 경우를 대비할 수 있다. 또한, 패이로드의 중요도를 매겨 높은 중요도를 갖는 패이로드는 패킷 내에 반복적으로 삽입하여, 이 패이로드에 에러가 발생될 경우에도 이 패이로드에 대한 상대 경로 및 패이로드에 발생한 에러를 은닉할 수 있다.
도 2 내지 도 7에 도시된 패킷 구조내에 포함된 패이로드는 도 8에 도시된 것과 같이 구성될 수 있다. 도 8에 도시된 바와 같이, 패이로드는 길이, 키 값, 발생 빈도 수, 값 등의 필드들을 포함할 수 있다. 여기서, 길이 정보는 선택적으로 포함된다. 길이 정보 뒤에는 키 정보와 발생 빈도 수를 나타내는 필드들이 위치한다. 키 정보는 유한 상태 오토마타 상에서의 키 값을 나타내며, 발생 빈도 수는 그 다음 요소의 수를 가리킨다. 이들 필드에 후속하는 값 필드는 속성과 요소에 해당되는 실제 값을 나타낸다.
또한, 도 9에 도시된 바와 같이, 패킷의 헤더에는 마커의 수를 나타내는 필드를 할당할 수 있다. 다중 패이로드를 포함하는 패킷의 경우에는 도 10에 도시된 것과 같은 구성이 될 수 있다.
도 11은, 도 1 내지 도 10을 참조하여 설명된 패킷 구성을 이용하는, 본 발명의 일 관점에 따른 메타데이터 에러 내성 부호화 및 복호화 장치의 구성을 도시하고 있다.
메타데이터 에러 내성 부호화 장치(1100)는 메타데이터 입력부(1101), 메타데이터 유효성 검증부(1102), 메타데이터 분할부(1103), 메타데이터 오류내성 부호화부(1104), 메타데이터 전송/저장부(1105)를 포함한다. 메타데이터 에러 내성 부호화 장치(1100)은 다음과 같이 동작한다.
우선 메타데이터를 기록 매체로부터 메타데이터 입력부(1101)를 통해 읽어 들인다. 다음에, 메타데이터 유효성 검증부(1102)는 읽어들인 메타데이터에 대한 유효성을 검증한다. 메타데이터의 유효성 검증(validation)은 MPEG-7 표준에 규정된 신택스 및 압축 포맷의 알고리즘을 이용하여 실행될 수 있다.
다음으로 메타데이터 분할부(1103)는 유효성이 검증된 메타데이터를 오류에 강건하게 부호화 하기 위하여 작은 단위로 분할한다. 메타데이터 오류내성 부호화부(1104)는 분할된 메타데이터에 대해 메타데이터 오류내성 부호화를 실행한다. 이 때, 메타데이터 오류내성 부호화부(1104)는 MPEG-7 표준에 따른 메타데이터의 바리너리화에 대한 신택스 및 압축 포맷을 이용하여 데이터 압축을 수행한다. 또한, 도 1 내지 도 10을 참조하여 기술한 바와 같은 패킷 구성을 이용하여 메타데이터의 부호화를 실행한다. 즉, 패킷 내에 재동기 마커 및 경로 정보 등이 삽입된다. 마지막으로, 메타데이터 저장/전송부(1105)는 오류 내성 부호화된 메타데이터의 패킷을 저장하거나 전송한다.
한편, 도 11에 도시된 바와 같이, 본 발명의 일 관점에 따른 메타데이터 에러 내성 복호화 장치(1120)는 메타데이터 수신부(1106), 메타데이터 오류내성 메타데이터 복호화부(1107), 메타데이터 응용부(1108)를 포함한다. 메타데이터 에러 내성 복호화 장치(1120)는 다음과 같이 동작한다.
앞서 기술한 바와 같이, 메타데이터 에러 내성 부호화 장치(1100)에 의해 전송된 메타데이터의 패킷을 메타데이터 수신부(1106)을 통해 수신한 메타데이터 에러 내성 복호화 장치(1120)는 수신된 메타데이터에 대해 오류내성 복호화를 수행한다. 메타데이터의 복호화는 메타데이터 오류내성 복호화기(1107)에 의해 수행된다. 이때, 오류내성 복호화기(1107)는 MPEG-7 표준에 정의된 압축된 데이터의 신장 알고리즘을 수행하는 외에, 도 1 내지 도 10을 참조하여 설명된 패킷 구성을 이용하여 오류 발생에 대한 데이터 복구를 실행한다. 즉, 전송된 패킷 상의 오류 발생을 검출 한 경우, 패킷 내에 포함된 재동기 마커 및 경로 정보 등을 이용하여 발생된 오류에 의한 데이터 손실을 최소화한다. 마지막으로, 메타데이터 응용부(1108)는 복호화된 메타데이터를 실행 프로그램을 통해서 사용자에게 디스플레이한다.
도 12는 본 발명의 다른 관점에 따른 멀티미디어 메타데이터의 오류 내성 부호화 방법의 처리과정을 나타낸 흐름도이다.
우선 메타데이터를 기록 매체로부터 읽어 들인다(단계 1210). 다음에, 읽어들인 메타데이터에 대한 유효성을 검증한다(단계 1220). 메타데이터의 유효성 검증(validation)은 MPEG-7 표준에 규정된 신택스 및 압축 포맷의 알고리즘을 이용하여 실행될 수 있다.
다음으로 유효성이 검증된 메타데이터를 오류에 강건하게 부호화하기 위하여 작은 단위로 분할한다(단계 1230). 그리고, 분할된 메타데이터에 대해 메타데이터 오류내성 부호화를 실행한다(단계 1240). 이 때, MPEG-7 표준에 따른 메타데이터의 바리너리화에 대한 신택스 및 압축 포맷을 이용하여 데이터 압축이 수행된다. 또한, 도 1 내지 도 10을 참조하여 기술한 바와 같은 패킷 구성을 이용하여 메타데이터의 부호화가 실행된다. 즉, 패킷 내에 재동기 마커 및 경로 정보 등이 삽입된다. 마지막으로, 오류 내성 부호화된 메타데이터의 패킷이 저장되거나 전송된다(단계 1250).
도 13은 본 발명의 또 다른 관점에 따른 멀티미디어 메타데이터의 오류 내성 복호화 방법의 처리과정을 나타낸 흐름도이다.
먼저, 앞서 기술한 바와 같이 에러 내성 부호화되어 전송된 메타데이터의 패킷을 수신한다(단계 1310). 다음으로 수신된 메타데이터에 대해 오류내성 복호화를 수행한다(단계 1320). 이때, MPEG-7 표준에 정의된 압축된 데이터의 신장 알고리즘이 수행되는 외에, 도 1 내지 도 10을 참조하여 설명된 패킷 구성을 이용하여 오류 발생에 대한 데이터 복구가 실행된다. 즉, 전송된 패킷 상의 오류 발생을 검출 한 경우, 패킷 내에 포함된 재동기 마커 및 경로 정보 등을 이용하여 발생된 오류에 의한 데이터 손실을 최소화한다. 마지막으로, 복호화된 메타데이터를 실행 프로그램을 통해서 사용자에게 디스플레이한다(단계 1330).
이상에서 설명한 본 발명은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함으로 전술한 실시 예 및 첨부된 도면에 한정되는 것이 아니다.
상기와 바와 같은 본 발명에 따른 장치 및 방법은, 데이터 전송 시 오류 발생이 높은 이동 채널과 같은 환경에서, 메타데이터를 실시간 전송 할 경우 부분적으로 발생하는 비트스트림 내의 오류로 인해 메타데이터 전체의 정보가 손실되는 경우, 발생 오류로 인한 정보 손실을 최소화하고 발생 오류의 은닉을 통해 안정적으로 메타데이터를 전송 또는 저장할 수 있도록 해주는 효과가 있다.
도 1은 계층적인 트리구조를 갖는 메타데이터를 도시하고 있다.
도 2는 MPEG-7 표준에 따른 비트스트림 패킷의 구조를 도시하고 있다.
도 3은 재동기 마커가 삽입된 다중 패킷의 구조를 도시하고 있다.
도 4는 도 1에 도시된 프래그먼트 단위를 더욱 세분화한 트리 구조와 이에 따른 패킷의 구조를 도시하고 있다.
도 5는 도 4에 도시된 패킷의 구조에 있어서 패이로드 중의 하나에 에러가 발생된 경우를 도시하고 있다.
도 6은 도 4에 도시된 패킷의 구조에서 패이로드 사이에 상대경로 정보가 삽입된 패킷의 구조를 도시하고 있다.
도 7은 도 6에 도시된 비트스트림 패킷의 구조의 패이로드 사이에 재동기 마커가 삽입된 패킷의 구조를 도시하고 있다.
도 8은 이진화된 패이로드의 상세 구조를 도시하고 있다.
도 9는 도 7에 도시된 비트스트림 패킷의 구조에서 헤더 필드 다음에 마커의 수를 나타내는 필드가 삽입된 패킷의 구조를 도시하고 있다.
도 10은 다중 패이로드를 갖는 패킷의 구조에서 마커의 수를 나타내는 필드가 삽입된 패킷의 구조를 도시하고 있다.
도 11은 본 발명의 일 관점에 따른 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치를 도시한 블록도이다.
도 12는 본 발명의 다른 관점에 따른 멀티미디어 메타데이터의 오류 내성 부호화 방법을 도시한 흐름도이다.
도 13은 본 발명의 또 다른 관점에 따른 멀티미디어 메타데이터의 오류 내성 복호화 방법을 도시한 흐름도이다.
도면의 주요부분에 대한 부호의 설명
1101: 메타데이터 입력부
1102: 메타데이터 검증부
1103: 메타데이터 분할부
1104: 메타데이터 오류내성 부호화부
1105: 메타데이터 전송/저장부
1106: 메타데이터 수신부
1107: 메타데이터 오류내성 복호화부
1108: 메타데이터 응용부

Claims (28)

  1. 메타데이터를 수신하는 메타데이터 입력부,
    상기 메타데이터의 유효성을 검증하는 메타데이터 유효성 검증부,
    상기 검증된 메타데이터를 상기 메타데이터의 구조에 기초하여 더 작은 단위의 메타데이터로 분할하는 메타데이터 분할부,
    상기 분할된 메타데이터에 오류 복구를 위한 정보를 삽입하여 부호화하는 메타데이터 오류내성 부호화부,
    상기 부호화된 메타데이터를 전송 또는 저장하는 메타데이터 전송/저장부를 포함하는
    메타데이터의 오류 내성 부호화 장치.
  2. 제 1 항에 있어서,
    상기 메타데이터 오류내성 부호화부는,
    상기 분할된 메타데이터의 부호화된 비트스트림의 시작부에 재동기 마커 및/또는 분할된 메타데이터의 경로 정보를 삽입하여, 상기 비트스트림 상에 오류가 발생되었을 경우, 시작부에 재동기 마커 및/또는 경로 정보를 갖는 다음의 분할된 메타데이터의 부호화된 비트스트림을 복호화할 수 있도록 하는 재동기 정보 삽입부를 포함하는
    메타데이터의 오류내성 부호화 장치.
  3. 제 2 항에 있어서,
    상기 재동기 정보 삽입부는,
    상기 재동기 마커 및/또는 경로 정보를 중복하여 삽입하여, 상기 재동기 마커 및/또는 경로 정보 중의 일부에 오류가 발생되었을 경우, 나머지 재동기 마커 및/또는 경로 정보를 이용하여 상기 분할된 메타데이터의 부호화된 비트스트림을 복호화할 수 있도록 하는
    메타데이터의 오류내성 부호화 장치.
  4. 제 3 항에 있어서,
    상기 재동기 정보 삽입부는,
    상기 분할 메타데이터에 그것의 중요도에 따라 가중치를 부여하고, 가중치가 높은 분할 메타데이터에 대해서는 경로 정보와 페이로드를 반복적으로 삽입하는
    메타데이터의 오류내성 부호화 장치.
  5. 제 1 항에 있어서,
    상기 메타데이터 오류내성 부호화부는,
    상기 분할된 메타데이터를 세부적으로 더 분할하여 세부 분할된 메타데이터를 각각 부호화한 뒤, 부호화된 상기 세부 분할된 메타데이터의 비트스트림을 그룹화하고, 각 세부 분할된 메타데이터의 비트스트림의 시작부에 재동기 마커 및/또는 경로 정보를 삽입하여, 이들 중 하나의 세부 분할된 메타데이터의 비트스트림에 오류가 발생하였을 경우, 오류가 발생하지 않은 그 시작부에 재동기 마커 및/또는 경로 정보를 갖는 다음 세부 분할된 메타데이터의 비트스트림을 복호화할 수 있도록 하는 재동기 정보 삽입부를 포함하는
    메타데이터의 오류내성 부호화 장치.
  6. 제 5 항에 있어서,
    상기 재동기 정보 삽입부는,
    상기 재동기 마커 및/또는 경로 정보를 중복하여 삽입하여, 상기 재동기 마커 및/또는 경로 정보 중의 일부에 오류가 발생되었을 경우, 나머지 재동기 마커 및/또는 경로 정보를 이용하여 상기 세부 분할된 메타데이터의 부호화된 비트스트림을 복호화할 수 있도록 하는
    메타데이터의 오류내성 부호화 장치.
  7. 제 6 항에 있어서,
    상기 재동기 정보 삽입부는,
    상기 세부 분할된 메타데이터에 그것의 중요도에 따라 가중치를 부여하고, 가중치가 높은 세부 분할된 메타데이터에 대해서는 경로 정보와 페이로드를 반복적으로 삽입하는
    메타데이터의 오류내성 부호화 장치.
  8. 제 1 항 내지 제 7 항 중의 어느 하나의 장치에 의해 부호화된 분할 메타데이터를 수신하는 메타데이터 수신부와,
    상기 부호화된 분할 메타데이터를 상기 분할 메타데이터에 삽입된 오류 복구를 위한 정보를 이용하여 복호화하는 메타데이터 오류 내성 복호화부,
    상기 복호화된 분할 메타데이터를 디스플레이하는 메타데이터 응용부를 포함하는
    메타데이터의 오류 내성 복호화 장치.
  9. 제 8 항에 있어서,
    상기 메타데이터 오류내성 복호화부는,
    상기 부호화된 분할 메타데이터의 비트스트림에 오류 발생이 검출되었을 경우, 그 시작부에 재동기 마커 및/또는 경로 정보를 갖는 다음 분할 메타데이터를 찾아서 상기 다음 분할 메타데이터의 비트스트림을 복호화하는
    메타데이터 오류내성 복호화 장치.
  10. 제 8 항에 있어서,
    상기 메타데이터 오류내성 복호화부는,
    상기 부호화된 분할 메타데이터의 비트스트림에 오류 발생이 검출되었을 경우, 상기 오류가 발생된 분할 메타데이터의 비트스트림에 포함된 정보를 오류가 발생되지 않은 주변 분할 메타데이터의 비트스트림에 포함된 정보 또는 미리 알려진 분할 메타데이터의 구조 정보로부터 복원하는 메타데이터 오류 은닉부를 포함하는
    메타데이터 오류내성 복호화 장치.
  11. 제 10 항에 있어서,
    상기 메타데이터 오류 은닉부는
    상기 분할 메타데이터의 비트스트림에 포함된 헤더 다음에 위치하는 절대 경로 정보에 오류가 검출되었을 경우, 상기 비트스트림에 중복되어 포함된 상대 경로 정보 또는 절대 경로 정보를 이용하여 상기 비트스트림을 복원하는
    메타데이터 오류내성 복호화 장치.
  12. (a) 메타데이터를 수신하는 단계,
    (b) 상기 메타데이터의 유효성을 검증하는 단계,
    (c) 상기 검증된 메타데이터를 상기 메타데이터의 구조에 기초하여 더 작은 단위의 메타데이터로 분할하는 단계,
    (d) 상기 분할된 메타데이터에 오류 복구를 위한 정보를 삽입하여 부호화하는 단계,
    (e) 상기 부호화된 메타데이터를 전송 또는 저장하는 단계를 포함하는
    메타데이터의 오류 내성 부호화 방법.
  13. 제 12 항에 있어서,
    상기 (d) 단계에서,
    상기 분할된 메타데이터의 부호화된 비트스트림의 시작부에 재동기 마커 및/또는 분할된 메타데이터의 경로 정보를 삽입하여, 상기 비트스트림 상에 오류가 발생되었을 경우, 시작부에 재동기 마커 및/또는 경로 정보를 갖는 다음의 분할된 메타데이터의 부호화된 비트스트림을 복호화하도록 하는
    메타데이터의 오류내성 부호화 방법.
  14. 제 13 항에 있어서,
    상기 (d) 단계에서,
    상기 재동기 마커 및/또는 경로 정보를 중복하여 삽입하여, 상기 재동기 마커 및/또는 경로 정보 중의 일부에 오류가 발생되었을 경우, 나머지 재동기 마커 및/또는 경로 정보를 이용하여 상기 분할된 메타데이터의 부호화된 비트스트림을 복호화할 수 있도록 하는
    메타데이터의 오류내성 부호화 방법.
  15. 제 14 항에 있어서,
    상기 (d) 단계에서,
    상기 분할 메타데이터에 그것의 중요도에 따라 가중치를 부여하고, 가중치가 높은 분할 메타데이터에 대해서는 경로 정보와 페이로드를 반복적으로 삽입하는
    메타데이터의 오류내성 부호화 방법.
  16. 제 12 항에 있어서,
    상기 (d) 단계에서,
    상기 분할된 메타데이터를 세부적으로 더 분할하여 세부 분할된 메타데이터를 각각 부호화한 뒤, 부호화된 상기 세부 분할된 메타데이터의 비트스트림을 그룹화하고, 각 세부 분할된 메타데이터의 비트스트림의 시작부에 재동기 마커 및/또는 경로 정보를 삽입하여, 이들 중 하나의 세부 분할된 메타데이터의 비트스트림에 오류가 발생하였을 경우, 오류가 발생하지 않은 그 시작부에 재동기 마커 및/또는 경로 정보를 갖는 다음 세부 분할된 메타데이터의 비트스트림을 복호화할 수 있도록 하는
    메타데이터의 오류내성 부호화 방법.
  17. 제 16 항에 있어서,
    상기 (d) 단계에서,
    상기 재동기 마커 및/또는 경로 정보를 중복하여 삽입하여, 상기 재동기 마커 및/또는 경로 정보 중의 일부에 오류가 발생되었을 경우, 나머지 재동기 마커 및/또는 경로 정보를 이용하여 상기 세부 분할된 메타데이터의 부호화된 비트스트림을 복호화할 수 있도록 하는
    메타데이터의 오류내성 부호화 방법.
  18. 제 17 항에 있어서,
    상기 (d) 단계에서,
    상기 세부 분할된 메타데이터에 그것의 중요도에 따라 가중치를 부여하고, 가중치가 높은 세부 분할된 메타데이터에 대해서는 경로 정보와 페이로드를 반복적으로 삽입하는
    메타데이터의 오류내성 부호화 방법.
  19. (a) 제 12 항 내지 제 18 항 중의 어느 하나의 방법에 의해 부호화된 분할 메타데이터를 수신하는 단계,
    (b) 상기 부호화된 분할 메타데이터를 상기 분할 메타데이터에 삽입된 오류 복구를 위한 정보를 이용하여 복호화하는 단계,
    (c) 상기 복호화된 분할 메타데이터를 디스플레이하는 단계를 포함하는
    메타데이터의 오류 내성 복호화 방법.
  20. 제 19 항에 있어서,
    상기 (b) 단계에서,
    상기 부호화된 분할 메타데이터의 비트스트림에 오류 발생이 검출되었을 경우, 그 시작부에 재동기 마커 및/또는 경로 정보를 갖는 다음 분할 메타데이터를 찾아서 상기 다음 분할 메타데이터의 비트스트림을 복호화하는
    메타데이터 오류내성 복호화 방법.
  21. 제 19 항에 있어서,
    상기 (b) 단계에서,
    상기 부호화된 분할 메타데이터의 비트스트림에 오류 발생이 검출되었을 경우, 상기 오류가 발생된 분할 메타데이터의 비트스트림에 포함된 정보를 오류가 발생되지 않은 주변 분할 메타데이터의 비트스트림에 포함된 정보 또는 미리 알려진 분할 메타데이터의 구조 정보로부터 복원하는
    메타데이터 오류내성 복호화 방법.
  22. 제 21 항에 있어서,
    상기 (b) 단계에서,
    상기 분할 메타데이터의 비트스트림에 포함된 헤더 다음에 위치하는 절대 경로 정보에 오류가 검출되었을 경우, 상기 비트스트림에 중복되어 포함된 상대 경로 정보 또는 절대 경로 정보를 이용하여 상기 비트스트림을 복원하는
    메타데이터 오류내성 복호화 방법.
  23. 제 1 항 내지 제 7 항 중의 어느 하나에 있어서,
    상기 메타데이터의 구조는 트리 구조인
    메타데이터의 오류 내성 부호화 장치.
  24. 제 1 항 내지 제 7 항 중의 어느 하나에 있어서,
    상기 메타데이터 유효성 검증부는 MPEG-7 표준에 규정된 신택스 및 압축 포맷의 알고리즘을 이용하여 상기 메타데이터의 유효성을 검증하는
    메타데이터의 오류 내성 부호화 장치.
  25. 제 1 항 내지 제 7 항 중의 어느 하나에 있어서,
    상기 메타데이터 오류내성 부호화부는 MPEG-7 표준에 규정된 신택스 및 압축 포맷을 이용하여 상기 분할된 메타데이터를 부호화하는
    메타데이터의 오류 내성 부호화 장치.
  26. 제 12 항 내지 제 18 항 중의 어느 하나에 있어서,
    상기 메타데이터의 구조는 트리 구조인
    메타데이터의 오류 내성 부호화 방법.
  27. 제 12 항 내지 제 18 항 중의 어느 하나에 있어서,
    MPEG-7 표준에 규정된 신택스 및 압축 포맷의 알고리즘을 이용하여 상기 메타데이터의 유효성을 검증하는
    메타데이터의 오류 내성 부호화 방법.
  28. 제 12 항 내지 제 18 항 중의 어느 하나에 있어서,
    MPEG-7 표준에 규정된 신택스 및 압축 포맷을 이용하여 상기 분할된 메타데이터를 부호화하는
    메타데이터의 오류 내성 부호화 방법.
KR10-2002-0042730A 2002-07-20 2002-07-20 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법 Expired - Fee Related KR100500196B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0042730A KR100500196B1 (ko) 2002-07-20 2002-07-20 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0042730A KR100500196B1 (ko) 2002-07-20 2002-07-20 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법

Publications (2)

Publication Number Publication Date
KR20020070199A KR20020070199A (ko) 2002-09-05
KR100500196B1 true KR100500196B1 (ko) 2005-07-12

Family

ID=27727387

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0042730A Expired - Fee Related KR100500196B1 (ko) 2002-07-20 2002-07-20 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법

Country Status (1)

Country Link
KR (1) KR100500196B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8301884B2 (en) 2002-09-16 2012-10-30 Samsung Electronics Co., Ltd. Method of managing metadata
KR100860984B1 (ko) * 2002-10-15 2008-09-30 삼성전자주식회사 메타데이터 관리 방법
US8780957B2 (en) 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
JP5318561B2 (ja) 2005-03-10 2013-10-16 クゥアルコム・インコーポレイテッド マルチメディア処理のためのコンテンツ分類
KR100711548B1 (ko) * 2005-08-30 2007-04-27 장정만 고 순도 규사를 이용한 음용수용방청제 조성물과 제조방법
US8879856B2 (en) 2005-09-27 2014-11-04 Qualcomm Incorporated Content driven transcoder that orchestrates multimedia transcoding using content information
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US9131164B2 (en) 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980071136A (ko) * 1997-02-07 1998-10-26 윌리엄비.켐플러 에러 회복 인코딩
JPH11313210A (ja) * 1998-04-27 1999-11-09 Matsushita Graphic Communication Systems Inc 通信装置及び通信方法
KR20000031031A (ko) * 1998-11-02 2000-06-05 윤종용 영상신호의 전송/복원 방법 및 장치
WO2002003689A1 (en) * 2000-06-30 2002-01-10 Sony Electronics, Inc. Method of and apparatus for recording time sensitive data within a storage device and resynchronizing the data when transmitting recorded data from the storage device in order to regain time synchrony after a lapse in synchrony or error condition
KR20030056276A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 영상 부호화 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19980071136A (ko) * 1997-02-07 1998-10-26 윌리엄비.켐플러 에러 회복 인코딩
JPH11313210A (ja) * 1998-04-27 1999-11-09 Matsushita Graphic Communication Systems Inc 通信装置及び通信方法
KR20000031031A (ko) * 1998-11-02 2000-06-05 윤종용 영상신호의 전송/복원 방법 및 장치
WO2002003689A1 (en) * 2000-06-30 2002-01-10 Sony Electronics, Inc. Method of and apparatus for recording time sensitive data within a storage device and resynchronizing the data when transmitting recorded data from the storage device in order to regain time synchrony after a lapse in synchrony or error condition
KR20030056276A (ko) * 2001-12-28 2003-07-04 한국전자통신연구원 영상 부호화 장치 및 그 방법

Also Published As

Publication number Publication date
KR20020070199A (ko) 2002-09-05

Similar Documents

Publication Publication Date Title
CN100499824C (zh) 防止非字节对齐和/或位移位位置起始码仿效的方法和系统
US7772998B2 (en) Method and apparatus for encoding/decoding metadata
KR100566019B1 (ko) Ｘｍｌ 부호화 기법
JP4392442B2 (ja) ＦｌｅｘＭｕｘストリームをストリーム形成、受信及び処理する装置及び方法
US7505485B2 (en) Methods and systems for start code emulation prevention and data stuffing
JP4145144B2 (ja) 構造化文書をいくつかの部分に分割する方法
CN101743512A (zh) 具有标识多媒体内容的签名指针的搜索树的渐进式构造
CN102156734B (zh) 一种基于语义隐藏标引的视频内容管理方法
US20070234192A1 (en) Encoding and distribution of schema for multimedia content descriptions
US9998768B1 (en) Apparatus and methods for generating clips using recipes with slice definitions
KR100500196B1 (ko) 멀티미디어 메타데이터의 오류 내성 부호화/복호화 장치및 방법
CN106407038A (zh) 一种碎片文件的数据恢复方法
CN101540901B (zh) 编解码方法及装置
US20170337204A1 (en) Differencing engine for moving pictures
US7571152B2 (en) Method for compressing and decompressing structured documents
Alghafli et al. Identification and recovery of video fragments for forensics file carving
US7797346B2 (en) Method for improving the functionality of the binary representation of MPEG-7 and other XML based content descriptions
CN101278285A (zh) 用于对结构化文档进行编码的方法
US20170048303A1 (en) On the fly statistical delta differencing engine
CN100401295C (zh) 一种网络词典检索结果的反馈显示方法及系统
US20170048302A1 (en) Static statistical delta differencing engine
KR20040075956A (ko) 시작 코드 에뮬레이션 방지 및 데이터 스터핑 방법 및시스템

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R14-asn-PN2301

FPAY Annual fee payment

Payment date: 20100601

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20110701

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20110701

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000