KR100697972B1 - Digital broadcast transmitter and method for stereoscopic broadcast service - Google Patents
Digital broadcast transmitter and method for stereoscopic broadcast service Download PDFInfo
- Publication number
- KR100697972B1 KR100697972B1 KR1020040093710A KR20040093710A KR100697972B1 KR 100697972 B1 KR100697972 B1 KR 100697972B1 KR 1020040093710 A KR1020040093710 A KR 1020040093710A KR 20040093710 A KR20040093710 A KR 20040093710A KR 100697972 B1 KR100697972 B1 KR 100697972B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- encoding
- audio signal
- descriptor
- psi
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/178—Metadata, e.g. disparity information
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/194—Transmission of image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Library & Information Science (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
1. 청구범위에 기재된 발명이 속한 기술분야1. TECHNICAL FIELD OF THE INVENTION
본 발명은 입체 방송 서비스를 위한 디지털 방송 송신 장치 및 그 방법에 관한 것임.The present invention relates to an apparatus and method for digital broadcast transmission for stereoscopic broadcasting service.
2. 발명이 해결하려고 하는 기술적 과제2. The technical problem to be solved by the invention
본 발명은 3D 방송 서비스의 구성 정보에 대한 기술자(descriptor)를 2D 방송 시스템과 호환되도록 정의함으로써, 기존의 2D 디지털 방송 시스템과 호환되며 3D 방송 서비스가 가능한, 입체 방송 서비스를 위한 디지털 방송 송신 장치 및 그 방법을 제공하는데 그 목적이 있음.The present invention defines a descriptor for configuration information of a 3D broadcast service to be compatible with a 2D broadcast system, thereby compatible with an existing 2D digital broadcast system and capable of 3D broadcast service. The purpose is to provide the method.
3. 발명의 해결방법의 요지3. Summary of Solution to Invention
본 발명은, 외부로부터 2D(Dimenssion) 영상과 3D 영상을 획득하기 위한 영상 획득 수단; 외부로부터 오디오 신호를 획득하기 위한 오디오 신호 획득 수단; 상기 영상 획득 수단을 통해 획득된 2D 영상을 엠펙-2 부호화 알고리즘을 이용하여 부호화하기 위한 2D 영상 부호화 수단; 상기 영상 획득 수단을 통해 획득된 3D 영상 정보-상기 3D 영상 정보는 서로 다른 시점의 영상, 변이 지도(Disparity Map) 및 깊이 지도(Depth Matp) 정보를 포함함-부호화하기 위한 3D 영상 부호화 수단; 상기 오디오 신호 획득 수단을 통해 획득된 오디오 신호를 기존 2D 디지털 방송 시스템의 오디오 부호화 알고리즘을 이용하여 부호화하기 위한 오디오 신호 부호화 수단; 3D 방송 서비스 구성 정보를 포함하는 기술자를 정의하여 PSI를 생성하기 위한 PSI 생성 수단; 3D 방송 서비스 구성 정보를 포함하는 기술자를 정의하여 PSIP/SI를 생성하기 위한 PSIP/SI 생성 수단; 및 상기 부호화된 2D 영상, 3D 영상 정보 및 오디오 신호와, 상기 생성된 PSI 및 PSIP/SI를 다중화하기 위한 다중화 수단을 포함함.The present invention, image acquisition means for obtaining a 2D (Dimenssion) image and a 3D image from the outside; Audio signal obtaining means for obtaining an audio signal from the outside; 2D image encoding means for encoding the 2D image obtained by the image obtaining means using an MPEG-2 encoding algorithm; 3D image encoding means for encoding the 3D image information obtained by the image obtaining means, wherein the 3D image information includes an image, a disparity map, and depth map information of different views; Audio signal encoding means for encoding the audio signal obtained by the audio signal obtaining means by using an audio encoding algorithm of the existing 2D digital broadcasting system; PSI generation means for generating a PSI by defining a descriptor including 3D broadcast service configuration information; PSIP / SI generating means for generating a PSIP / SI by defining a descriptor including 3D broadcast service configuration information; And multiplexing means for multiplexing the encoded 2D image, 3D image information and audio signal, and the generated PSI and PSIP / SI.
4. 발명의 중요한 용도4. Important uses of the invention
본 발명은 2D/3D 방송 시스템에 이용됨.The present invention is used in a 2D / 3D broadcast system.
3D 방송, PSI, PSIP, 기술자(descriptor), PMT, VCT3D broadcast, PSI, PSIP, descriptor, PMT, VCT
Description
도 1은 종래의 디지털 방송에서의 입체 영상 송신 장치의 구성도,1 is a block diagram of a stereoscopic image transmission device in a conventional digital broadcasting;
도 2는 본 발명에 따른 입체 방송 서비스를 위한 디지털 방송 송신 장치의 일실시예 구성도,2 is a block diagram of an embodiment of a digital broadcast transmission apparatus for a stereoscopic broadcast service according to the present invention;
도 3은 3D 방송 서비스의 구성 정보에 대한 기술자가 정의되는 PMT 섹션을 나타내는 일실시예 도면,3 is a diagram illustrating a PMT section in which a descriptor for configuration information of a 3D broadcast service is defined;
도 4는 도 3의 PMT 섹션에 본 발명에 따른 3D 방송 서비스의 구성 정보에 대한 기술자를 정의한 일실시예 도면,4 is a diagram illustrating an example of defining a descriptor for configuration information of a 3D broadcast service according to the present invention in the PMT section of FIG. 3;
도 5는 본 발명에 따른 3D 영상 정보에 대한 값이 정의되는 서비스 위치 기술자를 나타내는 일실시예 도면,5 is a diagram illustrating a service location descriptor in which a value for 3D image information is defined according to an embodiment of the present invention;
도 6은 도 5의 stream_type 구성을 나타내는 일실시예 도면,6 is a diagram illustrating an embodiment of a stream_type configuration of FIG. 5;
도 7은 본 발명에 따른 입체 방송 서비스를 위한 디지털 방송 송신 방법을 설명하는 일실시예 흐름도이다.7 is a flowchart illustrating a digital broadcast transmission method for a stereoscopic broadcast service according to the present invention.
* 도면의 주요 부분에 대한 부호의 설명* Explanation of symbols for the main parts of the drawings
210 : 3D 영상 획득부 220 : 2D 영상 부호화부210: 3D image acquisition unit 220: 2D image encoder
230 : 3D 영상 정보 부호화부 240 : 오디오 획득부230: 3D image information encoding unit 240: audio acquisition unit
250 : 오디오 부호화부 260 : PSI 생성부250: audio encoder 260: PSI generator
270 : PSIP/SI 생성부 280 : 다중화부270: PSIP / SI generator 280: multiplexer
290 : 변조부290: modulator
본 발명은 입체 방송 서비스를 위한 디지털 방송 송신 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 기존의 2D 디지털 방송 시스템과 호환성을 가지면서 3D 방송 서비스가 정의되어 적용될 수 있는 디지털 방송 송신 장치 및 그 방법에 관한 것이다.The present invention relates to a digital broadcast transmitting apparatus and method for a stereoscopic broadcasting service, and more particularly, to a digital broadcasting transmitting apparatus and method which can be defined and applied to a 3D broadcasting service while being compatible with an existing 2D digital broadcasting system. It is about.
3D 방송 서비스에 대해서는 기존에 개념적으로 또는 구현적으로 많은 논의가 있었음에도 불구하고 상용화가 되지 못하고 있는 실정이다. 이는 3D 방송 서비스가 실제로 필드에서 운용되고 있는 방송 시스템으로 적용이 되지 않기 때문이다.Although there have been many discussions about the 3D broadcasting service in a conceptual or implementation manner, it is not commercialized. This is because the 3D broadcast service is not actually applied to a broadcast system operating in the field.
도 1은 종래의 디지털 방송에서의 입체 영상 송신 장치의 구성도이다.1 is a block diagram of a stereoscopic image transmission device in a conventional digital broadcasting.
도 1에 도시된 바와 같이, 종래의 디지털 방송에서의 입체 영상 송신 장치는 좌영상 신호를 발생하는 좌영상 신호 발생부(110), 상기 좌영상 신호 발생부(110)에서 발생된 신호를 엠펙-2로 압축하는 좌영상 신호 압축부(120), 우영상 신호를 발생하는 우영상 신호 발생부(130), 상기 우영상 신호 발생부(130)에서 발생된 신호를 엠펙-2로 압축하는 우영상 신호 압축부(140), 입력된 음성신호를 전송하기 위해 압축하는 오디오 신호 압축부(150), 상기 압축부(120, 130, 150)에서 압축된 좌우 영상 및 입력된 PSI를 다중화하는 다중화부(160) 및 다중화된 신호를 변조하여 전송하는 변조부(170)를 포함한다.As shown in FIG. 1, the stereoscopic image transmission apparatus in the conventional digital broadcasting includes the left-
그러나, 도 1에 도시된 바와 같은 종래의 입체 영상 송신 장치는 다음과 같은 문제점이 있다.However, the conventional stereoscopic image transmission apparatus as shown in FIG. 1 has the following problems.
첫째로, 좌우영상을 같이 보내는 것을 제외하고는 매우 추상적으로 구현하고 있다. 즉, 방송 수신 시스템이 좌영상과 우영상을 구별할 수 있도록 하는 방안이 제시되어 있지 않으며, 기존의 2D 디지털 방송 시스템과 호환성을 유지하기 위한 PSI 내부에서의 새로운 정의가 제시되어 있지 않다.Firstly, it is very abstract except for sending left and right images together. That is, a scheme for distinguishing a left image from a right image is not presented, and a new definition in the PSI for maintaining compatibility with an existing 2D digital broadcasting system is not presented.
다음으로, 현재 서비스되고 있는 2D 디지털 방송은 모두 엠펙-2 시스템 기반이나, 규격은 ATSC(Advanced Television Systems Committee), DVB-S, OpenCable 등으로 서로 다르다. 즉, PSIP, SI 등 방송 프로그램의 구성 정보나 프로그램 가이드 정보를 표현하는 방송 프로토콜이 각기 다르게 사용되고 있다. 따라서, 도 1의 3D 디지털 방송 송신 장치가 기존의 2D 디지털 방송 시스템과 호환성을 갖기 위해서는 기존 2D 디지털 방송 시스템의 서로 다른 방송 프로토콜을 모두 만족시켜야 하는데, 도 1의 입체 영상 송신 장치는 이에 대한 방안을 제시하고 있지 않다.Next, all currently serviced 2D digital broadcasts are based on the MPEG-2 system, but the specifications are different such as ATSC (Advanced Television Systems Committee), DVB-S, OpenCable. That is, broadcast protocols for expressing configuration information and program guide information of broadcast programs such as PSIP and SI are used differently. Accordingly, in order for the 3D digital broadcast transmitter of FIG. 1 to be compatible with the existing 2D digital broadcast system, all of the different broadcast protocols of the existing 2D digital broadcast system must be satisfied. It is not presented.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 3D 방송 서비스의 구성 정보에 대한 기술자(descriptor)를 2D 방송 시스템과 호환되도록 정의함으로써, 기존의 2D 디지털 방송 시스템과 호환되며 3D 방송 서비스가 가능한, 입체 방송 서비스를 위한 디지털 방송 송신 장치 및 그 방법을 제공하는데 그 목적이 있다. The present invention has been proposed to solve the above problems, and by defining a descriptor for configuration information of the 3D broadcast service to be compatible with the 2D broadcast system, it is compatible with the existing 2D digital broadcast system and enables 3D broadcast service. An object of the present invention is to provide an apparatus and method for transmitting digital broadcast for a stereoscopic broadcast service.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.
상기 목적을 달성하기 위한 본 발명은, 기존 2D 디지털 방송 시스템과 호환성을 갖는 디지털 입체 방송 송신 장치에 있어서, 외부로부터 2D(Dimenssion) 영상과 3D 영상을 획득하기 위한 영상 획득 수단; 외부로부터 오디오 신호를 획득하기 위한 오디오 신호 획득 수단; 상기 영상 획득 수단을 통해 획득된 2D 영상을 엠펙-2 부호화 알고리즘을 이용하여 부호화하기 위한 2D 영상 부호화 수단; 상기 영상 획득 수단을 통해 획득된 3D 영상 정보-상기 3D 영상 정보는 서로 다른 시점의 영상, 변이 지도(Disparity Map) 및 깊이 지도(Depth Matp) 정보를 포함함-부호화하기 위한 3D 영상 부호화 수단; 상기 오디오 신호 획득 수단을 통해 획득된 오디오 신호를 기존 2D 디지털 방송 시스템의 오디오 부호화 알고리즘을 이용하여 부호화하기 위한 오디오 신호 부호화 수단; 3D 방송 서비스 구성 정보를 포함하는 기술자를 정의하여 PSI를 생성하기 위한 PSI 생성 수단; 3D 방송 서비스 구성 정보를 포함하는 기술자를 정의하여 PSIP/SI를 생성하기 위한 PSIP/SI 생성 수단; 및 상기 부호화된 2D 영상, 3D 영상 정보 및 오디오 신호와, 상기 생성된 PSI 및 PSIP/SI를 다중화하기 위한 다중화 수단을 포함하는 입체 방송 서비스를 위한 디지털 방송 송신 장치를 제공한다.According to an aspect of the present invention, there is provided a digital stereoscopic broadcast transmission apparatus compatible with an existing 2D digital broadcasting system, comprising: image acquisition means for acquiring a 2D (Dimenssion) image and a 3D image from the outside; Audio signal obtaining means for obtaining an audio signal from the outside; 2D image encoding means for encoding the 2D image obtained by the image obtaining means using an MPEG-2 encoding algorithm; 3D image encoding means for encoding the 3D image information obtained by the image obtaining means, wherein the 3D image information includes an image, a disparity map, and depth map information of different views; Audio signal encoding means for encoding the audio signal obtained by the audio signal obtaining means by using an audio encoding algorithm of the existing 2D digital broadcasting system; PSI generation means for generating a PSI by defining a descriptor including 3D broadcast service configuration information; PSIP / SI generating means for generating a PSIP / SI by defining a descriptor including 3D broadcast service configuration information; And multiplexing means for multiplexing the encoded 2D image, 3D image information and audio signal, and the generated PSI and PSIP / SI.
또한, 상기 목적을 달성하기 위한 본 발명은, 디지털 입체 방송 송신 방법에 있어서, 2D 영상, 3D 영상 및 오디오 신호를 획득하는 신호 획득 단계; 획득된 2D 영상, 3D 영상 및 오디오 신호를 부호화하는 부호화 단계; 상기 2D 영상, 3D 영상 및 오디오 신호 정보에 대한 기술자를 정의하여 PSI 및 PSIP를 생성하는 기술자 정의 단계; 및 생성된 PSI 및 PSIP와 상기 부호화된 2D 영상, 3D 영상 및 오디오 신호를 다중화하여 전송하는 다중화 단계를 포함하되, 상기 부호화 단계는 상기 2D 영상을 엠펙-2 부호화 알고리즘을 이용하여 부호화하고, 상기 오디오 신호를 기존 2D 디지털 방송 시스템의 오디오 부호화 알고리즘을 이용하여 부호화하며, 상기 3D 영상 정보는, 서로 다른 시점의 영상, 변이 지도(Disparity Map) 및 깊이 지도(Depth Matp)를 포함하는 입체 방송 서비스를 위한 디지털 방송 송신 방법을 제공한다.In addition, the present invention for achieving the above object, In the digital stereoscopic broadcast transmission method, Signal acquisition step of acquiring 2D video, 3D video and audio signals; An encoding step of encoding the obtained 2D image, 3D image and audio signal; A descriptor definition step of defining descriptors for the 2D image, 3D image, and audio signal information to generate PSI and PSIP; And a multiplexing step of multiplexing and transmitting the generated PSI and PSIP and the encoded 2D image, 3D image, and audio signal, wherein the encoding step encodes the 2D image by using MPEG-2 encoding algorithm, A signal is encoded by using an audio encoding algorithm of an existing 2D digital broadcasting system, and the 3D image information includes an image, a disparity map, and a depth map of different views. A digital broadcast transmission method is provided.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 2는 본 발명에 따른 입체 방송 서비스를 위한 디지털 방송 송신 장치의 일실시예 구성도이다.2 is a block diagram of an embodiment of a digital broadcast transmission apparatus for a stereoscopic broadcast service according to the present invention.
도 2에 도시된 바와 같이, 본 발명에 따른 입체 방송 서비스를 위한 디지털 방송 송신 장치는 3D 영상 획득부(210), 2D 영상 부호화부(220), 3D 영상 정보 부호화부(230), 오디오 획득부(240), 오디오 부호화부(250), PSI 생성부(260), PSIP/SI 생성부(270), 다중화부(280) 및 변조부(290)를 포함한다.As shown in FIG. 2, the apparatus for transmitting digital broadcasting for a stereoscopic broadcasting service according to the present invention includes a 3D
3D 영상 획득부(210)는 외부로부터 2D 영상과 3D 영상 정보를 획득한다. 여기서, 상기 3D 영상 정보는 서로 다른 시점의 영상, 변이 지도(Disparity Map) 및 깊이 지도(Depth Map) 등이다.The 3D
2D 영상 부호화부(220)를 3D 영상 획득부(210)를 통해 획득된 2D 영상을 엠펙-2로 부호화한다. 이는 본 발명에 따른 3D 디지털 방송 송신 장치와 기존의 2D 디지털 방송 시스템과의 호환성을 보장하기 위해서이다.The
3D 영상 정보 부호화부(230)는 3D 영상 획득부(210)를 통해 획득된 3D 영상 정보, 즉 서로 다른 시점의 영상, 변이 지도(Disparity Map) 및 깊이 지도(Depth Map) 등을 부호화한다. 이 때, 3D 영상 정보 부호화부(230)는 서비스 효율에 따라 임의의 부호화 알고리즘을 사용한다.The 3D
오디오 획득부(240)는 외부로부터 오디오 신호를 획득하고, 오디오 부호화부(250)는 오디오 획득부(240)를 통해 획득된 오디오 신호를 부호화한다. 이 때, 오디오 부호화부(250)는 본 발명에 따른 3D 디지털 방송 송신 장치가 사용되는 2D 디지털 방송 시스템의 오디오 부호화 알고리즘에 따라 부호화한다.The
즉, ATSC와 Opencable에서는 AC-3 오디오 부호화 알고리즘에 따라 오디오 신호를 부호화하고, DVB(Digital Video Broadcasting)-2에서는 엠펙 오디오 부호화 알고리즘에 따라 오디오 신호를 부호화한다.That is, ATSC and Opencable encode an audio signal according to an AC-3 audio encoding algorithm, and DVB (Digital Video Broadcasting) -2 encodes an audio signal according to an MPEG audio encoding algorithm.
PSI 생성부(260)는 3D 방송 서비스 구성 정보를 포함하는 기술자(descriptor)를 정의하여 PSI(Program Specific Information)를 생성하고, PSIP/SI 생성부(270)는 3D 방송 서비스 구성 정보를 포함하는 기술자(descriptor)를 정의하여 PSIP(Program Service Information Protocol)/SI(Service Information)를 생성한다.The
다중화부(280)는 상기 부호화된 2D 영상, 3D 영상 정보 및 오디오와, 상기 PSI 생성부(260) 및 PSIP/SI 생성부(270)를 통해 생성된 PSI 및 PSIP/SI를 다중화하고, 변조부(290)는 다중화된 신호르 변조하여 전송한다.The
이하에서는 상기 PSI 생성부(260) 및 PSIP/SI 생성부(270)에서 생성되는 PSI 및 PSIP/SI에 대해 설명한다.Hereinafter, the PSI and PSIP / SI generated by the
기존 2D 디지털 방송 시스템의 규격에서 방송 구성을 나타내는 방송 프로토콜 정보는 ATSC의 경우는 PSI와 지상파용 PSIP로 구성되어 있고, DVB-S의 경우는 PSI와 SI로 구성되어 있으며, OpenCable의 경우는 PSI와 케이블용 PSIP로 구성되어 있다. 이 때, 방송 프로토콜 정보의 필요성에서 ATSC의 경우 PSI는 선택이고 PSIP는 필수이며, DVB-S의 경우 PSI 및 SI는 필수이며, OpenCable의 경우 PSI는 필수이고 PSIP는 선택이다. In the standard of the existing 2D digital broadcasting system, the broadcasting protocol information indicating the broadcasting configuration is composed of PSI and terrestrial PSIP for ATSC, PSI and SI for DVB-S, and PSI and SI for OpenCable. It is composed of PSIP for cable. At this time, PSI is optional for PSSC and PSIP is required for broadcast protocol information, PSI and SI are required for DVB-S, PSI is required for OpenCable, and PSIP is optional.
따라서, 본 발명에 따른 3D 디지털 방송 송신 장치가 상술한 기존 2D 디지털 방송 시스템에 활용될 수 있도록 3D 방송 서비스의 구성 정보에 대한 기술자 (descriptor)를 PSI와 PSIP에서 모두 정의한다. Accordingly, a descriptor for configuration information of a 3D broadcast service is defined in both the PSI and the PSIP so that the 3D digital broadcast transmission apparatus according to the present invention can be utilized in the aforementioned 2D digital broadcast system.
먼저, PSI을 살펴보면, PSI는 PAT(Program Association Table), PMT(Program Map Table), CAT(Conditional Access Table) 등으로 구성되어 있고, 3D 방송 서비스의 구성 정보에 대한 기술자는 PMT에서 정의되어야 한다.First, referring to the PSI, the PSI is composed of a PAT (Program Association Table), a PMT (Program Map Table), a CAT (Conditional Access Table), and the descriptor for configuration information of the 3D broadcast service should be defined in the PMT.
도 3은 3D 방송 서비스의 구성 정보에 대한 기술자가 정의되는 PMT 섹션을 나타내는 일실시예 도면이다.3 is a diagram illustrating a PMT section in which descriptors for configuration information of a 3D broadcast service are defined.
도 3에 도시된 PMT 섹션 중 stream_type, reserved, elementary_PID 등을 포함하는 for 구문에 본 발명에 따른 3D 방송 서비스의 구성 정보에 대한 기술자를 정의한다.The descriptor for the configuration information of the 3D broadcast service according to the present invention is defined in a for statement including stream_type, reserved, elementary_PID, etc. in the PMT section shown in FIG.
stream_type은 엠펙-2에서 정의하고 있는 데이터 타입이 아니므로 유저 프라이빗(user private)으로 설정한다.stream_type is not a data type defined in MPEG-2, so it is set to user private.
또한, elementary_PID은 사용자가 임의로 설정하여 사용할 수 있으며, 상기 설정된 stream_type에서 3D 방송 서비스를 위한 3D 영상 정보에 대한 값을 정의한다. 이 때, 3D 영상 정보에는 기본적으로 서로 다른 시점의 영상, 변이 지도(Disparity Map), 깊이 지도(Depth Map)가 있으며, 서로 다른 시점의 영상에는 전체화면, 세로절반화면, 가로절반화면 등이 있다. In addition, the elementary_PID may be arbitrarily set and used by the user, and defines a value for 3D image information for the 3D broadcast service in the set stream_type. At this time, the 3D image information basically includes images of different viewpoints, a disparity map, and a depth map, and the images of different viewpoints include a full screen, a vertical half screen, and a horizontal half screen. .
도 4는 도 3의 PMT 섹션에 본 발명에 따른 3D 방송 서비스의 구성 정보에 대한 기술자를 정의한 일실시예 도면이다.FIG. 4 is a diagram for describing a descriptor for configuration information of a 3D broadcast service according to the present invention in the PMT section of FIG. 3.
도 4에 도시된 바와 같이, 변이 지도는 00 xxxxxx, 깊이 지도는 01 xxxxxx, 가로절반영상은 10 000001, 세로절반영상은 10 000010, 전체영상은 10 000011으로 정의한다.As shown in FIG. 4, the disparity map is defined as 00 xxxxxx, the depth map is 01 xxxxxx, the horizontal half image is 10 000001, the vertical half image is 10 000010, and the entire image is 10 000011.
다음으로, PSIP를 살펴보면, 기본적으로 ATSC, OpenCable 시스템은 MGT(Master Guide Table), STT(System Time Table), VCT(Virtual Channel Table) 등으로 구성되며, 3D 방송 서비스의 구성 정보에 대한 기술자는 VCT에서 정의되어야 한다. 특히, VCT의 기술자에서 3D 방송 서비스를 위한 3D 영상 정보에 대한 값은 서비스 위치 기술자(service location descriptor)로 정의되어야 한다.Next, look at the PSIP, ATSC, OpenCable system is basically composed of MGT (Master Guide Table), STT (System Time Table), VCT (Virtual Channel Table), the descriptor for the configuration information of the 3D broadcast service Should be defined in In particular, the value of the 3D image information for the 3D broadcast service in the descriptor of the VCT should be defined as a service location descriptor.
도 5는 본 발명에 따른 3D 영상 정보에 대한 값이 정의되는 서비스 위치 기술자를 나타내는 일실시예 도면이다.FIG. 5 is a diagram illustrating a service location descriptor in which a value for 3D image information is defined according to the present invention.
도 5에 도시된 서비스 위치 기술자 구문 중 stream_type, reserved, elementary_PID 등을 포함하는 for 구문에 본 발명에 따른 3D 방송 서비스의 구성 정보에 대한 값을 정의한다.A value for configuration information of a 3D broadcast service is defined in a for statement including stream_type, reserved, elementary_PID, etc. among the service location descriptor syntax shown in FIG. 5.
도 6은 도 5의 stream_type 구성을 나타내는 일실시예 도면이다. 도 5의 stream_type은 도 6에 정의되어 있는 부분을 참조로 하여 도 3의 PMT 섹션에서 정의하는 것과 동일하게 맞춘다. 이 때, 사용할 수 있는 값은 유저 프라이빗(user private) 구간의 0xC0∼0xFF이다.6 is a diagram illustrating an embodiment of the stream_type configuration of FIG. 5. The stream_type of FIG. 5 is matched with the definition in the PMT section of FIG. 3 with reference to the part defined in FIG. 6. At this time, values that can be used are 0xC0 to 0xFF in the user private section.
또한, 정의될 기술자는 도 4와 같고, 기술자의 값(value)은 PSI와 PSIP가 서로 동일해야 한다. In addition, the descriptor to be defined is the same as FIG. 4, and the descriptor value must be the same for the PSI and the PSIP.
한편, DVB-2의 경우는 PSI의 기능이 필수적으로 포함되므로 상술한 바와 같 이 PSI에서만 정의되면 3D 영상 정보를 파싱(Parsing)할 수 있다On the other hand, in the case of DVB-2, since the function of the PSI is essentially included, 3D image information can be parsed if defined only in the PSI as described above.
도 7은 본 발명에 따른 입체 방송 서비스를 위한 디지털 방송 송신 방법을 설명하는 일실시예 흐름도이다.7 is a flowchart illustrating a digital broadcast transmission method for a stereoscopic broadcast service according to the present invention.
먼저, 외부로부터 2D 영상, 3D 영상 및 오디오 신호를 획득하고(710), 획득된 상기 2D 영상, 3D 영상 및 오디오 신호를 부호화한다(720). First, a 2D image, a 3D image, and an audio signal are obtained from an external device (710), and the obtained 2D image, 3D image, and an audio signal are encoded (720).
이 때, 2D 영상은 엠펙-2로 부호화하고, 3D 영상은 서비스 효율에 따라 임의의 부호화 알고리즘으로 부호화하며, 오디오 신호는 본 발명이 적용되는 2D 디지털 방송 시스템의 오디오 부호화 알고리즘에 따라 부호화한다.At this time, the 2D video is encoded by MPEG-2, the 3D video is encoded by an arbitrary encoding algorithm according to the service efficiency, and the audio signal is encoded by the audio encoding algorithm of the 2D digital broadcasting system to which the present invention is applied.
이후, 상기 2D 영상, 3D 영상 및 오디오 신호 정보에 대한 기술자를 정의하여 PSI 및 PSIP를 생성한다(730). 이 때, 3D 영상 정보는 기본적으로 다른 시점의 영상, 변이 지도(Disparity Map) 및 깊이 지도(Depth Map)가 있으며, 3D 영상 정보의 기술자는 도 4 및 도 6과 같이, PSI의 경우는 PMT 섹션에 정의되며, PSIP의 경우는 VCT의 서비스 위치 기술자에 정의된다.Thereafter, a descriptor for the 2D image, the 3D image, and the audio signal information is defined to generate a PSI and a PSIP (730). In this case, the 3D image information basically includes an image, a disparity map, and a depth map of different views, and the descriptor of the 3D image information may be a PMT section in the case of PSI, as shown in FIGS. 4 and 6. PSIP is defined in the service location descriptor of the VCT.
다음으로, 생성된 PSI 및 PSIP와 상기 부호화된 2D 영상, 3D 영상 및 오디오 신호를 전송에 적합한 형태로 다중화하여 전송한다(740).Next, the generated PSI and PSIP and the encoded 2D video, 3D video, and audio signal are multiplexed in a form suitable for transmission (740).
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상 의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in detail any more.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.
상기와 같은 본 발명은, 기존의 2D 디지털 방송 시스템과 호환성을 가지면서 현실감 있는 3D 영상 방송 서비스를 제공할 수 있는 효과가 있다.As described above, the present invention has an effect of providing a realistic 3D video broadcasting service while being compatible with an existing 2D digital broadcasting system.
Claims (6)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040093710A KR100697972B1 (en) | 2004-11-16 | 2004-11-16 | Digital broadcast transmitter and method for stereoscopic broadcast service |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020040093710A KR100697972B1 (en) | 2004-11-16 | 2004-11-16 | Digital broadcast transmitter and method for stereoscopic broadcast service |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20060054872A KR20060054872A (en) | 2006-05-23 |
| KR100697972B1 true KR100697972B1 (en) | 2007-03-23 |
Family
ID=37151131
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020040093710A Expired - Fee Related KR100697972B1 (en) | 2004-11-16 | 2004-11-16 | Digital broadcast transmitter and method for stereoscopic broadcast service |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100697972B1 (en) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2011068318A3 (en) * | 2009-12-04 | 2011-11-03 | 한국전자통신연구원 | Apparatus and method for three-dimensional broadcasting service in broadcasting system coupled with mobile broadcasting |
| CN102265623A (en) * | 2008-12-30 | 2011-11-30 | Lg电子株式会社 | Digital broadcast receiving method providing two-dimensional image and 3D image integrated service and digital broadcast receiving device using the method |
| WO2012153996A3 (en) * | 2011-05-11 | 2013-01-24 | Lg Electronics Inc. | Method for processing broadcasting signal and image display device using the same |
| US8823772B2 (en) | 2008-12-18 | 2014-09-02 | Lg Electronics Inc. | Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using the same |
Families Citing this family (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100842582B1 (en) * | 2007-01-08 | 2008-07-01 | 삼성전자주식회사 | Digital broadcasting system for transmitting and receiving digital multimedia data and method thereof |
| KR101360264B1 (en) * | 2007-05-07 | 2014-02-21 | 한국전자통신연구원 | Method for broadcasting service |
| KR101382618B1 (en) * | 2007-08-21 | 2014-04-10 | 한국전자통신연구원 | Method for making a contents information and apparatus for managing contens using the contents information |
| KR101377960B1 (en) * | 2007-11-13 | 2014-04-01 | 엘지전자 주식회사 | Device and method for processing image signal |
| KR100993428B1 (en) * | 2007-12-12 | 2010-11-09 | 한국전자통신연구원 | DMC interlocking stereoscopic data processing method and stereoscopic data processing device |
| EP2362671B1 (en) * | 2008-07-25 | 2013-09-11 | Koninklijke Philips Electronics N.V. | 3d display handling of subtitles |
| KR101664419B1 (en) * | 2008-10-10 | 2016-10-10 | 엘지전자 주식회사 | Reception system and data processing method |
| KR20110088334A (en) * | 2010-01-28 | 2011-08-03 | 삼성전자주식회사 | Method and apparatus for generating data stream for providing 3D multimedia service, Method and apparatus for receiving data stream for providing 3D multimedia service |
| WO2012036532A2 (en) * | 2010-09-19 | 2012-03-22 | Lg Electronics Inc. | Method and apparatus for processing a broadcast signal for 3d (3-dimensional) broadcast service |
| CN103535045A (en) * | 2010-12-02 | 2014-01-22 | 韩国电子通信研究院 | Method and apparatus for transmitting stereoscopic video information |
| KR20140002853A (en) * | 2012-06-27 | 2014-01-09 | 한국전자통신연구원 | Processing method for 3d video signal and apparatus thereof |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030095177A1 (en) | 2001-11-21 | 2003-05-22 | Kug-Jin Yun | 3D stereoscopic/multiview video processing system and its method |
| KR20030061599A (en) * | 2002-01-15 | 2003-07-22 | 한국전자통신연구원 | Apparatus and method for controlling data broadcasting server |
| KR20030070407A (en) * | 2002-02-25 | 2003-08-30 | 주식회사 에어코드 | An information transmitting/receiving system of a data broadcast and the transmitting/receiving method using the transmitting/receiving system of a data broadcast |
| US20030234890A1 (en) | 2002-06-20 | 2003-12-25 | Byungjun Bae | System and method for digital broadcast protocol conversion |
| JP2004179702A (en) | 2002-11-25 | 2004-06-24 | Sanyo Electric Co Ltd | Video image providing method for stereoscopic view and stereoscopic video image display apparatus |
| KR20050111379A (en) * | 2004-05-21 | 2005-11-24 | 한국전자통신연구원 | The three dimensional video digital broadcasting transmitter- receiver and its method using information for three dimensional video |
| KR20050116656A (en) * | 2004-06-08 | 2005-12-13 | 주식회사 대우일렉트로닉스 | Method for solving an inconsistency between audio stream informations |
-
2004
- 2004-11-16 KR KR1020040093710A patent/KR100697972B1/en not_active Expired - Fee Related
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030095177A1 (en) | 2001-11-21 | 2003-05-22 | Kug-Jin Yun | 3D stereoscopic/multiview video processing system and its method |
| KR20030042090A (en) * | 2001-11-21 | 2003-05-28 | 한국전자통신연구원 | The processing system and it's method for the stereoscopic/multiview Video |
| KR20030061599A (en) * | 2002-01-15 | 2003-07-22 | 한국전자통신연구원 | Apparatus and method for controlling data broadcasting server |
| KR20030070407A (en) * | 2002-02-25 | 2003-08-30 | 주식회사 에어코드 | An information transmitting/receiving system of a data broadcast and the transmitting/receiving method using the transmitting/receiving system of a data broadcast |
| US20030234890A1 (en) | 2002-06-20 | 2003-12-25 | Byungjun Bae | System and method for digital broadcast protocol conversion |
| JP2004179702A (en) | 2002-11-25 | 2004-06-24 | Sanyo Electric Co Ltd | Video image providing method for stereoscopic view and stereoscopic video image display apparatus |
| KR20050111379A (en) * | 2004-05-21 | 2005-11-24 | 한국전자통신연구원 | The three dimensional video digital broadcasting transmitter- receiver and its method using information for three dimensional video |
| KR20050116656A (en) * | 2004-06-08 | 2005-12-13 | 주식회사 대우일렉트로닉스 | Method for solving an inconsistency between audio stream informations |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8823772B2 (en) | 2008-12-18 | 2014-09-02 | Lg Electronics Inc. | Digital broadcasting reception method capable of displaying stereoscopic image, and digital broadcasting reception apparatus using the same |
| CN102265623A (en) * | 2008-12-30 | 2011-11-30 | Lg电子株式会社 | Digital broadcast receiving method providing two-dimensional image and 3D image integrated service and digital broadcast receiving device using the method |
| CN102265623B (en) * | 2008-12-30 | 2015-08-26 | Lg电子株式会社 | Digital broadcast receiving method providing two-dimensional image and 3D image integrated service and digital broadcast receiving device using the method |
| US9282315B2 (en) | 2008-12-30 | 2016-03-08 | Lg Electronics Inc. | Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same |
| US9288469B2 (en) | 2008-12-30 | 2016-03-15 | Lg Electronics Inc. | Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same |
| US9357198B2 (en) | 2008-12-30 | 2016-05-31 | Lg Electronics Inc. | Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same |
| US9554198B2 (en) | 2008-12-30 | 2017-01-24 | Lg Electronics Inc. | Digital broadcast receiving method providing two-dimensional image and 3D image integration service, and digital broadcast receiving device using the same |
| WO2011068318A3 (en) * | 2009-12-04 | 2011-11-03 | 한국전자통신연구원 | Apparatus and method for three-dimensional broadcasting service in broadcasting system coupled with mobile broadcasting |
| WO2012153996A3 (en) * | 2011-05-11 | 2013-01-24 | Lg Electronics Inc. | Method for processing broadcasting signal and image display device using the same |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20060054872A (en) | 2006-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100585966B1 (en) | 3D stereoscopic digital broadcasting transmission / reception apparatus using 3D stereoscopic image additional data and method thereof | |
| KR100818933B1 (en) | Method for 3D Contents Service based Digital Broadcasting | |
| KR100697972B1 (en) | Digital broadcast transmitter and method for stereoscopic broadcast service | |
| US9380288B2 (en) | System and method for transmitting/receiving three dimensional video based on digital broadcasting | |
| KR101154051B1 (en) | Apparatus and method for multi-view video transmission and reception | |
| KR100958653B1 (en) | Digital broadcast transceiver and method | |
| KR20130038892A (en) | Method and apparatus for transmitting/receiving stereoscopic video in digital broadcasting system | |
| EP2744214A2 (en) | Transmitting device, receiving device, and transceiving method thereof | |
| KR101653319B1 (en) | Method and apparatus for transceiving image component for 3d image | |
| JP2016541140A (en) | Broadcast signal transmitting / receiving method and apparatus for providing HDR broadcasting service | |
| US20100266052A1 (en) | Method and apparatus for transmitting/receiving enhanced media data in digital multimedia broadcasting system | |
| KR20100050426A (en) | Method and system for transmitting/receiving 3-dimensional broadcasting service | |
| KR20110101099A (en) | Transmission and reception method, transmission and reception device for providing multiple transport layer linked 3DTV broadcasting service | |
| KR20110011000A (en) | Method and apparatus for generating 3D image data stream with additional information for 3D image reproduction, Method and apparatus for receiving 3D image data stream with additional information for 3D image reproduction | |
| KR20140000128A (en) | Image data transmission device, image data transmission method, image data reception device, and image data reception method | |
| KR102189520B1 (en) | Apparatus and method for transmitting and receiving broadcasting | |
| KR20130068789A (en) | Apparatus and method for bonding broadcast channel | |
| KR101371064B1 (en) | Method for transmitting broadcasting signal | |
| KR101531240B1 (en) | Method and apparatus for transmitting/receiving multi-view program in digital broadcasting system | |
| KR100925270B1 (en) | Apparatus and method for transmitting/receiving integrated additional broadcasting service based on channel bonding technology | |
| KR20110068821A (en) | Method and apparatus for receiving and transmitting | |
| KR101277267B1 (en) | Coding method and apparatus for 3D broadcasting | |
| KR20110135320A (en) | Transmission apparatus for 2D mode reproduction in digital terminal, 2D mode reproduction apparatus in digital terminal and methods thereof | |
| KR102204830B1 (en) | Method and apparatus for providing three-dimensional territorial brordcasting based on non real time service | |
| KR20150006340A (en) | Method and apparatus for providing three-dimensional video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| PA0109 | Patent application |
St.27 status event code: A-0-1-A10-A12-nap-PA0109 |
|
| PA0201 | Request for examination |
St.27 status event code: A-1-2-D10-D11-exm-PA0201 |
|
| D13-X000 | Search requested |
St.27 status event code: A-1-2-D10-D13-srh-X000 |
|
| D14-X000 | Search report completed |
St.27 status event code: A-1-2-D10-D14-srh-X000 |
|
| E902 | Notification of reason for refusal | ||
| PE0902 | Notice of grounds for rejection |
St.27 status event code: A-1-2-D10-D21-exm-PE0902 |
|
| PG1501 | Laying open of application |
St.27 status event code: A-1-1-Q10-Q12-nap-PG1501 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| T11-X000 | Administrative time limit extension requested |
St.27 status event code: U-3-3-T10-T11-oth-X000 |
|
| E13-X000 | Pre-grant limitation requested |
St.27 status event code: A-2-3-E10-E13-lim-X000 |
|
| P11-X000 | Amendment of application requested |
St.27 status event code: A-2-2-P10-P11-nap-X000 |
|
| P13-X000 | Application amended |
St.27 status event code: A-2-2-P10-P13-nap-X000 |
|
| E701 | Decision to grant or registration of patent right | ||
| PE0701 | Decision of registration |
St.27 status event code: A-1-2-D10-D22-exm-PE0701 |
|
| GRNT | Written decision to grant | ||
| PR0701 | Registration of establishment |
St.27 status event code: A-2-4-F10-F11-exm-PR0701 |
|
| PR1002 | Payment of registration fee |
St.27 status event code: A-2-2-U10-U11-oth-PR1002 Fee payment year number: 1 |
|
| PG1601 | Publication of registration |
St.27 status event code: A-4-4-Q10-Q13-nap-PG1601 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 4 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 5 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 6 |
|
| L13-X000 | Limitation or reissue of ip right requested |
St.27 status event code: A-2-3-L10-L13-lim-X000 |
|
| U15-X000 | Partial renewal or maintenance fee paid modifying the ip right scope |
St.27 status event code: A-4-4-U10-U15-oth-X000 |
|
| FPAY | Annual fee payment |
Payment date: 20130304 Year of fee payment: 7 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20140303 Year of fee payment: 8 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 8 |
|
| PN2301 | Change of applicant |
St.27 status event code: A-5-5-R10-R13-asn-PN2301 St.27 status event code: A-5-5-R10-R11-asn-PN2301 |
|
| FPAY | Annual fee payment |
Payment date: 20150226 Year of fee payment: 9 |
|
| PR1001 | Payment of annual fee |
St.27 status event code: A-4-4-U10-U11-oth-PR1001 Fee payment year number: 9 |
|
| LAPS | Lapse due to unpaid annual fee | ||
| PC1903 | Unpaid annual fee |
St.27 status event code: A-4-4-U10-U13-oth-PC1903 Not in force date: 20160316 Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE |
|
| PC1903 | Unpaid annual fee |
St.27 status event code: N-4-6-H10-H13-oth-PC1903 Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE Not in force date: 20160316 |