[go: up one dir, main page]

KR100243168B1 - Audio/video synchronizing circuit of digital receiver for simultaneously receiving multiful channel and method therefor - Google Patents

Audio/video synchronizing circuit of digital receiver for simultaneously receiving multiful channel and method therefor Download PDF

Info

Publication number
KR100243168B1
KR100243168B1 KR1019970076388A KR19970076388A KR100243168B1 KR 100243168 B1 KR100243168 B1 KR 100243168B1 KR 1019970076388 A KR1019970076388 A KR 1019970076388A KR 19970076388 A KR19970076388 A KR 19970076388A KR 100243168 B1 KR100243168 B1 KR 100243168B1
Authority
KR
South Korea
Prior art keywords
value
channel
signal
video
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1019970076388A
Other languages
Korean (ko)
Other versions
KR19990056393A (en
Inventor
임명식
Original Assignee
윤종용
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤종용, 삼성전자주식회사 filed Critical 윤종용
Priority to KR1019970076388A priority Critical patent/KR100243168B1/en
Publication of KR19990056393A publication Critical patent/KR19990056393A/en
Application granted granted Critical
Publication of KR100243168B1 publication Critical patent/KR100243168B1/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/12Devices in which the synchronising signals are only operative if a phase difference occurs between synchronising and synchronised scanning devices, e.g. flywheel synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43074Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of additional data with content streams on the same device, e.g. of EPG data or interactive icon with a TV program
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • H04N5/05Synchronising circuits with arrangements for extending range of synchronisation, e.g. by using switching between several time constants

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

본 발명에는 다수 채널을 동시에 수신하는 디지털 수신기의 오디오/비디오 동기화 회로 및 그 방법이 개시되어 있다. 본 발명의 동기화 회로는 어느 한 채널의 프로그램 클록 기준(PCR)값을 이용하여 내부에 발진하는 발진 주파수를 제어해서 시스템 클럭신호를 발생하는 시스템 클록 복원기, 다른 채널의 PCR값과 시스템 클럭신호와의 차이값을 근거로 하여 다른 채널의 압축 부호화된 영상 및 음성 신호의 복호화를 제어하는 제어신호를 발생하는 복호 제어기를 포함하여, 어느 한 채널을 위한 시스템 클럭신호를 이용하여 다른 채널의 복호화를 제어하므로 한 채널의 PLL회로만 사용하므로 회로가 간단해진다.The present invention discloses an audio / video synchronization circuit and a method of a digital receiver for receiving multiple channels simultaneously. The synchronization circuit of the present invention uses a program clock reference (PCR) value of one channel to control the oscillation frequency oscillating therein to generate a system clock signal. A decoding controller for generating a control signal for controlling the decoding of the compression-encoded video and audio signals of the other channel based on the difference value of?, And controlling the decoding of the other channel using the system clock signal for one channel. Therefore, the circuit is simplified because only one channel of PLL circuit is used.

Description

다수 채널을 동시에 수신하는 디지털 수신기의 오디오/비디오 동기화 회로 및 그 방법Audio / Video Synchronization Circuit and Method of Digital Receiver Receiving Multiple Channels Simultaneously

본 발명은 디지털 수신기에 있어서 오디오/비디오 동기화 회로 및 그 방법에 관한 것으로, 특히 고압축 부호화 체계인 MPEG으로 부호화된 다수의 방송 채널을 동시에 복호화할 때 오디오/비디오 신호를 동기화시키는 회로 및 그 방법에 관한 것이다.The present invention relates to an audio / video synchronization circuit and a method thereof in a digital receiver, and more particularly, to a circuit and a method for synchronizing an audio / video signal when simultaneously decoding a plurality of broadcast channels encoded by MPEG, which is a high compression coding scheme. will be.

점차 방송채널의 수가 증가하고 하나의 수신기에서 여러개의 방송채널을 동시에 수신하는 방송 수신기가 출시되고 있다. 이러한 예로서 PIP(Picture in Picture), 더블 윈도우(Double Window) 등의 기능이 내장된 방송 수신기가 그 예가 된다.Increasingly, the number of broadcast channels has increased and broadcast receivers that receive multiple broadcast channels simultaneously in one receiver have been released. An example is a broadcast receiver in which functions such as a picture in picture (PIP), a double window, and the like are incorporated.

또한, 방송도 기존의 아날로그 방송에서 디지털 방송으로 전환되고 있는 추세이며, 이에 따라 고압축 부호화 체계(MPEG)로 부호화된 비트열을 수신하는 디지털 수신기가 곧 상용화될 예정이다. 이러한 디지털 수신기에서도 2개 이상의 채널을 동시에 수신하여 PIP나 더블 윈도우와 같은 다수 화면을 표시할 수 있는 기능이 내장되는 것이 바람직하다. 또한, 이때, 다수 채널의 신호를 다수 화면으로 표시하기 위하여 오디오/비디오 동기화는 반드시 필요하다.In addition, broadcasting is also being converted from conventional analog broadcasting to digital broadcasting. Accordingly, a digital receiver that receives a bit string encoded by a high compression coding scheme (MPEG) will be commercialized soon. In such a digital receiver, it is desirable to have a function of receiving two or more channels simultaneously and displaying a plurality of screens such as a PIP or a double window. In this case, audio / video synchronization is necessary in order to display signals of multiple channels on multiple screens.

따라서, 본 발명의 목적은 다수 채널을 동시에 수신하여 복호화할 때 어느 한 채널의 프로그램 클럭 기준(Program Clock Reference:PCR)값을 기준으로하여 발생하는 시스템 클럭신호를 이용하여 다른 채널의 오디오 및 비디오 신호를 동기화시키는 오디오/비디오 동기화 회로를 제공하는 데 있다.Accordingly, an object of the present invention is to use an audio and video signal of another channel by using a system clock signal generated based on a program clock reference (PCR) value of one channel when receiving and decoding multiple channels simultaneously. It is to provide an audio / video synchronization circuit for synchronizing the.

본 발명의 다른 목적은 다수 채널을 동시에 수신하여 복호화할 때 어느 한 채널의 PCR값을 기준으로하여 발생하는 시스템 클럭신호를 이용하여 다른 채널의 오디오 및 비디오 신호를 동기화시키는 오디오/비디오 동기화 방법을 제공하는 데 있다.Another object of the present invention is to provide an audio / video synchronization method for synchronizing audio and video signals of another channel using a system clock signal generated based on a PCR value of one channel when receiving and decoding multiple channels simultaneously. There is.

상기한 목적을 달성하기 위하여, 본 발명에 의한 오디오/비디오 동기화 회로는 수신되는 2채널 이상의 압축 부호화된 영상 및 음성 신호를 복원하는 디지털 수신기에 있어서, 어느 한 채널의 프로그램 클록 기준(PCR)값을 이용하여 내부에 발진하는 발진 주파수를 제어해서 시스템 클럭신호를 발생하는 시스템 클록 복원기, 다른 채널의 PCR값과 시스템 클럭신호와의 차이값을 근거로 하여 다른 채널의 압축 부호화된 영상 및 음성 신호의 복호화를 제어하는 제어신호를 발생하는 복호 제어기를 포함함을 특징으로 한다.In order to achieve the above object, the audio / video synchronization circuit according to the present invention comprises a program clock reference (PCR) value of any one channel in a digital receiver for recovering two or more compressed coded video and audio signals. System clock restorer that generates the system clock signal by controlling the oscillation frequency that is oscillated internally, based on the difference between the PCR value of the other channel and the system clock signal. And a decoding controller for generating a control signal for controlling decoding.

상기한 다른 목적을 달성하기 위하여, 본 발명에 의한 오디오/비디오 동기화 방법은 수신되는 2채널 이상의 압축 부호화된 영상 및 음성 신호를 복원시 서로 동기화시키는 방법에 있어서, 각 채널의 전송스트림으로부터 비디오/오디오 비트열과 프로그램 클럭 기준(PCR)값을 추출하는 단계, 어느 한 채널의 PCR값을 이용하여 시스템 클럭신호를 발생하고, 시스템 클럭신호를 이용하여 어느 한 채널의 압축 부호화된 영상/음성 신호의 복호화를 제어하는 단계 및 다른 채널의 PCR값과 시스템 클럭 신호와의 차이값을 근거로 하여 다른 채널의 압축 부호화된 영상/음성 신호의 복호화를 제어하는 제어신호를 발생하는 단계를 포함함을 특징으로 한다.In order to achieve the above object, an audio / video synchronization method according to the present invention is a method of synchronizing two or more received compression-coded video and audio signals with each other in reconstruction. Extracting a bit string and a program clock reference (PCR) value, generating a system clock signal using a PCR value of one channel, and decoding a compressed / encoded video / audio signal of one channel using the system clock signal. And generating a control signal for controlling decoding of the compression-coded video / audio signal of another channel based on the difference value between the PCR value of the other channel and the system clock signal.

도 1은 본 발명이 적용되는 디지털 수신기의 블록도이다.1 is a block diagram of a digital receiver to which the present invention is applied.

도 2는 본 발명의 이해를 돕기 위한 1 채널을 수신하는 경우 전송스트림 처리기의 PCR 처리를 위한 블록도이다.2 is a block diagram for PCR processing of a transport stream processor when receiving one channel for better understanding of the present invention.

도 3은 본 발명에 의한 오디오/비디오 동기화 회로의 일 실시예에 따른 블록도이다.3 is a block diagram according to an embodiment of an audio / video synchronization circuit according to the present invention.

이하, 첨부된 도면을 참조하여 본 발명에 의한 다수 채널을 동시에 수신하는 디지털 수신기의 오디오/비디오 동기화 회로 및 그 방법의 바람직한 실시예를 설명하기로 한다.Hereinafter, with reference to the accompanying drawings will be described a preferred embodiment of the audio / video synchronization circuit and method of a digital receiver for receiving multiple channels at the same time according to the present invention.

본 발명에 의한 디지털 수신기의 블록도인 도 1에 있어서, 케이블, 전화선, 위성, 무선 등의 다양한 전송방식을 통해서 MPEG으로 압축된 디지털 정보를 수신하기 위해서 여러개의 NIM(Network Interface Module)이 존재할 수 있다. 즉, 다양한 전송방식으로 전송되는 영상 압축된 비트열을 수신한다.In FIG. 1, which is a block diagram of a digital receiver according to the present invention, several NIMs (Network Interface Modules) may exist in order to receive digital information compressed by MPEG through various transmission methods such as cable, telephone line, satellite, and wireless. have. That is, the image compressed bit string transmitted through various transmission methods is received.

위성신호에 대응하는 NIM의 예를 들면, 안테나, LNB(Low Noise Block Down Converter), 튜너, QPSK(Quadrature Phase Shift Keying) 복조기 및 오류정정 복호화기등으로 구성되어 있다. 따라서, 다양한 전송방식에 대응하여 각 방식에 맞는 NIM이 존재한다. 여기서, NIM은 채널 복조기로 지칭될 수 있다.Examples of the NIM corresponding to the satellite signal include an antenna, a low noise block down converter (NBN), a tuner, a quadrature phase shift keying (QPSK) demodulator, and an error correction decoder. Therefore, there is a NIM for each method corresponding to various transmission methods. Here, NIM may be referred to as a channel demodulator.

예를 들어, PIP, 더블 윈도우 기능을 지원하기 위해서는 2 채널의 비트열을 동시에 수신하여 영상 복호화 과정을 수행하여 2 채널의 복원된 영상을 합성해서 합성된 영상 신호를 출력한다.For example, in order to support the PIP and the double window function, the bit streams of the two channels are simultaneously received and the video decoding process is performed to synthesize the restored images of the two channels and output the synthesized video signal.

즉, 위성 신호로서 전송되는 방송신호는 제1 및 제2 NIM(110,120)을 통하여 비트열로 입력되는 데 이는 압축부호화된 비트열이다. 그 형태는 전송스트림(transport stream:TS) 비트열 형태로 되어 있다.That is, a broadcast signal transmitted as a satellite signal is input to the bit stream through the first and second NIMs 110 and 120, which is a compressed coded bit stream. The form is in the form of a transport stream (TS) bit string.

TS 처리기(130)는 채널선택 키데이터에 따른 선택 채널의 오디오/비디오 PID가 마이크로 프로세서(170)로부터 공급되면 선택된 2 채널에 해당하는 PID를 갖는 2 채널의 TS를 선택하여 선택된 2채널의 TS로부터 각 채널의 오디오/비디오 비트열을 추출하여 제1 MPEG A/V 복호화기(140)와 제2 MPEG A/V 복호화기(150)에 전송한다.If the audio / video PID of the selected channel according to the channel selection key data is supplied from the microprocessor 170, the TS processor 130 selects the two-channel TS having the PID corresponding to the selected two channels and selects the two-channel TS from the selected two-channel TS. The audio / video bit stream of each channel is extracted and transmitted to the first MPEG A / V decoder 140 and the second MPEG A / V decoder 150.

제1 MPEG A/V 복호화기(140)는 제1 채널의 오디오/비디오 비트열을 복호화하여 복원된 제1 채널의 아날로그 음성신호는 스피커와 같은 음성출력장치에 인가하고, 복원된 제1 채널의 아날로그 영상신호는 영상 합성기(160)에 인가한다.The first MPEG A / V decoder 140 decodes the audio / video bit stream of the first channel to apply an analog audio signal of the first channel to a voice output device such as a speaker, and The analog image signal is applied to the image synthesizer 160.

제2 MPEG A/V 복호화기(150)는 제2 채널의 오디오/비디오 비트열을 복호화하여 복원된 제2 채널의 아날로그 음성신호는 음성출력장치에 인가하고, 복원된 제2 채널의 아날로그 영상신호는 영상 합성기(160)에 인가한다. 영상 합성기(160)는 마이크로 프로세서(170)에서 인가되는 PIP 또는 더블 윈도우 모드에 대한 제어 신호에 따라 제1 채널의 아날로그 영상신호와 제2 채널의 영상신호를 합성하여 PIP 화면으로 표시하거나 더블 윈도우 화면으로 표시한다.The second MPEG A / V decoder 150 decodes the audio / video bit stream of the second channel to apply the analog audio signal of the second channel to the audio output device, and restores the analog video signal of the second channel. Is applied to the image synthesizer 160. The image synthesizer 160 synthesizes the analog video signal of the first channel and the video signal of the second channel according to the control signal for the PIP or the double window mode applied from the microprocessor 170 to display the PIP screen or the double window screen. Indicated by.

여기서, 마이크로 프로세서(170)는 TS 처리기(130)로부터 각 채널의 PCR값의 도착과 같은 상태 정보를 전송받고, 이 상태정보에 대한 적절한 제어신호를 TS 처리기(130)에 전송하고, 제1 및 제2 MPEG A/V 복호화기(140,150)로부터 디코딩에 관련된 상태정보를 전송받고, 이 상태정보에 대한 적절한 제어신호를 제1 및 제2 MPEG A/V 복호화기(140,150)에 전송한다.Here, the microprocessor 170 receives the status information such as the arrival of the PCR value of each channel from the TS processor 130, and transmits an appropriate control signal for the status information to the TS processor 130, the first and Receive status information related to decoding from the second MPEG A / V decoders 140 and 150, and transmit appropriate control signals for the status information to the first and second MPEG A / V decoders 140 and 150.

본 발명의 이해를 돕기 위하여 디지털 수신기가 통상적인 1 채널을 수신하는 경우 TS 처리기에서 처리될 수 있는 PCR의 처리에 대해서 도 2를 결부시켜 설명한다.In order to facilitate the understanding of the present invention, a process of PCR that can be processed in a TS processor when the digital receiver receives a conventional 1 channel will be described with reference to FIG. 2.

도 2에 있어서, 송신기(210)에서는 하나의 발진기(OSC로 표기되어 있음: 211)를 사용하여 이 OSC(211)에서 발생하는 27MHz의 발진주파수를 이용하여 오디오/비디오 부호화기(212)에서 영상 및 음성 데이터를 압축하게 되는데, 수신기(220)에서도 송신기(210)에서 사용되는 27MHz의 발진주파수에 동기된 27MHz의 시스템 타임 클럭신호(이하 시스템 클럭신호라고 함)를 발생함으로써 수신신호를 정상적으로 복원할 수 있다. 이렇게 수신기(220)에서 27MHz의 시스템 클럭신호를 복원하는 PLL(Phase Locking Loop)회로의 기준으로 사용하기 위하여 송신기(210)에서는 PCR을 전송하게 된다.In Fig. 2, the transmitter 210 uses one oscillator (denoted as OSC: 211) and uses the 27 MHz oscillation frequency generated by the OSC 211 to generate an image and an image from the audio / video encoder 212. The voice data is compressed. The receiver 220 also generates a 27 MHz system time clock signal (hereinafter referred to as a system clock signal) synchronized with an oscillation frequency of 27 MHz used by the transmitter 210 to restore the received signal normally. have. In this way, the transmitter 210 transmits the PCR to use the PLL (Phase Locking Loop) circuit as a reference for restoring the system clock signal of 27 MHz in the receiver 220.

즉, 송신기(210)의 PCR 카운터(213)는 OSC(211)에서 발진하는 발진 주파수를 클럭신호로서 입력하여 카운트하고, 주기적으로 PCR 카운터(213)의 값을 샘플링하여 얻어지는 PCR값을 다중화기(214)에 의해 오디오/비디오 부호화기(212)에서 부호화된 오디오/비디오 비트열과 다중화하여 전송스트림으로 전송한다.That is, the PCR counter 213 of the transmitter 210 inputs and counts the oscillation frequency oscillated by the OSC 211 as a clock signal, and periodically multiplexes the PCR value obtained by sampling the value of the PCR counter 213. The audio / video encoder 212 multiplexes the encoded audio / video bit stream by 214 and transmits the same to the transport stream.

그러면, 수신기(220)의 역다중화기(221)는 전송스트림으로부터 PCR값과 오디오/비디오 비트열을 추출하여 PCR값은 버퍼(222)에 일시 저장하고, 오디오/비디오 비트열은 오디오/비디오 복호화기(228)에 인가한다.Then, the demultiplexer 221 of the receiver 220 extracts the PCR value and the audio / video bit string from the transport stream, and temporarily stores the PCR values in the buffer 222, and the audio / video bit string is an audio / video decoder. To 228.

버퍼(222)를 통해 최초에 도착한 PCR값은 카운터(223)에 인가된다. 송신기(210)의 발진기(211)의 주파수와 동일한 주파수를 중심주파수로 갖는 VCXO(Voltage Controlled Crystal Oscillator:227)에서 발생되는 발진주파수에 의해 카운터(223)는 카운트값을 계속적으로 증가시킨다. 여기서, VCXO(227)에서 발생하는 발진주파수가 시스템 클럭신호가 된다.The PCR value first arriving through the buffer 222 is applied to the counter 223. The counter 223 continuously increases the count value by an oscillation frequency generated by a voltage controlled crystal oscillator (VCXO) 227 having the same frequency as that of the oscillator 211 of the transmitter 210 as the center frequency. Here, the oscillation frequency generated by the VCXO 227 becomes the system clock signal.

최초 도착한 PCR값외에 계속적으로 도착하는 PCR값은 감산기(224)에서 카운터(223)로부터 인가되는 VCXO(227)에 의해 증가되고 있는 카운트값과의 차이를 구하게 되고, 이 차이값은 PWM(Pulse Width Modulation) 제어기(225)에 인가한다. PWM 제어기(225)는 차이값에 대응하는 PWM신호를 발생한다. 저역 통과 필터(LPF:226)는 PWM신호를 저역 필터링하여 얻어지는 아날로그 전압신호로서 VCXO(227)를 구동시킨다. 여기서, PWM 제어기(225), LPF(226) 및 VCXO(227)는 PLL회로이다.The PCR value that arrives continuously in addition to the initially arrived PCR value is obtained from the subtractor 224 to obtain a difference from the count value that is increased by the VCXO 227 applied from the counter 223, and the difference value is PWM (Pulse Width). Modulation) is applied to the controller 225. The PWM controller 225 generates a PWM signal corresponding to the difference value. The low pass filter (LPF) 226 drives the VCXO 227 as an analog voltage signal obtained by low pass filtering the PWM signal. Here, PWM controller 225, LPF 226 and VCXO 227 are PLL circuits.

이때, 수신기(220)에 도착한 PCR값이 이 PCR값의 도착당시 카운터(223)의 카운트값보다 클 경우 즉, 송신기(210)의 발진기(211)가 수신기(220)의 VCXO(227)보다 빠른 주파수로 동작하고 있다는 것을 의미하므로 PWM 제어기(225)에 입력되는 값은 양(+)의 값을 가지게 된다. PWM 제어기(225)는 VCXO(227)가 더 높은 주파수로 동작하도록 구동시키는 PWM신호를 발생하고, 이때 VCXO(227)에 의해 카운터(223)도 카운트 속도를 증가시킨다.At this time, when the PCR value arriving at the receiver 220 is greater than the count value of the counter 223 at the time of arrival of the PCR value, that is, the oscillator 211 of the transmitter 210 is faster than the VCXO 227 of the receiver 220. Since it is operating at a frequency, the value input to the PWM controller 225 has a positive value. The PWM controller 225 generates a PWM signal that drives the VCXO 227 to operate at a higher frequency, with the counter 223 also increasing the count rate by the VCXO 227.

반대의 경우, 즉, 수신기(220)에 도착한 PCR값이 이 PCR값의 도착당시 카운터(223)의 카운트값보다 작을 경우 이는 송신기(210)의 발진기(211)가 수신기(220)의 VCXO(227)보다 느린 주파수로 동작하고 있다는 것을 의미하므로 PWM 제어기(226)에 입력되는 값은 음(-)의 값을 가지게 된다.In the opposite case, that is, when the PCR value arriving at the receiver 220 is smaller than the count value of the counter 223 at the time of arrival of the PCR value, the oscillator 211 of the transmitter 210 causes the VCXO 227 of the receiver 220 to be reached. Since it operates at a slower frequency than), the value input to the PWM controller 226 has a negative value.

PWM 제어기(226)는 VCXO(227)가 더 낮은 주파수로 동작하도록 구동시키는 PWM신호를 발생하면 이때, VCXO(227)는 카운터(223)의 카운트값의 증가하는 속도를 낮추는 주파수신호를 발생한다. 이렇게 함으로써 수신기(220)의 VCXO(227)는 송신기(210)의 발진기(211)와 같은 주파수로 동기화할 수 있다.When the PWM controller 226 generates a PWM signal for driving the VCXO 227 to operate at a lower frequency, the VCXO 227 generates a frequency signal that lowers the rate of increase of the count value of the counter 223. This allows the VCXO 227 of the receiver 220 to synchronize at the same frequency as the oscillator 211 of the transmitter 210.

한편, 도 1에 도시된 바와 같은 디지털 수신기에서 2 채널의 오디오/비디오 복호화를 동시에 해야 하는 경우에는 각 채널의 오디오/비디오 복호화에 사용되는 각 채널의 시스템 클럭신호를 발생하기 위하여 도 2에 도시된 바와 같은 구성을 갖는 동일한 복잡도를 갖는 PCR 처리기가 필요하며 값비싼 2개의 VCXO를 사용할 경우 단가가 상승하는 요인이 된다.On the other hand, when the digital receiver as shown in FIG. 1 should simultaneously perform audio / video decoding of two channels, the system clock signal of each channel used for audio / video decoding of each channel is generated as shown in FIG. A PCR processor having the same complexity with the configuration as described above is required, and when two expensive VCXOs are used, the unit cost increases.

또한, 2 채널의 영상신호를 혼합할 경우 서로 다른 VCXO에서 발생되는 서로 다른 발진 주파수를 가지게 되고 이를 이용하여 검출하는 수직/수평 동기 주파수가 채널간 서로 다르게 되므로 단일 수직/수평 동기 주파수를 사용하여 2채널의 영상신호를 합성하는 영상 합성기에서는 어느 한 채널의 영상신호를 저장하는 프레임 메모리가 필요하게 될 것이다.In addition, when two video signals are mixed, they have different oscillation frequencies generated from different VCXOs, and the vertical / horizontal sync frequencies detected using them are different from one channel to another. In a video synthesizer for synthesizing a video signal of a channel, a frame memory for storing a video signal of one channel will be required.

이러한 단점을 극복하기 위해, 즉 하나의 PLL 회로를 사용하고, 서로 다른 발진 주파수에 의해 서로 다른 수직/수평 동기 주파수를 갖는 영상신호의 합성을 위해 필요한 프레임 메모리를 제거하기 위해 도 3에 도시된 바와 같은 오디오/비디오 동기화 회로를 제안한다.To overcome this disadvantage, i.e. using one PLL circuit and removing the frame memory necessary for the synthesis of video signals having different vertical / horizontal sync frequencies by different oscillation frequencies, as shown in FIG. We propose the same audio / video synchronization circuit.

도 3에 있어서, 도 1에 도시된 블록과 동일한 제1 및 제2 MPEG A/V 복호화기(140,150), 마이크로 프로세서(170)에 대해서는 동일한 참조 부호를 붙인다. 또한, 제1 및 제2 PCR 처리기(180,190)는 도 1에 도시된 TS 처리기(130)에 포함될 수도 있다. 이 제1 및 제2 PCR 처리기(180,190)의 각 구성은 VCXO(186)를 제외하고, 마이크로 프로세서(170)의 소프트웨어로 구현될 수 있다.In FIG. 3, the same reference numerals are assigned to the first and second MPEG A / V decoders 140 and 150 and the microprocessor 170 that are identical to the blocks shown in FIG. In addition, the first and second PCR processors 180 and 190 may be included in the TS processor 130 shown in FIG. 1. Each component of the first and second PCR processors 180 and 190 may be implemented by software of the microprocessor 170 except for the VCXO 186.

제1 PCR 처리기(180)의 버퍼(181), 제1 카운터(182), 감산기(183), PWM 제어기(184), LPF(185) 및 VCXO(186)의 동작은 도 2에 도시된 버퍼 내지 VCXO(222-227)의 동작과 동일하므로 이에 대한 상세한 동작설명은 생략한다. 제1 PCR 처리기(180)의 VCXO(186)에서 발생하는 27MHz 시스템 클럭신호는 제1 MPEG A/V 복호화기(140)에 인가되어 복호화에 필요한 구동 클럭신호로서 이용된다. 또한, 이 제1 PCR 처리기(180)는 시스템 클럭 복원기라고 지칭될 수 있다.Operation of the buffer 181, the first counter 182, the subtractor 183, the PWM controller 184, the LPF 185, and the VCXO 186 of the first PCR processor 180 may be performed by using the buffers illustrated in FIG. 2. Since the operation is the same as that of the VCXO 222-227, detailed operation description thereof will be omitted. The 27 MHz system clock signal generated by the VCXO 186 of the first PCR processor 180 is applied to the first MPEG A / V decoder 140 and used as a driving clock signal for decoding. This first PCR processor 180 may also be referred to as a system clock recoverer.

한편, 제2 PCR 처리기(190)의 제2 버퍼(191)는 도 1에 도시된 TS 처리기(130)로부터 추출된 제2 채널의 PCR값을 일시 저장하고, 최초에 도착하는 PCR값은 제2 카운터(192)에 로딩된다.Meanwhile, the second buffer 191 of the second PCR processor 190 temporarily stores the PCR value of the second channel extracted from the TS processor 130 shown in FIG. 1, and the first PCR value arrives at the second value. It is loaded into the counter 192.

이후, 제2 카운터(192)는 VCXO(186)에서 발생하는 27MHz 주파수의 클럭신호에 따라 카운트해서 다음 PCR값이 도착할 때까지 카운트값을 계속 증가시킨다. 레지스터(193)는 매 PCR값이 도착할 때마다 제2 카운터(192)의 카운트값을 저장한다.Thereafter, the second counter 192 counts according to the clock signal of the 27 MHz frequency generated by the VCXO 186 and continuously increases the count value until the next PCR value arrives. The register 193 stores the count value of the second counter 192 each time a PCR value arrives.

따라서, 두 번째 도착하는 제2 채널의 PCR값부터는 감산기(194)에서 버퍼(191)를 통해 도착한 PCR값과 레지스터(193)로부터 인가되는 제2 채널의 PCR값이 도착한 바로 그 시점에서 제2 카운터(192)의 카운트값과의 차이(제2 카운터값-PCR값)를 구하고, 새로 도착한 PCR값은 제2 카운터(192)에 로딩되고, 제2 카운터(192)는 새로 도착한 PCR값부터 VCXO(186)로부터 인가되는 27MHz 주파수의 클럭신호에 따라 카운트값을 증가시킨다.Therefore, from the PCR value of the second arriving second channel, the second counter at the point in time at which the PCR value arrived from the subtractor 194 through the buffer 191 and the PCR value of the second channel applied from the register 193 arrive. The difference between the count value (192) and the second counter value (PCR value) is obtained. The newly arrived PCR value is loaded into the second counter 192, and the second counter 192 starts from the newly arrived PCR value. The count value is increased according to the clock signal of the 27 MHz frequency applied from 186).

연속적으로 도착하는 PCR값에 대해 이와 같은 동작을 반복한다. 이때 차이값(제2 카운터값-PCR값)은 마이크로 프로세서(170)에 계속적으로 누적된다.This operation is repeated for successively arriving PCR values. At this time, the difference value (second counter value-PCR value) is continuously accumulated in the microprocessor 170.

마이크로 프로세서(170)에 누적되는 최초 PCR인 PCR_0부터 n+1개째인 PCR_n가 도착할 때까지의 누적값은 다음과 같다.The cumulative value from PCR_0, the first PCR accumulated in the microprocessor 170, to the n + 1th PCR_n, is as follows.

누적값 = (PCR_1-카운터2_1) + (PCR_2-카운터2_2) + ...+ (PCR_n-카운터2_n)Cumulative Value = (PCR_1-Counter2_1) + (PCR_2-Counter2_2) + ... + (PCR_n-Counter2_n)

여기서, 카운터2_n은 n+1번째 PCR값이 도착할 때 제2 카운터(192)의 카운트값이다.Here, the counter 2_n is the count value of the second counter 192 when the n + 1th PCR value arrives.

마이크로 프로세서(170)는 제2 채널의 비디오 복호화와 오디오 복호화를 위한 각각 임계치를 설정하여 누적값이 임계치를 넘을 경우 다음과 같이 처리한다.The microprocessor 170 sets thresholds for video decoding and audio decoding of the second channel, respectively, and processes as follows when the accumulated value exceeds the threshold.

영상신호인 경우, 누적값이 양의 임계치를 넘을 경우에는 제2 채널 송신기(미도시)에서 발생하는 발진주파수가 제1 채널을 위한 VCXO(186)에서 발생하는 주파수보다 높은 주파수임을 의미하며, 이 경우 한 화면의 영상신호를 버리고 다음 화면을 표시하라는 스킵 명령(Skip)을 제2 MPEG A/V 복호화기(150)에 인가하고, 누적값을 양의 임계치만큼 빼서 다시 뺀 누적값과 양의 임계치를 비교한다.In the case of an image signal, when the cumulative value exceeds a positive threshold, it means that the oscillation frequency generated by the second channel transmitter (not shown) is higher than the frequency generated by the VCXO 186 for the first channel. In this case, a skip command (Skip) to discard the video signal of one screen and display the next screen is applied to the second MPEG A / V decoder 150, and the cumulative value and the positive threshold are subtracted by subtracting the cumulative value by a positive threshold. Compare

반대로, 누적값이 음의 임계치를 넘을 경우에는 제2 채널 송신기의 발진주파수가 제1 채널을 위한 VCXO(186)보다 낮은 주파수임을 의미하며, 이 경우 현재의 화면을 한 번 더 반복하여 표시하도록 반복 명령(Repeat)을 제2 MEPG A/V 복호화기(150)에 인가하고, 누적값에 음의 임계치의 절대값을 더한 후 다시 누적값과 음의 임계치를 비교한다.On the contrary, if the cumulative value exceeds the negative threshold, it means that the oscillation frequency of the second channel transmitter is lower than the VCXO 186 for the first channel. In this case, the current screen is repeated one more time. A command (Repeat) is applied to the second MEPG A / V decoder 150, the absolute value of the negative threshold is added to the accumulated value, and the accumulated value and the negative threshold are again compared.

음성신호인 경우, 누적값이 양의 임계치를 넘을 경우에는 제2 채널 송신기의 발진주파수가 제1 채널을 위한 VCXO(186)보다 높은 주파수임을 의미하며 이 경우 음성신호의 일부 영역을 들려 주지 않고 버리라는 명령을 제2 MPEG A/V 복호화기(150)에 인가하고, 누적값에 양의 임계치만큼 빼서 다시 누적값과 양의 임계치를 비교한다.In the case of a voice signal, when the cumulative value exceeds a positive threshold, it means that the oscillation frequency of the second channel transmitter is higher than the VCXO 186 for the first channel, and in this case, discards a part of the voice signal without hearing. Applies a command to the second MPEG A / V decoder 150, subtracts the accumulated value by a positive threshold, and compares the accumulated value with the positive threshold again.

누적값이 음의 임계치를 넘을 경우에는 제2 채널 송신기의 발진주파수가 제1 채널을 위한 VCXO(186)보다 낮은 주파수임을 의미하며 이 경우 음성신호의 일부 영역을 반복 청취토록 하는 명령을 제2 MPEG A/V 복호화기(150)에 인가하고, 누적값에 음의 임계치의 절대값을 더한 후 다시 누적값과 음의 임계치를 비교한다.If the cumulative value exceeds the negative threshold, it means that the oscillation frequency of the second channel transmitter is lower than the VCXO 186 for the first channel. In this case, the second MPEG command to repeatedly listen to a part of the voice signal is performed. The A / V decoder 150 is applied to the A / V decoder 150. The absolute value of the negative threshold is added to the accumulated value, and then the accumulated value is compared with the negative threshold.

도 3에 도시된 제2 PCR 처리기(190)와 마이크로 프로세서(170)를 복호 제어기라고 지칭될 수 있다.The second PCR processor 190 and the microprocessor 170 illustrated in FIG. 3 may be referred to as a decoding controller.

본 발명은 어느 한 채널을 위한 시스템 클럭신호를 이용하여 다른 채널의 복호화를 제어하므로 한 채널의 PLL회로만 사용하고, 별도의 프레임 메모리를 필요로 하지 않으므로 회로가 간단해지고, 또한 2 채널의 비디오신호가 서로 같은 수직 및 수평 주파수를 가지게 됨에 따라 2 채널의 영상신호를 혼합하는 것이 용이한 효과가 있다.Since the present invention controls the decoding of another channel by using the system clock signal for one channel, only the PLL circuit of one channel is used, and the circuit is simplified because no separate frame memory is required. Since the same vertical and horizontal frequencies have the same effect, it is easy to mix video signals of two channels.

Claims (10)

수신되는 2채널 이상의 압축 부호화된 영상 및 음성 신호를 복원하는 디지털 수신기에 있어서:A digital receiver for recovering two or more compressed coded video and audio signals received: 어느 한 채널의 프로그램 클록 기준(PCR)값을 이용하여 내부에 발진하는 발진 주파수를 제어해서 시스템 클럭신호를 발생하는 시스템 클록 복원기; 및A system clock recoverer for generating a system clock signal by controlling an oscillation frequency oscillating therein by using a program clock reference (PCR) value of one channel; And 다른 채널의 PCR값과 상기 시스템 클럭신호와의 차이값을 근거로 하여 다른 채널의 압축 부호화된 영상 및 음성 신호의 복호화를 제어하는 제어신호를 발생하는 복호 제어기를 포함함을 특징으로 하는 오디오/비디오 동기화회로.And a decoding controller for generating a control signal for controlling decoding of the compressed coded video and audio signals of the other channel based on the difference between the PCR value of the other channel and the system clock signal. Synchronization circuit. 제1항에 있어서, 상기 복호 제어기는,The method of claim 1, wherein the decoding controller, 상기 다른 채널의 PCR값이 수신될 때마다 로딩하여 상기 시스템 클럭신호에 따라 카운트하여 카운트값을 공급하는 카운터;A counter that loads each time a PCR value of the other channel is received and counts according to the system clock signal to supply a count value; 수신되는 상기 다른 채널의 PCR값과 상기 카운트값과의 차이를 검출하는 감산기; 및A subtractor for detecting a difference between the received PCR value and the count value of the other channel; And 상기 차이값을 누적하여 누적값과 임계치를 비교하여 상기 다른 채널의 음성 및 영상 신호의 복호화를 스킵하거나 반복하는 제어신호를 발생하는 제어신호 발생기를 포함함을 특징으로 하는 오디오/비디오 동기화 회로.And a control signal generator which accumulates the difference value and compares the accumulated value with a threshold to generate a control signal that skips or repeats decoding of the audio and video signals of the other channel. 제2항에 있어서, 상기 제어신호 발생기는 마이크로 프로세서로 되어 있는 것을 특징으로 하는 오디오/비디오 동기화 회로.3. The audio / video synchronization circuit as claimed in claim 2, wherein the control signal generator is a microprocessor. 제3항에 있어서, 상기 마이크로 프로세서는,The method of claim 3, wherein the microprocessor, 상기 영상 신호의 복호화와 음성 신호의 복호화를 위한 각각의 임계치를 설정하여 상기 누적값의 절대값과 설정된 임계치를 넘을 경우 영상 신호의 복호화와 음성 신호의 복호화를 제어하는 것을 특징으로 하는 오디오/비디오 동기화 회로.The respective thresholds for decoding the video signal and the decoding of the audio signal are set to control the decoding of the video signal and the decoding of the audio signal when the absolute value and the set threshold are exceeded. Circuit. 제4항에 있어서, 상기 마이크로 프로세서는,The method of claim 4, wherein the microprocessor, 영상 신호인 경우, 상기 누적값이 양의 임계치를 넘을 경우에는 현재 화면의 영상신호를 버리고 다음 화면을 표시하라는 스킵 제어신호를 발생하고, 반대로 상기 누적값이 음의 임계치를 넘을 경우에는 현재 화면을 반복하여 표시하도록 반복 제어신호를 발생하는 것을 특징으로 하는 오디오/비디오 동기화 회로.In the case of a video signal, if the cumulative value exceeds a positive threshold, a skip control signal is generated to discard the video signal of the current screen and display the next screen. And an iterative control signal for repeatedly displaying. 제4항에 있어서, 상기 마이크로 프로세서는,The method of claim 4, wherein the microprocessor, 음성 신호인 경우, 상기 누적값이 양의 임계치를 넘을 경우에는 음성신호의 일부 영역을 들려 주지 않는 제어신호를 발생하고, 상기 누적값이 음의 임계치를 넘을 경우에는 음성신호의 일부 영역을 반복 청취토록 하는 제어신호를 발생하는 것을 특징으로 하는 오디오/비디오 동기화 회로.In the case of a voice signal, when the cumulative value exceeds a positive threshold, a control signal is generated that does not hear a part of the voice signal. When the cumulative value exceeds a negative threshold, the partial listening part of the voice signal is repeatedly listened to. And an audio / video synchronization circuit for generating a control signal. 수신되는 2채널 이상의 압축 부호화된 영상 및 음성 신호를 서로 동기화시키는 방법에 있어서:A method of synchronizing two or more received compressed coded video and audio signals with each other: (a) 각 채널의 전송스트림으로부터 비디오/오디오 비트열과 프로그램 클럭 기준(PCR)값을 추출하는 단계;(a) extracting a video / audio bit stream and a program clock reference (PCR) value from the transport stream of each channel; (b) 어느 한 채널의 PCR값을 이용하여 시스템 클럭신호를 발생하고, 상기 시스템 클럭신호를 이용하여 상기 어느 한 채널의 압축 부호화된 영상/음성 신호의 복호화를 제어하는 단계; 및(b) generating a system clock signal using a PCR value of one channel and controlling decoding of the compression-encoded video / audio signal of the one channel using the system clock signal; And (c) 다른 채널의 PCR값과 상기 시스템 클럭 신호와의 차이값을 근거로 하여 다른 채널의 압축 부호화된 영상/음성 신호의 복호화를 제어하는 제어신호를 발생하는 단계를 포함함을 특징으로 하는 오디오/비디오 동기화방법.(c) generating a control signal for controlling the decoding of the compression-coded video / audio signal of the other channel based on the difference between the PCR value of the other channel and the system clock signal. How to sync / video. 제7항에 있어서, 상기 (c)단계는,The method of claim 7, wherein step (c) is (c1) 상기 다른 채널의 PCR값이 수신될 때마다 로딩하여 상기 시스템 클럭신호에 따라 카운트하여 카운트값을 공급하는 단계;(c1) loading each time a PCR value of the other channel is received and counting according to the system clock signal to supply a count value; (c2) 상기 다른 채널의 PCR값과 상기 카운트값과의 차이를 검출하는 단계; 및(c2) detecting a difference between the PCR value of the other channel and the count value; And (c3) 검출된 차이값을 누적하여 누적값과 임계치를 비교하여 상기 다른 채널의 음성 및 영상 신호의 복호화를 제어하는 스킵/반복 제어신호를 발생하는 단계를 포함함을 특징으로 하는 오디오/비디오 동기화 방법.(c3) accumulating the detected difference value and comparing the accumulated value with a threshold value to generate a skip / repeat control signal for controlling decoding of the audio and video signals of the other channel. Way. 제8항에 있어서, 상기 (c3)단계에서는,The method of claim 8, wherein in step (c3), 영상신호인 경우, 상기 누적값이 양의 임계치를 넘을 경우에는 현재 화면의 영상신호를 버리고 다음 화면을 표시하라는 스킵 제어신호를 발생함과 동시에 상기 누적값을 임계치만큼 빼서 얻어진 누적값과 임계치를 다시 비교하고, 반대로 누적값이 음의 임계치를 넘을 경우에는 현재 화면을 반복하여 표시하도록 반복 제어신호를 발생함과 동시에 상기 누적값에 음의 임계치의 절대값을 더한 후 얻어진 누적값과 임계치를 다시 비교하는 것을 특징으로 하는 오디오/비디오 동기화 방법In the case of a video signal, if the cumulative value exceeds a positive threshold, a skip control signal for discarding the video signal of the current screen and displaying the next screen is generated, and the cumulative value obtained by subtracting the cumulative value by a threshold value is reset again. On the contrary, if the cumulative value exceeds the negative threshold, the control signal is repeatedly generated to display the current screen repeatedly and the absolute value of the negative threshold is added to the cumulative value and the cumulative value is compared again with the threshold. Audio / video synchronization method characterized in that 제8항에 있어서, 상기 (c3)단계에서는,The method of claim 8, wherein in step (c3), 음성신호인 경우, 상기 누적값이 양의 임계치를 넘을 경우에는 음성신호의 일부 영역을 들려 주지 않고 버리라는 제어신호를 발생함과 동시에 누적값을 임계치만큼 빼서 얻어진 누적값과 상기 양의 임계치를 다시 비교하고, 반대로 상기 누적값이 음의 임계치를 넘을 경우에는 음성신호의 일부 영역을 반복 청취토록 하는 제어신호를 발생함과 동시에 상기 누적값에 음의 임계치의 절대값을 더해서 얻어진 누적값과 상기 음의 임계치를 다시 비교하는 것을 특징으로 하는 오디오/비디오 동기화 방법.In the case of the voice signal, if the cumulative value exceeds a positive threshold, a control signal is generated to discard the voice signal without a part of the voice signal. On the contrary, when the cumulative value exceeds the negative threshold, a control signal for repeatedly listening to a partial region of the voice signal is generated and the cumulative value obtained by adding the absolute value of the negative threshold to the cumulative value is negative. Comparing the thresholds of the audio / video again.
KR1019970076388A 1997-12-29 1997-12-29 Audio/video synchronizing circuit of digital receiver for simultaneously receiving multiful channel and method therefor Expired - Fee Related KR100243168B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019970076388A KR100243168B1 (en) 1997-12-29 1997-12-29 Audio/video synchronizing circuit of digital receiver for simultaneously receiving multiful channel and method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019970076388A KR100243168B1 (en) 1997-12-29 1997-12-29 Audio/video synchronizing circuit of digital receiver for simultaneously receiving multiful channel and method therefor

Publications (2)

Publication Number Publication Date
KR19990056393A KR19990056393A (en) 1999-07-15
KR100243168B1 true KR100243168B1 (en) 2000-02-01

Family

ID=19529243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970076388A Expired - Fee Related KR100243168B1 (en) 1997-12-29 1997-12-29 Audio/video synchronizing circuit of digital receiver for simultaneously receiving multiful channel and method therefor

Country Status (1)

Country Link
KR (1) KR100243168B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100326289B1 (en) * 1999-07-29 2002-03-08 윤종용 Video signal output apparatus synchronized with the external system output
KR100359782B1 (en) * 2000-11-27 2002-11-04 주식회사 하이닉스반도체 Method and Device for the system time clock control from MPEG Decoder
KR102377555B1 (en) * 2014-07-29 2022-03-22 삼성전자 주식회사 Electronic device and its clock control method
CN116193044B (en) * 2023-04-28 2023-08-15 深圳市微智体技术有限公司 Method, device, equipment and medium for synchronously displaying multiple image frames

Also Published As

Publication number Publication date
KR19990056393A (en) 1999-07-15

Similar Documents

Publication Publication Date Title
KR100796406B1 (en) Data processing apparatus, data processing method, and recording medium
US7224736B2 (en) Adaptive clocking mechanism for digital video decoder
US6459456B1 (en) Digital receiver apparatus capable of receiving multiple channels and having display function control method
JP2006115264A (en) Transmission device of digital broadcasting, reception device, and digital broadcasting system
KR19990063287A (en) Digital image decoding method and apparatus
KR20020018604A (en) Digital television channel surfing system
PL174674B1 (en) Video and audio signals synchronising system
US6151479A (en) Single clock 27 MHZ oscillator in MPEG-2 system
US20120019719A1 (en) Digital television broadcasting reproduction device and reproduction method therefor
KR100281885B1 (en) Clock frequency converter of digital signal receiver
US8035743B2 (en) Method for processing data in a terminal with digital broadcasting receiver
KR100243168B1 (en) Audio/video synchronizing circuit of digital receiver for simultaneously receiving multiful channel and method therefor
JP4643276B2 (en) Wireless receiver
US7253844B2 (en) Method and arrangement for synchronising on-screen display functions during analog signal reception
JP2004096491A (en) Encoding / decoding device
KR20050028389A (en) Display synchronization signal generation apparatus in the digital receiver
JP4258063B2 (en) Data transmission device
JP3888014B2 (en) Phase synchronization circuit
JP2007312223A (en) Synchronous automatic adjustment device
JP4000771B2 (en) Synchronization management system
JP2001044866A (en) Information reception method and system thereof
KR100258956B1 (en) Digital receiver for simultaneously receiving multi-channel signals and processing method therefor
US20070081594A1 (en) Radio video transmission device, radio video reception device, radio video transmission/reception system, signal generation device, signal decoding device, and signal generation/decoding device
WO2002032148A1 (en) Adaptive clocking mechanism for digital video decoder
WO2002032116A1 (en) Adaptive synchronization mechanism for digital video decoder

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

FPAY Annual fee payment

Payment date: 20071030

Year of fee payment: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20081117

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20081117

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000