[go: up one dir, main page]

JP2001119693A - MPEG image display control method and apparatus - Google Patents

MPEG image display control method and apparatus

Info

Publication number
JP2001119693A
JP2001119693A JP29897799A JP29897799A JP2001119693A JP 2001119693 A JP2001119693 A JP 2001119693A JP 29897799 A JP29897799 A JP 29897799A JP 29897799 A JP29897799 A JP 29897799A JP 2001119693 A JP2001119693 A JP 2001119693A
Authority
JP
Japan
Prior art keywords
image
image data
frame
mpeg
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP29897799A
Other languages
Japanese (ja)
Other versions
JP2001119693A5 (en
JP4164966B2 (en
Inventor
Yasuhiro Watabe
康弘 渡部
Koji Yoshitomi
耕治 吉富
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP29897799A priority Critical patent/JP4164966B2/en
Publication of JP2001119693A publication Critical patent/JP2001119693A/en
Publication of JP2001119693A5 publication Critical patent/JP2001119693A5/ja
Application granted granted Critical
Publication of JP4164966B2 publication Critical patent/JP4164966B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】MPEGストリームをデコードして画像表示制
御を行うMPEG画像表示制御方法に関し、MPEGデ
コーダにおいてデコード画像データにエラーが発生した
場合、簡単なエラーコンシールメント処理により表示画
像の乱れを目立たせないようにする。 【解決手段】4個のフレームメモリM0〜M3を使用
し、MPEGデコーダにおいて、1フレーム表示期間内
に1フレームのエンコード画像データのデコード処理が
行われるようにMPEGストリームのデコードを行い、
MPEGデコーダから出力されるデコード画像データに
ついては、無効データを格納しているフレームメモリに
書き込むという工程を含めるというものである。
(57) [Summary] [Problem] To provide an MPEG image display control method for decoding an MPEG stream and performing image display control, when an error occurs in decoded image data in an MPEG decoder, a simple error concealment process is performed on the display image. Make the disturbance less noticeable. An MPEG stream is decoded in an MPEG decoder using four frame memories M0 to M3 so that one frame of encoded image data is decoded within one frame display period.
The decoding image data output from the MPEG decoder includes a step of writing the decoded image data to a frame memory storing invalid data.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、MPEG(Moving
Picture Experts Group)ストリームをデコードして画
像表示制御を行うMPEG画像表示制御方法及び装置に
関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an MPEG (Moving
The present invention relates to an MPEG image display control method and apparatus for decoding a stream and controlling image display.

【0002】[0002]

【従来の技術】図13は従来のMPEG画像表示装置の
一例の要部を示すブロック回路図である。図13中、1
はディスプレイ、2はMPEGストリームをデコードし
て画像表示制御を行う従来のMPEG画像表示制御装置
であり、MPEG画像表示制御装置2において、3はM
PEGストリームをデコードするMPEGデコーダ、4
−0、4−1、4−2はMPEGデコーダ3から出力さ
れるデコード画像データを格納するフレームメモリであ
る。
FIG. 13 is a block circuit diagram showing a main part of an example of a conventional MPEG image display apparatus. In FIG. 13, 1
Is a conventional MPEG image display control device that decodes an MPEG stream and controls image display. In the MPEG image display control device 2, 3 denotes M
MPEG decoder for decoding PEG stream, 4
Reference numerals -0, 4-1 and 4-2 denote frame memories for storing decoded image data output from the MPEG decoder 3.

【0003】また、5はMPEGデコーダ3から与えら
れる分配制御信号に制御され、MPEGデコーダ3から
出力されるデコード画像データをフレームメモリ4−
0、4−1、4−2のいずれかに分配する分配回路、6
はMPEGデコーダ3から与えられるセレクト制御信号
に制御され、フレームメモリ4−0、4−1、4−2の
いずれかを選択し、選択したフレームメモリから出力さ
れるデコード画像データを出力するセレクタ、7はセレ
クタ6から出力されるデコード画像データが表示画像デ
ータである場合、これを入力してディスプレイ1に対す
る画像表示制御を行う表示制御部である。
[0005] Further, 5 is controlled by a distribution control signal given from the MPEG decoder 3, and decodes decoded image data output from the MPEG decoder 3 into a frame memory 4.
0, 4-1 or 4-2;
Is a selector which is controlled by a select control signal given from the MPEG decoder 3 and selects one of the frame memories 4-0, 4-1 and 4-2, and outputs decoded image data output from the selected frame memory. When the decoded image data output from the selector 6 is display image data, a display controller 7 inputs the decoded image data and performs image display control on the display 1 by inputting it.

【0004】図14は図13に示す従来のMPEG画像
表示装置の動作例を示すタイミングチャートであり、図
14AはMPEGデコーダ3から出力されるデコード画
像、図14Bはディスプレイ1に表示される表示画像、
図14Cはフレームメモリ4−0〜4−2が格納するデ
コード画像、図14Dは時刻TAにおけるフレームメモ
リ4−2のメモリマップを示している。この動作例で
は、MPEGデコーダ3において、I2画像→B0画像
→B1画像→P6画像→B3画像→B4画像→B5画像
→P10画像の順にデコードが行われ、ディスプレイ1
において、B0画像→B1画像→I2画像→B3画像→
B4画像→B5画像の順に表示が行われている。
FIG. 14 is a timing chart showing an example of the operation of the conventional MPEG image display device shown in FIG. 13. FIG. 14A shows a decoded image output from the MPEG decoder 3, and FIG. ,
FIG. 14C shows a decoded image stored in the frame memories 4-0 to 4-2, and FIG. 14D shows a memory map of the frame memory 4-2 at time TA. In this operation example, the MPEG decoder 3 performs decoding in the order of I2 image → B0 image → B1 image → P6 image → B3 image → B4 image → B5 image → P10 image.
, B0 image → B1 image → I2 image → B3 image →
The images are displayed in the order of B4 image → B5 image.

【0005】[0005]

【発明が解決しようとする課題】図13に示す従来のM
PEG画像表示装置においては、MPEGストリームの
デコード処理とデコード画像の表示処理とは、フレーム
単位での同期が取られておらず、表示画像データを読み
出しているフレームメモリにデコード画像データを書き
込まなくてはならない場合が発生する。例えば、図14
に示す動作例で、MPEGデコーダ3からB4画像デー
タが出力される場合、フレームメモリ4−0、4−1に
は、それぞれ、有効データとして保持しておくべき参照
画像データであるI2画像データ、P6画像データが格
納されているため、フレームメモリ4−0、4−1には
B4画像データを書き込むことはできず、B3画像デー
タが格納され、現にB3画像データの読み出しが行われ
ているフレームメモリ4−2にB4画像データを上書き
せざるを得ない。
The conventional M shown in FIG.
In the PEG image display device, the decoding processing of the MPEG stream and the display processing of the decoded image are not synchronized in units of frames, and the decoded image data is not written in the frame memory from which the display image data is read. May occur. For example, FIG.
When the B4 image data is output from the MPEG decoder 3 in the operation example shown in (1), I2 image data as reference image data to be held as valid data is stored in the frame memories 4-0 and 4-1. Since the P6 image data is stored, the B4 image data cannot be written in the frame memories 4-0 and 4-1. The B3 image data is stored and the frame in which the B3 image data is currently read out is stored. The B4 image data must be overwritten on the memory 4-2.

【0006】ここに、例えば、図15に示すように、M
PEGデコーダ3においてデコード中のB4画像データ
にエラーが発生した場合、現在表示しているB3画像の
次に何を表示するかについて、(1)エラーのあるB4
画像をそのまま表示する方法、(2)現在表示している
B3画像を表示する方法、(3)参照画像として保持し
ているI2画像又はP6画像を表示する方法が考えられ
る。しかし、(1)の方法はエラーが含まれているB4
画像を表示する点で不都合であり、(2)の方法はB4
画像で上書きされているB3画像を表示する点で不都合
であり、(3)の方法は表示画像の時間関係に矛盾があ
る画像を表示する点で不都合である。
Here, for example, as shown in FIG.
When an error occurs in the B4 image data being decoded in the PEG decoder 3, what is displayed next to the currently displayed B3 image is:
A method of displaying an image as it is, (2) a method of displaying a currently displayed B3 image, and (3) a method of displaying an I2 image or a P6 image held as a reference image can be considered. However, the method (1) uses the B4
This method is inconvenient in displaying an image.
This is inconvenient in displaying the B3 image overwritten by the image, and the method (3) is inconvenient in displaying an image inconsistent in the time relationship of the displayed images.

【0007】このように、図13に示す従来のMPEG
画像表示制御装置2を備える従来のMPEG画像表示装
置においては、デコード画像にエラーが発生した場合、
充分なエラーコンシールメント処理を行うことができ
ず、ディスプレイ1における表示画像の乱れを目立たせ
ないようにすることができないという問題点があった。
なお、特に、放送系メディアでは、MPEGストリーム
は電波によって伝送されることから、ノイズによってビ
ット列が異常となるエラーが発生しやすく、このため、
エラーコンシールメント処理が特に重要な処理とされて
いる。
As described above, the conventional MPEG shown in FIG.
In a conventional MPEG image display device including the image display control device 2, when an error occurs in a decoded image,
There was a problem that a sufficient error concealment process could not be performed, and the disturbance of the displayed image on the display 1 could not be made noticeable.
In particular, in broadcast media, since an MPEG stream is transmitted by radio waves, an error in which a bit string becomes abnormal due to noise is likely to occur.
The error concealment process is regarded as a particularly important process.

【0008】本発明は、かかる点に鑑み、MPEGデコ
ーダにおいて、デコード画像データにエラーが発生した
場合、簡単なエラーコンシールメント処理により、表示
画像の乱れを目立たせないようにすることができるよう
にしたMPEG画像表示制御方法及び装置を提供するこ
とを目的とする。
The present invention has been made in view of the above circumstances, and when an error occurs in decoded image data in an MPEG decoder, disturbance of a display image can be made less noticeable by a simple error concealment process. It is an object of the present invention to provide an MPEG image display control method and apparatus.

【0009】[0009]

【課題を解決するための手段】本発明のMPEG画像表
示制御方法は、MPEGデコーダにおいて、1フレーム
表示期間内に1フレームのエンコード画像データのデコ
ード処理が行われるようにMPEGストリームのデコー
ド処理を行い、前記MPEGデコーダから出力されるデ
コード画像データをフレーム単位で、無効データを格納
しているフレームメモリに書き込む工程を含んでいると
いうものである。
According to the MPEG image display control method of the present invention, an MPEG decoder decodes an MPEG stream so that one frame of encoded image data is decoded within one frame display period. And writing the decoded image data output from the MPEG decoder into a frame memory storing invalid data on a frame-by-frame basis.

【0010】本発明のMPEG画像表示制御方法におい
ては、1フレーム表示期間内に1フレームのエンコード
画像データのデコード処理を行うとし、デコード処理と
表示処理とをフレーム単位で同期させるようにしてい
る。しかも、MPEGデコーダから出力されるデコード
画像データをフレーム単位で、無効データを格納してい
るフレームメモリに書き込むとし、現に表示されている
画像の基データであるデコード画像データを格納してい
るフレームメモリや、参照画像データとして保持してお
くべきデコード画像データを格納しているフレームメモ
リには、MPEGデコーダから出力されるデコード画像
データを書き込まないようにしている。この結果、MP
EGデコーダにおいて、デコード画像データにエラーが
発生した場合、現に表示している画像をリピート表示す
ることができる。
[0010] In the MPEG image display control method of the present invention, the decoding process of one frame of encoded image data is performed within one frame display period, and the decoding process and the display process are synchronized on a frame basis. Moreover, the decoded image data output from the MPEG decoder is written frame by frame to the frame memory storing the invalid data, and the frame memory storing the decoded image data which is the base data of the currently displayed image. Further, the decoded image data output from the MPEG decoder is not written in the frame memory storing the decoded image data to be held as the reference image data. As a result, MP
When an error occurs in the decoded image data in the EG decoder, the currently displayed image can be repeatedly displayed.

【0011】本発明のMPEG画像表示制御装置は、1
フレーム表示期間内に1フレームのエンコード画像デー
タのデコード処理を行うようにしてMPEGストリーム
をデコード処理するMPEGデコーダと、表示画像デー
タ格納フレームメモリ、デコード画像データ格納フレー
ムメモリ及び第1、第2の参照画像データ格納フレーム
メモリが同時に存在するように、前記表示画像データ格
納フレームメモリ、前記デコード画像データ格納フレー
ムメモリ及び前記第1、第2の参照画像データ格納フレ
ームメモリのいずれかに切り替え可能に割り当てられる
複数のフレームメモリを備えているというものである。
[0011] The MPEG image display control device of the present invention comprises:
An MPEG decoder that decodes an MPEG stream by performing decoding of one frame of encoded image data during a frame display period, a display image data storage frame memory, a decoded image data storage frame memory, and first and second references The display image data storage frame memory, the decoded image data storage frame memory, and the first and second reference image data storage frame memories are switchably allocated so that the image data storage frame memories exist simultaneously. It has a plurality of frame memories.

【0012】本発明のMPEG画像表示制御装置におい
ては、1フレーム表示期間内に1フレームのエンコード
画像データがデコード処理され、デコード処理と表示処
理とのフレーム単位での同期が取られることになる。し
かも、複数のフレームメモリのうち、無効データを格納
しているフレームメモリをデコード画像データ格納フレ
ームメモリとして割り当てることにより、現に表示され
ている画像の基データであるデコード画像データを格納
しているフレームメモリや、参照画像データとして保持
しておくべきデコード画像データを格納しているフレー
ムメモリには、MPEGデコーダから出力されるデコー
ド画像データを書き込まないようにすることができる。
この結果、MPEGデコーダにおいて、デコード画像デ
ータにエラーが発生した場合、現に表示している画像を
リピート表示することができる。
In the MPEG image display control device of the present invention, one frame of the encoded image data is decoded within one frame display period, and the decoding process and the display process are synchronized on a frame basis. In addition, by allocating the frame memory storing invalid data among the plurality of frame memories as the decoded image data storage frame memory, the frame storing the decoded image data which is the base data of the currently displayed image is allocated. The decoded image data output from the MPEG decoder can be prevented from being written into the memory or the frame memory storing the decoded image data to be held as the reference image data.
As a result, if an error occurs in the decoded image data in the MPEG decoder, the currently displayed image can be repeatedly displayed.

【0013】[0013]

【発明の実施の形態】以下、図1〜図12を参照して、
本発明のMPEG画像表示制御方法の第1実施形態〜第
4実施形態及び本発明のMPEG画像表示制御装置の一
実施形態について説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Referring to FIGS.
First to fourth embodiments of the MPEG image display control method of the present invention and one embodiment of the MPEG image display control device of the present invention will be described.

【0014】本発明のMPEG画像表示制御方法の第1
実施形態・・図1、図2 本発明のMPEG画像表示制御方法の第1実施形態は、
4個のフレームメモリM0、M1、M2、M3を使用す
るものであり、MPEGデコーダにおいて、1フレーム
表示期間内に1フレームのエンコード画像データのデコ
ード処理が行われるようにMPEGストリームのデコー
ド処理を行い、しかも、MPEGデコーダから出力され
る1フレームのデコード画像データについては、無効デ
ータを格納しているフレームメモリに書き込むという工
程を画像表示制御工程に含めるというものである。
[0014] First of the MPEG image display control method of the present invention
Embodiments FIGS. 1 and 2 A first embodiment of the MPEG image display control method of the present invention is as follows.
It uses four frame memories M0, M1, M2, and M3. The MPEG decoder performs decoding of an MPEG stream so that decoding of one frame of encoded image data is performed within one frame display period. In addition, the process of writing one frame of decoded image data output from the MPEG decoder into the frame memory storing invalid data is included in the image display control process.

【0015】図1は本発明のMPEG画像表示制御方法
の第1実施形態の第1具体例を示すタイミングチャート
であり、図1AはMPEGデコーダから出力されるデコ
ード画像、図1Bはディスプレイに表示される表示画
像、図1CはフレームメモリM0〜M3が格納するデコ
ード画像を示している。
FIG. 1 is a timing chart showing a first specific example of the first embodiment of the MPEG image display control method according to the present invention. FIG. 1A shows a decoded image output from an MPEG decoder, and FIG. 1B shows a decoded image displayed on a display. FIG. 1C shows decoded images stored in the frame memories M0 to M3.

【0016】図1に示す第1具体例においては、MPE
Gデコーダにおいて、I2画像→B0画像→B1画像→
P6画像→B3画像→B4画像→B5画像→P10画像
の順にデコード処理が行われ、ディスプレイにおいて、
B0画像→B1画像→I2画像→B3画像→B4画像→
B5画像の順に表示が行われている。
In the first specific example shown in FIG.
In the G decoder, I2 image → B0 image → B1 image →
The decoding process is performed in the order of P6 image → B3 image → B4 image → B5 image → P10 image.
B0 image → B1 image → I2 image → B3 image → B4 image →
The images are displayed in the order of the B5 images.

【0017】しかも、表示処理に先行して行う必要があ
るI2画像及びB0画像のデコード処理の後のB1画
像、P6画像、B3画像、B4画像、B5画像、P10
画像の各デコード処理は、それぞれ、B0画像、B1画
像、I2画像、B3画像、B4画像、B5画像の各表示
処理とフレーム単位で同期されて実行されている。
In addition, B1 image, P6 image, B3 image, B4 image, B5 image, P10 after decoding of I2 image and B0 image, which must be performed prior to the display processing.
Each decoding process of the image is executed in synchronization with each display process of the B0 image, the B1 image, the I2 image, the B3 image, the B4 image, and the B5 image on a frame basis.

【0018】そして、また、I2画像データは、無効デ
ータである初期値を格納しているフレームメモリM0に
書き込まれ、B0画像データは、無効データである初期
値を格納しているフレームメモリM1に書き込まれ、B
1画像データは、無効データである初期値を格納してい
るフレームメモリM2に書き込まれ、P6画像データ
は、表示済の無効データであるB0画像データを格納す
るフレームメモリM1に書き込まれている。
Further, the I2 image data is written into the frame memory M0 storing the initial value which is invalid data, and the B0 image data is stored into the frame memory M1 storing the initial value which is invalid data. Written, B
One image data is written to the frame memory M2 storing the initial value which is invalid data, and the P6 image data is written to the frame memory M1 which stores B0 image data which is displayed invalid data.

【0019】また、B3画像データは、表示済の無効デ
ータであるB1画像データを格納するフレームメモリM
2に書き込まれ、B4画像データは、無効データである
初期値を格納しているフレームメモリM3に書き込ま
れ、B5画像データは、表示済の無効データであるB3
画像データを格納するフレームメモリM2に書き込ま
れ、P10画像データは、表示済、参照済の無効データ
であるI2画像データを格納するフレームメモリM0に
書き込まれている。
The B3 image data is a frame memory M for storing B1 image data which is displayed invalid data.
2, the B4 image data is written to the frame memory M3 storing the initial value which is invalid data, and the B5 image data is displayed as B3 which is displayed invalid data.
The P10 image data is written to the frame memory M0 for storing the I2 image data which is the displayed and referenced invalid data.

【0020】したがって、例えば、図2に示すように、
MPEGデコーダにおいて、B4画像データにエラーが
発生した場合、B3画像の表示が終了した後、上書きさ
れることなく完全に保持されているB3画像データに基
づいてB3画像をリピート処理することができる。な
お、この場合、B3画像のリピート表示中にMPEGデ
コーダから出力されるB5画像データは、無効データで
あるB4画像データを格納しているフレームメモリM3
に書き込まれる。
Therefore, for example, as shown in FIG.
When an error occurs in the B4 image data in the MPEG decoder, after the display of the B3 image is completed, the B3 image can be subjected to repeat processing based on the completely retained B3 image data without being overwritten. In this case, the B5 image data output from the MPEG decoder during the repeat display of the B3 image is the frame memory M3 storing the invalid B4 image data.
Is written to.

【0021】このように、本発明のMPEG画像表示制
御方法の第1実施形態によれば、MPEGデコーダにお
いて、1フレーム表示期間内に1フレームのエンコード
画像データのデコード処理を行い、MPEGデコーダか
ら出力されるデコード画像データについては、無効デー
タを格納しているフレームメモリに書き込むとしている
ので、MPEGデコーダにおいて、デコード画像データ
にエラーが発生した場合、現に表示している画像をリピ
ート表示するという簡単なエラーコンシールメント処理
を行うことにより、表示画像の乱れを目立たせないよう
にすることができる。
As described above, according to the first embodiment of the MPEG image display control method of the present invention, the MPEG decoder decodes one frame of the encoded image data within one frame display period, and outputs the decoded image data from the MPEG decoder. Since the decoded image data to be written is written to the frame memory storing the invalid data, if an error occurs in the decoded image data in the MPEG decoder, the image currently displayed is repeatedly displayed. By performing the error concealment process, it is possible to make the disturbance of the displayed image inconspicuous.

【0022】本発明のMPEG画像表示制御方法の第2
実施形態・・図3〜図6 本発明のMPEG画像表示制御方法の第2実施形態は、
本発明のMPEG画像表示制御方法の第1実施形態にお
いて、1フレームのエンコード画像データのデコード処
理は、該当フレームの画像ヘッダ(Picture Header)
後、該当フレームの画像データ(Picture Data)前から
開始し、次のフレームの画像ヘッダ後、次のフレームの
画像データ前に停止するというものである。
Second Embodiment of the MPEG Image Display Control Method of the Present Invention
Embodiments FIGS. 3 to 6 A second embodiment of the MPEG image display control method of the present invention is as follows.
In the first embodiment of the MPEG image display control method of the present invention, the decoding process of one frame of encoded image data is performed by using an image header (Picture Header) of the corresponding frame.
Thereafter, the processing starts before the image data (Picture Data) of the corresponding frame, and stops after the image header of the next frame and before the image data of the next frame.

【0023】図3は本発明のMPEG画像表示制御方法
の第2実施形態の具体例を示すタイミングチャートであ
り、図3AはMPEGデコーダから出力されるデコード
画像、図3Bはディスプレイに表示される表示画像、図
3CはフレームメモリM0〜M3が格納するデコード画
像を示している。
FIG. 3 is a timing chart showing a specific example of the second embodiment of the MPEG image display control method of the present invention. FIG. 3A shows a decoded image output from an MPEG decoder, and FIG. 3B shows a display image displayed on a display. FIG. 3C shows a decoded image stored in the frame memories M0 to M3.

【0024】また、DECは当該フレームメモリがデコ
ード画像データ格納フレームメモリとして割り当てられ
ていることを意味し、DISPは当該フレームメモリが
表示画像データを格納フレームメモリとして割り当てら
れていることを意味し、BWDは当該フレームメモリが
後方参照画像データ格納フレームメモリとして割り当て
られていることを意味し、FWDは当該フレームメモリ
が前方参照画像データ格納フレームメモリとして割り当
てられていることを意味している。
DEC means that the frame memory is assigned as a frame memory for storing decoded image data, DISP means that the frame memory is assigned as a frame memory for storing display image data, BWD means that the frame memory is allocated as a backward reference image data storage frame memory, and FWD means that the frame memory is allocated as a forward reference image data storage frame memory.

【0025】なお、デコード画像データ格納フレームメ
モリとして割り当てられたフレームメモリにはMPEG
デコーダから出力されるデコード画像データが格納さ
れ、表示画像データ格納フレームメモリとして割り当て
られたフレームメモリに格納されているデコード画像デ
ータは表示画像データとして扱われ、後方参照画像デー
タ格納フレームメモリとして割り当てられたフレームメ
モリに格納されているデコード画像データは後方参照画
像データとして扱われ、前方参照画像データ格納フレー
ムメモリとして割り当てられたフレームメモリに格納さ
れているデコード画像データは前方参照画像データとし
て扱われることになる。
The frame memory allocated as the decoded image data storage frame memory has an MPEG format.
The decoded image data output from the decoder is stored, and the decoded image data stored in the frame memory allocated as the display image data storage frame memory is treated as the display image data, and is allocated as the backward reference image data storage frame memory. The decoded image data stored in the frame memory that is stored is treated as backward reference image data, and the decoded image data stored in the frame memory allocated as the forward reference image data storage frame memory is treated as forward reference image data. become.

【0026】図3に示す具体例では、B0画像表示フレ
ーム時には、B1画像ストリームの画像データとP6画
像ストリームの画像ヘッダ(PHD)とがデコードさ
れ、B1画像表示フレーム時には、P6画像ストリーム
の画像データとB3画像ストリームの画像ヘッダとがデ
コードされ、I2画像表示フレーム時には、B3画像ス
トリームの画像データとB4画像ストリームの画像ヘッ
ダとがデコードされ、B3画像表示フレーム時には、B
4画像ストリームの画像データとB5画像ストリームの
画像ヘッダとがデコードされている。
In the specific example shown in FIG. 3, in the B0 image display frame, the image data of the B1 image stream and the image header (PHD) of the P6 image stream are decoded, and in the B1 image display frame, the image data of the P6 image stream is decoded. And the image header of the B3 image stream are decoded. At the time of the I2 image display frame, the image data of the B3 image stream and the image header of the B4 image stream are decoded.
The image data of the four image streams and the image header of the B5 image stream are decoded.

【0027】ここに、図4に参照画像データの割り当て
動作例を示しているが、MPEGデコーダがデコードに
使用する参照画像データは、デコード画像の画像タイプ
により決定される。例えば、デコード画像がB画像の場
合には、参照画像の割り当ての遷移は起こらないが、デ
コード画像がI画像又はP画像の場合には、後方参照画
像データ(BWD)として割り当てられていたデコード
画像データが前方参照画像データ(FWD)に遷移する
等の割り当ての変化が起こる。このように、MPEGデ
コーダにおいては、デコード画像の画像タイプが判明し
た後でないと、参照画像データを後方参照画像データに
割り当てるか、前方参照画像データに割り当てるかを決
定することができない。
FIG. 4 shows an example of the operation of allocating reference image data. The reference image data used by the MPEG decoder for decoding is determined by the image type of the decoded image. For example, when the decoded image is a B image, the transition of the reference image allocation does not occur. However, when the decoded image is the I image or the P image, the decoded image allocated as the backward reference image data (BWD). A change in assignment occurs, such as a transition of data to forward reference image data (FWD). As described above, the MPEG decoder cannot determine whether to assign the reference image data to the backward reference image data or the forward reference image data only after the image type of the decoded image is determined.

【0028】そこで、また、図5にMPEGストリーム
の構造を概略的に示しているが、1フレーム画像ストリ
ームは、画像ヘッダの後に画像データが続く構造となっ
ているので、1フレーム画像ストリームのデコード処理
を1フレーム表示処理に同期させて行うと、例えば、図
6に示すように、B0画像の表示終了時には、次のデコ
ード画像であるP6画像の画像ヘッダはデコードされて
おらず、次のデコード画像がP6画像であることは判明
していないので、B0画像からB1画像への表示フレー
ムの割り当て変化のタイミングでI2画像データの割り
当てを行うことができず、P6画像ストリームの画像ヘ
ッダのデコード後でなければ、I2画像データの割り当
てを行うことができないことになる。
FIG. 5 schematically shows the structure of an MPEG stream. One frame image stream has a structure in which image data follows an image header. When the processing is performed in synchronization with the one-frame display processing, for example, as shown in FIG. 6, at the end of the display of the B0 image, the image header of the P6 image, which is the next decoded image, has not been decoded. Since it is not known that the image is the P6 image, the I2 image data cannot be allocated at the timing of the change of the allocation of the display frame from the B0 image to the B1 image, and after the decoding of the image header of the P6 image stream, Otherwise, I2 image data cannot be allocated.

【0029】また、B1画像の表示終了時には、次のデ
コード画像であるB3画像の画像ヘッダはデコードされ
ておらず、次のデコード画像がB3画像であることは判
明していないので、B1画像からI2画像への表示フレ
ームの割り当て変化のタイミングでP6画像データの割
り当てを行うことができず、B3画像ストリームの画像
ヘッダのデコード後でなければ、P6画像データの割り
当てを行うことができないことになる。このような不都
合を回避するためには、きわめて複雑な制御が必要とな
ってしまう。
At the end of the display of the B1 image, the image header of the B3 image which is the next decoded image has not been decoded, and it is not known that the next decoded image is the B3 image. The P6 image data cannot be allocated at the timing of the change of the display frame allocation to the I2 image, and the P6 image data cannot be allocated unless the image header of the B3 image stream is decoded. . To avoid such inconvenience, extremely complicated control is required.

【0030】ところが、図3に示す具体例においては、
B0画像表示時には、B1画像ストリームの画像データ
の後にP6画像ストリームの画像ヘッダがデコードされ
ているので、次にデコードする画像はP6画像であるこ
とが判明し、B0画像からB1画像への表示フレームの
割り当て変化のタイミングでI2画像データの割り当て
を行うことができないという不都合は発生しないし、ま
た、B1画像表示時には、P6画像ストリームの画像デ
ータの後にB3画像ストリームの画像ヘッダがデコード
されているので、B1画像からI2画像への表示フレー
ムの割り当て変化のタイミングでP6画像データの割り
当てを行うことができないという不都合は発生しない。
However, in the specific example shown in FIG.
When displaying the B0 image, since the image header of the P6 image stream is decoded after the image data of the B1 image stream, the next image to be decoded is determined to be the P6 image, and the display frame from the B0 image to the B1 image is displayed. The inconvenience that the I2 image data cannot be allocated at the timing of the allocation change does not occur, and the image header of the B3 image stream is decoded after the image data of the P6 image stream when displaying the B1 image. The inconvenience that P6 image data cannot be allocated at the timing of the change in the allocation of the display frame from the B1 image to the I2 image does not occur.

【0031】このように、本発明のMPEG画像表示制
御方法の第2実施形態によれば、本発明のMPEG画像
表示制御方法の第1実施形態において、1フレームのエ
ンコード画像データのデコード処理は、該当フレームの
画像ヘッダ後、該当フレームの画像データ前から開始
し、次のフレームの画像ヘッダ後、次のフレームの画像
データ前に停止するとしているので、本発明のMPEG
画像表示制御方法の第1実施形態と同様の作用効果を得
ることができるほか、複雑な制御を行うことなく、表示
フレームの割り当て変化のタイミングで参照画像データ
の割り当てを行うことができないという不都合を回避す
ることができる。
As described above, according to the second embodiment of the MPEG image display control method of the present invention, in the first embodiment of the MPEG image display control method of the present invention, decoding of one frame of encoded image data is performed by: Since it starts after the image header of the corresponding frame and before the image data of the corresponding frame and stops after the image header of the next frame and before the image data of the next frame, the MPEG of the present invention is used.
The same operation and effect as the first embodiment of the image display control method can be obtained, and the inconvenience that the reference image data cannot be allocated at the timing of the change of the allocation of the display frame without performing complicated control. Can be avoided.

【0032】本発明のMPEG画像表示制御方法の第3
実施形態・・図7 本発明のMPEG画像表示制御方法の第3実施形態は、
本発明のMPEG画像表示制御方法の第1実施形態にお
いて、1フレーム表示期間内に1フレームのエンコード
画像データのデコード処理が終了しなかった場合には、
現に表示しているフレーム画像をリピート表示するとい
うものである。
Third Embodiment of the MPEG Image Display Control Method of the Present Invention
Embodiment FIG. 7 A third embodiment of the MPEG image display control method of the present invention is as follows.
In the first embodiment of the MPEG image display control method of the present invention, if the decoding process of one frame of encoded image data is not completed within one frame display period,
The currently displayed frame image is displayed repeatedly.

【0033】図7は本発明のMPEG画像表示制御方法
の第3実施形態の具体例を示すタイミングチャートであ
り、図7AはMPEGデコーダから出力されるデコード
画像、図7Bはディスプレイに表示される表示画像を示
しており、図7に示す具体例では、I2画像の表示終了
時において、B3画像のデコードが終了していないの
で、I2画像のリピート表示が行われ、次に行われるB
4画像のデコード処理とB3画像の表示処理との同期が
取られている。
FIG. 7 is a timing chart showing a specific example of the third embodiment of the MPEG image display control method of the present invention. FIG. 7A shows a decoded image output from an MPEG decoder, and FIG. 7B shows a display image displayed on a display. In the specific example shown in FIG. 7, since the decoding of the B3 image is not completed at the end of the display of the I2 image, the repeat display of the I2 image is performed, and the next B
The decoding processing of the four images and the display processing of the B3 image are synchronized.

【0034】このように、本発明のMPEG画像表示制
御方法の第3実施形態によれば、本発明のMPEG画像
表示制御方法の第1実施形態において、1フレーム表示
期間内に1フレームのエンコード画像データのデコード
処理が終了しなかった場合には、現に表示しているフレ
ーム画像をリピート表示するとしているので、本発明の
MPEG画像表示制御方法の第1実施形態と同様の作用
効果を得ることができるほか、入力ストリームの遅延等
の理由で、1フレーム表示期間内に1フレームのエンコ
ード画像データのデコード処理が終了しなかった場合に
おいても、不都合な画像表示を行うことなく、デコード
処理と表示処理との同期を取ることができる。
As described above, according to the third embodiment of the MPEG image display control method of the present invention, in the first embodiment of the MPEG image display control method of the present invention, one frame of the encoded image is displayed within one frame display period. If the data decoding process is not completed, the currently displayed frame image is repeatedly displayed, so that the same operation and effect as the first embodiment of the MPEG image display control method of the present invention can be obtained. In addition, even if decoding of one frame of encoded image data is not completed within one frame display period due to delay of an input stream, decoding and display processing can be performed without performing inconvenient image display. Can be synchronized with.

【0035】本発明のMPEG画像表示制御方法の第4
実施形態・・図8 本発明のMPEG画像表示制御方法の第4実施形態は、
本発明のMPEG画像表示制御方法の第1実施形態にお
いて、リピート表示を行う場合には、リピート表示の終
了後の表示切り替えタイミングまでデコード処理を待機
するというものである。
Fourth Embodiment of the MPEG Image Display Control Method of the Present Invention
Embodiment: FIG. 8 A fourth embodiment of the MPEG image display control method of the present invention is as follows.
In the first embodiment of the MPEG image display control method according to the present invention, when repeat display is performed, the decoding process waits until a display switching timing after the end of the repeat display.

【0036】図8は本発明のMPEG画像表示制御方法
の第4実施形態の具体例を示すタイミングチャートであ
り、図8AはMPEGデコーダから出力されるデコード
画像、図8Bはディスプレイに表示される表示画像を示
しており、図8に示す具体例では、I2画像をリピート
表示する例を示しており、I2画像のリピート表示の終
了後の表示切り替えタイミングまでB4画像のデコード
処理が待機されている。なお、リピート表示する場合に
は、フレームメモリの割り当ての切り替えは行わないよ
うにする。
FIG. 8 is a timing chart showing a specific example of the fourth embodiment of the MPEG image display control method of the present invention. FIG. 8A shows a decoded image output from an MPEG decoder, and FIG. 8B shows a display image displayed on a display. 8 shows an example in which the I2 image is repeatedly displayed, and the decoding process of the B4 image is on standby until the display switching timing after the end of the repeat display of the I2 image. In the case of repeat display, switching of frame memory allocation is not performed.

【0037】このように、本発明のMPEG画像表示制
御方法の第4実施形態によれば、本発明のMPEG画像
表示制御方法の第1実施形態において、リピート表示を
行う場合には、リピート表示の終了後の表示切り替えタ
イミングまでデコード処理を待機するとしているので、
本発明の第1実施形態と同様の作用効果を得ることがで
きるほか、MPEGストリームに含まれているリピート
表示指示あるいは外部からの表示停止指示等により、リ
ピート表示を行う場合においても、デコード処理と表示
処理との同期を取ることができる。
As described above, according to the fourth embodiment of the MPEG image display control method of the present invention, when the repeat display is performed in the first embodiment of the MPEG image display control method of the present invention, Since the decoding process is to wait until the display switching timing after the end,
The same operation and effect as those of the first embodiment of the present invention can be obtained. In addition, when the repeat display is performed by a repeat display instruction included in the MPEG stream or an external display stop instruction, the decoding process can be performed. Synchronization with display processing can be achieved.

【0038】本発明のMPEG画像表示制御装置の一実
施形態・・図9 図9は本発明のMPEG画像表示制御装置の一実施形態
を備えるMPEG画像表示装置の要部を示すブロック回
路図であり、図9中、8はディスプレイ、9はMPEG
ストリームをデコードして画像表示制御を行う本発明の
MPEG画像表示制御装置の一実施形態である。
FIG. 9 is a block circuit diagram showing an essential part of an MPEG image display device provided with an embodiment of the MPEG image display control device of the present invention. 9, 8 is a display, 9 is an MPEG
1 is an embodiment of an MPEG image display control device of the present invention that decodes a stream and controls image display.

【0039】また、本発明のMPEG画像表示制御装置
の一実施形態9において、10は1フレーム表示期間内
に1フレームのエンコード画像データのデコード処理を
行うように、かつ、1フレームのエンコード画像データ
のデコード処理は、該当フレームの画像ヘッダ後、該当
フレームの画像データ前から開始し、次のフレームの画
像ヘッダ後、次のフレームの画像データ前に停止するよ
うにしてMPEGストリームをデコード処理するMPE
Gデコーダである。
Further, in the ninth embodiment of the MPEG image display control apparatus according to the present invention, reference numeral 10 denotes a unit for decoding one frame of encoded image data within one frame display period, and one frame of encoded image data. Is started after the image header of the corresponding frame and before the image data of the corresponding frame, and is stopped after the image header of the next frame and before the image data of the next frame.
G decoder.

【0040】また、11−0〜11−3はMPEGデコ
ーダ10から出力されるデコード画像データをフレーム
単位で格納するフレームメモリ、12はMPEGデコー
ダ10から出力されるデコード画像データをフレームメ
モリ11−0〜11−3のいずれかに分配する分配回路
であり、分配回路12は、MPEGデコーダ10から出
力されるデコード画像データ格納フレームメモリ指定信
号decにより分配動作が制御される。
Reference numerals 11-0 to 11-3 denote frame memories for storing decoded image data output from the MPEG decoder 10 on a frame basis, and reference numeral 12 denotes a frame memory 11-0 for storing decoded image data output from the MPEG decoder 10. 11-3, and the distribution operation of the distribution circuit 12 is controlled by a decoded image data storage frame memory designation signal dec output from the MPEG decoder 10.

【0041】また、13はフレームメモリ11−0〜1
1−3のいずれかを選択し、選択したフレームメモリか
ら出力されるデコード画像データを出力するセレクタ、
14はMPEGデコーダ10から出力される前方参照画
像データ格納フレームメモリ指定信号fwd又は後方参
照画像データ格納フレームメモリ指定信号bwd又は表
示画像データ格納フレームメモリ指定信号dispを選
択し、選択した信号をセレクト制御信号としてセレクタ
13に供給するセレクタ、15はセレクタ13から出力
されるデコード画像データが表示画像データである場
合、これを入力してディスプレイ8に対する画像表示を
制御する表示制御部である。
Reference numeral 13 denotes frame memories 11-0 to 1-1.
A selector for selecting any one of 1-3 and outputting decoded image data output from the selected frame memory;
14 selects the forward reference image data storage frame memory designation signal fwd or the backward reference image data storage frame memory designation signal bwd or the display image data storage frame memory designation signal disp output from the MPEG decoder 10 and selects and controls the selected signal. When the decoded image data output from the selector 13 is display image data, the selector 15 supplies the decoded image data to the selector 13 as a signal to control image display on the display 8.

【0042】また、MPEGデコーダ10において、1
6はフレームメモリ11−0〜11−3のそれぞれをデ
コード画像データ格納フレームメモリに割り当てるか、
前方参照画像データ格納フレームメモリに割り当てる
か、後方参照画像データ格納フレームメモリに割り当て
るか、表示画像データ格納フレームメモリに割り当てる
かのフレームメモリ割り当ての切り替えタイミングを制
御するフレームメモリ割り当て切り替えタイミング信号
CHANGEを表示制御部15から供給されるフレーム
同期信号FSYNCに同期させて出力するフレームメモ
リ割り当て切り替えタイミング信号生成部である。
In the MPEG decoder 10, 1
6 assigns each of the frame memories 11-0 to 11-3 to the decoded image data storage frame memory,
A frame memory allocation switching timing signal CHANGE for controlling switching timing of frame memory allocation for allocating to the forward reference image data storage frame memory, allocating to the backward reference image data storage frame memory, or allocating to the display image data storage frame memory. This is a frame memory allocation switching timing signal generation unit that outputs in synchronization with the frame synchronization signal FSYNC supplied from the control unit 15.

【0043】フレームメモリ割り当て切り替えタイミン
グ信号生成部16は、1フレーム表示期間内に1フレー
ムのエンコード画像データのデコード処理が終了しなか
った場合を検出するデコード遅延検出部17と、MPE
Gストリームに含まれているリピート表示指示あるいは
外部からの表示停止指示等により表示のリピートを制御
する表示リピート制御部18を備え、デコード遅延検出
部17がデコードの遅延を検出した場合あるいは表示リ
ピート制御部18が表示のリピートを指示した場合に
は、フレームメモリ割り当て切り替えタイミング信号C
HANGEをマスクするように構成されている。
The frame memory allocation switching timing signal generator 16 includes a decode delay detector 17 for detecting a case where the decoding of one frame of encoded image data has not been completed within one frame display period, and an MPE.
A display repeat control unit for controlling display repeat in response to a repeat display instruction included in the G stream or an external display stop instruction, and the like; a decode delay detecting unit detecting a decoding delay or a display repeat control; When the section 18 instructs the display repeat, the frame memory allocation switching timing signal C
It is configured to mask HANGE.

【0044】また、19はフレームメモリ割り当て切り
替えタイミング信号CHANGEに同期させてフレーム
メモリ11−0〜11−3の割り当てを制御するフレー
ムメモリ割り当て制御部であり、20はデコード画像デ
ータ格納フレームメモリを指定するデコード画像データ
格納フレームメモリ指定レジスタである。このデコード
画像データ格納フレームメモリ指定レジスタ20の内容
がデコード画像データ格納フレームメモリ指定信号de
cとして分配回路12に供給される。
Reference numeral 19 denotes a frame memory allocation control unit which controls the allocation of the frame memories 11-0 to 11-3 in synchronization with the frame memory allocation switching timing signal CHANGE, and 20 designates a frame memory for storing decoded image data. This is a decoded image data storage frame memory designation register. The content of the decoded image data storage frame memory designation register 20 is a decoded image data storage frame memory designation signal de.
It is supplied to the distribution circuit 12 as c.

【0045】このデコード画像データ格納フレームメモ
リ指定レジスタ20は、MPEGデコーダ10から出力
されるデコード画像データを、フレームメモリ11−0
〜11−3のうち、無効データを格納しているフレーム
メモリに書き込むように、その内容が設定される。
The decoded image data storage frame memory designation register 20 stores the decoded image data output from the MPEG decoder 10 in the frame memory 11-0.
11-3, the contents are set so as to be written to the frame memory storing the invalid data.

【0046】また、21は前方参照画像データ格納フレ
ームメモリを指定する前方参照画像データ格納フレーム
メモリ指定レジスタ、22は後方参照画像データ格納フ
レームメモリを指定する後方参照画像データ格納フレー
ムメモリ指定レジスタ、23は表示画像データ格納フレ
ームメモリを指定する表示画像データ格納フレームメモ
リ指定レジスタである。
Reference numeral 21 designates a forward reference image data storage frame memory designation register for designating a forward reference image data storage frame memory; 22 designates a backward reference image data storage frame memory designation register for designating a backward reference image data storage frame memory; Is a display image data storage frame memory designation register for designating a display image data storage frame memory.

【0047】ここに、前方参照画像データ格納フレーム
メモリ指定レジスタ21の内容が前方参照画像データ格
納フレームメモリ指定信号fwdとしてセレクタ14に
入力され、後方参照画像データ格納フレームメモリ指定
レジスタ22の内容が後方参照画像データ格納フレーム
メモリ指定信号bwdとしてセレクタ14に入力され、
表示画像データ格納フレームメモリ指定レジスタ23の
内容が表示画像データ格納フレームメモリ指定信号di
spとしてセレクタ14に入力される。
Here, the content of the forward reference image data storage frame memory designation register 21 is input to the selector 14 as the forward reference image data storage frame memory designation signal fwd, and the content of the backward reference image data storage frame memory designation register 22 is entered backward. Is input to the selector 14 as a reference image data storage frame memory designation signal bwd,
The content of the display image data storage frame memory designation register 23 is the display image data storage frame memory designation signal di.
This is input to the selector 14 as sp.

【0048】また、24はフレームメモリ11−0〜1
1−3から前方参照画像データ、後方参照画像データ及
び表示画像データのいずれのデータを出力させるべきか
を制御するメモリ制御部であり、セレクタ14は、メモ
リ制御部24が前方参照画像データを出力させるべきと
する場合には前方参照画像データ格納フレームメモリ指
定信号fwdを選択し、メモリ制御部24が後方参照画
像データを出力させるべきとする場合には後方参照画像
データ格納フレームメモリ指定信号bwdを選択し、メ
モリ制御部24が表示画像データを出力させるべきとす
る場合には表示画像データ格納フレームメモリ指定信号
dispを選択する。
Reference numeral 24 denotes frame memories 11-0 to 1-1.
1-3 is a memory control unit that controls which of the forward reference image data, the backward reference image data, and the display image data should be output. The selector 14 outputs the forward reference image data from the memory control unit 24. When the memory control unit 24 should output the backward reference image data, the forward reference image data storage frame memory designation signal fwd is selected. When the selection is made and the memory control unit 24 should output the display image data, the display image data storage frame memory designation signal disp is selected.

【0049】そして、セレクタ13は、前方参照画像デ
ータ格納フレームメモリ指定信号fwdが供給されたと
きは、前方参照画像データ格納フレームメモリ指定信号
fwdが指定するフレームメモリの出力を選択し、後方
参照画像データ格納フレームメモリ指定信号bwdが供
給されたときは、後方参照画像データ格納フレームメモ
リ指定信号bwdが指定するフレームメモリの出力を選
択し、表示画像データ格納フレームメモリ指定信号di
spが供給されたときは、表示画像データ格納フレーム
メモリ指定信号dispが指定するフレームメモリの出
力を選択することになる。
When the forward reference image data storage frame memory designation signal fwd is supplied, the selector 13 selects the output of the frame memory designated by the forward reference image data storage frame memory designation signal fwd, and When the data storage frame memory designation signal bwd is supplied, the output of the frame memory designated by the backward reference image data storage frame memory designation signal bwd is selected, and the display image data storage frame memory designation signal di is selected.
When sp is supplied, the output of the frame memory designated by the display image data storage frame memory designation signal disp is selected.

【0050】このように構成された図9に示す本発明の
MPEG画像表示制御装置の一実施形態9を備えるMP
EG画像表示装置においては、MPEGデコーダ10
は、1フレーム表示期間内に1フレームのエンコード画
像データのデコード処理を行うように、かつ、1フレー
ムのエンコード画像データのデコード処理は、該当フレ
ームの画像ヘッダ後、該当フレームの画像データ前から
開始し、次のフレームの画像ヘッダ後、次のフレームの
画像データ前に停止するようにしてMPEGストリーム
をデコードし、しかも、MPEGデコーダ10から出力
されるデコード画像データは、フレームメモリ11−0
〜11−3のうち、無効データを格納しているフレーム
メモリに書き込まれる。
The MP having the ninth embodiment of the MPEG image display control apparatus of the present invention shown in FIG.
In the EG image display device, the MPEG decoder 10
Is to decode one frame of encoded image data within one frame display period, and to start decoding one frame of encoded image data after the image header of the frame and before the image data of the frame. Then, the MPEG stream is decoded by stopping after the image header of the next frame and before the image data of the next frame, and the decoded image data output from the MPEG decoder 10 is stored in the frame memory 11-0.
11 to 11-3, the invalid data is stored in the frame memory storing the invalid data.

【0051】すなわち、本発明のMPEG画像表示制御
装置の一実施形態9によれば、本発明のMPEG画像表
示制御方法の第1実施形態及び第2実施形態を実行する
ことができ、MPEGデコーダ10において、デコード
画像データにエラーが発生しなかった場合には、例え
ば、図10に示すように動作し、MPEGデコーダ10
において、例えば、B4画像にエラーが発生した場合に
は、図11に示すように、B3画像のリピート表示が行
われる。
That is, according to the ninth embodiment of the MPEG image display control device of the present invention, it is possible to execute the first and second embodiments of the MPEG image display control method of the present invention. In the case where no error has occurred in the decoded image data, the operation as shown in FIG.
For example, when an error occurs in the B4 image, the B3 image is repeatedly displayed as shown in FIG.

【0052】なお、図10A及び図11Aは表示制御部
15から出力されるフレーム同期信号FSYNC、図1
0B及び図11Bはフレームメモリ割り当て切り替えタ
イミング信号生成部16から出力されるフレームメモリ
割り当て切り替えタイミング信号CHANGE、図10
C及び図11CはMPEGデコーダ10から出力される
デコード画像、図10D及び図11Dはフレームメモリ
11−0〜11−3の割り当て状態、図10E及び図1
1Eはフレームメモリ11−0〜11−3が格納するデ
コード画像を示している。
FIGS. 10A and 11A show a frame synchronizing signal FSYNC output from the display control unit 15, FIG.
10B and FIG. 11B are frame memory allocation switching timing signals CHANGE output from the frame memory allocation switching timing signal generation unit 16;
11C and 11C are decoded images output from the MPEG decoder 10, FIGS. 10D and 11D are assignment states of the frame memories 11-0 to 11-3, and FIGS.
1E shows a decoded image stored in the frame memories 11-0 to 11-3.

【0053】また、本発明のMPEG画像表示制御装置
の一実施形態9においては、1フレーム表示期間内に1
フレームのエンコード画像データのデコード処理が終了
しなかった場合、デコード遅延検出部17がこれを検出
することにより、フレームメモリ割り当て切り替えタイ
ミング信号CHANGEがマスクされるので、フレーム
メモリの割り当ての切り替えが行われないことになる。
In the ninth embodiment of the MPEG image display control device according to the present invention, one frame is displayed within one frame display period.
When the decoding processing of the encoded image data of the frame is not completed, the decoding delay detection unit 17 detects this, and the frame memory allocation switching timing signal CHANGE is masked, so that the allocation of the frame memory is switched. Will not be.

【0054】また、MPEGストリームに含まれている
リピート表示指示あるいは外部からの表示停止指示等が
あった場合には、表示リピート制御部18により、表示
のリピートが指示されることになるので、この場合も、
フレームメモリ割り当て切り替えタイミング信号CHA
NGEがマスクされ、フレームメモリの割り当ての切り
替えが行われないことになる。
When a repeat display instruction included in the MPEG stream or an external display stop instruction or the like is issued, the display repeat control unit 18 instructs display repeat. Also,
Frame memory allocation switching timing signal CHA
The NGE is masked, and the allocation of the frame memory is not switched.

【0055】すなわち、本発明のMPEG画像表示制御
装置の一実施形態9によれば、本発明のMPEG画像表
示制御方法の第3実施形態及び第4実施形態を実行する
ことができ、例えば、1フレーム表示期間内にB1画像
データのデコード処理が終了しなかった場合や、I2画
像のリピート表示指示があった場合には、例えば、図1
2に示すように動作することになる。
That is, according to the ninth embodiment of the MPEG image display control device of the present invention, the third and fourth embodiments of the MPEG image display control method of the present invention can be executed. When the decoding process of the B1 image data is not completed within the frame display period, or when the repeat display instruction of the I2 image is issued, for example, FIG.
The operation will be as shown in FIG.

【0056】なお、図12Aは表示制御部15から出力
されるフレーム同期信号FSYNC、図12Bはデコー
ド遅延部17から出力されるデコード遅延検出信号DE
LAY、図12Cは表示リピート制御部18から出力さ
れる表示リピート指示信号REPEAT、図12Dはフ
レームメモリ割り当て切り替えタイミング信号生成部1
6から出力されるフレームメモリ割り当て切り替えタイ
ミング信号CHANGE、図12EはMPEGデコーダ
10から出力されるデコード画像、図12Fはフレーム
メモリ11−0〜11−3の割り当て状態、図12Gは
フレームメモリ11−0〜11−3が格納するデコード
画像を示している。
FIG. 12A shows the frame synchronization signal FSYNC output from the display control unit 15, and FIG. 12B shows the decode delay detection signal DE output from the decode delay unit 17.
LAY, FIG. 12C is a display repeat instruction signal REPEAT output from the display repeat control unit 18, and FIG. 12D is a frame memory allocation switching timing signal generation unit 1.
12E is a decoded image output from the MPEG decoder 10, FIG. 12F is an allocation state of the frame memories 11-0 to 11-3, and FIG. 12G is a frame memory 11-0. 11 to 11-3 show the decoded images stored.

【0057】このように、本発明のMPEG画像表示制
御装置の一実施形態9によれば、本発明のMPEG画像
表示制御方法の第1実施形態〜第4実施形態を実行する
ことができるので、(1)MPEGデコーダ10におい
て、デコード画像データにエラーが発生した場合、現在
表示している画像をリピート表示するという簡単なエラ
ーコンシールメント処理を行うことにより、表示画像の
乱れを目立たせないようにすることができ、(2)複雑
な制御を行うことなく、表示フレームの割り当て変化の
タイミングで参照画像データの割り当てを行うことがで
きないという不都合を回避することができ、(3)入力
ストリームの遅延等の理由により、1フレーム表示期間
内に1フレームのエンコード画像データのデコード処理
が終了しなかった場合においても、リピート表示を行う
ことにより、不都合な画像表示を行うことなく、デコー
ド処理と表示処理との同期を取ることができ、(4)M
PEGストリームに含まれているリピート表示指示ある
いは外部からの表示停止指示等により、リピート表示を
行う場合においても、デコード処理と表示処理との同期
を取ることができる。
As described above, according to the ninth embodiment of the MPEG image display control apparatus of the present invention, the first to fourth embodiments of the MPEG image display control method of the present invention can be executed. (1) In the case where an error occurs in decoded image data in the MPEG decoder 10, a simple error concealment process of repeatedly displaying the currently displayed image is performed so that disturbance of the displayed image is not noticeable. (2) it is possible to avoid the inconvenience that reference image data cannot be allocated at the timing of display frame allocation change without performing complicated control, and (3) input stream delay For example, the decoding process of one frame of the encoded image data did not end within one frame display period. Also in case, by performing the repeat display, without undesirable image display, can be synchronized with the display processing decoding, (4) M
Even when a repeat display is performed by a repeat display instruction included in the PEG stream or an external display stop instruction, the decoding process and the display process can be synchronized.

【0058】ここで、本発明のMPEG画像表示制御方
法及び装置の内容を整理すると、本発明のMPEG画像
表示制御方法及び装置には、少なくとも、以下のMPE
G画像表示制御方法及び装置が含まれる。
Here, the contents of the MPEG image display control method and apparatus of the present invention will be summarized. The MPEG image display control method and apparatus of the present invention include at least the following MPE.
A G image display control method and device are included.

【0059】[1] MPEGデコーダにおいて、1フ
レーム表示期間内に1フレームのエンコード画像データ
のデコード処理が行われるようにMPEGストリームの
デコード処理を行い、前記MPEGデコーダから出力さ
れるデコード画像データをフレーム単位で、無効データ
を格納しているフレームメモリに書き込む工程を含んで
いることを特徴とするMPEG画像表示制御方法。
[1] In the MPEG decoder, the decoding process of the MPEG stream is performed so that the decoding process of the encoded image data of one frame is performed within one frame display period, and the decoded image data output from the MPEG decoder is converted into a frame. An MPEG image display control method characterized by including a step of writing, in units, invalid data into a frame memory storing the invalid data.

【0060】[2] 前記[1]に記載のMPEG画像
表示制御方法において、前記1フレームのエンコード画
像データのデコード処理は、該当フレームの画像ヘッダ
後、前記該当フレームの画像データ前から開始し、次の
フレームの画像ヘッダ後、前記次のフレームの画像デー
タ前に停止することを特徴とするMPEG画像表示制御
方法。
[2] In the MPEG image display control method according to the above [1], the decoding process of the encoded image data of the one frame is started after the image header of the frame and before the image data of the frame. An MPEG image display control method, comprising: stopping after an image header of a next frame and before the image data of the next frame.

【0061】[3] 前記[1]に記載のMPEG画像
表示制御方法において、前記1フレームのエンコード画
像データのデコード処理が1フレーム表示期間内に終了
しなかった場合には、現在表示しているフレーム画像を
リピート表示させ、次のデコード処理は、次に表示切り
替えが行われるまで行わないことを特徴とするMPEG
画像表示制御方法。
[3] In the MPEG image display control method according to [1], if the decoding process of the encoded image data of one frame is not completed within one frame display period, the current display is performed. MPEG, wherein the frame image is displayed repeatedly, and the next decoding process is not performed until the next display switching is performed.
Image display control method.

【0062】[4] 前記[1]に記載のMPEG画像
表示制御方法において、リピート表示を行う場合には、
リピート表示の終了後の表示切り替えタイミングまでデ
コード処理を待機することを特徴とするMPEG画像表
示制御方法。
[4] In the MPEG image display control method according to [1], when repeat display is performed,
An MPEG image display control method, wherein a decoding process is waited until a display switching timing after the end of the repeat display.

【0063】[5] 1フレーム表示期間内に1フレー
ムのエンコード画像データのデコード処理を行うように
してMPEGストリームをデコード処理するMPEGデ
コーダと、表示画像データ格納フレームメモリ、デコー
ド画像データ格納フレームメモリ及び第1、第2の参照
画像データ格納フレームメモリが同時に存在するよう
に、前記表示画像データ格納フレームメモリ、前記デコ
ード画像データ格納フレームメモリ及び前記第1、第2
の参照画像データ格納フレームメモリのいずれかに切り
替え可能に割り当てられる複数のフレームメモリを備え
ていることを特徴とするMPEG画像表示制御装置。
[5] An MPEG decoder that decodes an MPEG stream by performing decoding of one frame of encoded image data within one frame display period, a display image data storage frame memory, a decoded image data storage frame memory, and The display image data storage frame memory, the decoded image data storage frame memory, and the first and second display image data storage frame memories so that the first and second reference image data storage frame memories simultaneously exist.
An MPEG image display control device, comprising: a plurality of frame memories which are switchably assigned to any of the reference image data storage frame memories.

【0064】[6] 前記[5]に記載のMPEG画像
表示制御装置において、前記MPEGデコーダは、前記
1フレームのエンコード画像データのデコード処理を、
該当フレームの画像ヘッダ後、前記該当フレームの画像
データ前から開始し、次のフレームの画像ヘッダ後、前
記次のフレームの画像データ前に停止することを特徴と
するMPEG画像表示制御装置。
[6] In the MPEG image display control device according to the above [5], the MPEG decoder performs a decoding process on the encoded image data of one frame.
An MPEG image display control device, which starts after an image header of a corresponding frame and before the image data of the corresponding frame, and stops after an image header of the next frame and before the image data of the next frame.

【0065】[7] 前記[5]に記載のMPEG画像
表示制御装置において、前記MPEGデコーダは、前記
1フレームのエンコード画像データのデコード処理が1
フレーム表示期間内に終了しなかった場合には、現在表
示しているフレーム画像をリピート表示させ、次のデコ
ード処理は、次に表示切り替えが行われるまで行わない
ことを特徴とするMPEG画像表示制御装置。
[7] In the MPEG image display control device according to the above [5], the MPEG decoder performs decoding of the encoded image data of one frame by one.
MPEG image display control, characterized in that if not completed within the frame display period, the currently displayed frame image is displayed repeatedly, and the next decoding process is not performed until the next display switching is performed. apparatus.

【0066】[8] 前記[5]に記載のMPEG画像
表示制御装置において、前記MPEGデコーダは、リピ
ート表示を行う場合には、リピート表示の終了後の表示
切り替えタイミングまでデコード処理を待機することを
特徴とするMPEG画像表示制御装置。
[8] In the MPEG image display control device according to the above [5], when performing the repeat display, the MPEG decoder waits for a decoding process until a display switching timing after the end of the repeat display. A characteristic MPEG image display control device.

【0067】[0067]

【発明の効果】以上のように、本発明のMPEG画像表
示制御方法によれば、デコード処理と表示処理とをフレ
ーム単位で同期づけることができ、しかも、MPEGデ
コーダから出力されるデコード画像データを、無効デー
タを格納しているフレームメモリに格納し、現に表示さ
れている画像の基データであるデコード画像データを格
納しているフレームメモリには書き込まないようにする
ことができるので、MPEGデコーダにおいて、デコー
ド画像データにエラーが発生した場合、現に表示してい
る画像をリピート表示するという簡単なエラーコンシー
ルメント処理を行うことにより、表示画像の乱れを目立
たせないようにすることができる。
As described above, according to the MPEG image display control method of the present invention, the decoding process and the display process can be synchronized on a frame basis, and the decoded image data output from the MPEG decoder can be synchronized. Can be stored in the frame memory storing the invalid data and not written into the frame memory storing the decoded image data which is the base data of the image currently displayed. When an error occurs in the decoded image data, a simple error concealment process of repeatedly displaying the currently displayed image can be performed so that the disturbance of the displayed image is not noticeable.

【0068】また、本発明のMPEG画像表示制御装置
によれば、本発明のMPEG画像表示制御方法を実行
し、MPEGデコーダにおいて、デコード画像データに
エラーが発生した場合、現に表示している画像をリピー
ト表示するという簡単なエラーコンシールメント処理を
行うことにより、表示画像の乱れを目立たせないように
することができる。
According to the MPEG image display control device of the present invention, the MPEG image display control method of the present invention is executed, and when an error occurs in decoded image data in the MPEG decoder, the currently displayed image is displayed. By performing a simple error concealment process of performing a repeat display, it is possible to make disturbance of a display image inconspicuous.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明のMPEG画像表示制御方法の第1実施
形態の第1具体例を示すタイミングチャートである。
FIG. 1 is a timing chart showing a first specific example of the first embodiment of the MPEG image display control method of the present invention.

【図2】本発明のMPEG画像表示制御方法の第1実施
形態の第2具体例を示すタイミングチャートである。
FIG. 2 is a timing chart showing a second specific example of the first embodiment of the MPEG image display control method of the present invention.

【図3】本発明のMPEG画像表示制御方法の第2実施
形態の具体例を示すタイミングチャートである。
FIG. 3 is a timing chart showing a specific example of a second embodiment of the MPEG image display control method of the present invention.

【図4】参照画像データの割り当て動作例を示すタイミ
ングチャートである。
FIG. 4 is a timing chart showing an example of an operation of allocating reference image data.

【図5】MPEGストリームの構造を概略的に示す図で
ある。
FIG. 5 is a diagram schematically showing a structure of an MPEG stream.

【図6】1フレーム画像ストリームのデコード処理を1
フレーム表示処理に同期させて行う場合に発生する問題
点を説明するためのタイミングチャートである。
FIG. 6 shows decoding processing of one frame image stream as 1
6 is a timing chart for explaining a problem that occurs when the processing is performed in synchronization with the frame display processing.

【図7】本発明のMPEG画像表示制御方法の第3実施
形態の具体例を示すタイミングチャートである。
FIG. 7 is a timing chart showing a specific example of the third embodiment of the MPEG image display control method of the present invention.

【図8】本発明のMPEG画像表示制御方法の第4実施
形態の具体例を示すタイミングチャートである。
FIG. 8 is a timing chart showing a specific example of the fourth embodiment of the MPEG image display control method of the present invention.

【図9】本発明のMPEG画像表示制御装置の一実施形
態を備えるMPEG画像表示装置の要部を示すブロック
回路図である。
FIG. 9 is a block circuit diagram showing a main part of an MPEG image display device including one embodiment of the MPEG image display control device of the present invention.

【図10】図9に示すMPEG画像表示装置の第1動作
例を示すタイミングチャートである。
10 is a timing chart showing a first operation example of the MPEG image display device shown in FIG.

【図11】図9に示すMPEG画像表示装置の第2動作
例を示すタイミングチャートである。
11 is a timing chart showing a second operation example of the MPEG image display device shown in FIG.

【図12】図9に示すMPEG画像表示装置の第3動作
例を示すタイミングチャートである。
12 is a timing chart showing a third operation example of the MPEG image display device shown in FIG.

【図13】従来のMPEG画像表示装置の一例の要部を
示すブロック回路図である。
FIG. 13 is a block circuit diagram showing a main part of an example of a conventional MPEG image display device.

【図14】図13に示す従来のMPEG画像表示装置の
動作例を示すタイミングチャートである。
FIG. 14 is a timing chart showing an operation example of the conventional MPEG image display device shown in FIG.

【図15】図13に示す従来のMPEG画像表示制御装
置が有する問題点を説明するためのタイミングチャート
である。
FIG. 15 is a timing chart for explaining problems of the conventional MPEG image display control device shown in FIG.

【符号の説明】[Explanation of symbols]

(図9) 20 デコード画像データ格納フレームメモリ指定レジ
スタ 21 前方参照画像データ格納フレームメモリ指定レジ
スタ 22 後方参照画像データ格納フレームメモリ指定レジ
スタ 23 表示画像データ格納フレームメモリ指定レジスタ dec デコード画像データ格納フレームメモリ指定信
号 fwd 前方参照画像データ格納フレームメモリ指定信
号 bwd 後方参照画像データ格納フレームメモリ指定信
号 disp 表示画像データ格納フレームメモリ指定信号 FSYNC フレーム同期信号 CHANGE フレームメモリ割り当て切り替えタイミ
ング信号
(FIG. 9) 20 Decoded image data storage frame memory specification register 21 Forward reference image data storage frame memory specification register 22 Back reference image data storage frame memory specification register 23 Display image data storage frame memory specification register dec Decoded image data storage frame memory specification Signal fwd Forward reference image data storage frame memory designation signal bwd Rear reference image data storage frame memory designation signal disp Display image data storage frame memory designation signal FSYNC Frame synchronization signal CHANGE Frame memory allocation switching timing signal

───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5C053 GB06 GB08 GB15 GB21 GB29 GB30 GB37 HA33 HA40 HB10 KA03 KA04 KA08 KA24 LA06 5C059 KK01 LB13 MA00 PP05 PP06 RB09 RC02 RF01 RF09 SS02 UA05 UA31 UA33 5C082 AA02 AA37 BA41 BB15 BB26 BB46 BC03 CA85 CB01 DA54 MM10  ──────────────────────────────────────────────────続 き Continued on the front page F-term (reference) CA85 CB01 DA54 MM10

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】MPEGデコーダにおいて、1フレーム表
示期間内に1フレームのエンコード画像データのデコー
ド処理が行われるようにMPEGストリームのデコード
処理を行い、前記MPEGデコーダから出力されるデコ
ード画像データをフレーム単位で、無効データを格納し
ているフレームメモリに書き込む工程を含んでいること
を特徴とするMPEG画像表示制御方法。
An MPEG decoder decodes an MPEG stream so that one frame of encoded image data is decoded within one frame display period, and decodes the decoded image data output from the MPEG decoder in frame units. A step of writing invalid data into a frame memory storing invalid data.
【請求項2】1フレーム表示期間内に1フレームのエン
コード画像データのデコード処理を行うようにしてMP
EGストリームをデコード処理するMPEGデコーダ
と、表示画像データ格納フレームメモリ、デコード画像
データ格納フレームメモリ及び第1、第2の参照画像デ
ータ格納フレームメモリが同時に存在するように、前記
表示画像データ格納フレームメモリ、前記デコード画像
データ格納フレームメモリ及び前記第1、第2の参照画
像データ格納フレームメモリのいずれかに切り替え可能
に割り当てられる複数のフレームメモリを備えているこ
とを特徴とするMPEG画像表示制御装置。
2. A method of decoding one frame of encoded image data within one frame display period.
The display image data storage frame memory so that the MPEG decoder for decoding the EG stream, the display image data storage frame memory, the decoded image data storage frame memory, and the first and second reference image data storage frame memories simultaneously exist. An MPEG image display control device, comprising: a plurality of frame memories that are switchably assigned to one of the decoded image data storage frame memory and the first and second reference image data storage frame memories.
JP29897799A 1999-10-21 1999-10-21 MPEG image display control method and apparatus Expired - Fee Related JP4164966B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP29897799A JP4164966B2 (en) 1999-10-21 1999-10-21 MPEG image display control method and apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP29897799A JP4164966B2 (en) 1999-10-21 1999-10-21 MPEG image display control method and apparatus

Publications (3)

Publication Number Publication Date
JP2001119693A true JP2001119693A (en) 2001-04-27
JP2001119693A5 JP2001119693A5 (en) 2004-12-02
JP4164966B2 JP4164966B2 (en) 2008-10-15

Family

ID=17866649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP29897799A Expired - Fee Related JP4164966B2 (en) 1999-10-21 1999-10-21 MPEG image display control method and apparatus

Country Status (1)

Country Link
JP (1) JP4164966B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335965B2 (en) 2007-08-28 2012-12-18 Fujitsu Limited Semiconductor device and method of controlling the same

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8335965B2 (en) 2007-08-28 2012-12-18 Fujitsu Limited Semiconductor device and method of controlling the same

Also Published As

Publication number Publication date
JP4164966B2 (en) 2008-10-15

Similar Documents

Publication Publication Date Title
JP4889573B2 (en) Image processing device
JPH0344283A (en) Character broadcast decoder for reception of circularly sentout character broadcast
JPH08305860A (en) Image decoding display device
JP4879381B2 (en) Image decoding method and image decoding apparatus
US6445419B1 (en) Image processing apparatus
JP3578528B2 (en) Data decoder circuit
JP2001119693A (en) MPEG image display control method and apparatus
KR100757735B1 (en) A method of determining a horizontal line activation time for minimizing memory in a display device, a method of performing IP using the same, and a display device using the same.
US6278835B1 (en) Method of controlling repetitive reading of group of pictures (GOP) data from a storage medium, and an apparatus therefor
JPH09116827A (en) Reduction video signal processing circuit
JP2000013639A (en) Image signal processing device
JP2002271751A (en) Display control method and device
JP3098485B2 (en) Image decoding device
JP2003288067A (en) Image display device
JP2004341149A (en) Image display device and image display method
JP2000310985A (en) Buffer control device and semiconductor integrated circuit
JP3171178B2 (en) MPEG video decoding device
JPH04130882A (en) video printer
JP3118911B2 (en) Control signal multiplexer
JP3048162B2 (en) Image receiving and playback device
KR100438719B1 (en) Apparatus and method for playing image signal
JP2003236172A (en) Image display device for pachinko game machine and control method therefor
JP3928301B2 (en) Image display method and apparatus
JP2687881B2 (en) HDTV signal decoding device
JPH03114096A (en) Image decoding device

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060516

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060530

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060728

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080708

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080721

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110808

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120808

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130808

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees