[go: up one dir, main page]

JPH0746533A - Recording device for digital image signal - Google Patents

Recording device for digital image signal

Info

Publication number
JPH0746533A
JPH0746533A JP20450593A JP20450593A JPH0746533A JP H0746533 A JPH0746533 A JP H0746533A JP 20450593 A JP20450593 A JP 20450593A JP 20450593 A JP20450593 A JP 20450593A JP H0746533 A JPH0746533 A JP H0746533A
Authority
JP
Japan
Prior art keywords
information
image
background
memory
recording
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP20450593A
Other languages
Japanese (ja)
Other versions
JP3263749B2 (en
Inventor
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP20450593A priority Critical patent/JP3263749B2/en
Priority to KR1019940016622A priority patent/KR100292138B1/en
Publication of JPH0746533A publication Critical patent/JPH0746533A/en
Priority to US08/748,024 priority patent/US5706367A/en
Priority to US08/904,930 priority patent/US6335988B1/en
Priority to US08/904,928 priority patent/US6275617B1/en
Application granted granted Critical
Publication of JP3263749B2 publication Critical patent/JP3263749B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

PURPOSE:To provide the recording device which can reproduce moving images with high picture quality and smooth movement on the reproducing side by recording digital image signal as a little information quantity as much as possible. CONSTITUTION:An input digital image signal is previously divided into the still picture information of a background image and the information of a mobile object to move on this background image. The still picture information of the background image is stored in a memory 23 BG. The background image is separated from the input digital image signal, and the change information of this separated background still picture corresponding to the background image in the memory 23 BG is calculated. A recording medium 11 records the still picture information of the memory 23 BG, the change information and the information of the mobile object. The still picture information of the memory 23 BG is updated based on the change information. Signals recorded in the recording medium 11 are reproduced, and the change information is reformed by using the still picture information in the updated memory 23 BG. The recording medium 11 records again the still picture information updated in the memory 23 BG, the reformed change information and the information of the mobile object.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【産業上の利用分野】この発明は、低ビットレートでの
記録が可能な、デジタル画像信号の記録装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a digital image signal recording apparatus capable of recording at a low bit rate.

【0002】[0002]

【従来の技術】動画像のデジタル画像データは、非常に
多量の情報を含んでおり、これをそのまま伝送しようと
すると、伝送ビットレートが非常に高くなってしまう。
このため、磁気テープや光磁気ディスクなどを用いてデ
ジタル画像データを記録再生するように、伝送ビットレ
ートが制限された低いレートの記録媒体を用いて記録す
るようにする場合には、従来は、一般的に、画像が時空
間の情報であることを利用してデータ圧縮するようにし
ている。
2. Description of the Related Art Digital image data of a moving image contains a very large amount of information, and if it is transmitted as it is, the transmission bit rate becomes very high.
Therefore, when recording is performed using a low-rate recording medium whose transmission bit rate is limited, such as recording and reproducing digital image data using a magnetic tape or a magneto-optical disk, conventionally, Generally, data is compressed by utilizing the fact that an image is spatiotemporal information.

【0003】例えば、デジタル画像データのフレーム間
の差を取り、その差をDCT(ディスクリート・コサイ
ン・トランスフォーム(離散コサイン変換))を用いて
データ圧縮するなど、デジタル画像データを圧縮して記
録するようにすることが、従来から行なわれている。さ
らには、テレビ会議などでは、画像が動きが少ないもの
であることに鑑み、フルフレームを記録するのではな
く、片フィールドのデータのみを記録するようにするな
ど、情報量を間引いて記録することなども行なわれてい
る。
For example, a difference between frames of digital image data is taken, and the difference is compressed by DCT (discrete cosine transform (discrete cosine transform)) to record the compressed digital image data. This is conventionally done. Furthermore, in a video conference, etc., in consideration of the small amount of motion in the image, it is necessary to thin out the amount of information, such as recording only one-field data instead of recording a full frame. And so on.

【0004】片フィールドではなく、さらに記録するフ
ィールド数を少なくして時間情報を犠牲にし、空間情報
は確保することにより、画像は綺麗であるが、動きがギ
クシャクするような場合もある。
The number of fields to be recorded is reduced instead of one field, and the time information is sacrificed and the spatial information is secured, so that the image is beautiful but the motion may be jerky.

【0005】しかし、このように動きがギクシャクした
のでは、動画の良さが損なわれるので、1フレームあた
りの画像データを、できるだけデータ圧縮してフルフレ
ームを伝送し、空間解像度を犠牲にするが、動画として
フルモーションで再生できるようにする方法も考えられ
ている。
However, if the motion is jerky in this way, the goodness of the moving image is impaired. Therefore, the image data per frame is compressed as much as possible to transmit the full frame, but the spatial resolution is sacrificed. A method of enabling full-motion playback as a video is also being considered.

【0006】[0006]

【発明が解決しようとする課題】上述したように、従来
のデジタル画像信号の記録方法は、画像データを、時間
方向、あるいは空間方向にデータ圧縮して記録伝送レー
トを下げるように工夫している。
As described above, the conventional digital image signal recording method is devised so as to reduce the recording transmission rate by compressing image data in the time direction or the space direction. .

【0007】しかしながら、データ圧縮のみにより記録
伝送ビットレートを下げるようにした場合、例えば、時
間方向に圧縮した場合には、動画像の動きが、ギクシャ
クとしたものとなり不自然な画像となってしまう。ま
た、空間方向に圧縮した時は、空間解像度がそれだけ劣
化するため、再生画像が劣化してしまう。
However, when the recording / transmission bit rate is reduced by only data compression, for example, when compressed in the time direction, the motion of the moving image becomes jerky and becomes an unnatural image. . Further, when compressed in the spatial direction, the spatial resolution is deteriorated to that extent, so that the reproduced image is deteriorated.

【0008】すなわち、従来の方法は、データ圧縮のみ
によりビットレートを下げるようにしているため、時間
方向あるいは空間方向のデータの一方を犠牲、あるいは
両方を犠牲にしており、再生画像として満足のゆくもの
を得ることは、なかなかできなかったのである。
That is, in the conventional method, since the bit rate is reduced only by the data compression, one or both of the data in the time direction and the data in the space direction is sacrificed, and the reproduced image is satisfactory. It was hard to get anything.

【0009】この発明は、記録伝送レートが低くても、
できるだけ美しい再生画が得られると同時に、動きがス
ムーズにできるように工夫した、デジタル画像信号の記
録装置を提供することを目的としている。
According to the present invention, even if the recording transmission rate is low,
It is an object of the present invention to provide a recording device for digital image signals, which is devised so that a beautiful reproduced image can be obtained as much as possible and the movement can be smooth.

【0010】[0010]

【課題を解決するための手段】上記課題を解決するた
め、請求項1に記載のこの発明によるデジタル画像信号
の記録装置は、予め入力デジタル画像信号から、背景画
の静止画情報と、この背景画上を動く動き物体の情報と
に分ける手段22と、上記背景画の静止画情報を記憶す
るメモリ手段23BGと、入力デジタル画像信号から背
景画の静止画を分離し、この分離した静止画の、上記メ
モリ手段23BGの背景画に対する変化情報を求める手
段と、上記メモリ手段23BGの静止画情報と、上記変
化情報及び上記動き物体の情報とを記録媒体に記録する
手段と、上記メモリ手段の静止画情報を上記変化情報に
基づいて更新する手段と、上記記録媒体に記録された信
号を再生し、上記更新されたメモリ手段の静止画情報を
用いて上記変化情報を形成し直す手段と、上記メモリ手
段の更新された静止画情報、上記形成し直された変化情
報及び動き物体の情報を上記記録媒体に再記録する手段
とを備えること特徴とする。
In order to solve the above-mentioned problems, a digital image signal recording apparatus according to the present invention as set forth in claim 1 uses still image information of a background image and the background image from an input digital image signal in advance. A means 22 for dividing the image into information of a moving object, a memory means 23BG for storing the still image information of the background image, a background still image from the input digital image signal, and a separation of the separated still image. Means for obtaining change information for the background image of the memory means 23BG, means for recording the still image information of the memory means 23BG, the change information and the information of the moving object on a recording medium, and the still means for stopping the memory means. Means for updating image information on the basis of the change information, and a signal recorded on the recording medium for reproducing the change information by using the updated still image information in the memory means. Means for re-forming, characterized by comprising a means for re-recording the updated still image information of the memory means, the information of the change information and the moving object, which is re-above formed on the recording medium.

【0011】また、請求項2に記載のこの発明によるデ
ジタル画像信号の記録装置は、予め入力デジタル画像信
号から、その画面を構成する背景画の静止画からなる背
景プレーン情報と、上記背景画上を動く動き物体のそれ
ぞれの静止画からなる1〜複数個の動物体プレーン情報
とを分離する分離手段と、上記分離された背景プレーン
情報及び各動物体プレーン情報をそれぞれ個別に記憶す
るメモリ手段と、上記入力デジタル画像信号及び上記メ
モリ手段の出力に基づいて、上記プレーン情報としてメ
モリ手段に記憶された静止画に対する変化情報を検出す
る変化情報検出手段と、上記メモリ手段の上記複数のプ
レーン情報の静止画情報と、上記変化情報検出手段から
の変化情報とを記録媒体に記録する手段と、上記メモリ
手段の静止画情報を上記変化情報に基づいて更新する手
段と、上記記録媒体に記録された信号を再生し、上記更
新されたメモリ手段の静止画情報を用いて上記変化情報
を形成し直す手段と、上記メモリ手段の更新された静止
画情報と、上記形成し直された変化情報とを上記記録媒
体に再記録する手段とを備えることを特徴とする。
According to a second aspect of the present invention, there is provided a digital image signal recording apparatus according to the present invention, in which, from the input digital image signal, background plane information consisting of a still image of a background image constituting the screen and the above background image are displayed. Separating means for separating one to a plurality of moving object plane information consisting of respective still images of moving objects, and memory means for individually storing the separated background plane information and each moving object plane information A change information detection means for detecting change information for the still image stored in the memory means as the plane information based on the input digital image signal and the output of the memory means, and the plurality of plane information of the memory means. Means for recording on the recording medium the still picture information and the change information from the change information detecting means, and the still picture information in the memory means Means for updating based on the change information, means for reproducing the signal recorded on the recording medium, and means for re-forming the change information using the updated still picture information in the memory means, It is characterized by comprising means for re-recording the updated still image information and the re-formed change information on the recording medium.

【0012】[0012]

【作用】この発明の構成においては、例えば、特定の画
像内容からなる1つのシーンについて考えた時、そのシ
ーンの画像は、固定の静止画と考えられる背景画と、動
き物体とに分けてとらえる。特に、請求項2の発明にお
いては、動画の1フレームの二次元画像を、背景及び複
数個の動き物体のそれぞれの静止画からなる二次元プレ
ーンの重なりと捕らえる。
In the structure of the present invention, for example, when one scene consisting of specific image contents is considered, the image of the scene is divided into a background image considered as a fixed still image and a moving object. . In particular, according to the second aspect of the present invention, a one-frame two-dimensional image of a moving image is regarded as an overlap of two-dimensional planes composed of a background and still images of a plurality of moving objects.

【0013】この請求項2の発明の作用について、以下
説明する。先ず、予め、分離した背景画の静止画(背景
プレーン)と、各動き物体の静止画(動物体プレーン)
とを、メモリ手段に記憶しておく。そして、この記憶し
た静止画は、圧縮率の少ない状態で、時間を掛けて記録
媒体に記録する。つまり、高解像度の静止画を記録でき
る。
The operation of the invention of claim 2 will be described below. First, a still image of a background image (background plane) that has been separated in advance and a still image of each moving object (animal plane)
And are stored in the memory means. Then, the stored still image is recorded on the recording medium over a period of time in a state where the compression rate is low. That is, a high-resolution still image can be recorded.

【0014】この準備の記録の終了後に、動画の入力デ
ジタル画像信号の記録を行うが、その際に記録するの
は、背景画の変化分、及び動画情報あるいは動き物体の
静止画に対する動き変化情報のみである。動きなどの変
化分だけであるので、情報量は少なく、リアルタイムで
記録することが可能である。
After the recording of this preparation is completed, the input digital image signal of the moving image is recorded. At this time, the change amount of the background image and the moving image information or the motion change information of the moving object with respect to the still image are recorded. Only. Since the amount of change is only the movement, the amount of information is small and it is possible to record in real time.

【0015】再生側では、背景画の上に、動き物体を、
その変化情報に応じて重ねることにより、動画を再生す
ることができる。
On the reproducing side, a moving object is displayed on the background image.
A moving image can be played back by superimposing it according to the change information.

【0016】この場合、それぞれの背景プレーン及び動
き物体プレーンは1枚の静止画であって、この静止画の
情報は、予め準備して記録するもので、低い記録伝送レ
ートであっても、大量のデータ量を記録伝送することが
できる。したがって、高画質となる。そして、変化情報
は、少ないビット数でよいので、余裕を持ってリアルタ
イムで記録することが可能である。
In this case, each of the background plane and the moving object plane is one still image, and the information of this still image is prepared and recorded in advance. Even if the recording transfer rate is low, a large amount of information is obtained. The data amount can be recorded and transmitted. Therefore, the image quality is high. Since the change information may have a small number of bits, it can be recorded in real time with a margin.

【0017】ところで、例えば背景画について考える
と、背景画の変化により記録終了後には、1画面より広
い画枠範囲の背景が記録媒体には記録されていることに
なる。そして、背景の変化分はリアルタイムで記録され
ている。この変化情報は、その都度、更新手段により背
景プレーンに付加して、メモリに記録しておくことがで
きる。
By the way, considering a background image, for example, a background having a wider image frame range than one screen is recorded on the recording medium after recording is completed due to a change in the background image. Then, the amount of change in the background is recorded in real time. This change information can be added to the background plane by the updating means each time and recorded in the memory.

【0018】この発明では、記録終了後、この背景画と
して大きい画枠の静止プレーンを用いて、記録信号の再
記録を行う。この際には、背景画の静止画情報として、
その大きい画枠の静止画情報を予め記録する。そして、
背景画の変化情報としては、例えば記録された背景画上
での1画面としての画枠位置情報のみを記録するように
する。この画枠位置情報は、静止画の変化分の画像情報
に比べて情報量が非常に少なくなる。したがって、再記
録を行うことにより、画質の劣化を生じることなく、記
録情報量の低減を計ることができる。
In the present invention, after the recording is completed, the recording signal is re-recorded by using the still plane of the large image frame as the background image. At this time, as the still image information of the background image,
The still image information of the large image frame is recorded in advance. And
As the change information of the background image, for example, only the image frame position information for one screen on the recorded background image is recorded. The image frame position information has a much smaller amount of information than the image information corresponding to the change in the still image. Therefore, by re-recording, it is possible to reduce the amount of recorded information without degrading the image quality.

【0019】以上のことを、背景画だけではなく、動き
物体についても行うことができる。この場合には、動き
物体の回転などの変化に応じた静止画を動物体プレーン
として用意すると、なおデータ削減効果が大きい。
The above can be performed not only on the background image but also on the moving object. In this case, if a still image corresponding to a change such as rotation of a moving object is prepared as a moving object plane, the data reduction effect is still large.

【0020】再記録は、何回も繰り返し行うことで、さ
らにデータ削減ができる。この発明の場合の再生画像の
品質の殆どは、プレーンとして記録する静止画に関わっ
ているので、繰り返して記録を行なっても、プレーンと
して記録する静止画の劣化はないので、画質劣化は殆ど
ない。
Data can be further reduced by repeating the re-recording many times. Most of the quality of the reproduced image in the case of the present invention is related to the still image recorded as a plane. Therefore, even if recording is repeatedly performed, the still image recorded as a plane is not deteriorated, so that the image quality is hardly deteriorated. .

【0021】[0021]

【実施例】以下、この発明によるデジタル画像信号の記
録装置の一実施例を、光磁気ディスクを記録媒体として
用いるディスク装置に適用した場合について、図を参照
しながら説明する。
DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of a digital image signal recording apparatus according to the present invention will be described below with reference to the drawings when applied to a disk apparatus using a magneto-optical disk as a recording medium.

【0022】この例の装置は、例えばCCD固体撮像素
子を用いるビデオカメラ部を備え、このビデオカメラで
撮影して得た画像信号を、A/Dコンバータにより、デ
ジタル画像信号に変換して、光磁気ディスクに記録する
ものである。そして、この例の装置では、後述する再生
装置の部分を記録装置と共に備えるものである。
The apparatus of this example is equipped with a video camera section using, for example, a CCD solid-state image pickup device, and an image signal obtained by shooting with this video camera is converted into a digital image signal by an A / D converter to generate an optical signal. It is recorded on a magnetic disk. The apparatus of this example is provided with a reproducing apparatus section, which will be described later, together with the recording apparatus.

【0023】[デジタル画像信号のディスク記録装置の
説明]図1は、この例の装置のディスク駆動系及びブロ
ック図を示し、この例の装置は、ビデオカメラ部1と、
記録信号系2と、全体の制御を行うためのシステムコン
トローラ3と、ディスク駆動系10とからなり、ビデオ
カメラ部1の撮像出力信号が、記録信号系2を介して記
録されるようにされている。
[Description of Disc Recording Device for Digital Image Signal] FIG. 1 shows a disc drive system and a block diagram of the device of this example. The device of this example comprises a video camera section 1 and
A recording signal system 2, a system controller 3 for controlling the entire system, and a disk drive system 10 are provided, and the image pickup output signal of the video camera unit 1 is recorded via the recording signal system 2. There is.

【0024】ディスク駆動系10において、11は光磁
気ディスクである。この光磁気ディスク11は、カート
リッジ11A内に収納されて構成されている。また、デ
ィスク11には、予め、光スポット制御用(トラッキン
グ制御用)のプリグルーブが形成されていると共に、こ
の例の場合には、このプリグルーブにトラッキング用の
ウォブリング信号に重畳して絶対アドレスデータが記録
されている。この絶対アドレスデータは、この記録時の
記録トラック位置制御、また、後述する再生時の再生走
査トラック位置制御のために用いられる。
In the disk drive system 10, 11 is a magneto-optical disk. The magneto-optical disk 11 is housed in a cartridge 11A. In addition, a pregroove for controlling a light spot (for tracking control) is formed in advance on the disk 11, and in the case of this example, the pregroove is superposed on a wobbling signal for tracking to obtain an absolute address. Data is recorded. This absolute address data is used for recording track position control at the time of this recording, and for reproduction scanning track position control at the time of reproduction described later.

【0025】ディスク11は、スピンドルモータ12に
より回転される。スピンドルモータ12の回転は、サー
ボ制御回路15により制御され、ディスク11が、例え
ば線速度一定の状態で回転するように制御される。
The disk 11 is rotated by a spindle motor 12. The rotation of the spindle motor 12 is controlled by the servo control circuit 15, and the disk 11 is controlled so as to rotate at a constant linear velocity, for example.

【0026】ディスク11にはシャッターが設けられて
おり、ディスク11がディスク装着トレイ上に載置さ
れ、装置に装填されると、シャッターが開かれる。そし
て、ディスク11のシャッター開口部の上部には記録用
の磁気ヘッド13が対向して配置され、ディスク11の
シャッター開口部の下部には光ピックアップ14が対向
して配置される。
The disk 11 is provided with a shutter. When the disk 11 is placed on the disk mounting tray and loaded in the apparatus, the shutter is opened. A magnetic head 13 for recording is arranged facing the upper part of the shutter opening of the disk 11, and an optical pickup 14 is arranged facing the lower part of the shutter opening of the disk 11.

【0027】光ピックアップ14は発光部と受光部とを
有し、送りモータ16により、ディスク11の径方向に
移動制御される。また、サーボ制御回路15により、光
ピックアップ14のフォーカス及びトラッキング制御が
なされる。
The optical pickup 14 has a light emitting portion and a light receiving portion, and movement of the optical pickup 14 in the radial direction of the disk 11 is controlled by a feed motor 16. Further, the servo control circuit 15 controls focus and tracking of the optical pickup 14.

【0028】システムコントローラ3は、マイクロコン
ピュータを搭載して構成されており、全体の動作を管理
している。このシステムコントローラ3には、キー群4
からキー入力信号が与えられる。キー群4には、撮像録
画スタンバイキー、撮像録画スタートキー、再生キー、
停止キーなどが含まれる。
The system controller 3 is constructed by mounting a microcomputer and manages the entire operation. This system controller 3 has a key group 4
Gives a key input signal. The key group 4 includes an imaging / recording standby key, an imaging / recording start key, a playback key,
A stop key etc. are included.

【0029】この例の場合、ビデオカメラ部1で撮影し
た動画像は、固定背景部と、その背景上で動く動き部分
とに分けて記録する。固定背景部は、後述する背景プレ
ーンメモリ23BGに登録して、静止画として記録す
る。
In the case of this example, the moving image photographed by the video camera unit 1 is recorded separately into a fixed background portion and a moving portion moving on the background. The fixed background portion is registered in the background plane memory 23BG described later and recorded as a still image.

【0030】動き部分は、各々の動き物体にそれぞれ分
離し、後述する動物体プレーンメモリ23A1〜23A
nのそれぞれに登録して、その動き物体の静止画を記録
すると共に、各動物体プレーンの動き物体についての変
化情報を記録する。
The moving parts are separated into moving objects, and moving object plane memories 23A1 to 23A to be described later are provided.
Registered in each of the n, the still image of the moving object is recorded, and the change information about the moving object of each moving object plane is recorded.

【0031】撮像画像が例えば図2に示すような2次元
画像30の場合、図に示すように、動きのない建造物な
どからなる固定の静止画が背景プレーン31として抽出
される。そして、動き物体としては、図2の例では、飛
行機と、猿と、自動車とが認識されて、それぞれ動物体
プレーン32、33、34として分離される。
When the picked-up image is a two-dimensional image 30 as shown in FIG. 2, for example, a fixed still image composed of a stationary structure is extracted as the background plane 31 as shown in the figure. In the example of FIG. 2, an airplane, a monkey, and a car are recognized as moving objects, and they are separated as moving object planes 32, 33, and 34, respectively.

【0032】そして、この例においては、図3に示すよ
うに、1シーンの記録を、準備期間と、実際の撮像録画
期間とに分けて行う。そして、準備期間において、上述
の背景プレーンと動物体プレーンの静止画の記録処理を
行う。実際の撮像録画期間では、背景プレーンの変化情
報と、上記各動物体プレーンとしての動き物体の変化情
報のみを記録する。
Then, in this example, as shown in FIG. 3, recording of one scene is divided into a preparation period and an actual imaging and recording period. Then, during the preparation period, the above-mentioned still image recording process of the background plane and the moving object plane is performed. In the actual image capturing / recording period, only the change information of the background plane and the change information of the moving object as each moving body plane are recorded.

【0033】[準備期間の記録]この場合、1画面分の
情報は、例えば図4に示すように、480ライン×72
0画素で構成し、また、1画素のデータを、輝度信号Y
(8ビット)及び色情報U、V(8ビット)とで構成す
る。この例の場合、動物体プレーンメモリ23A1〜2
3Anは、この1画面分の静止画情報を書き込むことが
できる容量のメモリで構成可能であるが、背景プレーン
メモリ23BGは、図5に示すように、1画面分の画素
情報以上の、この例では複数画面分の画素情報を記憶可
能な大容量メモリの構成とされる。すなわち、背景プレ
ーンメモリ23BGは、垂直方向に(480×a)ライ
ン、水平方向に(720×b)画素の画素サンプルデー
タを書き込むことができる容量を備える。a及びbは、
1以上の数値である。
[Recording of Preparation Period] In this case, the information for one screen is, for example, 480 lines × 72 as shown in FIG.
It is composed of 0 pixels, and the data of 1 pixel is used as the luminance signal Y.
(8 bits) and color information U, V (8 bits). In the case of this example, the moving object plane memories 23A1-2
3An can be constituted by a memory having a capacity capable of writing still picture information for one screen, but the background plane memory 23BG has, as shown in FIG. In, a large-capacity memory that can store pixel information for a plurality of screens is used. That is, the background plane memory 23BG has a capacity capable of writing pixel sample data of (480 × a) lines in the vertical direction and (720 × b) pixels in the horizontal direction. a and b are
It is a numerical value of 1 or more.

【0034】そして、この準備期間では、図5で、メモ
リ23BGの中央のアドレス位置に、分離されて得られ
た1画面分の背景画BGsの情報(以下、これを初期背
景プレーンという)が書き込まれる。
Then, in this preparation period, in FIG. 5, the information of the separated background image BGs for one screen (hereinafter referred to as the initial background plane) is written in the central address position of the memory 23BG. Be done.

【0035】したがって、例えば、図5の中央位置の背
景画BGsを中心としたとき、この中央の背景画の周囲
にカメラをパンニング、チルトなどカメラ撮影画枠位置
を変更したときに画枠内に入ってくる背景をこの背景プ
レーンメモリ23BGに書き込むことができる。つま
り、この背景プレーンメモリ23BGの全エリアに書き
込まれた背景画は、1画面として表示される画枠に対し
て、垂直方向にはa倍、水平方向にはb倍の範囲の広い
範囲のものとなる。
Therefore, for example, when the background image BGs at the center position in FIG. 5 is the center, when the camera photographing image frame position such as panning and tilting of the camera is changed around the center background image, the image is within the image frame. The incoming background can be written to this background plane memory 23BG. That is, the background image written in the entire area of the background plane memory 23BG has a wide range of a times in the vertical direction and b times in the horizontal direction with respect to the image frame displayed as one screen. Becomes

【0036】このため、この背景プレーンメモリ23B
Gの全範囲に背景画が書き込まれているときに、その中
央位置の1画面分の画枠の背景画のところで、カメラを
ズーミングして、広角側にしたときでも、上記a、bの
値に応じた広角範囲内であれば、そのズーム範囲の背景
画のすべてが背景プレーンメモリ23BGに書き込まれ
ている。
Therefore, this background plane memory 23B
Even when the camera is zoomed to the wide angle side at the background image of the image frame for one screen at the center position when the background image is written in the entire range of G, the values of a and b above Within the wide-angle range corresponding to, all the background images in the zoom range are written in the background plane memory 23BG.

【0037】この背景プレーンメモリ23BGには、準
備期間に得た1画面分の画枠の背景画、つまり初期背景
プレーンに、後述するリアルタイムでの実際の撮像録画
の際に、パン、チルト、ズーミングなどを行った際の背
景の変化分(増加分)を徐々に付加して書き込むもので
ある。
In the background plane memory 23BG, the background image of the image frame for one screen obtained during the preparation period, that is, the initial background plane, is panned, tilted, and zoomed during real-time actual image-capturing recording. The amount of change (increase) in the background when the above is performed is gradually added and written.

【0038】なお、動物体プレーンについても、背景プ
レーンと同様に構成しても、もちろんよい。
The moving object plane may of course have the same structure as the background plane.

【0039】次に、図1について、準備期間の記録動作
について説明する。カメラ部1からの撮像信号は、A/
Dコンバータ21に供給されて、例えば1画素サンプル
が8ビットのデジタル画像信号に変換されて、信号処理
回路22に供給される。この信号処理回路22では、カ
メラ部1により撮像されたシーンの画像を、動きのない
固定の背景の静止画からなる背景プレーン(初期背景プ
レーン)と、この背景上で動くそれぞれの動き物体の静
止画からなる動物体プレーンとに分離する。
Next, the recording operation during the preparation period will be described with reference to FIG. The image pickup signal from the camera unit 1 is A /
The signal is supplied to the D converter 21, and for example, one pixel sample is converted into an 8-bit digital image signal and supplied to the signal processing circuit 22. In the signal processing circuit 22, the image of the scene captured by the camera unit 1 is used as a background plane (initial background plane) composed of a static background of a stationary image and a still image of each moving object moving on the background. It is separated into a moving body plane consisting of drawings.

【0040】そして、信号処理回路22では、分離した
初期背景プレーンは、背景プレーンメモリ23BGの図
5に示した中央のアドレスに書き込む。また、分離した
n個の動物体プレーンは、それぞれ動物体プレーンメモ
リ23A1〜An(nは自然数)に書き込む。以上の背
景プレーン及び動物体プレーンの分離のための具体実施
例については後述する。
Then, in the signal processing circuit 22, the separated initial background plane is written in the central address shown in FIG. 5 of the background plane memory 23BG. In addition, n separated moving object planes are written in the moving object plane memories 23A1 to An (n is a natural number), respectively. A specific example for separating the background plane and the moving object plane will be described later.

【0041】以上のようにして、背景プレーン及び複数
個の動物体プレーンに分離されて、プレーンメモリ23
BG及び23A1〜23Anに書き込まれた各静止画の
画像情報は、前述の図3に示したように、また、図6A
のタイムチャートに示すように、実際にビデオカメラに
よって撮像録画を開始する前の準備期間で、予めディス
ク11に記録される。
As described above, the plane memory 23 is separated into the background plane and the plurality of moving object planes.
The image information of each still image written in the BG and 23A1 to 23An is as shown in FIG.
As shown in the time chart of (4), it is recorded in the disk 11 in advance in the preparation period before the image pickup and recording are actually started by the video camera.

【0042】この場合、1画面分のプレーン情報は、図
4に示したように、480ライン×720画素で構成さ
れ、また、1画素のデータが、輝度信号Y及び色情報
U、Vで、16ビットで構成されるので、各1画面分の
静止画情報は、それぞれ約5.6Mビットの情報量を有
する。このまま圧縮せずに、ディスク11に記録するこ
ともできるが、ディスクへのデータの記録レートが、例
えば1.2Mbpsであるとすると、1枚の静止画を記
録するに当たり約5秒掛かかり、例えば4枚のプレーン
では20秒掛かってしまう。
In this case, the plane information for one screen is composed of 480 lines × 720 pixels as shown in FIG. 4, and the data of one pixel is the luminance signal Y and the color information U, V. Since it is composed of 16 bits, each still image information for one screen has an information amount of about 5.6 Mbits. The data can be recorded on the disc 11 without being compressed as it is, but if the recording rate of the data on the disc is 1.2 Mbps, it takes about 5 seconds to record one still image. It takes 20 seconds with 4 planes.

【0043】このため、この例では、各プレーンメモリ
23BG及び23A1〜23Anに書き込まれた画像情
報は、圧縮回路24に供給されて、各プレーン情報が適
当に圧縮されて、記録処理回路25に供給される。この
記録処理回路25では、データをセクタ構造にするな
ど、ディスク11の記録フォーマットに適合するデータ
処理が行われる。この記録処理回路25の出力データ
は、順次、ヘッド駆動回路27を介して記録用磁気ヘッ
ド13に供給され、ディスク11に光磁気記録される。
Therefore, in this example, the image information written in the plane memories 23BG and 23A1 to 23An is supplied to the compression circuit 24, and the plane information is appropriately compressed and supplied to the recording processing circuit 25. To be done. In the recording processing circuit 25, data processing conforming to the recording format of the disk 11 is performed, for example, the data has a sector structure. The output data of the recording processing circuit 25 is sequentially supplied to the recording magnetic head 13 via the head drive circuit 27 and is magneto-optically recorded on the disk 11.

【0044】圧縮回路24での、データ圧縮率が1/1
0であれば、例えば4枚のプレーン情報は、2秒の準備
時間で記録できる。1.2Mbpsで同じ情報量の動画
データのフルフレームを伝送する場合には、データ圧縮
率は1/100以上になるので、これと比べると、プレ
ーン情報の画質の劣化は非常に少ない。
In the compression circuit 24, the data compression rate is 1/1
If it is 0, for example, the plane information of four sheets can be recorded with the preparation time of 2 seconds. In the case of transmitting a full frame of moving image data having the same information amount at 1.2 Mbps, the data compression rate is 1/100 or more. Therefore, compared with this, the deterioration of the image quality of the plane information is very small.

【0045】[実際の撮像録画の期間]この例において
は、ビデオカメラ部1で、実際の撮像録画開始キーを操
作した後の撮像録画期間でも、先ず、上述の準備期間と
同様にして、信号処理回路22では、撮像信号から背景
静止画及び各動物体静止画を分離する。そして、その分
離した静止画と、背景プレーンメモリ23BG及び各動
物体プレーンメモリ23A1〜23Anに登録されてい
る初期背景プレーン及び動物体プレーン情報とを比較
し、変化情報の生成を行う。
[Actual Image Recording and Recording Period] In this example, even in the image capturing and recording period after the actual image capturing and recording start key is operated in the video camera unit 1, first, in the same manner as the above-described preparation period, the signal The processing circuit 22 separates the background still image and each moving object still image from the image pickup signal. Then, the separated still image is compared with the initial background plane and moving object plane information registered in the background plane memory 23BG and the moving object plane memories 23A1 to 23An to generate change information.

【0046】背景静止画については、図5に示したよう
に、初期背景プレーンの静止画BGsの画枠の背景プレ
ーンメモリ23BG上の位置を基準して、これからの変
化方向及び変化量(パン、チルトの方向及び量、さらに
はズーム比など)の情報Vsと背景静止画変化分の画像
情報ΔPsとを、背景プレーンに対する変化情報として
生成する。また、各動き物体については、それぞれの動
き物体の動き方向及び動き量Vm及び回転や形状変化な
どの動き変化による動物体プレーンとの差分の画像情報
ΔPmを生成する。
As for the background still image, as shown in FIG. 5, the direction of change and the amount of change (pan, pan, and so on) are based on the position of the image frame of the still image BGs of the initial background plane on the background plane memory 23BG. Information Vs of tilt direction and amount, further zoom ratio, etc.) and image information ΔPs of the background still image change are generated as change information for the background plane. Further, for each moving object, the image information ΔPm of the difference between the moving direction and the moving amount Vm of the moving object and the moving object plane due to the movement change such as rotation or shape change is generated.

【0047】そして、以上のようにして生成した変化情
報をリアルタイムでディスク11に記録する処理を行
う。すなわち、上述のようにして生成した変化情報を圧
縮符号化回路26に供給し、適当な圧縮率で圧縮符号化
を行い、記録処理回路25を介してヘッド駆動回路27
に供給する。これにより、ディスク11には、図6Aの
タイムチャートに示すように、背景画についての変化情
報ΔPs及びVsと、各動き物体についての変化情報Δ
Pm1〜ΔPmnおよびVm1〜Vmnが、記録される
ものである。
Then, the change information generated as described above is recorded on the disk 11 in real time. That is, the change information generated as described above is supplied to the compression encoding circuit 26, compression encoding is performed at an appropriate compression rate, and the head drive circuit 27 is performed via the recording processing circuit 25.
Supply to. As a result, on the disk 11, as shown in the time chart of FIG. 6A, the change information ΔPs and Vs regarding the background image, and the change information Δ regarding each moving object.
Pm1 to ΔPmn and Vm1 to Vmn are recorded.

【0048】この場合、記録される変化情報は、後述も
するように、画像情報をデータ圧縮して伝送する場合に
比べて少ないビット数となり、1.2Mbpsの低記録
伝送レートであっても、リアルタイムで十二分に記録で
きる。上記の変化情報の検出方法の具体的な実施例は後
述する。
In this case, as will be described later, the change information to be recorded has a smaller number of bits as compared with the case where image information is data-compressed and transmitted, and even at a low recording transmission rate of 1.2 Mbps, You can record more than enough in real time. A specific example of the above-described change information detection method will be described later.

【0049】この記録に伴って、信号処理回路22で
は、背景静止画の変化分の画像情報、すなわち、パン、
チルトなどにより背景として増加したエリア分の画像情
報を背景プレーンメモリ23BGに書き込む処理も行
う。例えば、パン、チルトなどにより画枠位置が変化し
て、撮影した部分の背景静止画が図5の一点鎖線で示す
静止画BGpになると、図5で斜線を付して示す画像情
報がメモリ23BGに書き加えられる。こうして、背景
プレーンメモリ23BGの記憶内容の背景プレーンの情
報は、1画面分よりも広い範囲まで広がりを有する背景
画の情報となる。しかし、この撮像録画のモードにおい
て、背景についての変化情報を生成する基本となるのは
初期背景プレーンとされている。
Along with this recording, the signal processing circuit 22 causes the image information corresponding to the change in the background still image, that is, the pan,
A process of writing the image information of the area increased as the background due to the tilt or the like into the background plane memory 23BG is also performed. For example, when the image frame position changes due to panning, tilting, etc., and the background still image of the captured portion becomes the still image BGp shown by the one-dot chain line in FIG. 5, the image information shown by hatching in FIG. 5 is stored in the memory 23BG. Added to. In this way, the information about the background plane stored in the background plane memory 23BG becomes the information about the background image having a wider range than one screen. However, in this imaging / recording mode, the initial background plane is the basis for generating the change information about the background.

【0050】光磁気ディスク11では、次のようにして
データの記録が行われる。すなわち、ヘッド駆動回路2
7を介して記録用磁気ヘッド13に供給されることによ
り、記録データで変調された磁界がディスク11の所定
位置において印加される。また、光ピックアップ14か
らのレーザービームがディスク11の同一位置に照射さ
れる。この記録時は、記録トラックには、再生時より大
きな一定のパワーのレーザ光が照射されている。この光
照射と、磁気ヘッド13による変調磁界とにより、ディ
スク11には熱磁気記録によってデータが記録される。
磁気ヘッド13と光ピックアップ14とは、共に同期し
てディスク11の半径方向に沿って移動できるように構
成されている。
Data is recorded on the magneto-optical disk 11 as follows. That is, the head drive circuit 2
By being supplied to the recording magnetic head 13 via 7, the magnetic field modulated by the recording data is applied at a predetermined position of the disk 11. Further, the laser beam from the optical pickup 14 is applied to the same position on the disk 11. At the time of this recording, the recording track is irradiated with laser light having a constant power larger than that at the time of reproduction. Data is recorded on the disk 11 by thermomagnetic recording by this light irradiation and the modulation magnetic field by the magnetic head 13.
The magnetic head 13 and the optical pickup 14 are both configured to be able to move in the radial direction of the disk 11 in synchronization with each other.

【0051】また、記録時においては、光ピックアップ
14の出力がRFアンプ28を介してアドレスデコーダ
29に供給されて、ディスク11のトラックに沿って設
けられたプリグルーブにウォブル記録されている絶対ア
ドレスデータが抽出され、デコードされる。そして、そ
の検出された絶対アドレスデータが、記録処理回路25
に供給され、記録データ中に挿入されて、ディスク11
に記録される。また、絶対アドレスデータは、システム
コントローラ3に供給され、記録位置の認識及び位置制
御に用いられる。
At the time of recording, the output of the optical pickup 14 is supplied to the address decoder 29 via the RF amplifier 28, and the absolute address wobble-recorded in the pre-groove provided along the track of the disk 11 is recorded. The data is extracted and decoded. Then, the detected absolute address data is transferred to the recording processing circuit 25.
Is supplied to the disc 11 and inserted into the recording data,
Recorded in. Further, the absolute address data is supplied to the system controller 3 and used for recognition of the recording position and position control.

【0052】そして、各シーンの背景プレーン情報、動
物体プレーン情報及び変化情報がそれぞれどのトラッ
ク、さらには、どのセクタに記録されているかの情報
が、ディスクの最内周に設けられるTOC(Table Of C
ontents)領域と呼ばれるディスク管理エリアに記録され
る。
The TOC (Table Of Information) provided on the innermost circumference of the disc contains information on which track, and in which sector the background plane information, moving object plane information and change information of each scene are recorded. C
It is recorded in a disc management area called an ontents area.

【0053】なお、この記録時、RFアンプ28からの
信号がサーボ制御回路15に供給され、ディスク11の
プリグルーブからの信号からスピンドルモータ12の線
速度一定サーボのための制御信号が形成され、スピンド
ルモータ12が速度制御される。
During this recording, the signal from the RF amplifier 28 is supplied to the servo control circuit 15, and the control signal for the constant linear velocity servo of the spindle motor 12 is formed from the signal from the pre-groove of the disk 11. The spindle motor 12 is speed-controlled.

【0054】[プレーン分離処理回路の実施例]図7
は、信号処理回路22における背景プレーン及び複数個
の動物体プレーンに分離するためのプレーン分離処理回
路の、一実施例のブロック図である。
[Embodiment of Plane Separation Processing Circuit] FIG. 7
FIG. 4 is a block diagram of an embodiment of a plane separation processing circuit for separating a background plane and a plurality of moving object planes in the signal processing circuit 22.

【0055】すなわち、入力端子41を通じたA/Dコ
ンバータ21からの1画素8ビットの画像データは、フ
レームメモリ42に供給されるとともに、減算回路44
及び減算回路45に供給される。また、入力画像データ
は、アンドゲート61を介して動物体プレーン分離回路
62に供給される。
That is, 1-pixel 8-bit image data from the A / D converter 21 through the input terminal 41 is supplied to the frame memory 42 and the subtraction circuit 44.
And the subtraction circuit 45. Further, the input image data is supplied to the moving object plane separation circuit 62 via the AND gate 61.

【0056】フレームメモリ42は、1画素8ビットの
データを1フレーム分記憶し、減算回路44において、
入力画素データから前のフレームの同一サンプリング位
置に対応する画素データが減算される。この減算回路4
4の差出力は、絶対値化回路46に供給されて、絶対値
とされ、比較回路47に供給される。
The frame memory 42 stores 1-pixel 8-bit data for one frame, and the subtraction circuit 44
Pixel data corresponding to the same sampling position in the previous frame is subtracted from the input pixel data. This subtraction circuit 4
The difference output of 4 is supplied to the absolute value conversion circuit 46, converted into an absolute value, and supplied to the comparison circuit 47.

【0057】比較回路47には、端子48を通じて、し
きい値θ1が供給され、絶対値化回路46からの差出力
の絶対値がしきい値θ1未満の時には「1」となり、し
きい値θ1以上の時には「0」となる判定出力が得られ
る。この判定出力は、重み係数制御回路49に供給され
る。
The threshold value θ1 is supplied to the comparison circuit 47 through the terminal 48. When the absolute value of the difference output from the absolute value conversion circuit 46 is less than the threshold value θ1, it becomes “1”, and the threshold value θ1. In the above case, a determination output that is "0" is obtained. This determination output is supplied to the weight coefficient control circuit 49.

【0058】図7において、23BGsは、1画面分の
背景画(720画素×480ライン)を、記憶できる容
量の背景プレーンメモリであって、後述するように、初
期状態を経過すると、この背景プレーンメモリ23BG
sに背景プレーン画像(静止画)が格納される。
In FIG. 7, 23 BGs is a background plane memory having a capacity capable of storing a background image (720 pixels × 480 lines) for one screen. Memory 23BG
A background plane image (still image) is stored in s.

【0059】また、50は、1フレームの重み係数が格
納される重み係数メモリである。この重み係数メモリ5
0には、例えば、3ビットの重み係数が記憶される。
Reference numeral 50 is a weight coefficient memory in which the weight coefficient of one frame is stored. This weight coefficient memory 5
In 0, for example, a 3-bit weighting coefficient is stored.

【0060】フレームメモリ42、背景メモリ23BG
s及び重み係数メモリ50は、アドレス制御回路43の
出力により、共通にアドレス制御され、同一のアドレス
が指定されるようにされている。
Frame memory 42, background memory 23BG
The s and weight coefficient memory 50 are commonly address-controlled by the output of the address control circuit 43 so that the same address is designated.

【0061】減算回路45では、入力画素データから背
景プレーンメモリ23BGsよりの画像データが減算さ
れ、この減算回路45の差出力が絶対値化回路51に供
給され、差出力の絶対値が求められる。この絶対値化回
路51からの差の絶対値は、比較回路52に供給され、
端子53を通じたしきい値θ2と比較され、入力画素デ
ータと背景画素データの差出力の絶対値が、しきい値θ
2未満の時に「1」となり、しきい値θ2以上の時に
「0」となる判定出力が、この比較回路52から得られ
る。この比較回路52よりの判定出力は、重み係数制御
回路49に供給される。
In the subtraction circuit 45, the image data from the background plane memory 23BGs is subtracted from the input pixel data, the difference output of this subtraction circuit 45 is supplied to the absolute value conversion circuit 51, and the absolute value of the difference output is obtained. The absolute value of the difference from the absolute value conversion circuit 51 is supplied to the comparison circuit 52,
The absolute value of the difference output between the input pixel data and the background pixel data is compared with the threshold value θ2 through the terminal 53, and
From the comparison circuit 52, a determination output that becomes “1” when the value is less than 2 and becomes “0” when the threshold value θ2 or more is obtained. The determination output from the comparison circuit 52 is supplied to the weight coefficient control circuit 49.

【0062】減算回路45からの入力画素データと背景
画素データとの差出力は、また、乗算回路54に供給さ
れ、重み係数制御回路49から発生する重み係数αが乗
じられる。この乗算回路54の乗算出力は、加算回路5
5に供給されて、背景プレーンメモリ23BGsからの
背景画素データと加算され、その加算出力が背景プレー
ンメモリ23BGsに書き込まれる。
The difference output between the input pixel data from the subtraction circuit 45 and the background pixel data is also supplied to the multiplication circuit 54, and is multiplied by the weighting coefficient α generated from the weighting coefficient control circuit 49. The multiplication output of the multiplication circuit 54 is the addition circuit 5
5 and is added to the background pixel data from the background plane memory 23BGs, and the addition output is written to the background plane memory 23BGs.

【0063】重み係数制御回路49からの重み係数が、
重み係数メモリ50に書き込まれるとともに、この重み
係数メモリ50から読み出された重み係数が重み係数制
御回路49に供給される。
The weighting factor from the weighting factor control circuit 49 is
The weight coefficient read out from the weight coefficient memory 50 while being written in the weight coefficient memory 50 is supplied to the weight coefficient control circuit 49.

【0064】重み係数制御回路49は、比較器47及び
52の判定出力から画素データが動き画素かどうかの判
定を行なっている。
The weight coefficient control circuit 49 determines whether the pixel data is a moving pixel from the determination outputs of the comparators 47 and 52.

【0065】以上の構成において、背景プレーンメモリ
23BGs、減算回路45、乗算回路54及び加算回路
55は、背景プレーンメモリ23BGsを1フレーム遅
延素子として用いたデジタルフィルタを構成している。
すなわち、重み係数をαとし、kフレーム目の入力画素
データをZkとし、背景プレーンメモリ23BGsから
読み出された背景画像データをX(k−1)とするとk
フレーム目の背景画素データ(推定値)Xkは、次式で
示されるものとなる。
In the above configuration, the background plane memory 23BGs, the subtraction circuit 45, the multiplication circuit 54, and the addition circuit 55 form a digital filter using the background plane memory 23BGs as a one-frame delay element.
That is, when the weighting factor is α, the input pixel data of the kth frame is Zk, and the background image data read from the background plane memory 23BGs is X (k−1), k
The background pixel data (estimated value) Xk of the frame is represented by the following equation.

【0066】 Xk=α・(Zk−X(k−1))+X(k−1) =(1−α)・X(k−1)+α・Zk この例においては、背景が変化しない1シーンの間で
は、αを例えば、1/16に固定している。入力画像中に
含まれるホワイト雑音は、上の式で表わされる演算を複
数フレームにわたって繰り返すことにより除去され、背
景プレーンメモリ23BGsに蓄えられている背景画像
のS/Nが改善される。
Xk = α · (Zk−X (k−1)) + X (k−1) = (1−α) · X (k−1) + α · Zk In this example, one scene in which the background does not change In between, α is fixed at 1/16, for example. The white noise included in the input image is removed by repeating the operation represented by the above equation over a plurality of frames, and the S / N of the background image stored in the background plane memory 23BGs is improved.

【0067】また、シーンが変わる時などのように、背
景が切り替わる時には、つまり、撮像シーンが、別の撮
像シーンに変わった場合には、応答時間を短くするとと
もに有色雑音の影響を受けないように、重み係数αを1
/16から1フレームごとに2倍ずつ乗算してゆく。つま
り、1/16→1/8→1/4→1/2→1と指数関数的
に増加する重み係数αを用い、徐々に背景画像の更新を
行なうようにしている。したがって、重み係数αは、5
種類あり、それぞれが3ビットにより表現されている。
重み係数αを2のべき乗にしているのは、乗算回路54
をシフトレジスタあるいはセレクタによって実現するた
めである。
Also, when the background changes, such as when the scene changes, that is, when the image-capturing scene changes to another image-capturing scene, the response time is shortened and the influence of colored noise is avoided. And the weighting factor α is 1
Multiply by 2 from / 16 every frame. That is, the background image is gradually updated by using the weighting coefficient α that increases exponentially as 1/16 → 1/8 → 1/4 → 1/2 → 1. Therefore, the weighting factor α is 5
There are types, and each is represented by 3 bits.
The weighting coefficient α is set to a power of 2 because the multiplication circuit 54
This is because the shift register or the selector is realized.

【0068】この例においては、初期状態を経過する
と、背景プレーンメモリ23BGsに背景静止画データ
が格納される。減算回路45及び絶対値化回路51によ
り、現画素と背景画素の差の絶対値が検出される。この
差の絶対値と、しきい値θ2が比較回路52により比較
され、差の絶対値が、しきい値θ2未満の時に、現画素
が背景画像のものであると判定されて、次のような処理
が行なわれる。
In this example, after the initial state has passed, the background still image data is stored in the background plane memory 23BGs. The subtraction circuit 45 and the absolute value conversion circuit 51 detect the absolute value of the difference between the current pixel and the background pixel. The absolute value of this difference is compared with the threshold value θ2 by the comparison circuit 52, and when the absolute value of the difference is less than the threshold value θ2, it is determined that the current pixel belongs to the background image, and Processing is performed.

【0069】すなわち、このときは、重み係数αが2-4
(=1/16)に固定される。そして、乗算回路54にお
いて、減算回路45の出力に、この重み係数αが乗じら
れ、背景プレーンメモリ23BGsの出力と加算回路5
5において加算される。そして、その加算出力が背景プ
レーンメモリ23BGsの同一アドレスに書き込まれ、
背景プレーンメモリの更新が行なわれる。このときの重
み係数は、重み係数メモリ50に書き込まれる。
That is, at this time, the weighting coefficient α is 2 −4
It is fixed at (= 1/16). Then, in the multiplication circuit 54, the output of the subtraction circuit 45 is multiplied by this weighting coefficient α, and the output of the background plane memory 23BGs and the addition circuit 5 are added.
It is added at 5. Then, the added output is written to the same address in the background plane memory 23BGs,
The background plane memory is updated. The weight coefficient at this time is written in the weight coefficient memory 50.

【0070】現画素と背景画素の差の絶対値が、しきい
値θ2以上であると比較回路52において判定されたと
きには、減算回路44及び絶対値化回路46により検出
された現画素と、前フレームの対応する画素との差の絶
対値が、しきい値θ1未満か、または、しきい値θ1以
上かが比較回路47の出力として調べられる。この比較
回路47の出力が、しきい値θ1未満の時には、次のよ
うな処理が行なわれる。
When the comparison circuit 52 determines that the absolute value of the difference between the current pixel and the background pixel is greater than or equal to the threshold value θ2, the current pixel detected by the subtraction circuit 44 and the absolute value conversion circuit 46 Whether the absolute value of the difference from the corresponding pixel in the frame is less than the threshold value θ1 or more than the threshold value θ1 is examined as the output of the comparison circuit 47. When the output of the comparison circuit 47 is less than the threshold value θ1, the following processing is performed.

【0071】すなわち、しきい値θ1未満である場合に
は、シーンチェンジなどにより、背景が切り替わった時
のもので、最初に重み係数メモリ50に記憶されている
重み係数α(=1/16)が読み出され、乗算器54によ
って、この重み係数αが減算回路45の出力信号に対し
て乗じられる。したがって、このフレームでなされる背
景画素の更新は、 Xk=15/16・X(k−1)+1/16・Zk で示される上述と同様のものである。
That is, when the value is less than the threshold value θ1, the background coefficient is changed due to a scene change or the like, and the weighting coefficient α (= 1/16) initially stored in the weighting coefficient memory 50. Is read out, and the weighting coefficient α is multiplied by the output signal of the subtraction circuit 45 by the multiplier 54. Therefore, the background pixel update made in this frame is similar to the one described above, where Xk = 15/16 · X (k−1) + 1/16 · Zk.

【0072】背景画素の更新がなされると、重み係数制
御回路49において、αが2倍にされるとともに、この
2倍にされた新たな重み係数が1より大きいかどうかが
判定され、1より小さければ、この2倍された重み係数
αが、重み係数メモリ50に格納される。1/16の重み
係数からスタートすると、(1/8→1/4→1/2→
1)と1フレームごとに重み係数αが変化する。
When the background pixel is updated, the weighting factor control circuit 49 doubles α, and it is determined whether or not the doubled new weighting factor is larger than 1. If it is smaller, this doubled weight coefficient α is stored in the weight coefficient memory 50. Starting with a weighting factor of 1/16, (1/8 → 1/4 → 1/2 →
1) and the weighting factor α changes for each frame.

【0073】背景が切り替わって、上述のように重み係
数αが変化し、α=1となる5フレーム後まで、上述と
同様の背景画素の更新の処理には移行しない。したがっ
て、有色雑音が誤って新たな背景画素として検出され
て、重み係数を変更させる処理を受ける場合でも、正し
い背景画素が保存されることになる。この重み係数αの
変化の仕方は、背景画素の更新時の応答性を良くすると
ともに、有色雑音を除去できるように設定される。
The background is switched, the weighting factor α changes as described above, and the same background pixel updating process as described above does not proceed until 5 frames after α = 1. Therefore, even if the colored noise is erroneously detected as a new background pixel and undergoes the process of changing the weighting coefficient, the correct background pixel is stored. The way of changing the weighting coefficient α is set so that the responsiveness at the time of updating the background pixel is improved and the colored noise can be removed.

【0074】比較回路47において、現画素と前フレー
ム画素との差の絶対値が、しきい値θ1以上であると判
定された時には、これは、現画素が動き画素であると判
定されるもので、この場合には、背景プレーンメモリ2
3BGsの更新は行なわれない。この動き画素について
は、以下に述べるようにして、動きプレーンの分離の処
理が行なわれる。
When the comparison circuit 47 determines that the absolute value of the difference between the current pixel and the previous frame pixel is greater than or equal to the threshold value θ1, it is determined that the current pixel is a moving pixel. In this case, the background plane memory 2
The 3BGs are not updated. The motion pixels are subjected to motion plane separation processing as described below.

【0075】重み係数制御回路49においては、比較回
路52において、現画素と背景画素との絶対値が、しき
い値θ2以上であると検出され、かつ、比較回路47の
出力から、現画素と前フレーム画素との差の絶対値が、
しきい値θ1以上である場合に、動き画素として検出さ
れるものである。
In the weighting factor control circuit 49, the comparison circuit 52 detects that the absolute value of the current pixel and the background pixel is greater than or equal to the threshold value θ2, and the output of the comparison circuit 47 determines that the current pixel is the current pixel. The absolute value of the difference from the previous frame pixel is
When it is equal to or more than the threshold value θ1, it is detected as a moving pixel.

【0076】重み係数制御回路49からの動き画素の検
出信号は、アンドゲート61に供給され、このアンドゲ
ートに入力されている入力端子41からの入力デジタル
画素データがゲート制御される。このアンドゲート61
は、現画素が動き画素の時に、ハイレベルになって開に
なる。したがって、入力画素(現画素)が動き画素でな
いときには、アンドゲート61の出力は「0」となり、
入力画素が動き画素のときには、その画素データ(これ
は「0」ではないデータである。以下これをノンゼロの
データという)が、このアンドゲート61から出力され
る。
The motion pixel detection signal from the weighting coefficient control circuit 49 is supplied to the AND gate 61, and the input digital pixel data from the input terminal 41 input to this AND gate is gate-controlled. This AND gate 61
Goes high and opens when the current pixel is a motion pixel. Therefore, when the input pixel (current pixel) is not a moving pixel, the output of the AND gate 61 becomes "0",
When the input pixel is a motion pixel, the pixel data (this is data other than “0”; hereinafter, this is referred to as non-zero data) is output from the AND gate 61.

【0077】62は、動物体プレーン分離回路で、1フ
レーム分の画素データを記憶可能な差分メモリ(フレー
ムメモリ)62Mを備え、アンドゲート61の出力がこ
のメモリ62Mに入力される。このメモリ62Mは、ア
ドレス制御回路43からのアドレス制御信号により、前
述のフレームメモリ42、背景プレーンメモリ23BG
s及び重み係数メモリ50と同じアドレス制御を受け
る。
Reference numeral 62 denotes a moving object plane separation circuit, which includes a difference memory (frame memory) 62M capable of storing pixel data for one frame, and the output of the AND gate 61 is input to this memory 62M. This memory 62M receives the address control signal from the address control circuit 43, and the above-mentioned frame memory 42 and background plane memory 23BG.
It receives the same address control as the s and weight coefficient memory 50.

【0078】したがって、差分メモリ62Mには、背景
画が現画像から除去されて、ノンゼロのデータからなる
動き画素の集合からなる複数個の動き物体の画像のみか
らなる差分画像が蓄えられることになる。そして、図8
に示すように、動き物体のノンゼロ画素データ以外の画
素のデータとしては、「0」データが、メモリ62Mに
書き込まれている。
Therefore, the background image is removed from the current image in the difference memory 62M, and a difference image consisting of only the images of a plurality of moving objects consisting of a set of moving pixels consisting of non-zero data is stored. . And FIG.
As shown in, as data of pixels other than the non-zero pixel data of the moving object, “0” data is written in the memory 62M.

【0079】こうして差分メモリ62Mには、1枚の2
次元画像中の複数個の動き物体の画素のデータが、
「0」でないレベルを有するノンゼロ画素データとして
書き込まれ、動き物体の画素以外の背景画の静止画部分
の画素データはオール「0」のデータとして記憶される
ものである。したがって、複数個の動き物体が互いに重
なり合っていないとすれば、差分メモリ62Mの画素デ
ータを順次走査して、近接画素同志で、「0」でないノ
ンゼロ画素データを関連付けてマージ(統合)すること
により、各動き物体のそれぞれのみからなる動物体プレ
ーンを分離することが可能になる。
In this way, one 2
The pixel data of a plurality of moving objects in the three-dimensional image are
Written as non-zero pixel data having a level other than "0", the pixel data of the still image portion of the background image other than the pixels of the moving object is stored as all "0" data. Therefore, if a plurality of moving objects do not overlap each other, the pixel data in the difference memory 62M are sequentially scanned, and non-zero pixel data that is not "0" are associated and merged (integrated) by neighboring pixels. , It becomes possible to separate the moving object plane which consists of only each of the moving objects.

【0080】63は、マイコンであって、動物体プレー
ン分離回路62の差分メモリ62Mを走査し、以下のよ
うにして各動き物体ごとにプレーン分離し、分離した動
き物体プレーンの情報を対応するアドレスにおいて、各
動物体プレーンメモリ23A1〜23Anに書き込むよ
うにするものである。なお、動物体プレーンメモリ23
A1〜23Anのそれぞれのすべてのアドレスには、予
め、オール「0」が書き込まれており、各動き物体の画
素のみが、差分メモリ62Mと同じアドレスにおいて、
いづれかの動物体プレーンメモリに書き込まれるもので
ある。
Reference numeral 63 denotes a microcomputer, which scans the difference memory 62M of the moving body plane separation circuit 62, separates planes for each moving object as follows, and outputs information on the separated moving object planes to corresponding addresses. In, the data is written in each of the moving object plane memories 23A1 to 23An. In addition, the moving body plane memory 23
All “0” s are written in advance in all the addresses of A1 to 23An, and only the pixels of each moving object have the same address as the difference memory 62M.
It is written in any of the moving object plane memories.

【0081】図10及び図11は、マイコン63の動物
体プレーンの分離のための処理のフローチャートであ
る。すなわち、この場合の動き物体の分離の処理は、ま
ず、ステップ101において、ノンゼロの画素データを
サーチする(動き画素は0でないので、動き画素を探索
することになる)。そして、ステップ102で、ノンゼ
ロの画素データが見つかったならば、ステップ103に
進んで、その周囲の画素データがノンゼロかどうかをチ
ェックする。この例の場合には、図9に示すように、注
目画素xの周辺の上下左右の8画素a〜hのデータをチ
ェックする。
10 and 11 are flowcharts of the processing for separating the moving object plane of the microcomputer 63. That is, in the process of separating the moving object in this case, first, in step 101, non-zero pixel data is searched (since the moving pixel is not 0, the moving pixel is searched). Then, if non-zero pixel data is found in step 102, the process proceeds to step 103 to check whether the pixel data around it is non-zero. In the case of this example, as shown in FIG. 9, the data of 8 pixels a to h on the upper, lower, left, and right sides of the pixel of interest x is checked.

【0082】そして、次のステップ104において、8
画素a〜hのいづれのデータもノンゼロでなかったとき
には、注目画素xは、孤立点と見做してステップ104
からステップ101に戻って、次の動き画素を探す。
Then, in the next step 104, 8
If none of the data of the pixels a to h is non-zero, the pixel of interest x is regarded as an isolated point and the step 104 is performed.
Then, the procedure returns to step 101 to search for the next motion pixel.

【0083】ステップ104において、8画素a〜hの
内の1つでもノンゼロの画素があったときには、ステッ
プ104からステップ105に進み、注目画素xの左の
画素dと、上(1ライン前)の画素とbがノンゼロの画
素であるか否かをチェックして、次のステップ106に
進む。
In step 104, if any one of the eight pixels a to h is a non-zero pixel, the process proceeds from step 104 to step 105, and the pixel d to the left of the target pixel x and above (one line before). It is checked whether or not the pixel and b are non-zero pixels, and the process proceeds to the next step 106.

【0084】次のステップ106では、左及び上の画素
d及びbが、両方共にノンゼロでないか否か判別され、
共にノンゼロでない、つまり動き画素でないときには、
ステップ107に進んで、動物体プレーンメモリのメモ
リ番号(以下、単にメモリ番号という)として新番号を
設定する。そして、ステップ108に進んで、そのメモ
リ番号を当該画素のアドレスに対応して記憶しておく。
その後、ステップ109に進んで、差分メモリ62Mの
全画素の走査が終了したか否か判別し、全走査を終了し
たときには、この処理ルーチンを終了する。全走査を終
了していないときには、ステップ101に戻って、次の
動き画素の検索を始める。
In the next step 106, it is determined whether the left and upper pixels d and b are both non-zero,
If both are not non-zero, that is, they are not motion pixels,
In step 107, a new number is set as the memory number of the moving object plane memory (hereinafter, simply referred to as the memory number). Then, in step 108, the memory number is stored in correspondence with the address of the pixel.
After that, the routine proceeds to step 109, where it is judged whether or not the scanning of all the pixels of the difference memory 62M is finished. When all the scanning is finished, this processing routine is finished. If all the scans have not been completed, the process returns to step 101 and the search for the next motion pixel is started.

【0085】また、ステップ106において、左及び上
の画素d及びbのうち少なくともいずれかはノンゼロの
画素であると判別されたときには、ステップ106から
ステップ110に進み、両方共にノンゼロであるか否か
判別される。そして、両方共ノンゼロであると判別され
たときには、ステップ110からステップ111に進
み、両画素d、bについてマイコン63に記憶されてい
るメモリ番号をチェックする。そして、次のステップ1
12に進んで、両画素d、bのメモリ番号が一致してい
るか否か判別する。
If it is determined in step 106 that at least one of the left and upper pixels d and b is a non-zero pixel, the process proceeds from step 106 to step 110, and both are non-zero. To be determined. When it is determined that both are non-zero, the process proceeds from step 110 to step 111, and the memory numbers stored in the microcomputer 63 for both pixels d and b are checked. And next step 1
In step 12, it is determined whether or not the memory numbers of both pixels d and b match.

【0086】ステップ112における判別の結果、両画
素d、bのメモリ番号が一致しているときには、ステッ
プ112からステップ108に進んで、そのメモリ番号
を当該注目画素xのアドレスに対応して記憶する。
As a result of the determination in step 112, when the memory numbers of both pixels d and b match, the process proceeds from step 112 to step 108, and the memory number is stored in correspondence with the address of the target pixel x. .

【0087】また、ステップ112における判別の結
果、両画素d、bのメモリ番号が一致していないと判別
されたときには、ステップ112からステップ113に
進んで、左の画素dのメモリ番号を選択して、そのメモ
リ番号を当該注目画素xに関連させて記憶すると共に、
左の画素dのメモリ番号と上の画素bのメモリ番号と
は、関連があり、メモリ番号は異なっても1つの動き物
体の画素であることを示す情報(マージ情報と呼ぶ)を
記憶する。
If it is determined in step 112 that the memory numbers of both pixels d and b do not match, the process proceeds from step 112 to step 113 to select the memory number of the left pixel d. And stores the memory number in association with the target pixel x,
The memory number of the left pixel d and the memory number of the upper pixel b are related, and information (called merge information) indicating that the pixel is a pixel of one moving object even if the memory numbers are different is stored.

【0088】これは、動き物体が、ある水平走査ライン
のデータでは飛んだ位置の画素であるが、後のラインの
画素のサーチの結果、同一の動き物体の画素として繋が
っていることが判明する場合を示している。
This is because the moving object is a pixel at a skipped position in the data of a certain horizontal scanning line, but as a result of searching the pixels of the subsequent line, it is found that the moving object is connected as a pixel of the same moving object. The case is shown.

【0089】ステップ110における判別の結果、両方
共にはノンゼロではないときには、このステップ110
からステップ115に進み、左の画素dがノンゼロであ
るか否か判別する。その判別の結果、左の画素dがノン
ゼロであるときには、ステップ116に進んで、その画
素dのメモリ番号をチェックし、その後、ステップ10
8に進んで、その注目画素xのアドレスに対応して、そ
のメモリ番号を記憶する。
As a result of the discrimination in step 110, when neither is non-zero, this step 110
From step S115 to step 115, it is determined whether or not the left pixel d is non-zero. As a result of the determination, when the left pixel d is non-zero, the procedure proceeds to step 116, the memory number of the pixel d is checked, and then step 10
In step 8, the memory number corresponding to the address of the target pixel x is stored.

【0090】ステップ115の判別の結果、左の画素d
がノンゼロでない、つまり上の画素bがノンゼロである
と判別されたときには、ステップ117に進んで、上の
画素bのメモリ番号をチェックし、その後、ステップ1
08に進んで、その注目画素xのアドレスに対応して、
そのメモリ番号を記憶する。
As a result of the determination in step 115, the left pixel d
Is not non-zero, that is, when it is determined that the upper pixel b is non-zero, the process proceeds to step 117, the memory number of the upper pixel b is checked, and then step 1
08, corresponding to the address of the target pixel x,
The memory number is stored.

【0091】前述したように、ステップ108の次に
は、ステップ109に進んで、差分メモリ62Mのすべ
ての画素についてのサーチを終了したか否か判別して、
終了していなければ、ステップ101に戻って以上の処
理ルーチンを繰り返し、全画素のサーチが終了したら、
この処理ルーチンを終了する。
As described above, after step 108, the routine proceeds to step 109, where it is judged whether or not the search for all the pixels in the difference memory 62M is completed,
If not, the process returns to step 101 and the above processing routine is repeated, and when the search for all pixels is completed,
This processing routine ends.

【0092】以上の差分メモリ62Mの画素サーチによ
り、マイコン63の内蔵メモリには、1つ1つの動き物
体について、各動き物体に含まれる画素のアドレスに対
して、同じメモリ番号及びそれと関連するメモリ番号
が、両メモリ番号を関連付ける情報と共に記憶される。
マイコン63は、同じ動き物体と認識された画素のメモ
リ番号を、1つの動画プレーンメモリのメモリ番号No
と対応付ける。これにより、それぞれの動き物体は、別
々の動画プレーンとして、次のようにして分離すること
ができる。
As a result of the pixel search of the difference memory 62M, the internal memory of the microcomputer 63 stores the same memory number and associated memory for each moving object with respect to the address of the pixel included in each moving object. The number is stored with the information associating both memory numbers.
The microcomputer 63 sets the memory numbers of the pixels recognized as the same moving object to the memory number No. of one moving image plane memory.
Correspond to. As a result, each moving object can be separated as separate moving image planes as follows.

【0093】すなわち、マイコン63は、差分メモリ6
2Mから、動き画素データを順次読み出す。この差分メ
モリ62Mの読み出し出力は、動画プレーンメモリ23
A1〜23Anのそれぞれに入力される。また、マイコ
ン63は、読み出した画素について上述のようにして設
定し、記憶したメモリ番号Noの動画プレーンメモリに
のみ、書き込み画素アドレス(読み出し画素アドレスと
同じでよい)を供給して、その動き画素を、そのメモリ
番号Noの動画プレーンメモリに書き込んでゆく。
That is, the microcomputer 63 uses the difference memory 6
The moving pixel data is sequentially read from 2M. The read output of the difference memory 62M is the moving picture plane memory 23.
It is input to each of A1 to 23An. Further, the microcomputer 63 sets the read pixel as described above and supplies the write pixel address (which may be the same as the read pixel address) only to the moving picture plane memory of the stored memory number No, and the moving pixel Is written in the moving picture plane memory having the memory number No.

【0094】こうして、動き物体プレーンメモリ23A
1〜23Anのそれぞれには、1つ1つの動き物体が、
分離されて、別々に記憶されるものである。
Thus, the moving object plane memory 23A
Each of 1 to 23An has one moving object,
It is separated and stored separately.

【0095】以上の動き物体プレーンの分離方法は、差
分メモリ62Mを、テレビジョン走査と同様に水平、垂
直に画素をサーチして、同じ動き物体に含まれる画素を
マージするようにしたが、1つの動き画素を検出したと
き、その周囲の画素を順次サーチしてノンゼロの画素を
追跡して、マージしてゆくと共に、そのマージした画素
データを、1つの動き物体プレーンメモリに同時に順次
書き込んでゆくようにして、1つの動き物体についての
動き物体プレーンメモリを完成するようにしてもよい。
In the above method of separating the moving object plane, the difference memory 62M is searched for pixels horizontally and vertically as in the television scanning, and the pixels included in the same moving object are merged. When one motion pixel is detected, the surrounding pixels are sequentially searched to track non-zero pixels and merged, and the merged pixel data is sequentially written to one motion object plane memory at the same time. In this way, the moving object plane memory for one moving object may be completed.

【0096】なお、ある時点で、2つの動き物体が重な
り合っているとしても、所定の時間経過した後は、その
動き物体は分離して観察することができるので、動物体
プレーンメモリを、適宜、書き換えることにより、上記
の方法により、それぞれの動き物体のみからなる動物体
プレーン情報を、それぞれの動物体プレーンメモリが蓄
積することができる。
Even if two moving objects overlap each other at a certain point of time, the moving objects can be observed separately after a lapse of a predetermined time. By rewriting, the moving object plane information including only the moving objects can be stored in each moving object plane memory by the above method.

【0097】[背景画の変化情報及び動き物体について
の変化情報の生成]次に、信号処理回路22での初期背
景プレーンに対する変化情報及び各動き物体についての
変化情報の生成回路の構成例について、図12を参照し
ながら説明する。
[Generation of Change Information of Background Image and Change Information of Moving Object] Next, a configuration example of a change information generation circuit for the initial background plane and a change information of each moving object in the signal processing circuit 22 will be described. This will be described with reference to FIG.

【0098】これらの変化情報は、ビデオカメラ部1で
の撮影により得られる現画像情報から、背景プレーンメ
モリ23BG、動物体プレーンメモリ23A1〜23A
nのデータを用いて生成される。図12の回路は、前述
した準備期間の経過後、撮像録画開始キーの操作をした
ときから働く。
These pieces of change information are obtained from the current image information obtained by shooting with the video camera unit 1, the background plane memory 23BG and the moving object plane memories 23A1 to 23A.
It is generated using n data. The circuit of FIG. 12 operates from the time when the imaging / recording start key is operated after the above-described preparation period has elapsed.

【0099】すなわち、A/Dコンバータ21からの撮
像データは、前述した信号処理回路22のプレーン分離
回路で1画面分の背景プレーン情報及び各動き物体毎の
プレーン情報に分離される。そして、背景画及びそれぞ
れの各動き物体の1フレームの情報がフレームメモリ7
1BG及び71A1〜71Anに書き込まれる。このフ
レームメモリ71BG、71A1〜71Anは、2フレ
ームバッファの構成とされ、背景画及び動き物体の情報
の書き込みが一方のフレームメモリに対して行われてい
るとき、他方のフレームメモリからの背景プレーン及び
動物体プレーンの情報データが読み出されて、そのデー
タが変化情報の生成のために使用される。
That is, the image pickup data from the A / D converter 21 is separated into the background plane information for one screen and the plane information for each moving object by the plane separation circuit of the signal processing circuit 22 described above. Information about one frame of the background image and each moving object is stored in the frame memory 7
1BG and 71A1 to 71An. The frame memories 71BG and 71A1 to 71An have a two-frame buffer configuration. When the background image and the information of the moving object are being written to one frame memory, the background plane from the other frame memory and The information data of the moving object plane is read out and the data is used for generating the change information.

【0100】すなわち、フレームメモリ71BGからの
背景画の情報は、画枠位置変化検出回路72BGに供給
されると共に、フレームメモリ71A1〜71Anから
の各動き物体の画像情報は、動き変化検出回路72A1
〜72Anに供給される。そして、背景プレーンメモリ
23BGからの初期背景プレーンの静止画情報が画枠位
置変化検出回路72BGに供給されると共に、動物体プ
レーンメモリ23A1〜23Anに準備期間において記
憶されている動物体プレーン情報が、動き変化検出回路
72A1〜72Anに供給される。
That is, the background image information from the frame memory 71BG is supplied to the image frame position change detection circuit 72BG, and the image information of each moving object from the frame memories 71A1 to 71An is supplied to the motion change detection circuit 72A1.
~ 72An. Then, the still image information of the initial background plane from the background plane memory 23BG is supplied to the image frame position change detection circuit 72BG, and the moving object plane information stored in the moving object plane memories 23A1 to 23An during the preparation period is It is supplied to the motion change detection circuits 72A1 to 72An.

【0101】画枠位置変化検出回路72BGでは、初期
背景プレーンの背景画情報と、フレームメモリ71BG
の背景画情報とが比較され、両者のパターンマッチング
処理が行われ、一致する部分を除く図5に示した斜線部
の如き画像情報ΔPsが得られる。この比較処理の際
に、カメラの移動方向及び移動量の情報Vsが参照され
る。この情報Vsにより、マッチングのためのサーチ時
間を短縮することができる。
In the image frame position change detection circuit 72BG, the background image information of the initial background plane and the frame memory 71BG
Background image information is compared, pattern matching processing between them is performed, and image information ΔPs such as the hatched portion shown in FIG. 5 excluding the matching portion is obtained. At the time of this comparison processing, the information Vs on the moving direction and the moving amount of the camera is referred to. With this information Vs, the search time for matching can be shortened.

【0102】この情報Vsは、図示しなかったが、カメ
ラ部1に、カメラをチルトやパンニングしたりして移動
させたとき、その移動方向及び距離を検知するジャイロ
スコープなどのセンサ手段を設け、このセンサ手段で検
知するようにする。また、例えば本装置は撮像装置用の
三脚などに取り付けて撮影を行うものとした場合には、
三脚に、カメラのパン、チルトの方向及び移動量を検知
するためのセンサを設けて、このセンサから上記情報V
sを得るようにしてもよい。
Although this information Vs is not shown, the camera unit 1 is provided with a sensor means such as a gyroscope for detecting the moving direction and distance when the camera is moved by tilting or panning. This sensor means is used for detection. Further, for example, when the present device is attached to a tripod for an image pickup device to perform shooting,
A sensor for detecting the pan and tilt directions of the camera and the amount of movement is provided on the tripod.
Alternatively, s may be obtained.

【0103】こうして得られた初期背景プレーンに対す
る変化情報Vs及びΔPsは、圧縮符号化回路26に供
給される。
The change information Vs and ΔPs for the initial background plane thus obtained are supplied to the compression encoding circuit 26.

【0104】動き変化検出回路72A1〜72Anで
は、各動物体プレーンメモリ23A1〜23Anに記憶
されている動き物体と、フレームメモリ71A1〜71
Anからの各動き物体画像とのパターンマッチングによ
り、その動き物体についての動きベクトル、つまり動き
の方向と、動き量とが求められる。
In the motion change detection circuits 72A1 to 72An, the moving objects stored in the moving object plane memories 23A1 to 23An and the frame memories 71A1 to 71A are stored.
By pattern matching with each moving object image from An, the motion vector, that is, the direction of motion and the amount of motion for that moving object are obtained.

【0105】この場合、動き物体は予め動物体プレーン
としてメモリに蓄えられているので、その形状が変化し
ないとすれば、特定の代表点、あるいは代表ブロックに
着目して、その代表点あるいは代表ブロックについてパ
ターンマッチングを行うことにより、動き物体全体につ
いての動きベクトルを抽出することができ、比較的短時
間でマッチング処理を行うことが可能である。このこと
は、背景画の画枠位置情報を検出する場合においても同
様のことが言える。
In this case, since the moving object is stored in the memory as a moving object plane in advance, if the shape does not change, pay attention to a specific representative point or a representative block, and the representative point or the representative block. By performing the pattern matching with respect to, the motion vector for the entire moving object can be extracted, and the matching process can be performed in a relatively short time. The same can be said when detecting the image frame position information of the background image.

【0106】動き物体が向きを変えたり、形状を変えた
りしたとき、パターンマッチングで誤差が大きくなる。
そこで、この例では、動きベクトルと共に、その誤差分
を動き変化情報として伝送するようにする。
When the moving object changes its direction or shape, the pattern matching causes a large error.
Therefore, in this example, together with the motion vector, the error amount is transmitted as motion change information.

【0107】こうして、動き変化検出回路72A1〜7
2Anで得られた各動物体プレーンメモリの動き物体に
ついての、動きベクトルと、マッチング誤差の情報は圧
縮符号化回路26に供給される。
In this way, the motion change detection circuits 72A1-7A7
The motion vector and the matching error information for the moving object in each moving object plane memory obtained by 2An are supplied to the compression encoding circuit 26.

【0108】圧縮符号化回路26では、その入力データ
をデータ圧縮する。前述したように、この圧縮後のデー
タ量は、画像情報に比べて非常に少なく、リアルタイム
でディスクに容易に記録することが可能である。
The compression coding circuit 26 compresses the input data. As described above, the amount of data after compression is much smaller than that of image information, and it is possible to easily record the data on the disc in real time.

【0109】なお、カメラがズーミングされたときは、
そのズーム比情報を変化情報に含めると共に、撮像信号
との比較のために、背景プレーン及び動物体プレーンの
情報は、そのズーム比に応じてローパスフィルタ(デー
タ間引き)を通されるものである。
When the camera is zoomed,
The zoom ratio information is included in the change information, and the information of the background plane and the moving object plane is passed through a low-pass filter (data thinning) according to the zoom ratio for comparison with the image pickup signal.

【0110】各動物体プレーンメモリの動き物体の動き
後の位置は、検出された動きベクトルを用いて容易にメ
モリ上のアドレスとして検出することができる。このた
め、動き物体同志の重なりが生じた状態を、複数個の動
き物体の画素のアドレスが同一になることにより認識す
ることができる。このように、複数個の動き物体に重な
りが生じた場合には、現画像で、その部分の画素とし
て、いずれの動き物体の画素が現れているかにより、動
き物体間の奥行きを検出する。そして、その奥行き情報
を、動き情報と共に、伝送するようにする。なお、奥行
き情報は、背景画と、動き物体についても求めるように
する。
The post-movement position of the moving object in each moving object plane memory can be easily detected as an address on the memory by using the detected motion vector. Therefore, it is possible to recognize a state in which the moving objects overlap with each other by making the pixel addresses of the plurality of moving objects the same. As described above, when a plurality of moving objects are overlapped with each other, the depth between the moving objects is detected depending on which pixel of the moving object appears as the pixel of the part in the current image. Then, the depth information is transmitted together with the motion information. Note that the depth information is also obtained for the background image and the moving object.

【0111】また、動き物体についての動き変化情報と
しては、次の例のような予測動きベクトルと、物体変形
情報を伝送するようにしてもよい。すなわち、図13の
例においては、フレームメモリ71A1〜71Anから
の入力画像情報から抽出された各動き物体のフレーム情
報は、差分演算回路73A1〜73Anに供給される。
Further, as the motion change information about the moving object, a predicted motion vector as in the following example and the object deformation information may be transmitted. That is, in the example of FIG. 13, the frame information of each moving object extracted from the input image information from the frame memories 71A1 to 71An is supplied to the difference calculation circuits 73A1 to 73An.

【0112】また、動物体プレーンメモリ23A1〜2
3Anの動物体プレーン情報が、予測回路74A1〜7
4Anに供給され、予測動きベクトル発生回路75A1
〜75Anからの予測動きベクトルに基づいて、予測さ
れる現時点での移動後の各動き物体のフレーム画像デー
タがこれより得られる。そして、この予測された各動き
物体のフレーム画像データが、差分演算回路73A1〜
73Anに供給されて、フレームメモリ71A1〜71
Anからの入力画像情報から抽出された各動き物体のフ
レーム情報との差分が演算される。
In addition, the moving object plane memories 23A1-2
The 3A moving object plane information is used as the prediction circuits 74A1 to 74A7.
4An, and is supplied to 4An, and the motion vector predictor generating circuit 75A1
Based on the predicted motion vector from ~ 75An, the frame image data of each predicted moving object after the movement is obtained from this. Then, the predicted frame image data of each moving object is converted into the difference calculation circuits 73A1 to 73A1.
73An and is supplied to the frame memories 71A1 to 71A1.
The difference from the frame information of each moving object extracted from the input image information from An is calculated.

【0113】差分演算回路73A1〜73Anでは、動
き物体の画像についての差分を、出力データとして圧縮
符号化回路26に出力する。また、差分演算回路73A
1〜73Anは、上記動き物体の画像についての差分か
ら動きベクトルの差分を求め、出力データとして圧縮符
号化回路26に供給すると共に、予測動きベクトル発生
回路75A1〜75Anに供給し、次のフレームに対す
る各動き物体についての予測動きベクトルを生成する。
The difference calculation circuits 73A1 to 73An output the difference of the image of the moving object to the compression encoding circuit 26 as output data. In addition, the difference calculation circuit 73A
1 to 73An obtain the difference of the motion vector from the difference of the image of the moving object and supply it to the compression encoding circuit 26 as output data and also to the predictive motion vector generating circuits 75A1 to 75An for the next frame. Generate a motion vector predictor for each moving object.

【0114】以上の例では、入力画像から背景画及び動
き物体の静止画を分離するようにしたが、背景画及び動
き物体を予め互いに分離した状態で、カメラで撮影する
ことが可能な場合には、予め、これをそれぞれ個別に撮
像して、背景プレーンメモリ23BG及び動物体プレー
ンメモリ23A1〜23Anに書き込んでおくと共に、
ディスク11に記録しておくことができる。
In the above example, the background image and the still image of the moving object are separated from the input image. However, when the background image and the moving object are previously separated from each other, it is possible to take a picture with the camera. In advance, each of them is individually imaged and written in the background plane memory 23BG and the moving object plane memories 23A1 to 23An,
It can be recorded on the disk 11.

【0115】なお、以上の実施例では、実際の撮像録画
の前に準備期間を設定し、その準備期間に背景プレー
ン、動物体プレーンの分離及びディスクへの記録を行う
ようにしたが、動き変化情報の情報量は非常に少ないの
で、準備期間を設けることなく、静止画プレーン情報の
記録から動き変化情報の記録までを、リアルタイムで実
行することも可能である。例えば、1シーンが10秒で
あるとすると、前述の例では、4枚のプレーン情報の記
録は、2秒で可能であるので、その2秒間については、
動き変化情報をバッファメモリに蓄積しておくことによ
り、準備期間を設けることなく、リアルタイムの撮像録
画が可能になる。
In the above embodiment, the preparation period is set before the actual image recording and recording, and the background plane and the moving object plane are separated and recorded on the disc during the preparation period. Since the amount of information is very small, it is possible to execute recording of still image plane information to recording of motion change information in real time without providing a preparation period. For example, assuming that one scene is 10 seconds, in the above example, the recording of four pieces of plane information can be performed in 2 seconds.
By accumulating the motion change information in the buffer memory, real-time image recording can be performed without providing a preparation period.

【0116】[再記録の説明]以上のようにして、1シ
ーンについて記録を行った後には、背景プレーンメモリ
23BGには、前述したように、そのシーンで使用され
る背景画のすべてが記憶されている。ディスク11に
は、初期背景プレーンの静止画BGsと、その静止画B
Gsに対する変化静止画情報(増加情報)が記録されて
いるが、初期背景プレーンの代わりに、記録終了後の背
景プレーンメモリ23BGの内容を背景プレーン情報と
して記録すると、その背景プレーン情報中の画枠位置を
示す情報を各フレームの背景情報として記録することに
より、各フレームの背景静止画を再生側で容易に形成す
ることが可能である。しかも、再生画像の劣化もない。
[Explanation of Re-Recording] After recording one scene as described above, the background plane memory 23BG stores all the background images used in the scene, as described above. ing. On the disk 11, the still image BGs of the initial background plane and the still image B
Although the changed still image information (increase information) for Gs is recorded, if the contents of the background plane memory 23BG after recording is recorded as the background plane information instead of the initial background plane, the image frame in the background plane information is recorded. By recording the information indicating the position as the background information of each frame, it is possible to easily form the background still image of each frame on the reproducing side. Moreover, there is no deterioration of the reproduced image.

【0117】この発明においては、以上の点に鑑み、デ
ィスク11に記録した情報を再生して、再記録を行う。
In view of the above points, the present invention reproduces the information recorded on the disk 11 and re-records it.

【0118】すなわち、図6Bに示すように、先ず、背
景プレーン情報として、記録終了後の背景プレーンメモ
リ23BGの情報、つまり拡大された画枠の静止画情報
BGLを記録する。次に、この例では、再生したn個の
動物体プレーンの静止画情報をそのまま記録する。
That is, as shown in FIG. 6B, first, as the background plane information, the information of the background plane memory 23BG after the recording, that is, the still image information BGL of the enlarged image frame is recorded. Next, in this example, the still image information of the reproduced n moving object planes is recorded as it is.

【0119】次に、変化情報の記録を行うが、この記録
の際には、初期背景プレーンに対する変化画像情報ΔP
sの記録は、行わず、初期背景プレーンの画枠位置に対
する変化位置を検出、生成し、この情報のみを記録す
る。
Next, the change information is recorded. At the time of this recording, the change image information ΔP for the initial background plane is recorded.
The recording of s is not performed, the change position with respect to the image frame position of the initial background plane is detected and generated, and only this information is recorded.

【0120】すなわち、先ず、記録した拡大背景プレー
ンBGL上における初期背景プレーンの画枠位置の情報
STを記録する。これは、背景プレーンメモリ23BG
上の拡大背景プレーンの静止画の例えば左上隅のアドレ
ス情報でよい。次に、再生した各フレームの背景画の画
枠位置変化方向及び変化量の情報Vsから求めた変化後
の画枠位置情報FLsを、当該フレームの背景画の情報
として記録する。この画枠位置情報FLsも、背景プレ
ーンメモリ23BG上の拡大背景プレーン上の静止画に
おける、当該画枠の左上隅のアドレス情報でよい。
That is, first, the information ST of the image frame position of the initial background plane on the recorded enlarged background plane BGL is recorded. This is the background plane memory 23BG
For example, the address information of the upper left corner of the still image of the enlarged background plane may be used. Next, the changed image frame position information FLs obtained from the information Vs of the image frame position change direction and amount of change of the background image of each reproduced frame is recorded as the background image information of the frame. The image frame position information FLs may also be address information of the upper left corner of the image frame in the still image on the enlarged background plane in the background plane memory 23BG.

【0121】もっとも、再生側で、情報Vsから、当該
フレームの背景画の画枠位置情報を求めるように構成し
た場合には、変化方向及び変化量の情報Vsをそのまま
再記録するようにしてもよい。
However, when the reproduction side is configured to obtain the image frame position information of the background image of the frame from the information Vs, the information Vs of the change direction and the change amount may be re-recorded as it is. Good.

【0122】以上のようにして、再記録を行うことで、
背景画について、各フレーム(あるいはフィールド)の
画像変化分の情報Psを記録する必要がなくなり、記録
情報量の削減ができる。しかも、再記録であっても、例
えばVTRでの複製の記録と異なり、画像の画質の劣化
はまったくない。
By re-recording as described above,
With respect to the background image, it is not necessary to record the information Ps corresponding to the image change of each frame (or field), and the amount of recorded information can be reduced. Moreover, even in the case of re-recording, there is no deterioration of the image quality of the image, unlike the case of the recording of the copy in the VTR, for example.

【0123】以上の例は、背景プレーンについてのみ、
初期プレーン情報の更新を行って、再記録により記録デ
ータを削減するようにしたが、動物体プレーンについて
も同様にプレーン情報を更新して再記録することによ
り、さらに、記録データ量を削減することができる。
In the above example, only for the background plane,
Although the initial plane information was updated and the recorded data was reduced by re-recording, the plane information is similarly updated and re-recorded for the moving object plane to further reduce the recorded data amount. You can

【0124】また、動き物体については、静止画プレー
ン情報として、拡大画枠の情報ではなく、画像内容が異
なる複数枚の静止画情報を記録して、動き情報を少なく
することもできる。
As for the moving object, it is possible to reduce the motion information by recording, as the still image plane information, a plurality of pieces of still image information having different image contents, instead of the information of the enlarged image frame.

【0125】すなわち、例えば自動車が転回する動画を
想定した場合、自動車のフロントビュー、サイドビュ
ー、リアビューの静止画像を自動車プレーンとしてそれ
ぞれ用意し、それぞれにプレーン番号を付与しておく。
そして、撮像されて入力された現画像中の自動車に関す
る変化情報を求めるに当たって、自動車プレーンとの差
分(変化分)が少ないプレーン番号と、その変化分を記
録することで、変化情報としての記録データ量を減らす
ことができる。
That is, for example, assuming a moving image of a car, still images of the front view, side view, and rear view of the car are prepared as car planes, and plane numbers are given to the respective planes.
Then, in obtaining the change information about the car in the captured and input current image, by recording the plane number with a small difference (change amount) from the car plane and the change amount, the record data as the change information is recorded. The amount can be reduced.

【0126】[デジタル画像信号のディスク再生装置の
説明]図14は、この例のディスク再生装置の一実施例
のブロック図である。この例において、図1の例のディ
スク記録装置と共通部分には同一符号を付してその説明
は省略する。
[Description of Disc Reproducing Device for Digital Image Signal] FIG. 14 is a block diagram of an embodiment of the disc reproducing device of this example. In this example, the same parts as those of the disc recording apparatus of the example of FIG. 1 are designated by the same reference numerals, and the description thereof will be omitted.

【0127】ディスク11が装置に装填されると、装置
は、先ず、ディスクのTOCエリアを取り込み、システ
ムコントローラ3で、各シーンの背景プレーン及び動物
体プレーンの記録位置と、その動き変化情報の記録位置
を認識する。
When the disk 11 is loaded into the apparatus, the apparatus first takes in the TOC area of the disk, and the system controller 3 records the recording positions of the background plane and the moving object plane of each scene and the movement change information thereof. Recognize position.

【0128】そして、システムコントローラ3は、この
TOCエリア情報から、先ず、再生しようとするシーン
の背景プレーン及び複数個の動物体プレーンの情報の再
生を行う。
Then, the system controller 3 first reproduces the information of the background plane and the plurality of moving object planes of the scene to be reproduced from the TOC area information.

【0129】ディスク11から取り出されたこれらの画
像情報は、RF回路28から再生処理回路81に供給さ
れ、セクタ構造などの所定の記録フォーマットのデータ
のデコード処理が行われ、そのデコードデータがデータ
伸長及びプレーン分離回路82に供給される。そして、
この回路82において、低圧縮率で圧縮されている各プ
レーン情報が伸長処理されると共に、それぞれのプレー
ン情報毎に分離され、背景プレーン情報は、背景プレー
ンメモリ83BGに、動物体プレーン情報は、動物体プ
レーンメモリ83A1〜83Anに、それぞれ書き込ま
れる。これにより、動画再生開始準備完了となる。
These pieces of image information taken out from the disk 11 are supplied from the RF circuit 28 to the reproduction processing circuit 81, where data of a predetermined recording format such as a sector structure is decoded and the decoded data is expanded. And the plane separation circuit 82. And
In this circuit 82, each plane information compressed at a low compression rate is decompressed and separated for each plane information. The background plane information is stored in the background plane memory 83BG, and the animal body plane information is stored in the animal plane information. It is written in the body plane memories 83A1 to 83An, respectively. This completes the preparation for starting moving image reproduction.

【0130】次に、当該シーンの、背景画の画枠位置情
報、動き変化情報、奥行き情報等がディスクからTOC
エリア情報を参照して、リアルタイムで抽出され、RF
回路28、再生処理回路81を介してデータ伸長復号化
回路84に供給される。そして、動き変化情報等が、デ
ータ伸長及び復号化され、信号処理回路85に供給され
る。
Next, the image frame position information, motion change information, depth information, etc. of the background image of the scene are TOC from the disc.
RF is extracted in real time by referring to area information
The data is supplied to the data decompression / decoding circuit 84 via the circuit 28 and the reproduction processing circuit 81. Then, the motion change information and the like are decompressed and decoded, and supplied to the signal processing circuit 85.

【0131】また、信号処理回路85には、背景プレー
ンメモリ83BG及び動物体プレーンメモリ83A1〜
83Anからの各静止画情報も供給される。そして、こ
の信号処理回路85においては、背景プレーンメモリ8
3BGから、画枠位置情報に基づいた画枠位置の背景画
が読み出され、この背景画に、動物体プレーンメモリ8
3A1〜83Anからの各動き物体の画像を、伸長復号
化回路84からの、それぞれの動き物体についての動き
変化情報及び奥行き情報を用いて合成する。
Further, the signal processing circuit 85 includes a background plane memory 83BG and a moving object plane memory 83A1.
Each still image information from 83An is also supplied. In the signal processing circuit 85, the background plane memory 8
A background image at the image frame position based on the image frame position information is read from the 3BG, and the moving object plane memory 8 is added to this background image.
The images of the moving objects from 3A1 to 83An are combined using the motion change information and the depth information of the moving objects from the decompression decoding circuit 84.

【0132】つまり、背景画上に、動き物体が、動き変
化情報に応じた位置、奥行き情報に応じた重なり(背景
画との重なりもある)で、フレームあるいはフィールド
毎に張り付けられるような合成が行われて、元の動画像
が得られる。
In other words, a composition is performed in which a moving object is pasted on a frame or field basis at a position according to the motion change information and an overlap according to the depth information (there is also an overlap with the background image) on the background image. The original moving image is obtained.

【0133】このとき、背景画についての画枠位置は、
キー群4の画枠位置変更キーを操作することにより、記
録された画枠位置情報に対して上下左右方向に変更する
ことができる。すなわち、画枠位置変更キーが操作され
ると、再生された画枠位置情報で定められる画枠位置に
対して、変更キーにより指定された方向に画枠位置が変
更され、その変更された画枠位置の背景画が、背景プレ
ーン83BGから読み出される。つまり、画枠位置変更
キーにより再生時の背景画の画枠位置を背景プレーンの
範囲内で、任意の位置に変更することができる。
At this time, the image frame position for the background image is
By operating the image frame position changing key of the key group 4, it is possible to change the recorded image frame position information in the vertical and horizontal directions. That is, when the image frame position change key is operated, the image frame position is changed in the direction specified by the change key with respect to the image frame position determined by the reproduced image frame position information, and the changed image is displayed. The background image at the frame position is read from the background plane 83BG. That is, the image frame position change key can change the image frame position of the background image during reproduction to any position within the range of the background plane.

【0134】また、再生ズームキーが設けられ、これが
操作されたときには、ズーム比に応じて拡大、縮小され
た画枠の背景画が、メモリ83BGから読み出される。
この際、データは、720画素×480ラインの1画面
のデータに適合するように、ズーム比に応じて補間ある
いは間引き処理される。こうして、撮像時の画枠位置に
関係なく、再生側で、ユーザは、所望の絵づくりを楽し
むこともできる。
A reproduction zoom key is provided, and when the reproduction zoom key is operated, the background image of the image frame enlarged or reduced according to the zoom ratio is read from the memory 83BG.
At this time, the data is interpolated or thinned according to the zoom ratio so as to fit the data of one screen of 720 pixels × 480 lines. In this way, regardless of the image frame position at the time of image capturing, the user can also enjoy making a desired picture on the reproducing side.

【0135】この信号処理回路85からの動画像データ
は、D/Aコンバータ86により元のアナログ信号に戻
され、出力端子87から導出され、この出力端子に接続
される画像モニター装置にその再生画像が映出される。
The moving image data from the signal processing circuit 85 is returned to the original analog signal by the D / A converter 86, is derived from the output terminal 87, and the reproduced image is reproduced on the image monitor device connected to this output terminal. Is projected.

【0136】以上のようにして、シーン毎に背景プレー
ン、動物体プレーンの情報を、先ず、ディスクから読み
出し、その後、変化情報を順次ディスクから読み出すこ
とで、各シーンの動画の再生を行うことができる。この
場合において、各シーンの変化情報の情報量は非常に少
ないので、1シーンの変化情報を、動画のリアルタイム
に合わせてディスクから取り出すのではなく、バッファ
メモリを設けて、各プレーン情報に続いて動き変化情報
を取り出してバッファメモリに蓄積し、そのバッファメ
モリから順次動き変化情報を動画に合わせて読み出す処
理を行うようにすることもできる。
As described above, the information of the background plane and the moving object plane for each scene is first read from the disc, and then the change information is sequentially read from the disc, whereby the moving image of each scene can be reproduced. it can. In this case, since the amount of change information of each scene is very small, the change information of one scene is not extracted from the disk in time with the real time of the moving image, but a buffer memory is provided and the change information of each scene follows each plane information. It is also possible to take out the motion change information, store it in the buffer memory, and perform a process of sequentially reading out the motion change information from the buffer memory in accordance with the moving image.

【0137】そして、そのようにした場合には、動画再
現処理と、ディスクからの再生信号の抽出とを分離する
ことができるので、前のシーンの再生中に、次のシーン
のプレーン情報をディスクから抽出して、別のプレーン
メモリに蓄えるようにすることができる。このようにす
れば、とぎれることなく複数のシーンを連続して再生す
ることが可能である。
In such a case, since the moving image reproduction processing and the extraction of the reproduction signal from the disc can be separated, the plane information of the next scene can be recorded on the disc during the reproduction of the previous scene. Can be extracted from and stored in another plane memory. By doing so, it is possible to continuously reproduce a plurality of scenes without interruption.

【0138】以上のようにして、この発明によれば、入
力画像を背景画及び動物体プレーンに分け、これを高画
質で記録すると共に、背景画の変化や動物体プレーンに
ついての動き変化を共に記録して再生時に合成するよう
にするので、記録伝送レートが低い記録媒体の場合で
も、高画質、かつ、動きのスムースな動画の記録ができ
る。
As described above, according to the present invention, the input image is divided into the background image and the moving object plane, which is recorded with high image quality, and at the same time, the change of the background image and the change of movement of the moving object plane are performed together. Since recording and synthesizing are performed at the time of reproduction, it is possible to record a moving image with high image quality and smooth motion even in the case of a recording medium having a low recording transmission rate.

【0139】例えば、従来、いわゆるMPEGと呼ばれ
る画像データの圧縮方法が知られているが、この方法
は、一番最初に1枚のフレーム(静止画)の画像情報を
送り、その後は、その最初の画像フレームとの差を取
り、その残差をデータ圧縮して記録する方法である。こ
のMPEGで最初の1フレームの画像データのビット数
は、データ圧縮された段階で、例えば400Kビットと
されている。この400Kビットの画像は、比較的画質
の良い画像となっている。
For example, a compression method of image data called so-called MPEG is conventionally known, but this method sends image information of one frame (still image) at the very beginning, and then the first. This is a method of taking the difference from the image frame of and recording the residual by compressing the data. The number of bits of the image data of the first one frame in this MPEG is, for example, 400 K bits when the data is compressed. This 400 K-bit image has a relatively high image quality.

【0140】この400Kビットの画像は、1フレーム
の情報であるので、これをbpsで表わすと、1秒は、
30フレームからなるので、12Mbps相当となる。
したがって、かなり高画質の画像が得られている。MP
EGでは、その後の情報として、残差の情報しか記録し
ないため、再生画像は劣化したものとなってしまうが、
最初の1フレームの画像自体は、程度のよい画質となっ
ているのである。
Since this 400 K-bit image is one frame of information, if this is expressed in bps, one second is:
Since it consists of 30 frames, it corresponds to 12 Mbps.
Therefore, a fairly high quality image is obtained. MP
In the EG, since only the residual information is recorded as the subsequent information, the reproduced image is deteriorated,
The image of the first one frame itself has a good image quality.

【0141】これに対し、上述したこの発明の構成によ
れば、背景プレーンと動物体プレーンの複数枚の画像プ
レーンの情報は、MPEGと同等の12Mbps相当の
画像データとして記録するとともに、僅かなビット数で
記録された動き変化情報に基づいて、この画質の良い動
物体のプレーンを移動させて、背景プレーンと合成する
ことにより動画が再現されるものであるので、画質がよ
く、しかも動きベクトルの情報はリアルタイムの情報で
あるので、動きもギクシャクすることなく、良好なもの
となる。
On the other hand, according to the above-described configuration of the present invention, the information of the plurality of image planes of the background plane and the moving object plane is recorded as the image data of 12 Mbps equivalent to MPEG, and the bit number is small. The moving image plane is moved based on the motion change information recorded by the number and is combined with the background plane to reproduce the moving image, so the image quality is good and the motion vector Since the information is real-time information, the movement is not jerky and is good.

【0142】なお、背景プレーンと分離される動き情報
は、以上の例のように、複数個の動き物体の静止画から
なる動物体プレーンに分けて記録するのではなく、これ
ら複数個の動き物体を含む動き情報をデータ圧縮して背
景プレーンとは分離して記録する装置にも、この発明は
適用できる。
It should be noted that the motion information separated from the background plane is not recorded separately in the moving object plane composed of still images of a plurality of moving objects as in the above example, but is recorded in a plurality of moving objects. The present invention can also be applied to an apparatus for compressing motion information including the data and recording the data separately from the background plane.

【0143】また、以上の例は、画像データの伝送媒体
として、光磁気ディスクを使用したが、この発明におい
ては、テープやその他の記録媒体を使用できることはい
うまでもない。
In the above example, the magneto-optical disk is used as the image data transmission medium, but it goes without saying that a tape or other recording medium can be used in the present invention.

【0144】[0144]

【発明の効果】以上説明したように、この発明によれ
ば、画像を背景の静止画情報(背景プレーン)と、動き
情報とに分けて、背景画の静止画情報を記録媒体に記録
すると共に、動画の1シーンにおける背景の変化分は、
記録した背景静止画との差分として記録するようにする
記録装置において、記録した情報を再生し、背景画の静
止画情報及びその変化分の記録をやり直すことにより、
記録情報量を削減することができる。
As described above, according to the present invention, an image is divided into background still image information (background plane) and motion information, and still image information of the background image is recorded on a recording medium. , The background change in one scene of the movie is
In a recording device that records as a difference from the recorded background still image, by reproducing the recorded information and re-recording the still image information of the background image and its change,
The amount of recorded information can be reduced.

【0145】例えば、背景画の静止画情報を、記録の終
了後に得られる拡大された画枠の背景静止画に書き換え
ると、これは、背景として必要なすべての変化分を備え
るものであるので、各フィールドあるいはフレームの背
景変化分の画像情報は記録する必要がなく、その代わり
に拡大された画枠の背景静止画中のどの画枠を背景とす
るかを示すビット数の少ない情報を記録するだけでよく
なり、その分、記録データ量が削減されるものである。
For example, when the still image information of the background image is rewritten to the background still image of the enlarged image frame obtained after the end of recording, this has all the changes necessary for the background. It is not necessary to record the image information corresponding to the background change of each field or frame, and instead, the information of a small number of bits that indicates which image frame in the still image is the background is recorded. This is enough, and the amount of recorded data is reduced accordingly.

【0146】さらに、動きの情報についても、複数個の
動き物体の静止画プレーンと、その変化分との記録を行
うようにした場合には、各動き物体の静止画プレーンを
再記録の際に、変化分として記録すべき情報量が少なく
なるものに記録し直すことにより、記録情報量の削減を
計ることができる。
Further, as for the motion information, when the still picture planes of a plurality of moving objects and their changes are recorded, the still picture planes of each moving object are re-recorded. The amount of recorded information can be reduced by re-recording the amount of change as the amount of information to be recorded.

【0147】また、この発明では、画像を背景プレーン
の静止画及び動物体プレーンの動き物体の静止画に分
け、これら複数枚の静止画プレーンの情報を、圧縮せず
にあるいは高画質を保つことができる低圧縮率で低速で
記録するとともに、動き変化情報を僅かなビット数で高
速に記録し、再生側では、動き変化情報に基づいて、画
質の良い動物体のプレーンを移動させて、背景プレーン
と合成することにより動画が再現されるものであるの
で、画質がよく、しかも、動きもギクシャクすることな
く、良好なものとなる再生画像を得ることができる。
Further, in the present invention, the image is divided into a still image of the background plane and a still image of the moving object of the moving object plane, and the information of the plurality of still image planes is not compressed or high image quality is maintained. In addition to recording at low compression rate at low speed, motion change information is recorded at high speed with a small number of bits, and on the playback side, the plane of the moving object with good image quality is moved based on the motion change information, Since a moving image is reproduced by synthesizing with a plane, it is possible to obtain a reproduced image with good image quality and good motion without jerky motion.

【図面の簡単な説明】[Brief description of drawings]

【図1】この発明によるデジタル画像信号の記録装置の
一実施例としてのディスク記録装置のブロック図であ
る。
FIG. 1 is a block diagram of a disk recording apparatus as an embodiment of a digital image signal recording apparatus according to the present invention.

【図2】この発明の要部の説明のための図である。FIG. 2 is a diagram for explaining an essential part of the present invention.

【図3】図1の例の信号記録タイミングを説明するため
の図である。
FIG. 3 is a diagram for explaining a signal recording timing in the example of FIG.

【図4】図1の例の説明のための図である。FIG. 4 is a diagram for explaining the example of FIG. 1.

【図5】この発明の一実施例に用いられる背景プレーン
メモリ23BGの一例を説明するための図である。
FIG. 5 is a diagram for explaining an example of a background plane memory 23BG used in an embodiment of the present invention.

【図6】この発明の要部の説明のためのタイムチャート
である。
FIG. 6 is a time chart for explaining a main part of the present invention.

【図7】この発明によるデジタル画像信号の記録装置の
要部の一実施例のブロック図である。
FIG. 7 is a block diagram of an embodiment of a main part of a digital image signal recording apparatus according to the present invention.

【図8】図7の例の動作の説明のための図である。8 is a diagram for explaining the operation of the example in FIG. 7. FIG.

【図9】図7の例の動作の説明のための図である。9 is a diagram for explaining the operation of the example in FIG. 7. FIG.

【図10】図7の例の動作のフローチャートの一部を示
す図である。
10 is a diagram showing a part of a flowchart of the operation of the example of FIG. 7. FIG.

【図11】図7の例の動作のフローチャートの一部を示
す図である。
11 is a diagram showing a part of a flowchart of the operation of the example of FIG.

【図12】この発明によるデジタル画像信号の記録装置
の要部の一実施例のブロック図である。
FIG. 12 is a block diagram of an embodiment of a main part of a digital image signal recording apparatus according to the present invention.

【図13】この発明によるデジタル画像信号の記録装置
の要部の他の実施例のブロック図である。
FIG. 13 is a block diagram of another embodiment of the main part of the digital image signal recording apparatus according to the present invention.

【図14】この発明の記録装置によって記録したデジタ
ル画像信号の再生装置の一実施例のブロック図である。
FIG. 14 is a block diagram of an embodiment of a reproducing apparatus for a digital image signal recorded by the recording apparatus of the present invention.

【符号の説明】[Explanation of symbols]

22 信号処理装置 23BG 背景プレーンメモリ 23A1〜23An 動物体プレーンメモリ 24 圧縮回路 26 圧縮符号化回路 31 背景プレーン 32〜34 動物体プレーンメモリ 62 動物体プレーン分離回路 62M 差分メモリ 72BG 画枠位置変化検出回路 22 signal processing device 23BG background plane memory 23A1-23An animal body plane memory 24 compression circuit 26 compression encoding circuit 31 background plane 32-34 animal body plane memory 62 animal body plane separation circuit 62M difference memory 72BG image frame position change detection circuit

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/137 Z ─────────────────────────────────────────────────── ─── Continuation of the front page (51) Int.Cl. 6 Identification code Internal reference number FI Technical indication H04N 7/137 Z

Claims (4)

【特許請求の範囲】[Claims] 【請求項1】 予め入力デジタル画像信号から、背景画
の静止画情報と、この背景画上を動く動き物体の情報と
に分ける手段と、 上記背景画の静止画情報を記憶するメモリ手段と、 入力デジタル画像信号から背景画の静止画を分離し、こ
の分離した静止画の、上記メモリ手段の背景画に対する
変化情報を求める手段と、 上記メモリ手段の静止画情報と、上記変化情報及び上記
動き物体の情報とを記録媒体に記録する手段と、 上記メモリ手段の静止画情報を上記変化情報に基づいて
更新する手段と、 上記記録媒体に記録された信号を再生し、上記更新され
たメモリ手段の静止画情報を用いて上記変化情報を形成
し直す手段と、 上記メモリ手段の更新された静止画情報、上記形成し直
された変化情報及び動き物体の情報を上記記録媒体に再
記録する手段とを備えてなるデジタル画像信号の記録装
置。
1. A means for dividing still image information of a background image and information of a moving object moving on the background image from an input digital image signal in advance, and a memory means for storing the still image information of the background image. A means for separating a still picture of a background picture from an input digital image signal and obtaining change information of the separated still picture with respect to the background picture of the memory means, still picture information of the memory means, the change information and the motion. Means for recording the information of the object on a recording medium, means for updating the still image information of the memory means based on the change information, and means for reproducing the signal recorded on the recording medium to update the memory means. Means for re-forming the change information by using the still image information, and re-recording the updated still image information in the memory means, the re-formed change information and the moving object information in the recording medium. And a digital image signal recording apparatus.
【請求項2】 請求項1に記載のデジタル画像信号の記
録装置において、 上記背景画上を動く動き物体の情報に対して、 予め入力デジタル画像信号から、上記背景画上を動く動
き物体のそれぞれの静止画からなる1〜複数個の動物体
プレーン情報とを分離する分離手段と、 上記分離された各動物体プレーン情報をそれぞれ個別に
記憶するメモリ手段と、 上記入力デジタル画像信号及び上記メモリ手段の出力に
基づいて、上記プレーン情報としてメモリ手段に記憶さ
れた静止画に対する変化情報を検出する変化情報検出手
段と、 上記メモリ手段の上記複数のプレーン情報の静止画情報
と、上記変化情報検出手段からの変化情報とを記録媒体
に記録する手段と、 上記メモリ手段の静止画情報を更新する手段と、 上記記録媒体に記録された信号を再生し、上記更新され
たメモリ手段の静止画情報を用いて上記変化情報を形成
し直す手段と、 上記メモリ手段の更新された静止画情報と、上記形成し
直された変化情報とを上記記録媒体に再記録する手段と
を備えてなるデジタル画像信号の記録装置。
2. The digital image signal recording apparatus according to claim 1, wherein, with respect to the information on the moving object moving on the background image, each of the moving objects moving on the background image based on the input digital image signal in advance. Separating means for separating one to a plurality of moving object plane information consisting of still images, memory means for individually storing each of the separated moving object plane information, the input digital image signal and the memory means Change information detecting means for detecting change information for the still image stored in the memory means as the plane information, still image information of the plurality of plane information in the memory means, and the change information detecting means Change information from the memory means, a means for updating the still image information of the memory means, and a signal recorded on the recording medium. A means for reproducing and re-forming the change information by using the updated still picture information of the memory means, the updated still picture information of the memory means, and the re-formed change information. A device for recording a digital image signal, comprising a means for re-recording on a medium.
【請求項3】 上記メモリ手段のプレーン情報の静止画
情報は、圧縮せずに、あるいは低圧縮率で記録すると共
に、上記変化情報は圧縮して記録するようにしたことを
特徴とする請求項1または請求項2に記載のデジタル画
像信号の記録装置。
3. The still image information of the plane information of the memory means is recorded without compression or at a low compression rate, and the change information is compressed and recorded. The apparatus for recording a digital image signal according to claim 1 or 2.
【請求項4】 上記デジタル画像信号は、ビデオカメラ
の撮像出力をA/D変換したものである請求項1または
請求項2に記載のデジタル画像信号の記録装置。
4. The digital image signal recording apparatus according to claim 1, wherein the digital image signal is obtained by A / D converting an image pickup output of a video camera.
JP20450593A 1993-07-12 1993-07-27 Digital image signal recording device Expired - Lifetime JP3263749B2 (en)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP20450593A JP3263749B2 (en) 1993-07-27 1993-07-27 Digital image signal recording device
KR1019940016622A KR100292138B1 (en) 1993-07-12 1994-07-11 Transmitter and Receiver for Digital Video Signal
US08/748,024 US5706367A (en) 1993-07-12 1996-11-12 Transmitter and receiver for separating a digital video signal into a background plane and a plurality of motion planes
US08/904,930 US6335988B1 (en) 1993-07-12 1997-08-01 Method and apparatus for separating/generating background and motion object planes
US08/904,928 US6275617B1 (en) 1993-07-12 1997-08-01 Method and apparatus for separating/generating background and motion object planes

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP20450593A JP3263749B2 (en) 1993-07-27 1993-07-27 Digital image signal recording device

Publications (2)

Publication Number Publication Date
JPH0746533A true JPH0746533A (en) 1995-02-14
JP3263749B2 JP3263749B2 (en) 2002-03-11

Family

ID=16491645

Family Applications (1)

Application Number Title Priority Date Filing Date
JP20450593A Expired - Lifetime JP3263749B2 (en) 1993-07-12 1993-07-27 Digital image signal recording device

Country Status (1)

Country Link
JP (1) JP3263749B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2004068414A1 (en) * 2003-01-27 2006-05-25 富士通株式会社 Appearance position display device of target object
KR100738241B1 (en) * 1999-09-13 2007-07-12 소니 가부시끼 가이샤 Image processing apparatus
JP2008047967A (en) * 2006-08-10 2008-02-28 Canon Inc Playback device
WO2009078454A1 (en) 2007-12-18 2009-06-25 Sony Corporation Data processing apparatus, data processing method, and storage medium

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100738241B1 (en) * 1999-09-13 2007-07-12 소니 가부시끼 가이샤 Image processing apparatus
JPWO2004068414A1 (en) * 2003-01-27 2006-05-25 富士通株式会社 Appearance position display device of target object
JP2008047967A (en) * 2006-08-10 2008-02-28 Canon Inc Playback device
WO2009078454A1 (en) 2007-12-18 2009-06-25 Sony Corporation Data processing apparatus, data processing method, and storage medium
US8169510B2 (en) 2007-12-18 2012-05-01 Sony Corporation Data processing device, data processing method, and storage medium

Also Published As

Publication number Publication date
JP3263749B2 (en) 2002-03-11

Similar Documents

Publication Publication Date Title
KR100292138B1 (en) Transmitter and Receiver for Digital Video Signal
KR100325491B1 (en) Panorama image creation method and device
JP3845968B2 (en) Image processing system
CN101147391A (en) Imaging device, information processing device, information processing method, program, and program recording medium
EP1051038B1 (en) Processing digital video data
JP3716866B2 (en) Digital image signal transmission apparatus and reception apparatus
US6195126B1 (en) Apparatus and method utilizing a single image memory having a luminance region for storing luminance data, a chromatic region for storing chromatic data, a character region for storing character data, and a pattern region for storing pattern data
KR100435355B1 (en) A video device, a video memory controller, a method of extracting part of the original image and apparatus, an electronic still camera device
JP3271634B2 (en) Digital image signal transmission device and reception device
JP3263749B2 (en) Digital image signal recording device
JP3543978B2 (en) Digital image signal transmission device, reception device, digital image signal recording device, and reproduction device
JPH06133221A (en) Image pickup device
JP3318848B2 (en) Digital image signal transmission device
JP3421859B2 (en) Method and apparatus for detecting motion vector of panoramic image creating apparatus
JP3158735B2 (en) Image signal recording device
JPH11168685A (en) Image processing method
JP2002514861A (en) Trick play reproduction of MPEG encoded signal
JPH06303561A (en) Method and device for generating panoramic image
JP2000069407A (en) Image recording and playback device
JP3336085B2 (en) Imaging recording and playback device
JP3158549B2 (en) Still image recording and playback device
JPH06284321A (en) Panorama picture preparing method and device
JP4270221B2 (en) Electronic camera
JPH0923360A (en) Video device and video recorder
JPH0865630A (en) Image recording / reproducing device

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20071228

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20081228

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091228

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101228

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111228

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121228

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131228

Year of fee payment: 12

EXPY Cancellation because of completion of term