WO1999067947A1

WO1999067947A1 - Image sensing/storing method and image sensing device

Info

Publication number: WO1999067947A1
Application number: PCT/JP1998/002804
Authority: WO
Inventors: Hiromi Watanabe; Tetsuya Nakagawa; Yuji Hatano; Yutaka Okada
Original assignee: Hitachi, Ltd.
Priority date: 1998-06-24
Filing date: 1998-06-24
Publication date: 1999-12-29
Also published as: AU7932798A

Description

明細書映像撮像蓄積方法及び映像撮像装置技術分野

本発明は、映像情報蓄積方法及び映像撮像装置、更に詳しくいえば、映像信号をデジタル信号に変換し圧縮符号化して映像情報を蓄積する方法及び静止画及び短時間の映像を撮影してデジタル信号として記録する映像撮像装置に関する。背景技術

従来、映像をデジタル信号として記録する装置として、静止画像を得るデジタルカメラや動画像を蓄積するビデオカメラがよく知られている。これらの装置において、映像をデジタル信号として記憶する場合、記憶情報量を少なくするするため、情報圧縮方式として、国際標準化機構（ I S O) から、 J P E G ( Joint Photographic Image coding Experts Group) 方式や、 M P E G (Moving Picture coding Experts Group) '方式が利用されている。

静止画像を得るデジタルカメラは、カメラのレンズから入力された光学映像信号をアナログ電気信号に変換し、そのアナ口グ電気信号をデジタル信号に変換し、カメラのシャッターと連動し、画像フレーム列から記録すべき画像フレームのデジタル信号を抜き出し、抜き出されたフレーム画像のデジタル信号を、例えば J P E Gの圧縮方式のようなフレーム内符号化によつて符号化し、蓄積装置に記憶する。従来の静止画用のデジタルカメラは、この一連の画像フレームから、シャツ夕一チャンスで、 1 枚の画像フレームを記録することが可能であるが、撮影者の望むシャッタ一チャンスの映像と実際にシャッターで選択された画像フレームとが必ずしも一致するとは限らない。すなわち、シャツ夕一チャンスを補償するするものではない。

上記シャッターチャンスを補償する静止画カメラとして、図 1 6 に示すような、静止画用のデジタルカメラが公開特許公報 (特開平 3— 2 1 3 0 6 9号）で提案されている。

撮像部 Z 1 で撮影された映像信号は、バッファメモリ Z 2 に一時記億される。シャッターが押されると、そのときの画像フレームがメモリパック Z 3 に記録され、同時にバッファメモリ Z 2への書き込みを禁止する。次にバッファメモリ Z 2 に記憶されているシャッターチャンス以前の画像フレームが母線 B を介してメモリパック Z 3 に記憶される。また、撮影モードによっては、母線 Aを介して、シャッターチャンス以降の画像フレームもメモリパック Z 2 に記憶される。

しかし、このようなデジタルカメラは、シャツ夕一チャンスの瞬間の画像フレームを捕らえるため複数枚の画像フレームを記録することを目的としているため、各画像フレームは、そのまま記憶装置に記録される力各画像フレームを J P E G方式のようなフレーム内符号化する装置にすぎない。このため、各画像フレーム間での相関を利用しないため、圧縮率が上がらず、シャッターチャンスを補償するため、取り込み記憶する画像フレーム数を増やすと、蓄積装置の容量も大きくする必要がある。

また、撮像記憶装置として、人の表情や動作の瞬間的変化を記録したい場合があるが、従来のデジタルカメラは、静止画像を得るためのものであるため、数秒以内の瞬間的変化を独立に撮像記憶して、再生することはできない。仮に従来のデジタルカメラを被写体に対して連写動作させて、その動きを表現したとしても、従来の静止画カメラでは、一つの画像フレームを取り込み、その画像信号を圧縮符号化し、蓄積装置に記憶するシ —ケンスがとられるため、蓄積装置に撮影した画像フレームが記録されるまで、次の画像フレームを撮影することができない。動きのある動画像を撮像記録できるビデオカメラは、一連の映像を M P E G等のフレーム間予測符号化を用いて圧縮し記録する装置で、連続する画像フレームを記録することにより動きを表現できる。しかし、記録した連続した画像フレームから、所望の画像フレームを取り出し利用するためには、編集作業を必要とする問題がある。また、 M P E G方式は、動画像の圧縮方式として優れた性能があるものの、瞬間的な動画像で、その動画像の中に含まれる複数の画像フレームの重要度が異なるようなことは考慮されていない。

発明の開示

従って本発明の第 1 の目的は、シャツ夕一チャンスの映像を的確にとらえ、記録再生でき、かつ、必要画像フレームメモリの容量を少なく構成できるデジタルカメラのような映像影像撮像装置を提供することである。

本発明の他の目的は、被写体の動きや表情の変化を独立した瞬間動画像として記録する映像撮像蓄積方法及び映像撮像装置を提供することである。

上記目的を達成するため、本発明の映像撮像蓄積方法は、光学映像信号をデジタル信号の一連の画像フレーム列に変換し、上記一連の画像フレーム列からシャツ夕一チャンス前後の複数画像フレームを抽出し、上記抽出された画像フレームの 1 つを基本フレームとしてフレーム内符号化し、蓄積する複数の画像フレームの中に基準画像フレーム（例えば、シャツ夕一チヤンスの画像フレーム）を設定し、その基準画像フレームの時間的に前後の画像フレームを上記基準画像フレームとの相関、あるいは、その基準画像フレームから予測された画像フレームとの相関を利用したフレーム間符号化を行い、上記符号化した信号を蓄積装置に記録する。

また、本発明の映像撮像蓄積は、光学映像信号を一連の画像フレーム列に変化する光電変換部と、シャッターと、上記一連の画像フレーム列からシャッ夕一が押された（以下シャッ夕ーチャンスとも略記する）前後の複数の画像フレームを抽出する手段と、上記抽出された画像フレームの 1 つを基本フレームとしてフレーム内符号化し、上記複数画像フレームで、基準画像フレームに対して時間的に前後の画像フレームを上記基準画像フレームとの相関、あるいは、その基準画像フレームから予測された画像フレームとの相関を利用したフレーム間符号化する符号化部と、符号化された信号を記憶する蓄積装置とを設けて構成される。

好ましい形態としては、上記基本フレームは、上記シャツ夕 —チャンスの画像フレームが選択されるように構成する。図面の簡単な説明

第 1 図は、本発明による影像撮像装置の一実施形態を示すプロック図である。

第 2 図は、図 1 の要部の詳細な構成を示すブロック図である。第 3 図は、本発明による影像撮像装置の一実施形態の記録映像と圧縮方式の説明図である。

第 4図は、本発明による影像撮像装置の一実施形態の信号処理タイムチヤ一ト図である。

第 5 図は、本発明による影像撮像装置の一実施形態の画像フレーム及びブロック説明図である。

第 6図は、本発明による影像撮像装置の一実施形態の処理フロ一チャート（シーケンス）図である。

第 7 図は、本発明による影像撮像装置の一実施形態の処理フロ一チャート（ピクチャ一部）図である。

第 8 図は、本発明による影像撮像装置の一実施形態の処理フロ一チヤ一ト図である。

第 9図は、本発明による影像撮像におけるデジタルカメラの影像データの蓄積構造図である。第 1 0 図は、本発明による影像撮像装置の第二の実施形態を示すブロック図である。

第 1 1 図は、第 1 0 図の要部構成を示すブロック図である。第 1 2 図は、本発明による影像撮像装置の第二の実施形態の記録映像と圧縮方式の説明図である。

第 1 3 図は、本発明による影像撮像装置の第二の実施形態の処理タイムチヤ一ト図である。

第 1 4図は、本発明による影像撮像装置の第二の実施形態の記録映像と圧縮方式の説明図である。

第 1 5 図は、本発明によるデジタルカメラの構成を示すブロック図である。

第 1 6 図は、従来のシャッターチャンスを補償するデジタル力メラの構成ブロック図である。発明を実施するための最良の形態

ぐ実施形態 1 >

第 1 図は、本発明による影像撮像装置の一実施形態の構成を示す図である。図示のように、映像を光信号として取り込むレンズ 1 、その光信号を電気信号に変換する撮像素子 2 、その電気信号を例えば輝度信号と色信号に変換する信号変換器 3 、その輝度、色信号をデジタル信号とする A Z D変換器 4、映像の取り込み及びシャッターポイントを信号として入力するレリ —ズ及びシャッターボタン 5 、本装置の持つモード（例えば、映像の取り込み周期、圧縮符号化モード、基準画像フレーム時間の設定等）を設定するモード入力部 6 、この装置全体の制御信号を作成する全体制御部 7 、画像信号取り込みスィッチ 8 、取り込まれた画像を一時記憶する画像フレームメモリ 9 、フレームメモリ 9 からの画像フレームを選択読み出しするシャツタースィッチ 1 0 、選択読み出しされた画像フレームの信号の圧縮符号化を行う圧縮符号化器 1 1 、圧縮符号化された信号を一時格納する符号バッファ 1 2 、蓄積装置 1 4の蓄積を制御する蓄積制御装置 1 4 を持つ。また、画像再生部をもち、画像再生部は、取り込む映像をモニタしたり蓄積された映像を表示するモニタ 2 1 、モニタ表示用の信号に変換する信号変換器 2 0 、デジタル映像信号をアナログ信号に変換する D Z A変換器 1 9 、復号映像もしくは入力映像を選択する選択器 1 8 、復号用フレームメモリ 1 7 、伸張器 1 6 、復号用符号バッファ 1 7から構成される。

第 2 図は、図 1 の点線で囲まれた信号の符号化、復号部分で、第 1の実施形態において、特徴となる部分の構成を示す。画像フレームメモリ 9 は、 6画像フレーム分のフレームメモリ 9 4 - 9 9 ( F M 1 力、ら F M 6 ) 、フレームメモリ 9 4 ··· 9 9 のどの部分に画像フレームを書き込むか選択する選択器 9 2、またフレームメモリ 9 4 ー 9 9 から読み出しフレームを選択する選択器 9 3 、選択器 9 2及び 9 3 を制御するメモリ制御器 9 1 で構成される。また、圧縮符号化器 1 1 は、スィッチ 1 0 を介して取り込まれた画像フレームをブロックに分解するプロック化器 B 1 、そのブロックの信号をフレーム内符号化するか、フレーム間符号化するかを択する選択器 B 2 、選択されたブロックの信号を離散コサイン変換する離散コサイン変換器 B 3 、離散コサイン変換器 B 3 の出力を量子化する量子化器 B 4 、量子化された信号を可変長符号化する可変長符号化器 B 5 、量子化された信号を逆量子化する逆量子化器 B 6 、逆量子化器 B 6 の出力信号を逆離散コサイン変換する逆離散コサイン変換器 B 7 、フレーム内及びフレーム間符号化の信号に対応した符号化信号を選択する選択器 B 8 、選択器 B 8 によって選ばれた信号と逆離散コサイン変換器 B 7 からの出力を加算し復号フレームを作成する加算器 B C、上記復号フレームの信号を記憶するメモリ B 9 、メモリ B 9及びブロック化器 B 1 からの信号を用いてブロックの動きを検出する動き検出器 B A、プロック化器 B 1 からの信号と動き検出器からの動き補償された参照ブロックの信号のフレーム間の差分を演算する減算器 B B で構成される。

第 3図は、第一の実施形態である第 1 図のデジタルカメラ装置での圧縮方式と記録される画像フレームを説明する図である。

本実施形態は、画像信号の圧縮のため、基準画像フレームをフレーム内符号化し、記録用の圧縮ビットストリームの先頭に記録し、その基準画像フレームより時間的に前後の画像フレームは、上記基準画像フレームからのフレーム間符号化（予測符号化）又は上記基準画像フレームから予測された画像フレームからのフレーム間符号化を行い、上記基準画像フレームのビットストリームに続いて記録するものである。特に基準画像フレームは、デジタルカメラ装置のシャツ夕チャンスにより選択される画像フレームである。

第 3 図（ a ) は、一連の画像フレーム i l , f 2

f 2 0 を時間方に模擬的に示す。画像フレーム ί 1 0がシャツ夕によって選択された画像フレームであり、画像フレーム f 1 0 より時間的に前の画像フレーム f 6 ， f 7 ' · · · f 9及び時間的に後の画像フレーム f 1 1 ， f 1 2 · · · · f 1 4 もデジタルカメラの中の蓄積装置 1 4 に圧縮符号化して記録される。

第 3 図（ b ) は、記録される画像フレーム； f 6 , f 7 · · · • f 1 4の圧縮符号化の形態を説明するための図である。

圧縮符号化は、最初に画像フレーム f 1 0 を基準画像フレームとして、フレーム内符号化し、その基準画像フレーム f 1 0 より時間的に前の画像フレーム f 6 は、基準画像フレーム f 1 0から予測符号化（フレーム間符号化）される。画像フレーム f 7 , f 8 、 f 9 は、画像フレーム f 1 0 あるいは f 6から予測符号化（フレーム間符号化）される。基準画像フレーム f 1 0 より時間的に後の画像フレーム ί 1 1 · · · f 1 4は，最初に、画像フレーム； f 1 4が、基準画像フレーム f 1 0からの予測符号化（フレーム間符号化）され、画像フレーム f 1 1 、 f l 2 、 f l 3 は、画像フレーム f l O もしくは f l 4から予測符号化（フレーム間符号化）される。

第 4図は、第 1 図のデジタルカメラ装置が第 3 図に説明した圧縮符号化を行う場合の処理タイムチャート図である。図中四角形で囲んだ数は、メモリ 9へ書き込まれる画像フレームの番号を、丸で囲んだ数はメモリ 9から読み出される画像フレームの番号を示す。

モード入力部 6で設定された映像取り込み周期で撮影された入力画像フレームは、レリーズ及びシャッターボタン 5からのレリーズ信号がアクティブ（図で低いレベル）の期間、画像フレームをフレームメモリ 9 に取り込む。図では、 3番の画像フレームをメモリ 9 4 ( F M 1 ) に、 4番をメモリ 9 5 ( F M 2 ) に、 5番をメモリ 9 6 ( F M 3 ) に、 6番をメモリ 9 7 ( F M 4 ) に、 7番をメモリ 9 8 ( F M 5.) に、 8番をメモリ 9 9 ( F 6 ) に、そして、 9番を再びメモリ 9 4 ( F M 1 ) に取り込むように示している。 1 0番の画像フレームの時シャツ夕一ボタンが押されると、 1 0番の画像フレームをメモリ 9 5 ( F M 2 ) に取り込み、 1 1番をメモリ 9 6 ( F M 3 ) に取り込むと同時に、メモリ 9 6 ( F M 2 ) から 1 0番の画像フレームを読み出し、基準画像フレームとしてフレーム内符号化するそして同時に、その画像フレームを参照画像フレームと ·してフレームメモリ（第 2図の B 9 ) に書き込む、また、同時に符号バッファ 1 2 に圧縮した符号を書き出す。書き出された符号は、蓄積制御装置 Dにより適当なタイミングで蓄積装置 Eに記録される。 1 2番の画像フレームは、この基準画像フレームの記録されたメモリ F M 2 に取り込まれる。これと同時に、メモリ F M 4 に取り込まれている 6番の画像フレームを読み出し、基準画像フレームからの予測符号化（フレーム間符号化）される。

また、同時にその圧縮符号を符号バッファ 1 2 に書き出し、その画像フレームを参照画像フレームとして、フレームメモリ（第 2 図の B 9 ) に書き込む。 1 3番の画像フレームは読み出しが終了したメモリ F M 4 に取り込まれる。これと同時に 7番の画像フレームがメモリ F M 5から読み出され、フレームメモリにある参照画像フレームである、 1 0番もしくは 6番の画像フレームからの予測符号化（フレーム間符号化）される。結果は、符号バッファ 1 2 に出力される。同樣に 1 4番の画像フレームを取り込みながら 8番の画像フレームを処理を行う。続いて 9番の画像フレームの処理を行いシャッターを押したとき及びそれ以前の画像フレームの圧縮符号化処理が終了する。

次に、メモリ F M 5番に取り込まれている 1 4番の画像フレームを基準画像フレームである 1 0番からの予測符号化（フレ —ム間符号化）し、符号を符号バッファ Cに出力すると同時に、フレームメモリに 6番の画像フレームと入れ替えて書き込む。次に 1 1 番の画像フレームをメモリ F M 3から読み出し、 1 0番あるいは 1 4番の画像フレームから予測符号化（フレーム間符号化）し、その符号を符号バッファ 1 2 に出力する。同様に 1 2番、 1 3番と処理を行いシャツ夕一を押したとき以降の画像フレームの処理を終了する。

上記第 1 の実施形態の圧縮符号化部の処理を第 5 図から第 8図を用いてより詳細に説明する。

第 5図は、圧縮符号化される画像フレーム及び処理単位のブロックを示す図である。同図の上部は第 3図（ b ) と同じで、メモリ 9 に記録された一連の画像フレーム ί 6 , f 7 · · · · · · f 1 4 と同じで、以後の説明の便宜上、それぞれ P i c (

— 4 ) ， P i c (— 3 ) P i c ( 4 ) で示す。すなわちシャッターチャンスの画像フレーム f 1 0 を P i c ( 0 ) と表し、それより時間的に前の画像フレームをマイナス（一） ( + ) で、それより時間的に後の画像フレームをプラスで表す。各画像フレームは、 1 6画素 X 1 6画素のマクロブロック（ M B ) と呼ばれるマクロブロックに分解される。一つの画像フレームは、水平 Mマクロブロック X垂直 Nマクロブロック（M 、 Nは整数）で構成される。マクロブロックは、さらに水平、垂直にそれぞれ 2分され、 8画素 X 8画素の 4個のブロックから構成される。

第 6図は、第 1 の実施形態における圧縮符号化の動作フローチャートである。レリーズポタンが押されると処理が開始され ( 6 0 0 ) 、「待ち」状態（ 6 0 1 ) では、フレームメモリ 9 に順番に画像フレームが取り込まれている。シャツ夕一ボタン 5が押される（ 6 0 2 ) と、まず記録する映像の全体の情報を含んだシーケンスヘッダーが書き込まれる（ 6 0 3 ) 。

次に、符号化する画像フレームの番号が決定される（ 6 0 4 ) 。始めは、シャツ夕一チャンスの画像フレーム P i c ( 1 0 ) 、続いて P i c (— 4 ) 、 P i c (— 3 ) 、 P i c (— 2 ) 、 P i c (— 1 ) とシャツ夕一チャンス以前の画像フレーム力決定され、そして、 P i c ( 4 ) 、 P i c ( 1 ) 、 P i c ( 2 ) 、 P i c ( 3 ) とシャッターチャンス以降の番号が決定される。決定された番号を引数 M u mとして、ピクチャー処理

( P i c t P (M u m) ) が行われる。

第 7図は、ピクチャー処理（ P i c t P (M u m) ) の処理フローチヤ一トを示す。

ピクチャー処理は、画像フレーム単位の処理である。まず、その画像フレーム特有の情報をピクチャヘッダーとして書き込む（ 7 0 1 ) 。次に、引数として渡された番号 M u mの画像フレームが記憶されている画像フレームメモリを選択し、その画像フレームから画像データを読み出し（ 7 0 2 ) 、前述のマクロブロックに分解し（ 7 0 3 ) 、 1 マクロブロックづっ読み出す。引数 M u mを調べ、 M u m= 0の場合は、基準画像フレームであるため、符号化はフレーム内符号化を行う（ 7 0 4 ) フレーム内符号化は、各マクロブロックをフレーム内符号化して行う。図では、マクロブロックの種類を示す T Y P E信号を I N T R Aと設定することによりマクロブロックのフレーム内符号化を行う。引数 M u mがー 4 と 4の場合は、基準画像フレーム P i c ( 0 ) からの予測符号化を行う。予測符号化は、動き検出を行い（ 7 0 6， 7 0 7 ) 、符号化対象マクロブロックに一番似ているマクロブロックを参照画像フレームから参照マクロブロックとして切り出す。符号化対象マクロブロックと参照マクロブロックの差分を計算し、差分値の絶対値和がある程度小さい場合は、その差分値を利用して圧縮処理（フレーム間符号化）を行う。差分値が、非常に大きくなり差分利用することが圧縮効果を上げない場合は、符号化対象マクロブ口ックをそのまま符号化（フレーム内符号化）する。図では、 T Y P E判定部分（ 7 0 8 ) で、その処理を行い、差分値の絶対値和が小さい場合は、 T Y P Eを I N T E Rと設定し、そうでない場合は、 T Y P Eを I N T R Aと設定する。引数 N u mが、 — 3、一 2、一 1 の場合は、参照画像フレームは、基準画像フレーム P i c ( 0 ) とその予測から符号化された画像フレーム一 4 との 2つの画像フレームからの予測符号化を行う。

まず、基準画像フレーム P i c ( 0 ) と一番似ているマクロブロック（R e f M B 0 ) を検出する。次に、画像フレーム P i c (一 4 ) からも一番似たマクロブロック（ R e f M B l ) を検出する。このそれぞれの参照マクロブロック（ R e f M B 0 ) ( R e f M B 1 ) との差分及び R e f M B O と R e f M B 1 との平均であるマクロブロックとの差分を計算し、差分値の絶対値和が、前述と同様にある程度小さい時には、その差分値を利用して圧縮処理（フレーム間符号化）し、そうでない場合は、符号化対象マクロブロックをそのまま符号化する。図では、 T Y P E判定部分 7 0 8でその処理を行う。

T Y P E判定部 7 0 8では、もう一つ重要な判定を行う。それは、符号化対象マクロブロックと、参照マクロブロックが同じ、あるいは同じと判定して良いと判断した場合は、 T Y P E を設定せずそのマクロブロックは、参照マクロブロックと同じであるという情報だけを出力し、次の I N T R A処理あるいは I N T E R処理を行わない。対象マクロブロックは、 I N T R Aあるいは I N T E Rの処理が終了すると、符号化対象マクロブロック固有の情報をマクロブロックヘッダとして書き込む ( 7 0 9 ) 。マクロブロック内のブロックに有効な情報（ C o e f ) がある場合は、それを符号化して（ 7 1 0 ) 、符号バッファに書き込む（ 7 1 1 ) 。この操作を、水平 M X垂直 N個の全てマクロブロックについて行い（ 7 1 2 , 7 1 3 ) 、ピクチャ一処理 P i c P ( N u m) は終了する。

第 8図は、第 7 図の I N T R A処理 7.0 4及び I N T E R処理 7 0 5の詳細な処理フローチャートを示す。

I N T R A処理及び I N T E R処理とも、まず符号化対象マクロブロックをブロックに分解する（ 8 0 1 ， 8 0 2 ) 。 I N T R Aの場合は、そのブロックを D C Tし（ 8 0 3 ) 、 D C T 係数（ C o e f ) に変換する（ 8 0 3 ) 。次に、 D C T係数を量子化し Q C o e f とする（ 8 0 5 ) 。 Q C o e f の一部は符号化される。 Q C o e f の他の一部は、逆量子化され I Q C o e ； f とされ（ 8 0 7 ) 、さらに逆 D C Tされ R B 1 o c kデー夕となる（ 8 0 9 ) 。 R B 1 o c kデータは、 I N T R A処理では、そのまま復号デ一夕となる（ 8 1 1 ) 。

I N T E R処理の場合は、最も近い参照マクロブロック内のブロックと差分が計算され B 1 o c kデータとされる（ 8 0 2 ) 。そのデータは、 I N T R A処理と同様に、順次 D C Tされ ( 8 0 4 ) 、量子化され（ 8 0 6 ) 、 Q C o e f とされ符号化される。また、 Q o e f は、逆量子化（ 8 0 6 ) 、逆 D C T (

8 0 8 ) され、先に差分をとつたブロックと加算され復号されたブロックデータとされる（ 8 1 0 ) 。

第 9 図は、上述の処理によって符号化された映像データの符号化情報を示す。先頭に、シーケンスヘッダ 9 1 がある。シ一ケンスヘッダ 9 1 には、映像の取り込み周期時間等のモード情報 9 1 1 と画像サイズ等の撮影した瞬間動画像の全体に関する情報 9 1 2 、その他 9 1 3が記録されている。次にピクチャヘッダ 9 2が記録される。ピクチャヘッダ 9 2 は、そのピクチャ（画像フレーム）の時刻情報 9 2 1や画像フレームのタイプ

9 2 2 、その他 9 2 3 の画像フレーム単位で必要な情報が記録されている。続いて、ピクチャデ一夕 9 3が記録されている。ピクチャデータ 9 3 内には、マクロブロックヘッダ 9 3 1 が各マクロブロック毎に記録される。マクロブロックヘッダ 9 3 1 内には、マクロブロックのタイプゃ動きべクトル、量子化係数等、マクロブロック単位で必要となる情報が記録されている。ただし、マクロブロックヘッダ 9 3 1 の情報は、マクロブロックのタイプで異なる。例えば、マクロブロックタイプ力 I N T R A処理の場合には、動きベクトルの情報は含まれない。

マクロブロックヘッダ 9 3 1 に続いてマクロブロックデ一夕 9 3 2が記録される。マクロブロックデ一夕 9 3 2 は、マクロブロック内のブロックを D C Tし、量子化したデータが含まれる。即ち、量子化した結果符号化すべきデータがないブロックの存在も考えられる。即ち、マクロブロック内の全てのプロックのデ一夕がマクロブロックデータ内に含まれるとは限らない。ピクチャーヘッダ 9 2及びピクチャデータ 9 3 を基準画像フレーム P i c ( 0 ) から、画像フレーム P i c (— 4 ) 、 P i c ( - 3 ) 、 P i c ( - 2 ) 、 P i c ( - 1 ) 、 P i c ( 4 ) 、 P i c ( 1 ) 、 P i c ( 2 ) 、 P i c ( 3 ) と記録したものが、デジタルカメラで撮影された瞬間動画像の 1影像デ一夕となる。

<実施形態 2 >

第 1 0図及び第 1 1 図は、本発明によるデジタルカメラの他の実施形態の構成を示す図である。同図において、図 1 の実施形態と異なる点は、点線で囲んだ部分である。図 1 と同一機能、構成部については、同じ番号を付して、詳細な説明を省く。本実施形態では、第 1 0図の点線で囲んだ部分を更に詳しくしく示した第 1 1 図のように、入力部のフレームメモリ 2 2の容量を画像フレーム 2枚分 M 3及び M 4にしている。その反面、符号バッファ 1 2は、 6画像フレーム分の圧縮した画像フレームデ一夕を記録するメモリ 0 4、 0 5 · · ' · 0 9 と、その入力及び出力の切り替えスィッチ 0 2、 0 3及びその切り替え制御を行うメモリ制御部 0 1 で構成される。即ち、本実施形態では、シャツ夕一チャンス以前の画像フレームを圧縮符号化して記憶することにより、画像フレームデータそのままを記憶していた第一の実施形態より、メモリの容量を大幅に削減できる第 1 2 図は、第二の実施形態の記録映像フレームとその圧縮方式を示す。記録映像の範囲は、第一の実施形態の場合（図 5 ) と同じである。圧縮方式は、シャツ夕一チャンス以前の画像フレームは、フレーム内符号化し、シャッターチャンス以降の符号化は、シャッターチャンスの画像フレームあるいはシャツターチヤンスの画像フレームから予測された画像フレームからの予測（フレーム間符号化）が行われ圧縮される。

第 1 3 図は、第 1 0 図の第二の実施形態が圧縮符号化を行う処理タイムチャート図である。モード入力部 6で設定された映像取り込み周期で撮影された入力画像フレームは、レリーズ及びシャツ夕一ボタン 5からのレリーズ信号がァクティブ（図で低レベル）の時間、画像フレームをフレームメモリ 2 2 に取り込む。図では、 3番の画像フレームをフレームメモリ F M 1 に取り込み、 4番の画像フレームをフレームメモリ F M 2 に取り込むと同時に、フレームメモリ F M 1 から 3番の画像フレ一ムを読み出し、フレーム内符号化して符号バッファ 0 4 ( B 1 ) に書き込む。 5番の画像フレームは、 3番の画像フレームが記憶されていたフレームメモリ F M 1 に書き込まれる。これと同時にフレームメモリ F M 2 から 4番の画像フレームが読み出されフレーム内符号化され、符号バッファ 0 5 ( B 2 ) に書き込まれる。同様に、 6番、 7番、 8番の画像フレームが図に示されるように処理される。 9番の画像フレームをフレーム内符号化した結果は、符号バッファ 0 4 ( B 1 ) に上書きされる。この図では、 1 0番の画像フレームでシャッターが押された場合を示している。 1 1 番の画像フレームをフレームメモリ F M l に取り込むと同時に、フレームメモリ F M 2 から 1 0番の画像を読み出し、フレーム内符号化し、符号バッファ 0 5 ( B 2 ) にその圧縮符号を書き出す。これと同時に、フレームメモリ B 9 に、 1 0番の画像フレーム（復号さらた 1 0番の画像フレーム）を書き込む。 1 2番の画像フレームをフレームメモリ F M 2 に取り込むと同時に、フレームメモリ F M 1 から 1 1 番の画像フレームを読み出し、フレームメモリ B 9 に記憶された 1 0番の画像フレームからの予測符号化（フレーム間符号化）を行う。その結果は、符号バッファ B 3 に記憶される。その時同時に、符号バッファ B 2からは、 1 0 .番の圧縮符号が読み出され、蓄積装置に記憶される。また、 1 1番の画像フレームはフレームメモリ B 9 に記憶される。 1 3番の画像フレームをフレームメモリ F M 1 に取り込むと同時に、フレームメモリ F M 2から 1 2番の画像フレームを読み出し、フレームメモリ B 9 に記億されている 1 1番の画像フレームから予測符号化（フレ —ム間符号化）される。その結果は、符号バッファ B 2 に書き出される。これと同時に、符号バッファ B 4 に記憶されている 6番の画像フレームの圧縮符号が読み出され、蓄積装置に記憶される。また、フレームメモリ B 9 の 1 0番の画像フレームが記憶されていた部分に、 1 2番の画像フレームが記憶される。

1 4番の画像フレームをフレームメモリ F M 2 に取り込むと時に、フレームメモリ F M 1 から 1 3番の画像フレームを読み出し、フレームメモリ B 9 に記憶されている 1 2番の画像フレ —ムから予測符号化（フレーム間符号化）される。その結果は、符号バッファ B 4 に記憶される。これと同時に、符号バッファ B 5 に記憶されている 7 番の画像フレームの圧縮符号が読み出され、蓄積装置に記憶される。また、フレームメモリ B 9 の 1 1番の画像フレームが記憶された部分に、 1 3番の画像フレームが記憶される。次に、 F M 2から 1 4番の画像フレームが読み出され、フレームメモリ B 9 に記憶されている 1 3番の画像フレームから予測符号化（フレーム間符号化）が行われ、符号バッファ B 5 に記憶される。これと同時に、符号バッファ B 6 に記憶されている 8番の画像フレームの圧縮符号が読み出され、蓄積装置に記憶される。次に、符号バッファ B 1 に記億されている 9番の画像フレームの圧縮符号が蓄積装置に記憶される。続いて、 B 3 の 1 1番、 B 2 の 1 2番、 B 4の 1 3 番、 B 5 の 1 4番の画像フレームの圧縮符号が蓄積装置に記憶される。

第 1 図及び第 1 0 図の実施形態では、本発明の原理及びその動作を簡潔に示すため、フレームメモリの容量や、符号バッファの容量、動作タイミング等の最適化を図った構成を示していない。動作のタイミングを入力画像フレーム単位の動作でなく、より細かくすることによりフレームメモリや符号バッファの容量を削減するこできる。また、圧縮符号化器 2 3 内のフレームメモリ B 9 は、復号されて画像フレームを参照画像フレームとして記憶するように動作する。しかし、瞬間的な動画像では、予測の際に誤差の蓄積が少ないので、復号画像フレームを利用することなく、入力画像フレームをそのまま、予測用の参照画像フレームとすることもできる。また、前述の説明では、シャッ夕一チヤンスの画像フレームを基準画像フレームとした力第 1 図あるいは、第 1 0 図の装置のモードスィッチの設定を変更することにより、シャツ夕一チャンスの画像フレームと基準画像フレームを異ならせてもよい。第 1 4図は、シャツ夕 —チャンスの画像フレームを 1 0番とし、基準画像フレームを 8番あるいは 1 2番とした時の例を示している。

<実施形態 3 >

図 1 5 は、本発明によるデジタルカメラの第三の実施形態の構成を示す図である。デジタルカメラ 2 5 の本体のレンズ 2 6 から取り込まれた被写体の光信号は、 C C D等の撮像素子 2 7 で電気信号とされ、映像インターフェイス 2 8 に入力される。映像インタ一フェイス 2 8 は、シャツ夕一レリーズボタン 2 9 、モードポタン 3 0からの信号により、メモリ 3 1 に画像フレーム単位に映像信号を一時記憶する。また、入力映像を表示器 3 2 に表示する。映像インタ一フェイス 2 8 は、プロセッサ 3 3 の制御バス 3 4、アドレスバス 3 5 、データバス 3 6 と接続され、プロセッサ 3 3 に入力映像データを入力する。プロセッサ 3 3は、メモリ 3 1 に記憶された画像フレームをシャッターレリーズボタン 2 9 から映像インターフェイス 2 8 を通して制御バス 3 4 に出力された制御信号により、メモリ 3 1 から適当な画像フレームを読み出し圧縮符号化する。この際必要となるワークメモリ及び符号バッファとしてメモリ 3 7 が利用される。メモリ 3 7 に記憶された圧縮符号は、蓄積制御器 3 8で読み出され蓄積装置 3 9 の記録媒体に記録される。また、各バス 3 4 3 6 は、外部イン夕一フェイス 4 0 を通じて外部ポ一ト 4 1 に接続されている。外部ボート 4 1 は、例えば撮影した映像をパソコン等の機器に取り込むために利用され、蓄積装置 3 9 に記憶された圧縮符号を蓄積制御装置 3 8が読み出し、外部インタ一フェイス 4 0 を通じてパソコンにそのデ一夕を転送するように動作する。

また、撮影した映像は、デジタルカメラ 2 5での再生も可能である。蓄積装置 3 9 に記録された圧縮符号は、プロセッサ 3 3からの再生要求を蓄積装置制御器 3 9が受け取り、適当な圧縮符号を読み出し、メモリ 3 7 を利用してプロセッサ 3 3が復号（伸張）処理を行い、復号された画像フレームは、映像イン夕一フェイス 2 8 を通じてメモリ 3 1 に書き込まれる。この画像フレームを映像インターフェイス 2 6が適宜読み出し、表示器 3 2で表示するように動作する。デジタルカメラ装置 2 5 は、電池やバッテリー等の電源 4 2 と全体の基本クロックを発生するクロック発生器 4 3 をを備えている。電源 4 2 は、ポート 4 4から蓄電することが可能であり、本装置は、携帯機能も有する。

産業上の利用可能性

本発明によれば、（ 1 ) 被写体を瞬間動画像として記録することにより、動きや表情の変化が記録できる。（ 2 ) シャツ夕一ポイント前後の映像を記録.するため、記録したい部分の画像を確実に撮影することができる。（ 3 ) 基準画像フレームとその画像フレームから予測した複数の画像フレームで一つの瞬間映像を構成することにより、従来に静止画カメラを連写動作させる場合より圧縮効率が向上し、画質に高い映像を撮影する装置が実現される。また、基準画像フレームを圧縮符号列の最初に記録することにより、必要な映像の検出や、編集作業が容易にすることが可能となった。

Claims

請求の範囲

1 . 映像信号を一連の複数のデジタル画像フレームの信号とする第 1 ステップと、

連続する複数の画像フレームの信号うちの 1 つの画像フレームの信号基準画像フレームとして選択する第 2 ステップと、上記基準画像フレームの信号をフレーム内符号化する第 3 ステップと、

上記複数の画像フレームの上記基準画像フレームに対して時間的に前後の画像フレームの信号を上記基準画像フレ一ムからのフレーム間符号化あるいは上記基準画像フレームからフレーム間符号化された画像フレームからのフレーム間符号化を行う第 4ステップと、

上記第 3 及び第 4 ステップで符号化された信号を蓄積手段に記憶する第 5ステップとをもつ映像撮像蓄積方法。

2 . 上記第 5 ステップにおいて、上記蓄積手段に記憶するの先頭に上記第 3 ステップで得られたフレーム内符号化した信号を記録し、その後に上記第 4ステップで得られたフレーム間符号化した信号を記録する請求の範囲第 1 項に記載の映像撮像蓄積方法。

3 . 映像を撮影し、一連の複数のデジタル画像フレームを取り込む第 1 手段と、

上記一連の複数のデジタル画像フレームの 1 つを基準画像フレームとし選択する選択手段と、

上記基準画像フレームの信号をフレーム内符号化し、上記基準画像フレームより時間的に前後の画像フレームの信号を上記基準画像フレームからのフレーム間符号化あるいは上記基準画像フレームからフレーム間符号化された画像フレームからのフレーム間符号化を行う圧縮符号化部と、

上記圧縮符号化した信号を瞬間動画像として記録する蓄積部を持つ映像撮像装置。

4 . 上記蓄積部が上記圧縮符号化部で符号化された符号化信号をビットストリームとして記憶する蓄積装置と、上記ビットストリームの先頭に上記フレーム内符号化した信号を上記続いて上記フレーム間符号化した信号を記録するように制御する蓄積制御手段とをもつ請求の範囲第 3項に記載の映像撮像装置。

5 . 上記蓄積部に記録された圧縮符号を復号し、画像を再生する手段を付加した請求の範囲第 3 又は 4項に記載の映像撮像

6 . 上記選択手段が上記複数の画像フレームを記憶する第 1 のフレームメモリと、レリーズポタンと、シャツ夕一ポタンと、上記レリーズボタンが押されている間は、入力されてくる画像フレームを順次上記第 1 のフレームメモリに記憶し、上記シャッタ一ポタンが押されたシャッターチヤンスの画像フレームの信号を上記第 1 のフレームメモリから上記圧縮符号化部に読み出し、続いてシャッターチャンスの前後の画像フレームの信号をを準じ上記圧縮符号化部に読み出す読みだし制御部とをもつ請求の範囲第 3 又は 4項に記載の映像撮像装置。

7 . 上記蓄積部に記録された圧縮符号を復号し、画像を再生する手段を付加した請求の範囲第 6項に記載の映像撮像装置。

8 . 上記選択手段が上記複数の画像フレームを取り込むレリーズボタンと、上記取り込まれた複数の画像フレームの 1 つを選択し上記基準画像フレームとして上記圧縮符号化部に出力するォシャツ夕一ポタンとを持ち、上記圧縮符号化部と蓄積部との間に圧縮符号化された振動を信号を記憶する符号バッファを設けた請求の範囲第 3又は 4項に記載の映像撮像装置。

9 . 上記蓄積部に記録された圧縮符号を復号し、画像を再生する手段を付加した請求の範囲第 8項に記載の映像撮像装置。