JP4040052B2 - 画像データ圧縮装置 - Google Patents

Description

本発明は、圧縮対象となる画像データを圧縮処理する画像データ圧縮装置に関し、特に、圧縮処理後の画像データ量を効果的に抑制する画像データ圧縮装置に関する。

従来の動画像圧縮装置で発生符号量の制御は、画像圧縮部に入力する量子化ステップ値（以下、Ｑ値と称する。）の増加／減少と、フレームスキップにより行っていた。
なお、上記従来技術は、発明者が既に知られていることと認識して記述したものであるが、適切な文献が見出せなかったので、従来技術文献情報の記載をしていない。

ここで、従来の動画像圧縮装置では、発生符号量の制御を効果的に行う構成について十分な検討がなされていなかった。
本発明は、このような従来の事情に鑑み為されたもので、圧縮処理後の画像データ量を効果的に抑制することができる画像データ圧縮装置を提供することを目的とする。

上記目的を達成するため、本発明に係る画像データ圧縮装置は、圧縮処理後の画像データ量に基づいてビットレート値を検出するビットレート値検出手段と、該検出されたビットレート値に基づいて前記圧縮処理で用いる量子化ステップ値を変更する量子化ステップ値変更手段と、前記量子化ステップ値に基づいてスキップフレーム数を設定するスキップフレーム数設定手段と、該設定されたスキップフレーム数に基づいて圧縮処理前或いは圧縮処理後における画像データのフレームスキップを行うフレームスキップ手段と、を備える。

ここで、圧縮処理後の画像データの量に基づいてビットレート値を検出することは、例えば、１フレーム分の圧縮処理後の画像データの量を参照して行われてもよく、或いは、複数フレーム分の圧縮処理後の画像データの量を参照してその平均値などに基づいて行われてもよい。

また、上記目的を達成するため、本発明に係る画像データ圧縮装置において、前記量子化ステップ値が所定の値を超えるまでは、前記フレームスキップを開始しないように構成する。

以上説明したように、本発明に係る画像データ圧縮装置によると、圧縮処理後の画像データ量に基づいてビットレート値を検出し、該検出されたビットレート値に基づいて圧縮処理で用いる量子化ステップ値を変更し、量子化ステップ値に基づいてスキップフレーム数を設定し、設定されたスキップフレーム数に基づいて圧縮処理前或いは圧縮処理後における画像データのフレームスキップを行うようにしたため、圧縮処理後の画像データ量を効果的に抑制することができる。

以下、本発明の実施の形態について、図面を参照しながら説明する。

本発明の第１実施例を説明する。
図７には、本発明の一実施例に係る動画像圧縮装置の構成例を示してある。
図７に示される動画像圧縮装置は、フレーム選択部１と、画像圧縮部２と、出力バッファ部３と、ビットレート制御部１５から構成される。

フレーム選択部１は、ビットレート制御部１５からフレームスキップ指示信号１３が入力された場合は、入力画像６のフレームスキップ（破棄）を行い、それ以外の場合は、入力画像６を画像圧縮部２に出力する。

画像圧縮部２は、入力画像６に対してＭＰＥＧ（Moving Picture Experts Group）方式やＭｏｔｉｏｎ−ＪＰＥＧ（Joint Photographic Experts Group）方式等の所定の圧縮方式による圧縮処理を行い、圧縮データを出力バッファ部３に出力する。ここで、画像圧縮部２による圧縮処理は、ビットレート制御部１５より指定されるＱ値８に基づき行われる。

出力バッファ部３は、画像圧縮部２より入力された圧縮データを圧縮データ７として、例えば、ネットワーク等の外部へ出力する。また、入力された圧縮データの発生符号量（圧縮処理後の画像データ量）９をビットレート制御部１５に出力する。

ビットレート制御部１５は、画像圧縮部２が出力し、出力バッファ３に蓄積された圧縮データ７の発生符号量９に基づき実効ビットレート値を算出し、算出した実行ビットレート値を監視する。ここで、実効ビットレート値の算出手法としては、種々な手法が用いられてもよい。例えば、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の入力画像６が処理される場合には、過去の６０フレーム分の圧縮画像データのデータ量の累積値を２秒で割った値を実効ビットレート値とする。ただし、フレームスキップを行った場合には、当該フレームの画像データ量は０として計算する。

ビットレート制御部１５は、実行ビットレート値の監視を行い、予め設定された目標ビットレート１２の９０％より実効ビットレート値が大きくなった場合には、画像圧縮部２に出力するＱ値８を一段階大きくする。これにより、画像圧縮部２が出力する圧縮データ７の符号量は減少する。また、目標ビットレート１２の５０％より実効ビットレート値が小さくなった場合には、Ｑ値８を一段階小さくする。これにより、画像圧縮装置２が出力する圧縮データ７の符号量は増加する。

ここで、Ｑ値８は、値が大きくなるに従い画像が劣化していく。なお、Ｑ値８の最小値、最大値は、予め設定したｍｉｎＱ１０、ｍｉｎＱ１１でそれぞれ制限される。
ビットレート制御部１５は、Ｑ値８が増加し、それでも目標ビットレート１２よりも実効ビットレート値が大きくなる場合は、これ以上Ｑ値が大きくなることによる画像の劣化を避けるため、フレームスキップ指示信号１３をフレーム選択部１へ出力することで、フレームのスキップを行い、画像圧縮部２へ入力画像６を入力しない。フレームスキップにより、発生符号量９は更に減少し、実行ビットレート値を目標ビットレート１２に近い符号量に制御することができる。

ここで、Ｑ値８の制御に比べ、フレームスキップによる制御では、発生符号量９の増減する値が大きくなる。そのため、目標ビットレート１２に対する実効ビットレート値の余裕が大きくなり、Ｑ値８を小さい値で維持できるので、画質劣化を抑えられる。特に目標ビットレート１２の値が小さいときに、この現象は顕著に表れる。そのため、一度フレームスキップを行うと目標ビットレート１２まで符号量に余裕が出て、数フレーム連続して圧縮処理が行われ、その後また１回フレームスキップが行われるという動作を繰り返す。

また、動画像圧縮は、入力する画像の複雑さにより発生符号量９が増減するため、次のフレームスキップが行われるタイミングは一定ではない。そのため、第１実施例では、圧縮データ７を受信する表示装置での動画像の動きは、不定期にフレームスキップが発生する動きの滑らかさが失われた動画像表示になってしまう。よって、画質よりも動きの滑らかさを重視する場合に、第１実施例の動作は問題になる。

本発明の第２実施例を説明する。
図１には、本発明の一実施例に係る動画像圧縮装置の構成例を示してある。
図１に示される動画像圧縮装置は、フレーム選択部１と、画像圧縮部２と、出力バッファ部３と、フレームレート制御部４と、ビットレート制御部５から構成される。

ここで、本実施の動画像圧縮装置は、例えば、図７に示される構成において、更にフレームレート制御部４を備えた構成となっている。第２実施例では、このフレームレート制御部４の動作により、Ｑ値が最大値であるｍａｘＱになるまではフレームスキップを開始せず、また、フレームスキップは、不定期に実行するのではなく、定期的に実行するよう制御する。動画像圧縮装置に備えられた他の処理部１〜３、５の構成や動作については、図７に示される動画像圧縮装置に備えられた対応する処理部１〜３、１５の構成や動作と概略的には同様である。

図７に示される構成では、ビットレート制御部１５より出力していたフレームスキップ指示信号１３は、図１に示される構成では、フレームレート制御部４から出力する。また、フレームレート制御部４へは、入力画像６、Ｑ値８、ｍｉｎＱ１０、ｍａｘＱ１１、を入力する。フレームレート制御部４の構成と動作は後述する。

ビットレート制御部５は、図７に示される構成と同様に、発生符号量９に基づき実効ビットレート値を算出し、算出した実行ビットレート値を監視する。即ち、実行ビットレート値と目標ビットレート１２を比較し、予め設定された目標ビットレート１２の９０％より実効ビットレート値が大きくなった場合には、画像圧縮部２に出力するＱ値８を一段階大きくする。これにより、画像圧縮部２が出力する圧縮データ７の符号量は減少する。また、目標ビットレート１２の５０％より実効ビットレート値が小さくなった場合には、Ｑ値８を一段階小さくする。ここで、９０％という値や５０％という値は一例であり、種々な値が用いられてもよい。

ここで、ビットレート制御部５は、発生符号量９が多い場合、即ち、実効ビットレート値が大きい場合、Ｑ値８を大きくして発生符号量９を小さくする。しかし、後述するフレームレート制御部４の動作により、Ｑ値８が最大になるまでフレームスキップは開始されないため、発生符号量９の減少量が足りなければ、Ｑ値８は、ｍａｘＱ１１まで大きくなる。

フレームレート制御部４は、Ｑ値８がｍａｘＱ１１と等しくなった場合、フレームスキップ指示信号１３をフレーム選択部１へ出力する。このフレームスキップ指示信号１３は、図７に示す構成とは異なり、スキップするフレーム数が定められ、定められたスキップフレーム数に基づき、フレームスキップが定期的に行われるように制御されることが特徴である。また、実効ビットレート値が目標ビットレート１２の５０％より小さく、Ｑ値８がｍｉｎＱ１０に基づいて定められた値（ｍｉｎＱ１０×Ｋ）よりも小さくなると、スキップするフレーム数を少なくする。

図２には、本発明の一実施例に係るフレームレート制御部４の構成例を示してある。
図２に示されるフレームレート制御部４は、フレーム数カウンタ２０と、フレーム数比較部２１と、Ｑ値比較部２２から構成される。

フレーム数カウンタ２０は、入力画像６が入力される毎に、０、１、２、・・・とカウントアップしていき、カウンタ値２３をフレーム数比較部２１へ出力する。
Ｑ値比較部２２は、Ｑ値８と、ｍｉｎＱ１０×Ｋ、ｍａｘＱ１１を比較し、フレームスキップするフレーム数を算出し、スキップフレーム数２５として、フレーム数比較部２１へ出力する。この動作については、後述する。なお、本実施例では、スキップフレーム数とは、１フレームの画像データを圧縮処理した後に、何フレームの画像データをスキップするかを表す数値である。ただし、スキップフレーム数の定義としては、これに限られず、例えば、何フレームに１回の割合で画像データのスキップを行うかを表す数値とする等、他の種々な定義が用いられてもよい。

フレーム数比較部２１は、Ｑ値比較部２２より入力されるスキップフレーム数２５と、フレーム数カウンタ２０から入力されるカウンタ値２３を比較し、両者の値が異なる場合は、フレームスキップ指示信号１３をフレーム選択部１へ出力する。一方、両者の値が一致したときは、フレームスキップ指示信号１３の出力を停止し、カウンタリセット信号２４をフレーム数カウンタ２０に出力し、フレーム数カウンタ２０のカウンタ値のリセットを行う。

図２に示される構成において、例えば、スキップフレーム数２５が２である場合について説明する。この場合、フレーム数比較部２１は、カウント値２３が０と１のタイミングでは、フレームスキップ指示信号１３を出力し、カウント値２３が２のタイミングでは、フレームスキップ指示信号１３は出力せず、カウンタリセット信号２４を出力する。従って、フレーム数カウンタ２０は、０、１、２、０、１、２、０、１、２・・・とカウントを繰り返すことになる。

次に、Ｑ値比較部２２の動作について図３を用いて説明する。
図３に示すように、まずＱ値８が小さい値から増加していき（これは発生符号量が多い状態である）、Ｑ値８がｍａｘＱ１１まで大きくなると、Ｑ値比較部２２は、スキップフレーム数２５を１大きくする。例えば、スキップフレーム数２５の初期値を０とし、スキップは１フレームも行わないとすると、スキップフレーム数２５を０から１にする。なお、この増加分の値は、１である必要はなく、種々な値が用いられてもよい。

次に、図３に示すように、Ｑ値８がｍａｘＱ１１まで大きくなり、スキップフレーム数２５を大きくした後は、発生符号量が減少し、実行ビットレート値が小さくなるため、目標ビットレートに対する符号量に余裕が出て、上述したビットレート制御部５の働きによりＱ値８が小さくなっていく。Ｑ値８がｍｉｎＱ１０にＫを乗算した値（Ｋ＞＝１）まで小さくなると、Ｑ値比較部２２は、スキップフレーム数２５を１小さくする。ここで、Ｑ値８をｍｉｎＱ１０と比較せずに、ｍｉｎＱ１０にＫを乗算した値と比較するようにしたのは、Ｑ値８がｍｉｎＱ１０まで小さくなるのを待たずになるべく早めにスキップフレーム数２５を小さくしたいという知見に基づくものであるが、このＫの値は、システムの実施上の必要に応じて任意に設定されればよい。

このように、Ｑ値比較部２２は、発生符号量に余裕が多く、Ｑ値８がもっとも大きくなったときに、スキップフレーム数２５を大きくし、また、発生符号量に余裕が出て、Ｑ値が所定値まで小さくなったときに、スキップフレーム数２５を小さくする。

次に、本発明の一実施例に係る動画像圧縮装置の処理の手順の一例について図４を用いて説明する。
まず、画像データの入力が行われる（ステップＳ４ａ）。次に、スキップフレーム数２５に基づき、現在のフレームの画像データをスキップする（破棄する）か否かが判定される（ステップＳ４ｂ）。図２を用いて上述したように、カウンタ値２３とスキップフレーム数２５との比較により両者が一致しない場合には、フレーム数比較部２１からフレームスキップ指示信号１３が出力され、フレーム選択部１によりフレームスキップが行われることとなる。

フレームスキップが行われない場合には（ステップＳ４ｂでＮｏ）、画像圧縮部２により現在のフレームの画像データに対して圧縮処理が行われる（ステップＳ４ｃ）。次に、出力バッファ部３により圧縮処理後の画像データの外部への出力が行われる（ステップＳ４ｄ）。また、この際、出力バッファ部３から発生符号量９がビットレート制御部５に対して出力される。

フレームスキップが行われる場合には（ステップＳ４ｂでＹｅｓ）、処理はステップＳ４ｄに移行する。なお、フレームスキップが行われた場合のステップＳ４ｄでは、圧縮処理後の画像データの出力は行われず、０という値の発生符号量９の出力のみが行われる。

次に、ビットレート制御部５により、発生符号量９に基づき実効ビットレート値の算出が行われ、算出された実行ビットレート値と目標ビットレートとの比較に基づいて、Ｑ値８の変更処理が行われる（ステップＳ４ｅ）。なお、変更されたＱ値８は、画像圧縮部２及びフレームレート制御部４に出力される。

図５には、本発明の一実施例に係るＱ値８の変更処理（ステップＳ４ｅ）の手順の一例を示してある。
まず、ビットレート制御部５において、発生符号量９に基づき実効ビットレート値の算出が行われる（ステップＳ５ａ）。次に、実効ビットレート値が目標ビットレート１２の９０％より大きくなったか否かが判定される（ステップＳ５ｂ）。９０％より大きくなっている場合には（ステップＳ５ｂでＹｅｓ）、Ｑ値８を一段階大きくし（ステップＳ５ｃ）、処理を終了する。一方、９０％以下の場合には（ステップＳ５ｂでＮｏ）、処理はステップＳ５ｄに移行する。

次に、実効ビットレート値が目標ビットレート１２の５０％より小さくなったか否かが判定される（ステップＳ５ｄ）。５０％より小さくなっている場合には（ステップＳ５ｄでＹｅｓ）、Ｑ値８を一段階小さくし（ステップＳ５ｅ）、処理を終了する。一方、５０％以上の場合には（ステップＳ５ｄでＮｏ）、そのまま処理を終了する。

次に、上記図４に示した処理手順の続きを説明する。Ｑ値８の変更処理（ステップＳ４ｅ）の後は、フレームレート制御部４のＱ値比較部２２により、現在のＱ値８に基づいてスキップフレーム数２５の変更処理が行われる（ステップＳ４ｆ）。

図６には、本発明の一実施例に係るスキップフレーム数２５の変更処理（ステップＳ４ｆ）の手順の一例を示してある。
まず、フレームレート制御部４のＱ値比較部２２において、Ｑ値がｍｉｎＱ１０にＫを乗算した値と一致しているか否かが判定される（ステップＳ６ａ）。一致している場合には（ステップＳ６ａでＹｅｓ）、スキップフレーム数２５を１減らし（ステップＳ６ｂ）、処理を終了する。一致していない場合には（ステップＳ６ａでＮｏ）、処理はステップＳ６ｃに移行する。

次に、Ｑ値がｍａｘＱ１１と一致しているか否かが判定される（ステップＳ６ｃ）。一致している場合には（ステップＳ６ｃでＹｅｓ）、スキップフレーム数２５を１増やし（ステップＳ６ｄ）、処理を終了する。一致していない場合には（ステップＳ６ｃでＮｏ）、そのまま処理は終了する。

以上のように、本実施例の動画像圧縮装置では、Ｑ値８が最大値であるｍａｘＱ１１になるまではフレームスキップを開始せず、また、フレームスキップは、不定期に実行するのではなく、定期的に実行することにより、動画像表示の滑らかさを維持することができる。

ここで、本実施例の動画像圧縮装置では、フレーム選択部１が画像データを圧縮処理部２へ出力しないことにより、圧縮前の画像データをスキップして、圧縮前に画像データを破棄する構成を示したが、他の構成例として、フレーム選択部１の機能を圧縮処理部２と出力バッファ３との間に配置して、スキップ対象となるフレームの画像データについては、圧縮処理部２から出力される圧縮後の画像データを破棄するような構成が用いられてもよい。

なお、本実施例の動画像圧縮装置では、出力バッファ部３やビットレート制御部５の機能によりビットレート値検出手段が構成されており、ビットレート制御部５の機能により量子化ステップ値変更手段が構成されており、フレームレート部４の機能によりスキップフレーム数設定手段が構成されており、フレーム選択部１やフレームレート制御部４の機能によりフレームスキップ手段が構成されている。

ここで、本発明に係る動画像圧縮装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。例えば、画像データ圧縮装置という独立した構成の装置として構成されてもよいし、画像伝送装置（Ｗｅｂエンコーダ）やＷｅｂカメラ等が備える機能の１つとして構成されてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記録する記録媒体などとして提供することも可能であり、また、種々な装置やシステムとして提供することも可能である。

また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明は、種々な分野に適用することが可能なものである。
また、本発明に係る動画像圧縮装置などにおいて行われる各種の処理としては、例えばプロセッサやメモリ等を備えたハードウエア資源においてプロセッサがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）に格納された制御プログラムを実行することにより制御される構成が用いられてもよく、また、例えば当該処理を実行するための各機能手段が独立したハードウエア回路として構成されてもよい。

また、本発明は上記の制御プログラムを格納したフロッピー（登録商標）ディスクやＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）−ＲＯＭ等のコンピュータにより読み取り可能な記録媒体や当該プログラム（自体）として把握することもでき、当該制御プログラムを当該記録媒体からコンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を遂行させることができる。

本発明の一実施例に係る動画像圧縮装置の構成例を示す図である。 本発明の一実施例に係るフレームレート制御部の構成例を示す図である。 本発明の一実施例に係るＱ値比較部の処理の様子を説明するための図である。 本発明の一実施例に係る動画像圧縮装置の処理の手順の一例を示す図である。 本発明の一実施例に係るＱ値の変更処理の手順の一例を示す図である。 本発明の一実施例に係るスキップフレーム数の変更処理の手順の一例を示す図である。 本発明の一実施例に係る動画像圧縮装置の構成例を示す図である。

符号の説明

１：フレーム選択部、２：画像圧縮部、３：出力バッファ部、４：フレームレート制御部、５：ビットレート制御部、１５：ビットレート制御部、２０：フレーム数カウンタ、２１：フレーム数比較部、２２：Ｑ値比較部。

Claims (2)

1. 画像データの圧縮処理を行う画像データ圧縮装置において、
   圧縮処理後の画像データ量に基づいて実効ビットレート値を検出するビットレート値検出手段と、
   前記圧縮処理で用いる量子化ステップ値の最大値及び最小値と目標ビットレートとを与えられ、前記最大値及び最小値の範囲内で、前記検出された実効ビットレート値が前記目標ビットレートの第１所定割合より大きくなったときに前記量子化ステップ値を１段階大きくして出力し、前記検出された実効ビットレート値が前記目標ビットレートの第２所定割合より小さくなったときに前記量子化ステップ値を１段階小さくして出力する量子化ステップ値変更手段と、
   前記量子化ステップ値の最大値及び最小値を与えられ、前記量子化ステップ値変更手段が出力した前記量子化ステップ値が前記最大値と等しくなったときにスキップフレーム数を１大きくして設定し、前記量子化ステップ値が前記最小値に１以上の所定係数を乗算した値まで小さくなったときにスキップフレーム数を１大きくして設定するフレームレート制御手段と、
   該設定されたスキップフレーム数に基づいて圧縮処理前或いは圧縮処理後における画像データのフレームスキップを行うフレームスキップ手段と、を備え、
   前記量子化ステップ値が前記最大値を超えるまでは、前記フレームスキップを開始しないことを特徴とする画像データ圧縮装置。
2. 請求項１に記載の画像データ圧縮装置において、
   前記フレームレート制御手段は、
   入力画像が入力されるたびにフレームをカウントアップしてカウンタ値を出力するフレーム数カウンタと、
   前記カウンタ値と前記設定されたスキップフレーム数とを比較し、一致したときに前記フレーム数カウンタにリセット信号を出力するとともに、前記比較の結果に基づいてフレームスキップ手段にフレームスキップ信号を出力するフレーム数比較手段と、を有し、
   前記量子化ステップ値変更手段による量子化ステップ値の制御と、フレームレート制御手段によるスキップフレーム数の設定は、フレームが入力されるたびに行われ、
   前記フレームスキップ手段は、前記フレームスキップ信号の有無に従って、当該フレームのスキップを行うことを特徴とする画像データ圧縮装置。