JP5157898B2 - 画像処理装置、画像処理システム、画像処理方法および画像処理用プログラム - Google Patents

Description

本発明は、画像処理装置、画像処理システム、画像処理方法および画像処理用プログラムに関し、特に動画像を高画質化できる画像処理装置、画像処理システム、画像処理方法および画像処理用プログラムに関する。

従来の画像高画質化方法の一例が、非特許文献１に記載されている。その画像高画質化方法は、同じ被写体を撮影した、サブピクセル単位の位置ずれをもつ複数枚の入力画像から、被写体に関するより解像度の高い画像を復元するものである。

Ｎ枚の入力画像ｇｎ（０≦ｎ≦Ｎ−１）が存在するとする。非特許文献１に記載された方法では、各入力画像ｇｎは、次式で表される撮像過程を経て撮像されたものと考える。

ｇｎ（ｘ，ｙ）＝ｓ↓（ｈ（ｕ，ｖ）＊ｆ￣（Ｔｎ（ｘ，ｙ）））＋ηｎ（ｘ，ｙ） ・・・（１）

ここで、ｆ￣は被写体の高解像度画像、Ｔｎはｎ番目の入力画像に対する幾何変換、ｈは画像上の任意の座標（ｘ，ｙ）に対して不変かつ線型な点広がり関数、ｓ↓は画像をダウンサンプリングする演算子、ηｎは平均０の正規分布で表されるノイズである。上式を行列演算形式で表すと、（２）式のようになる。

（２）式におけるｆ￣は、画素値ｆ￣（ｘ，ｙ）を辞書式順序（lexicographic order ）に配列したものである。（２）式におけるｇｎ，ηｎについても同様である。また、（２）式におけるＭｎは、（１）式におけるＴｎ，ｈ，ｓ↓の各線型変換を一つの行列に統合したものである。
全ての入力画像の撮像過程を一本の式にまとめると、（３）式が得られる。

このとき、高解像度画像の最大事後確率推定ｆｍａｐは（４）式で表される。

ただし、ｆａｖｇは、各入力画像を位置合わせしたもの同士の平均画像である。
一般に、本問題を解くには共役勾配法などの数値計算手法が用いられる。すなわち、ある初期値から始まって、反復計算により解を最適解に収束させていくことで解を得る。

D. Capel著「Image Mosaicing and Super-Resolution」、Springer Verlag、２００４年１月、ｐｐ．８６−１４７

上記の方法は複数枚の低解像画像を入力とし、高解像静止画を出力として生成するものであるが、低解像動画を入力として、高解像動画を出力するシステムにも応用可能である。そのようなシステムに応用する場合、低解像動画の各フレームについて、そのフレームの時間的近傍に位置する連続フレームを入力とし、上記の処理によって同フレームの高解像静止画を生成する。各フレームに対する生成画像を連続的に再生することによって、高解像動画を生成することができる。

しかし、上記の方法を用いて、リアルタイムに高解像動画を生成するのは困難である。その理由は、上記の方法では、反復計算によって高解像画像の生成を行っているので、各フレームの高解像度化に要する処理量が大きいためである。一般に、ＮＴＳＣビデオ信号のリアルタイム処理には、専用ハードウェアなどが不可欠になる。

そこで、本発明は、リアルタイムでの動画像の高解像度化ができる画像処理装置、画像処理システム、画像処理方法および画像処理用プログラムを提供することを目的とする。

本発明による画像処理装置および画像処理システムは、変換パラメータ算出手段と、初期画像生成手段と、高解像画像生成手段と、入力画像・変換パラメータ記憶手段とを備え、現フレームの前フレームに対する変換パラメータにもとづいて、前フレームにおいて生成された高解像画像を現フレームに合わせて変換し、変換された高解像画像を初期値として現フレームの高解像画像生成処理を行うことによって、本発明の目的を達成することができる。

本発明によれば、高解像画像生成処理における反復計算の回数を削減できることにある。その理由は、生成したい現フレームの高解像画像と類似していると考えられる前フレームの高解像画像を、現フレームにおける高解像画像生成処理の初期値として利用するため、最適解に近い初期値から反復計算を開始できるためである。よって、各フレームの高解像度化に要する処理量が少なくなり、専用ハードウェアなどを用意することなく、リアルタイムでの動画像の高解像度化を実現できる。

次に、本発明を実施するための最良の形態について図面を参照して説明する。
（実施形態１）

図１において、本発明による画像処理装置の第１の実施の形態は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００と、入力画像・変換パラメータ記憶手段１１０とから構成されている。

コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００は、変換パラメータ算出手段１０１と、初期画像生成手段１０２と、高解像画像生成手段１０３とを含む。

変換パラメータ算出手段１０１は、現フレームの前フレームに対する幾何的な変形を表す変換パラメータを算出する。入力画像・変換パラメータ記憶手段１１０は、現フレーム画像と変換パラメータ算出手段１０１が算出した変換パラメータとを記憶する。初期画像生成手段１０２は、変換パラメータを用いて、前フレームにおいて生成された高解像画像を、現フレームと幾何的に一致した画像に変形させる。

高解像画像生成手段１０３は、初期画像生成手段１０２で生成された変形画像を初期値として、入力画像・変換パラメータ記憶手段１１０に保存されている、現フレームの時間的近傍に位置する連続フレームおよびその変換パラメータを用いて、例えば非特許文献１に開示された方法によって、現フレームの高解像画像を生成する。生成された高解像画像は、初期画像生成手段１０２に渡され、次フレームの高解像画像生成に用いられる。

次に、図１および図２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、コンピュータ１００に現フレーム画像が入力される（ステップＡ１）。次に、現フレーム画像の、前フレーム画像に対する変形を表す変換パラメータが変換パラメータ算出手段１０１において算出される（ステップＡ２）。続いて、現フレームの入力画像と、変換パラメータ算出手段１０１が算出した変換パラメータとが、入力画像・変換パラメータ記憶手段１１０に保存される。

ここで、入力画像・変換パラメータ記憶手段１１０の記憶容量は有限であるため、一定フレーム以上過去の入力画像およびその変換パラメータを、記憶領域から削除する（ステップＡ３）。

次に、初期画像生成手段１０２では、前フレームにおいて高解像画像生成手段１０３により生成された高解像画像を、前記変換パラメータ算出手段１０１により算出された現フレームに対する変換パラメータを用いて変形させることにより、現フレームと幾何的に一致した高解像画像を生成する（ステップＡ４）。ここで、幾何的に一致しているとは、被写体の高解像画像中での位置や大きさ、姿勢が、現フレーム中のそれらと一致している状態を指す。

高解像画像生成手段１０３は、入力画像・変換パラメータ記憶手段１１０に保存されている、現フレームの時間的近傍に位置する連続フレームおよびそれらの変換パラメータを読み込む（ステップＡ５）。ここで、読み込むフレーム数は、次の高画質画像生成処理に必要とされる画像の枚数（例えば、１０枚）であり、あらかじめユーザによって設定されているとする。

続いて、高解像画像生成手段１０３は、ステップＡ５において読み込まれた入力画像（連続フレーム）および変換パラメータを用いて、初期画像生成手段１０２で生成された画像を初期値として高解像画像生成処理を行い、生成された画像を出力する（ステップＡ６）。最後に、ステップＡ６で生成された高解像画像を、初期画像生成手段１０２に渡す（ステップＡ７）。

本実施の形態によれば、画像処理装置が、生成したい現フレームの高解像画像と類似していると考えられる前フレームの高解像画像を、現フレームと幾何的に一致している画像に変形し、変形した画像を現フレームにおける高解像画像生成処理の初期値として利用するので、最適解に近い初期値から反復計算を開始することが可能になり、各フレームにおける反復計算の回数の削減、すなわち処理の高速化ができる。
（実施形態２）

次に、本発明を実施するための他の最良の形態について図面を参照して説明する。

図３を参照すると、本発明による画像処理装置の第２の実施の形態は、画像処理プログラムを記録した記録媒体３１０を備えている。記録媒体３１０は、例えば、磁気ディスク、半導体メモリ、磁気テープ、ＣＤ（compact disk）−ＲＯＭ、ＤＶＤ（digital versatile
disk）であるが、その他の記録媒体であってもよい。

画像処理プログラムは、記録媒体３１０から画像処理手段３００に読み込まれる。または、サーバ（図示せず）等から通信媒体を介してダウンロードして画像処理手段３００に読み込まれる。画像処理プログラムが画像処理手段３００の主記憶にロードされて実行されることによって、画像処理手段３００の動作が制御され、本発明による画像処理方法を実施することができる。

画像処理プログラムは、第１の実施の形態における変換パラメータ算出手段１０１、初期画像生成手段１０２、高解像画像生成手段１０３、および入力画像・変換パラメータ記憶手段１１０の機能を画像処理手段３００が実行するためのプログラムである。本実施の形態では、画像処理手段３００に含まれるメモリが、第１の実施の形態における入力画像・変換パラメータ記憶手段１１０として機能する。

次に、本発明による画像処理システムの具体的な実施例を、図４および図５を参照して説明する。本実施例は本発明の第１の実施の形態に対応する。

本実施例の画像処理システムは、図４に示すように、映像信号を出力する映像再生装置４０４と、画像処理装置４００と、ディスプレイ４０５とを備えている。映像再生装置４０４は、例えば、ハードディスクレコーダなどの、録画済みの映像を再生する機能を備えた装置であり、コンポジット端子やＳ端子を介して画像処理装置４００と接続されている。ディスプレイ４０５の一例として、プラズマディスプレイや液晶テレビジョン受像機における表示装置などが挙げられる。画像処理装置４００とは、Ｄ端子やＨＭＤＩ端子を介して接続される。

画像処理装置４００は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）であり、変換パラメータ算出手段４０１と、初期画像生成手段４０２と、高解像画像生成手段４０３と、入力画像・変換パラメータ記憶手段４１０とを含む。

変換パラメータ算出手段４０１は、図５に示す前フレーム画像５００に対する現フレーム画像５０１の幾何的な変形を表す変換パラメータを算出する。具体的には、現フレーム画像５０１上の各点について、前フレーム画像５００中で輝度値の分布が類似する箇所（対応点）を求め、それらがすべて重ね合わさるような変形を表す変換パラメータを求める。

一般に、変換パラメータとして、その簡単さから、被写体を平面と仮定した（５）式で表されるモデルが多く用いられる。ここで、（ｕ１，ｖ１，１）、（ｕ２，ｖ２，１）はそれぞれ対応点の同次座標、ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｇ，ｈ，は画像変換パラメータ、ｔは任意の定数である。

または、より簡易的に、
ｇ＝ｈ＝０，ａ＝ｅ＝ｃｏｓθ，−ｂ＝ｄ＝ｓｉｎθ
等の制約条件を与える。

入力画像・変換パラメータ記憶手段４１０は、現フレーム画像５０１と変換パラメータ算出手段が算出した変換パラメータを記憶する。初期画像生成手段４０２は、変換パラメータを用いて、前フレームにおいて生成された高解像画像５０２を、現フレームと幾何的に一致した画像（変形画像）５０３に変形する。

高解像画像生成手段４０３は、初期画像生成手段４０２で生成された変形画像５０３を初期値として、入力画像・変換パラメータ記憶手段４１０に保存されている、現フレームの時間的近傍に位置する連続フレームおよびその変換パラメータを用いて、例えば非特許文献１に開示された方法によって、現フレームの高解像画像５０４を生成する。

生成された高解像画像５０４は、ディスプレイ４０５に出力される。また、初期画像生成手段５０２に渡され、次フレームの高解像画像生成に用いられる。以上の処理を、各フレームに対して行うことによって、高解像の動画の出力を行うことができる。

なお、本実施例では、画像処理装置４００が出力する映像信号を入力する機器としてディスプレイ４０５を例示したが、映像信号を入力する機器として、映像信号を保存する記憶装置など種々の機器を用いることができる。

本発明によれば、例えばＮＴＳＣ方式のビデオカメラで撮影された動画像を録画する際に、ハイビジョンの画質および解像度と同等の画質および同等の解像度にリアルタイムに変換しながら保存するといった用途に適用できる。また、ＮＴＳＣ方式で録画されたビデオ信号を再生機で再生する際に、ハイビジョンの画質および解像度と同等の画質および同等の解像度にリアルタイムに変換しながら表示機器に出力するといった用途にも適用可能である。また、ハイビジョン対応のテレビジョン受像機でＮＴＳＣ方式の映像を受信、表示する際に、ハイビジョンの画質および解像度と同等の画質および同等の解像度にリアルタイムに変換しながら表示するといった用途にも適用可能である。

本発明による画像処理装置の第１の実施の形態の構成を示すブロック図である。 第１の実施の形態の画像処理装置の動作を示す流れ図である。 本発明による画像処理装置の第２の実施の形態の構成を示すブロック図である。 本発明による画像処理システムの実施例の構成を示すブロック図である。 実施例の動作を示す説明図である。

符号の説明

１００ コンピュータ（中央処理装置；プロセッサ；データ処理装置）
１０１ 変換パラメータ算出手段
１０２ 初期画像生成手段
１０３ 高解像画像生成手段
１１０ 入力画像・変換パラメータ記憶手段
３００ 画像処理手段
３１０ 記録媒体
４００ 画像処理装置
４０１ 変換パラメータ算出手段
４０２ 初期画像生成手段
４０３ 高解像画像生成手段
４０４ 画像再生装置
４０５ ディスプレイ
４１０ 入力画像・変換パラメータ記憶手段
５００ 前フレームにおける入力画像
５０１ 現フレームにおける入力画像
５０２ 前フレームに対する高解像画像
５０３ 前フレームに対する高解像画像の変形画像
５０４ 現フレームに対する高解像画像

Claims (7)

1. 入力画像データのうち現フレームの前フレームに対する幾何的な変形を表す変換パラメータを算出する変換パラメータ算出手段と、
   前記算出された変換パラメータを用いて、前フレームにおいて生成された高解像画像を現フレームと幾何的に一致した画像に変形させる初期画像生成手段と、
   前記初期画像生成手段で生成された変形画像を初期値とし、前記入力画像および前記変換パラメータを用いて、現フレームの高解像画像を生成する高解像画像生成手段と
   を有することを特徴とする画像処理装置。
2. 前記高解像画像生成手段は、前記入力画像として、現フレームの時間的近傍に位置する連続フレームの画像を用いる、請求項１に記載の画像処理装置。
3. 前記高解像画像生成手段は、生成された高解像画像データを、次フレームの高解像画像生成に用いるために前記初期画像手段に出力する、請求項１に記載の画像処理装置。
4. 前記初期画像生成手段は、前フレームにおいて前記高解像画像生成手段により生成された高解像画像を、変換パラメータ算出手段で算出された現フレームに対する変換パラメータを用いて変形させることにより、現フレームと幾何的に一致した高解像画像を生成する、請求項３に記載の画像処理装置。
5. 前記初期画像生成手段は、現フレームと幾何的に一致した高解像画像として、被写体の高解像画像中での位置や大きさ、姿勢が、現フレーム中のそれらと一致している状態の画像を生成する、請求項４に記載の画像処理装置。
6. 画像処理装置を構成するコンピュータに、
   入力画像データのうち現フレームの前フレームに対する幾何的な変形を表す変換パラメータを算出する機能と、
   前記算出された変換パラメータを用いて、前フレームにおいて生成された高解像画像を現フレームと幾何的に一致した画像に変形させる機能と、
   前記生成された変形画像を初期値とし、前記入力画像および前記変換パラメータを用いて、現フレームの高解像画像を生成する機能と、を実行させるための画像処理用プログラム。
7. 入力画像データのうち現フレームの前フレームに対する幾何的な変形を表す変換パラメータを算出し、
   前記算出された変換パラメータを用いて、前フレームにおいて生成された高解像画像を現フレームと幾何的に一致した画像に変形させ、
   前記生成された変形画像を初期値とし、前記入力画像および前記変換パラメータを用いて、現フレームの高解像画像を生成することを特徴とする画像処理方法。

Images