JP2014072809A - 画像生成装置、画像生成方法、画像生成装置用プログラム - Google Patents

Abstract

【課題】より自然な立体画像を生成する画像生成装置等を提供する。
【解決手段】複数の撮像手段（２０）が設置された設置方向に関連する走査方向に走査して、第１画像３０ａと第２画像３０ｂとにおいて対応する特徴点を求め（Ｓ６）、対応する特徴点の間の距離より、特徴点における奥行情報を算出し（Ｓ７）、オクルージョンノイズを、奥行情報から軽減し（Ｓ２０）、処理された奥行情報に基づき、走査方向における特徴点の間の画素における奥行情報を補完し（Ｓ２２）、走査方向とは異なる方向において、補完された奥行情報の関連性を増加させ（Ｓ２３）、走査方向とは異なる方向に関連性が増加された奥行情報に対して、走査方向とは異なる方向における平均化を行い（Ｓ２４）、走査方向とは異なる方向に平均化された奥行情報と、第１画像および第２画像の少なくとも一方とから、視点が異なる多視点画像を生成する（Ｓ９）。
【選択図】図４

Description

本発明は、立体画像用の画像を生成する画像生成装置、画像生成方法、画像生成装置用プログラムに関する。

従来、臨場感のある裸眼式立体視を可能とするため、２つのカメラを用いて撮影された２つの画像（ステレオ画像）を用いて、２つのカメラの間の位置から撮像された場合の中間画像を生成して多眼化することが行われている。例えば、特許文献１には、被写体の映像を結像する第１結像レンズ部と、第１撮影素子と、を有する第１画像取得部と、第２結像レンズ部と、これによって結像された映像を受ける複数のレンズがアレイ状に配列された第１レンズアレイ部と、第２撮影素子と、を有する第２画像取得部とを備え、第２画像取得部は、第１画像取得部に対して被写体から見て水平方向に離れて配置される立体映像撮影装置が開示されている。

特開２０１０−７８７６８号公報

ところで、先行技術では、オプティカルフローをグルーピングする処理をしているが、オクルージョンが存在し、ステレオ画像から奥行に関する情報を単に求めようとする場合、単純にグルーピング化しただけでは、オクルージョンによるノイズを含んでしまい、自然な立体画像を生成することが難しかった。

そこで、本発明は上記の問題点等に鑑みて為されたもので、その課題の一例は、より自然な立体画像を生成する画像生成装置等を提供することを目的とする。

上記の課題を解決するために、請求項１に記載の発明は、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段と、前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段と、前記複数の撮像手段が設置された設置方向に関連する走査方向に、前記第１画像および第２画像を走査して、前記第１画像と第２画像とにおいて前記走査方向における対応する特徴点を求める対応点探索手段と、前記対応する特徴点の間の距離より、前記特徴点における奥行情報を算出する奥行情報算出手段と、前記第１画像および第２画像のうち一方の画像では存在し他方の画像では存在しないオクルージョンによる生ずるオクルージョンノイズを、前記奥行情報から軽減するオクルージョンノイズ軽減手段と、前記オクルージョンノイズ軽減手段により処理された奥行情報に基づき、前記走査方向における前記特徴点の間の画素における奥行情報を補完する走査方向補完手段と、前記走査方向とは異なる方向において、前記補完された奥行情報の関連性を増加させる関連性増加手段と、前記走査方向とは異なる方向に関連性が増加された奥行情報に対して、前記走査方向とは異なる方向における平均化を行う第１平均化手段と、前記走査方向とは異なる方向に平均化された奥行情報と、前記第１画像および第２画像の少なくとも一方とから、視点が異なる多視点画像を生成する多視点画像生成手段と、を備えたことを特徴とする。

また、請求項２に記載の発明は、請求項１に記載の画像生成装置において、前記オクルージョンノイズ軽減手段が、前記走査方向において、所定の前記特徴点の近辺にある特徴点における前記奥行情報に基づき、前記所定の特徴点の奥行情報を削除するか否かを判定して、当該削除すると判定した場合、前記所定の特徴点の奥行情報を削除することを特徴とする。

また、請求項３に記載の発明は、請求項２に記載の画像生成装置において、前記オクルージョンノイズ軽減手段が、前記走査方向において、前記所定の特徴点の奥行情報と、前記所定の特徴点の近辺にある特徴点における前記奥行情報との差が、所定値以上の場合、前記所定の特徴点の奥行情報を削除することを特徴とする。

また、請求項４に記載の発明は、請求項１から３のいずれか１項に記載の画像生成装置において、前記関連性増加手段が、前記走査方向とは異なる方向において、所定の画素の近辺にある画素における前記奥行情報に基づき、前記所定の画素における奥行情報を変えることを特徴とする。

また、請求項５に記載の発明は、請求項４に記載の画像生成装置において、前記関連性増加手段が、前記走査方向とは異なる方向において、前記所定の画素の近辺にある２つの画素における前記奥行情報の平均と、前記所定の画素の奥行情報との差が、所定値以上の場合、前記所定の画素の奥行情報を前記平均の奥行情報とすることを特徴とする。

また、請求項６に記載の発明は、請求項１から５のいずれか１項に記載の画像生成装置において、前記補完された奥行情報に対して、前記走査方向における平均化を行う第２平均化手段を更に備えたことを特徴とする。

また、請求項７に記載の発明は、請求項１から６のいずれか１項に記載の画像生成装置において、前記第１画像および第２画像が動画であって、前記走査方向とは異なる方向に平均化された奥行情報を、前記動画のフレーム間で平均化するフレーム間平均手段を更に備えたことを特徴する。

また、請求項８に記載の発明は、請求項１から７のいずれか１項に記載の画像生成装置において、前記多視点画像生成手段が、前記第１位置および第２位置に対する前記第３位置の位置関係に従い、前記第１画像における前記走査方向とは異なる方向に平均化された奥行情報と、前記第２画像における前記走査方向とは異なる方向に平均化された奥行情報とから、前記第３画像における前記走査方向とは異なる方向に平均化された奥行情報を求め、当該第１画像、第２画像および第３画像における奥行情報と、前記第１画像と、第２画像とから、立体画像を生成することを特徴とする。

また、請求項９に記載の発明は、画像生成装置が、画像を生成する画像生成方法であって、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力ステップと、前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出ステップと、前記複数の撮像手段が設置された設置方向に関連する走査方向に、前記第１画像および第２画像を走査して、前記第１画像と第２画像とにおいて前記走査方向における対応する特徴点を求める対応点探索ステップと、前記対応する特徴点の間の距離より、前記特徴点における奥行情報を算出する奥行情報算出ステップと、前記第１画像および第２画像のうち一方の画像では存在し他方の画像では存在しないオクルージョンによる生ずるオクルージョンノイズを、前記奥行情報から軽減するオクルージョンノイズ軽減ステップと、前記オクルージョンノイズ軽減ステップにおいて処理された奥行情報に基づき、前記走査方向における前記特徴点の間の画素における奥行情報を補完する走査方向補完ステップと、前記走査方向とは異なる方向において、前記補完された奥行情報の関連性を増加させる関連性増加ステップと、前記走査方向とは異なる方向に関連性が増加された奥行情報に対して、前記走査方向とは異なる方向における平均化を行う第１平均化ステップと、前記走査方向とは異なる方向に平均化された奥行情報と、前記第１画像および第２画像の少なくとも一方とから、視点が異なる多視点画像を生成する多視点画像生成ステップと、を有することを特徴とする。

また、請求項１０に記載の発明は、コンピュータを、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段、前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段、前記複数の撮像手段が設置された設置方向に関連する走査方向に、前記第１画像および第２画像を走査して、前記第１画像と第２画像とにおいて前記走査方向における対応する特徴点を求める対応点探索手段、前記対応する特徴点の間の距離より、前記特徴点における奥行情報を算出する奥行情報算出手段、前記第１画像および第２画像のうち一方の画像では存在し他方の画像では存在しないオクルージョンによる生ずるオクルージョンノイズを、前記奥行情報から軽減するオクルージョンノイズ軽減手段、前記オクルージョンノイズ軽減手段により処理された奥行情報に基づき、前記走査方向における前記特徴点の間の画素における奥行情報を補完する走査方向補完手段、前記走査方向とは異なる方向において、前記補完された奥行情報の関連性を増加させる関連性増加手段、前記走査方向とは異なる方向に関連性が増加された奥行情報に対して、前記走査方向とは異なる方向における平均化を行う第１平均化手段、および、前記走査方向とは異なる方向に平均化された奥行情報と、前記第１画像および第２画像の少なくとも一方とから、視点が異なる多視点画像を生成する多視点画像生成手段として機能させる。

本発明によれば、撮像した画像の特徴点における奥行情報から、オクルージョンによる生ずるオクルージョンノイズを軽減した上で、走査方向とは異なる方向において、奥行情報の関連性を増加させ、平均化しているので、人間にとって違和感の少ない正確な奥行情報が算出され、この奥行情報に基づき、より自然な立体画像を生成できる。

本発明の実施形態に係る画像生成システムの概要構成例を示すブロック図である。 図１の画像生成の概要構成の一例を示すブロック図である。 図１の撮像装置の位置と、仮想的な撮像装置の位置との位置関係の一例を示す模式図である。 図１の画像生成装置の動作例を示すフローチャートである。 図１の撮像装置により撮像された画像の一例を示す模式図である。 撮像された画像に対するスキャン方向の一例を示す模式図である。 特徴点の選択の一例を示す模式図である。 対応する特徴点の一例を示す模式図である。 対応する特徴点を探索する際の類似度の一例を示すグラフである。 ノイズ処理をする前のデプスマップの一例を示す模式図である。 生成されたデプスマップの一例を示す模式図である。 多視点映像生成の一例を示す模式図である。 多視点映像生成の一例を示す模式図である。 立体視の一例を示す模式図である。 デプスマップの構築のサブルーチンの一例を示すフローチャートである。 デプスマップのラインデータにおけるｘ方向ローパスフィルタ処理の一例を示す模式図である。 デプスマップのラインデータにおけるｘ方向平均処理の一例を示す模式図である。 デプスマップのラインデータにおけるｘ方向FILL処理の一例を示す模式図である。 特徴点の選択の第１変形例を示す模式図である。 特徴点の選択の第２変形例を示す模式図である。

以下、図面を参照して本発明の実施形態について説明する。なお、以下に説明する実施の形態は、画像生成システムに対して本発明を適用した場合の実施形態である。

［１．画像生成システムの構成および機能の概要］
（１．１ 画像生成システム１の構成および機能）

まず、本発明の一実施形態に係る画像生成システムの構成および概要機能について、図１を用いて説明する。

図１は、本実施形態に係る画像生成システム１の概要構成例を示すブロック図である。

図１に示すように、画像生成システム１は、所定の位置で撮像された被写体５の画像から仮想位置から撮像した場合の画像を生成する画像生成装置１０と、所定の位置で被写体５を撮像する撮像装置（撮像手段の一例）２０と、を備えている。

画像生成装置１０は、左右２つの撮像装置２０（２０ａ、２０ｂ）により撮像された複数の動画画像の画像データの入力を受け付ける画像入力手段１０ａと、受け付けた画像データを、左右の動画画像に分離するＬＲ分離手段１０ｂと、動画の１フレームにおいて、左右の画像を縮小し、ガウスフィルタをかける画像縮小・フィルタ手段１０ｃと、ＲＧＢ信号のカラーの画像データからグレースケールの画像を求めるグレースケール変換手段１０ｄと、左右それぞれの画像の特徴点を求め、求めた特徴点内から、所定処理により特徴点を選択する特徴点選択手段１０ｅと、グレースケールの左右の画像から対応する特徴点を求めるパターンマッチング手段１０ｆと、対応する特徴点に基づき、奥行きに関する情報を画像データに対応させたデプスマップを構成するデプスマップ構築手段１０ｇと、時間的に前のフレームにおけるデプスマップとの平均化を行うデプスマップ時間平均化手段１０ｈと、時間的に前のフレームにおけるデプスマップを記憶するデプスマップ記憶手段１０ｉと、時間平均化されたデプスマップと、１フレーム左右の画像から、３次元の表示の画像を合成する画像合成手段１０ｊと、合成された画像を表示する表示部１３と、を有する。

ここで、デプスマップとは、画像の画素毎に奥行情報を示したマップである。

撮像装置２０は、撮像手段の一例である左目用の撮像装置２０ａと、右目用の撮像装置２０ｂとを有し、ステレオカメラを構成する。被写体５に対して、例えば、水平方向に、撮像装置２０ａと、撮像装置２０ｂとは、所定の距離を置いて設置される。撮像装置２０ａが設置される位置が、第１位置の一例であり、撮像装置２０ｂが設置される位置が、第２位置の一例である。撮像装置２０ａ、２０ｂは、静止画を撮像するスチルカメラ、または、動画を撮像するビデオカメラであり、解像度や、色の階調等に関して同一の性能を有する。撮像装置２０ａ、２０ｂの出力は、デジタル出力であるが、アナログ出力の撮像装置の場合は、Ａ／Ｄ変換器を有し、デジタル信号を出力する。

撮像装置２０ａは、被写体５を左寄りから撮影し、左目用の画像（第１位置で撮像された第１画像の一例）を出力する。撮像装置２０ｂは、被写体５を右寄りから撮影し、右目用の画像（第２位置で撮像された第２画像の一例）を出力する。

撮像装置２０ａおよび撮像装置２０ｂは、画像生成装置１０の画像入力手段１０ａに接続される。

（１．２ 画像生成装置１０の構成および機能）
次に、画像生成装置１０の構成および機能について、図２を用いて説明する。
図２は、画像生成装置１０の概要構成の一例を示すブロック図である。

図２に示すように、画像生成装置１０は、例えば、パーソナルコンピュータやサーバ装置等であり、通信部１１と、記憶部１２と、表示部１３と、操作部１４と、入出力インターフェース部１５と、システム制御部１６とを備えている。そして、システム制御部１６と入出力インターフェース部１５とは、システムバス１７を介して接続されている。

通信部１１は、画像生成装置１０の外部等とのデータや信号の送受信を行う。例えば、ネットワーク接続に使用される。

記憶部１２は、例えば、ハードディスクドライブ等からなり、オペレーティングシステム、制御用のプログラムや画像処理用のプログラム等を記憶する。動画の場合、１フレーム前のデプスマップを記憶する。

表示部１３は、例えば、液晶表示素子またはＥＬ（Electro Luminescence）素子等によって構成されている。表示部１３には、撮像装置２０により撮像された被写体５の画像や、生成された画像が表示される。また、表示部１３は、レンチキュラーレンズ、パララックスバリア等のスクリーンを有する。

操作部１４は、例えば、キーボードおよびマウス等によって構成されている。

入出力インターフェース部１５は、撮像装置２０ａおよび撮像装置２０ｂの出力端に直接接続される部分で、画像入力手段１０ａの機能を実現するインターフェースである。撮像装置２０（２０ａ、２０ｂ）、通信部１１および記憶部１２とシステム制御部１６とのインターフェースである。

システム制御部１６は、例えば、ＣＰＵ１６ａと、ＲＯＭ１６ｂと、ＲＡＭ１６ｃとを有する。システム制御部１６は、ＣＰＵ１６ａが、ＲＯＭ１６ｂや、ＲＡＭ１６ｃや、記憶部１２に記憶された各種プログラムを読み出して実行する。例えば、システム制御部１６は、画像処理のプログラムを実行し、特徴点選択手段１０ｅ、パターンマッチング手段１０ｆ、デプスマップ構築手段１０ｇ、デプスマップ時間平均化手段１０ｈ、画像合成手段１０ｊ等の機能を実現する。なお、システム制御部１６は、記録媒体から各種プログラムを読み出し、実行してもよい。

（１．３ 仮想的な撮像装置の位置）
次に、仮想的な撮像装置の位置（仮想位置）について図３を用いて説明する。
図３は、撮像装置２０ａ、２０ｂの位置と、仮想的な撮像装置の位置との位置関係の一例を示す模式図である。

図３に示すように、撮像装置２０ａと撮像装置２０ｂとは、ｘ方向（例えば水平方向）に距離Ｌで設置されている。撮像装置２０ａと撮像装置２０ｂとの間に、仮想的な撮像装置２５が、例えば、３台設定される。撮像装置２５ａ、撮像装置２５ｂ、および、撮像装置２５ｃは等間隔に設定される。撮像装置２０ａの設置位置の第１位置０を基準として、撮像装置２０ｂの設置位置の第２位置Ｌとすると、第３位置の一例として、撮像装置２５ａの場合、位置Ｌ／４、撮像装置２５ｂの場合、位置Ｌ／２、撮像装置２５ｃの場合、位置３Ｌ／４が設定される。ここで、仮想的な撮像装置２５により撮像された場合の画像を第３画像の一例とする。なお、視点が８つの場合、仮想的な撮像装置２５が６台設置される。

［２．画像生成システムの動作］
（２．１ 画像生成システムの動作）
次に、本発明の１実施形態に係る画像生成システムの動作について図４から図１２を用いて説明する。
図４は、画像生成装置の動作例を示すフローチャートである。図５は、撮像装置により撮像された画像の一例を示す模式図である。図６は、撮像された画像に対するスキャン方向の一例を示す模式図である。図７は、特徴点の選択の一例を示す模式図である。図８は、対応する特徴点の一例を示す模式図である。図９は、対応する特徴点を探索する際の類似度の一例を示すグラフである。図１０は、ノイズ処理をする前のデプスマップの一例を示す模式図である。図１１は、生成されたデプスマップの一例を示す模式図である。図１２は、多視点映像生成の一例を示す模式図である。図１３は、多視点映像生成の一例を示す模式図である。

まず、画像生成システムの動作として、画像生成装置１０のシステム制御部１６は、図３に示すように、第３位置の一例として、仮想的な撮像装置２５ａ、２５ｂ、２５ｃの位置（例えば、Ｌ／４、Ｌ／２、３Ｌ／４）を予め設定しておく。

次に、図４に示すように、画像生成装置１０は、左右の画像の入力を受け付ける（ステップＳ１）。具体的には、画像生成装置１０のシステム制御部１６は、図５に示すように、被写体５を左側から撮像した画像３０ａ（第１画像の一例）を、撮像装置２０ａから受け付け、右側から撮像した画像３０ｂ（第２画像の一例）を、撮像装置２０ｂから受け付ける。画像３０ａは、撮像装置２０ａの位置（第１位置の一例）から撮像した画像であり、画像３０ｂは、撮像装置２０ｂの位置（第２位置の一例）から撮像した画像である。なお、画像のデータは、ＲＧＢ信号のデータである。

このように、画像生成装置１０は、複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段の一例として機能する。

なお、画像３０ａおよび画像３０ｂは、ＨＤＭＩ（High-Definition Multimedia Interface）のサイドバイサイド映像で、画像３０ａおよび画像３０ｂは、横方向（ｘ方向）に０．５０倍してある。また、左右の画像はコンピュータグラフィックスで作成された画像でもよい。

次に、画像生成装置１０は、画像を画像Ｌと画像Ｒとに分離する（ステップＳ２）。具体的には、システム制御部１６は、ＬＲ分離手段１０ｂの一例として、サイドバイサイド映像を、画像Ｌ（画像３０ａ）と画像Ｒ（画像３０ｂ）とに分離する。なお、既に分離されている状態であれば、この処理を省略してもよい。

次に、画像生成装置１０は、画像を縮小する（ステップＳ３）。システム制御部１６は、画像縮小・フィルタ手段１０ｃの一例として、以下の処理の高速化を図るため、左右の高解像度の画像３０ａ、３０ｂを、例えば、縦１／３、横１／３に縮小する。そして、システム制御部１６は、縮小した画像に対して、ガウスフィルタをかけ、ぼやけた画像を生成する。

次に、画像生成装置１０は、グレースケール変換する（ステップＳ４）。システム制御部１６は、グレースケール変換手段１０ｄの一例として、縮小しガウスフィルタをかけた各画像３０ａ、３０ｂを、輝度値（明度）に変換してグレースケールに変換する。

次に、画像生成装置１０は、特徴点を選択する（ステップＳ５）。具体的には、システム制御部１６は、特徴点選択手段１０ｅの一例として、図６に示すよう、グレースケールに変換された画像３０ａ、３０ｂを、ｘ方向にスキャンして、１画素毎に、隣り合う画素との明るさの差分を求める。この明るさの差分を固有値とする。例えば、ｘ方向にスキャンした１ライン分の画像データ（ラインデータ）における固有値は、図７に示すようになる。そして、システム制御部１６は、図７に示すように、固有値が、設定した閾値を越えた値（例えば、固有値が１０以上）を持つ画素の座標を特徴点の画素４０ａ、４１ａとして選択して抽出する。なお、スキャン方向のｘ方向は、第１位置と第２位置とを結ぶ方向の一例である。なお、また、ヘッセ行列や、エッジ強度等から固有値を求めてもよい。

このように、画像生成装置１０は、第１画像および第２画像から、第１画像および第２画像の特徴点を抽出する特徴点抽出手段の一例として機能する。

次に、画像生成装置１０は、対応する特徴点を探索する（ステップＳ６）。システム制御部１６は、パターンマッチング手段１０ｆの一例として、図８に示すように、例えば、左の縮小されたグレースケールの画像３０ａを用いて得られた特徴点の画素４０ａ、４１ａの位置のパターンを、パターンマッチングにより、右の縮小されたグレースケールの画像３０ｂから探し出し、対応点として採用する。なお、パターンマッチングは、既存のパターンマッチングでよく、例えば、システム制御部１６は、画像３０ａの特徴点位置のパターンをテンプレートして、SAD(Sum of Absolute Difference)、SSD(Sum of Squared Difference)、正規化相互相関法により、パターンマッチングを行う。

図９に示すように、システム制御部１６は、パターンマッチングにより得られた最も類似しているパターン位置（対応点）と特徴点位置の距離（ｘ座標のずれ）から、特徴点の奥行情報を算出する。システム制御部１６は、算出された奥行情報をデプス値Ｓと定義し、この奥行情報を画素毎（特に、特徴点である画素毎）に記憶する。例えば、左の画像３０ａを基準画像、右の画像３０ｂを比較画像とし、特徴点位置をPrefとし、比較画像（画像３０ｂ）でマッチした点（対応点）の位置をPcmpとしたとき、
デプス値Sは、
S＝Pref−Pcmp
となる。このデプス値は、マイナスからプラスの値を取る。右画像３０ａの左側に対応点があったらプラス、右側にあったらマイナスとなる。

図１０に示すように、各画素におけるデプス値を当てはめてデプスマップの原型（ノイズ処理する前のデプスマップ）が得られる。なお、このデプスマップの原型には、特徴点でない画素において、デプス値が決まっていない。さらに、このデプスマップの原型には、画像３０ａおよび画像３０ｂのうち一方の画像では存在し他方の画像では存在しないオクルージョンによる生ずるオクルージョンノイズが存在する。例えば、オクルージョンにより、画像３０ａに存在し、画像３０ｂに存在しない特徴点があるので、特徴点の対応関係が不正確になり、正確でないデプス値になる。また、対応点がない特徴点にデプス値が割り当てられるノイズも存在する。

このように、画像生成装置１０は、複数の撮像手段が設置された設置方向に関連する走査方向（例えば、ｘ方向）に、第１画像および第２画像を走査して、第１画像と第２画像とにおいて走査方向における対応する特徴点を求める対応点探索手段の一例として機能する。また、画像生成装置１０は、対応する特徴点の間の距離より、特徴点における奥行情報（例えば、デプス値）を算出する奥行情報算出手段の一例として機能する。

次に、画像生成装置１０は、デプスマップを構築する（ステップＳ７）。デプスマップの原型には、オクルージョンノイズ等のノイズや、デプス値が求まっていない画素が存在するので、デプスマップの原型から、ノイズ等を取り除いた自然なデプスマップを構築する必要がある。そのため、画像生成装置１０は、デプスマップ構築手段１０ｇの一例として、デプスマップの原型に対して、横方向（ｘ方向）にＬＰＦ（low-pass filter）を適用する処理（横方向ローパスフィルタ処理）、横方向平均を適用する処理（横方向平均化処理）、横方向FILLを適用する処理（横方向補完処理）、縦方向（ｙ方向）にＬＰＦを適用する処理（縦方向ローパスフィルタ処理）、縦方向に平均を適用する処理（縦方向平均化処理）を順に行う。デプスマップを構築する処理により、図１１に示すように、動画における１フレーム分のデプスマップが生成される。なお、デプスマップを構築する処理に関して、デプスマップの構築のサブルーチンにおいて詳細に説明する。なお、画像生成装置１０は、左の画像３０ａまたは右の画像３０ｂに対するデプスマップのみでも、左の画像３０ａおよび右の画像３０ｂに対するデプスマップを構築してもよい。

次に、画像生成装置１０は、デプスマップの時間平均を求める（ステップＳ８）。システム制御部１６は、デプスマップ時間平均化手段１０ｈの一例として、１フレーム前に時間平均化されたデプスマップ（PAST_DEPTH）を記憶部１２から読み出し、１フレーム前のデプスマップと、構築されたデプスマップ（CURRENT_DEPTH）との時間平均化処理を行い、時間平均化されたデプスマップ（USE_DEPTH）を求める。
USE_DEPTH＝α×PAST_DEPTH＋（１−α）×CURRENT_DEPTH
ここで、１フレーム前のデプスマップと、構築されたデプスマップとのブレンド率αは、０．０〜１．０である。

そして、システム制御部１６は、デプスマップ記憶手段１０ｉの一例として、記憶部１２において、１フレーム前に時間平均化されたデプスマップ（PAST_DEPTH）を、求めた時間平均化されたデプスマップ（USE_DEPTH）に書き換え、次のフレームのデプスマップのブレンドに使用する。

ステップ７において、構築されたデプスマップは、動画に適用したときに、前フレームと現フレームで大きく変化する場合がある。それが観測者（視聴者）にとって不自然な立体画像になる要因となる。それを回避するために、時間平均化処理により、デプスの変化量を緩衝させることで自然なデプスマップを表現している。なお、時間平均化処理により、量子化誤差、圧縮によるノイズ、蛍光灯の点滅による誤差が軽減される。

このように、画像生成装置１０は、第１画像および第２画像が動画であって、走査方向とは異なる方向に平均化された奥行情報を、動画のフレーム間で平均化するフレーム間平均手段の一例として機能する。

次に、画像生成装置１０は、デプスマップと原画像を合成する（ステップＳ９）。システム制御部１６は、画像合成手段１０ｊの一例として、ステップＳ３において、画像が縮小され、縮小された画像に対して構築されたデプスマップであるので、デプスマップを表示画像の解像度まで単純に引き伸ばし拡大する。

そして、図１２に示すように、システム制御部１６は、左の画像３０ａのデプスマップの場合、この拡大された拡大デプスマップと、画像３０ａとを合成して、多視点画像を生成する。

なお、多視点画像を生成する前に、画像生成装置１０は、高解像度の画像３０ａが、表示画面のサイズと乖離があるようであれば、必要に応じて画像３０ａを拡大してから、多視点画像を生成する。例えば、サイドバイサイドの画像であれば、幅が半分しかないので、必要に応じて横方向に２倍する。

画像生成装置１０のシステム制御部１６は、図１２に示すように、画像３０ａのラインデータの画素を、デプスマップにおけるデプス値と視点の位置とに応じて、シフトすることより、各視点の画像を生成する。デプスマップにおけるデプス値が大きい値ほど、視点に応じて、左の画像３０ａの画素が左にシフトされる。このずれの度合いを変化させることで多視点画像が生成できる。なお、画像生成装置１０は、右の画像３０ｂのデプスマップと右の画像３０ｂとから多視点画像を生成してもよいし、左右の画像３０ａ、３０ｂのデプスマップと、左右の画像３０ａ、３０ｂとから多視点画像を生成してもよい。

画素の走査方向におけるシフト量shiftは、下記計算式で求める。
shift = （（Sight-1）／８） × Coef ×Depth（x,y）

ここで、Sightは視点番号であって、１〜８と変動する。Coefは、係数であって、例えば、１．０とする。Depth（x,y）は、ｘｙ座標のデプス値であって、−１０〜１０の値が入るものとする。

画像生成装置１０が、この計算を行うことによって、ｘｙ座標の画素の必要シフト量が視点毎に求まり、視点毎の画像が生成される。なお、シフトしただけでは、画素が存在しない空きがあるので、図１３に示すように、画像生成装置１０が、空きの両端のデプス値を比較し、デプス値が低い方の画素の値により空きを埋める。また、この多視点画像生成方法は、上記の計算式のようにシフト量が簡易に求まり、メモリが少なく、処理が早くなる。

このように、画像生成装置１０は、走査方向とは異なる方向に平均化された奥行情報と、第１画像および第２画像の少なくとも一方とから、視点が異なる多視点画像を生成する多視点画像生成手段の一例として機能する。

次に、画像生成装置１０は、合成された画像を表示する（ステップＳ１０）。図１４に示すように、システム制御部１６は、合成された画像の一例である多視点画像を表示部１３に表示する。例えば、裸眼式の３次元の画像へフォーマット変換するために、画像生成装置１０は、多視点画像の画素のＲＧＢデータのそれぞれを、各視点（第３位置の一例）に応じて割り当て、表示部１３に表示する。多視点画像を画素単位で並べることにより、多重化して表示部１３の画面に表示することで立体視を行う。

このように、画像生成装置１０は、第１位置および第２位置に対する第３位置の位置関係に従い、第１画像における走査方向とは異なる方向に平均化された奥行情報と、第２画像における走査方向とは異なる方向に平均化された奥行情報とから、第３画像における走査方向とは異なる方向に平均化された奥行情報を求め、当該第１画像、第２画像および第３画像における奥行情報と、第１画像と、第２画像とから、立体画像を生成する多視点画像生成手段の一例として機能する。

（２．２ デプスマップ構築のサブルーチン）
次に、デプスマップ構築のサブルーチンについて、図１５から図１８を用いて説明する。
図１５は、デプスマップの構築のサブルーチンの一例を示すフローチャートである。図１６は、デプスマップのラインデータにおけるｘ方向ローパスフィルタ処理の一例を示す模式図である。図１７は、デプスマップのラインデータにおけるｘ方向平均処理の一例を示す模式図である。図１８は、デプスマップのラインデータにおけるｘ方向FILL処理の一例を示す模式図である。

図１５に示すように、画像生成装置１０は、デプスマップの原型に横方向（ｘ方向）にＬＰＦを適用する（ステップＳ２０）。具体的には、画像生成装置１０のシステム制御部１６が、特徴点における奥行情報を有するデプスマップの原型に、横方向ローパスフィルタをかけることにより、パターンマッチングで得られた奥行情報からノイズを除去する。なお、この処理はライン毎に実施される。

図１５に示すように、間欠的に特徴点の画素におけるデプス値が存在している。画像生成装置１０は、走査方向ｘに先頭の特徴点の画素からデプス値を順次参照していく。例えば、画像生成装置１０は、処理対象の特徴点（所定の特徴点の一例）の画素のデプス値depthとすると、走査方向ｘにおいて、１つ前の特徴点の画素のデプス値pre_depth（所定の特徴点の近辺にある特徴点における奥行情報の一例）と、さらに１つ前の特徴点の画素のデプス値pre_pre_depth（所定の特徴点の近辺にある特徴点における奥行情報の一例）とから、次式のように、差の絶対値を求める。
Ｄ１＝ａｂｓ(pre_pre_depth − depth)
Ｄ２＝ａｂｓ(pre_depth − depth)

図１６に示すように、画像生成装置１０は、値Ｄ１、Ｄ２が、所定の閾値θ１以下の場合（Ｄ１＜＝θ and Ｄ２＜＝θ１）、その特徴点の画素のデプス値は残し、それ以外の場合は、その特徴点の画素を削除する。画像生成装置１０は、この処理を各ラインデータに対応したデプスマップの原型に対して行う。なお、走査方向ｘにおいて、先頭の２点の特徴点の画素のデプス値は、処理対象としない。また、デプス値を残した場合でも、削除した場合でも、デプス値pre_pre_depthをデプス値pre_depthに入れ替え、デプス値pre_depthをデプス値depthに入れ替えて、次の処理対象の特徴点に移る。なお、閾値θ１は、Ｄ１とＤ２とに対して異なってもよい。

このように、画像生成装置１０は、処理対象の特徴点の画素のデプス値と、１つ前の特徴点の画素のデプス値と、２つ前の特徴点の画素のデプス値とから、デジタルフィルタのローパスフィルタのような処理をすることによって、オクルージョンノイズ軽減処理（横方向ローパスフィルタ）を行う。特に、スパイクノイズ的な雑音が取り除かれる。また、アンダーシュート的な周りの特徴点のデプス値に比べ窪んだところが取り除かれる。なお、オクルージョンノイズ軽減処理は、処理対象の特徴点の画素のデプス値、１つ前または１つ後の特徴点の画素のデプス値により行ってもよい。また、オクルージョンノイズ軽減処理は、処理対象の特徴点の画素のデプス値と、１つ前の特徴点の画素のデプス値と、２つ前の特徴点の画素のデプス値と、２つ前の特徴点の画素のデプス値とにより行ってもよい。また、オクルージョンノイズ軽減処理は、特徴点の画素を削除せず、通常のデジタルフィルタのローパスフィルタのように、デプス値は下げる処理でもよい。

このように、画像生成装置１０は、第１画像および第２画像のうち一方の画像では存在し他方の画像では存在しないオクルージョンによる生ずるオクルージョンノイズを、奥行情報から軽減するオクルージョンノイズ軽減手段の一例として機能する。また、画像生成装置１０は、走査方向において、所定の特徴点の近辺にある特徴点における奥行情報に基づき、所定の特徴点の奥行情報を削除するか否かを判定して、当該削除すると判定した場合、所定の特徴点の奥行情報を削除するオクルージョンノイズ軽減手段の一例として機能する。また、画像生成装置１０は、走査方向において、所定の特徴点の奥行情報と、所定の特徴点の近辺にある特徴点における奥行情報との差（例えば、Ｄ１、Ｄ２）が、所定値（例えば、θ１）以上の場合、所定の特徴点の奥行情報を削除するオクルージョンノイズ軽減手段の一例として機能する。

次に、画像生成システム１は、横方向（ｘ方向）平均を適用する（ステップＳ２１）。システム制御部１６が、横方向ローパスフィルタによるオクルージョンによるノイズが削除された状態から、走査方向における特徴点の画素におけるデプス値の平均化を行う。例えば、図１７に示すように、システム制御部１６が、平均における中心のデプス値を支配的にするために奇数個の特徴点の画素を用いて、次式により平均化を行う。
平均のデプス値＝（ｄ１＋ｄ２＋ｄ２＋ｄ３）／４

ここで、デプス値ｄ２は、処理対象の特徴点の画素のデプス値、デプス値ｄ１は、走査方向ｘにおいて１つ前の特徴点の画素のデプス値、デプス値ｄ３は、走査方向ｘにおいて１つ後の特徴点の画素のデプス値である。

このように、画像生成装置１０は、補完された奥行情報に対して、走査方向における平均化を行う第２平均化手段の一例として機能する。

なお、横方向平均処理は省略してもよいが、この処理によって、デプス値がより平滑化される効果と、ノイズがより除去される効果によって、より自然なデプスマップが生成される。なお、ハードウェアで演算を容易化するため２のべき乗個の画素で実行することが好ましい。

次に、画像生成装置１０は、ｘ方向ＦＩＬＬを適用する（ステップＳ２２）。図１８に示すように、ステップＳ２１において平均化されたデプスマップの原型を記憶する記憶部１２には、特徴点の画素のデプス値が間欠的に存在している。特徴点に対応しない画素におけるデプス値を求める必要があるため、特徴点間の画素におけるデプス値を埋める必要がある。具体的には、システム制御部１６が、図１８に示すように、デプス値が設定されていない画素の両側または片側に、デプス値が存在するので、そのデプス値の高い値を用いて、デプス値が設定されていない箇所を埋めて、デプス値を補完する。

このように、画像生成装置１０は、オクルージョンノイズ軽減手段により処理された奥行情報に基づき、走査方向における特徴点の間の画素における奥行情報を補完する走査方向補完手段の一例として機能する。

次に、画像生成装置１０は、縦方向（ｙ方向）ＬＰＦを適用する（ステップＳ２３）。ステップＳ２２において、デプス値が埋められた時点では、ｙ方向に関連が薄いデプスマップが生成されている。縦方向（走査方向とは異なる方向の一例）の関連を増すために縦方向ＬＰＦ処理を行う。具体的には、システム制御部１６が、処理対象の画素（所定の画素の一例）のデプス値C＿DEPTH、処理対象の画素から１つ上（ｙ方向と逆）の画素のデプス値PRE_DEPTH（所定の画素の近辺にある画素における奥行情報の一例）、処理対象の画素から１つ下（ｙ方向）のデプス値NXT_DEPTH（所定の画素の近辺にある画素における奥行情報の一例）とすると、
A_DEPTH＝（PRE_DEPTH ＋ NXT_DEPTH）／２
Ｄ＝ａｂｓ（C_DEPTH −A _DEPTH）
を算出する。

Ｄ＞θ２の場合、システム制御部１６が、処理対象の画素のデプス値に、デプス値A_DEPTHを代入する。システム制御部１６が、この処理を全ての画素に対して行う。

このように、画像生成装置１０は、処理対象の画素のデプス値と、ｙ方向に隣接する画素のデプス値とから、デジタルフィルタのローパスフィルタのような処理をすることによって、ｙ方向に関連性が高いデプス値に変換する関連性増加処理（縦方向ローパスフィルタ）を行う。なお、関連性増加処理は、処理対象の画素の近傍の画素のデプス値を用いればよく、ｙ方向や隣接する画素に限らず、斜め方向の画素や隣接先の画素でもよい。

このように、画像生成装置１０は、走査方向とは異なる方向（例えば、ｙ方向）において、補完された奥行情報の関連性を増加させる関連性増加手段の一例として機能する。また、画像生成装置１０は、走査方向とは異なる方向において、所定の画素の近辺にある画素における奥行情報に基づき、所定の画素における奥行情報を変える関連性増加手段の一例として機能する。また、画像生成装置１０は、走査方向とは異なる方向において、所定の画素の近辺にある２つの画素における奥行情報の平均（例えば、A_DEPTH）と、所定の画素の奥行情報との差（例えば、Ｄ）が、所定値（例えば、θ２）以上の場合、所定の画素の奥行情報を平均の奥行情報とする関連性増加手段の一例として機能する。

次に、画像生成装置１０は、縦方向（ｙ方向）平均を適用する（ステップＳ２４）。具体的には、システム制御部１６が、縦方向ローパスフィルタを施したデプス情報に対して平均化を行う。すなわち、システム制御部１６が、縦複数ラインを用いて、ラインの平均化を行い、デプスマップが構築される。例えば、ライン（ｙ軸の値をｙとする）の平均値を求めたいとき、システム制御部１６が、ラインの各画素において、ｙ方向に、ｙ−３からｙ＋３までのデプス値の７つの総和を算出する。そして、システム制御部１６が、この総和に、更にｙのデプス値を再度加え、８で割って、ラインｙの平均値を求める。システム制御部１６が、この縦方向平均化処理を全てのラインにおいて行い、デプスマップを構築する。

このように、画像生成装置１０は、走査方向とは異なる方向に関連性が増加された奥行情報に対して、走査方向とは異なる方向における平均化を行う第１平均化手段の一例として機能する。

以上、本実施形態によれば、撮像した画像の特徴点における奥行情報から、オクルージョンによる生ずるオクルージョンノイズを軽減した上で、走査方向（ｘ方向）とは異なる方向（ｙ方向）において、奥行情報の関連性を増加させ、平均化しているので、人間にとって違和感の少ない正確な奥行情報が算出され、この奥行情報に基づき、より自然な立体画像を生成できる。

また、リアルタイムでステレオ画像を多視点の立体映像に変換できる。また、高解像度映像で、リアルタイムで、高精度な、ステレオ多視点変換を可能にする。

ステップＳ３において、画像を縮小した後でデプスマップを構築しているので、デプスマップの構築を簡素化できる。また、画像を縮小することにより、３Ｄ化に適したデプスマップを高速に生成できる。

また、横方向ローパスフィルタとして、走査方向（ラインデータ上にある特徴点）において、所定の特徴点の近辺にある特徴点における奥行情報に基づき、所定の特徴点の奥行情報を削除するか否かを判定して、削除すると判定したときに、所定の特徴点の奥行情報を削除する場合、オクルージョンによって正確でない奥行情報が削除され、横方向平均化処理、横方向補完処理に、オクルージョンの影響が及ばなくなるので、より自然な立体画像を生成できる。

また、横方向ローパスフィルタとして、走査方向において、所定の特徴点の奥行情報と、所定の特徴点の近辺にある特徴点における奥行情報との差が、所定値以上の場合、所定の特徴点の奥行情報を削除する場合、奥行情報の差を求めて、差が大きい場合に削除しているので、精度よくオクルージョンを削除できる。なお、突出したデプス値（ｘ方向において近辺の特徴点のデプス値に比べ、デプス値が極端に大きい場合、または、極端に小さい場合）は、オクルージョンである場合が多い。さらに、２段階に差Ｄ１、Ｄ２を求めて、差Ｄ１、Ｄ２に対して、判定を行う場合、さらに精度よくオクルージョンを削除できる。

走査方向とは異なる方向（例えば、ｙ方向）において、所定の画素の近辺にある画素における奥行情報に基づき、所定の画素における奥行情報を変える場合、ｙ方向に近辺にある画素とのデプス値の関連性が高まり、より自然なデプスマップを構築できる。

また、走査方向とは異なる方向において、所定の画素の近辺にある２つの画素における前記奥行情報の平均と、所定の画素の奥行情報との差が、所定値以上の場合、所定の画素の奥行情報を前記平均の奥行情報とするときに、差が大きい場合、代わりに平均をデプス値と用いるので、滑らかな、より自然なデプスマップを構築できる。

また、補完された奥行情報に対して、走査方向（ｘ方向）における平均化を行う場合、更にノイズを軽減でき、より自然なデプスマップを構築できる。

また、第１画像（画像３０ａ）および第２画像（画像３０ｂ）が動画であって、走査方向とは異なる方向（例えばｙ方向）に平均化された奥行情報を、動画のフレーム間で平均化する場合、動画でも自然な立体画像を生成できる。

また、第１位置および第２位置に対する第３位置の位置関係に従い、第１画像（画像３０ａ）における走査方向とは異なる方向（例えば、ｙ方向）に平均化された奥行情報と、第２画像（画像３０ｂ）における走査方向とは異なる方向に平均化された奥行情報とから、第３画像（間の視点の画像）における走査方向とは異なる方向に平均化された奥行情報を求め、第１画像、第２画像および第３画像における奥行情報と、第１画像と、第２画像とから、立体画像を生成する場合、視覚の角度に応じて、細かく、立体を再現できる。

次に、ステップＳ５の特徴点の選択の変形例について図１９および図２０を用いて説明する。

図１９は、特徴点の選択の第１変形例を示す模式図である。図２０は、特徴点の選択の第２変形例を示す模式図である。

図１９に示すように、画像生成装置１０は、ステップＳ５において、特徴点を選択する際、各画素における固有値において、ｘ方向に同士で勝ち抜き選を行い、勝ち抜き回数で条件を満たしたものを特徴点として選択してもよい。例えば、勝ち抜き選の一例として、ｘ方向の隣と比較して固有値の値が高い画素を残すという勝ち抜き選が挙げられる。この場合、画像の絵の特性による依存が少なく、安定して特徴点が選択される。なお、図１９では、勝ち抜き1回で選択された特徴点を示す。

また、図２０に示すように、ステップＳ５で選択された特徴点に対して、高い固有値をもつ特徴点の画素４２ａ、４３ａに挟まれた領域にある箇所にある画素を、新たに特徴点の画素４５ａ、４６ａとして追加してもよい。高い固有値を中央としてパターンマッチングすることが最適というわけではなく、固有値の周辺の強いパターンを用いてパターンマッチングするのが効果的である。よって、そのパターンの一部を含むように特徴点を選択すると、パターンマッチングにおける良い探索が可能となる。このように、特徴点を追加することにより、デプスマップの確度、精度を高めることができる。なお、追加する特徴点は、高い固有値をもつ特徴点の隣接する画素でもよいし、１点でも、３点でも構わない。また、特徴点の画素４２ａ、４３ａの中央を追加する特徴点としてもよい。

なお、撮像装置２０ａおよび撮像装置２０ｂが、水平方向（ｘ方向）以外に設置されていてもよい。例えば、上下方向（ｙ方向）に設置されている場合、スキャン方向はｙ方向が好ましい。

また、レンチキュラーレンズ方式の３次元ディスプレイに限らず、パララクスバリア方式の３次元ディスプレイに適用してもよい。または、複数視点を要する３次元ディスプレイにも適用してよい。

さらに、本発明は、上記各実施形態に限定されるものではない。上記各実施形態は、例示であり、本発明の特許請求の範囲に記載された技術的思想と実質的に同一な構成を有し、同様な作用効果を奏するものは、いかなるものであっても本発明の技術的範囲に包含される。

１：画像生成システム
１０：画像生成装置
２０（２０ａ、２０ｂ）：撮像装置（撮像手段）
３０（３０ａ、３０ｂ）：画像（第１画像、第２画像）
４０ａ、４０ｂ、４１ａ、４１ｂ、４２ａ、４３ａ、４５ａ、４６ａ：特徴点の画素（特徴点）

Claims (10)

1. 複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段と、
   前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段と、
   前記複数の撮像手段が設置された設置方向に関連する走査方向に、前記第１画像および第２画像を走査して、前記第１画像と第２画像とにおいて前記走査方向における対応する特徴点を求める対応点探索手段と、
   前記対応する特徴点の間の距離より、前記特徴点における奥行情報を算出する奥行情報算出手段と、
   前記第１画像および第２画像のうち一方の画像では存在し他方の画像では存在しないオクルージョンによる生ずるオクルージョンノイズを、前記奥行情報から軽減するオクルージョンノイズ軽減手段と、
   前記オクルージョンノイズ軽減手段により処理された奥行情報に基づき、前記走査方向における前記特徴点の間の画素における奥行情報を補完する走査方向補完手段と、
   前記走査方向とは異なる方向において、前記補完された奥行情報の関連性を増加させる関連性増加手段と、
   前記走査方向とは異なる方向に関連性が増加された奥行情報に対して、前記走査方向とは異なる方向における平均化を行う第１平均化手段と、
   前記走査方向とは異なる方向に平均化された奥行情報と、前記第１画像および第２画像の少なくとも一方とから、視点が異なる多視点画像を生成する多視点画像生成手段と、
   を備えたことを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記オクルージョンノイズ軽減手段が、前記走査方向において、所定の前記特徴点の近辺にある特徴点における前記奥行情報に基づき、前記所定の特徴点の奥行情報を削除するか否かを判定して、当該削除すると判定した場合、前記所定の特徴点の奥行情報を削除することを特徴とする画像生成装置。
3. 請求項２に記載の画像生成装置において、
   前記オクルージョンノイズ軽減手段が、前記走査方向において、前記所定の特徴点の奥行情報と、前記所定の特徴点の近辺にある特徴点における前記奥行情報との差が、所定値以上の場合、前記所定の特徴点の奥行情報を削除することを特徴とする画像生成装置。
4. 請求項１から３のいずれか１項に記載の画像生成装置において、
   前記関連性増加手段が、前記走査方向とは異なる方向において、所定の画素の近辺にある画素における前記奥行情報に基づき、前記所定の画素における奥行情報を変えることを特徴とする画像生成装置。
5. 請求項４に記載の画像生成装置において、
   前記関連性増加手段が、前記走査方向とは異なる方向において、前記所定の画素の近辺にある２つの画素における前記奥行情報の平均と、前記所定の画素の奥行情報との差が、所定値以上の場合、前記所定の画素の奥行情報を前記平均の奥行情報とすることを特徴とする画像生成装置。
6. 請求項１から５のいずれか１項に記載の画像生成装置において、
   前記補完された奥行情報に対して、前記走査方向における平均化を行う第２平均化手段を更に備えたことを特徴とする画像生成装置。
7. 請求項１から６のいずれか１項に記載の画像生成装置において、
   前記第１画像および第２画像が動画であって、
   前記走査方向とは異なる方向に平均化された奥行情報を、前記動画のフレーム間で平均化するフレーム間平均手段を更に備えたことを特徴する画像生成装置。
8. 請求項１から７のいずれか１項に記載の画像生成装置において、
   前記多視点画像生成手段が、前記第１位置および第２位置に対する前記第３位置の位置関係に従い、前記第１画像における前記走査方向とは異なる方向に平均化された奥行情報と、前記第２画像における前記走査方向とは異なる方向に平均化された奥行情報とから、前記第３画像における前記走査方向とは異なる方向に平均化された奥行情報を求め、当該第１画像、第２画像および第３画像における奥行情報と、前記第１画像と、第２画像とから、立体画像を生成することを特徴とする画像生成装置。
9. 画像生成装置が、画像を生成する画像生成方法であって、
   複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力ステップと、
   前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出ステップと、
   前記複数の撮像手段が設置された設置方向に関連する走査方向に、前記第１画像および第２画像を走査して、前記第１画像と第２画像とにおいて前記走査方向における対応する特徴点を求める対応点探索ステップと、
   前記対応する特徴点の間の距離より、前記特徴点における奥行情報を算出する奥行情報算出ステップと、
   前記第１画像および第２画像のうち一方の画像では存在し他方の画像では存在しないオクルージョンによる生ずるオクルージョンノイズを、前記奥行情報から軽減するオクルージョンノイズ軽減ステップと、
   前記オクルージョンノイズ軽減ステップにおいて処理された奥行情報に基づき、前記走査方向における前記特徴点の間の画素における奥行情報を補完する走査方向補完ステップと、
   前記走査方向とは異なる方向において、前記補完された奥行情報の関連性を増加させる関連性増加ステップと、
   前記走査方向とは異なる方向に関連性が増加された奥行情報に対して、前記走査方向とは異なる方向における平均化を行う第１平均化ステップと、
   前記走査方向とは異なる方向に平均化された奥行情報と、前記第１画像および第２画像の少なくとも一方とから、視点が異なる多視点画像を生成する多視点画像生成ステップと、
   を有することを特徴とする画像生成方法。
10. コンピュータを、
    複数の撮像手段により第１位置から撮像された第１画像と第２位置から撮像された第２画像との入力を受け付ける画像入力手段、
    前記第１画像および第２画像から、前記第１画像および第２画像の特徴点を抽出する特徴点抽出手段、
    前記複数の撮像手段が設置された設置方向に関連する走査方向に、前記第１画像および第２画像を走査して、前記第１画像と第２画像とにおいて前記走査方向における対応する特徴点を求める対応点探索手段、
    前記対応する特徴点の間の距離より、前記特徴点における奥行情報を算出する奥行情報算出手段、
    前記第１画像および第２画像のうち一方の画像では存在し他方の画像では存在しないオクルージョンによる生ずるオクルージョンノイズを、前記奥行情報から軽減するオクルージョンノイズ軽減手段、
    前記オクルージョンノイズ軽減手段により処理された奥行情報に基づき、前記走査方向における前記特徴点の間の画素における奥行情報を補完する走査方向補完手段、
    前記走査方向とは異なる方向において、前記補完された奥行情報の関連性を増加させる関連性増加手段、
    前記走査方向とは異なる方向に関連性が増加された奥行情報に対して、前記走査方向とは異なる方向における平均化を行う第１平均化手段、および、
    前記走査方向とは異なる方向に平均化された奥行情報と、前記第１画像および第２画像の少なくとも一方とから、視点が異なる多視点画像を生成する多視点画像生成手段として機能させる画像生成装置用プログラム。