JP2004061446A - パターンマッチング処理方法及び画像処理装置 - Google Patents

Abstract

【課題】本発明は、対象物体をステレオ撮影した左右原画像による小領域の左右画素パターンに画素補間を実施した左右パターンマッチング画像によるパターンマッチング処理方法と、複眼測距システムの画像処理装置を提供する。
【解決手段】左右原画像から抽出された所定パターンの左領域画素ｐ_１１〜ｐ_３３と右領域画素ｑ_１１〜ｑ_３３とにより、基準画像として、左領域の横方向２画素間に当該２画素値で補間画素ａ_１１〜ａ_３２を求め、縦方向２画素間で当該位置の周辺複数画素値の平均で補間画素ｂ_１１〜ｂ_２５を求め基準画像（ａ）を作成する。右領域も同様に補間画素ｃ_１１〜ｃ_３２とｄ_１１〜ｄ_２５を求め、比較画像（ｂ）を作成する。右原画像から１画素ずれた比較画像を順次作成しながら、基準画像と５×５のパターンマッチングをさせ、マッチングした位置から視差を求め、該視差から三角測量により対象物体までの距離を算定する。
【選択図】　　　図１

Description

【０００１】
【発明の属する技術分野】
本発明は、パターンマッチング処理方法及び画像処理装置に関し、特に、画像処理による複眼測距システムに関連し、ステレオカメラから取得された対象物体の撮影原画像から、画素補間を導入した左右のマッチング画像を生成してパターンマッチングを行うパターンマッチング処理方法及び画像処理装置に関する。
【０００２】
【従来の技術】
一般に、画像処理による３次元計測技術として、２台のカメラからなるステレオカメラで、対象物体を異なる位置から撮像した一対の左右画像の相関を求め、同一対象物体に対する視差から、ステレオカメラの取り付け位置や焦点距離等のカメラパラメータを用いた三角測量の原理に従って、画像処理により距離を求める、所謂、複眼又はステレオ測距法が知られている。
【０００３】
この様な複眼測距方法の適用例を、図９に示した。同図に示した例では、自動車などの車両に、前方を向いたステレオカメラを搭載し、撮影されたステレオ画像に基づいて車両前方にある対象物体までの距離を測定する場合を示している。
【０００４】
複眼測距システムは、車両前方を向いて設置された左カメラ１と右カメラ２の２台１組を備えたステレオカメラと、画像処理装置３とからなり、画像処理装置３で得られた対象物体までの距離情報は、例えば、緊急停止を指示するなどの車両制御装置４、運転者に前方車両との距離を知らせるなどの警報装置５に送信されるようになっている。
【０００５】
画像処理装置３は、パターンマッチング部３１、距離測定部３２、物体認識ロジック部３３を備えている。図９では、画像処理の主要部を示したものであって、図示していないが、左カメラ１と右カメラ２で車両前方の対象物体を撮像した画像に対する入力処理を行う画像入力部、この画像入力部で処理した撮像画像を原画像として格納する原画像メモリ、原画像を処理して生成された距離画像を格納する距離画像メモリ等が備えられている。
【０００６】
距離画像から得られる１画素単位での距離情報に対し、各種認識処理を行う認識処理部等から構成されている。
【０００７】
ステレオカメラを構成する２台の左カメラ１と右カメラ２は、互いに、同期が取れ、且つ、シャッタースピード可変のＣＣＤカメラであり、一方のＣＣＤカメラをステレオ処理の際の基準画像を撮像するメインカメラ、他方のＣＣＤカメラをステレオ処理の際の比較画像を撮像するサブカメラとして、所定の基線長で互いの撮像面垂直軸が平行となるよう配置されている。
【０００８】
画像入力部には、各カメラ１、２からの２系統のアナログ撮像信号を処理するためのアンプやＡ／Ｄコンバータ等の画像処理の各種機能回路が備えられ、さらに、各カメラ１、２の機械的な光学位置の僅かなずれを電気的に補正するための画像調整回路を備えたものであり、各カメラ１、２からの撮像画像を所定の輝度階調のデジタル画像データに変換し、画像調整によって各カメラ１、２の機械的な取り付け位置の誤差を補正して原画像メモリに格納する。
【０００９】
パターンマッチング部３１は、加算器、差分器、絶対値演算回路等の処理のための各種回路やメモリ等から構成され、原画像メモリに格納された左画像及び右画像の一対の原画像から小領域の左右のパターンマッチング画像を生成し、各パターンマッチング画像に従って互いの相関を求めるステレオパターンマッチングを行う。
【００１０】
距離測定部３２は、パターンマッチング部３１で得られたマッチング結果に基づき、撮影された対象物体までの距離に応じて生じる原画像中の画素のズレ（＝視差）を測定し、カメラパラメータを参照して原画像中に撮影されている対象物体までの距離データを生成する。
【００１１】
物体認識ロジック部３３では、距離測定部３２で生成された距離データに基づいて、原画像に撮影された対象物体が、例えば、前方車両であるかどうかの判定が行われる。この判定結果は、運転支援、危険回避などのための車両走行制御を行う車両制御装置４に送信され、また、前方車両に接近し過ぎなどを運転者に報知する警報装置５に送信される。
【００１２】
以上のように構成された画像処理装置３において、パターンマッチング部３１で生成されるパターンマッチング画像の例を、図１０に示した。図１０では、パターンマッチング画像が、縦３、横３による３×３パターンの９個の画素から構成されており、ステレオカメラで撮影された原画像からパターンマッチング処理のために切り出されたものである。図１０（ａ）は、左カメラ１により撮影された左原画像から切り出されパターンマッチング画像のパターンを表し、（ｂ）は、右カメラ２により撮影された右原画像から切り出されたパターンマッチング画像のパターンを表している。ここで、画素１つを桝目１つに対応させて示している。
【００１３】
これらのパターンマッチング画像をパターンマッチングするときには、例えば、左原画像を基準画像とし、右原画像を比較画像として位置付けたとすると、左原画像から切り出された図１０（ａ）のパターンマッチング画像に対して、右原画像から１画素毎にずらしながら切り出した図１０（ｂ）のパターンマッチング画像を比較する。このとき、各パターンマッチング画像の相関値を演算し、その相関値の大小によって、マッチング度が判定される。
【００１４】
そこで、各パターンマッチング画像によるマッチング度判定の様子を、図１１に示した。図１１においても、左原画像Ｘ_Ｌを基準画像とし、右原画像Ｘ_Ｒを比較画像として位置付けている。同図では、ステレオカメラで前方の対象物体Ｏを撮影した場合を表しており、図１１（ａ）には、左カメラ１によって撮影された左原画像Ｘ_Ｌを示し、図１１（ｂ）には、右カメラ２によって撮影された右原画像Ｘ_Ｒを示している。左原画像Ｘ_Ｌには、左カメラ１側から見た位置の対象物体Ｏ_Ｌが、右原画像Ｘ_Ｒには、右カメラ２側から見た位置の対象物体Ｏ_Ｒがそれぞれ映し出されている。対象物体Ｏが、ステレオカメラから所定距離だけ離れた前方の位置にあるため、対象物体Ｏの画像上の位置が、異なって映し出される。
【００１５】
次に、対象物体Ｏの右端線に関して処理する場合を例にして、パターンマッチングにより両画像間の視差を求めることについて説明する。
【００１６】
先ず、左原画像Ｘ_Ｌにおいて、対象物体Ｏ_Ｌの右端線上の１画素、例えば、図１０（ａ）の３×３パターンにおけるｐ_２２を中心にしたパターンマッチング画像ＰＴ_Ｌが抽出できたとする。そこで、右原画像Ｘ_Ｒにおいて、パターンマッチング画像ＰＴ_Ｌと縦方向位置が同じであるパターンマッチング画像ＰＴ_Ｒを抽出する。このパターンマッチング画像ＰＴ_Ｒは、同じ縦方向位置において、例えば、左側から右側へと横方向に、３×３パターンのパターンマッチング画像ＰＴ_Ｒが１画素毎にずらされて抽出される。
【００１７】
１画素毎にずらされたパターンマッチング画像ＰＴ_Ｒが抽出される都度、この画像に含まれる９個の画素値に基づいて、パターンマッチング画像ＰＴ_Ｌとの相関値が求められる。パターンマッチング画像ＰＴ_Ｒを１画素毎にずらして得た相関値が最小となる該画像の位置をパターンマッチング画像ＰＴ_Ｌとパターンマッチングしていると判定する。
【００１８】
パターンマッチング画像Ｘ_Ｌとパターンマッチング画像Ｘ_Ｒとがマッチングしていると判定できたとき、左原画像Ｘ_Ｌにおけるパターンマッチング画像Ｘ_Ｌの中心画素ｐ_２２の画素位置Ｐ_Ｌと、右原画像Ｘ_Ｒにおけるパターンマッチング画像Ｘ_Ｒの中心画素ｑ_２２の画素位置Ｐ_Ｒとを求める。水平方向の視差を求める原理としては、画素位置Ｐ_Ｌと画素位置Ｐ_Ｒとから、（Ｐ_Ｌ−Ｐ_Ｒ）を求めればよいことになる。なお、垂直方向の視差についても、同様の手法で求めることができる。ステレオカメラから見た対象物体Ｏに対する視差が求められることができれば、カメラパラメータを参照してステレオカメラから対象物体Ｏまでの距離を計算することができる。
【００１９】
【発明が解決しようとする課題】
以上に説明したように、複眼測距法による画像処理としては、車両に搭載したステレオカメラで撮像した画像を処理して車両前方の対象物体の３次元位置を測定する技術手法は、既に提案されている。この技術手法では、ステレオ撮像した左右の原画像から抽出された小領域の左右パターンマッチング画像をステレオマッチングすることによって、左右のパターンマッチング画像の対応するマッチング位置を特定しており、対応する左右のパターンマッチング画像の画素ずれ量を視差として出力するようにしている。
【００２０】
しかしながら、従来、ステレオ画像を処理して得られる視差は、画像における１画素を単位とするものであるため、この１画素単位とする視差から三角測量によって距離を計測すると、対象物体までの距離が遠くなるにつれて分解能が荒くなることになる。
【００２１】
この分解能について、図１１を参照して説明する。左原画像Ｘ_Ｌにおける対象物体Ｏ_Ｌの右端線の位置は、画素位置Ｐ_Ｌとして、また、右原画像Ｘ_Ｒにおける対象物体Ｏ_Ｒの右端線の位置は、の画素位置Ｐ_Ｒとして求められており、それらの位置を、例えば、画像の左からの画素数で見たとき、Ｐ_Ｌ＝６００、Ｐ_Ｒ＝５００とする。このとき、画像上の視差は、Ｐ_Ｌ−Ｐ_Ｒ＝１００で表せる。
【００２２】
この視差に基づいて、三角測量法による距離が、１０ｍに相当していると算出されたとした場合でも、画素位置Ｐ_Ｌが６００と求められても、実際には、左原画像Ｘ_Ｌにおける対象物体Ｏ_Ｌの右端線の位置は、例えば、６００．５である可能性もあり、その様であるとすると、視差が、１００．５となっていなければならない。しかし、これに基づいて算出される距離は、例えば、９．８ｍとなり、誤差を生じてしまう。このような誤差は、ステレオカメラで撮影した画像から検出される視差が、画素を単位とするものであるため、三角測量の原理から、測距分解能を低下させる要因となっている。これは、画像中における他のマッチング位置を特定する際にも、共通して発生することであり、物体認識ロジック部３３における対象物体の判定に大きく影響するものである。
【００２３】
そこで、従来においては、パターンマッチング部３１においてパターンマッチング処理が実行される際に、ステレオカメラで撮影された左原画像と右原画像のそれぞれにおいて、画素補間を行うことにより、分解能を向上させて測距精度を確保していた。
【００２４】
この従来に行われている画素補間手法について、図１２及び図１３を参照して説明する。
【００２５】
図１２は、補間すべき位置に係る隣接８画素に基づいて画素補間を行う場合を示している。同図では、原画像において、補間すべき位置をｘ_５として、該位置を取り囲み、隣接する８画素ｘ_１〜ｘ_４、ｘ_６〜ｘ_９を示している。位置ｘ_５に画素を補間するときには、隣接８画素の画素値に基づいて、
ｘ_５＝（ｘ_１＋ｘ_２＋ｘ_３＋ｘ_４＋ｘ_６＋ｘ_７＋ｘ_８＋ｘ_９）／８
の式により、画素ｘ_５の画素値を計算し、位置ｘ_５に埋め込む。このとき、各画素に対する重み付けを行う場合もある。このような補間手法に従って、原画像の全面について、順次、隣接２画素間に画素補間を行う。
【００２６】
この補間手法によると、補間画素値を求めるのに、膨大な計算量を必要とし、その結果、補間処理に長時間を要することになるので、この問題に対処するため、図１３に示されるような、もう少し簡便な補間手法も採用されている。図１３（ａ）は、原画像の例を示し、説明を簡単にするため、原画像の画素数を５×５の場合を示した。画素ｘ_１１から画素ｘ_５５までが配列されている。（ａ）の原画像を構成している各画素間に補間画素を埋め込んだ補間画像の例を（ｂ）に示した。補間画像は、補間画素が埋め込まれた結果、９×９の画素配列となっている。なお、図１３（ｂ）において、画素補間する元の画素については、太線枠で示され、細線枠が、補間画素を示している。
【００２７】
図１３（ｂ）に示す補間画像を得る画素補間手法は、次のようなものである。先ず、原画像の横方向に配列された２画素間に補間画素を順次埋め込んでいく。画素ｘ_１１と画素ｘ_１２との間に埋め込むべき補間画素ｙ_１１について、
ｙ_１１＝（ｘ_１１＋ｘ_１２）／２
により、補間画素値ｙ_１１を求め、次いで、画素ｘ_１２と画素ｘ_１３との間に埋め込むべき補間画素ｙ_１２について、
ｙ_１２＝（ｘ_１２＋ｘ_１３）／２
により、補間画素値ｙ_１２を求めるというように、原画像の横方向における隣接２画素間の画素補間を上端から下端まで順次行う。
【００２８】
これで、原画像の横方向に隣接する２画素間に画素補間を行ったので、次に、原画像の縦方向に隣接する２画素間に画素補間を行う。先ず、画素ｘ_１１と画素ｘ_２１との間に埋め込むべき補間画素ｚ_１１について、画素位置ｚ_１１に隣接している既に求められた横方向の補間画素ｙ_１１とｙ_２１を利用して、
ｚ_１１＝（ｘ_１１＋ｙ_１１＋ｘ_２１＋ｙ_２１）／４
により、補間画素値ｚ_１１を求め、次いで、補間されるべき画素位置ｚ_１２について、既に求められている補間画素ｙ_１１、ｙ_２１及びｚ_１１を利用し、
ｚ_１２＝（ｘ_１１＋ｙ_１１＋ｘ_１２＋ｚ_１１＋ｘ_２１＋ｙ_２１＋ｘ_２２）／７
により、補間画素値ｚ_１２を求めるといったように、既に横方向の画素間に画素補間された補間画素を利用して、原画像の縦方向に隣接する２画素間に、隣接７画素による画素補間が行われる。このような画素補間手法により、図１３（ａ）の原画像を画素補間すると、図１３（ｂ）に示される補間画像が得られる。
【００２９】
図１２に示された画素補間手法では、補間されるべき位置の画素値が、隣接する８画素の平均値により求められている。この画素補間手法に比較して、図１３の補間画像を得るために採用された画素補間手法では、原画像の横方向に隣接する２画素間に対しては、隣接する２画素の平均値を補間画素値とし、縦方向にあっては、既算出の補間画素をも利用して、隣接する７画素の平均値を補間画素としているので、図１３に示される画素補間手法の計算量は、大幅に減少したものとなっている。
【００３０】
しかしながら、車両に搭載する測距装置においては、運転支援、警報のために供給される測距情報は、精度が高く、速さができるだけ早いことが望まれており、ステレオ画像からパターンマッチング画像の生成にあたって、従来の画素補間手法をそのまま使用したのでは、未だ、計算量が多く、時間が掛かるという問題があった。
【００３１】
そこで、本発明は、ステレオカメラから取得された対象物体の撮影原画像から抽出された小領域の左右のパターンマッチング用画像に対し画素補間を導入することによってパターンマッチング画像を生成し、パターンマッチングを行うようにしたパターンマッチング処理方法及び画像処理装置を提供する。
【００３２】
【課題を解決するための手段】
以上の課題を解決するため、本発明では、ステレオ撮像された左画像と右画像とから、それぞれ所定範囲を有する左領域と右領域とを生成する領域生成ステップと、前記左領域又は前記右領域に含まれる画素間に、補間画素を生成する画素生成ステップと、前記左領域と前記右領域とによりパターンマッチングを行うパターンマッチングステップとを有するパターンマッチング処理方法とした。
【００３３】
そして、前記パターンマッチングステップにおいて、前記補間画素を含む前記左領域及び前記右領域に基づいてパターンマッチングを行い、或いは、前記左領域と前記補間画素を補間された前記右領域とに基づいてパターンマッチングを行うようにした。
【００３４】
さらに、前記画素生成ステップにおいて、前記左領域と前記右領域とに基づくパターンマッチングによりマッチング位置が特定された画素を中心に含む左領域及び右領域に対して画素補間を行い、前記左領域と前記右領域とに基づくパターンマッチングによりマッチング位置が特定された画素を中心に含む右領域に対して画素補間を行い、或いは、前記左領域又は前記右領域の横方向に隣接する２画素間に画素補間した後、当該補間位置に係る縦方向に隣接する２画素間に画素補間することとした。
【００３５】
また、前記画素生成ステップにおいて、前記左領域又は前記右領域の横方向に隣接する２画素間に画素補間した後、縦方向に隣接する２画素間について、当該補間位置に係る周囲複数画素の平均値に基づいて当該補間位置に画素補間し、前記平均値が求められるとき、当該補間位置に係る周囲複数画素に対して重み付けされることとした。
【００３６】
そして、前記画素生成ステップにおいて、当該補間位置に係る周囲複数画素における既補間画素に対して１未満の重み付けをして前記平均値を求めることとし、前記画素生成ステップでは、前記平均値を求める対象となる当該補間位置に係る周囲画素の数が最も多い画素位置から画素補間を開始することにした。
【００３７】
さらに、前記画素生成ステップにおいて、前記左領域及び前記右領域における横方向についてのみ、相隣り合う２画素に基づいて画素補間することとした。
【００３８】
また、本発明による画像処理装置においては、ステレオカメラで対象物体を撮像した左画像と右画像とに基づいたパターンマッチング処理により、該画像に写し出されている前記対象物体までの距離を測定する複眼測距システムに、上述したパターンマッチング処理方法を適用した画像処理装置とした。
【００３９】
本発明の画像処理装置とすることで、車両前方の対象物体までの距離を、精度よく検出することができ、しかも、検出のためのパターンマッチング処理時間を削減することができ、運転支援や警報のために、正確で、早い距離情報を提供することを実現する。
【００４０】
【発明の実施の形態】
次に、本発明によるパターンマッチング処理システムと画像処理装置の実施形態について、複眼測距システムにおいて、ステレオカメラから取得された対象物体の撮影原画像から、画素補間を導入したパターンマッチング処理を採用した具体例を挙げて、図１乃至図８を参照しながら説明する。
【００４１】
従来の複眼測距システムでは、パターンマッチング処理に先立ち、ステレオカメラで撮影された左右の原画像に対して、原画像全体に画素補間を施すことによって、２倍の解像度にした補間画像とし、その左右の補間画像に基づいてパターンマッチングを実施していた。このパターンマッチング処理では、補間画像を生成するのに、多大の計算量と時間を必要とした。
【００４２】
本発明に係る複眼測距システムに適用される第１の実施形態おけるパターンマッチング処理では、パターンマッチングを行うときに限定して、画素補間されたパターンマッチング画像を生成し、左右のパターンマッチング画像を用いてパターンマッチングをおこなうことにより、距離精度を向上しつつ、補間画像の生成のための計算量と時間を削減するようにした。
【００４３】
第１の実施形態では、ステレオカメラで撮影した左右の原画像に基づくパターンマッチング処理を行うときに、図１０（ａ）及び（ｂ）に示されるように、パターンマッチングするために切り出された小領域、例えば、３×３の９画素によるパターンに対して画素補間を施すようにする。
【００４４】
図１には、左右の原画像から切り出された３×３の９画素によるパターンに対して画素補間を施したパターンマッチング画像の例を示した。図１（ａ）は、図１０（ａ）の９画素ｐ_１１〜ｐ_３３に対して、図１（ｂ）は、図１０（ｂ）の９画素ｑ_１１〜ｑ_３３に対して、それぞれ画素補間した状態を示している。図中、画素補間の元となった画素は、太線枠で示されている。
【００４５】
図１で示されたパターンマッチング画像の生成に当たっては、図１３に示された従来の画素補間手法が採用されている。先ず、パターンマッチング処理の基準画像が図１０（ａ）の小領域パターンとして、９画素ｐ_１１〜ｐ_３３が特定されたとき、横方向の隣接２画素間において、画素補間が行われる。これにより、６補間画素ａ_１１〜ａ_３２が求められる。次いで、９画素ｐ_１１〜ｐ_３３と、求められた６補間画素ａ_１１〜ａ_３２とに基づいた７画素の平均値により、縦方向における１０補間画素ｂ_１１〜ｂ_２５が求められ、図１（ａ）の左パターンマッチング画像が生成される。
【００４６】
また、図１（ｂ）に示された比較画像となる９画素ｑ_１１〜ｑ_３３に対しても、同様の画素補間手法により、横方向の６補間画素ｃ_１１〜ｃ_３２と、縦方向の１０補間画素ｄ_１１〜ｄ_２５とが求められ、図１（ｂ）の右パターンマッチング画像が生成される。
【００４７】
このように、左パターンマッチング画像と右パターンマッチング画像とが生成されると、これらの画像に基づいて、５×５画素パターンによるパターンマッチングが行われる。パターンマッチングにおいては、例えば、左パターンマッチング画像における画素ｐ_１１、ｂ_１１、ｐ_２１、ｂ_２１、ｐ_３１、・・・を、右パターンマッチング画像の画素ｑ_１１、ｄ_１１、ｑ_２１、ｄ_２１、ｑ_３１、・・・と比較して、各々、対応する画素値の差を求める。こうして、５×５画素パターンの全体について、それぞれの画素値の差を求め、左右のパターンマッチング画像の相関度を求める。
【００４８】
次いで、右原画像から、１画素だけ横方向にずらした縦方向の３画素をさらに切り出し、この縦方向３画素と元の画素ｑ_１３、ｑ_２３、ｑ_３３とに基づいて、図示されていないが、図１（ｂ）の右パターンマッチング画像の右端に補間画素ｃ_１３、ｄ_１６、ｃ_２３、ｄ_２６、ｃ_３３を付加する。ここで、次の比較画像として、１画素だけずれ、今回の補間画素を含めた５×５画素パターンの画素ｃ_１１〜ｃ_３３による右パターンマッチング画像が生成される。そこで、基準画像である図１（ａ）の左パターンマッチング画像と、次の比較画像である今回生成された右パターンマッチング画像とによって、パターンマッチングが行われる。
【００４９】
順次、３×３画素パターンに対応して、１画素だけずらした５×５画素パターンが生成されるように、その都度、画素補間を行って、次の比較画像となる５×５画素パターンの右パターンマッチング画像を生成するようにした。そして、各右パターンマッチング画像と左パターンマッチング画像との比較において、最も相関値の低い右パターンマッチング画像が、横方向においてマッチングしていると、判断でき、原画像での横方向マッチング位置を特定できる。なお、縦方向については、比較画像である右パターンマッチング画像を１画素だけ縦方向にずらした補間画素による５×５画素パターンの右パターンマッチング画像を順次生成すれば、縦方向マッチング位置を特定することができる。
【００５０】
以上のように、第１の実施形態のパターンマッチング処理では、処理するときに、５×５画素パターンの右パターンマッチング画像を、画素補間により、順次生成するようにしたので、原画像をそのまま２倍の解像度となるように画素補間する場合に比較して、２倍の解像度を達成しつつ、パターンマッチング処理に要する計算量及び時間を減少させることができる。
【００５１】
図１に示した左右のパターンマッチング画像の生成には、左右共に、画素補間した５×５画素パターンによるパターンマッチング処理であったが、次に、第２の実施形態によるパターンマッチング処理では、基準画像となる左パターンマッチング画像については、左原画像から切り出された３×３画素パターンのままとし、比較画像となる右パターンマッチング画像については、右原画像から切り出された３×３画素パターンに対して画素補間を行い、５×５画素パターンによる右パターンマッチング画像を生成するようにした。図２（ａ）に、左原画像から切り出された３×３画素パターンのままの左パターンマッチング画像を、図２（ｂ）に、５×５画素パターンに画素補間された右パターンマッチング画像を示した。右パターンマッチング画像を生成するときの画素補間手法は、図１の場合と同様である。
【００５２】
図２に示した左右パターンマッチング画像によるパターンマッチングでは、３×３の９画素によるパターンマッチング処理が行われる。左パターンマッチング画像の画素ｐ_１１、ｐ_２１、ｐ_３１、・・・、ｐ_３２に対し、右パターンマッチング画像の画素ｑ_１１、ｑ_２１、ｑ_３１、・・・、ｑ_３３が比較される。これらの比較により、左右パターンマッチング画像の相関値が求められる。
【００５３】
次いで、次の比較画像となる右パターンマッチング画像を生成するため、図１の場合と同様にして、補間画素ｃ_１３、ｄ_１６、ｃ_２３、ｄ_２６、ｃ_３３を付加する。ここで、次の比較画像として、１画素だけずれ、今回の補間画素を含めた５×５画素パターンの画素ｃ_１１〜ｃ_３３による右パターンマッチング画像が生成される。そこで、基準画像である図２（ａ）の左パターンマッチング画像の９画素ｐ_１１、ｐ_２１、ｐ_３１、・・・、ｐ_３２と、次の比較画像である今回生成された右パターンマッチング画像の９画素ｃ_１１、ｃ_２１、ｃ_３１、・・・、ｃ_１３、ｃ_２３、ｃ_３３とが比較される。そこで、相関値が求められる。
【００５４】
順次、基準画像の左パターンマッチング画像では、左原画像の３×３画素パターンのままとし、比較画像である右パターンマッチング画像については、１画素だけずらした５×５画素パターンが生成されるように、その都度、画素補間を行って、次の比較画像となる５×５画素パターンの右パターンマッチング画像を生成するようにした。そして、各右パターンマッチング画像と左パターンマッチング画像との比較において、最も相関値の低い右パターンマッチング画像が、横方向においてマッチングしていると、判断でき、原画像での横方向マッチング位置を特定できる。
【００５５】
なお、縦方向につては、比較画像である右パターンマッチング画像を１画素だけ縦方向にずらしていくことになり、このときに、補間画素ｄ_１１〜ｄ_２５が利用され、５×５画素パターンの右パターンマッチング画像が順次生成される。このようにして、縦方向マッチング位置を特定することができる。
【００５６】
以上のように、第２の実施形態では、パターンマッチングするときに、比較画像である右パターンマッチング画像の生成においてのみ、画素補間を行って、５×５画素パターンの右パターンマッチング画像を、順次生成するようにしたので、原画像をそのまま２倍の解像度となるように画素補間する場合に比較して、２倍の解像度を達成しつつ、左パターンマッチング画像生成には、画素補間を行わない分、さらに、パターンマッチング処理に要する計算量及び時間を減少させることができる。
【００５７】
これまで、図１及び図２を参照して説明してきた第１及び第２の実施形態によるパターンマッチング処理においては、左右のパターンマッチング画像のパターンマッチング全てを画素補間された画像を使用して行われていた。そこで、第３の実施形態として、パターンマッチング処理の効率を向上させるため、通常の３×３画素によるパターンで大方のマッチング対応位置が特定されたならば、その特定位置の周辺画素、例えば、特定位置の周辺１画素以内の小領域に対して画像補間を施して、パターンマッチング画像を生成することにした。
【００５８】
図１０（ａ）及び（ｂ）に示した左右の原画像から切り出した左右の３×３画素パターンにより、通常のパターンマッチング処理を行ったとき、その結果、右パターンマッチングにおけるマッチング位置として、画素ｑ_１２が特定されたとする。ここで、マッチング位置が画素ｑ_１２に特定されても、マッチングの解像度は、前のままであり、大体の位置が特定されただけということになる。そこで、この位置が特定されれば、その位置周辺でのみ、補間画像によるパターンマッチング画像を生成し、再パターンマッチングを実施すれば、解像度を上げて、パターンマッチング処理の効率をも向上することができる。
【００５９】
図３には、大体の位置が特定された後に、当該位置の周辺の１画素を含む３×３画素範囲の小領域において、画素補間を実施し、左右のパターンマッチング画像を生成した状態が示されている。図３（ａ）は、左パターンマッチング画像を、図３（ｂ）は、右パターンマッチング画像をそれぞれ示している。図３では、横方向についてマッチングを取る場合を示している。
【００６０】
図３（ａ）及び（ｂ）の左右のパターンマッチング画像の生成時における画素補間手法は、図１の場合と同様である。図３（ａ）及び（ｂ）のパターンマッチング画像は、特定位置に該当する画素ｑ_１２に対応して、横方向に前後１画素に基づいて作成されている。図３（ａ）の左パターンマッチング画像では、特定位置に対応する画素は、ｐ_２２となる。
【００６１】
左右のパターンマッチングでは、図３（ａ）の左パターンマッチング画像を基準画像とした場合には、先ず、左パターンマッチング画像の３×３画素パターンを形成する９画素ｂ_１１、ｐ_２１、ｂ_１２、ａ_２１、ｂ_２２、ｂ_１３、ｐ_２２、ｂ_２３と、右パターンマッチング画像の３×３画素パターンを形成する比較画像となる９画素ｄ_１１、ｑ_２１、ｄ_１２、ｃ_２１、ｄ_２２、ｄ_１３、ｑ_２２、ｄ_２３とが比較され、相関値が求められる。
【００６２】
次いで、左パターンマッチング画像の３×３画素パターンを形成する９画素ｂ_１１、ｐ_２１、ｂ_１２、ａ_２１、ｂ_２２、ｂ_１３、ｐ_２２、ｂ_２３と、右パターンマッチング画像における次の比較画像となる９画素ｄ_１２、ｃ_２１、ｄ_２２、ｄ_１３、ｑ_２２、ｄ_２３、ｃ_２２、ｄ_２４とが比較され、相関値が求められる。
【００６３】
右パターンマッチング画像から、さらに次の比較画像を生成し、相関値を求める。そして、左パターンマッチング画像から次の基準画像を生成し、右パターンマッチング画像から順次生成された比較画像とマッチングを取っていく。この様にして、求められた相関値の中で、最も低いものが、マッチング位置となる。
【００６４】
そのため、原画像から生成した３×３画素パターンによる通常のパターンマッチングで得られた特定マッチング位置周辺のみを、さらに、画素補間によるパターンマッチング画像でパターンマッチングを実施するようにしたので、計算量や時間を大きくかけることなく、解像度を向上することができる。
【００６５】
図３に示した第３の実施形態による左右のパターンマッチング画像の生成においては、基準画像となる左パターンマッチング画像と、比較画像となる右パターンマッチング画像との双方に画素補間を施したが、図４に示した第４の実施形態では、（ａ）に示されるように、基準画像となる左パターンマッチング画像は、通常のパターンマッチングを行ったときの左原画像から切り出した９画素パターンのままとし、（ｂ）に示されるように、比較画像が生成される右パターンマッチング画像に対してのみ、画素補間を施した。
【００６６】
左右のパターンマッチングでは、先ず、左パターンマッチング画像の３×３画素パターンを形成する９画素ｐ_１１、ｐ_２１、ｐ_３１、ｐ_１２、ｐ_２２、ｐ_３２、ｐ_３２、ｐ_３３と、右パターンマッチング画像の３×３画素パターンを形成する比較画像となる９画素ｄ_１１、ｑ_２１、ｄ_１２、ｃ_２１、ｄ_２２、ｄ_１３、ｑ_２２、ｄ_２３とが比較され、相関値が求められる。
【００６７】
次いで、左パターンマッチング画像の基準画像はそのままで、右パターンマッチング画像における次の比較画像となる１画素分ずれた９画素ｄ_１２、ｃ_２１、ｄ_２２、ｄ_１３、ｑ_２２、ｄ_２３、ｃ_２２、ｄ_２４とが比較され、相関値が求められる。
【００６８】
右パターンマッチング画像から、さらに次の比較画像が順次生成され、相関値が求められる。この様にして、求められた相関値の中で、最も低いものが、マッチング位置となる。
【００６９】
そのため、原画像から生成した３×３画素パターンによる通常のパターンマッチングで得られた特定マッチング位置周辺において、さらに、比較画像の生成に対してのみ、画素補間によるパターンマッチング画像を使用したパターンマッチングを実施するようにしたので、図３の場合のパターンマッチング処理より、さらに計算量や時間を減少させることができ、しかも、解像度を向上することができる。
【００７０】
これまで説明してきた第１乃至第４の実施形態によるパターンマッチング処理では、左右のパターンマッチング画像を生成する際に、画素補間を、左右の原画像から切り出された画素パターンにどのように適用するのかが中心であり、そこで適用された画素補間は、基本的には、図１０に示された従来の画素補間手法によるものであった。従来の画素補間手法においては、画素補間されるべき当該位置に係る周辺画素に基づいて、その周辺画素値から単純平均で算出された画素値を補間画素値とするものであった。この従来の画素補間手法における周辺画素による単純平均では、補間画素値が、実際を反映したものとならない可能性がある。
【００７１】
そこで、従来の画素補間手法における周辺画素の平均の取り方を工夫して、画素補間による誤差の影響を軽減した画素補間手法の実施形態について、以下に説明する。
【００７２】
図５は、図１０（ａ）に示された左原画像から切り出された３×３画素パターンに対して、本実施形態の第１の画素補間手法を適用して、５×５画素による左パターンマッチング画像を生成した場合を示している。
【００７３】
先ず、３×３画素パターンにおける横方向の隣接２画素間に画素補間する仕方は、従来の画素補間手法と同様であり、画素ｐ_１１と画素ｐ_１２の平均値から、補間画素ａ_１１を求めるといように、順に横方向の補間画素ａ_１２〜ａ_３２を求めていく。
【００７４】
次いで、３×３画素パターンにおける縦方向の隣接２画素間に画素補間を行うことになるが、従来の画素補間手法では、図５の画素パターンでいえば、画素補間されるべき補間開始位置が、端の画素位置ｅ_１１であったのに対し、本実施形態の画素補間手法では、縦方向の隣接２画素間に画素補間する開始位置を画素位置ｅ_１３とした。これは、画素位置ｅ_１１から補間開始すると、この時点では平均対象となる画素数が少ないため、平均の元となる画素数が多い位置から開始するようにしたことによる。
【００７５】
画素位置ｅ_１３に補間されるべき画素値を、
ｅ_１３＝（ａ_１１＋ｐ_１２＋ａ_１２＋ａ_２１＋ｐ_２２＋ａ_２２）／６
の式により求める。次に、画素位置ｅ_１２に補間されるべき画素値を、
ｅ_１２＝（ｐ_１１＋ａ_１１＋ｐ_１２＋ｅ_１３＋ｐ_２１＋ａ_２１＋ｐ_２２）／７
の式により求める。さらに、画素位置ｅ_１１に補間されるべき画素値を、
ｅ_１１＝（ｐ_１１＋ａ_１１＋ｅ_１２＋ａ_２１＋ｐ_２１）／５
の式により求める。次に、画素位置ｅ_１４の画素値を求めるというように、順次、平均に関与する画素数の多い位置から補間画素値を求めていく。他の横方向画素位置ｅ_２１〜ｅ_２５でも同様に処理される。
【００７６】
ここで述べた本実施形態の画素補間手法では、縦方向に係る隣接２画素間に画素補間する際の補間開始位置を、平均値の元となる対象画素数が画素位置からとした。この平均値は、複数画素値の単純平均であったが、補間画素による誤差の影響をできるだけ少なくするため、次の実施形態である第２の画素補間手法として、さらに、平均値の元になる複数の対象画素値に含まれている補間画素値に対して、重み付けを付加することとした。これは、画素補間された画素を含めて平均値を求めるとき、そのまま使用したのでは、実在する画素と同等の評価をしたことになり、補間画素に内在する誤差の影響が出ることを抑制するためである。その補間画素値を求める際に重み付けした場合の具体例を、図６に示した。
【００７７】
図６は、図１０（ａ）に示した左原画像の３×３画素パターンから画素補間を施した場合を示しているが、横方向における隣接２画素間の画素補間は、図５に示した左パターンマッチング画像の生成の場合と同様である。縦方向に係る隣接２画素間に画素補間するときの補間手順は、図５に示したパターンマッチング画像を生成するときと同様であるが、例えば、画素補間位置ｆ_１３の補間画素値を求めるには、
ｆ_１３＝（ａ_１１／２＋ｐ_１２＋ａ_１２／２＋ａ_１２／２＋ｐ２２＋ａ_２２／２）／４
の式のように、補間画素値ａ_１１、ａ_１２、ａ_２１、ａ_２２に対して、１／２の重み付けを行っている。１／２に重み付けしたことにより、平均化する画素数は、６個から４個に減らされている。
【００７８】
なお、ここで採用している１／２の重み付けは、１例である。実在する画素に対して小さくなるように重み付けされればよく、１未満の重み付けとなる。
【００７９】
この様に、第２の画素補間手法では、縦方向に係る隣接２画素間に画素補間するときの平均化において、含まれる補間画素値を実在する画素に対して重み付けしたので、生成されたパターンマッチング画像によるパターンマッチング処理の信頼性を向上させることができる。
【００８０】
上述した第１及び第２の画素補間手法では、縦方向に係る隣接２画素間の位置に画素補間するのに、周囲８画素による平均値を補間画素値とした。これに対して、この隣接２画素間の位置に画素補間する際に、さらに、簡便な手順とした第３の画素補間手法について、図７を参照して説明する。
【００８１】
図７は、図１０（ａ）に示した左原画像の３×３画素パターンから画素補間を施した場合を示している。横方向における隣接２画素間の補間画素ａ_１１、ａ_１２、ａ_２１、ａ_２２、ａ_３１、ａ_３２の求め方は、図５に示した左パターンマッチング画像の生成の場合と同様であるが、左原画像の縦方向において隣接する２画素間を画素補間するときには、例えば、画素ｐ_１１と画素ｐ_２１との間に画素補間するには、
ｇ_１１＝（ｐ_１１＋ｐ_２１）／２
の式により、補間画素値ｇ_１１を求める。同様にして、補間位置ｇ_１３、ｇ_１５、ｇ_２１、ｇ_２３、ｇ_２５について、その上下にある実在の画素に基づいて、それぞれの補間画素値を求める。
【００８２】
次いで、画素補間すべき補間画素位置ｈ_１２、ｈ_１４、ｈ_２２、ｈ_２４の補間画素値を求めるには、それぞれの補間画素位置に係る上下左右の４画素値の平均値を計算する。例えば、画素位置ｈ_１２の補間画素値を求めるには、
ｈ_１２＝（ａ_１１＋ｆ_１１＋ｆ_１３＋ａ_２１）／４
の式により計算する。他の画素位置に係る補間画素値が、同様の手順で計算される。
【００８３】
以上の様に、第３の画素補間手順によれば、第１及び第２の画素補間手段に比較して、原画像の縦方向に係る２画素間の画素補間において、周囲８画素の平均による手法から上下左右の４画素の平均による手法としたので、パターンマッチング処理時間を低減することができた。
【００８４】
なお、図７に示したパターンマッチング画像の生成における第３の画素補間手法においても、図６に示した第２の画素補間手法における重み付け平均の考え方を取り入れ、第４の画素補間手法とすることができる。第４の画素補間手法では、補間画素位置ｈ_１２、ｈ_１４、ｈ_２２、ｈ_２４の補間画素値を求めるとき、上下左右の画素が、いずれも実在しない補間画素であるため、特定の重み付けをすることにより、平均化時に、誤差をそのまま取り込むことがないようにしている。
【００８５】
例えば、重み付けを１／２とすると、画素位置ｈ_１２の補間画素値は、
ｈ_１２＝（ａ_１１／２＋ｆ_１１／２＋ｆ_１３／２＋ａ_２１／２）／２
の式により求められる。他の画素位置に係る補間画素値についても、同様の手順で求められる。
【００８６】
これまで説明した第１乃至第４の画素補間手法では、ステレオカメラで撮影された左右の原画像から切り出された、図１０（ａ）及び（ｂ）に示される３×３画素パターンを構成する９画素に基づいて、その画素間に画素補間することにより左右のパターンマッチング画像を生成するものであった。
【００８７】
しかしながら、ステレオカメラで撮影された原画像が、インターレース方式によって撮像されている場合には、１フレームにおける原画像の縦方向に関して、１画素ずつ間隔を開けて、横方向の画素配列がなされている。つまり、１画素の間隔にあるべき横方向の画素配列は、次のフレームで撮像されているので、原画像の１画面分の横方向画素配列を取得するには、２フレーム分の取得時間を要することになる。そこで、原画像において、縦方向には、検出精度を期待しない場合には、画素補間する際に、上下方向の画素成分を用いないで、横方向成分のみを用いて画素補間を行うのが第５の画素補間手法である。第５の画素補間手法による左パターンマッチング画像の生成例を図８に示した。
【００８８】
第５の画素補間手法では、インターレース方式で撮影された１原画像における横方向に係る隣接２画素間でのみ画素補間が行われるので、３×３画素パターンの画素ｐ_１１〜ｐ_３３に基づいて、６補間画素値ａ_１１、ａ_１２、ａ_２１、ａ_２２、ａ_３１、ａ_３２が求められればよい。
【００８９】
例えば、補間画素値ａ_１１を求める場合には、画素ｐ_１１と画素ｐ_１２とにより、
ａ_１１＝（ｐ_１１＋ｐ_１２）／２
の式で当該補間画素値が求められる。他の補間画素値についても、隣接する２画素値から、同様の式で求められる。
【００９０】
この様に、第５の画素補間手法によれば、原画像がインターレース方式の画像である場合には、簡便な仕方でパターンマッチング画像が生成されるので、横方向の検出精度を確保したままで、処理時間を大幅に短縮することができる。
【００９１】
以上に説明してきた第１乃至第５の画素補間手法を、ステレオカメラで撮影された左右の原画像から左右のパターンマッチング画像を生成するときに適用することにより、パターンマッチング処理における解像度を確保した上で、処理時間を減少させることができる。
【００９２】
【発明の効果】
以上のように、本発明によれば、パターンマッチングするときに、パターンマッチング部分について、原画像から画素補間を施し、パターンマッチング画像を生成するパターンマッチング処理としたので、画像の解像度を確保したままで、パターンマッチング処理に要する時間を短縮でき、原画像をそのまま画素補間してパターンマッチング画像を保存しておく保存用メモリを設置する必要がなくなる。
【００９３】
また、本発明によるパターンマッチング処理方法を、複眼測距システムに適用することにより、距離測定の精度を向上することができる。
【００９４】
本発明のパターンマッチング処理方法では、大よその視差位置を特定した後に、その位置に対する画素補間したパターンマッチング画像を生成してパターンマッチングを実施したので、例えば、従来の画素補間手法では、６４０×４８０画像×２の処理が必要であったのに対し、３×３の１００画像×２の処理で済むことになり、原画像の全画像を画素補間画像に置き換える処理時間を削減することができる。
【００９５】
さらに、本発明のパターンマッチング処理方法では、大よその視差位置を特定した後に、その位置に対する画素補間した右パターンマッチング画像のみを生成してパターンマッチングを実施したので、例えば、従来の手法では、６４０×４８０画像の処理が必要であったのに対し、３×３の１００画像の処理で済むことになり、原画像の全画像を画素補間画像に置き換える処理時間を削減することができる。
【００９６】
また、本発明のパターンマッチング処理方法では、原画像から切り出した画素パターンに画素補間して、パターンマッチング画像を生成する際に、周囲画素に重み付けして平均化することにより補間画素値を求めるようにしたので、画素補間による誤差を軽減することができた。
【００９７】
本発明のパターンマッチング処理方法では、原画像から切り出した画素パターンに画素補間してパターンマッチング画像を生成するとき、補間画素値が、補間位置の上下、左右の実在する画素にのみ基づいた平均値としたので、画素補間できる範囲が広くなり、正確な画素補間を行うことが可能となる。
【００９８】
ステレオカメラの撮像が、特に、インターレース方式である場合には、左右の実在する画素に基づいた画素補間を実施して、パターンマッチング画像の生成をするようにしたので、正確な画素補間を可能とした。
【００９９】
以上のような本発明によるパターンマッチング処理方法を、複眼測距システムに適用した画像処理装置とすることにより、車両前方の対象物体までの距離を、精度よく検出することができ、しかも、検出のためのパターンマッチング処理時間を削減することができるので、運転支援や警報のために、正確で、早い距離情報を提供することができ、車両の安全運転に資するものである。
【０１００】
なお、本明細書では、説明が明確にかつ煩雑とならないように、左画像、右画像、左領域、右領域等、左右を規定して説明したが、左右の処理等を全く入れ換えても同様の動作となり、その場合も、本発明の範疇に入ることは、明白である。
【図面の簡単な説明】
【図１】本発明の第１実施形態の画素補間画像によるパターンマッチング例の様子を説明する図である。
【図２】第２実施形態の画素補間画像によるパターンマッチング例の様子を説明する図である。
【図３】第３実施形態の画素補間画像によるパターンマッチング例の様子を説明する図である。
【図４】第４実施形態の画素補間画像によるパターンマッチング例の様子を説明する図である。
【図５】本実施形態による第１の画素補間手法によるパターンマッチング画像の作成例を説明する図である。
【図６】本実施形態による第２の画素補間手法によるパターンマッチング画像の作成例を説明する図である。
【図７】本実施形態による第３及び第４の画素補間手法によるパターンマッチング画像の作成例を説明する図である。
【図８】本実施形態による第５の画素補間手法によるパターンマッチング画像の作成例を説明する図である。
【図９】左右画像による複眼測距システムの画像処理装置の概略ブロック構成を説明する図である。
【図１０】パターンマッチングに用いられる左右画像の例を示す図である。
【図１１】左右画像によるパターンマッチングの様子を説明する図である。
【図１２】従来の画像処理における画素補間を説明する図である。
【図１３】両隣接画素に基づく従来の画素補間を説明する図である。
【符号の説明】
１…左カメラ
２…右カメラ
３…画像処理装置
３１…パターンマッチング部
３２…距離測定部
３３…物体認識ロジック部
４…車両制御装置
５…警報装置

Claims (13)

1. ステレオ撮像された左画像と右画像とから、それぞれ所定範囲を有する左領域と右領域とを生成する領域生成ステップと、
   前記左領域又は前記右領域に含まれる画素間に、補間画素を生成する画素生成ステップと、
   前記左領域と前記右領域とによりパターンマッチングを行うパターンマッチングステップと、
   を有するパターンマッチング処理方法。
2. 前記パターンマッチングステップにおいて、前記補間画素を含む前記左領域及び前記右領域に基づいてパターンマッチングを行うことを特徴とする請求項１に記載のパターンマッチング処理方法。
3. 前記パターンマッチングステップにおいて、前記左領域と前記補間画素を補間された前記右領域とに基づいてパターンマッチングを行うことを特徴とする請求項１に記載のパターンマッチング処理方法。
4. 前記画素生成ステップにおいて、前記左領域と前記右領域とに基づくパターンマッチングによりマッチング位置が特定された画素を中心に含む左領域及び右領域に対して画素補間を行うことを特徴とする請求項１に記載のパターンマッチング処理方法。
5. 前記画素生成ステップにおいて、前記左領域と前記右領域とに基づくパターンマッチングによりマッチング位置が特定された画素を中心に含む右領域に対して画素補間を行うことを特徴とする請求項１に記載のパターンマッチング処理方法。
6. 前記画素生成ステップにおいて、前記左領域又は前記右領域の横方向に隣接する２画素間に画素補間した後、当該補間位置に係る縦方向に隣接する２画素間に画素補間することを特徴とする請求項１乃至５のいずれか一項に記載のパターンマッチング処理方法。
7. 前記画素生成ステップにおいて、前記左領域又は前記右領域の横方向に隣接する２画素間に画素補間した後、縦方向に隣接する２画素間について、当該補間位置に係る周囲複数画素の平均値に基づいて当該補間位置に画素補間することを特徴とする請求項１乃至５のいずれか一項に記載のパターンマッチング処理方法。
8. 前記画素生成ステップにおいて、前記平均値が求められるとき、当該補間位置に係る周囲複数画素に対して重み付けされることを特徴とする請求項７に記載のパターンマッチング処理方法。
9. 前記画素生成ステップにおいて、前記平均値を求める対象となる当該補間位置に係る周囲画素の数が最も多い画素位置から画素補間を開始することを特徴とする請求項７又は８に記載のパターンマッチング処理方法。
10. 前記画素生成ステップにおいて、当該補間位置に係る周囲複数画素における既補間画素に対して１未満の重み付けをして前記平均値を求めることを特徴とする請求項７乃至９のいずれか一項に記載のパターンマッチング処理方法。
11. 前記画素生成ステップにおいて、前記左領域及び前記右領域における横方向についてのみ、相隣り合う２画素に基づいて画素補間することを特徴とする請求項１乃至５のいずれか一項に記載のパターンマッチング処理方法。
12. ステレオカメラで対象物体を撮像した左画像と右画像とに基づいたパターンマッチング処理により、該画像に写し出されている前記対象物体までの距離を測定する画像処理装置であって、
    前記左画像と前記右画像とから、それぞれ所定範囲を有する左領域と右領域とを生成し、該左領域又は右領域に含まれる画素間に、補間画素を生成する画素生成部と、
    前記左領域と前記右領域とによりパターンマッチングを行うパターンマッチング部とを有するパターンマッチング処理部と、
    前記左領域と前記右領域とによるパターンマッチングによって特定されたマッチング位置に基づく、前記左画像と前記右画像とにおける位置差から前記距離を求める距離測定部と、
    を備えたことを特徴とする画像処理装置。
13. 請求項１乃至１１に記載のパターンマッチング処理方法によって特定されたマッチング位置に基づく前記左画像と前記右画像とにおける位置差から前記距離を求める距離測定部を備えたことを特徴とする画像処理装置。

Images