JP6528447B2 - 視差演算システム及び距離測定装置 - Google Patents

Description

本発明は視差演算システム及び距離測定装置に関する。

従来より、ステレオカメラ等の複数の撮像部を用いて撮影された撮影画像（ステレオ画像）に含まれるオブジェクトについて、視差演算を行うことで該オブジェクトまでの距離を算出する測距技術が知られている（例えば、特許文献１等参照）。

しかしながら、上記測距技術の場合、視差演算されるステレオ画像内に、横方向の繰り返しパターンが含まれていると、視差演算における誤差の発生頻度が高くなるという特性がある。

本発明は上記課題に鑑みてなされたものであり、複数の撮像部を用いて撮影された撮影画像を用いて視差演算を行うにあたり、誤差の発生原因を検出することを目的とする。

本発明の実施形態に係る距離測定装置は、以下のような構成を有する。すなわち、
複数の撮像部と、
前記複数の撮像部により撮影された撮影画像から測距対象の距離情報を取得する第一の距離情報取得部と、
前記複数の撮像部の光軸よりも下方に照射されるように電磁波を出射する電磁波出射部と、
前記電磁波出射部から出射された電磁波の反射波を受信する反射波受信部と、
前記反射波受信部で受信された反射波から、前記測距対象の距離情報を取得する第二の距離情報取得部と、
前記反射波受信部で受信された反射波に基づいて、前記電磁波が照射された位置における路面標示の有無を判定する判定部と、を有し、
前記第一の距離情報取得部は、前記判定部による判定結果に応じた視差演算を行うことで、前記距離情報を取得することを特徴とする。

本発明の各実施形態によれば、複数の撮像部を用いて撮影された撮影画像を用いて視差演算を行うにあたり、誤差の発生原因を検出することが可能となる。

実施形態に係る視差演算システムの構成を示す図である。 実施形態に係る視差演算システムのハードウェア構成を示す図である。 視差演算システムを構成する画像処理部のハードウェア構成を示す図である。 視差演算システムを構成するレーザ信号処理部のハードウェア構成を示す図である。 第１の実施形態に係る視差演算システムを構成するステレオカメラ部による撮影範囲及びレーザ投受光部によるレーザ光の照射範囲を示す図である。 ステレオカメラ部により撮影された撮影画像における、レーザ光の照射範囲（路面画像上の照射範囲）を示す図である。 ステレオカメラ部により撮影された撮影画像における、レーザ光の照射範囲（路面画像上の照射範囲）を示す図である。 視差演算システムにおける視差演算処理の流れを示すフローチャートである。 レーザレーダ測距部による路面測定処理の流れを示すフローチャートである。 路面測定処理時にレーザレーダ測距部において処理される各信号を示す図である。 第１の実施形態に係る視差演算システムを構成する画像処理部におけるステレオ画像処理の内容を示す図である。 ステレオ画像処理において設定された視差探索範囲を示す図である。 第２の実施形態に係る視差演算システムを構成するステレオカメラ部による撮影範囲及びレーザ投受光部によるレーザ光の照射範囲を示す図である。 ステレオカメラ部により撮影された撮影画像における、レーザ光の照射範囲（路面画像上の照射範囲）を示す図である。 第３の実施形態に係る視差演算システムを構成するステレオカメラ部による撮影範囲及びレーザ投受光部によるレーザ光の照射範囲を示す図である。 ステレオカメラ部により撮影された撮影画像における、レーザ光の照射範囲（路面画像上の照射範囲）を示す図である。 第４の実施形態に係る視差演算システムを構成するレーザレーダ測距部において、路面測定処理時に処理される各信号を示す図である。 第５の実施形態に係る視差演算システムを構成するレーザレーダ測距部において、路面測定処理時に処理される各信号を示す図である。 第６の実施形態に係る視差演算システムを構成するレーザレーダ測距部において、路面測定処理時に処理される各信号を示す図である。 第７の実施形態に係る視差演算システムを構成するレーザレーダ測距部における路面標示の有無判定処理の流れを示すフローチャートである。 第７の実施形態に係る視差演算システムを構成するレーザレーダ測距部において、路面測定処理時に処理される各信号を示す図である。 第８の実施形態に係る視差演算システムを構成するレーザレーダ測距部における路面標示の有無判定処理の流れを示すフローチャートである。 第８の実施形態に係る視差演算システムを構成するレーザレーダ測距部において、路面測定処理時に処理される各信号を示す図である。

以下、本発明の実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省く。

［第１の実施形態］
第１の実施形態は、主に、路面上に横方向の繰り返しパターンが含まれている場合に、視差演算における誤差の発生頻度が高くなるという課題を解決するものである。

路面上に横方向の繰り返しパターンが含まれている場合とは、例えば、横断歩道の路面標示が含まれている場合が挙げられる。横断歩道の路面標示は白色で、しかも視認性を良くするために光をよく反射する塗料で描かれている場合が多く、視差演算を行った場合、誤差の発生頻度が高くなる傾向が特に強いと考えられる。以下、横断歩道の路面標示を例に、第１の実施形態について説明する。

＜１．視差演算システムの全体構成＞
はじめに、本実施形態に係る視差演算システムの全体構成について説明する。図１は、本実施形態に係る視差演算システム１００の構成を示す図である。図１に示すように、視差演算システム１００は、ステレオカメラ部１１０と、レーザレーダ測距部１２０と、画像処理部１３０とを備える。

ステレオカメラ部１１０は、単眼カメラ部（撮像部）１１１と単眼カメラ部（撮像部）１１２とを備え、単眼カメラ部１１１、１１２では、それぞれが所定のフレーム周期で撮影を行い、撮影画像を画像処理部１３０に送信する。

レーザレーダ測距部１２０は、レーザ投受光部１２１とレーザ信号処理部１２２とを備える。レーザ投受光部１２１は、ステレオカメラ部１１０の撮影方向と同じ方向に向けてレーザ光を出射し、その反射光を受光することでレーザ受光信号を出力する。レーザ信号処理部１２２は、レーザ投受光部１２１より出力されたレーザ受光信号に基づいて、路面上に付された路面標示の有無を判定する。また、判定結果を画像処理部１３０に送信する。

画像処理部１３０は、ステレオカメラ部１１０より送信された撮影画像を用いて視差演算を行い、視差画像を生成する。なお、画像処理部１３０では、視差演算を行うにあたり、レーザレーダ測距部１２０より送信される判定結果を用いる。即ち、画像処理部１３０は、路面標示の有無に応じた視差演算を行うよう構成されている（詳細は後述）。

このように、本実施形態に係る視差演算システム１００では、視差演算において誤差の発生要因となる路面標示の有無をレーザレーダ測距部１２０が判定し、画像処理部１３０が、路面標示の有無に応じた視差演算を行う。これにより、本実施形態によれば、視差演算における誤差の発生頻度を低減させることができる。

＜２．視差演算システムのハードウェア構成＞
次に、視差演算システム１００のハードウェア構成について説明する。図２は、視差演算システム１００におけるハードウェア構成を示す図である。

図２に示すように、視差演算システム１００は、カメラステイ２３０と制御基板収納部２４０とを有する。

カメラステイ２３０には、単眼カメラ部１１１、１１２とレーザ投受光部１２１とが一体的に取り付けられている。これにより、視差演算システム１００の小型化及び低コスト化が可能となる。

制御基板収納部２４０には、レーザ信号処理部１２２と画像処理部１３０とが収納されている。レーザ信号処理部１２２をレーザ投受光部１２１とは別体に構成することで、レーザ投受光部１２１のサイズを小さくすることができる。これにより、本実施形態によれば、単眼カメラ部１１１と単眼カメラ部１１２との間に、レーザ投受光部１２１を配置させることが可能となる。

なお、図２の例では、レーザ信号処理部１２２と画像処理部１３０とを、別の回路基板として構成しているが、レーザ信号処理部１２２と画像処理部１３０とは、共通の回路基板により構成してもよい。回路基板の枚数を削減することで、低コスト化を図ることが可能となるからである。

図２に示すように、単眼カメラ部１１１は、カメラレンズ２０１と、撮像素子２０２と、センサ基板２０３とを備える。カメラレンズ２０１を介して入射された外部の光は、撮像素子２０２において受光され、所定のフレーム周期で光電変換された後、センサ基板２０３において１フレームごとの撮影画像が生成される。生成された撮影画像は、順次、画像処理部１３０に送信される。

なお、単眼カメラ部１１２も、単眼カメラ部１１１と同様の構成を有しており、単眼カメラ部１１１と同期して生成された撮影画像は、順次、画像処理部１３０に送信される。画像処理部１３０では、単眼カメラ部１１１、１１２より送信された撮影画像を用いて、視差演算を行い、視差画像を生成する。

レーザ投受光部１２１は、光源駆動回路２２１と、レーザ光源２２２と、投光レンズ２２３とを備える。光源駆動回路２２１は、レーザ信号処理部１２２からの指示により動作し、レーザ光源２２２に対して変調電流（光源発光信号）を印加する。これにより、レーザ光源２２２ではレーザ光を出射する。レーザ光源２２２より出射されたレーザ光は、投光レンズ２２３を介して外部に出射される。

なお、本実施形態では、レーザ光源２２２として、赤外半導体レーザダイオード（ＬＤ）が用いられ、レーザ光として波長８００ｎｍ〜９５０ｎｍの近赤外光が出射されるものとする。また、レーザ光源２２２は、光源駆動回路２２１により印加された変調電流（光源発光信号）に応じて、パルス状の波形を有するレーザ光を周期的に出射するよう制御されるものとする。なお、本実施形態において、レーザ光源２２２は数ナノ秒から数百ナノ秒程度の短いパルス幅を有するパルス状のレーザ光を周期的に出射するよう制御されるものとする。

レーザ光源２２２から出射されたパルス状のレーザ光は、投光レンズ２２３を介して所定の広がり角を有する光ビームとなり、投射ビームとして外部に出射された後、所定の位置（所定の照射対象）に照射される。ただし、レーザ光源２２２から出射されるレーザ光は、投光レンズ２２３によって略平行光にコリメートされるため、照射された位置における照射範囲を、予め設定された微小面積とすることができる。

レーザ投受光部１２１は、更に、受光レンズ２２４と、受光素子２２５と、受光信号増幅回路２２６とを備える。所定の位置に照射されたレーザ光は、一様な方向に散乱し、レーザ投受光部１２１から出射されたレーザ光と同じ光路をたどって反射してくる光成分のみが、反射光として、レーザ投受光部１２１の受光レンズ２２４を介して受光素子２２５に導かれる。

なお、本実施形態では、受光素子２２５として、シリコンＰＩＮフォトダイオードやアバランシェフォトダイオードが用いられるものとする。受光素子２２５は、反射光を光電変換することでレーザ受光信号を生成し、受光信号増幅回路２２６は、生成されたレーザ受光信号を増幅した後、レーザ信号処理部１２２に送信する。レーザ信号処理部１２２で、レーザ投受光部１２１より送信されたレーザ受光信号に基づいて、路面上に付された路面標示の有無を判定する。また、判定結果を画像処理部１３０に送信する。

＜３．画像処理部の構成＞
次に、画像処理部１３０の構成について説明する。上述したように、画像処理部１３０では、視差画像を生成する。なお、生成した視差画像は、例えば、撮影画像に含まれる各オブジェクトまでの距離を算出するのに用いられる。

そこで、以下では、画像処理部１３０の構成を説明するにあたり、はじめに、画像処理部１３０により生成された視差画像に基づいて、撮影画像に含まれる各オブジェクトまでの距離を算出する測距技術（ステレオ測距技術）の概要について簡単に説明する。

＜３．１ ステレオ測距技術の概要＞
一般的に、ステレオ測距技術では、左右に配置された２台の単眼カメラ部より送信される１対の撮影画像について相関（類似度）を求めることで同一点を抽出し、抽出した同一点に対する視差を演算することで、三角測量の要領で当該同一点までの距離を算出する。

具体的には、２台の単眼カメラ部より送信される１対の撮影画像から、同一のオブジェクトが描画されている部分を抽出する。２台の単眼カメラ部が左右に設置されている場合、１対の撮影画像間において、同一のオブジェクトが描画されている位置は左右にずれる。そこで、一方の撮影画像を他方の撮影画像に対して左右方向に、所定の範囲（視差探索範囲）内を１画素ずつシフトさせながら、最も重なり合う（類似している）［度］位置を求めることで、１対の撮影画像間で当該同一のオブジェクト内の同一点を対応付ける。そして対応付けた同一点間のずれ量（視差）を演算することで、２台の単眼カメラ部の光軸間の距離との関係から、当該同一点までの距離を算出する。

なお、このときシフトさせた画素数をｎ、単眼カメラ部のカメラレンズの焦点距離をｆ、基線長（単眼カメラの光軸間距離）をＢ、画素ピッチをｄとすると、同一オブジェクト内の同一点までの距離Ｚは、下式により算出することができる。

なお、式１の分母（ｎ×ｄ）が視差である。

＜３．２ ステレオ測距技術を実現するための視差演算を行う画像処理部の構成＞
次に、上記ステレオ測距技術を実現するための視差演算を行う画像処理部１３０の構成について説明する。図３は、上記ステレオ測距技術を実現するための視差演算を行う画像処理部１３０の構成を示す図である。

図３に示すように、画像処理部１３０は、ＣＰＵ（Central Processing Unit）３０１、ＲＡＭ（Random Access Memory）３０２、記憶装置３０３、入出力部３０４を備える。なお、画像処理部１３０の各部は、バス３０５を介して相互に接続されているものとする。

ＣＰＵ３０１は、記憶装置３０３に格納されたプログラム（ステレオ画像処理部３１０として機能するためのプログラム）を実行するコンピュータである。ＣＰＵ３０１が当該プログラムを実行することにより、画像処理部１３０では、ステレオカメラ部１１０より送信された撮影画像を補正し、補正した撮影画像に基づく視差演算を行うことで、視差画像を生成する。

ＲＡＭ３０２は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ３０２は、記憶装置３０３に格納されたプログラムがＣＰＵ３０１によって実行される際に展開される、作業領域として機能する。

記憶装置３０３は、ＥＰＲＯＭやＥＥＰＲＯＭ等のメモリであり、ＣＰＵ３０１を、ステレオ画像処理部３１０として機能させるためのプログラムを格納する。ステレオ画像処理部３１０は、更に、画像補正部３１１と視差画像生成部３１２とを有する。

画像補正部３１１は、センサ基板２０３、２１３より送信された撮影画像に対して、ガンマ補正や歪み補正等の各種補正処理を施す。

視差画像生成部３１２は、画像補正部３１１において補正された撮影画像間において、視差探索範囲内で同一点の対応付けを行うことで、視差を演算する。そして、撮影画像内の各画素について視差を演算することで視差画像を生成する。なお、視差画像生成部３１２では、視差の演算に際して、レーザ信号処理部１２２から出力される判定結果に基づいて視差探索範囲を変更する。

入出力部３０４は、センサ基板２０３、２１３やレーザ信号処理部１２２と通信するためのインタフェース部である。

＜４．レーザ信号処理部の構成＞
次に、レーザ信号処理部１２２の構成について説明する。図４は、レーザ信号処理部１２２の構成を示す図である。

図４に示すように、レーザ信号処理部１２２は、ＣＰＵ（Central Processing Unit）４０１、ＲＡＭ（Random Access Memory）４０２、記憶装置４０３、入出力部４０４を備える。なお、画像処理部１３０の各部は、バス４０５を介して相互に接続されているものとする。

ＣＰＵ４０１は、記憶装置４０３に格納された各プログラム（路面測定部４１０として機能するためのプログラム）を実行するコンピュータである。ＣＰＵ４０１が当該プログラムを実行することにより、レーザ信号処理部１２２では、レーザ投受光部１２１によるパルス状のレーザ光の投受光を制御し、レーザ投受光部１２１において生成されたレーザ受光信号に基づいて、路面標示の有無を判定する。

ＲＡＭ４０２は、ＤＲＡＭ（Dynamic Random Access Memory）やＳＲＡＭ（Static Random Access Memory）等の主記憶装置である。ＲＡＭ４０２は、記憶装置４０３に格納されたプログラムがＣＰＵ４０１によって実行される際に展開される、作業領域として機能する。

記憶装置４０３は、ＥＰＲＯＭやＥＥＰＲＯＭ等のメモリであり、ＣＰＵ４０１を、路面測定部４１０として機能させるためのプログラムを格納する。

路面測定部４１０は、光源駆動回路２２１に対してパルス状のレーザ光の出射を指示するとともに、受光信号増幅回路２２６よりレーザ受光信号を取得する。また、取得したレーザ受光信号の強度に基づいて、レーザ光が照射された位置における路面標示の有無を判定する。また、判定結果を画像処理部１３０に送信する。

入出力部４０４は、光源駆動回路２２１、受光信号増幅回路２２６、画像処理部１３０と通信するためのインタフェース部である。

＜５．視差演算システムの設置方法及び設定方法＞
次に、視差演算システム１００の設置方法及び視差演算システム１００を構成するステレオカメラ部１１０及びレーザ投受光部１２１の設定方法について説明する。

図５は、視差演算システム１００の設置方法、及び、ステレオカメラ部１１０及びレーザ投受光部１２１の設定方法を説明するための図である。このうち、図５（ａ）は、視差演算システム１００が搭載された車両５０１を、進行方向に対して、側面から見た様子を示しており、図５（ｂ）は、視差演算システム１００が搭載された車両５０１を、進行方向に対して、上面から見た様子を示している。以下、図５（ａ）、（ｂ）を参照しながら、視差演算システム１００の設置方法、及び、ステレオカメラ部１１０及びレーザ投受光部１２１の設定方法について説明する。

＜５．１ 視差演算システムの設置方法（位置及び向き）＞
図５（ａ）に示すように、視差演算システム１００は、車両５０１内の天井部分であって、フロントガラス近傍（路面５３０からの高さＨの位置）に設置される。また、図５（ｂ）に示すように、車両５０１の車幅に対して略中央の位置に設置される。

更に、視差演算システム１００は、ステレオカメラ部１１０の各単眼カメラ部１１１、１１２の撮影方向が、車両５０１の進行方向前方となるように設置される。

なお、レーザ投受光部１２１は、レーザ光の出射方向が単眼カメラ部１１１、１１２の撮影方向と同じになるようにカメラステイ２３０に設置されているため、レーザ光の出射方向も、車両５０１の進行方向前方となる。

＜５．２ ステレオカメラ部及びレーザ投受光部の設定方法（仰角及び旋回角）＞
次に、視差演算システム１００を構成するステレオカメラ部１１０及びレーザ投受光部１２１の設定方法（仰角及び旋回角）について説明する。

図５（ａ）に示すように、ステレオカメラ部１１０の撮影方向の仰角（ｘ軸周りの角度）は、撮影範囲５１０が、ステレオカメラ部１１０の設置位置を通り路面５３０に平行な直線５０２を含み、かつ、路面５３０を含むように設定されている。なお、図５（ａ）の例では、更に、撮影範囲５１０の中心線（単眼カメラ部１１１、１１２の光軸）５１２が、直線５０２の下方に位置するように設定されている。

また、レーザ投受光部１２１によるレーザ光の出射方向の仰角（ｘ軸周りの角度）は、レーザ光の照射範囲５２０が、ステレオカメラ部１１０の撮影範囲５１０内に含まれ、かつ、直線５０２に対して、下側方向に角度θ_ｖＲとなるように設定されている。なお、θ_ｖＲはゼロより大きく、かつ、直線５０２に対して単眼カメラ部１１１、１１２の光軸がなす角度よりも大きい値であるとする。つまり、レーザ光の光軸は、単眼カメラ部１１１、１１２の光軸よりも下方を向いているものとする。

また、図５（ｂ）に示すように、ステレオカメラ部１１０の撮影方向の旋回角（ｙ軸周りの角度）は、撮影範囲５１１が、車両５０１の幅方向の中心を通る長軸（不図示）に対して、対称となるように設定されている。具体的には、車両５０１の幅方向の中心を通る長軸と単眼カメラ部１１１、１１２の光軸とが平行になるように設定されている。

また、レーザ投受光部１２１によるレーザ光の出射方向の旋回角（ｙ軸周りの角度）は、レーザ光の照射範囲５２１がステレオカメラ部１１０の撮影範囲５１０内に含まれるように設定されている。なお、図５（ｂ）の例では、単眼カメラ部１１１、１１２の光軸とレーザ光の照射範囲５２１の中心線（不図示）とが平行になるように、レーザ投受光部１２１によるレーザ光の出射方向の旋回角が設定されているが、本発明はこれに限定されるものではない。

＜５．３ ステレオカメラ部の撮影範囲及びレーザ投受光部によるレーザ光の照射範囲＞
本実施形態において、ステレオカメラ部１１０の撮影範囲５１０の画角は、図５（ａ）に示すように、垂直方向（ｙ軸方向）が１５［度］〜２０［度］程度になるように設定されているものとする。また、図５（ｂ）に示すように、水平方向（ｘ軸方向）が４０［度］〜６０［度］程度になるように設定されているものとする。

また、図５（ａ）、（ｂ）に示すように、レーザ投受光部１２１によるレーザ光の照射範囲５２０の広がり角は垂直方向（ｙ軸方向）、水平方向（ｘ軸方向）共に、ステレオカメラ部１１０の撮影範囲５１０、５１１よりも狭くなるように設定されているものとする。

なお、図５（ａ）に示すように、車両５０１の進行方向前方Ｌ_ｃ［ｍ］の位置にある路面標示（横断歩道５３１）を検出しようとした場合、下式が成り立つ。

また、レーザ光の垂直方向（ｙ軸方向）の照射範囲５２０の広がり角Δθ_ｖＲは、前方の路面５３０上におけるレーザ光の照射範囲５２３の奥行き方向（ｚ軸方向）の長さをΔＬとすると下式により求めることができる。

このため、例えば、Ｈ＝１．４［ｍ］、Ｌ_Ｃ＝１０［ｍ］において、ΔＬ＝２［ｍ］（路面標示の検出に適した奥行き方向（ｚ軸方向）の長さ）とすると、θ_ｖＲ＝０．１４［ｒａｄ］（８［度］）では、Δθ_ｖＲ＝０．０２８［ｒａｄ］（１．６［度］）となる。

一方、レーザ投受光部１２１によるレーザ光の水平方向（ｘ軸方向）の照射範囲５２１の広がり角Δθ_ｈＲは、路面上の照射範囲５２３の水平方向（ｘ軸方向）の長さが、路面標示に応じた適度な長さとなるように設定されていることが好ましい。水平方向（ｘ軸方向）に多少照射範囲の中心が変動した場合であっても、繰り返しパターンをもつ路面標示（横断歩道５３１）の有無を確実に判定できるようにするためである。

例えば、横断歩道５３１は、０．５ｍ程度の幅を持つ白線とアスファルト面とが等間隔に並んでおり、繰り返しパターンの基準ピッチは、１ｍ程度である。したがって、進行方向前方１０ｍの位置にある横断歩道を確実に検出するためには、レーザ光の路面上の照射範囲５２３の水平方向の長さを１［ｍ］程度にすることが好ましい。つまり、レーザ光の水平方向（ｘ軸方向）の照射範囲５２１の広がり角Δθ_ｈＲを、例えば、６［度］程度に設定するのが好ましい。

＜５．４ 撮影画像との関係＞
上述したように、レーザ投受光部１２１によるレーザ光の出射方向の仰角は、
・レーザ光の照射範囲５２０が、ステレオカメラ部１１０の撮影範囲５１０の範囲内に含まれ、かつ、
・レーザ光の照射範囲５２０の中心線５２２が、視差演算システム１００を通り路面５３０に平行な直線５０２に対して、下側方向にθ_ｖＲの角度（ただし、θ_ｖＲ＞０）であること、
と説明した。

また、レーザ投受光部１２１によるレーザ光の出射方向の旋回角は、
・レーザ光の照射範囲５２１が、ステレオカメラ部１１０の撮影範囲５１１の範囲内に含まれること、
と説明した。

しかしながら、レーザ投受光部１２１によるレーザ光の出射方向の仰角及び旋回角の設定方法は上記限定にとどまらず、ステレオカメラ部１１０において撮影された撮影画像との関係に基づいて、更に特定してもよい。

図６は、レーザ投受光部１２１によるレーザ光の出射方向の仰角及び旋回角を更に特定した設定方法を説明するための図である。図６の撮影画像６００に示すように、ステレオカメラ部１１０を上述した設定方法により設定した場合、撮影画像６００には、路面画像６１０（網掛け部分）が描画されることとなる。

ここで、本実施形態に係るレーザレーダ測距部１２０では、ステレオカメラ部１１０により撮影された撮影画像に基づく視差演算の誤差の発生要因である路面標示を検出できればよい。したがって、車両５０１の進行方向前方の路面５３０のうち、撮影画像において路面画像６１０として描画される領域内のいずれかの位置が路面上の照射範囲となるように（照射対象となるように）、レーザ光の出射方向の仰角及び旋回角が設定されていればよい。

図７は、このようにして仰角及び旋回角が設定されたレーザ投受光部１２１によりレーザ光が出射された場合の路面上の照射範囲５２３を、撮影画像６００内において照射範囲画像７０１として示した図である。

撮影画像６００において路面画像６１０として描画される領域内のいずれかの位置が路面上の照射範囲となるようにすることで、図７の例では、照射範囲画像７０１は、撮影範囲５１０の中心線５１２よりも下方（仰角θ_ｖＲに対応する位置）に配置されることとなる。換言すると、単眼カメラ部１１１、１１２の光軸よりも下方が照射範囲となるようにすることで、照射範囲画像７０１は路面が描画された位置に配置されることとなる。また、撮影範囲５１１の中心線上に配置されることとなる。なお、照射範囲画像７０１の大きさは、レーザ光の垂直方向の照射範囲５２０の広がり角Δθ_ｖＲ及び水平方向の照射範囲５２１の広がり角Δθ_ｖｈに応じた大きさで描画されることとなる。

＜６．視差演算システムにおける処理の流れ＞
次に、視差演算システム１００における視差演算処理の流れについて説明する。図８は、視差演算システム１００における視差演算処理の流れを示すフローチャートである。

視差演算システム１００による視差演算処理が開始されると、ステップＳ８０１では、画像処理部１３０からの指示に基づいて、単眼カメラ部１１１、１１２が互いに同期して撮影を行う撮影処理を実行する。

更に、ステップＳ８０２では、レーザレーダ測距部１２０が路面測定処理を実行する。具体的には、まず、レーザ投受光部１２１がレーザ信号処理部１２２（レーザ信号処理部１２２の路面測定部４１０。以下、同じ）からの指示に基づいてパルス状のレーザ光の投受光を行う。更に、レーザ光の投受光によりレーザ投受光部１２１において生成されたレーザ受光信号に基づいて、レーザ信号処理部１２２が路面標示の有無を判定し、判定結果を画像処理部１３０に送信する。

なお、ステップＳ８０１における撮影処理と、ステップＳ８０２における路面測定処理とは、並行して実行される。すなわち、単眼カメラ部１１１、１１２が１フレーム分の撮影画像の撮影を行う間に、レーザ投受光部１２１がパルス状のレーザ光１パルス分の投受光を行う。

ステップＳ８０３では、画像処理部１３０が１フレーム分の撮影画像に基づいて視差演算処理を行い、視差画像を生成するステレオ画像処理を実行する。このとき、当該フレームの撮影処理に対応して実行された路面測定処理において、路面標示が存在する旨の判定結果が画像処理部１３０に送信されていた場合には、当該判定結果に基づいて、視差探索範囲を変更する。

ステップＳ８０４では、視差演算処理の終了指示が入力されたか否かを判定し、入力されていないと判定された場合には、ステップＳ８０１及びステップＳ８０２に戻る。そして、次のフレームについて撮影処理を実行するとともに、次のパルス状のレーザ光の投受光を行うことで、路面測定処理を実行する。

以降、視差演算処理の終了指示が入力されるまで、フレーム単位で撮影処理を実行し、各フレームごとに１パルス分の路面測定処理を実行しながら、フレーム単位でステレオ画像処理を実行する。

一方、ステップＳ８０４において、視差演算処理の終了指示が入力されたと判定された場合には、処理を終了する。

＜７．路面測定処理の流れ＞
次に、レーザレーダ測距部１２０による路面測定処理（ステップＳ８０２）の詳細な流れについて図９及び図１０を参照しながら説明する。図９は、レーザレーダ測距部１２０による路面測定処理（ステップＳ８０２）の詳細な流れを示すフローチャートである。また、図１０は、路面測定処理時にレーザレーダ測距部１２０において処理される各信号を示す図である。このうち、図１０（ａ）は、レーザ光が照射される路面上の照射範囲５２３に路面標示がある状態で路面測定処理が実行された際の各信号を示している。また、図１０（ｂ）は、レーザ光が照射される路面上の照射範囲５２３に路面標示がない状態で路面測定処理が実行された際の各信号を示している。

以下、図１０を参照しながら、図９のフローチャートに従って、路面測定処理の流れについて説明する。

ステップＳ９０１では、レーザ信号処理部１２２からの指示（図１０（ａ）、（ｂ）に示すトリガ信号１００１）に基づいて、レーザ投受光部１２１が光源発光信号（図１０（ａ）、（ｂ）に示す光源発光信号１００２）を生成する。これにより、レーザ投受光部１２１ではパルス状のレーザ光を出射する。

ステップＳ９０２では、レーザ投受光部１２１が、パルス状のレーザ光を出射してから所定時間経過した後に、路面からの反射光を受光し、レーザ受光信号を生成する。そして、生成したレーザ受光信号をレーザ信号処理部１２２に出力する。

図１０（ａ）のレーザ受光信号１００３は、レーザ光が照射された路面上の照射範囲に路面標示があった場合の反射光に基づいて生成された信号である。一方、図１０（ｂ）のレーザ受光信号１０１３は、レーザ光が照射された路面上の照射範囲に路面標示がなかった場合の反射光に基づいて生成された信号である。

レーザ受光信号１００３とレーザ受光信号１０１３との対比から明らかなように、路面標示の有無によって、レーザ受光信号の強度が異なる。具体的には、路面標示があった場合のレーザ受光信号１００３の方が、路面標示がなかった場合のレーザ受光信号１０１３よりも強度が高い。

ステップＳ９０３からＳ９０５では、レーザ信号処理部１２２が、路面標示の有無を判定する処理を行う。まず、ステップＳ９０３では、レーザ信号処理部１２２が、ステップＳ９０２において生成されたレーザ受光信号が所定の閾値以上であるか否かを判定する。具体的には、レーザ受光信号１００３、１０１３を所定の閾値が設定されているコンパレータに入力する。

ステップＳ９０３において、所定の閾値（コンパレータ閾値）以上であると判定した場合には（コンパレータに入力することで、受光時間信号１００４が出力された場合には）、ステップＳ９０４に進む。ステップＳ９０４では、レーザ信号処理部１２２が、レーザ光の路面上の照射範囲に路面標示が存在すると判定する。

一方、ステップＳ９０３において、所定の閾値（コンパレータ閾値）未満であると判定した場合には（コンパレータに入力することで、受光時間信号が出力されなかった場合には（図１０（ｂ）の受光時間信号１０１４参照））、ステップＳ９０５に進む。ステップＳ９０５では、レーザ信号処理部１２２が、レーザ光の路面上の照射範囲に路面標示が存在していないと判定する。

ステップＳ９０６では、レーザ信号処理部１２２が、判定結果（受光時間信号１００４または１０１４）を画像処理部１３０に出力する。

＜８．画像処理部によるステレオ画像処理＞
次に、画像処理部１３０によるステレオ画像処理（ステップＳ８０３）の詳細な流れについて図１１及び図１２を参照しながら説明する。図１１は、画像処理部１３０によるステレオ画像処理（ステップＳ８０３）の詳細な流れを示すフローチャートである。また、図１２は、所定の画素について視差を演算するために、１対の撮影画像のうちの一方の撮影画像（参照画像）を、他方の撮影画像（基準画像）に対して１画素ずつシフトさせながら、各シフト位置において算出した類似度の変化の一例を示した図である。なお、図１２に示す縦軸は、類似度が高いほど小さい値となり、類似度が低いほど大きい値になるように規格化されているものとする。

図１１において、ステップＳ１１０１では、画像補正部３１１が、撮影された１フレーム分の撮影画像を、単眼カメラ部１１１、１１２それぞれより取得する。

ステップＳ１１０２では、ステップＳ１１０１において取得された１フレーム分の撮影画像（１対の撮影画像）について、画像補正部３１１が、ガンマ補正や歪み補正等の補正処理を行う。

ステップＳ１１０３では、視差画像生成部３１２が、参照画像に含まれる画素のうち、視差演算を行う対象となる注目画素を設定する。

ステップＳ１１０４では、注目画素が、参照画像内におけるレーザ光の路面上の照射範囲に対応する画素（照射範囲画像７０１を構成する画素）近傍の画素であるか否かを、視差画像生成部３１２が判定する。更に、当該レーザ光の路面上の照射範囲に路面標示が存在していると判定されたか否かを、レーザ信号処理部１２２より出力された判定結果（受光時間信号）に基づいて視差画像生成部３１２が判定する。

具体的には、参照画像内における照射範囲画像７０１を構成する各画素の座標は、既知であるため、ステップＳ１１０４では、当該座標に基づいてステップＳ１１０３において設定された注目画素が、当該既知の画素近傍の画素であるか否かを判定する。

また、ステップＳ１１０１において取得された撮影画像が撮影された際に、レーザ信号処理部１２２より受光時間信号１００４が送信されていたか、受光時間信号１０１４が送信されていたか否かを判定する。

注目画素が、参照画像内における照射範囲画像近傍の画素であると判定され、かつ、当該レーザ光の路面上の照射範囲に路面標示が存在していたと判定された場合には、ステップＳ１１０５に進む。

ステップＳ１１０５では、視差画像生成部３１２が、視差探索範囲を狭く設定する。図１２（ａ）の視差探索範囲１２００は、ステップＳ１１０５において設定された視差探索範囲の一例を示している。

このように、路面標示が存在している場合においては、複数の極小点が存在するため（複数の視差候補が存在するため）、従来は、抽出されるべき視差候補（図１２（ａ）の視差候補１）とは異なる視差候補（図１２（ａ）の視差候補２）が抽出される可能性があった。これに対して、本実施形態では、路面標示が存在していると判定した場合に、視差探索範囲を狭く設定する。この結果、抽出されるべき視差候補（図１２（ａ）の視差候補１）とは異なる視差候補（図１２（ａ）の視差候補２）が抽出されることを回避することが可能となる。

なお、ステップＳ１１０４において、注目画素が、参照画像内における照射範囲画像７０１近傍の画素ではないと判定された場合、または、当該レーザ光の路面上の照射範囲に路面標示が存在していないと判定された場合には、ステップＳ１１０６に進む。

ステップＳ１１０６では、画像処理部１３０がデフォルトの視差探索範囲１２１０（ステップＳ１１０５において設定された視差探索範囲１２００よりも広い視差探索範囲）を設定する。

路面標示が存在していない位置においては、複数の極小点が発生することもない（複数の視差候補が存在することもない）。このため、図１２（ｂ）に示すように、デフォルトの視差探索範囲１２１０を設定した場合であっても、抽出されるべき視差候補１つのみを抽出することができる。

ステップＳ１１０７では、ステップＳ１１０５またはステップＳ１１０６において設定された視差探索範囲について視差探索を行い、抽出した視差候補を視差とする。

ステップＳ１１０８では、ステップＳ１１０１において取得した１フレーム分の撮影画像内の画素すべてについて、視差探索を行ったか否かを判定する。ステップＳ１１０８において視差探索を行っていない画素があると判定された場合には、ステップＳ１１０３に戻り、次の画素を注目画素として設定し、ステップＳ１１０４からステップＳ１１０７の処理を実行する。

一方、ステップＳ１１０８において、すべての画素について視差探索を行ったと判定された場合には、ステップＳ１１０９に進み、当該撮影画像についての視差画像を出力する。

＜９．まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システム１００では、
・レーザレーダ測距部を配し、レーザレーダ測距部より出射されるレーザ光の光軸が、単眼カメラ部の光軸よりも下方にくるように設定する構成とした。

これにより、視差演算における誤差発生の原因となる路面標示を検出することが可能となる。

また、本実施形態に係る視差演算システム１００では、
・路面上に照射されたレーザ光の反射光に基づいて生成されたレーザ受光信号の強度から、路面標示が存在するか否かを判定する構成とした。
・路面標示が存在すると判定された場合に、ステレオカメラ部において撮影された撮影画像に基づく視差演算に際して、視差探索範囲を、路面標示が存在すると判定されなかった場合に用いられる視差探索範囲よりも狭く設定する構成とした。

これにより、視差演算に用いられる撮影画像に、路面上の繰り返しパターンである路面標示が含まれていた場合であっても、視差探索において、抽出されるべきでない視差候補が抽出されるといった事態を回避することが可能となる。

つまり、複数の単眼カメラ部を用いて撮影された撮影画像を用いて視差演算を行うにあたり、誤差の発生頻度を低減させることが可能となる。

［第２の実施形態］
上記第１の実施形態では、１フレームの撮影画像を撮影する間に、パルス状のレーザ光を１パルスのみ出射する構成としたが、本発明はこれに限定されない。例えば、１フレームの撮影画像を撮影する間に、パルス状のレーザ光を複数パルス出射する構成としてもよい。

パルス状のレーザ光を複数パルス出射する構成とすることで、１フレームの撮影画像内において、例えば、奥行き方向（ｚ軸方向）の異なる位置（自車両に近い位置と遠い位置と）に、複数の照射範囲を設けることが可能となる。つまり、視差探索範囲を変更する回数を増やすことが可能となる。

なお、１フレームの撮影画像を撮影する間に、パルス状のレーザ光を複数パルス出射するための構成としては、例えば、以下のような構成が考えられる。
・視差演算システムに、レーザ投受光部を複数台搭載させる。
・レーザ投受光部に、ポリゴンミラーやＭＥＭＳミラー等のレーザ光走査装置を配し、１フレーム分の撮影画像を撮影する間に車両の進行方向前後に走査させ、それぞれの走査位置において、パルス状のレーザ光を出射する。
・レーザ投受光部にビームスプリッタと、レーザ光の出射方向が異なるように調整された複数の調整レンズとを配する。そして、投光レンズ２２３で略並行なビームを生成した後、ビームスプリッタでビームを分割し、それぞれの調整レンズを介してパルス状のレーザ光を出射する。

なお、パルス状のレーザ光を複数パルス出射する構成としたことに応じて、レーザ投受光部１２１には、受光素子が複数配されるものとする。

図１３は、１フレームの撮影画像を撮影する間に、路面上の２つの照射範囲それぞれにパルス状のレーザ光（第１のレーザ光、第２のレーザ光）を照射する構成とした場合の、視差演算システム１００の設定方法を示す図である。なお、図１３（ａ）、（ｂ）に示す第１のレーザ光の出射方向の仰角、旋回角及び垂直方向、水平方向の照射範囲の広がり角は、図５に示すレーザ光と同じであるため、同じ参照番号を付すこととし、ここでは説明を省略する。また、第２のレーザ光の垂直方向、水平方向の照射範囲の広がり角及び第２のレーザ光の出射方向の旋回角は、第１のレーザ光の垂直方向、水平方向の照射範囲の広がり角及び第１のレーザ光の出射方向の旋回角と同じである。このため、ここでは説明を省略する。

図５との相違点は、レーザ投受光部１２１より出射される第２のレーザ光の出射方向の仰角と、路面上の照射範囲１３２３である。

図１３（ａ）に示すように、レーザ投受光部１２１より出射される第２のレーザ光の出射方向の仰角（ｘ軸周りの角度）は、第２のレーザ光の照射範囲１３２０が、ステレオカメラ部１１０の撮影範囲５１０内に含まれるように設定されている。更に、照射範囲１３２０の中心線１３２２が、直線５０２に対して、下側方向に角度θ_ｖＲ２となるように設定されている。なお、θ_ｖＲ２はゼロより大きく、かつ、直線５０２に対して単眼カメラ部１１１、１１２の光軸がなす角度よりも大きい値であり、かつ、θ_ｖＲ＞θ_ｖＲ２であるとする。つまり、第２のレーザ光の光軸も、単眼カメラ部１１１、１１２の光軸よりも下方を向いているものとする。

なお、図１３（ｂ）の例では、単眼カメラ部１１１、１１２の光軸と、第１及び第２のレーザ光の出射方向とが等しくなるように、第１及び第２のレーザ光の出射方向の旋回角（ｙ軸周りの角度）が設定されているが、本発明はこれに限定されない。第１及び第２のレーザ光の出射方向のいずれか一方または両方が、単眼カメラ部１１１、１１２の光軸と異なるように設定してもよい。

なお、図１３（ａ）に示すように、車両５０１の前方Ｌ_ｃ２［ｍ］の位置にある路面標示（横断歩道５３１）を検出しようとした場合、下式が成り立つ。

また、第２のレーザ光の垂直方向（ｙ軸方向）の照射範囲１３２０の広がり角Δθ_ｖＲ２は、前方の路面５３０上の照射範囲１３２３の奥行き方向（ｚ軸方向）の長さをΔＬ_２とすると下式により求めることができる。

ここで、Ｈ＝１．４［ｍ］、Ｌ_Ｃ２＝２０［ｍ］、θ_ｖＲ２＝０．０７［ｒａｄ］（４［度］）、Δθ_ｖＲ２＝０．０２８［ｒａｄ］（１．６［度］）とすると、路面上の照射範囲１３２３は奥行き方向（ｚ軸方向）の長さは４．０［ｍ］となる。つまり、ΔＬ_２＝４．０［ｍ］となる。

一方、レーザ投受光部１２１の第２のレーザ光の水平方向（ｘ軸方向）の照射範囲１３２１の広がり角Δθ_ｈＲ２を６［度］とすると、路面上の照射範囲１３２３は、水平方向に２．０［ｍ］となる。

図１４は、上記設定のもとで、レーザ投受光部１２１より第１及び第２のレーザ光が出射された場合の路面上の照射範囲５２３、１３２３を、撮影画像１４００内において照射範囲画像１４０１、１４０２として示した図である。

図１４に示すように、図１３に示す設定方法によれば、照射範囲画像１４０１、１４０２は、撮影画像１４００内において、撮影範囲５１０の中心線５１２よりも下方（仰角θ_ｖＲ２、θ_ｖＲに対応する位置）に配置されることとなる。また、撮影範囲５１１の中心線上に配置されることとなる。換言すると、単眼カメラ部１１１、１１２の光軸よりも下方が照射範囲となるようにすることで、照射範囲画像１４０１、１４０２は路面が描画された位置に配置されることとなる。

なお、第１のレーザ光と第２のレーザ光とは、互いに、照射範囲の広がり角が同じであるため、撮影画像１４００内において、照射範囲画像１４０１、１４０２は同じ大きさで描画されることとなる。

以上の説明から明らかなように、パルス状のレーザ光を複数パルス出射する構成とすることで、１フレームの撮影画像内において、例えば、奥行き方向の異なる位置（自車両に近い位置と遠い位置と）に、複数の照射範囲を設けることが可能となる。この結果、視差探索範囲を変更する回数を増やすことが可能となり、誤差の発生頻度を更に低減させることが可能となる。

［第３の実施形態］
上記第２の実施形態では、パルス状のレーザ光を複数パルス出射するにあたり、複数パルスのレーザ光間において、照射範囲の広がり角を等しく設定し、仰角の設定のみを変更する構成とした。

このため、複数パルスのレーザ光間において、路面上の照射範囲の大きさが異なる構成となっていた。しかしながら、本発明はこれに限定されず、例えば、複数パルスのレーザ光において路面上の照射範囲の大きさが等しくなるように（つまり、路面標示に応じた適度な大きさになるように）、水平方向及び垂直方向の照射範囲の広がり角を設定する構成としてもよい。

図１５は、１フレームの撮影画像を撮影する間に、第１及び第２のレーザ光を出射する構成とした場合の、本実施形態に係る視差演算システム１００を構成するステレオカメラ部１１０及びレーザ投受光部１２１の設定方法を示す図である。以下、図１５を参照しながら、本実施形態に係る視差演算システム１００におけるレーザ投受光部１２１の設定方法について説明する。

なお、図１５に示すステレオカメラ部１１０の設定方法は上記第１の実施形態と同じであるため、以下では説明を省略する。また、第１のレーザ光の出射方向の仰角、旋回角及び垂直方向、水平方向の照射範囲の広がり角も、図１３と同じであるため、以下では説明を省略する。更に、第２のレーザ光の出射方向の仰角、旋回角も図１３と同じであるため、以下では説明を省略する。

＜１．レーザ投受光部によるレーザ光の照射範囲＞
図１５（ａ）、（ｂ）に示すように、レーザ投受光部１２１の第２のレーザ光の垂直方向、水平方向の照射範囲１５２０、１５２１の広がり角Δθ_ｖＲ２、Δθ_ｖｈ２は、路面上の照射範囲１５２３の大きさが路面標示に応じた適度な大きさとなるように設定される。つまり、第２のレーザ光の路面上の照射範囲１５２３の大きさが、第１のレーザ光の路面上の照射範囲５２３の大きさと同程度となるように設定される。

具体的には、第２のレーザ光の垂直方向（ｙ軸方向）の照射範囲１３２０の広がり角Δθ_ｖＲ２は０．６［度］程度に設定されている。また、水平方向（ｘ軸方向）の照射範囲１５２１の広がり角Δθ_ｖｈ２は３［度］程度に設定されている。これにより、路面上の照射範囲１５２３は、水平方向の長さが１．０［ｍ］、垂直方向の長さが２．０［ｍ］（つまり、ΔＬ_２＝２．０［ｍ］）となる。

なお、図１６は、上記設定のもとで、レーザ投受光部１２１により第１及び第２のレーザ光が出射された場合の路面上の照射範囲５２３、１５２３を、撮影画像１６００内において照射範囲画像１６０１、１６０２として示した図である。

第１のレーザ光と第２のレーザ光とでは、互いに、垂直方向及び水平方向の照射範囲の広がり角が異なるため、図１６に示すように、撮影画像１６００内においては、異なる高さ及び幅で照射範囲画像１６０１、１６０２が描画されることとなる。

＜２．まとめ＞
以上の説明から明らかなように、本実施形態に係る視差演算システム１００では、
・ステレオカメラ部において、１フレーム分の撮影画像を撮影する間に、パルス状のレーザ光を複数パルス出射する構成とした。
・路面上の複数の照射範囲が、それぞれ路面標示に応じた適度な大きさとなるように、レーザ光の水平方向及び垂直方向の照射範囲の広がり角を設定する構成とした。

これにより、本実施形態に係る視差演算システム１００によれば、上記第１の実施形態による効果を、撮影画像内の複数箇所において享受することが可能となる。この結果、誤差の発生頻度を低減させることが可能となる。

［第４の実施形態］
上記第２及び第３の実施形態では、ステレオカメラ部において、１フレーム分の撮影画像を撮影する間に、パルス状のレーザ光を複数パルス照射する構成について説明した。その際、レーザレーダ測距部１２０における路面測定処理の詳細については言及しなかったが、例えば、それぞれの反射光に基づいて生成されたレーザ受光信号に対して、レーザレーダ測距部１２０が異なる路面測定処理を実行する構成としてもよい。

図１７は、本実施形態に係る視差演算システム１００のレーザレーダ測距部１２０内において処理される各信号の詳細を示す図である。なお、図１７（ａ）は、第１のレーザ光の路面上の照射範囲に路面標示があった場合を示しており、図１７（ｂ）は、第２のレーザ光の路面上の照射範囲に路面標示があった場合を示している。このうち、図１７（ａ）は図１０（ａ）と同じであるため、ここでは説明を省略する。

ここで、路面標示は、測定距離（レーザ光の出射位置からの距離）が異なっても反射特性はほとんど変わらない。路面標示において反射した反射光は、通常は全方位に拡散し、その拡散光の一部をレーザ投受光部１２１が受光する。このため、測定距離が大きくなるほど、レーザ投受光部１２１において受光される反射光の強度は小さくなる（図１７（ｂ）のレーザ受光信号１７０３参照）。

したがって、第２のレーザ光の反射光に基づいて、路面標示の有無を判定するためのコンパレータの閾値は、第１のレーザ光の反射光に基づいて、路面標示の有無を判定するためのコンパレータの閾値よりも、低く設定される。

図１７（ｂ）に示すコンパレータ閾値は、第２のレーザ光の反射光に基づいて、路面標示の有無を判定するためのコンパレータ閾値を示している。このように、第１のレーザ光と第２のレーザ光とで、異なるコンパレータ閾値を設定することで、路面標示がない場合のレーザ受光信号１００３'、１７０３'と路面標示がある場合のレーザ受光信号１００３、１７０３とを区別することができる。つまり、受光時間信号１００４、１７０４を検出し、路面標示の有無を判定することが可能となる。

［第５の実施形態］
上記第４の実施形態では、複数のレーザ光の反射光それぞれに基づいて、路面標示の有無を判定することができるよう、各レーザ受光信号の強度に応じた、コンパレータ閾値を設定する構成としたが、本発明はこれに限定されない。

例えば、共通のコンパレータ閾値を設定することができるように、複数のレーザ光それぞれの測定距離に応じて、複数のレーザ光それぞれの光源発光信号の強度を変更する構成としてもよい。

ここで、複数のレーザ光の光源発光強度を変更するための方法としては、以下のような方法が挙げられる。
・レーザ投受光部を複数台搭載させた場合にあっては、それぞれのレーザ投受光部の光源発光強度を独立に設定する。
・レーザ投受光部にレーザ光走査装置を配し、それぞれの走査位置においてパルス状のレーザ光を出射させる構成とした場合にあっては、それぞれの走査位置において、印加電流（光源発光信号）を変更する。
・ビームスプリッタでビームを分割する場合にあっては、光量分岐比率を制御する。

図１８は、１フレーム分の撮影画像を撮影する間に、複数のパルス状のレーザ光（第１のレーザ光、第２のレーザ光）を出射する構成とした場合に、レーザレーダ測距部１２０内において処理される各信号を説明するための図である。このうち、図１８（ａ）は、図１７（ａ）と同じであるため、ここでは説明を省略する。

図１８（ｂ）に示すように、トリガ信号１７０１に基づいて生成される第２のレーザ光の光源発光信号１８０２の強度Ｐ_２は、トリガ信号１７０１に基づいて生成される第１のレーザ光の光源発光信号１００２の強度Ｐ_１よりも大きい。これにより、第２のレーザ光が照射される路面上の照射範囲に路面標示があった場合のレーザ受光信号１８０３の強度は、第１のレーザ光が照射される路面上の照射範囲に路面標示があった場合のレーザ受光信号１００３の強度と概ね同じとなる。

この結果、レーザ受光信号１００３に基づいて路面標示の有無を判定するためのコンパレータ閾値と、レーザ受光信号１８０３に基づいて路面標示の有無を判定するためのコンパレータ閾値とを、略等しい値に設定することができる。

［第６の実施形態］
上記第２乃至第５の実施形態では、パルス状のレーザ光を複数パルス出射する構成としたことに応じて、レーザ投受光部１２１に、受光素子を複数配する構成とした。しかしながら、本発明はこれに限定されず、レーザ投受光部１２１の受光素子を共通化し、１フレーム分の撮影画像を撮影する間に出射された複数パルスのレーザ光に対する反射光を、当該共通化した受光素子で受光する構成としてもよい。

ここで、複数パルスのレーザ光に対する反射光を、共通化した受光素子で受光するように構成した場合、それぞれの反射光を区別して検出することができるよう、パルス幅を制限する必要がある。

そこで、以下では、第１のレーザ光が照射される路面上の照射範囲までの距離Ｌ_ｃ１を１０ｍとし、第２のレーザ光が照射される路面上の照射範囲までの距離Ｌ_ｃ２を２０ｍとした場合のパルス幅について検討する。

図１９は、距離Ｌ_ｃ１を１０ｍ、距離Ｌ_ｃ２を２０ｍとし、共通化した受光素子を用いて反射光を受光する場合に、レーザレーダ測距部１２０において処理される各信号を示す図である。

なお、図１９の例では、第１のレーザ光に基づくレーザ受光信号１００３の強度と、第２のレーザ光に基づくレーザ受光信号１８０３の強度とが同じになるように、第１及び第２のレーザ光の光源発光強度Ｐ_１、Ｐ_２が設定されているものとする。

ここで、レーザ光が照射される路面上の照射範囲までの往復に要した時間をレーザ受光時間と称し、第１及び第２のレーザ光がそれぞれ照射される路面上の照射範囲までの往復に要した時間をレーザ受光時間Ｔ_１、Ｔ_２と称することとする。

第１のレーザ光が照射される路面上の照射範囲までの距離（第１の測定距離）と第２のレーザ光が照射される路面上の照射範囲までの距離（第２の測定距離）との差が１０ｍの場合、レーザ受光時間の差（Ｔ_２−Ｔ_１）は、約６７ｎｓｅｃとなる。したがって、レーザ受光信号１００３とレーザ受光信号１８０３とが区別して検出できるようにするためには、パルス幅ｔ_ｐをレーザ受光時間の差（Ｔ_２−Ｔ_１）以下（例えば、４０ｎｓｅｃ程度以下）にすることが望ましい。

このように、複数のパルス状のレーザ光に対する反射光を、共通化した受光素子で受光する構成とするにあたっては、レーザ受光時間の差に応じて、パルス幅を設定することで、それぞれの反射光を区別して検出することができるようになる。

［第７の実施形態］
上記第１乃至第６の実施形態では、レーザ受光信号の強度が所定の閾値以上であるか否かに応じて、路面標示の有無を判定する構成とした。しかしながら、所定の閾値以上の強度を有するレーザ受光信号に基づいて検出された受光時間信号の全てが、路面標示に起因して検出されたものであるとは限られない。

一方で、レーザ投受光部１２１より出射されたパルス状のレーザ光は、光路上に障害物がない場合には路面５３０に到達し、路面５３０において反射する。したがって、路面標示に起因して検出された受光時間信号のレーザ受光時間は、測定距離に基づいて予め算出されうる。つまり、予め算出されたレーザ受光時間（ここでは、Ｔ_ｒｅｆとする）を参照することにより、受光時間信号が路面標示に起因して検出されたものであるか否かを判定することができる。

例えば、測定距離に基づいて予め算出されたレーザ受光時間Ｔ_ｒｅｆとは異なるタイミングで、受光時間信号が検出されたとする。この場合、当該受光時間信号は、路面５３０からの反射光を受光したことにより生成された受光時間信号ではないと判定することができる。

換言すると、レーザ信号処理部１２２では、受光時間信号を検出した場合、レーザ受光時間（ここでは、Ｔとする）が、測定距離に応じて算出されるレーザ受光時間Ｔ_ｒｅｆと略等しいか否かを判定する。そして、略等しいと判定した場合に、当該受光時間信号は、路面標示において反射されたことに伴って生成された受光時間信号であると判定する。一方、受光時間信号を検出した場合でも、レーザ受光時間Ｔが、測定距離に応じて算出されるレーザ受光時間Ｔ_ｒｅｆと大きく異なっていた場合、路面標示において反射されたことに伴って生成された受光時間信号ではないと判定する。

以下、本実施形態に係る視差演算システム１００を構成するレーザレーダ測距部１２０における、路面標示の有無を判定する処理（図９のＳ９０３からＳ９０５に対応する処理）の流れについて、図２１を参照しながら、図２０のフローチャートに従って説明する。

図２０は、レーザレーダ測距部１２０のレーザ信号処理部１２２による路面標示の有無を判定する処理の流れを示すフローチャートである。図２１は、レーザレーダ測距部１２０内において処理される各信号の詳細を示す図である。

図２０において、ステップＳ２００１では、レーザ信号処理部１２２が、レーザ受光信号の強度が閾値以上で、受光時間信号２１０４が検出されたか否かを判定する。ステップＳ２００１において、受光時間信号２１０４が検出されたと判定した場合には、ステップＳ２００２に進む。

ステップＳ２００２では、ステップＳ２００１において検出された受光時間信号２１０４のレーザ受光時間Ｔが、所定の時間範囲２１１０（時間Ｔ_Ａと時間Ｔ_Ｂの間）にあるか否かをレーザ信号処理部１２２が判定する。ステップＳ２００２において、受光時間信号２１０４のレーザ受光時間Ｔが、所定の時間範囲（時間Ｔ_Ａと時間Ｔ_Ｂとの間）にあると判定された場合には、ステップＳ２００３に進み、路面標示であると判定する。

一方、ステップＳ２００２において、受光時間信号２１０４のレーザ受光時間Ｔが、所定の時間範囲２１１０（時間Ｔ_Ａと時間Ｔ_Ｂとの間）にないと判定された場合には、路面標示ではないと判定する。図２１の例では、受光時間信号２１０４が、所定の時間範囲２１１０（時間Ｔ_Ａと時間Ｔ_Ｂとの間）にないため、路面標示に起因して生成された受光時間信号ではないと判定する。

以上の説明から明らかなように、本実施形態によれば、コンパレータ閾値以上のレーザ受光信号が、路面標示以外の要因により生成されることで受光時間信号が検出された場合であっても、路面標示に起因して検出された受光時間信号と区別することが可能となる。

これにより、路面標示の有無を誤って判定するといった事態を回避することが可能となる。

［第８の実施形態］
上記第７の実施形態では、受光時間信号のレーザ受光時間Ｔに基づいて、路面標示か否かを区別する構成としたが、本発明はこれに限定されない。例えば、レーザ受光信号の強度範囲に基づいて、路面標示か否かを区別する構成としてもよい。

以下、本実施形態に係る視差演算システム１００におけるレーザ信号処理部１２２による路面標示の有無を判定する処理の流れについて、図２３を参照しながら、図２２のフローチャートにしたがって説明する。

図２２は、レーザ信号処理部１２２による路面標示の有無を判定する処理の流れを示すフローチャートである。図２３は、レーザレーダ測距部１２０内において処理される各信号の詳細を示す図である。

図２２において、ステップＳ２２０１では、レーザ信号処理部１２２が、レーザ受光信号の強度が閾値Ｐ_Ａ以上で、受光時間信号２３０４が検出されたか否かを判定する。ステップＳ２２０１において、受光時間信号２３０４が検出されたと判定した場合には、ステップＳ２２０２に進む。

ステップＳ２２０２では、受光時間信号２３０４に対応するレーザ受光信号２３０３の強度が、閾値Ｐ_Ｂ以下であるか否かをレーザ信号処理部１２２が判定する（つまり、所定の強度範囲２３１０の範囲内にあるか否かを判定する）。ステップＳ２２０２において、受光時間信号２３０４に対応するレーザ受光信号２３０３の強度が、閾値Ｐ_Ｂ以下であると判定された場合（つまり、所定の強度範囲２３１０の範囲内にある場合）には、ステップＳ２２０３に進み、路面標示であると判定する。

一方、ステップＳ２２０２において、受光時間信号２３０４に対応するレーザ受光信号の強度が、閾値Ｐ_Ｂ以下ではないと判定された場合には、路面標示ではないと判定する。図２３の例では、レーザ受光信号２３０３の強度が、閾値Ｐ_Ｂ以下ではないため、路面標示に起因して生成された受光時間信号ではないと判定する。

以上の説明から明らかなように、本実施形態によれば、コンパレータ閾値以上のレーザ受光信号が、路面標示以外の要因により生成されることで受光時間信号が検出された場合であっても、路面標示に起因して送信された受光時間信号と区別することが可能となる。

これにより、路面標示の有無を誤って判定することを回避することが可能となる。

なお、上記説明では、レーザ受光信号の強度範囲のみを用いて、路面標示か否かを区別する構成としたが、上記第７の実施形態と組み合わせて構成してもよい。つまり、受光時間信号が所定の時間範囲にあり、かつ、レーザ受光信号の強度が所定の強度範囲にある場合に、路面標示と判定する構成としてもよい。

［その他の実施形態］
上記各実施形態では、路面標示があると判定された場合に、照射範囲画像近傍の画素について、視差探索範囲を変更する構成としたが本発明はこれに限定されない。例えば、撮影画像内において、照射範囲画像と離れた位置にある画素であって、照射範囲画像と同じ高さ位置にある画素について、視差探索範囲を変更する構成としてもよい。

上記各実施形態では、レーザレーダ測距部１２０によりレーザ光を出射した場合の反射光に基づいて、受光結果（判定結果）としての受光時間信号を出力する構成としたが本発明はこれに限定されない。レーザレーダ測距部以外の電磁波測距部により電磁波を照射した場合の反射波に基づいて、受信結果（判定結果）としての受信時間信号を出力する構成としてもよい。

この場合、レーザ光源２２２の代わりに電磁波を出射する電磁波出射部が配され、受光素子２２５の代わりに電磁波の反射波を受信する反射波受信部が設けられることとなる。

また、上記各実施形態では、画像処理部１３０より視差画像を出力する構成としたが、本発明はこれに限定されない。例えば、生成された視差画像に基づいてオブジェクト（測距対象）までの距離を算出し、距離情報を出力する構成としてもよい。この場合、画像処理部１３０は第一の距離情報取得部として機能し、レーザ信号処理部１２２は第二の距離情報取得部として機能する。また、視差演算システム１００は、距離測定装置として機能する。

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせなど、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

１００ ：視差演算システム
１１０ ：ステレオカメラ部
１１１、１１２ ：単眼カメラ部
１２０ ：レーザレーダ測距部
１２１ ：レーザ投受光部
１２２ ：レーザ信号処理部
１３０ ：画像処理部
３１０ ：ステレオ画像処理部
３１１ ：画像補正部
３１２ ：視差画像生成部
４１０ ：路面測定部
４１１ ：発光制御部
４１２ ：時間計測部
４１３ ：路面判定部

特開２０００−３２９８５２号公報

Claims (18)

1. 複数の撮像部と、
   前記複数の撮像部により撮影された撮影画像から測距対象の距離情報を取得する第一の距離情報取得部と、
   前記複数の撮像部の光軸よりも下方に照射されるように電磁波を出射する電磁波出射部と、
   前記電磁波出射部から出射された電磁波の反射波を受信する反射波受信部と、
   前記反射波受信部で受信された反射波から、前記測距対象の距離情報を取得する第二の距離情報取得部と、
   前記反射波受信部で受信された反射波に基づいて、前記電磁波が照射された位置における路面標示の有無を判定する判定部と、を有し、
   前記第一の距離情報取得部は、前記判定部による判定結果に応じた視差演算を行うことで、前記距離情報を取得することを特徴とする距離測定装置。
2. 前記視差演算に際して視差探索を行うにあたり、視差探索範囲を前記判定部による判定結果に応じて変更することを特徴とする請求項１に記載の距離測定装置。
3. 前記判定部により路面標示があると判定された場合、前記判定部により路面標示がないと判定された場合よりも前記視差探索範囲を狭く設定することを特徴とする請求項２に記載の距離測定装置。
4. 前記複数の撮像部が、１フレームの撮影画像を撮影する間に、前記電磁波出射部は複数の測距対象に電磁波を照射し、前記反射波受信部は、反射波を受信することを特徴とする請求項１乃至３のいずれか１項に記載の距離測定装置。
5. 前記電磁波出射部は、
   互いに異なる距離にある前記複数の測距対象それぞれに前記電磁波を照射した際の照射範囲が、略等しい大きさになるように設定されていることを特徴とする請求項４に記載の距離測定装置。
6. 前記電磁波出射部は、
   前記複数の測距対象それぞれから受信した反射波の強度が、略等しい大きさになるように設定されていることを特徴とする請求項５に記載の距離測定装置。
7. 前記電磁波出射部は、
   前記複数の測距対象それぞれまでの距離の差に応じて、前記複数の測距対象に照射されるパルス状の電磁波のパルス幅が設定されていることを特徴とする請求項４乃至６のいずれか１項に記載の距離測定装置。
8. 前記判定部は、
   前記反射波受信部により受信された反射波の強度に基づいて、前記路面標示の有無を判定することを特徴とする請求項１に記載の距離測定装置。
9. 前記判定部は、
   前記反射波受信部により受信された反射波の強度が、所定の閾値以上であると判定されたタイミングが、所定の時間範囲に含まれているか否かに基づいて、前記路面標示の有無を判定することを特徴とする請求項１に記載の距離測定装置。
10. 複数の撮像部により撮影される撮影画像に基づいて視差演算を行う視差演算システムであって、
    前記複数の撮像部の撮影方向に位置する路面のうち、撮影により前記撮影画像内において路面画像として描画される領域を、照射対象として電磁波を照射し、反射波を受信する測定手段と、
    前記測定手段における受信結果に基づいて、前記照射対象における路面標示の有無を判定する判定手段と、を有し、
    前記判定手段による判定結果に応じた前記視差演算を行うことを特徴とする視差演算システム。
11. 前記視差演算に際して視差探索を行うにあたり、視差探索範囲を前記判定手段による判定結果に応じて変更することを特徴とする請求項１０に記載の視差演算システム。
12. 前記判定手段により路面標示があると判定された場合、前記判定手段により路面標示がないと判定された場合よりも前記視差探索範囲を狭く設定することを特徴とする請求項１１に記載の視差演算システム。
13. 前記測定手段は、
    前記複数の撮像部が、１フレームの撮影画像を撮影する間に、複数の照射対象に電磁波を照射し、反射波を受信することを特徴とする請求項１０乃至１２のいずれか１項に記載の視差演算システム。
14. 前記測定手段は、
    互いに異なる距離にある前記複数の照射対象それぞれに前記電磁波を照射した際の照射範囲が、略等しい大きさになるように設定されていることを特徴とする請求項１３に記載の視差演算システム。
15. 前記測定手段は、
    前記複数の照射対象それぞれから受信した反射波の強度が、略等しい大きさになるように設定されていることを特徴とする請求項１４に記載の視差演算システム。
16. 前記測定手段は、
    前記複数の照射対象それぞれまでの距離の差に応じて、前記複数の照射対象に照射されるパルス状の電磁波のパルス幅が設定されていることを特徴とする請求項１３乃至１５のいずれか１項に記載の視差演算システム。
17. 前記判定手段は、
    前記測定手段により受信された反射波の強度に基づいて、前記路面標示の有無を判定することを特徴とする請求項１０乃至１６のいずれか１項に記載の視差演算システム。
18. 前記判定手段は、
    前記測定手段により受信された反射波の強度が、所定の閾値以上であると判定されたタイミングが、所定の時間範囲に含まれているか否かに基づいて、前記路面標示の有無を判定することを特徴とする請求項１０乃至１７のいずれか１項に記載の視差演算システム。