JP2023108510A - 交通標識認識装置及び交通標識認識方法 - Google Patents

Abstract

【課題】カメラで検出された交通標識候補に対する認識の精度を高める。【解決手段】移動体のカメラ画像と、三次元点群データとが格納される記憶装置と、プロセッサと、を備え、プロセッサが、カメラ画像に交通標識候補の画像が含まれる場合、カメラ画像に基づいて、交通標識候補の移動体に対する相対位置を推定し、三次元点群データのうち、移動体に対する相対位置が交通標識候補のそれと等しい三次元点群データの集合を特定し、集合が特定された領域を示す集合領域に対応し、且つ交通標識候補を含む物体の画像領域をカメラ画像内で特定し、物体の画像領域のサイズと、物体の画像を構成する色成分と、に基づいて、物体の画像を構成する色成分のうち、案内標識を構成する所定の色成分が占める割合を計算し、所定の色成分が占める割合が閾値以上である場合、交通標識候補を含む物体が案内標識であると認識する。【選択図】図２

Description

本開示は、交通標識の認識を行うシステム及び方法に関する。

特許文献１には、逆走を防ぐための運転車への注意喚起を行うことのできるドライブレコーダが開示されている。この技術では、車両の進行方向が進行すべき方向と逆方向であるか否かを判定し、逆方向であると判定された場合はドライバに対して警報を行う。

特開２０１８－１９５１１７号公報

ところで、交通標識には、道路標識に表示された交通標識、あるいは案内標識に表示された交通標識が存在する。さらに、交通標識には、交通規制標識（車両進入禁止、一時停止等）、交通指示標識（方向指示等）、等が含まれる。交通標識が「道路標識」に表示されている車両進入禁止を示す交通規制標識の場合であって、カメラで検出された交通標識候補の認識によりこれが交通規制標識であると判定されたときは、交通標識候補が正しく認識されていると言える。

しかしながら、交通標識が「案内標識」に表示されている車両進入禁止を示す交通規制標識の場合であって、カメラで検出された交通標識候補の認識によりこれが交通規制標識であると判定されたときは、交通標識候補に対する認識が必ずしも正しとは言えない。

本開示の１つの目的は、カメラで検出された交通標識候補に対する認識の精度を高めることのできる技術を提供することにある。

第１の観点は、移動体のカメラ画像と、三次元点群データとが格納される記憶装置と、プロセッサと、を備える交通標識認識装置に関連する。
プロセッサが、カメラ画像に交通標識候補の画像が含まれる場合、カメラ画像に基づいて、交通標識候補の移動体に対する相対位置を推定する。
プロセッサが、三次元点群データのうち、移動体に対する相対位置が交通標識候補のそれと等しい三次元点群データの集合を特定する。
プロセッサが、集合が特定された領域を示す集合領域に対応し、且つ交通標識候補を含む物体の画像領域をカメラ画像内で特定する。
プロセッサが、物体の画像領域のサイズと、物体の画像を構成する色成分と、に基づいて、物体の画像を構成する色成分のうち、案内標識を構成する所定の色成分が占める割合を計算する。
プロセッサが、所定の色成分が占める割合が閾値以上である場合、交通標識候補を含む物体が案内標識であると認識する。

第２の観点は、第１の観点に加えて、次の特徴を更に有する。
記憶装置は、さらに、カメラの分解能の情報及びカメラの搭載高さの情報を含むカメラの諸元の情報と、交通標識候補の規定サイズの情報と、を含む。
相対位置は、交通標識候補の移動体に対する相対距離と、交通標識候補の移動体に対する相対高さにカメラの搭載高さを加えた交通標識候補の高さと、を含む。
カメラ画像の情報は、複数のカメラで取得された複数のカメラ画像の情報を含む。
プロセッサが、カメラの分解能と、交通標識候補の画像を構成する横方向の画素数と、規定サイズと、を用いて所定の計算式で計算を行うことで相対距離を推定する。
プロセッサが、相対距離と、カメラの分解能と、交通標識候補の画像を構成する縦方向の画素数と、を用いて所定の計算式で計算を行うことで相対高さを推定する。

第３の観点は、第１又は第２の観点に加えて、次の特徴を更に有する。
記憶装置は、さらに、カメラの分解能の情報及びカメラの搭載高さの情報を含むカメラの諸元の情報を含む。
相対位置は、交通標識候補の移動体に対する相対距離と、交通標識候補の移動体に対する相対高さにカメラの搭載高さを加えた交通標識候補の高さと、を含む。
カメラ画像は、配置の異なる複数のカメラで取得された複数のカメラ画像を含む。
プロセッサが、複数のカメラ画像に交通標識候補の画像が含まれる場合、交通標識候補の画像から三角測量の原理に基づいて、相対距離を推定する。
プロセッサが、相対距離と、カメラの分解能と、交通標識候補の画像を構成する縦方向の画素数と、を用いて所定の計算式で計算を行うことで相対高さを推定する。

第４の観点は、第１の観点乃至第３の観点のいずれか一つの観点に加えて、次の特徴を更に有する。
集合領域は、集合のうち、所定の条件を満たす集合に基づいて算出される横幅及び縦幅において、少なくとも横幅が所定の大きさ以上である。

第５の観点は、第４の観点に加えて、次の特徴を更に有する。
所定の条件は、集合に含まれる三次元点群データ間の距離が所定の距離未満であり、且つ集合に含まれる三次元点群データが密集している度合いを示す点群密度が所定の密度以上であることを含む。

第６の観点は、第１の観点乃至第５の観点のいずれか一つの観点に加えて、次の特徴を更に有する。
物体の画像を構成する色成分は、赤系画素の画素値を積算した積算値、緑系画素の画素値を積算した積算値、及び青系画素の画素値を積算した積算値により表される。
所定の色成分は、緑系画素の画素値を積算した積算値、及び青系画素の画素値を積算した積算値の少なくとも一方であることを含む。

第７の観点は、第１の観点乃至第６の観点のいずれか一つの観点に加えて、次の特徴を更に有する。
交通標識候補は、少なくとも交通規制標識候補を含む。

第８の観点は、交通標識認識方法に関連する。
交通標識認識方法は、
移動体のカメラ画像と、三次元点群データを取得するステップと、
カメラ画像に交通標識候補の画像が含まれる場合、カメラ画像に基づいて、交通標識候補の移動体に対する相対位置を推定するステップと、
三次元点群データのうち、移動体に対する相対位置が交通標識候補のそれと等しい三次元点群データの集合を特定するステップと、
集合が特定された集合領域に対応し、且つ交通標識候補を含む物体の画像領域をカメラ画像内で特定するステップと、
物体の画像領域のサイズと、物体の画像を構成する色成分と、に基づいて、物体の画像を構成する色成分のうち、案内標識を構成する所定の色成分が占める割合を計算するステップと、
所定の色成分が占める割合が閾値以上である場合、交通標識候補を含む物体が案内標識であると認識するステップと、
を含む。

第１の観点によれば、カメラで検出された交通標識候補に対する認識の精度を高めることが可能となる。

第２の観点によれば、交通標識候補の移動体に対する相対位置を推定することが可能となる。

第３の観点によれば、交通標識候補の規定サイズの情報を使用せずに、交通標識候補の移動体に対する相対位置を推定することが可能となる。

第４の観点によれば、集合領域の特定の精度を高めることが可能となる。

第５の観点によれば、集合領域の特定の精度を更に高めることが可能となる。

第６の観点によれば、交通標識候補を含む物体が案内標識であるか否かの認識を行うことが可能となる。

第７の観点によれば、交通標識候補が交通規制標識候補の場合においても適用することが可能となる。

第８の観点によれば、第１の観点と同じ効果が得られる。

実施の形態に係る交通標識認識装置の構成例を示すブロック図である。 実施の形態に係る交通標識認識装置の機能例を示すブロック図である。 交通標識認識装置における交通標識認識処理部の処理結果例を示す図である。 交通標識認識処理部の相対位置推定部の処理例を示す図である。 交通標識認識処理部の色成分割合判定部の処理例を示す図である。 交通標識認識処理部の処理例を示すフローチャートである。 交通標識認識処理部の集合領域特定部の機能例を示すブロック図である。 集合領域特定部の第１集合特定部の処理結果例を示す図である。 集合領域特定部の第２集合特定部の処理例を示す図である。 集合領域特定部の集合領域決定部の処理結果例を示す図である。 集合領域特定部の処理例を示すフローチャートである。

添付図面を参照して、本開示の実施の形態に係る交通標識認識装置及び交通標識認識方法ついて説明する。なお、実施形態に係る交通標識認識方法は、実施形態に係る交通標識認識装置のコンピュータ処理により実現される。

実施の形態
１．概要
本実施の形態に係る交通標識認識装置は、移動体に搭載され、交通標識候補の認識を行うためのものである。図１に、本実施の形態に係る交通標識認識装置１０の構成例を示す。交通標識認識装置１０は、各種情報処理を行う。交通標識認識装置１０は、１又は複数のプロセッサ１００（以下、単にプロセッサ１００と呼ぶ）と、１又は複数の記憶装置１１０（以下、単に記憶装置１１０）と、を含んでいる。プロセッサ１００は、各種処理を実行する。例えば、プロセッサ１００は、ＣＰＵ、ＥＣＵ、等が挙げられる。記憶装置１１０は、カメラ画像の情報１２０のデータ、三次元点群の情報１３０のデータ、カメラの諸元の情報１４０のデータ、及び交通標識候補の規定サイズの情報１５０のデータを格納する。記憶装置１１０としては、揮発性メモリ、不揮発性メモリ、ＨＤＤ、ＳＳＤ、等が例示される。プロセッサ１００がコンピュータプログラムである交通標識認識プログラムを実行することによって、情報処理装置２０の機能が実現される。交通標識認識プログラムは、記憶装置１１０に格納される。交通標識認識プログラムは、コンピュータが読み取り可能な記憶媒体に記録されてもよい。交通標識認識プログラムは、ネットワーク経由で提供されてもよい。

カメラ画像の情報１２０には、移動体に搭載されたカメラで交通標識候補を撮像した画像の情報が含まれる。三次元点群の情報１３０には、移動体に搭載された三次元計測センサを用いて、移動体の周囲で反射したレーザパルスの反射光のデータに基づいて生成される三次元座標（横方向の座標、縦方向の座標、及び奥行方向の座標）を示す点群の情報が含まれる。三次元計測センサとしては、ＬＩＤＡＲ（Laser Imaging Detection and Ranging）、等が例示される。カメラの諸元の情報１４０のデータには、カメラ画像における単位画素あたりの瞬時視野角を示す分解能、及びカメラの搭載高さの情報が含まれる。交通標識候補の規定サイズの情報１５０のデータには、案内標識に表示される交通標識候補の規定サイズの情報が含まれる。

カメラ画像の情報１２０に含まれる交通標識候補としては、道路標識に表示されている交通標識候補、案内標識に表示されている交通標識候補、等が挙げられる。交通標識候補の種類としては、交通規制標識（車両進入禁止、一時停止等）、交通指示標識（方向指示等）、等が含まれる。

本実施の形態に係る交通標識認識装置１０では、プロセッサ１００が交通標識認識プログラムを実行することにより、カメラ画像の情報１２０に基づいて検出された交通標識候補が案内標識であるか否かを認識するための各種処理を行う。具体的には、案内標識に表示されている交通標識候補と道路標識に表示されている交通標識候補では、それぞれ特徴に違いがあり、その特徴の違いを利用して各種処理を行うことで、交通標識候補に対する認識の精度を高めることが期待できる。特徴の違いとしては、高さが異なる点（案内標識は道路標識と比べて高い位置に設置されている）と、交通標識候補を含む物体の領域が異なる点（案内標識は交通標識候補の物体とそれ以外の物体を含む複数の物体で構成される領域であるのに対し、道路標識は交通標識候補の物体のしか含まれない単体の物体で構成される領域である）と、物体の領域の色成分が占める割合が異なる点（案内標識の色成分は交通標識候補の物体よりも領域が大きいそれ以外の物体で構成される色成分が占める割合が多いのに対し、道路標識の色成分は交通標識候補の物体で構成される色成分が占める割合が多い）と、が挙げられる。

以下、本実施の形態に係る交通標識認識装置１０について更に詳しく説明する。

２．情報処理の詳細
交通標識認識装置１０は、カメラ画像の情報１２０、三次元点群の情報１３０、カメラの諸元の情報１４０、及び交通標識候補の規定サイズの情報１５０に基づいて、交通標識候補を含む物体が案内標識であるか否かを認識する。本実施の形態に係る交通標識認識装置１０は、以下に説明されるような特徴的な処理を含む。

図２は、本実施の形態に係る交通標識認識装置１０の機能例を示すブロック図である。交通標識認識装置１０は、機能ブロックとして、情報入力部２００、交通標識認識処理部３００及び処理結果出力部４００を備えている。これらの機能ブロックは、プロセッサ１００が交通標識認識プログラムを実行することによって実現される。

情報入力部２００は、記憶装置１１０に記録されているカメラ画像の情報１２０、三次元点群の情報１３０、カメラの諸元の情報１４０、及び交通標識候補の規定サイズの情報１５０を入力する処理を行う。その後、入力されたカメラ画像の情報１２０、三次元点群の情報１３０、カメラの諸元の情報１４０、及び交通標識候補の規定サイズの情報１５０を交通標識認識処理部３００に対して出力を行う。

交通標識認識処理部３００は、さらに、交通標識候補検出部３１０、相対位置推定部３２０、集合領域特定部３３０、画像領域サイズ特定部３４０、色成分割合判定部３５０、及び交通標識候補認識部３６０を備えている。交通標識認識処理部３００は、入力されたカメラ画像の情報１２０、三次元点群の情報１３０、カメラの諸元の情報１４０、及び交通標識候補の規定サイズの情報１５０に基づいて、交通標識候補を含む物体が案内標識であるか否かを認識する。交通標識候補検出部３１０、相対位置推定部３２０、集合領域特定部３３０、画像領域サイズ特定部３４０、色成分割合判定部３５０、及び交通標識候補認識部３６０の各処理の詳細を後述する。

交通標識候補検出部３１０は、入力されたカメラ画像の情報１２０に基づいて、カメラ画像から交通標識候補を検出する処理を行う。この処理において、検出された交通標識候補が交通規制標識であるか、交通指示標識であるか、等の判別がなされる。交通標識候補が検出された場合の処理結果例は図３のように示される。図３では、検出された交通標識候補が車両進入禁止を示す交通規制標識候補であるときの例を挙げている。交通標識を検出する手法としては、テンプレートマッチング、Deep Learning、等が例示される。

相対位置推定部３２０は、交通標識候補検出部３１０の処理結果である交通標識候補と、入力されたカメラの諸元の情報１４０、及び交通標識候補の規定サイズの情報１５０と、に基づいて、交通標識候補の移動体に対する相対位置を推定する。交通標識候補の相対位置は、交通標識候補の移動体に対する相対距離の情報、及び交通標識候補の移動体に対する相対高さにカメラの諸元の情報１４０に含まれるカメラの搭載高さを加えた交通標識候補の高さの情報を含む。

交通標識候補の相対位置を推定する方法例を図４に示す。カメラの諸元の情報１４０に含まれるカメラの分解能をα、交通標識候補の画像を構成する横方向の画素数をXp、交通標識候補の規定サイズの情報１５０に含まれる交通標識候補の規定サイズをＷとしたとき、交通標識候補の移動体に対する相対距離は、以下の式（１）で表される。

上述の式（１）で表される交通標識候補の移動体に対する相対距離をZ、カメラの分解能をα、交通標識候補の画像を構成する縦方向の画素数をYp、としたとき、交通標識候補の移動体に対する相対高さの情報は、以下の式（２）で表される。

カメラの搭載高さをHcとしたとき、交通標識候補の高さの情報は、以下の式（３）で表される。

上述に示す交通標識候補の移動体に対する相対距離を推定する際に、交通標識候補の規定サイズの情報１５０を用いており、予め交通標識候補の大きさを把握していることが前提となる。仮に交通標識候補の規定サイズの情報１５０の情報を用いない場合は、移動体に複数のカメラを搭載し、複数のカメラで検出された交通標識候補の画像から三角測量の原理に基づいて、移動体に対する交通標識候補の相対距離を推定してもよい。

集合領域特定部３３０は、相対位置推定部３２０で推定された交通標識候補の相対位置と、三次元点群の情報１３０と、に基づいて、条件を満たす三次元点群データの集合の領域を示す集合領域を特定する。集合領域特定部３３０の処理については詳細を後述する。

画像領域サイズ特定部３４０は、集合領域特定部３３０で推定された集合領域に基づいて、集合領域に対応する交通標識候補を含む物体の画像領域のサイズを特定する。ここで、集合領域に含まれる三次元点群データが示す座標は、三次元計測センサの搭載位置に対する幅、高さ、距離で表される。一方、画像領域に含まれる画素が示す座標は、カメラの搭載位置に対する幅、高さで表されるのではなく、撮像素子に物体が撮像されたときのX方向の画素及びY方向の画素の位置で表される。座標の表し方は三次元点群データとカメラ画像で異なるため、三次元点群データが示す座標とカメラ画像の画素が示す座標の対応付けが必要となる。座標の対応付けを行う方法としては、例えば、対象物体の特徴を示すエッジ部分（建物の端、等）を利用して座標の対応付けを行う。具体的には、三次元点群データにおいては、エッジ部分を境にしてデータの有無が分かるので、エッジ部分の座標を把握することができる。一方、カメラ画像においては、画像処理でエッジ部分の検出を行うことができるので、エッジ部分の画像が構成するX方向及びY方向の画素の位置を示す座標を把握することができる。これにより、特定された座標同士の対応付けを行うことができ、集合領域に対応する交通標識候補を含む物体の画像領域のサイズを特定することが可能となる。ただし、対象物体付近に同じような形状をした物体が存在していると、異なる物体間で座標の対応付けが行われてしまうことが想定される。その一方で、座標の対応付けが正しくなされていれば、移動体に搭載されるカメラと三次元計測センサの配置に変更がない限り、座標の対応付けは一度行えばよいことが言える。従って、カメラと三次元計測センサを移動体に搭載した後に実施するキャリブレーションの一環として座標の対応付けを行ってもよい。

色成分割合判定部３５０は、画像領域サイズ特定部３４０で特定された物体の画像領域のサイズと、物体の画像領域を構成する色成分とに基づいて、物体の画像を構成する色成分のうち、案内標識を構成する所定の色成分が占める割合の閾値判定を行う。具体的には、画像領域は複数の画素で構成されており、単位画素が構成する色成分は赤系画素Ｒの画素値、緑系画素Ｇの画素値、及び青系画素Ｂの画素値で示される。つまり、画像領域の複数画素が構成する色成分は、複数画素の赤系画素Ｒの画素値を積算した積算値、複数画素の緑系画素Ｇの画素値を積算した積算値、及び複数画素の青系画素Ｂの画素値を積算した積算値で示されることとなる。案内標識を構成する色成分は緑色、青色、又は両方の色を多く含む。このため、物体の画像を構成する色成分のうち、案内標識を構成する所定の色成分である緑系画素Ｇの画素値を積算した積算値、及び青系画素Ｂの画素値を積算した積算値が占める割合を計算し、緑系画素Ｇの画素値を積算した積算値、及び青系画素Ｂの画素値を積算した積算値の少なくとも一方が占める割合が閾値以上であるか否かの閾値判定を行う。閾値判定の具体例については図５のように示される。なお、色成分はＲＧＢ色空間ではなく、ＲＧＢ色空間をＨＳＶ（色相（Ｈｕｅ）、彩度（Ｓａｔｕｌａｔｉｏｎ）、明度（Ｖａｌｕｅ））色空間に変換したＨＳＶ色空間を用いてもよい。

交通標識候補認識部３６０は、色成分割合判定部３５０の結果において、案内標識を構成する所定の色成分である緑系画素Ｇの画素値を積算した積算値、又は青系画素Ｂの画素値を積算した積算値の一方が占める割合が閾値以上であると判定された場合、交通標識候補を含む物体が案内標識であると認識する。当該割合が閾値以上でないと判定された場合、交通標識候補を含む物体が案内標識でないと認識する。

処理結果出力部４００は、交通標識認識処理部３００における交通標識候補を含む物体が案内標識であるか否かの認識結果を交通標識認識処理部３００と異なる処理部等に出力する処理を行う。

図６は、本実施の形態に係る交通標識認識装置１０の交通標識認識処理部３００の処理例を示すフローチャートである。

ステップＳ１００において、交通標識認識処理部３００は、入力されたカメラ画像の情報１２０に基づいて、交通標識候補を検出する。その後、処理はステップＳ１１０に進む。

ステップＳ１１０において、交通標識認識処理部３００は、交通標識候補の相対位置を推定する。その後、処理はステップＳ１１０に進む。

ステップＳ１２０において、交通標識認識処理部３００は、交通標識候補の相対位置に対応する三次元点群データの集合の領域を示す集合領域を特定する。その後、処理はステップＳ１３０に進む。

ステップＳ１３０において、交通標識認識処理部３００は、集合領域に対応する物体の画像領域のサイズを特定する。その後、処理はステップＳ１４０に進む。

ステップＳ１４０において、交通標識認識処理部３００は、物体の画像領域に基づいて、物体の画像を構成する色成分のうち、案内標識を構成する所定の色成分の割合が閾値以上であるか否かを判定する。

案内標識を構成する所定の色成分の割合が閾値以上であると判定された場合（ステップＳ１４０；Ｙｅｓ）、処理はステップＳ１５０に進む。それ以外の場合（ステップＳ１４０；Ｎｏ）、処理はステップＳ１６０に進む。

ステップＳ１５０において、交通標識認識処理部３００は、交通標識候補を含む物体が案内標識であると認識する。

ステップＳ１６０において、交通標識認識処理部３００は、交通標識候補を含む物体が案内標識でないと認識する。

ステップＳ１７０において、交通標識認識処理部３００は、認識結果を出力する。

図７は、本実施の形態に係る交通標識認識処理部３００の集合領域特定部３３０の機能例を示すブロック図である。上述の集合領域特定部３３０では、相対位置推定部３２０で推定された交通標識候補の相対位置と、三次元点群の情報１３０と、に基づいて、条件を満たす三次元点群データの集合の領域を示す集合領域を特定することを述べた。ここでは、集合領域特定部３３０の処理の細部について述べる。集合領域特定部３３０の具体的な処理としては、第１集合特定部３３１、第２集合特定部３３２、及び集合領域決定部３３３を備えている。各処理部の詳細を後述する。

第１集合特定部３３１は、三次元点群の情報１３０のデータのうち、相対位置推定部３２０により推定された交通標識候補の移動体に対する相対位置と等しい三次元点群データの集合（以下、第１集合と称す）を特定する処理を行う。具体的には、相対位置推定部３２０により推定された相対位置に含まれる相対距離と、三次元点群データに含まれる距離との差が第１範囲内であり、且つ当該相対位置に含まれる高さと、三次元点群データに含まれる高さとの差が第２範囲内であることを満たす三次元点群データの集合が第１集合であると特定される。第１及び第２範囲は、例えば、カメラ画像に基づいた測定誤差と、三次元点群データに基づいた測定誤差とを考慮し、同じ位置に存在すると認めることのできる範囲として事前に設定されている。第１集合の取得前後における結果例は図８のように示される。

第２集合特定部３３２は、第１集合特定部３３１で特定された第１集合のうち、所定の条件を満たす集合（以下、第２集合と称す）を特定する処理を行う。所定の条件は、三次元点群データ間の距離が所定の距離未満、且つ三次元点群データが密集している度合いを示す点群密度が所定の密度以上であることを含む。

ここで、三次元点群データ間の距離と三次元点群データの点群密度との関係を図９に示す。図９では、交通標識候補の移動体に対する相対距離に応じて取得可能な三次元点群データを考慮したときの例を挙げる。具体的には、相対距離が長くなるにつれて、取得可能な三次元点群データが少なくなり、相対距離が短くなるにつれて、取得可能な三次元点群データが多くなることが言える。さらに、取得可能な三次元点群データが少ない場合は三次元点群データ間の距離は長くなり、取得可能な三次元点群データが多い場合は三次元点群データ間の距離は短くなる。これを踏まえると、相対距離が長い場合は、交通標識候補を含む物体の領域を認識するために十分な三次元点群データを確保することができないことが想定される。このため、集合領域を特定する精度が低くなる。一方、相対距離が短い場合は、取得される三次元点群データが多くなるため、交通標識候補を含む物体の領域を認識するために十分な三次元点群データを確保することが可能となり、集合領域を特定する精度が高くなる。このことから、上述の所定の条件には、三次元点群データ間の距離が所定の距離未満であることが含まれている。

尚、三次元点群データ間の距離が所定の距離未満である所定の条件で第２集合の特定を行っても、相対距離と同じ位置に不要な三次元点群データが存在することが想定される。例えば、図９に示すように、案内標識付近の支柱に三次元点群データが存在する場合である。案内標識付近の支柱に存在する不要な三次元点群データを集合領域と特定されてしまうと、集合領域を特定する精度が低くなり、交通標識候補を含む物体が本来案内標識であっても案内標識でないと誤認識される可能性が考えられる。従って、上述の所定の条件には、三次元点群データが密集している度合いを示す点群密度が所定の密度以上であることが含まれている。

集合領域決定部３３３は、第２集合特定部３３２で特定された第２集合に基づいて集合領域を決定する処理を行う。具体的には、第２集合から算出される横幅及び縦幅において、少なくとも横幅が所定の大きさ以上である第２集合の領域を集合領域と決定する。交通標識候補を含む物体の画像領域のサイズは、交通標識候補の画像のサイズよりも大きいため、集合領域の特定を行う判定基準である所定の大きさは、交通標識候補の画像のサイズよりも大きい値が設定される。第２集合の横幅及び縦幅の算出方法としては、例えば、第２集合に含まれる三次元点群データの三次元座標をX座標とY座標の二次元座標で考えたとき、二次元座標の左下を原点とした場合、原点に最も近い三次元点群データを基準とする座標を示す基準座標から第１座標（横方向（X方向）の座標が最大、且つ縦方向（Y方向）の座標が最小である座標）までの距離を横幅と推定してもよい。また、基準座標から第２座標（横方向（X方向）の座標が最小、且つ縦方向（Y方向）の座標が最大である座標）までの距離を縦幅と推定してもよい。集合領域が決定された場合の処理結果例は図１０のように示される。

図１１は、本実施の形態に係る交通標識認識処理部３００の集合領域特定部３３０の処理例を示すフローチャートである。

ステップＳ２００において、集合領域特定部３３０は、交通標識候補の移動体に対する相対位置と等しい三次元点群データの第１集合を特定する。その後、処理はステップＳ２１０に進む。

ステップＳ２１０において、集合領域特定部３３０は、第１集合のうち、所定の条件を満たす第２集合があるか否かを判定する。

所定の条件を満たす第２集合があると判定された場合（ステップＳ２１０；Ｙｅｓ）、処理はステップＳ２２０に進む。それ以外の場合（ステップＳ２１０；Ｎｏ）、処理はステップＳ２６０に進む。

ステップＳ２２０において、集合領域特定部３３０は、第２集合の横幅及び縦幅を算出する。その後、処理はステップＳ２３０に進む。

ステップＳ２３０において、集合領域特定部３３０は、ステップＳ２２０において算出された横幅及び縦幅において、少なくとも横幅が所定の大きさ以上であるか否かを判定する。

少なくとも横幅が所定の大きさ以上であると判定された場合（ステップＳ２３０；Ｙｅｓ）、処理はステップＳ２４０に進む。それ以外の場合（ステップＳ２３０；Ｎｏ）、処理はステップＳ２５０に進む。

ステップＳ２４０において、集合領域特定部３３０は、該当する第２集合の領域を集合領域として決定する。

ステップＳ２５０において、集合領域特定部３３０は、該当しない第２集合の領域を集合領域でないものとして決定する。

ステップＳ２６０において、集合領域特定部３３０は、集合領域はないものとして決定する。

ステップＳ２７０において、集合領域特定部３３０は、決定結果を出力する。

１０ 交通標識認識装置
１００ プロセッサ
１１０ 記憶装置
１２０ カメラ画像の情報
１３０ 三次元点群の情報
１４０ カメラの諸元の情報
１５０ 交通標識候補の規定サイズの情報
２００ 情報入力部
３００ 交通標識認識処理部
３１０ 交通標識候補検出部
３２０ 相対位置推定部
３３０ 集合領域特定部
３３１ 第１集合特定部
３３２ 第２集合特定部
３３３ 集合領域決定部
３４０ 画像領域サイズ特定部
３５０ 色成分割合判定部
３６０ 交通標識候補認識部
４００ 処理結果出力部

Claims (8)

1. 移動体のカメラ画像と、三次元点群データとが格納される記憶装置と、
   プロセッサと、を備え、
   前記プロセッサが、
   前記カメラ画像に交通標識候補の画像が含まれる場合、前記カメラ画像に基づいて、前記交通標識候補の前記移動体に対する相対位置を推定し、
   前記三次元点群データのうち、前記移動体に対する相対位置が前記交通標識候補のそれと等しい三次元点群データの集合を特定し、
   前記集合が特定された領域を示す集合領域に対応し、且つ前記交通標識候補を含む物体の画像領域を前記カメラ画像内で特定し、
   前記物体の画像領域のサイズと、前記物体の画像を構成する色成分と、に基づいて、前記物体の画像を構成する色成分のうち、案内標識を構成する所定の色成分が占める割合を計算し、
   前記所定の色成分が占める割合が閾値以上である場合、前記交通標識候補を含む物体が案内標識であると認識する
   交通標識認識装置。
2. 請求項１に記載の交通標識認識装置であって、
   前記記憶装置は、さらに、カメラの分解能の情報及びカメラの搭載高さの情報を含むカメラの諸元の情報と、前記交通標識候補の規定サイズの情報と、を含み、
   前記相対位置は、前記交通標識候補の前記移動体に対する相対距離と、前記交通標識候補の前記移動体に対する相対高さに前記カメラの搭載高さを加えた前記交通標識候補の高さと、を含み、
   前記カメラ画像の情報は、複数のカメラで取得された複数のカメラ画像の情報を含み、
   前記プロセッサが、
   前記カメラの分解能と、前記交通標識候補の画像を構成する横方向の画素数と、前記規定サイズと、を用いて所定の計算式で計算を行うことで前記相対距離を推定し、
   前記相対距離と、前記カメラの分解能と、前記交通標識候補の画像を構成する縦方向の画素数と、を用いて所定の計算式で計算を行うことで前記相対高さを推定する
   交通標識認識装置。
3. 請求項１に記載の交通標識認識装置であって、
   前記記憶装置は、さらに、カメラの分解能の情報及びカメラの搭載高さの情報を含むカメラの諸元の情報を含み、
   前記相対位置は、前記交通標識候補の前記移動体に対する相対距離と、前記交通標識候補の前記移動体に対する相対高さに前記カメラの搭載高さを加えた前記交通標識候補の高さと、を含み、
   前記カメラ画像は、配置の異なる複数のカメラで取得された複数のカメラ画像を含み、
   前記プロセッサが、
   前記複数のカメラ画像に前記交通標識候補の画像が含まれる場合、前記交通標識候補の画像から三角測量の原理に基づいて、前記相対距離を推定し、
   前記相対距離と、前記カメラの分解能と、前記交通標識候補の画像を構成する縦方向の画素数と、を用いて所定の計算式で計算を行うことで前記相対高さを推定する
   交通標識認識装置。
4. 請求項１乃至３のいずれか一項に記載の交通標識認識装置であって、
   前記集合領域は、前記集合のうち、所定の条件を満たす集合に基づいて算出される横幅及び縦幅において、少なくとも前記横幅が所定の大きさ以上である
   交通標識認識装置。
5. 請求項４に記載の交通標識認識装置であって、
   前記所定の条件は、
   前記集合に含まれる三次元点群データ間の距離が所定の距離未満であり、且つ前記集合に含まれる三次元点群データが密集している度合いを示す点群密度が所定の密度以上であることを含む
   交通標識認識装置。
6. 請求項１乃至５のいずれか一項に記載の交通標識認識装置であって、
   前記物体の画像を構成する色成分は、赤系画素の画素値を積算した積算値、緑系画素の画素値を積算した積算値、及び青系画素の画素値を積算した積算値により表され、
   前記所定の色成分は、前記緑系画素の画素値を積算した積算値、及び前記青系画素の画素値を積算した積算値の少なくとも一方であることを含む
   交通標識認識装置。
7. 請求項１乃至６のいずれか一項に記載の交通標識認識装置であって、
   前記交通標識候補は、少なくとも交通規制標識候補を含む
   交通標識認識装置。
8. 移動体のカメラ画像と、三次元点群データを取得するステップと、
   前記カメラ画像に交通標識候補の画像が含まれる場合、前記カメラ画像に基づいて、前記交通標識候補の前記移動体に対する相対位置を推定するステップと、
   前記三次元点群データのうち、前記移動体に対する相対位置が前記交通標識候補のそれと等しい三次元点群データの集合を特定するステップと、
   前記集合が特定された集合領域に対応し、且つ前記交通標識候補を含む物体の画像領域を前記カメラ画像内で特定するステップと、
   前記物体の画像領域のサイズと、前記物体の画像を構成する色成分と、に基づいて、前記物体の画像を構成する色成分のうち、案内標識を構成する所定の色成分が占める割合を計算するステップと、
   前記所定の色成分が占める割合が閾値以上である場合、前記交通標識候補を含む物体が案内標識であると認識するステップと、
   を含む交通標識認識方法。

Images