JP2021033510A

JP2021033510A - 運転支援装置

Info

Publication number: JP2021033510A
Application number: JP2019151161A
Authority: JP
Inventors: 原　英之; Hideyuki Hara; 英之原
Original assignee: Isuzu Motors Ltd
Current assignee: Isuzu Motors Ltd
Priority date: 2019-08-21
Filing date: 2019-08-21
Publication date: 2021-03-01

Abstract

【課題】より正確に、要注意物体を検出し、報知を行うことを可能とする運転支援装置を提供すること。【解決手段】車両１の周辺道路に存在する物体を検出する運転支援装置１００であって、車両１に搭載された周辺道路を撮影する車載カメラ２００から画像を取得する画像取得部１０と、学習済みの識別器Ｄ１を用いて、画像から物体候補を検出すると共に、当該物体候補に係る信頼度を算出する画像解析部２０と、画像解析部２０で検出された物体候補の信頼度が閾値以上か否かを判定し、当該信頼度が閾値以上の場合に限って、当該物体候補を、要注意物体として報知する報知部３０と、を備え、報知部３０は、物体候補の画像内における位置又はサイズに基づいて、当該物体候補の判定に適用する閾値を設定する。【選択図】図１

Description

本開示は、運転支援装置に関する。

従来、畳み込みニュートラルネットワーク（Convolutional Neural Network）等の識別器モデル（以下、「識別器」と略称する）を用いて、画像解析を行って、画像内に存在する物体を検出する画像処理装置が知られている（例えば、特許文献１を参照）。

この種の画像処理装置においては、一般に、検出対象の物体の画像を教師データとして学習処理が施された識別器を用いて、物体検出が行われ、画像内においてこれらの検出対象の物体と類似する画像領域が存在する場合、当該画像領域を物体が存在する候補領域（以下、「物体候補」と称する）として検出する。

この種の識別器は、通常、検出された物体候補それぞれについて、当該物体候補が検出対象の物体の種別に該当する確率を示す信頼度を出力するように構成されている。そして、画像処理装置においては、誤検知を抑制するため、識別器が検出した物体候補に係る信頼度が閾値以上か否かを判定し、当該物体候補に係る信頼度が閾値以上である場合に限って、当該物体候補を報知対象とするようになっている。

特開２０１８−１９５２９３号公報

ところで、近年、この種の画像処理技術を、車両の前方道路に存在する歩行者、他車両又は落下物等（以下、「要注意物体」と称する）を検出して、車両の運転を支援する運転支援装置に適用することが検討されている。

この種の画像処理技術を運転支援装置に適用する場合、車両の前方道路に存在する要注意物体については、車両からの距離が遠方であっても早い段階で、当該車両のユーザ又は当該車両のＥＣＵ（Electronic Control Unit）に報知することが望ましい。

但し、識別器は、一般に、画像内に検出された物体候補のサイズが比較的小さい場合には、当該物体候補の信頼度を小さい値として出力する傾向にある。又、識別器は、一般に、画像内に検出された物体候補のサイズが比較的大きい場合には、信頼度を大きい値として出力する傾向にある。

その結果、この種の画像処理技術を、そのまま運転支援装置に転用すると、車両から遠方に存在する要注意物体については未検出となってしまうおそれがある。又、要注意物体以外の物体（例えば、建物や看板）が車両に近接して存在する場合には、それらを要注意物体として誤って報知してしまうおそれがある。

本開示は、上記問題点に鑑みてなされたもので、より正確に、要注意物体を検出し、報知を行うことを可能とする運転支援装置を提供することを目的とする。

前述した課題を解決する主たる本開示は、
車両の周辺道路に存在する物体を検出する運転支援装置であって、
前記車両に搭載された前記周辺道路を撮影する車載カメラから画像を取得する画像取得部と、
学習済みの識別器を用いて、前記画像から物体候補を検出する画像解析部と、
前記画像解析部で検出された前記物体候補の信頼度が閾値以上か否かを判定し、当該信頼度が閾値以上の場合に限って、当該物体候補を、要注意物体として報知する報知部と、
を備え、
前記報知部は、前記物体候補の前記画像内における位置又はサイズに基づいて、当該物体候補の判定に適用する前記閾値を設定する、
運転支援装置である。

本開示に係る運転支援装置によれば、より正確に、要注意物体を検出し、報知を行うことが可能である。

第１の実施形態に係る運転支援装置を搭載する車両の構成を示す図第１の実施形態に係る運転支援装置のハードウェア構成を示す図第１の実施形態に係る運転支援装置が車載モニタに表示させる表示画面の一例を示す図一般的な畳み込みニュートラルネットワークの構成の一例を示す図第１の実施形態に係る報知部の閾値の設定方法について、説明する図第１の実施形態に係る運転支援装置の動作の一例を示すフローチャート第２の実施形態に係る報知部の閾値の設定方法について、説明する図第３の実施形態に係る報知部による物体候補の奥行き方向の位置の算出方法について説明する図第４の実施形態に係る報知部による物体候補の奥行き方向の位置の算出方法について説明する図

以下に添付図面を参照しながら、本開示の好適な実施形態について詳細に説明する。尚、本明細書及び図面において、実質的に同一の機能を有する構成要素については、同一の符号を付することにより重複説明を省略する。

［運転支援装置の構成］
以下、図１を参照して、第１の実施形態に係る運転支援装置の構成について説明する。

本実施形態に係る運転支援装置は、自動車などの車両に搭載され、当該車両の前方道路に存在する要注意物体を検出して、ユーザに注意喚起することでユーザの運転を支援する又は当該車両のECUに報知することで自動運転の車両運動制御に利用する。尚、以下、「車両」と称するときには、本実施形態に係る運転支援装置が搭載された車両を意味し、本実施形態に係る運転支援装置が搭載された車両とは別の車両を表すときには「他車両」と称する。

図１は、本実施形態に係る運転支援装置１００を搭載する車両１の構成を示す図である。図２は、本実施形態に係る運転支援装置１００のハードウェア構成を示す図である。図３は、本実施形態に係る運転支援装置１００が車載モニタ３００に表示させる表示画面の一例を示す図である。

車両１は、例えば、運転支援装置１００、車載カメラ２００、及び車載モニタ３００を備えている。尚、これらは、例えば、車両１内に搭載されている。

運転支援装置１００は、車載カメラ２００が生成した車両１の前方道路の画像に基づいて、車両１の前方道路に存在する要注意物体を検出する。そして、運転支援装置１００は、例えば、検出された要注意物体を注意喚起する画像を、車載カメラ２００が生成した画像に重畳させて、車載モニタ３００に表示させる。

運転支援装置１００は、主たるコンポーネントとして、ＣＰＵ（Central Processing Unit）１０１、ＲＯＭ（Read Only Memory）１０２、ＲＡＭ（Random Access Memory）１０３、外部記憶装置（例えば、フラッシュメモリ）１０４、及び通信インターフェイス１０５等を備えたコンピュータである。運転支援装置１００の後述する各機能は、例えば、ＣＰＵ１０１がＲＯＭ１０２、ＲＡＭ１０３、又は外部記憶装置１０４に記憶された制御プログラムや各種データを参照することによって実現される。尚、外部記憶装置１０４には、例えば、後述する各種機能を実現するための制御プログラム、及び、画像解析部２０が参照する識別器のモデルデータ等が記憶されている。

但し、各機能の一部又は全部は、ＣＰＵによる処理に代えて、又は、これと共に、ＤＳＰ（Digital Signal Processor）による処理によって実現されてもよい。又、同様に、各機能の一部又は全部は、ソフトウェアによる処理に代えて、又は、これと共に、専用のハードウェア回路による処理によって実現されてもよい。

車載カメラ２００は、例えば、一般的なカメラや広角カメラであり、自身の撮像素子が生成した画像信号をＡＤ変換して、画像データ（以下、「画像」と略称する）を生成する。車載カメラ２００は、例えば、車両１内のフロントガラス近傍に固定されており、フロントガラス越しに、車両１の前方道路を撮影する。尚、車載カメラ２００は、例えば、フレーム単位の画像を連続的に生成して、車両１の前方道路の画像の動画を生成する。

車載モニタ３００は、例えば、一般的なディスプレイであり、運転支援装置１００から取得する画像を表示する。尚、車載モニタ３００は、運転支援装置１００が検出した物体を車両１のユーザに報知する報知手段として機能する。

車載モニタ３００は、例えば、図３に示すように、車載カメラ２００が生成した画像に重畳するように、検出物体に対してマーカＭ１、Ｍ２を付したモニタ画面を表示する。尚、図３中のＲは全画像領域、Ｐ１は歩行者、Ｐ２は他車両、Ｐ３は看板、Ｐ４は建物、Ｌは道路領域を表している。ここでは、歩行者Ｐ１及び他車両Ｐ２のみが報知対象の要注意物体として検出され、看板Ｐ３及び建物Ｐ４は報知対象の物体として検出されてない状態を表している。

運転支援装置１００は、例えば、画像取得部１０、画像解析部２０、及び報知部３０を備えている。

画像取得部１０は、車載カメラ２００が生成した画像を取得する。

画像解析部２０は、学習済みの識別器Ｄ１を用いて、車載カメラ２００から取得した画像に対して画像解析処理を施して、当該画像から物体候補を検出すると共に、当該物体候補に係る信頼度を算出する。ここでは、識別器Ｄ１として、畳み込みニュートラルネットワークが用いられている。尚、「信頼度」とは、上記したように、識別器Ｄ１が、画像から物体候補を検出した際に、その物体候補が実際に存在する物体であるか否か、又は、その物体候補が検出対象の物体の種別に該当するか否かを示す指標として出力する値である。

図４は、一般的な畳み込みニュートラルネットワークの構成の一例を示す図である。

畳み込みニュートラルネットワークは、特徴抽出部Ｄａと識別部Ｄｂとを有し、特徴抽出部Ｄａが、入力される画像から画像特徴を抽出する処理を施し、識別部Ｄｂが、画像内に映る物体の物体種別を識別する処理を施す。

特徴抽出部Ｄａは、複数の特徴量抽出層Ｄａ１、Ｄａ２・・・が階層的に接続されて構成される。各特徴量抽出層Ｄａ１、Ｄａ２・・・は、それぞれ、畳み込み層（Convolution layer）、活性化層（Activation layer）及びプーリング層（Pooling layer）を備える。

第１層目の特徴量抽出層Ｄａ１は、入力される画像を、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｄａ１は、走査したデータに対して、畳み込み層、活性化層及びプーリング層によって特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。第１層目の特徴量抽出層Ｄａ１は、例えば、水平方向に延びる線状の特徴量や斜め方向に延びる線状の特徴量等の比較的シンプルな単独の特徴量を抽出する。

第２層目の特徴量抽出層Ｄａ２は、前階層の特徴量抽出層Ｄａ１から入力される画像（特徴マップとも称される）を、例えば、ラスタスキャンにより所定サイズ毎に走査する。そして、特徴量抽出層Ｄａ２は、走査したデータに対して、同様に、畳み込み層、活性化層及びプーリング層による特徴量抽出処理を施すことにより、入力画像に含まれる特徴量を抽出する。尚、第２層目の特徴量抽出層Ｄａ２は、第１層目の特徴量抽出層Ｄａ１が抽出した複数の特徴量の位置関係などを考慮しながら統合させることで、より高次元の複合的な特徴量を抽出する。

第２層目以降の特徴量抽出層（図示せず）は、第２層目の特徴量抽出層Ｄａ２と同様の処理を実行する。そして、最終層の特徴量抽出層の出力（複数の特徴マップのマップ内の各値）が、識別部Ｄｂに対して入力される。

識別部Ｄｂは、例えば、複数の全結合層（Fully Connected）が階層的に接続された多層パーセプトロンによって構成される。

識別部Ｄｂの入力側の全結合層は、特徴抽出部Ｄａから取得した複数の特徴マップのマップ内の各値に全結合し、その各値に対して重み係数を異ならせながら積和演算を行って出力する。識別部Ｄｂの次階層の全結合層は、前階層の全結合層の各素子が出力する値に全結合し、その各値に対して重み係数を異ならせながら積和演算を行う。

識別部Ｄｂの最後段の全結合層には、例えば、検出対象物体（即ち、要注意物体）のカテゴリー毎に出力素子が設けられている。これにより、識別部Ｄｂは、画像内に検出対象物体に該当する物体候補を検出した場合、当該物体候補が検出対象物体に該当する確率を、信頼度として出力するように構成される。

又、識別部Ｄｂの最後段の全結合層には、例えば、検出対象物体のカテゴリー毎に、画像内に映る物体が存在する位置（例えば、画像内に映る物体が存在する領域を囲む矩形状の４隅のＸＹ座標）を出力する出力素子が設けられている。これによって、識別部Ｄｂは、検出した物体候補の画像内における位置を出力することができる。

畳み込みニュートラルネットワークは、例えば、正解カテゴリー（及び物体が存在する正解位置）を付した検出対象物体が映る画像を用いて学習処理（例えば、誤差逆伝播法による学習処理）が施されることによって、ネットワークパラメータ（例えば、畳み込み層の重み係数及びバイアス、全結合層の重み係数及びバイアス）が調整され、上記のように機能する。

尚、図４に示す畳み込みニュートラルネットワークの構造は、一例であって、物体検出のための畳み込みニュートラルネットワークの構造は、種々に変形可能である。例えば、物体領域（バウンディングボックス）を検出するためのディテクターが、特徴抽出部Ｄａの前段に設けられてもよい。

本実施形態に係る識別器Ｄ１（ここでは、畳み込みニュートラルネットワーク）は、ユーザ又は車両１のＥＣＵに認識させる必要がある物体、例えば、車両、歩行者、及び落下物等を画像内から検出するように学習処理が施されており、これらの物体を画像内から検出し得るように構成されている。

学習済みの識別器Ｄ１のモデルデータ（ネットワークの構造データ及び学習済みのパラメータデータ等）は、例えば、制御プログラムと共に、外部記憶装置１０４に格納されている。

画像解析部２０は、例えば、学習済みの識別器Ｄ１（畳み込みニュートラルネットワーク）の順伝播処理を施すことによって、画像内から物体候補を検出すると共に、信頼度を算出する。

報知部３０は、画像解析部２０に検出された物体候補の信頼度が閾値以上であるか否かを判定する。そして、報知部３０は、物体候補の信頼度が閾値以上の場合、当該物体候補を要注意物体として報知する。一方、物体候補の信頼度が閾値未満の場合、報知部３０は、当該物体候補を報知対象としない。

但し、本実施形態に係る報知部３０は、物体候補の画像内における位置又はサイズに基づいて、閾値を設定する。つまり、報知部３０は、画像から複数の物体候補が検出された場合、複数の物体候補それぞれに対して別個の閾値を設定する。報知部３０は、典型的には、物体候補の画像内における位置又はサイズから推定される当該物体候補と車両１との間の距離が所定距離以上の場合、物体候補と車両１との間の距離が所定距離未満の場合よりも、当該物体候補に適用する閾値を小さくする。

上記したように、一般的な画像処理装置においては、検出された物体候補の位置によらず、一定の閾値を基準として、当該物体候補を報知対象とするか否かが決定されている。しかしながら、かかる態様では、遠方に存在する物体については検出され難くなり、ユーザ又は車両１のＥＣＵ（例えば、自動運転を実行する車両ＥＣＵ）の安全運転に支障を来すおそれがある。又、かかる態様では、近距離に存在する物体については、検出対象ではない物体を検出対象物体として誤検出してしまい、ユーザに煩雑な印象を与えたり、ユーザ又は車両ＥＣＵの誤操作を誘起するおそれもある。

そこで、本実施形態に係る報知部３０は、物体候補と車両１との間の距離が長くなるほど、当該物体候補に適用する閾値を小さく設定し、物体候補と車両１との間の距離が短くなるほど、当該物体候補に適用する閾値を大きく設定する。これにより、車両１から遠方に存在する物体候補が、報知対象となりやすい状態とする。

図５は、本実施形態に係る報知部３０による閾値の設定方法について、説明する図である。図５のＲは車載カメラ２００が生成した画像の全画像領域を表し、Ｒａは物体候補が存在する領域、ｆ値は正規化前の閾値を表している。図５中のｘ_ｍｉｎ、ｘ_ｍａｘ、ｙ_ｍｉｎ、ｙ_ｍａｘは、画像の左上の端部を原点としたときの物体候補が存在する領域Ｒａの四隅のｘ座標及びｙ座標を表している。又、図５中のＹ_{＿ｈｏｒｉ}は、画像内の地平線推定位置を表し、Ｙ_{＿ｎｅａｒ}は、画像内の車両１の近傍位置（例えば、自車からの距離が３ｍ程度の位置）を表している。

報知部３０は、例えば、遠方に存在する物体については報知対象となりやすいように、物体候補と車両１との間の距離が長くなるほど、当該物体候補に適用する閾値を小さくする。この際、報知部３０は、例えば、画像内の地平線推定位置Ｙ_{＿ｈｏｒｉ}を基準として、物体候補と車両１との間の距離を推定するのが望ましい。例えば、報知部３０は、物体候補の画像内における位置が画像の下端から前方道路の地平線推定位置Ｙ_{＿ｈｏｒｉ}に近づくほど、物体候補と車両１との間の距離が長いと推定する。

車載カメラ２００の設置位置が固定されている場合、地平線は、通常、画像内の所定位置に映るため（ここでは、平坦路を仮定している）、報知部３０は、予め定めた当該所定位置を地平線推定位置Ｙ_{＿ｈｏｒｉ}として用いればよい。他方、報知部３０は、地平線推定位置Ｙ_{＿ｈｏｒｉ}より画像上で下の位置であれば、任意に地平線推定位置Ｙ_{＿ｈｏｒｉ}を設定してもよい。

報知部３０は、例えば、以下の式（１−１）〜（１−３）、及び、式（２）を用いて、物体候補に適用する閾値を算出する。報知部３０は、例えば、式（１−１）〜（１−３）により算出したｆ値を、式（２）を用いて、識別器Ｄ１から出力される信頼度のスケールに正規化することにより、物体候補に適用する閾値Ｃ_ｔｈを算出する。

ここで、物体候補の位置がＹ_{＿ｈｏｒｉ}＜ｙ_ｍａｘ＜Ｙ_{＿ｎｅａｒ}の場合は、検出された物体候補が道路領域に存在し、車両から最近傍領域より遠方に位置することを意味する。当該物体候補は、要注意物体である可能性が高いため、報知対象とされやすくするのが望ましい。報知部３０は、かかる観点から、Ｙ_{＿ｈｏｒｉ}＜ｙ_ｍａｘ＜Ｙ_{＿ｎｅａｒ}の場合、検出された物体候補が道路領域に存在しない場合又は車両から最近傍領域以内に存在する場合（ｙ_ｍａｘ＜Ｙ_{＿ｈｏｒｉ}、又は、Ｙ_{＿ｎｅａｒ}＜ｙ_ｍａｘ）よりも、閾値を小さく設定する。加えて、遠方に存在する物体をより正確に検出するため、報知部３０は、ｙ_ｍａｘがＹ_{＿ｎｅａｒ}からＹ_{＿ｈｏｒｉ}に近づくにつれて、閾値を小さく設定する。

一方、物体候補の位置がｙ_ｍａｘ＜Ｙ_{＿ｈｏｒｉ}の場合は、検出された物体候補が道路領域の上空に存在することを意味する。当該物体候補は、歩道橋や看板等、要注意物体以外の物体である可能性が高いため、報知対象から除外されるのが望ましい。かかる観点から、報知部３０は、ｙ_ｍａｘ＜Ｙ_{＿ｈｏｒｉ}の場合、閾値を最大値付近に設定する。

他方、物体候補の位置がＹ_{＿ｎｅａｒ}＜ｙ_ｍａｘの場合は、検出された物体候補が車両１の近傍に存在することを意味する。当該物体候補は、要注意物体である場合も含むが、要注意以外の物体である場合も含む。検出された物体候補が車両１の近傍に存在する場合、当該物体候補の信頼度は、比較的大きい値に算出される傾向にある。かかる観点から、報知部３０は、要注意以外の物体の誤検出を抑制するべく、ｙ_ｍａｘ＜Ｙ_{＿ｈｏｒｉ}の場合、閾値を最大値付近に設定する。

尚、上記では、物体候補のＹ座標のみを参照して、当該物体候補に適用する閾値を算出する態様を示した。しかしながら、当該物体候補に適用する閾値を算出する際には、物体候補のＸ座標についても参照してもよい。これによって、例えば、物体候補が道路領域内に存在するか否かをより正確に特定することが可能である。

報知部３０は、このようにして、画像解析部２０に検出された複数の物体候補それぞれについて、当該物体候補に適用する閾値を設定する。そして、報知部３０は、画像解析部２０に検出された物体候補のうち、信頼度が閾値以上である物体候補のみを、実際に存在する物体として報知する。この際、報知部３０は、例えば、車載カメラ２００が生成した画像に対して、報知対象の物体が存在する領域にマークＭ１、Ｍ２を付した表示用画像を生成し、車載モニタ３００に出力する（図３を参照）。これによって、ユーザは、車載モニタ３００を視認して、前方道路に存在する物体を認識することができる。

尚、報知部３０による報知態様は、任意である。例えば、報知部３０は、スピーカを用いて音声によって報知してもよい。又、報知部３０は、車両１を制御するＥＣＵ（図示せず）に対して報知信号を出力し、当該ＥＣＵが、車両１の移動状態を自動制御し得るようにするものであってもよい。

［動作フロー］
図６は、本実施形態に係る運転支援装置１００の動作の一例を示すフローチャートである。

運転支援装置１００は、まず、車載カメラ２００から画像を取得する（ステップＳ１）。

次に、運転支援装置１００は、識別器Ｄ１を用いて、車載カメラ２００から取得した画像の画像解析を行って、当該画像から物体候補を検出する。尚、この際、運転支援装置１００は、当該物体候補の画像内における位置及び信頼度についても算出する（ステップＳ２）。

次に、運転支援装置１００は、物体候補の画像内における位置に基づいて、当該物体候補を報知対象とするか否かを判定するために適用する閾値を設定する（ステップＳ３）。

次に、運転支援装置１００は、物体候補の信頼度が閾値以上か否かを判定する（ステップＳ４）。そして、物体候補の信頼度が閾値以上の場合（ステップＳ４：ＹＥＳ）、ステップＳ５に処理を進め、当該物体候補についての報知処理を実行する（ステップＳ５）。一方、物体候補の信頼度が閾値未満の場合（ステップＳ４：ＮＯ）、当該物体候補については報知処理を実行することなく、一連の処理を終了する。

尚、運転支援装置１００は、画像内に複数の物体候補が検出された場合、ステップＳ３において、複数の物体候補それぞれについて、閾値を設定する。そして、運転支援装置１００は、ステップＳ４において、複数の物体候補それぞれについて、物体候補の信頼度が閾値以上か否かを判定する。

［効果］
以上のように、本実施形態に係る運転支援装置１００は、車両１に搭載された前方道路を撮影する車載カメラ２００から画像を取得する画像取得部１０と、学習済みの識別器Ｄ１を用いて、画像から物体候補を検出する画像解析部２０と、物体候補の信頼度が閾値以上か否かを判定し、物体候補の信頼度が閾値以上の場合に限って、当該物体候補を、要注意物体として報知する報知部３０と、を備え、報知部３０は、物体候補の画像内における位置又はサイズに基づいて、当該物体候補に適用する閾値を設定する。

従って、本実施形態に係る運転支援装置１００によれば、車両１から遠方に存在する要注意物体（例えば、他車両や歩行者）の未検出を抑制することができる。又、本実施形態に係る運転支援装置１００によれば、車両１に近い領域に存在する物体で、特に注意する必要がない物体（例えば、建物等）を、要注意物体と誤検出する事態を抑制することができる。

（第２の実施形態）
次に、図７を参照して、第２の実施形態に係る運転支援装置１００について説明する。

本実施形態に係る運転支援装置１００は、物体候補に適用する閾値を、当該物体候補のサイズに基づいて設定する点で、第１の実施形態に係る運転支援装置１００と相違する。尚、第１の実施形態と共通する構成については、説明を省略する（以下、他の実施形態についても同様）。

図７は、本実施形態に係る報知部３０の閾値の設定方法について説明する図である。図７中のｓｉｚｅは物体候補（物体候補が存在する領域Ｒａ）のサイズ、ｓｉｚｅ_ｍａｘは最大の閾値と適用する場合の要注意物体のサイズ、ｓｉｚｅ_ｍｉｎは最小の閾値を設定する場合の要注意物体のサイズを表す。尚、ｓｉｚｅ_ｍａｘ、ｓｉｚｅ_ｍｉｎは、要注意物体のカテゴリー毎に設定される。

本実施形態に係る報知部３０は、識別器Ｄ１が画像内で検出した物体候補のサイズに基づいて、当該物体候補と車両１との間の距離を推定し、当該物体候補に適用する閾値を設定する。物体候補のサイズは、例えば、識別器Ｄ１から出力される物体候補が存在する領域Ｒａの四隅のｘ座標及びｙ座標（即ち、ｘ_ｍｉｎ、ｘ_ｍａｘ、ｙ_ｍｉｎ、ｙ_ｍａｘ）から、矩形領域の面積として算出される。尚、物体候補のサイズは、矩形領域の面積に対してルートを取った値であってもよい。

運転支援装置１００が検出対象とする要注意物体は、車両や歩行者であり、基準サイズが定まった物体である。そこで、運転支援装置１００は、例えば、予めＲＯＭ１０２等に物体のカテゴリー（例えば、車両や歩行者）毎に基準サイズを記憶しておき、画像内で検出された物体候補のサイズと、当該物体候補と同一カテゴリーの物体候補の基準サイズとを比較することによって、物体候補と車両１との間の距離を推定することができる。

報知部３０は、例えば、以下の式（３−１）〜（３−３）、及び、式（４）を用いて、閾値を算出する。報知部３０は、式（３−１）〜（３−３）により算出したｆ値を、式（４）を用いて、識別器Ｄ１から出力される信頼度のスケールに正規化することにより、閾値Ｃ_ｔｈを算出する。

上式は、検出対象とする物体候補のサイズが小さくなるにつれて、閾値を小さい値に設定することを表している。これは、検出対象とする物体候補のサイズが小さくなるほど、検出された物体候補が遠方に存在すると推定されるためである。

これによって、物体候補の位置を正確に認識できないような状況（例えば、地平線推定位置が画像内で認識できない状況）においても、報知部３０は、物体候補を報知対象とするか否かを判定する閾値を適切に設定することが可能である。

尚、報知部３０は、以下の式（５−１）〜（５−３）のいずれか、及び式（６）を用いて、物体の画像内における位置及びサイズの両方に基づいて、閾値を設定してもよい。

これによって、物体候補の位置を正確に認識できないような状況、及び、物体候補のサイズを正確に認識できないような状況のいずれにも対応することが可能である。

以上のように、本実施形態に係る運転支援装置１００によれば、物体候補に適用する閾値をより適切に設定することが可能である。

（第３の実施形態）
次に、図８を参照して、第３の実施形態に係る運転支援装置１００について説明する。本実施形態に係る運転支援装置１００は、物体候補に適用する閾値を、当該物体候補の奥行き方向の位置に基づいて設定する点で、第１の実施形態に係る運転支援装置１００と相違する。

図８は、報知部３０による物体候補の奥行き方向の位置の算出方法について説明する図である。図８中のＰｏは物体候補、２０１は車載カメラ２００の撮像面、２０２は車載カメラ２００のレンズ２０２を表している。

本実施形態に係る報知部３０は、画像内で検出された物体候補のｙ座標に基づいて、例えば、以下の式（７）、（８）を用いて、物体候補の奥行き方向の位置（即ち、車載カメラ２００と物体候補との間の距離）Ｚを算出する。そして、報知部３０は、例えば、車載カメラ２００と物体候補との間の距離Ｚから、式（９）を用いてｆ値を算出する。そして、算出されたｆ値を、式（２）を用いて、識別器Ｄ１から出力される信頼度のスケールに正規化することにより、閾値Ｃ_ｔｈを算出する。尚、式（７）、（８）は、要注意物体はその下端が必ず道路面上に存在すると仮定して、物体候補と車両１との間の距離を推定している。

以上のように、本実施形態に係る運転支援装置１００によれば、物体候補の奥行き方向の位置（即ち、車載カメラ２００と物体候補との間の距離）をより正確に算出することができるため、報知部３０が適用する閾値をより適切に設定することができる。

（第４の実施形態）
次に、図９を参照して、第４の実施形態に係る運転支援装置１００について説明する。本実施形態に係る運転支援装置１００は、物体候補に適用する閾値を、当該物体候補の奥行き方向の位置に基づいて設定する点で、第１の実施形態に係る運転支援装置１００と相違する。

本実施形態は、車載カメラ２００として、ステレオカメラが使用されている場合に適用される。ステレオカメラは、三角測量の原理により、撮影時に、物体候補の奥行き方向の位置を直接的に推定することが可能である。

図９は、報知部３０による物体候補の奥行き方向の位置の算出方法について説明する図である。尚、図９において、Ｐｏは物体候補、２０１は撮像面（ここでは、説明の便宜として、左側撮像部と右側撮像部で共通として図示している）、２０２ａは左側撮像部のレンズ、２０２ｂは右側撮像部のレンズを表す。又、ｘ_Ｌは左側撮像部のレンズ２０２ａのレンズ中心軸からの距離、ｘ_Ｒは右側撮像部のレンズ２０２ａのレンズ中心軸からの距離を表している。

本実施形態に係る報知部３０は、車載カメラ２００（ここでは、ステレオカメラ）から取得した左側撮像部の画像と右側撮像部の画像とに基づいて、例えば、以下の式（１０）を用いて、物体候補の奥行き方向の位置（即ち、車載カメラ２００と物体候補との間の距離）Ｚを算出する。そして、報知部３０は、例えば、車載カメラ２００と物体候補との間の距離Ｚから、第３の実施形態で説明した手法と同様に、式（９）用いてｆ値を算出し、式（２）を用いて、ｆ値から閾値Ｃ_ｔｈを算出する。

（その他の実施形態）
本発明は、上記実施形態に限らず、種々に変形態様が考えられる。

例えば、上記各実施形態では、識別器Ｄ１の一例として、畳み込みニュートラルネットワークを示したが、識別器Ｄ１は、ベイズ識別器又はＳＶＭ（Support Vector Machine）識別器等、機械学習によって識別機能を発現する他の識別器によって構成されてもよい。又、識別器Ｄ１として、畳み込みニュートラルネットワークを用いる場合も、そのモデル構造は、種々に変更可能である。

又、上記各実施形態では、識別器Ｄ１の一例として、物体候補が存在する領域Ｒａの四隅のｘ座標及びｙ座標を出力する構成を示した。しかしながら、識別器Ｄ１が出力する物体候補の位置に係る情報は、物体候補の重心位置１点のみであってもよい。

又、上記第３及び第４実施形態では、報知部３０が物体候補の奥行き方向の位置（即ち、車載カメラ２００と物体候補との間の距離）を算出する態様を示した。しかしながら、これらの演算処理は、車載カメラ２００内で実行されてもよい。

以上、本発明の具体例を詳細に説明したが、これらは例示にすぎず、請求の範囲を限定するものではない。請求の範囲に記載の技術には、以上に例示した具体例を様々に変形、変更したものが含まれる。

１車両
１０画像取得部
２０画像解析部
３０報知部
１００運転支援装置
１０１ＣＰＵ
１０２ＲＯＭ
１０３ＲＡＭ
１０４外部記憶装置
１０５通信インターフェイス
２００車載カメラ
２０１撮像面
２０２、２０２ａ、２０２ｂレンズ
３００車載モニタ
Ｄ１識別器

Claims

車両の周辺道路に存在する物体を検出する運転支援装置であって、
前記車両に搭載された前記周辺道路を撮影する車載カメラから画像を取得する画像取得部と、
学習済みの識別器を用いて、前記画像から物体候補を検出する画像解析部と、
前記画像解析部で検出された前記物体候補の信頼度が閾値以上か否かを判定し、当該信頼度が閾値以上の場合に限って、当該物体候補を、要注意物体として報知する報知部と、
を備え、
前記報知部は、前記物体候補の前記画像内における位置又はサイズに基づいて、当該物体候補の判定に適用する前記閾値を設定する、
運転支援装置。
前記報知部は、前記物体候補の前記画像内における位置又はサイズから推定される当該物体候補と前記車両との間の距離が所定距離以上の場合、前記距離が前記所定距離未満の場合よりも、前記閾値を小さくする、
請求項１に記載の運転支援装置。
前記報知部は、前記距離が長くなるほど、前記閾値を小さくする、
請求項２に記載の運転支援装置。
前記報知部は、前記物体候補の前記画像内における位置が前記画像の下端から前記画像内の地平線推定位置に近づくほど、前記距離が長いと推定する、
請求項２又は３に記載の運転支援装置。
前記報知部は、前記物体候補の前記画像内におけるサイズが、当該物体候補に係る種別の基準サイズと比較して小さくなるほど、前記距離が長いと推定する、
請求項２乃至４のいずれか一項に記載の運転支援装置。
前記報知部は、前記物体候補の前記画像内における位置及びサイズの両方に基づいて、当該物体候補を報知対象とするか否かを判定するための前記閾値を設定する、
請求項１乃至５のいずれか一項に記載の運転支援装置。
前記報知部は、前記物体候補の前記画像内における位置が前記周辺道路の道路領域外である場合、前記物体候補の前記画像内における位置が前記周辺道路の道路領域内である場合よりも、前記閾値を大きくする、
請求項１乃至６のいずれか一項に記載の運転支援装置。
前記車載カメラは、ステレオカメラである、
請求項１乃至７のいずれか一項に記載の運転支援装置。
前記識別器は、畳み込みニューラルネットワークである、
請求項１乃至８のいずれか一項に記載の運転支援装置。