JP2004351977A

JP2004351977A - Outside image display device

Info

Publication number: JP2004351977A
Application number: JP2003149263A
Authority: JP
Inventors: Hiroyuki Shibata; 裕幸柴田
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2003-05-27
Filing date: 2003-05-27
Publication date: 2004-12-16

Abstract

【課題】障害物によって遮られている視界を可視化することができるような車外映像表示装置を提供する。
【解決手段】車外映像表示装置であって、カメラ１１１により車外を撮影する車外映像撮影手段１１４と、外部からの車外映像情報を受信する映像受信手段１１６と、前記車外映像撮影手段１１４により撮影している映像に前記映像受信手段１１６により受信した車外映像情報を合成する映像合成手段１１８と、前記映像合成手段１１８により作成された新たな車外映像情報を表示する映像表示装置１４１と、を備えている。
【選択図】図３Provided is an outside-vehicle image display device capable of visualizing a field of view blocked by an obstacle.
An outside image display device, which includes an outside image photographing means for photographing the outside of the vehicle with a camera, an image receiving means for receiving outside image information from the outside, and an image photographed by the outside image photographing means. Image combining means 118 for combining the outside image information received by the image receiving means 116 with the image being displayed, and an image display device 141 for displaying new outside image information created by the image combining means 118. I have.
[Selection diagram] FIG.

Description

【０００１】
【発明の属する技術分野】
本発明は、ナビゲーションシステムに用いて好適な車外映像表示装置に関する。
【０００２】
【従来の技術】
従来、ナビゲーションシステムとしては、例えば特許文献１や特許文献２に記載されたものが知られている。
【０００３】
特許文献１に記載されたナビゲーションシステムは、車両に設置された自車進行方向前方の画像を撮影するカメラと、画像情報を出力する出力装置を含み、予め設定された経路に従って案内情報を出力する際、カメラの撮影画像上に進行方向を表す矢印等の案内情報を合成して出力装置にて出力するようにしたものであり、運転手の視野から得る情報と近似した形で案内情報を表示することができる。
【０００４】
特許文献２に記載されたナビゲーションシステムは更に、出力する画像として、地図データから生成された描画画像と、カメラによる自車進行方向前方の画像のいずれかを選択することができ、選択したいずれかに対して経路情報や案内情報を合成することができる機能を有するものであり、前方の視野の明瞭性に応じて、地図データによる描画画像かカメラによる実画像かに切り替えることができる。
【０００５】
【特許文献１】
特開平９−３０４１０１号公報
【特許文献２】
特開平１１−１０８６８４号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、従来のナビゲーションシステムにおいては、前方車両や建造物など視界の妨げとなるものがあり、特に渋滞中において前方を撮影したカメラ画像は前方車両によって視界が遮られており、満足のいくものとは言えなかった。
【０００７】
本発明は、このような実情に鑑みてなされたものであり、障害物によって遮られている視界を可視化することができるような車外映像表示装置を提供することを目的とする。
【０００８】
【課題を解決するための手段】
請求項１に係る発明の車外映像表示装置は、カメラにより車外を撮影する車外映像撮影手段と、外部からの車外映像情報を受信する映像受信手段と、前記車外映像撮影手段により撮影している映像に前記映像受信手段により受信した車外映像情報を合成する映像合成手段と、前記映像合成手段により作成された新たな車外映像情報を表示する映像表示装置と、を備えたことを特徴とする。
【０００９】
この構成によれば、車外映像撮影手段により撮影している映像に映像受信手段により受信した車外映像情報を合成して表示するようにしているため、障害物によって遮られている視界を可視化することができる。
【００１０】
請求項２に係る発明の車外映像表示装置は、請求項１に係る発明の車外映像表示装置において、前記映像受信手段は、前記車外映像表示装置が搭載された車両より前方の車両からの車外映像情報を受信することを特徴とする。
【００１１】
この構成によれば、車外映像表示装置が搭載された車両より前方の車両からの車外映像情報を受信するようにしているため、当該前方の車両によって遮られている視界を可視化することができる。
【００１２】
請求項３に係る発明の車外映像表示装置は、請求項１に係る発明の車外映像表示装置において、前記映像合成手段は、前記車外映像撮影手段により撮影している映像に前記映像受信手段により受信した車外映像情報の一部を合成することを特徴とする。
【００１３】
この構成によれば、車外映像撮影手段により撮影している映像に映像受信手段により受信した車外映像情報の一部を合成するようにしているため、障害物によって遮られている視界を適切に可視化することができる。
【００１４】
請求項４に係る発明の車外映像表示装置は、請求項１に係る発明の車外映像表示装置において、前記映像合成手段により作成された新たな車外映像情報を外部へ送信する映像送信手段を更に備えたことを特徴とする。
【００１５】
この構成によれば、映像合成手段により作成された新たな車外映像情報を外部へ送信するようにしているため、外部において障害物によって遮られている視界を可視化することができる。
【００１６】
請求項５に係る発明の車外映像表示装置は、請求項４に係る発明の車外映像表示装置において、前記映像送信手段は、前記映像合成手段により作成された新たな車外映像情報を前記車外映像表示装置が搭載された車両より後方の車両へ送信することを特徴とする。
【００１７】
この構成によれば、映像合成手段により作成された新たな車外映像情報を車外映像表示装置が搭載された車両より後方の車両へ送信するようにしているため、当該後方の車両において障害物によって遮られている視界を可視化することができる。
【００１８】
請求項６に係る発明の車外映像表示装置は、請求項１に係る発明の車外映像表示装置において、前記車外映像表示装置が搭載された車両より前方の車両との車間距離を測定する車間測距手段と、前記車間測距手段により前方の視界が遮られているかどうかを判断する視界状態判断手段と、を更に備え、前記前方の車両によって前方の視界が遮られていると判断したときに、前記映像受信手段から車外映像情報を受信することを特徴とする。
【００１９】
この構成によれば、車外映像表示装置が搭載された車両より前方の車両との車間距離を測定して前方の視界が遮られているかどうかを判断するようにしているため、視界状態の判断を適切に行うことができる。
【００２０】
請求項７に係る発明の車外映像表示装置は、請求項１に係る発明の車外映像表示装置において、前記車外映像撮影手段により撮影されている範囲の環境に対して三次元計測器により三次元計測を行う三次元計測手段と、外部からの三次元計測値を受信する計測値受信手段と、前記計測値受信手段により受信した三次元計測値を基に前記車外映像情報に対して前記カメラによる視点に変換して前記映像合成手段に供給する視点変換手段と、を更に備えたことを特徴とする。
【００２１】
この構成によれば、計測値受信手段により受信した三次元計測値を基に車外映像情報に対してカメラによる視点に変換して映像合成手段に供給するようにしているため、障害物によって遮られている視界をより認識し易いように可視化することができる。
【００２２】
請求項８に係る発明の車外映像表示装置は、請求項７に係る発明の車外映像表示装置において、前記三次元計測手段により取得した三次元計測値に前記計測値受信手段により受信した三次元計測値を合成する計測値合成手段を更に備えたことを特徴とする。
【００２３】
この構成によれば、三次元計測手段により取得した三次元計測値に計測値受信手段により受信した三次元計測値を合成するようにしているため、外部において障害物によって遮られている視界をより認識し易いように可視化することができる。
【００２４】
請求項９に係る発明の車外映像表示装置は、請求項８に係る発明の車外映像表示装置において、前記計測値合成手段により作成された新たな三次元計測値を外部へ送信する計測値送信手段を更に備えたことを特徴とする。
【００２５】
この構成によれば、計測値合成手段により作成された新たな三次元計測値を外部へ送信するようにしているため、外部において障害物によって遮られている視界をより認識し易いように可視化することができる。
【００２６】
請求項１０に係る発明の車外映像表示装置は、請求項９に係る発明の車外映像表示装置において、前記計測値送信手段は、前記計測値合成手段により作成された新たな三次元計測値を前記車外映像表示装置が搭載された車両より後方の車両へ送信することを特徴とする。
【００２７】
この構成によれば、計測値合成手段により作成された新たな三次元計測値を車外映像表示装置が搭載された車両より後方の車両へ送信するようにしているため、当該後方の車両において障害物によって遮られている視界をより認識し易いように可視化することができる。
【００２８】
請求項１１に係る発明の車外映像表示装置は、請求項１に係る発明の車外映像表示装置において、前記映像受信手段は、前記車外映像表示装置が搭載された車両より前方の視野の障害となる障害物体からの車外映像情報を受信することを特徴とする。
【００２９】
この構成によれば、車外映像表示装置が搭載された車両より前方の視野の障害となる障害物体からの車外映像情報を受信するようにしているため、当該障害物体によって遮られている視界を可視化することができる。
【００３０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００３１】
（第１の実施の形態）
図１は、本発明の第１の実施の形態における車外映像表示システム１００の構成を示すブロック図である。図１において、本実施の形態における車外映像表示システム１００は、設置されているカメラ１１２からの視点による車外の状況を映像化した情報である車外映像情報１２２を後方の車両へ送信する第二の車両Ｂに搭載された車外映像表示装置１０２と、車外映像情報１２２を受信し、設置されているカメラ１１１からの視点による車外の状況を映像化した情報に受信した車外映像情報１２２を合成した映像情報である新たな車外映像情報１２１を更に後方の車両へ送信する第一の車両Ａに搭載された車外映像表示装置１０１と、車外映像情報１２１を受信し、設置されているカメラ１１３からの視点による車外の状況を映像化した情報に受信した車外映像情報１２１を合成する第三の車両Ｃに搭載された車外映像表示装置１０３と、を備えている。
【００３２】
図２は、第二の車両Ｂに搭載された車外映像表示装置１０２の構成を示すブロック図である。図２において、第二の車両Ｂに搭載された車外映像表示装置１０２は、車外映像情報１２２を取得すべく車両前方を撮影するカメラ１１２と、カメラ１１２により車両前方（車外）を撮影する車外映像撮影部１１４と、カメラ１１２により撮影された映像を表示する映像表示装置１４２と、車外映像情報１２２を送信する映像送信部１１５と、後方車両である第一の車両Ａとデータの送受信を行う無線通信インターフェイス１５２と、を備えている。
【００３３】
図３は、第一の車両Ａに搭載された車外映像表示装置１０１の構成を示すブロック図である。図３において、第一の車両Ａに搭載された車外映像表示装置１０１は、車両前方を撮影するカメラ１１１と、カメラ１１１により車両前方（車外）を撮影する車外映像撮影部１１４と、前方車両である第二の車両Ｂ及び後方車両である第三の車両Ｃとデータの送受信を行う無線通信インターフェイス１５１と、第二の車両Ｂからの車外映像情報１２２を無線通信インターフェイス１５１を介して受信する映像受信部１１６と、車外映像撮影部１１４により撮影している映像に映像受信部１１６により受信した車外映像情報１２２を合成する映像合成部１１８と、映像合成部１１８により作成された新たな車外映像情報１２１を表示する映像表示装置１４１と、新たな車外映像情報１２１を無線通信インターフェイス１５１を介して第三の車両Ｃへ送信する映像送信部１１５と、を備えている。
【００３４】
図４は、第三の車両Ｃに搭載された車外映像表示装置１０３の構成を示すブロック図である。図４において、第三の車両Ｃに搭載された車外映像表示装置１０３は、車両前方を撮影するカメラ１１３と、カメラ１１３により車両前方（車外）を撮影する車外映像撮影部１１４と、前方車両である第一の車両Ａとデータの送受信を行う無線通信インターフェイス１５３と、第一の車両Ａからの車外映像情報１２１を無線通信インターフェイス１５３を介して受信する映像受信部１１６と、車外映像撮影部１１４により撮影している映像に映像受信部１１６により受信した車外映像情報１２１を合成する映像合成部１１８と、映像合成部１１８により作成された新たな車外映像情報１２３を表示する映像表示装置１４３と、を備えている。
【００３５】
尚、ある車両がデータの受信を行う際には、予め前方車両にデータ要求情報を送信し、それに応じて前方車両が当該車両へデータの送信を行うようになっている。例えば、第一の車両Ａがデータの受信を行う際には、予め前方車両である第二の車両Ｂにデータ要求情報を送信し、それに応じて第二の車両Ｂが第一の車両Ａへデータの送信を行うようになっている。
【００３６】
各車外映像表示装置１０１〜１０３は更に、前方車両との車間距離を測定する車間測距部１６１と、車間測距部１６１により前方車両との車間距離が短くて前方の視界が遮られているかどうかを判断する視界状態判断部１６２と、を備えている。例えば、ある車両の視界状態判断部１６２により視界が良好であると判断されれば、その車両は第二の車両Ｂと認識される。また、ある車両の視界状態判断部１６２により前方の車両によって視界が不良であると判断された場合、後方車両から車外映像情報の要求があれば当該後方車両に車外映像情報を送信する必要があるのでその車両は第一の車両Ａと認識され、後方車両から車外映像情報の要求が無ければ当該後方車両に車外映像情報を送信する必要が無いのでその車両は第三の車両Ｃと認識される。
【００３７】
次に、このように構成された本実施の形態における車外映像表示システム１００の動作について、図５のフローチャートを参照しながら説明する。
【００３８】
まず、ある車両において、視界状態判断部１６２により前方の視界が良好であるかどうかを判断する（ステップＳ１０１）。ステップＳ１０１において、視界が良好であると判断されれば、当該車両は第二の車両Ｂであることになり、設置されているカメラ１１２による映像をそのまま映像表示装置１４２に表示する（ステップＳ１０２）。次に、後方車両から無線通信インターフェイス１５２を介してデータ要求情報を受信しているかどうかの判断を行い（ステップＳ１０３）、データ要求情報を受信したら映像送信部１１５により無線通信インターフェイス１５２を介して、カメラ１１２による映像を車外映像情報１２２として、後方車両である第一の車両Ａへ送信し（ステップＳ１０４）、ステップＳ１０１に戻る。
【００３９】
一方、ステップＳ１０１において、視界が不良であると判断されれば、当該車両は第一の車両Ａまたは第三の車両Ｃであることになり、前方車両へデータ要求情報を無線通信インターフェイス１５１または１５３を介して送信する（ステップＳ１０５）。次に、映像受信部１１６により無線通信インターフェイス１５１または１５３を介して、前方車両から車外映像情報１２２または１２１を受信する（ステップＳ１０６）。次に、設置されているカメラ１１１または１１３で撮影している映像の中で前方車両によって視界が遮られている部分に、受信した車外映像情報１２２または１２１の一部を合成し、新たに視界が明瞭化された車外映像情報１２１または１２３を作成する（ステップＳ１０７）。次に、合成した車外映像情報１２１または１２３を、映像表示装置１４１または１４３に表示する（ステップＳ１０８）。
【００４０】
次に、後方車両から無線通信インターフェイス１５１または１５３を介してデータ要求情報を受信しているかどうかの判断を行い（ステップＳ１０３）、データ要求情報を受信したら、当該車両は第一の車両Ａであることになり、映像送信部１１５により無線通信インターフェイス１５１を介して、車外映像情報１２１を第三の車両Ｃへ送信し（ステップＳ１０４）、ステップＳ１０１に戻る。
【００４１】
ここで、現状況での各車両の位置、建造物などの環境の例を図６に示し、具体的な処理の内容を説明する。図６の環境では、交差点に信号機１０４が設置されており、建造物１０５〜１０８がそれぞれ配置されている。図７（ａ）に示す、第二の車両Ｂに設置されているカメラ１１２による映像は、前方に障害となる車両が存在しないので視界は良好である。
【００４２】
一方、図７（ｂ）に示す、第一の車両Ａに設置されているカメラ１１１による映像は、第二の車両Ｂの存在によって、視界が遮られている。そこで、第一の車両Ａは前方の第二の車両Ｂから図７（ａ）の映像である車外映像情報１２２を受信し、図７（ｄ）に示すように第二の車両Ｂを予め登録した車両イメージパターンにより画像から判定する方法などによって検出し、この第二の車両Ｂを覆うような例えば矩形領域１０９を決定し、受信した車外映像情報１２２に対して縮小・トリミングを行うことで、矩形領域１０９に適合するように合成を行う。例えば、矩形領域１０９の外側の画像と、受信した車外映像情報１２２の合成部分で映像的に切れ目がない様に車外映像情報１２２の部分映像を取り出して、矩形領域１０９内にはめ込む。こうして作成された車外映像情報１２１を図７（ｅ）に示す。
【００４３】
更に、図７（ｃ）に示す、第三の車両Ｃに設置されているカメラ１１３による映像は、第一の車両Ａと第二の車両Ｂの存在によって、視界が遮られている。そこで、第三の車両Ｃは前方の第一の車両Ａから図７（ｅ）の映像である車外映像情報１２１を受信し、図７（ｆ）に示すように第一の車両Ａと第二の車両Ｂを覆うような例えば矩形領域１１０を決定し、受信した車外映像情報１２１に対して縮小・トリミングを行うことで、矩形領域１１０に適合するように合成を行う。こうして作成された車外映像情報１２３を図７（ｇ）に示す。
【００４４】
尚、本実施の形態において説明した車外映像表示システム１００における車両に設置されたカメラは前方のみを撮影することに限定したが、図８に示すように、前方の第二の車両Ｂがトラック等のように長さの長い車両である、若しくは第一の車両Ａと第二の車両Ｂの車間距離が短すぎると、第一の車両・第二の車両の両方のカメラから見えない死角となる部分が出現するので、車両のあらゆる部分にカメラを設置して、あらゆる方向の映像を撮影できるようにすることで、死角となる部分にも映像を合成して可視化できるようにしてもよい。
【００４５】
また、本実施の形態では前方の視野を明瞭化することを行ったが、あらゆる方向のカメラを設置することで、あらゆる方向の視野を明瞭化するようにしてもよい。
【００４６】
（第２の実施の形態）
図９は、本発明の第２の実施の形態における車外映像表示システム２００の構成を示すブロック図である。本実施の形態における車外映像表示システム２００は、前述した第１の実施の形態における車外映像表示システム１００とは、第一の車両と第二の車両に更にカメラの撮影範囲の環境に対して三次元計測を行う三次元計測器をそれぞれ設置した点と、無線通信インターフェイスを介して送受信を行うデータに当該三次元計測器で計測した三次元計測値を追加した点が相違している。
【００４７】
すなわち、図９において、本実施の形態における車外映像表示システム２００は、設置されているカメラ２１２からの視点による車外の状況を映像化した情報である車外映像情報２２２とカメラ２１２の撮影範囲の環境に対して三次元計測を行う三次元計測器２３２による三次元計測値２６２を後方の車両へ送信する第二の車両Ｂに搭載された車外映像表示装置２０２と、車外映像情報２２２と三次元計測値２６２を受信し、設置されているカメラ２１１からの視点による車外の状況を映像化した情報に受信した車外映像情報２２２を三次元計測値２６２に基づく視点変換後に合成した映像情報である新たな車外映像情報２２１を更に後方の車両へ送信するとともに、カメラ２１１の撮影範囲の環境に対して三次元計測を行う三次元計測器２３１による三次元計測値に受信した三次元計測値２６２を合成した計測値である新たな三次元計測値２６１を当該後方の車両へ送信する第一の車両Ａに搭載された車外映像表示装置２０１と、車外映像情報２２１と三次元計測値２６１を受信し、設置されているカメラ２１３からの視点による車外の状況を映像化した情報に受信した車外映像情報２２１を三次元計測値２６１に基づく視点変換後に合成する第三の車両Ｃに搭載された車外映像表示装置２０３と、を備えている。
【００４８】
図１０は、第二の車両Ｂに搭載された車外映像表示装置２０２の構成を示すブロック図である。図１０において、第二の車両Ｂに搭載された車外映像表示装置２０２は、車外映像情報２２２を取得すべく車両前方を撮影するカメラ２１２と、カメラ２１２により車両前方（車外）を撮影する車外映像撮影部２１４と、カメラ２１２により撮影された映像を表示する映像表示装置２４２と、車外映像情報２２２を送信する映像送信部２１５と、三次元計測値２６２を取得すべくカメラ２１２の撮影範囲の環境に対して超音波やレーザ、赤外線などを使って三次元計測を行う三次元計測器２３２と、三次元計測器２３２により三次元計測を行う三次元計測部２３４と、三次元計測値２６２を送信する計測値送信部２３５と、後方車両である第一の車両Ａとデータの送受信を行う無線通信インターフェイス２５２と、を備えている。
【００４９】
図１１は、第一の車両Ａに搭載された車外映像表示装置２０１の構成を示すブロック図である。図１１において、第一の車両Ａに搭載された車外映像表示装置２０１は、車両前方を撮影するカメラ２１１と、カメラ２１１により車両前方（車外）を撮影する車外映像撮影部２１４と、前方車両である第二の車両Ｂ及び後方車両である第三の車両Ｃとデータの送受信を行う無線通信インターフェイス２５１と、第二の車両Ｂからの車外映像情報２２２を無線通信インターフェイス２５１を介して受信する映像受信部２１６と、後述する計測値受信部２３６で受信した三次元計測値２６２に基づき車外映像情報２２２に対して視点変換を行う視点変換部２１７と、車外映像撮影部２１４により撮影している映像に視点変換部２１７により視点変換された車外映像情報２２２を合成する映像合成部２１８と、映像合成部２１８により作成された新たな車外映像情報２２１を表示する映像表示装置２４１と、新たな車外映像情報２２１を無線通信インターフェイス２５１を介して第三の車両Ｃへ送信する映像送信部２１５と、カメラ２１１の撮影範囲の環境に対して三次元計測を行う三次元計測器２３１と、三次元計測器２３１により三次元計測を行う三次元計測部２３４と、第二の車両Ｂからの三次元計測値２６２を無線通信インターフェイス２５１を介して受信する計測値受信部２３６と、三次元計測部２３４により取得した三次元計測値に計測値受信部２３６により受信した三次元計測値２６２を合成する計測値合成部２３７と、計測値合成部２３７により作成された新たな三次元計測値２６１を無線通信インターフェイス２５１を介して第三の車両Ｃへ送信する計測値送信部２３５と、を備えている。
【００５０】
図１２は、第三の車両Ｃに搭載された車外映像表示装置２０３の構成を示すブロック図である。図１２において、第三の車両Ｃに搭載された車外映像表示装置２０３は、車両前方を撮影するカメラ２１３と、カメラ２１３により車両前方（車外）を撮影する車外映像撮影部２１４と、前方車両である第一の車両Ａとデータの送受信を行う無線通信インターフェイス２５３と、第一の車両Ａからの車外映像情報２２１を無線通信インターフェイス２５３を介して受信する映像受信部２１６と、第一の車両Ａからの三次元計測値２６１を無線通信インターフェイス２５３を介して受信する計測値受信部２３６と、計測値受信部２３６で受信した三次元計測値２６１に基づき車外映像情報２２１に対して視点変換を行う視点変換部２１７と、車外映像撮影部２１４により撮影している映像に視点変換部２１７により視点変換された車外映像情報２２１を合成する映像合成部２１８と、映像合成部２１８により作成された新たな車外映像情報２２３を表示する映像表示装置２４３と、を備えている。
【００５１】
尚、ある車両がデータの受信を行う際には、予め前方車両にデータ要求情報を送信し、それに応じて前方車両が当該車両へデータの送信を行うようになっていることは、前述した第１の実施の形態における車外映像表示システム１００と同様である。
【００５２】
また、各車外映像表示装置２０１〜２０３が車間測距部２７１と視界状態判断部２７２とを更に備えていることも、前述した第１の実施の形態における車外映像表示システム１００と同様である。
【００５３】
次に、このように構成された本実施の形態における車外映像表示システム２００の動作について、図１３のフローチャートを参照しながら説明する。
【００５４】
まず、ある車両において、視界状態判断部２７２により前方の視界が良好であるかどうかを判断する（ステップＳ２０１）。ステップＳ２０１において、視界が良好であると判断されれば、当該車両は第二の車両Ｂであることになり、設置されているカメラ２１２による映像をそのまま映像表示装置２４２に表示する（ステップＳ２０２）。次に、設置されているカメラ２１２の撮影範囲に存在する建造物などの環境を三次元計測器２３２を用いて三次元計測部２３４により三次元計測する（ステップＳ２０３）。次に、後方車両から無線通信インターフェイス２５２を介してデータ要求情報を受信しているかどうかの判断を行い（ステップＳ２０４）、データ要求情報を受信したら映像送信部２１５と計測値送信部２３５により無線通信インターフェイス２５２を介して、カメラ２１２による映像である車外映像情報２２２と三次元計測値２６２を、後方車両である第一の車両Ａへ送信し（ステップＳ２０５）、ステップＳ２０１に戻る。
【００５５】
一方、ステップＳ２０１において、視界が不良であると判断されれば、当該車両は第一の車両Ａまたは第三の車両Ｃであることになり、前方車両へデータ要求情報を無線通信インターフェイス２５１または２５３を介して送信する（ステップＳ２０６）。次に、映像受信部２１６と計測値受信部２３６により無線通信インターフェイス２５１または２５３を介して、前方車両から車外映像情報２２２または２２１と三次元計測値２６２または２６１を受信する（ステップＳ２０７）。次に、受信した車外映像情報２２２または２２１に対して、三次元計測値２６２または２６１を基に、設置されているカメラ２１１または２１３による視点に変換をする視点変換部２１７による処理を行う（ステップＳ２０８）。次に、設置されているカメラ２１１または２１３で撮影している映像の中で前方車両によって視野が遮られている部分に、視点変換を施した車外映像情報の一部を合成し、新たに視界が明瞭化された車外映像情報２２１または２２３を作成する（ステップＳ２０９）。次に、合成した車外映像情報２２１または２２３を、映像表示装置２４１または２４３に表示する（ステップＳ２１０）。次に、設置されているカメラ２１１または２１３の撮影範囲に存在する建造物などの環境を三次元計測器２３１を用いて三次元計測部２３４により三次元計測する（ステップＳ２１１）。次に、計測した三次元計測値に対して、計測値受信部２３６により受信した三次元計測値２６２または２６１を合成することで、合成された車外映像情報２２１または２２３に対する三次元計測値を作成する（ステップＳ２１２）。
【００５６】
次に、後方車両から無線通信インターフェイス２５１または２５３を介してデータ要求情報を受信しているかどうかの判断を行い（ステップＳ２０４）、データ要求情報を受信したら、当該車両は第一の車両Ａであることになり、映像送信部２１５と計測値送信部２３５により無線通信インターフェイス２５１を介して、車外映像情報２２１と三次元計測値２６２を第三の車両Ｃへ送信し（ステップＳ２０５）、ステップＳ２０１に戻る。
【００５７】
尚、本実施の形態では、車外映像情報と共に三次元計測値を送受信することで、各車両に設置されたカメラの絶対位置の差による視差から、映像を合成したときに発生する歪みを補正することについて説明したが、車両から見えるあらゆる方向の視野の障害となる車両を透明化する、若しくは死角となる部分を可視化できるようにするために、あらゆる方向の映像を撮影することができるようにカメラを設置してもよい。但し、その場合、それらの方向に対して三次元計測ができるように、三次元計測器も設置しなければならない。
【００５８】
更に、映像を合成するときに発生する歪みを補正するために、受信した車外映像情報に対して、車両に設置されたカメラからの視点になるように画像処理を行う取得映像処理部を設けてもよい。
【００５９】
（第３の実施の形態）
図１４は、本発明の第３の実施の形態における車外映像表示システム３００の構成を示すブロック図である。本実施の形態における車外映像表示システム３００は、前述した第１の実施の形態における車外映像表示システム１００とは、車両以外の建造物や木々等、車両からの視野の障害となり得る障害物体３０２にもカメラ３１２や無線通信インターフェイスを設置した点が相違している。
【００６０】
すなわち、図１４において、本実施の形態における車外映像表示システム３００は、設置されているカメラ３１２からの視点による屋外の状況を映像化した情報である映像情報３２２を後方の車両へ送信する障害物体Ｘに設置された映像送信装置３０２と、映像情報３２２を受信し、設置されているカメラ３１１からの視点による車外の状況を映像化した情報に受信した映像情報３２２を合成する車両Ａに搭載された車外映像表示装置３０１と、を備えている。
【００６１】
図１５は、車両Ａに搭載された車外映像表示装置３０１の構成を示すブロック図である。図１５において、車両Ａに搭載された車外映像表示装置３０１は、車両前方を撮影するカメラ３１１と、カメラ３１１により車両前方（車外）を撮影する車外映像撮影部３１４と、障害物体Ｘ及び後方車両（前方車両）とデータの送受信を行う無線通信インターフェイス３５１と、カメラ３１１の撮影範囲内において障害物体Ｘの存在を発見する障害物体発見部３０３と、障害物体発見部３０３の出力に応じて障害物体Ｘからの映像情報３２２を無線通信インターフェイス３５１を介して受信する映像受信部３１６と、車外映像撮影部３１４により撮影している映像に映像受信部３１６により受信した映像情報３２２を合成する映像合成部３１８と、映像合成部３１８により作成された新たな車外映像情報３２１を表示する映像表示装置３４１と、新たな車外映像情報３２１を無線通信インターフェイス３５１を介して後方車両へ送信する映像送信部３１５と、を備えている。
【００６２】
図１６は、障害物体Ｘに設置された映像送信装置３０２の構成を示すブロック図である。図１６において、障害物体Ｘに設置された映像送信装置３０２は、映像情報３２２を取得すべく車両Ａから見て死角となる方向を撮影するカメラ３１２と、カメラ３１２により映像を撮影する映像撮影部３１４と、映像情報３２２を送信する映像送信部３１５と、車両Ａとデータの送受信を行う無線通信インターフェイス３５２と、を備えている。
【００６３】
尚、車両Ａがデータの受信を行う際には、予め障害物体Ｘにデータ要求情報を送信し、それに応じて障害物体Ｘが車両Ａへデータの送信を行うようになっていることは、前述した第１の実施の形態における車外映像表示システム１００と同様である。
【００６４】
次に、このように構成された本実施の形態における車外映像表示システム３００の動作について、図１７のフローチャートを参照しながら説明する。
【００６５】
まず、車外映像表示装置３０１を搭載した車両Ａにおいて、障害物体発見部３０３により、カメラ３１１の撮影範囲内に障害物体Ｘを発見する（ステップＳ３０１）。次に、障害物体Ｘを発見したら、車両Ａは障害物体Ｘへデータ要求情報を、無線通信インターフェイス３５１を介して送信する（ステップＳ３０２）。次に、映像受信部３１６により無線通信インターフェイス３５１を介して、障害物体Ｘから映像情報３２２を受信する（ステップＳ３０３）。次に、設置されているカメラ３１１で撮影している映像の中で障害物体Ｘによって視野が遮られている部分に、受信した映像情報３２２の一部を合成し、新たに視界が明瞭化された車外映像情報３２１を作成する（ステップＳ３０４）。次に、合成した車外映像情報３２１を、映像表示装置３４１に表示する（ステップＳ３０５）。
【００６６】
尚、本実施の形態では、車両以外の建造物や木々等の視野の障害となる障害物体にもカメラや無線通信インターフェイスを設置した例について説明したが、合成して作成した車外映像情報３２１を、映像送信部３１５により更に後方車両へ送信することも可能であり、前方車両から受信した車外映像情報に対して、映像情報３２２を合成することも可能である。
【００６７】
以上説明したように、本実施の形態における車外映像表示システム３００によれば、様々な障害物体から映像情報を受信することができるため、前述した第１の実施の形態における車外映像表示システム１００において、建造物の裏側や木々等で視界が遮られた車両から死角となる部分でも、障害となっている障害物自身から映像情報を受信することで、運転手の視線から見た死角の無い映像を表示することができる。
【００６８】
以上の説明から明らかなように、本発明の車外映像表示装置によって得られる、視界を遮る前方車両や障害物体などを透明化した映像に対して、地図データから取得した案内情報や経路情報を合成することができ、従来のナビゲーションシステムのような、地図データから作成した三次元画像による環境よりも、運転手から見た視界と同じ環境で視界を遮るものが無い映像が得られるため、視認性が高く誤認識を与えることも少なくなると言える。
【００６９】
【発明の効果】
本発明の車外映像表示装置によれば、車外映像撮影手段により撮影している映像に映像受信手段により受信した車外映像情報を合成して表示するようにしているため、障害物によって遮られている視界を可視化することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態における車外映像表示システムの構成を示すブロック図
【図２】本発明の第１の実施の形態における第二の車両に搭載された車外映像表示装置の構成を示すブロック図
【図３】本発明の第１の実施の形態における第一の車両に搭載された車外映像表示装置の構成を示すブロック図
【図４】本発明の第１の実施の形態における第三の車両に搭載された車外映像表示装置の構成を示すブロック図
【図５】本発明の第１の実施の形態における車外映像表示システムの動作を説明するためのフローチャート
【図６】本発明の第１の実施の形態における環境の例を示す図
【図７】本発明の第１の実施の形態における車外映像の表示例を示す図
【図８】本発明の第１の実施の形態における死角が存在する場合の一例を示す図
【図９】本発明の第２の実施の形態における車外映像表示システムの構成を示すブロック図
【図１０】本発明の第２の実施の形態における第二の車両に搭載された車外映像表示装置の構成を示すブロック図
【図１１】本発明の第２の実施の形態における第一の車両に搭載された車外映像表示装置の構成を示すブロック図
【図１２】本発明の第２の実施の形態における第三の車両に搭載された車外映像表示装置の構成を示すブロック図
【図１３】本発明の第２の実施の形態における車外映像表示システムの動作を説明するためのフローチャート
【図１４】本発明の第３の実施の形態における車外映像表示システムの構成を示すブロック図
【図１５】本発明の第３の実施の形態における車両に搭載された車外映像表示装置の構成を示すブロック図
【図１６】本発明の第３の実施の形態における障害物体に設置された映像送信装置の構成を示すブロック図
【図１７】本発明の第３の実施の形態における車外映像表示システムの動作を説明するためのフローチャート
【符号の説明】
１００、２００、３００車外映像表示システム
１０１〜１０３、２０１〜２０３、３０１車外映像表示装置
１０４信号機
１０５〜１０８建造物
１１１〜１１３、２１１〜２１３、３１１〜３１２カメラ
１１４、２１４、３１４車外映像撮影部
１１５、２１５、３１５映像送信部
１１６、２１６、３１６映像受信部
１１８、２１８、３１８映像合成部
１２１〜１２３、２２１〜２２３、３２１車外映像情報
１４１〜１４３、２４１〜２４３、３４１映像表示装置
１５１〜１５３、２５１〜２５３、３５１〜３５２無線通信インターフェイス
１６１、２７１車間測距部
１６２、２７２視界状態判断部
２１７視点変換部
２３１〜２３２三次元計測器
２３４三次元計測部
２３５計測値送信部
２３６計測値受信部
２３７計測値合成部
２６１〜２６２三次元計測値
３０２映像送信装置
３０３障害物体発見部
３２２映像情報[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image display device outside a vehicle suitable for use in a navigation system.
[0002]
[Prior art]
Conventionally, as a navigation system, for example, those described in Patent Literature 1 and Patent Literature 2 are known.
[0003]
The navigation system described in Patent Literature 1 includes a camera installed in a vehicle that captures an image in front of the own vehicle traveling direction, and an output device that outputs image information, and outputs guidance information according to a preset route. At this time, guidance information such as an arrow indicating the traveling direction is synthesized on the captured image of the camera and output by the output device, and the guidance information is displayed in a form similar to the information obtained from the driver's field of view can do.
[0004]
The navigation system described in Patent Document 2 can further select, as an output image, one of a drawing image generated from map data and an image ahead of the own vehicle traveling direction by a camera. It has a function of combining route information and guidance information with respect to, and can switch between a drawn image by map data or an actual image by a camera according to the clarity of the visual field in front.
[0005]
[Patent Document 1]
JP-A-9-304101
[Patent Document 2]
JP-A-11-108684
[0006]
[Problems to be solved by the invention]
However, in conventional navigation systems, there are obstacles such as vehicles ahead and buildings that obstruct the view, and the camera images taken in front during traffic congestion are particularly satisfactory because the view ahead is obstructed by the vehicles ahead. I couldn't say.
[0007]
The present invention has been made in view of such circumstances, and an object of the present invention is to provide an outside-vehicle image display device that can visualize a field of view blocked by an obstacle.
[0008]
[Means for Solving the Problems]
The outside image display device according to the first aspect of the present invention provides an outside image photographing means for photographing the outside of the vehicle with a camera, an image receiving means for receiving outside image information from outside, and an image photographed by the outside image photographing means. A video synthesizing means for synthesizing the external video information received by the video receiving means, and a video display device for displaying new external video information created by the video synthesizing means.
[0009]
According to this configuration, since the outside image information received by the image receiving unit is combined with the image captured by the outside image capturing unit and displayed, the visual field blocked by the obstacle can be visualized. Can be.
[0010]
According to a second aspect of the present invention, there is provided the out-of-vehicle image display device according to the first aspect of the present invention, wherein the image receiving means includes an out-of-vehicle image from a vehicle ahead of the vehicle on which the out-of-vehicle image display device is mounted. Receiving information.
[0011]
According to this configuration, since outside-vehicle image information from a vehicle ahead of the vehicle equipped with the outside-vehicle image display device is received, it is possible to visualize the field of view obstructed by the preceding vehicle.
[0012]
According to a third aspect of the present invention, in the vehicle exterior image display device according to the first aspect of the present invention, the image synthesizing unit receives the image captured by the external vehicle image capturing unit by the image receiving unit. And combining a part of the outside video information.
[0013]
According to this configuration, since the part of the outside image information received by the image receiving unit is combined with the image captured by the outside image capturing unit, the field of view blocked by the obstacle is appropriately visualized. can do.
[0014]
According to a fourth aspect of the present invention, there is provided the out-of-vehicle image display device according to the first aspect of the present invention, further comprising an image transmitting means for transmitting the new out-of-vehicle image information created by the image combining means to the outside. It is characterized by having.
[0015]
According to this configuration, the new outside-vehicle image information created by the image synthesizing unit is transmitted to the outside, so that the field of view that is blocked by an obstacle outside can be visualized.
[0016]
According to a fifth aspect of the present invention, there is provided the out-of-vehicle image display device according to the fourth aspect of the present invention, wherein the image transmitting means displays new out-of-vehicle image information created by the image synthesizing means in the out-of-vehicle image display. The transmission is performed to a vehicle behind the vehicle on which the device is mounted.
[0017]
According to this configuration, the new outside image information created by the image synthesizing means is transmitted to a vehicle behind the vehicle equipped with the outside image display device, so that the rear vehicle is blocked by an obstacle. It is possible to visualize the field of view being viewed.
[0018]
According to a sixth aspect of the present invention, there is provided an outside-vehicle image display device according to the first aspect of the invention, which measures an inter-vehicle distance with a vehicle ahead of a vehicle on which the outside-image display device is mounted. Means, and a visibility state determining means for determining whether or not the forward field of view is blocked by the inter-vehicle distance measuring means, further comprising: when it is determined that the forward field of view is blocked by the forward vehicle, It is characterized in that outside image information is received from the image receiving means.
[0019]
According to this configuration, since the inter-vehicle distance to the vehicle ahead of the vehicle equipped with the external image display device is measured to determine whether or not the front view is blocked, the determination of the visibility state is performed. Can be done properly.
[0020]
According to a seventh aspect of the present invention, there is provided the out-of-vehicle image display device according to the first aspect, wherein the three-dimensional measuring device measures the environment in a range photographed by the out-of-vehicle image photographing means. 3D measurement means, a measurement value reception means for receiving an external three-dimensional measurement value, and a viewpoint by the camera with respect to the outside image information based on the three-dimensional measurement value received by the measurement value reception means. And a viewpoint conversion unit for converting the image into a video signal and supplying the converted image data to the video synthesizing unit.
[0021]
According to this configuration, based on the three-dimensional measurement value received by the measurement value receiving means, the image information outside the vehicle is converted into a viewpoint by the camera and supplied to the image synthesizing means. The visual field can be visualized so as to be more easily recognized.
[0022]
According to an eighth aspect of the present invention, there is provided the out-of-vehicle image display device according to the seventh aspect of the present invention, wherein the three-dimensional measurement value received by the three-dimensional measurement means is received by the measured value receiving means. It is characterized by further comprising a measured value synthesizing means for synthesizing the values.
[0023]
According to this configuration, since the three-dimensional measurement value received by the measurement value reception unit is combined with the three-dimensional measurement value acquired by the three-dimensional measurement unit, the field of view that is obstructed by an external obstacle can be improved. It can be visualized for easy recognition.
[0024]
According to a ninth aspect of the present invention, in the vehicle exterior image display device according to the eighth aspect of the present invention, there is provided a measurement value transmitting unit for transmitting a new three-dimensional measurement value created by the measurement value combining unit to the outside. Is further provided.
[0025]
According to this configuration, the new three-dimensional measurement value created by the measurement value synthesizing unit is transmitted to the outside, so that the visual field blocked by an obstacle outside is visualized so as to be more easily recognized. be able to.
[0026]
According to a tenth aspect of the present invention, in the out-of-vehicle image display device according to the ninth aspect, the measurement value transmitting unit transmits the new three-dimensional measurement value created by the measurement value synthesizing unit to the outside. The transmission is performed to a vehicle behind the vehicle equipped with the outside image display device.
[0027]
According to this configuration, the new three-dimensional measurement value created by the measurement value synthesizing unit is transmitted to a vehicle behind the vehicle equipped with the external image display device. It is possible to visualize the field of vision obstructed by the image so as to be more easily recognized.
[0028]
According to an eleventh aspect of the present invention, there is provided the outside image display device according to the first aspect, wherein the image receiving means obstructs a visual field ahead of a vehicle on which the outside image display device is mounted. It is characterized by receiving video information outside the vehicle from an obstacle object.
[0029]
According to this configuration, since the image information outside the vehicle is received from an obstacle, which is an obstacle to the visual field ahead of the vehicle equipped with the image display device, the view blocked by the obstacle is visualized. can do.
[0030]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
[0031]
(First Embodiment)
FIG. 1 is a block diagram showing a configuration of an outside-vehicle image display system 100 according to the first embodiment of the present invention. In FIG. 1, the outside-vehicle image display system 100 according to the present embodiment transmits outside-vehicle image information 122 that is information obtained by visualizing a situation outside the vehicle from the viewpoint of the installed camera 112 to a second vehicle. An image obtained by receiving the outside image display device 102 mounted on the vehicle B and the outside image information 122, and combining the outside image information 122 received with the image information of the outside situation from the viewpoint of the installed camera 111. The external video display device 101 mounted on the first vehicle A for transmitting new external video information 121 as information to the vehicle behind, and the viewpoint from the camera 113 installed and receiving the external video information 121 And a vehicle exterior image display device 103 mounted on a third vehicle C that combines the vehicle exterior image information 121 received with information obtained by visualizing the vehicle exterior situation by the vehicle. There.
[0032]
FIG. 2 is a block diagram illustrating a configuration of the external video display device 102 mounted on the second vehicle B. In FIG. 2, an outside-vehicle image display device 102 mounted on a second vehicle B includes a camera 112 for photographing the front of the vehicle to obtain outside-vehicle image information 122, and an outside image for photographing the front of the vehicle (outside the vehicle) with the camera 112. An image capturing unit 114, an image display device 142 that displays an image captured by the camera 112, an image transmitting unit 115 that transmits outside-of-vehicle image information 122, and a wireless device that transmits and receives data to and from a first vehicle A that is a rear vehicle. A communication interface 152.
[0033]
FIG. 3 is a block diagram illustrating a configuration of the external video display device 101 mounted on the first vehicle A. In FIG. 3, an outside image display device 101 mounted on a first vehicle A includes a camera 111 for photographing the front of the vehicle, an outside image photographing unit 114 for photographing the front of the vehicle (outside the vehicle) by the camera 111, and a front vehicle. A wireless communication interface 151 that transmits and receives data to and from a certain second vehicle B and a third vehicle C that is a rear vehicle, and an image that receives outside-vehicle image information 122 from the second vehicle B via the wireless communication interface 151. A receiving unit 116, a video synthesizing unit 118 for synthesizing the video captured by the external video capturing unit 114 with the external video information 122 received by the video receiving unit 116, and new external video information created by the video synthesizing unit 118 An image display device 141 for displaying the image 121 and new image information 121 outside the vehicle are transmitted to the third vehicle via the wireless communication interface 151. A video transmitting unit 115 for transmitting to, and a.
[0034]
FIG. 4 is a block diagram showing a configuration of the external image display device 103 mounted on the third vehicle C. In FIG. 4, an outside image display device 103 mounted on a third vehicle C includes a camera 113 for photographing the front of the vehicle, an outside image photographing unit 114 for photographing the front of the vehicle (outside the vehicle) by the camera 113, and a front vehicle. A wireless communication interface 153 for transmitting and receiving data to and from a certain first vehicle A, an image receiving unit 116 for receiving the outside image information 121 from the first vehicle A via the wireless communication interface 153, and an outside image photographing unit 114 A video synthesizing unit 118 for synthesizing the external video information 121 received by the video receiving unit 116 with the video captured by the camera, a video display device 143 for displaying new external video information 123 created by the video synthesizing unit 118, It has.
[0035]
When a certain vehicle receives data, it transmits data request information to a preceding vehicle in advance, and the preceding vehicle transmits data to the preceding vehicle in response to the request. For example, when the first vehicle A receives data, the data request information is transmitted in advance to the second vehicle B, which is the preceding vehicle, and the second vehicle B transmits to the first vehicle A accordingly. It is designed to transmit data.
[0036]
Each of the image display devices 101 to 103 outside the vehicle further has an inter-vehicle distance measuring unit 161 for measuring the inter-vehicle distance with the preceding vehicle, and whether the inter-vehicle distance with the preceding vehicle is short by the inter-vehicle distance measuring unit 161 and obstructs the view ahead. And a visibility state determination unit 162 for determining whether or not this is the case. For example, if the visibility state determination unit 162 of a certain vehicle determines that the visibility is good, the vehicle is recognized as the second vehicle B. In addition, when the visibility state determination unit 162 of a certain vehicle determines that the visibility is poor due to the vehicle ahead, if there is a request for outside image information from the rear vehicle, it is necessary to transmit the outside image information to the rear vehicle. Therefore, the vehicle is recognized as the first vehicle A, and if there is no request for outside image information from the rear vehicle, the vehicle is recognized as the third vehicle C because there is no need to transmit outside image information to the rear vehicle. .
[0037]
Next, the operation of the thus-configured outside-vehicle image display system 100 according to the present embodiment will be described with reference to the flowchart in FIG.
[0038]
First, in a certain vehicle, the visibility state determination unit 162 determines whether or not the visibility ahead is good (step S101). If it is determined in step S101 that the field of view is good, the vehicle is the second vehicle B, and the image from the camera 112 installed is displayed on the image display device 142 as it is (step S102). . Next, it is determined whether or not data request information has been received from the following vehicle via the wireless communication interface 152 (step S103). When the data request information has been received, the video transmitting unit 115 transmits the data request information via the wireless communication interface 152. The image by the camera 112 is transmitted as the outside image information 122 to the first vehicle A, which is the vehicle behind (step S104), and the process returns to step S101.
[0039]
On the other hand, if it is determined in step S101 that the field of view is poor, the vehicle is the first vehicle A or the third vehicle C, and the data request information is transmitted to the vehicle ahead in the wireless communication interface 151 or 153. (Step S105). Next, the video receiving unit 116 receives the external video information 122 or 121 from the preceding vehicle via the wireless communication interface 151 or 153 (step S106). Next, a part of the received outside-vehicle image information 122 or 121 is synthesized with a part of the image captured by the installed camera 111 or 113, the part of which is blocked by the vehicle in front, and a new visual Is created (step S107). Next, the synthesized outside image information 121 or 123 is displayed on the image display device 141 or 143 (step S108).
[0040]
Next, it is determined whether data request information has been received from the following vehicle via the wireless communication interface 151 or 153 (step S103). When the data request information has been received, the vehicle is the first vehicle A. That is, the video transmitting unit 115 transmits the external video information 121 to the third vehicle C via the wireless communication interface 151 (step S104), and returns to step S101.
[0041]
Here, an example of the environment such as the position of each vehicle and the building in the current situation is shown in FIG. 6, and the specific processing will be described. In the environment of FIG. 6, the traffic light 104 is installed at the intersection, and the buildings 105 to 108 are respectively arranged. The image shown by the camera 112 installed in the second vehicle B shown in FIG. 7A has a good view because there is no obstacle in front of the vehicle.
[0042]
On the other hand, the visual field of the image by the camera 111 installed in the first vehicle A shown in FIG. 7B is blocked by the presence of the second vehicle B. Therefore, the first vehicle A receives the outside image information 122, which is the image of FIG. 7A, from the second vehicle B ahead, and registers the second vehicle B in advance as shown in FIG. 7D. By detecting, for example, a rectangular area 109 that covers the second vehicle B by performing a method of determining from an image based on the obtained vehicle image pattern, and performing reduction and trimming on the received outside vehicle image information 122, Compositing is performed so as to conform to the rectangular area 109. For example, a partial video of the outside video information 122 is extracted so that there is no break in the image of the image outside the rectangular area 109 and the received portion of the outside video information 122 that is synthesized, and fitted into the rectangular area 109. FIG. 7E shows the outside video information 121 created in this manner.
[0043]
Further, the visual field of the image by the camera 113 installed in the third vehicle C shown in FIG. 7C is blocked by the presence of the first vehicle A and the second vehicle B. Therefore, the third vehicle C receives the outside-vehicle image information 121, which is the image of FIG. 7E, from the first vehicle A ahead, and as shown in FIG. For example, a rectangular area 110 that covers the vehicle B is determined, and the received outside-of-vehicle image information 121 is reduced and trimmed, so that synthesis is performed so as to conform to the rectangular area 110. FIG. 7 (g) shows the outside video information 123 created in this way.
[0044]
Note that the camera installed in the vehicle in the vehicle exterior image display system 100 described in the present embodiment is limited to photographing only the front, but as shown in FIG. If the vehicle is a long vehicle as described above, or if the inter-vehicle distance between the first vehicle A and the second vehicle B is too short, the blind spot is invisible from the cameras of both the first vehicle and the second vehicle. Since a portion appears, a camera may be installed in any portion of the vehicle so that images in all directions can be taken, so that the image can be synthesized and visualized even in a blind spot portion.
[0045]
Further, in the present embodiment, the visual field in the forward direction is clarified. However, cameras in all directions may be installed to clarify the visual field in any direction.
[0046]
(Second embodiment)
FIG. 9 is a block diagram illustrating a configuration of an outside-vehicle image display system 200 according to the second embodiment of the present invention. The image display system 200 outside the vehicle according to the present embodiment is different from the image display system 100 outside the vehicle according to the first embodiment in that the first vehicle and the second vehicle are further tertiary-controlled with respect to the environment of the photographing range of the camera. The difference is that a three-dimensional measuring device for performing the original measurement is installed, and that a three-dimensional measurement value measured by the three-dimensional measuring device is added to data to be transmitted and received via the wireless communication interface.
[0047]
That is, in FIG. 9, the outside-vehicle image display system 200 according to the present embodiment includes outside-vehicle image information 222 that is information obtained by visualizing a situation outside the vehicle from the viewpoint of the installed camera 212 and the environment of the shooting range of the camera 212. The external image display device 202 mounted on the second vehicle B that transmits the three-dimensional measurement value 262 by the three-dimensional measuring device 232 that performs three-dimensional measurement to the vehicle behind, the external image information 222, and the three-dimensional measurement The value 262 is received, and the outside image information 222 received from the camera 211 installed is visualized as information obtained by visualizing the situation outside the vehicle. The new image information is image information that is synthesized after viewpoint conversion based on the three-dimensional measurement value 262. The three-dimensional measuring device 2 that transmits the outside-of-vehicle image information 221 to the vehicle behind and performs three-dimensional measurement on the environment in the shooting range of the camera 211. The external image display device 201 mounted on the first vehicle A that transmits a new three-dimensional measurement value 261 that is a measurement value obtained by combining the received three-dimensional measurement value 262 with the three-dimensional measurement value 262 to the vehicle behind the vehicle 1 And the outside video information 221 and the three-dimensional measurement value 261 are received, and the outside vehicle image information 221 received as information visualizing the situation outside the vehicle from the viewpoint from the installed camera 213 is converted into a viewpoint based on the three-dimensional measurement value 261. And an outside-vehicle image display device 203 mounted on a third vehicle C to be combined after the conversion.
[0048]
FIG. 10 is a block diagram illustrating a configuration of the external image display device 202 mounted on the second vehicle B. In FIG. 10, an outside image display device 202 mounted on a second vehicle B includes a camera 212 that photographs the front of the vehicle to obtain outside image information 222, and an outside image that photographs the front of the vehicle (outside the vehicle) with the camera 212. A photographing unit 214, a video display device 242 for displaying a video photographed by the camera 212, a video transmitting unit 215 for transmitting outside-of-vehicle video information 222, and an environment of a photographing range of the camera 212 to acquire a three-dimensional measurement value 262. A three-dimensional measuring device 232 that performs three-dimensional measurement using ultrasonic waves, lasers, infrared rays, and the like, a three-dimensional measuring unit 234 that performs three-dimensional measurement using the three-dimensional measuring device 232, and a three-dimensional measurement value 262 are transmitted. And a wireless communication interface 252 for transmitting and receiving data to and from a first vehicle A, which is a rear vehicle.
[0049]
FIG. 11 is a block diagram illustrating a configuration of the external video display device 201 mounted on the first vehicle A. In FIG. 11, an outside image display device 201 mounted on a first vehicle A includes a camera 211 for photographing the front of the vehicle, an outside image photographing unit 214 for photographing the front of the vehicle (outside the vehicle) by the camera 211, and a front vehicle. A wireless communication interface 251 for transmitting and receiving data to and from a certain second vehicle B and a third vehicle C which is a rear vehicle, and a video image for receiving external video information 222 from the second vehicle B via the wireless communication interface 251 A receiving unit 216, a viewpoint conversion unit 217 that performs viewpoint conversion on the outside video information 222 based on a three-dimensional measurement value 262 received by a measurement value reception unit 236 described below, and an image captured by the outside image capturing unit 214. And a video synthesizing unit 218 for synthesizing the video information 222 outside the vehicle whose viewpoint has been converted by the viewpoint converting unit 217. An image display device 241 for displaying the image information 221 outside the vehicle, an image transmission unit 215 for transmitting the new image information 221 outside the vehicle to the third vehicle C via the wireless communication interface 251, and an environment of the shooting range of the camera 211. , A three-dimensional measuring unit 234 for performing three-dimensional measurement by the three-dimensional measuring device 231, and a three-dimensional measurement value 262 from the second vehicle B to the wireless communication interface 251. A measurement value reception unit 236 that receives the measurement value via the measurement value reception unit 236, a measurement value synthesis unit 237 that combines the three-dimensional measurement value 262 received by the measurement value reception unit 236 with the three-dimensional measurement value acquired by the three-dimensional measurement unit 234, The measurement value transmission unit 2 that transmits the new three-dimensional measurement value 261 created by the synthesis unit 237 to the third vehicle C via the wireless communication interface 251. And 5, and a.
[0050]
FIG. 12 is a block diagram illustrating a configuration of the external image display device 203 mounted on the third vehicle C. In FIG. 12, an outside image display device 203 mounted on a third vehicle C includes a camera 213 for photographing the front of the vehicle, an outside image photographing unit 214 for photographing the front of the vehicle (outside the vehicle) by the camera 213, and a vehicle ahead. A wireless communication interface 253 for transmitting and receiving data to and from a certain first vehicle A; a video receiving unit 216 for receiving outside-vehicle image information 221 from the first vehicle A via the wireless communication interface 253; Receiving a three-dimensional measurement value 261 from the camera via the wireless communication interface 253, and performs viewpoint conversion on the outside video information 221 based on the three-dimensional measurement value 261 received by the measurement value receiving unit 236. Viewpoint conversion unit 217, and outside-vehicle image information in which the viewpoint is converted by the viewpoint conversion unit 217 into an image captured by the outside-image capturing unit 214. An image synthesizing unit 218 for synthesizing 21, a video display device 243 for displaying the new exterior image information 223 created by the image combining unit 218, a.
[0051]
It should be noted that when a certain vehicle receives data, it transmits data request information to a preceding vehicle in advance, and the preceding vehicle transmits data to the vehicle in response to the request. This is the same as the external image display system 100 according to the first embodiment.
[0052]
Further, each of the external image display devices 201 to 203 further includes an inter-vehicle distance measuring unit 271 and a visibility state determining unit 272, similarly to the external image display system 100 in the first embodiment described above.
[0053]
Next, the operation of the thus-configured outside-vehicle image display system 200 according to the present embodiment will be described with reference to the flowchart in FIG.
[0054]
First, in a certain vehicle, the visibility state determination unit 272 determines whether the visibility ahead is good (step S201). If it is determined in step S201 that the field of view is good, the vehicle is the second vehicle B, and the image from the installed camera 212 is displayed on the image display device 242 as it is (step S202). . Next, the environment such as a building existing in the shooting range of the installed camera 212 is three-dimensionally measured by the three-dimensional measuring unit 234 using the three-dimensional measuring device 232 (step S203). Next, it is determined whether or not data request information has been received from the following vehicle via the wireless communication interface 252 (step S204). When the data request information has been received, the video communication unit 215 and the measurement value transmission unit 235 perform wireless communication. Via the interface 252, the external image information 222 and the three-dimensional measurement value 262, which are images from the camera 212, are transmitted to the first vehicle A, which is the rear vehicle (step S205), and the process returns to step S201.
[0055]
On the other hand, if it is determined in step S201 that the field of view is poor, the vehicle is the first vehicle A or the third vehicle C, and the data request information is transmitted to the preceding vehicle via the wireless communication interface 251 or 253. (Step S206). Next, the video receiving unit 216 and the measured value receiving unit 236 receive the external image information 222 or 221 and the three-dimensional measured value 262 or 261 from the vehicle in front via the wireless communication interface 251 or 253 (step S207). Next, a process is performed by the viewpoint conversion unit 217 for converting the received outside video information 222 or 221 into a viewpoint based on the installed camera 211 or 213 based on the three-dimensional measurement value 262 or 261 (step). S208). Next, a part of the image information captured by the installed camera 211 or 213 whose view is obstructed by the vehicle in front is synthesized with a part of the image information outside the vehicle subjected to the viewpoint conversion to newly add Is created (step S209). Next, the synthesized outside image information 221 or 223 is displayed on the image display device 241 or 243 (step S210). Next, the environment such as a building existing in the photographing range of the installed camera 211 or 213 is three-dimensionally measured by the three-dimensional measuring unit 234 using the three-dimensional measuring device 231 (step S211). Next, the three-dimensional measurement value 262 or 261 received by the measurement value receiving unit 236 is combined with the measured three-dimensional measurement value, thereby creating a three-dimensional measurement value for the combined outside image information 221 or 223. (Step S212).
[0056]
Next, it is determined whether or not data request information has been received from the following vehicle via the wireless communication interface 251 or 253 (step S204). When the data request information has been received, the vehicle is the first vehicle A. That is, the image transmitting unit 215 and the measured value transmitting unit 235 transmit the outside-of-vehicle image information 221 and the three-dimensional measured value 262 to the third vehicle C via the wireless communication interface 251 (step S205). Return.
[0057]
In the present embodiment, by transmitting and receiving a three-dimensional measurement value together with image information outside the vehicle, distortion generated when images are combined is corrected from parallax due to a difference in absolute position of a camera installed in each vehicle. However, in order to make the vehicle obstructing the field of view in all directions visible from the vehicle transparent or to be able to visualize the blind spot, the camera can capture images in all directions. May be installed. However, in that case, a three-dimensional measuring device must also be installed so that three-dimensional measurement can be performed in those directions.
[0058]
Further, in order to correct the distortion generated when synthesizing the video, an acquired video processing unit is provided which performs image processing on the received outside video information so as to be a viewpoint from a camera installed in the vehicle. Is also good.
[0059]
(Third embodiment)
FIG. 14 is a block diagram illustrating a configuration of an outside-vehicle image display system 300 according to the third embodiment of the present invention. The image display system 300 outside the vehicle according to the present embodiment is different from the image display system 100 outside the vehicle according to the first embodiment described above in that the obstacle object 302 that can obstruct the field of view from the vehicle, such as a building or a tree other than the vehicle. The difference is also that a camera 312 and a wireless communication interface are provided.
[0060]
That is, in FIG. 14, the outside-vehicle image display system 300 according to the present embodiment transmits an image of an outdoor situation from the viewpoint of the installed camera 312 as image information 322 to the following vehicle. X is mounted on the vehicle A that receives the video information 322 and the video information 322, and combines the received video information 322 with information that visualizes the situation outside the vehicle from the viewpoint of the installed camera 311. And a video display device 301 outside the vehicle.
[0061]
FIG. 15 is a block diagram illustrating a configuration of the external video display device 301 mounted on the vehicle A. In FIG. 15, an outside image display device 301 mounted on a vehicle A includes a camera 311 for photographing the front of the vehicle, an outside image photographing unit 314 for photographing the outside of the vehicle (outside the vehicle) by the camera 311, an obstacle X, and a rear vehicle. A wireless communication interface 351 for transmitting / receiving data to / from a (forward vehicle); an obstacle detection unit 303 for detecting the presence of the obstacle X within the shooting range of the camera 311; A video receiving unit 316 that receives video information 322 from X via the wireless communication interface 351, and a video combining unit that combines the video information 322 received by the video receiving unit 316 with the video captured by the external video capturing unit 314. 318, and a video display device 34 that displays new outside video information 321 created by the video synthesis unit 318. When, a new exterior image information 321 via a wireless communication interface 351 and the image transmitting unit 315 to be transmitted to the following vehicle, a.
[0062]
FIG. 16 is a block diagram illustrating a configuration of the video transmission device 302 installed on the obstacle X. In FIG. 16, a video transmission device 302 installed on an obstacle X includes a camera 312 that captures a direction of a blind spot when viewed from the vehicle A to acquire video information 322, and a video capturing unit that captures video using the camera 312. 314, a video transmission unit 315 for transmitting video information 322, and a wireless communication interface 352 for transmitting and receiving data to and from the vehicle A.
[0063]
Note that, when the vehicle A receives data, the data request information is transmitted to the obstacle X in advance, and the obstacle X transmits data to the vehicle A accordingly. This is the same as the external image display system 100 according to the first embodiment.
[0064]
Next, the operation of the thus-configured outside-vehicle image display system 300 in the present embodiment will be described with reference to the flowchart in FIG.
[0065]
First, in the vehicle A on which the outside-vehicle image display device 301 is mounted, the obstacle detection unit 303 finds the obstacle X within the shooting range of the camera 311 (step S301). Next, upon finding the obstacle X, the vehicle A transmits data request information to the obstacle X via the wireless communication interface 351 (step S302). Next, the video receiving unit 316 receives the video information 322 from the obstacle X via the wireless communication interface 351 (Step S303). Next, a part of the received video information 322 is combined with a part of the video captured by the installed camera 311 where the visual field is blocked by the obstacle X, and the field of view is newly clarified. The outside video information 321 is created (step S304). Next, the synthesized outside image information 321 is displayed on the image display device 341 (step S305).
[0066]
Note that, in the present embodiment, an example has been described in which a camera and a wireless communication interface are also installed on obstacles that obstruct the visual field such as buildings and trees other than vehicles, but the outside image information 321 created by synthesis is used. The image information 322 can be further transmitted to the following vehicle by the image transmitting unit 315, and the image information 322 can be combined with the outside image information received from the preceding vehicle.
[0067]
As described above, according to the external image display system 300 of the first embodiment, the external image display system 300 of the present embodiment can receive image information from various obstacles. Even in a blind spot from a vehicle whose view is obstructed by the backside of a building or trees, etc., by receiving image information from the obstacle itself, there is no blind spot seen from the driver's eyes Can be displayed.
[0068]
As is clear from the above description, the guidance information and the route information obtained from the map data are combined with the image obtained by the outside image display device of the present invention, in which the preceding vehicle or obstacle obstructing the view is made transparent. It is possible to obtain an image without obstructing the view in the same environment as the view seen from the driver, compared to the environment based on the 3D image created from the map data as in the conventional navigation system, Is high, and it is less likely to give false recognition.
[0069]
【The invention's effect】
According to the outside image display device of the present invention, since the outside image information received by the image receiving unit is combined with the image captured by the outside image capturing unit and displayed, the image is blocked by an obstacle. The visual field can be visualized.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an outside-vehicle image display system according to a first embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of an external image display device mounted on a second vehicle according to the first embodiment of the present invention;
FIG. 3 is a block diagram showing a configuration of an external image display device mounted on the first vehicle according to the first embodiment of the present invention.
FIG. 4 is a block diagram showing a configuration of an external image display device mounted on a third vehicle according to the first embodiment of the present invention.
FIG. 5 is a flowchart for explaining the operation of the vehicle outside image display system according to the first embodiment of the present invention;
FIG. 6 is a diagram showing an example of an environment according to the first embodiment of the present invention;
FIG. 7 is a view showing a display example of an image outside the vehicle according to the first embodiment of the present invention;
FIG. 8 is a diagram illustrating an example of a case where a blind spot exists according to the first embodiment of the present invention.
FIG. 9 is a block diagram illustrating a configuration of an outside-vehicle image display system according to a second embodiment of the present invention.
FIG. 10 is a block diagram showing a configuration of an external image display device mounted on a second vehicle according to a second embodiment of the present invention.
FIG. 11 is a block diagram showing a configuration of an external image display device mounted on a first vehicle according to a second embodiment of the present invention.
FIG. 12 is a block diagram showing a configuration of an external image display device mounted on a third vehicle according to a second embodiment of the present invention.
FIG. 13 is a flowchart for explaining the operation of the external image display system according to the second embodiment of the present invention;
FIG. 14 is a block diagram showing a configuration of an outside-vehicle image display system according to a third embodiment of the present invention.
FIG. 15 is a block diagram showing a configuration of an external video display device mounted on a vehicle according to a third embodiment of the present invention.
FIG. 16 is a block diagram illustrating a configuration of a video transmission device installed on an obstacle according to a third embodiment of the present invention.
FIG. 17 is a flowchart for explaining the operation of the outside-vehicle image display system according to the third embodiment of the present invention;
[Explanation of symbols]
100, 200, 300 Outside image display system
101-103, 201-203, 301 Outside image display device
104 traffic light
105-108 building
111-113, 211-213, 311-212 Camera
114, 214, 314 Image capturing unit outside the vehicle
115, 215, 315 Video transmission unit
116, 216, 316 Video receiver
118, 218, 318 Video synthesis unit
121-123, 221-223, 321 Outside video information
141-143, 241-243, 341 Video display device
151-153, 251-253, 351-352 Wireless communication interface
161, 271 Distance measuring unit
162, 272 visibility state determination unit
217 Viewpoint conversion unit
231-232 Three-dimensional measuring instrument
234 3D measurement unit
235 Measurement value transmission unit
236 Measurement value receiving unit
237 Measurement value synthesis unit
261-262 Three-dimensional measurement values
302 Video transmission device
303 Obstacle Object Detection Unit
322 Video information

Claims

An outside image photographing means for photographing the outside of the vehicle with a camera,
Video receiving means for receiving external video information from outside the vehicle,
Image synthesizing means for synthesizing the image captured by the image capturing means outside the vehicle with the image information outside the vehicle received by the image receiving means,
An image display device for displaying new outside image information created by the image combining means,
A video display device outside a vehicle, comprising:

The outside image display device according to claim 1, wherein the image reception unit receives outside image information from a vehicle ahead of a vehicle on which the outside image display device is mounted.

2. The external video display device according to claim 1, wherein the video synthesizing unit synthesizes a part of the external video information received by the video receiving unit with the video captured by the external video capturing unit. 3.

The outside-vehicle image display device according to claim 1, further comprising an image transmission unit that transmits new outside-of-vehicle image information created by the image combining unit to the outside.

The outside image according to claim 4, wherein the image transmission unit transmits the new outside image information created by the image combination unit to a vehicle behind the vehicle equipped with the outside image display device. Display device.

An inter-vehicle distance measuring unit that measures an inter-vehicle distance with a vehicle ahead of the vehicle equipped with the outside-vehicle image display device, and a visibility state determining unit that determines whether a forward view is blocked by the inter-vehicle distance measuring unit. The image display device according to claim 1, further comprising: receiving image information outside the vehicle from the image receiving means when it is determined that the field of view ahead is blocked by the vehicle ahead. .

A three-dimensional measuring unit that performs three-dimensional measurement with a three-dimensional measuring device on an environment in a range that is photographed by the outside video photographing unit; a measured value receiving unit that receives a three-dimensional measured value from outside; A viewpoint conversion unit for converting the outside-of-vehicle image information into a viewpoint by the camera based on the three-dimensional measurement value received by the value reception unit and supplying the viewpoint to the image synthesizing unit. Item 4. An external image display device according to item 1.

The outside-vehicle image display according to claim 7, further comprising a measurement value combining unit that combines the three-dimensional measurement value received by the measurement value reception unit with the three-dimensional measurement value acquired by the three-dimensional measurement unit. apparatus.

9. The external image display device according to claim 8, further comprising a measurement value transmitting unit that transmits a new three-dimensional measurement value created by the measurement value combining unit to the outside.

The measurement value transmitting means transmits a new three-dimensional measurement value created by the measurement value synthesizing means to a vehicle behind a vehicle equipped with the external image display device, according to claim 9, wherein Image display device outside the car.

2. The external video display device according to claim 1, wherein the video receiving unit receives external video information from an obstacle that obstructs a visual field ahead of a vehicle equipped with the external video display device. 3.