JP7294886B2 - Image processing device, imaging device, and moving object - Google Patents
Image processing device, imaging device, and moving object Download PDFInfo
- Publication number
- JP7294886B2 JP7294886B2 JP2019100716A JP2019100716A JP7294886B2 JP 7294886 B2 JP7294886 B2 JP 7294886B2 JP 2019100716 A JP2019100716 A JP 2019100716A JP 2019100716 A JP2019100716 A JP 2019100716A JP 7294886 B2 JP7294886 B2 JP 7294886B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- steering angle
- processing device
- moving body
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、画像処理装置、撮像装置、および移動体に関するものである。 The present invention relates to an image processing device, an imaging device, and a moving body.
車両などの移動体に関して、運転者の運転を支援する多様な技術が開発されている。例えば、車両の後退時に後方の被写体を撮影して、被写体像に走行予想軌跡を重畳して表示する駐車補助装置が提案されている(特許文献1参照)。 Various technologies have been developed for assisting the driving of a driver of a moving object such as a vehicle. For example, there has been proposed a parking assistance device that captures an image of an object behind the vehicle when the vehicle is backing up and displays an image of the object in which an expected travel trajectory is superimposed (see Patent Document 1).
しかし、特許文献1に記載の駐車補助装置では、走行予想軌跡が表示されるに過ぎず、多様な目的に対する運転支援は困難であった。 However, with the parking assistance device described in Patent Document 1, it is difficult to provide driving assistance for various purposes because it only displays the expected travel locus.
従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、多様な目的に対する運転支援を行う画像処理装置、撮像装置、および移動体を提供することにある。 Accordingly, an object of the present disclosure, which has been made in view of the problems of the conventional technology as described above, is to provide an image processing device, an imaging device, and a moving body that perform driving assistance for various purposes.
上述した諸課題を解決すべく、第1の観点による画像処理装置は、
移動体から舵角情報を、撮像部から画像信号を取得する取得部と、
前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である。
また、別の観点による画像処理装置は、
移動体から舵角情報を、撮像部から画像信号を取得する取得部と、
前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記移動体の上下方向から傾斜した方向に延伸するオブジェクトである。
In order to solve the above-mentioned problems, the image processing device according to the first aspect includes:
an acquisition unit that acquires steering angle information from the moving object and an image signal from the imaging unit;
An index indicating a position of a specific point at a specific position with respect to the imaging unit for each different movement distance in movement of the moving body at a steering angle corresponding to the steering angle information is provided in the image signal. a control for drawing on a corresponding image;
The indicator is an arc with the specific point before movement as a reference.
In addition, an image processing device according to another aspect is
an acquisition unit that acquires steering angle information from the moving object and an image signal from the imaging unit;
An index indicating a position of a specific point at a specific position with respect to the imaging unit for each different movement distance in movement of the moving body at a steering angle corresponding to the steering angle information is provided in the image signal. a control for drawing on a corresponding image;
The indicator is an object that extends in a direction inclined from the vertical direction of the moving object according to the steering angle.
また、第2の観点による撮像装置は、
移動体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記移動体から舵角情報を取得し、前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である。
また、別の観点による撮像装置は、
移動体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記移動体から舵角情報を取得し、前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記移動体の上下方向から傾斜した方向に延伸するオブジェクトである。
In addition, the imaging device according to the second aspect is
an imaging unit that is fixed at a predetermined position on a moving body in a predetermined posture and that generates an image signal by imaging;
Steering angle information is acquired from the moving body, and a specific point at a specific position with respect to the imaging unit moves at a steering angle corresponding to the steering angle information for each different movement distance when the moving body moves. a control unit that draws an index indicating the position of the image signal on the image corresponding to the image signal,
The indicator is an arc with the specific point before movement as a reference.
In addition, an imaging device according to another aspect is
an imaging unit that is fixed at a predetermined position on a moving body in a predetermined posture and that generates an image signal by imaging;
Steering angle information is acquired from the moving body, and a specific point at a specific position with respect to the imaging unit moves at a steering angle corresponding to the steering angle information for each different movement distance when the moving body moves. a control unit that draws an index indicating the position of the image signal on the image corresponding to the image signal,
The indicator is an object that extends in a direction inclined from the vertical direction of the moving object according to the steering angle.
また、第3の観点による移動体は、
本体と
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記撮像部を基準にした特定の位置にある特定点の、前記本体の舵角での該本体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である。
また、別の観点による移動体は、
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記撮像部を基準にした特定の位置にある特定点の、前記本体の舵角での該本体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記本体の上下方向から傾斜した方向に延伸するオブジェクトである。
In addition, the moving object according to the third aspect is
a main body; an imaging unit fixed at a predetermined position on the main body in a predetermined posture and configured to generate an image signal by imaging;
An index indicating the position of a specific point at a specific position with respect to the imaging unit for each different movement distance in the movement of the main body at the steering angle of the main body is displayed on the image corresponding to the image signal. a control unit for drawing;
The indicator is an arc with the specific point before movement as a reference.
In addition, a moving object from another viewpoint is
the main body;
an imaging unit that is fixed at a predetermined position on the main body in a predetermined posture and that generates an image signal by imaging;
An index indicating the position of a specific point at a specific position with respect to the imaging unit for each different movement distance in the movement of the main body at the steering angle of the main body is displayed on the image corresponding to the image signal. a control unit for drawing;
The index is an object extending in a direction inclined from the vertical direction of the main body according to the steering angle.
上記のように構成された本開示に係る画像処理装置、撮像装置、および移動体によれば、多様な目的に対する運転支援が行われ得る。 According to the image processing device, the imaging device, and the moving object according to the present disclosure configured as described above, driving assistance can be performed for various purposes.
以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。 An embodiment of an image processing apparatus to which the present disclosure is applied will be described below with reference to the drawings.
図1に示すように、本開示の一実施形態に係る画像処理装置を含む撮像装置10は、移動体11に搭載される。撮像装置10は、移動体11の周辺を撮像可能に取り付けられている。撮像装置10は、撮像した画像を画像信号として、例えば運転者に視認可能な位置に設けられているディスプレイ12に出力する。ディスプレイ12は、取得した画像信号に相当する画像を表示する。
As shown in FIG. 1 , an
移動体11は、例えば自動運転機能を備える車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。
The
移動体11は、トレーラおよびキャンピングカーなどの被索引体13を索引可能である。移動体11は、後方の幅方向中央位置にヒッチ14を有する。被索引体13は、前方の幅方向中央位置に連結具15を有する。移動体11および被索引体13は、ヒッチ14および連結具15を介して着脱自在に、連結され得る。
The moving
図2に示すように、撮像装置10は、撮像部16および画像処理装置17を含んで構成される。
As shown in FIG. 2 , the
撮像部16は、移動体11の周辺を撮像して画像信号を生成し、画像処理装置17に出力する。撮像部16は、図1に示す、移動体11の本体18の所定の位置に、所定の姿勢で固定されている。撮像部16は、例えば、移動体11の後方の、本体18の幅方向における中央、本体18の上下方向における屋根近傍に位置する。撮像部16は、光軸が本体18の幅方向に垂直かつ、所定の伏角となるように固定されている。撮像部16は、移動体11の、例えば、後方周辺を撮像することにより画像信号を生成する。
The
図2に示すように、画像処理装置17は、取得部19、記憶部20、出力部21、および制御部22を含んで構成される。
As shown in FIG. 2 , the
取得部19は、画像処理装置17の外部機器からの多様な情報、信号、および指令を取得する。取得部19は、移動体11から舵角情報を取得する。舵角情報は移動体11の舵角に相当する。移動体11は、例えば、搭載するECU(Electronic Control Unit)などの外部機器において舵角情報を出力する。取得部19は、撮像部16から画像信号を取得する。
The
記憶部20は、例えば、RAM(Random Access Memory)およびROM(Read Only Memory)など、任意の記憶デバイスを含む。記憶部20は、制御部22を機能させる多様なプログラム、および制御部22が用いる多様な情報を記憶する。
The
記憶部20は、3次元の移動体座標系からの2次元の画像座標系への座標の変換式または変換表を記憶してよい。移動体座標系は、移動体11の前後方向、幅方向、および上下方向を軸としてよい。画像座標系は、撮像部16が撮像した画像における縦方向および横方向を軸としてよい。変換式または変換表は、撮像部16を本体18に固定する所定の位置および所定の姿勢に基づいて作成されていてよい。
The
また、記憶部20は、特定点の、撮像部16を基準とした特定の位置を記憶してよい。特定の位置は、移動体座標系における座標であってよい。特定点は、ヒッチ14の中心、上端、移動体11の幅方向の中央位置などであってよい。特定点は、荷物の積載をしない状態または所定の重量の荷物を積載した状態における移動体11の上下方向における最低位置、言換えると、路面の高さの位置よりも高い位置であってよい。特定点は、一点に限定されず、複数の点であってよい。複数の特定点は、3つ以上であってよい。3つ以上の特定点は、移動体11の前後方向におけるヒッチ14に重なる位置であって、当該3つ以上の特定点を連結した枠が、ヒッチ14の中心または上端を内包し、さらには当該枠の中心に位置させるように、定められてよい。複数の特定点は、移動体11の幅方向の真ん中を挟んで当該真ん中から等距離にある2つの特定点の対であってもよい。2つの特定点の対において、当該2つの特定点の幅が、移動体11との連結が想定される被索引体13の幅と略等しくてよい。また、複数の特定点は、当該真ん中からの距離が異なる特定点の複数の対であってもよい。複数の対において、それぞれの対を構成する2つの特定点の幅が、移動体11との連結が想定される多様な被索引体13の幅それぞれと略等しくてよい。複数の対は3つ以上であってよく、移動体11の幅方向真ん中から一方の側に並ぶ各対に含まれる特定点の間隔は少なくとも一部において等間隔であってよい。
Further, the
出力部21は、後述する制御部22が画像処理を施した画像を画像信号として、ディスプレイ12に出力する。
The
制御部22は、1以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC;Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD;Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御部22は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってもよい。
制御部22は、舵角情報を取得すると、記憶部20に格納する。制御部22は、記憶部20への格納に際し、複数の舵角情報の中で最新の舵角情報と判別可能になるように、時間情報と関連付けてよい。または、制御部22は、記憶部20への格納に際し、最新の舵角情報のみが格納されるように、以前に格納した舵角情報に上書きしてもよい。
When acquiring the steering angle information, the
制御部22は、特定点の、最新の舵角情報に相当する舵角での移動体11の移動における、互いに異なる移動距離毎の位置を示す指標を、画像信号に相当する画像上に描画する。制御部22は、指標の描画のために、以下に説明するように、画像座標系における、指標を描画する位置を算出してよい。
The
制御部22は、画像座標系における、指標を描画する位置の算出において、まず、移動体座標系における特定点の現在位置から、舵角および移動距離に応じて移動させた位置を算出してよい。移動距離は、本体18の後端から1m、2m、3mなどのように、予め定められていてもよいし、運転者の操作により複数の距離として入力されてもよい。制御部22は、次に、移動体座標系における特定点を移動させた位置を、画像座標系における位置に変換することにより、当該位置を算出してよい。制御部22は、記憶部20に記憶されている変換式または変換表を用いて、移動体座標系の位置から、画像座標系の位置に変換してよい。
In calculating the position for drawing the index in the image coordinate system, the
または、制御部22は、画像座標系における指標を描画する位置の算出において、舵角および移動距離と、特定点の画像座標系における位置とを対応付けられた対応表を用いてもよい。制御部22は、例えば、取得した舵角情報に対応する舵角および移動距離に、当該対応表で対応する画像座標系における位置を読出すことにより、画像座標系における位置を算出してよい。
Alternatively, the
制御部22は、画像座標系における位置の算出後、取得した画像情報に相当する画像上の、算出した画像座標系における位置に指標を描画する。制御部22は、移動距離毎に異なる色で指標を色づけてよい。制御部22は、例えば、移動距離が長くなるにつれて、赤、黄色、青のように色づけてよい。制御部22は、指標を透明または不透明に描画してよい。
After calculating the position in the image coordinate system, the
画像IM中の指標23は、図3に示すように、移動前、言い換えると現在の特定点の位置を基準とした円弧であってよい。さらに、指標23を示す円弧の長さは、移動体11の操舵可能範囲に相当する特定点の変位範囲を示してよい。または、指標23は、図4に示すように、移動後の特定点が末端に位置し、少なくとも一部が移動体11の上下方向に延びるオブジェクトであってよい。少なくとも一部が当該上下方向に延びるオブジェクトとしての指標23は、図5に示すように、特定点が頂点となる錐台形状であってよい。または、指標23は、図6に示すように、移動後の特定点が末端に位置し、舵角に応じて傾斜した方向に延伸するオブジェクトであってよい。または、指標23は、図7に示すように、移動後の特定点(符号「sp」参照)を、移動体11の幅方向の両端に向かって延ばしたオブジェクトであってよい。または、指標23は、図8に示すように、移動体11の前後方向において、移動後の特定点と同じ位置である、移動体11の幅方向両端の路面への両投影点と、当該特定点とを連結したオブジェクトであってよい。
The
または、指標23は、3箇所以上の移動後の特定点によって囲繞される枠状であってよい。枠状の指標23は、例えば、図9に示すように、4箇所の特定点を頂点とする矩形の枠状であってよい。枠状の当該指標23の中心が、例えば、定められた移動距離におけるヒッチ14の位置を示してよい。枠状の指標23は、移動距離が長くなるほど小さくなるように描画されてよい。
Alternatively, the
前述のように、複数の特定点が定められている構成において、制御部22は、当該複数の特定点にそれぞれ対応する複数の指標23を描画してよい。図10に示すように、複数の指標23の中の2つの指標23は、移動体11の幅方向の真ん中を挟んで当該真ん中から等距離にある特定点に対応する指標対24を構成してよい。複数の指標対24が描画される構成においては、同一の移動距離において、移動体11の真ん中からの特定点までの距離が、指標対24毎にそれぞれ異なっていてよい。言い換えると、異なる距離間隔の指標対24が描画されていてよい。3つ以上の指標対24が描画される構成においては、同一の移動距離において、真ん中から一方の側に並ぶ指標23の少なくとも一部が等間隔であってよい。なお、指標対24に含まれる各指標23は、移動後の特定点が末端に位置し、少なくとも一部が移動体11の上下方向に延びるオブジェクトであってよい。または、指標対24に含まれる各指標23は、特定点が頂点となる錐台形状であってよい。または、指標対24に含まれる各指標23は、移動後の特定点が末端に位置し、舵角に応じて傾斜した方向に延伸するオブジェクトであってよい。なお、図3から10において、指標23は、ヒッチ14などの、移動体11の最低位置よりも高い位置を特定点として描画される。
As described above, in a configuration in which a plurality of specific points are defined, the
制御部22は、指標23とともに、第1の移動軌跡25および距離補助線26を画像IMに描画してよい。第1の移動軌跡25は、移動体11の幅方向の両端が、取得した舵角情報に相当する舵角で移動体11の移動に際して通過する路面上の軌跡である。距離補助線26は、移動体11の前後方向の一方の端から、所定の距離の路面上の位置を示す線である。距離補助線26は、指標23が示す移動距離に対応していてもよい。または、図7、8に例示するように、指標23とともに、第1の移動軌跡25を画像IMに描画してよい。
The
制御部22は、図7に例示するように、第1の移動軌跡25とともに、第2の移動軌跡27を画像IMに描画してよい。第2の移動軌跡27は、移動体11の高さ方向における特定点と同じ位置の移動体11の幅方向両端の、取得した舵角情報に相当する舵角で移動体11の移動に際して通過する軌跡である。言換えると、第2の移動軌跡27は、第1の移動軌跡25を、移動体11の高さ方向において特定点と同じ位置に投影した像である。第2の移動軌跡27は、第1の移動軌跡25よりも太い線、異なる色などのように第1の移動軌跡25と異なる態様で描画されてよい。
As illustrated in FIG. 7, the
制御部22は、図7に例示するように、指標23とともに、指標23の路面への投影像23pを画像IMに描画してよい。投影像23pは指標23よりも細い線などのように指標23と異なる態様で描画されてよい。
As illustrated in FIG. 7, the
上述のように、移動体11の最低位置よりも高い位置を特定点とする指標23が描画されているが、図11に示すように、移動体11の上下方向における最低位置および幅方向における中央位置を特定点とする指標23が画像IM中に描画されてもよい。当該画像IMにおいて、指標23は、移動後の特定点が中央に位置し、移動体11の上下方向に延びる直線であってよい。当該画像IMは、指標23とともに、移動軌跡25および距離補助線26を含んでよい。
As described above, the
また、制御部22は、画像IM上に指標23を描画する代わりに、現在の特定点に位置する所定の物の強調画像を画像IM上に強調するように描画してよい。例えば、図12に示すように、画像IM中に、ヒッチ14の外縁を強調化した抽象画として描画してよい。なお、撮像部16から実際のヒッチ14が移動体11の本体18などによって隠れている構成であっても、露出する構成であっても、ヒッチ14の強調化した抽象画が重畳されるように描画されてよい。
Further, instead of drawing the
制御部22は、少なくとも指標23を描画した画像IMを画像信号として、ディスプレイ12に出力する。
The
次に、本実施形態において制御部22が実行する、指標描画処理について、図13のフローチャートを用いて説明する。指標描画処理は、撮像部16から1フレームの画像信号を取得するたびに開始してよい。
Next, index drawing processing executed by the
ステップS100において、制御部22は、記憶部20から最新の舵角情報を読出す。読出し後、プロセスはステップS101に進む。
In step S<b>100 ,
ステップS101では、制御部22は、ステップS100で取得した舵角情報に相当する舵角かつ定められた移動距離で移動体11を移動させた場合の特定点の画像座標系における位置を算出する。算出後、プロセスはステップS102に進む。
In step S101, the
ステップS102では、制御部22は、画像描画処理の開始前に取得した画像情報に相当する画像IMの、ステップS101において算出した特定点の位置に、指標23を描画する。描画後、プロセスはステップS103に進む。
In step S102, the
ステップS103では、制御部22は、ステップS102において指標23を描画した画像IMを、画像信号としてディスプレイ12に出力する。出力後、画像描画処理は終了する。
At step S103, the
以上のような構成の本実施形態の画像処理装置17は、特定点の、舵角での移動体11の移動における、互いに異なる移動距離毎の位置を示す指標23を、画像IM上に描画する。このような構成により、画像処理装置17は、現在の舵角での特定点の通過予想位置を指標23として描画し得る。したがって、画像処理装置17は、自身を搭載する移動体11と被索引体13とを連結させるように運転者が移動体11を移動させる際に、連結可能な位置に移動体11を移動させるためのガイドとなり得る、指標23を描画した画像IMを生成し得る。したがって、画像処理装置17は、移動体11の移動範囲内に存在する、被索引体13のような多様な対象物の特定の位置に向けて位置合わせする操縦者の操縦を容易にさせ得る。このように、画像処理装置17は、多様な目的に対する運転支援をし得る。
The
また、本実施形態の画像処理装置17では、指標23は特定点を基準とした円弧状であり、円弧の長さは、移動体11の操舵可能範囲に相当する特定点の変位範囲を示す。このような構成により、画像処理装置17は、複数の指標23が描画される方向において円弧の範囲内に被索引体13の連結具15が含まれるか否かを視認させる画像IMを生成し得る。したがって、画像処理装置17は、切り返しをすること無く、移動体11を被索引体13に連結可能か否かを運転者に視認させる画像IMを作成し得る。
Further, in the
また、本実施形態の画像処理装置17では、指標23は、特定点が末端に位置し、少なくとも一部が移動体11の上下方向に延びるオブジェクトである。したがって、画像処理装置17は、2次元座標系である画像において、特定点の上下方向の高さ位置を運転者に認識させやすい画像IMを作成し得る。
Further, in the
また、本実施形態の画像処理装置17では、指標23は、特定点が末端に位置し、舵角に応じて傾斜した方向に延伸するオブジェクトである。したがって、画像処理装置17は、運転者に現在の舵角を認識させる画像IMを作成し得る。
Further, in the
また、本実施形態の画像処理装置17は、移動体11の幅方向の真ん中を挟んで等距離である2つの特定点それぞれの指標23を含む指標対24を画像IMに描画する。移動体11および被索引体13は、互いの幅方向の真ん中の位置が合う状態で連結されることが一般的である。このような一般構成に対して、上記の構成の画像処理装置17では、画像IMに含まれる被索引体13の幅方向真ん中を、移動体11の幅方向の真ん中に合わせるためのガイドとなる指標対24を描画した画像IMを作成し得る。
Further, the
また、本実施形態の画像処理装置17は、同一の移動距離において、移動体11の幅方向真ん中から特定点までの間隔がそれぞれ異なる指標対24を画像IMに描画する。このような構成により、画像処理装置17は、幅の異なる多様な被索引体13に対しても、画像IMに含まれる被索引体13の幅方向真ん中を、移動体11の幅方向の真ん中に合わせるためのガイドとなる指標対24を描画した画像IMを作成し得る。
Further, the
また、本実施形態の画像処理装置17では、指標23は移動距離毎に異なる色である。このような構成により、画像処理装置17は、被索引体13の移動体11への接近の度合いをより明確に認識させる画像IMを作成し得る。
Further, in the
本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。 Although the present invention has been described with reference to the drawings and examples, it should be noted that various variations and modifications will be readily apparent to those skilled in the art based on this disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention.
例えば、本実施形態の指標23として、図9に示すように、4箇所の移動後の特定点を頂点とする矩形の枠状の例が挙げられているが、移動後の特定点を頂点として無くてもよい。例えば、指標23は移動後の特定点を通過する円形、楕円形などであってよい。なお、複数の特定点の互いに異なる移動距離毎の位置を示す枠状の指標23の代わりに、中心が単一の移動後の特定点の互いに異なる移動距離毎の位置を示す枠状の指標であってよい。当該枠状の指標は、移動距離が長くなるほど小さく描画されていてよい。また、当該枠状の指標を3次元空間上に復元した大きさは、移動距離毎に異なっていてよい。
For example, as the
10 撮像装置
11 移動体
12 ディスプレイ
13 被索引体
14 ヒッチ
15 連結具
16 撮像部
17 画像処理装置
18 本体
19 取得部
20 記憶部
21 出力部
22 制御部
23 指標
23p 指標の路面への投影像
24 指標対
25 第1の移動軌跡
26 距離補助線
27 第2の移動軌跡
IM 画像
sp 移動後の特定点
REFERENCE SIGNS
Claims (14)
前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である
画像処理装置。 an acquisition unit that acquires steering angle information from the moving object and an image signal from the imaging unit;
An index indicating a position of a specific point at a specific position with respect to the imaging unit for each different movement distance in movement of the moving body at a steering angle corresponding to the steering angle information is provided in the image signal. a control for drawing on a corresponding image;
The image processing device, wherein the index is an arc based on the specific point before movement.
前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での
前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号
に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記移動体の上下方向から傾斜した方向に延伸するオブ
ジェクトである
画像処理装置。 an acquisition unit that acquires steering angle information from the moving object and an image signal from the imaging unit;
An index indicating a position of a specific point at a specific position with respect to the imaging unit for each different movement distance in movement of the moving body at a steering angle corresponding to the steering angle information is provided in the image signal. a control for drawing on a corresponding image;
The index is an object extending in a direction inclined from the vertical direction of the moving object according to the steering angle.
前記円弧の長さは、前記移動体の操舵可能範囲に相当する前記特定点の変位範囲を示す
画像処理装置。 The image processing device according to claim 1,
The image processing device, wherein the length of the arc indicates the displacement range of the specific point corresponding to the steerable range of the moving object.
前記指標は、前記特定点が末端に位置し、少なくとも一部が前記移動体の上下方向に延
びるオブジェクトである
画像処理装置。 In the image processing device according to claim 2,
The index is an object whose end is located at the specific point and at least a part of which extends in the vertical direction of the moving body.
前記制御部は、前記移動体の幅方向の真ん中を挟んで等距離である2つの前記特定点そ
れぞれの前記指標を含む指標対を、前記画像に描画する
画像処理装置。 In the image processing device according to any one of claims 1 to 4,
The image processing device, wherein the control unit draws, on the image, an index pair including the indices of each of the two specific points that are equidistant across a center in the width direction of the moving body.
前記制御部は、同一の移動距離において、前記真ん中からの前記特定点までの間隔がそ
れぞれ異なる複数の前記指標対を、前記画像に描画する
画像処理装置。 The image processing device according to claim 5,
The image processing device, wherein the control unit draws, on the image, a plurality of the index pairs having different intervals from the center to the specific point at the same moving distance.
前記制御部は、同一の移動距離において、前記真ん中から一方の側に並ぶ前記指標の少
なくとも一部が等間隔となるように3つ以上の前記指標対を描画する
画像処理装置。 The image processing device according to claim 6,
The control unit draws the three or more index pairs such that at least some of the indexes arranged on one side from the center are equidistantly spaced at the same movement distance.
前記特定点は、前記移動体の高さ方向における最低位置かつ幅方向における中央位置に
位置する
画像処理装置。 The image processing device according to any one of claims 1 to 7,
The image processing device, wherein the specific point is located at the lowest position in the height direction of the moving body and the center position in the width direction.
前記指標は、前記移動距離毎に異なる色である
画像処理装置。 The image processing device according to any one of claims 1 to 8,
The image processing device, wherein the indicator has a different color for each movement distance.
前記制御部は、前記移動体の幅方向の両端の、前記舵角での前記移動体の移動に応じた
移動軌跡と、前記移動体の前後方向の一方の端から所定の距離の位置を示す距離補助線を
、前記画像に描画する
画像処理装置。 The image processing device according to any one of claims 1 to 9,
The control unit indicates a movement trajectory corresponding to the movement of the moving body at the steering angle at both ends in the width direction of the moving body, and a position at a predetermined distance from one end in the front-rear direction of the moving body. An image processing device that draws a distance auxiliary line on the image.
像部と、
前記移動体から舵角情報を取得し、前記撮像部を基準にした特定の位置にある特定点の
、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎
の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である
撮像装置。 an imaging unit that is fixed at a predetermined position on a moving body in a predetermined posture and that generates an image signal by imaging;
Steering angle information is acquired from the moving body, and a specific point at a specific position with respect to the imaging unit moves at a steering angle corresponding to the steering angle information for each different movement distance of the moving body. a control unit that draws an index indicating the position of the image signal on the image corresponding to the image signal,
The imaging device, wherein the index is an arc with the specific point before movement as a reference.
像部と、
前記移動体から舵角情報を取得し、前記撮像部を基準にした特定の位置にある特定点の
、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎
の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記移動体の上下方向から傾斜した方向に延伸するオブ
ジェクトである
撮像装置。 an imaging unit that is fixed at a predetermined position on a moving body in a predetermined posture and that generates an image signal by imaging;
Steering angle information is acquired from the moving body, and a specific point at a specific position with respect to the imaging unit moves at a steering angle corresponding to the steering angle information for each different movement distance of the moving body. a control unit that draws an index indicating the position of the image signal on the image corresponding to the image signal,
The imaging device, wherein the indicator is an object that extends in a direction inclined from the vertical direction of the moving body according to the steering angle.
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する
撮像部と、
前記撮像部を基準にした特定の位置にある特定点の、前記本体の舵角での該本体の移動
における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上
に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である
移動体。 the main body;
an imaging unit that is fixed at a predetermined position on the main body in a predetermined posture and that generates an image signal by imaging;
An index indicating the position of a specific point at a specific position with respect to the imaging unit for each different movement distance in the movement of the main body at the steering angle of the main body is displayed on the image corresponding to the image signal. a control unit for drawing;
The indicator is an arc based on the specific point before movement.
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する
撮像部と、
前記撮像部を基準にした特定の位置にある特定点の、前記本体の舵角での該本体の移動
における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上
に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記本体の上下方向から傾斜した方向に延伸するオブ
ジェクトである
移動体。 the main body;
an imaging unit that is fixed at a predetermined position on the main body in a predetermined posture and that generates an image signal by imaging;
An index indicating the position of a specific point at a specific position with respect to the imaging unit for each different movement distance in the movement of the main body at the steering angle of the main body is displayed on the image corresponding to the image signal. a control unit for drawing;
The indicator is an object extending in a direction inclined from the vertical direction of the main body according to the steering angle.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019046322 | 2019-03-13 | ||
| JP2019046322 | 2019-03-13 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020156069A JP2020156069A (en) | 2020-09-24 |
| JP7294886B2 true JP7294886B2 (en) | 2023-06-20 |
Family
ID=72560019
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019100716A Active JP7294886B2 (en) | 2019-03-13 | 2019-05-29 | Image processing device, imaging device, and moving object |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7294886B2 (en) |
Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002308029A (en) | 2001-04-09 | 2002-10-23 | Matsushita Electric Ind Co Ltd | Driving support device |
| JP2004345554A (en) | 2003-05-23 | 2004-12-09 | Clarion Co Ltd | Vehicle rearward monitoring device and vehicle rearward monitoring system |
| JP2016150616A (en) | 2015-02-16 | 2016-08-22 | 株式会社デンソー | Drive supporting device |
| US20160375831A1 (en) | 2015-06-23 | 2016-12-29 | GM Global Technology Operations LLC | Hitching assist with pan/zoom and virtual top-view |
| JP2018133712A (en) | 2017-02-16 | 2018-08-23 | アイシン精機株式会社 | Perimeter monitoring device |
| JP2019004355A (en) | 2017-06-16 | 2019-01-10 | 株式会社Jvcケンウッド | Display control apparatus, display control system, display control method, and display control program |
| JP2019103049A (en) | 2017-12-06 | 2019-06-24 | アイシン精機株式会社 | Peripheral monitoring device |
| JP2019192218A (en) | 2018-03-13 | 2019-10-31 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | Backup system for a vehicle with a trailer hitch |
| JP2020088801A (en) | 2018-11-30 | 2020-06-04 | 株式会社デンソーテン | Operation support device |
-
2019
- 2019-05-29 JP JP2019100716A patent/JP7294886B2/en active Active
Patent Citations (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002308029A (en) | 2001-04-09 | 2002-10-23 | Matsushita Electric Ind Co Ltd | Driving support device |
| JP2004345554A (en) | 2003-05-23 | 2004-12-09 | Clarion Co Ltd | Vehicle rearward monitoring device and vehicle rearward monitoring system |
| JP2016150616A (en) | 2015-02-16 | 2016-08-22 | 株式会社デンソー | Drive supporting device |
| US20160375831A1 (en) | 2015-06-23 | 2016-12-29 | GM Global Technology Operations LLC | Hitching assist with pan/zoom and virtual top-view |
| JP2018133712A (en) | 2017-02-16 | 2018-08-23 | アイシン精機株式会社 | Perimeter monitoring device |
| JP2019004355A (en) | 2017-06-16 | 2019-01-10 | 株式会社Jvcケンウッド | Display control apparatus, display control system, display control method, and display control program |
| JP2019103049A (en) | 2017-12-06 | 2019-06-24 | アイシン精機株式会社 | Peripheral monitoring device |
| JP2019192218A (en) | 2018-03-13 | 2019-10-31 | トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド | Backup system for a vehicle with a trailer hitch |
| JP2020088801A (en) | 2018-11-30 | 2020-06-04 | 株式会社デンソーテン | Operation support device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2020156069A (en) | 2020-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10710504B2 (en) | Surroundings-monitoring device and computer program product | |
| US10625782B2 (en) | Surroundings monitoring apparatus | |
| EP3016836B1 (en) | Vehicle control system | |
| JP5052628B2 (en) | Parking assistance device and parking assistance method for vehicle or connected vehicle comprising vehicle elements which can be bent with respect to each other | |
| US10878253B2 (en) | Periphery monitoring device | |
| JP4914458B2 (en) | Vehicle periphery display device | |
| CN102473353B (en) | driving aids | |
| US11591018B2 (en) | Parking assistance device | |
| CN110001523B (en) | Peripheral monitoring device | |
| US11420678B2 (en) | Traction assist display for towing a vehicle | |
| JP2014189097A (en) | Parking support device | |
| US20200084395A1 (en) | Periphery monitoring device | |
| JP5013205B2 (en) | Parking assistance device | |
| CN113327201A (en) | Image processing apparatus and image processing method | |
| JP2019014276A (en) | Linked work support device | |
| JP7294886B2 (en) | Image processing device, imaging device, and moving object | |
| JP2007168560A (en) | Parking support apparatus | |
| JP2019069719A (en) | Parking support device | |
| JP2022189118A (en) | Vehicle display device, display method, and program | |
| JP4650252B2 (en) | Parking assistance device | |
| US20230373486A1 (en) | Vehicle trailer control | |
| WO2019073871A1 (en) | Periphery monitoring device | |
| WO2019058586A1 (en) | Towing assistant device | |
| JP2019060616A (en) | Driving support device | |
| JP2018101901A (en) | Image processing apparatus, imaging apparatus, moving object, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210810 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220822 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221021 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230224 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230314 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230502 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230516 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230608 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7294886 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |