[go: up one dir, main page]

JP7294886B2 - Image processing device, imaging device, and moving object - Google Patents

Image processing device, imaging device, and moving object Download PDF

Info

Publication number
JP7294886B2
JP7294886B2 JP2019100716A JP2019100716A JP7294886B2 JP 7294886 B2 JP7294886 B2 JP 7294886B2 JP 2019100716 A JP2019100716 A JP 2019100716A JP 2019100716 A JP2019100716 A JP 2019100716A JP 7294886 B2 JP7294886 B2 JP 7294886B2
Authority
JP
Japan
Prior art keywords
image
steering angle
processing device
moving body
image processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019100716A
Other languages
Japanese (ja)
Other versions
JP2020156069A (en
Inventor
秀明 本田
裕介 沼田
大輔 貴島
尚典 福島
浩 中尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kyocera Corp
Original Assignee
Kyocera Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kyocera Corp filed Critical Kyocera Corp
Publication of JP2020156069A publication Critical patent/JP2020156069A/en
Application granted granted Critical
Publication of JP7294886B2 publication Critical patent/JP7294886B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、画像処理装置、撮像装置、および移動体に関するものである。 The present invention relates to an image processing device, an imaging device, and a moving body.

車両などの移動体に関して、運転者の運転を支援する多様な技術が開発されている。例えば、車両の後退時に後方の被写体を撮影して、被写体像に走行予想軌跡を重畳して表示する駐車補助装置が提案されている(特許文献1参照)。 Various technologies have been developed for assisting the driving of a driver of a moving object such as a vehicle. For example, there has been proposed a parking assistance device that captures an image of an object behind the vehicle when the vehicle is backing up and displays an image of the object in which an expected travel trajectory is superimposed (see Patent Document 1).

特開平11-334470号公報JP-A-11-334470

しかし、特許文献1に記載の駐車補助装置では、走行予想軌跡が表示されるに過ぎず、多様な目的に対する運転支援は困難であった。 However, with the parking assistance device described in Patent Document 1, it is difficult to provide driving assistance for various purposes because it only displays the expected travel locus.

従って、上記のような従来技術の問題点に鑑みてなされた本開示の目的は、多様な目的に対する運転支援を行う画像処理装置、撮像装置、および移動体を提供することにある。 Accordingly, an object of the present disclosure, which has been made in view of the problems of the conventional technology as described above, is to provide an image processing device, an imaging device, and a moving body that perform driving assistance for various purposes.

上述した諸課題を解決すべく、第1の観点による画像処理装置は、
移動体から舵角情報を、撮像部から画像信号を取得する取得部と、
前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である。
また、別の観点による画像処理装置は、
移動体から舵角情報を、撮像部から画像信号を取得する取得部と、
前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記移動体の上下方向から傾斜した方向に延伸するオブジェクトである。
In order to solve the above-mentioned problems, the image processing device according to the first aspect includes:
an acquisition unit that acquires steering angle information from the moving object and an image signal from the imaging unit;
An index indicating a position of a specific point at a specific position with respect to the imaging unit for each different movement distance in movement of the moving body at a steering angle corresponding to the steering angle information is provided in the image signal. a control for drawing on a corresponding image;
The indicator is an arc with the specific point before movement as a reference.
In addition, an image processing device according to another aspect is
an acquisition unit that acquires steering angle information from the moving object and an image signal from the imaging unit;
An index indicating a position of a specific point at a specific position with respect to the imaging unit for each different movement distance in movement of the moving body at a steering angle corresponding to the steering angle information is provided in the image signal. a control for drawing on a corresponding image;
The indicator is an object that extends in a direction inclined from the vertical direction of the moving object according to the steering angle.

また、第2の観点による撮像装置は、
移動体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記移動体から舵角情報を取得し、前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である。
また、別の観点による撮像装置は、
移動体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記移動体から舵角情報を取得し、前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記移動体の上下方向から傾斜した方向に延伸するオブジェクトである。
In addition, the imaging device according to the second aspect is
an imaging unit that is fixed at a predetermined position on a moving body in a predetermined posture and that generates an image signal by imaging;
Steering angle information is acquired from the moving body, and a specific point at a specific position with respect to the imaging unit moves at a steering angle corresponding to the steering angle information for each different movement distance when the moving body moves. a control unit that draws an index indicating the position of the image signal on the image corresponding to the image signal,
The indicator is an arc with the specific point before movement as a reference.
In addition, an imaging device according to another aspect is
an imaging unit that is fixed at a predetermined position on a moving body in a predetermined posture and that generates an image signal by imaging;
Steering angle information is acquired from the moving body, and a specific point at a specific position with respect to the imaging unit moves at a steering angle corresponding to the steering angle information for each different movement distance when the moving body moves. a control unit that draws an index indicating the position of the image signal on the image corresponding to the image signal,
The indicator is an object that extends in a direction inclined from the vertical direction of the moving object according to the steering angle.

また、第3の観点による移動体は、
本体と
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記撮像部を基準にした特定の位置にある特定点の、前記本体の舵角での該本体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である。
また、別の観点による移動体は、
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮像部と、
前記撮像部を基準にした特定の位置にある特定点の、前記本体の舵角での該本体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記本体の上下方向から傾斜した方向に延伸するオブジェクトである。
In addition, the moving object according to the third aspect is
a main body; an imaging unit fixed at a predetermined position on the main body in a predetermined posture and configured to generate an image signal by imaging;
An index indicating the position of a specific point at a specific position with respect to the imaging unit for each different movement distance in the movement of the main body at the steering angle of the main body is displayed on the image corresponding to the image signal. a control unit for drawing;
The indicator is an arc with the specific point before movement as a reference.
In addition, a moving object from another viewpoint is
the main body;
an imaging unit that is fixed at a predetermined position on the main body in a predetermined posture and that generates an image signal by imaging;
An index indicating the position of a specific point at a specific position with respect to the imaging unit for each different movement distance in the movement of the main body at the steering angle of the main body is displayed on the image corresponding to the image signal. a control unit for drawing;
The index is an object extending in a direction inclined from the vertical direction of the main body according to the steering angle.

上記のように構成された本開示に係る画像処理装置、撮像装置、および移動体によれば、多様な目的に対する運転支援が行われ得る。 According to the image processing device, the imaging device, and the moving object according to the present disclosure configured as described above, driving assistance can be performed for various purposes.

本実施形態に係る画像処理装置を含む撮像装置の移動体における位置を概念的に例示する外観図である。1 is an external view conceptually illustrating the position of an imaging device including an image processing device according to the present embodiment on a moving object; FIG. 図1の撮像装置の概略構成を示すブロック図である。2 is a block diagram showing a schematic configuration of the imaging device of FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の一例である。FIG. 2 is an example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の別の一例である。FIG. 2 is another example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の別の一例である。FIG. 2 is another example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の別の一例である。FIG. 2 is another example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の別の一例である。FIG. 2 is another example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の別の一例である。FIG. 2 is another example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の別の一例である。FIG. 2 is another example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の別の一例である。FIG. 2 is another example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、指標を描画した画像の別の一例である。FIG. 2 is another example of an image in which indices are drawn and created by the control unit in FIG. 1; FIG. 図1の制御部が作成する、特定点の所定物の抽象画を描画した画像の一例である。2 is an example of an image in which an abstract image of a predetermined object at a specific point is drawn, which is created by the control unit in FIG. 1; 図1の制御部が実行する指標描画処理を説明するためのフローチャートである。FIG. 2 is a flowchart for explaining index drawing processing executed by a control unit in FIG. 1; FIG.

以下、本開示を適用した画像処理装置の実施形態について、図面を参照して説明する。 An embodiment of an image processing apparatus to which the present disclosure is applied will be described below with reference to the drawings.

図1に示すように、本開示の一実施形態に係る画像処理装置を含む撮像装置10は、移動体11に搭載される。撮像装置10は、移動体11の周辺を撮像可能に取り付けられている。撮像装置10は、撮像した画像を画像信号として、例えば運転者に視認可能な位置に設けられているディスプレイ12に出力する。ディスプレイ12は、取得した画像信号に相当する画像を表示する。 As shown in FIG. 1 , an imaging device 10 including an image processing device according to an embodiment of the present disclosure is mounted on a mobile object 11 . The imaging device 10 is attached so as to be able to image the periphery of the moving body 11 . The imaging device 10 outputs the captured image as an image signal to, for example, a display 12 provided at a position visible to the driver. The display 12 displays an image corresponding to the acquired image signal.

移動体11は、例えば自動運転機能を備える車両、船舶、および航空機等を含んでよい。車両は、例えば自動車、産業車両、鉄道車両、生活車両、および滑走路を走行する固定翼機等を含んでよい。自動車は、例えば乗用車、トラック、バス、二輪車、およびトロリーバス等を含んでよい。産業車両は、例えば農業および建設向けの産業車両等を含んでよい。産業車両は、例えばフォークリフトおよびゴルフカート等を含んでよい。農業向けの産業車両は、例えばトラクター、耕耘機、移植機、バインダー、コンバイン、および芝刈り機等を含んでよい。建設向けの産業車両は、例えばブルドーザー、スクレーバー、ショベルカー、クレーン車、ダンプカー、およびロードローラ等を含んでよい。車両は、人力で走行するものを含んでよい。車両の分類は、上述した例に限られない。例えば、自動車は、道路を走行可能な産業車両を含んでよい。複数の分類に同じ車両が含まれてよい。船舶は、例えばマリンジェット、ボート、およびタンカー等を含んでよい。航空機は、例えば固定翼機および回転翼機等を含んでよい。 The mobile object 11 may include, for example, a vehicle, a ship, an aircraft, and the like having an automatic driving function. Vehicles may include, for example, automobiles, industrial vehicles, railroad vehicles, utility vehicles, and fixed-wing aircraft that travel on runways, and the like. Motor vehicles may include, for example, cars, trucks, buses, motorcycles, trolleybuses, and the like. Industrial vehicles may include, for example, industrial vehicles for agriculture and construction, and the like. Industrial vehicles may include, for example, forklifts, golf carts, and the like. Industrial vehicles for agriculture may include, for example, tractors, cultivators, transplanters, binders, combines, lawn mowers, and the like. Industrial vehicles for construction may include, for example, bulldozers, scrapers, excavators, mobile cranes, tippers, road rollers, and the like. Vehicles may include those that are powered by humans. Vehicle classification is not limited to the above example. For example, automobiles may include road-drivable industrial vehicles. Multiple classifications may contain the same vehicle. Vessels may include, for example, marine jets, boats, tankers, and the like. Aircraft may include, for example, fixed-wing and rotary-wing aircraft.

移動体11は、トレーラおよびキャンピングカーなどの被索引体13を索引可能である。移動体11は、後方の幅方向中央位置にヒッチ14を有する。被索引体13は、前方の幅方向中央位置に連結具15を有する。移動体11および被索引体13は、ヒッチ14および連結具15を介して着脱自在に、連結され得る。 The moving object 11 can index objects 13 to be indexed, such as trailers and campers. The moving body 11 has a hitch 14 at the rear widthwise central position. The object to be indexed 13 has a connector 15 at the front widthwise central position. The moving body 11 and the object to be indexed 13 can be detachably connected via the hitch 14 and the connecting tool 15 .

図2に示すように、撮像装置10は、撮像部16および画像処理装置17を含んで構成される。 As shown in FIG. 2 , the imaging device 10 includes an imaging section 16 and an image processing device 17 .

撮像部16は、移動体11の周辺を撮像して画像信号を生成し、画像処理装置17に出力する。撮像部16は、図1に示す、移動体11の本体18の所定の位置に、所定の姿勢で固定されている。撮像部16は、例えば、移動体11の後方の、本体18の幅方向における中央、本体18の上下方向における屋根近傍に位置する。撮像部16は、光軸が本体18の幅方向に垂直かつ、所定の伏角となるように固定されている。撮像部16は、移動体11の、例えば、後方周辺を撮像することにより画像信号を生成する。 The imaging unit 16 images the surroundings of the moving body 11 to generate an image signal and outputs the image signal to the image processing device 17 . The imaging unit 16 is fixed in a predetermined posture at a predetermined position of the main body 18 of the moving body 11 shown in FIG. The imaging unit 16 is positioned, for example, at the rear of the moving body 11, at the center of the main body 18 in the width direction, and near the roof of the main body 18 in the vertical direction. The imaging unit 16 is fixed so that its optical axis is perpendicular to the width direction of the main body 18 and has a predetermined inclination angle. The imaging unit 16 generates an image signal by imaging, for example, the rear periphery of the moving body 11 .

図2に示すように、画像処理装置17は、取得部19、記憶部20、出力部21、および制御部22を含んで構成される。 As shown in FIG. 2 , the image processing device 17 includes an acquisition section 19 , a storage section 20 , an output section 21 and a control section 22 .

取得部19は、画像処理装置17の外部機器からの多様な情報、信号、および指令を取得する。取得部19は、移動体11から舵角情報を取得する。舵角情報は移動体11の舵角に相当する。移動体11は、例えば、搭載するECU(Electronic Control Unit)などの外部機器において舵角情報を出力する。取得部19は、撮像部16から画像信号を取得する。 The acquisition unit 19 acquires various information, signals, and commands from devices external to the image processing device 17 . The acquisition unit 19 acquires steering angle information from the mobile object 11 . The steering angle information corresponds to the steering angle of the moving body 11 . The mobile body 11 outputs steering angle information in an external device such as an ECU (Electronic Control Unit) mounted on the mobile body 11, for example. The acquisition unit 19 acquires image signals from the imaging unit 16 .

記憶部20は、例えば、RAM(Random Access Memory)およびROM(Read Only Memory)など、任意の記憶デバイスを含む。記憶部20は、制御部22を機能させる多様なプログラム、および制御部22が用いる多様な情報を記憶する。 The storage unit 20 includes arbitrary storage devices such as RAM (Random Access Memory) and ROM (Read Only Memory). The storage unit 20 stores various programs that cause the control unit 22 to function and various information that the control unit 22 uses.

記憶部20は、3次元の移動体座標系からの2次元の画像座標系への座標の変換式または変換表を記憶してよい。移動体座標系は、移動体11の前後方向、幅方向、および上下方向を軸としてよい。画像座標系は、撮像部16が撮像した画像における縦方向および横方向を軸としてよい。変換式または変換表は、撮像部16を本体18に固定する所定の位置および所定の姿勢に基づいて作成されていてよい。 The storage unit 20 may store a coordinate conversion formula or a conversion table from the three-dimensional moving body coordinate system to the two-dimensional image coordinate system. The moving body coordinate system may have the longitudinal direction, the width direction, and the vertical direction of the moving body 11 as axes. The image coordinate system may have vertical and horizontal axes in the image captured by the imaging unit 16 . A conversion formula or a conversion table may be created based on a predetermined position and a predetermined posture for fixing the imaging section 16 to the main body 18 .

また、記憶部20は、特定点の、撮像部16を基準とした特定の位置を記憶してよい。特定の位置は、移動体座標系における座標であってよい。特定点は、ヒッチ14の中心、上端、移動体11の幅方向の中央位置などであってよい。特定点は、荷物の積載をしない状態または所定の重量の荷物を積載した状態における移動体11の上下方向における最低位置、言換えると、路面の高さの位置よりも高い位置であってよい。特定点は、一点に限定されず、複数の点であってよい。複数の特定点は、3つ以上であってよい。3つ以上の特定点は、移動体11の前後方向におけるヒッチ14に重なる位置であって、当該3つ以上の特定点を連結した枠が、ヒッチ14の中心または上端を内包し、さらには当該枠の中心に位置させるように、定められてよい。複数の特定点は、移動体11の幅方向の真ん中を挟んで当該真ん中から等距離にある2つの特定点の対であってもよい。2つの特定点の対において、当該2つの特定点の幅が、移動体11との連結が想定される被索引体13の幅と略等しくてよい。また、複数の特定点は、当該真ん中からの距離が異なる特定点の複数の対であってもよい。複数の対において、それぞれの対を構成する2つの特定点の幅が、移動体11との連結が想定される多様な被索引体13の幅それぞれと略等しくてよい。複数の対は3つ以上であってよく、移動体11の幅方向真ん中から一方の側に並ぶ各対に含まれる特定点の間隔は少なくとも一部において等間隔であってよい。 Further, the storage unit 20 may store a specific position of the specific point with the imaging unit 16 as a reference. The specific position may be coordinates in the moving body coordinate system. The specific point may be the center or upper end of the hitch 14, the center position of the moving body 11 in the width direction, or the like. The specific point may be the lowest position in the vertical direction of the moving body 11 when no load is loaded or loaded with a load of a predetermined weight, in other words, a position higher than the level of the road surface. The specific point is not limited to one point, and may be a plurality of points. The multiple specific points may be three or more. The three or more specific points are positions overlapping the hitch 14 in the front-rear direction of the mobile body 11, and the frame connecting the three or more specific points includes the center or upper end of the hitch 14, and It may be defined so as to be positioned in the center of the frame. The plurality of specific points may be a pair of two specific points that sandwich the center in the width direction of the moving body 11 and are equidistant from the center. In a pair of two specific points, the width of the two specific points may be substantially equal to the width of the object 13 to be indexed that is assumed to be connected to the moving object 11 . Also, the plurality of specific points may be a plurality of pairs of specific points having different distances from the center. In a plurality of pairs, the widths of the two specific points forming each pair may be substantially equal to the widths of various objects 13 to be indexed that are assumed to be connected to the moving object 11 . The plurality of pairs may be three or more, and the intervals between the specific points included in each pair arranged on one side from the center in the width direction of the moving body 11 may be equal intervals at least in part.

出力部21は、後述する制御部22が画像処理を施した画像を画像信号として、ディスプレイ12に出力する。 The output unit 21 outputs an image subjected to image processing by the control unit 22, which will be described later, to the display 12 as an image signal.

制御部22は、1以上のプロセッサおよびメモリを含む。プロセッサは、特定のプログラムを読み込ませて特定の機能を実行する汎用のプロセッサ、および特定の処理に特化した専用のプロセッサを含んでよい。専用のプロセッサは、特定用途向けIC(ASIC;Application Specific Integrated Circuit)を含んでよい。プロセッサは、プログラマブルロジックデバイス(PLD;Programmable Logic Device)を含んでよい。PLDは、FPGA(Field-Programmable Gate Array)を含んでよい。制御部22は、1つまたは複数のプロセッサが協働するSoC(System-on-a-Chip)、およびSiP(System In a Package)のいずれかであってもよい。 Control unit 22 includes one or more processors and memory. The processor may include a general-purpose processor that loads a specific program to execute a specific function, and a dedicated processor that specializes in specific processing. A dedicated processor may include an Application Specific Integrated Circuit (ASIC). The processor may include a programmable logic device (PLD). A PLD may include an FPGA (Field-Programmable Gate Array). The control unit 22 may be either SoC (System-on-a-Chip) in which one or more processors cooperate, or SiP (System In a Package).

制御部22は、舵角情報を取得すると、記憶部20に格納する。制御部22は、記憶部20への格納に際し、複数の舵角情報の中で最新の舵角情報と判別可能になるように、時間情報と関連付けてよい。または、制御部22は、記憶部20への格納に際し、最新の舵角情報のみが格納されるように、以前に格納した舵角情報に上書きしてもよい。 When acquiring the steering angle information, the control unit 22 stores it in the storage unit 20 . When storing the steering angle information in the storage unit 20, the control unit 22 may associate the steering angle information with the time information so that it can be distinguished from the latest steering angle information among the plurality of steering angle information. Alternatively, the control unit 22 may overwrite previously stored steering angle information so that only the latest steering angle information is stored when storing in the storage unit 20 .

制御部22は、特定点の、最新の舵角情報に相当する舵角での移動体11の移動における、互いに異なる移動距離毎の位置を示す指標を、画像信号に相当する画像上に描画する。制御部22は、指標の描画のために、以下に説明するように、画像座標系における、指標を描画する位置を算出してよい。 The control unit 22 draws, on the image corresponding to the image signal, an index indicating the position of the specific point for each different moving distance in the movement of the moving body 11 at the steering angle corresponding to the latest steering angle information. . In order to draw the index, the control unit 22 may calculate the position to draw the index in the image coordinate system, as described below.

制御部22は、画像座標系における、指標を描画する位置の算出において、まず、移動体座標系における特定点の現在位置から、舵角および移動距離に応じて移動させた位置を算出してよい。移動距離は、本体18の後端から1m、2m、3mなどのように、予め定められていてもよいし、運転者の操作により複数の距離として入力されてもよい。制御部22は、次に、移動体座標系における特定点を移動させた位置を、画像座標系における位置に変換することにより、当該位置を算出してよい。制御部22は、記憶部20に記憶されている変換式または変換表を用いて、移動体座標系の位置から、画像座標系の位置に変換してよい。 In calculating the position for drawing the index in the image coordinate system, the control unit 22 may first calculate the position to which the specific point is moved from the current position in the moving body coordinate system according to the steering angle and the movement distance. . The moving distance may be predetermined such as 1 m, 2 m, 3 m from the rear end of the main body 18, or may be input as a plurality of distances by the driver's operation. Next, the control unit 22 may calculate the position by converting the position to which the specific point is moved in the moving body coordinate system into a position in the image coordinate system. The control unit 22 may use a conversion formula or a conversion table stored in the storage unit 20 to convert the position in the moving body coordinate system to the position in the image coordinate system.

または、制御部22は、画像座標系における指標を描画する位置の算出において、舵角および移動距離と、特定点の画像座標系における位置とを対応付けられた対応表を用いてもよい。制御部22は、例えば、取得した舵角情報に対応する舵角および移動距離に、当該対応表で対応する画像座標系における位置を読出すことにより、画像座標系における位置を算出してよい。 Alternatively, the control unit 22 may use a correspondence table in which the steering angle and the movement distance are associated with the position of the specific point in the image coordinate system in calculating the position for drawing the index in the image coordinate system. For example, the control unit 22 may calculate the position in the image coordinate system by reading out the position in the image coordinate system corresponding to the steering angle and movement distance corresponding to the acquired steering angle information in the correspondence table.

制御部22は、画像座標系における位置の算出後、取得した画像情報に相当する画像上の、算出した画像座標系における位置に指標を描画する。制御部22は、移動距離毎に異なる色で指標を色づけてよい。制御部22は、例えば、移動距離が長くなるにつれて、赤、黄色、青のように色づけてよい。制御部22は、指標を透明または不透明に描画してよい。 After calculating the position in the image coordinate system, the control unit 22 draws the index at the calculated position in the image coordinate system on the image corresponding to the acquired image information. The control unit 22 may color the index with a different color for each movement distance. The control unit 22 may, for example, color red, yellow, and blue as the moving distance increases. The control unit 22 may draw the index transparently or opaquely.

画像IM中の指標23は、図3に示すように、移動前、言い換えると現在の特定点の位置を基準とした円弧であってよい。さらに、指標23を示す円弧の長さは、移動体11の操舵可能範囲に相当する特定点の変位範囲を示してよい。または、指標23は、図4に示すように、移動後の特定点が末端に位置し、少なくとも一部が移動体11の上下方向に延びるオブジェクトであってよい。少なくとも一部が当該上下方向に延びるオブジェクトとしての指標23は、図5に示すように、特定点が頂点となる錐台形状であってよい。または、指標23は、図6に示すように、移動後の特定点が末端に位置し、舵角に応じて傾斜した方向に延伸するオブジェクトであってよい。または、指標23は、図7に示すように、移動後の特定点(符号「sp」参照)を、移動体11の幅方向の両端に向かって延ばしたオブジェクトであってよい。または、指標23は、図8に示すように、移動体11の前後方向において、移動後の特定点と同じ位置である、移動体11の幅方向両端の路面への両投影点と、当該特定点とを連結したオブジェクトであってよい。 The index 23 in the image IM may be an arc based on the position of the specific point before movement, in other words, the current position, as shown in FIG. Furthermore, the length of the arc indicating the index 23 may indicate the displacement range of the specific point corresponding to the steerable range of the moving body 11 . Alternatively, as shown in FIG. 4 , the index 23 may be an object whose end is located at the specific point after movement and whose at least part extends in the vertical direction of the moving object 11 . The indicator 23, which is an object at least partially extending in the vertical direction, may have a frustum shape with a specific point as the apex, as shown in FIG. Alternatively, as shown in FIG. 6, the indicator 23 may be an object whose end is located at the specific point after movement and which extends in an inclined direction according to the steering angle. Alternatively, as shown in FIG. 7, the index 23 may be an object obtained by extending a specific point (see symbol “sp”) after movement toward both ends in the width direction of the moving body 11 . Alternatively, as shown in FIG. 8, the index 23 may be projected onto the road surface at both ends in the width direction of the moving body 11 at the same positions as the specific points after the movement in the front-rear direction of the moving body 11, and the specified points. It may be an object connecting points.

または、指標23は、3箇所以上の移動後の特定点によって囲繞される枠状であってよい。枠状の指標23は、例えば、図9に示すように、4箇所の特定点を頂点とする矩形の枠状であってよい。枠状の当該指標23の中心が、例えば、定められた移動距離におけるヒッチ14の位置を示してよい。枠状の指標23は、移動距離が長くなるほど小さくなるように描画されてよい。 Alternatively, the indicator 23 may have a frame shape surrounded by three or more specific points after movement. For example, as shown in FIG. 9, the frame-shaped index 23 may be a rectangular frame having four specific points as vertices. The center of the frame-shaped indicator 23 may indicate, for example, the position of the hitch 14 at a defined travel distance. The frame-shaped index 23 may be drawn so as to become smaller as the movement distance increases.

前述のように、複数の特定点が定められている構成において、制御部22は、当該複数の特定点にそれぞれ対応する複数の指標23を描画してよい。図10に示すように、複数の指標23の中の2つの指標23は、移動体11の幅方向の真ん中を挟んで当該真ん中から等距離にある特定点に対応する指標対24を構成してよい。複数の指標対24が描画される構成においては、同一の移動距離において、移動体11の真ん中からの特定点までの距離が、指標対24毎にそれぞれ異なっていてよい。言い換えると、異なる距離間隔の指標対24が描画されていてよい。3つ以上の指標対24が描画される構成においては、同一の移動距離において、真ん中から一方の側に並ぶ指標23の少なくとも一部が等間隔であってよい。なお、指標対24に含まれる各指標23は、移動後の特定点が末端に位置し、少なくとも一部が移動体11の上下方向に延びるオブジェクトであってよい。または、指標対24に含まれる各指標23は、特定点が頂点となる錐台形状であってよい。または、指標対24に含まれる各指標23は、移動後の特定点が末端に位置し、舵角に応じて傾斜した方向に延伸するオブジェクトであってよい。なお、図3から10において、指標23は、ヒッチ14などの、移動体11の最低位置よりも高い位置を特定点として描画される。 As described above, in a configuration in which a plurality of specific points are defined, the control section 22 may draw a plurality of indicators 23 respectively corresponding to the plurality of specific points. As shown in FIG. 10, two indicators 23 out of the plurality of indicators 23 constitute an indicator pair 24 corresponding to a specific point equidistant from the center in the width direction of the moving body 11. good. In a configuration in which a plurality of index pairs 24 are drawn, the distance from the center of the moving object 11 to a specific point may differ for each index pair 24 for the same movement distance. In other words, index pairs 24 at different distance intervals may be drawn. In a configuration in which three or more indicator pairs 24 are drawn, at least some of the indicators 23 arranged on one side from the center may be evenly spaced for the same moving distance. It should be noted that each index 23 included in the index pair 24 may be an object having the specific point after movement positioned at the end and having at least a portion thereof extending in the vertical direction of the moving body 11 . Alternatively, each index 23 included in the index pair 24 may have a frustum shape with a specific point as the apex. Alternatively, each index 23 included in the index pair 24 may be an object having a specific point positioned at the end after movement and extending in a direction that is inclined according to the steering angle. 3 to 10, the index 23 is drawn with a position higher than the lowest position of the moving body 11, such as the hitch 14, as a specific point.

制御部22は、指標23とともに、第1の移動軌跡25および距離補助線26を画像IMに描画してよい。第1の移動軌跡25は、移動体11の幅方向の両端が、取得した舵角情報に相当する舵角で移動体11の移動に際して通過する路面上の軌跡である。距離補助線26は、移動体11の前後方向の一方の端から、所定の距離の路面上の位置を示す線である。距離補助線26は、指標23が示す移動距離に対応していてもよい。または、図7、8に例示するように、指標23とともに、第1の移動軌跡25を画像IMに描画してよい。 The control unit 22 may draw the first movement trajectory 25 and the distance auxiliary line 26 along with the index 23 on the image IM. The first movement trajectory 25 is a trajectory on the road surface through which both ends of the moving body 11 in the width direction pass when the moving body 11 moves at a steering angle corresponding to the acquired steering angle information. The distance extension line 26 is a line indicating a position on the road surface at a predetermined distance from one end of the mobile body 11 in the front-rear direction. The distance extension line 26 may correspond to the movement distance indicated by the index 23 . Alternatively, as illustrated in FIGS. 7 and 8, along with the index 23, the first movement trajectory 25 may be drawn on the image IM.

制御部22は、図7に例示するように、第1の移動軌跡25とともに、第2の移動軌跡27を画像IMに描画してよい。第2の移動軌跡27は、移動体11の高さ方向における特定点と同じ位置の移動体11の幅方向両端の、取得した舵角情報に相当する舵角で移動体11の移動に際して通過する軌跡である。言換えると、第2の移動軌跡27は、第1の移動軌跡25を、移動体11の高さ方向において特定点と同じ位置に投影した像である。第2の移動軌跡27は、第1の移動軌跡25よりも太い線、異なる色などのように第1の移動軌跡25と異なる態様で描画されてよい。 As illustrated in FIG. 7, the control unit 22 may draw the second trajectory 27 along with the first trajectory 25 on the image IM. The second movement trajectory 27 passes through both ends in the width direction of the moving body 11 at the same position as the specific point in the height direction of the moving body 11 when the moving body 11 moves at a steering angle corresponding to the acquired steering angle information. It is the trajectory. In other words, the second movement trajectory 27 is an image obtained by projecting the first movement trajectory 25 at the same position as the specific point in the height direction of the moving body 11 . The second trajectory 27 may be drawn in a manner different from that of the first trajectory 25, such as a thicker line, a different color, or the like.

制御部22は、図7に例示するように、指標23とともに、指標23の路面への投影像23pを画像IMに描画してよい。投影像23pは指標23よりも細い線などのように指標23と異なる態様で描画されてよい。 As illustrated in FIG. 7, the control unit 22 may draw the projection image 23p of the index 23 on the road surface together with the index 23 in the image IM. The projected image 23p may be drawn in a manner different from that of the index 23, such as a line thinner than the index 23. FIG.

上述のように、移動体11の最低位置よりも高い位置を特定点とする指標23が描画されているが、図11に示すように、移動体11の上下方向における最低位置および幅方向における中央位置を特定点とする指標23が画像IM中に描画されてもよい。当該画像IMにおいて、指標23は、移動後の特定点が中央に位置し、移動体11の上下方向に延びる直線であってよい。当該画像IMは、指標23とともに、移動軌跡25および距離補助線26を含んでよい。 As described above, the index 23 is drawn with a position higher than the lowest position of the moving body 11 as a specific point, but as shown in FIG. An index 23 whose position is a specific point may be drawn in the image IM. In the image IM, the index 23 may be a straight line extending in the vertical direction of the moving body 11 with the specific point after movement positioned at the center. The image IM may include the movement trajectory 25 and the distance auxiliary line 26 along with the index 23 .

また、制御部22は、画像IM上に指標23を描画する代わりに、現在の特定点に位置する所定の物の強調画像を画像IM上に強調するように描画してよい。例えば、図12に示すように、画像IM中に、ヒッチ14の外縁を強調化した抽象画として描画してよい。なお、撮像部16から実際のヒッチ14が移動体11の本体18などによって隠れている構成であっても、露出する構成であっても、ヒッチ14の強調化した抽象画が重畳されるように描画されてよい。 Further, instead of drawing the index 23 on the image IM, the control unit 22 may draw an enhanced image of a predetermined object located at the current specific point on the image IM so as to be emphasized. For example, as shown in FIG. 12, the outer edge of the hitch 14 may be drawn as an enhanced abstract image in the image IM. Note that whether the actual hitch 14 is hidden from the imaging unit 16 by the main body 18 of the moving body 11 or the like, or is exposed, the emphasized abstract image of the hitch 14 is superimposed. may be drawn.

制御部22は、少なくとも指標23を描画した画像IMを画像信号として、ディスプレイ12に出力する。 The control unit 22 outputs the image IM in which at least the index 23 is drawn to the display 12 as an image signal.

次に、本実施形態において制御部22が実行する、指標描画処理について、図13のフローチャートを用いて説明する。指標描画処理は、撮像部16から1フレームの画像信号を取得するたびに開始してよい。 Next, index drawing processing executed by the control unit 22 in this embodiment will be described using the flowchart of FIG. 13 . The index drawing process may be started each time an image signal of one frame is acquired from the imaging unit 16 .

ステップS100において、制御部22は、記憶部20から最新の舵角情報を読出す。読出し後、プロセスはステップS101に進む。 In step S<b>100 , control unit 22 reads the latest steering angle information from storage unit 20 . After reading, the process proceeds to step S101.

ステップS101では、制御部22は、ステップS100で取得した舵角情報に相当する舵角かつ定められた移動距離で移動体11を移動させた場合の特定点の画像座標系における位置を算出する。算出後、プロセスはステップS102に進む。 In step S101, the control unit 22 calculates the position of the specific point in the image coordinate system when the moving body 11 is moved at a steering angle corresponding to the steering angle information acquired in step S100 and at a predetermined moving distance. After the calculation, the process proceeds to step S102.

ステップS102では、制御部22は、画像描画処理の開始前に取得した画像情報に相当する画像IMの、ステップS101において算出した特定点の位置に、指標23を描画する。描画後、プロセスはステップS103に進む。 In step S102, the control unit 22 draws the index 23 at the position of the specific point calculated in step S101 of the image IM corresponding to the image information acquired before the start of the image drawing process. After drawing, the process proceeds to step S103.

ステップS103では、制御部22は、ステップS102において指標23を描画した画像IMを、画像信号としてディスプレイ12に出力する。出力後、画像描画処理は終了する。 At step S103, the control unit 22 outputs the image IM obtained by drawing the index 23 at step S102 to the display 12 as an image signal. After the output, the image rendering process ends.

以上のような構成の本実施形態の画像処理装置17は、特定点の、舵角での移動体11の移動における、互いに異なる移動距離毎の位置を示す指標23を、画像IM上に描画する。このような構成により、画像処理装置17は、現在の舵角での特定点の通過予想位置を指標23として描画し得る。したがって、画像処理装置17は、自身を搭載する移動体11と被索引体13とを連結させるように運転者が移動体11を移動させる際に、連結可能な位置に移動体11を移動させるためのガイドとなり得る、指標23を描画した画像IMを生成し得る。したがって、画像処理装置17は、移動体11の移動範囲内に存在する、被索引体13のような多様な対象物の特定の位置に向けて位置合わせする操縦者の操縦を容易にさせ得る。このように、画像処理装置17は、多様な目的に対する運転支援をし得る。 The image processing device 17 of the present embodiment configured as described above draws on the image IM the index 23 indicating the position of the specific point for each different movement distance in the movement of the moving body 11 at the steering angle. . With such a configuration, the image processing device 17 can draw the expected passage position of the specific point at the current steering angle as the index 23 . Therefore, when the driver moves the moving body 11 so as to connect the moving body 11 on which it is mounted and the object 13 to be indexed, the image processing device 17 moves the moving body 11 to a connectable position. An image IM depicting the index 23 can be generated, which can serve as a guide for . Therefore, the image processing device 17 can facilitate the operator's maneuvering to align various objects, such as the object 13 to be indexed, within the moving range of the moving object 11 toward a specific position. In this way, the image processing device 17 can assist driving for various purposes.

また、本実施形態の画像処理装置17では、指標23は特定点を基準とした円弧状であり、円弧の長さは、移動体11の操舵可能範囲に相当する特定点の変位範囲を示す。このような構成により、画像処理装置17は、複数の指標23が描画される方向において円弧の範囲内に被索引体13の連結具15が含まれるか否かを視認させる画像IMを生成し得る。したがって、画像処理装置17は、切り返しをすること無く、移動体11を被索引体13に連結可能か否かを運転者に視認させる画像IMを作成し得る。 Further, in the image processing device 17 of the present embodiment, the index 23 is arc-shaped with the specific point as a reference, and the length of the arc indicates the displacement range of the specific point corresponding to the steerable range of the moving body 11 . With such a configuration, the image processing device 17 can generate an image IM for visually confirming whether or not the connector 15 of the object 13 to be indexed is included within the range of the arc in the direction in which the plurality of indices 23 are drawn. . Therefore, the image processing device 17 can create an image IM that allows the driver to visually confirm whether or not the moving body 11 can be connected to the object 13 to be indexed without turning back.

また、本実施形態の画像処理装置17では、指標23は、特定点が末端に位置し、少なくとも一部が移動体11の上下方向に延びるオブジェクトである。したがって、画像処理装置17は、2次元座標系である画像において、特定点の上下方向の高さ位置を運転者に認識させやすい画像IMを作成し得る。 Further, in the image processing apparatus 17 of the present embodiment, the index 23 is an object having a specific point positioned at the end and having at least a portion thereof extending in the vertical direction of the moving body 11 . Therefore, the image processing device 17 can create an image IM that allows the driver to easily recognize the height position of the specific point in the vertical direction in the image of the two-dimensional coordinate system.

また、本実施形態の画像処理装置17では、指標23は、特定点が末端に位置し、舵角に応じて傾斜した方向に延伸するオブジェクトである。したがって、画像処理装置17は、運転者に現在の舵角を認識させる画像IMを作成し得る。 Further, in the image processing device 17 of the present embodiment, the index 23 is an object having a specific point located at the end and extending in an inclined direction according to the steering angle. Therefore, the image processing device 17 can create an image IM that allows the driver to recognize the current steering angle.

また、本実施形態の画像処理装置17は、移動体11の幅方向の真ん中を挟んで等距離である2つの特定点それぞれの指標23を含む指標対24を画像IMに描画する。移動体11および被索引体13は、互いの幅方向の真ん中の位置が合う状態で連結されることが一般的である。このような一般構成に対して、上記の構成の画像処理装置17では、画像IMに含まれる被索引体13の幅方向真ん中を、移動体11の幅方向の真ん中に合わせるためのガイドとなる指標対24を描画した画像IMを作成し得る。 Further, the image processing apparatus 17 of the present embodiment draws an index pair 24 including the indices 23 of each of the two specific points equidistant across the center of the moving object 11 in the width direction on the image IM. The movable body 11 and the object to be indexed 13 are generally connected in a state where the middle positions in the width direction are aligned with each other. In contrast to such a general configuration, in the image processing device 17 having the above configuration, an index serving as a guide for aligning the widthwise middle of the indexable object 13 included in the image IM with the widthwise middle of the moving object 11 is used. An image IM that depicts the pair 24 can be created.

また、本実施形態の画像処理装置17は、同一の移動距離において、移動体11の幅方向真ん中から特定点までの間隔がそれぞれ異なる指標対24を画像IMに描画する。このような構成により、画像処理装置17は、幅の異なる多様な被索引体13に対しても、画像IMに含まれる被索引体13の幅方向真ん中を、移動体11の幅方向の真ん中に合わせるためのガイドとなる指標対24を描画した画像IMを作成し得る。 Further, the image processing apparatus 17 of the present embodiment draws the index pairs 24 having different intervals from the center of the moving body 11 in the width direction to the specific point in the image IM at the same movement distance. With such a configuration, the image processing device 17 can align the widthwise middle of the indexable object 13 included in the image IM with the widthwise middle of the moving object 11 even for various indexable objects 13 having different widths. An image IM may be created that depicts index pairs 24 to guide alignment.

また、本実施形態の画像処理装置17では、指標23は移動距離毎に異なる色である。このような構成により、画像処理装置17は、被索引体13の移動体11への接近の度合いをより明確に認識させる画像IMを作成し得る。 Further, in the image processing device 17 of the present embodiment, the index 23 has a different color for each moving distance. With such a configuration, the image processing device 17 can create an image IM that more clearly recognizes the degree of approach of the object 13 to the moving object 11 to be indexed.

本発明を諸図面や実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形や修正を行うことが容易であることに注意されたい。従って、これらの変形や修正は本発明の範囲に含まれることに留意されたい。 Although the present invention has been described with reference to the drawings and examples, it should be noted that various variations and modifications will be readily apparent to those skilled in the art based on this disclosure. Therefore, it should be noted that these variations and modifications are included in the scope of the present invention.

例えば、本実施形態の指標23として、図9に示すように、4箇所の移動後の特定点を頂点とする矩形の枠状の例が挙げられているが、移動後の特定点を頂点として無くてもよい。例えば、指標23は移動後の特定点を通過する円形、楕円形などであってよい。なお、複数の特定点の互いに異なる移動距離毎の位置を示す枠状の指標23の代わりに、中心が単一の移動後の特定点の互いに異なる移動距離毎の位置を示す枠状の指標であってよい。当該枠状の指標は、移動距離が長くなるほど小さく描画されていてよい。また、当該枠状の指標を3次元空間上に復元した大きさは、移動距離毎に異なっていてよい。 For example, as the indicator 23 of the present embodiment, as shown in FIG. 9, there is an example of a rectangular frame having four specific points after movement as vertices. It can be omitted. For example, the indicator 23 may be circular, elliptical, or the like passing through the specific point after movement. Instead of the frame-shaped index 23 indicating the positions of the plurality of specific points at different moving distances, a frame-like index indicating the positions of the specific point after the movement of a single center at different moving distances is used. It's okay. The frame-shaped index may be rendered smaller as the movement distance increases. Also, the size of the frame-shaped index restored in the three-dimensional space may differ for each movement distance.

10 撮像装置
11 移動体
12 ディスプレイ
13 被索引体
14 ヒッチ
15 連結具
16 撮像部
17 画像処理装置
18 本体
19 取得部
20 記憶部
21 出力部
22 制御部
23 指標
23p 指標の路面への投影像
24 指標対
25 第1の移動軌跡
26 距離補助線
27 第2の移動軌跡
IM 画像
sp 移動後の特定点
REFERENCE SIGNS LIST 10 imaging device 11 moving object 12 display 13 object to be indexed 14 hitch 15 connector 16 imaging unit 17 image processing device 18 main body 19 acquisition unit 20 storage unit 21 output unit 22 control unit 23 index 23p projected image of index on road surface 24 index pair 25 first movement trajectory 26 distance auxiliary line 27 second movement trajectory IM image sp specific point after movement

Claims (14)

移動体から舵角情報を、撮像部から画像信号を取得する取得部と、
前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である
画像処理装置。
an acquisition unit that acquires steering angle information from the moving object and an image signal from the imaging unit;
An index indicating a position of a specific point at a specific position with respect to the imaging unit for each different movement distance in movement of the moving body at a steering angle corresponding to the steering angle information is provided in the image signal. a control for drawing on a corresponding image;
The image processing device, wherein the index is an arc based on the specific point before movement.
移動体から舵角情報を、撮像部から画像信号を取得する取得部と、
前記撮像部を基準にした特定の位置にある特定点の、前記舵角情報に相当する舵角での
前記移動体の移動における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号
に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記移動体の上下方向から傾斜した方向に延伸するオブ
ジェクトである
画像処理装置。
an acquisition unit that acquires steering angle information from the moving object and an image signal from the imaging unit;
An index indicating a position of a specific point at a specific position with respect to the imaging unit for each different movement distance in movement of the moving body at a steering angle corresponding to the steering angle information is provided in the image signal. a control for drawing on a corresponding image;
The index is an object extending in a direction inclined from the vertical direction of the moving object according to the steering angle.
請求項1に記載の画像処理装置において、
前記円弧の長さは、前記移動体の操舵可能範囲に相当する前記特定点の変位範囲を示す
画像処理装置。
The image processing device according to claim 1,
The image processing device, wherein the length of the arc indicates the displacement range of the specific point corresponding to the steerable range of the moving object.
請求項2に記載の画像処理装置において、
前記指標は、前記特定点が末端に位置し、少なくとも一部が前記移動体の上下方向に延
びるオブジェクトである
画像処理装置。
In the image processing device according to claim 2,
The index is an object whose end is located at the specific point and at least a part of which extends in the vertical direction of the moving body.
請求項1から4のいずれか1項に記載の画像処理装置において、
前記制御部は、前記移動体の幅方向の真ん中を挟んで等距離である2つの前記特定点そ
れぞれの前記指標を含む指標対を、前記画像に描画する
画像処理装置。
In the image processing device according to any one of claims 1 to 4,
The image processing device, wherein the control unit draws, on the image, an index pair including the indices of each of the two specific points that are equidistant across a center in the width direction of the moving body.
請求項5に記載の画像処理装置であって、
前記制御部は、同一の移動距離において、前記真ん中からの前記特定点までの間隔がそ
れぞれ異なる複数の前記指標対を、前記画像に描画する
画像処理装置。
The image processing device according to claim 5,
The image processing device, wherein the control unit draws, on the image, a plurality of the index pairs having different intervals from the center to the specific point at the same moving distance.
請求項6に記載の画像処理装置であって、
前記制御部は、同一の移動距離において、前記真ん中から一方の側に並ぶ前記指標の少
なくとも一部が等間隔となるように3つ以上の前記指標対を描画する
画像処理装置。
The image processing device according to claim 6,
The control unit draws the three or more index pairs such that at least some of the indexes arranged on one side from the center are equidistantly spaced at the same movement distance.
請求項1から7のいずれか1項に記載の画像処理装置であって、
前記特定点は、前記移動体の高さ方向における最低位置かつ幅方向における中央位置に
位置する
画像処理装置。
The image processing device according to any one of claims 1 to 7,
The image processing device, wherein the specific point is located at the lowest position in the height direction of the moving body and the center position in the width direction.
請求項1から8のいずれか1項に記載の画像処理装置であって、
前記指標は、前記移動距離毎に異なる色である
画像処理装置。
The image processing device according to any one of claims 1 to 8,
The image processing device, wherein the indicator has a different color for each movement distance.
請求項1から9のいずれか1項に記載の画像処理装置であって、
前記制御部は、前記移動体の幅方向の両端の、前記舵角での前記移動体の移動に応じた
移動軌跡と、前記移動体の前後方向の一方の端から所定の距離の位置を示す距離補助線を
、前記画像に描画する
画像処理装置。
The image processing device according to any one of claims 1 to 9,
The control unit indicates a movement trajectory corresponding to the movement of the moving body at the steering angle at both ends in the width direction of the moving body, and a position at a predetermined distance from one end in the front-rear direction of the moving body. An image processing device that draws a distance auxiliary line on the image.
移動体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮
像部と、
前記移動体から舵角情報を取得し、前記撮像部を基準にした特定の位置にある特定点の
、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎
の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である
撮像装置。
an imaging unit that is fixed at a predetermined position on a moving body in a predetermined posture and that generates an image signal by imaging;
Steering angle information is acquired from the moving body, and a specific point at a specific position with respect to the imaging unit moves at a steering angle corresponding to the steering angle information for each different movement distance of the moving body. a control unit that draws an index indicating the position of the image signal on the image corresponding to the image signal,
The imaging device, wherein the index is an arc with the specific point before movement as a reference.
移動体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する撮
像部と、
前記移動体から舵角情報を取得し、前記撮像部を基準にした特定の位置にある特定点の
、前記舵角情報に相当する舵角での前記移動体の移動における、互いに異なる移動距離毎
の位置を示す指標を、前記画像信号に相当する画像上に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記移動体の上下方向から傾斜した方向に延伸するオブ
ジェクトである
撮像装置。
an imaging unit that is fixed at a predetermined position on a moving body in a predetermined posture and that generates an image signal by imaging;
Steering angle information is acquired from the moving body, and a specific point at a specific position with respect to the imaging unit moves at a steering angle corresponding to the steering angle information for each different movement distance of the moving body. a control unit that draws an index indicating the position of the image signal on the image corresponding to the image signal,
The imaging device, wherein the indicator is an object that extends in a direction inclined from the vertical direction of the moving body according to the steering angle.
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する
撮像部と、
前記撮像部を基準にした特定の位置にある特定点の、前記本体の舵角での該本体の移動
における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上
に描画する制御部と、を備え、
前記指標は、移動前の前記特定点を基準とした円弧である
移動体。
the main body;
an imaging unit that is fixed at a predetermined position on the main body in a predetermined posture and that generates an image signal by imaging;
An index indicating the position of a specific point at a specific position with respect to the imaging unit for each different movement distance in the movement of the main body at the steering angle of the main body is displayed on the image corresponding to the image signal. a control unit for drawing;
The indicator is an arc based on the specific point before movement.
本体と、
前記本体の所定の位置に所定の姿勢で固定されており、撮像により画像信号を生成する
撮像部と、
前記撮像部を基準にした特定の位置にある特定点の、前記本体の舵角での該本体の移動
における、互いに異なる移動距離毎の位置を示す指標を、前記画像信号に相当する画像上
に描画する制御部と、を備え、
前記指標は、前記舵角に応じて前記本体の上下方向から傾斜した方向に延伸するオブ
ジェクトである
移動体。
the main body;
an imaging unit that is fixed at a predetermined position on the main body in a predetermined posture and that generates an image signal by imaging;
An index indicating the position of a specific point at a specific position with respect to the imaging unit for each different movement distance in the movement of the main body at the steering angle of the main body is displayed on the image corresponding to the image signal. a control unit for drawing;
The indicator is an object extending in a direction inclined from the vertical direction of the main body according to the steering angle.
JP2019100716A 2019-03-13 2019-05-29 Image processing device, imaging device, and moving object Active JP7294886B2 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019046322 2019-03-13
JP2019046322 2019-03-13

Publications (2)

Publication Number Publication Date
JP2020156069A JP2020156069A (en) 2020-09-24
JP7294886B2 true JP7294886B2 (en) 2023-06-20

Family

ID=72560019

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019100716A Active JP7294886B2 (en) 2019-03-13 2019-05-29 Image processing device, imaging device, and moving object

Country Status (1)

Country Link
JP (1) JP7294886B2 (en)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002308029A (en) 2001-04-09 2002-10-23 Matsushita Electric Ind Co Ltd Driving support device
JP2004345554A (en) 2003-05-23 2004-12-09 Clarion Co Ltd Vehicle rearward monitoring device and vehicle rearward monitoring system
JP2016150616A (en) 2015-02-16 2016-08-22 株式会社デンソー Drive supporting device
US20160375831A1 (en) 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view
JP2018133712A (en) 2017-02-16 2018-08-23 アイシン精機株式会社 Perimeter monitoring device
JP2019004355A (en) 2017-06-16 2019-01-10 株式会社Jvcケンウッド Display control apparatus, display control system, display control method, and display control program
JP2019103049A (en) 2017-12-06 2019-06-24 アイシン精機株式会社 Peripheral monitoring device
JP2019192218A (en) 2018-03-13 2019-10-31 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド Backup system for a vehicle with a trailer hitch
JP2020088801A (en) 2018-11-30 2020-06-04 株式会社デンソーテン Operation support device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002308029A (en) 2001-04-09 2002-10-23 Matsushita Electric Ind Co Ltd Driving support device
JP2004345554A (en) 2003-05-23 2004-12-09 Clarion Co Ltd Vehicle rearward monitoring device and vehicle rearward monitoring system
JP2016150616A (en) 2015-02-16 2016-08-22 株式会社デンソー Drive supporting device
US20160375831A1 (en) 2015-06-23 2016-12-29 GM Global Technology Operations LLC Hitching assist with pan/zoom and virtual top-view
JP2018133712A (en) 2017-02-16 2018-08-23 アイシン精機株式会社 Perimeter monitoring device
JP2019004355A (en) 2017-06-16 2019-01-10 株式会社Jvcケンウッド Display control apparatus, display control system, display control method, and display control program
JP2019103049A (en) 2017-12-06 2019-06-24 アイシン精機株式会社 Peripheral monitoring device
JP2019192218A (en) 2018-03-13 2019-10-31 トヨタ モーター エンジニアリング アンド マニュファクチャリング ノース アメリカ,インコーポレイティド Backup system for a vehicle with a trailer hitch
JP2020088801A (en) 2018-11-30 2020-06-04 株式会社デンソーテン Operation support device

Also Published As

Publication number Publication date
JP2020156069A (en) 2020-09-24

Similar Documents

Publication Publication Date Title
US10710504B2 (en) Surroundings-monitoring device and computer program product
US10625782B2 (en) Surroundings monitoring apparatus
EP3016836B1 (en) Vehicle control system
JP5052628B2 (en) Parking assistance device and parking assistance method for vehicle or connected vehicle comprising vehicle elements which can be bent with respect to each other
US10878253B2 (en) Periphery monitoring device
JP4914458B2 (en) Vehicle periphery display device
CN102473353B (en) driving aids
US11591018B2 (en) Parking assistance device
CN110001523B (en) Peripheral monitoring device
US11420678B2 (en) Traction assist display for towing a vehicle
JP2014189097A (en) Parking support device
US20200084395A1 (en) Periphery monitoring device
JP5013205B2 (en) Parking assistance device
CN113327201A (en) Image processing apparatus and image processing method
JP2019014276A (en) Linked work support device
JP7294886B2 (en) Image processing device, imaging device, and moving object
JP2007168560A (en) Parking support apparatus
JP2019069719A (en) Parking support device
JP2022189118A (en) Vehicle display device, display method, and program
JP4650252B2 (en) Parking assistance device
US20230373486A1 (en) Vehicle trailer control
WO2019073871A1 (en) Periphery monitoring device
WO2019058586A1 (en) Towing assistant device
JP2019060616A (en) Driving support device
JP2018101901A (en) Image processing apparatus, imaging apparatus, moving object, and image processing method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210810

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220822

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221021

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230314

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230502

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230516

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230608

R150 Certificate of patent or registration of utility model

Ref document number: 7294886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150