JP7704117B2 - Vehicle-mounted camera calibration system, vehicle-mounted camera calibration method, and vehicle-mounted camera calibration program - Google Patents
Vehicle-mounted camera calibration system, vehicle-mounted camera calibration method, and vehicle-mounted camera calibration program Download PDFInfo
- Publication number
- JP7704117B2 JP7704117B2 JP2022158844A JP2022158844A JP7704117B2 JP 7704117 B2 JP7704117 B2 JP 7704117B2 JP 2022158844 A JP2022158844 A JP 2022158844A JP 2022158844 A JP2022158844 A JP 2022158844A JP 7704117 B2 JP7704117 B2 JP 7704117B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- photometric
- mounted camera
- image
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Studio Devices (AREA)
Description
本発明は、車載カメラの車両への組み付け位置の誤差（組み付けバラツキ）を校正する車載カメラ校正システム、車載カメラ校正方法、及び車載カメラ校正プログラムに関する。 The present invention relates to an on-board camera calibration system, an on-board camera calibration method, and an on-board camera calibration program that calibrate errors (assembly variations) in the mounting position of an on-board camera on a vehicle.
特許文献１には、車両への車載カメラの組み付け工程で発生した組み付けバラツキに対し、表示器に表示される切り出し画像の光軸の歪みを、校正工程で光軸調整用マーカに基づき補正する技術が記載されている。 Patent document 1 describes a technology that corrects the distortion of the optical axis of the cropped image displayed on the display based on an optical axis adjustment marker during a calibration process in response to assembly variations that occur during the process of assembling the onboard camera to the vehicle.
図６（Ａ）は、カメラ工場と車両組付工場とでの作業範囲を示し、図６（Ｂ）は、カメラ工場において車載カメラで無限遠を撮像した場合のスルー画像の一例である。図６（Ｂ）に示したスルー画像の右上と左上とには、車両のガーニッシュ稜線２０４が、そして、当該スルー画像の下部には車両のバンパー稜線２０２が写り込んでいる。スルー画像の中央には測光測色エリア２１０が設けられている。測光測色エリア２１０の上辺、及び下辺の各々は、実際の地平線１００と平行になるように設定されている。 Figure 6 (A) shows the work areas at the camera factory and the vehicle assembly factory, and Figure 6 (B) is an example of a through image taken at infinity with an on-board camera at the camera factory. The vehicle's garnish ridgeline 204 is captured in the upper right and upper left of the through image shown in Figure 6 (B), and the vehicle's bumper ridgeline 202 is captured in the lower part of the through image. A photometric and colorimetric area 210 is provided in the center of the through image. The upper and lower edges of the photometric and colorimetric area 210 are each set to be parallel to the actual horizon 100.
図６（Ｃ）は、車両に組み付けられた状態の車載カメラで、光軸調整用マーカ２２０Ｌと光軸調整用マーカ２２０Ｒとを実際に結ぶ線分が実際の地平線と平行になるように設置された光軸調整用マーカ１２０、１２０Ｒを撮像した画像である。図６（Ｃ）の画像上で、測光測色エリア２１０は、光軸調整用マーカ２２０Ｌ、２２０Ｒに対して反時計回り傾いており、組み付けバラツキが生じている。 Figure 6 (C) shows an image of the optical axis adjustment markers 120, 120R, which are installed so that the line segment actually connecting the optical axis adjustment markers 220L and 220R is parallel to the actual horizon, captured by an on-board camera installed in a vehicle. In the image of Figure 6 (C), the photometric and colorimetric area 210 is tilted counterclockwise relative to the optical axis adjustment markers 220L and 220R, resulting in assembly variation.
図６（Ｄ）は、光軸調整後の画像の切り出し範囲２３２の一例を示した説明図である。切り出し範囲２３２は、光軸調整用マーカ２２０Ｌ、２２０Ｒの画像上での位置に基づき、切り出し範囲２３２の上辺、又は下辺が実際の地平線と平行になるように校正される。 Figure 6 (D) is an explanatory diagram showing an example of the cut-out range 232 of the image after the optical axis adjustment. The cut-out range 232 is calibrated so that the upper or lower side of the cut-out range 232 is parallel to the actual horizon, based on the positions of the optical axis adjustment markers 220L and 220R on the image.
しかしながら、特許文献１に記載の技術は、車載カメラで取得する画像の露出、及び色調を調整するために車載カメラの光軸を中心として設けられた測光測色エリア２１０の位置は校正されないので、車載カメラで取得した画像の露出、及び色調の調整に関して改善の余地がある。 However, the technology described in Patent Document 1 does not calibrate the position of the photometric and colorimetric area 210, which is centered on the optical axis of the vehicle-mounted camera in order to adjust the exposure and color tone of the image captured by the vehicle-mounted camera, so there is room for improvement in terms of adjusting the exposure and color tone of the image captured by the vehicle-mounted camera.
本発明は上記事実を考慮して成されたもので、車載カメラの測光測色エリアの位置ずれを修正できる車載カメラ校正システム、車載カメラ校正方法、及び車載カメラ校正プログラムを得ることを目的とする。 The present invention has been made in consideration of the above, and aims to provide an on-board camera calibration system, an on-board camera calibration method, and an on-board camera calibration program that can correct positional deviations in the photometric and colorimetric areas of an on-board camera.
上記課題を解決するために、請求項１に記載の車載カメラ校正システムは、プロセッサを備え、前記プロセッサは、車載カメラが撮像した地平線に対して特定位置となるように配置されたマーカを含む画像に基づいて、前記画像の基準となる基準点及び基準軸を設定し、前記車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、前記基準点及び前記基準軸と所定の関係になるように調整するように構成されている。 To solve the above problem, the vehicle-mounted camera calibration system described in claim 1 includes a processor, and the processor is configured to set a reference point and a reference axis that serve as a reference for an image captured by the vehicle-mounted camera based on the image including a marker that is positioned at a specific position relative to the horizon, and to adjust a virtual coordinate point and a virtual coordinate axis that are preset for a photometric and colorimetric area for adjusting at least one of the exposure and color tone of the vehicle-mounted camera so that they have a predetermined relationship with the reference point and the reference axis.
請求項１に記載の車載カメラ校正システムによれば、画像の基準となる基準点及び基準軸を設定し、車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、基準点及び基準軸と所定の関係になるように調整することにより、車載カメラの測光測色エリアの位置ずれを修正できる。 According to the vehicle-mounted camera calibration system described in claim 1, a reference point and a reference axis are set as the reference for the image, and a virtual coordinate point and a virtual coordinate axis are set in advance for the photometric and colorimetric area for adjusting at least one of the exposure and color tone of the vehicle-mounted camera, so that they are adjusted to have a predetermined relationship with the reference point and the reference axis, thereby correcting the positional deviation of the photometric and colorimetric area of the vehicle-mounted camera.
請求項２に記載の車載カメラ校正システムは、前記プロセッサは、車両の表示装置に表示される画像の範囲を示す切り出し範囲を、前記基準軸の中心点を中心に前記調整後の測光測色エリアを包括すると共に、前記基準軸に対して平行な辺と垂直な辺とを有する矩形状の範囲として設定する。 In the vehicle-mounted camera calibration system described in claim 2, the processor sets the cutout range indicating the range of the image displayed on the vehicle's display device as a rectangular range that includes the adjusted photometric and colorimetric area with the center point of the reference axis as the center and has sides parallel and perpendicular to the reference axis.
請求項２に記載の車載カメラ校正システムによれば、画像において基準軸の中心点を中心とし、画像において基準軸に対して平行な辺と垂直な辺とを有する矩形状の範囲として、車両の表示装置に表示される画像の範囲を示す切り出し範囲を設定できる。 According to the vehicle-mounted camera calibration system described in claim 2, a cutout range indicating the range of the image displayed on the vehicle's display device can be set as a rectangular range centered on the center point of the reference axis in the image and having sides parallel and perpendicular to the reference axis in the image.
請求項３に記載の車載カメラ校正システムは、前記プロセッサは、前記画像における前記調整前の測光測色エリアの上端が、前記画像における地平線よりも上に存在する場合に前記測光測色エリアの位置を校正する。 In the vehicle-mounted camera calibration system described in claim 3, the processor calibrates the position of the photometric and colorimetric area when the upper end of the pre-adjustment photometric and colorimetric area in the image is above the horizon in the image.
請求項３に記載の車載カメラ校正システムによれば、位置の校正前の測光測色エリアの上端が、用画像における地平線よりも上に存在する限り、測光測色エリアの位置を校正できる。 According to the vehicle-mounted camera calibration system described in claim 3, the position of the photometric and colorimetric area can be calibrated as long as the upper end of the photometric and colorimetric area before position calibration is above the horizon in the target image.
上記課題を解決するために、請求項４に記載の車載カメラ校正方法は、車載カメラが撮像した地平線に対して特定位置となるように配置されたマーカを含む画像に基づいて、前記画像の基準となる基準点及び基準軸を設定し、前記車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、前記基準点及び前記基準軸と所定の関係になるように調整する。 To solve the above problem, the vehicle-mounted camera calibration method described in claim 4 sets a reference point and a reference axis that serve as a reference for an image that includes a marker that is positioned at a specific position relative to the horizon captured by the vehicle-mounted camera, and adjusts a virtual coordinate point and a virtual coordinate axis that are preset for a photometric/colorimetric area for adjusting at least one of the exposure and color tone of the vehicle-mounted camera so that they have a predetermined relationship with the reference point and the reference axis.
請求項４に記載の車載カメラ校正方法によれば、画像の基準となる基準点及び基準軸を設定し、車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、基準点及び基準軸と所定の関係になるように調整することにより、車載カメラの測光測色エリアの位置ずれを修正できる。 According to the vehicle-mounted camera calibration method described in claim 4, a reference point and a reference axis are set as the reference for the image, and a virtual coordinate point and a virtual coordinate axis are set in advance for the photometric and colorimetric area for adjusting at least one of the exposure and color tone of the vehicle-mounted camera, so that they are adjusted to have a predetermined relationship with the reference point and the reference axis, thereby correcting the positional deviation of the photometric and colorimetric area of the vehicle-mounted camera.
上記課題を解決するために、請求項５に記載の車載カメラ校正プログラムは、プロセッサを、車載カメラが撮像した地平線に対して特定位置となるように配置されたマーカを含む画像に基づいて、前記画像の基準となる基準点及び基準軸を設定し、前記車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、前記基準点及び前記基準軸と所定の関係になるように調整するように動作させる。 To solve the above problem, the vehicle-mounted camera calibration program described in claim 5 causes a processor to operate to set a reference point and a reference axis that serve as a reference for an image captured by the vehicle-mounted camera based on an image including a marker that is positioned at a specific position relative to the horizon, and to adjust a virtual coordinate point and a virtual coordinate axis that are preset for a photometric and colorimetric area for adjusting at least one of the exposure and color tone of the vehicle-mounted camera so that they have a predetermined relationship with the reference point and the reference axis.
請求項５に記載の車載カメラ校正プログラムによれば、画像の基準となる基準点及び基準軸を設定し、車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、基準点及び基準軸と所定の関係になるように調整することにより、車載カメラの測光測色エリアの位置ずれを修正できる。 According to the vehicle-mounted camera calibration program described in claim 5, a reference point and a reference axis are set as the reference for the image, and a virtual coordinate point and a virtual coordinate axis are set in advance for the photometric and colorimetric area for adjusting at least one of the exposure and color tone of the vehicle-mounted camera, so that they are adjusted to have a predetermined relationship with the reference point and the reference axis, thereby correcting the positional deviation of the photometric and colorimetric area of the vehicle-mounted camera.
本発明は、車載カメラの測光測色エリアの位置ずれを修正できる車載カメラ校正システム、車載カメラ校正方法、及び車載カメラ校正プログラムを得ることができるという効果を有する。 The present invention has the effect of providing an on-board camera calibration system, an on-board camera calibration method, and an on-board camera calibration program that can correct the positional deviation of the photometric and colorimetric areas of an on-board camera.
以下、図面を参照して本発明の実施形態の一例を詳細に説明する。図１に示す車載カメラ校正システム１０は、１台の車載カメラ１２と、カメラＥＣＵ（Electronic Control Unit）１４と、ディスプレイ１６と、を含んでおり、車載カメラ１２およびディスプレイ１６はカメラＥＣＵ１４に接続されている。車載カメラ１２は、撮像範囲が広角で、例えば、車両の前方を撮像可能に車両に取り付けられている。車載カメラ１２は撮像部の一例である。 An example of an embodiment of the present invention will be described in detail below with reference to the drawings. The vehicle-mounted camera calibration system 10 shown in FIG. 1 includes one vehicle-mounted camera 12, a camera ECU (Electronic Control Unit) 14, and a display 16, and the vehicle-mounted camera 12 and the display 16 are connected to the camera ECU 14. The vehicle-mounted camera 12 has a wide-angle imaging range and is attached to the vehicle so that it can capture, for example, an image in front of the vehicle. The vehicle-mounted camera 12 is an example of an imaging unit.
ディスプレイ１６は、車両のインストルメントパネルの中央部から車両の上方へ間隔を隔てた位置に設けられている。 The display 16 is located at a distance above the vehicle from the center of the vehicle's instrument panel.
カメラＥＣＵ１４は、ＣＰＵ（Central Processing Unit）２２と、ＲＯＭ（Read Only Memory）及びＲＡＭ（Random Access Memory）等のメモリ２４と、ＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）などの不揮発性の記憶部２６と、通信部２８と、を含んでいる。ＣＰＵ２２、メモリ２４、記憶部２６および通信部２８は内部バス３０を介して互いに通信可能に接続されている。 The camera ECU 14 includes a CPU (Central Processing Unit) 22, a memory 24 such as a ROM (Read Only Memory) and a RAM (Random Access Memory), a non-volatile storage unit 26 such as a HDD (Hard Disk Drive) or an SSD (Solid State Drive), and a communication unit 28. The CPU 22, the memory 24, the storage unit 26, and the communication unit 28 are connected to each other via an internal bus 30 so as to be able to communicate with each other.
カメラＥＣＵ１４の記憶部２６には表示プログラム３２、及び校正プログラム３４が記憶されている。カメラＥＣＵ１４のＣＰＵ２２は、表示プログラム３２が記憶部２６から読み出されてメモリ２４に展開された表示プログラム３２を実行することで、車載カメラ１２で取得した画像データを適宜画像処理してディスプレイに表示させる。また、ＣＰＵ３２は、メモリ２４に展開された校正プログラム３４を実行することで、図２に示すように、測光測色エリアの位置を校正する光軸調整部２０４及び切り出し範囲を設定する切り出し範囲設定部２０６として機能し、後述する車載カメラ１２の校正処理を行う。なお、カメラＥＣＵ１４は車載カメラ校正システム１０の一例である。 A display program 32 and a calibration program 34 are stored in the memory 26 of the camera ECU 14. The CPU 22 of the camera ECU 14 reads the display program 32 from the memory 26 and executes the display program 32 loaded in the memory 24, thereby appropriately processing the image data acquired by the vehicle-mounted camera 12 and displaying it on the display. In addition, by executing the calibration program 34 loaded in the memory 24, the CPU 32 functions as an optical axis adjustment unit 204 that calibrates the position of the photometric and colorimetric areas and an extraction range setting unit 206 that sets the extraction range, as shown in FIG. 2, and performs the calibration process of the vehicle-mounted camera 12 described below. The camera ECU 14 is an example of the vehicle-mounted camera calibration system 10.
表示プログラム３２は、ディスプレイ１６に、車載カメラ１２により撮像された撮像画像を表示させる。前述のように、車載カメラ１２の撮像範囲は広角なので、取得した画像データは広角レンズ特有の歪曲収差を含んでいる場合がある。かかる場合は、表示プログラム３２による画像処理によって、ディスプレイ１６には、歪曲収差が補正された撮像画像が表示される。 The display program 32 causes the display 16 to display the captured image captured by the vehicle-mounted camera 12. As mentioned above, the imaging range of the vehicle-mounted camera 12 is wide-angle, so the acquired image data may contain distortion aberration specific to wide-angle lenses. In such cases, the display program 32 performs image processing to display the captured image with the distortion aberration corrected on the display 16.
図３（Ａ）は、カメラ工場での車載カメラ１２の設定処理の一例を示したフローチャートである。ステップＳ１００では、製品としての車載カメラ共通のデフォルト測光測色エリアを設定する。 Figure 3 (A) is a flowchart showing an example of the setting process for the vehicle-mounted camera 12 at the camera factory. In step S100, a default photometric and colorimetric area common to all vehicle-mounted cameras as products is set.
図４（Ａ）は、カメラ工場と車両組付工場とでの作業範囲を示し、図４（Ｂ）は、カメラ工場において車載カメラ１２で無限遠を撮像した場合の車載カメラ１２の撮像範囲を示すスルー画像の一例である。車載カメラ１２に限らず、撮影用レンズを有する撮像装置の撮像範囲は略円形（イメージサークル）を呈するが、本実施形態では、便宜上、撮像範囲は、矩形のスルー画像として表現する。 Figure 4 (A) shows the work areas at the camera factory and the vehicle assembly factory, and Figure 4 (B) is an example of a through image showing the imaging range of the on-board camera 12 when capturing an image at infinity with the on-board camera 12 at the camera factory. The imaging range of any imaging device having a shooting lens, not limited to the on-board camera 12, is approximately circular (image circle), but in this embodiment, for convenience, the imaging range is expressed as a rectangular through image.
図４（Ｂ）に示したスルー画像の右上と左上とには、車両のガーニッシュ稜線１０４が、そして、当該スルー画像の下部には車両のバンパー稜線１０２が写り込んでいる。車載カメラ１２の光軸に一致するスルー画像の中央には測光測色エリア中心点１１２があり、測光測色エリア中心点１１２を通る測光測色エリアＨ軸１１４を中心に矩形上の測光測色エリア１１０が設けられている。測光測色エリアＨ軸１１４は、理論上は地平線１００と平行になる。しかしながら、車載カメラ１２のレンズの歪曲収差等の収差により、スルー画像において地平線が上に凸、又は下に凸の曲線状を呈する場合は、当該曲線の頂点１０６における接線１０８と、測光測色エリアＨ軸１１４とが平行になるようにする。 The vehicle's garnish ridgeline 104 is captured in the upper right and upper left of the through image shown in FIG. 4B, and the vehicle's bumper ridgeline 102 is captured in the lower part of the through image. The photometric and colorimetric area center point 112 is located in the center of the through image, which coincides with the optical axis of the vehicle-mounted camera 12, and a rectangular photometric and colorimetric area 110 is provided with the photometric and colorimetric area H axis 114, which passes through the photometric and colorimetric area center point 112, as its center. Theoretically, the photometric and colorimetric area H axis 114 is parallel to the horizon 100. However, if the horizon in the through image appears as a curved line that is convex upward or convex downward due to aberrations such as distortion aberration of the lens of the vehicle-mounted camera 12, the tangent 108 at the apex 106 of the curve and the photometric and colorimetric area H axis 114 are made parallel to each other.
測光測色エリア１１０は、測光測色エリア中心点１１２を中心とし、測光測色エリアＨ軸１１４に対して、平行な辺と垂直な辺とを有する所定の大きさの矩形状に設定される。ステップＳ１００では、設定した測光測色エリア１１０及び測光測色エリア中心点１１２を、車載カメラ１２の記憶部に記憶させる。 The photometric and colorimetric area 110 is set to a rectangular shape of a predetermined size with a photometric and colorimetric area center point 112 and sides parallel and perpendicular to the photometric and colorimetric area H axis 114. In step S100, the set photometric and colorimetric area 110 and photometric and colorimetric area center point 112 are stored in the memory unit of the vehicle-mounted camera 12.
ステップＳ１０２では、設定が完了した車載カメラ１２を出荷して、カメラ工場での処理を終了する。 In step S102, the in-vehicle camera 12 with completed settings is shipped, and processing at the camera factory is completed.
図３（Ｂ）は、車両組付工場における車載カメラ１２の車両への組み付け及び車載カメラ１２の校正処理の一例を示したフローチャートである。ステップＳ２００では、車載カメラ１２を車両へ組み付ける。ステップＳ２００の組み付けの際に、車載カメラ１２の車両への組み付け位置の誤差である組み付けバラツキが生じる場合がある。 Figure 3 (B) is a flowchart showing an example of the assembly of the on-board camera 12 to the vehicle and the calibration process of the on-board camera 12 at a vehicle assembly factory. In step S200, the on-board camera 12 is assembled to the vehicle. During the assembly in step S200, assembly variation, which is an error in the assembly position of the on-board camera 12 to the vehicle, may occur.
図４（Ｃ）は、車両組み付け時に生じる組み付けバラツキの一例を示した説明図である。図４（Ｃ）は、車両に組み付けられた状態の車載カメラ１２で、光軸調整用マーカ１２０Ｌと光軸調整用マーカ１２０Ｒとを実際に結ぶ線分が実際の地平線と平行になるように設置された光軸調整用マーカ１２０Ｌ、１２０Ｒを、当該線分の中間点が車載カメラ１２で撮像した画像の中心に略一致するように撮像した校正用画像である。図４（Ｃ）の画像上で、測光測色エリアＨ軸１１４は、光軸調整用マーカ１２０Ｌと光軸調整用マーカ１２０Ｒとを結び、切り出し中心点１２２を通る切り出しＨ軸１２４に対して反時計回り傾いており、組み付けバラツキが生じている。 Figure 4(C) is an explanatory diagram showing an example of assembly variation that occurs when the vehicle is assembled. Figure 4(C) is a calibration image of the vehicle-mounted camera 12 assembled to the vehicle, in which the optical axis adjustment markers 120L and 120R are installed so that the line segment actually connecting the optical axis adjustment markers 120L and 120R is parallel to the actual horizon, and the midpoint of the line segment is approximately aligned with the center of the image captured by the vehicle-mounted camera 12. In the image of Figure 4(C), the photometric and colorimetric area H axis 114 is inclined counterclockwise with respect to the cut-out H axis 124 that connects the optical axis adjustment markers 120L and 120R and passes through the cut-out center point 122, resulting in assembly variation.
ステップＳ２０２では、光軸調整用マーカ認識により、車載カメラ１２のスルー画像の切り出し範囲１３２を決定する。切り出し範囲１３２は、ディスプレイ１６に表示される切り出し画像の範囲を示す。図４（Ｄ）は、光軸調整後の画像の切り出し範囲１３２の一例を示した説明図である。切り出し範囲１３２は、切り出し中心点１２２を中心とし、切り出しＨ軸１２４に対して、平行な辺と垂直な辺とを有する所定の大きさの矩形状に設定される。 In step S202, the cut-out range 132 of the through image of the in-vehicle camera 12 is determined by recognizing the optical axis adjustment marker. The cut-out range 132 indicates the range of the cut-out image to be displayed on the display 16. FIG. 4(D) is an explanatory diagram showing an example of the cut-out range 132 of the image after the optical axis adjustment. The cut-out range 132 is set to a rectangular shape of a predetermined size with the cut-out center point 122 as its center and sides parallel and perpendicular to the cut-out H axis 124.
ステップＳ２０４では、切り出し中心点１２２の画像上での座標と、切り出しＨ軸１２４の画像上での座標をカメラＥＣＵ１４のメモリ２４に記憶する。車載カメラ１２の記憶部に直接書き込みが可能であれば、切り出し中心点１２２の画像上での座標と、切り出しＨ軸１２４の画像上での座標は、車載カメラ１２の記憶部に記憶してもよい。 In step S204, the coordinates of the cropping center point 122 on the image and the coordinates of the cropping H-axis 124 on the image are stored in the memory 24 of the camera ECU 14. If direct writing to the storage unit of the in-vehicle camera 12 is possible, the coordinates of the cropping center point 122 on the image and the coordinates of the cropping H-axis 124 on the image may be stored in the storage unit of the in-vehicle camera 12.
ステップＳ２０６では、切り出し中心点１２２と測光測色エリア中心点１１２とが一致、又は同じ座標系上で一意の位置関係になるように調整する。具体的には、矢印１２６で示したように測光測色エリア中心点１１２を切り出し中心点１２２に移動させるようにして、切り出し中心点１２２と測光測色エリア中心点１１２とが一致、又は同じ座標系上で一意の位置関係になるように調整する。 In step S206, the cut-out center point 122 and the photometric and colorimetric area center point 112 are adjusted so that they coincide with each other or have a unique positional relationship on the same coordinate system. Specifically, the photometric and colorimetric area center point 112 is moved to the cut-out center point 122 as shown by the arrow 126, and the cut-out center point 122 and the photometric and colorimetric area center point 112 are adjusted so that they coincide with each other or have a unique positional relationship on the same coordinate system.
ステップＳ２０８では、調整後の測光測色エリア中心点１１２を中心に、測光測色エリアＨ軸１１４が、切り出しＨ軸１２４と平行になるように調整する。具体的には、矢印１２８で示したように測光測色エリアＨ軸１１４を切り出しＨ軸１２４近くに移動させるようにして、測光測色エリアＨ軸１１４が、切り出しＨ軸１２４と平行、又は一致するように調整し、切り出し範囲１３２が位置校正後の測光測色エリア１３０を包括する所定範囲の大きさになるように設定する。 In step S208, the photometric and colorimetric area H axis 114 is adjusted so that it is parallel to the cut-out H axis 124, with the adjusted photometric and colorimetric area center point 112 as the center. Specifically, the photometric and colorimetric area H axis 114 is moved closer to the cut-out H axis 124 as shown by arrow 128, and the photometric and colorimetric area H axis 114 is adjusted so that it is parallel to or coincides with the cut-out H axis 124, and the cut-out range 132 is set to the size of a specified range that includes the photometric and colorimetric area 130 after position calibration.
ステップＳ２１０では、調整後の測光測色エリア１３０の画像上での座標、及び設定した切り出し範囲１３２の画像上での座標をカメラＥＣＵ１４のメモリ２４に記憶して処理を終了する。車載カメラ１２の記憶部に直接書き込みが可能であれば、測光測色エリア１３０の画像上での座標、及び設定した切り出し範囲１３２の画像上での座標は、車載カメラ１２の記憶部に記憶してもよい。 In step S210, the coordinates on the image of the adjusted photometric and colorimetric area 130 and the coordinates on the image of the set cut-out range 132 are stored in the memory 24 of the camera ECU 14, and the process ends. If direct writing to the storage unit of the in-vehicle camera 12 is possible, the coordinates on the image of the photometric and colorimetric area 130 and the coordinates on the image of the set cut-out range 132 may be stored in the storage unit of the in-vehicle camera 12.
図５（Ａ）は、本実施形態に係る車載カメラ校正システム１０における校正可能な最大の組み付けバラツキについての説明図である。本実施形態では、校正前の測光測色エリア１１０の上辺が地平線１００よりも上に存在するのであれば、測光測色エリア１１０を測光測色エリア１３０に校正できる。校正前の測光測色エリア１１０の上辺（上端）が地平線１００よりも上に存在する場合は、測光測色エリア１１０の上辺と地平線１００との距離Ｌが正の値の場合である。本実施形態では、測光測色エリア１１０の上辺が地平線１００よりも上にある場合の距離Ｌを正の値とし、測光測色エリア１１０の上辺が地平線１００よりも下にある場合の距離Ｌを負の値とする。 FIG. 5A is an explanatory diagram of the maximum assembly variation that can be calibrated in the vehicle-mounted camera calibration system 10 according to this embodiment. In this embodiment, if the upper side of the photometric colorimetric area 110 before calibration is above the horizon 100, the photometric colorimetric area 110 can be calibrated to the photometric colorimetric area 130. If the upper side (top end) of the photometric colorimetric area 110 before calibration is above the horizon 100, this is the case when the distance L between the upper side of the photometric colorimetric area 110 and the horizon 100 is a positive value. In this embodiment, the distance L is a positive value when the upper side of the photometric colorimetric area 110 is above the horizon 100, and the distance L is a negative value when the upper side of the photometric colorimetric area 110 is below the horizon 100.
図５（Ｂ）は、マーカ２２０Ｌ、２２０Ｒに従って切り出し範囲２３２のみを校正した場合の測光測色エリア２１０を示した概略図である。図５（Ｂ）に示した場合は、測光測色エリア２１０の組み付けバラツキがそのままなので、校正された切り出し範囲２３２に対して測光測色エリア２１０がずれているので、車載カメラ１２の露出、及び色調の調整に難が生じるおそれがある。 Figure 5 (B) is a schematic diagram showing the photometric and colorimetric area 210 when only the cutout range 232 is calibrated according to the markers 220L, 220R. In the case shown in Figure 5 (B), the assembly variation of the photometric and colorimetric area 210 remains as it is, so the photometric and colorimetric area 210 is misaligned with respect to the calibrated cutout range 232, which may cause difficulties in adjusting the exposure and color tone of the vehicle-mounted camera 12.
以上説明したように、本実施形態では、測光測色エリア１３０を、切り出し範囲１３２と共に校正することにより、切り出し画像の光軸の歪みと共に、車載カメラの測光測色エリアの位置ずれを修正できる。 As described above, in this embodiment, by calibrating the photometric and colorimetric area 130 together with the cut-out range 132, it is possible to correct the positional deviation of the photometric and colorimetric area of the vehicle-mounted camera as well as the distortion of the optical axis of the cut-out image.
近年は、コスト削減のために、複数の車種で共通の車載カメラ１２を実装することが一般的となりつつあり、さらには車載カメラ１２を車両に組み付ける際に用いるブラケット等も複数の車種で共通化する傾向にある。 In recent years, in order to reduce costs, it has become common to use the same on-board camera 12 across multiple vehicle models, and there is also a trend for brackets and other items used to attach the on-board camera 12 to the vehicle to be standardized across multiple vehicle models.
車載カメラ１２のみならず、ブラケットも複数の車種で共通化した場合、車種毎に専用のブラケットを用いる場合よりも車載カメラ１２の組み付けバラツキが生じやすくなる。しかしながら、本実施形態に係る車載カメラ校正システム１０によれば、複数の車種で共通の車載カメラ１２とブラケットとを実装する場合でも、生じた組み付けバラツキを適切に校正することが可能となる。 When not only the vehicle-mounted camera 12 but also the bracket is standardized across multiple vehicle models, variations in the assembly of the vehicle-mounted camera 12 are more likely to occur than when a dedicated bracket is used for each vehicle model. However, with the vehicle-mounted camera calibration system 10 according to this embodiment, even when a common vehicle-mounted camera 12 and bracket are implemented across multiple vehicle models, it is possible to appropriately calibrate the assembly variations that occur.
本実施形態では、地平線に対して水平となるＨ軸を基準軸としたが、これに限定されない。地平線に対して垂直となるＶ軸を基準軸として、切り出し範囲１３２の設定と、測光測色エリア１３０の校正を行ってもよい。 In this embodiment, the H-axis, which is horizontal to the horizon, is used as the reference axis, but this is not limited to this. The V-axis, which is perpendicular to the horizon, may be used as the reference axis to set the cutout range 132 and calibrate the photometric and colorimetric area 130.
なお、上記実施形態に係る車載カメラ校正システム１０は、自動運転が可能な車両にも適用可能である。 The vehicle-mounted camera calibration system 10 according to the above embodiment can also be applied to vehicles capable of autonomous driving.
１０ 車載カメラ校正システム
１２ 車載カメラ
１４ カメラＥＣＵ
１６ ディスプレイ
２２ ＣＰＵ
２４ メモリ
２６ 記憶部
２８ 通信部
３２ 表示プログラム
３４ 校正プログラム
１００ 地平線
１１０ 測光測色エリア
１１２ 測光測色エリア中心点
１１４ 測光測色エリアＨ軸
１２０ 光軸調整用マーカ
１２０Ｌ 光軸調整用マーカ
１２０Ｒ 光軸調整用マーカ
１２２ 切り出し中心点
１２４ 切り出しＨ軸
１３０ 測光測色エリア
１３２ 切り出し範囲
２０４ 光軸調整部
２０６ 切り出し範囲設定部
Ｌ 距離
10 Vehicle-mounted camera calibration system 12 Vehicle-mounted camera 14 Camera ECU
16 Display 22 CPU
24 Memory 26 Storage section 28 Communication section 32 Display program 34 Calibration program 100 Horizon 110 Photometric and colorimetric area 112 Photometric and colorimetric area center point 114 Photometric and colorimetric area H axis 120 Optical axis adjustment marker 120L Optical axis adjustment marker 120R Optical axis adjustment marker 122 Cut-out center point 124 Cut-out H axis 130 Photometric and colorimetric area 132 Cut-out range 204 Optical axis adjustment section 206 Cut-out range setting section L Distance
Claims (5)
車載カメラが撮像した地平線に対して特定位置となるように配置されたマーカを含む画像に基づいて、前記画像の基準となる基準点及び基準軸を設定し、
前記車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、前記基準点及び前記基準軸と所定の関係になるように調整するように構成されている車載カメラ校正システム。 a processor, the processor comprising:
Based on an image including a marker that is arranged at a specific position relative to the horizon captured by the vehicle-mounted camera, a reference point and a reference axis that serve as references for the image are set;
An in-vehicle camera calibration system configured to adjust virtual coordinate points and virtual coordinate axes that are preset for a photometric and colorimetric area for adjusting at least one of the exposure and color tone of the in-vehicle camera so that they have a predetermined relationship with the reference points and reference axes.
前記車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、前記基準点及び前記基準軸と所定の関係になるように調整する車載カメラ校正方法。 Based on an image including a marker that is arranged at a specific position relative to the horizon captured by the vehicle-mounted camera, a reference point and a reference axis that serve as references for the image are set;
A vehicle-mounted camera calibration method for adjusting a virtual coordinate point and a virtual coordinate axis that are preset for a photometric and colorimetric area for adjusting at least one of the exposure and color tone of the vehicle-mounted camera so that they have a predetermined relationship with the reference point and the reference axis.
車載カメラが撮像した地平線に対して特定位置となるように配置されたマーカを含む画像に基づいて、前記画像の基準となる基準点及び基準軸を設定し、
前記車載カメラにおける露光及び色調の少なくとも一方を調整するための測光測色エリアに対して予め設定された仮座標点及び仮座標軸を、前記基準点及び前記基準軸と所定の関係になるように調整するように動作させる車載カメラ校正プログラム。
The processor,
Based on an image including a marker that is arranged at a specific position relative to the horizon captured by the vehicle-mounted camera, a reference point and a reference axis that serve as references for the image are set;
An in-vehicle camera calibration program that operates to adjust virtual coordinate points and virtual coordinate axes that are preset for a photometric and colorimetric area for adjusting at least one of the exposure and color tone in the in-vehicle camera so that they have a predetermined relationship with the reference points and reference axes.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022158844A JP7704117B2 (en) | 2022-09-30 | 2022-09-30 | Vehicle-mounted camera calibration system, vehicle-mounted camera calibration method, and vehicle-mounted camera calibration program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2022158844A JP7704117B2 (en) | 2022-09-30 | 2022-09-30 | Vehicle-mounted camera calibration system, vehicle-mounted camera calibration method, and vehicle-mounted camera calibration program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2024052254A JP2024052254A (en) | 2024-04-11 |
| JP7704117B2 true JP7704117B2 (en) | 2025-07-08 |
Family
ID=90622747
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2022158844A Active JP7704117B2 (en) | 2022-09-30 | 2022-09-30 | Vehicle-mounted camera calibration system, vehicle-mounted camera calibration method, and vehicle-mounted camera calibration program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7704117B2 (en) |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004033468A1 (en) | 2004-06-05 | 2005-12-22 | Adc Automotive Distance Control Systems Gmbh | Procedure for calibrating a camera |
| US20080124064A1 (en) | 2006-11-24 | 2008-05-29 | Sony Ericsson Mobile Communications Ab | Image alignment system |
| JP2010188765A (en) | 2009-02-16 | 2010-09-02 | Alpine Electronics Inc | Device and method for determining photometric region |
| JP2010239409A (en) | 2009-03-31 | 2010-10-21 | Aisin Seiki Co Ltd | Car camera calibration system |
| JP2010251938A (en) | 2009-04-14 | 2010-11-04 | Denso Corp | Vehicle periphery shooting display system |
| JP2013173452A (en) | 2012-02-24 | 2013-09-05 | Kyocera Corp | Calibration processing device, camera calibration device, camera system and camera calibration method |
| JP2017139654A (en) | 2016-02-04 | 2017-08-10 | パナソニックＩｐマネジメント株式会社 | Calibration device and on-vehicle camera system |
| JP2018163300A (en) | 2017-03-27 | 2018-10-18 | キヤノン株式会社 | Electronic device, imaging apparatus, control method, and program |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4238663B2 (en) * | 2003-08-29 | 2009-03-18 | トヨタ自動車株式会社 | On-vehicle camera calibration method and calibration apparatus |
-
2022
- 2022-09-30 JP JP2022158844A patent/JP7704117B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE102004033468A1 (en) | 2004-06-05 | 2005-12-22 | Adc Automotive Distance Control Systems Gmbh | Procedure for calibrating a camera |
| US20080124064A1 (en) | 2006-11-24 | 2008-05-29 | Sony Ericsson Mobile Communications Ab | Image alignment system |
| JP2010188765A (en) | 2009-02-16 | 2010-09-02 | Alpine Electronics Inc | Device and method for determining photometric region |
| JP2010239409A (en) | 2009-03-31 | 2010-10-21 | Aisin Seiki Co Ltd | Car camera calibration system |
| JP2010251938A (en) | 2009-04-14 | 2010-11-04 | Denso Corp | Vehicle periphery shooting display system |
| JP2013173452A (en) | 2012-02-24 | 2013-09-05 | Kyocera Corp | Calibration processing device, camera calibration device, camera system and camera calibration method |
| JP2017139654A (en) | 2016-02-04 | 2017-08-10 | パナソニックＩｐマネジメント株式会社 | Calibration device and on-vehicle camera system |
| JP2018163300A (en) | 2017-03-27 | 2018-10-18 | キヤノン株式会社 | Electronic device, imaging apparatus, control method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2024052254A (en) | 2024-04-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7367818B2 (en) | Imaging system, object identification device, and object identification method mounted on a vehicle | |
| JP4861034B2 (en) | Car camera calibration system | |
| EP1954063A2 (en) | Apparatus and method for camera calibration, and vehicle | |
| JP5316805B2 (en) | In-vehicle camera device image adjustment device and in-vehicle camera device | |
| US8243138B2 (en) | Display system for shooting and displaying image around vehicle | |
| JP5175230B2 (en) | Automatic camera calibration apparatus and automatic calibration method | |
| US20150029338A1 (en) | Device and method for producing bird's-eye view having function of automatically correcting image | |
| KR102277828B1 (en) | Method and apparatus for calibratiing a plurality of cameras | |
| US20180160087A1 (en) | Hud image optimization through software control of displayed graphics | |
| CN106104196A (en) | Calibration method, calibration device and computer program product | |
| JP2010239408A (en) | Car camera calibration system | |
| CN115511974A (en) | Rapid external reference calibration method for vehicle-mounted binocular camera | |
| US20150139556A1 (en) | Apparatus for compensating camera image and operating method thereof | |
| CN116883514A (en) | External parameter calibration method, device and equipment | |
| KR102227850B1 (en) | Method for adjusting output video of rear camera for vehicles | |
| CN114252887A (en) | Method for determining operating parameters of an environment sensing system, environment sensing system and controller | |
| JP2009120135A (en) | Imaging device | |
| JP7704117B2 (en) | Vehicle-mounted camera calibration system, vehicle-mounted camera calibration method, and vehicle-mounted camera calibration program | |
| US12159381B2 (en) | Error-robust capture of vehicle surroundings | |
| CN115330699A (en) | Adjustment method, device and storage medium for head-up display HUD | |
| JP2019180016A (en) | Image synthesizer, image composition method and program | |
| CN118196210A (en) | Panoramic camera external parameter verification method, system and vehicle | |
| JP2007158695A (en) | In-vehicle image processing device | |
| JP2024534145A (en) | Rearview Mirror Assembly Adjustment System | |
| JP6571571B2 (en) | Imaging apparatus, in-vehicle camera, and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240911 |
|
| TRDD | Decision of grant or rejection written | ||
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20250521 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20250527 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20250609 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7704117 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |