JP2021160626A - Driver state detection device - Google Patents
Driver state detection device Download PDFInfo
- Publication number
- JP2021160626A JP2021160626A JP2020065818A JP2020065818A JP2021160626A JP 2021160626 A JP2021160626 A JP 2021160626A JP 2020065818 A JP2020065818 A JP 2020065818A JP 2020065818 A JP2020065818 A JP 2020065818A JP 2021160626 A JP2021160626 A JP 2021160626A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- acceleration
- deceleration
- driver
- abnormality
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 72
- 230000001133 acceleration Effects 0.000 claims abstract description 311
- 230000005856 abnormality Effects 0.000 claims abstract description 76
- 230000006866 deterioration Effects 0.000 abstract description 22
- 230000002159 abnormal effect Effects 0.000 abstract 2
- 238000009826 distribution Methods 0.000 description 30
- 238000000034 method Methods 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 6
- 230000006399 behavior Effects 0.000 description 5
- 238000012545 processing Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000010354 integration Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
Description
本発明は、運転者状態検出装置に関し、特に、運転者の異常を検出する運転者状態検出装置に関する。 The present invention relates to a driver state detection device, and more particularly to a driver state detection device that detects a driver's abnormality.
特開２０１９−１２３４３４号公報（特許文献１）には、ドライバ状態判定装置が記載されている。このドライバ状態判定装置においては、通常状態におけるドライバのアクセルペダルの操作特性モデルが予めメモリに記憶されている。さらに、操作特性モデルに基づいて設定された基準操作特性と、走行中におけるドライバの実際の操作特性を比較することにより、ドライバの異常の有無が判定される。具体的には、先行車両に追従する走行を行っている場合には、ドライバは、先行車両の加減速に応じて自車両を加減速させ、先行車両との間に適正な車間距離を維持しながら走行する。特許文献１記載の発明においては、先行車両が加減速を行った際に、先行車両との適切な車間距離を維持するためにドライバが自車両を加減速させる操作特性に基づいて、ドライバの異常の有無を判定している。
Japanese Unexamined Patent Publication No. 2019-123434 (Patent Document 1) describes a driver state determination device. In this driver state determination device, the operating characteristic model of the driver's accelerator pedal in the normal state is stored in the memory in advance. Further, the presence or absence of an abnormality in the driver is determined by comparing the reference operating characteristic set based on the operating characteristic model with the actual operating characteristic of the driver during driving. Specifically, when traveling following the preceding vehicle, the driver accelerates / decelerates the own vehicle according to the acceleration / deceleration of the preceding vehicle to maintain an appropriate inter-vehicle distance from the preceding vehicle. While driving. In the invention described in
しかしながら、先行車両の加減速に応じて自車両を加減速させることは、軽度の機能低下状態に陥った運転者でも可能であり、この加減速時において運転者が行う操作特性に基づいて、運転者の異常を早期に発見するためには、更なる改善が必要である。 However, it is possible for the driver who has fallen into a state of slight functional deterioration to accelerate or decelerate the own vehicle according to the acceleration or deceleration of the preceding vehicle, and the driver operates based on the operation characteristics performed during this acceleration or deceleration. Further improvement is needed in order to detect an abnormality of a person at an early stage.
従って、本発明は、軽度の機能低下状態に陥った運転者の異常を早期に検出することができる運転者状態検出装置を提供することを目的としている。 Therefore, an object of the present invention is to provide a driver state detection device capable of early detection of an abnormality of a driver who has fallen into a slight functional deterioration state.
上述した課題を解決するために、本発明は、運転者の異常を検出する運転者状態検出装置であって、自車両の前方又は自車両の側方且つ前方を走行している車両を検出する前方車両検出センサと、自車両の加減速度を検出する加減速度センサと、前方車両検出センサによって検出された先行車両に追従するように自車両を走行させるための適正な加減速度を、加減速度モデルに基づいて算出する加減速度算出部と、この加減速度算出部によって算出された加減速度と、加減速度センサによって検出された自車両の実際の加減速度と、を比較して、運転者の異常の有無を判定する異常判定部と、を有し、異常判定部は、追従している先行車両と自車両との間に進出してくる可能性がある他車両が前方車両検出センサによって検出されている場合には、加減速度算出部によって算出された加減速度と、自車両の実際の加減速度との一致度が、所定の閾値よりも高いとき、運転者に異常があると判定することを特徴としている。 In order to solve the above-mentioned problems, the present invention is a driver state detection device that detects an abnormality of the driver, and detects a vehicle traveling in front of the own vehicle or on the side and in front of the own vehicle. A forward vehicle detection sensor, an acceleration / deceleration sensor that detects the acceleration / deceleration of the own vehicle, and an appropriate acceleration / deceleration model for driving the own vehicle so as to follow the preceding vehicle detected by the front vehicle detection sensor. By comparing the acceleration / deceleration calculation unit calculated based on the above, the acceleration / deceleration calculated by this acceleration / deceleration calculation unit, and the actual acceleration / deceleration of the own vehicle detected by the acceleration / deceleration sensor, the driver's abnormality is found. It has an abnormality determination unit that determines the presence or absence, and the abnormality determination unit detects other vehicles that may advance between the following preceding vehicle and the own vehicle by the front vehicle detection sensor. If so, it is characterized in that when the degree of agreement between the acceleration / deceleration calculated by the acceleration / deceleration calculation unit and the actual acceleration / deceleration of the own vehicle is higher than a predetermined threshold value, it is determined that the driver has an abnormality. It is supposed to be.
このように構成された本発明においては、加減速度算出部は、前方を走行している車両を検出する前方車両検出センサによって検出された先行車両に追従するように自車両を走行させるための適正な加減速度を、加減速度モデルに基づいて算出する。また、異常判定部は、加減速度算出部によって算出された加減速度と、加減速度センサによって検出された自車両の実際の加減速度と、を比較して、運転者の異常の有無を判定する。ここで、異常判定部は、先行車両と自車両との間に進出してくる他車両が検出されている場合には、加減速度算出部によって算出された加減速度と、自車両の実際の加減速度との一致度が、所定の閾値よりも高いとき、運転者に異常があると判定する。 In the present invention configured as described above, the acceleration / deceleration calculation unit is appropriate for driving the own vehicle so as to follow the preceding vehicle detected by the front vehicle detection sensor that detects the vehicle traveling ahead. Acceleration / deceleration is calculated based on the acceleration / deceleration model. Further, the abnormality determination unit determines whether or not there is an abnormality in the driver by comparing the acceleration / deceleration calculated by the acceleration / deceleration calculation unit with the actual acceleration / deceleration of the own vehicle detected by the acceleration / deceleration sensor. Here, the abnormality determination unit determines the acceleration / deceleration calculated by the acceleration / deceleration calculation unit and the actual adjustment of the own vehicle when another vehicle advancing between the preceding vehicle and the own vehicle is detected. When the degree of agreement with the speed is higher than a predetermined threshold value, it is determined that the driver has an abnormality.
先行車両に追従するように運転を行っている健常な運転者は、例えば、隣接する車線を走行している他車両が、自車両と先行車両の間に進出しようとしていることに気づくと、自車両を減速させ、自車両と先行車両の車間距離を広くとるようにする。即ち、先行車両に追従して走行を行っている場合であっても、先行車両以外の他車両の挙動に対応して加減速度を調整する運転を行っている。このように、他車両の挙動に対応した加減速を行った場合、自車両の加減速度は、加減速度モデルに基づいて算出された、先行車両に追従するために適正な加減速度とは異なったものとなる。このような状況においては、運転者による加減速が、加減速度モデルに基づいて算出された加減速から外れることにより、運転者が先行車両以外の他車両の挙動にも注意を向けていることが明確となる。逆に、他車両が自車両と先行車両の間に進出しようとしているにも関わらず、運転者が加減速度モデルに沿った加減速を行っていることは、運転者の注意が他車両に向けられていないことを示している。 A healthy driver who is driving to follow the preceding vehicle, for example, notices that another vehicle traveling in the adjacent lane is trying to advance between the own vehicle and the preceding vehicle. Decelerate the vehicle so that the distance between the own vehicle and the preceding vehicle is wide. That is, even when the vehicle is traveling following the preceding vehicle, the operation is performed so that the acceleration / deceleration is adjusted according to the behavior of a vehicle other than the preceding vehicle. In this way, when acceleration / deceleration corresponding to the behavior of other vehicles is performed, the acceleration / deceleration of the own vehicle is different from the appropriate acceleration / deceleration to follow the preceding vehicle calculated based on the acceleration / deceleration model. It becomes a thing. In such a situation, the driver's acceleration / deceleration deviates from the acceleration / deceleration calculated based on the acceleration / deceleration model, so that the driver is paying attention to the behavior of other vehicles other than the preceding vehicle. Be clear. On the contrary, the driver's attention is directed to the other vehicle that the driver is accelerating and decelerating according to the acceleration / deceleration model even though the other vehicle is trying to advance between the own vehicle and the preceding vehicle. Indicates that it has not been done.
上記のように構成された本発明によれば、先行車両と自車両との間に進出してくる他車両が検出されている場合には、加減速度算出部によって算出された加減速度と、自車両の実際の加減速度との一致度が、所定の閾値よりも高いとき、運転者に異常があると判定する。即ち、他車両が先行車両と自車両との間に進出してくるにも関わらず、加減速度モデルに基づいて算出された加減速度との一致度が高い運転が行われている場合には、運転者は他車両に気付いておらず、軽度の機能低下状態に陥っていると考えられる。これにより、本発明の運転者状態検出装置によれば、軽度の機能低下状態に陥った運転者の異常を早期に検出することができる。 According to the present invention configured as described above, when another vehicle advancing between the preceding vehicle and the own vehicle is detected, the acceleration / deceleration calculated by the acceleration / deceleration calculation unit and the own vehicle are used. When the degree of agreement with the actual acceleration / deceleration of the vehicle is higher than a predetermined threshold value, it is determined that the driver has an abnormality. That is, when the other vehicle advances between the preceding vehicle and the own vehicle, but the driving is performed with a high degree of agreement with the acceleration / deceleration calculated based on the acceleration / deceleration model. It is probable that the driver is unaware of other vehicles and is in a state of slight functional deterioration. As a result, according to the driver state detection device of the present invention, it is possible to detect an abnormality of a driver who has fallen into a slight functional deterioration state at an early stage.
本発明において、好ましくは、異常判定部は、追従している先行車と自車両との間に進出してくる可能性がある他車両が前方車両検出センサによって検出されていない場合には、加減速度算出部によって算出された加減速度と、自車両の実際の加減速度との一致度が、所定の第２の閾値よりも低いとき、運転者に異常があると判定する。 In the present invention, preferably, the abnormality determination unit adjusts when another vehicle that may advance between the following preceding vehicle and the own vehicle is not detected by the front vehicle detection sensor. When the degree of agreement between the acceleration / deceleration calculated by the speed calculation unit and the actual acceleration / deceleration of the own vehicle is lower than a predetermined second threshold value, it is determined that the driver has an abnormality.
このように構成された本発明によれば、先行車と自車両との間に進出してくる他車両がない場合には、算出された加減速度と、実際の加減速度との一致度が、所定の第２の閾値よりも低いとき、運転者に異常があると判定する。このため、先行車と自車両との間に進出してくる他車両が存在しない状況においても、運転者の異常の有無を判定することができる。 According to the present invention configured in this way, when there is no other vehicle advancing between the preceding vehicle and the own vehicle, the degree of agreement between the calculated acceleration / deceleration and the actual acceleration / deceleration is determined. When it is lower than a predetermined second threshold value, it is determined that the driver has an abnormality. Therefore, even in a situation where there is no other vehicle advancing between the preceding vehicle and the own vehicle, it is possible to determine whether or not there is an abnormality in the driver.
本発明において、好ましくは、さらに、運転者が健常な状態で先行車両に追従したときに行った加減速操作を学習する加減速学習部を有し、加減速度算出部は、加減速学習部によって学習された健常な運転者の加減速操作に基づいて、算出する加減速度を補正する。 In the present invention, it is preferable that the acceleration / deceleration learning unit further learns the acceleration / deceleration operation performed when the driver follows the preceding vehicle in a healthy state, and the acceleration / deceleration calculation unit is performed by the acceleration / deceleration learning unit. The calculated acceleration / deceleration is corrected based on the learned acceleration / deceleration operation of a healthy driver.
このように構成された本発明によれば、加減速度算出部が、加減速学習部によって学習された健常な運転者の加減速操作に基づいて、算出する加減速度を補正するので、運転者ごとの加減速操作の癖等を、算出された加減速度に反映させることができる。これにより、加減速度モデルに基づいて算出される加減速操作と、健常な状態における運転者の加減速操作を良く一致させることができ、算出された加減速度と、自車両の実際の加減速度との一致度を正確に判定することができる。 According to the present invention configured in this way, the acceleration / deceleration calculation unit corrects the calculated acceleration / deceleration based on the acceleration / deceleration operation of a healthy driver learned by the acceleration / deceleration learning unit. The habit of acceleration / deceleration operation can be reflected in the calculated acceleration / deceleration. As a result, the acceleration / deceleration operation calculated based on the acceleration / deceleration model can be matched well with the acceleration / deceleration operation of the driver in a healthy state, and the calculated acceleration / deceleration and the actual acceleration / deceleration of the own vehicle can be matched. The degree of coincidence can be accurately determined.
本発明の運転者状態検出装置によれば、軽度の機能低下状態に陥った運転者の異常を早期に検出することができる。 According to the driver state detection device of the present invention, it is possible to detect an abnormality of a driver who has fallen into a slight functional deterioration state at an early stage.
次に、添付図面を参照して、本発明の実施形態による運転者状態検出装置を説明する。
図１は、本発明の実施形態による運転者状態検出装置の全体構成を示すブロック図である。図２乃至図５は、本発明の実施形態による運転者状態検出装置において、先行車両に追従するために適正な加減速度の算出に使用される加減速度モデルを説明するための図である。
Next, the driver state detection device according to the embodiment of the present invention will be described with reference to the accompanying drawings.
FIG. 1 is a block diagram showing an overall configuration of a driver state detection device according to an embodiment of the present invention. 2 to 5 are diagrams for explaining an acceleration / deceleration model used for calculating an appropriate acceleration / deceleration to follow a preceding vehicle in the driver state detection device according to the embodiment of the present invention.
図１に示すように、本発明の実施形態による運転者状態検出装置１は、前方車両検出センサである車外カメラ２及びレーダ４と、加減速度センサである車速センサ６、ブレーキペダルセンサ８ａ、及びアクセルペダルセンサ８ｂと、を有する。さらに、運転者状態検出装置１は、これらのセンサからの検出信号が入力される電子制御ユニット（ＥＣＵ）１０と、電子制御ユニット１０からの指令信号に基づいて作動する警報装置１２及び自動運転制御部１４と、を有する。
As shown in FIG. 1, the driver
車外カメラ２は、自車両の前方を走行している車両を検出するように、車両に取り付けられたカメラである。なお、車外カメラ２は、自車両の前方又は自車両の側方且つ前方を走行している車両を検出するように構成されており、本明細書において「自車両の前方」とは、「自車両の前方又は自車両の側方且つ前方」を意味している。この車外カメラ２によって撮影された画像は、順次電子制御ユニット１０に送られ、そこで画像解析され、自車両の走行車線の前方を走行している先行車両が検出される。また、車外カメラ２は、自車両の走行車線に隣接する走行車線を走行している他車両も撮影可能に構成され、画像解析により他車両も検出される。従って、車外カメラ２は、自車両の前方又は自車両の側方且つ前方を走行している車両を検出する前方車両検出センサとして機能する。また、画像解析により先行車両が検出された場合には、車外カメラ２によって取得された画像を解析することにより、自車両と先行車両との間の車間距離（車間時間）や、相対速度等が計算される。
The vehicle outside camera 2 is a camera attached to the vehicle so as to detect the vehicle traveling in front of the own vehicle. The external camera 2 is configured to detect a vehicle traveling in front of the own vehicle or on the side and in front of the own vehicle, and in the present specification, "in front of the own vehicle" means "self". It means "in front of the vehicle or on the side and front of the own vehicle". The images taken by the outside camera 2 are sequentially sent to the
レーダ４は、自車両の前方に向けてマイクロ波等の電磁波を射出すると共に、自車両前方に存在する物体により反射された電磁波を検出することにより、先行車両や、自車両に隣接する走行車線を走行する他車両を検出するように構成されている。レーダ４の検出信号は、電子制御ユニット１０に送られ、そこで、自車両から先行車両や、他車両までの車間距離（車間時間）や、相対速度等を算出するように構成されている。従って、レーダ４は、自車両の前方又は自車両の側方且つ前方を走行している車両を検出する前方車両検出センサとして機能する。前方車両検出センサとしては、１又は複数の任意のセンサを使用することができる。また、本実施形態においては、電磁波を使用したレーダ４が使用されているが、これに代えて、又はこれと共に、超音波を使用した超音波センサを使用することもできる。
The radar 4 emits electromagnetic waves such as microwaves toward the front of the own vehicle and detects electromagnetic waves reflected by an object existing in front of the own vehicle to detect the preceding vehicle and the traveling lane adjacent to the own vehicle. It is configured to detect other vehicles traveling on the vehicle. The detection signal of the radar 4 is sent to the
車速センサ６は、自車両の走行速度を検出するように構成されている。また、車速センサ６によって検出された車速に基づいて、自車両の加減速度を算出することもできる。従って、車速センサ６は、自車両の加減速度を検出する加減速度センサとして機能する。車速センサ６として、任意のセンサを使用することができる。 The vehicle speed sensor 6 is configured to detect the traveling speed of the own vehicle. It is also possible to calculate the acceleration / deceleration of the own vehicle based on the vehicle speed detected by the vehicle speed sensor 6. Therefore, the vehicle speed sensor 6 functions as an acceleration / deceleration sensor that detects the acceleration / deceleration of the own vehicle. Any sensor can be used as the vehicle speed sensor 6.
ブレーキペダルセンサ８ａは、自車両のブレーキペダル（図示せず）の踏込量を検出するように構成されている。このブレーキペダルの踏込量に基づいて、自車両の減速度を算出することができる。また、アクセルペダルセンサ８ｂは、自車両のアクセルペダル（図示せず）の踏込量を検出するように構成されている。このアクセルペダルの踏込量に基づいて、自車両の加速度を算出することができる。従って、ブレーキペダルセンサ８ａ及びアクセルペダルセンサ８ｂは、自車両の加減速度を検出する加減速度センサとして機能する。ブレーキペダルセンサ８ａ、アクセルペダルセンサ８ｂとして、ロータリーエンコーダ等、任意のセンサを使用することができる。
The
電子制御ユニット１０は、車両に搭載されたマイクロプロセッサ、メモリ、インターフェイス回路、これらを作動させるソフトウェア等（以上、図示せず）により構成されている。本実施形態の運転者状態検出装置１においては、電子制御ユニット１０に備えられたマイクロプロセッサ、メモリ、インターフェイス回路、及びソフトウェアにより、加減速度算出部１０ａ、異常判定部１０ｂ、及び加減速学習部１０ｃの機能が実現される。
The
加減速度算出部１０ａは、車外カメラ２等の前方車両検出センサによって検出された先行車両に追従するように自車両を走行させるための適正な加減速度を、加減速度モデルに基づいて算出するように構成されている。
The acceleration /
また、異常判定部１０ｂは、加減速度算出部１０ａによって算出された加減速度と、車速センサ６等の加減速度センサによって検出された自車両の実際の加減速度と、を比較して、運転者の異常の有無を判定するように構成されている。さらに、異常判定部１０ｂは、追従している先行車両と自車両との間に進出してくる可能性がある他車両が車外カメラ２等によって検出されている場合には、加減速度算出部１０ａによって算出された加減速度と、自車両の実際の加減速度との一致度が、所定の閾値よりも高いとき、運転者に異常があると判定するように構成されている。
Further, the
加減速学習部１０ｃは、運転者が健常な状態で先行車両に追従したときに行った加減速操作を学習するように構成されている。即ち、運転者が健常な状態で加減速操作を行う場合であっても、加減速度算出部１０ａに備えられた加減速度モデルに基づいて算出される加減速操作とは異なるものとなる。加減速学習部１０ｃは、健常な状態における個々の運転者の加減速操作の癖を学習する。さらに、加減速度算出部１０ａは、加減速学習部１０ｃによって学習された健常な運転者の加減速操作に基づいて、算出する加減速度を補正し、算出される加減速操作を健常な運転者の加減速操作に一致させる。加減速度算出部１０ａ、異常判定部１０ｂ、及び加減速学習部１０ｃによる処理の詳細については後述する。
The acceleration /
警報装置１２は、電子制御ユニット１０の異常判定部１０ｂによって、運転者に異常があると判定された場合に、警報音声及び／又は表示により、運転者に異常が検出されたことを運転者に報知するように構成されている。例えば、異常が検出された旨のメッセージを音声で報知するスピーカ（図示せず）や、異常が検出された旨を表示するディスプレイ（図示せず）を、警報装置１２として使用することができる。
When the
自動運転制御部１４は、電子制御ユニット１０の異常判定部１０ｂによって、運転者に異常があると判定された場合に、自動運転により自車両を安全な場所に停車させるように構成されている。即ち、自動運転制御部１４は、車両の操舵装置、エンジン制御装置、アクセル制御装置、ブレーキ制御装置等（以上、図示せず）に制御信号を送り、自車両を自動運転するように構成されている。なお、自動運転制御部１４は、電子制御ユニット１０に備えられたマイクロプロセッサ等（図示せず）により実現されても良く、或いは、電子制御ユニット１０とは別の装置により実現されても良い。
The automatic
次に、図２及び図３を参照して、電子制御ユニット１０の加減速度算出部１０ａに備えられている加減速度モデルを説明する。
図２は、本発明の実施形態の運転者状態検出装置１において、電子制御ユニット１０の加減速度算出部１０ａに備えられている加減速度モデルの概念図である。図３は、本発明の実施形態の運転者状態検出装置１において、電子制御ユニット１０の加減速度算出部１０ａに備えられている加減速度モデルのブロック線図である。
Next, the acceleration / deceleration model provided in the acceleration /
FIG. 2 is a conceptual diagram of an acceleration / deceleration model provided in the acceleration /
図２に示すように、加減速度モデルは、運転者が、先行車両に関する情報のみを参照して、アクセルペダル（図示せず）の操作（加減速操作）を行うドライバのペダル操作モデルである。具体的には、車外カメラ２及びレーダ４によって取得された先行車両に関する情報が、加減速度モデル（ドライバモデル）に入力され、この入力情報に基づいて、自車両と先行車両の相対速度、及び車間距離が算出される。次いで、算出された相対速度には相対速度ゲインＨｖが乗じられ、車間距離には車間距離ゲインＨｇが乗じられ、これらが加算される。この加算値に、運転者の反応時間に相当する時間遅れ要素τｐが施され、これがアクセルペダル（図示せず）に対する操作量として出力される。このように、加減速度算出部１０ａに備えられている加減速度モデルによれば、自車両の走行車線の前方を走行する先行車両に関する情報のみに基づいて、アクセルペダル（図示せず）の操作が決定される。
As shown in FIG. 2, the acceleration / deceleration model is a pedal operation model of a driver in which an accelerator pedal (not shown) is operated (acceleration / deceleration operation) by referring only to information on a preceding vehicle. Specifically, information about the preceding vehicle acquired by the external camera 2 and the radar 4 is input to the acceleration / deceleration model (driver model), and based on this input information, the relative speed between the own vehicle and the preceding vehicle and the distance between the vehicles. The distance is calculated. Next, the calculated relative speed is multiplied by the relative speed gain Hv, and the inter-vehicle distance is multiplied by the inter-vehicle distance gain Hg, and these are added. A time delay element τp corresponding to the reaction time of the driver is applied to this added value, and this is output as an operation amount for the accelerator pedal (not shown). As described above, according to the acceleration / deceleration model provided in the acceleration /
次に、図３を参照して、加減速度算出部１０ａに備えられた加減速度モデルのブロック線図を説明する。このモデルは、ポンサトーンにより提唱されたモデルであり、アクセルペダル操作モデルが含まれている。
加減速度モデルは、先行車両の検出時と先行車両の非検出時とのそれぞれにおいて、目標速度Ｖｐを入力とし、アクセル操作量Ｐｇｍ（加減速度）を出力とし、目標速度Ｖｐとアクセル操作量Ｐｇｍとの対応関係を伝達関数で表すモデルである。加減速度モデルによりアクセル操作量Ｐｇｍが出力されると、これが自車両に入力され、アクセル操作量Ｐｇｍの入力に応答した自車両の速度Ｖｍが加減速度モデルにフィードバックされる。
Next, with reference to FIG. 3, a block diagram of the acceleration / deceleration model provided in the acceleration /
In the acceleration / deceleration model, the target speed Vp is input, the accelerator operation amount Pgm (acceleration / deceleration) is output, and the target speed Vp and the accelerator operation amount Pgm are used when the preceding vehicle is detected and when the preceding vehicle is not detected. It is a model that expresses the correspondence of. When the accelerator operation amount Pgm is output by the acceleration / deceleration model, this is input to the own vehicle, and the speed Vm of the own vehicle in response to the input of the accelerator operation amount Pgm is fed back to the acceleration / deceleration model.
加減速度モデルは、減算器５１，５２、加算器５３、積分要素６１、比例要素６２，６３、一次遅れ要素６４、及び比例要素６５を備えている。加減速度モデルにおいて、Ｒｍ’は自車速度Ｖｍと目標速度Ｖｐとの速度偏差を示し、ＲｍはＲｍ’の積分で表される車間距離を示し、Ｔｈ*は先行車との目標車間時間を示し、Ｒｍ*は目標車間距離を示し、Ｇｖは車速ゲインを示し、Ｇｒは車間距離ゲインを示し、τｐは操作遅れを示す。また、ｓはラプラス演算子を示す。なお、車速ゲインＧｖは、図２における相対速度ゲインＨｖに相当し、車間距離ゲインＧｒは、図２における車間距離ゲインＨｇに相当し、操作遅れτｐは、図２における時間遅れ要素τｐに相当する。
The acceleration / deceleration model includes
自車速度Ｖｍはフィードバックループを介して加減速度モデルにフィードバックされ、減算器５１によって目標速度Ｖｐから減じられ、速度偏差Ｒｍ’が算出される。速度偏差Ｒｍ’は比例要素６２によって車速ゲインＧｖが乗じられて加算器５３に入力される。また、自車速度Ｖｍはフィードバックループを介して加減速度モデルにフィードバックされ、比例要素６５によって目標車間時間Ｔｈ*が乗じられ、目標車間距離Ｒｍ*が算出され、減算器５２に入力される。
The own vehicle speed Vm is fed back to the acceleration / deceleration model via a feedback loop, and is decremented from the target speed Vp by the
速度偏差Ｒｍ’は積分要素６１により積分され、車間距離Ｒｍが算出され、減算器５２に入力される。減算器５２は、車間距離Ｒｍと目標車間距離Ｒｍ*との距離偏差（＝Ｒｍ−Ｒｍ*）を算出する。この距離偏差（＝Ｒｍ−Ｒｍ*）は比例要素６３によって車間距離ゲインＧｒが乗じられ、加算器５３に入力される。加算器５３は、Ｒｍ’・ＧｖとＧｒ・（Ｒｍ−Ｒｍ*）とを加算し、加算値Ａ１を算出する。加算値Ａ１は一次遅れ要素６４によって、操作遅れτｐだけ遅延され、アクセル操作量Ｐｇｍが出力される。
The speed deviation Rm'is integrated by the integration element 61, the inter-vehicle distance Rm is calculated, and is input to the
このように、加減速度モデルは、速度偏差Ｒｍ’と、目標車間距離Ｒｍ*に対する車間距離Ｒｍの距離偏差とに応じた加算値Ａ１を、操作遅れτｐからなる一次遅れ要素６４により遅延させてアクセル操作量Ｐｇｍを算出するモデルである。ここで、加減速度モデルは、先行車の非検出時には車間距離ゲインＧｒ＝０に設定される。したがって、先行車の非検出時の操作特性は、車速ゲインＧｖと操作遅れτｐによって表される。一方、先行車の検出時の操作特性は、車速ゲインＧｖと操作遅れτｐと車間距離ゲインＧｒとによって表される。
In this way, the acceleration / deceleration model delays the addition value A1 corresponding to the speed deviation Rm'and the distance deviation of the inter-vehicle distance Rm with respect to the target inter-vehicle distance Rm * by the
加減速度モデルによって算出されたアクセル操作量Ｐｇｍは、車両に入力される。自車両は、アクセル操作量Ｐｇｍの入力に応答して自車速度Ｖｍが定まり、この自車速度Ｖｍが加減速度モデルにフィードバックされる。なお、自車両は、比例要素、一次遅れ要素、及び積分要素（図示せず）を含む二次遅れ系の伝達関数で表すことができる。 The accelerator operation amount Pgm calculated by the acceleration / deceleration model is input to the vehicle. In response to the input of the accelerator operation amount Pgm, the own vehicle speed Vm is determined, and the own vehicle speed Vm is fed back to the acceleration / deceleration model. The own vehicle can be represented by a transfer function of a second-order lag system including a proportional element, a first-order lag element, and an integral element (not shown).
ここで、先行車両が存在するときの運転者の加減速操作は以下のように算出される。まず、先行車両の検出時においては、目標速度Ｖｐとして、レーダ４によって検出された先行車両の車速が採用される。本実施形態において、電子制御ユニット１０の加減速度算出部１０ａに備えられた加減速度モデルは、目標速度Ｖｐが入力として与えられた場合に、先行車両に追従するように自車両を走行させるための適正な加減速度が得られるように各パラメータが設定されている。具体的には、加減速度モデルに含まれる車速ゲインＧｖ、車間距離ゲインＧｒ、及び操作遅れτｐが調整され、適正な値に設定されている。
Here, the driver's acceleration / deceleration operation when the preceding vehicle is present is calculated as follows. First, at the time of detecting the preceding vehicle, the vehicle speed of the preceding vehicle detected by the radar 4 is adopted as the target speed Vp. In the present embodiment, the acceleration / deceleration model provided in the acceleration /
また、電子制御ユニット１０は、運転者が健常な状態で自車両を運転したときの目標速度Ｖｐと、この目標速度Ｖｐに対するアクセル操作量Ｐｇｍをデータとして保存している。さらに、電子制御ユニット１０に内蔵された加減速学習部１０ｃは、電子制御ユニット１０に保存された目標速度Ｖｐとアクセル操作量Ｐｇｍのデータに基づいて、車速ゲインＧｖ、車間距離ゲインＧｒ、及び操作遅れτｐを逆算する。これらのパラメータが、運転者が健常な状態で先行車両に追従したときに行った加減速操作として、加減速学習部１０ｃによって学習される。
Further, the
このように、加減速学習部１０ｃによって学習された車速ゲインＧｖ、車間距離ゲインＧｒ、及び操作遅れτｐは、加減速度算出部１０ａに備えられた加減速度モデルの各パラメータに反映される。これにより、加減速度算出部１０ａによって算出される加減速度が、加減速学習部１０ｃによって学習された健常な運転者の加減速操作に基づいて補正される。このため、運転者ごとの加減速操作の癖等を、加減速度算出部１０ａによって算出される加減速度に反映させることができる。
In this way, the vehicle speed gain Gv, the inter-vehicle distance gain Gr, and the operation delay τp learned by the acceleration /
次に、図４及び図５を参照して、運転者が、先行車両に追従するように自車両を走行させた場合における車両の挙動を説明する。
図４は、運転者が、先行車両に追従するように自車両を走行させたときの自車両の速度を模式的に示す時系列波形のグラフである。図５は、運転者が、先行車両に追従するように自車両を走行させたときの自車両の加速度を模式的に示す時系列波形のグラフである。
Next, with reference to FIGS. 4 and 5, the behavior of the vehicle when the driver drives the own vehicle so as to follow the preceding vehicle will be described.
FIG. 4 is a graph of a time-series waveform schematically showing the speed of the own vehicle when the driver drives the own vehicle so as to follow the preceding vehicle. FIG. 5 is a graph of a time-series waveform that schematically shows the acceleration of the own vehicle when the driver drives the own vehicle so as to follow the preceding vehicle.
図４において、実線は、健常な運転者が、先行車両に追従するように自車両を走行させたときの速度を示している。図４の実線に示すように、時刻ｔ0において先行車両が加速すると、これに追従するように運転者も加速を開始し、自車両の速度を上昇させている。また、図５は、図４に示す走行における加速度を示すものであり、実線は、健常な運転者による自車両の加速度を示している。図５の実線に示すように、時刻ｔ0において先行車両が加速すると、これに応じて運転者は比較的急速に加速度を上昇させている。 In FIG. 4, the solid line shows the speed at which a healthy driver drives his / her own vehicle so as to follow the preceding vehicle. As shown by the solid line in FIG. 4 , when the preceding vehicle accelerates at time t 0 , the driver also starts accelerating to follow the acceleration and increases the speed of the own vehicle. Further, FIG. 5 shows the acceleration in the running shown in FIG. 4, and the solid line shows the acceleration of the own vehicle by a healthy driver. As shown by the solid line in FIG. 5 , when the preceding vehicle accelerates at time t 0 , the driver increases the acceleration relatively rapidly accordingly.
また、電子制御ユニット１０の加減速度算出部１０ａに備えられた加減速度モデルによって算出される加減速度も、先行車両が加速を行った場合には、図４及び図５の実線とほぼ同等のものになることが確認されている。このように、先行車両に追従するように自車両を走行させるための適正な加減速度を、加減速度モデルに基づいて算出することができ、この加減速度は、健常な運転者が運転を行った場合における加減速度とほぼ一致する。
Further, the acceleration / deceleration calculated by the acceleration / deceleration model provided in the acceleration /
一方、図４及び図５の破線は、機能低下状態に陥った運転者が運転した場合における自車両の速度及び加速度の一例を示している。図４及び図５の破線に示すように、機能低下状態に陥った運転者（患者）では、時刻ｔ0において先行車両が加速した後、自車両が加速を開始するまでの時間が長く、先行車両の加速から大きく遅れて自車両の速度を上昇させている。このため、図５に示す実線と同等の加速度を加減速度モデルに基づいて算出し、この加減速度と、運転者の運転に基づく自車両の実際の加減速度を比較することにより、運転者の異常（機能低下状態等）の有無を検出することが可能である。 On the other hand, the broken lines in FIGS. 4 and 5 show an example of the speed and acceleration of the own vehicle when the driver who has fallen into a functionally deteriorated state drives. As shown by the broken lines in FIGS. 4 and 5, in the driver (patient) who has fallen into a functionally deteriorated state, it takes a long time for the own vehicle to start accelerating after the preceding vehicle accelerates at time t 0, and the driver (patient) precedes. The speed of the own vehicle is increased with a large delay from the acceleration of the vehicle. Therefore, by calculating the acceleration equivalent to the solid line shown in FIG. 5 based on the acceleration / deceleration model and comparing this acceleration / deceleration with the actual acceleration / deceleration of the own vehicle based on the driver's driving, the driver's abnormality It is possible to detect the presence or absence of (functional deterioration state, etc.).
次に、図６を参照して、加減速度の時系列波形に基づく運転者の異常検出を説明する。
図６は、本発明の実施形態による運転者状態検出装置における異常判定の原理を説明する図である。
まず、上述したように、加減速度算出部１０ａに備えられた加減速度モデルによって算出された加減速度と、機能低下状態にある運転者では、先行車両に追従する際の加減速度の時系列波形に差異が表れる（図５の実線と破線）。このような、加減速度モデルによって算出された加減速度（推定値）と、運転者の運転による実際の加減速度（実操作）との差を、図６の左欄に示すように「推定誤差」とする。本実施形態の運転者状態検出装置１においては、一定時間の推定誤差分布に基づいて、運転者の異常度（加減速度モデルによる加減速度と運転者の運転による実際の加減速度の一致度）を計算し、これに基づいて異常の有無を判定している。
Next, with reference to FIG. 6, the driver's abnormality detection based on the time-series waveform of acceleration / deceleration will be described.
FIG. 6 is a diagram for explaining the principle of abnormality determination in the driver state detection device according to the embodiment of the present invention.
First, as described above, the acceleration / deceleration calculated by the acceleration / deceleration model provided in the acceleration /
即ち、加減速度モデルによる加減速度波形と、運転者の運転による実際の加減速度波形との間に所定の推定誤差が表れる確率は、図６の右側に模式的に示すような確率密度分布を示す。ここで、運転者が健常な状態であっても、加減速度モデルによる加減速度波形と実際の加減速度波形との間には推定誤差が存在し、その推定誤差の分布は或る確率密度分布を示す。しかしながら、運転者が機能低下状態となると、加減速度モデルによる加減速度波形と実際の加減速度波形との間の推定誤差の確率密度分布が、健常時とは異なったものとなる。 That is, the probability that a predetermined estimation error appears between the acceleration / deceleration waveform based on the acceleration / deceleration model and the actual acceleration / deceleration waveform driven by the driver shows a probability density distribution as schematically shown on the right side of FIG. .. Here, even if the driver is in a healthy state, there is an estimation error between the acceleration / deceleration waveform by the acceleration / deceleration model and the actual acceleration / deceleration waveform, and the distribution of the estimation error has a certain probability density distribution. show. However, when the driver is in a state of functional deterioration, the probability density distribution of the estimation error between the acceleration / deceleration waveform by the acceleration / deceleration model and the actual acceleration / deceleration waveform becomes different from that in normal condition.
なお、健常な運転者の運転にも個人差があり、健常な運転者であっても、加減速度モデルによる加減速度波形とは異なる加減速操作が行われる。しかしながら、健常な運転者の場合と、機能低下状態にある運転者の場合で、加減速度モデルによる加減速度と運転者の運転による実際の加減速度の一致度に有意な差が存在することが本件発明者の実験により確認されている。即ち、機能低下状態にある複数の患者について、ドライブシミュレータを使用して加減速度モデルによる加減速度と、患者の運転による実際の加減速度の一致度を算出した。さらに、各患者がリハビリを行い、健常者に復帰した後、ドライブシミュレータにより同一の実験を実施した。その結果、患者がリハビリを行う前後における一致度の相違は、各患者（及びリハビリ後の各健常者）間のバラツキよりも十分に大きなものとなった。これにより、加減速度モデルによる加減速度と運転者の運転による実際の加減速度の一致度に基づいて、運転者の異常を検出できることが確認された。 There are individual differences in the driving of a healthy driver, and even a healthy driver performs an acceleration / deceleration operation different from the acceleration / deceleration waveform according to the acceleration / deceleration model. However, in this case, there is a significant difference in the degree of agreement between the acceleration / deceleration by the acceleration / deceleration model and the actual acceleration / deceleration by the driver's driving between the case of a healthy driver and the case of a driver who is in a state of functional deterioration. It has been confirmed by the inventor's experiment. That is, for a plurality of patients in a functionally deteriorated state, the degree of agreement between the acceleration / deceleration by the acceleration / deceleration model and the actual acceleration / deceleration due to the driving of the patients was calculated using the drive simulator. Furthermore, after each patient rehabilitated and returned to a healthy subject, the same experiment was carried out using a drive simulator. As a result, the difference in the degree of agreement before and after the patient performed rehabilitation was sufficiently larger than the variation between each patient (and each healthy subject after rehabilitation). As a result, it was confirmed that the driver's abnormality can be detected based on the degree of agreement between the acceleration / deceleration by the acceleration / deceleration model and the actual acceleration / deceleration by the driver's operation.
本実施形態においては、電子制御ユニット１０の異常判定部１０ｂに、健常な運転者において発生する推定誤差の確率密度分布が記憶されており、記憶されている確率密度分布と、運転者の実際の運転に基づいて取得された推定誤差の確率密度分布の一致度に基づいて、運転者の異常の有無が判定される。具体的には、記憶されている健常な運転者の確率密度分布と、運転者の実際の運転に基づいて計算された確率密度分布の間のカルバックライブラー情報量を計算することができる。さらに、このカルバックライブラー情報量を所定の閾値と比較することにより、運転者の異常の有無を判定することができる。カルバックライブラー情報量は、２つの確率密度分布の間の差異を表す指標として知られており、２つの確率密度分布の情報量の差の期待値として計算される。
In the present embodiment, the
即ち、運転者が健常である状態（通常）と、機能低下に陥っている状態（異常）では、加減速度モデルによって算出された加減速度に対する推定誤差の確率密度分布が異なったものとなる。図６の右側に示すように、２つの確率密度分布の差分が、健常時における加減速操作に対する操作逸脱度に相当する。このため、両者の確率密度分布の一致度を、カルバックライブラー情報量を使用して計算し、これを所定の閾値と比較することにより異常の有無を判定することができる。即ち、２つの確率密度分布の差分が小さいほど各確率密度分布の一致度が高いこととなり、この状態では、加減速度算出部１０ａに備えられた加減速度モデルに基づいて算出された加減速度と、自車両の実際の加減速度との一致度も高くなる。このように、本実施形態において、電子制御ユニット１０の異常判定部１０ｂは、加減速度モデルに基づく加減速度と、自車両の実際の加減速度との一致度を所定の閾値と比較して運転者の異常の有無を判定している。
That is, the probability density distribution of the estimation error with respect to the acceleration / deceleration calculated by the acceleration / deceleration model is different between the state in which the driver is healthy (normal) and the state in which the driver is in a state of functional deterioration (abnormality). As shown on the right side of FIG. 6, the difference between the two probability density distributions corresponds to the operation deviation degree with respect to the acceleration / deceleration operation in the normal state. Therefore, the presence or absence of an abnormality can be determined by calculating the degree of agreement between the two probability density distributions using the Kullback-Leibler information amount and comparing this with a predetermined threshold value. That is, the smaller the difference between the two probability density distributions, the higher the degree of agreement between the two probability density distributions. The degree of agreement with the actual acceleration / deceleration of the own vehicle is also high. As described above, in the present embodiment, the
ここで、一般的には、実際の運転に基づいて計算された確率密度分布と、予め記憶されている健常時における確率密度分布との一致度が高ければ、運転者は健常であると考えられる。しかしながら、軽度の機能低下に陥っている運転者では、実際の運転に基づいて計算された確率密度分布と、健常時における確率密度分布に大きな差異はなく、或る程度機能低下が進行した状態でないと、運転者の異常を検出できないことが本件発明者により見出された。一方、自車両の前方に先行車両以外の車両が存在しない場合には、健常者の実際の運転に基づいて計算された確率密度分布と、予め記憶された健常時における確率密度分布は良く一致するものの、自車両前方の他車両の挙動によっては、一致しなくなることが本件発明者によって見出された。 Here, in general, if the degree of agreement between the probability density distribution calculated based on the actual driving and the probability density distribution in the healthy state stored in advance is high, the driver is considered to be healthy. .. However, in the driver who has fallen into a slight functional deterioration, there is no big difference between the probability density distribution calculated based on the actual driving and the probability density distribution in the normal state, and the functional deterioration has not progressed to some extent. It was found by the inventor of the present invention that the driver's abnormality could not be detected. On the other hand, when there is no vehicle other than the preceding vehicle in front of the own vehicle, the probability density distribution calculated based on the actual driving of a healthy person and the probability density distribution stored in advance at normal times are in good agreement. However, it was found by the present inventor that they do not match depending on the behavior of other vehicles in front of the own vehicle.
次に、図７を参照して、健常者の実際の運転に基づいて計算された確率密度分布と、予め記憶された健常時における確率密度分布が一致しなくなる状況を説明する。図７は、このような状況を説明するための図である。
まず、図７において、自車両Ｓは、自車両の走行車線の前方を走行している先行車両Ｐに追従するように走行している。この場合、自車両Ｓの走行車線に隣接する車線に他車両がなく、運転者が健常であれば、運転者の加減速操作による加減速度と、加減速度モデルにより算出された加減速度の一致度は高くなる（この状態では、実際の運転に基づく確率密度分布と、予め記憶された確率密度分布の一致度も高くなる）。これに対し、図７に示すように、自車両Ｓの走行車線に隣接する車線に他車両Ｑが走行しており、この他車両Ｑが、追従している先行車両Ｐと自車両Ｓとの間に進出してくる可能性がある場合には、健常な運転者の加減速度と、加減速度モデルによる加減速度が一致しなくなる。
Next, with reference to FIG. 7, a situation in which the probability density distribution calculated based on the actual driving of a healthy person and the probability density distribution stored in advance in a healthy state do not match will be described. FIG. 7 is a diagram for explaining such a situation.
First, in FIG. 7, the own vehicle S is traveling so as to follow the preceding vehicle P that is traveling in front of the traveling lane of the own vehicle. In this case, if there is no other vehicle in the lane adjacent to the traveling lane of the own vehicle S and the driver is healthy, the degree of agreement between the acceleration / deceleration by the driver's acceleration / deceleration operation and the acceleration / deceleration calculated by the acceleration / deceleration model. (In this state, the degree of agreement between the probability density distribution based on the actual operation and the pre-stored probability density distribution is also high). On the other hand, as shown in FIG. 7, another vehicle Q is traveling in a lane adjacent to the traveling lane of the own vehicle S, and the other vehicle Q is following the preceding vehicle P and the own vehicle S. If there is a possibility of advancing in the meantime, the acceleration / deceleration of a healthy driver and the acceleration / deceleration by the acceleration / deceleration model will not match.
即ち、図７に示すような状況において、隣接する車線を走行している他車両Ｑが、追従している先行車両Ｐと自車両Ｓとの間に進出しようとしていることに気付くと、健常な運転者は自車両Ｓを減速させる。このように、健常な運転者は、自車両Ｓと先行車両Ｐの間への他車両Ｑの進出が予想されると、先行車両Ｐと自車両Ｓの間を広くし、他車両Ｑが間に入った後の車間距離が適正になるように自車両Ｓを減速させる。このような健常な運転者による加減速操作は、先行車両Ｐに追従するように自車両Ｓを走行させるための加減速度モデルでは算出されないため、運転者による加減速操作と加減速度モデルによって算出される加減速操作が乖離する。 That is, in the situation shown in FIG. 7, when it is noticed that the other vehicle Q traveling in the adjacent lane is about to advance between the following preceding vehicle P and the own vehicle S, it is healthy. The driver decelerates the own vehicle S. In this way, when a healthy driver is expected to advance the other vehicle Q between the own vehicle S and the preceding vehicle P, the healthy driver widens the distance between the preceding vehicle P and the own vehicle S, and the other vehicle Q is in between. The own vehicle S is decelerated so that the inter-vehicle distance after entering is appropriate. Since such acceleration / deceleration operation by a healthy driver is not calculated by the acceleration / deceleration model for driving the own vehicle S so as to follow the preceding vehicle P, it is calculated by the acceleration / deceleration operation by the driver and the acceleration / deceleration model. Acceleration / deceleration operation deviates.
換言すれば、追従している先行車両Ｐと自車両Ｓとの間に進出してくる可能性がある他車両Ｑが存在する場合には、運転者が健常であれば、運転者の操作による加減速度と加減速度モデルによって算出される加減速度の一致度が低下する。逆に、運転者が軽度の機能低下状態にある場合には、先行車両Ｐと自車両Ｓとの間に進出してくる他車両Ｑに気付かず、運転者の操作による加減速度と加減速度モデルによる加減速度が一致した状態が継続する。本実施形態の運転者状態検出装置１は、この点に着目して、運転者の軽度の機能低下状態を早期に発見することに成功している。
In other words, if there is another vehicle Q that may advance between the following preceding vehicle P and the own vehicle S, if the driver is healthy, it depends on the driver's operation. The degree of agreement between the acceleration / deceleration and the acceleration / deceleration calculated by the acceleration / deceleration model decreases. On the contrary, when the driver is in a state of slight functional deterioration, the acceleration / deceleration and acceleration / deceleration models operated by the driver are not noticed by the other vehicle Q advancing between the preceding vehicle P and the own vehicle S. The state in which the acceleration / deceleration by is consistent with each other continues. The driver
次に、図１、図７及び図８を参照して、本発明の実施形態による運転者状態検出装置１の作用を説明する。
図８は、本発明の実施形態による運転者状態検出装置１において、電子制御ユニット１０によって実行される処理を示すフローチャートである。図８に示すフローチャートは、自車両Ｓの走行中、所定の時間間隔で繰り返し実行される。
Next, the operation of the driver
FIG. 8 is a flowchart showing a process executed by the
まず、図８のステップＳ１においては、前方車両検出センサである車外カメラ２及びレーダ４（図１）の検出信号が、電子制御ユニット１０に入力される。
次に、ステップＳ２においては、ステップＳ１において入力された検出信号に基づいて、先行車両Ｐが存在するか否かが判断される。即ち、車外カメラ２によって撮影された画像を画像解析すると共に、レーダ４から入力された検出信号を解析することにより、先行車両Ｐが存在するか否かが判断される。本実施形態においては、自車両Ｓの前方を、自車両Ｓが走行している車線と同一の車線上を走行していると共に、自車両Ｓとの車間時間約３秒以内にある車両が先行車両Ｐとして認識される。なお、車間時間３秒とは、先行車両Ｐが現在走行している位置まで、３秒後に自車両Ｓが到達する状態を意味しており、高速道路上の通常の走行速度では１００〜１５０ｍ程度の車間距離に相当する。
First, in step S1 of FIG. 8, the detection signals of the vehicle exterior camera 2 and the radar 4 (FIG. 1), which are the front vehicle detection sensors, are input to the
Next, in step S2, it is determined whether or not the preceding vehicle P exists based on the detection signal input in step S1. That is, it is determined whether or not the preceding vehicle P exists by analyzing the image taken by the external camera 2 and analyzing the detection signal input from the radar 4. In the present embodiment, a vehicle traveling in front of the own vehicle S in the same lane as the own vehicle S and having a time between the own vehicle S and the vehicle S within about 3 seconds precedes the vehicle. Recognized as vehicle P. The inter-vehicle time of 3 seconds means a state in which the own vehicle S reaches the position where the preceding vehicle P is currently traveling in 3 seconds, and is about 100 to 150 m at a normal traveling speed on the highway. Corresponds to the inter-vehicle distance.
ステップＳ２において、先行車両Ｐが存在しないと判断された場合には、図８に示すフローチャートの１回の処理を終了する。一方、先行車両Ｐが存在する場合には、ステップＳ３以下の処理が実行される。
ステップＳ３においては、電子制御ユニット１０に内蔵された加減速度算出部１０ａにより、検出された先行車両Ｐに追従するように自車両Ｓを走行させるための適正な加減速度が、加減速度モデルに基づいて算出される。
If it is determined in step S2 that the preceding vehicle P does not exist, one process of the flowchart shown in FIG. 8 is terminated. On the other hand, when the preceding vehicle P exists, the process of step S3 or less is executed.
In step S3, the acceleration /
次いで、ステップＳ４においては、加減速度センサである車速センサ６、ブレーキペダルセンサ８ａ、及びアクセルペダルセンサ８ｂの検出信号に基づいて、自車両Ｓの実際の加減速度が計算される。なお、ブレーキペダルセンサ８ａや、アクセルペダルセンサ８ｂは、直接的に車両の加減速度を検出するセンサではないが、これらの検出信号に基づいて、車両の加減速度を計算することができる。本明細書においては、このようなセンサも、「加減速度センサ」に含まれるものとする。
Next, in step S4, the actual acceleration / deceleration of the own vehicle S is calculated based on the detection signals of the vehicle speed sensor 6, the
さらに、ステップＳ５においては、自車両Ｓの周辺に先行車両Ｐ以外の車両が存在するか否かが、車外カメラ２及びレーダ４の検出信号に基づいて判断される。先行車両Ｐ以外の他車両が存在する場合にはステップＳ６に進み、先行車両Ｐ以外の他車両が存在しない場合にはステップＳ７に進む。 Further, in step S5, whether or not a vehicle other than the preceding vehicle P exists in the vicinity of the own vehicle S is determined based on the detection signals of the external camera 2 and the radar 4. If there is another vehicle other than the preceding vehicle P, the process proceeds to step S6, and if there is no other vehicle other than the preceding vehicle P, the process proceeds to step S7.
次いで、ステップＳ６においては、ステップＳ５において検出された他車両Ｑが、追従している先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高いか否かが判断される。進出してくる可能性が高い場合にはステップＳ１１に進み、進出してくる可能性が高くない場合にはステップＳ７に進む。例えば、図７では、自車両Ｓが走行している車線に隣接する車線上で、他車両Ｑが先行車両Ｐと自車両Ｓの間を走行している。このような状況では、他車両Ｑが、自車両の車線の方に向けて所定角度θ以上斜めに走行している場合には、他車両Ｑが先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高いと判断される。或いは、図７に示す状況で、自車両Ｓと他車両Ｑの間の横方向距離Ｄが所定距離以下である場合に、他車両Ｑが先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高いと判断される。 Next, in step S6, it is determined whether or not the other vehicle Q detected in step S5 is likely to advance between the following preceding vehicle P and the own vehicle S. If there is a high possibility of advancing, the process proceeds to step S11, and if there is no high possibility of advancing, the process proceeds to step S7. For example, in FIG. 7, another vehicle Q is traveling between the preceding vehicle P and the own vehicle S on a lane adjacent to the lane in which the own vehicle S is traveling. In such a situation, when the other vehicle Q is traveling diagonally by a predetermined angle θ or more toward the lane of the own vehicle, the other vehicle Q advances between the preceding vehicle P and the own vehicle S. It is judged that there is a high possibility that it will come. Alternatively, in the situation shown in FIG. 7, when the lateral distance D between the own vehicle S and the other vehicle Q is equal to or less than a predetermined distance, the other vehicle Q advances between the preceding vehicle P and the own vehicle S. It is judged that there is a high possibility that it will come.
即ち、先行車両Ｐ以外の周辺車両が存在しない場合、及び、周辺車両が存在しても、先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高くない場合には、ステップＳ７以下の処理が実行される。一方、先行車両Ｐ以外の周辺車両が存在し、且つ、その周辺車両が先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高い場合には、ステップＳ１１以下の処理が実行される。 That is, if there is no peripheral vehicle other than the preceding vehicle P, or if there is no high possibility that the vehicle will advance between the preceding vehicle P and the own vehicle S even if there is a peripheral vehicle, step S7 The following processing is executed. On the other hand, if there is a peripheral vehicle other than the preceding vehicle P and there is a high possibility that the peripheral vehicle will advance between the preceding vehicle P and the own vehicle S, the process of step S11 or less is executed. NS.
ステップＳ７においては、車速センサ６等の検出信号に基づいて検出された自車両Ｓの実際の加減速度と、加減速度算出部１０ａの加減速度モデルに基づいて算出された加減速度の一致度が、所定の第２の閾値よりも高いか否かが判断される。一致度が所定の第２の閾値よりも高い場合には、ステップＳ８に進み、そこで、電子制御ユニット１０の異常判定部１０ｂにより、運転者は健常な状態であると判断され、図８のフローチャートによる１回の処理を終了する。即ち、周辺車両が存在しない場合や、周辺車両が存在しても、それが先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高くない場合には、健常な運転者による運転の加減速度は、加減速度モデルによる加減速度と良く一致するため、一致度が所定の第２の閾値よりも高い場合には運転者は健常であると判断される。
In step S7, the degree of agreement between the actual acceleration / deceleration of the own vehicle S detected based on the detection signal of the vehicle speed sensor 6 or the like and the acceleration / deceleration calculated based on the acceleration / deceleration model of the acceleration /
これに対して、自車両Ｓの実際の加減速度と、加減速度モデルに基づいて算出された加減速度の一致度が、所定の第２の閾値以下である場合には、ステップＳ９に進み、そこで、異常判定部１０ｂにより、運転者に異常がある（機能低下状態にある）と判断される。なお、本実施形態においては、ステップＳ７において判断に使用される所定の第２の閾値は、後述するステップＳ１１において判断に使用される所定の閾値とは異なる値に設定されている。しかしながら、両方の閾値を同じ値に設定することもできる。
On the other hand, if the degree of agreement between the actual acceleration / deceleration of the own vehicle S and the acceleration / deceleration calculated based on the acceleration / deceleration model is equal to or less than a predetermined second threshold value, the process proceeds to step S9, where , The
次いで、ステップＳ１０においては、運転者の支援が実行され、図８のフローチャートによる１回の処理を終了する。具体的には、電子制御ユニット１０から警報装置１２（図１）に制御信号が送られ、スピーカ（図示せず）から、運転者に安全な場所に自車両を停車させるよう促す音声が出力される。また、これと同時に、運転者が機能低下状態に陥っている虞があるため、安全な場所に自車両を停車させるよう促すメッセージがディスプレイ（図示せず）に表示される。また、運転者状態検出装置１により、運転者に異常があると繰り返し判断されている場合には、電子制御ユニット１０は自動運転制御部１４（図１）に信号を送り、自動運転により自車両を安全な場所に停車させる。また、スピーカからの音声及びディスプレイの表示により、運転者が機能低下状態に陥っている虞があるため、自車両が自動運転に切り替えられた旨が報知される。
Next, in step S10, the driver's support is executed, and one process according to the flowchart of FIG. 8 is completed. Specifically, a control signal is sent from the
一方、ステップＳ６において、検出された他車両Ｑが、追従している先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高いと判断された場合にはステップＳ１１に進む。
ステップＳ１１においては、車速センサ６等の検出信号に基づいて検出された自車両Ｓの実際の加減速度と、加減速度算出部１０ａの加減速度モデルに基づいて算出された加減速度の一致度が、所定の閾値よりも高いか否かが判断される。一致度が所定の閾値以下である場合には、ステップＳ８に進み、そこで、電子制御ユニット１０の異常判定部１０ｂにより、運転者は健常な状態であると判断され、図８のフローチャートによる１回の処理を終了する。即ち、周辺車両が先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高い場合には、加減速度モデルによる加減速度が、運転者による運転の加減速度と一致しないことが、運転者が他車両Ｑ（周辺車両）に気付いていることを示し、運転者は健常であると判断することができる。
On the other hand, if it is determined in step S6 that the detected other vehicle Q is likely to advance between the following preceding vehicle P and the own vehicle S, the process proceeds to step S11.
In step S11, the degree of agreement between the actual acceleration / deceleration of the own vehicle S detected based on the detection signal of the vehicle speed sensor 6 or the like and the acceleration / deceleration calculated based on the acceleration / deceleration model of the acceleration /
一方、ステップＳ１１において、自車両Ｓの実際の加減速度と、加減速度モデルに基づいて算出された加減速度の一致度が、所定の閾値よりも高いと判断された場合には、ステップＳ１３に進む。ステップＳ１３においては、異常判定部１０ｂにより、運転者に異常がある（機能低下状態にある）と判断される。即ち、周辺車両が先行車両Ｐと自車両Ｓとの間に進出してくる可能性が高いにも関わらず、運転者による運転の加減速度が、加減速度モデルによる加減速度と良く一致していることは、運転者が他車両Ｑ（周辺車両）に気付いていないことを示唆している。このため、運転者に異常がある（機能低下状態にある）と判断することができる。このステップＳ１３における異常の判断は、自車両Ｓの走行車線に他車両Ｑが進出してくる可能性を運転者が予測できているか否かを判断するものであり、比較的高度な判断に関わるものである。このため、ステップＳ１３における異常の判断は、ステップＳ９における異常の判断よりも、軽度な機能低下を検出することができる。
On the other hand, in step S11, if it is determined that the degree of agreement between the actual acceleration / deceleration of the own vehicle S and the acceleration / deceleration calculated based on the acceleration / deceleration model is higher than a predetermined threshold value, the process proceeds to step S13. .. In step S13, the
次いで、ステップＳ１４においては、運転者の支援が実行され、図８のフローチャートによる１回の処理を終了する。具体的には、電子制御ユニット１０から警報装置１２（図１）に制御信号が送られ、スピーカ（図示せず）から、運転者に安全な場所に自車両を停車させるよう促す音声が出力される。また、これと同時に、運転者が軽度の機能低下状態に陥っている虞があるため、安全な場所に自車両を停車させるよう促すメッセージがディスプレイ（図示せず）に表示される。また、運転者状態検出装置１により、運転者に異常があると繰り返し判断されている場合には、電子制御ユニット１０は自動運転制御部１４（図１）に信号を送り、自動運転により自車両を安全な場所に停車させる。また、スピーカからの音声及びディスプレイの表示により、運転者が機能低下状態に陥っている虞があるため、自車両が自動運転に切り替えられた旨が報知される。
Next, in step S14, the driver's support is executed, and one process according to the flowchart of FIG. 8 is completed. Specifically, a control signal is sent from the
本発明の実施形態の運転者状態検出装置１によれば、先行車両Ｐと自車両Ｓとの間に進出してくる他車両Ｑが検出されている場合（図７）には、加減速度算出部１０ａによって算出された加減速度と、自車両Ｓの実際の加減速度との一致度が、所定の閾値よりも高いとき（図８のステップＳ１１→Ｓ１３）、運転者に異常があると判定する。即ち、他車両Ｑが先行車両Ｐと自車両Ｓとの間に進出してくるにも関わらず、加減速度モデル（図３）に基づいて算出された加減速度との一致度が高い運転が行われている場合には、運転者は他車両Ｑに気付いておらず、軽度の機能低下状態に陥っていると考えられる。これにより、本実施形態の運転者状態検出装置１によれば、軽度の機能低下状態に陥った運転者の異常を早期に検出することができる。
According to the driver
また、本実施形態の運転者状態検出装置１によれば、先行車両Ｐと自車両Ｓとの間に進出してくる他車両Ｑがない場合には、算出された加減速度と、実際の加減速度との一致度が、所定の第２の閾値よりも低いとき（図８のステップＳ７→Ｓ９）、運転者に異常があると判定する。このため、先行車両Ｐと自車両Ｓとの間に進出してくる他車両Ｑが存在しない状況においても、運転者の異常の有無を判定することができる。
Further, according to the driver
さらに、本実施形態の運転者状態検出装置１によれば、加減速度算出部１０ａが、加減速学習部１０ｃ（図１）によって学習された健常な運転者の加減速操作に基づいて、算出する加減速度を補正するので、運転者ごとの加減速操作の癖等を、算出された加減速度に反映させることができる。これにより、加減速度モデルに基づいて算出される加減速操作と、健常な状態における運転者の加減速操作を良く一致させることができ、算出された加減速度と、自車両の実際の加減速度との一致度を正確に判定することができる。
Further, according to the driver
以上、本発明の実施形態を説明したが、上述した実施形態に種々の変更を加えることができる。特に、上述した実施形態においては、加減速度モデルとして、図３に示したものが使用されているが、健常な運転者の加減速操作をモデル化した任意のモデルを使用することができる。また、上述した実施形態においては、加減速度算出部１０ａによって算出された加減速度と、自車両の実際の加減速度との一致度が、カルバックライブラー情報量を計算することにより判定されていたが、任意の評価指標を使用して一致度を判定することができる。
Although the embodiments of the present invention have been described above, various modifications can be made to the above-described embodiments. In particular, in the above-described embodiment, the acceleration / deceleration model shown in FIG. 3 is used, but any model that models the acceleration / deceleration operation of a healthy driver can be used. Further, in the above-described embodiment, the degree of agreement between the acceleration / deceleration calculated by the acceleration /
１ 運転者状態検出装置
２ 車外カメラ（前方車両検出センサ）
４ レーダ（前方車両検出センサ）
６ 車速センサ（加減速度センサ）
８ａ ブレーキペダルセンサ（加減速度センサ）
８ｂ アクセルペダルセンサ（加減速度センサ）
１０ 電子制御ユニット
１０ａ 加減速度算出部
１０ｂ 異常判定部
１０ｃ 加減速学習部
１２ 警報装置
１４ 自動運転制御部
５１ 減算器
５２ 減算器
５３ 加算器
６１ 積分要素
６２ 比例要素
６３ 比例要素
６４ 一次遅れ要素
６５ 比例要素
1 Driver condition detection device 2 Outside camera (front vehicle detection sensor)
4 Radar (front vehicle detection sensor)
6 Vehicle speed sensor (acceleration / deceleration sensor)
8a Brake pedal sensor (acceleration / deceleration sensor)
8b Accelerator pedal sensor (acceleration / deceleration sensor)
10
Claims (3)
自車両の前方又は自車両の側方且つ前方を走行している車両を検出する前方車両検出センサと、
自車両の加減速度を検出する加減速度センサと、
上記前方車両検出センサによって検出された先行車両に追従するように自車両を走行させるための適正な加減速度を、加減速度モデルに基づいて算出する加減速度算出部と、
この加減速度算出部によって算出された加減速度と、上記加減速度センサによって検出された自車両の実際の加減速度と、を比較して、運転者の異常の有無を判定する異常判定部と、
を有し、
上記異常判定部は、追従している先行車両と自車両との間に進出してくる可能性がある他車両が上記前方車両検出センサによって検出されている場合には、上記加減速度算出部によって算出された加減速度と、自車両の実際の加減速度との一致度が、所定の閾値よりも高いとき、運転者に異常があると判定することを特徴とする運転者状態検出装置。 It is a driver condition detection device that detects abnormalities of the driver.
A front vehicle detection sensor that detects a vehicle traveling in front of the own vehicle or on the side and in front of the own vehicle,
An acceleration / deceleration sensor that detects the acceleration / deceleration of your vehicle,
An acceleration / deceleration calculation unit that calculates an appropriate acceleration / deceleration for driving the own vehicle so as to follow the preceding vehicle detected by the front vehicle detection sensor based on the acceleration / deceleration model.
An abnormality determination unit that determines the presence or absence of an abnormality in the driver by comparing the acceleration / deceleration calculated by the acceleration / deceleration calculation unit with the actual acceleration / deceleration of the own vehicle detected by the acceleration / deceleration sensor.
Have,
The abnormality determination unit is used by the acceleration / deceleration calculation unit when another vehicle that may advance between the following preceding vehicle and the own vehicle is detected by the front vehicle detection sensor. A driver state detection device for determining that the driver has an abnormality when the degree of agreement between the calculated acceleration / deceleration and the actual acceleration / deceleration of the own vehicle is higher than a predetermined threshold value.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020065818A JP7480564B2 (en) | 2020-04-01 | 2020-04-01 | Driver status detection device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2020065818A JP7480564B2 (en) | 2020-04-01 | 2020-04-01 | Driver status detection device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2021160626A true JP2021160626A (en) | 2021-10-11 |
| JP7480564B2 JP7480564B2 (en) | 2024-05-10 |
Family
ID=78004253
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020065818A Active JP7480564B2 (en) | 2020-04-01 | 2020-04-01 | Driver status detection device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7480564B2 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112023000544T5 (en) | 2022-05-16 | 2024-10-31 | Hitachi Astemo, Ltd. | driver assistance device |
| WO2025173722A1 (en) * | 2024-02-15 | 2025-08-21 | 住友電気工業株式会社 | Characteristic change detection system, characteristic change detection device, on-vehicle device, characteristic change detection method, and computer program |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009154675A (en) * | 2007-12-26 | 2009-07-16 | Toyota Central R&D Labs Inc | Driver state estimation apparatus and program |
| JP2013063731A (en) * | 2011-09-20 | 2013-04-11 | Denso Corp | In-vehicle electronic control device |
| JP2019114104A (en) * | 2017-12-25 | 2019-07-11 | 株式会社デンソーアイティーラボラトリ | Oversight detection device, oversight detection method, and program |
| JP2019151261A (en) * | 2018-03-05 | 2019-09-12 | 日産自動車株式会社 | Operation characteristic estimation method and operation characteristic estimation device |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010096151A (en) | 2008-10-20 | 2010-04-30 | Toyota Motor Corp | Device and method for controlling vehicle speed |
-
2020
- 2020-04-01 JP JP2020065818A patent/JP7480564B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009154675A (en) * | 2007-12-26 | 2009-07-16 | Toyota Central R&D Labs Inc | Driver state estimation apparatus and program |
| JP2013063731A (en) * | 2011-09-20 | 2013-04-11 | Denso Corp | In-vehicle electronic control device |
| JP2019114104A (en) * | 2017-12-25 | 2019-07-11 | 株式会社デンソーアイティーラボラトリ | Oversight detection device, oversight detection method, and program |
| JP2019151261A (en) * | 2018-03-05 | 2019-09-12 | 日産自動車株式会社 | Operation characteristic estimation method and operation characteristic estimation device |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE112023000544T5 (en) | 2022-05-16 | 2024-10-31 | Hitachi Astemo, Ltd. | driver assistance device |
| WO2025173722A1 (en) * | 2024-02-15 | 2025-08-21 | 住友電気工業株式会社 | Characteristic change detection system, characteristic change detection device, on-vehicle device, characteristic change detection method, and computer program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7480564B2 (en) | 2024-05-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| EP2942765B1 (en) | Method and system for predictive lane change assistance, program software product and vehicle | |
| JP5189157B2 (en) | Moving object target state determination device and program | |
| EP2923911B1 (en) | A method and system for predicting movement behavior of a target traffic object | |
| US9079571B2 (en) | Method for operating a brake assist device and brake assist device for a vehicle | |
| JP7477423B2 (en) | Driving assistance device, driving assistance method, and program | |
| JP5539766B2 (en) | Misoperation detection device and misoperation detection method | |
| US20160325743A1 (en) | Method for improving performance of a method for computationally predicting a future state of a target object, driver assistance system, vehicle including such driver assistance system and respective program storage medium and program | |
| US8073606B2 (en) | Vehicle control system | |
| JP4226455B2 (en) | Driving intention estimation device, vehicle driving assistance device, and vehicle equipped with vehicle driving assistance device | |
| US20130030688A1 (en) | Vehicle driving assistance device | |
| JP5423724B2 (en) | Driver status determination device | |
| JP4933144B2 (en) | Object detection device | |
| JP4561092B2 (en) | VEHICLE DRIVE OPERATION ASSISTANCE DEVICE AND VEHICLE HAVING VEHICLE DRIVE OPERATION ASSISTANCE DEVICE | |
| CN103098110A (en) | Vehicle surroundings monitoring device | |
| JP2005180196A (en) | VEHICLE DRIVE OPERATION ASSISTANCE DEVICE AND VEHICLE WITH VEHICLE DRIVE OPERATION ASSISTANCE DEVICE | |
| KR101545054B1 (en) | Driver assistance systems and controlling method for the same | |
| JP2021160626A (en) | Driver state detection device | |
| JP2010182148A (en) | Travelling condition recording device | |
| JP5782793B2 (en) | In-vehicle device controller | |
| CN114802231B (en) | Danger level determination method, device, electronic device and storage medium | |
| JP7483207B2 (en) | Driver status detection device | |
| JP6439652B2 (en) | In-vehicle device and in-vehicle system | |
| JP2008102615A (en) | Driving support system and alarm output method | |
| JP5493992B2 (en) | Driving assistance device | |
| JP5333181B2 (en) | Operating state determination device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230221 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231215 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240326 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240408 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7480564 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |