[go: up one dir, main page]

JP7418699B2 - Recording control device and recording control method - Google Patents

Recording control device and recording control method Download PDF

Info

Publication number
JP7418699B2
JP7418699B2 JP2022118595A JP2022118595A JP7418699B2 JP 7418699 B2 JP7418699 B2 JP 7418699B2 JP 2022118595 A JP2022118595 A JP 2022118595A JP 2022118595 A JP2022118595 A JP 2022118595A JP 7418699 B2 JP7418699 B2 JP 7418699B2
Authority
JP
Japan
Prior art keywords
video data
occupant
level
recording
emotion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022118595A
Other languages
Japanese (ja)
Other versions
JP2022145725A (en
Inventor
哲雄 田替藤
規夫 倉重
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to JP2022118595A priority Critical patent/JP7418699B2/en
Publication of JP2022145725A publication Critical patent/JP2022145725A/en
Application granted granted Critical
Publication of JP7418699B2 publication Critical patent/JP7418699B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)

Description

本発明は、車両に搭載される記録制御装置及び記録制御方法に関する。 The present invention relates to a recording control device mounted on a vehicle and a recording control method.

車両に搭載される記録制御装置は、車両の前方や後方等の車両周囲を時間的に連続して撮影し、映像を記録する。記録制御装置は、撮影した映像を記憶媒体に保存するが、該記憶媒体の容量には限りがあるため、一定期間に亘って複数の映像データを保存した後、古い映像データから順次上書きして新たな映像を保存する。 A recording control device mounted on a vehicle continuously photographs the surroundings of the vehicle, such as the front and rear of the vehicle, and records images. The recording control device stores the captured video on a storage medium, but since the storage medium has a limited capacity, after storing multiple video data for a certain period of time, it sequentially overwrites the oldest video data. Save new footage.

特許文献1には、生体情報取得部、感情推定部および車載機器制御部を備える車載機器制御装置が開示されている。生体情報取得部は、車両の運転者または同乗者の生体情報を測定する生体センサから生体情報を取得する。感情推定部は、生体情報を用いて運転者または同乗者の感情の程度を示す値の変化の大きさを求める。車載機器制御部は、感情推定部が求めた値の変化の大きさが所定の閾値を超えた場合に、車両が備える車載機器の動作を制御する。車載機器は車両の内部および外部に設けられた撮像装置であり、車載機器制御部は、感情が急激に変化したタイミングを含むように映像データを残すように機能する。 Patent Document 1 discloses an in-vehicle equipment control device including a biological information acquisition unit, an emotion estimation unit, and an in-vehicle equipment control unit. The biological information acquisition unit acquires biological information from a biological sensor that measures biological information of a driver or a passenger of the vehicle. The emotion estimator uses biometric information to determine the magnitude of change in a value indicating the level of emotion of the driver or passenger. The in-vehicle device control section controls the operation of the in-vehicle device included in the vehicle when the magnitude of change in the value determined by the emotion estimation section exceeds a predetermined threshold. The in-vehicle device is an imaging device provided inside and outside the vehicle, and the in-vehicle device control section functions to leave video data including the timing at which the emotion suddenly changes.

特開2017-136922号公報JP 2017-136922 Publication

ところで、運転者が笑顔である場合には車両の周辺に危険などは無い状態であると考えられ、映像データを残す必要性は少ない。一方、運転者の表情が険しい場合には、車両の周辺の危険性が高まっていたり、不快にさせる事態が発生している状態が想定され、映像データを適切な形態で残しておく必要性が高くなる。特許文献1に記載の車載機器制御装置では、車両の運転者または同乗者の感情が急激に変化したタイミングを含む映像データを保存するが、乗員感情レベルに基づいて保存する映像データの区切り位置を決定することはできなかった。 By the way, if the driver is smiling, it is considered that there is no danger around the vehicle, and there is little need to leave video data. On the other hand, if the driver's expression is stern, it is assumed that the danger around the vehicle is increasing or that an unpleasant situation is occurring, and it is necessary to preserve the video data in an appropriate format. It gets expensive. The in-vehicle equipment control device described in Patent Document 1 saves video data including the timing at which the emotions of the driver or passenger of the vehicle suddenly changed, but the division positions of the video data to be saved are determined based on the emotional level of the vehicle occupant. I couldn't decide.

本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、乗員感情レベルに応じて保存する映像データの区切り位置を決定することができる記録制御装置及び記録制御方法を提供することにある。 The present invention has been made in view of the above circumstances, and its purpose is to provide a recording control device and a recording control method that can determine the delimiting position of video data to be saved according to the emotional level of the passenger. It is about providing.

本発明のある態様の記録制御装置は、車両周囲の映像を撮影した映像データを取得する映像データ取得部と、車室内の乗員の生体情報を検出する生体センサからの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する乗員感情判定部と、乗員感情レベルに基づいて映像データの区切り位置を決定して、映像データを記録部に記録させる記録処理部と、を備える。 A recording control device according to an aspect of the present invention includes a video data acquisition unit that acquires video data obtained by capturing images of the surroundings of a vehicle, and a video data acquisition unit that acquires video data obtained by capturing images of the surroundings of a vehicle. The present invention includes an occupant emotion determining section that estimates the occupant's emotional level and determines the occupant's emotional level, and a recording processing section that determines the dividing position of the video data based on the occupant's emotional level and causes the recording section to record the video data.

また本発明の別の態様は記録制御方法である。この記録制御方法は、コンピュータが、車両周囲の映像を撮影した映像データを取得するステップと、車室内の乗員の生体情報を検出する生体センサからの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定するステップと、乗員感情レベルに基づいて映像データの区切り位置を決定して、映像データを記録部に記録させるステップと、を実行する。 Another aspect of the present invention is a recording control method. This recording control method involves a step in which a computer acquires video data of images around the vehicle, and estimates the occupant's emotions based on information from a biosensor that detects the biometric information of the occupant inside the vehicle. A step of determining an emotional level, and a step of determining a dividing position of video data based on the passenger emotional level and recording the video data in a recording section are executed.

本発明によれば、乗員感情レベルに応じて保存する映像データの区切り位置を決定することができる。 According to the present invention, it is possible to determine the division position of video data to be saved according to the passenger emotional level.

実施形態1に係る記録制御装置を含むドライブレコーダの構成を示すブロック図である。1 is a block diagram showing the configuration of a drive recorder including a recording control device according to a first embodiment. FIG. 乗員感情レベルに基づく記録方法を説明するための模式図である。FIG. 3 is a schematic diagram for explaining a recording method based on the occupant emotional level. 乗員感情レベルに応じた保持期間の例を示す図表である。It is a chart showing an example of a retention period according to an occupant emotional level. 記録制御装置における映像データの記録処理の手順を示すフローチャートである。5 is a flowchart showing the procedure of recording processing of video data in the recording control device. 記録された映像データに関する情報を説明するための模式図である。FIG. 3 is a schematic diagram for explaining information regarding recorded video data. 実施形態2に係る記録制御装置の保持期間の決定処理の手順を示すフローチャートである。7 is a flowchart illustrating the procedure of a retention period determination process of the recording control device according to the second embodiment.

以下、本発明を好適な実施の形態をもとに図1から図6を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面における部材の寸法は、理解を容易にするために適宜拡大、縮小して示される。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。 Hereinafter, the present invention will be explained based on a preferred embodiment with reference to FIGS. 1 to 6. Identical or equivalent components and members shown in each drawing are designated by the same reference numerals, and redundant explanations will be omitted as appropriate. Further, the dimensions of members in each drawing are shown enlarged or reduced as appropriate to facilitate understanding. Further, in each drawing, some members that are not important for explaining the embodiments are omitted.

(実施形態1)
図1は、実施形態1に係る記録制御装置50を含むドライブレコーダ100の構成を示すブロック図である。ドライブレコーダ100は、車両に搭載され、車両の前方、側方および後方等の車両周囲を時間的に連続して撮影し、映像データを記録する。ドライブレコーダ100は、撮影した映像を記録部に記録するが、記録部の容量には限りがあるため、映像データを後述する保持期間に基づいて、順次、削除することによって、新たな映像データを記録する。ドライブレコーダ100の記録制御装置50は、車両に搭乗している乗員の感情を推定して乗員感情レベルを判定し、映像データの保持期間を決定する。
(Embodiment 1)
FIG. 1 is a block diagram showing the configuration of a drive recorder 100 including a recording control device 50 according to the first embodiment. The drive recorder 100 is mounted on a vehicle, and records image data by continuously photographing the surroundings of the vehicle, such as the front, sides, and rear of the vehicle. The drive recorder 100 records the captured video in the recording unit, but since the capacity of the recording unit is limited, new video data is created by sequentially deleting the video data based on the retention period described later. Record. The recording control device 50 of the drive recorder 100 estimates the emotion of the occupant riding in the vehicle, determines the occupant's emotional level, and determines the retention period of video data.

ドライブレコーダ100は、撮像部10、記録部20、生体センサ30、入出力インタフェース40、計時部41および記録制御装置50等を備える。撮像部10は、例えばCCD等の検出器を有するカメラであり、車両の前方等の車両周囲を撮影する。撮像部10は、時間的に連続して映像を取得し、取得した映像データを後述する記録制御装置50の映像データ取得部51へ送出する。 The drive recorder 100 includes an imaging section 10, a recording section 20, a biological sensor 30, an input/output interface 40, a clock section 41, a recording control device 50, and the like. The imaging unit 10 is, for example, a camera having a detector such as a CCD, and photographs the surroundings of the vehicle, such as the front of the vehicle. The imaging unit 10 acquires video continuously over time and sends the acquired video data to a video data acquisition unit 51 of a recording control device 50, which will be described later.

記録部20は、例えばSDカードやUSBメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像データ取得部51で取得された映像データを記録し、削除することができるものとする。記録部20は、ドライブレコーダ100に着脱可能とすることで、ドライブレコーダ100から取り外し、別のPC等で映像を再生等することができる。 The recording unit 20 is, for example, a removable medium such as an SD card or a USB memory, or a hard disk, and is capable of recording and deleting the video data acquired by the video data acquisition unit 51. By making the recording unit 20 detachable from the drive recorder 100, it can be removed from the drive recorder 100 and the video can be played back on another PC or the like.

生体センサ30は、例えば車室内に搭乗している乗員の顔等の身体を撮像するカメラであり、乗員の生体情報を検出する。生体センサ30によって検出された生体情報は、記録制御装置50に出力される。後述する記録制御装置50の乗員感情判定部52は、生体センサ30から取得した生体情報に基づいて、乗員の感情を推定し、乗員感情レベルを判定する。 The biosensor 30 is, for example, a camera that captures an image of the body, such as the face, of an occupant inside the vehicle, and detects biometric information of the occupant. The biological information detected by the biological sensor 30 is output to the recording control device 50. An occupant emotion determination unit 52 of the recording control device 50, which will be described later, estimates the emotion of the occupant based on biological information acquired from the biosensor 30, and determines the occupant's emotional level.

生体センサ30が乗員の顔を撮像するカメラである場合、乗員感情判定部52は、乗員の口や目などの動きに基づいて、笑っている表情であるか、険しい表情や怒った表情であるかを画像認識し、乗員の感情を推定する。生体センサ30は、乗員の音声を取得するマイク、乗員の心拍数や呼吸数、体温などを計測するセンサであってもよく、音声認識によるキーワード検出や声の抑揚、乗員の心拍数や呼吸数、体温などに基づき乗員の感情が推定し得る種々のセンサを用いることができる。また、生体センサ30によって取得された生体情報に基づいて乗員の感情を推定する方法については、上述の画像認識による方法を含め公知の技術を用いることができる。 When the biosensor 30 is a camera that captures an image of the occupant's face, the occupant emotion determination unit 52 determines whether the occupant has a smiling expression, a grim expression, or an angry expression based on the movements of the occupant's mouth, eyes, etc. It uses image recognition to estimate the emotions of the occupants. The biosensor 30 may be a microphone that captures the occupant's voice, a sensor that measures the occupant's heart rate, breathing rate, body temperature, etc., and keyword detection through voice recognition, voice intonation, and the occupant's heart rate and breathing rate. Various sensors can be used that can estimate the emotion of the occupant based on body temperature, etc. Further, as a method for estimating the emotion of the occupant based on the biological information acquired by the biological sensor 30, known techniques including the above-mentioned image recognition method can be used.

入出力インタフェース40は、車両の速度情報および位置情報等を外部装置から取得する。計時部41は、日時を計測する。ドライブレコーダ100は、入出力インタフェース40によって取得した速度情報および位置情報等、並びに計時部41によって取得した日時情報を映像データに付加して記録するようにしてもよい。また計時部41は、記録制御装置50における時間計測などに適宜用いられる。 The input/output interface 40 acquires vehicle speed information, position information, etc. from an external device. The clock section 41 measures date and time. The drive recorder 100 may record speed information, position information, etc. acquired by the input/output interface 40, and date and time information acquired by the clock section 41, in addition to the video data. Further, the timer section 41 is used for time measurement in the recording control device 50 as appropriate.

記録制御装置50は、映像データ取得部51、乗員感情判定部52および記録処理部53を有する。記録制御装置50は、例えばCPUなどによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部50aは、RAM(Random Access Memory)、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、記録制御装置50で実行するコンピュータプログラム等を記憶する。 The recording control device 50 includes a video data acquisition section 51, an occupant emotion determination section 52, and a recording processing section 53. The recording control device 50 is constituted by, for example, a CPU, and executes the processing by the above-mentioned units by operating according to a computer program. The storage unit 50a is constituted by a data storage device such as a RAM (Random Access Memory), a flash memory, or a hard disk storage device, and stores computer programs and the like executed by the recording control device 50.

映像データ取得部51は、撮像部10において撮影された映像データを取得してデータ圧縮等の処理を行い、記録処理部53に出力する。映像データ取得部51が撮像部10を含んで構成されていてもよい。 The video data acquisition unit 51 acquires video data captured by the imaging unit 10, performs processing such as data compression, and outputs the data to the recording processing unit 53. The video data acquisition section 51 may be configured to include the imaging section 10.

乗員感情判定部52は、生体センサ30からの生体情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。生体センサ30は、例えば車載カメラであって、乗員感情判定部52は、撮影した乗員の表情、目や口の開度から乗員感情レベルを判定する。生体センサ30は、サーモカメラ、ならびに脈拍および心拍計測用のセンサであってもよい。乗員感情判定部52は、乗員の体温、脈拍または心拍などの状態から乗員感情レベルを判定する。乗員感情レベルは多段階であり、乗員感情判定部52は、時々刻々の乗員の感情を例えば1から5までの乗員感情レベルに判定する。乗員感情判定部52は、乗員が不快な状態や怒りなどの感情状態にある場合に乗員感情レベルを1とし、乗員が快適な状態や喜びなどの感情状態にある場合に乗員感情レベルを5として判定する。乗員感情レベル3は、例えば平穏な状態であり、乗員感情レベル2は乗員感情レベル1と3の間、乗員感情レベル4は乗員感情レベル5と3の間の乗員の感情のレベルを示す。 The occupant emotion determination unit 52 estimates the occupant's emotion based on biological information from the biosensor 30, and determines the occupant's emotional level. The biosensor 30 is, for example, a vehicle-mounted camera, and the occupant emotion determination unit 52 determines the occupant's emotional level based on the photographed facial expressions of the occupant and the degree of opening of the eyes and mouth. The biosensor 30 may be a thermo camera or a sensor for measuring pulse and heart rate. The occupant emotion determining unit 52 determines the occupant's emotional level based on the occupant's body temperature, pulse, heartbeat, and other conditions. The occupant emotion level has multiple levels, and the occupant emotion determining unit 52 determines the occupant's emotion from moment to moment into the occupant emotion level from 1 to 5, for example. The occupant emotion determination unit 52 sets the occupant emotion level to 1 when the occupant is in an emotional state such as discomfort or anger, and sets the occupant emotion level to 5 when the occupant is in a comfortable condition or an emotional state such as joy. judge. The passenger emotion level 3 is, for example, a calm state, the passenger emotion level 2 is between the passenger emotion levels 1 and 3, and the passenger emotion level 4 is between the passenger emotion levels 5 and 3.

記録処理部53は、乗員感情判定部52によって判定した乗員感情レベルに基づいて、映像データを区切る区切信号を生成し、映像データ取得部51から取得した映像データの記録部20への記録を制御する。区切信号は、乗員感情レベルが変化した際に取得した映像データを区切るために用いられ、乗員感情レベルおよび乗員感情レベルに基づいて定められる映像データの保持期間が含まれている。例えば、乗員が不快な状態や怒りなどの感情状態にあり乗員感情レベルが1の場合に保持期間を長くし、乗員が快適な状態や喜びなどの感情状態にあり乗員感情レベルが5の場合に保持期間を短くする。 The recording processing unit 53 generates a delimiter signal for dividing the video data based on the passenger emotion level determined by the passenger emotion determination unit 52, and controls recording of the video data acquired from the video data acquisition unit 51 into the recording unit 20. do. The delimiter signal is used to delimit the video data acquired when the passenger emotional level changes, and includes the passenger emotional level and the retention period of the video data determined based on the passenger emotional level. For example, if the occupant is in an emotional state such as discomfort or anger and the occupant emotion level is 1, the retention period is lengthened, and if the occupant is in a comfortable or happy emotional state and the occupant emotion level is 5, the retention period is Shorten retention period.

また、記録処理部53は、記録部20に記録した映像データの識別情報(例えば一連番号やファイル名)に対応付けて保持期間を記憶部50aに記憶しておき、保持期間が過ぎた場合に記録部20から該当する映像データを削除する処理を行う。 Further, the recording processing unit 53 stores a retention period in the storage unit 50a in association with identification information (for example, a serial number or a file name) of the video data recorded in the recording unit 20, and when the retention period has passed, A process of deleting the corresponding video data from the recording unit 20 is performed.

図2は、乗員感情レベルに基づく記録方法を説明するための模式図である。図2に示す例では、乗員感情判定部52は乗員感情レベルを5段階で判定している。乗員感情判定部52は、図2に示すように乗員感情レベル3,2,4,5,・・・と判定している。映像データ取得部51は、時間長さΔTの映像データを順次、一つの映像ファイルとして生成しており、映像データ#1、#2、#3、・・・が記録部20に記録されていく。映像データ#1~#5の時間長さはΔTとしている。乗員感情レベルが3から2に変化すると、記録処理部53は、区切信号に基づいて映像データを区切り、時間長さがΔTより短い映像データ#6を生成し、記録部20に記録させる。映像データ#1~#6には、乗員感情レベル3およびその乗員感情レベルに応じた保持期間が付加される。 FIG. 2 is a schematic diagram for explaining a recording method based on the occupant emotional level. In the example shown in FIG. 2, the occupant emotion determination unit 52 determines the occupant emotion level in five levels. The occupant emotion determination unit 52 determines the occupant emotion level to be 3, 2, 4, 5, . . . as shown in FIG. The video data acquisition unit 51 sequentially generates video data with a time length ΔT as one video file, and video data #1, #2, #3, etc. are recorded in the recording unit 20. . The time length of video data #1 to #5 is assumed to be ΔT. When the occupant emotion level changes from 3 to 2, the recording processing unit 53 divides the video data based on the delimiter signal, generates video data #6 whose time length is shorter than ΔT, and causes the recording unit 20 to record it. A passenger emotion level 3 and a retention period corresponding to the passenger emotion level are added to video data #1 to #6.

図3は、乗員感情レベルに応じた保持期間の例を示す図表である。乗員が不快な状態や怒りなどの感情状態にあり乗員感情レベルが1の場合に、例えば映像データの保持期間を48時間とする。乗員感情レベルが1から大きくなるにつれて、保持期間を徐々に短かくし、乗員が快適な状態や喜びなどの感情状態にあり乗員感情レベルが5の場合に、保持期間を30分などとする。また、乗員感情レベルが1の場合に、映像データの保持期間を不定とし、上書きの必要が生じた場合にのみ消去する形態があってもよい。 FIG. 3 is a chart showing an example of a retention period depending on the passenger emotional level. For example, when the occupant is in an emotional state such as discomfort or anger and the occupant's emotional level is 1, the retention period of the video data is set to 48 hours. As the occupant emotion level increases from 1, the holding period is gradually shortened, and when the occupant is in a comfortable state or an emotional state such as joy and the occupant emotion level is 5, the holding period is set to 30 minutes, for example. Furthermore, when the passenger emotion level is 1, the retention period of the video data may be undefined, and the video data may be deleted only when it becomes necessary to overwrite it.

次に記録制御装置50の動作について、映像データの記録処理に基づいて説明する。図4は、記録制御装置50における映像データの記録処理の手順を示すフローチャートである。ドライブレコーダ100は、撮像部10によって撮影した映像データを記録制御装置50の映像データ取得部51で取得しており、1つの映像データを記録部20に記録した後、次の映像データを記録部20に記録する処理を説明する。映像データは、乗員感情レベルの変化が無ければ、時間長さΔTで区切られたデータとして記録部20に記録されるものとする。 Next, the operation of the recording control device 50 will be explained based on recording processing of video data. FIG. 4 is a flowchart showing the procedure of video data recording processing in the recording control device 50. In the drive recorder 100, the video data captured by the imaging unit 10 is acquired by the video data acquisition unit 51 of the recording control device 50, and after recording one video data in the recording unit 20, the next video data is recorded in the recording unit. The process of recording in 20 will be explained. It is assumed that the video data is recorded in the recording unit 20 as data separated by a time length ΔT if there is no change in the passenger emotional level.

記録処理部53は、タイマーをスタートし(S1)、乗員感情判定部52が判定した乗員感情レベルに変化があったか否かを判定する(S2)。記録処理部53は、乗員感情レベルに変化があった場合(S2:YES)、区切信号によって映像データを区切り、ΔT経過前に映像データを記録部20へ記録し(S3)、処理を終了する。 The recording processing unit 53 starts a timer (S1), and determines whether or not there has been a change in the occupant emotion level determined by the occupant emotion determination unit 52 (S2). If there is a change in the passenger emotional level (S2: YES), the recording processing unit 53 separates the video data using a delimiter signal, records the video data in the recording unit 20 before ΔT elapses (S3), and ends the process. .

記録処理部53は、乗員感情判定部52が判定した乗員感情レベルに変化がない場合(S2:NO)、ΔT経過したか否かを判定する(S4)。記録処理部53は、ΔT経過していないと判定した場合(S4:NO)、ステップS2に戻って処理を繰り返す。記録処理部53は、ΔT経過したと判定した場合(S4:YES)、映像データを記録部20へ記録し(S3)、処理を終了する。 If there is no change in the passenger emotion level determined by the passenger emotion determination unit 52 (S2: NO), the recording processing unit 53 determines whether ΔT has elapsed (S4). When the recording processing unit 53 determines that ΔT has not elapsed (S4: NO), the process returns to step S2 and repeats the process. When the recording processing unit 53 determines that ΔT has elapsed (S4: YES), the recording processing unit 53 records the video data to the recording unit 20 (S3), and ends the process.

図4に示す処理を繰り返すことにより、順次、映像データが記録部20に記録されていく。図5は、記録された映像データに関する情報を説明するための模式図である。映像データ#1~#6は、乗員感情レベルが3であり、保持期間は12時間である。その後、映像データ#7~#9は乗員感情レベルが2であり、保持期間は24時間である。また、映像データ#10は乗員感情レベルが4であり、保持期間は4時間である。 By repeating the process shown in FIG. 4, video data is sequentially recorded in the recording unit 20. FIG. 5 is a schematic diagram for explaining information regarding recorded video data. Video data #1 to #6 have an occupant emotion level of 3 and a retention period of 12 hours. Thereafter, the occupant emotion level of video data #7 to #9 is 2, and the retention period is 24 hours. Furthermore, the occupant emotion level of video data #10 is 4, and the retention period is 4 hours.

記録処理部53は、上述のように、映像データの識別情報に対応付けて保持期間を記憶部50aに記憶しており、保持期間が過ぎた場合に記録部20から該当する映像データを削除する処理を行う。例えば図5のように記録された各映像データは、時間長さΔTが約1分程度であるとすれば、映像データ#1~#10が記録される時間は約10分程度である。映像データ#1~#10のうち、映像データ#10が最も早く保持期間が経過して削除され、次いで、映像データ#1~#6が順に削除され、更に映像データ#7~#10が順に削除される。 As described above, the recording processing unit 53 stores the retention period in the storage unit 50a in association with the identification information of the video data, and deletes the corresponding video data from the recording unit 20 when the retention period has passed. Perform processing. For example, if each video data recorded as shown in FIG. 5 has a time length ΔT of about 1 minute, the time for recording video data #1 to #10 is about 10 minutes. Among video data #1 to #10, video data #10 is deleted earliest after the retention period has elapsed, then video data #1 to #6 are deleted in order, and video data #7 to #10 are deleted in order. will be deleted.

記録制御装置50は、車両の乗員である例えば運転者が快適な状態や喜びなどの感情状態にあったときに記録された映像データは早く削除し、運転者が不快な状態や怒りなどの感情にあったときに記録された映像データは長く保存する処理を行う。記録制御装置50は、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲においてヒヤリハットなどの異常な状況があった、または、車両の周囲における事故など異変が起こり易い状況であると判断して、映像データを長く記録部20に残すことができる。また、車両の乗員は運転者に限定されず、同乗者についても乗員感情レベルを判定してもよい。また、運転者についての乗員感情レベル、および同乗者についての乗員感情レベルをそれぞれ判定しておき、これらを更に総合判定して乗員感情レベルを算出してもよい。このとき、同乗者についての乗員感情レベルは、同乗者の生体情報から、睡眠中であること、車両外部を注視していないことなどを検知して重み付けを行ってもよい。より詳しくは、同乗者が車両外部を注視しておらず、車両の走行状況を認識していないと考えられる場合、同乗者についての乗員感情レベルよりも運転者についての乗員感情レベルを重視して総合的な乗員感情レベルを判定することとしてもよい。 The recording control device 50 quickly deletes video data recorded when the vehicle occupant, for example, the driver, was in a comfortable state or in an emotional state such as joy, and deletes video data recorded when the driver is in an uncomfortable state or in an emotional state such as anger. The video data recorded during the period is processed to be stored for a long time. The recording control device 50 records information indicating that when the occupants of the vehicle are in an emotional state such as discomfort or anger, there is an abnormal situation such as a near miss in the vicinity of the vehicle, or an unusual situation such as an accident is likely to occur in the vicinity of the vehicle. It is possible to leave the video data in the recording unit 20 for a long time by determining that the situation is right. Further, the occupant of the vehicle is not limited to the driver, and the occupant emotional level may also be determined for a fellow passenger. Alternatively, the passenger emotional level for the driver and the passenger emotional level for the fellow passenger may be determined in advance, and the passenger emotional level may be calculated by comprehensively determining these. At this time, the occupant emotional level of the fellow passenger may be weighted by detecting from the biometric information of the fellow passenger whether he or she is sleeping or not looking at the outside of the vehicle. More specifically, if it is thought that the passenger is not looking at the outside of the vehicle and is not aware of the vehicle's driving situation, the passenger's emotional level regarding the driver is given more weight than the passenger's emotional level regarding the passenger. It is also possible to determine the overall emotional level of the occupant.

記録制御装置50の乗員感情判定部52は、乗員感情レベルの履歴を残しておき、設定した多段階で適切に乗員感情レベルが判定できているかを評価し、乗員によって判定結果が偏っている場合には判定の基準を変更するようにしてもよい。例えば、乗員感情レベルを5段階で評価している場合に、一定期間(例えば1ケ月間)の間、ある乗員の乗員感情レベルが1~3で推移している場合に、当該の乗員の感情レベルの中心値が低いと判断し、乗員感情レベル1~5と判定されるように判定レベルの中心値および範囲を変更する。また、車両に搭乗する複数の乗員ごとに、基準を設定するようにしてもよい。 The occupant emotion determination unit 52 of the recording control device 50 keeps a history of the occupant emotion level, evaluates whether the occupant emotion level can be appropriately determined in a set multi-step manner, and determines if the determination result is biased depending on the occupant. The criteria for determination may be changed. For example, when the passenger emotional level is evaluated on a five-level scale, if the passenger emotional level of a certain passenger changes from 1 to 3 for a certain period of time (for example, one month), the passenger's emotional level is It is determined that the central value of the level is low, and the central value and range of the determination level are changed so that the passenger emotion level is determined to be 1 to 5. Further, standards may be set for each of a plurality of occupants boarding the vehicle.

乗員感情判定部52は、車両に搭乗する複数の乗員ごとの乗員感情レベルの履歴に基づいて、乗員感情レベル判定における基準を変えることで、乗員の性質に応じて、乗員感情レベルの多段階評価を良好に行うことができる。 The occupant emotion determining unit 52 performs a multi-level evaluation of the occupant emotional level according to the characteristics of the occupant by changing the criteria for determining the occupant emotional level based on the history of the occupant emotional level of each of the plurality of occupants boarding the vehicle. can be performed well.

(実施形態2)
実施形態1では乗員感情レベルに応じて映像データの保持期間を定めたが、乗員感情レベルの変化量に応じて映像データの保持期間を定めるようにしてもよい。時刻xにおける乗員感情レベルをs(x)とし、現在の時刻tにおける乗員感情レベルをs(t)、過去の時刻t-1における乗員感情レベルをs(t-1)とし、乗員感情レベルの変化量αを
α=s(t)/s(t-1)
により求める。
(Embodiment 2)
In the first embodiment, the retention period of the video data is determined according to the passenger emotional level, but the retention period of the video data may be determined according to the amount of change in the passenger emotional level. The passenger emotional level at time x is s(x), the passenger emotional level at current time t is s(t), the passenger emotional level at past time t-1 is s(t-1), and the passenger emotional level is The amount of change α is α=s(t)/s(t-1)
Find it by

乗員の感情が不快な状態や怒りなどの感情状態にある場合に乗員感情レベルが小さく、快適な状態や喜びなどの感情状態にある場合に乗員感情レベルが大きいとする。乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったとき、乗員感情レベルの変化量αは1より小さくなる。逆に、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったとき、乗員感情レベルの変化量αは1より大きくなる。 It is assumed that the passenger emotional level is low when the passenger is in an emotional state such as discomfort or anger, and high when the passenger is in a comfortable emotional state or joyful state. When the occupant changes from a comfortable state or an emotional state such as joy to an unpleasant state or an emotional state such as anger, the amount of change α in the passenger's emotional level becomes smaller than 1. Conversely, when the occupant changes from an uncomfortable state or an emotional state such as anger to a comfortable state or an emotional state such as joy, the amount of change α in the passenger's emotional level becomes greater than 1.

この乗員感情レベルの変化量αを用いて、保持期間T(時間)を、
T=1/(α×k)
と定めるようにする。ここで、kは比例定数であり、レコーダーの設置環境、個人による調整などにより任意に設定できる。乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったとき、乗員感情レベルの変化量αは1より小さくなるので、保持期間Tはαに反比例して長くなる。また、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったとき、乗員感情レベルの変化量αは1より大きくなるので、保持期間Tは短くなる。
Using this amount of change α in the passenger emotion level, the retention period T (time) is
T=1/(α×k)
shall be stipulated as follows. Here, k is a proportionality constant, and can be arbitrarily set depending on the installation environment of the recorder, individual adjustment, etc. When the passenger changes from a comfortable state or an emotional state such as joy to an emotional state such as discomfort or anger, the amount of change α in the passenger emotional level becomes smaller than 1, so the retention period T is inversely proportional to α. become longer. Furthermore, when the occupant changes from an uncomfortable state or an emotional state such as anger to a comfortable state or an emotional state such as joy, the amount of change α in the occupant emotional level becomes greater than 1, so the holding period T becomes shorter.

乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったときに、その変化が大きい場合に映像データに削除禁止フラグを付加するようにしてもよい。この場合、変化量αが所定の閾値Nよりも小さい場合に、映像データに削除禁止フラグを付加する。例えば、乗員感情レベルを5段階で判定している場合に、閾値Nを0.3などと定め、α<0.3となる場合に映像データに削除禁止フラグを付加する。 When the occupant changes from a comfortable state or an emotional state such as joy to an emotional state such as discomfort or anger, a deletion prohibition flag may be added to the video data if the change is large. In this case, if the amount of change α is smaller than a predetermined threshold N, a deletion prohibition flag is added to the video data. For example, when the passenger emotional level is determined in five stages, the threshold value N is set to 0.3, etc., and a deletion prohibition flag is added to the video data when α<0.3.

図6は、実施形態2に係る記録制御装置50の保持期間の決定処理の手順を示すフローチャートである。記録制御装置50の記録処理部53は、乗員感情判定部52から現在の乗員感情レベルs(t)および過去の乗員感情レベルs(t-1)を取得し(S11)、変化量α=s(t)/s(t-1)を算出する(S12)。記録処理部53は、変化量αが所定の閾値Nより小さいか否かを判定する(S13)。 FIG. 6 is a flowchart showing the procedure of the retention period determination process of the recording control device 50 according to the second embodiment. The recording processing unit 53 of the recording control device 50 acquires the current occupant emotion level s(t) and the past occupant emotion level s(t-1) from the occupant emotion determination unit 52 (S11), and calculates the amount of change α=s. (t)/s(t-1) is calculated (S12). The recording processing unit 53 determines whether the amount of change α is smaller than a predetermined threshold N (S13).

記録処理部53は、変化量αが所定の閾値Nより小さい場合(S13:YES)、映像データに対して削除禁止フラグを付加し(S14)、処理を終了する。記録処理部53は、ステップS13において否と判定された場合(S13:NO)、保持期間T=1/(α×k)を算出し(S15)、処理を終了する。 If the amount of change α is smaller than the predetermined threshold N (S13: YES), the recording processing unit 53 adds a deletion prohibition flag to the video data (S14) and ends the process. When the recording processing unit 53 determines no in step S13 (S13: NO), the recording processing unit 53 calculates the retention period T=1/(α×k) (S15), and ends the process.

記録制御装置50は、乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になったときに、乗員感情レベルの変化量αに応じて、保持期間Tを長くして、映像データを長く記録部20に残すことができる。また、記録制御装置50は、乗員が不快な状態や怒りなどの感情状態から、快適な状態や喜びなどの感情状態になったときに、乗員感情レベルの変化量αに応じて、保持期間Tを短くして、映像データが速く削除されるようにすることができる。 The recording control device 50 lengthens the retention period T in accordance with the amount of change α in the occupant's emotional level when the occupant changes from a comfortable state or an emotional state such as joy to an unpleasant state or an emotional state such as anger. Thus, the video data can be left in the recording section 20 for a long time. Furthermore, when the occupant changes from an uncomfortable state or an emotional state such as anger to a comfortable state or an emotional state such as joy, the recording control device 50 controls the retention period T according to the amount of change α in the occupant emotional level. can be shortened so that video data is deleted faster.

(変形例)
上述の実施形態1および2において、記録制御装置50は、乗員感情レベルの変化が大きい場合に直前に記録した映像データの保持期間を長くなる方向に変更するようにしてもよい。とくに、乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態になり、そのときの乗員感情レベルが大きく変化した場合に直前に記録した映像データの保持期間を長くなる方向に変更する。
(Modified example)
In the first and second embodiments described above, the recording control device 50 may change the retention period of the video data recorded immediately before to become longer when the change in the occupant emotional level is large. In particular, if the occupant changes from a comfortable state or an emotional state such as joy to an emotional state such as discomfort or anger, and the passenger's emotional level changes significantly at that time, the retention period of the last recorded video data may be extended. change in the direction of

乗員が快適な状態や喜びなどの感情状態から、不快な状態や怒りなどの感情状態に大きく変化した場合に、車両の周囲に危険や事故等の乗員を不快にさせる要因が発生した可能性が高い。しかしながら、このような場合には、乗員感情レベルが大きく変化する前の乗員感情レベルは小さいため、直前の映像データの保持期間Tは短く決定されている。この映像データの保持期間を長くなる方向に変更することで、直前の映像データを含めて、映像データを長く記録部20に保持することができる。記録制御装置50は、乗員感情レベルが大きく変化した場合に直前に記録した映像データに削除禁止フラグを付加するようにしてもよい。保持期間を長くなる方向に変更する場合には、乗員感情レベルが大きく変化した直後の映像データの保持期間Tと同じ保持期間とすることが好ましい。 If the occupant's emotional state changes significantly from being comfortable or happy to being uncomfortable or angry, there is a possibility that there is danger, an accident, or other factor that makes the occupant uncomfortable around the vehicle. expensive. However, in such a case, since the passenger emotional level is small before the passenger emotional level changes significantly, the retention period T of the immediately preceding video data is determined to be short. By changing the retention period of this video data in the direction of increasing the length, video data including the immediately preceding video data can be retained in the recording unit 20 for a longer period of time. The recording control device 50 may add a deletion prohibition flag to the immediately previous recorded video data when the passenger emotional level changes significantly. When changing the retention period in the direction of increasing the retention period, it is preferable to set the retention period to be the same as the retention period T of the video data immediately after the occupant emotional level changes significantly.

上述の実施形態において、乗員感情レベルを5段階による多段階で判定する例を示したが、乗員感情レベルの判定は、0~100や、-5~5などの任意の多段階を定めて判定してもよい。また、保持期間を30分、4時間、12時間、・・・などとする例を示したが、記録制御装置50は、長短を有する保持期間を任意に定めることができる。また、記録制御装置50は、快適な状態や喜びなどの感情状態が最も高く、例えば上述の例では乗員感情レベルが5のとき保持期間を0分として、映像データを記録部20に記録しないようにしてもよい。 In the above-described embodiment, an example was shown in which the passenger emotion level is determined in multiple stages of five stages, but the determination of the passenger emotion level may be determined by setting arbitrary multiple stages such as 0 to 100 or -5 to 5. You may. Further, although examples have been shown in which the retention period is 30 minutes, 4 hours, 12 hours, etc., the recording control device 50 can arbitrarily determine the retention period, which can be long or short. Further, the recording control device 50 sets the retention period to 0 minutes when the emotional state such as a comfortable state or joy is the highest, and for example, in the above example, the passenger emotional level is 5, so that the video data is not recorded in the recording unit 20. You can also do this.

また上述の実施形態においては、乗員の感情として、快適な状態、不快な状態、喜びおよび怒りの感情状態に基づいて説明したが、これらの感情状態に限らず、悲しみ、驚き、焦燥、呆れなど様々な乗員の感情状態を推定して本装置に用いることができる。また、撮像部10は、車両の外部だけでなく車室内を撮像するものであってもよく、記録部20に車室内を撮像した映像データを記録するようにしてもよい。 Furthermore, in the above embodiment, the occupant's emotions are described based on the emotional states of comfortable state, unpleasant state, joy, and anger, but are not limited to these emotional states, such as sadness, surprise, impatience, and dismay. The emotional states of various occupants can be estimated and used in this device. Further, the imaging unit 10 may be configured to image not only the exterior of the vehicle but also the interior of the vehicle, and the recording unit 20 may record video data of the interior of the vehicle.

次に、上述の実施形態および変形例に係る記録制御装置50、記録制御方法および記録制御プログラムの特徴を説明する。
実施形態および変形例に係る記録制御装置50は、映像データ取得部51、乗員感情判定部52および記録処理部53を備える。映像データ取得部51は、車両周囲の映像を撮影した映像データを取得する。乗員感情判定部52は、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理部53は、乗員感情判定部52により判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。これにより、記録制御装置50は、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、記録制御装置50は、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。また、記録処理部53は、乗員感情判定部52により判定した乗員感情レベルに基づいて、映像データの区切りを決定して映像データを記録部に記録させる。これにより、記録制御装置50は、乗員感情レベルに応じて映像データの区切り位置を定めることができる。
Next, features of the recording control device 50, recording control method, and recording control program according to the above-described embodiment and modification will be explained.
The recording control device 50 according to the embodiment and the modification includes a video data acquisition section 51, an occupant emotion determination section 52, and a recording processing section 53. The video data acquisition unit 51 acquires video data obtained by capturing images of the surroundings of the vehicle. The occupant emotion determination unit 52 estimates the occupant's emotion based on information from the biosensor 30 that detects biometric information of the occupant in the vehicle interior, and determines the occupant's emotional level. The recording processing unit 53 determines the retention period of the video data based on the passenger emotion level determined by the passenger emotion determination unit 52, and causes the recording unit 20 to record the video data. Thereby, the recording control device 50 can determine the retention period of video data according to the passenger emotional level. For example, the recording control device 50 can leave video data in the recording unit 20 for a long time when an occupant of the vehicle is in an uncomfortable state or an emotional state such as anger, assuming that an accident or other abnormality may occur around the vehicle. . Furthermore, the recording processing unit 53 determines the delimiter of the video data based on the passenger emotion level determined by the passenger emotion determination unit 52, and causes the recording unit to record the video data. Thereby, the recording control device 50 can determine the division positions of the video data according to the passenger emotional level.

また乗員感情判定部52は、推定した乗員感情の履歴に基づいて、乗員感情レベルを判定する基準を変更する。これにより、記録制御装置50は、乗員の性質に応じて乗員感情レベルを多段階に評価することができる。 Further, the occupant emotion determination unit 52 changes the criteria for determining the occupant emotion level based on the estimated history of the occupant emotion. Thereby, the recording control device 50 can evaluate the occupant emotional level in multiple stages according to the characteristics of the occupant.

また記録処理部53は、乗員感情判定部52により判定した乗員感情レベルの変化が大きいときに、直前に記録した映像データの保持期間を変更する。これにより、記録制御装置50は、例えば車両の周囲に危険や事故等の乗員を不快にさせる要因が発生した可能性が高い場合に、直前の映像データを含めて記録部20での保持期間を長くなる方向に変更することができる。 Further, the recording processing unit 53 changes the retention period of the video data recorded immediately before when the change in the occupant emotion level determined by the occupant emotion determining unit 52 is large. As a result, the recording control device 50 adjusts the retention period in the recording unit 20 including the immediately preceding video data, for example, when there is a high possibility that there is a danger, accident, or other factor that makes the occupants uncomfortable around the vehicle. It can be changed in the direction of increasing length.

また記録処理部53は、保持期間に基づいて、映像データを記録部20から削除するタイミングを決定する。これにより、記録制御装置50は、記録容量に限りのある記録部20において、記録する空き領域を確保し、新たな映像データを記録することができる。
また乗員には運転者および同乗者が含まれており、乗員感情判定部52は、運転者および同乗者についてそれぞれの乗員感情レベルを判定し、運転者の乗員感情レベルと、同乗者の生体情報を用いて重み付けをした同乗者の乗員感情レベルとにより総合的な乗員感情レベルを判定する。これにより、記録制御装置50は、運転者および同乗者についての総合的な乗員感情レベルによって、映像データの保持期間を定めることができる。
Furthermore, the recording processing unit 53 determines the timing to delete the video data from the recording unit 20 based on the retention period. Thereby, the recording control device 50 can secure an empty area for recording in the recording unit 20, which has a limited recording capacity, and can record new video data.
Further, the occupants include the driver and the fellow passenger, and the occupant emotion determination unit 52 determines the occupant emotion level of the driver and the fellow passenger, and determines the occupant emotion level of the driver and the biological information of the fellow passenger. The overall passenger emotional level is determined based on the passenger emotional level of the fellow passenger weighted using the method. Thereby, the recording control device 50 can determine the retention period of video data based on the overall emotional level of the driver and fellow passengers.

実施形態および変形例に係る記録制御方法は、映像データ取得ステップ、乗員感情判定ステップおよび記録処理ステップを備える。映像データ取得ステップは、車両周囲の映像を撮影した映像データを取得する。乗員感情判定ステップは、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理ステップは、乗員感情判定ステップにより判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。この記録制御方法によって、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。 The recording control method according to the embodiment and the modification includes a video data acquisition step, an occupant emotion determination step, and a recording processing step. The image data acquisition step acquires image data obtained by capturing an image of the surroundings of the vehicle. The occupant emotion determination step estimates the occupant's emotion based on information from the biosensor 30 that detects biometric information of the occupant in the vehicle interior, and determines the occupant's emotional level. The recording processing step determines a retention period for the video data based on the passenger emotion level determined in the passenger emotion determination step, and causes the recording unit 20 to record the video data. With this recording control method, the retention period of video data can be determined according to the emotional level of the occupant. For example, when an occupant of a vehicle is in an uncomfortable state or an emotional state such as anger, video data can be retained in the recording unit 20 for a long time considering that an accident or other abnormality may occur around the vehicle.

実施形態および変形例に係る記録制御プログラムは、映像データ取得ステップ、乗員感情判定ステップおよび記録処理ステップをコンピュータに実行させる。映像データ取得ステップは、車両周囲の映像を撮影した映像データを取得する。乗員感情判定ステップは、車室内の乗員の生体情報を検出する生体センサ30からの情報に基づいて乗員の感情を推定し、乗員感情レベルを判定する。記録処理ステップは、乗員感情判定ステップにより判定した乗員感情レベルに基づいて、映像データの保持期間を決定して映像データを記録部20に記録させる。この記録制御プログラムによって、乗員感情レベルに応じて映像データの保持期間を定めることができる。例えば、車両の乗員が不快な状態や怒りなどの感情状態にある場合に、車両の周囲における事故など異変が起こり得るとして、映像データを長く記録部20に残すことができる。 The recording control program according to the embodiment and the modification causes the computer to execute a video data acquisition step, an occupant emotion determination step, and a recording processing step. The image data acquisition step acquires image data obtained by capturing an image of the surroundings of the vehicle. The occupant emotion determination step estimates the occupant's emotion based on information from the biosensor 30 that detects biometric information of the occupant in the vehicle interior, and determines the occupant's emotional level. The recording processing step determines a retention period for the video data based on the passenger emotion level determined in the passenger emotion determination step, and causes the recording unit 20 to record the video data. This recording control program allows the retention period of video data to be determined according to the emotional level of the occupant. For example, when an occupant of a vehicle is in an uncomfortable state or an emotional state such as anger, video data can be retained in the recording unit 20 for a long time considering that an accident or other abnormality may occur around the vehicle.

以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。 The above description has been based on the embodiments of the present invention. Those skilled in the art will understand that these embodiments are illustrative and that various modifications and changes are possible and within the scope of the claims of the present invention. It is about to be done. Accordingly, the description and drawings herein are to be regarded in an illustrative rather than a restrictive sense.

20 記録部
30 生体センサ
50 記録制御装置
51 映像データ取得部
52 乗員感情判定部
53 記録処理部
20 Recording unit 30 Biosensor 50 Recording control device 51 Video data acquisition unit 52 Occupant emotion determination unit 53 Recording processing unit

Claims (2)

車両周囲の映像を撮影した映像データを取得する映像データ取得部と、
車室内の乗員の生体情報を検出する生体センサからの情報に基づいて前記乗員の感情を推定し、乗員感情レベルを判定する乗員感情判定部と、
前記乗員感情レベルが変化した場合、前記映像データの区切り位置を決定して、前記区切り位置で区切られた時間長さとなる前記映像データを記録部に記録させる記録処理部と、
を備え
前記記録処理部は、前記乗員感情レベルに基づいて、前記映像データの保持期間を決定して前記映像データを記録部に記録させる、
ことを特徴とする記録制御装置。
a video data acquisition unit that acquires video data obtained by capturing images of the surroundings of the vehicle;
an occupant emotion determination unit that estimates the emotion of the occupant based on information from a biosensor that detects biometric information of the occupant in the vehicle interior, and determines the occupant emotion level;
a recording processing unit that determines a division position of the video data when the passenger emotion level changes, and causes a recording unit to record the video data having a time length divided at the division position;
Equipped with
The recording processing unit determines a retention period of the video data based on the occupant emotional level and causes the recording unit to record the video data.
A recording control device characterized by:
コンピュータが、
車両周囲の映像を撮影した映像データを取得するステップと、
車室内の乗員の生体情報を検出する生体センサからの情報に基づいて前記乗員の感情を推定し、乗員感情レベルを判定するステップと、
前記乗員感情レベルが変化した場合、前記映像データの区切り位置を決定して、前記区切り位置で区切られた時間長さとなる前記映像データを記録部に記録させると共に、前記乗員感情レベルに基づいて、前記映像データの保持期間を決定するステップと、
を実行する
ことを特徴とする記録制御方法。
The computer is
a step of acquiring video data of a video of the surroundings of the vehicle;
estimating the emotion of the occupant based on information from a biosensor that detects biometric information of the occupant in the vehicle interior, and determining the occupant's emotional level;
When the passenger emotion level changes, determining a division position of the video data, causing the recording unit to record the video data having a time length divided by the division position , and based on the passenger emotion level, determining a retention period of the video data ;
A recording control method characterized by performing the following.
JP2022118595A 2018-07-20 2022-07-26 Recording control device and recording control method Active JP7418699B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022118595A JP7418699B2 (en) 2018-07-20 2022-07-26 Recording control device and recording control method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018136497A JP7124510B2 (en) 2018-07-20 2018-07-20 Recording control device, recording control method and recording control program
JP2022118595A JP7418699B2 (en) 2018-07-20 2022-07-26 Recording control device and recording control method

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2018136497A Division JP7124510B2 (en) 2018-07-20 2018-07-20 Recording control device, recording control method and recording control program

Publications (2)

Publication Number Publication Date
JP2022145725A JP2022145725A (en) 2022-10-04
JP7418699B2 true JP7418699B2 (en) 2024-01-22

Family

ID=69169897

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2018136497A Active JP7124510B2 (en) 2018-07-20 2018-07-20 Recording control device, recording control method and recording control program
JP2022118595A Active JP7418699B2 (en) 2018-07-20 2022-07-26 Recording control device and recording control method

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2018136497A Active JP7124510B2 (en) 2018-07-20 2018-07-20 Recording control device, recording control method and recording control program

Country Status (1)

Country Link
JP (2) JP7124510B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022041259A (en) * 2020-08-31 2022-03-11 株式会社Jvcケンウッド In-vehicle recording control device, recording control method, and program
JP7484802B2 (en) 2021-04-14 2024-05-16 トヨタ自動車株式会社 Information processing device, program, and information processing method

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123057A1 (en) 2016-12-28 2018-07-05 本田技研工業株式会社 Information providing system

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017136922A (en) 2016-02-02 2017-08-10 富士通テン株式会社 Vehicle control device, on-vehicle device controller, map information generation device, vehicle control method, and on-vehicle device control method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018123057A1 (en) 2016-12-28 2018-07-05 本田技研工業株式会社 Information providing system

Also Published As

Publication number Publication date
JP7124510B2 (en) 2022-08-24
JP2022145725A (en) 2022-10-04
JP2020013438A (en) 2020-01-23

Similar Documents

Publication Publication Date Title
JP7418699B2 (en) Recording control device and recording control method
JP5344339B2 (en) Drive recorder
CN109427114B (en) Information processing method, information processing apparatus, and recording medium
CN110147160B (en) Information providing apparatus and information providing method
US9408562B2 (en) Pet medical checkup device, pet medical checkup method, and non-transitory computer readable recording medium storing program
US11697420B2 (en) Method and device for evaluating a degree of fatigue of a vehicle occupant in a vehicle
US20180326814A1 (en) Enhanced climate control
JP2017045396A (en) Image recorder and image recording method
JP7575155B2 (en) Driving assistance device, driving assistance method, and program
US11260874B2 (en) Driver assistance device that can be mounted on a vehicle
JP7294509B2 (en) Recording control device and recording control method
JP2007011815A (en) Driving recorder
JP2011146860A (en) Image reproducing device, and image recording/reproducing device
JP2010178259A (en) Digital camera
JP7359084B2 (en) Emotion estimation device, emotion estimation method and program
JP2020103704A (en) Information processing device and program
US20080062184A1 (en) Image-capturing apparatus
JP2020194206A (en) Learning method, driving support method, learning program, driving support program, learning device, driving support system, and learning system
JP4635742B2 (en) Imaging apparatus and imaging program
JP5914135B2 (en) Drive recorder
CN114788255B (en) Recording control device, recording control method and storage medium
EP3644136A1 (en) Method for broadcasting by a watch of an information message relating to an evaluation of the quality of sleep of a wearer of said watch
JP2019153938A (en) Image processing apparatus, image processing method, and program
JP6926786B2 (en) Image recording device, image recording method and image recording program
US12065152B2 (en) Drive assist system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230620

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230725

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231011

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20231025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20231205

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20231218

R150 Certificate of patent or registration of utility model

Ref document number: 7418699

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150