WO2018180330A1

WO2018180330A1 - 感情推定装置

Info

Publication number: WO2018180330A1
Application number: PCT/JP2018/008943
Authority: WO
Inventors: 佐藤　寧
Original assignee: 国立大学法人九州工業大学
Priority date: 2017-03-28
Filing date: 2018-03-08
Publication date: 2018-10-04
Also published as: EP3603514A4; US10803335B2; CN110520048A; JP6842214B2; JPWO2018180330A1; EP3603514A1; US20200250446A1

Abstract

非接触の脈拍検出技術を用いて、測定対象者の感情や精神状態を精緻に推定することが可能な、感情推定装置を提供する。感情推定装置は、心拍信号をデジタル化したデジタル生体データに対し、ＲＲ間隔で１周期分のデータを抜き出した後、強制的にリサンプル処理を行い、ＤＣＴ変換処理部によって高調波成分の係数を得る。それら高調波成分の係数に対し、ＬＰＦにてＡＣ成分を除去して、係数データ列を得る。この係数データ列を感情または心理状態を示す特徴量である辞書データ群と比較して、類似度を算出することで、被験者の心拍信号から、被験者の感情又は心理状態を推定する。

Description

感情推定装置

　本発明は、脈拍信号から人の感情を推定する、感情推定装置に関する。

　多くの事業者や技術者によって、自動車を運転する運転手の疲労状態を検出し、危険状態を早期に推定して運転手に警報を発する、居眠り運転防止システムの開発が進められている。

　特許文献１には、搭乗者の表情と脈拍から、搭乗者の感情を推定する、車両用乗員感情対応制御装置が開示されている。
　特許文献２には、脈拍を非接触で検出する生体信号検出装置が開示されている。

特許６０８３４４１号公報特開２０１６－１５９０８１号公報

　脈拍から疲労を検出する技術は既知である。
　人の脈拍はおよそ１Ｈｚ程度だが、０．１～０．３Ｈｚ程度の揺らぎを有する。人の脈拍をフーリエ変換すると、この揺らぎ成分を抽出することができる。
　０．３Ｈｚの揺らぎ成分は、人の呼吸に起因することが知られている。人が酸素を吸入すると、その酸素の量の増加によって、心臓の脈拍の速度が僅かに早くなる。
　０．１Ｈｚの揺らぎ成分は、人の血圧に起因することが知られている。
　０．３Ｈｚの揺らぎ成分と、０．１Ｈｚの揺らぎ成分の大小関係を解析すると、人の疲労の度合いや緊張状態を知ることができることが知られている。

　しかし、この揺らぎ成分の大小関係を取得するには、その前提として脈拍信号の正確な取得が必要である。
　肌に密着した電極を用いる心電波形であれば、比較的正確な波形が得られるが、電波や光等の媒体を用いた脈拍取得の場合、ピークの時間軸上における位置（位相）が容易にずれる。すると、このピークのずれが揺らぎ成分に対する大きなノイズとなり、正確な揺らぎ成分の取得が困難になる。
　このため、このような従来技術にて構成された疲労度計測機器等は、その測定結果の信頼性が低かった。つまり、電波を用いる脈拍検出技術を用いた疲労度検出の信頼性は低く、従来技術をそのまま採用するだけでは、測定対象者に対する精緻な感情の推定、ひいては居眠り運転防止システムを実現することができなかった。

　本発明はかかる課題に鑑みてなされたものであり、本発明の目的は、非接触の脈拍検出技術を用いて、測定対象者の感情や精神状態を精緻に推定することが可能な、感情推定装置を提供することにある。

　上記課題を解決するために、本発明の感情推定装置は、心拍信号をデジタルデータに変換したデジタル生体データから、ＲＲ間隔を基準とする１周期分のデータを抜粋し、予め定められたサンプル数に変換するリサンプル処理部と、リサンプル処理部によってサンプル数を固定化された正規化デジタル生体データに離散コサイン変換を施すＤＣＴ変換処理部と、ＤＣＴ変換処理部が出力する係数データ列について係数データ毎に交流成分を低減する低域通過フィルタ群と、低域通過フィルタ群から得られる係数データ列を、感情又は心理状態毎に作成された辞書データの集合体である辞書データ群と比較して、最も類似する感情又は心理状態を推定する推定処理部とを具備する。

　本発明によれば、非接触の脈拍検出技術を用いて、測定対象者の感情や精神状態を精緻に推定することが可能な、感情推定装置を提供することができる。
　上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

本発明の実施形態に係る感情推定装置の外観図である。感情推定装置のハードウェア構成を示すブロック図である。感情推定装置のソフトウェア機能を示すブロック図である。ある被験者が遊園地のお化け屋敷を体験した際の、心拍数、そして心拍の各高調波成分の変化を示すグラフである。別の被験者が遊園地のフリーフォールを体験した際の、心拍数、そして心拍の各高調波成分の変化を示すグラフである。

　［感情推定装置：概要］
　発明者は、脈拍の波形から揺らぎ成分を取得する、という従来の手法を捨て去り、正規化した脈拍波形から高調波成分を取得することを着想した。
　実際の人間の脈拍の波形には、Ｒ波が発生する心室の収縮の直前及び直後に、細かい微振動波形が続く。これらの振動波形にはＰ、Ｑ、Ｓ、Ｔ等の名称が付されている。
　そこで、これらの微振動波形を含めて周波数解析を行うと、ＲＲ間隔を基本波とする高調波成分が観察できる。
　この高調波成分を継続的に観察すると、人がびっくりした時や、心地いい状態、緊張した時等で、高調波成分の比率が有意に変化することが判った。
　例えば、何らかのゲームで嘘を指摘される、あるいは遊園地のジェットコースターやお化け屋敷等のアトラクション等のシチュエーションにおいて、心臓の鼓動が「ドキッ」と高鳴ることがある。この「ドキッ」という鼓動の高鳴りは、心拍の高調波成分に現れる。
　そこで、心拍の高調波成分を取得し、その成分の比率を感情や状態で分類し、解析することで、人の感情や心理状態を、脳波を使わずに推定することが可能になる。

　［感情推定装置：概略図及び外観図］
　図１Ａは、乗用車に搭載した感情推定装置１０１の概略図である。
　生体信号検出装置１０２は、アンテナ１０３から運転者１０４に電波を照射し、その反射波を受信する。そして、放射波と反射波を用いて所定の信号処理を施すことで、運転者１０４の脈拍信号を検出する。この生体信号検出装置１０２の技術は、本発明者によって、既に提案されている（特許文献２参照）。
　感情推定装置１０１は、生体信号検出装置１０２から生体信号を受信すると、内部で後述するＡ／Ｄ変換とデータ処理を行い、運転者１０４の感情や心理状態を推定する。
　感情推定装置１０１が出力する感情推定結果情報は、感情推定装置１０１と同様に乗用車に車載される図示しない居眠り運転防止システムに送信され、他の情報と総合して、運転者１０４の状態を総合的に判定する。居眠り運転防止システムは、必要であると判断した際には、運転者１０４に対し警報を発する等の対策を実施する。

　図１Ｂは、腕時計の形態を有する脈拍測定装置１１１の一例を示す外観図である。
　図１Ｃは、腕時計の形態を有する脈拍測定装置１１１の裏側を示す外観図である。
　近年、腕時計型の脈拍測定装置１１１が市場に普及している。これは、腕時計の形態の本体部１１２の裏側に、緑色の光を発するＬＥＤ１１３と受光素子１１４を設け、血流によって生じる受光強度の変化を、脈拍信号として検出するものである。耳たぶに装着するパルスオキシメータと同様の動作原理である。すなわち、脈拍測定装置１１１は生体信号検出装置の一種である。したがって、この腕時計型の脈拍測定装置１１１に、本発明の実施形態に係る感情推定装置１０１を組み込むことも可能である。

　［感情推定装置１０１：ハードウェア構成］
　図２は、感情推定装置１０１のハードウェア構成を示すブロック図である。
　ワンボードマイコン等の計算機よりなる感情推定装置１０１は、バス２０１に接続された、ＣＰＵ２０２、ＲＯＭ２０３、ＲＡＭ２０４、不揮発性ストレージ２０５を備える。不揮発性ストレージ２０５としては、例えばフラッシュメモリが用いられる。このフラッシュメモリは、ＲＯＭ２０３に兼用することも可能である。
　バス２０１には更に、Ａ／Ｄ変換器２０６を通じて生体信号検出装置１０２が接続されている。すなわち、生体信号検出装置１０２が出力するアナログ生体信号は、Ａ／Ｄ変換器２０６によってデジタル生体データに変換される。但し、アナログ生体信号をデジタル化したデジタル生体データが、生体信号検出装置１０２から直接出力される場合は、Ａ／Ｄ変換器２０６は不要となる。

　なお、感情推定装置１０１の形態によっては、表示部２０７や操作部２０８をバス２０１に接続して、使用者に感情または心理状態の推定結果を提示することも可能である。
　このように、感情推定装置１０１は一般的なマイコンで実現することができる。感情推定装置１０１の実体は、プログラムにて提供される情報処理機能である。したがって、生体信号検出装置１０２の一部を構成するマイコンのソフトウェアに、感情推定装置１０１のプログラム機能を同梱して、生体信号検出装置１０２と一体的に構成することも可能である。

　［感情推定装置１０１：ソフトウェア機能］
　図３は、感情推定装置１０１のソフトウェア機能を示すブロック図である。
　生体信号検出装置１０２が出力するアナログ生体信号は、Ａ／Ｄ変換器２０６によってデジタル生体データに変換される。デジタル生体データは、生体データバッファ３０１に一旦記憶される。生体データバッファ３０１は、最低２周期以上のデジタル生体データを格納する記憶容量を有する。
　同期検出部３０２は、生体データバッファ３０１に記憶されているデジタル生体データを読み込み、デジタル生体データ、すなわち脈拍データのピークであるＲ波を検出する。そして、心拍の１周期を示すＲＲ間隔を検出する。

　同期検出部３０２が検出したＲＲ間隔情報は、リサンプル処理部３０３に入力される。リサンプル処理部３０３は、ＲＲ間隔情報と生体データバッファ３０１を読み込み、１周期のデジタル生体データについて、リサンプル処理と自動ゲイン調整（Auto Gain Control、以下「ＡＧＣ」）３０４による正規化処理を施す。

　人の脈拍の周期は健康状態や活動状態等の要因によってまちまちである。リサンプル処理部３０３は、ばらつきのある１周期のデジタル生体データを、強制的に一定のサンプル数のデータに当てはめて、リサンプルバッファ３０５に書き込む。リサンプルバッファ３０５のサンプル数は、後述するＤＣＴ変換処理部３０６の都合上、２のべき乗が好ましい。例えば２５６サンプル、５１２サンプルあるいは１０２４サンプルである。

　また、生体信号検出装置１０２が出力するアナログ生体信号は、必ずしもその振幅が正規化されているとは限らない。特に、電波を使用する非接触の生体信号検出装置１０２の場合、電波の送受信環境によってアナログ生体信号の振幅が変動する虞がある。そこで、リサンプル処理部３０３の内部にＡＧＣ３０４の機能を備えることで、リサンプルバッファ３０５に記憶されるデータを振幅について正規化し、後述するＤＣＴ変換処理部３０６において正しい高調波成分の強度を得られるようにする。

　リサンプルバッファ３０５に記憶された正規化デジタル生体データは、ＤＣＴ変換処理部３０６に読み込まれる。
　ＤＣＴ変換処理部３０６は、周知の離散コサイン変換を施して、リサンプルバッファ３０５のサンプル数と等しい係数データ列を出力する。
　ところで、高調波成分とは基本波の整数倍の周波数成分である。言い換えれば、基本波の整数倍の周波数成分以外の周波数成分は、高調波成分ではなく、ノイズである。そこで、ＤＣＴ変換処理部３０６が出力する係数データ列について、係数毎に低域通過フィルタ（以下「ＬＰＦ」）を設ける。

　基本波の係数データは０次ＬＰＦ３０７ａに、１次高調波の係数データは１次ＬＰＦ３０７ｂに、２次高調波の係数データは２次ＬＰＦ３０７ｃに、…ｎ次高調波の係数データはｎ次ＬＰＦ３０７ｎに、それぞれ入力される。これ以降、０次ＬＰＦ３０７ａ、１次ＬＰＦ３０７ｂ、２次ＬＰＦ３０７ｃ、…ｎ次ＬＰＦ３０７ｎを総称する場合は、ＬＰＦ群３０７と称する。ＬＰＦ群３０７を構成する個々のＬＰＦ（低域通過フィルタ群）のカットオフ周波数は０．１Ｈｚ程度である。

　こうして、ＬＰＦ群３０７の各ＬＰＦを経て得られた係数データ列３０８は、推定処理部３０９によって、辞書データ群３１０に含まれるどの係数データパターンと最も近いかが推定される。
　辞書データ群３１０は、被測定対象者の様々な感情や心理状態に係る複数の係数データパターンを有する。例えば、高揚感、不快感、恐怖、疲労状態等である。
　係数データ列は、１次元の数列である。同じ要素数を有する１次元の数列同士の類似度を推定するには、例えば残差平方和の算出等が挙げられる。
　推定処理部３０９は、係数データ列３０８を、辞書データ群３１０の係数データパターン毎に類似度を算出し、最も類似度が高い（数列同士の距離が短い）係数データパターンに係る感情や心理状態を、推定結果として出力する。

　［感情推定装置１０１：動作］
　既に説明したように、本発明の実施形態に係る感情推定装置１０１は、心拍の高調波成分を取得して、その特徴を捉える技術が重要な要素技術となっている。そこで、発明者は、如何にして、心拍の高調波成分を高精度に取得するかを考えた。
　前述のように、非接触の心拍検出技術は、ノイズ成分が非常に多い。そもそも、心拍は揺らぎ成分を有し、また生体活動に起因して心拍が早くなったり遅くなったりする。
　しかし、心拍の高調波成分とは、心拍の基本波成分（ＲＲ間隔）の整数倍の周波数である。つまり、基本波成分の整数倍ではない周波数成分は、全てノイズとして捨て去ってよい。揺らぎもノイズであるから、この揺らぎ成分を最初に正規化処理により除去することができる。

　まず、リサンプル処理部３０３によって、複数周期の脈拍信号のＲＲ間隔に同期検出を行う。そして、周期毎に強制的にリサンプリングを行う。どんなに脈拍が早かろうが、遅かろうが、とにかく脈拍周期のサンプル値を強制的に揃えてしまう。すると、全ての脈拍周期のサンプル値の数が揃う。サンプル数は、例えば２５６サンプルとなる。リサンプル処理部３０３で強制的に心拍の周期を揃えることによって、脈拍からノイズとなる揺らぎ成分が除去される。すると、脈拍サンプルに含まれる高調波成分がより明確に現れる。

　次に、ノイズ除去がなされた脈拍サンプルは、ＤＣＴ変換処理部３０６に供給され、ここで離散コサイン変換（ＤＣＴ）がなされる。例えば、２５６サンプルの脈拍サンプルにＤＣＴをかけると、同じサンプル数（２５６個）の係数データ列３０８が得られる。０次は基本波であり、順次、１次は２倍高調波、２次は３倍高調波、…２５５次は２５６倍高調波、というように繋がる。
　リサンプル処理部３０３によって揺らぎ成分が除去されている筈なので、ＤＣＴ変換処理部３０６から出力される高調波成分はＤＣ成分として現れる。つまり、ＤＣ成分でないＡＣ成分はノイズである。そこで、これらの成分に対し、揺らぎ成分の除去を行うためのＬＰＦをかける。こうして、ＬＰＦ群３０７を経由して、脈拍の高調波成分に対応する係数データ列３０８が得られる。以上の処理により、生体信号に含まれる微妙な高調波成分が鮮明に現れる。
　発明者は、この係数データ列３０８を音声のフォルマントになぞらえて、生体フォルマントと呼ぶこととした。

　すなわち、本発明の実施形態に係る感情推定装置１０１は、これまで全く注目されていなかった心拍の高調波成分に着目し、これを抽出する。この高周波成分の抽出過程で、従来技術における検出対象であった心拍の揺らぎ成分は、高調波成分の検出の邪魔になるノイズとして、完全に無視されて、取り除かれる。

　［実験結果］
　図４は、ある被験者が遊園地のお化け屋敷を体験した際の、心拍数、そして心拍の各高調波成分の変化を示すグラフである。横軸は時間であり、縦軸は高調波成分の大きさである。
　図４のグラフ中、お化け屋敷内でお化けに遭遇した時点Ｔ４０１において、被験者の心拍値が急激に上昇する共に、心拍の８次高調波に有意な変化が生じている（波形Ｐ４０２）ことが判る。

　図５は、別の被験者が遊園地のフリーフォールを体験した際の、心拍数、そして心拍の各高調波成分の変化を示すグラフである。
　図５のグラフ中、被験者を載せた乗車部が動き始めると、被験者の心拍の８次高調波が急激に上昇する様子がはっきり判る（時点Ｔ５０１、波形Ｐ５０２）。その後、タワーの頂上へゆっくり上昇するに連れて、被験者の心拍の８次高調波は緩やかに減少していることが判る。これは、最初に乗車部が動き出すと同時に被験者が驚きを感じ、その後乗車部が上昇を続けるに連れて、驚きの感情が減少しているものと考えられる。

　そして、乗車部が下降を開始すると、短時間に急激な感情の変化が生じる（時点Ｔ５０３）。図５では判別し難いが、具体的には、１次高調波、３次高調波及び８次高調波が急激に低下し、２次高調波、４次高調波、５次高調波が急激に増加する。次に、８次高調波が急激に増加している（波形Ｐ５０４）。この増加は被験者が爽快感を感じているものと推測される。

　図４及び図５に示されるように、心拍の高調波成分は、人の感情や心理状態の変動に対し、有意な変化を生じることが判る。そこで、これらのデータを沢山集め、感情毎に分類する。そして、同じ感情や心理状態に係る係数データ列３０８を複数個用意し、この複数個の係数データ列３０８に、例えば最小二乗法等の演算処理を行い、辞書データを作成する。

　推定処理部３０９は、ある係数データ列３０８に対し、辞書データ群３１０に含まれる複数個の辞書データ列同士の距離を演算する。算出した距離の中で最も値が小さい辞書データに係る感情または心理状態が、感情または心理状態の推定結果である。
　この推定処理部３０９は、重回帰分析、主成分分析、ベイズ推定、サポートベクタマシン等、様々な推定アルゴリズムを適用可能である。

　本発明の各実施形態においては、感情推定装置１０１を開示した。
　感情推定装置１０１は、心拍信号をデジタル化したデジタル生体データに対し、ＲＲ間隔で１周期分のデータを抜き出した後、強制的にリサンプル処理を行い、ＤＣＴ変換処理部３０６によって高調波成分の係数を得る。そして、高調波成分の係数に対し、ＬＰＦにてＡＣ成分を除去して、係数データ列３０８を得る。この係数データ列３０８を感情または心理状態を示す特徴量である辞書データ群３１０と比較して、類似度を算出することで、被験者の心拍信号から、被験者の感情又は心理状態を推定する。
　本発明の各実施形態に係る感情推定装置１０１を利用することで、乗用車における運転手のヒヤリハットの検出等を非接触で実現することが可能になる。

　以上、本発明の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
　例えば、上記した実施形態は本発明をわかりやすく説明するために装置及びシステムの構成を詳細かつ具体的に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることは可能であり、更にはある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることも可能である。

　また、上記の各構成、機能、処理部等は、それらの一部又は全部を、例えば集積回路で設計するなどによりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行するためのソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の揮発性あるいは不揮発性のストレージ、または、ＩＣカード、光ディスク等の記録媒体に保持することができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

　１０１…感情推定装置、１０２…生体信号検出装置、１０３…アンテナ、１０４…運転者、１１１…脈拍測定装置、１１２…本体部、１１３…ＬＥＤ、１１４…受光素子、２０１…バス、２０２…ＣＰＵ、２０３…ＲＯＭ、２０４…ＲＡＭ、２０５…不揮発性ストレージ、２０６…Ａ／Ｄ変換器、２０７…表示部、２０８…操作部、３０１…生体データバッファ、３０２…同期検出部、３０３…リサンプル処理部、３０４…ＡＧＣ、３０５…リサンプルバッファ、３０６…ＤＣＴ変換処理部、３０７…ＬＰＦ群、３０８…係数データ列、３０９…推定処理部、３１０…辞書データ群

Claims

　心拍信号をデジタルデータに変換したデジタル生体データから、ＲＲ間隔を基準とする１周期分のデータを抜粋し、予め定められたサンプル数に変換するリサンプル処理部と、
　前記リサンプル処理部によってサンプル数を固定化された正規化デジタル生体データに離散コサイン変換を施すＤＣＴ変換処理部と、
　前記ＤＣＴ変換処理部が出力する係数データ列について係数データ毎に交流成分を低減する低域通過フィルタ群と、
　前記低域通過フィルタ群から得られる前記係数データ列を、感情又は心理状態毎に作成された辞書データの集合体である辞書データ群と比較して、最も類似する感情又は心理状態を推定する推定処理部と
を具備する、感情推定装置。
　前記リサンプル処理部は、前記デジタル生体データから抜粋された前記１周期分のデータについて、Ｒ波のピーク値に基づいて自動ゲイン調整を行う、
請求項１に記載の感情推定装置。