JP5715132B2 - 画像解析に関する方法及びシステム - Google Patents

Description

本発明は、画像解析の方法、画像解析のためのシステム及びコンピュータプログラムに関する。本発明は、遠隔フォトプレチスモグラフ解析を可能にする方法及びシステムにも関する。

米国特許出願公開第２００９／００２７４９３Ａ１号は、攻撃者が目的を達成することを防止するため、公共空間に入り行動を取る人々のリアルタイムでの監視を自動化する方法を開示する。この方法は、視野からカムフラージュされる場所への高解像度ビデオカメラの戦略的な設置を含む。カメラは、記録される映像を監視する中央制御室に陸上線又は無線で接続される。日常的なモニタリングは、大部分が自動的であり、コンピュータ制御される。コンピュータモニタリングは、人々の挙動、表情、通常でない動きなどの解析を含む。疑わしいノイズ、語又はボリュームは、そのサイトでのイベントに集中するよう訓練された人員に警告するため、コンピュータプログラムにアラートを出させる。可能な場合には、心拍速度又は瞳孔拡張といったより複雑な要素の解析が、サブスクリーン上で監視及び表示されることができる。

既知の方法の問題は、疑わしい挙動の解析に使用されるビデオ映像を用いて、心拍速度又は瞳孔拡張を得る方法及び斯かる要素を表すデータを同期化させる方法を開示しない点にある。

画像のシーケンスにおいて表される対象物の活動の比較的信頼性が高い分類を得るために効率的に実現されることができる方法、システム及びコンピュータプログラムを与えることが望ましい。

この目的は、本発明による方法により実現される。この方法は、
画像のシーケンスを得るステップと、
上記画像に表される対象物の状態を分類するためのデータを得るべく、上記画像のシーケンスの少なくとも１つに関し視野ベースの解析（vision-based analysis）を実行するステップと、
上記画像のシーケンスの少なくともいくつかに表される生体の生理的パラメータの少なくとも１つの値を決定するステップであって、上記生理的パラメータの少なくとも１つの値が、上記視野ベースの解析が実行される上記少なくとも１つの画像が撮られる画像の同じシーケンスからの画像データの解析を介して決定される、ステップと、
上記視野ベースの解析で得られるデータ及び上記生理的パラメータの少なくとも１つの値を用いて、上記対象物の状態を分類するステップとを有する。

本書における行動という用語は、生体、例えば人間の表情及び挙動を含む１つ又は複数の行動のセットを表すものとして用いられる。従って、ここでの分類は、例えば「走っている」という行動に、「笑っている」という表情に、又は、「動揺している」又は「疑っている」という挙動に、あるタイプを割り当てることができる。視野ベースの解析は、空間的及び時間空間的な解析の少なくとも１つを含む。

画像において表される対象物の少なくとも１つの行動を分類するためのデータを得るべく、画像のシーケンスの少なくとも１つに関し視野ベースの解析を実行することにより、及び画像のシーケンスの少なくともいくつかで表される生体の生理的パラメータの少なくとも１つの値を決定することにより、人間の行動の自動的な分類に関するデータを得るための２つの比較的独立した方法論が用いられる。各々は、それらの１つだけが適用されるとき結果として生じる曖昧さを解決する。例えば、高い心拍は、走っている又は泳いでいるといった行動を伴う。ランニング及びジョギングは、視野ベースの解析を用いて容易に区別されることができない似たような姿勢を含む。視野ベースの解析が実行される少なくとも１つの画像が撮られる画像の同じシーケンスからの画像データの解析を介して、生理的パラメータの少なくとも１つの値が決定されるので、この方法は比較的効率的である。画像のシーケンスを得る少なくとも１つのカメラに加えて、別のセンサが必要とされることはない。更に、画像の同じシーケンスを使用することから、センサ信号を画像と同期化させる手段も必要とされない。追加的な効果は、生理的パラメータが目立たない態様で決定される点にある。視野ベースの解析のように、測定は非接触で行われる。その結果、この方法は対象者の行動に影響を及ぼさない。追加的な効果は、この方法が、比較的小さい追加的な労力で、１人以上の人（ただし、その人たちは、画像のシーケンスにおいて表されていることを前提とする）の行動を分類するために拡張化されることができる点にある。

ある実施形態において、対象物の状態を分類するステップが、対象物により行われる行動を分類するステップを有する。

これはこの方法の有益な実現である。なぜなら、異なる行動はしばしば、類似する姿勢により特徴づけられる。その結果、人間の行動だけによる視野ベースの画像解析はしばしば、間違った分類結果をもたらすことになる。言い換えると、視野ベースの解析システムはしばしば、異なるタイプの行動、例えばランニング及びジョギングの間を区別することができない。

ある実施形態において、別々の分類器が、上記生理的パラメータの値に基づかれるデータ及び上記視野ベースの解析を実行することにより得られるデータに適用される。

上記生理的パラメータの値に基づかれるデータ及び上記視野ベースの解析を実行することにより得られるデータに関して別々の分類器を提供する効果は、２つのタイプの解析の１つだけを他方なしで使用することが可能である点にある。多くの状態において、２つの方法の１つが曖昧でない結果を与えるという点で、これは計算的により効率的である。これがそうでない場合にのみ、他の分類器に加えて、最終的な結果を生み出す両方の分類器の結果を利用する追加的な分類器が使用される。

別の実施形態において、単一の分類器が、上記生理的パラメータの値に基づかれるデータ及び上記視野ベースの解析を実行することにより得られるデータの組合せに適用される。

これは、生理的パラメータの値と視野ベースの解析を実行することにより得られるデータとの間の相関が分類処理において用いられることができるという効果を持つ。単一の分類器は、組み合わせられたデータセット（即ち、生理的パラメータの値と視野ベースの解析を実行することにより得られるデータの両方）に関してトレーニングされることができる。

ある実施形態において、上記画像のシーケンスの少なくともいくつかに表される生体の生理的パラメータの少なくとも１つの値が、遠隔フォトプレチスモグラフィ解析を用いて得られる。

特に、フォトプレチスモグラフィ解析が、可視周波数範囲において実行される場合、通常のカメラ、例えばＣＣＤ又はＣＭＯＳセンサアレイを有するカメラが画像のシーケンスを得るために用いられることができる。これも有益である。なぜなら、視野ベースの画像解析が一般に、エッジの検出に依存するからである。このエッジは、例えば熱画像には存在することができない。更に、遠隔フォトプレチスモグラフィ解析の基本的な形式を実現するのに、特別な方向を向く光源が必要とされることもない。

ある実施形態は、可視スペクトルの限定されたサブ範囲において光を放出するよう構成される光源を用いて生態の少なくとも一部を照射するステップを含む。

画像センサを用いてリモートで心拍を検出する最良の波長範囲が５００ｎｍ周辺（可視スペクトルの緑の部分）に配置されることが分かっている。従って、この範囲における対象物の反射に関する追加的な光を提供することは、心拍の遠隔測定が実行されるときの信号を最大にすることになる。画像のシーケンスを得るために使用されるカメラのチャネルは、向きを変えることができる光源が光を放出するよう構成される波長範囲に対応する波長範囲にチューニングされることができる。このチャネルのみでの画素データが、測定ゾーンにおける少なくとも複数の関連付けられる画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を得るために用いられることができる。代替的に、このチャネルにおける画素データは、複数のチャネルからの画素データの加重和において過重（overweight）されることができる。他方、視野ベースの画像解析は、向きを変えることができる光源の波長範囲に対応する波長範囲にチューニングされるチャネルがわずかに過小加重（underweight）であるような複数のチャネルからの画素データの重み付けされた組合せを有する画素データに関して実行されることができる。その結果、追加的な照射の効果は少なくされる。

変形例において、遠隔フォトプレチスモグラフィ解析は、
複数の画像点を含む少なくとも１つの測定ゾーンを選択するステップであって、各画像が、上記シーケンス画像の各々における少なくとも１つの関連付けられる画素値を持つ、ステップと、
上記測定ゾーンにおける少なくとも複数の関連付けられる画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を得るステップとを含む。

この変形例は、比較的ノイズが少なく、皮膚反射率における変動を表す比較的強い信号要素を持つ信号が得られるという効果を持つ。この信号要素は、例えば、画像のシーケンスにおいて表される対象物の心拍及び／又は呼吸速度を決定するのに使用することができる。

ある実施形態は、画像のシーケンスにおいて表される選択された対象物の少なくとも一部を追跡するため画像のシーケンスに関し視野ベースの画像解析を実行するステップと、選択された対象物の少なくともの部分を照射する向きを変えることができる光源を制御するステップとを含む。

画像のシーケンスにおいて表される選択された対象物の少なくとも一部を追跡するため画像のシーケンスに関し視野ベースの画像解析を実行するステップ、及び選択された対象物の少なくとも一部を照射する向きを変えることができる光源を制御するステップは、陰影を回避することを可能にする。なぜなら、光源が、測定ゾーンを有する生体の部分に向けられることができるからである。更に、画像のシーケンスにおいて表される複数の生体が存在する場合、それらの少なくとも１つの選択的な照射が、それらの１つだけの生理的パラメータの値を決定するのに使用される信号を提供することに貢献する。

この方法の実施形態は、画像のシーケンスの少なくとも１つを表す画素データの少なくともいくつかを解析することにより、選択された対象物の部分を選択するステップを含む。

この解析は、生理的パラメータの値を決定する解析、挙動のタイプを検出する解析、及び例えば露出した体部分の表情の存在を検出する解析の少なくとも１つとすることができる。この変形例は、完全に自動化されたシステムが、追加的な照射のため適切なターゲットを決定することを可能にする。この場合、例えば遠隔フォトプレチスモグラフィ及び視野ベースの解析を用いて、行動分類が実行される。例えば、異常な心拍を持つ誰か又は特定の種類の挙動を示す誰かが、画像のシーケンスに表されることをシステムが検出し、彼又は彼女の行動を決定するため、この人を追跡することができる。

別の側面によれば、本発明による画像解析に関するシステムが、
画像のシーケンスを得るインタフェースであって、各画像が画素データにより表される、インタフェースと、
上記画像において表される対象物の少なくとも１つの行動を分類するためのデータを得るべく、上記画像のシーケンスの少なくとも１つに関し視野ベースの解析を実行する第１の画像解析システムと、
上記画像のシーケンスの少なくともいくつかに表される生体の生理的パラメータの少なくとも１つの値を決定するシステムであって、上記生理的パラメータの上記少なくとも１つの値を決定するシステムが、上記視野ベースの解析が実行される上記少なくとも１つの画像が撮られる画像の同じシーケンスからの画像データの解析を用いて、上記生理的パラメータの少なくとも１つの値を決定する第２の画像解析システムを有する、上記生理的パラメータの少なくとも１つの値を決定するシステムとを有し、上記画像解析に関するシステムが、上記第１の画像解析システムにより提供されるデータ及び上記生理的パラメータの少なくとも１つの値を用いて、上記対象物の活動を分類するよう構成される。

ある実施形態において、このシステムは、本発明による方法を実行するよう構成される。

本発明の別の側面によれば、機械読み出し可能な媒体に組み込まれるとき、情報処理能力を持つシステムに本発明による方法を実行させることができる命令セットを含むコンピュータプログラムが提供される。

陰影を回避するため光源で人を追跡すること
Verkruysseらによる「Remote photoplethysmographic imaging using ambient light」、Optics Express 16 (26), December 2008, pp. 21434-21445は、源として通常の環境光を用いて、簡単なデジタルの消費者レベルの光学カメラを動画モードにして、フォトプレチスモグラフィ信号が人の顔に関してリモートで測定される方法を開示する。毎秒１５又は３０フレームで、ピクセル分解能が６４０ｘ４８０又は３２０ｘ２４０で記録されるカラー動画が、カメラによりＡＶＩフォーマットでセーブされ、パソコンに転送される。ソフトウェアを用いて、赤、緑及び青チャネルに関する画素値が、各動画フレームに関して読み出され、ＰＶ（ｘ，ｙ，ｔ）のセットを提供する。ここで、ｘ及びｙは水平及び垂直位置であり、ｔはフレームレートに対応する時間である。グラフィックユーザインターフェイスを用いて、関心領域（ＲＯＩ）が静止画において選択され、ｒａｗ信号ＰＶ_ｒａｗ（ｔ）が、ＲＯＩにおけるすべての画素値の平均として計算される。パワー及び位相スペクトルを決定するため、高速フーリエ変換が実行される。

既知の方法の問題は、環境照射がフォトプレチスモグラフィ解析に用いられる領域における陰をもたらす場合がある点にある。これは、信頼性の低い結果をもたらすか又は追加的な画像処理を必要とする。

請求項１３における方法及び請求項１５におけるシステムは、画像に表される個人の脈拍数又は呼吸速度といった生理的パラメータが決定されることができる、比較的強い及びはっきりした要素を持つ、フォトプレチスモグラフィ解析に関する信号を提供する。

本発明の更なる側面によれば、この方法は、
少なくとも１つのカメラから画像のシーケンスを得るステップであって、各画像が、少なくとも波長の限定された範囲における反射された環境光を表す画素データにより表される、ステップと、
少なくとも１つの測定ゾーンに関して、生理的パラメータの少なくとも１つの値を決定するのに使用される上記測定ゾーンにおける少なくとも複数の画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を提供するステップと、
上記画像のシーケンスにおいて表される選択された対象物の少なくとも一部を追跡するステップと、上記選択された対象物の少なくとも一部を照射する向きを変えることができる光源を制御するステップとを有する。

視野ベースの解析は、空間的及び時間空間的解析の少なくとも１つを含む。

少なくとも１つのカメラから画像のシーケンスを得るステップであって、各画像が、少なくとも波長の限定された範囲における反射された環境光を表す画素データにより表される、ステップと、少なくとも１つの測定ゾーンに関して、生理的パラメータの少なくとも１つの値を決定するのに使用される上記測定ゾーンにおける少なくとも複数の画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を提供するステップとにより、この方法は、生体の皮膚の反射率における変動を決定するのに、例えばＣＣＤ又はＣＭＯＳベースのカメラといったカメラの使用を可能にする。従って、この方法は、変調された照射信号を提供する必要もないし、センサからの信号から、反射された変調照射信号だけを分離する必要もない。画像のシーケンスにおいて表される選択された対象物の少なくとも一部を追跡するステップ及び選択された対象物の少なくとも一部を照射する向きを変えることができる光源を制御するステップが、陰影を回避することを可能にする。なぜなら、光源は、関心領域を有する生体の部分に向けられることができるからである。更に、画像のシーケンスにおいて表される複数の生体がある場合、それらの１つの少なくとも一部の選択的な照射が、それらの１つだけの生理的パラメータの値を決定するのに使用される信号を提供することに貢献する。更に、光源は、フォトプレチスモグラフィに特に適したスペクトルの範囲において光を放出するよう構成されることができる。こうしてより強い信号が提供される。

生理的パラメータを決定するため、光の変調されたビームを用いて人を追跡し、光の反射された変調されたビームをキャプチャすることが知られている。この場合、すべての非変調光は、キャプチャされた信号から除去される。従って、環境光が、光のビームに加えて用いられるものではない。このビームの割り込みは、この方法の一時的な故障をもたらすことになる。また、光の反射されたビームをキャプチャするために、特別な感度の良いセンサが一般に用いられる。本発明の方法は、（周期的な）生理的現象を特徴づけるパラメータの値を決定するのに十分強い信号を得るため、カメラ及び画素値の組合せを用いる。

ある実施形態では、向きを変えることができる光源が、光のスペクトルの可視部分の限定されたサブ範囲において光を放出するよう構成される。

皮膚反射率は、特定の周波数に関する血液潅流変化に伴いより強く変化する。カラーの光源を使用することは、皮膚反射率に伴い変化する要素がより強くなるような強度信号を得るための方法を最適化することを可能にする。

変形例において、画像データは、限定されたサブ範囲にチューニングされるチャネルの１つを持つカメラから複数のチャネルにおいて受信される。

こうして、生理的パラメータの少なくとも１つの値を決定するのに使用される測定ゾーンにおける少なくとも複数の画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を提供するステップは、（ｉ）チューニングされたチャネルから画素値だけを用いるステップ、又は（ｉｉ）異なるチャネルからの画素値の重み付けされた組合せとして和を形成するステップの１つを有することができる。ここで、チューニングされたチャネルからの画素値は、過重される。これは、変化する皮膚反射率値を表す強い要素を持つ強度信号を得ることを可能にする。

ある実施形態は、選択された対象物の少なくとも一部を選択するため、画像のシーケンスの少なくとも１つを解析するステップを含む。

この解析は、特定の基準に基づき、少なくとも１つの、しかし全部ではない対象物を選択するため、画像のシーケンスに表されるすべての対象物の生理的パラメータ値を決定する解析とすることができる。この解析は、特定の姿勢、形状又は運動パターンを持つ体又は体部分を特定する視野ベースの解析とすることもできる。この種の解析は、自動化されることができる。その結果、この実施形態は、例えば医療又はセキュリティ目的での自動監視システムに適している。

ある実施形態において、選択された対象物の少なくとも一部を追跡するステップが、画像のシーケンスにおいて選択された対象物の少なくとも一部を表す領域の位置を追うため、画像に関し視野ベースの解析を実行することを含む。

効果は、単一の移動する測定ゾーンが用いられることができる点にある。その結果、画素値の組合せの時間変化する値における少なくとも変動を表す１つの強度信号だけが得られることを必要とする。これは、選択された対象物だけの生理的パラメータの値が決定されることを確実にするため、画像において測定ゾーンのグリッドをオーバレイする必要がない。

ある実施形態において、向きを変えることができる光源は、カメラに対して適切な位置に固定され、向きを変えることができる光源を制御するステップが、カメラの表示方向を変化させるデバイスを制御するステップを含む。

この実施形態の効果は、表示方向を変化させることが、光源により放出される光の方向を変化させる点にある。こうして、ほとんどの光が、カメラの方向に後退反射される。これは、ほとんど陰影がないことを意味し、皮膚反射率における変動を表す比較的強い信号が得られることを意味する。カメラの表示方向は、カメラの支持部に対してカメラの筐体を動かすことにより制御される。ここで、向きを変えることができる光源は、筐体に対して適切な位置に固定される。

別の側面によれば、本発明による遠隔フォトプレチスモグラフィ解析を可能にするシステムが、
少なくとも１つのカメラから画像のシーケンスを得る少なくとも１つのカメラインタフェースであって、各画像が、少なくとも波長の限定された範囲における反射された環境光を表す画素データにより表される、少なくとも１つのカメラインタフェースと、
少なくとも１つの測定ゾーンに関して、生理的パラメータの少なくとも１つの値を決定するのに使用される上記測定ゾーンにおける少なくとも複数の画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を提供するよう構成される、上記画素データを処理するシステムと、
上記画像のシーケンスにおいて表される選択された対象物の少なくとも一部を追跡するシステムと、
上記選択された対象物の少なくとも一部を照射する向きを変えることができる光源を制御するシステムとを有する。

ある実施形態において、このシステムは、本発明による方法を実行するよう構成される。

本発明の別の側面によれば、機械読み出し可能な媒体に組み込まれるとき、情報処理能力を持つシステムに本発明による方法を実行させることができる命令セットを含むコンピュータプログラムが提供される。

画像のシーケンスにおいて表される個人の行動の状態を分類するシステムの概略的なブロック図である。 図１のシステムにより実行される方法の概要を与えるフローチャートである。 図２の方法における分類ステップを詳述するフローチャートである。 図２の方法における分類ステップの代替的な実現を詳述するフローチャートである。 生理的パラメータの値を得るシステムのある実施形態において実行されるステップを示すフローチャートである。 生理的パラメータの値を得るステップの代替的なシーケンスを示すフローチャートである。

本発明が以下、添付の図面を参照してより詳細に説明される。

生体の状態を分類するシステム１が、コンピュータ２、カメラ３及び向きを変えることができる光源４を有する例を介して示される。

コンピュータ２は、それがカメラインタフェース５及び光源４に対するインタフェース６を具備する点を除けば、例えばパーソナルコンピュータといった任意のタイプのコンピュータデバイスとすることができる。こうして、コンピュータ２は、データ処理ユニット７、ワーキングメモリ８及び不揮発性データ記憶デバイス９を有する。少なくとも１つの音声及び可視出力を与える出力デバイス１１に対するインタフェース１０に出力が与えられる。ユーザ入力は、例えばキーボード、タッチスクリーン又はポインタデバイスといったユーザ入力デバイス１３に対するインタフェース１２を介して得られる。カメラインタフェース５は、コンピュータ２が、カメラ３によりキャプチャされる画像のシーケンスを表すデジタルデータを得て、カメラ３に制御信号を送信することを可能にする。光源インタフェース６は、コンピュータ２が光源４を制御することを可能にする。画像は、画素データにより表される。

ある実施形態（図示省略）において、向きを変えることができる光源４は、１つ又は複数のランプに関する筐体と、この筐体に接続される支持部と、この支持部に対してこの筐体を動かす１つ又は複数のアクチュエータとを有するデバイスである。支持部は、光源４をある位置に固定する台又はブラケットとすることができる。コンピュータ２からの制御信号は、アクチュエータを制御する。別の実施形態では、筐体は移動しない。しかし、光源４において生成される光のビームを所望の位置に向ける反射及び／又は屈折光学要素が与えられる。

ある実施形態において、光源４は、カメラ３に対してある位置に固定される。カメラ３は、支持部（例えば台又はブラケット）に対して移動可能である。斯かる実施形態においては、光源４は、カメラ３も向けられるポイントに光のビームを向けるよう構成される。

ある実施形態において、光源４は、電磁スペクトルの可視範囲において光を発する、より詳細には、この範囲のサブ範囲においてだけエネルギーの大部分（例えば７０％、８０％又は更には９０％）を持つ光を発するよう構成される。ある実施形態において、このサブ範囲は人間の観察者により緑として知覚される周波数を含む。これは、即ち４５０〜５７０ｎｍの波長に対応する周波数である。特定の実施形態において、光源４のスペクトルは、４８０〜５２０ｎｍの間の範囲に含まれる最大を持つ。この効果は、カメラ３によりキャプチャされるシーンに存在する生体の心拍をシステム１がより高い精度で決定することが可能である点にある。

カメラ３は、少なくとも電磁スペクトルの可視範囲における画像をキャプチャするよう構成される任意のタイプのデジタルカメラとすることができる。ある実施形態では、カメラが、複数のチャネル、例えば３つのチャネルにおいて画像を与えるよう構成される。チャネルの１つは、光源４が光を発するよう構成されるサブ範囲に対応する可視スペクトルの制限されたサブ範囲へとチューニングされる。このため、カメラ３は、そのチャネルに関する適切な光学フィルタを具備する。当業者には既知であるように、チャネルは、カラー画像を形成するためのモノクロ画像である。チューニングされたチャネルに加えて、例えば、赤及び青のチャネルが存在することができる。

他の全ての点において、カメラ３は、例えばＣＣＤ又はＣＭＯＳ技術に基づかれる従来のデジタルビデオカメラとすることができる。

図２に表されるように、システム１、より詳細にはコンピュータ２は、カメラ３によりキャプチャされるシーンに表される１つ又は複数の生体を選択するよう構成される（ステップ１４）。コンピュータがシーンに表される体部分（例えば、顔又は露出した皮膚を持つ任意の体部分で、オプションで１つ又は複数の基準を満たす）を選択するという点で、選択は黙示的でありえる。ある実施形態において、人間のオペレータは、入力デバイス１３を介して適切なユーザ入力を与えることにより選択を実行する。１つ又は複数の画像のシーケンスが、この処理においてオペレータを誘導するため、出力デバイス１１に表示されることができる。別の実施形態では、コンピュータ２は、個人又は個人の部分を選択するため、画像のシーケンスのうちの少なくとも１つを解析する。例えば、コンピュータ２は、画像セグメント化を実行することができ、それが生体の皮膚表面を表すセグメントであるかどうか、各セグメントについて決定するのに１つ又は複数の分類アルゴリズムを使用する。これは、候補セグメントのセットを与える。１つの変形例において、生体の皮膚表面に対応するよう決定された候補セグメントの１つ又は複数を選択するために、追加的な基準が評価される。別の変形例において、ほとんど均一的な候補セグメントが選択される。更に別の変形例において、生体の部分を表すものとして検出された候補セグメントの１つが、ランダムに選択される。候補セグメントを選択するのに他のタイプの視野ベースの解析が用いられることができる点に留意されたい。

別の実施形態では、移動する対象物に対応する領域を決定するのに、動き検知が用いられる。これは、追跡に関する１つ又は複数の候補領域を再度与える。この１つ又は複数の領域は、ランダムに又は追加的な基準を用いて選択されることができる。

代替的に、コンピュータ２は、生体を特徴づける生理的パラメータの１つ又は複数の値のシーケンスを決定するよう、及び追跡される生体を選択するためにこの値を用いるよう構成されることができる。例えば、特定の範囲に含まれる値の心拍又は呼吸速度を持つ生体が、追跡のために選択されることができる。これらの方法の組合せが可能である。例えば、人間のオペレータが生体の選択を確定することを可能にするため、生理的パラメータの１つ又は複数の値に基づき選択される生体が、スクリーン上で強調されることができる。

一旦生体又は生体の部分が選択されると、この対象物が移動するとき、カメラ３によりキャプチャされる画像において表される選択された対象物の少なくとも一部を照射するよう、向きを変えることができる光源４が制御される（ステップ１５）。同時に、カメラ３によりキャプチャされ、コンピュータ２に渡される画像が、視野ベースの解析及び対象物を特徴づける生理的パラメータの少なくとも１つの値の決定を用いて、対象物の状態を分類するために解析される（ステップ１６）。

既に述べたように、ある実施形態において向きを変えることができる光源を制御するステップ１５は、カメラ３をこれに付けられる光源４と共に動かすステップを含む。その結果、光源４からのビームが一般に、選択された対象物の少なくとも一部上に固定された状態で残る。本実施形態において、対象物の選択された部分は、視野ベースの解析を用いて追跡され、カメラ３は、この部分がカメラ３によりキャプチャされる各画像において一般に同じ位置にとどまることを確実にするよう制御される。

別の実施形態では、光源４及びカメラ３は、異なる位置に配置される。カメラ３及び光源４の環境をモデル化し、コンピュータ２が１つのモデルにおける位置を他のモデルにおける位置にマッピングすることを可能にする式を得るため、較正パターンが用いられる。コンピュータ２は、視野ベースの画像解析を用いて対象物の選択された部分を追跡し、対象物による運動を光源４からのビームを方向付ける命令へと変換する。

更に別の実施形態において、光源４が光を放出するよう構成されるサブ範囲に対応する可視スペクトルの限定されたサブ範囲へとチューニングされる映像信号のチャネルが使用される。本実施形態において、ビームスポットの位置が、画像において、少なくともチューニングされたチャネルにおける画像のフレーム形成要素において追跡されるという点で、閉ループ制御の形式が実現される。追跡される対象物の選択された部分も特定され、ビームスポットが選択された部分の上に横たわるよう光源４が制御される。

画像の選択された部分を追跡するための視野ベースの画像解析は、複数の既知の技術の任意の１つを用いて実行されることができる。例えば、De Haan, G.らによる「True motion estimation with 3D-recursive search block-matching」、IEEE Trans, on Circ. and Syst. from Video Techn., Vol. 3, Oct. 1993, pp. 368-388にて説明される。

ある実施形態において、画像を解析し、行動の状態を分類するステップ１６は、図３に基づき実現される。この実施形態において、コンピュータ２は、画像において表される生体の状態を分類するデータを得るため、カメラ３によりキャプチャされる画像のシーケンスの少なくとも１つに関して、視野ベースの解析を実行する。コンピュータは、同じ源、即ち、カメラ３から画像を用いて、生体の生理的パラメータの少なくとも１つの値を決定する。コンピュータ２は、あるタイプの状態、より詳細には対象物により取られるあるタイプの行動を示す入力及び出力データとして、視野ベースの解析を適用することにより得られるデータと生理的パラメータの値に基づかれるデータとの両方を考慮する分類アルゴリズムを実現する。

図３に示されるように、新しい画像がカメラ３から受信されるとき（ステップ１７）、この方法は継続的に実行される。最近受信された画像から形成されるサブシーケンスが、解析に用いられる。この方法は、新しい画像が受信されるたびではなく、特定の数の画像が受信されるたびに、実行されることもできる。

図示される実施形態において、Niebles, J.C.らによる「Unsupervised learning of human action categories using spatial-temporal words」、Int. J. Comp. Vision, 79 (3), Sept. 2008, pp. 299-318にて説明されるあるタイプの時間空間解析が使用される（ステップ１８）。この方法では、画像のシーケンスは、時空関心点を抽出することにより時空単語の集合として表される。図３の実施形態において、斯かる単語のセットが、第１の特徴ベクトル１９へと組み立てられる（ステップ２０）。

画像が平行ステップ１８において解析される画像の同じシーケンスからの画像を用いて（画像が同一である必要はない。画像の源が同一であり、画像が同じ時間間隔から生じるという同期性があればよい）、強度信号が図５及び６の方法の１つを用いて抽出される（ステップ２１）。この方法は、以下に詳細に述べられる。強度信号は、測定ゾーンにおける少なくとも複数の画像点での画素値の組合せの時間変化する値における少なくとも変動を表す。測定ゾーンは、追跡される領域であって、少なくとも図２の方法において照射される領域に配置される。

人間の皮膚は、少なくとも２つの層を持つ対象物としてモデル化されることができる。１つは、表皮（薄い表面層）であり、もう１つは真皮（表皮の下のより厚い層）である。入力光線の約５％は表皮において反射される。これは、すべての波長及び皮膚カラーにあてはまる。残りの光は、体反射として知られる現象により、２つの皮膚層内で散乱及び吸収される（二色性反射モデルにおいて説明される）。表皮は、光学フィルタのようにふるまい、主に光を吸収する。真皮において、光は、散乱及び吸収される。吸収は、血液組成に依存する。その結果、吸収は血流変動に敏感である。真皮の光学特性は一般に、すべての人間に対して同じである。真皮は、大人の総血管ネットワークの約１０％である、血管の密集したネットワークを含む。これらの血管は、体内の血流に基づき収縮する。それらは結果的に、真皮の構造を変化させる。これは、皮膚層の反射率に影響を与える。結果的に、心拍が、皮膚反射率の変動から決定されることができる。

第２の特徴ベクトル２２を構築するのに、強度信号が用いられる（ステップ２３）。この特徴ベクトル２２は例えば、強度信号を表す値のシーケンス、又は強度信号の優位周波数及びこの優位周波数の値における変化の推定の少なくとも１つに対応する１つ又は複数の値を有することができる。ある実施形態において、この値は、時間における連続点に対応する。ある実施形態において、強度信号のスペクトルの異なるサブ範囲における複数の優位周波数が、特徴ベクトル２２に入られる。こうして、２つ又はこれ以上の周期的な生理的現象を特徴づける値が、生体（人間）の状態を決定するための基礎として用いられる。

すると、第１の特徴ベクトル１９及び第２の特徴ベクトル２２は、分類アルゴリズムへの入力として使用される共同特徴ベクトル２５を形成するために連結される（ステップ２４）。追跡される対象物の状態、特にこの対象物によりとられる行動を決定するため、このアルゴリズムが続いて適用される（ステップ２６）。

ある実施形態において、分類アルゴリズムは、サポートベクトルマシンにより実現される。別の実施形態では、ＡｄａＢｏｏｓｔが分類アルゴリズムとして用いられる。他の任意のタイプの機械学習アルゴリズムが用いられることができる。このアルゴリズムは、ここでは詳細に説明されない処理において、トレーニングビデオ及び人間分類器を用いて、最初にトレーニングされる。図３に示される処理は、ユーザの状態を決定するため、生理的信号と時空的な係数との間の相関を用いることもできる分類器を用いる。

これは、図４に示される代替的な方法に必ずしもあてはまるわけではない。しかしながら、図４の方法は、より高速で、計算的により効率的でありえる。この方法では、例えばNiebles, J.C.らによる「Unsupervised learning of human action categories using spatial-temporal words」、Int. J. Comp. Vision, 79 (3), Sept. 2008, pp. 299-318にて説明される方法を用いて、画像のシーケンスが再び形成され（ステップ２７）、時空的な係数が得られる（ステップ２８）。すると、第１の特徴ベクトル２９が再び構築される（ステップ３０）。

次に、第１の、別々の分類器が、第１の特徴ベクトル２９に適用される（ステップ３１）。この分類器は、少なくとも１つの機械学習アルゴリズムにも基づかれる。特定の場合において、それは、曖昧な結果を得る場合がある。例えば、単に視野ベースの解析を用いるだけでは、画像のシーケンスにおいて表される人がランニングしているか又はジョギングしているかを決定することが比較的困難である。個別の画像における人の姿勢は、いずれの場合も似ていることになる。第１の分類ステップ３１が結果として少なくとも１つの所定のクラスのいずれかを与える場合、これは、特定のクラスに関する不確定度を示し、所定のクラスのサブクラスを決定するため追加的なステップ３２〜３４が実行される。従って、第１の分類ステップ３１が「ランニング又はジョギングしているかのどちらか」という結果を与える場合、２つのクラスのどちらが正確かを決定するため追加的なステップ３２〜３４が実行されることになる。これらの追加的なステップ３２〜３４の第１のステップ３２において、図５及び６に概説される方法の１つを用いて強度信号が抽出される。すると、生理的パラメータの少なくとも１つの値は、強度信号を表すデータに基づき決定される（ステップ３３）。その後、例えば規則のセットを用いて、正確な状態が決定される（ステップ３４）。別の実施形態において、機械学習アルゴリズムが、強度信号に基づき特徴ベクトルに適用され、アルゴリズムの結果が、第１の分類ステップ３１の結果と組み合わせられ、最終的な結果となる。

ここで図５を参照すると、強度信号を抽出するステップ２１，３２の第１の実現が更に詳細に説明される。図示された実施形態は、初期化フェーズを含む。これは、システム１が起動されるとき、実行されることができる。この初期化フェーズにおいて、カメラ３に関する適切な設定が決定される（ステップ３５）。このため、コンピュータ２は、デジタル画像のシーケンスがキャプチャされる間、カメラ３のフレームレート、露出時間、画素クロック（画素値が取得されるレートを決定する）及びカメラチャネルのゲインの少なくとも１つが変化されることをもたらす。シーケンスの各画像の少なくとも一部の（空間的な）平均輝度が決定され、平均輝度における周期的変動の大きさが設定の各新しい値に対して決定される。バックグラウンド変動が少なくとも極小を示すそれらの設定が、後続の使用のために選択される。少なくとも画像の一部の空間平均輝度を決定する代わりに、個別のピクセルの輝度変動が決定されることができる。カメラ３の設定を選択する効果は、周期的なバックグラウンド照明変動が、この方法の残りが適用される画像のシーケンスから最大限無くなる点にある。

次のステップ３６において、画像のシーケンス３７がカメラ３から得られる。画像のシーケンス３７は、時間における連続的な点でキャプチャされたシーンを表す。この点は、規則的な又は不規則な間隔とすることができる。

次のステップ３８において、画像３７は、非周期的バックグラウンド信号を除去するよう処理される。このため、画像３７の一部又は全部の時間変化する平均輝度に対応する訂正信号が形成される。図示される実施形態において、画像３７の画素データが訂正信号から相関分離される。非線形相互相関を打ち消すアルゴリズムは、それ自体知られている。例えばカメラ運動を補償するため、追加的な画像処理がこのステージ３８で行われることができる。

図２の第１のステップ１４がすでに実行されたと仮定される。その結果、追跡される領域３９が特定されている。この領域の位置が得られる（ステップ４０）。

続いて、各選択及び追跡された領域３９に関して、領域３９内の測定ゾーン４１が選択される（ステップ４２）。測定ゾーン４１は、シーケンス３７の各画像において特定される。従って、画像の各々のどのピクセルが、測定ゾーンを形成するすべての画像点に関して測定ゾーン４１の特定の画像点に対応するかが決定される。

次に、測定ゾーン４１の画像点に対応するピクセルの時間変化する平均輝度を表す信号４４が生成される（ステップ４３）。シーケンス３７の各画像に対して、測定ゾーン４１に含まれると決定されるピクセルの平均輝度が形成される。シーケンス３７の各画像が時間における点を表すので、時間変化する（離散時間）信号がこうして得られる。別の実施形態では、特定の画像点が放棄される。その結果、測定ゾーン４１におけるすべての画像点より少ない画素値の和がとられる。ある実施形態では、他のチャネルとは異なる重みを持つ少なくとも１つのチャネルを用いて、画素値の加重和が用いられる。これは、光源４が光を放出するよう構成される可視スペクトルのサブ範囲にチューニングされるチャネルの重みを過重にすることを可能にする。別の実施形態では、そのチャネルからの値だけが用いられる。

すると信号４４は、測定ゾーン４１の画像点に対応するピクセルの時間変化する平均輝度を表す追加的な信号４６を生み出すため、その平均値に中心化される（ステップ４５）。これは、そこでの変動をよりよく観測することを可能にする。変形例において、このステップ４５は、ステップ３８に代替的に含まれる訂正信号との相関分離も有する。異なる変形例において、このステップ４５は、フィルタリング処理、例えば信号の微分に対応するフィルタリング処理を有する。小さな振幅を持つ時間変動を抽出する他の変形例も可能である。

最終的に、心拍又は呼吸速度を表す情報を追加的な信号４６から抽出するための基本的な信号処理技術が使用される（ステップ４７）。それぞれ、呼吸速度及び心拍に通常関連付けられる範囲に含まれる優位周波数を決定することにより、これらのいずれか又は両方が抽出されることができる。

図６は、生理的パラメータの少なくとも１つの値を決定するのに使用される強度信号を抽出するステップ２１，３２の代替的な実現を示す。

初期ステップ４８〜５０は、図５の方法の対応するステップ３５，３６，３８に類似する。こうして、画像のシーケンス５１が得られ（ステップ４９）、及び訂正される（ステップ５０）。

しかしながら、次のステップ５２において、グリッドが、各画像５１にオーバーレイされる。このグリッドは、複数の測定ゾーン又は可能性としての測定ゾーンへと各画像を分割する。各測定ゾーンは、複数の画像点、即ち複数のピクセル位置を含む。

すると、少なくとも１つの、しかし一般にはすべての測定ゾーンが選択され（ステップ５３）、各測定ゾーンに関して、その測定ゾーンの画像点に対応する画像５１におけるピクセルの輝度値の時間変化する空間平均に対応する個別の信号５４ａ〜ｎが確立される。

すると、関連付けられる測定ゾーンの画像点に対応するピクセルの時間変化する平均輝度を表す追加的な信号５６ａ〜ｎを与えるため、各第１の信号５４ａ〜ｎが、その平均値に中心化される（ステップ５５）。これは、そこにおける変動をよりよく観測することを可能にする。変形例において、このステップ５５は、画像５１に訂正を適用する初期のステップ５０において代替的に含まれる訂正信号との相関分離も有する。異なる変形例において、このステップ５５は、フィルタリング処理、例えば信号の微分に対応するフィルタリング処理を有する。小さな振幅を持つ時間変動を抽出する他の変形例も可能である。

その後、信号５６ａ〜ｎのスペクトルが特定の範囲内に局所最大を持つ周波数が決定される（ステップ５７）。この場合も、このステップ５７は、２つの個別の範囲における優位周波数を決定するステップを含むことができる。その結果、例えば、心拍及び呼吸速度の値が決定される。

この実施形態において、例えば測定ゾーンごとに決定される優位周波数を比較することにより又は異なる強度信号５４ａ〜ｎの間の位相差を検出することにより、１人以上の人が画像のシーケンス５１に存在するかどうかを検出することが可能である。１つの生体が向きを変えることができる光源４で追跡されることになるので、最も強い強度信号５４ａ〜ｎが、特徴ベクトルを構築するステップ２３（図３）において、又は図４の方法における生理的パラメータの少なくとも１つの値を決定するステップ３３において使用される信号である。

画像のシーケンス５１において表されるすべての対象物の生理的パラメータの値を決定する可能性は、図６の方法を図２の方法における第１のステップ１４を実現するのに適したものとする。なぜなら、状態が決定されることになる人を選択する基準として生理的パラメータの値を用いることが可能であるからである。従って、ある実施形態において、図６の方法が、図２における第１のステップ１４において用いられ、図５の方法は、後続の解析ステップ１６において用いられる。

こうして、上述の方法は、画像のシーケンス３７，５１に表される人の状態の完全に自動的な決定を可能にする。これは、人の挙動の決定とすることができる。ここで、より長い時間の幅が、シーケンス３７，５１又は行動により覆われる。この方法は、その目立たない性質からみて、セキュリティ目的での監視システムに適している。この方法は、例えば、誰かが脳卒中等に苦しんでいるかどうかを検出するため、医療目的の監視システムとしても使用可能である。

上述された実施形態は本発明を限定するものではなく説明するものであり、当業者であれば、添付された請求項の範囲から逸脱することなく、多くの代替的な実施形態をデザインすることができることになることに留意されたい。請求項において、括弧内に配置されるいかなる参照符号も請求項を限定するものとして解釈されるべきではない。「有する」という語は、請求項に記載される以外の要素又はステップの存在を除外するものではない。ある要素に先行する「ａ」又は「ａｎ」という語は、斯かる要素が複数存在することを除外するものではない。特定の手段が相互に異なる従属項に記載されるという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

ある実施形態では、光源４を用いて、実際には全体の光源４を用いて画像のシーケンスに表される選択された対象物の部分を追跡するステップ１５が省略される。代わりに、コンピュータ２は、そこに表される生体の状態を分類するため、画像のシーケンスを解析する。この解析は、リアルタイムに実行されることができるか、又は記録された画像のシーケンスに関して実行されることができる。

Claims (11)

1. 画像解析の方法において、
   画像のシーケンスを得るステップと、
   前記画像に表される対象物の状態を分類するためのデータを得るべく、前記画像のシーケンスの少なくとも１つに関し視野ベースの解析を実行するステップと、
   前記画像のシーケンスの少なくともいくつかに表される生体の生理的パラメータの少なくとも１つの値を決定するステップであって、前記生理的パラメータの少なくとも１つの値が、前記視野ベースの解析が実行される前記少なくとも１つの画像が撮られる画像の同じシーケンスからの画像データの解析を介して決定される、ステップと、
   前記視野ベースの解析で得られるデータ及び前記生理的パラメータの少なくとも１つの値を用いて、前記対象物の状態を分類するステップとを有し、
   前記画像のシーケンスの少なくともいくつかに表される生体の生理的パラメータの少なくとも１つの値が、遠隔フォトプレチスモグラフィ解析を用いて得られる、方法。
2. 前記対象物の状態を分類するステップが、前記対象物により行われる行動を分類するステップを有する、請求項１に記載の方法。
3. 別々の分類器が、前記生理的パラメータの値に基づかれるデータ及び前記視野ベースの解析を実行することにより得られるデータに適用される、請求項１に記載の方法。
4. 単一の分類器が、前記生理的パラメータの値に基づかれるデータ及び前記視野ベースの解析を実行することにより得られるデータの組合せに適用される、請求項１に記載の方法。
5. 可視スペクトルの限定されたサブ範囲において光を放出するよう構成される光源を用いて、前記生体の少なくとも一部を照射するステップを有する、請求項１に記載の方法。
6. 前記遠隔フォトプレチスモグラフィ解析が、
   複数の画像点を含む少なくとも１つの測定ゾーンを選択するステップであって、各画像が、画素データにより表され、各画像が、前記画像のシーケンスの各々における少なくとも１つの関連付けられる画素値を持つ、ステップと、
   前記測定ゾーンにおける少なくとも複数の関連付けられる画像点での画素値の組合せの時間変化する値における少なくとも変動を表す信号を得るステップとを含む、請求項１に記載の方法。
7. 前記画像のシーケンスにおいて表される選択された対象物の少なくとも一部を追跡するため前記画像のシーケンスに関し視野ベースの画像解析を実行するステップと、
   前記選択された対象物の少なくとも一部を照射する向きを変えることができる光源を制御するステップとを有する、請求項１に記載の方法。
8. 前記画像のシーケンスの少なくとも１つを表す画素データの少なくともいくつかを解析することにより、前記選択された対象物の部分を選択するステップを有し、各画像が、画素データにより表される、請求項７に記載の方法。
9. 画像解析に関するシステムであって、
   画像のシーケンスを得るインタフェースと、
   前記画像において表される対象物の少なくとも１つの行動を分類するためのデータを得るべく、前記画像のシーケンスの少なくとも１つに関し視野ベースの解析を実行する第１の画像解析システムと、
   前記画像のシーケンスの少なくともいくつかに表される生体の生理的パラメータの少なくとも１つの値を決定するシステムであって、前記生理的パラメータの少なくとも１つの値を決定するシステムが、前記視野ベースの解析が実行される前記少なくとも１つの画像が撮られる画像の同じシーケンスからの画像データの解析を用いて、前記生理的パラメータの少なくとも１つの値を決定する第２の画像解析システムを有する、前記生理的パラメータの少なくとも１つの値を決定するシステムとを有し、
   前記画像解析に関するシステムが、前記第１の画像解析システムにより提供されるデータ及び前記生理的パラメータの少なくとも１つの値を用いて、前記対象物の行動を分類するよう構成され、
   前記画像のシーケンスの少なくともいくつかに表される生体の生理的パラメータの少なくとも１つの値が、遠隔フォトプレチスモグラフィ解析を用いて得られる、システム。
10. 請求項１乃至８のいずれか一項に記載の方法を実行するよう構成される、請求項９に記載のシステム。
11. 機械読み出し可能な媒体に組み込まれるとき、情報処理能力を持つシステムに請求項１乃至８の任意の一項に記載の方法を実行させることができる命令セットを含むコンピュータプログラム。

Images