JP2011090408A - 情報処理装置、その行動推定方法及びプログラム - Google Patents

Abstract

【課題】
未撮影領域における人物の行動を推定できるようにした技術を提供する。
【解決手段】
情報処理装置は、撮像装置により現実空間が撮影された映像内から人物を含む人物抽出領域を抽出する抽出手段と、前記映像内に予め設定された１又は複数のエリアに対応して当該エリアに関する行動推定モデルを保持するモデル保持手段と、前記抽出手段により抽出された前記人物抽出領域の履歴に基づき前記映像内から人物が消失した前記エリアを同定する消失エリア同定手段と、前記同定された前記エリアに対応する行動推定モデルを前記モデル保持手段から取得する取得手段と、前記取得手段により取得された前記行動推定モデルを用いて前記映像内から消失した人物の消失後の行動を推定する行動推定手段とを具備する。
【選択図】 図１

Description

本発明は、情報処理装置、その行動推定方法及びプログラムに関する。

例えば、一般家庭環境における人物の行動を映像及び音声で記録し、当該記録した行動群の中から人にとって意味のある行動パターンを自動的に抽出してそれを人に提示することを目指した技術がいくつか知られている。非特許文献１によれば、一般家庭の各部屋の天井に備え付けたカメラ及びマイクにより住居人の行動を記録し、そこで起こる行動へアノテーションを半自動的につけることを目指した技術が開示されている。

また、非特許文献２によれば、床に圧力センサ、天井にカメラやマイクを多数設置し、それにより、家庭内での人の生活行動を記録し、人のいる位置に基づく記録映像の要約・閲覧や、家具や人同士のインタラクションの検出を行なう技術が開示されている。なお、非特許文献１や２に限らず、家庭環境下での全行動を記録し、そこから意味のある情報の抽出を目指す技術は数知れず研究されている。

Michael Fleischman, Philip DeCamp, and Deb Roy. (2006). Mining Temporal Patterns of Movement for Video Content Classification. Proceedings of the 8th ACM SIGMM International Workshop on Multimedia Information Retrieval. Interactive Experience Retrieval for a Ubiquitous Home, ACM Multimedia Workshop on Continuous Archival of Personal Experience 2006 (CARPE2006), pp.45-49, Oct.27, 2006, Santa Barbara, CA

このような技術の多くでは、カメラやマイクといったセンサ機器を家全体に数多く設置する構成が前提となっているため、コストがかさんでしまう。例えば、機器単体のコストは勿論のこと、仮に、機器単体が安くその数がしれているとしても、既存の家等に対してこのような環境を構築する場合には、相応の設置コストがかかってしまう。

本発明は、上記課題に鑑みてなされたものであり、未撮影領域における人物の行動を推定できるようにした技術を提供することを目的とする。

上記課題を解決するため、本発明の一態様による情報処理装置は、撮像装置により現実空間が撮影された映像内から人物を含む人物抽出領域を抽出する抽出手段と、前記映像内に予め設定された１又は複数のエリアに対応して当該エリアに関する行動推定モデルを保持するモデル保持手段と、前記抽出手段により抽出された前記人物抽出領域の履歴に基づき前記映像内から人物が消失した前記エリアを同定する消失エリア同定手段と、前記同定された前記エリアに対応する行動推定モデルを前記モデル保持手段から取得する取得手段と、前記取得手段により取得された前記行動推定モデルを用いて前記映像内から消失した人物の消失後の行動を推定する行動推定手段とを具備することを特徴とする。

本発明によれば、未撮影領域における人物の行動を推定できる。これにより、例えば、カメラ等にかかるコストを抑制できる。

実施形態１に係わる監視対象領域の概要の一例を示す図。 実施形態１に係わる情報処理装置１０の機能的な構成の一例を示す図。 カメラ１１により撮影される映像の一例を示す図。 実施形態１に係わるエリアの概要の一例を示す図。 図２に示す情報処理装置１０の処理の流れの一例を示すフローチャート。 実施形態２に係わる監視対象領域の概要の一例を示す図。 実施形態２に係わる情報処理装置１０の機能的な構成の一例を示す図。 カメラ２１により撮影される映像の一例を示す図。 実施形態２に係わるエリアの概要の一例を示す図。

以下、本発明に係わる情報処理装置、その行動推定方法及びプログラムの一実施の形態について添付図面を参照して詳細に説明する。

（実施形態１）
まず、本実施形態に係わる情報処理装置の監視対象について説明する。図１は、実施形態１に係わる監視対象領域の概要の一例が示されており、この場合、監視対象領域として３ＬＤＫのマンションの間取りが示される。

南側（図中下側）には、リビングダイニング及び和室が設けられている。リビングダイニングの北側（図中上側）にはカウンターキッチンが設けられており、当該キッチンの壁を挟んだ向こう側には洋室Ａが設けられている。和室の北側（図中上側）には、バス・トイレが設けられており、当該バス・トイレの壁を挟んだ向こう側には洋室Ｂが設けられている。また、リビングダイニング及び洋室Ａと、和室、バス・トイレ、洋室Ｂとの間には、廊下が伸びており、当該廊下の北側（図中上側）には玄関が設けられている。

図２は、実施形態１に係わる情報処理装置１０の機能的な構成の一例を示す図である。

情報処理装置１０は、カメラ１１と、人物抽出部１２と、エリア同定部１３と、行動推定モデル保持部１４と、行動推定モデル取得部１５と、行動推定部１６と、行動記録提示部１７とを具備して構成される。

カメラ１１は、撮像装置として機能し、現実空間を撮影する。カメラ１１は、情報処理装置１０の外部に設けられても、内部に設けられてもよいが、実施形態１においては、装置外部（リビングの角（図１における右下））に設けられる場合を例に挙げる。カメラ１１が装置外部に設けられる場合、カメラ１１は、例えば、天井から吊り下げて設けられたり、床や台、その他、テレビの上に据え置かれたりする。また、テレビなどの家電に内蔵さていてもよい。実施形態１において、カメラ１１は、図３に示すようなシーン、すなわち、カメラ視野中心にリビングダイニングが映る映像を撮影する。当該映像内には、左手に和室の引き戸、右手にキッチン、奥側（図中上側）やや右寄りにバス・トイレのドア、そしてその右隣に２つの洋室と玄関に続く廊下とが含まれる。なお、パンチルトやズームといったカメラ１１のパラメータ（カメラパラメータ）は、固定であっても可変であっても構わない。カメラパラメータが固定である場合、情報処理装置１０（具体的には、エリア同定部１３）は、事前に計測されたパラメータを保持する（エリア同定部１３が参照可能な他の場所に保持されてもよい）。なお、カメラパラメータが可変である場合、その可変値はカメラ１１において計測される。

人物抽出部１２は、カメラ１１から映像を受け取り、この映像内から人物が映っている領域を検出し、当該領域を抽出する。この抽出された領域に関する情報（以下、人物抽出領域情報と呼ぶ）は、エリア同定部１３に出力される。なお、人物抽出領域情報は、例えば、座標情報の集まりであったり、代表座標と形状情報の組であったりする。なお、領域の抽出手法は、従来の技術を用いればよく、その方法は特に問わない。例えば、米国特許出願公開第２００７／０２３７３８７号に開示された手法を用いればよい。

人物抽出部１２は、人物認識機能、服装認識機能、姿勢認識機能、動作認識機能などを備えていてもよい。この場合、映像内から抽出した人物が、誰であるか、どんな人であるか（男性か女性か、何歳くらいか等）、どんな服装であるか、どんな姿勢であるか、どんな動作をしているか、どんな行動をしているか、何を持っているか、等を認識するようにしてもよい。当該機能を有する場合、人物抽出部１２は、人物抽出領域情報に対して当該抽出した人物の特徴認識結果を加えて、エリア同定部１３に出力する。

エリア同定部１３は、映像内の部分領域（以下、エリアと呼ぶ）から人物が消失したエリア（人物消失エリア）や、人物が登場したエリア（人物登場エリア）を同定する。具体的には、エリア同定部１３は、消失エリア同定部１３ａと、登場エリア同定部１３ｂとを具備し、消失エリア同定部１３ａにおいて、上述した人物消失エリアを同定し、登場エリア同定部１３ｂにおいて、上述した人物登場エリアを同定する。エリア同定部１３においては、人物抽出領域情報の受け取り履歴（人物抽出領域情報の受け取った時刻のリスト）を保持し、当該履歴を参照することにより上記同定処理を行なう。

エリア（人物消失エリア又は人物登場エリア）の同定が済むと、エリア同定部１３は、当該エリアを示す情報と、当該エリアを同定した時刻とを含む情報を、人物消失エリア情報又は人物登場エリア情報として行動推定モデル取得部１５へ出力する。

ここで、上述したエリアは、例えば、図４に示すように、カメラ１１により撮影された映像内の部分領域を示す。このエリアは、図４に示すように、１又は複数（この場合、複数）あり、予め設定されている。バス・トイレのドア及びその近辺が映っている映像内のエリアが、現実空間に存在するバス・トイレのドアに対応付けられている。映像内における各エリアと現実空間との対応付けには、例えば、カメラ１１のカメラパラメータを用いればよい。対応付け手法は、従来の技術を用いればよく、その方法は特に問わない。例えば、「出口光一郎、ロボットビジョンの基礎、コロナ社、２０００年」に開示された手法を用いればよい。なお、カメラパラメータが変更されると、映像内の各エリアが移動したり変形したりすることは言うまでもない。また、全映像内の領域が何らかのエリアとして定義されていてもよいし、人が消失したり（映像に映らない）人が登場したり（映像に映り始める）しうる領域のみをエリアとして設けてもよい。

ここで、エリア同定部１３（消失エリア同定部１３ａ）は、人物抽出領域情報を所定時間以上継続して受信している場合に、当該情報が未受信となったときには、最後に受信した人物抽出領域情報が示すエリアを人物消失エリアとして同定する。また、エリア同定部１３（登場エリア同定部１３ｂ）は、人物抽出領域情報を所定時間以上継続して未受信の場合に、人物抽出領域情報を受信したときには、当該受信した人物抽出領域情報が示すエリアを人物登場エリアとして同定する。

行動推定モデル保持部１４は、各エリアに対応した行動推定モデルを保持する。例えば、図４に示すエリア構成の場合、行動推定モデル保持部１４は、和室の引き戸に対応するエリアＡ用のモデル、バス・トイレのドアに対応するエリアＢ用のモデル、廊下に対応するエリアＣ用のモデル、キッチンに対応するエリアＤ用のモデルを保持する。なお、人物抽出領域情報に特徴認識結果が含まれている場合、行動推定モデル保持部１４は、当該特徴認識結果毎（例えば、人物毎）に各エリアの行動推定モデルを保持する。

行動推定モデルは、例えば、行動推定時刻、人物消失時刻、人物登場時刻、再登場時間の内の少なくとも１つの条件情報と、当該条件情報に対応した行動推定結果を示す行動推定結果情報とを対応付けたリストである。また、例えば、これら条件情報の内の少なくとも１つを変数として、それに対応した行動推定結果を算出する関数であってもよい。なお、行動推定時刻は、行動の推定を行なう時刻であり、人物消失時刻は、人物が消失した時刻であり、人物登録時刻は、人物が登場した時刻である。また、再登場時間は、人物が消失した後、再度登場するまでの時間を示す時間情報である。

行動推定モデル取得部１５は、エリア同定部１３から人物消失エリア情報又は人物登場エリア情報を受信し、当該受信した情報に示される人物消失エリア又は人物登場エリアに対応する行動推定モデルを行動推定モデル保持部１４から取得する。当該取得した行動推定モデルは、行動推定部１６へ出力される。なお、人物消失エリア情報又は人物登場エリア情報に特徴認識結果が含まれている場合、行動推定モデル取得部１５は、その特徴認識結果と、人物消失エリア又は人物登場エリアとに基づいて行動推定モデルを取得し、それを行動推定部１６へ出力する。例えば、住居人それぞれに対応した行動推定モデルが用意されていたり、消失時及び登場時の服装が同じ時と異なる時とのそれぞれの場合における行動推定モデルが用意されていたりする。また、例えば、人物消失時（正確には消失直前）の人物の姿勢や人物の動作毎に行動推定モデルが用意されてる。

行動推定部１６は、行動推定モデル取得部１５から行動推定モデルを受信すると、当該モデルを用いて、映像内から人物が消失した後の人物の行動、又は人物が登場する前の人物の行動を推定する。すなわち、撮影領域外（未撮影領域）における人物の行動を推定する。なお、行動推定部１６による推定は、人物消失後の行動を推定する場合、当該人物が登場するまで逐次行なわれる。その行動推定結果は、行動記録提示部１７へ出力される。

行動記録提示部１７は、行動推定部１６から行動推定結果を受信すると、当該行動推定結果をデータとして記録するとともに、ユーザに向けて提示する。必要であれば、提示前にデータの加工が行なわれる。データ加工の一例としては、行動推定結果とその推定が行なわれた時刻とを組にしたデータを記録媒体に記録し、そのデータを時系列順に並べたリストを画面等に提示すること等が挙げられるが、これに限らない。行動記録データは、その要約がいわゆるライフログデータとして居住者や別居の家族に提示されたり、居住者のケアを行なっている医療従事者や介護従事者などに健康医療データとして提示されたりする。そうした情報を提示された人は、それによって生活行動を見直したり、病気等の兆候やそのときの健康状態のチェックに活かしたりする。なお、情報処理装置１０自体が、行動記録データから何らかの兆候などを自動で認識して、しかるべき情報を選択ないし生成し、その情報を人に対して提示するようにしてもよい。

以上が、情報処理装置１０の機能的な構成の一例についての説明である。なお、情報処理装置１０には、コンピュータが組み込まれている。コンピュータには、ＣＰＵ等の主制御手段、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）等の記憶手段が具備される。また、コンピュータにはその他、キーボード、マウス、ディスプレイ、ボタン又はタッチパネル等の入出力手段、等も具備される。これら各構成手段は、バス等により接続され、主制御手段が記憶手段に記憶されたプログラムを実行することで制御される。

次に、図５を用いて、図２に示す情報処理装置１０における処理の流れの一例について説明する。

この処理では、まず、カメラ１１による現実空間の撮影が開始される（Ｓ１０１）。情報処理装置１０は、人物抽出部１２において、当該映像内から人物が映っている領域を検出し抽出する。

ここで、人物の映る領域が検出されなかった場合（Ｓ１０２でＮＯ）、情報処理装置１０は、エリア同定部１３において、所定時間（現時点から所定時間前まで）の間に（例えば、３秒間）、人物の抽出があったか否かを判定する。この判定は、人物抽出部１２から上記時間の間に、人物抽出領域情報を受信したか否かに基づいて行なわれる。

ここで、所定時間の間に人物が抽出されていなければ（Ｓ１０８でＮＯ）、人物が継続的に映像内に映っていないことになるため、情報処理装置１０は、再度、Ｓ１０２の処理に戻る。一方、所定時間の間に人物が抽出されていた場合には（Ｓ１０８でＹＥＳ）、所定時間前から現時点までの間に人物が映像内から消失したことになる。この場合、情報処理装置１０は、エリア同定部１３において、人物消失エリアの同定を行なう（Ｓ１０９）。すなわち、エリア同定部１３内部の記録を参照し、最後に受け取った人物抽出領域情報が示す領域が、どのエリアに含まれるかを特定し、そのエリアを人物消失エリアに同定する。そして、当該エリアを示す情報と、最後に受け取った人物抽出領域情報（最新時刻の人物抽出領域情報であり、人物消失時刻に相当）とを、人物消失エリア情報として行動推定モデル取得部１５に出力する。

次に、情報処理装置１０は、行動推定モデル取得部１５において、人物消失エリアに対応する行動推定モデルを行動推定モデル保持部１４から取得する（Ｓ１１０）。この取得は、エリア同定部１３からの人物消失エリア情報に基づいて行なわれる。

行動推定モデルを取得すると、情報処理装置１０は、行動推定部１６において、当該行動推定モデルに基づいて、映像内から消失した人物の消失後の行動を推定する（Ｓ１１１）。行動推定は、上述した通り、例えば、行動推定時刻や人物消失時刻、消失後の経過時間、等（場合によっては、消失人物の特徴認識結果）を用いて行なわれる。

行動の推定が済むと、情報処理装置１０は、行動記録提示部１７において、行動推定部１６からの行動推定結果を記録するとともに、それを提示する（Ｓ１１２）。その後、情報処理装置１０は、人物抽出部１２において、再度、上記同様の検出及び抽出処理を行なう。この結果、人物の映る領域が検出されなかった場合（Ｓ１１３でＮＯ）、再度、Ｓ１１１の処理に戻り、行動の推定が行なわれる。すなわち、消失した人物が再度現れるまで、消失後の当該人物の行動の推定が継続して行なわれる。なお、Ｓ１１３の処理において、人物の映る領域が検出された場合（Ｓ１１３でＹＥＳ）、情報処理装置１０は、Ｓ１０４の処理に進む。すなわち、人物登場時の処理を実施する。

ここで、Ｓ１０２の処理において、人物の映る領域が抽出された場合（Ｓ１０２でＹＥＳ）、人物抽出部１２からエリア同定部１３に向けて人物抽出領域情報が送られる。これを受けたエリア同定部１３は、所定時間（当該情報を受信した時点から所定時間前まで）の間に（例えば、３秒間）、人物の抽出があったか否かを判定する。この判定は、人物抽出部１２から上記時間の間に、人物抽出領域情報を受信したか否かに基づいて行なわれる。

ここで、所定時間の間に人物が抽出されていた場合（Ｓ１０３でＹＥＳ）、当該人物は継続的に映像内に映っていることになるため、情報処理装置１０は、再度、Ｓ１０２の処理に戻る。一方、所定時間の間に人物が抽出されていなければ（Ｓ１０３でＮＯ）、エリア同定部１３は、人物が映像内に登場したと解釈し、人物登場時の処理を行なう。

人物登場時には、情報処理装置１０は、エリア同定部１３において、人物登場エリアを同定する（Ｓ１０４）。すなわち、エリア同定部１３内部の記録を参照し、人物抽出領域情報が示す領域が、どのエリアに含まれるかを特定し、そのエリアを人物登場エリアに同定する。そして、当該エリアを示す情報と、最後に受け取った人物抽出領域情報（最新時刻の人物抽出領域情報であり、人物登場時刻に相当）とを、人物登場エリア情報として行動推定モデル取得部１５に出力する。なお、存在するのであれば、最後に受け取った人物抽出領域情報の一つ前の人物抽出領域情報（人物消失時刻に相当）をも人物登場エリア情報として行動推定モデル取得部１５に出力する。

次に、情報処理装置１０は、行動推定モデル取得部１５において、人物登場エリアに対応する行動推定モデルを行動推定モデル保持部１４から取得する（Ｓ１０５）。この取得は、エリア同定部１３からの人物登場エリア情報に基づいて行なわれる。

行動推定モデルを取得すると、情報処理装置１０は、行動推定部１６において、当該行動推定モデルに基づいて、映像内に登場した人物の登場前の行動を推定する（Ｓ１１６）。

行動の推定が済むと、情報処理装置１０は、行動記録提示部１７において、行動推定部１６からの行動推定結果を記録するとともに、それを提示する（Ｓ１１７）。その後、情報処理装置１０は、再度、Ｓ１０２の処理に戻る。

以上が、情報処理装置１０における処理の流れの一例についての説明である。なお、人物抽出部１２が人物認識機能や服装認識機能等を備えている場合には、Ｓ１０２において、抽出された人物の特徴認識結果を人物抽出領域情報に加えて、エリア同定部１３に出力する。このとき、人物抽出部１２では、例えば、抽出された人物と、同一人物が抽出された場合に限り、人物抽出領域情報等をエリア同定部１３に出力する。また、行動推定モデル取得部１５は、Ｓ１０５及びＳ１１０において、人物消失エリア情報又は登場エリア情報と、特徴認識結果とに基づいて行動推定モデルを取得する。そして、行動推定部１６は、Ｓ１０６及びＳ１１１において、当該取得された行動推定モデルに基づいて、映像内における人物の消失後又は登場前の行動を推定する。

ここで、図５のＳ１１１における行動の推定方法（人物消失時）について具体例を挙げて説明する。

例えば、図４に示す和室の引き戸に対応するエリアＡが人物消失エリアであり、人物消失時刻が２１時以降で朝６時前であり、消失した人物が消失前にあくびをしていたとした場合、行動推定部１６は、「（消失した人物は）和室で寝ている」と推定する。また、例えば、図４に示すバス（お風呂）・トイレのドアに対応するエリアＢが人物消失エリアであり、行動推定時刻が人物消失時刻の５分後であれば、行動推定部１６は、「（消失した人物は）トイレに入っている」と推定する。更に時間が経過して、行動推定時刻が人物消失時刻の１０分後になり、且つ人物消失時刻が１８時以降２４時前であれば、行動推定部１６は、「（消失した人物は）お風呂に入っている」と推定する。

また、例えば、同じくエリアＢが人物消失エリアであり、人物消失時刻が１８時よりも前であり、消失した人物が掃除道具を持っていたとすれば、行動推定部１６は、「（消失した人物は）トイレかお風呂を掃除している」と推定する。また、例えば、同じくエリアＢが人物消失エリアであり、行動推定時刻が人物消失時刻の６０分後であれば、行動推定部１６は、「（消失した人物は）トイレ又はお風呂で苦しんでいる可能性がある」と推定する。また、例えば、図４に示す廊下に対応するエリアＣが人物消失エリアであり、行動推定時刻が人物消失時刻の３０分後であれば、行動推定部１６は、「（消失した人物は）外出している」と推定する。また、例えば、図４に示すキッチンに対応するエリアＤが人物消失エリアであり、行動推定時刻が夕方１７時前後であり、消失した人物がこの家の家事を担当する人であれば、行動推定部１６は、「（消失した人物は）夕食を準備している」と推定する。

次に、図５のＳ１０６における行動の推定方法（人物登場時）について具体例を挙げて説明する。

例えば、図４に示す和室の引き戸に対応するエリアＡが人物登場エリアであり、人物登場時刻が朝６時以降８時以前であれば、行動推定部１６は、「（登場した人物は）和室で起床した（その後リビングに現れた）」と推定する。また、例えば、図４に示すバス（お風呂）・トイレのドアに対応するエリアＢが人物登場エリアであり、人物消失時刻と人物登場時刻の間が５分であれば、行動推定部１６は、「（登場した人物は）トイレに入っていた」と推定する。人物消失時刻と人物登場時刻との間が３０分であり、且つ人物消失時刻が１８時以降２４時以前であり、且つ消失前後の服装が異なっていれば、行動推定部１６は、「（登場した人物は）お風呂に入っていた」と推定する。同じく人物消失時刻と人物登場時刻との間が３０分であり、人物消失時刻が１８時よりも以前であり、且つ消失前後の服装が同じであれば、行動推定部１６は、「（登場した人物は）トイレかお風呂を掃除していた」と推定する。また、例えば、図４に示す廊下に対応するエリアＣが人物登場エリアであり、人物消失時刻と人物登場時刻との間が３０分であれば、行動推定部１６は、「（登場した人物は）洋室Ａ又は洋室Ｂで何かをしていた」と推定する。人物消失時刻と人物登場時刻との間が数時間であり、人物登場時刻が夕方１７時以降であれば、行動推定部１６は、「（登場した人物は）帰宅した」と推定する。また、例えば、図４に示すキッチンに対応するエリアＤが人物登場エリアであり、人物消失時刻と人物登場時刻との間が１分であれば、行動推定部１６は、「（登場した人物は）キッチンの冷蔵庫から何かを取ってきた」と推定する。

以上説明したように実施形態１によれば、未撮影領域における人物の行動を推定できる。これにより、例えば、カメラ等の数を減らすことができるため、コストの抑制を図れる。

より具体的には、実施形態１によれば、映像に映る範囲での行動は、従来同様に映像として記録し、映像に映らない範囲での行動は、対象人物が存在する場所を特定した上で定性的に推定し、それをデータとして記録する。人物の存在場所の特定は、映像内で人物が消失又は登場したエリアに基づいて行なう。この技術が、例えば、一般家庭に適用される場合には、消失後又は登場前に人物が存在しうる場所は限定的であるので、家の中心にあることの多い居間などにカメラを一台設置すれば、消失後又は登場前の人物の行動を推定できる。

また、一般家庭における多くの場所それぞれで起こりうる行動の種類は、比較的少ないため、場所（監視対象領域）が特定（ないし限定）されるのであれば、少ないカメラでも、人物の行動を高い精度で推定できる。なお、映像に映る範囲においても、人物が物体等の陰に隠れており、そこでの行動が映像に記録されないことがある。この場合にも、実施形態１の構成は、有効である。

（実施形態２）
次に、実施形態２について説明する。実施形態２においては、視野の重なりのない複数台のカメラと、それぞれのカメラのそばにあるセンサと、それぞれのカメラから離れた場所にあるセンサとを用いて、一般家庭における人物の行動を推定等する場合を例に挙げて説明する。

図６は、実施形態２に係わる監視対象領域の概要の一例が示されており、この場合、監視対象領域として４ＬＤＫの２階建て戸建ての間取りが示される。図６（ａ）は、１階の間取りを示し、図６（ｂ）は、２階の間取りを示す。図６（ａ）に示す１階の間取りには、ソファとダイニングテーブルとが置かれたリビングダイニング、和室、キッチン、トイレ１、玄関、２階への階段がある。図６（ｂ）に示す２階の間取りには、１階からの階段、洋室Ａ、洋室Ｂ、洋室Ｃ、洗面所・バス、トイレ２がある。

図７は、実施形態２に係わる情報処理装置１０の機能的な構成の一例を示す図である。なお、実施形態１を説明した図２と同一の符号のものは、実施形態１同様の機能を果たすため、その説明を省略するものもある。実施形態２では主に、実施形態１と相違する点について説明する。

情報処理装置１０には、複数のカメラ２１（２１ａ及び２１ｂ）と、複数のセンサ２０（２０ａ〜２０ｃ）とが新たに設けられる。ここで、カメラ２１は、実施形態１同様に、現実空間を撮影する。カメラ２１ａは、図６（ａ）に示す１階に設置されており、リビングの南側（図中下側）の壁際のテレビの上に設置される。この場合、図８（ａ）に示すような映像が撮影される。すなわち、カメラ２１ａは、この住居に住む家族がリビングダイニングで食事をしたり、くつろいだりする様子を撮影する。但し、カメラ２１ａでは、リビングダイニング以外の場所である和室、キッチン、トイレ１、玄関、２階への階段の様子を撮影することはできない。カメラ２１ｂは、図６（ｂ）に示す２階に設置されており、階段を上ったところの天井に設置される。この場合、図８（ｂ）に示すような映像が撮影される。すなわち、カメラ２１ｂは、洋室Ａ、洋室Ｂ、洋室Ｃのドアと、トイレ２と洗面所・バスに続く短い廊下とを撮影する。

人物抽出部１２は、カメラ２１及びカメラ２１ｂから映像を受け取り、この映像内から人物が映っている領域を検出し抽出する。なお、実施形態２に係わる人物抽出領域情報には、どのカメラ２１の映像から撮影したものであるかを示すカメラ識別情報が含まれる。

行動推定モデル保持部１４は、各エリアに対応した行動推定モデルを保持する。実施形態２に係わる行動推定モデルは、実施形態１を説明した条件情報に加えて更に、センサ２０（２０ａ〜２０ｂ）の出力値も条件情報として保持する。例えば、センサ２０（２０ａ〜２０ｂ）の出力値毎に上記条件情報を保持する。勿論、センサ出力値を含むこれら条件情報の内の少なくとも１つを変数として、それに対応した行動推定結果を算出する関数であってもよい。

行動推定部１６は、カメラ２１ａ又はカメラ２１ｂにより撮影された映像内から人物が消失した後の行動又は人物が登場する前の行動を推定する。行動推定モデル取得部１５からの行動推定モデルの中身に基づき、必要であれば、センサ２０（２０ａ〜２０ｂ）からのセンサ出力をも用いて推定を行なう。

センサ２０（２０ａ〜２０ｃ）は、現実空間における現象（例えば、音声）を計測ないし検知する。センサ２０は、カメラ視野外の現実空間の状況を計測する役割を果たす。例えば、センサはマイクで構成され、カメラ視野外で起こる事象によって発生する音を計測する。マイクが二つあり、それぞれが指向性を持っているとすると、一方のマイクは、カメラ視野外の右側の現実空間で起こる事象の音を計測し、もう一方のマイクは、カメラ視野外の左側の現実空間で起こる事象の音を計測する、といった役割分担を行ってもよい。勿論、計測対象となる現実空間の状況は、カメラ視野外だけに限られず、カメラ視野内の現実空間の状況が含まれていてもよい。実施形態２においては、センサ２０ａ及びセンサ２０ｂは、カメラ２１ａ及びカメラ２１ｂに対応付けて設けられている。そして、センサ２０ａは、指向性のある２つのマイクであり、センサ２０ｂは、指向性のない一つのマイクであるものとする。また、センサ２０ｃは、カメラ２１ａ及びカメラ２１ｂとは離れた場所に設置されている。センサ２０ｃは、例えば、カメラ２１ａ及びカメラ２１ｂの視野外の現実空間に置かれた家電製品や電灯のＯＮ／ＯＦＦを検知するセンサである。なお、センサ２０は、例えば、人の存在を検知する人感センサであってもよい。複数の場所にそれぞれ独立して存在する複数のセンサであってもよい。

なお、実施形態２に係わる情報処理装置１０における処理の流れは、基本的には、実施形態１を説明した図５と同様であるため、その詳細な説明については省略する。相違点を挙げて簡単に説明すると、人物抽出部１２により人物が検出された場合、上述したカメラ識別情報を含む人物抽出領域情報がエリア同定部１３に出力される。エリア同定部１３においては、人物消失エリア又は人物登場エリアの同定を行なうが、このとき、カメラ識別情報を勘案して当該同定処理を行なう。具体的には、カメラ識別情報が同一である映像を用いて、人物消失エリアや人物登場エリアを同定することになる。また、行動推定部１６による行動推定では、場合によっては、実施形態１で用いた情報に加えて更に、センサ２０からのセンサ出力をも用いる。これにより、実施形態２に係わる行動推定処理が実施される。

ここで、図９を用いて、実施形態２に係わる行動の推定方法（人物消失時）について具体例を挙げて説明する。なお、図９（ａ）は、カメラ２１ａにより撮影された映像の一例であり、図９（ｂ）は、カメラ２１ｂにより撮影された映像の一例である。

例えば、図９（ａ）に示す玄関・トイレ１に対応するエリアＥが人物消失エリアであり、当該方向に向いたマイク（センサ２０ａ）が室内ドアの開閉音を録音した場合、行動推定部１６は、「（消失した人物は）トイレに入った」と推定する。又は、エリアＥの方向に向いたマイク（センサ２０ａ）が屋外ドアの開閉音と鍵をかける音とを録音した場合には、行動推定部１６は「（消失した人物が）外出した」と推定する。また、例えば、図９（ａ）に示すエリアＦが人物消失エリアであり、当該エリアＦの方向を向いたマイク（センサ２０ａ）が水の音を録音した場合には、行動推定部１６は、「（消失した人物は）キッチンで水仕事をしている」と推定する。また、例えば、キッチンに置かれたコーヒーメーカーのスイッチのＯＮがセンサ２０ｃの出力から判断された場合には、行動推定部１６は、「（消失した人物は）キッチンでコーヒーをつくっている」と推定する。また、例えば、エリアＦの方向を向いたマイク（センサ２０ａ）が襖を開け閉めする音を録音した場合には、行動推定部１６は、「（消失した人物が）和室に入った」と推定する。また、例えば、エリアＦの方向を向いたマイク（センサ２０ａ）が人が階段を登る音を録音した場合には、行動推定部１６は、「（消失した人物は）２階へ行った」と推定する。

また、例えば、図９（ｂ）に示すエリアＧ／Ｈ／Ｉが人物消失エリアであり、人物消失時間が２１時以降で朝６時以前であり、且つ消失人物がその洋室Ａ／Ｂ／Ｃを主に利用する場合、行動推定部１６は、「（消失した人物は）自分の部屋で寝た」と推定する。また、例えば、エリアＧ／Ｈ／Ｉが人物消失エリアであり、人物消失時間が深夜０時以降で朝６時以前であり、消失人物がその洋室Ａ／Ｂ／Ｃを主に利用しない人物であり、且つカメラ２１ｂに対応するセンサ２０ｂが咳き込む音を記録したとする。この場合、行動推定部１６は「（消失した人物は）洋室Ａ／Ｂ／Ｃの人物を心配して見に行った」と推定する。また、例えば、図９（ｂ）に示すトイレ２、洗面所・バスに対応するエリアＪが人物消失エリアであり、洗面台の電灯スイッチのＯＮがセンサ２０ｃの出力から判断された場合、行動推定部１６は、「（消失した人物は）洗面台を使っている」と推定する。また、例えば、センサ２０ｂが浴室の引き戸が閉まる音を記録した場合には、行動推定部１６は、「（消失した人物は）お風呂に入った」と推定する。また、例えば、センサ２０ｂがトイレ２のドアが閉まる音を記録した場合には、行動推定部１６は、「（消失した人物は）トイレに入った」と推定する。また、例えば、図９（ｂ）に示す階段に対応するエリアＫが人物消失エリアであれば、行動推定部１６は、「（消失した人物が）１階へ降りて行った」と推定する。

次に、実施形態２に係わる行動の推定方法（人物登場時）について具体例を挙げて説明する。

例えば、図９（ａ）に示す玄関・トイレ１に対応するエリアＥが人物登場エリアであり、人物消失時刻と人物登場時刻との間が５分であれば、行動推定部１６は、「（登場した人物は）トイレに入っていた」と推定する。また、例えば、人物消失時刻と人物登場時刻との間が３０分であれば、行動推定部１６は、「（登場した人物は）近所を散歩していた」と推定する。また、例えば、図９（ａ）に示す和室・キッチン・階段に対応するエリアＦが人物消失エリアであり、図９（ｂ）に示す階段に対応するエリアＫが人物登場エリアであるとする。そしてまた、人物の消失から登場までの間にエリアＦの方向を向いたマイク（センサ２０ａ）が掃除機の音を記録し、人物消失時刻と人物登場時刻との間が１０分であったとする。この場合、行動推定部１６は、「（登場した人物は単に階段を登ったのではなく）階段を掃除していた」と推定する。

以上説明したように実施形態２によれば、視野の重なりのない複数台のカメラと、当該カメラに対応して設けられたセンサと、それぞれのカメラから離れた場所にあるセンサとを用いる。これにより、映像内からの人物の消失後の当該人物の行動の推定や、映像内へ登場した人物の当該登場前の行動の推定を更に詳細に行なうことができる。また、カメラ等の台数も、本構成を有さない場合よりも減らせるため、コストも抑えることができる。

なお、実施形態２においては、カメラが２台である場合を例に挙げて説明したが、カメラの台数はこれに限定されない。また、実施形態２においては、センサが、マイクや家電のＯＮ／ＯＦＦを検知する検知機構である場合を例に挙げて説明したが、センサの種類などはこれに限られない。

また、実施形態１及び２で述べた、人物消失エリア、人物登場エリア、行動推定時刻、人物消失時刻、人物登場時刻、再登場時間等の条件情報は、使用者の行動や室内の構造・配置に応じて自由に設定変更できる。又は、情報処理装置１０を設置した際に、上述の行動推定結果の記録と実際の行動との差異からこれら情報を最適化する処理を行なうようにしてもよい。なお、行動推定の対象となる人物の年齢変化に応じて、これら情報を自動的に変化させたり、行動変化の結果を用いて自動学習させたりするようにしてもよい。

以上が本発明の代表的な実施形態の一例であるが、本発明は、上記及び図面に示す実施形態に限定することなく、その要旨を変更しない範囲内で適宜変形して実施できるものである。

例えば、本発明は、例えば、システム、装置、方法、プログラム若しくは記憶媒体等としての実施態様を採ることもできる。具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

（その他の実施形態）
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (13)

1. 撮像装置により現実空間が撮影された映像内から人物を含む人物抽出領域を抽出する抽出手段と、
   前記映像内に予め設定された１又は複数のエリアに対応して当該エリアに関する行動推定モデルを保持するモデル保持手段と、
   前記抽出手段により抽出された前記人物抽出領域の履歴に基づき前記映像内から人物が消失した前記エリアを同定する消失エリア同定手段と、
   前記同定された前記エリアに対応する行動推定モデルを前記モデル保持手段から取得する取得手段と、
   前記取得手段により取得された前記行動推定モデルを用いて前記映像内から消失した人物の消失後の行動を推定する行動推定手段と
   を具備することを特徴とする情報処理装置。
2. 前記行動推定手段は、
   前記映像内から人物が消失した時刻、前記映像内から人物が消失した時刻からの経過時間、の少なくとも１つに基づいて前記行動を推定する
   ことを特徴とする請求項１記載の情報処理装置。
3. 前記抽出手段により抽出された前記人物抽出領域の履歴に基づきに基づき前記映像内に人物が登場した前記エリアを同定する登場エリア同定手段
   を更に具備し、
   前記取得手段は、
   前記登場エリア同定手段により同定されたエリアに対応する行動推定モデルを前記モデル保持手段から取得し、
   前記行動推定手段は、
   前記取得手段により取得された前記行動推定モデルを用いて前記映像内に登場した人物の登場前の行動を推定する
   ことを特徴とする請求項１記載の情報処理装置。
4. 前記行動推定手段は、
   前記映像内に人物が登場した時刻、前記映像内から人物が消失した時刻から該人物が該映像内に再度登場するまでの時刻、の少なくとも１つに基づいて前記行動を推定する
   ことを特徴とする請求項３記載の情報処理装置。
5. 前記行動推定モデルは、
   前記行動の推定を行なう時刻、前記人物が消失した時刻、前記人物が登場した時刻、前記人物が消失した後、再度登場するまでの時間を示す再登場時間、の内の少なくとも１つの条件情報と、当該条件情報に対応した行動推定結果を示す行動推定結果情報とを対応付けたリストである
   ことを特徴とする請求項３記載の情報処理装置。
6. 前記行動推定モデルは、
   前記行動の推定を行なう時刻、前記人物が消失した時刻、前記人物が登場した時刻、前記人物が消失した後、再度登場するまでの時間を示す再登場時間、の内の少なくとも１つを変数として当該変数に対応した行動推定結果を示す行動推定結果情報を算出する関数である
   ことを特徴とする請求項３記載の情報処理装置。
7. 前記抽出手段は、
   前記映像内における人物の特徴を認識する人物認識機能を有し、
   前記モデル保持手段は、
   人物毎に前記エリアに関する行動推定モデルを保持し、
   前記取得手段は、
   前記同定された前記エリアと、前記人物認識の結果とに対応する行動推定モデルを前記モデル保持手段から取得する
   ことを特徴とする請求項１記載の情報処理装置。
8. 前記行動推定手段は、
   前記映像内から人物が消失する前の該人物の特徴と、前記映像内に再度登場した人物の特徴とに基づいて、前記映像内に登場した人物の前記登場前の行動を推定する
   ことを特徴とする請求項７記載の情報処理装置。
9. 前記モデル保持手段は、
   前記現実空間における音声を計測するセンサからの出力値毎に前記エリアに関する行動推定モデルを保持し、
   前記取得手段は、
   前記同定された前記エリアと、前記センサの出力値とに対応する行動推定モデルを前記モデル保持手段から取得する
   ことを特徴とする請求項１記載の情報処理装置。
10. 前記行動推定手段により推定された行動の履歴を要約して提示、該履歴を前記人物のライフログデータとして提示、該履歴を健康医療データとして提示、の少なくとも１つを行なう記録提示手段
    を更に具備することを特徴とする請求項１記載の情報処理装置。
11. 撮像装置により現実空間が撮影された映像内から人物を含む人物抽出領域を抽出する抽出手段と、
    前記映像内に予め設定された１又は複数のエリアに対応して当該エリアに関する行動推定モデルを保持するモデル保持手段と、
    前記抽出手段により抽出された前記人物抽出領域の履歴に基づき前記映像内に人物が登場した前記エリアを同定する登場エリア同定手段と、
    前記同定された前記エリアに対応する行動推定モデルを前記モデル保持手段から取得する取得手段と、
    前記取得手段により取得された前記行動推定モデルを用いて前記映像内に登場した人物の登場前の行動を推定する行動推定手段と
    を具備することを特徴とする情報処理装置。
12. 情報処理装置における行動推定方法であって、
    抽出手段が、撮像装置により現実空間が撮影された映像内から人物を含む人物抽出領域を抽出する工程と、
    モデル保持手段が、前記映像内に予め設定された１又は複数のエリアに対応して当該エリアに関する行動推定モデルを保持する工程と、
    消失エリア同定手段が、前記抽出手段により抽出された前記人物抽出領域の履歴に基づき前記映像内から人物が消失した前記エリアを同定する工程と、
    取得手段が、前記同定された前記エリアに対応する行動推定モデルを前記モデル保持手段から取得する工程と、
    行動推定手段が、前記取得手段により取得された前記行動推定モデルを用いて前記映像内から消失した人物の消失後の行動を推定する工程と
    を含むことを特徴とする行動推定方法。
13. コンピュータを、
    撮像装置により現実空間が撮影された映像内から人物を含む人物抽出領域を抽出する抽出手段、
    前記映像内に予め設定された１又は複数のエリアに対応して当該エリアに関する行動推定モデルを保持するモデル保持手段、
    前記抽出手段により抽出された前記人物抽出領域の履歴に基づき前記映像内から人物が消失した前記エリアを同定する消失エリア同定手段、
    前記同定された前記エリアに対応する行動推定モデルを前記モデル保持手段から取得する取得手段、
    前記取得手段により取得された前記行動推定モデルを用いて前記映像内から消失した人物の消失後の行動を推定する行動推定手段
    として機能させるためのプログラム。

Images