JP7124888B2 - 推定方法、推定プログラムおよび推定装置 - Google Patents

Description

本発明は、推定方法、推定プログラムおよび推定装置に関する。

従来、人物までの距離を測定する距離センサ（以下、深度センサともいう。）が出力する距離画像（以下、深度画像ともいう。）に基づいて、人物の姿勢や動きを認識する装置がある。当該装置は、例えば、１台の距離センサから出力される距離画像に基づいて、３次元の骨格位置を持つ骨格モデルを抽出する。その後、当該装置は、抽出した骨格モデルに基づいて、人物の動作を特定する。

米国特許出願公開第２０１０／０１９７３９０号明細書 特開２０１７－１１９１０２号公報 国際公開第２０１７／１８７６４１号

M. Kitagawa and B. Windser、"MoCap for Artists"、Elsevier/Focal Press、2008、pp.188-193 大島雄治、外1名、「水平面における下胴の動きに着目した疾走動作の三次元動力学」、体育学研究、一般社団法人日本体育学会、2016年6月、第61巻、第1号、p.115-131 長谷川秀太、外2名、「姿勢を考慮したハンドジェスチャーを利用する機器操作の提案・評価」、研究報告、一般社団法人情報処理学会、2012年3月、第2012-HCI-147巻、第24号、p.1-6

体操などの採点支援競技において審判支援や選手強化を行うため、アスリートの骨格の３次元の複雑な動きを認識する技術の確立が要求されている。距離画像から人物の姿勢を検出し、人物の姿勢に応じた骨格認識用予測モデルと距離画像とを用いて骨格認識を行う。従来までの人物の姿勢の検出では、両肩を結ぶ線の自転方向における向きを表す自転軸と、背骨の前転方向における向きを表す倒立軸との２軸を用いて人物の姿勢を検出してきた。しかしながら、この２軸を用いる場合、人物の側転方向の区別がつかない。また、人物が横倒しになると、左右の肩を水平面に射影すると重なるため、ベクトルの成分がなくなり、自転方向の角度も求められない。従って、これらの姿勢が存在する宙返りやひねりを反映した姿勢を推定することが困難である。

一つの側面では、宙返りやひねりを反映した姿勢を推定する推定方法、推定プログラムおよび推定装置を提供することにある。

一つの態様では、推定方法は、センサから第１被写体までの距離の情報を含む第１距離画像を取得する処理をコンピュータが実行する。推定方法は、第２被写体の３軸極座標データと、第２距離画像とを学習した姿勢認識用の予測モデルを用いて、取得した前記第１距離画像から前記第１被写体の３軸極座標データを推定する処理をコンピュータが実行する。ここで、第２被写体の３軸極座標データは、第２被写体の位置を表す座標データに基づいて生成された、第２被写体の背骨に対応する背骨ベクトル、および、第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データである。また、第２距離画像は、第２被写体の位置を表す座標データおよびセンサからの距離に基づく距離画像である。推定方法は、前記第１被写体の前記３軸極座標データに基づき、前記第１被写体の姿勢を推定する処理をコンピュータが実行する。

宙返りやひねりを反映した姿勢を推定できる。

図１は、実施例１の推定システムの構成の一例を示す図である。 図２は、自転軸および倒立軸の一例を示す図である。 図３は、自転軸および倒立軸における角度の一例を示す図である。 図４は、自転軸および倒立軸を用いた場合における表現が難しい人物の姿勢の一例を示す図である。 図５は、実施例１の推定装置の構成の一例を示すブロック図である。 図６は、３軸極座標における背骨ベクトルおよび肩ベクトルの一例を示す図である。 図７は、オイラー角表現の一例を示す図である。 図８は、３軸極座標表現とオイラー角表現との比較の一例を示す図である。 図９は、採点支援画面の一例を示す図である。 図１０は、実施例１の学習処理の一例を示すフローチャートである。 図１１は、実施例１の推定処理の一例を示すフローチャートである。 図１２は、実施例２の推定装置の構成の一例を示すブロック図である。 図１３は、解析結果記憶部の一例を示す図である。 図１４は、採点支援画面の他の一例を示す図である。 図１５は、実施例２の推定処理の一例を示すフローチャートである。 図１６は、宙返り回数決定処理の一例を示すフローチャートである。 図１７は、ひねり回数決定処理の一例を示すフローチャートである。 図１８は、推定プログラムを実行するコンピュータの一例を示す図である。

以下、図面に基づいて、本願の開示する推定方法、推定プログラムおよび推定装置の実施例を詳細に説明する。なお、本実施例により、開示技術が限定されるものではない。また、以下の実施例は、矛盾しない範囲で適宜組みあわせてもよい。

図１は、実施例１の推定システムの構成の一例を示す図である。図１に示す推定システム１は、距離センサ１０と、推定装置１００とを有する。なお、推定システム１では、距離センサ１０の数は限定されず、任意の数の距離センサ１０を有するようにしてもよい。距離センサ１０と推定装置１００との間は、有線または無線にて、相互に通信可能に接続される。

推定システム１は、被写体である人物５を距離センサ１０で測定し、測定結果に基づいて、推定装置１００が人物５の姿勢等を推定するシステムの一例である。

距離センサ１０は、例えば、赤外線レーザ等を用いて対象物の距離を画素ごとに測定（センシング）し、距離画像を出力する。距離画像には、各画素までの距離が含まれる。つまり、距離画像は、距離センサ（深度センサ）１０から見た被写体の深度を表す深度画像である。距離センサ１０は、例えば、概ね１５ｍまでの距離にある対象物（被写体）の距離を測定する。本実施例では、対象物は人物５となる。

ここで、図２から図４を用いて、自転軸および倒立軸の２軸を用いる場合における人物の姿勢の検出について説明する。なお、以下の説明では、人物の姿勢の検出を姿勢認識ともいう。図２は、自転軸および倒立軸の一例を示す図である。図２に示すように、人物の姿勢は、自転軸２０に対応するベクトル２１と、倒立軸２２に対応するベクトル２３とを用いて表すことができる。このとき、自転軸２０は、人物の右肩および左肩を結ぶ線の自転方向における向きを表す。また、倒立軸２２は、背骨の前転方向における向きを表す。このように２軸を用いる場合、２関節を結ぶ直線（ベクトル２１，２３）を基準とする平面に射影し、当該平面内の基準とする直線とのなす角の大きさで姿勢を分類する。

図３は、自転軸および倒立軸における角度の一例を示す図である。図３に示すように、自転軸における角φを求めるには、人物２４の右肩２４ａと左肩２４ｂとを結ぶ線分２５を、カメラ座標系における水平面（横断面）に射影する。次に、射影した水平面上において、基準線２６と射影した線分２５とのなす角φを求める。また、倒立軸における角θを求めるには、線分２５とカメラ座標系における鉛直方向の直線を含む平面に垂直な平面に、背骨上の２点を結ぶ線分を延長した背骨ライン２７を射影する。次に、射影した平面上において、基準線２８と射影した背骨ライン２７とのなす角θを求める。２軸を用いる推定装置の場合、角φ，θを用いて姿勢認識を行う。

図４は、自転軸および倒立軸を用いた場合における表現が難しい人物の姿勢の一例を示す図である。図４に示すように、２軸を用いる推定装置の場合、人物の側転方向の姿勢２９，３０，３１は、角φ，θが全て同じ値（＝０）となるため、区別がつかない。また、２軸を用いる推定装置の場合、姿勢３２において、左右の肩を水平面に射影すると、影３３に示すように重なってしまうのでベクトルの成分がなくなり、自転方向の角φが求められない。なお、姿勢３２に近い姿勢の場合では、ベクトル成分が小さくなるため、角φがブレやすくなる。すなわち、自転軸および倒立軸の２軸を用いる場合では、姿勢２９～姿勢３２が存在する宙返りやひねりを反映した姿勢を表現することが難しい。

図１の説明に戻って、推定装置１００は、距離センサ１０から入力される距離画像に基づいて、人物５の姿勢等を認識する。推定装置１００は、距離センサ１０から第１被写体である人物５までの距離の情報を含む第１距離画像を取得する。推定装置１００は、姿勢認識用予測モデルの学習時の人物である第２被写体の３軸極座標データと、第２距離画像とを学習した姿勢認識用予測モデルを用いて、取得した第１距離画像から第１被写体の３軸極座標データを推定する。ここで、第２被写体の３軸極座標データは、第２被写体の位置を表す座標データに基づいて生成された、第２被写体の背骨に対応する背骨ベクトル、および、第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データである。また、第２距離画像は、第２被写体の位置を表す座標データおよび距離センサ１０からの距離に基づく距離画像である。推定装置１００は、人物５の３軸極座標データに基づき、人物５の姿勢を推定する。これにより、推定装置１００は、宙返りやひねりを反映した姿勢を推定できる。

次に、図５を用いて推定装置１００の機能構成について説明する。図５は、実施例１の推定装置の構成の一例を示すブロック図である。図５に示すように、推定装置１００は、通信部１１０と、表示部１１１と、操作部１１２と、記憶部１２０と、制御部１３０とを有する。なお、推定装置１００は、図５に示す機能部以外にも既知のコンピュータが有する各種の機能部、例えば各種の入力デバイスや音声出力デバイス等の機能部を有することとしてもかまわない。推定装置１００の一例としては、可搬型のパーソナルコンピュータ等を採用できる。なお、推定装置１００には、上記の可搬型のパーソナルコンピュータのみならず、据置型のパーソナルコンピュータを採用することもできる。

通信部１１０は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。通信部１１０は、距離センサ１０と有線または無線で接続され、距離センサ１０との間で情報の通信を司る通信インタフェースである。

表示部１１１は、各種情報を表示するための表示デバイスである。表示部１１１は、例えば、表示デバイスとして液晶ディスプレイ等によって実現される。表示部１１１は、制御部１３０から入力された表示画面等の各種画面を表示する。

操作部１１２は、推定装置１００のユーザから各種操作を受け付ける入力デバイスである。操作部１１２は、例えば、入力デバイスとして、キーボードやマウス等によって実現される。操作部１１２は、ユーザによって入力された操作を操作情報として制御部１３０に出力する。なお、操作部１１２は、入力デバイスとして、タッチパネル等によって実現されるようにしてもよく、表示部１１１の表示デバイスと、操作部１１２の入力デバイスとは、一体化されるようにしてもよい。

記憶部１２０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子、ハードディスクや光ディスク等の記憶装置によって実現される。記憶部１２０は、姿勢認識用予測モデル記憶部１２１と、骨格認識用予測モデル記憶部１２２とを有する。また、記憶部１２０は、制御部１３０での処理に用いる情報を記憶する。

姿勢認識用予測モデル記憶部１２１は、第１被写体である人物５の第１距離画像が、どのような姿勢であるかを判定する際に用いられる予測モデル情報を記憶する。姿勢認識用予測モデル記憶部１２１は、例えば、第２被写体である人物の距離画像と、３軸極座標データとを対応付けて機械学習した学習済モデルである姿勢認識用予測モデルを記憶する。なお、姿勢認識用予測モデルは、第２被写体である人物の距離画像と、３軸極座標データを分類した姿勢番号とを対応付けて機械学習した学習済モデルであってもよい。機械学習のアルゴリズムとしては、例えば、ランダムフォレストやディープラーニングを用いることができる。

骨格認識用予測モデル記憶部１２２は、姿勢認識の認識結果ごとの仮定の関節位置（骨格位置）を示す予測モデル情報を記憶する。姿勢認識の認識結果は、例えば、３軸極座標データ、または、３軸極座標データを分類した姿勢番号を用いることができる。骨格認識用予測モデル記憶部１２２は、例えば、姿勢番号と、係る姿勢番号に対応する距離画像と、人物の関節位置の情報（骨格認識用予測モデル情報）とを対応づける。図示を省略するが、各姿勢番号に対応する骨格認識用予測モデル情報がそれぞれ存在するものとする。なお、骨格認識用予測モデル記憶部１２２は、３軸極座標データと、距離画像と、関節位置の情報とについて機械学習を行うことで生成される。また、骨格認識用予測モデル記憶部１２２は、姿勢番号に対応する種々の距離画像と、人物の関節位置の情報とについて機械学習を行うことで生成されるようにしてもよい。この場合、機械学習のアルゴリズムとしては、例えば、ランダムフォレストやディープラーニングを用いることができる。

制御部１３０は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）、ＭＰＵ（Micro Processing Unit）等によって、内部の記憶装置に記憶されているプログラムがＲＡＭを作業領域として実行されることにより実現される。また、制御部１３０は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現されるようにしてもよい。

制御部１３０は、学習部１３１と、取得部１３２と、推定部１３３と、認識部１３４とを有し、以下に説明する情報処理の機能や作用を実現または実行する。すなわち、制御部１３０の各処理部は、学習処理および推定処理を実行する。なお、制御部１３０の内部構成は、図５に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。

学習部１３１は、学習対象である第２被写体の人物について、当該人物の姿勢を表す３軸極座標データと、距離画像とを学習して姿勢認識用予測モデルを生成する。例えば、学習部１３１は、第２被写体の人物についてモーションキャプチャによって生成された座標データを、図示しないモーションキャプチャ用の情報処理装置から取得してもよい。例えば、学習部１３１は、ＣＧ（Computer Graphics）を使って生成した第２被写体の人物の座標データをＣＧデータ作成用の情報処理装置から取得してもよい。取得した座標データは、第２被写体の人物のｘ，ｙ，ｚ軸の３軸における位置を表す座標データである。

学習部１３１は、取得した座標データに基づいて、第２被写体の人物の背骨上の２関節から背骨ベクトルを算出する。学習部１３１は、ｙ軸と、算出した背骨ベクトルのなす角θを算出する。学習部１３１は、背骨ベクトルをｘｚ平面に射影し、ｚ軸とのなす角φを算出する。

学習部１３１は、取得した座標データに基づいて、第２被写体の人物の右肩および左肩の２関節から肩ベクトルを算出する。学習部１３１は、背骨ベクトルがｙ軸に重なるような回転行列を求める。学習部１３１は、求めた回転行列を用いて肩ベクトルを回転する。学習部１３１は、回転後の肩ベクトルをｘｚ平面に射影し、ｘ軸とのなす角ξを算出する。すなわち、学習部１３１は、角θ，φ，ξを成分とする３軸極座標データを算出する。

学習部１３１は、取得した座標データに基づいて、第２被写体の人物について、距離センサ１０を仮定した場合における距離画像の画素ごとに距離を算出する。学習部１３１は、取得した座標データ、および、算出した画素ごとの距離センサ１０からの距離に基づいて、第２距離画像を生成する。つまり、第２距離画像は、学習対象の第２被写体の人物を距離センサ１０で測定したと仮定した場合の距離画像である。

学習部１３１は、生成した第２距離画像と、算出した３軸極座標データとを学習して姿勢認識用予測モデルを生成する。学習部１３１は、生成した姿勢認識用予測モデルを姿勢認識用予測モデル記憶部１２１に記憶する。

言い換えると、学習部１３１は、第２被写体の３軸極座標データ、または、３軸極座標データを分類した姿勢番号と、第２距離画像とを学習して姿勢認識用予測モデルを生成する。ここで、第２被写体の３軸極座標データは、第２被写体の位置を表す座標データに基づいて生成された、第２被写体の背骨に対応する背骨ベクトル、および、第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データである。また、第２距離画像は、第２被写体の位置を表す座標データおよび距離センサ１０からの距離に基づく距離画像である。

ここで、図６から図８を用いて、３軸極座標データの３軸極座標表現について説明する。図６は、３軸極座標における背骨ベクトルおよび肩ベクトルの一例を示す図である。図６に示すように、人物３５の頚椎３６と腰椎３７とを結ぶ線分を背骨ベクトル３８とする。また、人物３５の右肩３９と左肩４０とを結ぶ線分を肩ベクトル４１とする。本実施例の３軸極座標表現４２では、背骨ベクトル３８の向き（θ，φ）と、肩ベクトル４１の回転（ξ）との３つの角度を用いて人物の姿勢を表す。なお、距離センサ１０に対して正面正立の場合に角θ，φ，ξは、ともに０°（０度）とする。また、定義域はそれぞれ、０°≦θ＜３６０°、０°≦φ＜１８０°、０°≦ξ＜３６０°とする。

つまり、３軸極座標表現４２では、背骨ベクトル３８の値を傾く方向と傾いた量とに分けたことで人物の側転に対応する。また、３軸極座標表現４２では、肩ベクトル４１の向きの算出時の軸を背骨としたことで人物の横倒し姿勢に対応する。これを体操競技に適用すると、角θが宙返り実施時の回転成分を示し、角ξがひねり実施時の回転成分を示すことになる。すなわち、背骨ベクトル３８は、第２被写体の傾く方向と、傾いた量とを表し、肩ベクトル４１は、背骨ベクトル３８を軸とした第２被写体の回転方向を表す。

図７は、オイラー角表現の一例を示す図である。図７に示すオイラー角表現４３は、従来のアニメーションソフトで一般的に採用されている直交座標系を利用したものである。オイラー角表現４３では、ｘ軸周りの回転角度であるピッチと、ｙ軸周りの回転角度であるヨーと、ｚ軸周りの回転角度であるロールとを用いて、三次元の関節角度を表現する。

図８は、３軸極座標表現とオイラー角表現との比較の一例を示す図である。図８では、３軸極座標表現４２と同じ姿勢をオイラー角表現で表す場合におけるｘ軸、ｙ軸、ｚ軸の回転を表す。まず、初期値であるオイラー角表現４５では、背骨ベクトル３８ａがｙ軸と重なり、肩ベクトル４１ａがｘ軸と平行であるとする。次に、オイラー角表現４５を、ｙ軸周りにφｅ回転してオイラー角表現４６とする。つまり、オイラー角表現４６では、ξｅの基準がφｅ回転する。このとき、ｘ軸はｘ’軸となり、ｚ軸はｚ’軸となる。さらに、オイラー角表現４６を、ｘ’軸周りにθｅ回転してオイラー角表現４７とする。このとき、ｘ’軸はｘ’’軸となり、ｙ軸はｙ’軸となり、ｚ’軸はｚ’’軸となる。さらに、オイラー角表現４７を、ｙ’軸周りにξｅ回転してオイラー角表現４８とする。

オイラー角表現４８の背骨ベクトル３８ａおよび肩ベクトル４１ａは、３軸極座標表現４２の背骨ベクトル３８および肩ベクトル４１と等しくなる。３軸極座標表現４２とオイラー角表現４８とにおける、それぞれの角度の対応は、φ＝φｅ、θ＝θｅ、ξ＝ξｅ－φｅとなる。体操競技では、φｅは人物の移動とともに時々刻々と変化するため、ξｅだけではひねり回転量を推定できない。また、ξ＝ξｅとならないのは、３軸極座標表現４２では距離センサ１０の方向をξ＝０°と定義しており、オイラー角表現４８とは０°の基準が異なるためである。従って、体操競技における宙返りおよびひねり運動を認識する場合には、オイラー角表現４８よりも３軸極座標表現４２の方が優れていると言える。

図５の説明に戻って、取得部１３２は、通信部１１０を介して、距離センサ１０から距離画像を受信して取得を開始する。取得部１３２は、取得した距離画像を第１距離画像として推定部１３３に出力する。すなわち、取得部１３２は、距離センサ１０から第１被写体までの距離の情報を含む第１距離画像の取得を開始する。

推定部１３３は、取得部１３２から第１距離画像が入力されると、姿勢認識用予測モデル記憶部１２１を参照し、姿勢認識用予測モデルを用いて第１被写体である人物５の３軸極座標データを推定する。つまり、推定部１３３は、人物５の姿勢を認識する。推定部１３３は、第１距離画像と、推定した３軸極座標データとを認識部１３４に出力する。

言い換えると、推定部１３３は、姿勢認識用予測モデルを用いて、取得した第１距離画像から第１被写体の３軸極座標データを推定する。また、推定部１３３は、第１被写体の３軸極座標データに基づき、第１被写体の姿勢を推定する。また、推定部１３３は、推定した姿勢に基づいて選択された骨格認識用予測モデルを用いて第１被写体の骨格を認識する骨格認識処理に、推定した姿勢に関するデータを出力する。

認識部１３４は、推定部１３３から第１距離画像と、推定した３軸極座標データが入力されると、骨格認識用予測モデル記憶部１２２を参照し、推定した３軸極座標データに基づいて、骨格認識用予測モデルを選択する。認識部１３４は、骨格認識用予測モデル記憶部１２２の選択した骨格認識用予測モデルを用いて、第１距離画像に基づいて、第１被写体である人物５の骨格の３次元位置を決定し、人物５の姿勢を示す骨格情報を生成する。つまり、認識部１３４は、第１被写体である人物５の骨格認識を行う。認識部１３４は、認識した骨格情報を、例えば、表示部１１１に出力して表示させる。認識部１３４は、例えば、認識した骨格情報に基づいて各関節の角度を表示部１１１に出力して表示させる。また、認識部１３４は、認識した骨格情報の画像と各関節の角度とを審査員用の端末に送信して、当該端末に採点支援画面を表示させるようにしてもよい。

図９は、採点支援画面の一例を示す図である。図９に示すように、審査員用の端末５０は、例えば、人物５を距離センサ１０が計測して推定装置１００が骨格情報を受信し、採点支援画面５１を表示する。なお、採点支援画面５１には、骨格情報に基づいて各関節の角度を表示するようにしてもよい。

なお、認識部１３４は、生成した骨格情報を、例えば、距離画像やカメラで撮像された撮像画像と骨格補正処理を行う処理部や処理装置に出力するようにしてもよい。つまり、認識部１３４は、生成した骨格情報を、例えば骨格モデルとして、ＣＧアニメーションに利用可能に出力したりすることができる。さらに、認識部１３４は、生成した骨格情報を、例えば、特定のフォーマットに加工して、図示しない外部記憶装置等に出力するようにしてもよい。なお、認識部１３４は、生成した骨格情報に基づいて、３次元モデルを生成して表示部１１１に出力して表示するようにしてもよい。

次に、実施例１の推定装置１００の動作について説明する。まず、図１０を用いて学習処理について説明する。図１０は、実施例１の学習処理の一例を示すフローチャートである。

学習部１３１は、第２被写体の人物についてモーションキャプチャまたはＣＧ処理によって生成された座標データを、図示しないモーションキャプチャ用またはＣＧ処理用の情報処理装置から取得する。学習部１３１は、取得した座標データに基づいて、第２被写体の人物の背骨上の２関節から背骨ベクトルを算出する（ステップＳ１）。学習部１３１は、ｙ軸と、算出した背骨ベクトルのなす角θを算出する（ステップＳ２）。学習部１３１は、背骨ベクトルをｘｚ平面に射影し、ｚ軸とのなす角φを算出する（ステップＳ３）。

学習部１３１は、取得した座標データに基づいて、第２被写体の人物の右肩および左肩の２関節から肩ベクトルを算出する（ステップＳ４）。学習部１３１は、背骨ベクトルがｙ軸に重なるような回転行列を求め、求めた回転行列で肩ベクトルを回転する（ステップＳ５）。学習部１３１は、回転後の肩ベクトルをｘｚ平面に射影し、ｘ軸とのなす角ξを算出する（ステップＳ６）。

学習部１３１は、取得した座標データに基づいて、第２被写体の人物について、距離センサ１０を仮定した場合における距離画像の画素ごとに距離を算出する。学習部１３１は、取得した座標データ、および、算出した画素ごとの距離センサ１０からの距離に基づいて、第２距離画像を生成する（ステップＳ７）。

学習部１３１は、生成した第２距離画像と、算出した３軸極座標データ（θ，φ，ξ）とを学習して姿勢認識用予測モデルを生成する（ステップＳ８）。学習部１３１は、生成した姿勢認識用予測モデルを姿勢認識用予測モデル記憶部１２１に記憶する。これにより、推定装置１００は、第２被写体の３軸極座標データと第２距離画像とを学習した姿勢認識用予測モデルを生成できる。

続いて、距離センサ１０から取得する第１距離画像について姿勢認識を行う推定処理について説明する。図１１は、実施例１の推定処理の一例を示すフローチャートである。

取得部１３２は、距離センサ１０から第１距離画像を受信して取得を開始する（ステップＳ１１）。取得部１３２は、取得した第１距離画像を推定部１３３に出力する。

推定部１３３は、取得部１３２から第１距離画像が入力されると、姿勢認識用予測モデル記憶部１２１を参照し、姿勢認識用予測モデルを用いて第１被写体である人物５の３軸極座標データを推定する（ステップＳ１２）。推定部１３３は、第１距離画像と、推定した３軸極座標データとを認識部１３４に出力する。すなわち、推定部１３３は、出力制御部の一例である。

認識部１３４は、推定部１３３から第１距離画像と、推定した３軸極座標データが入力されると、骨格認識用予測モデル記憶部１２２を参照し、推定した３軸極座標データに基づいて、骨格認識用予測モデルを選択する（ステップＳ１３）。

認識部１３４は、骨格認識用予測モデル記憶部１２２の選択した骨格認識用予測モデルを用いて、第１距離画像に基づいて、第１被写体である人物５の姿勢を示す骨格情報を生成する（ステップＳ１４）。認識部１３４は、認識した骨格情報および骨格情報に基づく各関節の角度を、例えば、表示部１１１に出力して表示させる（ステップＳ１５）。これにより、推定装置１００は、第１被写体の骨格および各関節の角度の推定結果を出力できる。すなわち、推定装置１００は、骨格および各関節の角度の評価手法を提供する。

このように、推定装置１００は、距離センサ１０から第１被写体である人物５までの距離の情報を含む第１距離画像を取得する。また、推定装置１００は、姿勢認識用予測モデルの学習時の人物である第２被写体の３軸極座標データと、第２距離画像とを学習した姿勢認識用予測モデルを用いて、取得した第１距離画像から第１被写体の３軸極座標データを推定する。ここで、第２被写体の３軸極座標データは、第２被写体の位置を表す座標データに基づいて生成された、第２被写体の背骨に対応する背骨ベクトル、および、第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データである。また、第２距離画像は、第２被写体の位置を表す座標データおよび距離センサ１０からの距離に基づく距離画像である。また、推定装置１００は、人物５の３軸極座標データに基づき、人物５の姿勢を推定する。その結果、推定装置１００は、姿勢ごとに作成した骨格認識用予測モデルを使うことで、より精度の高い骨格の推定結果を出力できる。

また、推定装置１００は、推定した姿勢に基づいて選択された骨格認識用予測モデルを用いて第１被写体の骨格を認識する骨格認識処理に、推定した姿勢に関するデータを出力する。その結果、推定装置１００は、姿勢に関するデータを用いて骨格認識を行うことができる。

また、推定装置１００では、背骨ベクトルは、第２被写体の傾く方向と、傾いた量とを表し、肩ベクトルは、背骨ベクトルを軸とした第２被写体の回転方向を表す。その結果、推定装置１００は、３軸極座標表現のデータを学習した姿勢認識用予測モデルを生成および利用することができる。

上記実施例１では、推定した３軸極座標データを用いて骨格認識を行ったが、３軸極座標データから宙返り回数およびひねり回数を直接求めて技（わざ）を判定してもよく、この場合の実施の形態につき、実施例２として説明する。なお、実施例１の推定装置１００と同一の構成には同一符号を付すことで、その重複する構成および動作の説明については省略する。

図１２は、実施例２の推定装置の構成の一例を示すブロック図である。図１２に示す推定装置２００は、実施例１の推定装置１００と比較して、記憶部１２０および制御部１３０に代えて記憶部２２０および制御部２３０を有する。また、記憶部２２０は、記憶部１２０と比較して、技記憶部２２３および解析結果記憶部２２４を有する。また、制御部２３０は、制御部１３０と比較して、認識部１３４に代えて決定部２３６を有する。

技記憶部２２３は、宙返り回数およびひねり回数と、体操の技（わざ）とを対応付けて記憶する。また、技記憶部２２３は、宙返り回数およびひねり回数と、体操の技（わざ）と、得点とを対応付けて記憶してもよい。

解析結果記憶部２２４は、技の開始から終了までの第１距離画像のフレームごとの角θ，ξと、第１被写体である人物５の動作解析結果とを記憶する。図１３は、解析結果記憶部の一例を示す図である。図１３に示すように、解析結果記憶部２２４は、「フレーム番号」、「θ」、「ξ」といった項目を有する。

「フレーム番号」は、技の開始から終了までの第１距離画像のフレーム番号を示す情報である。つまり、第１距離画像は、技の開始から終了までの時間に対応する動画像である。「θ」は、フレームごとの角θの値を示す情報である。「ξ」は、フレームごとの角ξの値を示す情報である。また、フレーム番号「最終」の次の行は「動作解析結果」とし、当該行の項目「θ」、「ξ」には、それぞれ角θの解析結果と、角ξの解析結果とが格納される。図１３の例では、角θに基づく「１回宙返り」との解析結果と、角ξに基づく「２回ひねり」との解析結果が格納される。

図１２の説明に戻って、決定部２３６は、推定部１３３から入力される第１距離画像と、推定した３軸極座標データとに応じて、宙返り回数決定処理とひねり回数決定処理とを並行して実行する。なお、実施例２では、推定部１３３は、第１距離画像のフレームごとに、第１距離画像と、推定した３軸極座標データとを決定部２３６に出力する。

決定部２３６は、宙返り回数決定処理として、まず、回数算出用の変数θｄｉｆｆに初期値を設定する（θｄｉｆｆ＝０）。決定部２３６は、推定部１３３から第１距離画像と、推定した３軸極座標データ（θ，φ，ξ）とが入力されると、角θを解析結果記憶部２２４の対応するフレーム番号のθ欄に記憶し、θｄｉｆｆ＝θｄｉｆｆ＋（θ－θｐｒｅ）を演算する。なお、当該演算は、θｄｉｆｆ＋＝θ－θｐｒｅとも表す。また、θｐｒｅにθを代入する（θｐｒｅ＝θ）。なお、θｐｒｅの初期値は０である。つまり、決定部２３６は、１フレームごとの角θの増加分をθｄｉｆｆに積算する。

決定部２３６は、θｄｉｆｆが１８０を超えたか否かを判定する。つまり、決定部２３６は、θｄｉｆｆが１８０°を超えたか否かを判定する。決定部２３６は、θｄｉｆｆが１８０を超えたと判定した場合には、宙返り回数を０．５回増加させる。また、決定部２３６は、θｄｉｆｆから１８０を減算し（θｄｉｆｆ＝θｄｉｆｆ－１８０）、技が終了したか否かを判定する。なお、当該減算は、θｄｉｆｆ－＝１８０とも表す。決定部２３６は、θｄｉｆｆが１８０を超えないと判定した場合には、宙返り回数を増加させずに、技が終了したか否かを判定する。

決定部２３６は、技が終了していないと判定した場合には、第１距離画像の次のフレームについて同様に、角θの増加分をθｄｉｆｆに積算し、θｄｉｆｆが１８０を超えたか否かの判定結果に応じて宙返り回数を増加させる。決定部２３６は、技が終了したと判定した場合には、その時点における宙返り回数を、技（わざ）の宙返り回数として決定し、解析結果記憶部２２４の動作解析結果に対応するθ欄に記憶する。

決定部２３６は、ひねり回数決定処理として、まず、回数算出用の変数ξｄｉｆｆに初期値を設定する（ξｄｉｆｆ＝０）。決定部２３６は、推定部１３３から第１距離画像と、推定した３軸極座標データ（θ，φ，ξ）とが入力されると、角ξを解析結果記憶部２２４の対応するフレーム番号のξ欄に記憶し、ξｄｉｆｆ＝ξｄｉｆｆ＋（ξ－ξｐｒｅ）を演算する。なお、当該演算は、ξｄｉｆｆ＋＝ξ－ξｐｒｅとも表す。また、ξｐｒｅにξを代入する（ξｐｒｅ＝ξ）。なお、ξｐｒｅの初期値は０である。つまり、決定部２３６は、１フレームごとの角ξの増加分をξｄｉｆｆに積算する。

決定部２３６は、ξｄｉｆｆが１８０を超えたか否かを判定する。つまり、決定部２３６は、ξｄｉｆｆが１８０°を超えたか否かを判定する。決定部２３６は、ξｄｉｆｆが１８０を超えたと判定した場合には、ひねり回数を０．５回増加させる。また、決定部２３６は、ξｄｉｆｆから１８０を減算し（ξｄｉｆｆ＝ξｄｉｆｆ－１８０）、技が終了したか否かを判定する。なお、当該減算は、ξｄｉｆｆ－＝１８０とも表す。決定部２３６は、ξｄｉｆｆが１８０を超えないと判定した場合には、ひねり回数を増加させずに、技が終了したか否かを判定する。

決定部２３６は、技が終了していないと判定した場合には、第１距離画像の次のフレームについて同様に、角ξの増加分をξｄｉｆｆに積算し、ξｄｉｆｆが１８０を超えたか否かの判定結果に応じてひねり回数を増加させる。決定部２３６は、技が終了したと判定した場合には、その時点におけるひねり回数を、技（わざ）のひねり回数として決定し、解析結果記憶部２２４の動作解析結果に対応するξ欄に記憶する。すなわち、決定部２３６は、推定した３軸極座標データの時系列変化に基づいて、第１被写体の宙返り回数、および、ひねり回数のうち、少なくとも一方の回数を決定する。

決定部２３６は、技記憶部２２３を参照し、決定した宙返り回数およびひねり回数に基づいて技を判定する。また、決定部２３６は、判定した技（わざ）の得点を取得してもよい。決定部２３６は、判定した技（わざ）、宙返り回数、および、ひねり回数を、例えば、表示部１１１に出力して表示させる。また、決定部２３６は、判定した技（わざ）、宙返り回数、ひねり回数および得点を、表示部１１１に出力して表示させてもよい。また、決定部２３６は、判定した技（わざ）、宙返り回数、ひねり回数および得点と、図示しないカメラで撮像された第１被写体の画像とを審査員用の端末に送信して、当該端末に採点支援画面を表示させるようにしてもよい。

図１４は、採点支援画面の他の一例を示す図である。図１４に示すように、審査員用の端末５２は、例えば、人物５を距離センサ１０が計測して推定装置２００が判定した技（わざ）、宙返り回数およびひねり回数と、第１被写体である人物５の画像とを受信し、採点支援画面５３を表示する。なお、端末５２は、採点支援画面５３に技の得点を表示してもよい。

次に、実施例２の推定装置２００の動作について説明する。なお、学習処理は、実施例１と同様であるので、その説明を省略する。図１５は、実施例２の推定処理の一例を示すフローチャートである。以下の説明では、推定処理のステップＳ１１の処理は、実施例１と同様であるので、その説明を省略する。

推定装置２００の決定部２３６は、ステップＳ１１の処理に続いて以下の処理を実行する。決定部２３６は、推定部１３３から入力される第１距離画像と、推定した３軸極座標データとに応じて、宙返り回数決定処理（ステップＳ２１）と、ひねり回数決定処理（ステップＳ２２）とを並行して実行する。

ここで、図１６を用いて宙返り回数決定処理について説明する。図１６は、宙返り回数決定処理の一例を示すフローチャートである。決定部２３６は、θｄｉｆｆに初期値０を設定する（ステップＳ２１１）。推定部１３３は、姿勢認識用予測モデル記憶部１２１を参照し、姿勢認識用予測モデルを用いて第１被写体である人物５の３軸極座標データを推定する（ステップＳ２１２）。推定部１３３は、第１距離画像と、推定した３軸極座標データとを決定部２３６に出力する。

決定部２３６は、推定部１３３から第１距離画像と、推定した３軸極座標データ（θ，φ，ξ）とが入力されると、角θを解析結果記憶部２２４の対応するフレーム番号のθ欄に記憶し、θｄｉｆｆ＋＝θ－θｐｒｅを演算する。また、θｐｒｅにθを代入する（ステップＳ２１３）。

決定部２３６は、θｄｉｆｆが１８０を超えたか否かを判定する（ステップＳ２１４）。決定部２３６は、θｄｉｆｆが１８０を超えたと判定した場合には（ステップＳ２１４：肯定）、宙返り回数を０．５回増加させる。また、決定部２３６は、θｄｉｆｆから１８０を減算し（ステップＳ２１５）、ステップＳ２１６に進む。決定部２３６は、θｄｉｆｆが１８０を超えないと判定した場合には（ステップＳ２１４：否定）、宙返り回数を増加させずに、ステップＳ２１６に進む。

決定部２３６は、技が終了したか否かを判定する（ステップＳ２１６）。決定部２３６は、技が終了していないと判定した場合には（ステップＳ２１６：否定）、ステップＳ２１２に戻り、第１距離画像の次のフレームについて同様に処理を行う。決定部２３６は、技が終了したと判定した場合には（ステップＳ２１６：肯定）、その時点における宙返り回数を、技（わざ）の宙返り回数として決定し（ステップＳ２１７）、元の処理に戻る。これにより、決定部２３６は、宙返り回数を決定できる。

次に、図１７を用いてひねり回数決定処理について説明する。図１７は、ひねり回数決定処理の一例を示すフローチャートである。決定部２３６は、ξｄｉｆｆに初期値０を設定する（ステップＳ２２１）。推定部１３３は、姿勢認識用予測モデル記憶部１２１を参照し、姿勢認識用予測モデルを用いて第１被写体である人物５の３軸極座標データを推定する（ステップＳ２２２）。推定部１３３は、第１距離画像と、推定した３軸極座標データとを決定部２３６に出力する。

決定部２３６は、推定部１３３から第１距離画像と、推定した３軸極座標データ（θ，φ，ξ）とが入力されると、角ξを解析結果記憶部２２４の対応するフレーム番号のξ欄に記憶し、ξｄｉｆｆ＋＝ξ－ξｐｒｅを演算する。また、ξｐｒｅにξを代入する（ステップＳ２２３）。

決定部２３６は、ξｄｉｆｆが１８０を超えたか否かを判定する（ステップＳ２２４）。決定部２３６は、ξｄｉｆｆが１８０を超えたと判定した場合には（ステップＳ２２４：肯定）、ひねり回数を０．５回増加させる。また、決定部２３６は、ξｄｉｆｆから１８０を減算し（ステップＳ２２５）、ステップＳ２２６に進む。決定部２３６は、ξｄｉｆｆが１８０を超えないと判定した場合には（ステップＳ２２４：否定）、ひねり回数を増加させずに、ステップＳ２２６に進む。

決定部２３６は、技が終了したか否かを判定する（ステップＳ２２６）。決定部２３６は、技が終了していないと判定した場合には（ステップＳ２２６：否定）、ステップＳ２２２に戻り、第１距離画像の次のフレームについて同様に処理を行う。決定部２３６は、技が終了したと判定した場合には（ステップＳ２２６：肯定）、その時点におけるひねり回数を、技（わざ）のひねり回数として決定し（ステップＳ２２７）、元の処理に戻る。これにより、決定部２３６は、ひねり回数を決定できる。

図１５の説明に戻って、決定部２３６は、技記憶部２２３を参照し、決定した宙返り回数およびひねり回数に基づいて技を判定する（ステップＳ２３）。また、決定部２３６は、判定した技（わざ）の得点を取得する。決定部２３６は、判定した技（わざ）、宙返り回数、ひねり回数および得点を、例えば、表示部１１１に出力して表示させる（ステップＳ２４）。これにより、推定装置２００は、宙返りやひねりの回数に基づいて技を認識することができる。

このように、推定装置２００は、推定した３軸極座標データの時系列変化に基づいて、第１被写体の宙返り回数、および、ひねり回数のうち、少なくとも一方の回数を決定する。その結果、推定装置２００は、宙返りやひねりの回数に基づいて技を認識することができる。

なお、上記各実施例では、体操競技を行う人物５を測定して姿勢、骨格、動作の認識を行ったが、これに限定されない。例えば、フィギュアスケート等の他の採点競技や、リハビリテーションでの動作の検証、野球やゴルフ、バスケットボールのフリースロー等のフォームの分析、工場のライン作業における新人への指導支援等にも適用してもよい。

また、上記各実施例では、第１被写体が一人の場合について説明したが、これに限定されない。例えば、バスケットボールや女子新体操団体等の複数人の場合についても、全員が収まる画角を設定して距離撮像を撮像するようにすればよい。

また、図示した各部の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各部の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況等に応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、認識部１３４と判定部１３５とを統合してもよい。また、図示した各処理は、上記の順番に限定されるものでなく、処理内容を矛盾させない範囲において、同時に実施してもよく、順序を入れ替えて実施してもよい。

さらに、各装置で行われる各種処理機能は、ＣＰＵ（またはＧＰＵ、ＭＰＵ、ＭＣＵ（Micro Controller Unit）等の演算装置）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＧＰＵ、ＭＰＵ、ＭＣＵ等の演算装置）で解析実行されるプログラム上、またはワイヤードロジックによるハードウェア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。

ところで、上記の各実施例で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の各実施例と同様の機能を有するプログラムを実行するコンピュータの一例を説明する。図１８は、推定プログラムを実行するコンピュータの一例を示す図である。

図１８に示すように、コンピュータ３００は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３とを有する。また、コンピュータ３００は、記憶媒体からプログラム等を読み取る媒体読取装置３０４と、各種装置と接続するためのインタフェース装置３０５と、距離センサ１０や他の情報処理装置等と有線または無線により接続するための通信装置３０６とを有する。また、コンピュータ３００は、各種情報を一時記憶するＲＡＭ３０７と、ハードディスク装置３０８とを有する。また、各装置３０１～３０８は、バス３０９に接続される。

ハードディスク装置３０８には、図５に示した学習部１３１、取得部１３２、推定部１３３および認識部１３４の各処理部と同様の機能を有する推定プログラムが記憶される。また、ハードディスク装置３０８には、姿勢認識用予測モデル記憶部１２１、骨格認識用予測モデル記憶部１２２、および、推定プログラムを実現するための各種データが記憶される。また、ハードディスク装置３０８には、図１２に示した学習部１３１、取得部１３２、推定部１３３および決定部２３６の各処理部と同様の機能を有する推定プログラムが記憶されるようにしてもよい。また、ハードディスク装置３０８には、姿勢認識用予測モデル記憶部１２１、骨格認識用予測モデル記憶部１２２、技記憶部２２３、解析結果記憶部２２４、および、推定プログラムを実現するための各種データが記憶されるようにしてもよい。

入力装置３０２は、例えば、コンピュータ３００のユーザから操作情報等の各種情報の入力を受け付ける。モニタ３０３は、例えば、コンピュータ３００のユーザに対して表示画面等の各種画面を表示する。インタフェース装置３０５は、例えば印刷装置等が接続される。通信装置３０６は、例えば、図５，図１２に示した通信部１１０と同様の機能を有し距離センサ１０や他の情報処理装置と接続され、距離センサ１０や他の情報処理装置と各種情報をやりとりする。

ＣＰＵ２０１は、ハードディスク装置３０８に記憶された各プログラムを読み出して、ＲＡＭ３０７に展開して実行することで、各種の処理を行う。また、これらのプログラムは、コンピュータ３００を図５に示した学習部１３１、取得部１３２、推定部１３３および認識部１３４として機能させることができる。また、これらのプログラムは、コンピュータ３００を図１２に示した学習部１３１、取得部１３２、推定部１３３および決定部２３６として機能させることができる。

なお、上記の推定プログラムは、必ずしもハードディスク装置３０８に記憶されている必要はない。例えば、コンピュータ３００が読み取り可能な記憶媒体に記憶されたプログラムを、コンピュータ３００が読み出して実行するようにしてもよい。コンピュータ３００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこの推定プログラムを記憶させておき、コンピュータ３００がこれらから推定プログラムを読み出して実行するようにしてもよい。

１ 推定システム
１０ 距離センサ
１００，２００ 推定装置
１１０ 通信部
１１１ 表示部
１１２ 操作部
１２０，２２０ 記憶部
１２１ 姿勢認識用予測モデル記憶部
１２２ 骨格認識用予測モデル記憶部
１３０，２３０ 制御部
１３１ 学習部
１３２ 取得部
１３３ 推定部
１３４ 認識部
２２３ 技記憶部
２２４ 解析結果記憶部
２３６ 決定部

Claims (8)

1. センサから第１被写体までの距離の情報を含む第１距離画像を取得し、
   第２被写体の位置を表す座標データに基づいて生成された、前記第２被写体の背骨に対応する背骨ベクトル、および、前記第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データと、前記第２被写体の前記座標データおよび前記センサからの距離に基づく第２距離画像とを学習した姿勢認識用予測モデルを用いて、取得した前記第１距離画像から前記第１被写体の３軸極座標データを推定し、
   前記第１被写体の前記３軸極座標データに基づき、前記第１被写体の姿勢を推定し、
   推定した前記３軸極座標データの時系列変化に基づいて、前記第１被写体の宙返り回数、および、ひねり回数のうち、少なくとも一方の回数を決定する、
   処理をコンピュータが実行することを特徴とする推定方法。
2. さらに、推定した前記姿勢に基づいて選択された骨格認識用予測モデルを用いて前記第１被写体の骨格を認識する骨格認識処理に、推定した前記姿勢に関するデータを出力する、
   処理をコンピュータが実行することを特徴とする請求項１に記載の推定方法。
3. 前記背骨ベクトルは、前記第２被写体の傾く方向と、傾いた量とを表し、前記肩ベクトルは、前記背骨ベクトルを軸とした前記第２被写体の回転方向を表す、
   ことを特徴とする請求項１に記載の推定方法。
4. センサから第１被写体までの距離の情報を含む第１距離画像を取得し、
   第２被写体の位置を表す座標データに基づいて生成された、前記第２被写体の背骨に対応する背骨ベクトル、および、前記第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データと、前記第２被写体の前記座標データおよび前記センサからの距離に基づく第２距離画像とを学習した姿勢認識用予測モデルを用いて、取得した前記第１距離画像から前記第１被写体の３軸極座標データを推定し、
   推定した前記３軸極座標データの時系列変化に基づいて、前記第１被写体の宙返り回数、および、ひねり回数のうち、少なくとも一方の回数を決定する、
   処理をコンピュータが実行することを特徴とする推定方法。
5. センサから第１被写体までの距離の情報を含む第１距離画像を取得し、
   第２被写体の位置を表す座標データに基づいて生成された、前記第２被写体の背骨に対応する背骨ベクトル、および、前記第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データと、前記第２被写体の前記座標データおよび前記センサからの距離に基づく第２距離画像とを学習した姿勢認識用予測モデルを用いて、取得した前記第１距離画像から前記第１被写体の３軸極座標データを推定し、
   前記第１被写体の前記３軸極座標データに基づき、前記第１被写体の姿勢を推定し、
   推定した前記３軸極座標データの時系列変化に基づいて、前記第１被写体の宙返り回数、および、ひねり回数のうち、少なくとも一方の回数を決定する、
   処理をコンピュータに実行させることを特徴とする推定プログラム。
6. センサから第１被写体までの距離の情報を含む第１距離画像を取得し、
   第２被写体の位置を表す座標データに基づいて生成された、前記第２被写体の背骨に対応する背骨ベクトル、および、前記第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データと、前記第２被写体の前記座標データおよび前記センサからの距離に基づく第２距離画像とを学習した姿勢認識用予測モデルを用いて、取得した前記第１距離画像から前記第１被写体の３軸極座標データを推定し、
   推定した前記３軸極座標データの時系列変化に基づいて、前記第１被写体の宙返り回数、および、ひねり回数のうち、少なくとも一方の回数を決定する、
   処理をコンピュータに実行させることを特徴とする推定プログラム。
7. センサから第１被写体までの距離の情報を含む第１距離画像を取得する取得部と、
   第２被写体の位置を表す座標データに基づいて生成された、前記第２被写体の背骨に対応する背骨ベクトル、および、前記第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データと、前記第２被写体の前記座標データおよび前記センサからの距離に基づく第２距離画像とを学習した姿勢認識用予測モデルを用いて、取得した前記第１距離画像から前記第１被写体の３軸極座標データを推定する推定部と、
   前記第１被写体の前記３軸極座標データに基づき、前記第１被写体の姿勢を推定する姿勢推定部と、
   推定した前記３軸極座標データの時系列変化に基づいて、前記第１被写体の宙返り回数、および、ひねり回数のうち、少なくとも一方の回数を決定する決定部と、
   を有することを特徴とする推定装置。
8. センサから第１被写体までの距離の情報を含む第１距離画像を取得する取得部と、
   第２被写体の位置を表す座標データに基づいて生成された、前記第２被写体の背骨に対応する背骨ベクトル、および、前記第２被写体の両肩を結ぶ線に対応する肩ベクトルに基づく３軸極座標データと、前記第２被写体の前記座標データおよび前記センサからの距離に基づく第２距離画像とを学習した姿勢認識用予測モデルを用いて、取得した前記第１距離画像から前記第１被写体の３軸極座標データを推定する推定部と、
   推定した前記３軸極座標データの時系列変化に基づいて、前記第１被写体の宙返り回数、および、ひねり回数のうち、少なくとも一方の回数を決定する決定部と、
   を有することを特徴とする推定装置。

Images