JP4882899B2 - 音声解析装置、および音声解析方法、並びにコンピュータ・プログラム - Google Patents

Description

本発明は、音声解析装置、および音声解析方法、並びにコンピュータ・プログラムに関し、特に、入力音声の韻律的特徴に基づいて識別を行なう場合に用いて好適な、音声解析装置、および音声解析方法、並びにコンピュータ・プログラムに関する。

近年、音声認識技術が広く利用されてきている。従来の音声認識技術は、基本的に、音声に含まれる情報のうち、音韻に関する情報（以下「音韻情報」と称する）を認識する技術であり、一般的な音声認識技術では、音声に含まれる音韻以外の情報である韻律に関する情報（以下「韻律情報」と称する）については、積極的に利用されているとは言い難い状況である。

しかしながら、韻律情報を利用する従来技術が全くないわけではなく、例えば文節境界位置をより適切に決定するために、韻律情報を利用している技術等が知られている（例えば、特許文献１参照）。
特開平０４−６６９９９号公報

しかしながら、上述した特許文献１に記載の従来技術は、音声認識技術の精度向上のために韻律情報を補助的に利用しているものであり、韻律情報が有する、より多様な情報を明に識別するものではない。

ところで、人間の発話音声には、音韻情報のみでは識別が困難な場合がある。例えば、日本語の場合、肯定的な意図を表す発話である「うん」と否定的な意図を表す発話である「ううん」とでは、音韻情報的にはほとんど同じ発話である。このような場合に、音声に含まれる音韻情報のみでは、肯定的な意図と否定的な意図とを識別することは困難であり、いわゆる韻律情報、例えば「イントネーションのパターン」や「音韻継続時間」等の情報に基づいて識別を行う必要がある。

音声信号処理においてイントネーションに関する処理を取り扱う場合には、ピッチ周波数（あるいはピッチ周期）の検出が広く利用されている。しかし、ピッチ周波数の検出では、ノイズ等の影響によりエラーが発生しやすいといった問題がある。また、ささやき声やピッチ性が低い音声においても、ピッチ周波数検出のエラーが発生しやすい。このようなピッチ周波数の検出エラーが発生しやすい状況において、あるいは検出エラーが発生しやすい対象に対しては、韻律情報に基づく識別は困難であると言える。

本発明はこのような状況に鑑みてなされたものであり、ノイズ等の影響が大きい場合や、ささやき声やピッチ性が低い音声においても、ピッチ周波数の検出が有効に行え、入力音声の韻律的特徴に基づいて信頼性の高い音声認識を行うことができるようにするものである。

本出願人は、この目的の為に、ピッチ周波数の検出を行なうことなしに、入力音声の２つの時間的に異なる周波数特性の間の変化から得られる相対ピッチ変化量によって韻律識別を行なう方法を既に提案（特願２００６−１６１３７０）している。

この特願２００６−１６１３７０において提案した方法では、入力音声の韻律的特徴に基づいて識別を行う際に、入力音声の時間的に異なる２つの周波数特性の間の周波数方向の変化に基づいて得られる相対ピッチ変化量を求め、この相対ピッチ変化量に基づいて認識処理を行うことを特徴とする。

このような、時間的に異なる２つの周波数特性間の相対ピッチ変化量を用いて韻律識別を行うことにより、従来ではピッチ周波数の抽出が困難な、ノイズ等の影響が大きい場合や、ささやき声やピッチ性が低い音声の場合等においても、ロバストな識別が可能となる。

加えて、本出願人は、前記２つの周波数特性の内、一方の周波数特性を固定とすることを特徴とする方法についても既に提案（特願２００６−３２５７８０）している。この方法により、入力音声に無声音や無音区間が含まれている場合においても、相対ピッチパターンが不連続とならず、一般的なピッチ周波数の検出によって求められたピッチパターンと同様の、適切な相対ピッチパターンを求めることが可能となる。

一方の周波数特性を固定して相対ピッチ変化量を求める前記従来手法においても、一般的なピッチ周波数検出法と同様に、いわゆる倍ピッチ、あるいは半ピッチの問題が発生する場合がある。倍ピッチ、あるいは半ピッチの問題とは、音声信号中の検出されるべき本来のピッチ周波数に対応した成分よりも、その倍の周波数、あるいは半分の周波数に対応した成分の方がより強い為に、誤って検出されてしまうという問題である。

本発明は、例えば、上記のような問題を解決するものであり、本発明の構成では、事前に用意されているテンプレート周波数特性との比較による相対ピッチ差と、時間的に隣接する部分の周波数特性との比較による相対ピッチ差を同時に求めるものであり、より具体的には、テンプレート周波数特性との比較による相対ピッチ差において、本来のピッチ周波数の整数比となる抽出誤りが発生したと思われる場合には、時間的に隣接する部分の周波数特性との比較による相対ピッチ差を考慮して抽出誤りを修正することで信頼性の高い音声認識を可能とする音声解析装置、および音声解析方法、並びにコンピュータ・プログラムを提供することを目的とする。

本発明の第１の側面は、
音声情報の韻律的特徴を解析して韻律識別結果を出力する音声解析装置であり、
音声情報の入力を行う入力部と、
前記入力部から入力する音声情報に対して時系列に設定される分析フレーム各々の周波数特性を解析し、各分析フレームの周波数特性の変化情報としての相対ピッチ変化量を算出する音響分析部と、
前記音響分析部の生成した相対ピッチ変化量に基づく音声識別処理を実行する識別部を有し、
前記音響分析部は、
現行分析フレームの周波数特性と、予め設定されたテンプレート周波数特性との間の相対ピッチ差である現行テンプレート相対ピッチ差を求め、
前記現行分析フレームに時間的に先行する先行フレームの周波数特性と、前記テンプレート周波数特性との間の相対ピッチ差である先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下であるか否かを判定し、
閾値以下でない場合、前記現行分析フレームの周波数特性と、前記先行フレームの周波数特性との間の相対ピッチ差である隣接相対ピッチ差を求め、
該隣接相対ピッチ差が予め設定されたマージン値以下である場合、前記現行テンプレート相対ピッチ差を１オクターブ分加算または減算する補正処理を実行して現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出する構成であることを特徴とする音声解析装置にある。

さらに、本発明の音声解析装置の一実施態様において、前記音響分析部は、前記先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下である場合は、前記現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出する構成であることを特徴とする。

さらに、本発明の音声解析装置の一実施態様において、前記音響分析部は、前記先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下でなく、かつ、前記隣接相対ピッチ差が予め設定されたマージン値以下でない場合は、前記現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出する構成であることを特徴とする。

さらに、本発明の音声解析装置の一実施態様において、前記音響分析部は、相対ピッチ差を算出する２つの周波数特性の関係を定義する相互相関行列を算出し、相互相関行列の構成データの値のピーク位置を結ぶ稜線の前記相互相関行列の主対角線からのシフト量に相当する値を相対ピッチ差として算出する構成であることを特徴とする。

さらに、本発明の音声解析装置の一実施態様において、前記音響分析部は、前記周波数特性情報を対数周波数軸上で表現した周波数特性情報を生成し、前記閾値をＴ、前記マージン値をδとした場合、
Ｔ＝ｌｏｇ（２）−δ
上記式によって定義される閾値、およびマージン値を適用した処理を実行する構成であることを特徴とする。

さらに、本発明の音声解析装置の一実施態様において、前記識別部は、予め記憶部に格納された韻律識別単位辞書に相当するパラメータと、前記音響分析部の生成する相対ピッチ変化量データとを比較して音声識別処理を実行する構成であることを特徴とする。

さらに、本発明の音声解析装置の一実施態様において、前記識別部は、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチング、またはニューラル・ネットワーク、またはＨＭＭ（隠れマルコフモデル）のいずれかを適用した処理により音声識別処理を実行する構成であることを特徴とする。

さらに、本発明の音声解析装置の一実施態様において、前記音声解析装置は、さらに、前記入力部からの入力音声データに対応したテキスト情報を音声認識結果として出力する音声認識部と、前記識別部の識別結果と、前記音声認識部の識別結果を適用して音声認識結果を出力する結果選択部とを有する構成であることを特徴とする。

さらに、本発明の音声解析装置の一実施態様において、前記結果選択部は、前記音声認識部における音声認識結果と特定単語記憶部に貯えられている特定単語との比較を行ない、音声認識結果が特定単語と一致する場合には、音声認識結果に、前記識別部において識別された韻律識別結果を付与して出力し、前記音声認識結果が特定単語と一致しない場合は、音声認識結果をそのまま出力する構成であることを特徴とする。

さらに、本発明の第２の側面は、
音声解析装置において、音声情報の韻律的特徴を解析して韻律識別結果を出力する音声解析方法であり、
入力部が、音声情報の入力を行う入力ステップと、
音響分析部が、前記入力部から入力する音声情報に対して時系列に設定される分析フレーム各々の周波数特性を解析し、各分析フレームの周波数特性の変化情報としての相対ピッチ変化量を算出する音響分析ステップと、
識別部が、前記音響分析部の生成した相対ピッチ変化量に基づく音声識別処理を実行する識別ステップを有し、
前記音響分析ステップは、
現行分析フレームの周波数特性と、予め設定されたテンプレート周波数特性との間の相対ピッチ差である現行テンプレート相対ピッチ差を求め、
前記現行分析フレームに時間的に先行する先行フレームの周波数特性と、前記テンプレート周波数特性との間の相対ピッチ差である先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下であるか否かを判定し、
閾値以下でない場合、前記現行分析フレームの周波数特性と、前記先行フレームの周波数特性との間の相対ピッチ差である隣接相対ピッチ差を求め、
該隣接相対ピッチ差が予め設定されたマージン値以下である場合、前記現行テンプレート相対ピッチ差を１オクターブ分加算または減算する補正処理を実行して現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出するステップであることを特徴とする音声解析方法にある。

さらに、本発明の音声解析方法の一実施態様において、前記音響分析ステップは、前記先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下である場合は、前記現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出するステップであることを特徴とする。

さらに、本発明の音声解析方法の一実施態様において、前記音響分析ステップは、前記先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下でなく、かつ、前記隣接相対ピッチ差が予め設定されたマージン値以下でない場合は、前記現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出するステップであることを特徴とする。

さらに、本発明の音声解析方法の一実施態様において、前記音響分析ステップは、相対ピッチ差を算出する２つの周波数特性の関係を定義する相互相関行列を算出し、相互相関行列の構成データの値のピーク位置を結ぶ稜線の前記相互相関行列の主対角線からのシフト量に相当する値を相対ピッチ差として算出するステップであることを特徴とする。

さらに、本発明の音声解析方法の一実施態様において、前記音響分析ステップは、前記周波数特性情報を対数周波数軸上で表現した周波数特性情報を生成し、前記閾値をＴ、前記マージン値をδとした場合、
Ｔ＝ｌｏｇ（２）−δ
上記式によって定義される閾値、およびマージン値を適用した処理を実行するステップであることを特徴とする。

さらに、本発明の音声解析方法の一実施態様において、前記識別ステップは、予め記憶部に格納された韻律識別単位辞書に相当するパラメータと、前記音響分析部の生成する相対ピッチ変化量データとを比較して音声識別処理を実行するステップであることを特徴とする。

さらに、本発明の音声解析方法の一実施態様において、前記識別ステップは、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチング、またはニューラル・ネットワーク、またはＨＭＭ（隠れマルコフモデル）のいずれかを適用した処理により音声識別処理を実行するステップであることを特徴とする。

さらに、本発明の音声解析方法の一実施態様において、前記音声解析方法は、さらに、音声認識部が、前記入力部からの入力音声データに対応したテキスト情報を音声認識結果として出力する音声認識ステップと、結果選択部が、前記識別部の識別結果と、前記音声認識部の識別結果を適用して音声認識結果を出力する結果選択ステップとを有することを特徴とする。

さらに、本発明の音声解析方法の一実施態様において、前記結果選択ステップは、前記音声認識部における音声認識結果と特定単語記憶部に貯えられている特定単語との比較を行ない、音声認識結果が特定単語と一致する場合には、音声認識結果に、前記識別部において識別された韻律識別結果を付与して出力し、前記音声認識結果が特定単語と一致しない場合は、音声認識結果をそのまま出力するステップであることを特徴とする。

さらに、本発明の第３の側面は、
音声解析装置において、音声情報の韻律的特徴を解析して韻律識別結果を出力させるコンピュータ・プログラムであり、
入力部に、音声情報の入力を行わせる入力ステップと、
音響分析部に、前記入力部から入力する音声情報に対して時系列に設定される分析フレーム各々の周波数特性を解析させて、各分析フレームの周波数特性の変化情報としての相対ピッチ変化量を算出させる音響分析ステップと、
識別部に、前記音響分析部の生成した相対ピッチ変化量に基づく音声識別処理を実行させる識別ステップを有し、
前記音響分析ステップは、
現行分析フレームの周波数特性と、予め設定されたテンプレート周波数特性との間の相対ピッチ差である現行テンプレート相対ピッチ差を求め、
前記現行分析フレームに時間的に先行する先行フレームの周波数特性と、前記テンプレート周波数特性との間の相対ピッチ差である先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下であるか否かを判定し、
閾値以下でない場合、前記現行分析フレームの周波数特性と、前記先行フレームの周波数特性との間の相対ピッチ差である隣接相対ピッチ差を求め、
該隣接相対ピッチ差が予め設定されたマージン値以下である場合、前記現行テンプレート相対ピッチ差を１オクターブ分加算または減算する補正処理を実行して現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出させるステップであることを特徴とするコンピュータ・プログラムにある。

なお、本発明のコンピュータ・プログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なコンピュータ・プログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例の構成によれば、入力音声の韻律的特徴に基づいて識別を行う韻律識別処理において、入力音声から生成される分析フレーム対応の周波数特性とテンプレート周波数特性との比較から第１の相対ピッチ差を抽出するとともに分析フレームの周波数特性と先行フレームの周波数特性との比較から第２の相対ピッチ差を算出し、これら２つの相対ピッチ差に基づいて隣接フレーム間の相対ピッチの連続性を考慮して相対ピッチ差の補正処理を実行する構成とした。本構成により、倍ピッチや半ピッチの抽出誤りを解消し、精度の高いかつロバストな韻律識別が可能となる。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。まず、システム構成及び全体の処理の流れについて説明し、次に、音響分析部の内部処理についてより詳細に説明する。

図１は、本発明を適用した音声解析装置１１の構成を示すブロック図である。音声解析装置１１は、入力部３１、韻律識別部３２、音声認識部３３、結果選択部３４、特定単語記憶部３５、および、出力部３６を含む。

入力部３１は、例えば、マイクなどにより取得された音声信号、または、他の装置から供給される音声信号の入力を受ける。
韻律識別部３２は、入力された音声信号の韻律識別処理を実行する。韻律とは、イントネーション、スピードの変化、大きさの変化など、テキストとして表現できない音声情報の特徴を示すものである。韻律識別部３２による韻律識別処理の詳細については後述する。

音声認識部３３は、入力された音声信号の音声認識処理を実行する。ここでは、公知のいずれの音声認識処理が実行されるものであっても良い。

結果選択部３４は、音声認識部３３の処理の結果が、特定単語記憶部３５に記録されている特定の単語である場合、韻律識別部３２による韻律識別結果を付与して、出力部３６に音声認識結果を出力し、音声認識部３３の処理の結果が、特定単語記憶部３５に記録されている特定の単語ではない場合、音声認識部３３の処理の結果をそのまま出力部３６に供給する。

特定単語記憶部３５は、音声認識部３３の処理に用いられる特定の単語の情報を記録するものである。具体的には、特定単語記憶部３５には、例えば、「うん」などのように、韻律を用いて認識するべき特定の単語か記憶されている。

出力部３６は、結果選択部３４から供給された音声認識結果を外部に出力する、すなわち、画面に表示したり、音として出力したり、さらには、その認識結果を用いて、他の装置を動作させたりなどの指令を行なうものである。

なお、本実施例では、韻律識別部３２、音声認識部３３の２つの処理部を有し、２つの処理部の処理結果を結果選択部３４で選択する構成例としているが、音声認識部３３を持たず、韻律識別部３２のみを有し、韻律識別部３２のみの識別結果を出力する設定としてもよい。

次に、音声解析装置１１の動作について説明する。図１において、入力部３１より入力された音声は、韻律識別部３２と音声認識部３３に供給される。韻律識別部３２および音声認識部３３のそれぞれにおいて、入力音声データに対して処理が行なわれ、その結果として、韻律識別部３２からは、入力音声データの韻律パターンに基づいて識別された発話タイプ（あるいはユーザの発話意図）が韻律識別結果として出力され、また音声認識部３３からは、入力音声データに対応したテキスト情報が音声認識結果として出力される。これら韻律識別結果と音声認識結果は、結果選択部３４へと与えられる。

結果選択部３４では、与えられた音声認識結果と特定単語記憶部３５に貯えられている特定単語との比較を行ない、音声認識結果が特定単語と一致する場合には、音声認識結果に韻律識別結果が付与あるいは統合され、出力部３６より出力される。また、音声認識結果が特定単語と一致しない場合には、音声認識結果がそのまま出力部３６より出力される。

例えば、特定単語として「うん」が設定されており、韻律識別部３２において、韻律の識別結果を元に、肯定を表す「うん」、否定を表す「ううん」及び疑問を表す「うん？」の３種類の発話タイプの識別が行なわれる場合において、特定単語である「うん」に対しては、肯定、否定、疑問のいずれかの発話タイプ（ユーザの発話意図）に関する情報が認識結果に付与されることとなる。

また、例えば、韻律識別部３２では、供給された音声を解析して、その発話のタイプを、「肯定」、「否定」、「疑問」、または、これら３つの発話タイプ以外であることを意味する「その他」から成る４つの発話タイプのいずれかに識別するものとしてもよい。そして、結果選択部３４は、韻律識別結果として「その他」が与えられた時には音声認識部３３からの音声認識結果のみを出力し、韻律識別結果が「肯定」、「否定」、「疑問」のいずれかの時には韻律識別部３２からの韻律識別結果を音声認識部３３からの音声認識結果に付与して出力するものとしてもよい。このような場合には、特定単語記憶部３５を省略することが可能である

図２は、図１の韻律識別部３２の構成を示すブロック図である。この図２に示す韻律識別部３２、入力部５１、音響分析部５２、識別部５３、パラメータ記憶部５４、及び出力部５５を有して構成されている。

なお、前述したように、図１の構成は、韻律識別部３２、音声認識部３３の２つの処理部を有し、２つの処理部の処理結果を結果選択部３４で選択する構成例としているが、音声認識部３３を持たず、韻律識別部３２のみを有する設定とした場合は、図２に示す構成が、音声解析装置全体構成となる。

図２に示す構成において、入力部５１は、図１に示す入力部３１からの音声信号を入力する。例えばマイクなどの音声信号を入力する装置とその入力信号を増幅するアンプ、およびデジタル信号に変換するＡＤ変換器などによって構成される。この入力部５１では、入力信号を例えば１６ｋＨｚでサンプリングした後、音響分析部５２へ送る。

音響分析部５２では、入力された音声信号から認識に必要な特徴量の抽出を行ない、これを識別部５３に送る。本実施の形態における音響分析部５２の内部処理については、後述する。

識別部５３では、予め学習用の音声データを音響分析して得られる特徴量をもとに作成しておいたパラメータ記憶部５４のパラメータを用いて、未知音声データに対する認識処理を行なう。

ここで、未知音声データに対する認識処理とは、入力された音声信号に対して、与えられた韻律識別単位辞書の中から、入力に対応した韻律識別単位を選び出す処理のことである。この認識手法としては、主なものとして、ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチング、ニューラル・ネットワーク、ＨＭＭ（隠れマルコフモデル）などを用いたものが使われる。

ＤＰマッチングは、各音声信号を分析して得られる特徴量からテンプレートと呼ばれる標準パターンを予めパラメータとして求め、このパラメータをパラメータ記憶部５４に記録しておき、未知音声の特徴量と比較して最も近いと判定されるものを見つけるという方式である。なお、発話速度の変動を吸収するため、ダイナミック・タイム・ワーピング（ｄｙｎａｍｉｃ ｔｉｍｅ ｗａｒｐｉｎｇ）と呼ばれる手法により、テンプレートとの歪みを最小化するように時間軸の伸縮を行なう方法がよく用いられる。

ニューラル・ネットワークは、人間の脳の構造を模倣するネットワークモデルによって認識を行なおうとするもので、学習過程により予めパスの重み係数をパラメータとして決定して、このパラメータをパラメータ記憶部５４に記録しておき、そのネットワークに未知音声の特徴量を入力して得られる出力をもとに、韻律識別単位辞書内の各韻律識別単位との距離を求め、入力された音声信号に対応する韻律識別単位を決定しようとするものである。

また、ＨＭＭは、確率モデルにより認識を行なおうとするもので、予め状態遷移モデルに対して、その遷移確率と出力シンボル確率を学習データをもとに決定しておき、未知音声の特徴量に対する各モデルの生起確率から韻律識別単位の決定を行なおうとする方式である。

以上述べたように、識別部５３における認識処理としては、一般に、学習過程と認識過程とを有しており、学習過程としては、予め学習用データから決定されたパラメータ、すなわちテンプレートや、ネットワークモデルの重み係数、確率モデルの統計的パラメータなどを求めておき、これをパラメータ記憶部５４に記憶しておく。

そして、認識過程では、入力された未知音声信号を音響分析した後、与えられた韻律識別単位辞書の中の韻律識別単位それぞれに対して、その認識手法に応じた距離や生起確率などのスコア付けを行ない、そのスコアが最も高いもの、あるいは上位複数個、を認識結果として選び出すということを行なう。

識別部５３にて得られた認識結果を、出力部５５に送る。出力部５５では、送信されてきた認識結果を画面に表示したり、音として出力したり、さらには、その認識結果を用いて、他の装置を動作させたりなどの指令を行なう。

ところで、従来のピッチ周波数の検出においては、発声における声帯振動の一周期であるピッチ周期の時間長（あるいはそのピッチ周期の逆数で表されるピッチ周波数）を、一意に決定することを前提としている。このピッチ周波数を一意に決定する処理は、発話音声に対応した周波数特性の分布において、最も低域に存在するピーク成分の中心周波数を求めることを意味する。

図３を参照してピッチ周波数の検出処理例について説明する。図３（ａ）は、通常音声の周波数特性、図３（ｂ）は、ささやき声の周波数特性を示している。例えば、図３（ａ）に示すような通常音声の周波数特性の場合には、周波数ｆｐがピッチ周波数に相当する。しかしながら、発話音声がノイズに混在している場合や、ささやき声のようなピッチ性の低い発話音声の場合では、上述したような従来のピッチ周波数の決定処理は困難なものとなる。例えば、図３（ｂ）に示すようなささやき声の周波数特性の場合には、最も低域に存在するピーク成分の中心周波数を検出することが困難である。

これに対して、韻律識別部３２では、図３（ｂ）に示すようなささやき声などのようなピッチ周波数の検出が困難な場合においても、相対ピッチ変化量を用いることで、適切なピッチ周波数を一意に決定するという周波数特性のピーク性に依存した処理を回避することができ、イントネーションの変化をよりロバストに捉えることができる。

また、従来のピッチ周波数検出では、発話音声に対応した周波数特性を１つの特徴量分布として捉え、その１つの分布から所望の特徴量（ピッチ周波数）を抽出するが、韻律識別部３２においては、ピッチ周波数を決定せずにその変化量を直接求めるため、ピッチ周波数やその変化範囲を意味するピッチ変動域を正規化する処理も必要としない。

このような処理は、主に音響分析部５２が実行する処理により実現されるものである。以下、音響分析部５２の具体的な構成及び作用について詳細に説明する。

＜音響分析部の内部処理＞
音響分析部５２は、図２に示すように、周波数特性分析部６１と相対ピッチ変化量計算部６２の２つを有して成る。

周波数特性分析部６１では、入力された音声信号から、その周波数特性への変換処理を行なう。この周波数特性分析部６１における具体的な処理の流れを、図４に示すフローチャートに沿って説明する。

まず、周波数特性分析部６１は、図４に示すフローチャートのステップＳ３１において、入力された音声信号を、ＦＦＴ（高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））分析等の時間周波数変換処理によって周波数領域への変換を行ない、一般的な周波数特性を得る。この周波数特性の一例を、図５の（Ａ）に示す。

次に、図４に示すフローチャートのステップＳ３２に進んで、この一般的な周波数特性における周波数軸を対数化することにより、対数周波数軸上での周波数特性に変換する。この対数周波数軸上での周波数特性の一例を図５の（Ｂ）に示す。

次に、図４に示すフローチャートのステップＳ３３に進み、対数周波数軸上での周波数特性において、所望の周波数領域部分のみを取り出し、この結果を周波数特性分析部の結果として出力する。図５の（Ｃ）には、上記図５の（Ｂ）の周波数特性の内の所望の周波数領域の部分のみを取り出した周波数特性を例示している。

以上説明した周波数特性分析部６１における分析の結果としての図５の（Ｃ）に示すような周波数特性が得られ、この周波数特性が相対ピッチ変化量計算部６２に送られる。周波数特性分析部６１は、予め定められた一定の時間間隔、すなわち入力部から入力する音声情報に対して時系列に設定される分析フレーム毎に図５（Ｃ）に示すような周波数特性を生成し、順次、相対ピッチ変化量計算部６２に出力する。

次に、相対ピッチ変化量計算部６２における処理例を、図６のフローチャートに沿って説明する。なお、図６に示すフローは、相対ピッチ変化量計算部６２における処理の概要である。本発明に従った音声解析装置の相対ピッチ変化量計算部６２は、図６に示すフローを基本的な処理として、さらに、後述する図１７に示すフローに従った処理を実行する。

図６のフローについて説明する。相対ピッチ変化量計算部６２では、最初に図６に示すフローチャートのステップＳ４１において、２つの周波数特性を用いて、周波数特性間の相互相関行列を計算する。

なお、本発明の音声解析装置では、相互相関行列を計算するために以下の異なる２つの周波数特性の組み合わせを適用する。
（ａ）時間的に異なる分析フレームにおける２つの周波数特性、
（ｂ）分析フレームの周波数特性と固定されたテンプレート周波数特性、

（ｂ）の処理については後段で詳細に説明する。ここでは、（ａ）時間的に異なる分析フレームにおける２つの周波数特性を用いた場合について説明する。上述した周波数特性分析部６１から送られてきた時間的に異なる分析フレームにおける２つの周波数特性を、列ベクトルＸ、Ｙで表し、その列ベクトルの次数をＮとする。これらの列ベクトルＸ、Ｙは、それぞれ次の式（式１）、（式２）のように表され、この時、相互相関行列Ｍは、式（式３）のように、ベクトルＸとＹの転置ベクトルＹ^Ｔとの積で表される行列である。

Ｘ＝（ｘ１，ｘ２，…ｘＮ）^Ｔ ・・・ （式１）
Ｙ＝（ｙ１，ｙ２，…ｙＮ）^Ｔ ・・・（式２）
Ｍ＝Ｘ×Ｙ^Ｔ ・・・（式３）

上記式（式３）で表される相互相関行列Ｍを、図７に示す。図７には、時間的に異なる分析フレームにおける２つの周波数特性Ａ７１，周波数特性Ｂ７２、さらに、周波数特性Ａ７１を列ベクトルＸ、周波数特性Ｂ７２を列ベクトルＹとしたとき、上記関係式（式３）を満足する相互相関行列Ｍ７３を示している。なお、２つの周波数特性Ａ７１，周波数特性Ｂ７２は、時間的に異なる分析フレームに対応する周波数特性であり、それぞれ先に図５（Ｃ）を参照して説明した周波数特性に対応する。

すなわち、各分析フレームの音声信号を、ＦＦＴ（高速フーリエ変換（Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ））分析等の時間周波数変換処理によって周波数領域への変換を行なって得られた一般的な周波数特性（図５（Ａ））における周波数軸を対数化して得られた対数周波数軸上での周波数特性（図５（Ｂ））の所望の周波数領域部分のみを取り出したデータ（図５（Ｃ））に対応する。図７に示す周波数特性Ａ７１は、横軸が対数周波数軸であり左から右に周波数が高くなり、周波数特性Ｂ７２では、上から下に周波数が高くなっている。

図７に示す相互相関行列Ｍ７３は、行列に含まれる数値を、数値に従って濃度（明暗）を変えてグラフィック表示すると、図８に示すような相互相関行列Ｍ７５として示すことができる。

なお、比較例として、２つの周波数特性が同じである場合、すなわち一方の周波数特性を表わす列ベクトルＸのみを用いて求めた自己相関行列８１を図９に、この自己相関行列を数値によってグラフィック表示した自己相関行列８２を図１０に、それぞれ示す。

図９、図１０から理解されるように、１つの周波数特性のみから得られる自己相関行列は対称行列であり、周波数特性の振幅の二乗からなるベクトル（パワースペクトル）は、自己相関行列の主対角線８３と一致する。パワースペクトルは、自己相関行列における主対角線以外の対角方向成分と比較すると、周波数特性の各ピーク（の二乗）同士を結ぶ稜線８３となる。

これに対して、図７、図８を参照して説明した２つの時間的に異なる分析フレームにおける周波数特性間の相互相関行列では、図８に示すように、稜線７７が行列の主対角線７６からずれた対角方向成分に位置する。

図８に示すように、２つの時間的に異なる分析フレームにおける周波数特性から得られた相互相関行列において、稜線が主対角線からずれる理由は、２つの周波数特性それぞれにおけるピッチ周波数が異なるためである。各周波数特性におけるピーク成分の周波数位置はおおよそ各ピッチ周波数の整数倍の位置となる。時間的に異なる分析フレームでの２つの周波数特性では、その分析フレーム間でピッチ周波数が変化しており、ピッチ周波数が異なる２つの周波数特性から得られる相互相関行列（周波数軸は対数表現）では、２つの周波数特性間で対応する各ピーク同士を結ぶ稜線は、相互相関行列の主対角線から平行にずれた対角方向成分上に現れる。この稜線の主対角線からのずれ、あるいはシフト量は、２つの周波数特性間のピッチ周波数（対数値）の差に対応する。

すなわち、時間的に異なる分析フレームでの２つの周波数特性から得られる相互相関行列において、主対角線からの稜線のシフト量を求めることにより、各分析フレームにおけるピッチ周波数を求めることなしに、分析フレーム間の対数ピッチ周波数の差（これを「相対ピッチ差」と呼ぶ）を求めることができる。図８に示す相対ピッチ差である。

なお、時間的に異なる分析フレームでの２つの周波数特性として、例えば、時間的に隣接する２つの分析フレームそれぞれにおける周波数特性を用いることが可能である。例えば、予め定めた時間間隔で、分析フレームが設定される場合、それぞれの時間的に隣接する分析フレーム間における相対ピッチ差を求めることができる。

音響分析部５２の相対ピッチ変化量算出部６２は、このように相対ピッチ差を算出する２つの周波数特性の関係を定義する相互相関行列を算出し、相互相関行列の構成データの値のピーク位置を結ぶ稜線の前記相互相関行列の主対角線からのシフト量に相当する値を相対ピッチ差として算出する。

続いて、所望の分析フレーム数において、隣接する分析フレーム間の相対ピッチ差を積算することにより、所望のフレーム数分における相対ピッチ変化量を計算する。ここでの所望のフレーム数の決定方法としては、上記識別部５３における学習過程における識別精度を基準とすることができる。

また、上述した例では、相対ピッチ差の算出に、２つの異なる時間の分析フレームの周波数特性を利用しているが、相対ピッチ差の算出に用いる２つの異なる周波数特性の内、一方の（比較対象となる）周波数特性を固定した周波数特性とし、他方を入力する音声波形に基づいて生成される各分析フレームの周波数特性として、固定された周波数特性と測定される分析フレームの周波数特性とから相対ピッチ差を求めることも可能である。

例えば、固定された周波数特性としては、音声解析装置のメモリに事前に用意し格納したテンプレート的な周波数特性データ（これを「テンプレート周波数特性」と呼ぶ）を利用することができる。

テンプレート周波数特性と、分析フレームの周波数特性と、これら２つの周波数特性によって求められる相互相関行列（濃度表現）の一例を、図１１（ｂ）に示す。なお、比較のために、図７、図８を参照して説明した時間的に異なる分析フレームにおける周波数特性との相互相関行列を図１１（ａ）に示す。

この図１１（ｂ）には、テンプレート周波数特性１０１、測定結果である１つの分析フレームから得られた周波数特性１０２、さらに、これらの２つの周波数特性１０１，１０２の相互相関行列（濃度表現）１０３を示している。テンプレート周波数特性１０１は、図１２に示すように、あるピッチ周波数（３００Ｈｚ）を基音として、その基音に対する高調波成分の大きさが線形に減衰するような周波数特性を模擬的に作り出したデータである。例えばこのような模擬的なデータをテンプレートとして適用することができる。

図１１（ｂ）に示すように、テンプレート周波数特性１０１と、分析フレームの周波数特性１０２とから求められる相互相関行列１０３を用いて、相対ピッチ差を求めることが出来る。

前述したように、ピッチ周波数が異なる２つの周波数特性から得られる相互相関行列（周波数軸は対数表現）では、２つの周波数特性間で対応する各ピーク同士を結ぶ稜線１１２は、相互相関行列の主対角線１１１から平行にずれた対角方向成分上に現れる。この稜線１１２の主対角線１１１からのずれ、あるいはシフト量は、２つの周波数特性間のピッチ周波数（対数値）の差、すなわち相対ピッチ差となる。

この図１１（ｂ）に示す例の場合には、絶対的な基準（ここでは３００Ｈｚ）に対する相対ピッチ差となるので、最終的には通常のピッチ周波数を求めることも可能となる。

以上のようにして、音響分析部５２における内部処理が行われ、識別のための特徴量としての相対ピッチ差が抽出される。

ところで、以上のような相対ピッチ差を求める手法においても、一般的なピッチ周波数抽出法における問題と同様に、倍ピッチ、あるいは半ピッチの抽出誤りが発生する場合がある。

図１３は、相対ピッチ差を特徴量として取得する手法における倍ピッチ抽出誤りの発生例を示している。図１３（Ａ）は、ある言葉の発話に対応する音声波形を示し、図１３（Ｂ）は、図１３（Ａ）に示す音声波形に対応するピッチパターンを示している。それぞれ横軸が時間軸であり、図１３（Ｂ）のグラフの縦軸はピッチ周波数［Ｈｚ］である。

図１３（Ｂ）のグラフに示す［○］の各々が、各分析フレームにおいて計測されたピッチ周波数を示している。ピッチ周波数は、一般的に各分析フレームにおいて滑らかに変化する。従って、図１３（Ｂ）に示す離間したデータ１２１，１２２は、倍ピッチ抽出誤りによって発生したデータであると推測できる。

図１４は、倍ピッチ抽出誤りが発生する部分における１分析フレーム分の周波数特性の例を示している。この図１４から理解されるように、この周波数特性には本来のピッチ周波数に対応した調波構造が見られるが、本来のピッチ周波数に対応するピーク成分１３１よりも、その２倍となる周波数に対応するピーク成分１３２の方がより大きくなっている。このピーク成分１３２をピッチ周波数として取得してしまうと、図１３（Ｂ）に示すデータ１２１，１２２が発生し、正しい解析ができないことになる。

図１５は、図１４に示す分析フレームの周波数特性とテンプレート周波数特性（ここでの基準となるピッチ周波数は１００Ｈｚ）との相互相関行列を示す図である。すなわち、図１４に示すような本来のピッチ周波数に対応するピーク成分１３１よりも、その２倍となる周波数に対応するピーク成分１３２の方がより大きくなっている分析フレームの周波数特性１５１、テンプレート周波数特性１５２、これら２つの周波数特性の相互相関行列１５３を示している。

相互相関行列１５３には、２つの周波数特性間で対応する各ピーク同士を結ぶ稜線１６１を示している。この稜線１６１は、本来のピッチ周波数の２倍の周波数に対応した位置を示しており、正しい稜線は、図１５の対角線１６３に近い第２の稜線１６２の位置となるべきである。

このように、本来のピッチ周波数の２倍の周波数に対応した位置を示す稜線１６１を適用して相対ピッチ差を求めると、図に示す相対ピッチ差１７１が求められる。しかし、実際の本来のピッチ周波数から算出すべき相対ピッチ差は、図に示す稜線１６２と対角線１６３のシフト量である相対ピッチ差１７２となるべきである。

このように、分析フレームの周波数特性における本来のピッチ周波数のピーク成分より、そのｎ倍周波数のピーク成分が大きい場合、相互相関行列から求める相対ピッチ差、すなわち稜線と主対角線のシフト量の決定が不適切になってしまう場合がある。

本発明は、このような問題を解決するものであり、本発明では、
（ａ）分析フレームの周波数特性とテンプレート周波数特性との比較による第１の相対ピッチ差、
（ｂ）時間的に隣接する部分の周波数特性との比較による第２の相対ピッチ差、
これら（ａ）、（ｂ）の２つの相対ピッチ差を求め、これら２種類の相対ピッチ差を利用して本来のピッチ周波数のピーク成分を確実に検出して正しい相対ピッチ差を得ることを可能としている。

図１６は、ある分析フレームの周波数特性２０１（周波数特性１５１と同じ）と、当該分析フレームに対する先行分析フレームの周波数特性２０２、例えばして１つ前のフレームにおける周波数特性２０２、これら２つの周波数特性から求められた相互相関行列２０３を示している。

この図１６に示す相互相関行列２０３において、それぞれの周波数特性のピークに対応する点を結んで形成される稜線は、図１６に示す稜線２１１となる。図１６に示す点線２１２は稜線として選択されない。図１６に示す稜線２１１を選択して対角線とのシフト量を算出すれば、正しい相対ピッチ差を算出することができる。これから理解されるように、時間的に隣接する部分の周波数特性との比較による相対ピッチ差においては、倍ピッチによる抽出誤りが発生していない。

これは、相互相関行列を求める際の２つの周波数特性それぞれのエンベロープの類似性の点において、当該フレームの周波数特性とテンプレート周波数特性との間よりも、当該フレームの周波数特性と隣接するフレームの周波数特性との間の方がより高いことによる。

次に、図１７に示すフローチャートを参照して、本発明の音声解析装置における処理シーケンス、すなわち、倍／半ピッチ修正処理のシーケンスについて説明する。この図１７に示すフローは、図２に示す韻律識別部３２の音響分析部５２の処理に相当し、主に相対ピッチ変化量計算部６２の処理である。

音声解析装置の記憶部（メモリ）には、テンプレート周波数特性データが格納され、相対ピッチ変化量計算部６２は、記憶部（メモリ）からテンプレート周波数特性データを取得し、さらに、予め設定された分析間隔毎に、周波数特性分析部６１において生成される分析フレームの周波数特性を逐次、入力して図１７に示すフローに従った処理を実行する。

まず、ステップＳ１０１において、新たに入力された分析フレームの周波数特性と、テンプレート周波数とから第１の相互相関行列を求め、求めた相互相関行列における稜線と対角線とのシフト量を算出し、これを第１の相対ピッチ差（以降、テンプレート相対ピッチ差と呼ぶ）とする。例えば、図１５に示す例では、テンプレート相対ピッチ差は相対ピッチ差１７１として算出される。

次に、ステップＳ１０２において、ステップＳ１０１で算出した現行の分析フレームのテンプレート相対ピッチ差と、１つ前の分析フレーム対応のテンプレート相対ピッチ差の差分を算出する。

次に、ステップＳ１０３において、ステップＳ１０２で算出した２つの相対ピッチ差の差分の絶対値が、予め定めた閾値以下であるか否かを判定する。閾値以下である場合には、処理を終了し、ステップＳ１０１で算出したテンプレート相対ピッチ差を、相対ピッチ変化量計算処理に適用する相対ピッチ差として決定する。

ステップＳ１０３において、ステップＳ１０２で算出した２つの相対ピッチ差の差分の絶対値が、予め定めた閾値以下でないと判定した場合は、ステップＳ１０４に進む。

なお、ステップＳ１０３において適用する閾値としては、例えば、１オクターブに対応する対数値に対してあるマージンの値を加算及び減算した値が適用される。例えば閾値（Ｔ）は以下の式（式４）によって算出される。 Ｔ＝ｌｏｇ（２）−δ ・・・（式４）
なお、
Ｔ：閾値
δ：マージン値
である。

ステップＳ１０４では、現分析フレームの周波数特性と、先行する１つ前の分析フレームの周波数特性との相互相関行列から第２の相対ピッチ差（以降、隣接相対ピッチ差と呼ぶ）の算出を行う。これは、例えば図１６に示す相互相関行列２０３において検出される稜線２１１と対角線（図１６では稜線２１１と一致）とのシフト量に相当する。

次に、ステップＳ１０５において、ステップＳ１０４で算出した隣接相対ピッチ差が、前述の（式４）に示すマージン値（δ）以下であるか否かを判定する。マージン値以下の場合には、ステップＳ１０６に進む。

ステップＳ１０４で算出した隣接相対ピッチ差が、前述の（式４）に示すマージン値（δ）以下でない場合は処理を終了し、ステップＳ１０１で算出したテンプレート相対ピッチ差を相対ピッチ変化量計算処理に適用する相対ピッチ差として決定する。

一方、ステップＳ１０５において、ステップＳ１０４で算出した隣接相対ピッチ差が、前述の（式４）に示すマージン値（δ）以下であると判定した場合は、ステップＳ１０６に進む。この場合は、ステップＳ１０１で算出したテンプレート相対ピッチ差は、倍ピッチ、あるいは半ピッチに近い相対ピッチ差であり、誤りであると判定し、ステップＳ１０１で算出したテンプレート相対ピッチ差から１オクターブに対応する対数値分を加減（倍ピッチの場合は１オクターブ分減算、半ピッチの場合は１オクターブ分加算）して、補正したテンプレート相対ピッチ差を算出し、この補正テンプレート相対ピッチ差を相対ピッチ変化量計算処理に適用する相対ピッチ差として決定する。

図２に示す韻律識別部３２の相対ピッチ変化量計算部６２では、以上のようなフローによって、倍／半ピッチの修正処理を行い、各分析フレームに対応する相対ピッチ差、すなわち、相対ピッチ変化量計算処理に適用する相対ピッチ差を決定する。

このように、本発明の一実施例に係る音声解析装置１１を構成する韻律識別部３２の音響分析部５２では、現行分析フレームの周波数特性と、予め設定されたテンプレート周波数特性との間の相対ピッチ差である現行テンプレート相対ピッチ差を求め、さらに、現行分析フレームに時間的に先行する先行フレームの周波数特性とテンプレート周波数特性との間の相対ピッチ差である先行テンプレート相対ピッチ差と、現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下であるか否かを判定し、閾値以下でない場合には、現行分析フレームの周波数特性と、先行フレームの周波数特性との間の相対ピッチ差である隣接相対ピッチ差を求め、この隣接相対ピッチ差が予め設定されたマージン値以下である場合は、現行テンプレート相対ピッチ差を１オクターブ分加算または減算する補正処理を実行して現行分析フレームの相対ピッチ差として決定し、この決定した相対ピッチ差を適用して相対ピッチ変化量を算出する。

なお、先行テンプレート相対ピッチ差と、現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下である場合、または、先行テンプレート相対ピッチ差と、現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下でなく、かつ、隣接相対ピッチ差が予め設定されたマージン値以下でない場合は、現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として決定する。

このように、図１７に示すフローに従った処理によって決定した各分析フレームの相対ピッチ差により、例えば図１８に示す相対ピッチ変化量データが生成される。図１８は、先に、図１３を参照して説明したと同様の音声データ（（Ａ）音声波形）に対して、図１７に示すフローに従った処理を適用して生成した相対ピッチ変化量データ（図１８（Ｂ）ピッチパターン）である。

図１８（Ｂ）に示すピッチパターンには、先に説明した図１３（Ｂ）に示す離間したデータ１２１，１２２が出現せず、図１７に示すフローに従った修正処理を加えることにより、倍ピッチ抽出誤りが解消される。

このように、本発明の音声解析装置では、入力音声の韻律的特徴に基づいて識別を行う韻律識別装置であり、２つの周波数特性間の相対ピッチ変化量を用いて識別を行う韻律識別装置において、テンプレート周波数特性との比較から相対ピッチ差を抽出すると同時に隣接フレームとの比較による相対ピッチ差も抽出し、隣接フレーム間での相対ピッチの連続性を考慮することにより、倍ピッチや半ピッチなどの抽出誤りを解消することが可能となり、より性格で安定した韻律識別による音声認識が可能となる。

なお、図３〜図１８を参照して説明した処理は、図２に示す韻律識別部３２の処理であり、この韻律識別部３２の処理のみによった音声認識を実行してもよいが、さらに、先に説明したように図１に示す構成に従って既存の音声認識部３３の処理を並列に実行して、韻律識別部３２の処理によって得られた認識結果と、既存の音声認識部３３の処理によって得られた認識結果を選択適用して最終的認識結果を出力する構成としてもよい。このような処理を行う場合の処理シーケンスについて、図１９に示すフローチャートを参照して説明する。

図１９のフローチャートは、図１に示す音声解析装置１１において実行される、音声認識処理のシーケンスを説明するフローである。図１に示す音声解析装置１１の構成図を参照して図１９のフローの各ステップの処理について説明する。

まず、ステップＳ２０１において、入力部３１は、音声信号の入力を受け、韻律識別部３２、音声認識部３３に供給する。次に、ステップＳ２０２において、音声認識部３３は、供給された音声信号を認識し、テキストデータを得て、結果選択部３４に供給する。

ステップＳ２０３において、韻律識別部３２は、図２〜図１８を用いて説明した韻律識別処理を実行する。ステップＳ２０４において、結果選択部３４は、韻律識別部３２および音声認識部３３から認識結果の供給を受け、音声認識部３３からの認識結果が、特定単語記憶部３５に記憶されている特定単語と一致するか否かを判断する。

ステップＳ２０４において、特定単語と一致しないと判断された場合、ステップＳ２０５において、結果選択部３４は、音声認識部３３による認識結果を出力部３６にそのまま出力して、処理が終了される。

ステップＳ２０４において、特定単語と一致すると判断された場合、ステップＳ２０６において、結果選択部３４は、音声認識部３３による認識結果に、韻律識別部３２による認識結果を付与して出力部３６に出力し、処理が終了される。

また、例えば、韻律識別部３２で、供給された音声を解析して、その発話のタイプを、「肯定」、「否定」、「疑問」、または、これら３つの発話タイプ以外であることを意味する「その他」から成る４つの発話タイプのいずれかに識別し、結果選択部３４で、韻律識別結果として「その他」が与えられた時には音声認識部３３からの音声認識結果のみを出力し、韻律識別結果が「肯定」、「否定」、「疑問」のいずれかの時には韻律識別部３２からの韻律識別結果を音声認識部３３からの音声認識結果に付与して出力するものとした場合、ステップＳ２０４において、結果選択部３４は、韻律識別部３２および音声認識部３３から認識結果の供給を受け、音声認識部３３からの認識結果が特定単語と一致するか否かを判断する代わりに、韻律識別結果が、「その他」であるか否かを判断し、「その他」である場合は、ステップＳ２０５の処理が実行され、「その他」以外である場合は、ステップＳ２０６の処理が実行されるものとすることができる。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例の構成によれば、入力音声の韻律的特徴に基づいて識別を行う韻律識別処理において、入力音声から生成される分析フレーム対応の周波数特性とテンプレート周波数特性との比較から第１の相対ピッチ差を抽出するとともに分析フレームの周波数特性と先行フレームの周波数特性との比較から第２の相対ピッチ差を算出し、これら２つの相対ピッチ差に基づいて隣接フレーム間の相対ピッチの連続性を考慮して相対ピッチ差の補正処理を実行する構成とした。本構成により、倍ピッチや半ピッチの抽出誤りを解消し、精度の高いかつロバストな韻律識別が可能となる。

本発明の一実施例に係る音声解析装置の構成例を示す図である。 本発明の一実施例に係る音声解析装置における韻律識別部の構成例を示す図である。 通常音声およびささやき声の周波数特性の例を示す図である。 韻律識別部の周波数特性分析部の処理シーケンスを説明するフローチャートを示す図である。 韻律識別部の周波数特性分析部の分析処理の具体例について説明する図である。 韻律識別部の相対ピッチ量計算部の基本的な処理シーケンスを説明するフローチャートを示す図である。 ２つの周波数特性によって生成する相互相関行列について説明する図である。 ２つの周波数特性によって生成する相互相関行列のグラフィック表現、および相対ピッチ差について説明する図である。 １つの周波数特性によって生成する自己相関行列について説明する図である。 １つの周波数特性によって生成する自己相関行列のグラフィック表現、および稜線、対角線について説明する図である。 テンプレート周波数特性と分析フレームの周波数特性によって生成する相互相関行列のグラフィック表現、および相対ピッチ差について説明する図である。 テンプレート周波数特性の構成例について説明する図である。 相対ピッチ量計算において発生する倍ピッチ抽出誤りの例について説明する図である。 倍ピッチ抽出誤りの発生する１つの分析フレームの周波数特性の例を示す図である。 倍ピッチ抽出誤りが発生する１分析フレームにおけるテンプレート周波数特性との相互相関行列の例について説明する図である。 倍ピッチ抽出誤りが発生する１分析フレームにおける１つ前の分析フレームの周波数特性との相互相関行列の例について説明する図である。 本発明の一実施例に係る音声解析装置における相対ピッチ量計算部の処理シーケンスを説明するフローチャートを示す図である。 相対ピッチ量計算部の処理によって生成される相対ピッチ変化量データの例について説明する図である。 本発明の一実施例に係る音声解析装置の処理シーケンスを説明するフローチャートを示す図である。

符号の説明

１１ 音声解析装置
３１ 入力部
３２ 韻律識別部
３３ 音声認識部
３４ 結果選択部
３５ 特定単語記憶部
３６ 出力部
５１ 入力部
５２ 音響分析部
５３ 識別部
５４ パラメータ記憶部
５５ 出力部
６１ 周波数特性分析部
６２ 相対ピッチ変化量計算部

Claims (19)

1. 音声情報の韻律的特徴を解析して韻律識別結果を出力する音声解析装置であり、
   音声情報の入力を行う入力部と、
   前記入力部から入力する音声情報に対して時系列に設定される分析フレーム各々の周波数特性を解析し、各分析フレームの周波数特性の変化情報としての相対ピッチ変化量を算出する音響分析部と、
   前記音響分析部の生成した相対ピッチ変化量に基づく音声識別処理を実行する識別部を有し、
   前記音響分析部は、
   現行分析フレームの周波数特性と、予め設定されたテンプレート周波数特性との間の相対ピッチ差である現行テンプレート相対ピッチ差を求め、
   前記現行分析フレームに時間的に先行する先行フレームの周波数特性と、前記テンプレート周波数特性との間の相対ピッチ差である先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下であるか否かを判定し、
   閾値以下でない場合、前記現行分析フレームの周波数特性と、前記先行フレームの周波数特性との間の相対ピッチ差である隣接相対ピッチ差を求め、
   該隣接相対ピッチ差が予め設定されたマージン値以下である場合、前記現行テンプレート相対ピッチ差を１オクターブ分加算または減算する補正処理を実行して現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出する構成であることを特徴とする音声解析装置。
2. 前記音響分析部は、
   前記先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下である場合は、前記現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出する構成であることを特徴とする請求項１に記載の音声解析装置。
3. 前記音響分析部は、
   前記先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下でなく、かつ、前記隣接相対ピッチ差が予め設定されたマージン値以下でない場合は、前記現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出する構成であることを特徴とする請求項１に記載の音声解析装置。
4. 前記音響分析部は、
   相対ピッチ差を算出する２つの周波数特性の関係を定義する相互相関行列を算出し、相互相関行列の構成データの値のピーク位置を結ぶ稜線の前記相互相関行列の主対角線からのシフト量に相当する値を相対ピッチ差として算出する構成であることを特徴とする請求項１〜３いずれかに記載の音声解析装置。
5. 前記音響分析部は、
   前記周波数特性情報を対数周波数軸上で表現した周波数特性情報を生成し、
   前記閾値をＴ、前記マージン値をδとした場合、
   Ｔ＝ｌｏｇ（２）−δ
   上記式によって定義される閾値、およびマージン値を適用した処理を実行する構成であることを特徴とする請求項１〜４いずれかに記載の音声解析装置。
6. 前記識別部は、
   予め記憶部に格納された韻律識別単位辞書に相当するパラメータと、前記音響分析部の生成する相対ピッチ変化量データとを比較して音声識別処理を実行する構成であることを特徴とする請求項１〜５いずれかに記載の音声解析装置。
7. 前記識別部は、
   ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチング、またはニューラル・ネットワーク、またはＨＭＭ（隠れマルコフモデル）のいずれかを適用した処理により音声識別処理を実行する構成であることを特徴とする請求項６に記載の音声解析装置。
8. 前記音声解析装置は、さらに、
   前記入力部からの入力音声データに対応したテキスト情報を音声認識結果として出力する音声認識部と、
   前記識別部の識別結果と、前記音声認識部の識別結果を適用して音声認識結果を出力する結果選択部と、
   を有する構成であることを特徴とする請求項１〜７いずれかに記載の音声解析装置。
9. 前記結果選択部は、
   前記音声認識部における音声認識結果と特定単語記憶部に貯えられている特定単語との比較を行ない、音声認識結果が特定単語と一致する場合には、音声認識結果に、前記識別部において識別された韻律識別結果を付与して出力し、
   前記音声認識結果が特定単語と一致しない場合は、音声認識結果をそのまま出力する構成であることを特徴とする請求項８に記載の音声解析装置。
10. 音声解析装置において、音声情報の韻律的特徴を解析して韻律識別結果を出力する音声解析方法であり、
    入力部が、音声情報の入力を行う入力ステップと、
    音響分析部が、前記入力部から入力する音声情報に対して時系列に設定される分析フレーム各々の周波数特性を解析し、各分析フレームの周波数特性の変化情報としての相対ピッチ変化量を算出する音響分析ステップと、
    識別部が、前記音響分析部の生成した相対ピッチ変化量に基づく音声識別処理を実行する識別ステップを有し、
    前記音響分析ステップは、
    現行分析フレームの周波数特性と、予め設定されたテンプレート周波数特性との間の相対ピッチ差である現行テンプレート相対ピッチ差を求め、
    前記現行分析フレームに時間的に先行する先行フレームの周波数特性と、前記テンプレート周波数特性との間の相対ピッチ差である先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下であるか否かを判定し、
    閾値以下でない場合、前記現行分析フレームの周波数特性と、前記先行フレームの周波数特性との間の相対ピッチ差である隣接相対ピッチ差を求め、
    該隣接相対ピッチ差が予め設定されたマージン値以下である場合、前記現行テンプレート相対ピッチ差を１オクターブ分加算または減算する補正処理を実行して現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出するステップであることを特徴とする音声解析方法。
11. 前記音響分析ステップは、
    前記先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下である場合は、前記現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出するステップであることを特徴とする請求項１０に記載の音声解析方法。
12. 前記音響分析ステップは、
    前記先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下でなく、かつ、前記隣接相対ピッチ差が予め設定されたマージン値以下でない場合は、前記現行テンプレート相対ピッチ差を現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出するステップであることを特徴とする請求項１０に記載の音声解析方法。
13. 前記音響分析ステップは、
    相対ピッチ差を算出する２つの周波数特性の関係を定義する相互相関行列を算出し、相互相関行列の構成データの値のピーク位置を結ぶ稜線の前記相互相関行列の主対角線からのシフト量に相当する値を相対ピッチ差として算出するステップであることを特徴とする請求項１０〜１２いずれかに記載の音声解析方法。
14. 前記音響分析ステップは、
    前記周波数特性情報を対数周波数軸上で表現した周波数特性情報を生成し、
    前記閾値をＴ、前記マージン値をδとした場合、
    Ｔ＝ｌｏｇ（２）−δ
    上記式によって定義される閾値、およびマージン値を適用した処理を実行するステップであることを特徴とする請求項１０〜１３いずれかに記載の音声解析方法。
15. 前記識別ステップは、
    予め記憶部に格納された韻律識別単位辞書に相当するパラメータと、前記音響分析部の生成する相対ピッチ変化量データとを比較して音声識別処理を実行するステップであることを特徴とする請求項１０〜１４いずれかに記載の音声解析方法。
16. 前記識別ステップは、
    ＤＰ（Ｄｙｎａｍｉｃ Ｐｒｏｇｒａｍｍｉｎｇ）マッチング、またはニューラル・ネットワーク、またはＨＭＭ（隠れマルコフモデル）のいずれかを適用した処理により音声識別処理を実行するステップであることを特徴とする請求項１５に記載の音声解析方法。
17. 前記音声解析方法は、さらに、
    音声認識部が、前記入力部からの入力音声データに対応したテキスト情報を音声認識結果として出力する音声認識ステップと、
    結果選択部が、前記識別部の識別結果と、前記音声認識部の識別結果を適用して音声認識結果を出力する結果選択ステップと、
    を有することを特徴とする請求項１０〜１６いずれかに記載の音声解析方法。
18. 前記結果選択ステップは、
    前記音声認識部における音声認識結果と特定単語記憶部に貯えられている特定単語との比較を行ない、音声認識結果が特定単語と一致する場合には、音声認識結果に、前記識別部において識別された韻律識別結果を付与して出力し、
    前記音声認識結果が特定単語と一致しない場合は、音声認識結果をそのまま出力するステップであることを特徴とする請求項１７に記載の音声解析方法。
19. 音声解析装置において、音声情報の韻律的特徴を解析して韻律識別結果を出力させるコンピュータ・プログラムであり、
    前記音声解析装置に、
    音声情報の入力を行わせる入力ステップと、
    入力する音声情報に対して時系列に設定される分析フレーム各々の周波数特性を解析させて、各分析フレームの周波数特性の変化情報としての相対ピッチ変化量を算出させる音響分析ステップと、
    前記音響分析ステップにおいて生成した相対ピッチ変化量に基づく音声識別処理を実行させる識別ステップを実行させ、
    前記音響分析ステップにおいては、
    現行分析フレームの周波数特性と、予め設定されたテンプレート周波数特性との間の相対ピッチ差である現行テンプレート相対ピッチ差を求めさせ、
    前記現行分析フレームに時間的に先行する先行フレームの周波数特性と、前記テンプレート周波数特性との間の相対ピッチ差である先行テンプレート相対ピッチ差と、前記現行テンプレート相対ピッチ差との差分絶対値が予め定めた閾値以下であるか否かを判定させ、
    閾値以下でない場合、前記現行分析フレームの周波数特性と、前記先行フレームの周波数特性との間の相対ピッチ差である隣接相対ピッチ差を求めさせ、
    該隣接相対ピッチ差が予め設定されたマージン値以下である場合、前記現行テンプレート相対ピッチ差を１オクターブ分加算または減算する補正処理を実行して現行分析フレームの相対ピッチ差として、該相対ピッチ差を適用して前記相対ピッチ変化量を算出させることを特徴とするコンピュータ・プログラム。