JP5988501B2 - Dialog action output device, method, and program, and dialog system and method - Google Patents
Dialog action output device, method, and program, and dialog system and method Download PDFInfo
- Publication number
- JP5988501B2 JP5988501B2 JP2013149882A JP2013149882A JP5988501B2 JP 5988501 B2 JP5988501 B2 JP 5988501B2 JP 2013149882 A JP2013149882 A JP 2013149882A JP 2013149882 A JP2013149882 A JP 2013149882A JP 5988501 B2 JP5988501 B2 JP 5988501B2
- Authority
- JP
- Japan
- Prior art keywords
- action
- dialogue
- type
- utterance
- value indicating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、対話行為出力装置、方法、及びプログラム、並びに対話システム及び方法に関する。 The present invention relates to an interactive action output device, method, and program, and an interactive system and method.
対話システムに関するキャラクタ性の研究は様々なものが行われ、一部は製品化がされている。例えば、対話システムからの発話を、女性、男性、様々な年代、キャラクタの声等に音声合成して出力する製品が多く発売されている。また、ロボットや画面上にアニメーションのエージェントを見せることで、円滑なコミュニケーションを実現するソフトウェアが提案されている(例えば、非特許文献1参照)。 Various researches have been conducted on character characteristics of dialogue systems, and some have been commercialized. For example, there are many products on the market that synthesize speech from female, male, various ages, character voices, etc. In addition, software that realizes smooth communication by showing an animation agent on a robot or a screen has been proposed (see Non-Patent Document 1, for example).
また、音声や、顔画像だけのようなマルチモーダルだけではなく、対話システムに、言語的にキャラクタ性を持たせる研究もなされている(例えば、非特許文献2参照)。 In addition to multi-modal speech such as voice and face images, research has also been conducted to give linguistic character characteristics to dialog systems (for example, see Non-Patent Document 2).
上述のように、先行研究では、マルチモーダルや、文生成の分野において、対話システム(対話エージェント)にキャラクタ性を持たせる研究は行われている。しかし、対話システムのキャラクタ性は、対話システムの発話の意図を示す対話行為に基づく性格の印象も大きく影響する。例えば、対話において、積極的に自己開示する対話システムには、外向的な性格の印象を受ける。また一方で、フィラーが多い対話システムには、消極的な性格の印象を受ける。 As described above, in the previous research, in the fields of multimodal and sentence generation, research has been conducted to give the dialog system (dialog agent) character characteristics. However, the character of the dialogue system is greatly influenced by the impression of the personality based on the dialogue act indicating the intention of the dialogue system. For example, a dialogue system that actively self-disclosures in a dialogue receives an impression of an outgoing character. On the other hand, a dialogue system with many fillers gives a negative impression.
先行研究で、対話システムの外見や動作などを変えることで、ユーザに与える対話システムの性格の印象を変えるものは存在する。しかし、上述のように、対話システムが一発話を行う間の表情や身振り手振り、言い回しだけでなく、対話行為に基づく性格の印象によっても、ユーザが感じる対話システムのキャラクタ性が左右される。そのため、外見や動作などの変化だけでは、上述のような、対話行為に基づく性格の印象を変化させることは困難であり、明確なキャラクタ性を表現することができない場合がある。 In previous studies, there are things that change the impression of the nature of the dialogue system given to the user by changing the appearance and behavior of the dialogue system. However, as described above, the character of the interactive system felt by the user is influenced not only by facial expressions, gestures and wording while the interactive system makes one utterance, but also by the personality impression based on the interactive action. For this reason, it is difficult to change the impression of personality based on the dialogue action as described above only by changes in appearance and behavior, and it may not be possible to express clear character characteristics.
本発明は、上記問題点に鑑みてなされたものであり、キャラクタ性を明確化することができる対話行為のタイプを出力する対話行為出力装置、方法、及びプログラム、並びにキャラクタ性を明確化した対話システム及び方法を提供することを目的とする。 The present invention has been made in view of the above problems, and an interactive action output device, method, and program for outputting a type of interactive action that can clarify character characteristics, and an interactive dialog that clarifies character characteristics. It is an object to provide a system and method.
上記目的を達成するために、第1の発明に係る対話行為出力装置は、発話の意図を示す異なる複数の対話行為のタイプであって、発話の生成に用いる対話行為のタイプとしての確からしさを示す値が各々に付与された複数の対話行為のタイプの少なくとも一部の前記確からしさを示す値を、生成される発話の発話者に想定される性格に応じて予め定めたルール及び前記確からしさを示す値に基づいて変更する対話行為処理部と、前記確からしさを示す値が各々に付与された前記複数の対話行為のタイプを出力する処理であって、前記対話行為処理部により前記複数の対話行為のタイプ各々に付与された確からしさを示す値が変更された場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数の対話行為のタイプを出力する処理を行う出力部と、を含んで構成されている。
In order to achieve the above object, the dialogue action output device according to the first invention has a plurality of different dialogue action types indicating the intention of the utterance, and has the certainty as the type of dialogue action used to generate the utterance. The value indicating the likelihood of at least some of the types of interactive actions assigned to each of the values to be indicated is determined according to a rule preliminarily determined according to the character assumed by the speaker of the generated utterance and the probability a dialog act processing unit for changing, based on the value indicating the value indicating the probability that a processing for outputting the type of the plurality of dialog act granted to each of the plurality of by the dialogue act processing unit If the value indicating the likelihood given to the type of each of the dialog act is changed granted value indicating the probability of the changed type each of the plurality of dialogue act, used to generate the speech It is configured to include a, and an output unit that performs processing for outputting the type of the plurality of dialog acts.
第1の発明に係る対話行為出力装置によれば、対話行為処理部が、発話の意図を示す異なる複数の対話行為のタイプであって、発話の生成に用いる対話行為のタイプとしての確からしさを示す値が各々に付与された複数の対話行為のタイプの少なくとも一部の前記確からしさを示す値を、生成される発話の発話者に想定される性格に応じて予め定めたルール及び前記確からしさを示す値に基づいて変更する。そして、出力部が、確からしさを示す値が各々に付与された前記複数の対話行為のタイプを出力する処理であって、対話行為処理部により値が変更された場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数の対話行為のタイプを出力する処理を行う。
According to the interactive action output device according to the first invention, the interactive action processing unit has a plurality of different interactive action types indicating the intention of the utterance, and the probability as the interactive action type used for generating the utterance is determined. The value indicating the likelihood of at least some of the types of interactive actions assigned to each of the values to be indicated is determined according to a rule preliminarily determined according to the character assumed by the speaker of the generated utterance and the probability It changes based on the value which shows . Then, the output unit, a processing value indicating the likelihood outputs the type of the plurality of dialog act granted to each probability after the change when the value is changed by the dialogue act processor the granted to type each value of the plurality of dialog acts showing performs processing for outputting the type of the plurality of dialog acts used to generate speech.
これにより、キャラクタ性を明確化することができる対話行為のタイプを出力することができる。 As a result, it is possible to output the type of interactive action that can clarify the character characteristics.
また、前記予め定めたルールを、前記発話者に想定される性格を特徴づける指標と対話行為のタイプの各々との相関に基づいて、対話行為のタイプの各々に対する値を増減することを定めたルールとすることができる。これにより、発話者に想定される性格を強調し、キャラクタ性を明確化することができる対話行為のタイプを出力することができる。 Further, the predetermined rule is determined to increase or decrease the value for each type of dialogue action based on the correlation between the index characterizing the character assumed for the speaker and each type of dialogue action. It can be a rule. As a result, it is possible to output the type of dialogue action that can emphasize the character assumed for the speaker and clarify the character.
また、第2の発明に係る対話システムは、ユーザの発話を解析して、ユーザの発話の意図を示すユーザ対話行為のタイプを解析する発話解析部と、システムの発話の意図を示すシステム対話行為のタイプの複数の候補として、前記発話解析部により解析されたユーザ対話行為のタイプに対するシステム対話行為のタイプとしての確からしさを示す値が各々に付与された異なる複数のシステム対話行為のタイプを出力する対話行為候補出力部と、前記システムの発話の意図を示すシステム対話行為のタイプの複数の候補として、前記対話行為候補出力部から出力された前記確からしさを示す値が各々に付与された複数のシステム対話行為のタイプの少なくとも一部の前記確からしさを示す値を、システムに想定される性格に応じて予め定めたルール及び前記確からしさを示す値に基づいて変更し、前記確からしさを示す値が各々に付与された前記複数のシステム対話行為のタイプを出力する処理であって、前記複数の対話行為のタイプ各々に付与された確からしさを示す値を変更した場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数のシステム対話行為のタイプを出力する処理を行う対話行為出力部と、前記対話行為出力部により出力された、前記確からしさを示す値が付与された前記複数のシステム対話行為のタイプ、に基づいて、前記システムの発話を生成して出力する発話生成部と、を含んで構成されている。
The dialogue system according to the second aspect of the present invention includes an utterance analysis unit that analyzes a user's utterance and analyzes a type of user interaction act indicating the user's utterance intention, and a system interaction act that indicates the intention of the system utterance. As a plurality of candidates, a plurality of different types of system interaction actions, each of which is given a value indicating the certainty as the type of system interaction action with respect to the type of user interaction action analyzed by the speech analysis unit, are output. a plurality of dialogue action candidate output unit, a plurality of candidate types of systems dialog act indicating the intent of the utterance of the system, the value that indicates the likelihood that is output from the dialogue act candidate output unit is applied to each of the Le that of a value indicative of at least a portion of the probability of the type of system dialogue act, determined in advance in accordance with the nature envisioned for the system Change based on the value indicating the Le and the likelihood, the type of each of the values indicating the likelihood that a process of outputting the type of said plurality of systems dialog act granted to each of the plurality of dialogue act When the value indicating the certainty given to the change is changed, the value indicating the probability after the change is assigned to each of the plurality of types of interactive action, and the plurality of types of the system interactive action used for generating the utterance Utterance of the system based on an interactive action output unit that performs a process of outputting the system, and a plurality of system interactive action types that are output by the interactive action output unit and that are assigned values indicating the certainty. An utterance generation unit that generates and outputs the utterance.
これにより、対話システムのキャラクタ性を明確化することができる。 Thereby, the character property of a dialog system can be clarified.
また、第3の発明に係る対話行為出力方法は、対話行為処理部と、出力部とを含む対話行為出力装置における対話行為出力方法であって、前記対話行為処理部が、発話の意図を示す異なる複数の対話行為のタイプであって、発話の生成に用いる対話行為のタイプとしての確からしさを示す値が各々に付与された複数の対話行為のタイプの少なくとも一部の前記確からしさを示す値を、生成される発話の発話者に想定される性格に応じて予め定めたルール及び前記確からしさを示す値に基づいて変更するステップと、前記出力部が、前記確からしさを示す値が各々に付与された前記複数の対話行為のタイプを出力する処理であって、前記対話行為処理部により前記複数の対話行為のタイプ各々に付与された確からしさを示す値が変更された場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数の対話行為のタイプを出力する処理を行うステップと、を含む方法である。
A dialogue act output method according to a third invention is a dialogue act output method in a dialogue act output device including a dialogue act processing unit and an output unit, wherein the dialogue act processing unit indicates an intention of utterance. different of the type of a plurality of dialog acts, a value indicating at least a portion of the probability of the type of certainty multiple interactions acts value is assigned to each illustrating a as type of dialogue act used to generate speech and a step of changing, based on the value indicating the predetermined rule and the likelihood in accordance with the nature that is assumed speaker speech generated, the output unit, the value indicating the likelihood that each a process for outputting granted type of the plurality of dialog acts, if the value indicating the likelihood given to the type of each of the plurality of dialog act by the dialogue act processing unit is changed Is a method comprising granted value indicating the probability of the changed type each of the plurality of dialogue act, and performing processing for outputting the type of the plurality of dialog acts used to generate speech, the.
また、第4の発明に係る対話方法は、発話解析部と、対話行為候補出力部と、対話行為出力部と、発話生成部とを含む対話システムにおける対話方法であって、前記発話解析部が、ユーザの発話を解析して、ユーザの発話の意図を示すユーザ対話行為のタイプを解析するステップと、前記対話行為候補出力部が、システムの発話の意図を示すシステム対話行為のタイプの複数の候補として、前記発話解析部により解析されたユーザ対話行為のタイプに対するシステム対話行為のタイプとしての確からしさを示す値が各々に付与された異なる複数のシステム対話行為のタイプを出力するステップと、前記対話行為出力部が、前記システムの発話の意図を示すシステム対話行為のタイプの複数の候補として、前記対話行為候補出力部から出力された前記確からしさを示す値が各々に付与された複数のシステム対話行為のタイプの少なくとも一部の前記確からしさを示す値を、システムに想定される性格に応じて予め定めたルール及び前記確からしさを示す値に基づいて変更し、前記確からしさを示す値が各々に付与された前記複数のシステム対話行為のタイプを出力する処理であって、前記複数の対話行為のタイプ各々に付与された確からしさを示す値を変更した場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数のシステム対話行為のタイプを出力する処理を行うステップと、前記発話生成部が、前記対話行為出力部により出力された、前記確からしさを示す値が付与された前記複数のシステム対話行為のタイプに、基づいて、前記システムの発話を生成して出力するステップと、を含む方法である。
A dialogue method according to a fourth invention is a dialogue method in a dialogue system including an utterance analysis unit, a dialogue action candidate output unit, a dialogue action output unit, and an utterance generation unit, wherein the utterance analysis unit includes: Analyzing a user's utterance and analyzing a user interaction action type indicating the user's utterance intention; and the dialog action candidate output unit includes a plurality of system interaction action types indicating the utterance intention of the system . As a candidate, outputting a plurality of different types of system interaction actions each assigned a value indicating the probability as the type of system interaction action with respect to the type of user interaction action analyzed by the utterance analysis unit; dialog act output unit, a plurality of candidate types of systems dialog act indicating the intent of the utterance of the system, output from the dialogue act candidate output unit A value indicating the likelihood of at least some types of the likelihood of multiple systems dialog acts a value is assigned to each showing, the rules and the likelihood determined in advance in accordance with the nature envisioned for the system change based on the value indicating the value indicating the probability that a processing for outputting the type of said plurality of systems dialog act granted to each likelihood given to the type of each of the plurality of dialogue act When the value indicating the change is changed , a value indicating the certainty after the change is assigned to each of the plurality of interaction action types, and the process of outputting the plurality of system interaction action types used for utterance generation is performed. a step, the speech generating unit, the type of the dialogue act output unit output by the value indicating the likelihood is assigned the multiple systems dialogue act, Zui by a method comprising the steps of: generating and outputting an utterance of said system.
また、第5の発明に係る対話行為出力プログラムは、コンピュータを、上記の対話行為出力装置を構成する各部として機能させるためのプログラムである。 Moreover, the interactive action output program which concerns on 5th invention is a program for functioning a computer as each part which comprises said interactive action output device.
以上説明したように、本発明の対話行為出力装置、方法、及びプログラムによれば、発話の生成に用いる対話行為のタイプとしての確からしさを示す値を、生成される発話の発話者に想定される性格に応じて予め定めたルール及び対話行為のタイプに付与された値に基づいて変更した対話行為のタイプを出力するため、キャラクタ性を明確化することができる対話行為のタイプを出力することができる。 As described above, according to the interactive action output device, method, and program of the present invention, a value indicating the certainty as the type of interactive action used for generating an utterance is assumed for the utterer of the generated utterance. that for outputting a type of variable puff dialogue action based on a predetermined rule and the values assigned to the type of dialogue act in accordance with the nature, the output type of dialog acts that can clarify the character of can do.
また、本発明の対話システム及び方法によれば、システム発話の生成に用いる対話行為のタイプとしての確からしさを示す値を、システムに想定される性格に応じて予め定めたルール及び対話行為のタイプに付与された値に基づいて変更した対話行為のタイプに基づいて、システムの発話を生成するため、システムのキャラクタ性を明確化することができる。 Further, according to the dialogue system and method of the present invention, the value indicating the certainty as the type of dialogue action used for generating the system utterance is determined based on the rule and the type of dialogue action determined in advance according to the character assumed for the system. based on the type of dialogue act that strange owl based on the assigned value in order to generate a speech system, it is possible to clarify the character of the system.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<第1の実施の形態>
第1の実施の形態に係る対話システム10は、CPU(Central Processing Unit)と、RAM(Random Access Memory)と、後述する対話行為出力処理を含む対話処理を実行するためのプログラムを記憶したROM(Read Only Memory)とを備えたコンピュータで構成されている。CPUが、内部記憶装置であるROMからプログラムを読み込んで実行することにより、コンピュータが対話システム10として機能する。
<First Embodiment>
A
対話システム10は、機能的には、図1に示すように、発話解析部20、対話行為候補出力部30、対話行為出力部40、及び発話生成部50を含んだ構成で表すことができる。なお、対話行為出力部40は、本発明の対話行為出力装置の一例である。
The
発話解析部20には、対話におけるユーザの発話文(テキストデータ)が入力される。なお、音声認識部を設けて、ユーザの発話を音声データで受け付け、音声認識部により音声データをテキストデータに変換してもよい。発話解析部20は、入力されたユーザの発話文(以下、「ユーザ発話」という)を解析し、ユーザ発話におけるユーザの意図を示す対話行為のタイプ(以下、「ユーザ対話行為のタイプ」という)を出力する。
The
ここで、対話行為のタイプは、例えば図2に示すような対話行為セットから選択することができる。図2の例で、「自己開示」という対話行為のタイプには、「事実」、「経験」、「習慣」、「評価」、「欲求」、「予定」、及び「その他」という7つのサブカテゴリ(sub)が定義されており、サブカテゴリ「評価」はさらに、「ポジティブ」、「ネガティブ」、及び「ニュートラル」の3つの異なるサブカテゴリに分類される。なお、対話行為セットは図2の例に限定されず、様々な対話行為セットを用いることができる。 Here, the type of dialogue action can be selected from, for example, a dialogue action set as shown in FIG. In the example of FIG. 2, there are seven sub-categories of “actual”, “experience”, “custom”, “evaluation”, “desire”, “plan”, and “other” as the type of dialogue action “self-disclosure”. (Sub) is defined, and the subcategory “evaluation” is further classified into three different subcategories: “positive”, “negative”, and “neutral”. The dialogue action set is not limited to the example of FIG. 2, and various dialogue action sets can be used.
具体的には、発話解析部20は、ユーザ発話に対して形態素解析を行い、形態素解析結果を用いて、ユーザ発話から、例えば単語n−gram等の素性を抽出する。そして、発話から抽出した素性とその発話の対話行為のタイプの正解とをペアにした学習データを用いて学習された分類モデルと、ユーザ発話から抽出した素性とに基づいて、ユーザ対話行為を出力する。なお、ユーザ対話行為の出力方法は、この方法に限定されない。
Specifically, the
対話行為候補出力部30は、発話解析部20から出力されたユーザ対話行為を入力として受け付け、ユーザ対話行為に対するシステムの対話行為のタイプ(以下、「システム対話行為のタイプ」という)の候補として、異なる複数のシステム対話行為のタイプを出力する。対話行為候補出力部30は、例えば、予め定めたルールに従って、ユーザ対話行為に対応したシステム対話行為のタイプの候補を出力してもよいし、学習用の対話文を用いて学習されたモデル等を用いて、システム対話行為のタイプの候補を出力してもよい。
The dialogue action
ここで出力されるシステム対話行為のタイプの候補は、システム対話行為のタイプの候補毎に、ユーザ対話行為のタイプに対するシステム対話行為のタイプとしての確からしさを示す値が各々に付与されたものであってもよいし、値が付与されていないものであってもよい。値は、例えば、ユーザ対話行為のタイプに対するシステム対話行為のタイプ毎の出現確率値等のスコアでもよいし、そのようなスコアに基づく順位であってもよい。また、全てのシステム対話行為のタイプの候補に対して、同じスコアや順位等の値が付与されているものでもよい。 The system interaction action type candidates output here are obtained by assigning a value indicating the probability of the system interaction action type to the user interaction action type for each system interaction action type candidate. It may be present or may not be assigned a value. The value may be, for example, a score such as an appearance probability value for each type of system interaction action with respect to the type of user interaction action, or may be a rank based on such a score. Further, the same score, ranking, and other values may be assigned to all system interaction action type candidates.
対話行為出力部40は、対話システム10(対話システム10により表現される対話エージェント)のキャラクタ性に応じて設定した性格特徴に基づいて、システム対話行為のタイプの候補の各々に付与された値を変更する。システム対話行為のタイプの候補に値が付与されていない場合には、システム対話行為のタイプの候補の各々に、対話システム10のキャラクタ性に応じて設定した性格特徴に基づいた値を付与する。
The dialogue
対話行為出力部40は、図3に示すように、入力部41、対話行為処理部42、正規化部43、及び出力部44を含んだ構成で表すことができる。
As shown in FIG. 3, the dialogue
入力部41は、対話行為候補出力部30から出力されたシステム対話行為のタイプの候補集合を入力として受け付け、対話行為処理部42へ受け渡す。例えば、図4に示すようなシステム対話行為のタイプの候補集合が入力される。なお、図4の例では、各候補(対話行為のタイプ名)とその候補に付与されたスコアとが併記されている。
The
対話行為処理部42は、入力部41から受け渡されたシステム対話行為のタイプの候補集合に含まれる候補の各々について、対話行為性格特徴相関データ61及び対話行為強調ルール62を参照し、性格特徴と対話行為のタイプとの相関に基づいて、システム対話行為のタイプの候補の各々に対する値を増加または減少させるように変更する。例えば、性格特徴と対話行為のタイプとに正の相関がある場合には、その対話行為のタイプの値を増加させ、性格特徴と対話行為のタイプとに負の相関がある場合、または相関がない場合には、その対話行為のタイプの値を減少させることができる。
The dialogue
具体的には、対話行為性格特徴相関データ61を、以下のように用意する。まず、複数の話者の各々について、性格特徴の値を測る。ここでは、人の性格を外向性、愛着性、統制性、情動性、及び遊戯性の各性格特徴を表す5つの軸に分け、各性格特徴の強さを測ることができるBig−Fiveと呼ばれる手法を用いる。この手法は、50の質問項目(例えば、「出会った人はたいがい好きになる」等)に対して、その度合いを示す1〜5の値を話者に選択させることで、各性格特徴に10〜50のスコアをつけることができるものである。なお、Big−Fiveに限らず、人の性格を表す他の指標を用いてもよい。 Specifically, the dialogue action personality feature correlation data 61 is prepared as follows. First, the value of the personality feature is measured for each of a plurality of speakers. Here, it is called Big-Five that can measure the strength of each personality feature by dividing the personality into five axes representing the personality features of extroversion, attachment, control, emotionality, and playability. Use the technique. This method allows a speaker to select a value of 1 to 5 indicating the degree of 50 question items (for example, “a person who meets the person would like it most”). A score of ˜50 can be given. In addition, you may use not only Big-Five but the other parameter | index showing a person's character.
これら複数の話者の対話に含まれる発話全てに、対話行為のタイプを人手で付与する。そして、話者毎に、対話中の該当話者の発話の総数に対する対話行為のタイプ毎の発話の出現割合を計算する。例えば、話者37人、計1260対話を収録した場合における、各話者の外向性の値と、対話行為のタイプが「挨拶」の発話の出現割合の一例を、図5に示す。図5に示すような集計結果に基づいて、各性格特徴の値と対話行為のタイプの出現割合との相関値を計算する。このような相関値を、性格特徴毎かつ対話行為のタイプ毎に計算する。各性格特徴の値と対話行為のタイプの出現割合との相関値、すなわち対話行為性格特徴相関データ61の一例を、図6に示す。 The type of dialogue action is manually assigned to all of the utterances included in the dialogue between the plurality of speakers. Then, for each speaker, the appearance ratio of the utterance for each type of dialogue action with respect to the total number of utterances of the corresponding speaker during the dialogue is calculated. For example, FIG. 5 shows an example of the extroversion value of each speaker and the appearance ratio of the speech whose greeting action is “greeting” when 37 speakers and 1260 dialogues are recorded. Based on the tabulation result as shown in FIG. 5, the correlation value between the value of each personality feature and the appearance ratio of the dialogue action type is calculated. Such a correlation value is calculated for each personality feature and for each type of dialogue action. FIG. 6 shows an example of the correlation value between each personality feature value and the appearance rate of the dialogue action type, that is, dialogue action personality feature correlation data 61.
また、システムのキャラクタ性に応じて、いずれの性格特徴を強調するかという対話行為強調ルール62を予め定めておく。例えば、外向性の強いキャラクタ性に設定する場合には、対話行為性格特徴相関データ61において、外向性の値と対話行為のタイプの出現割合との相関値が所定の閾値(例えば、0.2)以上の対話行為のタイプの候補に付与されているスコアを上げ(例えば、10倍にする)、外向性の値と対話行為の出現割合との相関値が所定の閾値(例えば、−0.2)以下の対話行為のタイプの候補に付与されているスコアを下げる(例えば、1/10にする)、というルールを定めておくことができる。 In addition, a dialogue act emphasis rule 62 that determines which personality feature to emphasize according to the character of the system is determined in advance. For example, in the case of setting the character property with strong extroversion, the correlation value between the extroversion value and the appearance rate of the type of dialogue act is a predetermined threshold (for example, 0.2 ) Raise the score given to the above interaction action type candidates (for example, 10 times), and the correlation value between the extroversion value and the appearance ratio of the interaction action is a predetermined threshold (for example, −0. 2) A rule for lowering (for example, 1/10) a score given to a candidate for the following interactive action type can be set.
また、システムのキャラクタ性に応じて設定した性格を強調する性格特徴と対話行為のタイプの出現割合との相関がない場合(例えば、相関値が0.1〜−0.1)に、その対話行為のタイプのスコアを下げるようなルールを定めておいてもよい。 In addition, when there is no correlation between the personality feature that emphasizes the personality set according to the character of the system and the appearance ratio of the type of dialogue action (for example, the correlation value is 0.1 to −0.1), the dialogue is performed. Rules may be established that lower the score of the type of action.
また、入力されたシステム対話行為の候補に順位が付与されている場合には、特定の性格特徴の値と対話行為のタイプの出現割合との相関値が所定の閾値以上の対話行為のタイプの候補の順位を上げ、所定の閾値以下の対話行為のタイプの候補の順位を下げるようなルールを定めておくことができる。また、入力されたシステム対話行為の候補に、スコアや順位等の値が付与されていない場合には、特定の性格特徴の値と対話行為のタイプの出現割合との相関値が高い順にスコアや順位を付与するようなルールを定めておくことができる。 In addition, when ranks are given to the input system dialogue action candidates, the correlation value between the value of the specific personality feature and the appearance rate of the dialogue action type is equal to or higher than a predetermined threshold value. It is possible to set a rule that raises the rank of candidates and lowers the rank of candidates for interactive action types that are below a predetermined threshold. In addition, if the input system dialogue action candidate is not given a value such as a score or a ranking, the score or the score in descending order of the correlation value between the value of the specific personality feature and the appearance rate of the type of dialogue action. Rules that give rankings can be established.
図6に示す対話行為性格特徴相関データ61の例では、外向性の値との相関値が0.2以上の対話行為のタイプは、情報提供、自己開示_事実、自己開示_経験、自己開示_評価−、及び自己開示_予定である。従って、対話行為処理部42は、例えば、これらの対話行為のタイプの候補に付与されたスコアを10倍にする。逆に、外向性の値との相関値が−0.2以下の対話行為のタイプは、挨拶、相槌、質問_情報提供要求、質問_習慣、質問_欲求、非共感・非同意、感謝、フィラー、及び感嘆である。従って、対話行為処理部42は、例えば、これらの対話行為のタイプの候補に付与されたスコアを1/10倍する。
In the example of the dialogue act personality characteristic correlation data 61 shown in FIG. 6, the types of dialogue act having a correlation value with an extroversion value of 0.2 or more are information provision, self-disclosure_facts, self-disclosure_experience, self-disclosure. _Evaluation- and self-disclosure_scheduled. Therefore, the dialogue
対話行為処理部42は、対話行為性格特徴相関データ61及び対話行為強調ルールに従って、スコアを変更したシステム対話行為のタイプの候補集合を出力する。
The dialogue
正規化部43は、対話行為処理部42から出力されたシステム対話行為のタイプの候補集合を入力として受け付け、変更されたスコアの合計が1になるように正規化して、出力する。図4のシステム対話行為のタイプの候補集合について、対話行為処理部42及び正規化部43の処理を行った一例を、図7に示す。図7の例では、外向性が高い人がよく行っている自己開示_事実、情報提供などが、ランキングの上位にきている。
The
出力部44は、正規化部43から出力された正規化されたシステム対話行為のタイプを、性格を特徴づけられたシステム対話行為のタイプとして出力する。
The
発話生成部50は、対話行為出力部40から出力された性格を特徴づけられたシステム対話行為のタイプに基づいて、システム発話を生成して、出力する。発話の生成は、従来既知の手法を用いることができる。
The
次に、第1の実施の形態に係る対話システム10の作用について説明する。対話システム10にユーザ発話が入力されると、対話システム10において、図8に示す対話処理が実行される。
Next, the operation of the
図8に示す対話処理のステップ100で、発話解析部20が、入力されたユーザ発話を解析し、ユーザ発話におけるユーザの意図を示すユーザ対話行為のタイプを出力する。
In
次に、ステップ200で、対話行為候補出力部30が、発話解析部20から出力されたユーザ対話行為のタイプを入力として受け付け、ユーザ対話行為に対するシステム対話行為のタイプの候補を少なくとも1つ出力する。
Next, in
次に、ステップ300で、対話行為出力部40が、図9に示す対話行為出力処理を実行する。
Next, in
図9に示す対話行為出力処理のステップ301で、入力部41が、対話行為候補出力部30から出力されたシステム対話行為のタイプの候補集合を入力として受け付け、対話行為処理部42へ受け渡す。
In
次に、ステップ302で、対話行為処理部42が、入力部41から受け渡されたシステム対話行為のタイプの候補集合に含まれる候補の各々について、対話行為性格特徴相関データ61及び対話行為強調ルール62を参照し、性格特徴と対話行為のタイプとの相関に基づいて、システム対話行為のタイプの候補の各々に対する値を増加または減少させるように変更して出力する。
Next, in
次に、ステップ303で、正規化部43が、対話行為処理部42から出力された、スコアが変更されたシステム対話行為のタイプの候補集合を入力として受け付け、変更されたスコアの合計が1になるように正規化して出力する。
Next, in step 303, the
次に、ステップ304で、出力部44が、正規化部43から出力された、スコアが正規化されたシステム対話行為タイプの候補を、性格を特徴づけられたシステム対話行為のタイプとして出力し、図8に示す対話処理へリターンする。
Next, in
次に、図8に示す対話処理のステップ400で、発話生成部50が、対話行為出力部40から出力された性格を特徴づけられたシステム対話行為のタイプに基づいて、システム発話を生成して出力し、対話処理を終了する。
Next, in step 400 of the dialogue process shown in FIG. 8, the
以上説明したように、第1の実施の形態に係る対話システムの対話行為出力部によれば、システムのキャラクタ性に応じて、システム発話の意図を示すシステム対話行為のタイプ毎の値を変更することで、キャラクタ性を明確化することができる対話行為のタイプを出力することができる。従って、対話システムでは、システムのキャラクタ性を明確化することができる。これにより、各ユーザが好きな対話システムを構築でき、対話がスムーズに行われ、知的活動が促進されたり、個々のシステムが違う個性を持つことで、人間らしさを高めたりすることができる。 As described above, according to the interactive action output unit of the interactive system according to the first embodiment, the value for each type of system interactive action indicating the intention of system utterance is changed according to the character of the system. Thus, it is possible to output the type of interactive action that can clarify the character characteristics. Therefore, in the interactive system, the character of the system can be clarified. Thereby, a dialogue system that each user likes can be constructed, dialogue can be smoothly performed, intellectual activities can be promoted, and individual systems can have different personalities, thereby enhancing humanity.
<第2の実施の形態>
次に、第2の実施の形態について説明する。図1に示すように、第2の実施の形態に係る対話システム210は、第1の実施の形態に係る対話システム10と、対話行為出力部が異なるだけであるので、以下では、第2の実施の形態における対話行為出力部240について説明する。なお、第1の実施の形態に係る対話システム10における対話行為出力部40と同様の部分については、同一符号を付して、詳細な説明を省略する。
<Second Embodiment>
Next, a second embodiment will be described. As shown in FIG. 1, the
対話行為出力部240は、図10に示すように、入力部41、対話行為処理部242、正規化部43、及び出力部44を含んだ構成で表すことができる。
As shown in FIG. 10, the dialogue
対話行為処理部242は、第1の実施の形態における対話行為処理部42と異なり、性格特徴と対話行為のタイプとの相関に依らず、直接、対話行為強調ルール262に従って、システム対話行為のタイプの候補の値を変更する。対話行為強調ルール262としては、例えば、システムのキャラクタ性に応じて人手で設定した分布に従い、ランダムにスコアを変更するルールを定めておくことができる。また、性格とその性格を強調することができる対話行為のタイプとの予め定めた関係に基づいて、システムのキャラクタ性に応じた対話行為のタイプのスコアを変更するルールを定めておくことができる。例えば、積極的な性格では、対話行為のタイプが「自己開示」の発話が多いという関係や、消極的な性格では、対話行為のタイプが「フィラー」の発話が多いという関係に基づいて、性格と関係する対話行為のタイプの値を増減するようなルールを定めておくことができる。より具体的には、「自分のことばかりを喋る」というキャラクタ性をシステムに与えたい場合には、システム対話行為のタイプの候補のうち、対話行為のタイプが「自己開示」であるもののスコアを上げる(例えば、10倍にする)、といったルールを定めておくことができる。
Unlike the dialogue
図4のシステム対話行為のタイプの候補集合について、対話行為処理部242及び正規化部43の処理を行った一例を、図11に示す。図11の例は、対話行為のタイプ「自己開示」のスコアを10倍して正規化したものである。「自己開示」のランキングが上位に来ていることがわかる。
FIG. 11 shows an example in which the dialogue
第2の実施の形態に係る対話システム210の作用は、第1の実施の形態における対話行為出力処理のステップ302で、性格特徴と対話行為のタイプとの相関に依らず、直接、対話行為強調ルール262に従って、システム対話行為のタイプの候補のスコアを変更する点が第1の実施の形態に係る対話システム10の作用と異なるだけであるので、詳細な説明を省略する。
The operation of the
以上説明したように、第2の実施の形態に係る対話システムにおいても、第1の実施の形態と同様の効果を奏することができる。 As described above, the dialog system according to the second embodiment can achieve the same effects as those of the first embodiment.
なお、本発明は、上記実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
また、上記実施の形態では、対話行為出力部40(または240)が、対話システム10(または210)に組み込まれている場合について説明したが、対話行為出力部40(または240)の構成のみで単独の装置を構成するようにしてもよい。この場合、対話行為出力装置に入力されるのは、システム対話行為のタイプでも、ユーザ対話行為のタイプでも、対話行為のタイプであればいずれでもよい。例えば、ユーザ対話行為のタイプの候補集合を入力として受け付け、予め設定されたユーザの正確に基づいて、候補の各々に付与された値を変更して、ユーザの性格を特徴づけたユーザ対話行為のタイプを出力するようにしてもよい。このように出力されたユーザ対話行為のタイプは、例えば、ユーザの次の発話を予測するシステム等で利用することができる。 In the above embodiment, the case where the dialogue action output unit 40 (or 240) is incorporated in the dialogue system 10 (or 210) has been described, but only the configuration of the dialogue action output unit 40 (or 240). A single device may be configured. In this case, any type of system interaction action, user interaction action type, or interaction action type may be input to the interaction action output device. For example, a user interaction act type candidate set is accepted as an input, and based on the user's preset accuracy, the value assigned to each of the candidates is changed to characterize the user's personality The type may be output. The type of user interaction action output in this way can be used in, for example, a system that predicts the user's next utterance.
また、本願明細書中において、プログラムが予めインストールされている実施の形態として説明したが、外部の記憶装置や記録媒体等に格納されたプログラムを随時読み込んで、またインターネットを介してダウンロードして実行するようにしてもよい。また、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。 Further, in the present specification, the embodiment in which the program is preinstalled has been described. However, the program stored in an external storage device or recording medium is read as needed, and is downloaded and executed via the Internet. You may make it do. In addition, the program can be provided by being stored in a computer-readable recording medium.
10、210 対話システム
20 発話解析部
30 対話行為候補出力部
40、240 対話行為出力部
41 入力部
42、242 対話行為処理部
43 正規化部
44 出力部
50 発話生成部
61 対話行為性格特徴相関データ
62、262 対話行為強調ルール
DESCRIPTION OF SYMBOLS 10,210
Claims (6)
前記確からしさを示す値が各々に付与された前記複数の対話行為のタイプを出力する処理であって、前記対話行為処理部により前記複数の対話行為のタイプ各々に付与された確からしさを示す値が変更された場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数の対話行為のタイプを出力する処理を行う出力部と、
を含む対話行為出力装置。 A plurality of different types of interactive actions that indicate the intention of the utterance, wherein at least some of the types of interactive actions that are each given a value indicating the certainty as the type of interactive action used to generate the utterance a value indicating the likelihood, the dialog act processing unit for changing, based on the value indicating the predetermined rule and the likelihood in accordance with the nature that is assumed speaker speech generated,
The value indicating the probability that a processing for outputting the type of the plurality of dialog act granted to each value indicating the dialogue act processing unit by likelihood given to the type of each of the plurality of dialogue act A value indicating the certainty after the change is assigned to each of the plurality of interaction action types, and an output unit that performs processing to output the plurality of interaction action types used for generating an utterance ; ,
Interactive action output device including:
システムの発話の意図を示すシステム対話行為のタイプの複数の候補として、前記発話解析部により解析されたユーザ対話行為のタイプに対するシステム対話行為のタイプとしての確からしさを示す値が各々に付与された異なる複数のシステム対話行為のタイプを出力する対話行為候補出力部と、
前記システムの発話の意図を示すシステム対話行為のタイプの複数の候補として、前記対話行為候補出力部から出力された前記確からしさを示す値が各々に付与された複数のシステム対話行為のタイプの少なくとも一部の前記確からしさを示す値を、システムに想定される性格に応じて予め定めたルール及び前記確からしさを示す値に基づいて変更し、前記確からしさを示す値が各々に付与された前記複数のシステム対話行為のタイプを出力する処理であって、前記複数の対話行為のタイプ各々に付与された確からしさを示す値を変更した場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数のシステム対話行為のタイプを出力する処理を行う対話行為出力部と、
前記対話行為出力部により出力された、前記確からしさを示す値が付与された前記複数のシステム対話行為のタイプ、に基づいて、前記システムの発話を生成して出力する発話生成部と、
を含む対話システム。 An utterance analysis unit that analyzes the user's utterance and analyzes the type of user interaction act indicating the intention of the user's utterance;
As a plurality of candidates for the type of system interaction act indicating the intention of the system utterance, a value indicating the probability as the type of system interaction action with respect to the type of user interaction action analyzed by the utterance analysis unit is given to each A dialogue action candidate output unit for outputting different types of system dialogue actions;
As a plurality of system interaction action type candidates indicating the utterance intention of the system , at least one of a plurality of system interaction action types each having a value indicating the certainty output from the interaction action candidate output unit is provided. some of the values indicating the likelihood, and change based on the value indicating the predetermined rule and the likelihood in accordance with the nature envisaged in the system, a value indicating the likelihood is applied to each said A process of outputting a plurality of system interaction action types, and when the value indicating the certainty assigned to each of the plurality of interaction action types is changed, the value indicating the probability after the change is the plurality An interactive action output unit that performs processing of outputting the plurality of system interactive action types used to generate an utterance, which is assigned to each interactive action type;
The output by the dialogue act output unit, and the likelihood of the plurality of types of system dialog acts the value was assigned indicating the, on the basis of, speech generator for generating and outputting an utterance of said system,
Interactive system including
前記対話行為処理部が、発話の意図を示す異なる複数の対話行為のタイプであって、発話の生成に用いる対話行為のタイプとしての確からしさを示す値が各々に付与された複数の対話行為のタイプの少なくとも一部の前記確からしさを示す値を、生成される発話の発話者に想定される性格に応じて予め定めたルール及び前記確からしさを示す値に基づいて変更するステップと、
前記出力部が、前記確からしさを示す値が各々に付与された前記複数の対話行為のタイプを出力する処理であって、前記対話行為処理部により前記複数の対話行為のタイプ各々に付与された確からしさを示す値が変更された場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数の対話行為のタイプを出力する処理を行うステップと、
を含む対話行為出力方法。 A dialogue action output method in a dialogue action output device including a dialogue action processing unit and an output unit,
The interactive action processing unit is a plurality of different interactive action types indicating intentions of utterances, and a plurality of interactive action types each having a value indicating the certainty as a type of interactive action used for generating the utterances. a step type a value indicating the likelihood of at least some, to change based on the value indicating the predetermined rule and the likelihood in accordance with the nature that is assumed speaker speech generated,
The output unit, the value indicating the probability that a processing for outputting the type of the plurality of dialog act granted to each were granted to the type of each of the plurality of dialog act by the dialogue act processing unit When the value indicating the certainty is changed, the value indicating the certainty after the change is assigned to each of the plurality of interactive action types, and the plurality of interactive action types used for generating the utterance are output. The steps of
Dialogue action output method including
前記発話解析部が、ユーザの発話を解析して、ユーザの発話の意図を示すユーザ対話行為のタイプを解析するステップと、
前記対話行為候補出力部が、システムの発話の意図を示すシステム対話行為のタイプの複数の候補として、前記発話解析部により解析されたユーザ対話行為のタイプに対するシステム対話行為のタイプとしての確からしさを示す値が各々に付与された異なる複数のシステム対話行為のタイプを出力するステップと、
前記対話行為出力部が、前記システムの発話の意図を示すシステム対話行為のタイプの複数の候補として、前記対話行為候補出力部から出力された前記確からしさを示す値が各々に付与された複数のシステム対話行為のタイプの少なくとも一部の前記確からしさを示す値を、システムに想定される性格に応じて予め定めたルール及び前記確からしさを示す値に基づいて変更し、前記確からしさを示す値が各々に付与された前記複数のシステム対話行為のタイプを出力する処理であって、前記複数の対話行為のタイプ各々に付与された確からしさを示す値を変更した場合には変更後の確からしさを示す値が前記複数の対話行為のタイプ各々に付与されて、発話の生成に用いる前記複数のシステム対話行為のタイプを出力する処理を行うステップと、
前記発話生成部が、前記対話行為出力部により出力された、前記確からしさを示す値が付与された前記複数のシステム対話行為のタイプ、に基づいて、前記システムの発話を生成して出力するステップと、
を含む対話方法。 A dialogue method in a dialogue system including an utterance analysis unit, a dialogue action candidate output unit, a dialogue action output unit, and an utterance generation unit,
The utterance analysis unit analyzes the user's utterance and analyzes the type of user interaction act indicating the intention of the user's utterance;
The dialog action candidate output unit has a plurality of system interaction action type candidates indicating the intention of the system utterance, and the probability of the system interaction action type with respect to the type of user interaction action analyzed by the utterance analysis unit. Outputting a plurality of different types of system interaction actions each having a value indicated;
As the plurality of candidates for the type of system interaction action indicating the intention of the system utterance , the interaction action output unit has a plurality of values each given a value indicating the likelihood output from the interaction action candidate output unit a value indicative of at least a portion of the probability of the type of system dialogue act to change based on the value indicating the predetermined rule and the likelihood in accordance with the nature envisaged in the system, a value indicating the likelihood there a process of outputting the type of said plurality of systems dialog act granted to each probability after the change, if you change the value that indicates the likelihood given to the type of each of the plurality of dialogue act the value indicated is applied to the type of each of the plurality of dialog acts, performing a process for outputting the type of the plurality of system dialogue act used to generate speech ,
The step of the speech generating unit, the dialog act is output by the output unit, the likelihood of the plurality of types of system dialog acts the value was assigned indicating the, on the basis, and generates and outputs an utterance of said system When,
Interactive method including
て機能させるための対話行為出力プログラム。
An interactive action output program for causing a computer to function as each part constituting the interactive action output device according to claim 1.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013149882A JP5988501B2 (en) | 2013-07-18 | 2013-07-18 | Dialog action output device, method, and program, and dialog system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2013149882A JP5988501B2 (en) | 2013-07-18 | 2013-07-18 | Dialog action output device, method, and program, and dialog system and method |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2015022134A JP2015022134A (en) | 2015-02-02 |
| JP5988501B2 true JP5988501B2 (en) | 2016-09-07 |
Family
ID=52486639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2013149882A Active JP5988501B2 (en) | 2013-07-18 | 2013-07-18 | Dialog action output device, method, and program, and dialog system and method |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5988501B2 (en) |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3005249B2 (en) * | 1990-06-19 | 2000-01-31 | 株式会社アドイン研究所 | Fuzzy pattern type human interface system |
| JPH11259446A (en) * | 1998-03-12 | 1999-09-24 | Aqueous Reserch:Kk | Agent device |
| JP2001249949A (en) * | 2000-03-07 | 2001-09-14 | Nec Corp | Feeling generation method, feeling generator and recording medium |
| US6731307B1 (en) * | 2000-10-30 | 2004-05-04 | Koninklije Philips Electronics N.V. | User interface/entertainment device that simulates personal interaction and responds to user's mental state and/or personality |
| JP2013063747A (en) * | 2011-09-20 | 2013-04-11 | Aisin Seiki Co Ltd | Vehicle information display system |
| KR20140052155A (en) * | 2012-10-19 | 2014-05-07 | 삼성전자주식회사 | Display apparatus, method for controlling the display apparatus and processor for controlling the display apparatus |
-
2013
- 2013-07-18 JP JP2013149882A patent/JP5988501B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2015022134A (en) | 2015-02-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hema et al. | Emotional speech recognition using cnn and deep learning techniques | |
| Christy et al. | Multimodal speech emotion recognition and classification using convolutional neural network techniques | |
| Liu et al. | Speech emotion recognition based on convolutional neural network with attention-based bidirectional long short-term memory network and multi-task learning | |
| JP6884947B2 (en) | Dialogue system and computer programs for it | |
| Gharavian et al. | Speech emotion recognition using FCBF feature selection method and GA-optimized fuzzy ARTMAP neural network | |
| JP6804763B2 (en) | Dialogue system, dialogue device and computer program for it | |
| CA3065391A1 (en) | Systems and methods for providing a virtual assistant | |
| KR20210070213A (en) | Voice user interface | |
| US11455472B2 (en) | Method, device and computer readable storage medium for presenting emotion | |
| Elbarougy et al. | Improving speech emotion dimensions estimation using a three-layer model of human perception | |
| Noroozi et al. | Supervised vocal-based emotion recognition using multiclass support vector machine, random forests, and adaboost | |
| CN117690416A (en) | Artificial intelligence interaction method and artificial intelligence interaction system | |
| Alam et al. | Comparative study of speaker personality traits recognition in conversational and broadcast news speech. | |
| JP2020067585A (en) | Communication device and control program for communication device | |
| KR102528019B1 (en) | A TTS system based on artificial intelligence technology | |
| CN118279704B (en) | Digital human interaction evaluation method, device, storage medium and equipment | |
| CN119034202A (en) | Somatosensory dance game method for generating virtual character based on user characteristics | |
| JP5988501B2 (en) | Dialog action output device, method, and program, and dialog system and method | |
| Jaiswal et al. | A generative adversarial network based ensemble technique for automatic evaluation of machine synthesized speech | |
| Bojanić et al. | Application of dimensional emotion model in automatic emotional speech recognition | |
| KR102532253B1 (en) | A method and a TTS system for calculating a decoder score of an attention alignment corresponded to a spectrogram | |
| Ming et al. | A study on speech emotion recognition based on fuzzy K nearest neighbor | |
| Zhang et al. | Deep learning based emotion recognition from Chinese speech | |
| Gomes | Implementation of i-vector algorithm in speech emotion recognition by using two different classifiers: Gaussian mixture model and support vector machine | |
| CN119694325B (en) | Paralinguistic information recognition method and system based on fine-grained contrastive learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20141205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150728 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160301 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160520 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20160601 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160803 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160808 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5988501 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |